CN107991686B - 红外-可见双波段光电探测系统及光轴偏角测量方法 - Google Patents
红外-可见双波段光电探测系统及光轴偏角测量方法 Download PDFInfo
- Publication number
- CN107991686B CN107991686B CN201711184138.1A CN201711184138A CN107991686B CN 107991686 B CN107991686 B CN 107991686B CN 201711184138 A CN201711184138 A CN 201711184138A CN 107991686 B CN107991686 B CN 107991686B
- Authority
- CN
- China
- Prior art keywords
- visible light
- image
- medium wave
- wave infrared
- light spot
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
- G01M11/00—Testing of optical apparatus; Testing structures by optical methods not otherwise provided for
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
- G01M11/00—Testing of optical apparatus; Testing structures by optical methods not otherwise provided for
- G01M11/02—Testing optical properties
- G01M11/0221—Testing optical properties by determining the optical axis or position of lenses
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/481—Constructional features, e.g. arrangements of optical elements
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B17/00—Systems with reflecting surfaces, with or without refracting elements
- G02B17/02—Catoptric systems, e.g. image erecting and reversing system
- G02B17/06—Catoptric systems, e.g. image erecting and reversing system using mirrors only, i.e. having only one curved mirror
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/10—Beam splitting or combining systems
- G02B27/1006—Beam splitting or combining systems for splitting or combining different wavelengths
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N17/00—Diagnosis, testing or measuring for television systems or their details
- H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/30—Transforming light or analogous information into electric information
- H04N5/33—Transforming infrared radiation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Optics & Photonics (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Computer Networks & Wireless Communication (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Electromagnetism (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
Abstract
本发明公开了一种红外‑可见双波段光电探测系统及光轴偏角测量方法,光电探测系统包括反射系统、分光镜、位于分光镜反射光路上的可见光成像单元和透射光路中波红外光成像单元,以及光轴偏角测量单元,光轴偏角测量方法包括:一、初始化CCD传感器并获取背景灰度图像;二、中波红外光轴对中;三、可见光光点成像;四、可见光光点图像的获取;五、可见光光点图像的质心坐标获取;六、光轴偏角的计算。本发明结合可见光波段光学系统和中波红外波段光学系统的优点,提高了观测、侦查效率,实现远距离、高分辨率以及全天候成像,且有效提高成像质量,光轴偏角测量单元可测量可见光轴和中波红外光轴的偏角,测量整个光电探测系统的稳定性。
Description
技术领域
本发明属于光学技术领域,具体涉及一种红外-可见双波段光电探测系统及光轴偏角测量方法。
背景技术
随着社会需要的提高,科技水平的进步,对光学系统的性能提出了越来越高的要求,尤其在侦查和探测领域,快速、及时的发现目标进而实时的跟踪、精准的测量目标成为光学系统发展的主流趋势。
为了得到更多的探测信息和对不同光谱特性的被测物进行综合探测和精准观测,研发出了双波段、多波段光学系统。双波段光学系统可以对被测物进行多波段检测,以及对不同辐射波段被测物同时检测,这是单一的光学系统无法做到的。双波段光学系统具有可见光、红外或紫外光学系统的综合优势,但是又不是简单相加,例如可见光和中波红外光相结合的双波段光学系统,其中可见光波段光学系统、丰富多样、发展成熟,能够满足各种不同的设计要求,且可见光能被人眼接受,观测方便,但是可见光波段的光学系统使用时需要一定的光照,在夜间和微光条件下性能大打折扣甚至不能使用,同时易受环境干扰,在有雾或有遮挡时难以进行观测。中波红外波段的光学系统优点明显:良好的烟雾、尘埃穿透能力,无昼夜限制受环境影响小、隐蔽性好以及抗干扰能力强。但是中波红外波段的光学系统材料种类有限,且中波红外材料吸收较大透过率低,材料受温度影响明显,野外使用一般要消热差,由此可知,可见光波段的光学系统和中波红外波段的光学系统各有优劣,将两者合理结合各取所长、互补其短可有效提高观测或者侦查速度、效率,实现远距离、高分辨率以及全天候成像。
发明内容
本发明所要解决的技术问题在于针对上述现有技术中的不足,提供一种红外-可见双波段光电探测系统,该光电探测系统有效结合了可见光波段光学系统和中波红外波段光学系统的优点,大大提高了观测、侦查效率,实现远距离、高分辨率以及全天候成像,且能够有效提高成像质量,同时光轴偏角测量单元可准确测量可见光轴和中波红外光轴的偏角,从而测量整个光电探测系统的稳定性。
为解决上述技术问题,本发明采用的技术方案是:红外-可见双波段光电探测系统,其特征在于:包括设置在被测物反射光路上的反射系统、用于将中波红外波和可见光波分束的分光镜、位于分光镜透射光路上可见光成像单元和位于所述分光系统反射光路上的中波红外光成像单元,以及位于所述反射系统反射光路上的光轴偏角测量单元;
所述可见光成像单元包括依次位于分光镜透射光路上的可见光路补偿透镜组和用于采集可见光成像的可见光探测器;
所述中波红外光成像单元包括位于分光镜反射光路上的中波红外反射镜,所述中波红外反射镜的反射光路上依次布设有中波红外光路补偿透镜组、中波红外光路中继透镜组和冷光阑,以及用于采集中波红外光成像的中波红外探测器;
所述光轴偏角测量单元包括位于所述反射系统反射光路上的卡塞格林平行光管,所述卡塞格林平行光管的反射光路上设置有多光谱综合目标靶和多光谱光源,所述卡塞格林平行光管和多光谱综合目标靶之间的光路上布设有半透半反镜,所述卡塞格林平行光管和半透半反镜之间的光路上设置有衰减片,衰减片包括用于衰减可见光的可见光衰减片和用于衰减中波红外光的中波红外光衰减片,所述多光谱综合目标靶设置在目标靶多维调整座上,所述半透半反镜的反射光路上具有CCD传感器,CCD传感器的输出端与图像处理模块连接。
上述的红外-可见双波段光电探测系统,其特征在于:所述反射系统包括位于被测物反射光路上的主镜和位于所述主镜反射光路上的次镜。
上述的红外-可见双波段光电探测系统,其特征在于:所述卡塞格林平行光管上安装有激光指示器。
上述的红外-可见双波段光电探测系统,其特征在于:所述次镜的反射光路上依次设置有双波段第一反射镜和双波段第二反射镜,所述卡塞格林平行光管布设在所述双波段第二反射镜的反射光路上。
上述的红外-可见双波段光电探测系统,其特征在于:所述双波段第二反射镜与卡塞格林平行光管之间的光路上设置有扩径单元。
同时,本发明还公开了一种方法步骤简单、实施方便、能够进行光轴偏角测量的测量方法,其特征在于,该测量方法包括以下步骤:
步骤一、初始化CCD传感器并获取背景灰度图像:开启CCD传感器,CCD传感器将未有光点的图像传输至图像处理模块,图像处理模块对未有光点的图像Q(x,y)中每个像元进行灰度处理,得到背景灰度图像q(x,y);
步骤二、中波红外光轴对中:打开多光谱光源,安装可见光衰减片,将被测物反射的光线对多光谱综合目标靶的十字分划区域进行扫描,使透过可见光衰减片的中波红外光轴的中心对中多光谱综合目标靶的十字分划中心,在多光谱综合目标靶的十字分划中心聚焦成一个中波红外光光点;再调节CCD传感器使CCD传感器的像面中心对中中波红外光光点,将CCD传感器的像面中心坐标视为中波红外光光点图像的质心坐标且中波红外光光点图像的质心坐标为(xz,yz)=(0,0);
步骤三、可见光光点成像:拆除可见光衰减片,安装中波红外光衰减片,调节目标靶多维调整座,将被测物反射的光线对多光谱综合目标靶的十字分划区域进行扫描,使透过中波红外光衰减片的可见光轴的中心对中多光谱综合目标靶的十字分划中心,在多光谱综合目标靶的十字分划中心聚焦成一个可见光光点;
步骤四、可见光光点图像的获取:CCD传感器的成像镜面获取半透半反镜反射的可见光光点,得到可见光光点图像G(x,y),CCD传感器将可见光光点图像G(x,y)传输至图像处理模块,图像处理模块对可见光光点图像G(x,y)进行灰度化处理,获取可见光光点的灰度图像g(x,y),图像处理模块对比可见光光点的灰度图像g(x,y)和背景灰度图像q(x,y)对应位置处的像元灰度值,获取可见光光点像元,当g(xi,yj)-q(xi,yj)>ε时,像元(xi,yj)为可见光光点像元,其中,g(xi,yj)为像元(xi,yj)在可见光光点的灰度图像g(x,y)中对应的灰度值,q(xi,yj)为像元(xi,xj)在背景灰度图像q(x,y)中对应的灰度值,ε为灰度阈值,(xi,yj)∈(x,y),满足g(xi,yj)-q(xi,yj)>ε的可见光光点像元组成可见光光点图像f(xi,yj);
步骤五、可见光光点图像的质心坐标的获取,具体定位过程如下:
步骤501、可见光光点像元的插值:图像处理模块在所述可见光光点图像区域内均匀的插入辅助点(x'u,y'v),辅助点(x'u,y'v)的灰度f(x'u,y'v)=f(xu,yv)(1-α)(1-β)+f(xu+1,yv)α(1-β)+f(xu,yv+1)(1-α)β+f(xu+1,yv+1)αβ,其中,(xu,yv)、(xu+1,yv)、(xu,yv+1)和(xu+1,yv+1)为与辅助点(x'u,y'v)相邻的可见光光点像元,且(xu,yv)、(xu+1,yv)、(xu,yv+1)和(xu+1,yv+1)均属于(xi,yj),α为第一插值系数且0<α<1,β为第二插值系数且0<β<1;
步骤六、光轴偏角的计算:图像处理模块根据公式计算中波红外光轴和可见光轴的偏角γ,其中,L为中波红外光轴与可见光轴在CCD传感器的成像镜面上的偏差值,且F为卡塞格林平行光管的焦距,η为CCD传感器的放大率。
上述的光轴偏角测量方法,其特征在于:所述灰度阈值ε满足:150<ε≤255。
上述的光轴偏角测量方法,其特征在于:所述第一插值系数α与第二插值系数β满足:α=β=0.5。
本发明与现有技术相比具有以下优点:
1.本发明采用的可见光成像单元和中波红外光成像单元能够实现长焦距、高分辨率成像,可见光成像单元的成像焦距可达到500mm,中波红外光成像单元的成像焦距达到600mm,最终能够保证可见光波段实现10km成像,中波红外波段实现5km成像,且可见光成像单元和中波红外光成像单元的成像质量均接近衍射极限,保证整个光电探测系统能够准确识别目标。
2.本发明采用的可见光和中红外光共用的反射系统以及分光镜,不仅满足了中波红外-可见双波段的探测需求,而且结构简单,有效减少了整个光电探测系统的质量和体积。
3.本发明采用的光轴偏角测量单元能够检测可见光轴与中波红外光轴的偏角,进而检测可见光成像单元和中波红外光成像单元所成像的偏差,最终确定整个光电探测系统的稳定性。
4.本发明采用的进行光轴偏角测量的测量方法中首先初始化CCD传感器并获取背景灰度图像,然后将中波红外光轴对中,以中波红外光轴为基准光轴,且视为中波红外光光点图像的质心坐标为(xz,yz)=(0,0);再对可见光光点成像,其中在可见光光点成像的过程中调节目标靶多维调整座,确保可见光轴在多光谱综合目标靶上成像;再获取可见光光点图像,在获取可见光光点图像时需要对可见光光点图像进行灰度处理,通过可见光光点的灰度图像和背景灰度图像对应位置处的像元灰度值,确定可见光光点图像;然后获取可见光光点图像的质心坐标;最后根据中波红外光光点图像的质心坐标和可见光光点图像的质心坐标获取中波红外光轴和可见光轴的偏角,根据偏角大小判断整个光电探测系统的稳定性和实用性。
综上所述,本发明设计的光电探测系统有效结合了可见光波段光学系统和中波红外波段光学系统的优点,大大提高了观测、侦查效率,实现远距离、高分辨率以及全天候成像,且能够有效提高成像质量,同时光轴偏角测量单元可测量可见光轴和中波红外光轴的偏差和偏角,且测量方法步骤简单、设计合理、测量精度高。
下面通过附图和实施例,对本发明的技术方案做进一步的详细描述。
附图说明
图1为本发明红外-可见双波段光电探测系统的结构示意图。
图2为本发明光轴偏角测量单元的结构示意图。
图3为本发明光轴偏角测量方法的流程框图。
图4为本发明插入辅助点的插值原理图。
附图标记说明:
1—被测物; 2—主镜; 3—次镜;
4—分光镜; 5-1—可见光路补偿透镜组; 5-1-1—第一补偿透镜;
5-1-2—第二补偿透镜; 5-1-3—第三补偿透镜; 5-1-4—第四补偿透镜;
5-1-5—第五补偿透镜; 5-1-6—第六补偿透镜; 5-2—可见光探测器;
6-1—中波红外反射镜; 6-2—中波红外光路补偿透镜组;
6-2-1—第七补偿透镜; 6-2-2—第八补偿透镜; 6-2-3—第九补偿透镜;
6-3—中波红外光路中继透镜组;
6-3-1—第一中继透镜; 6-3-2—第二中继透镜; 6-3-3—第三中继透镜;
6-4—冷光阑; 6-5—中波红外探测器;
7—光轴偏角测量单元;
7-1—激光指示器; 7-2—卡塞格林平行光管; 7-3—衰减片;
7-4—半透半反镜; 7-5—CCD传感器; 7-6—多光谱综合目标靶;
7-7—多光谱光源; 7-8—目标靶多维调整座; 7-9—扩径单元;
7-10—图像处理模块; 8—双波段第一反射镜; 9—双波段第二反射镜。
具体实施方式
如图1和图2所示的一种红外-可见双波段光电探测系统,包括设置在被测物1反射光路上的反射系统、用于将中波红外波和可见光波分束的分光镜4、位于分光镜4透射光路上可见光成像单元和位于所述分光镜4反射光路上的中波红外光成像单元,以及位于所述反射系统反射光路上的光轴偏角测量单元,所述被测物1能够同时反射中波红外光和可见光。
具体实施时,所述反射系统将被测物1反射的可见光和中波红外光以平行光束反射至分光镜4中,分光镜4将可见光透射至可见光成像单元以及将中波红外光反射至中波红外光成像单元,这样通过共用的反射系统和分光镜4可有效节省空间,使整个光电探测系统结构紧凑,体积小,实用性很好。
如图1所示,本实施例中,所述可见光成像单元包括依次位于分光镜4透射光路上的可见光路补偿透镜组5-1和用于采集可见光成像的可见光探测器5-2,所述可见光路补偿透镜组5-1由六个补偿透镜组成,六个所述补偿透镜分别为第一补偿透镜5-1-1、第二补偿透镜5-1-2、第三补偿透镜5-1-3、第四补偿透镜5-1-4、第五补偿透镜5-1-5和第六补偿透镜5-1-6。
具体实施时,所述第一补偿透镜5-1-1、第二补偿透镜5-1-2、第三补偿透镜5-1-3、第四补偿透镜5-1-4、第五补偿透镜5-1-5和第六补偿透镜5-1-6均为玻璃透镜,且所述玻璃透镜的折射率n=1.4-1.8,同时玻璃透镜均为标准球面,这样能够使整个可见光成像单元在最大空间频率接近衍射极限,实现高分辨率成像,有效提高可见光成像单元的成像质量。
具体实施时,可见光成像单元的参数分别是:入瞳直径:125mm;焦距:500mm;视场角:0.38°×0.43°;工作波段:0.45~0.9μm;可见光探测器5-2的像素:(1920×1080)像素;可见光探测器5-2的像元尺寸:3.45μm。
如图1所示,本实施例中,所述中波红外光成像单元包括位于分光镜4反射光路上的中波红外反射镜6-1,所述中波红外反射镜6-1的反射光路上依次布设有中波红外光路补偿透镜组6-2、中波红外光路中继透镜组6-3和冷光阑6-4,以及用于采集中波红外光成像的中波红外探测器6-5,所述中波红外光路补偿透镜组6-2由第七补偿透镜6-2-1、第八补偿透镜6-2-2和第九补偿透镜6-2-3组成,所述第七补偿透镜6-2-1设置在中波红外反射镜6-1的反射光路上,所述中波红外光路中继透镜组6-3由第一中继透镜6-3-1、第二中继透镜6-3-2和第三中继透镜6-3-3组成,所述第一中继透镜设置在第九补偿透镜6-2-3的反射光路上,其中第七补偿透镜6-2-1、第九补偿透镜6-2-3、第一中继透镜6-3-1和第三中继透镜6-3-3均为Si晶体透镜,第八补偿透镜6-2-2和第二中继透镜6-3-2均为Ge晶体透镜,采用Si晶体透镜和Ge晶体透镜能够准确校正像差,同时通过中波红外光路补偿透镜组6-2和中波红外光路中继透镜组6-3的两次成像不仅提高了成像质量,且通过中波红外光路中继透镜组6-3后的焦距达到600mm,同时经过中波红外光路中继透镜组6-3二次成像在中波红外探测器6-5上,这样能够实现中波红外光成像单元出瞳与冷光阑6-4重合,即实现了中波红外光成像单元100%冷光阑效应,提高了中波红外光成像单元的信噪比,增加了中波红外光成像单元的对比度,改善了中波红外光成像单元的探测和识别能力,最终使中波红外光成像单元在最大空间频率接近衍射极限,实现高分辨率成像,有效提高中波红外光成像单元的成像质量。
具体实施时,中波红外光成像单元的参数分别是:入瞳直径:125mm;焦距:600mm;视场角:0.38°×0.43°;工作波段:3.7~4.8μm;中波红外探测器6-5的像素:(640×512)像素;中波红外探测器6-5的像元尺寸:15μm。
本发明中采用可见光成像单元和中波红外光成像单元相结合的方式,当外界光线良好时采用可见光成像单元进行成像,当外界光线较弱或在夜间时采用中波红外光成像单元进行成像,这样有效的结合了可见光成像和中波红外光成像的优点,实现全天候成像,增强了整个光电探测系统的实用性,同时采用的可见光成像单元和中波红外光成像单元均能够实现远距离、高分辨率成像。
如图2所示,本实施例中,所述光轴偏角测量单元包括位于所述反射系统反射光路上的卡塞格林平行光管7-2,所述卡塞格林平行光管7-2的反射光路上设置有多光谱综合目标靶7-6和多光谱光源7-7,所述卡塞格林平行光管7-2和多光谱综合目标靶7-6之间的光路上布设有半透半反镜7-4,所述卡塞格林平行光管7-2和半透半反镜7-4之间的光路上设置有衰减片7-3,衰减片7-3包括用于衰减可见光的可见光衰减片和用于衰减中波红外光的中波红外光衰减片,所述多光谱综合目标靶7-6设置在目标靶多维调整座7-8上,所述半透半反镜7-4的反射光路上具有CCD传感器7-5,CCD传感器7-5的输出端与图像处理模块7-10连接。
具体实施时,将被测物1反射的可见光和中波红外光经反射系统和卡塞格林平行光管7-2后,再经过衰减片7-3后分别在多光谱综合目标靶7-6上成像,再采用CCD传感器7-5将采集的可见光光点图像传输到图像处理模块7-10,获取可见光光点图像的质心坐标,最终得到中波红外光轴和可见光轴的偏角,整个光电探测系统在具体使用时,由于受到应用环境的影响,例如冲击、振动和恶劣气候的影响,可见光成像单元和中波红外光成像单元分别所成的像均具有偏差,这样通过光轴偏角测量单元能够实时监测中波红外光轴和可见光轴的偏角,测量整个光电探测系统的稳定性和实用性,确保光电探测系统的使用性能。
本实施例中,所述反射系统包括位于被测物1反射光路上的主镜2和位于所述主镜2反射光路上的次镜3,在具体使用时,被测物1反射的光线依次经过主镜2和次镜3,最终以平行光束射出,采用主镜2和次镜3反射式无焦压缩准直系统作为共用光路,实现可见光束传输通道与中波红外光束传输通道的共孔径,并起到对被测物1反射的光线进行口径压缩的作用。且光轴偏角测量单元与可见光成像单元和中波红外光成像单元采用共用的反射系统,大大减少了整个光电探测系统的体积和重量。
本实施例中,所述卡塞格林平行光管7-2靠近所述次镜3反射光路的位置处安装有激光指示器7-1,具体使用时,通过所述激光指示器7-1使整个光轴偏角测量单元与被测物1对准,确保被测物1反射的光束能够准确进入光轴偏角测量单元。
本实施例中,所述次镜3反射光路上依次设置有双波段第一反射镜8和双波段第二反射镜9,所述卡塞格林平行光管7-2布设在所述双波段第二反射镜9的反射光路上。
本实施例中,所述双波段第二反射镜9与卡塞格林平行光管7-2之间的光路上设置有扩径单元7-10,扩径单元7-10能够将双波段第二反射镜9反射的光束聚拢至卡塞格林平行光管7-2内。
在测试时,当双波段第二反射镜9反射的光轴跨度超过卡塞格林平行光管7-2的有效光学口径时,卡塞格林平行光管7-2不能同时包含双波段第二反射镜9反射的光轴,若通过加工较大口径的卡塞格林平行光管7-2将双波段第二反射镜9反射的光轴全部包括,则加工制造成本高,且会降低测量精度,但是采用扩径单元7-9将双波段第二反射镜9反射的光轴全部导入至卡塞格林平行光管7-2的口径内,不仅使用方便,还可避免降低测量精度的现象。
如图3所示,本发明还提供了一种利用红外-可见双波段光电探测系统进行光轴偏角测量的测量方法,包括以下步骤:
步骤一、初始化CCD传感器并获取背景灰度图像:开启CCD传感器7-5,CCD传感器7-5将未有光点的图像传输至图像处理模块7-10,图像处理模块7-10对未有光点的图像Q(x,y)中每个像元进行灰度处理,得到背景灰度图像q(x,y)。
具体实施时,CCD传感器7-5通电后带有一定亮度,在被测物1反射的光线未对多光谱综合目标靶7-6的十字分划区域进行扫描前,只能看到CCD传感器7-5采集的背景图像,为了与成像的图像进行对比,先对背景图像进行灰度处理得到背景灰度图像,使用效果好,这样可避免CCD传感器7-5对测量结果造成误差。
步骤二、中波红外光轴对中:打开多光谱光源7-7,安装可见光衰减片,将被测物1反射的光线对多光谱综合目标靶7-6的十字分划区域进行扫描,使透过可见光衰减片的中波红外光轴的中心对中多光谱综合目标靶7-6的十字分划中心,在多光谱综合目标靶7-6的十字分划中心聚焦成一个中波红外光光点;再调节CCD传感器7-5使CCD传感器7-5的像面中心对中中波红外光光点,将CCD传感器7-5的像面中心坐标视为中波红外光光点图像的质心坐标且中波红外光光点图像的质心坐标为(xz,yz)=(0,0)。
具体实施时,将中波红外光轴的中心、多光谱综合目标靶7-6的十字分划中心和CCD传感器7-5的像面中心三者完全对中,将CCD传感器7-5的像面中心坐标视为中波红外光光点图像的质心坐标且中波红外光光点图像的质心坐标为(xz,yz)=(0,0)。
步骤三、可见光光点成像:拆除可见光衰减片,安装中波红外光衰减片,调节目标靶多维调整座7-8,将被测物1反射的光线对多光谱综合目标靶7-6的十字分划区域进行扫描,使透过中波红外光衰减片的可见光轴的中心对中多光谱综合目标靶7-6的十字分划中心,在多光谱综合目标靶7-6的十字分划中心聚焦成一个可见光光点。
具体实施时,步骤二是需要透过可见光衰减片的中波红外光轴的中心对中多光谱综合目标靶7-6的十字分划中心,更换可见光衰减片,再安装中波红外光衰减片的作用是步骤三实施时确保可见光轴透射至多光谱综合目标靶7-6的十字分划中心。调节目标靶多维调整座7-8是为了保证可见光轴的中心对中多光谱综合目标靶7-6的十字分划中心。
步骤四、可见光光点图像的获取:CCD传感器7-5的成像镜面获取半透半反镜7-4反射的可见光光点,得到可见光光点图像G(x,y),CCD传感器7-5将可见光光点图像G(x,y)传输至图像处理模块7-10,图像处理模块7-10对可见光光点图像G(x,y)进行灰度化处理,获取可见光光点的灰度图像g(x,y),图像处理模块7-10对比可见光光点的灰度图像g(x,y)和背景灰度图像q(x,y)对应位置处的像元灰度值,获取可见光光点像元,当g(xi,yj)-q(xi,yj)>ε时,像元(xi,yj)为可见光光点像元,其中,g(xi,yj)为像元(xi,yj)在可见光光点的灰度图像g(x,y)中对应的灰度值,q(xi,yj)为像元(xi,xj)在背景灰度图像q(x,y)中对应的灰度值,ε为灰度阈值,(xi,yj)∈(x,y),满足g(xi,yj)-q(xi,yj)>ε的可见光光点像元组成可见光光点图像f(xi,yj),优选的,所述灰度阈值ε满足:150<ε≤255,选取灰度阈值ε>150,可获取亮度较高的可见光光点图像,避免背景灰度图像的干扰。
需要说明的是,在测量过程中,许多干扰因素使采集到的可见光光点图像包含大量的噪声,可见光光点图像G(x,y)是含有噪声或假轮廓的图像,先对可见光光点图像G(x,y)进行灰度化处理,消减干扰因素,再对可见光光点的灰度图像g(x,y)的光点像元灰度值与对应位置处的背景灰度图像q(x,y)的位光点像元灰度值对比,得到可见光光点图像f(xi,yj),设置灰度阈值ε能克服可见光光点图像G(x,y)灰度化后产生一定程度模糊效应的缺点。
步骤五、可见光光点图像的质心坐标获取,具体定位过程如下:
步骤501、可见光光点像元的插值:如图4所示,图像处理模块7-10在所述可见光光点图像区域内均匀的插入辅助点(x'u,y'v),辅助点(x'u,y'v)的灰度f(x'u,y'v)=f(xu,yv)(1-α)(1-β)+f(xu+1,yv)α(1-β)+f(xu,yv+1)(1-α)β+f(xu+1,yv+1)αβ,其中,(xu,yv)、(xu+1,yv)、(xu,yv+1)和(xu+1,yv+1)为与辅助点(x'u,y'v)相邻的可见光光点像元,且(xu,yv)、(xu+1,yv)、(xu,yv+1)和(xu+1,yv+1)均属于(xi,yj),α为第一插值系数且0<α<1,β为第二插值系数且0<β<1。
本实施例中,插入辅助点(x'u,y'v)的灰度可通过三次插值得到,首先根据(xu,yv)和(xu+1,yv)这两点的灰度值f(xu,yv)和f(xu+1,yv)插值得:
f(x'u,yv)=f(xu,yv)+α[f(xu+1,yv)-f(xu,yv)]:
然后再根据(xu,yv+1)和(xu+1,yv+1)这两点的灰度值f(xu,yv+1)和f(xu+1,yv+1)插值得:
f(x'u,yv+1)=f(xu,yv+1)+β[f(xu+1,yv+1)-f(xu,yv+1)];
最后再根据(x'u,yv)和(x'u,yv+1)这两点的灰度值f(x'u,yv)和f(x'u,yv+1)插值得:
f(x'u,y'v)=f(xu,yv)(1-α)(1-β)+f(xu+1,yv)α(1-β)+f(xu,yv+1)(1-α)β+f(xu+1,yv+1)αβ
本实施例中,通过三次插值能够提高可见光光点图像的质心坐标精度,优选的,所述第一插值系数α与第二插值系数β满足:α=β=0.5,α=β=0.5即插入辅助点(x'u,y'v)位于(xu,yv)、(xu+1,yv)、(xu,yv+1)和(xu+1,yv+1)四点的几何中心,选取处于几何中心的点更能准确的获取可见光光点图像的质心坐标。
步骤六、光轴偏角的计算:图像处理模块7-10根据公式计算中波红外光轴和可见光轴的偏角γ,其中,L为中波红外光轴与可见光轴在CCD传感器7-5的成像镜面上的偏差值,且F为卡塞格林平行光管7-2的焦距,η为CCD传感器7-5的放大率。
本实施例中,由于(xz,yz)=(0,0),则具体实施时,卡塞格林平行光管7-2的焦距F为1600mm,CCD传感器7-5的放大率η为0.09,中波红外光轴与可见光轴在CCD传感器7-5的成像镜面上的偏差值L的单位为mm。
本实施例中,步骤二和步骤三种所述被测物1反射的光线对多光谱综合目标靶7-6十字分划区域进行扫描时,先对多光谱综合目标靶7-6十字分划区域进行大视场扫描,再进行小视场扫描。
以上所述,仅是本发明的较佳实施例,并非对本发明作任何限制,凡是根据本发明技术实质对以上实施例所作的任何简单修改、变更以及等效结构变化,均仍属于本发明技术方案的保护范围内。
Claims (8)
1.红外-可见双波段光电探测系统,其特征在于:包括设置在被测物(1)反射光路上的反射系统、用于将中波红外波和可见光波进行分束的分光镜(4)、位于分光镜(4)透射光路上可见光成像单元和位于分光镜(4)反射光路上的中波红外光成像单元,以及位于反射系统反射光路上的光轴偏角测量单元;
所述可见光成像单元包括依次位于分光镜(4)透射光路上的可见光路补偿透镜组(5-1)和用于采集可见光成像的可见光探测器(5-2);
所述中波红外光成像单元包括位于分光镜(4)反射光路上的中波红外反射镜(6-1),所述中波红外反射镜(6-1)的反射光路上依次布设有中波红外光路补偿透镜组(6-2)、中波红外光路中继透镜组(6-3)和冷光阑(6-4),以及用于采集中波红外光成像的中波红外探测器(6-5);
所述光轴偏角测量单元包括位于所述反射系统反射光路上的卡塞格林平行光管(7-2),所述卡塞格林平行光管(7-2)的反射光路上设置有多光谱综合目标靶(7-6)和多光谱光源(7-7),所述卡塞格林平行光管(7-2)和多光谱综合目标靶(7-6)之间的光路上布设有半透半反镜(7-4),所述卡塞格林平行光管(7-2)和半透半反镜(7-4)之间的光路上设置有衰减片(7-3),衰减片(7-3)包括用于衰减可见光的可见光衰减片和用于衰减中波红外光的中波红外光衰减片,所述多光谱综合目标靶(7-6)设置在目标靶多维调整座(7-8)上,所述半透半反镜(7-4)的反射光路上具有CCD传感器(7-5),CCD传感器(7-5)的输出端与图像处理模块(7-10)连接。
2.根据权利要求1所述的红外-可见双波段光电探测系统,其特征在于:所述反射系统包括位于被测物(1)反射光路上的主镜(2)和位于所述主镜(2)反射光路上的次镜(3)。
3.根据权利要求2所述的红外-可见双波段光电探测系统,其特征在于:所述次镜(3)的反射光路上依次设置有双波段第一反射镜(8)和双波段第二反射镜(9),所述卡塞格林平行光管(7-2)布设在所述双波段第二反射镜(9)的反射光路上。
4.根据权利要求3所述的红外-可见双波段光电探测系统,其特征在于:所述双波段第二反射镜(9)与卡塞格林平行光管(7-2)之间的光路上设置有扩径单元(7-9)。
5.根据权利要求1所述的红外-可见双波段光电探测系统,其特征在于:所述卡塞格林平行光管(7-2)上安装有激光指示器(7-1)。
6.利用权利要求1所述光电探测系统进行光轴偏角测量的方法,其特征在于:该测量方法包括以下步骤:
步骤一、初始化CCD传感器并获取背景灰度图像:开启CCD传感器(7-5),CCD传感器(7-5)将未有光点的图像传输至图像处理模块(7-10),图像处理模块(7-10)对未有光点的图像Q(x,y)中每个像元进行灰度处理,得到背景灰度图像q(x,y);
步骤二、中波红外光轴对中:打开多光谱光源(7-7),安装可见光衰减片,将被测物(1)反射的光线对多光谱综合目标靶(7-6)的十字分划区域进行扫描,使透过可见光衰减片的中波红外光轴的中心对中多光谱综合目标靶(7-6)的十字分划中心,在多光谱综合目标靶(7-6)的十字分划中心聚焦成一个中波红外光光点;再调节CCD传感器(7-5)使CCD传感器(7-5)的像面中心对中中波红外光光点,将CCD传感器(7-5)的像面中心坐标视为中波红外光光点图像的质心坐标且中波红外光光点图像的质心坐标为(xz,yz)=(0,0);
步骤三、可见光光点成像:拆除可见光衰减片,安装中波红外光衰减片,调节目标靶多维调整座(7-8),将被测物(1)反射的光线对多光谱综合目标靶(7-6)的十字分划区域进行扫描,使透过中波红外光衰减片的可见光轴的中心对中多光谱综合目标靶(7-6)的十字分划中心,在多光谱综合目标靶(7-6)的十字分划中心聚焦成一个可见光光点;
步骤四、可见光光点图像的获取:CCD传感器(7-5)的成像镜面获取半透半反镜(7-4)反射的可见光光点,得到可见光光点图像G(x,y),CCD传感器(7-5)将可见光光点图像G(x,y)传输至图像处理模块(7-10),图像处理模块(7-10)对可见光光点图像G(x,y)进行灰度化处理,获取可见光光点的灰度图像g(x,y),图像处理模块(7-10)对比可见光光点的灰度图像g(x,y)和背景灰度图像q(x,y)对应位置处的像元灰度值,获取可见光光点像元,当g(xi,yj)-q(xi,yj)>ε时,像元(xi,yj)为可见光光点像元,其中,g(xi,yj)为像元(xi,yj)在可见光光点的灰度图像g(x,y)中对应的灰度值,q(xi,yj)为像元(xi,xj)在背景灰度图像q(x,y)中对应的灰度值,ε为灰度阈值,(xi,yj)∈(x,y),满足g(xi,yj)-q(xi,yj)>ε的可见光光点像元组成可见光光点图像f(xi,yj);
步骤五、可见光光点图像的质心坐标的获取,具体定位过程如下:
步骤501、可见光光点像元的插值:图像处理模块(7-10)在所述可见光光点图像f(xi,yj)区域内均匀的插入辅助点(x'u,y'v),辅助点(x'u,y'v)的灰度f(x'u,y'v)=f(xu,yv)(1-α)(1-β)+f(xu+1,yv)α(1-β)+f(xu,yv+1)(1-α)β+f(xu+1,yv+1)αβ,其中,(xu,yv)、(xu+1,yv)、(xu,yv+1)和(xu+1,yv+1)为与辅助点(x'u,y'v)相邻的可见光光点像元,且(xu,yv)、(xu+1,yv)、(xu,yv+1)和(xu+1,yv+1)均属于(xi,yj),α为第一插值系数且0<α<1,β为第二插值系数且0<β<1;
7.根据权利要求6所述的方法,其特征在于:所述灰度阈值ε满足:150<ε≤255。
8.根据权利要求6所述的方法,其特征在于:所述第一插值系数α与第二插值系数β满足:α=β=0.5。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711184138.1A CN107991686B (zh) | 2017-11-23 | 2017-11-23 | 红外-可见双波段光电探测系统及光轴偏角测量方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711184138.1A CN107991686B (zh) | 2017-11-23 | 2017-11-23 | 红外-可见双波段光电探测系统及光轴偏角测量方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107991686A CN107991686A (zh) | 2018-05-04 |
CN107991686B true CN107991686B (zh) | 2021-06-08 |
Family
ID=62032121
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201711184138.1A Expired - Fee Related CN107991686B (zh) | 2017-11-23 | 2017-11-23 | 红外-可见双波段光电探测系统及光轴偏角测量方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107991686B (zh) |
Families Citing this family (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108152973B (zh) * | 2017-12-13 | 2020-07-17 | 北京华航无线电测量研究所 | 一种可见光与中波红外共口径复合光学系统 |
CN108957715B (zh) * | 2018-09-19 | 2021-07-06 | 江苏无线电厂有限公司 | 一种共轴光电侦察系统 |
CN109286810B (zh) * | 2018-10-10 | 2020-08-07 | 中国科学院上海技术物理研究所 | 一种探测器填充因子的测试装置及方法 |
CN109580177B (zh) * | 2018-11-06 | 2023-09-29 | 中国科学院西安光学精密机械研究所 | 机载三光轴一致性测试组件、系统及测试方法 |
CN109696744B (zh) * | 2018-12-04 | 2020-12-08 | 湖北久之洋红外系统股份有限公司 | 一种多波段集成传感器光学系统 |
CN109738160B (zh) * | 2018-12-29 | 2020-12-29 | 湖北航天技术研究院总体设计所 | 基于激光通信系统的多光轴一致性测试装置及方法 |
CN110132544B (zh) * | 2019-04-19 | 2022-03-29 | 奥比中光科技集团股份有限公司 | 一种光学测试设备 |
CN110986903B (zh) * | 2019-12-06 | 2021-09-17 | 南京理工大学 | 用于外场观测和校准的红外及可见光十字靶 |
CN111307419A (zh) * | 2019-12-12 | 2020-06-19 | 河北汉光重工有限责任公司 | 一种用于光轴一致性检测的装置及方法 |
CN111536906B (zh) * | 2020-04-15 | 2021-12-14 | 北京仿真中心 | 毫米波/红外复合模拟器同轴度标定装置及其操作方法 |
CN111736163B (zh) * | 2020-07-06 | 2023-01-31 | 长春理工大学 | 一种天基空间目标激光测距光学系统 |
CN116047738B (zh) * | 2022-12-23 | 2024-09-20 | 中国工程物理研究院应用电子学研究所 | 一种用于激光准直及光束测量的折反射无遮拦光学装置 |
CN116858504B (zh) * | 2023-09-04 | 2023-12-08 | 武汉振光科技有限公司 | 光轴监测系统 |
CN117740332B (zh) * | 2023-11-21 | 2024-07-23 | 同济大学 | 一种双波长光束抖动和指向性的测量装置及方法 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN2458591Y (zh) * | 2001-01-20 | 2001-11-07 | 中国人民解放军总装备部军械技术研究所 | 多功能卡塞格林平行光管 |
CN201708807U (zh) * | 2010-07-06 | 2011-01-12 | 武汉奥新科技有限公司 | 多通道双功能波分复用光电集成模块 |
CN102538715A (zh) * | 2011-12-28 | 2012-07-04 | 哈尔滨工业大学 | 基于慢光材料的双频激光干涉仪直线度测量装置及测量方法 |
CN202734762U (zh) * | 2012-07-18 | 2013-02-13 | 浙江工贸职业技术学院 | 金属探伤的激光对中检测装置 |
CN203606565U (zh) * | 2013-10-25 | 2014-05-21 | 国家电网公司 | 有限远双波段光轴调校装置 |
CN203688919U (zh) * | 2013-12-30 | 2014-07-02 | 中国科学院西安光学精密机械研究所 | 一种红外/可见双波段光电自准直系统 |
CN105891837A (zh) * | 2015-02-16 | 2016-08-24 | 株式会社拓普康 | 测定装置以及三维摄像机 |
CN106908223A (zh) * | 2017-03-21 | 2017-06-30 | 西安工业大学 | 宽光谱宽照度范围观测模拟目标系统 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080173825A1 (en) * | 2007-01-10 | 2008-07-24 | Eric Stanley Reiter | Particle violation spectroscopy |
US8471204B2 (en) * | 2010-12-23 | 2013-06-25 | Flir Systems, Inc. | Monolithic electro-optical polymer infrared focal plane array |
CN102540170B (zh) * | 2012-02-10 | 2016-02-10 | 江苏徕兹光电科技股份有限公司 | 基于双波长激光管相位测量的校准方法及其测距装置 |
CN102818543B (zh) * | 2012-08-20 | 2014-12-03 | 北京理工大学 | 基于数字图像的无标靶多光轴平行度检测系统 |
-
2017
- 2017-11-23 CN CN201711184138.1A patent/CN107991686B/zh not_active Expired - Fee Related
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN2458591Y (zh) * | 2001-01-20 | 2001-11-07 | 中国人民解放军总装备部军械技术研究所 | 多功能卡塞格林平行光管 |
CN201708807U (zh) * | 2010-07-06 | 2011-01-12 | 武汉奥新科技有限公司 | 多通道双功能波分复用光电集成模块 |
CN102538715A (zh) * | 2011-12-28 | 2012-07-04 | 哈尔滨工业大学 | 基于慢光材料的双频激光干涉仪直线度测量装置及测量方法 |
CN202734762U (zh) * | 2012-07-18 | 2013-02-13 | 浙江工贸职业技术学院 | 金属探伤的激光对中检测装置 |
CN203606565U (zh) * | 2013-10-25 | 2014-05-21 | 国家电网公司 | 有限远双波段光轴调校装置 |
CN203688919U (zh) * | 2013-12-30 | 2014-07-02 | 中国科学院西安光学精密机械研究所 | 一种红外/可见双波段光电自准直系统 |
CN105891837A (zh) * | 2015-02-16 | 2016-08-24 | 株式会社拓普康 | 测定装置以及三维摄像机 |
CN106908223A (zh) * | 2017-03-21 | 2017-06-30 | 西安工业大学 | 宽光谱宽照度范围观测模拟目标系统 |
Non-Patent Citations (1)
Title |
---|
"双波段机载光电平台跟踪精度检测装置分析";张宁等;《激光与红外》;20121231;第786-789页 * |
Also Published As
Publication number | Publication date |
---|---|
CN107991686A (zh) | 2018-05-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107991686B (zh) | 红外-可见双波段光电探测系统及光轴偏角测量方法 | |
CN101738619B (zh) | 双波段红外光学系统 | |
EP2342590B1 (en) | Reflective triplet optical form with external rear aperture stop for cold shielding | |
CN106371200B (zh) | 宽波段大视场大口径折轴三反无焦光学系统 | |
KR101607355B1 (ko) | 레이저 경로를 갖는 다중 시계의 반사식 텔레스코프 | |
CN101634744B (zh) | 折反式双谱段凝视成像系统 | |
JP7335982B2 (ja) | 空中地形測深LiDARシステム及びその方法 | |
CN105181137A (zh) | 用于地基对月观测的宽波段高光谱分辨率成像系统 | |
CN215263105U (zh) | 一种机载推扫式光谱偏振一体化海面溢油探测系统 | |
CN111751915B (zh) | 一种基于自由曲面棱镜的紧凑型红外取景器光学系统 | |
CN107450179B (zh) | 基于多路半导体激光器的主动关联成像光学系统 | |
CN106643689A (zh) | 一种多模共光路位姿测量装置 | |
CN205594223U (zh) | 一种折返式长焦可见光近红外双光成像镜头 | |
Botygina et al. | Two-mirror adaptive system for correction of atmospheric disturbances of the Large solar vacuum telescope | |
CN111751914B (zh) | 具有双波段和双视场的共口径红外自由曲面棱镜光学系统 | |
CN213399037U (zh) | 长焦距大口径中长波双波段红外光学系统 | |
CN106019560A (zh) | 一种视频监测用高清透雾光电校靶镜头 | |
GB2537070A (en) | Zoom objective and camera system | |
CN105866936B (zh) | 一种机载超广角全球面反射式光学系统 | |
CN109696744A (zh) | 一种多波段集成传感器光学系统 | |
CN210465830U (zh) | 一种无遮拦长焦距星敏感器光学系统 | |
CN107121760A (zh) | 一种宽波段制冷红外折反射全景镜头 | |
CN108152218B (zh) | 一种测量蒙气色差的方法及装置 | |
CN206248908U (zh) | 宽波段大视场大口径折轴三反无焦光学系统 | |
CN111638527A (zh) | 一种观瞄镜 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20210608 Termination date: 20211123 |
|
CF01 | Termination of patent right due to non-payment of annual fee |