CN117848502A - 基于像差补偿的编码孔径偏振光谱成像装置和方法 - Google Patents

基于像差补偿的编码孔径偏振光谱成像装置和方法 Download PDF

Info

Publication number
CN117848502A
CN117848502A CN202410252585.XA CN202410252585A CN117848502A CN 117848502 A CN117848502 A CN 117848502A CN 202410252585 A CN202410252585 A CN 202410252585A CN 117848502 A CN117848502 A CN 117848502A
Authority
CN
China
Prior art keywords
angle
polarization
detector
imaging
spectrum
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202410252585.XA
Other languages
English (en)
Other versions
CN117848502B (zh
Inventor
付强
赵桐
王稼禹
刘嘉楠
王�琦
刘轩玮
董超
赵锐
王李勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changchun University of Science and Technology
Original Assignee
Changchun University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changchun University of Science and Technology filed Critical Changchun University of Science and Technology
Priority to CN202410252585.XA priority Critical patent/CN117848502B/zh
Publication of CN117848502A publication Critical patent/CN117848502A/zh
Application granted granted Critical
Publication of CN117848502B publication Critical patent/CN117848502B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28Investigating the spectrum
    • G01J3/2823Imaging spectrometer
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02Details
    • G01J3/0205Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02Details
    • G01J3/0205Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows
    • G01J3/0208Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows using focussing or collimating elements, e.g. lenses or mirrors; performing aberration correction
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02Details
    • G01J3/0205Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows
    • G01J3/021Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows using plane or convex mirrors, parallel phase plates, or particular reflectors
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02Details
    • G01J3/0291Housings; Spectrometer accessories; Spatial arrangement of elements, e.g. folded path arrangements
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02Details
    • G01J3/0297Constructional arrangements for removing other types of optical noise or for performing calibration
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28Investigating the spectrum
    • G01J3/447Polarisation spectrometry

Landscapes

  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Light Control Or Optical Switches (AREA)

Abstract

基于像差补偿的编码孔径偏振光谱成像装置和方法,属于光谱成像技术领域,解决光谱成像技术中由于像差导致系统的分辨率降低,光谱通道数减少问题。本发明的装置包括:照明系统装置、数字微镜阵列驱动装置、滤波光谱装置、偏振成像装置和像差校准装置。因数字微镜阵列引起的像差会影响光学成像系统的测量精度和成像效果,有必要对其进行像差补偿。本发明通过利用倾角探测器将像面倾斜一定角度来补偿轴外视场的光程差,再通过在物镜后端放置一反射镜实现光轴偏移补偿离轴像差进而提高系统整体的分辨率,同时融合偏振成像与光谱成像技术,反映目标的组成、结构和材料特性,在航天遥感、医疗诊断和机器视觉等领域具有重要的应用价值。

Description

基于像差补偿的编码孔径偏振光谱成像装置和方法
技术领域
本申请涉及光谱成像技术领域,尤其涉及编码孔径偏振光谱成像。
背景技术
随着遥感技术的发展,为使空间、光谱和偏振三维信息优势互补,增强探测复杂背景中目标的能力,在现有基础上出现了集三维信息获取技能于一体的新型前沿遥感探测技术——偏振光谱成像技术。偏振光谱成像技术可以描述目标的形貌特征。
光谱技术是描述物体与各种波长的光相互作用的物理过程,在成像领域能获得物体的空间-光谱数据立方体,每一个像素都能提供几十到几百个连续的、带间距很窄的光谱信息。融合了偏振的偏振光谱成像具有较高的光谱分辨能力,能够反映物体的散射和反射特征,蕴含着丰富的物体信息。偏振光谱成像技术是由偏振调制模块和光谱分光模块融合而成,后两者自身工作特点决定着前者的特性。对于编码孔径偏振光谱成像系统来说,编码掩模板位置决定了该系统的编码调制方式,空间维编码是先调制再分光,光谱维编码是先分光再调制,通过结合偏振片与1/4波片或在探测端使用偏振探测器接收成像。两种编码方式都可以通过前期编码、后期解码的方式重构出完整目标图像和偏振光谱。这些年来得到了广泛的应用,在军事侦察、地球资源普查、环境卫生监测、自然灾害预报、大气探测、天文观测、机器视觉仿生、生物医学诊断等诸多领域都将具有重要的应用价值和前景。
近些年来,基于空间光调制器的计算光谱技术作为一种优势较大的快照式光谱成像技术已成为国内外研究热点。它可以在快照的方式下对光谱立方体进行采集,无运动部件,可以对较好对动态目标探测。将偏振技术与快照式光谱技术相结合,可以一次或多次曝光获取目标的光谱、偏振多维特性,提高目标探测、识别及分类的效率和精准度。但由于该类系统存在空间和光谱分辨率固化、光谱解混复杂、解算速度慢等问题,目前该技术与实际应用还有一定的距离。如何灵活调制系统的空间、光谱分辨率并使二者得到最优匹配,有效提升光谱解算速度,是该类光谱成像系统得到突破性发展的关键所在。
而随着近年来微机电系统(micro-electro-mechanical system, MEMS)技术的快速发展,使得数字微镜阵列DMD 替代编码错误率高、光通量低的传统机械模板和液晶空间光调制器等作为编码器件应用在编码孔径光谱成像系统中,其可以充分发挥编码孔径光谱成像系统高光通量、高信噪比的特点。
但是DMD不同于平面反射镜只存在一个旋转轴,其表面各个微反射镜分别绕自身旋转轴旋转,造成入射到DMD表面不同高度的光线存在光程差,继而引发了一系列的像差。如果这类系统的像差过大且不予以补偿消除的话,将会引起系统的分辨率降低,光谱通道数减少等问题,最终影响整个系统的工作效能。目前国内外针对编码孔径成像偏振光谱技术的研究主要关注点在于编码孔径算法的验证,而对于编码孔径成像偏振光谱仪光学系统成像质量尚未有深入的研究及探讨。
发明内容
本发明目的是为了解决现有光谱成像技术中由于像差导致系统的分辨率降低,光谱通道数减少等问题,提供了基于像差补偿的编码孔径偏振光谱成像装置和方法。
本发明是通过以下技术方案实现的,本发明一方面,提供一种基于像差补偿的编码孔径偏振光谱成像装置,所述装置包括:面光源、物镜、数字微镜阵列DMD、准直透镜、带通滤光片、双阿米西棱镜、成像透镜、偏振探测器和计算机,所述装置还包括:平面反射镜、滑轨、电动旋转台和倾角探测器;
平面反射镜位于数字微镜阵列DMD与准直透镜间且位于二者光轴外侧,光线先经平面反射镜反射至DMD,在物镜后加入平面反射镜实现光轴偏移;
滑轨位于电动旋转台平面上,用于固定准直透镜、带通滤光片、双阿米西棱镜、成像透镜和偏振探测器,调整装调对准角度,并使多个光学元件光轴保持一致;
电动旋转台用于控制像面倾角,使用蜗轮蜗杆传动,标配带编码器的伺服电机,通过沙姆原理计算像面倾角输入至倾角探测器,由倾角探测器接收像面倾角并反馈至电动旋转台控制旋转角度以达到控制像面倾角进而补偿像差的目的;
倾角探测器位于电动旋转台上,被测方向与滑轨呈垂直关系放置,探测像面倾角并反馈探测像面倾角使电动旋转台旋转至最佳像面倾角。
进一步地,所述装置的工作流程包括:
面光源照射目标物体,目标物体的反射光通过物镜和平面反射镜后到达DMD上,实现光轴偏移,使成像透镜的像平面向后倾斜并且与DMD平面平行;
DMD由反射微镜阵列组成,通过编程为其加载相应的编码矩阵以控制各微镜的驱动电压,使各微镜沿各自的对角线进行翻转,从而实现每个微镜上入射光信号的选通或阻断,其响应时间为微秒级,且微镜的翻转状态可随时锁定,通过在DMD上加载设计好的编码模板,以满足对所探测波段的入射光的高速且连续的控制,完成空间维度的可编程调制编码操作;
经编码模板调制后的带有空间信息的可见光经过准直透镜准直后,再经过带通滤光片选择特定范围可见光波段通过后到达双阿米西棱镜进行色散,产生光谱分离移位后经成像透镜由偏振探测器接收;
DMD后端成像系统对准校正后固定于滑轨上,经伺服电机与圆感应同步器协同驱动电动旋转台旋转带动成像系统的旋转,电动旋转台旋转角度由倾角探测器进行测量标定,通过多次标定至像质最佳倾角。
进一步地,所述偏振探测器由焦平面旋光仪和传感器构成,传感器上的每个超像素由2*2微像素组成,具有四个不同的微偏振片。
进一步地,所述装置还包括倾角探测器装置,所述倾角探测器装置包括传感器模块、滤波电路、模数转换器ADC模块、微控制单元MCU模块、数据输出模块和电源。
进一步地,当倾角探测器发生角度倾斜时,测量重力加速度在传感器模块的敏感轴上的分量大小,并将该加速度信号转换成模拟电压信号,该信号经模数转换器ADC模块A/D采样后输送到微控制单元MCU模块中经滤波电路进行数字滤波,并换算成对应的倾角值,再经过数据输出模块输出,最后倾角探测器通过数据输出模块将倾角数据输送到倾角探测器的计算机上显示。
进一步地,所述平面反射镜表面与光路相垂直,平面反射镜角度的计算公式为:
其中,为空气折射率,为入射角度,为出射角度,入射角等于反射角。
第二方面,本发明提供一种基于像差补偿的编码孔径偏振光谱成像方法,所述方法包括:
步骤1:确定系统指标与器件,包括:根据系统成像初始结构,确定编码孔径偏振光谱系统空间分辨率、光谱分辨率、光谱通道数及偏振通道数;
步骤2:确定偏振探测器,包括:根据空间分辨率、光谱分辨率及光谱通道数,确定偏振探测器的分辨率及像元尺寸指标;
步骤3:分析混叠模型,包括:设计编码矩阵,建立系统各元器件的多维离散化能量传输模型,以及偏振探测器靶面获取的空间信息、光谱信息及偏振信息的二维混叠模型,解析系统中每个器件的多维离散化能量传输模型中光谱信息与偏振信息的混叠是否独立;编码后的空间、光谱和偏振二维混叠信息是否符合压缩感知的有限等距性质;
步骤4:确定解混重构方法,包括:根据偏振探测器靶面获取的空间信息、光谱信息和偏振信息二维混叠模型,确定并优化测量矩阵、稀疏矩阵、编码矩阵与重构算法;根据偏振阵列、编码矩阵与双阿米西棱镜的对应关系,经过TwIST经典算法还原出每个偏振方向的光谱图像,最后形成数据立方体;
步骤5:考虑DMD引起的轴外视场光程差与DMD表面上的像高相关,将像面倾斜一定角度来补偿轴外视场的光程差;计算像面倾斜角度并由倾角探测器接收测量角度值输入至电动旋转台,通过将接收像面系统放置于电动旋转台控制旋转角度进一步达到补偿像差的目的,所述接收像面系统包括准直透镜、带通滤光片、双阿米西棱镜、成像透镜和偏振探测器;
步骤6:调整平面反射镜的位置和角度至成像结果最清晰;
步骤7:倾角探测器检测标定,包括:将标定倾角探测器和待测倾角探测器平行固定于电动旋转台上,输入装置用于输入预设角度,根据步骤五计算得出的角度β作为最终输入角度即最终定标点,根据标定倾角探测器检测到的角度与设定角度之间的差值间增加定标点数量,将角度差值均分若干个定标点依次定标,控制伺服机构驱动旋转至所需转动的定标角度,若标定倾角探测器检测到的角度与待测倾角探测器检测到的角度之间的差值在预设范围内,则继续调整电动旋转台角度至成像最清晰角度;
步骤8:倾角探测器失真校正,包括:若标定倾角探测器检测到的角度与待测倾角探测器检测到的角度之间的差值未在预设范围内,则继续定标多次对比前后定标角度是否在预设范围内,若发现仍不符合则需要检查安装,再进一步重新进行校准,调整校准参数,进一步考虑环境因素,最后进行软件滤波和算法优化。
进一步地,步骤5中,所述角度为根据Schleimphlug原理获取,获取公式为:
其中,,w为栅格化图像的宽度,d为拼接处上下错位最大容许的误差限,分别为物面和像面与垂直光轴面的夹角,镜组偏离垂直情况的倾角,为镜组倾斜前物面点的物距,t为二主面间距,
其中,分别隔镜组倾斜后点的物距和像距物 、像主点距离、镜组焦距。
进一步地,步骤3中,所述分析混叠模型的建立方法为:
建立系统多维离散化能量传输模型,系统中物镜将目标数据立方体A1成像在其焦平面处,数字微镜阵列为一次像面并编码,编码调制后的数据立方体A2经准直透镜后经带通滤光片透射,又经双阿米西棱镜色散,色散后数据立方体为A3;然后经成像透镜将编码后光谱偏振图像成像到偏振成像装置上,所述偏振成像装置包括4个偏振分量的接收成像通道、图像融合单元、编码器、解码器和计算机,经探测器上偏振阵列完成透光轴为0°、45°、90°、135°的偏振通道选通编码,获取偏振探测器的二维数据;
建立目标不同偏振方向的光谱密度A1为,其中,x和y是两个空间维度,表示波长,表示线性斯托克斯分量,其中k=0,1,2;
建立经DMD编码调制后的数据立方体A2为,T(x,y)表示编码孔径的空间坐标对应的光谱密度影响;
经过光学设计对准,空间维度和DMD与探测器靶面的空间坐标相互对应,有
其中,代表DMD的靶面,是编码平面上位置(i,j)处的二进制传输值,代表DMD微镜的大小;
在通过双阿米西棱镜移位之后,偏振探测器之前的四维数据立方体变为
其中,描述准直透镜、双阿米西棱镜和成像透镜的平移不变光学脉冲响应,并且描述由双阿米西棱镜引起的色散位移;
建立偏振探测器靶面获取的空间信息、光谱信息及四组偏振信息的二维混叠模型,编码的四维数据立方体投影到偏振探测器的传感器上;传感器的每个像素测量在光谱区域上的特定偏振角处的光谱密度的积分强度。
进一步地,第(m,n)个像素i处的强度
其中,为每个像素测量在光谱区域上的特定偏振角处的光谱密度的积分强度,表示三个线性斯托克斯通道求和,表示DMD微镜的大小,m和n表示像素坐标,表示对x与y方向上的二重积分,表示对光谱区域的积分,分别表示对x方向,y方向和光谱的微分。
本发明的有益效果:
本发明针对 DMD 在编码孔径成像偏振光谱仪光学系统中造成的像差影响提出了一种基于像差补偿的编码孔径偏振光谱成像装置,能在一定程度上提高系统的成像质量,提高系统的分辨率,充分发挥编码孔径偏振光谱成像系统高光通量、高信噪比的特点。
本发明的装置包括:照明系统装置、数字微镜阵列驱动装置、滤波光谱装置、偏振成像装置和像差校准装置(包含倾角探测器、电动旋转台和计算机)。由于数字微镜阵列引起的像差会影响光学成像系统的测量精度和成像效果,因此有必要对其进行像差补偿。所述方法通过利用倾角探测器将像面倾斜一定角度来补偿轴外视场的光程差,再通过在物镜后端放置一反射镜实现光轴偏移补偿离轴像差进而提高系统整体的分辨率,同时融合偏振成像与光谱成像技术,反映目标的组成、结构和材料特性,在航天遥感、医疗诊断和机器视觉等领域具有重要的应用价值。
与传统方法相比,本方法从硬件上分析对系统光谱偏振分辨率精度的影响,硬件上放置一反射镜改变光轴移位与利用Schleimphlug 原理通过控制像面倾角补偿光程差从而校正DMD微镜引起的像差,提升整个系统的成像质量;引入平面反射镜对成像臂光轴进行弯曲,而且平面反射镜不会引入额外的像差,解决了DMD前端空间狭小,成像臂与中继臂之间的空间占用和冲突,实现两臂夹角及成像透镜位置和姿态的自由调节,并且两个臂不再并排放置。因此,可以减小成像透镜的像距和准直透镜的物距,这使得该系统的结构更加紧凑,从而提高了系统的灵活性和集成度,最终使整个系统的成像质量得到有效提升。
本发明适在航天遥感、医疗诊断和机器视觉等领域具有重要的应用价值。
附图说明
为了更清楚地说明本申请的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,对于本领域普通技术人员而言,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为Schleimphlug 原理示意图;
图2为空间维编码孔径偏振光谱成像系统示意图;
图3为偏振探测器阵列示意图;
图4为实验效果图,左图为像差未补偿时的效果图,右图图像质量清晰,为补偿像差后的效果图;
图5为基于像差补偿的编码孔径偏振光谱成像装置结构框图。
具体实施方式
下面详细描述本发明的实施方式,所述实施方式的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的,旨在用于解释本发明,而不能理解为对本发明的限制。
实施方式一、一种基于像差补偿的编码孔径偏振光谱成像装置,如图2所示,所述装置包括:面光源、物镜、数字微镜阵列DMD、准直透镜、带通滤光片、双阿米西棱镜、成像透镜、偏振探测器和计算机,所述装置还包括:平面反射镜、滑轨、电动旋转台和倾角探测器;
平面反射镜位于数字微镜阵列DMD与准直透镜间且位于二者光轴外侧,光线先经平面反射镜反射至DMD,在物镜后加入平面反射镜实现光轴偏移;
滑轨位于电动旋转台平面上,用于固定准直透镜、带通滤光片、双阿米西棱镜、成像透镜和偏振探测器,调整装调对准角度,并使多个光学元件光轴保持一致;
电动旋转台用于控制像面倾角,使用蜗轮蜗杆传动,标配带编码器的伺服电机,通过沙姆原理计算像面倾角输入至倾角探测器,由倾角探测器接收像面倾角并反馈至电动旋转台控制旋转角度以达到控制像面倾角进而补偿像差的目的;
倾角探测器位于电动旋转台上,被测方向与滑轨呈垂直关系放置,探测像面倾角并反馈探测像面倾角使电动旋转台旋转至最佳像面倾角。
本实施方式中,现有技术中已有部件包括面光源,物镜,数字微镜阵列,准直透镜,带通滤光片,双阿米西棱镜,成像透镜,偏振探测器;本实施方式改进的部件包括平面反射镜,滑轨,电动旋转台、倾角探测器;接收像面系统即从准直透镜到偏振探测器的后端整体系统,固定于滑轨上;平面反射镜旋转角度不影响像差,针对DMD引起的像差,加入平面反射镜能进一步补偿像差,不引起像差,能在一定程度上提高系统的成像质量,提高系统的分辨率,充分发挥编码孔径偏振光谱成像系统高光通量、高信噪比的特点。
实施方式二,本实施方式是对实施方式一所述的一种基于像差补偿的编码孔径偏振光谱成像装置的进一步限定,本实施方式中,对所述装置的工作流程,做了进一步限定,具体包括:
所述装置的工作流程包括:
面光源照射目标物体,目标物体的反射光通过物镜和平面反射镜后到达DMD上,实现光轴偏移,使成像透镜的像平面向后倾斜并且与DMD平面平行;
DMD由反射微镜阵列组成,通过编程为其加载相应的编码矩阵以控制各微镜的驱动电压,使各微镜沿各自的对角线进行翻转,从而实现每个微镜上入射光信号的选通或阻断,其响应时间为微秒级,且微镜的翻转状态可随时锁定,通过在DMD上加载设计好的编码模板,以满足对所探测波段的入射光的高速且连续的控制,完成空间维度的可编程调制编码操作;
经编码模板调制后的带有空间信息的可见光经过准直透镜准直后,再经过带通滤光片选择特定范围可见光波段通过后到达双阿米西棱镜进行色散,产生光谱分离移位后经成像透镜由偏振探测器接收;
DMD后端成像系统对准校正后固定于滑轨上,经伺服电机与圆感应同步器协同驱动电动旋转台旋转带动成像系统的旋转,而电动旋转台旋转角度由倾角探测器进行测量标定,通过多次标定至像质最佳倾角。
本实施方式可以实现每个微镜上入射光信号的选通或阻断,其响应时间为微秒级,且微镜的翻转状态可随时锁定,因此通过在DMD上加载设计好的编码模板,即可满足对所探测波段的入射光的高速且连续的控制,完成空间维度的可编程调制编码操作。
实施方式三,本实施方式是对实施方式二所述的一种基于像差补偿的编码孔径偏振光谱成像装置的进一步限定,本实施方式中,对所述偏振探测器,做了进一步限定,如图3所示,具体包括:
所述偏振探测器是由焦平面旋光仪和传感器构成,传感器上的每个超像素由2*2微像素组成,具有四个不同偏振方向即0°、45°、90°和135°的微偏振片。
本实施方式中,采用的偏振探测器的优势是可以同时获取目标偏振及光谱成像信息,在利用光谱进行物质识别的同时利用偏振增强对比度,可以一定程度上克服复杂背景环境对识别结果的影响。
实施方式四,本实施方式是对实施方式一所述的一种基于像差补偿的编码孔径偏振光谱成像装置的进一步限定,本实施方式中,对所述基于像差补偿的编码孔径偏振光谱成像装置,做了进一步限定,具体包括:
所述装置还包括倾角探测器装置,所述倾角探测器装置包括传感器模块、滤波电路、模数转换器ADC模块、微控制单元MCU模块、数据输出模块和电源。
本实施方式中,倾角探测器装置的功能是测量像面倾角,以每次测量的倾角值迭代补偿像差。
实施方式五,本实施方式是对实施方式四所述的一种基于像差补偿的编码孔径偏振光谱成像装置的进一步限定,本实施方式中,对所述倾角探测器装置的工作方式,做了进一步限定,具体包括:
当倾角探测器发生角度倾斜时,测量重力加速度在传感器模块的敏感轴上的分量大小,并将该加速度信号转换成模拟电压信号,该信号经模数转换器ADC模块A/D采样后输送到微控制单元MCU模块中经滤波电路进行数字滤波,并换算成对应的倾角值,再经过数据输出模块输出,最后倾角探测器通过数据输出模块将倾角数据输送到倾角探测器的计算机上显示。
本实施方式中的倾角探测器装置的工作方式可以实现自动标定倾角值,调整输入角度值进一步补偿像差。
实施方式六,本实施方式是对实施方式一所述的一种基于像差补偿的编码孔径偏振光谱成像装置的进一步限定,本实施方式中,对所述平面反射镜,做了进一步限定,具体包括:
所述平面反射镜的表面是垂直的,平面反射镜角度的计算公式为:
其中,为空气折射率,为入射角度,为出射角度,即入射角等于反射角
本实施方式中平面反射镜角度的设置方法的目的是补偿数字微镜阵列DMD转动角度引起的光程差,实现光轴偏移,同时提高了系统的灵活性和集成度。
实施方式七,一种基于像差补偿的编码孔径偏振光谱成像方法,所述方法包括:
步骤1:确定系统指标与器件,包括:根据系统成像初始结构,确定编码孔径偏振光谱系统空间分辨率、光谱分辨率、光谱通道数及偏振通道数;
步骤2:确定偏振探测器,包括:根据空间分辨率、光谱分辨率及光谱通道数,确定偏振探测器的分辨率及像元尺寸指标;
步骤3:分析混叠模型,包括:设计编码矩阵,建立系统各元器件的多维离散化能量传输模型,以及偏振探测器靶面获取的空间信息、光谱信息及偏振信息的二维混叠模型,解析系统中每个器件的多维离散化能量传输模型中光谱信息与偏振信息的混叠是否独立;编码后的空间、光谱和偏振二维混叠信息是否符合压缩感知的有限等距性质;
步骤4:确定解混重构方法,包括:根据偏振探测器靶面获取的空间信息、光谱信息和偏振信息二维混叠模型,确定并优化测量矩阵、稀疏矩阵、编码矩阵与重构算法;根据偏振阵列、编码矩阵与双阿米西棱镜的对应关系,经过TwIST经典算法还原出每个偏振方向的光谱图像,最后形成数据立方体。
步骤5:考虑DMD引起的轴外视场光程差与DMD表面上的像高相关,将像面倾斜一定角度来补偿轴外视场的光程差;计算像面倾斜角度并由倾角探测器接收测量角度值输入至电动旋转台,通过将接收像面系统放置于电动旋转台控制旋转角度进一步达到补偿像差的目的,所述接收像面系统包括准直透镜、带通滤光片、双阿米西棱镜、成像透镜和偏振探测器;
步骤6:调整平面反射镜的位置和角度至成像结果最清晰;
步骤7:倾角探测器检测标定,包括:将标定倾角探测器和待测倾角探测器平行固定于电动旋转台上,输入装置用于输入预设角度,根据步骤五计算得出的角度β作为最终输入角度即最终定标点,根据标定倾角探测器检测到的角度与设定角度之间的差值间增加定标点数量,将角度差值均分若干个定标点依次定标,控制伺服机构驱动旋转至所需转动的定标角度,若标定倾角探测器检测到的角度与待测倾角探测器检测到的角度之间的差值在预设范围内,则继续调整电动旋转台角度至成像最清晰角度;
步骤8:倾角探测器失真校正,包括:若标定倾角探测器检测到的角度与待测倾角探测器检测到的角度之间的差值未在预设范围内,就继续定标多次对比前后定标角度是否在预设范围内,若发现仍不符合则需要检查安装,再进一步重新进行校准,调整校准参数,进一步考虑环境因素,最后进行软件滤波和算法优化;
本实施方式中给出了如上文所述的一种基于像差补偿的编码孔径偏振光谱成像装置的具体实施方法,该方法从硬件上分析对系统光谱偏振分辨率精度的影响,硬件上放置一平面反射镜改变光轴移位与利用Schleimphlug 原理通过控制像面倾角补偿光程差从而校正DMD微镜引起的像差,提升整个系统的成像质量;引入平面反射镜对成像臂光轴进行移位,而且平面反射镜不会引入额外的像差,解决了DMD前端空间狭小的问题,使成像臂与中继臂之间的空间占用和冲突,实现两臂夹角及成像透镜位置和姿态的自由调节,并且两个臂不再并排放置。因此,可以减小成像透镜的像距和准直透镜的物距,这使得该系统的结构更加紧凑,从而提高了系统的灵活性和集成度,最终使整个系统的成像质量得到有效提升。
实施方式八,本实施方式是对实施方式七所述的一种基于像差补偿的编码孔径偏振光谱成像方法的进一步限定,本实施方式中,对步骤5中,所述角度的获取方法,做了进一步限定,如图1所示,具体包括:
步骤5中,所述角度为根据Schleimphlug原理获取,获取公式为:
其中,,w为栅格化图像的宽度,d为拼接处上下错位最大容许的误差限,分别为物面和像面与垂直光轴面的夹角,镜组偏离垂直情况的倾角,为镜组倾斜前物面点的物距,t为二主面间距,
其中,分别隔镜组倾斜后点的物距和像距物 、像主点距离、镜组焦距。
本实施方式中给出了步骤5中角度的具体获取方法,利用Schleimphlug 原理通过控制像面倾角补偿光程差从而校正DMD微镜引起的像差,可以提升整个系统的成像质量。
实施方式九,本实施方式是对实施方式七所述的一种基于像差补偿的编码孔径偏振光谱成像方法的进一步限定,本实施方式中,对步骤3中,所述分析混叠模型的建立方法,做了进一步限定,具体包括:
步骤3中,所述分析混叠模型的建立方法为:
建立系统多维离散化能量传输模型,系统中物镜将目标数据立方体A1成像在其焦平面处,数字微镜阵列为一次像面并编码,编码调制后的数据立方体A2经准直透镜后经带通滤光片透射,又经双阿米西棱镜色散,色散后数据立方体为A3;然后经成像透镜将编码后光谱偏振图像成像到偏振探测器上,所述偏振探测器包括4个偏振分量的接收成像通道、图像融合单元、编码器、解码器和计算机,经探测器上偏振阵列完成透光轴为0°、45°、90°、135°的偏振通道选通编码,获取偏振探测器的二维数据;
建立目标不同偏振方向的光谱密度A1为,其中,x和y是两个空间维度,表示波长,表示线性斯托克斯分量,其中k=0,1,2;
建立经DMD编码调制后的数据立方体A2为,T(x,y)表示编码孔径的空间坐标对应的光谱密度影响;
经过光学设计对准,空间维度和DMD与探测器靶面的空间坐标相互对应,有
其中,代表DMD的靶面,是编码平面上位置(i,j)处的二进制传输值,代表DMD微镜的大小;
在通过双阿米西棱镜移位之后,偏振探测器之前的四维数据立方体变为
其中,描述准直透镜、双阿米西棱镜和成像透镜的平移不变光学脉冲响应,并且描述由双阿米西棱镜引起的色散位移;
建立偏振探测器靶面获取的空间信息、光谱信息及四组偏振信息的二维混叠模型,编码的四维数据立方体投影到偏振探测器的传感器上;传感器的每个像素测量在光谱区域上的特定偏振角处的光谱密度的积分强度。
本实施方式中建立的分析混叠模型可以实现整个系统成像工作过程的清晰化,根据成像结果评判图像质量作为判断像差补偿好坏的依据。
实施方式十,本实施方式是对实施方式九所述的一种基于像差补偿的编码孔径偏振光谱成像方法的进一步限定,本实施方式中,对所述强度的计算方法,做了进一步限定,具体包括:
第(m,n)个像素i处的强度
(17)
其中,为每个像素测量在光谱区域上的特定偏振角处的光谱密度的积分强度,表示三个线性斯托克斯通道求和,表示DMD微镜的大小,m和n表示像素坐标,表示对x与y方向上的二重积分,表示对光谱区域的积分,分别表示对x方向,y方向和光谱的微分。
本实施方式中第(m,n)个像素i处的强度的计算方式可以实现整个系统成像工作过程的清晰化,根据成像结果评判图像质量作为判断像差补偿好坏的依据。
实施方式十一,本实施方式是对如上文所述的一种基于像差补偿的编码孔径偏振光谱成像装置的实施例1,具体包括:
一种基于像差补偿的编码孔径偏振光谱成像装置及方法,可以实现偏振光谱仪的高分辨率的同时提高成像质量,该系统包括下列部件:
面光源,目标物体的前端,位于整个成像系统的最前端,系统成像光源。
物镜,位于整个目标物体的后端,用于将视场内的目标成像在其焦平面。尼康AF-SDX VR 18-105 mm f/3.5-5.6 G ED用作成像透镜(可变焦距),其焦距和F/#分别设置为35mm和4.5。
平面反射镜,位于数字微镜阵列(DMD)与准直透镜间且位于二者光轴外侧,光线先经平面反射镜反射至DMD,在物镜后加入平面反射镜实现光轴偏移,选择平均反射率为95%的大恒光学GCC-102201作为平面反射镜。
数字微镜阵列(DMD),位于准直透镜前端,由反射微镜阵列组成,通过编程为其加载相应的编码矩阵可以控制各微镜的驱动电压,使各微镜沿各自的对角线进行翻转,从而实现每个微镜上入射光信号的选通或阻断,完成对空间光空间维度的编码调制;DMD选用上海昊量光电V-6501,微镜阵列1920*1080,微镜单元尺寸为7.6μm,光谱范围为400-700nm。
准直透镜,位于数字微镜阵列(DMD)的后端,其物方焦平面与物镜的像方焦平面重合,且其物方焦平面与DMD位置重合,对物镜所成的像进行准直,使得光线经过准直透镜后按照一定的视场和口径平行出射到达带通滤光片,选用显微镜物镜(Zolix X4)作为准直透镜。
带通滤光片,位于准直透镜的后面,只允许较窄波长范围的光通过,采用两片滤光片配合,将可用光谱范围限制在400-700 nm。
双阿米西棱镜(Double Amici Prsim),位于带通滤光片后面,由两组完全相同的棱镜组成,每组由三块分光棱镜合成。这二组复合棱镜组可以用一个旋钮调节,使之绕测量光轴各自沿相反的方向同时转动,使由带通滤光片透过的空间光经棱镜产生色散进行分光偏移;
成像透镜,位于双阿米西棱镜后面,接收阿米西棱镜色散后产生的光,成像到偏振探测器上,成像透镜头选用天塞透镜。
偏振探测器,位于成像透镜后端,偏振探测器是焦平面分光偏振计,并且传感器上的每个超像素由具有四个不同微偏振片的2*2微像素组成。
滑轨,位于电动旋转台平面上,使用螺丝固定,用于固定后端成像系统,调整装调对准角度,使多个光学元件光轴保持一致,所述成像系统包括准直透镜、带通滤光片、双阿米西棱镜、成像透镜和偏振探测器。实现滑轨上的装置固定不动,置于电动旋转台上,调整电动旋转台的角度即调整了滑轨的角度。
电动旋转台:放置于任意平面上即置于面包板上,控制像面倾角,使用精研蜗轮蜗杆传动,实现较高的定位性能与运动性能,标配带编码器的伺服电机,通过沙姆原理计算像面倾角输入至倾角探测器,由倾角探测器接收像面倾角并反馈至电动旋转台控制旋转角度以达到控制像面倾角进而补偿像差的目的。采用卓立汉光的TBRK200,旋转角度范围为360°,配套型号为TMC-USB-2-S257控制器。
倾角探测器:位于电动旋转台上,被测方向(即倾角探测器的测角方向)与滑轨呈垂直关系放置,探测像面倾角,不断反馈探测像面倾角使电动旋转台旋转至最佳像面倾角。
计算机,通过计算机程序控制加载DMD的编码矩阵,采集偏振光谱图像数据,进行相关的图像处理,最终得到复原后的目标偏振光谱图像。
本实施例工作原理为:面光源照射目标物体,目标的反射光通过物镜和平面反射镜后到达DMD上,实现光轴偏移,使成像透镜的像平面向后倾斜并且与DMD平面平行,DMD由反射微镜阵列组成,通过编程为其加载相应的编码矩阵可以控制各微镜的驱动电压,使各微镜沿各自的对角线进行翻转,从而实现每个微镜上入射光信号的选通或阻断,其响应时间为微秒级,且微镜的翻转状态可随时锁定,因此通过在DMD上加载设计好的编码模板,即可满足对所探测波段的入射光的高速且连续的控制,完成空间维度的可编程调制编码操作。经编码模板调制后的带有空间信息的可见光经过准直透镜准直后再经过带通滤光片选择特定范围可见光波段通过后到达双阿米西棱镜进行色散,产生光谱分离移位后经成像透镜由偏振探测器接收,偏振探测器是由焦平面旋光仪和传感器构成,传感器上的每个超像素组成2 * 2微像素,具有四个不同方向的微偏振片。DMD后端成像系统对准校正后固定于滑轨上后固定于电动旋转台上,经伺服电机与圆感应同步器协同驱动电动旋转台旋转带动成像系统的旋转,而电动旋转台旋转角度由倾角探测器进行测量标定,通过多次标定至像质最佳倾角。
实施方式十二,本实施方式是对如上文所述的一种基于像差补偿的编码孔径偏振光谱成像装置的实施例2,具体包括:
如图5所示,一种基于像差补偿的编码孔径偏振光谱成像系统,其中包括照明系统装置1、数字微镜阵列(DMD)2、滤波光谱装置3、偏振成像装置4、电动旋转台测量系统装置7由数显表系统5和圆感应同步器6组成(数显表作用是数据存储,数据传输,圆感应同步器作用是测量角位移)、倾角探测器装置8、像差补偿系统9。其中照明系统装置包括面光源11,目标物体12(该目标物体即为是待测物件,可以放置色卡,输入光信息,使成像效果更加明显),物镜13,平面反射镜14;数字微镜阵列(DMD)2包括控制器21,现场可编程门阵列(ALP-4FPGA)芯片22,外接存储器(DDR3 RAM)23,现场可编程门阵列(DLPC910 FPGA)24,微镜阵列25;滤波光谱装置包括准直透镜31,带通滤光片32,双阿米西棱镜33,成像透镜34;
偏振成像装置4(即为偏振探测器)包括0°,45°,90°,135°4个偏振分量的接收成像通道41-44,图像融合单元45,编码器46,解码器47,偏振成像装置的计算机48;数显表系统5包括电源51,数模转换器52,前置放大器53,模数转换器54和显示器55;倾角探测器装置(即为倾角探测器)8包括传感器模块81,滤波电路82,模数转换器(ADC)模块83,微控制单元(MCU)模块84,数据输出模块85,电源86;像差补偿系统9包括电动旋转台测量系统装置7与倾角探测器装置8及滑轨91,电动旋转台92,倾角探测器的计算机93。其中计算机可用于多个装置连接。
所述面光源11照射物体12经物镜13与平面反射镜14反射成像于数字微镜阵列(DMD)2的窗口区域,数字微镜阵列(DMD)2由控制器21连接电脑,现场可编程门阵列(FPGA)芯片22实现数字微镜器件驱动电路,通过外接存储器(DDR3 RAM)23 缓存扩展系统缓存容量,进而由现场可编程门阵列(DLPC910 FPGA)24编码控制电压脉冲控制微镜旋转角度,通过调整微镜阵列25角度反射经准直透镜31准直以平行光出射至带通滤光片32进行光谱滤波后通过双阿米西棱镜33进行色散,最后经成像透镜34会聚成像接收于偏振成像装置4,通过计算机48进行处理;所述滑轨91用于固定滤波光谱装置3与偏振成像装置4,所述偏振成像装置4具有四个不同的偏振通道由41-44表示,分别为0°,45°,90°,135°通道,经图像融合单元45数据融合成像后经编码器46进行数据编码再经解码器47数据解码由计算机48显示处理结果。
进一步地,所述电动旋转台92经伺服电机与圆感应同步器6联合驱动,而电动旋转台92由电动旋转台的数显表系统5与伺服电机的圆感应同步器6组成一闭环系统。
进一步地,所述电动旋转台自带的测角数显和其内部自带的圆感应同步器共同组成闭环测量系统。数显表系统由电源51供电,经数模转换器52进行数电模电转换,再经前置放大器53实现信号放大,传输至模数转换器54进行模电数电转换,最后成像到显示器55。所述倾角探测器装置8固定放置于电动旋转台92上;
进一步地,所述倾角探测器装置8,当倾角探测器发生角度倾斜时,测量重力加速度在传感器模块81的敏感轴上的分量大小,并将该加速度信号转换成模拟电压信号,该信号经模数转换器(ADC)模块83 A/D 采样后输送到微控制单元 (MCU)模块84中经滤波电路82进行数字滤波,并换算成对应的倾角值,再经过数据输出模块85输出,最后倾角探测器通过数据输出模块85将倾角数据输送到倾角探测器的计算机上显示;所述电源86为各个模块供电。
实施方式十三,本实施方式是对如上文所述的一种基于像差补偿的编码孔径偏振光谱成像方法的实施例1,具体包括:
一种基于像差补偿的编码孔径偏振光谱成像装置及方法,该方法具体步骤为:
第一步,确定系统指标与器件;分析系统工作场景,根据系统成像初始结构,确定编码孔径偏振高光谱系统空间分辨率、光谱分辨率、光谱通道数及偏振通道数;并初步确定DMD、双阿米西棱镜、偏振探测器;
第二步,确定偏振探测器;根据空间分辨率、光谱分辨率及光谱通道数,确定偏振探测器的分辨率及像元尺寸指标;如果偏振探测器的分辨率不符合系统空间分辨率与光谱通道数要求,需要返回第一步重新确定系统的空间分辨率、光谱分辨率、光谱通道数及偏振通道数;
第三步,分析混叠模型;设计编码矩阵,建立系统各元器件的多维离散化能量传输模型,以及偏振探测器靶面获取的空间信息、光谱信息及偏振信息的二维混叠模型,解析系统中每个器件的多维离散化能量传输模型中光谱信息与偏振信息的混叠是否独立;编码后的空间、光谱和偏振二维混叠信息是否符合压缩感知的有限等距性质;如多维离散化能量传输模型不独立或探测器靶面获得的混叠信息不符合约束等距(RIP)性质,需要修改编码矩阵或返回第一步重新确定系统的空间分辨率、光谱通道数、偏振通道数。
第四步,确定解混重构方法;根据偏振探测器靶面获取的空间信息、光谱信息和偏振信息二维混叠模型,确定并优化测量矩阵、稀疏矩阵、编码矩阵与重构算法;根据偏振阵列、编码矩阵与双阿米西棱镜的对应关系,经过 TwIST经典算法还原出每个偏振方向的光谱图像,最后形成数据立方体。
第五步,分析DMD引起的像差;考虑DMD 引起的轴外视场光程差与 DMD 表面上的像高相关,可以将像面倾斜一定角度来补偿轴外视场的光程差。因此根据Schleimphlug 原理倾斜像面,由下式
w为栅格化图像的宽度,d为拼接处上下错位最大容许的误差限。计算像面倾斜角度并由倾角探测器接收测量角度值输入至电动旋转台,通过将接收像面系统放置于电动旋转台控制旋转角度进一步达到补偿像差的目的,所述接收像面系统包括准直透镜、带通滤光片、双阿米西棱镜、成像透镜和偏振探测器。
第六步,平面反射镜装调及倾角探测器安装;使用光学仿真软件, Zemax建立光学系统模型,引入平面反射镜,调整反射镜的位置,调整反射镜的倾斜角度以最小化离轴像差,通过更换不同的位置角度,找到对离轴像差有最大校正效果的位置。按最后仿真结果进行系统安装,在实际系统中进行验证时,安装平面反射镜并进行实验,观察成像结果。根据实验成像结果,可能需要微调反射镜的位置和角度,以进一步优化系统性能,通过电动夹持器夹持平面反射镜,微调平面反射镜的位置和角度至成像结果最清晰。
第七步,倾角探测器检测标定;将标定倾角探测器和待测倾角探测器(待测倾角探测器用于反馈倾角角度)平行固定于电动旋转台上,输入装置用于输入预设角度,根据步骤四计算得出的角度β作为最终输入角度即最终定标点,控制装置根据输入的预设角度即初始定标点控制伺服机构,使伺服电机的驱动端与蜗杆相连接,蜗杆与涡轮相啮合控制电动旋转台的旋转角度,根据标定倾角探测器检测到的角度与设定角度之间的差值间增加定标点数量来提高传感器精度,将角度差值均分30个定标点依次定标,控制伺服机构驱动旋转至所需转动的定标角度;确定步骤中,若标定倾角探测器检测到的角度与待测倾角探测器检测到的角度之间的差值在预设范围内,则继续调整电动旋转台角度至成像最清晰角度。
第八步,倾角探测器失真校正;若标定倾角探测器检测到的角度与待测倾角探测器检测到的角度之间的差值未在预设范围内,就继续定标多次对比前后定标角度是否在预设范围内,若发现仍不符合则需要检查安装,再进一步重新进行校准,调整校准参数,进一步考虑环境因素,最后进行软件滤波和算法优化,最终使电动旋转台转动角度等于根据Schleimphlug 原理计算得到的理论角度值,实现像差补偿,实验效果如图4所示。
实施方式十四,本实施方式是对如上文所述的一种基于像差补偿的编码孔径偏振光谱成像方法的实施例2,具体包括:
第一步,明确系统指标和设备;分析系统操作环境,基于初始成像结构确定编码孔径、偏振、高光谱系统的空间分辨率、光谱分辨率、光谱通道数以及偏振通道数;初步选定数字微镜装置(DMD)、双阿米西棱镜和偏振探测器。
第二步,确定适用的偏振探测器;根据系统的空间分辨率、光谱分辨率以及光谱通道数,确定偏振探测器的分辨率和像元尺寸要求;若偏振探测器的分辨率不符合系统的空间分辨率和光谱通道数的要求,则需回到第一步重新确认系统的空间分辨率、光谱分辨率、光谱通道数以及偏振通道数。
第三步,分析混叠模型;设计编码矩阵,构建系统各组件的多维离散化能量传输模型,包括偏振探测器靶面获得的空间、光谱和偏振信息的二维混叠模型。解析系统中每个组件的多维离散化能量传输模型中光谱信息与偏振信息是否相互独立;验证编码后的空间、光谱和偏振二维混叠信息是否满足压缩感知的有限等距性质。若发现多维离散化能量传输模型不独立或探测器靶面获取的混叠信息不符合RIP准则,则需要调整编码矩阵,或者回到第一步重新确认系统的空间分辨率、光谱通道数和偏振通道数,本系统用先分离偏振像元,再重构光谱的方式。重构前的解混过程中,将同方向偏振信息提取出来形成四幅(0°、45°、90°、135°)偏振图像,测量矩阵采用四组独立的伯努利随机矩阵,因此四幅图像都满足符合约束等距性质。
第四步,确定解混重构方法;基于偏振探测器靶面获取的空间信息、光谱信息和偏振信息的二维混叠模型,确定并优化测量矩阵、稀疏矩阵、编码矩阵以及重构算法。利用偏振阵列、编码矩阵与双阿米西棱镜之间的对应关系,通过经典算法如TwIST,对每个偏振方向的光谱图像进行还原,最终构建出完整的数据立方体。
第五步,分析DMD引起的像差;考虑DMD 引起的轴外视场光程差与 DMD 表面上的像高相关,可以将像面倾斜一定角度来补偿轴外视场的光程差。因此根据Schleimphlug 原理倾斜像面,由下式;
计算像面倾斜角度并由倾角探测器接收测量角度值输入至电动旋转台,接收像面系统包括准直透镜,带通滤光片,双阿米西棱镜,成像透镜,偏振探测器,通过将接收像面系统放置于电动旋转台控制旋转角度进一步达到补偿像差的目的。
第六步平面反射镜装调及倾角探测器安装;首先将平面反射镜初步安装到系统中,确保它稳固固定但仍可调整。然后使用光学工具确保平面反射镜的表面是垂直的,使反射光线得以准确地反射。其次开始调整平面反射镜的角度。这可能涉及到微调反射镜的倾斜角度,以使反射光线与入射光线具有合适的角度。平面反射镜角度有如下公式:
(1)
在本装置中为空气折射率,为入射角度,为出射角度,即入射角等于反射角。之后在实验室条件下,使用面光源和检测器,在平面反射镜的位置观察成像,注意图像的质量和离轴像差。然后进行系统优化, 根据观察到的效果,调整平面反射镜的位置和角度,以最小化离轴像差并提高图像质量,需要多次迭代和微调。最后进行实时调整,在观察成像的同时,缓慢地调整反射镜的位置和角度,通过电动夹持器控制旋转倾角以找到最佳设置。最后平面反射镜放置距物镜14.76cm处,倾角以物镜像面为基准,逆时针旋转48.63°。由于平面反射镜对系统不会引入额外像差,使反射光照射到DMD微镜窗口即可。倾角探测器采用水平安装的方式,在安装时都应保持传感器安装面与被测物体面平行,同时尽量使传感器测量轴向与被测方向平行,被测方向即与滑轨垂直方向,滑轨通过螺丝固定于电动旋转台上,与倾角探测器呈垂直角度;将倾角探测器的电缆连接到相应的接口,调整倾角探测器的角度,以确保它对准所需的测量方向,通过安装在固定基座上的传感器的安装孔,把传感器的外壳通过螺丝拧紧固定在电动旋转台相应的孔位即完成倾角探测器的安装。
第七步,倾角探测器检测标定;将标定倾角探测器和待测倾角探测器平行固定于电动旋转台上,伺服电机控制部分采用控制伺服电机的旋转来带动电动旋转台的转动进而带动待标定传感器的转动,电动旋转台上输出电动旋转台实际转过的角度数据到数显设备。为使标定的精度达到要求通过不断比较设定转动的角度和伺服电机实际转动的角度的差值来实现待标定传感器的高精度转动,也就是将系统组成一闭合回路。当倾角探测器发生角度倾斜时,测量重力加速度在传感器模块的敏感轴上的分量大小,并将该加速度信号转换成模拟电压信号。该信号 A/D 采样后输送到 MCU 经滤波电路进行数字滤波,并换算成对应的倾角值,再经过数据输出模块输出。对传感器输出进行倾角补偿输入装置用于输入预设角度,根据步骤四计算得出的角度作为最终输入角度即最终定标点,控制装置根据输入的预设角度即初始定标点控制驱动机构,使驱动电机的驱动端与蜗杆相连接,蜗杆与涡轮相啮合控制电动旋转台的旋转角度,根据标定倾角探测器检测到的角度与设定角度之间的差值间增加定标点数量来提高传感器精度,将角度差值均分30个定标点依次定标,控制驱动机构驱动旋转至所需转动的定标角度;确定步骤中,若标定倾角探测器检测到的角度与待测倾角探测器检测到的角度之间的差值在预设范围内,则继续定标;
第八步,倾角探测器失真校正;若标定倾角探测器检测到的角度与待测倾角探测器检测到的角度之间的差值未在预设范围内,就继续定标多次对比前后定标角度是否在预设范围内,若发现仍不符合则需要采取以下一些步骤来调整和修正:
首先检查安装,确保传感器正确安装,并且没有受到外部力量或机械损伤。重新检查安装位置和角度是否正确。
进一步地,考虑环境因素,检查传感器工作的环境条件,如温度、湿度和振动等。确保传感器的使用环境符合其技术规格,并在可能的情况下进行温度补偿或其他环境因素的调整。
进一步地,重新进行校准,重新进行零偏校准和斜率校准,确保标定和待测传感器的校准参数准确。在校准过程中,尽量覆盖整个工作范围,以提高校准的精度。
进一步地,调整校准参数,如果传感器提供了用户可调整的校准参数,可以尝试手动调整这些参数,以修正检测到的角度。通常,这些参数可能包括零偏、斜率和温度补偿等。
进一步地,软件滤波和算法优化,使用滤波算法来平滑传感器输出,以减小可能的噪声和干扰,优化数据处理算法,以提高检测准确性。最终使电动旋转台旋转角度等于由公式(13)计算所得结果,实现像差补偿,得到实验效果图。
倾角计算方法如下:
设镜组偏离垂直情况的倾角为为镜组的主面,为镜组节点,为物面的像,分别为物面和像面与垂直光轴面的夹角,为镜组倾斜前物面点的物距,分别隔镜组倾斜后点的物距和像距物 、像主点距离,t为二主面间距,图中主面、物面和像面偏离垂直 。光轴面之角度顺时针为正。d是拼接处上下错位最大容许的误差限,一般为图形处理时数据像素的宽度,W 是曝光时扫描条带宽度。
进一步地,由镜组直立情况物像面关系,可以得到
(2)
进一步地,由高斯公式,
(3)
进一步地,将公式中换成,则公式变为
(4)
进一步地,下面将换成,在三角形中 , 按正弦定理则有
(5)
(6)
进一步地,将(6)代入(4)得
(7)
进一步地,由三角函数公式得
(8)
(9)
进一步地,由诱导公式(10)化简得
(10)
(11)
进一步地,在DMD被安装固定后,DMD 的实际装配角度与理想工作角度之间总存在一个工作角度误差,该角度误差 e可通过测量计算的手段获得,w为栅格化图像的宽度,d为拼接处上下错位最大容许的误差限。
(12)
进一步地,化简得
(13)
建立模型方法如下:
建立系统多维离散化能量传输模型。系统中物镜13将目标数据立方体 A1成像在其焦平面处,数字微镜阵列(DMD)2为一次像面并编码,编码调制后的数据立方体A2经准直透镜31和经带通滤光片32进行透射,又经双阿米西棱镜33色散,色散后数据立方体为A3;然后经成像透镜34将编码后光谱偏振图像成像到偏振探测器4上,经探测器上偏振阵列完成透光轴为 0°、45°、90°、135°的偏振通道选通编码,获取偏振探测器的二维数据。
第一步,建立目标不同偏振方向的光谱密度A1为,其中,x和y是两个空间维度,表示波长,表示线性斯托克斯分量,其中k= 0,1,2。
第二步,建立经DMD编码调制后的数据立方体A2为
(14)
T(x ,y)表示编码孔径的空间坐标对应的光谱密度影响。因为经过光学设计对准,空间维度和DMD与探测器靶面的空间坐标相互对应。则有
(15)
其中代表DMD的靶面,是编码平面上位置(i,j)处的二进制传输值,代表DMD微镜的大小。
第三步,在通过双阿米西棱镜移位之后,偏振探测器之前的四维数据立方体变为
(16)
其中,描述准直透镜、双阿米西棱镜和成像透镜的平移不变光学脉冲响应,并且描述由双阿米西棱镜引起的色散位移。
第四步,建立偏振探测器靶面获取的空间信息、光谱信息及四组偏振信息的二维混叠模型,编码的四维数据立方体投影到偏振探测器的传感器上。传感器的每个像素测量在光谱区域上的特定偏振角处的光谱密度的积分强度。
第(m,n)个像素i处的强度
(17)
为每个像素测量在光谱区域上的特定偏振角处的光谱密度的积分强度,表示三个线性斯托克斯通道求和,表示DMD微镜的大小,m和n表示像素坐标,表示对x与y方向上的二重积分,表示对光谱区域的积分,分别表示对x方向,y方向和光谱的微分。
其中的表达关系
(18)
(19)
(20)
(21)
表示0°偏振方向的光强,表示45°偏振方向的光强,表示90°偏振方向的光强,表示135°偏振方向的光强,是光的总强度,是水平(0˚)和垂直(90˚)方向的光强差,是 45˚和 135˚方向的光强差。
进一步地,每组偏振信息相互独立,与波长相关,且为欠定方程组。因此以原始数据立方体中的一行光谱数据切片(A1、A2、A3)可以说明该离散模型的传输机理。 系统的信息混叠分为两次。其中,第一次是由棱镜产生的信息混叠,当棱镜分光后,各通道光谱信息与偏振信息空间分布一致,都产生与空间信息的混叠;第二次是由相机偏振阵列产生的信息混叠,分光后固定距离的空间错位光谱通道成像至偏振探测器,由于偏振阵列中偏振信息分布与空间分布一一对应,所以在对偏振信息进行通道选择编码时,对光谱信息也进行了选通,从而生成了光谱与偏振的多维混叠信息,选择相应的两部迭代收缩阈值算法(Twist)进行解混重构。

Claims (10)

1.一种基于像差补偿的编码孔径偏振光谱成像装置,所述装置包括:面光源、物镜、数字微镜阵列DMD、准直透镜、带通滤光片、双阿米西棱镜、成像透镜、偏振探测器和计算机,其特征在于,所述装置还包括:平面反射镜、滑轨、电动旋转台和倾角探测器;
平面反射镜位于数字微镜阵列DMD与准直透镜间且位于二者光轴外侧,光线先经平面反射镜反射至DMD,在物镜后加入平面反射镜实现光轴偏移;
滑轨位于电动旋转台平面上,用于固定准直透镜、带通滤光片、双阿米西棱镜、成像透镜和偏振探测器,调整装调对准角度,并使多个光学元件光轴保持一致;
电动旋转台用于控制像面倾角,使用蜗轮蜗杆传动,标配带编码器的伺服电机,通过沙姆原理计算像面倾角输入至倾角探测器,由倾角探测器接收像面倾角并反馈至电动旋转台控制旋转角度以达到控制像面倾角进而补偿像差的目的;
倾角探测器位于电动旋转台上,被测方向与滑轨呈垂直关系放置,探测像面倾角并反馈探测像面倾角使电动旋转台旋转至最佳像面倾角。
2.根据权利要求1所述的一种基于像差补偿的编码孔径偏振光谱成像装置,其特征在于,所述装置的工作流程包括:
面光源照射目标物体,目标物体的反射光通过物镜和平面反射镜后到达DMD上,实现光轴偏移,使成像透镜的像平面向后倾斜并且与DMD平面平行;
DMD由反射微镜阵列组成,通过编程为其加载相应的编码矩阵以控制各微镜的驱动电压,使各微镜沿各自的对角线进行翻转,从而实现每个微镜上入射光信号的选通或阻断,其响应时间为微秒级,且微镜的翻转状态可随时锁定,通过在DMD上加载设计好的编码模板,以满足对所探测波段的入射光的高速且连续的控制,完成空间维度的可编程调制编码操作;
经编码模板调制后的带有空间信息的可见光经过准直透镜准直后,再经过带通滤光片选择特定范围可见光波段通过后到达双阿米西棱镜进行色散,产生光谱分离移位后经成像透镜由偏振探测器接收;
DMD后端成像系统对准校正后固定于滑轨上,经伺服电机与圆感应同步器协同驱动电动旋转台旋转带动成像系统的旋转,电动旋转台旋转角度由倾角探测器进行测量标定,通过多次标定至像质最佳倾角。
3.根据权利要求2所述的一种基于像差补偿的编码孔径偏振光谱成像装置,其特征在于,所述偏振探测器由焦平面旋光仪和传感器构成,传感器上的每个超像素由2*2微像素组成,具有四个不同的微偏振片。
4.根据权利要求1所述的一种基于像差补偿的编码孔径偏振光谱成像装置,其特征在于,所述装置还包括倾角探测器装置,所述倾角探测器装置包括传感器模块、滤波电路、模数转换器ADC模块、微控制单元MCU模块、数据输出模块和电源。
5.根据权利要求4所述的一种基于像差补偿的编码孔径偏振光谱成像装置,其特征在于,当倾角探测器发生角度倾斜时,测量重力加速度在传感器模块的敏感轴上的分量大小,并将该加速度信号转换成模拟电压信号,该信号经模数转换器ADC模块A/D采样后输送到微控制单元MCU模块中经滤波电路进行数字滤波,并换算成对应的倾角值,再经过数据输出模块输出,最后倾角探测器通过数据输出模块将倾角数据输送到倾角探测器的计算机上显示。
6.根据权利要求1所述的一种基于像差补偿的编码孔径偏振光谱成像装置,其特征在于,所述平面反射镜表面与光路相垂直,平面反射镜角度的计算公式为:
其中,为空气折射率,为入射角度,为出射角度,入射角等于反射角。
7.一种基于像差补偿的编码孔径偏振光谱成像方法,其特征在于,所述方法包括:
步骤1:确定系统指标与器件,包括:根据系统成像初始结构,确定编码孔径偏振光谱系统空间分辨率、光谱分辨率、光谱通道数及偏振通道数;
步骤2:确定偏振探测器,包括:根据空间分辨率、光谱分辨率及光谱通道数,确定偏振探测器的分辨率及像元尺寸指标;
步骤3:分析混叠模型,包括:设计编码矩阵,建立系统各元器件的多维离散化能量传输模型,以及偏振探测器靶面获取的空间信息、光谱信息及偏振信息的二维混叠模型,解析系统中每个器件的多维离散化能量传输模型中光谱信息与偏振信息的混叠是否独立;编码后的空间、光谱和偏振二维混叠信息是否符合压缩感知的有限等距性质;
步骤4:确定解混重构方法,包括:根据偏振探测器靶面获取的空间信息、光谱信息和偏振信息二维混叠模型,确定并优化测量矩阵、稀疏矩阵、编码矩阵与重构算法;根据偏振阵列、编码矩阵与双阿米西棱镜的对应关系,经过TwIST经典算法还原出每个偏振方向的光谱图像,最后形成数据立方体;
步骤5:考虑DMD引起的轴外视场光程差与DMD表面上的像高相关,将像面倾斜一定角度来补偿轴外视场的光程差;计算像面倾斜角度并由倾角探测器接收测量角度值输入至电动旋转台,通过将接收像面系统放置于电动旋转台控制旋转角度进一步达到补偿像差的目的,所述接收像面系统包括准直透镜、带通滤光片、双阿米西棱镜、成像透镜和偏振探测器;
步骤6:调整平面反射镜的位置和角度至成像结果最清晰;
步骤7:倾角探测器检测标定,包括:将标定倾角探测器和待测倾角探测器平行固定于电动旋转台上,输入装置用于输入预设角度,根据步骤五计算得出的角度β作为最终输入角度即最终定标点,根据标定倾角探测器检测到的角度与设定角度之间的差值间增加定标点数量,将角度差值均分若干个定标点依次定标,控制伺服机构驱动旋转至所需转动的定标角度,若标定倾角探测器检测到的角度与待测倾角探测器检测到的角度之间的差值在预设范围内,则继续调整电动旋转台角度至成像最清晰角度;
步骤8:倾角探测器失真校正,包括:若标定倾角探测器检测到的角度与待测倾角探测器检测到的角度之间的差值未在预设范围内,则继续定标多次对比前后定标角度是否在预设范围内,若发现仍不符合则需要检查安装,再进一步重新进行校准,调整校准参数,进一步考虑环境因素,最后进行软件滤波和算法优化。
8.根据权利要求7所述的一种基于像差补偿的编码孔径偏振光谱成像方法,其特征在于,步骤5中,所述角度为根据Schleimphlug原理获取,获取公式为:
其中,,w为栅格化图像的宽度,d为拼接处上下错位最大容许的误差限,分别为物面和像面与垂直光轴面的夹角,镜组偏离垂直情况的倾角,为镜组倾斜前物面点的物距,t为二主面间距,
其中,分别隔镜组倾斜后点的物距和像距物 、像主点距离、镜组焦距。
9.根据权利要求7所述的一种基于像差补偿的编码孔径偏振光谱成像方法,其特征在于,步骤3中,所述分析混叠模型的建立方法为:
建立系统多维离散化能量传输模型,系统中物镜将目标数据立方体A1成像在其焦平面处,数字微镜阵列为一次像面并编码,编码调制后的数据立方体A2经准直透镜后经带通滤光片透射,又经双阿米西棱镜色散,色散后数据立方体为A3;然后经成像透镜将编码后光谱偏振图像成像到偏振成像装置上,所述偏振成像装置包括4个偏振分量的接收成像通道、图像融合单元、编码器、解码器和计算机,经探测器上偏振阵列完成透光轴为0°、45°、90°、135°的偏振通道选通编码,获取偏振探测器的二维数据;
建立目标不同偏振方向的光谱密度A1为,其中,x和y是两个空间维度,表示波长,表示线性斯托克斯分量,其中k=0,1,2;
建立经DMD编码调制后的数据立方体A2为,T(x,y)表示编码孔径的空间坐标对应的光谱密度影响;
经过光学设计对准,空间维度和DMD与探测器靶面的空间坐标相互对应,有
其中,代表DMD的靶面,是编码平面上位置(i,j)处的二进制传输值,代表DMD微镜的大小;
在通过双阿米西棱镜移位之后,偏振探测器之前的四维数据立方体变为
其中,描述准直透镜、双阿米西棱镜和成像透镜的平移不变光学脉冲响应,并且描述由双阿米西棱镜引起的色散位移;
建立偏振探测器靶面获取的空间信息、光谱信息及四组偏振信息的二维混叠模型,编码的四维数据立方体投影到偏振探测器的传感器上;传感器的每个像素测量在光谱区域上的特定偏振角处的光谱密度的积分强度。
10.根据权利要求9所述的一种基于像差补偿的编码孔径偏振光谱成像方法,其特征在于,第(m,n)个像素i处的强度
其中,为每个像素测量在光谱区域上的特定偏振角处的光谱密度的积分强度,表示三个线性斯托克斯通道求和,表示DMD微镜的大小,m和n表示像素坐标,表示对x与y方向上的二重积分,表示对光谱区域的积分,分别表示对x方向,y方向和光谱的微分。
CN202410252585.XA 2024-03-06 2024-03-06 基于像差补偿的编码孔径偏振光谱成像装置和方法 Active CN117848502B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410252585.XA CN117848502B (zh) 2024-03-06 2024-03-06 基于像差补偿的编码孔径偏振光谱成像装置和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410252585.XA CN117848502B (zh) 2024-03-06 2024-03-06 基于像差补偿的编码孔径偏振光谱成像装置和方法

Publications (2)

Publication Number Publication Date
CN117848502A true CN117848502A (zh) 2024-04-09
CN117848502B CN117848502B (zh) 2024-05-10

Family

ID=90546841

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410252585.XA Active CN117848502B (zh) 2024-03-06 2024-03-06 基于像差补偿的编码孔径偏振光谱成像装置和方法

Country Status (1)

Country Link
CN (1) CN117848502B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110285995A1 (en) * 2008-11-04 2011-11-24 William Marsh Rice University Image mapping spectrometers
US20170343477A1 (en) * 2016-05-27 2017-11-30 Verily Life Sciences Llc Systems and Methods for 4-D Hyperspectral Imaging
CN108007574A (zh) * 2017-11-17 2018-05-08 西安电子科技大学 分辨率可调型快照式图像光谱线偏振探测装置及方法
US10198790B1 (en) * 2015-07-16 2019-02-05 Hrl Laboratories, Llc Multi-domain foveated compressive sensing system for adaptive imaging
CN115278247A (zh) * 2022-06-22 2022-11-01 北京空间机电研究所 一种偏振光谱视频压缩采集系统
CN115307733A (zh) * 2022-07-14 2022-11-08 长春理工大学 一种空间维编码光谱偏振一体化成像系统及其设计方法
CN116609942A (zh) * 2023-07-18 2023-08-18 长春理工大学 一种分孔径压缩感知偏振超分辨率成像系统及方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110285995A1 (en) * 2008-11-04 2011-11-24 William Marsh Rice University Image mapping spectrometers
US10198790B1 (en) * 2015-07-16 2019-02-05 Hrl Laboratories, Llc Multi-domain foveated compressive sensing system for adaptive imaging
US20170343477A1 (en) * 2016-05-27 2017-11-30 Verily Life Sciences Llc Systems and Methods for 4-D Hyperspectral Imaging
CN108007574A (zh) * 2017-11-17 2018-05-08 西安电子科技大学 分辨率可调型快照式图像光谱线偏振探测装置及方法
CN115278247A (zh) * 2022-06-22 2022-11-01 北京空间机电研究所 一种偏振光谱视频压缩采集系统
CN115307733A (zh) * 2022-07-14 2022-11-08 长春理工大学 一种空间维编码光谱偏振一体化成像系统及其设计方法
CN116609942A (zh) * 2023-07-18 2023-08-18 长春理工大学 一种分孔径压缩感知偏振超分辨率成像系统及方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
ASHWIN A. WAGADARIKAR等: "Spectral image estimation for coded aperture snapshot spectral imagers", PROC. SPIE 7076, IMAGE RECONSTRUCTION FROM INCOMPLETE DATA V, 4 September 2008 (2008-09-04) *
杨虹;黄远辉;钟宬;邵晓鹏;: "卫星运动对压缩编码孔径光谱成像的影响", 航天返回与遥感, no. 02, 15 April 2013 (2013-04-15) *
裴琳琳等: "编码孔径成像光谱仪光学系统设计", 物理学报, vol. 63, no. 21, 8 November 2014 (2014-11-08) *

Also Published As

Publication number Publication date
CN117848502B (zh) 2024-05-10

Similar Documents

Publication Publication Date Title
CN109211107B (zh) 测量装置、旋转体以及产生图像数据的方法
CN103471715B (zh) 一种共光路组合式光场光谱成像方法及装置
US9213228B2 (en) Device and method for measuring a camera
KR20190040044A (ko) 필드 내에서 거리 정보를 수집하기 위한 광학 시스템
US20040056966A1 (en) Method and apparatus for image mosaicing
US11892468B2 (en) Method and system for scanning of a transparent plate during earth observation imaging
CN104713648A (zh) 一种全波段消色差滤片式光谱相机
WO2013176732A1 (en) Imaging system with multiple focal plane array sensors
CN110887564A (zh) 一种运动目标光谱的监测装置及监测方法
CN116907380A (zh) 基于图像信息的点衍射干涉仪被测镜精确对准方法及系统
Yang et al. Design and ground verification for multispectral camera on the Mars Tianwen-1 rover
CN105136294A (zh) 地基可见高光谱分辨率月球观测系统
Trauger et al. Performance of a precision high-density deformable mirror for extremely high contrast imaging astronomy from space
CN112880829B (zh) 一种适配水下多种观测平台的自扫描式高光谱成像系统及使用方法
CN111623876B (zh) 一种基于s矩阵狭缝阵列的推扫式高光谱成像系统及方法
CN112105898A (zh) 分光测量装置和分光测量方法
CN117848502B (zh) 基于像差补偿的编码孔径偏振光谱成像装置和方法
CN109781260B (zh) 超紧凑型快照式偏振光谱成像探测装置及探测方法
CN109031174A (zh) 一种多级联分布式显微ct成像系统
CN112629680B (zh) 基于夏克-哈特曼波前传感的航空相机检焦装置及方法
Diolaiti et al. Some novel concepts in multipyramid wavefront sensing
CN113534436B (zh) 基于七孔径的稀疏合成孔径成像系统及其相位校正方法
Esposito et al. Development of the first-light AO system for the large binocular telescope
CN105473984A (zh) 用于恒定足迹、恒定gsd、恒定空间分辨率线扫描仪的系统架构
CN208477092U (zh) 一种多级联分布式显微ct成像系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CB03 Change of inventor or designer information
CB03 Change of inventor or designer information

Inventor after: Fu Qiang

Inventor after: Zhao Tong

Inventor after: Wang Jiayu

Inventor after: Liu Jianan

Inventor after: Wang Qi

Inventor after: Liu Xuanwei

Inventor after: Dong Chao

Inventor after: Zhao Rui

Inventor after: Wang Liyong

Inventor before: Fu Qiang

Inventor before: Zhao Tong

Inventor before: Wang Jiayu

Inventor before: Liu Jianan

Inventor before: Wang Qi

Inventor before: Liu Xuanwei

Inventor before: Dong Chao

Inventor before: Zhao Rui

Inventor before: Wang Liyong