CN112432705B - 一种基于动态视轴调整原理的多光谱成像系统和方法 - Google Patents

一种基于动态视轴调整原理的多光谱成像系统和方法 Download PDF

Info

Publication number
CN112432705B
CN112432705B CN202011168308.9A CN202011168308A CN112432705B CN 112432705 B CN112432705 B CN 112432705B CN 202011168308 A CN202011168308 A CN 202011168308A CN 112432705 B CN112432705 B CN 112432705B
Authority
CN
China
Prior art keywords
detection module
imaging
image
multispectral
spectral
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011168308.9A
Other languages
English (en)
Other versions
CN112432705A (zh
Inventor
李安虎
刘兴盛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tongji University
Original Assignee
Tongji University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tongji University filed Critical Tongji University
Priority to CN202011168308.9A priority Critical patent/CN112432705B/zh
Publication of CN112432705A publication Critical patent/CN112432705A/zh
Application granted granted Critical
Publication of CN112432705B publication Critical patent/CN112432705B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/2823—Imaging spectrometer
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02—Details
    • G01J3/0205—Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows
    • G01J3/0208—Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows using focussing or collimating elements, e.g. lenses or mirrors; performing aberration correction
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02—Details
    • G01J3/0278—Control or determination of height or angle information for sensors or receivers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/12—Generating the spectrum; Monochromators
    • G01J3/14—Generating the spectrum; Monochromators using refracting elements, e.g. prisms
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/2823—Imaging spectrometer
    • G01J2003/2826—Multispectral imaging, e.g. filter imaging

Landscapes

  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Spectrometry And Color Measurement (AREA)
  • Studio Devices (AREA)

Abstract

本发明涉及一种基于动态视轴调整原理的多光谱成像系统和方法，系统沿系统光轴方向依次包括：旋转楔形棱镜，用于调整所述多光谱成像系统的视轴指向，包括平面侧和楔面侧，平面侧与系统光轴垂直；光学透镜组，与旋转楔形棱镜同轴布置，用于汇聚经旋转楔形棱镜折射的成像光线；多谱段探测器阵列，用于接收光学透镜组汇聚的成像光线，包括多个成像谱段不同的探测模组。与现有技术相比，本发明通过旋转楔形棱镜的简单旋转运动，改变多谱段探测器阵列中各个探测模组的视轴指向，使分布在不同区域、成像谱段不同的探测模组均能以充足的视场范围采集图像，既可降低多光谱成像系统的复杂程度和实现成本，又可提升多光谱成像的空间分辨率和光谱分辨率。

Description

一种基于动态视轴调整原理的多光谱成像系统和方法
技术领域
本发明涉及机器视觉领域，尤其是涉及一种基于动态视轴调整原理的多光谱成像系统和方法。
背景技术
多光谱成像是融合图形图像学与光谱学而形成的交叉技术，其特征在于能同时获取图像信息和光谱信息，兼具目标形态分析和物质识别分类等功能，因而在空间遥感、农业检测、医药分析、资源勘探、军事侦察等领域均有重要的应用价值。多光谱成像的光谱分辨率较低，一般采用成像系统加滤波片这种技术路线来实现，常见的多光谱成像系统有单探测器多光谱成像系统和多探测器多光谱成像系统。
单探测器多光谱成像系统采用一个成像传感器，通过运动装置切换滤镜，每切换一次滤镜采集一次特定光谱的图像，多次采集完成特定光谱的图像后，将多光谱多幅图像融合分析，优点在于多光谱图像之间分时共用同一口径，图像之间无视差，缺点是谱段之间的图像不是同时获取的，存在时间差，并且，此类成像系统要求较复杂的驱动装置切换滤镜，其经济性、便携性和适应性有所局限，受滤光器材料的限制，也无法实现成像谱段的任意分隔。
多探测器多光谱成像系统采用多个成像传感器各对应一种特定滤镜组成，在图像采集时可以多传感器同时采集，速度快效率优，优点是各个谱段图像同时获取，没有时间差，缺点是各个谱段之间图像不是同一口径，采集到的图像存在视角差异，在图像融合时配准标定复杂，难以兼顾空间分辨率和光谱分辨率。
为克服上述缺陷，目前常见的多光谱成像方法主要采用滤光器阵列、探测靶面镀膜、折射棱镜或衍射光栅等分光原理，实现不同谱段投影光线的分离、接收与成像。公开号为111426382A的中国发明专利公开了一种多光谱成像系统及方法，利用分光镜的串联组合分离不同谱段的反射光束和折射光束，并通过相应的反射成像传感器和折射成像传感器捕获光谱信息，但是，该方法要求多组分光镜和传感器的组合布置形式，会增加系统结构尺寸和复杂程度，且多次分光造成不同谱段的光强分布不均，也会影响多光谱数据融合效果。
发明内容
本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于动态视轴调整原理的多光谱成像系统和方法，在多谱段探测器阵列和光学透镜组的前方引入旋转楔形棱镜，通过旋转楔形棱镜的简单旋转运动，改变多谱段探测器阵列中各个探测模组的视轴指向，使分布在不同区域、具有不同成像谱段的探测模组均能以充足的视场范围采集图像，既可降低多光谱成像系统的复杂程度和实现成本，又可有效提升多光谱成像的空间分辨率和光谱分辨率。
本发明的目的可以通过以下技术方案来实现：
一种基于动态视轴调整原理的多光谱成像系统，沿系统光轴方向依次包括：
旋转楔形棱镜，用于调整所述多光谱成像系统的视轴指向，包括平面侧和楔面侧，所述平面侧与系统光轴垂直，所述旋转楔形棱镜的中心点位于系统光轴上，成像光线经旋转楔形棱镜折射后到达光学透镜组；
光学透镜组，与旋转楔形棱镜同轴布置，用于汇聚经旋转楔形棱镜折射的成像光线，包括1个或多个光学镜头，所述光学透镜组的焦平面与旋转楔形棱镜的平面侧平行,成像光线经光学透镜组汇聚后到达多谱段探测器阵列；
多谱段探测器阵列，用于接收光学透镜组汇聚的成像光线，包括若干个成像谱段不同的探测模组。
进一步的，所述多谱段探测器阵列中的所有探测模组均设于探测器平面上，所述探测器平面与光学透镜组的焦平面平行，探测模组以系统光轴为中心绕系统光轴环形分布在探测器平面上。
进一步的，所述多光谱成像系统还包括驱动装置和控制系统，所述驱动装置与旋转楔形棱镜连接，用于驱动旋转楔形棱镜，所述控制系统与驱动装置和旋转楔形棱镜连接，用于控制驱动装置和旋转楔形棱镜。
一种基于动态视轴调整原理的多光谱成像方法，使用如上所述的多光谱成像系统，包括以下步骤：
S1：确定多光谱成像系统中各个部件的参数和各个部件的相对位置关系，构建多光谱成像系统；
S2：建立多光谱成像系统的工作坐标系和各个探测模组的图像坐标系，分别确定多光谱成像系统中的m个探测模组在多谱段探测器阵列中的相对方位角θ1,θ2,...,θm，分别描述各个探测模组的图像坐标系与多光谱成像系统的工作坐标系之间的刚体变换矩阵关系；
S3：控制旋转楔形棱镜依次运动至各个探测模组所对应的预期转角位置，调整多光谱成像系统的视轴指向，采集不同成像谱段的目标图像；
S4：分别建立各个探测模组的非线性几何畸变分布模型，校正各个探测模组采集的目标图像的空间分布信息，得到无畸变的多光谱图像序列；
S5：根据多谱段探测器阵列中m个探测模组之间的空间布局，构建各个探测模组之间的像点映射关系，将步骤S4中校正后的目标图像进行配准与融合。
进一步的，所述步骤S1包括以下步骤：
S101：根据多光谱成像系统的视场范围要求和分辨能力要求，确定光学透镜组的焦距、多谱段探测器阵列中的探测模组的数量m、各个探测模组的物理尺寸、各个探测模组的成像谱段、各个探测模组的中心与系统光轴的径向距离r；
S102：以最大化所有探测模组的共同视场为原则，确定旋转楔形棱镜的楔角α和折射率n，具体为：
Figure GDA0002851647900000031
其中，β＝arctan(r/f)为各个探测模组中心与光学透镜组中心的连线与系统光轴所成夹角，r为各个探测模组的中心与系统光轴的径向距离，f为光学透镜组的焦距；
S103：构建由旋转楔形棱镜、光学透镜组、多谱段探测器阵列、驱动装置和控制系统组成的多光谱成像系统。
进一步的，所述步骤S2包括以下步骤：
S201：建立多光谱成像系统的工作坐标系OXYZ，工作坐标系中，原点O固定于光学透镜组的光心位置，Z轴与系统光轴方向重合，X轴和Y轴均按右手法则与Z轴正交；
S202：分别建立各个探测模组的图像坐标系OiXiYiZi(0≤i≤m)，图像坐标系中，原点Oi固定于探测模组i的中心，Zi轴垂直于探测模组i的成像平面，Xi轴、Yi轴分别为探测模组的行、列扫描方向；
S203：分别确定各个探测模组在多谱段探测器阵列中的相对方位角θi(0≤i≤m)，所述相对方位角θi即探测模组i的中心垂线与工作坐标系中Y轴正方向所成的夹角，所述探测模组i的中心垂线为探测模组i的图像坐标系中的原点Oi到系统光轴的垂线；
S204：描述各个探测模组的图像坐标系OiXiYiZi与多光谱成像系统的工作坐标系OXYZ之间的刚体变换矩阵关系，所述刚体变换矩阵关系通过旋转矩阵
Figure GDA0002851647900000041
和平移向量
Figure GDA0002851647900000042
描述，具体为：
Figure GDA0002851647900000043
其中，r为各个探测模组的中心与系统光轴的径向距离，f为光学透镜组的焦距，θi为探测模组i在多谱段探测器阵列中的相对方位角。
进一步的，所述步骤S3包括以下步骤：
S301：根据m个探测模组在多谱段探测器阵列中的相对方位角θ1,θ2,...,θm确定旋转楔形棱镜的m个预期转角位置，每个预期转角位置对应一个探测模组；
S302：在控制系统中，以最短运动时间为原则，选定一个预期转角位置，通过驱动装置控制旋转楔形棱镜运动至该预期转角位置；
S303：当旋转楔形棱镜运动至一个预期转角位置时，成像光线经旋转楔形棱镜折射后进入光学透镜组，经光学透镜组汇聚后成像光线进入多谱段探测器阵列，通过控制系统启动多谱段探测器阵列中对应该预期转角位置的探测模组，探测模组接收光学透镜组汇聚的成像光线，得到在该探测模组的成像谱段下的目标图像；
S304：重复步骤S302，直至旋转楔形棱镜依次运动至m个预期转角位置，最终得到m张不同成像谱段的目标图像。
更进一步的，所述预期转角位置的大小为该预期转角位置所对应的探测模组在多谱段探测器阵列中的相对方位角的大小。
更进一步的，所述步骤S4包括以下步骤：
S401：分别确定各个探测模组的成像谱段
Figure GDA0002851647900000044
(0≤i≤m)，其中
Figure GDA0002851647900000045
和
Figure GDA0002851647900000046
分别表示探测模组i的成像谱段λi的下界和上界，在探测模组i的光谱响应曲线中，选取最大响应处的波长作为探测模组i的参考波长
Figure GDA0002851647900000047
S402：分别建立各个探测模组的折射旋转矩阵
Figure GDA0002851647900000048
折射旋转矩阵
Figure GDA0002851647900000049
用于描述探测模组i接收的成像光线被旋转楔形棱镜偏转前后的相对关系，折射旋转矩阵
Figure GDA0002851647900000051
具体表示为：
Figure GDA0002851647900000052
Figure GDA0002851647900000053
Figure GDA0002851647900000054
np＝[0,0,1]T
nw＝[-sinαsinθi,sinαcosθi,cosα]T
其中，向量
Figure GDA0002851647900000055
表示被旋转楔形棱镜偏转前成像光线的方向向量，向量
Figure GDA0002851647900000056
表示被旋转楔形棱镜偏转后成像光线的方向向量，0≤i≤m，Γrot表示绕着两个方向向量
Figure GDA0002851647900000057
和
Figure GDA0002851647900000058
的外积所定义的轴线方向旋转一定的角度，角度的大小通过向量余弦定律确定；Γrfa表示成像光线在旋转楔形棱镜的楔面侧或平面侧的折射过程，nw和np分别为旋转楔形棱镜的楔面侧的法向量和旋转楔形棱镜的平面侧的法向量，α为旋转楔形棱镜的楔角；
S403：对于探测模组i采集到的目标图像，得到包含目标图像中所有实际像点的实际像点集
Figure GDA0002851647900000059
其中h∈[1,Nh]，w∈[1,Nw]，Nh和Nw分别表示探测模组i所含像素阵列的行数和列数，利用逆向光线追迹方法，分别模拟实际像点集中的每个实际像点
Figure GDA00028516479000000510
所对应的投影光线，所述投影光线为光学透镜组到探测模组i的成像光线，以参考波长
Figure GDA00028516479000000511
计算每个实际像点
Figure GDA00028516479000000512
所对应的投影光线的方向向量
Figure GDA00028516479000000513
方向向量
Figure GDA00028516479000000514
表示为：
Figure GDA00028516479000000515
其中，Ain为探测模组i的内部参数矩阵，
Figure GDA00028516479000000516
为实际像点
Figure GDA00028516479000000517
在探测模组i的图像坐标系OiXiYiZi内的齐次像素坐标，旋转矩阵
Figure GDA00028516479000000518
和平移向量
Figure GDA00028516479000000519
为步骤S204中用于描述探测模组i的图像坐标系OiXiYiZi与多光谱成像系统的工作坐标系OXYZ之间的刚体变换矩阵关系的参数；
S404：利用逆向光线追迹方法，分别模拟实际像点集中的每个实际像点
Figure GDA00028516479000000520
所对应的入射光线，所述入射光线为成像物体到旋转楔形棱镜的成像光线，结合步骤S403得到的投影光线的方向向量
Figure GDA00028516479000000521
和步骤S402得到的折射旋转矩阵
Figure GDA00028516479000000522
入射光线的方向向量
Figure GDA00028516479000000523
表示为：
Figure GDA00028516479000000524
S405：不考虑因成像光线在旋转楔形棱镜的入射角度不同导致的成像光线的偏转，以步骤S404中得到的每个实际像点
Figure GDA0002851647900000061
所对应的入射光线为虚拟光线，分别计算每个虚拟光线经旋转楔形棱镜折射、光学透镜组汇聚后在探测模组i的成像平面上所成的虚拟像点
Figure GDA0002851647900000062
得到虚拟像点集
Figure GDA0002851647900000063
其中h∈[1,Nh]，w∈[1,Nw]，Nh和Nw分别表示探测模组i所含像素阵列的行数和列数，虚拟像点
Figure GDA0002851647900000064
在探测模组i的图像坐标系OiXiYiZi内的齐次像素坐标表示为：
Figure GDA0002851647900000065
其中，ω是使等式右侧的Z向分量为1的尺度因子；
S406：根据探测模组i的目标图像中实际像点与虚拟像点之间的欧氏距离，计算因旋转楔形棱镜导致的探测模组i的几何畸变
Figure GDA0002851647900000066
通过非线性数值拟合方法，建立探测模组i的行方向的几何畸变模型
Figure GDA0002851647900000067
和列方向的几何畸变模型
Figure GDA0002851647900000068
S407：对于探测模组i，通过几何畸变模型
Figure GDA0002851647900000069
和
Figure GDA00028516479000000610
计算目标图像中所有实际像点的畸变分布情况并进行逐点校正，生成无畸变的光谱图像；
S408：重复步骤S403，直至完成对m个探测模组的计算，对于采集到的m张目标图像，生成每张目标图像所对应的无畸变的光谱图像，得到多光谱图像序列。
更进一步的，所述步骤S5包括以下步骤：
S501：根据m个探测模组在多谱段探测器阵列中的相对方位角θ1,θ2,...,θm确定旋转楔形棱镜的m个预期转角位置，每个预期转角位置对应一个探测模组，选取一个探测模组作为参考模组，以参考模组的目标图像所对应的无畸变的光谱图像为参考图像，以参考图像的强度信息作为参考模组的光谱图像的强度信息；
S502：通过驱动装置控制旋转楔形棱镜运动至参考模组所对应的预期转角位置，依次计算参考图像中的每个像点所对应的入射光线的方向向量，所述入射光线为成像物体到旋转楔形棱镜的成像光线；
S503：在控制系统中，选定一个不对应参考模组的预期转角位置，通过驱动装置控制旋转楔形棱镜运动至该预期转角位置；
S504：当旋转楔形棱镜运动至一个预期转角位置时，利用虚拟投影成像方法，依次计算步骤S502中得到的多个入射光线在该预期转角位置所对应的探测模组上所成的像点，得到参考模组相对于该探测模组的像点映射关系；
S505：重复步骤S503，直至旋转楔形棱镜依次运动至m-1个不对应参考模组的预期转角位置，得到参考模组相对于其余m-1个探测模组的像点映射关系；
S506：以其余m-1个探测模组的目标图像所对应的无畸变的光谱图像为被映射图像，根据参考模组相对于其余m-1个探测模组的像点映射关系，采用邻域插值方法，计算每张被映射图像中每个像素点的强度值，得到其余m-1个探测模组的光谱图像的强度信息；
S507：采用光谱辐照强度重建算法，根据步骤S501和步骤S506得到的m个光谱图像的强度信息恢复成像物体在各个波长上的光谱辐照强度l(λ)，表示为；
Figure GDA0002851647900000071
其中，φi表示探测模组i的光强响应函数，即光照强度与图像强度的映射关系，φi -1表示与φi互逆的映射关系，
Figure GDA0002851647900000072
表示探测模组i的光谱图像的强度信息，ci(λ)为探测模组i对不同波长λ的光谱敏感函数。
与现有技术相比，本发明具有以下有益效果：
(1)在多谱段探测器阵列和光学透镜组的前方引入旋转楔形棱镜，通过旋转楔形棱镜的简单旋转运动，改变多谱段探测器阵列中各个探测模组的视轴指向，使分布在不同区域、具有不同成像谱段的探测模组均能以充足的视场范围采集图像，既可降低多光谱成像系统的复杂程度和实现成本，又可有效提升多光谱成像的空间分辨率和光谱分辨率。
(2)利用具有不同光谱响应特性的探测模组构建多谱段探测器阵列，分别捕获成像物体在各探测模组的最佳响应波段的光谱分布信息，可克服传统单探测器多光谱成像过程中，因探测器的非线性光谱响应特性而造成的光谱信息融合处理难题。
(3)结合逆向光线追迹方法和非线性数值拟合方法，构建因旋转楔形棱镜导致的几何畸变分布模型，并对采集到的目标图像进行校正，可提升多谱段探测器阵列在各自视轴指向下采集的图像的真实性和光谱信息的可靠性。
(4)通过虚拟投影成像方法和邻域插值方法，实现校正后的目标图像的精确配准和有效融合，并借助光谱辐照强度重建算法，恢复成像物体在不同波长的光谱分布信息，效果较好，可为工业检测、材料分类、活体成像、视频监控等应用领域提供一种新的技术途径。
(5)通过控制系统和驱动装置控制旋转楔形棱镜的运动与探测模组的启动，自动化程度高，减少了因人工操作造成的误差。
附图说明
图1为多光谱成像系统的结构示意图；
图2为实施例中多谱段探测器阵列的装配方式，图中(a)为通用装配方式，图中(b)为环形异构装配方式；
图3为实施例中旋转楔形棱镜的结构示意图，图中(a)为正视图，图中(b)为侧视图；
图4为实施例中多光谱成像系统的工作原理图，图中(a)为旋转楔形棱镜转角为0°时的图像采集过程，图中(b)旋转楔形棱镜转角为180°时的图像采集过程；
图5为多光谱成像方法的流程图；
附图标记：1、旋转楔形棱镜，2、光学透镜组，3、多谱段探测器阵列，4、成像物体。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
实施例1：
一种基于动态视轴调整原理的多光谱成像系统，如图1所示，沿系统光轴方向依次包括：
旋转楔形棱镜1，用于调整多光谱成像系统的视轴指向，多光谱成像系统的视轴指向如图1中的箭头所示。旋转楔形棱镜1包括平面侧和楔面侧，平面侧与系统光轴垂直，旋转楔形棱镜1的中心点设于系统光轴上，成像光线经旋转楔形棱镜1折射后到达光学透镜组2。本实施例中，旋转楔形棱镜1采用普通的BK7玻璃材料。旋转楔形棱镜1的结构如图3所示，图中(a)为旋转楔形棱镜1的正视图，图中(b)为旋转楔形棱镜1的侧视图。
旋转楔形棱镜1的楔角α和折射率n的取值，是以最大化所有探测模组的共同视场为原则的，具体为：
Figure GDA0002851647900000091
其中，β＝arctan(r/f)为各个探测模组中心与光学透镜组2中心的连线与系统光轴所成夹角，r为各个探测模组的中心与系统光轴的径向距离，f为光学透镜组2的焦距。
光学透镜组2，与旋转楔形棱镜1同轴布置，用于汇聚经旋转楔形棱镜1折射的成像光线，包括若干个光学镜头，光学透镜组2的焦平面与旋转楔形棱镜1的平面侧平行,成像光线经光学透镜组2汇聚后到达多谱段探测器阵列3。本实施例中，光学透镜组2采用市售的光学镜头，其成像波段可按需求进行选择，采用镀膜波长为400nm至1000nm的光学镜头，根据多光谱成像系统的视场范围要求和分辨能力要求，确定光学透镜组2的焦距，选择1个或多个光学镜头组合得到光学透镜组2。
多谱段探测器阵列3，用于接收光学透镜组2汇聚的成像光线，包括若干个成像谱段不同的探测模组。
多谱段探测器阵列3中的所有探测模组均设于探测器平面上，探测器平面与光学透镜组2的焦平面平行，探测模组以系统光轴为中心绕系统光轴环形分布在探测器平面上。如图2所示，多谱段探测器阵列3可以由通用探测模组装配得到，如图2中(a)所示，也可以为环形异构探测模组定制结构，如图2中(b)所示，本实施例中，多谱段探测器阵列3由市售的通用探测模组装配得到，装配方式如图2中(a)所示。
根据多光谱成像系统的视场范围要求和分辨能力要求，确定多谱段探测器阵列3中的探测模组的数量m、各个探测模组的物理尺寸、各个探测模组的成像谱段、各个探测模组的中心与系统光轴的径向距离r。
多光谱成像系统还包括驱动装置，驱动装置与旋转楔形棱镜1连接，用于驱动旋转楔形棱镜1。驱动装置的工作方式可以为力矩电机直驱方式或齿轮传动、同步带传动、蜗轮蜗杆传动等方式，通过驱动装置实现旋转楔形棱镜的全圆周旋转运动，本实施例中采用齿轮传动方式。
多光谱成像系统还包括控制系统，控制系统与驱动装置和旋转楔形棱镜1连接，用于控制驱动装置和旋转楔形棱镜1。本实施例中，当驱动装置控制旋转楔形棱镜运动至指定位置时，控制系统会发射信号至多谱段探测器阵列3，启动相应的探测模组。
成像物体4的成像光线进入旋转楔形棱镜1，经旋转楔形棱镜1折射后成像光线进入光学透镜组2，经光学透镜组2汇聚后成像光线进入多谱段探测器阵列3，当旋转楔形棱镜1的转角不同时，成像光线进入不同的探测模组，因此，通过旋转楔形棱镜1的简单旋转运动，可以改变多谱段探测器阵列3中各个探测模组的成像视轴指向。当旋转楔形棱镜1旋转到指定位置时，通过控制系统启动多谱段探测器阵列3中对应的探测模组，探测模组接收光学透镜组2汇聚的成像光线，得到在该探测模组的成像谱段下的目标图像。
本实施例在多谱段探测器阵列3和光学透镜组2的前方引入旋转楔形棱镜1，通过旋转楔形棱镜1的简单旋转运动，改变多谱段探测器阵列3中各个探测模组的成像视轴指向，使其具有充足的公共视场范围以捕获不同谱段的图像信息，既可降低多光谱成像系统的复杂程度和实现成本，又可有效提升多光谱成像的空间分辨率和光谱分辨率。相比于已有的基于滤光器阵列或分光元件的多光谱成像系统，本实施例的多光谱成像系统无须引入复杂的光学元件或镀膜工艺，也未牺牲视场范围以增加成像谱段，可以提供良好的经济性、灵活性和优异的大视场、多光谱成像能力。
一种基于动态视轴调整原理的多光谱成像方法，使用多光谱成像系统，流程图如图5所示，包括以下步骤：
S1：确定多光谱成像系统中各个部件的参数和各个部件的相对位置关系，构建多光谱成像系统。
S101：根据多光谱成像系统的视场范围要求和分辨能力要求，确定光学透镜组2的焦距f＝35mm、多谱段探测器阵列3中的探测模组的数量为4个，各个探测模组的成像谱段不同，成像谱段分别为λ1∈[400nm,550nm)、λ2∈[550nm,70nm)、λ3∈[700nm,850nm)、λ4∈[850nm,1000nm)、各个探测模组的物理尺寸均为3mm×2.25mm，由于各个探测模组分布在与光学透镜组2的焦平面平行的探测器平面上，并且以系统光轴为中心环形分布，各个探测模组的中心与系统光轴的径向距离r相同，均为3mm。
S102：已知楔形棱镜材料在波长589.3nm上的折射率为n＝1.517，以最大化所有探测模组的共同视场为原则，确定旋转楔形棱镜1的楔角α和折射率n，旋转楔形棱镜1的楔角α应满足：
Figure GDA0002851647900000111
为了保证上述关系对成像谱段内所有波长均成立，本实施例中取α＝20°。
S103：构建由多谱段探测器阵列3、光学透镜组2和旋转楔形棱镜1、驱动装置、控制系统组成的多光谱成像系统，保持各组成部分的相对位姿关系，本实施例中，多谱段探测器阵列3由通用探测模组装配得到，如图2中(a)所示。
S2：建立多光谱成像系统的工作坐标系和各个探测模组的图像坐标系，确定多光谱成像系统中的4个探测模组在多谱段探测器阵列3中的相对方位角θ1,θ2,θ3,θ4，描述各个探测模组的图像坐标系与多光谱成像系统的工作坐标系之间的刚体变换矩阵关系。
S201：建立多光谱成像系统的工作坐标系OXYZ，工作坐标系中，原点O固定于光学透镜组2的光心位置，Z轴与系统光轴方向重合，X轴和Y轴均按右手法则与Z轴正交。
S202：分别建立各个探测模组的图像坐标系OiXiYiZi(0≤i≤4)，图像坐标系中，原点Oi固定于探测模组i的中心，Zi轴垂直于探测模组i的成像平面，Xi轴、Yi轴分别沿着探测模组的行、列扫描方向。
S203：分别确定各个探测模组在多谱段探测器阵列3中的相对方位角θi(0≤i≤4)，相对方位角θi即探测模组i的原点Oi到系统光轴的垂线与工作坐标系中的Y轴正方向所成的夹角。
S204：描述各个探测模组的图像坐标系OiXiYiZi与多光谱成像系统的工作坐标系OXYZ之间的刚体变换矩阵关系，刚体变换矩阵关系通过旋转矩阵
Figure GDA0002851647900000112
和平移向量
Figure GDA0002851647900000113
描述，具体为：
Figure GDA0002851647900000114
其中，θi为探测模组i在多谱段探测器阵列3中的相对方位角。
S3：通过驱动装置控制旋转楔形棱镜依次运动至各个探测模组所对应的预期转角位置，调整多光谱成像系统的视轴指向，采集不同谱段的目标图像。
S301：根据多谱段探测器阵列3中探测模组的数量m＝4及其环形分布情况，可确定各个探测模组的相对方位角，即θ1＝0°、θ2＝90°、θ3＝180°和θ4＝270°，确定旋转楔形棱镜1的m个预期转角位置，每个预期转角位置对应一个探测模组，预期转角位置的大小为该预期转角位置所对应的探测模组在多谱段探测器阵列3中的相对方位角的大小，即4个预期转角位置的大小即为4个探测模组的相对方位角θ1,θ2,θ3,θ4的大小。
S302以最短运动时间为原则，选定一个预期转角位置，通过驱动装置控制旋转楔形棱镜1运动至该预期转角位置，为了使运动时间最短，本实施例中，通过驱动装置控制旋转楔形棱镜1沿顺时针方向依次运动至4个预期转角位置θ1,θ2,θ3,θ4，调整相应探测模组的视轴指向成像物体4。
S303：当旋转楔形棱镜1运动至一个预期转角位置时(θ1、θ2、θ3或θ4)，成像光线经旋转楔形棱镜1折射后进入光学透镜组2，经光学透镜组2汇聚后成像光线进入多谱段探测器阵列3，通过控制系统启动多谱段探测器阵列3中对应该预期转角位置的探测模组(相对方位角也为θ1、θ2、θ3或θ4)，探测模组接收光学透镜组2汇聚的成像光线，得到在该探测模组的成像谱段下的目标图像。在进行目标图像采集时，多光谱成像系统的工作原理如图4所示，图中给出了成像光线的光路图，图中(a)为旋转楔形棱镜1的转角为0°时的图像采集过程，图中(b)旋转楔形棱镜1的转角为180°时的图像采集过程。
S304：重复步骤S302，直至旋转楔形棱镜1依次运动至4个预期转角位置，最终得到4张不同成像谱段的目标图像，分别为成像物体4在成像谱段范围λ1、λ2、λ3和λ4的强度分布信息，但是由于成像光线在旋转楔形棱镜1的入射角度不同，目标图像存在畸变，为了保证图像的真实性和光谱信息的可靠性，接下来将构建几何畸变分布模型并对目标图像进行校正。
S4：分别建立各个探测模组的非线性几何畸变分布模型，校正各个探测模组采集的目标图像的空间分布信息，得到无畸变的多光谱图像序列。
S401：在4个探测模组的成像波段λ1∈[400nm,550nm)、λ2∈[550nm,700nm)、λ3∈[700nm,850nm)和λ4∈[850nm,1000nm)内，分别在每个探测模组的光谱响应曲线中，选取最大响应处的波长作为该探测模组的参考波长
Figure GDA0002851647900000121
参考波长分别为
Figure GDA0002851647900000122
和
Figure GDA0002851647900000123
本实施例中，选用的探测模组为市售的通用探测模组，可以在技术文档里查阅得到光谱响应曲线，也可以重新测定。
S402：分别建立各个探测模组的折射旋转矩阵
Figure GDA0002851647900000124
折射旋转矩阵
Figure GDA0002851647900000125
用于描述探测模组i接收的成像光线被旋转楔形棱镜1偏转前后的相对关系，折射旋转矩阵
Figure GDA0002851647900000131
具体表示为：
Figure GDA0002851647900000132
Figure GDA0002851647900000133
Figure GDA0002851647900000134
np＝[0,0,1]T
nw＝[-sinαsinθi,sinαcosθi,cosα]T
其中，向量
Figure GDA0002851647900000135
表示被旋转楔形棱镜1偏转前成像光线的方向向量，向量
Figure GDA0002851647900000136
表示被旋转楔形棱镜1偏转后成像光线的方向向量，0≤i≤4，Γrot表示绕着两个方向向量
Figure GDA0002851647900000137
和
Figure GDA0002851647900000138
的外积所定义的轴线方向旋转一定的角度，角度的大小通过向量余弦定律确定；Γrfa表示成像光线在旋转楔形棱镜1的楔面侧或平面侧的折射过程，nw和np分别为旋转楔形棱镜1的楔面侧的法向量和旋转楔形棱镜1的平面侧的法向量，α为旋转楔形棱镜1的楔角。
S403：对于探测模组i采集到的目标图像，得到包含目标图像中所有实际像点的实际像点集
Figure GDA0002851647900000139
其中h∈[1,Nh]，w∈[1,Nw]，Nh和Nw分别表示探测模组i所含像素阵列的行数和列数，为了简化计算，选取目标图像上9×9采样点阵所对应的实际像点组成实际像点集
Figure GDA00028516479000001310
其中，h＝1,80,160,240,320,400,480,560,640，w＝1,60,120,180,240,300,360,420,480。利用逆向光线追迹方法，分别模拟实际像点集中的每个实际像点
Figure GDA00028516479000001311
所对应的投影光线，投影光线为光学透镜组2到探测模组i的成像光线，以参考波长
Figure GDA00028516479000001323
计算每个实际像点
Figure GDA00028516479000001312
所对应的投影光线的方向向量
Figure GDA00028516479000001313
方向向量
Figure GDA00028516479000001314
表示为：
Figure GDA00028516479000001315
其中，Ain为探测模组i的内部参数矩阵，
Figure GDA00028516479000001316
为实际像点
Figure GDA00028516479000001317
在探测模组i的图像坐标系OiXiYiZi内的齐次像素坐标，旋转矩阵
Figure GDA00028516479000001318
和平移向量
Figure GDA00028516479000001319
为步骤S204中用于描述探测模组i的图像坐标系OiXiYiZi与多光谱成像系统的工作坐标系OXYZ之间的刚体变换矩阵关系的参数；
S404：利用逆向光线追迹方法，分别模拟实际像点集中的每个实际像点
Figure GDA00028516479000001320
所对应的入射光线，入射光线为成像物体4到旋转楔形棱镜1的成像光线，结合步骤S403得到的投影光线的方向向量
Figure GDA00028516479000001321
和步骤S402得到的折射旋转矩阵
Figure GDA00028516479000001322
入射光线的方向向量
Figure GDA0002851647900000141
表示为：
Figure GDA0002851647900000142
S405：不考虑因成像光线在旋转楔形棱镜1的入射角度不同导致的成像光线的偏转，以步骤S404中得到的每个实际像点
Figure GDA0002851647900000143
所对应的入射光线为虚拟光线，分别计算每个虚拟光线经旋转楔形棱镜1折射、光学透镜组2汇聚后在探测模组i的成像平面上所成的虚拟像点
Figure GDA0002851647900000144
所有虚拟像点组成虚拟像点集
Figure GDA0002851647900000145
其中，h＝1,80,160,240,320,400,480,560,640，w＝1,60,120,180,240,300,360,420,480，虚拟像点
Figure GDA0002851647900000146
在探测模组i的图像坐标系OiXiYiZi内的齐次像素坐标
Figure GDA0002851647900000147
表示为：
Figure GDA0002851647900000148
其中，ω是使等式右侧的Z向分量为1的尺度因子。
S406：根据探测模组i的目标图像中实际像点与虚拟像点之间的欧氏距离，计算因旋转楔形棱镜1导致的探测模组i的几何畸变
Figure GDA0002851647900000149
通过非线性数值拟合方法，建立探测模组i的行方向的几何畸变模型
Figure GDA00028516479000001410
和列方向的几何畸变模型
Figure GDA00028516479000001411
本实施例中，采用k阶B样条曲线拟合方法校正目标图像，以三阶B样条曲线为例进行说明，建立行方向和列方向的几何畸变模型
Figure GDA00028516479000001412
和
Figure GDA00028516479000001413
具体表示为：
Figure GDA00028516479000001414
其中(gi)h和(gi)w分别表示采样点处几何畸变gi在行方向和列方向上的分量，
Figure GDA00028516479000001415
和
Figure GDA00028516479000001416
分别表示行方向和列方向上的3阶B样条基函数。
S407：对于探测模组i，通过几何畸变模型
Figure GDA00028516479000001417
和
Figure GDA00028516479000001418
计算目标图像中所有实际像点的畸变分布情况并进行逐点校正，生成无畸变的光谱图像；
S408：重复步骤S403，直至完成对4个探测模组的计算，对于采集到的4张目标图像，生成每张目标图像所对应的无畸变的光谱图像，得到多光谱图像序列。
S5：根据多谱段探测器阵列3中4个探测模组之间的空间布局，构建各个探测模组之间的像点映射关系，将校正后的目标图像进行配准与融合。
S501：根据4个探测模组在多谱段探测器阵列3中的相对方位角θ1,θ2,θ3,θ4确定旋转楔形棱镜1的4个预期转角位置，每个预期转角位置对应一个探测模组，预期转角位置的大小为该预期转角位置所对应的探测模组在多谱段探测器阵列3中的相对方位角的大小。选取一个探测模组作为参考模组，以参考模组的目标图像所对应的无畸变的光谱图像为参考图像，以参考图像的强度信息作为参考模组的光谱图像的强度信息，本实施例中选择相对方位角为θ1＝0°的探测模组作为参考模组，参考模组的光谱图像的强度信息记为
Figure GDA0002851647900000151
S502：通过驱动装置控制旋转楔形棱镜1运动至参考模组所对应的预期转角位置，即旋转楔形棱镜1的转角为0°，利用逆向光线追迹方法，依次计算参考图像中的每个像点所对应的入射光线的方向向量，入射光线为成像物体4到旋转楔形棱镜1的成像光线，得到一系列入射光线，每个入射光线对应参考图像中的一个像点。
S503选定一个不对应参考模组的预期转角位置(旋转楔形棱镜1的转角为θ2＝90°或θ3＝180°或θ4＝270°)，通过驱动装置控制旋转楔形棱镜1运动至该预期转角位置。
S504：当旋转楔形棱镜1运动至一个预期转角位置时，以相对方位角为θ2＝90°的探测模组为例，利用虚拟投影成像方法，依次计算步骤S502中得到的多个入射光线在该预期转角位置所对应的探测模组上所成的像点
Figure GDA0002851647900000152
得到参考模组相对于该探测模组的像点映射关系，即即M(θ2):
Figure GDA0002851647900000153
S505：重复步骤S503，直至旋转楔形棱镜1依次运动至m-1个不对应参考模组的预期转角位置，得到参考模组相对于其余m-1个探测模组的像点映射关系，即M(θ2):
Figure GDA0002851647900000154
M(θ3):
Figure GDA0002851647900000155
和M(θ4):
Figure GDA0002851647900000156
S506：以其余m-1个探测模组的目标图像所对应的无畸变的光谱图像为被映射图像，根据参考模组相对于其余m-1个探测模组的像点映射关系M(θ2)、M(θ3)和M(θ4)，采用邻域插值方法，计算每张被映射图像中每个像素点的强度值，得到其余m-1个探测模组的光谱图像的强度信息。邻域插值方法可以使用最近邻插值、双线性插值、双立方插值等方法，本实施例以双线性插值方法为例进行说明，
Figure GDA0002851647900000157
Figure GDA0002851647900000158
和
Figure GDA0002851647900000159
具体插值过程表示为：
Figure GDA00028516479000001510
其中I()表示在指定像素位置的强度值，(umi,vmi)为被映射像素
Figure GDA0002851647900000161
的像素坐标，
Figure GDA0002851647900000162
和
Figure GDA0002851647900000163
分别表示对umi向下、向上取整的结果，
Figure GDA0002851647900000164
和
Figure GDA0002851647900000165
分别表示对vmi向下、向上取整的结果。
S507：采用光谱辐照强度重建算法，根据步骤S501和步骤S506得到的4个光谱图像的强度信息
Figure GDA0002851647900000166
和
Figure GDA0002851647900000167
恢复成像物体4的不同成像位置在各个波长上的光谱辐照强度l(λ)，表示为；
Figure GDA0002851647900000168
其中，φi(i＝1,2,3,4)表示各个探测模组的光强响应函数，表征光照强度与图像强度之间的线性映射关系，一般为线性或通过标定得到；φi -1表示与φi互逆的映射关系；ci(λ)为探测模组i对不同波长λ的光谱敏感函数，可从技术文档查阅得到，本实施例中，各个探测模组的成像谱段较窄，可以认为ci(λ)和l(λ)在局部范围λ1、λ2、λ3和λ4内分别为常值。
以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思做出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。

Claims (9)

1.一种基于动态视轴调整原理的多光谱成像方法，其特征在于，其所基于的多光谱成像系统，沿系统光轴方向依次包括：
旋转楔形棱镜(1)，用于调整所述多光谱成像系统的视轴指向，包括平面侧和楔面侧，所述平面侧与系统光轴垂直，所述旋转楔形棱镜(1)的中心点位于系统光轴上，成像光线经旋转楔形棱镜(1)折射后到达光学透镜组(2)；
光学透镜组(2)，与旋转楔形棱镜(1)同轴布置，用于汇聚经旋转楔形棱镜(1)折射的成像光线，包括1个或多个光学镜头，所述光学透镜组(2)的焦平面与旋转楔形棱镜(1)的平面侧平行,成像光线经光学透镜组(2)汇聚后到达多谱段探测器阵列(3)；
多谱段探测器阵列(3)，用于接收光学透镜组(2)汇聚的成像光线，包括多个成像谱段不同的探测模组；
具体的，所述多光谱成像方法包括以下步骤：
步骤S1：确定多光谱成像系统中各个部件的参数和各个部件的相对位置关系，构建多光谱成像系统；
步骤S2：建立多光谱成像系统的工作坐标系和各个探测模组的图像坐标系，分别确定多光谱成像系统中的m个探测模组在多谱段探测器阵列(3)中的相对方位角θ1,θ2,...,θm，分别描述各个探测模组的图像坐标系与多光谱成像系统的工作坐标系之间的刚体变换矩阵关系；
步骤S3：控制旋转楔形棱镜(1)依次运动至各个探测模组所对应的预期转角位置，调整多光谱成像系统的视轴指向，采集不同成像谱段的目标图像；
步骤S4：分别建立各个探测模组的非线性几何畸变分布模型，校正各个探测模组采集的目标图像的空间分布信息，得到无畸变的多光谱图像序列；
步骤S5：根据多谱段探测器阵列(3)中m个探测模组之间的空间布局，构建各个探测模组之间的像点映射关系，将步骤S4中校正后的目标图像进行配准与融合。
2.根据权利要求1所述的一种基于动态视轴调整原理的多光谱成像方法，其特征在于，所述多谱段探测器阵列(3)中的所有探测模组均设于探测器平面上，所述探测器平面与光学透镜组(2)的焦平面平行，探测模组以系统光轴为中心绕系统光轴环形分布在探测器平面上。
3.根据权利要求1所述的一种基于动态视轴调整原理的多光谱成像方法，其特征在于，所述多光谱成像系统还包括驱动装置和控制系统，所述驱动装置与旋转楔形棱镜(1)连接，用于驱动旋转楔形棱镜(1)，所述控制系统与驱动装置和旋转楔形棱镜(1)连接，用于控制驱动装置和旋转楔形棱镜(1)。
4.根据权利要求1所述的一种基于动态视轴调整原理的多光谱成像方法，其特征在于，所述步骤S1包括以下步骤：
S101：根据多光谱成像系统的视场范围要求和分辨能力要求，确定光学透镜组(2)的焦距、多谱段探测器阵列(3)中的探测模组的数量m、各个探测模组的物理尺寸、各个探测模组的成像谱段、各个探测模组的中心与系统光轴的径向距离r；
S102：以最大化所有探测模组的共同视场为原则，确定旋转楔形棱镜(1)的楔角α和折射率n，具体为：
Figure FDA0003248533120000021
其中，β＝arctan(r/f)为各个探测模组中心与光学透镜组(2)中心的连线与系统光轴所成夹角，r为各个探测模组的中心与系统光轴的径向距离，f为光学透镜组(2)的焦距；
S103：构建由旋转楔形棱镜(1)、光学透镜组(2)、多谱段探测器阵列(3)、驱动装置和控制系统组成的多光谱成像系统。
5.根据权利要求1所述的一种基于动态视轴调整原理的多光谱成像方法，其特征在于，所述步骤S2包括以下步骤：
S201：建立多光谱成像系统的工作坐标系OXYZ，工作坐标系中，原点O固定于光学透镜组(2)的光心位置，Z轴与系统光轴方向重合，X轴和Y轴均按右手法则与Z轴正交；
S202：分别建立各个探测模组的图像坐标系OiXiYiZi(0≤i≤m)，图像坐标系中，原点Oi固定于探测模组i的中心，Zi轴垂直于探测模组i的成像平面，Xi轴、Yi轴分别为探测模组的行、列扫描方向；
S203：分别确定各个探测模组在多谱段探测器阵列(3)中的相对方位角θi(0≤i≤m)，所述相对方位角θi即探测模组i的中心垂线与工作坐标系中Y轴正方向所成的夹角，所述探测模组i的中心垂线为探测模组i的图像坐标系中的原点Oi到系统光轴的垂线；
S204：描述各个探测模组的图像坐标系OiXiYiZi与多光谱成像系统的工作坐标系OXYZ之间的刚体变换矩阵关系，所述刚体变换矩阵关系通过旋转矩阵
Figure FDA0003248533120000031
和平移向量
Figure FDA0003248533120000032
描述，具体为：
Figure FDA0003248533120000033
其中，r为各个探测模组的中心与系统光轴的径向距离，f为光学透镜组(2)的焦距，θi为探测模组i在多谱段探测器阵列(3)中的相对方位角。
6.根据权利要求1所述的一种基于动态视轴调整原理的多光谱成像方法，其特征在于，所述步骤S3包括以下步骤：
S301：根据m个探测模组在多谱段探测器阵列(3)中的相对方位角θ1,θ2,...,θm确定旋转楔形棱镜(1)的m个预期转角位置，每个预期转角位置对应一个探测模组；
S302：以最短运动时间为原则，选定一个预期转角位置，控制旋转楔形棱镜(1)运动至该预期转角位置；
S303：当旋转楔形棱镜(1)运动至一个预期转角位置时，成像光线经旋转楔形棱镜(1)折射后进入光学透镜组(2)，经光学透镜组(2)汇聚后成像光线进入多谱段探测器阵列(3)，启动多谱段探测器阵列(3)中对应该预期转角位置的探测模组，探测模组接收光学透镜组(2)汇聚的成像光线，得到在该探测模组的成像谱段下的目标图像；
S304：重复步骤S302，直至旋转楔形棱镜(1)依次运动至m个预期转角位置，最终得到m张不同成像谱段的目标图像。
7.根据权利要求6所述的一种基于动态视轴调整原理的多光谱成像方法，其特征在于，所述预期转角位置的大小为该预期转角位置所对应的探测模组在多谱段探测器阵列(3)中的相对方位角的大小。
8.根据权利要求5所述的一种基于动态视轴调整原理的多光谱成像方法，其特征在于，所述步骤S4包括以下步骤：
S401：分别确定各个探测模组的成像谱段
Figure FDA0003248533120000041
其中
Figure FDA00032485331200000425
和
Figure FDA0003248533120000042
分别表示探测模组i的成像谱段λi的下界和上界，在探测模组i的光谱响应曲线中，选取最大响应处的波长作为探测模组i的参考波长
Figure FDA0003248533120000043
S402：分别建立各个探测模组的折射旋转矩阵
Figure FDA0003248533120000044
折射旋转矩阵
Figure FDA0003248533120000045
用于描述探测模组i接收的成像光线被旋转楔形棱镜(1)偏转前后的相对关系，折射旋转矩阵
Figure FDA0003248533120000046
具体表示为：
Figure FDA0003248533120000047
Figure FDA0003248533120000048
Figure FDA0003248533120000049
np＝[0,0,1]T
nw＝[-sinαsinθi,sinαcosθi,cosα]T
其中，向量
Figure FDA00032485331200000410
表示被旋转楔形棱镜(1)偏转前成像光线的方向向量，向量
Figure FDA00032485331200000411
表示被旋转楔形棱镜(1)偏转后成像光线的方向向量，0≤i≤m，Γrot表示绕着两个方向向量
Figure FDA00032485331200000412
和
Figure FDA00032485331200000413
的外积所定义的轴线方向旋转一定的角度，角度的大小通过向量余弦定律确定；Γrfa表示成像光线在旋转楔形棱镜(1)的楔面侧或平面侧的折射过程，nw和np分别为旋转楔形棱镜(1)的楔面侧的法向量和旋转楔形棱镜(1)的平面侧的法向量，α为旋转楔形棱镜(1)的楔角；
S403：对于探测模组i采集到的目标图像，得到包含目标图像中所有实际像点的实际像点集
Figure FDA00032485331200000414
其中h∈[1,Nh]，w∈[1,Nw]，Nh和Nw分别表示探测模组i所含像素阵列的行数和列数，利用逆向光线追迹方法，分别模拟实际像点集中的每个实际像点
Figure FDA00032485331200000415
所对应的投影光线，所述投影光线为光学透镜组(2)到探测模组i的成像光线，以参考波长
Figure FDA00032485331200000426
计算每个实际像点
Figure FDA00032485331200000416
所对应的投影光线的方向向量
Figure FDA00032485331200000417
方向向量
Figure FDA00032485331200000418
表示为：
Figure FDA00032485331200000419
其中，Ain为探测模组i的内部参数矩阵，
Figure FDA00032485331200000420
为实际像点
Figure FDA00032485331200000421
在探测模组i的图像坐标系OiXiYiZi内的齐次像素坐标，旋转矩阵
Figure FDA00032485331200000422
和平移向量
Figure FDA00032485331200000423
为步骤S204中用于描述探测模组i的图像坐标系OiXiYiZi与多光谱成像系统的工作坐标系OXYZ之间的刚体变换矩阵关系的参数；
S404：利用逆向光线追迹方法，分别模拟实际像点集中的每个实际像点
Figure FDA00032485331200000424
所对应的入射光线，所述入射光线为成像物体(4)到旋转楔形棱镜(1)的成像光线，结合步骤S403得到的投影光线的方向向量
Figure FDA0003248533120000051
和步骤S402得到的折射旋转矩阵
Figure FDA0003248533120000052
入射光线的方向向量
Figure FDA0003248533120000053
表示为：
Figure FDA0003248533120000054
S405：不考虑因成像光线在旋转楔形棱镜(1)的入射角度不同导致的成像光线的偏转，以步骤S404中得到的每个实际像点
Figure FDA0003248533120000055
所对应的入射光线为虚拟光线，分别计算每个虚拟光线经旋转楔形棱镜(1)折射、光学透镜组(2)汇聚后在探测模组i的成像平面上所成的虚拟像点
Figure FDA0003248533120000056
得到虚拟像点集
Figure FDA0003248533120000057
其中h∈[1,Nh]，w∈[1,Nw]，Nh和Nw分别表示探测模组i所含像素阵列的行数和列数，虚拟像点
Figure FDA0003248533120000058
在探测模组i的图像坐标系OiXiYiZi内的齐次像素坐标表示为：
Figure FDA0003248533120000059
其中，ω是使等式右侧的Z向分量为1的尺度因子；
S406：根据探测模组i的目标图像中实际像点与虚拟像点之间的欧氏距离，计算因旋转楔形棱镜(1)导致的探测模组i的几何畸变
Figure FDA00032485331200000510
通过非线性数值拟合方法，建立探测模组i的行方向的几何畸变模型
Figure FDA00032485331200000511
和列方向的几何畸变模型
Figure FDA00032485331200000512
S407：对于探测模组i，通过几何畸变模型
Figure FDA00032485331200000513
和
Figure FDA00032485331200000514
计算目标图像中所有实际像点的畸变分布情况并进行逐点校正，生成无畸变的光谱图像；
S408：重复步骤S403，直至完成对m个探测模组的计算，对于采集到的m张目标图像，生成每张目标图像所对应的无畸变的光谱图像，得到多光谱图像序列。
9.根据权利要求8所述的一种基于动态视轴调整原理的多光谱成像方法，其特征在于，所述步骤S5包括以下步骤：
S501：根据m个探测模组在多谱段探测器阵列(3)中的相对方位角θ1,θ2,...,θm确定旋转楔形棱镜(1)的m个预期转角位置，每个预期转角位置对应一个探测模组，选取一个探测模组作为参考模组，以参考模组的目标图像所对应的无畸变的光谱图像为参考图像，以参考图像的强度信息作为参考模组的光谱图像的强度信息；
S502：控制旋转楔形棱镜(1)运动至参考模组所对应的预期转角位置，依次计算参考图像中的每个像点所对应的入射光线的方向向量，所述入射光线为成像物体(4)到旋转楔形棱镜(1)的成像光线；
S503：选定一个不对应参考模组的预期转角位置，控制旋转楔形棱镜(1)运动至该预期转角位置；
S504：当旋转楔形棱镜(1)运动至一个预期转角位置时，利用虚拟投影成像方法，依次计算步骤S502中得到的多个入射光线在该预期转角位置所对应的探测模组上所成的像点，得到参考模组相对于该探测模组的像点映射关系；
S505：重复步骤S503，直至旋转楔形棱镜(1)依次运动至m-1个不对应参考模组的预期转角位置，得到参考模组相对于其余m-1个探测模组的像点映射关系；
S506：以其余m-1个探测模组的目标图像所对应的无畸变的光谱图像为被映射图像，根据参考模组相对于其余m-1个探测模组的像点映射关系，采用邻域插值方法，计算每张被映射图像中每个像素点的强度值，得到其余m-1个探测模组的光谱图像的强度信息；
S507：采用光谱辐照强度重建算法，根据步骤S501和步骤S506得到的m个光谱图像的强度信息恢复成像物体(4)在各个波长上的光谱辐照强度l(λ)，表示为；
Figure FDA0003248533120000061
其中，φi表示探测模组i的光强响应函数，即光照强度与图像强度的映射关系，φi -1表示与φi互逆的映射关系，
Figure FDA0003248533120000062
表示探测模组i的光谱图像的强度信息，ci(λ)为探测模组i对不同波长λ的光谱敏感函数。
CN202011168308.9A 2020-10-28 2020-10-28 一种基于动态视轴调整原理的多光谱成像系统和方法 Active CN112432705B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011168308.9A CN112432705B (zh) 2020-10-28 2020-10-28 一种基于动态视轴调整原理的多光谱成像系统和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011168308.9A CN112432705B (zh) 2020-10-28 2020-10-28 一种基于动态视轴调整原理的多光谱成像系统和方法

Publications (2)

Publication Number Publication Date
CN112432705A CN112432705A (zh) 2021-03-02
CN112432705B true CN112432705B (zh) 2021-12-31

Family

ID=74696231

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011168308.9A Active CN112432705B (zh) 2020-10-28 2020-10-28 一种基于动态视轴调整原理的多光谱成像系统和方法

Country Status (1)

Country Link
CN (1) CN112432705B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113607188B (zh) * 2021-08-02 2022-07-05 北京航空航天大学 基于经纬仪叉丝成像的多视场星敏感器的标定系统及方法
CN114485938A (zh) * 2022-01-25 2022-05-13 中国科学院合肥物质科学研究院 一种光谱成像ccd的prnu评价方法及存储介质
CN115100315B (zh) * 2022-08-24 2022-11-15 威海市博华医疗设备有限公司 基于ct的高清成像方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106989820A (zh) * 2017-03-29 2017-07-28 长春理工大学 基于同心球聚焦元件的新型多光谱成像光学系统
CN108917928A (zh) * 2018-05-22 2018-11-30 中国科学院长春光学精密机械与物理研究所 一种360度全景多光谱成像仪
EP3521784A1 (en) * 2018-01-31 2019-08-07 Tõnnisson, Teofilus Scanning interferometer with helicoidal prism
CN110243283A (zh) * 2019-05-30 2019-09-17 同济大学 一种可变视轴视觉测量系统及方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106989820A (zh) * 2017-03-29 2017-07-28 长春理工大学 基于同心球聚焦元件的新型多光谱成像光学系统
EP3521784A1 (en) * 2018-01-31 2019-08-07 Tõnnisson, Teofilus Scanning interferometer with helicoidal prism
CN108917928A (zh) * 2018-05-22 2018-11-30 中国科学院长春光学精密机械与物理研究所 一种360度全景多光谱成像仪
CN110243283A (zh) * 2019-05-30 2019-09-17 同济大学 一种可变视轴视觉测量系统及方法

Also Published As

Publication number Publication date
CN112432705A (zh) 2021-03-02

Similar Documents

Publication Publication Date Title
CN112432705B (zh) 一种基于动态视轴调整原理的多光谱成像系统和方法
EP2513599B1 (en) Geometric referencing of multi-spectral data
US7479982B2 (en) Device and method of measuring data for calibration, program for measuring data for calibration, program recording medium readable with computer, and image data processing device
US6075235A (en) High-resolution polarization-sensitive imaging sensors
US7859572B2 (en) Enhancing digital images using secondary optical systems
JPH02110314A (ja) 地表の遠隔調査方法及び装置
US9843788B2 (en) RGB-D imaging system and method using ultrasonic depth sensing
JP2009225454A (ja) 複眼方式の撮像装置
CN106651859A (zh) 一种多路鱼眼相机标定装置及方法
CN108253939A (zh) 可变视轴单目立体视觉测量方法
CN106123798A (zh) 一种数字摄影激光扫描装置
CN113884519B (zh) 自导航x射线成像系统及成像方法
EP2856093B1 (en) Imaging system with multiple focal plane array sensors
US20090041368A1 (en) Enhancing digital images using secondary optical systems
CN104539829A (zh) 一种基于红外面阵探测器扫描成像的光机结构
CN112055195B (zh) 一种测绘相机畸变测量方法
CN107356338A (zh) 一种大幅宽高温度灵敏度的红外遥感成像装置及方法
Cui et al. Curved retina-like camera array imaging system with adjustable super-resolution fovea
CN116381712A (zh) 一种基于线阵相机与地面激光雷达组合装置的测量方法
RU2579532C2 (ru) Оптико-электронный стереоскопический дальномер
US8063941B2 (en) Enhancing digital images using secondary optical systems
CN108917928B (zh) 一种360度全景多光谱成像仪
US10594935B2 (en) Along track flat optical lens imaging device
JP3382530B2 (ja) 光学撮像装置
CN112866546B (zh) 对焦方法和装置、电子设备、计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant