CN105224495B - 一种时间调制型光谱仪实时数据处理系统及方法 - Google Patents

一种时间调制型光谱仪实时数据处理系统及方法 Download PDF

Info

Publication number
CN105224495B
CN105224495B CN201510742640.4A CN201510742640A CN105224495B CN 105224495 B CN105224495 B CN 105224495B CN 201510742640 A CN201510742640 A CN 201510742640A CN 105224495 B CN105224495 B CN 105224495B
Authority
CN
China
Prior art keywords
data
module
reference source
spectrum
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510742640.4A
Other languages
English (en)
Other versions
CN105224495A (zh
Inventor
刘加庆
胡德信
刘磊
李志增
韩强
江升
韩顺利
吕子敬
牛继勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CETC 41 Institute
Original Assignee
CETC 41 Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CETC 41 Institute filed Critical CETC 41 Institute
Priority to CN201510742640.4A priority Critical patent/CN105224495B/zh
Publication of CN105224495A publication Critical patent/CN105224495A/zh
Application granted granted Critical
Publication of CN105224495B publication Critical patent/CN105224495B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/38—Information transfer, e.g. on bus
    • G06F13/40—Bus structure
    • G06F13/4063—Device-to-bus coupling
    • G06F13/4068—Electrical coupling
    • G06F13/4072—Drivers or receivers

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Spectrometry And Color Measurement (AREA)

Abstract

本发明公开了一种时间调制型光谱仪实时数据处理系统及方法，系统包括：数据收发模块，用于接收来自仪器数据采集系统的第一定标源、第二定标源和目标的三种场景干涉数据；还用于接收来自数据处理模块处理后的数据，并根据实际需要将处理后的数据输出；控制模块，负责控制数据收发模块完成数据的接收、存储及发送；负责控制数据处理模块工作，为数据处理模块提供时序和逻辑控制命令；数据处理模块，用于完成由数据收发模块接收的三种场景干涉数据的实时数据处理。本专利可用于机载、气球载或星载时间调制型光谱仪，以及在线检测应用等对数据量有限制或需要实时目标光谱的场合。具有硬件实现方便、应用灵活、实时性好、高精度和高可靠性等优点。

Description

一种时间调制型光谱仪实时数据处理系统及方法
技术领域
本发明涉及一种时间调制型光谱仪实时数据处理系统及方法。
背景技术
时间干涉光谱分析技术具有高光谱分辨率、高光通量、多通道、宽光谱覆盖等优点，是一类非常重要的高分辨率光谱分析技术，特别是宽波段红外光谱探测。目前已广泛应用于空间遥感、大气探测、物质分析、安防防化、计量、实验室、环境、医疗、军事分析、刑事侦查等多个领域。
与传统的棱镜、光栅分光型光谱仪，以及滤光型光谱仪不同，时间调制型光谱仪基于时间调制原理对目标入射光进行分光，因此其获取数据量特别大，并且数据量与分辨率正相关，获取的是目标入射光经时间调制的干涉数据，需要经过系列复杂数学处理才能获取目标光谱。
时间调制型光谱仪在机载、气球载或星载等应用场合，由于存储及传输等因素的限制，往往需要对获取数据进行实时或近实时数据处理，以有效降低数据存储及传输压力；在线检测、安防防化等应用场合需要获取实时或近实时目标光谱数据，以便于后续处理及应用。
现有的数据处理方法多采用抽取滤波或使用压缩算法等方法实现数据量的降低，抽取滤波方法虽然具有方法简单、便于硬件实现等优点，但是存在数据压缩能力较弱、对目标光谱信噪比影响较大、容易引入错误等缺点；压缩算法的压缩比通常小于5，且算法实现复杂，计算量很大；而对于需要获取实时目标光谱场合，目前多采用基于微处理器的软件方法实现，存在处理速度慢、实时性差、灵活性差、应用场合受限等问题。
针对机载、气球载或星载时间调制型光谱仪，以及在线检测应用等对数据量有限制或需要实时目标光谱的场合。
1)目前一般采用的直接下传或存储方式，存在下传数据量大及存储压力大，难以满足应用需求；
2)使用压缩算法进行压缩处理，存在压缩能力差，手段单一，算法复杂等问题；
3)抽取滤波方式，压缩能力有待进一步提高，但对复原光谱信噪比影响较大；
4)目前光谱复原一般是基于计算机采用软件方法实现，在某些应用场合存在速度慢，难以满足实时要求等问题。
发明内容
本发明的目的就是为了解决上述问题，提供一种时间调制型光谱仪实时数据处理系统及方法，它具有解决了时间调制型光谱仪实时数据处理的技术问题的优点。
为了实现上述目的，本发明采用如下技术方案：
一种时间调制型光谱仪实时数据处理系统，包括：
数据收发模块，用于接收来自仪器数据采集系统的第一定标源、第二定标源和目标的三种场景干涉数据；还用于接收来自数据处理模块处理后的数据，并根据实际需要将处理后的数据输出；
控制模块，负责控制数据收发模块完成数据的接收、存储及发送；负责控制数据处理模块工作，为数据处理模块提供时序和逻辑控制命令；
数据处理模块，用于完成由数据收发模块接收的三种场景干涉数据的实时数据处理。
所述数据处理模块，包括零光程差点检测模块、毛刺检测/校正模块、非线性校正模块、傅里叶变换模块、相位对齐模块、复数辐射定标模块和叠加均值模块。
所述零光程差点检测模块，用于对数据收发模块接收的第一定标源、第二定标源和目标的三种场景干涉数据给出对应的零光程差点；
所述毛刺检测/校正模块，用于依次对第一存储模块中的第一定标源、第二定标源和目标的三种场景干涉数据进行毛刺检测/校正处理；
所述非线性校正模块，在毛刺检测/校正模块处理结束后，依次对第一存储模块中的三种干涉数据进行非线性校正；
所述傅里叶变换模块，在非线性校正模块处理结束后，用于对第一存储模块中的三种场景干涉数据依次进行傅里叶变换和有效带内光谱提取，然后将数据存入第二存储模块；
所述相位对齐模块，用于基于第一存储模块中的三种场景干涉数据中央条纹区对应的小双边干涉数据计算相位对齐因子；对第二存储模块中的第一定标源和目标场景带内复数光谱进行相位对齐处理；
所述复数辐射定标模块，用于对第二存储模块中存储的相位对齐处理后的三种场景带内复数光谱进行复数辐射定标处理，处理结果的实部即为实际的目标定标光谱；
所述叠加均值模块，用于接收数据收发模块发送过来的第一定标源和第二定标源干涉数据，对第一定标源和第二定标源干涉数据进行叠加均值处理，并将结果存入第一存储模块，目标干涉数据直接存入第一存储模块；
一种时间调制型光谱仪实时数据处理方法，包括如下步骤：
步骤(1)：获取目标干涉数据、第一定标源的干涉数据和第二定标源的干涉数据；
步骤(2)：叠加均值：对第一定标源和第二定标源的干涉数据分别进行叠加均值处理，得到第一定标源的叠加均值处理干涉数据和第二定标源的叠加均值处理干涉数据；
步骤(3)：毛刺检测/校正、非线性校正、傅里叶变换处理：
对步骤(1)的目标干涉数据依次进行毛刺检测/校正、非线性校正、傅里叶变换处理后，得到目标复原带内复数光谱；
对步骤(2)的第一定标源的叠加均值处理干涉数据依次进行毛刺检测/校正、非线性校正、傅里叶变换处理后，得到第一复原带内复数光谱；
对步骤(2)的第二定标源的叠加均值处理干涉数据依次进行毛刺检测/校正、非线性校正、傅里叶变换处理后，得到第二复原带内复数光谱；
步骤(4)：相位对齐：选取第二定标源的第二复原带内复数光谱作为相位对齐参考，对目标复原带内复数光谱和第一定标源的第一复原带内复数光谱做相位对齐处理；
步骤(5)：复数辐射定标：使用第二复原带内复数光谱和经相位对齐处理的第一复原带内复数光谱，基于复数辐射定标方法对经相位对齐处理的目标复原带内复数光谱进行辐射定标处理，定标结果数据的实部即为目标光谱，定标结果数据的虚部用于复数辐射定标的数据处理精度评估，如果复数辐射定标的误差过大，则更新毛刺检测、非线性校正、相位对齐或复数辐射定标的参数，重复上述步骤(1)～(5)。
所述步骤(3)的非线性校正的步骤如下：
步骤(3-1)：利用ADC非线性校正系数对采样干涉数据进行ADC非线性校正；
对直流分量进行预放偏置移除，利用ADC非线性校正系数对预放偏置移除处理后的直流分量也进行ADC非线性校正；
对经过ADC非线性校正的采样干涉数据和直流分量进行叠加，重建完整干涉数据；
步骤(3-2)：完整干涉数据经傅里叶变换得到复原复数光谱，将复原复数光谱的低波数和高波数带外光谱置零；
步骤(3-3)：置零处理后的复原复数光谱经逆傅里叶变换得到修正干涉数据，并与步骤(3-1)的完整干涉数据做多项式拟合，得到拟合系数；
步骤(3-4)：使用步骤(3-3)的拟合系数对步骤(3-1)的完整干涉数据进行非线性校正，并分析校正干涉数据对应的带外光谱残差；
步骤(3-5)：重复步骤(3-2)-步骤(3-4)，直到校正干涉数据对应的带外光谱残差满足设定要求，此时得到的拟合参数，即为最终的非线性校正系数。
所述步骤(4)相位对齐的步骤如下：
步骤(4-1)：由傅里叶变换得到的目标复原带内复数光谱Stg、第一复原带内复数光谱Scb1和第二复原带内复数光谱Scb2；
步骤(4-2)：取目标干涉数据、第一定标源的干涉数据和第二定标源的干涉数据，对三种干涉数据的中央条纹区的小双边干涉图均分别做傅里叶变换，得到目标的低分辨率带内光谱第一定标源的低分辨率带内光谱第二定标源的低分辨率带内光谱
步骤(4-3)：利用CORDIC(Coordinate Rotation Digital Computer，坐标旋转数字计算机算法)算法分别计算目标复原带内复数光谱Stg、第一复原带内复数光谱Scb1和第二复原带内复数光谱Scb2的相位值，并计算目标复原带内复数光谱相位均值第一复原带内复数光谱相位均值和第二复原带内复数光谱相位均值
步骤(4-4)：条纹计数错误检测，如果发生条纹计数错误，则剔除该复原带内复数光谱数据；如果不发生，则继续后续处理；
步骤(4-5)：
计算目标复原带内复数光谱相位均值与第二定标源的第二复原带内复数光谱相位均值的偏差，即：
计算第一定标源的第一复原带内复数光谱相位均值与第二定标源的第二复原带内复数光谱相位均值的偏差，即：
步骤(4-6)：利用CORDIC算法计算复原带内复数光谱相位均值偏差的三角函数值作为相位对齐因子，即：
其中，kcb2-tg为目标复原带内复数光谱的相位对齐因子，kcb2-cb1为第一定标源复原带内复数光谱的相位对齐因子。
步骤(4-7)：分别对第一定标源和目标复原带内复数光谱做相位对齐处理，即：
Stg’＝Stg×kcb2-tg；
Scb1’＝Scb1×kcb2-cb1；
其中，Stg'为经相位对齐处理的目标复原带内复数光谱，Scb1'为经相位对齐处理的第一复原带内复数光谱。
所述步骤(5)辐射定标的步骤如下：
使用经相位对齐处理的第一复原带内复数光谱和第二复原带内复数光谱，利用复数辐射定标方法对目标带内复数光谱进行处理，取结果实部作为目标定标光谱，结果虚部可用于辐射定标误差评估。即：
其中，为目标定标光谱，Tcb1为第一定标源的温度，，Tcb2为第二定标源的温度，plk(Tcb1)为温度为Tcb1的第一定标源的理论辐射值，plk(Tcb2)为温度为Tcb2的第二定标源的理论辐射值。
本发明具有以下优点：
1.基于SRAM结构FPGA具备可重配置能力；包含PowerPC的Xilinx FPGA构建的数据处理系统具备软硬件协同架构，可方便采用FPGA逻辑门阵列或嵌入式PowerPC实现不同功能；基于FPGA的数据处理系统具备非常高的数据处理能力和应用灵活性。
2.提出了一种新的时间调制型光谱仪的实时数据处理方法，具有流程简洁、精度高、模块化、应用灵活等特点。
3.针对FPGA硬件实现优化设计的时间调制型光谱仪实时数据处理流程及相关算法，可在较少硬件资源需求和较小实现难度的情况下，实现干涉数据实时处理的同时，具有较高的处理精度；可实时获取目标光谱和较大压缩比的仪器获取数据量降低。
4.本发明提出的基于相位对齐和复数辐射定标的相位校正方法，具有精度高、便于硬件实现、适应性好等优点。
5.对两类定标干涉数据进行叠加均值处理，以改善定标干涉数据信噪比，从而提高数据处理精度。
6.本发明提出的基于带内光谱相位均值与阈值的条纹计数错误检测方法，具有算法流程简单、实现方便、精度高等优点。
附图说明
图1 数据处理板卡框图。
图2 时间调制型光谱仪实时数据处理流程。
图3 干涉数据非线性校正流程。
图4 相位校正流程。
图5 FPGA内部模块框图。
具体实施方式
下面结合附图与实施例对本发明作进一步说明。
基于商用SRAM结构FPGA构建的高性能时间调制型光谱仪实时数据处理系统，使用优化设计的数据处理流程及算法，实现实时性的同时具有较高的数据处理精度。其特征之处在于：
1.数据处理板卡包括可重配置FPGA及对应的配置Flash；存储器件包括具有检错和纠错功能的512MB Flash和512MB SDRAM存储器；外设接口包括USB、PCIE、以太网接口、SATA等，并可根据需要进行裁剪和添加。
所述的可重配置FPGA采用Xilinx Virtex-5FX130T，对应的配置Flash为32MBXilinx配置Flash；
2.本数据处理系统负责数据处理的Xilinx FPGA内部采用内嵌PowerPC处理器和FPGA逻辑门阵列构建软硬件协同数据处理架构。对于算法结构固定、运算量大、高速的前端数据处理，使用FPGA逻辑门阵列完成；对于算法流程复杂，运算量相对较小的后端数据处理，使用内嵌PowerPC处理器完成，以提高本系统的数据处理能力。可方便根据实际应用更改数据处理方法及进行进一步处理。
3.用于辐射谱测量的时间调制型光谱仪的实时数据处理流程如下：首先数据采集系统将获取的包含目标、第一定标源和第二定标源的三种干涉数据，经合适数据接口暂存到板卡上的SDRAM，然后送入FPGA进行处理；首先对第一定标源和第二定标源的干涉数据进行叠加均值处理，然后，三种干涉数据依次经毛刺检测/校正、非线性校正、傅里叶变换处理后，得到对应的三种复原带内复数光谱；为降低噪声干扰，提高辐射定标及相位校正精度，选取温度较高的第二定标源的数据作为相位对齐参考，对目标和第一定标源的带内复数光谱做相位对齐处理；然后基于复数辐射定标方法对经相位对齐处理的目标带内复数光谱进行辐射定标处理，定标结果数据的实部即为目标光谱，定标结果数据的虚部可用于数据处理精度评估，如果误差过大，则更正相关参数，重复上述过程。
4.提出的基于滤波和阈值比较的毛刺检测方法，较好解决了干涉图，特别是干涉图中央条纹区的毛刺检测问题；针对干涉数据非线性校正时，校正系数实时计算较为的复杂问题，提出使用查找表方法完成非线性校正，并定期重新计算非线性校正系数，当偏差过大时，则更新查找表；提出使用干涉图最大值点作为零光程差点，即干涉数据叠加均值参考点和傅里叶变换中心点，对可能发生的零光程差点检测错误在相位对齐处理中予以校正；提出使用小双边干涉图对应带内光谱相位均值计算对齐因子，完成相位对齐处理；提出使用带内光谱相位均值和阈值比较方法检测干涉数据条纹计数错误；提出使用相位对齐和复数辐射定标方法完成复数光谱的辐射定标和相位校正。
在诸如机载、气球载或星载等应用场合，由于存储及传输等因素的限制，往往需要对获取数据进行实时或近实时数据处理，以有效降低数据存储及传输压力；在线检测、安防防化等应用场合需要获取目标的实时光谱数据，以便于后续处理及应用。本发明中涉及的方法基于商用FPGA平台实现高性能的时间调制型光谱仪实时数据处理。
很多方法可以实现时间调制型光谱仪获取数据量的降低，诸如应用数据压缩算法，但它们的应用往往受制于本身较低的压缩能力和实现的计算量，而抽取和滤波方法会增加后续数据处理的复杂度并降低获取光谱的信噪比。基于光谱复原和有效光谱信息提取方法可确保获取较高精度实时目标光谱的同时，获得较高的数据压缩能力。
基于现有技术构建的处理系统可集成在现有仪器或平台上，用以展示和验证时间调制型光谱仪数据处理方法及算法、数据压缩技术及基于商用FPGA的实时数据处理系统等时间调制型光谱仪实时数据处理所涉及的相关技术。
本发明提出了一种数据处理方法及系统，可在较少硬件资源需求和较小实现难度的情况下，实现较高实时处理精度的同时，获得实时目标光谱和较大压缩比的获取数据量降低。用于提高系统的灵活性、验证时间调制型光谱仪的实时数据处理方案的性能，以及与现有外部平台或仪器的通信接口。
基于现有技术构建的处理系统如附图1所示，该处理板卡包括可重配置FPGA，例如Xilinx Virtex-5FX130T，它包含两个IBM PowerPC处理器以及32-bits RISC软核。该处理板卡包含Xilinx FPGA相关的存储器及接口，包括具有检错和纠错能力的512MB Flash和512MB SDRAM。Xilinx FPGA的控制和处理模块可使用外部512MB SDRAM存储器缓存待处理干涉数据，并将处理结果数据及辅助数据存储到外部512MB Flash存储器，然后通过合适接口上传到其他组件或仪器进行后续处理。
基于现有技术的处理板卡的尺寸很小，例如小于4”×4”×7”。处理板卡的功耗为2-5W，存储能力为：具有检错和纠错能力的512MB Flash和512MB SDRAM。
基于现有技术构建的处理系统可方便的与仪器或平台连接，通过编程执行特定任务。并且基于Xilinx FPGA的处理系统是现场可编程和可重复编程的，因而具有很高的应用灵活性。
本发明涉及的时间调制型光谱仪的数据处理流程如附图2所示：首先对第一定标源和第二定标源的干涉数据进行叠加均值处理，然后，三种干涉数据依次经毛刺检测/校正、非线性校正、傅里叶变换处理后，得到对应的三种带内复数光谱，选取温度较高的第二定标源的数据作为相位对齐参考，对目标和第一定标源的带内复数光谱做相位对齐处理，然后基于复数辐射定标方法对目标带内复数光谱进行辐射定标处理，定标结果数据的实部即为目标光谱，定标结果数据的虚部可用于数据处理精度评估，如果误差过大，则更新相关参数，重复上述过程。下面详细说明以上处理步骤。
(1)干涉数据叠加均值
理论研究表明N个干涉数据叠加，可获得的信噪比改善。因此，为改善定标数据信噪比，提高定标精度，对第一定标源和第二定标源的干涉数据以零光程差点作为叠加基准点进行叠加均值处理。这里使用干涉数据最大值点作为零光程差点，可能的零光程差点检测错误，由后续的相位对齐处理予以校正。考虑到硬件实现，干涉数据叠加数目选为2的幂次方。当定标干涉数据信噪比满足要求等情况时，可不进行叠加均值处理。
(2)毛刺检测/校正
由于受到外界干扰、光学系统缺陷、电子学噪声、探测器缺陷等影响，获取干涉数据中可能存在毛刺现象，表现为干涉图上的单点或连续高幅值脉冲噪声。为减小连续毛刺现象，需要光学设计及装调时，采用抑制光学组件间反射措施，例如将平行光学组件变为楔形设计。而对于单点或数点毛刺，则需要在数据处理时进行识别及校正。考虑到单点毛刺的高幅值特点及便于硬件实现，由于干涉数据中央条纹区幅值变化剧烈，如果直接使用阈值方法，则发生在这一区域的毛刺很难检出。由于毛刺信号分布在整个频谱，而有效光谱信号仅分布在带内，这里采用先滤波，然后阈值检测的方法，可较好解决这一问题。此时需满足的前提条件是：与奈奎斯特采样定理相比，干涉数据是被过采样的。考虑到干涉数据中央条纹区变化剧烈，而边缘区域变化平缓，因此中央条纹区使用高阶次滤波器，而边缘区域使用低阶次滤波器。
三种干涉数据的毛刺检测使用滤波和阈值比较方法实现，干涉数据的毛刺校正使用毛刺左右临近点的均值代替毛刺点，完成毛刺校正。
(3)非线性校正
由于电子学系统缺陷、探测器非线性响应等原因，以及干涉数据自身特点，获取干涉数据中将不可避免的存在非线性现象，表现为复原光谱的带内信号泄露到带外，出现带外光谱缺陷。因此本发明提出基于带外光谱缺陷，使用卷积法或迭代法完成非线性校正系数计算。
本发明提出的干涉数据非线性校正算法流程如附图3所示，首先校正ADC引入的非线性，然后校正探测器引入的非线性。采样干涉数据的非线性校正使用查找表方法完成。对于ADC所有可能的输出码值，首先使用ADC非线性校正码表进行校正，然后使用多次项非线性校正公式计算对应校正值，然后对这些值进行归一化、放大处理，重新量化为ADC有效位数值，便可建立校正码表。针对非线性校正时，系数实时计算较为复杂的问题，采用便于硬件实现的查找表方法实现非线性校正。
非线性校正系数计算方法简要介绍如下：卷积法使用实测低波数带外光谱除以实测低波数带外光谱的自卷积近似给出二次非线性校正系数；而迭代法步骤如下：
1.交流耦合输出非线性干涉数据加上对应直流分量，重建探测器输出的完整干涉数据；
2.完整干涉数据经傅里叶变换得到复原复数光谱，将复原复数光谱的低波数和高波数带外光谱置零，由于直流分量分布在0cm-1处，因此0cm-1处不做处理；
3.置零处理复原复数光谱经逆傅里叶变换得到修正干涉数据，并与原始完整干涉数据做多项式拟合，得到拟合系数；
4.使用拟合系数对原始完整干涉数据进行非线性校正，并分析校正干涉数据对应的带外光谱残差；
5.重复步骤2～4，直到校正干涉数据对应的带外光谱残差满足要求，此时即为最终的非线性校正系数。
(4)傅里叶变换
对干涉数据进行傅里叶变换得到对应复原复数光谱，并根据系统设计参数对复原复数光谱进行有效光谱提取，获得有效带内复数光谱。这里使用快速傅里叶算法完成干涉数据的傅立叶变换，可根据实际应用需要选择合适的快速傅里叶算法。干涉数据傅里叶变换前需要确定干涉数据零光程差点并进行平移处理，本发明提出的零点检测算法步骤如下：首先由硬件检测电路给出零光程差点的大致位置，然后由软件在小范围内搜索干涉数据最大值点，并将该最大值点作为零光程差点。
(5)相位校正
由于光学系统缺陷、电子学系统延迟、仪器自身辐射、非零点采样抖动等，干涉数据经傅里叶变换得到的是复数光谱，且光谱幅值仅具有相对意义，不代表目标真实光谱辐射水平，因此需要经相位校正及辐射标定才能得到具有实际意义的目标实数光谱辐射值，同时可将目标光谱数据量减半，且无需保存全部第一定标源和第二定标源数据。
本发明提出的基于相位对齐和复数辐射定标方法，可同时完成目标带内复数光谱的相位校正及辐射标定，如附图4所示。现将该算法介绍如下：本算法的原理是，由于目标、第一定标源和第二定标源的复原复数光谱间存在相位偏差，如果直接进行复数辐射定标处理，将会产生很大误差。因此，复数辐射定标前，先对三种场景光谱做相位对齐处理，现以常数相位对齐为例，说明算法步骤如下：
1.由傅里叶变换得到的三种场景带内光谱Stg、Scb1、Scb2；
2.取三种场景干涉数据中央条纹区的小双边干涉图做傅里叶变换，得到三种场景的低分辨率带内光谱
3.利用CORDIC算法分别计算带内光谱Stg、Scb1、Scb2的相位值，并计算各自带内光谱相位均值，记为
4.条纹计数错误检测，如果发生条纹计数错误，则剔除该数据；
5.计算第一定标源和目标场景带内光谱相位均值与第二定标源带内光谱相位均值偏差，即：
6.利用CORDIC算法计算带内光谱相位均值偏差的三角函数值作为相位对齐因子，即：
7.分别对第一定标源和目标场景带内复数光谱做相位对齐处理，即：
Stg'＝Stg×kcb2-tg
Scb1'＝Scb1×kcb2-cb1
8.利用复数辐射定标方法对目标带内复数光谱进行处理，取结果实部作为目标定标光谱，结果虚部可用于辐射定标误差评估。即：
当不同入射场景干涉数据间相位偏差表现为波数的线性函数时，将带内光谱按波数分为第一子带内光谱和第二子带内光谱，分别计算目标和第一定标源子带内光谱相位均值与对应第二定标源子带内光谱相位均值偏差。用这两个相位均值偏差值和对应子带内光谱的中心波数，计算相位对齐公式y＝kv+b的斜率和常数项。然后计算带内光谱波数对应的相位对齐因子，用于目标和第一定标源带内光谱的相位对齐处理。
本发明中针对可能发生的条纹计数错误，对动镜转向时引起整幅干涉数据漂移的条纹计数错误，可在零光程差点检测时自动校正。对动镜运动过程中发生的条纹计数错误，本发明提出基于带内光谱相位均值与阈值方法进行检测，现对本方法介绍如下：
1.干涉仪稳定工作时，对同一场景入射辐射，非零点采样抖动、探测器噪声及电子学系统随机噪声起伏、光学系统色散起伏、仪器固有相位等引起的光谱相位应该在某一范围内，即带内固有相位均值
2.动境运动过程中的条纹计数错误，其引入的相位偏差应不大于干涉数据零点采样偏移一个采样点对应的相位偏差，即
3.可简单认为当复原光谱的带内光谱相位均值满足则发生条纹计数错误。
为进一步降低获取目标光谱数据量，可对目标定标光谱进行光谱编码处理或引入压缩算法。
本发明数据处理系统的FPGA内部处理模块框图，如附图5所示，FPGA片内可按功能划分为三个部分：数据收发模块；控制模块；数据处理模块，包括零光程差点检测模块、毛刺检测/校正模块、非线性校正模块、傅里叶变换模块、相位对齐模块、复数辐射定标模块等。数据处理系统FPGA内部模块工作流程如下：
1.系统上电后，在控制模块控制下工作；
2.FPGA通过数据收发模块接收来自仪器数据采集系统或其他组件的第一定标源、第二定标源和目标的三种场景干涉数据；
3.零光程差点检测模块给出第一定标源、第二定标源和目标的三种场景干涉数据对应的零光程差点；
4.叠加均值模块对第一定标源和第二定标源干涉数据进行叠加均值处理，并将结果存入DRAM 1，目标干涉数据直接存入DRAM 1；
5.三幅干涉图在DRAM 1中存储完毕后，启动毛刺校正模块依次对三种干涉数据进行处理；
6.步骤5完成后，非线性校正模块依次对三种干涉数据进行非线性校正；
7.三种场景干涉数据依次送入傅里叶变换模块进行傅里叶变换和有效带内光谱提取，然后将数据存入DRAM 2；
8.从DRAM 1中将三种场景干涉数据中央条纹区对应的小双边干涉数据送入相位对齐模块，计算相位对齐因子。然后对DRAM 2中的第一定标源和目标场景带内复数光谱进行相位对齐处理；
9.将相位对齐处理后的三种场景带内复数光谱送入辐射定标模块，处理结果实部即为实际的目标定标光谱；
10.处理结果经数据收发模块存入板上Flash存储器暂存。然后根据实际应用，通过合适数据接口，上传到其他组件或主机进行后续处理和应用。
本发明的相关技术可实现时间调制型光谱仪的实时或近实时数据处理，具有较高的处理精度，压缩能力与数据有效带宽和数据采样带宽比值有关，相位校正处理可提供超过一倍的额外数据量降低。本发明的数据处理方法可根据精度和速度等需求，方便的选择FPGA逻辑门阵列或内置PowerPC处理器实现。
可根据应用时的任务需求，使用一块或多块数据处理板卡实现相关数据处理。
上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (1)

1.一种时间调制型光谱仪实时数据处理方法，其特征是，包括如下步骤：
步骤(1)：获取目标干涉数据、第一定标源的干涉数据和第二定标源的干涉数据；
步骤(2)：叠加均值：对第一定标源和第二定标源的干涉数据分别进行叠加均值处理，得到第一定标源的叠加均值处理干涉数据和第二定标源的叠加均值处理干涉数据；
步骤(3)：毛刺检测/校正、非线性校正、傅里叶变换处理：
对步骤(1)的目标干涉数据依次进行毛刺检测/校正、非线性校正、傅里叶变换处理后，得到目标复原带内复数光谱；
对步骤(2)的第一定标源的叠加均值处理干涉数据依次进行毛刺检测/校正、非线性校正、傅里叶变换处理后，得到第一复原带内复数光谱；
对步骤(2)的第二定标源的叠加均值处理干涉数据依次进行毛刺检测/校正、非线性校正、傅里叶变换处理后，得到第二复原带内复数光谱；
步骤(4)：相位对齐：选取第二定标源的第二复原带内复数光谱作为相位对齐参考，对目标复原带内复数光谱和第一定标源的第一复原带内复数光谱做相位对齐处理；
步骤(5)：复数辐射定标：使用第二复原带内复数光谱和经相位对齐处理的第一复原带内复数光谱，基于复数辐射定标方法对经相位对齐处理的目标复原带内复数光谱进行辐射定标处理，定标结果数据的实部即为目标光谱，定标结果数据的虚部用于复数辐射定标的数据处理精度评估，如果复数辐射定标的误差过大，则更新毛刺检测、非线性校正、相位对齐或复数辐射定标的参数，重复上述步骤(1)～(5)；所述步骤(3)的非线性校正的步骤如下：
步骤(3-1)：利用ADC非线性校正系数对采样干涉数据进行ADC非线性校正；
对直流分量进行预放偏置移除，利用ADC非线性校正系数对预放偏置移除处理后的直流分量也进行ADC非线性校正；
对经过ADC非线性校正的采样干涉数据和直流分量进行叠加，重建完整干涉数据；
步骤(3-2)：完整干涉数据经傅里叶变换得到复原复数光谱，将复原复数光谱的低波数和高波数带外光谱置零；
步骤(3-3)：置零处理后的复原复数光谱经逆傅里叶变换得到修正干涉数据，并与步骤(3-1)的完整干涉数据做多项式拟合，得到拟合系数；
步骤(3-4)：使用步骤(3-3)的拟合系数对步骤(3-1)的完整干涉数据进行非线性校正，并分析校正干涉数据对应的带外光谱残差；
步骤(3-5)：重复步骤(3-2)-步骤(3-4)，直到校正干涉数据对应的带外光谱残差满足设定要求，此时得到的拟合参数，即为最终的非线性校正系数；所述步骤(4)相位对齐的步骤如下：
步骤(4-1)：由傅里叶变换得到的目标复原带内复数光谱Stg、第一复原带内复数光谱Scb1和第二复原带内复数光谱Scb2；
步骤(4-2)：取目标干涉数据、第一定标源的干涉数据和第二定标源的干涉数据，对三种干涉数据的中央条纹区的小双边干涉图均分别做傅里叶变换，得到目标的低分辨率带内光谱第一定标源的低分辨率带内光谱第二定标源的低分辨率带内光谱
步骤(4-3)：利用CORDIC算法分别计算目标复原带内复数光谱Stg、第一复原带内复数光谱Scb1和第二复原带内复数光谱Scb2的相位值，并计算目标复原带内复数光谱相位均值第一复原带内复数光谱相位均值和第二复原带内复数光谱相位均值
步骤(4-4)：条纹计数错误检测，如果发生条纹计数错误，则剔除该复原带内复数光谱数据；如果不发生，则继续后续处理；
步骤(4-5)：
计算目标复原带内复数光谱相位均值与第二定标源的第二复原带内复数光谱相位均值的偏差，即：
计算第一定标源的第一复原带内复数光谱相位均值与第二定标源的第二复原带内复数光谱相位均值的偏差，即：
步骤(4-6)：利用CORDIC算法计算复原带内复数光谱相位均值偏差的三角函数值作为相位对齐因子，即：
其中，kcb2-tg为目标复原带内复数光谱的相位对齐因子，kcb2-cb1为第一定标源复原带内复数光谱的相位对齐因子；
步骤(4-7)：分别对第一定标源和目标复原带内复数光谱做相位对齐处理，即：
S′tg＝Stg×kcb2-tg；
S′cb1＝Scb1×kcb2-cb1；
其中，S′tg为经相位对齐处理的目标复原带内复数光谱，S′cb1为经相位对齐处理的第一复原带内复数光谱；所述步骤(5)辐射定标的步骤如下：
使用经相位对齐处理的第一复原带内复数光谱和第二复原带内复数光谱，利用复数辐射定标方法对目标带内复数光谱进行处理，取结果实部作为目标定标光谱，结果虚部可用于辐射定标误差评估；即：
其中，为目标定标光谱，Tcb1为第一定标源的温度，Tcb2为第二定标源的温度，plk(Tcb1)为温度为Tcb1的第一定标源的理论辐射值，plk(Tcb2)为温度为Tcb2的第二定标源的理论辐射值；
所述方法所应用的系统，包括：
数据收发模块，用于接收来自仪器数据采集系统的第一定标源、第二定标源和目标的三种场景干涉数据；还用于接收来自数据处理模块处理后的数据，并根据实际需要将处理后的数据输出；
控制模块，负责控制数据收发模块完成数据的接收、存储及发送；负责控制数据处理模块工作，为数据处理模块提供时序和逻辑控制命令；
数据处理模块，用于完成由数据收发模块接收的三种场景干涉数据的实时数据处理；所述数据处理模块，包括零光程差点检测模块、毛刺检测/校正模块、非线性校正模块、傅里叶变换模块、相位对齐模块、复数辐射定标模块和叠加均值模块；所述零光程差点检测模块，用于对数据收发模块接收的第一定标源、第二定标源和目标的三种场景干涉数据给出对应的零光程差点；
所述毛刺检测/校正模块，用于依次对第一存储模块中的第一定标源、第二定标源和目标的三种场景干涉数据进行毛刺检测/校正处理；所述非线性校正模块，在毛刺检测/校正模块处理结束后，依次对第一存储模块中的三种干涉数据进行非线性校正；
所述傅里叶变换模块，在非线性校正模块处理结束后，用于对第一存储模块中的三种场景干涉数据依次进行傅里叶变换和有效带内光谱提取，然后将数据存入第二存储模块；所述相位对齐模块，用于基于第一存储模块中的三种场景干涉数据中央条纹区对应的小双边干涉数据计算相位对齐因子；对第二存储模块中的第一定标源和目标场景带内复数光谱进行相位对齐处理；
所述复数辐射定标模块，用于对第二存储模块中存储的相位对齐处理后的三种场景带内复数光谱进行复数辐射定标处理，处理结果的实部即为实际的目标定标光谱；所述叠加均值模块，用于接收数据收发模块发送过来的第一定标源和第二定标源干涉数据，对第一定标源和第二定标源干涉数据进行叠加均值处理，并将结果存入第一存储模块，目标干涉数据直接存入第一存储模块。
CN201510742640.4A 2015-11-04 2015-11-04 一种时间调制型光谱仪实时数据处理系统及方法 Active CN105224495B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510742640.4A CN105224495B (zh) 2015-11-04 2015-11-04 一种时间调制型光谱仪实时数据处理系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510742640.4A CN105224495B (zh) 2015-11-04 2015-11-04 一种时间调制型光谱仪实时数据处理系统及方法

Publications (2)

Publication Number Publication Date
CN105224495A CN105224495A (zh) 2016-01-06
CN105224495B true CN105224495B (zh) 2018-10-19

Family

ID=54993475

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510742640.4A Active CN105224495B (zh) 2015-11-04 2015-11-04 一种时间调制型光谱仪实时数据处理系统及方法

Country Status (1)

Country Link
CN (1) CN105224495B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114185127B (zh) * 2021-12-10 2024-04-19 长飞（武汉）光系统股份有限公司 一种光栅型增益平坦滤波器的飞秒激光刻写系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103530877A (zh) * 2013-10-10 2014-01-22 中国科学院上海技术物理研究所 一种干涉数据实时叠加均值方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10109974B4 (de) * 2001-03-01 2006-02-16 Infineon Technologies Ag Verfahren und System zur digitalen Echtzeit-Datenverarbeitung

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103530877A (zh) * 2013-10-10 2014-01-22 中国科学院上海技术物理研究所 一种干涉数据实时叠加均值方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
红外干涉仪器实时数据处理技术研究;刘加庆;《中国博士学位论文全文数据库（工程科技Ⅱ辑）》;20150215;第2015年卷(第2期);第C030-3页 *

Also Published As

Publication number Publication date
CN105224495A (zh) 2016-01-06

Similar Documents

Publication Publication Date Title
Bautista et al. The completed SDSS-IV extended Baryon Oscillation Spectroscopic Survey: measurement of the BAO and growth rate of structure of the luminous red galaxy sample from the anisotropic correlation function between redshifts 0.6 and 1
Janssen et al. rPICARD: A CASA-based calibration pipeline for VLBI data-Calibration and imaging of 7 mm VLBA observations of the AGN jet in M 87
Winkel et al. The Effelsberg–Bonn H i Survey: Data reduction
Blackburn et al. EHT-HOPS pipeline for millimeter VLBI data reduction
US7161515B2 (en) Calibration system and method for a linearity corrector using filter products
Zaritsky et al. Spectral classification of galaxies along the hubble sequence
Chilingarian et al. Data Reduction Pipeline for the MMT and Magellan Infrared Spectrograph
CN103969203A (zh) Tdlas气体检测系统的自校准方法
CN102788643A (zh) 一种空间遥感光谱仪器在轨高精度光谱定标的方法
CN105224495B (zh) 一种时间调制型光谱仪实时数据处理系统及方法
Duivenvoorden et al. Full-sky beam convolution for cosmic microwave background applications
CN106568508A (zh) 一种修正卫星超光谱数据所存在的波长漂移的配准方法
Schönebeck et al. The Panchromatic High-Resolution Spectroscopic Survey of Local Group Star Clusters-I. General data reduction procedures for the VLT/X-shooter UVB and VIS arm
Karaçaylı et al. Optimal 1D Ly α forest power spectrum estimation–III. DESI early data
US20190331528A1 (en) On-Board Processing of Hyperspectral Data
Corstanje et al. Timing calibration and spectral cleaning of LOFAR time series data
CN104914424A (zh) 同时反演在轨高光谱传感器辐射及光谱定标参数的方法
CN111307292A (zh) 一种双波段辐射测量系统的定标方法及装置
CN103983599A (zh) 直射太阳光谱反演环境大气中二氧化碳垂直柱浓度的方法
CN104729712A (zh) 一种星载大气探测傅里叶变换光谱仪数据预处理方法
CN106248209B (zh) 一种基于仪器特征矩阵的干涉光谱仪光谱复原方法
Byrne Delay-weighted Calibration: Precision Calibration for 21 cm Cosmology with Resilience to Sky Model Error
Aghanim et al. Planck 2013 results. II. Low frequency instrument data processing
Liu et al. Parametric spectral signal restoration via maximum entropy constraint and its application
Das et al. Statistical isotropy violation in WMAP CMB maps due to non-circular beams

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant