CN113049103B - 基于dmd可变编码模板的光谱视频采集方法 - Google Patents
基于dmd可变编码模板的光谱视频采集方法 Download PDFInfo
- Publication number
- CN113049103B CN113049103B CN202110268484.8A CN202110268484A CN113049103B CN 113049103 B CN113049103 B CN 113049103B CN 202110268484 A CN202110268484 A CN 202110268484A CN 113049103 B CN113049103 B CN 113049103B
- Authority
- CN
- China
- Prior art keywords
- spectral
- coding
- dmd
- template
- spectrum
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001228 spectrum Methods 0.000 title claims abstract description 112
- 238000000034 method Methods 0.000 title claims abstract description 63
- 230000003595 spectral effect Effects 0.000 claims abstract description 167
- 238000005070 sampling Methods 0.000 claims abstract description 134
- 238000003384 imaging method Methods 0.000 claims abstract description 74
- 239000006185 dispersion Substances 0.000 claims abstract description 54
- 230000000295 complement effect Effects 0.000 claims abstract description 22
- 238000004364 calculation method Methods 0.000 claims abstract description 15
- 230000009466 transformation Effects 0.000 claims abstract description 12
- 230000004075 alteration Effects 0.000 claims abstract description 8
- 230000008569 process Effects 0.000 claims description 10
- 230000004927 fusion Effects 0.000 claims description 8
- 230000008859 change Effects 0.000 claims description 6
- 230000002146 bilateral effect Effects 0.000 claims description 5
- 238000012938 design process Methods 0.000 claims description 5
- 238000001914 filtration Methods 0.000 claims description 5
- 230000033001 locomotion Effects 0.000 claims description 4
- 230000001960 triggered effect Effects 0.000 claims description 3
- 229910003460 diamond Inorganic materials 0.000 claims description 2
- 239000010432 diamond Substances 0.000 claims description 2
- 230000004907 flux Effects 0.000 abstract description 9
- 230000005540 biological transmission Effects 0.000 abstract description 5
- 238000005516 engineering process Methods 0.000 abstract description 5
- 230000001131 transforming effect Effects 0.000 abstract description 5
- 238000000701 chemical imaging Methods 0.000 description 13
- 238000013461 design Methods 0.000 description 9
- 238000004422 calculation algorithm Methods 0.000 description 8
- 230000003287 optical effect Effects 0.000 description 6
- 230000008901 benefit Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 238000012937 correction Methods 0.000 description 3
- 238000006073 displacement reaction Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000004088 simulation Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000000630 rising effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012634 optical imaging Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000004611 spectroscopical analysis Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 238000003325 tomography Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/28—Investigating the spectrum
- G01J3/2823—Imaging spectrometer
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
- Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture
Landscapes
- Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- General Physics & Mathematics (AREA)
- Studio Devices (AREA)
Abstract
本发明公开了一种基于DMD可变编码模板的光谱视频采集方法，解决了现有光谱视频采集技术中透射式的固定编码模板光通量小，采集速率低，采集到的光谱信息少的问题。实现步骤包括：获取成像系统色散宽度和方向；设计编码模板；设计可变编码模板序列；变换编码模板采集光谱视频数据帧；用滑窗法对不同编码模板采集的多个光谱视频数据帧进行融合；重构光谱图像。本发明通过设计多个编码模板变换地采集光谱视频，在基于DMD和互补全通的计算光谱成像系统上运用，解决了成像系统的色差问题，有效提升了成像系统在空间上的光谱采样率，使成像系统获得更好的重构质量。可实时采集和重构高空间分辨率的光谱视频。
Description
技术领域
本发明属于光谱成像技术领域，主要涉及计算光谱成像技术领域中光谱视频的采集，具体是一种基于DMD可变编码模板的光谱视频采集方法，可用于光谱视频的实时采集和重构。
背景技术
光谱视频相比普通RGB视频而言，有着更高的光谱分辨率，蕴藏着人眼无法直接观测到的信息，因此广泛运用在农业，材料和勘探等领域。但由于需要采集的波段多，数据量大，光谱视频采集的难度也大大增加。
传统的光谱数据采集有摆扫式，掸扫式和凝视式等方法，它们的共同点是采集局部的光谱数据，最后对数据进行拼接。这些方案都不能用于采集运动的光谱视频数据。近些年，计算成像理论的兴起也为传统的光谱成像模式带来了新的方向，典型的计算光谱成像的方法有傅里叶变换光谱成像技术、断层扫描式光谱相机、编码光圈式光谱相机、棱镜掩膜式光谱相机。
以编码孔径快照光谱成像(CASSI)系统为代表的快照式光谱视频采集技术，采用了压缩感知理论，通过单次拍照实现了多光谱信息的采集，可以用于光谱视频的采集和压缩。西安电子科技大学申请的专利“基于压缩感知的双通道多光谱视频成像仪及成像方法”就是通过求解优化问题来重构采集的光谱视频。但是这类基于编码孔径的光谱成像系统，重建算法的求解过程复杂，还不能以视频速率重构出光谱图像，所以无法应用在对实时性有要求的系统中。
南京大学申请的专利“一种便携式光谱视频实时采集和处理装置及其方法”采用分光镜将场景光线分为相同的两束：一束直接通过RGB相机采集到RGB视频；另一束先通过掩膜板进行下采样，再使用棱镜进行分光，采集光谱数据。但是该系统使用的分光镜，掩膜板和棱镜都会大大减少入射光强，导致传感器在单个积分时间内接受到的光子能量很少，无法在短时间完成曝光，拖慢了视频采集速率。同时，固定的掩膜板场景中很少的一部分点进行采样，编码模板的采样率很低。
现有的快照式光谱视频采集方案，采用固定不变的透射式编码模板对场景进行编码。这种编码模板设计，光通量小，不仅影响成像质量，还使得系统曝光时间增大，限制了光谱视频的采集速率。
发明内容
本发明的目的在于针对上述已有技术中的不足，提出一种动态，灵活，光通量更高的基于DMD可变编码模板的光谱视频采集方法。
本发明是一种基于DMD可变编码模板的光谱视频采集方法，在基于DMD和互补全通的计算光谱成像系统上运行。基于DMD和互补全通的计算光谱成像系统在对场景进行成像时，场景光线先到达DMD上，DMD控制板按照内存中存储的编码模板控制DMD的微镜单元向左或向右偏转，将DMD上不同空间位置的光线分别偏转到左右两条光路，偏转到左边光路的光线被彩色相机接收，得到RGB图像。偏转到右边光路的光线经过分光棱镜分光后被灰度相机接收，得到光谱图像，偏转到右边光路的微镜单元称为采样点。其特征在于，通过控制DMD变换编码模板来采集光谱视频，包括以下步骤：
(1)获取成像系统色散宽度和色散方向：通过采集成像系统上采样点分光后的光谱图像，确定成像系统中采样点真实的色散宽度和色散方向；
(2)设计光谱数据不混叠的单个编码模板：根据采样点的色散宽度和色散方向设计单个编码模板，单个编码模板设计过程中确保模板上的采样点间光谱数据不会发生混叠；
(3)设计可变编码模板序列：根据确保编码模板上的采样点间光谱数据不会发生混叠的要求，改变采样点位置，得到多个编码模板，将这些编码模板排列成可变编码模板序列，输入到DMD控制板的存储单元中；
(4)变换编码模板采集对应的光谱视频数据帧：DMD控制板控制DMD循环地变换并显示设计好的可变编码模板序列对目标场景进行编码调制，每次DMD控制板控制DMD变换编码模板的同时发送触发信号，触发RGB和光谱两路相机进行拍照，两路相机同步采集到一幅高空间分辨率的RGB图像和一幅低空间分辨率的光谱图像，两幅图像组成一个光谱视频数据帧；双通道光谱视频成像系统不断变换编码模板触发两路相机拍照，得到多个光谱视频数据帧；
(5)用滑窗法对不同编码模板采集的多个光谱视频数据帧进行融合：设一组可变编码模板序列有N个编码模板，当前光谱视频数据帧与前N-1个光谱视频数据帧逐一进行融合。融合是将不同编码模板采样点的光谱信息提取出来，拼接成一个光谱图像，来增加光谱视频数据帧中光谱图像的采样点数；
(6)重构光谱图像：对采集的多帧光谱视频数据帧逐一进行融合后，对每一帧光谱视频数据帧中的光谱图像中那些没有被采集到的点，均用双边滤波的方法进行插值，重构得到高空间分辨率的光谱图像，并按时间顺序，合成光谱视频。
本发明解决了光谱视频采集过程中，使用固定的透射式编码模板造成的光通量小的问题，本发明提升了光谱视频的采集速率和重构质量。
本发明与现有技术相比具有以下优点：
能够修正成像系统的误差：本发明能够根据光谱视频成像系统实际的成像质量，动态地设计编码模板，修正了成像系统中因色差导致的光谱图像中色散方向不一致带来的的误差。在精度要求很高的光学成像系统中，普遍存在的误差导致固定的编码模板需要根据系统误差单独制作，增加了成像系统搭建的难度。本发明在不改变系统硬件的前提下，通过设计编码模板，能够对系统中的各种误差进行修正，降低了系统搭建和迭代的成本。
重构光谱视频的质量和速度明显提升：本发明采用滑窗法以及计算光流修正采样点位置的策略，将多个编码模板进行融合，很好的利用了自然场景中光谱数据在时间维度的冗余性和DMD具有的动态变换的特性，实现了与单一固定编码模板同样采样频率下，数倍于单一编码模板的采样效率，结果显示，使用可变编码模板的采样方法，光谱视频的重构质量得到提高；编码模板设计过程中，保证了光谱数据不发生混叠，使得重构流程得到简化，算法复杂度降低，使得成像系统可以以视频速率实时重构出高质量的光谱视频。
附图说明
图1为本发明通过基于DMD和互补全通的计算光谱成像系统进行变换编码模板采集的流程图；
图2为基于DMD和互补全通的计算光谱成像系统采样点经色散后的光谱图像；
图3为本发明采集光谱视频时编码模板变换的的示意图；
图4为本发明中使用滑窗对两个变换的编码模板进行融合的示意图；
图5为使用单个固定编码模板采集重构的光谱图像；其中图5(a)为完整的光谱图像，图5(b)为图5(a)中心标框的局部放大图；
图6为使用本发明的两个编码模板交替变换采集重构的光谱图像；其中图6(a)为完整的光谱图像，图6(b)为图6(a)中心标框的局部放大图。
具体实施方式
下面结合附图和实施例对本发明详细说明。
实施例1：
现有的快照式光谱视频采集方案，采用固定不变的透射式编码模板对场景进行编码。光通量小，这样不仅影响成像质量，还使得系统曝光时间增大，限制了光谱视频的采集速率。本发明针对这种现状展开研究与实验，设计了一种基于DMD可变编码模板的光谱视频采集方法。本发明在基于DMD和互补全通的计算光谱成像系统上运行。
西安电子科技大学申请的专利“基于DMD和互补全通的计算光谱成像系统及方法”(专利申请号：202110086793.3)使用的数字微镜器件DMD(Digital Micromirror Devices)作为编码模板，DMD是一种由多个可独立控制的数字微镜单元组成的器件。通过DMD控制板控制DMD微镜单元的偏转，可以在空间上对光线进行调制。基于DMD和互补全通的计算光谱成像系统用于实时获取目标场景的空间信息和光谱信息，并利用两种信息重建观测目标的三维光谱数据立方体。具有可实时获取全场景光谱信息的优点。
本发明运用在基于DMD和互补全通的计算光谱成像系统的数据采集上，基于DMD和互补全通的计算光谱成像系统在对场景进行成像时，场景光线先到达DMD上，DMD控制板按照内存中存储的编码模板控制DMD的微镜单元向左或向右偏转，将DMD上不同空间位置的光线分别偏转到左右两条光路，偏转到左边光路的光线被彩色相机接收，得到RGB图像。偏转到右边光路的光线经过分光棱镜分光后被灰度相机接收，得到光谱图像，将偏转到右边光路的微镜单元称为采样点。本发明通过控制DMD变换编码模板来采集光谱视频。参见图1，图1为本发明通过基于DMD和互补全通的计算光谱成像系统进行变换编码模板采集的流程图；本发明的光谱视频采集方法包括以下步骤：
(1)获取成像系统色散宽度和色散方向：成像系统实际的成像效果与系统设计的理论值之间会存在一定偏差，通过采集成像系统上采样点分光后的光谱图像，确定成像系统中采样点真实的色散宽度和色散方向。本发明是在DMD和互补全通的计算光谱成像系统上获取采样点真实的色散宽度和色散方向，用于设计编码模板。
(2)设计光谱数据不混叠的单个编码模板：根据采样点的色散宽度和色散方向设计单个编码模板，在数据格式上，编码模板表示为只有数字0和1的二维矩阵，矩阵的维度和DMD的分辨率一致，矩阵上每个数字与DMD的微镜单元一一对应。编码模板上矩阵中0表示对应微镜单元向右偏转，1表示对应微镜单元向左偏转。本发明编码模板设计过程中要确保模板上的采样点间光谱数据不会发生混叠，设计完编码模板以后，使用设计好的编码模板，用各个波长均有能量分布的白光作为成像系统的入射光，观察得到的光谱图像中各个采样点有没有发生混叠，若还有混叠，继续增加编码模板间采样点的间距，直到光谱图像所有采样点光谱不会混叠，参考图2，图2为基于DMD和互补全通的计算光谱成像系统采样点经色散后的光谱图像，图2中，左上侧的一个局部放大图中可见一个采样点经过棱镜色散，在光谱图像中会形成一个水滴形状的图案，如果图像中两个图案连接在一起，说明两个采样点的能量叠加到了相机的同一个像素上，发生了混叠。图2中，各个图案相互独立，则没有出现光谱混叠的现象，若光谱图像中光谱信息没有混叠，在重构时，不需要再求解光谱数据的解混叠问题，本发明设定了光谱数据不混叠的准则，以此设计的编码模板可以直接根据系统的标定数据直接提取数据。对混叠的光谱数据进行解混叠，不仅耗时，光谱数据的准确性也不如直接提取不混叠的数据，采用光谱数据不混叠的单个编码模板，简化了重构算法的复杂度，提高了重构算法的重构速度。
(3)设计可变编码模板序列：根据步骤(2)中确保模板上的采样点间光谱数据不会发生混叠的要求，保持编码模板采样点的间距不变，通过整体平移的方式改变采样点位置，得到多个编码模板，将这些编码模板排列成可变编码模板序列，输入到DMD控制板的存储单元中。
(4)变换编码模板采集光谱视频数据帧：DMD控制板控制DMD循环地显示设计好的可变编码模板序列对目标场景进行编码调制；每次DMD控制板控制DMD变换编码模板的同时发送触发信号，触发RGB和光谱两路相机进行拍照，两路相机同步采集到一幅高空间分辨率的RGB图像和一幅低空间分辨率的光谱图像，两幅图像组成一个光谱视频数据帧；双通道光谱视频成像系统不断变换编码模板触发两路相机拍照，得到多个光谱视频数据帧。
(5)用滑窗法对不同编码模板采集的多个光谱视频数据帧进行融合：设一组可变编码模板序列有N个编码模板，当前光谱视频数据帧与前N-1个光谱视频数据帧逐一进行融合。不同编码模板的采样点的空间位置不同，融合是将不同编码模板采样点的光谱信息提取出来，拼接成一个光谱图像。通过融合，得到了原来编码模板中没有被采集的空间位置的光谱信息，增加了光谱视频数据帧中光谱图像的采样点数。
(6)重构光谱图像：对多帧光谱视频数据帧逐一进行融合后，对每一帧光谱视频数据帧中的光谱图像中那些没有被采集到的点，均用双边滤波的方法进行插值，插值时，未被采集到的点的光谱信息通过邻近的多个采样点的光谱信息经过归一化后按不同权重加和得到。直到计算得到所有点的光谱信息，就重构出了高空间分辨率的光谱图像，并按时间顺序，合成光谱视频。
现有技术中使用的固定的编码模板，都是以阻挡部分空间位置光线为代价对场景进行编码的，这种编码模板不仅光通量小，影响成像质量，而且编码模板固定不变，需要根据成像系统单独定制，增加了系统搭建的难度。
本发明针对上述问题，采用DMD作为编码模板。由于DMD具有光通量大，互补全通，可快速变换的优点，成像系统可以获得更大的光通量。并且编码模板可根据成像系统的需要设计，来修正成像系统的误差。通过多次变换编码模板采集光谱视频，获得更多空间位置的采样点，来提升光谱视频的重构质量。
本发明在基于DMD和互补全通的计算光谱成像系统上运用，设计了点阵状的编码模板，在系统存在一定色差和畸变的条件下，满足了采样点光谱不发生混叠的采样要求。还通过多个编码模板变换采集光谱视频，相比用单个模板采集，重构得到的光谱视频质量更好。
实施例2：
基于DMD可变编码模板的光谱视频采集方法同实施例1，步骤(2)中所述根据色散宽度和色散方向设计单个编码模板的方法如下：
(2.1)计算理论的编码模板采样点沿色散方向间隔的微镜数L：设成像系统中DMD编码模板所在像面到相机传感器平面的放大倍率为θ,DMD单个微镜尺寸为α，相机传感器的像元尺寸为β，α和β长度单位一致。若光谱图像中采样点色散宽度是N个像素，则编码模板采样点沿色散方向间隔的微镜数L至少满足：
式中，通过相机传感器的像元尺寸为β与采样点经色散在光谱图像上的像素数N相乘，得到采样点在相机传感器上实际的色散宽度，为了使采样点光谱数据不发生混叠，需要先将采样点在相机传感器上实际的色散宽度除以θ，转换成在DMD上的长度，并除以DMD微镜的尺寸α再向上取整，得到编码模板采样点沿色散方向的间隔的微镜数L。
(2.2)根据DMD排列规则调整L：要保证编码模板采样点间不会发生光谱混叠，对于菱形排列的DMD来说，在水平方向上相邻两个微镜的间距是竖直方向上相邻两个微镜间距的2倍，在设计编码模板时，必须要考虑DMD像元的排列方式和棱镜色散的方向，成像系统色散方向为竖直方向时，两个采样点间隔的微镜数L也要是水平色散方向间隔的微镜数的2倍，才能保证模板采样点间不会发生光谱混叠。
(2.3)根据实际得到的光谱图像再次调整编码模板采样点的间距：在系统调试过程中，成像系统可能存在色差和畸变，导致系统上采样点的色散方向发生改变，使采样点的光谱发生混叠。在设计过程中，先按照系统中设计的沿竖直方向色散的间隔L，设计初始的编码模板。使用初始的编码模板对场景成像，观察光谱图像中，采样点间有没有光谱混叠。如果出现混叠的情况，根据实际情况，在水平方向或竖直方向增加采样点的间距，更新编码模板。用更新的编码模板继续对场景成像，直到光谱图像中采样点间光谱没有混叠。得到点阵状的编码模板。
本发明研究了用DMD作为编码模板时，DMD的微镜尺寸和相机像元尺寸的对应关系，以及DMD菱形排列方式造成竖直方向与水平方向实际间距不相同的问题。先得到系统编码模板采样点间距的理论值。通过理论的采样点间距，得到初始的编码模板，根据使用该编码模板得到的光谱图像，调整模板的间距，保证了成像系统中的所有采样点光谱都不会混叠。用这种设计方式，当成像系统改变和调整时，只需要按照该方法重新设计编码模板，将新的编码模板数据存储到DMD控制板中。不必重新定制和更换编码模板硬件，降低了系统搭建和迭代的成本。
实施例3：
基于DMD可变编码模板的光谱视频采集方法同实施例1-2，步骤(4)中所述的变换编码模板采集光谱视频数据帧，DMD每次变换编码模板控制RGB和光谱两个通道的相机同时采集图像的方法如下：
(4.1)用DMD控制板为两路相机提供硬触发信号：将两路相机的硬触发线与DMD控制板信号输出线连接在一起，使用DMD控制板输出的触发信号上升沿同步触发控制两个相机同步曝光采集图像。在采集过程中，需要快速变换编码模板，为了确保两路相机在一个曝光周期内，编码模板不会变化，相机曝光时间要严格和编码模板显示时间一致，只有使用硬触发信号来触发相机曝光才能精确地控制相机开始曝光的时间，从而保证成像系统采集数据的准确性。
(4.2)选择DMD控制板输出的触发信号波形：DMD显示编码模板时，DMD控制板输出触发信号保持高电平，等两路相机曝光完成后，DMD所有数字微镜复位，控制板输出触发信号变为低电平。
(4.3)DMD控制板更换编码模板时，产生新的触发信号：到下一个周期，DMD显示新的编码模板，DMD控制板输出触发信号变为高电平，输出触发信号由低到高产生上升沿，触发两个相机同步开始曝光。
(4.4)如此循环地控制两路相机同步采集图像。双通道光谱视频成像系统不断变换编码模板触发两路相机拍照，得到多个光谱视频数据帧。
本发明使用DMD控制板提供硬触发控制信号，触发两个相机同步进行曝光。一般控制相机曝光的方式是通过计算机程序发送指令控制相机曝光，曝光指令的发送，由计算机操作系统调度，会产生毫秒级的延迟，并且产生的延迟随机性大，不同相机接收到的延迟往往是不同的，这样就无法对多个相机精确地进行控制。采用本发明的控制方式，触发相机曝光的时延更低，可以确保两个相机采集图像的同步性。
实施例4：
基于DMD可变编码模板的光谱视频采集方法同实施例1-3，步骤(5)中所述用滑窗法对不同编码模板采集的多个光谱视频数据帧进行融合，用滑窗法对不同编码模板采集的多个光谱视频数据帧进行融合的具体过程是：
(5.1)从当前光谱视频数据帧中提取数据：根据采集时记录的当前帧的编码模板序号，按照所属的编码模板设计的采样点位置和成像系统标定结果，将光谱图像中的光谱数据和RGB相机中的彩色图像数据提取出来。
(5.2)对前面的光谱视频数据帧采样点位置进行修正并提取数据：一组可变编码模板序列有N个编码模板，用滑窗法选取当前光谱视频数据帧与前N-1个光谱视频数据帧，依次计算当前帧的彩色图像和前N-1帧彩色图像的光流，根据光流预测两帧之间采样点位置的移动，来修正前N-1帧编码模板的采样点位置，再根据修正后的位置提取前N-1帧中光谱图像的数据；
(5.3)解决采样点间的位置冲突：将提取到的数据放到所对应位置，若不同编码模板采样点位置经过修正后与原有采样点位置相同，只保留距离当前帧最近一帧的采样点的数据；光谱视频数据帧逐一进行融合，增加光谱视频数据帧中光谱图像的采样点数。
本发明采用滑窗法以及计算光流修正采样点位置的策略，将多个编码模板进行融合，利用了光谱视频帧间信息的冗余性，通过融合不同模板中采样点的光谱信息，提升了光谱图像中的采样点数，使重构得到的光谱视频质量更高。
下面给出一个更加详细的例子，对本发明进一步说明。
实施例5：
基于DMD可变编码模板的光谱视频采集方法同实施例1-4，参照图1，本发明的具体实现步骤如下：
步骤1，利用基于DMD和互补全通的计算光谱成像系统获取单个采样点经色散后的光谱图像，根据实际得到的光谱图像设计编码模板，确保场景经编码模板编码和色散后，采样点间不会发生光谱混叠。
具体地，在搭建成像系统时，设计的色散方向是沿竖直方向色散，但由于成像系统本身存在色差和畸变，导致经过棱镜色散后的采集得到的光谱图像无法像设计的理论值那样，始终沿一个方向色散。参见图2，图2为基于DMD和互补全通的计算光谱成像系统采样点经色散后的光谱图像，图2中左上角局部放大图显示了一个采样点的色散后的图案，从图中可以观察到，采样点经过棱镜色散后，随着波长的逐渐增加，采样点在相机中的响应位置不仅沿成像系统设计的竖直色散方向往下移动，从图2右上角局部放大图显示的另一个采样点色散后的图案可以看出，成像系统的色散方向呈现从中心向四周发散的趋势。图2产生的现象说明，成像系统存在倍率色差，导致不同波长的光线在成像系统中的放大倍率不一致。所以两个采样点之间需要保持更宽的间距，才能保证两个采样点的光谱不会发生混叠。因此，本发明设计的编码模板采样点间距加大，这也导致了一个编码模板中的采样点数进一步降低。需要靠变换编码模板来增加采样点。
步骤2，改变采样点位置来生成新的编码模板，将这些编码模板排列成可变编码模板序列，DMD按顺序循环地变换编码模板对场景进行编码调制，每次变换编码模板DMD控制板发送触发信号触发相机拍照。
在单个编码模板上，由于采样点竖直方向的间距由色散宽度决定，比水平方向的间距更宽，本发明在编码模板的设计上，为保证采样点在空间上的均匀性，考虑增加竖直方向的采样率，优先使用斜线排布的编码模板来保持采样的均匀性。
参见图3，以图3所示的采集光谱视频时编码模板变换的示意图为例，图3设计了由两个可变编码模板组成的编码模板序列。从图3可以看出，使用DMD对场景进行编码时，两个通道获取的是场景光线经DMD反射形成的两个互补的场景，图中棋盘格代表编码模板，白色色块表示反射到当前光路中可以采集到的点，深灰色色块表示被反射到另一路无法被采集的点。左边是不经过色散的RGB通道，由于不用考虑色散产生的间隔问题，DMD将场景中多数点都反射到这一通道。右边是需要经过阿米西棱镜进行分光的光谱通道，没有被RGB通道采集到的点被反射到这一路，得到这些采样点的光谱数据。图3显示，使用变换编码模板采集光谱视频的好处是增加了成像系统采集的两路图像的信息，模板1和模板2采样点数相同，在竖直方向的采样率也相同，只是采样点位置发生了改变，用这两个模板采集得到的两个光谱图像和两个RGB图像，图3右边的两个光谱图像经过融合可以增加采样点数和竖直方向的采样率。图3左边的两个RGB图像经过融合后，原本缺失的那部分空间点也被补充完整。与固定的编码模板相比，可变编码模板在设计上更为灵活，编码模板的数量可根据系统实际效果和需要酌情增加和减少。
为了保证采集过程中两个相机曝光和DMD显示模板的同步性，找到DMD控制板触发信号的输出引脚，用连接线将该引脚与两个相机的触发输入端口相连。DMD编码模板发生改变后，DMD控制板给两个相机同时发送触发信号，确保两个相机在单次曝光时间内，只接收同一个编码模板编码的场景。
步骤3，将获取到的数据通过编码模板标定位置提取出来，参考图4表示的使用滑窗对两个变换的编码模板进行融合的示意图，假设同一物体在相邻两帧中，光谱信息不会改变。根据这一假设，将当前图像与前几帧不同编码模板的图像进行融合，融合时，滑窗的宽度与可变模板序列的数量相同，但每次滑窗只移动一个光谱视频数据帧，这样保证了每次滑窗中都包含了所有可变编码模板序列。由于场景可能产生位移，导致采样点位置改变，要通过计算光流来预测采样点的移动，修正产生位移的采样点的位置。
提取数据需要用到额外的标定信息，才能将DMD上采样点和两个相机上采集的图像的像素点对应起来，采集前需要分别对两个相机进行定标，再通过标定好的参数来提取数据。
由于场景中物体的相对运动会在两个光谱视频数据帧之间产生一定的位移，所以使用Lucas-Kanade(LK)光流估计算法计算两个光谱视频数据帧的RGB图像的光流，用计算得到的光流信息，对采样点的位置进行修正，并将提取到的数据放到修正以后的位置。经过融合后，RGB图像得到了所有空间位置的彩色信息，光谱图像的采样点数也增加了。
步骤4，经过步骤3对两个编码模板进行融合后，采集到的光谱图像上的已知点数增加了，对光谱图像中那些还没有被采集到的点，使用双边滤波的插值重构算法进行插值重构，重构得到高空间分辨率的光谱图像，并按时间顺序，合成光谱视频。
双边滤波插值算法利用RGB图像和光谱图像进行插值，这一过程可以使用GPU对重构算法并行加速。实验过程中，使用两块NVIDIA RTX 3090显卡可以对30个通道的光谱数据(每个通道的空间分辨率为1760×1120)进行实时重构，重构的光谱视频帧率为28fps。
本实施例证明了使用DMD可变编码模板的光谱视频采集方法，可以实时采集光谱视频数据，并实时重构和显示光谱视频。
下面通过仿真，对本发明的技术效果作说明。
实施例6：参照图5和图6，
基于DMD可变编码模板的光谱视频采集方法同实施例1-5，
仿真内容：
用DMD和互补全通的计算光谱成像系统采集室外场景的光谱视频，分别得到采用单个编码模板采集重构的光谱视频数据和采用两个编码模板变换采集重构的光谱视频数据。截取两个光谱视频中的其中一帧，对比两幅重构得到的图像的质量。
仿真结果与分析：
图5为使用单个固定编码模板采集重构的光谱图像，其中图5(a)为完整的光谱图像，图5(b)为图5(a)中心标框的局部放大图；图6为使用本发明的两个编码模板交替变换采集重构的光谱图像，其中图6(a)为完整的光谱图像，图6(b)为图6(a)中心标框的局部放大图。对比图5(b)和图6(b)可见，如果只用单个固定编码模板进行编码采集，重构得到的光谱图像存在明显的噪声，有失真现象，例如色卡中第三行第五列的小块上存在大量的噪声。参见图6(b)对应的小块上，噪声被显著抑制。可见使用两个编码模板交替变换采集，重构得到的光谱图像噪声减小，图像中色卡上的各个色块亮度更加均匀，轮廓更加自然。通过对比，证明了采用本发明变换编码模板采集并重构的光谱视频质量更好。
综上，本发明公开的一种基于DMD可变编码模板的光谱视频采集方法，主要解决了现有光谱视频采集技术中透射式的固定编码模板光通量小，采集速率低，采集到的光谱信息少的问题。其实现步骤是：1.获取成像系统色散宽度和方向；2.设计编码模板；3.设计可变编码模板序列；4.变换编码模板采集光谱视频数据帧；5.用滑窗法对不同编码模板采集的多个光谱视频数据帧进行融合；6.重构光谱图像。本发明通过设计多个编码模板变换地采集光谱视频，在基于DMD和互补全通的计算光谱成像系统上运用，解决了成像系统的色差问题，有效提升了成像系统在空间上的光谱采样率，使成像系统获得更好的重构质量。可实时采集和重构高空间分辨率的光谱视频。
Claims (3)
1.一种基于DMD可变编码模板的光谱视频采集方法，在基于DMD和互补全通的计算光谱成像系统上运行，基于DMD和互补全通的计算光谱成像系统在对场景进行成像时，场景光线先到达DMD元件上，DMD控制板按照内存中存储的编码模板控制DMD的微镜单元向左或向右偏转，将DMD上不同空间位置的光线分别偏转到左右两条光路，偏转到左边光路的光线被彩色相机接收，得到RGB图像；偏转到右边光路的光线经过分光棱镜分光后被灰度相机接收，得到光谱图像，偏转到右边光路的微镜单元称为采样点，其特征在于，通过控制DMD变换编码模板来采集光谱视频，包括以下步骤：
(1)获取成像系统色散宽度和色散方向：通过采集成像系统上采样点分光后的光谱图像，确定成像系统中采样点真实的色散宽度和色散方向；
(2)设计光谱数据不混叠的单个编码模板：根据采样点的色散宽度和色散方向设计单个编码模板，单个编码模板设计过程中确保模板上的采样点间光谱数据不会发生混叠；
(3)设计可变编码模板序列：根据确保编码模板上的采样点间光谱数据不会发生混叠的要求，改变采样点位置，得到多个编码模板，将这些编码模板排列成可变编码模板序列，输入到DMD控制板的存储单元中；
(4)变换编码模板采集对应的光谱视频数据帧：DMD控制板控制DMD循环地变换并显示设计好的可变编码模板序列对目标场景进行编码调制，每次DMD控制板控制DMD变换编码模板的同时发送触发信号，触发RGB和光谱两路相机进行拍照，两路相机同步采集到一幅高空间分辨率的RGB图像和一幅低空间分辨率的光谱图像，两幅图像组成一个光谱视频数据帧；双通道光谱视频成像系统不断变换编码模板触发两路相机拍照，得到多个光谱视频数据帧；
(5)用滑窗法对不同编码模板采集的多个光谱视频数据帧进行融合：设一组可变编码模板序列有N个编码模板，当前光谱视频数据帧与前N-1个光谱视频数据帧逐一进行融合，融合是将不同编码模板采样点的光谱信息提取出来，拼接成一个光谱图像，来增加光谱视频数据帧中光谱图像的采样点数；
(6)重构光谱图像：对采集的多帧光谱视频数据帧逐一进行融合后，对每一帧光谱视频数据帧中的光谱图像中那些没有被采集到的点，均用双边滤波的方法进行插值，重构得到高空间分辨率的光谱图像，并按时间顺序，合成光谱视频。
2.根据权利要求1所述的基于DMD可变编码模板的光谱视频采集方法，其特征在于，步骤(2)中所述设计光谱数据不混叠的单个编码模板，方法如下：
(2.1)计算理论的编码模板采样点沿色散方向间隔的微镜数L：设成像系统中DMD编码模板所在像面到相机传感器平面的放大倍率为θ,DMD单个微镜尺寸为α，相机传感器的像元尺寸为β，α和β长度单位一致；若光谱图像中采样点色散宽度是N个像素，则编码模板采样点沿色散方向间隔的微镜数L至少满足：
式中，通过相机传感器的像元尺寸β与采样点经色散在光谱图像上的像素长度N相乘，得到采样点在相机传感器上实际的色散宽度，将采样点在相机传感器上实际的色散宽度除以θ，转换成在DMD上对应的长度，并除以DMD微镜的尺寸α，再向上取整，得到编码模板采样点沿色散方向间隔的微镜数L；
(2.2)根据DMD排列规则调整L：要保证编码模板采样点间不会发生光谱混叠，对于菱形排列的DMD，在水平方向上相邻两个微镜的间距是竖直方向上相邻两个微镜间距的2倍；成像系统色散方向为竖直方向时，两个采样点间隔的微镜数L也要是水平色散方向间隔的微镜数的2倍；
(2.3)根据实际得到的光谱图像再次调整编码模板采样点的间距：在系统调试过程中，成像系统可能存在色差和畸变，导致采样点的色散方向发生改变，使采样点的光谱发生混叠，在得到系统编码模板采样点间距的理论值L后，用采样点间距为L的点阵作为初始的编码模板，根据成像系统使用该编码模板得到的光谱图像，调整编码模板采样点的间距，确保成像系统中的所有采样点光谱都不会混叠。
3.根据权利要求1所述的基于DMD可变编码模板的光谱视频采集方法，其特征在于，步骤(5)中所述用滑窗法对不同编码模板采集的多个光谱视频数据帧进行融合，具体过程包括：
(5.1)从当前光谱视频数据帧中提取数据：根据采集时记录的当前帧的编码模板序号，按照所属的编码模板设计的采样点位置和成像系统标定结果，将光谱图像中的光谱数据和RGB相机中的彩色图像数据提取出来；
(5.2)对前面的光谱视频数据帧采样点位置进行修正并提取数据：设一组可变编码模板序列有N个编码模板，用滑窗法选取当前光谱视频数据帧与前N-1个光谱视频数据帧，依次计算当前帧的彩色图像和前N-1帧彩色图像的光流，根据光流预测两帧之间采样点位置的移动，来修正前N-1帧编码模板的采样点位置，再根据修正后的位置提取前N-1帧中光谱图像的数据；
(5.3)解决采样点间的位置冲突：将提取到的数据放到所对应位置，若不同编码模板采样点位置经过修正后与原有采样点位置相同，只保留距离当前帧最近一帧的采样点的数据；光谱视频数据帧逐一进行融合，融合是将不同编码模板采样点的光谱信息提取出来，拼接成一个光谱图像，增加光谱视频数据帧中光谱图像的采样点数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110268484.8A CN113049103B (zh) | 2021-03-12 | 2021-03-12 | 基于dmd可变编码模板的光谱视频采集方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110268484.8A CN113049103B (zh) | 2021-03-12 | 2021-03-12 | 基于dmd可变编码模板的光谱视频采集方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113049103A CN113049103A (zh) | 2021-06-29 |
| CN113049103B true CN113049103B (zh) | 2022-06-07 |
Family
ID=76511850
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110268484.8A Active CN113049103B (zh) | 2021-03-12 | 2021-03-12 | 基于dmd可变编码模板的光谱视频采集方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113049103B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115496819B (zh) * | 2022-11-18 | 2023-03-21 | 南京理工大学 | 一种基于能量集中特性的快速编码光谱成像方法 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103487145B (zh) * | 2013-09-25 | 2015-04-15 | 清华大学 | 多光谱采集系统的标定方法及系统 |
| CN103884427A (zh) * | 2014-03-11 | 2014-06-25 | 清华大学 | 高光谱高空间分辨率的图像获取方法及装置 |
| CN105651384B (zh) * | 2016-01-13 | 2018-01-16 | 南京大学 | 一种全光信息采集系统 |
| CN108254072A (zh) * | 2017-12-29 | 2018-07-06 | 中国科学院上海技术物理研究所杭州大江东空间信息技术研究院 | 一种新型高光谱视频成像仪 |
| CN110887564A (zh) * | 2019-12-18 | 2020-03-17 | 中国科学院长春光学精密机械与物理研究所 | 一种运动目标光谱的监测装置及监测方法 |
| CN111811649A (zh) * | 2020-06-29 | 2020-10-23 | 中国科学院空天信息创新研究院 | 基于dmd的光谱成像系统和基于dmd的光谱成像方法 |
-
2021
- 2021-03-12 CN CN202110268484.8A patent/CN113049103B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN113049103A (zh) | 2021-06-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7764397B2 (en) | Image synthesizing apparatus and image synthesizing method | |
| KR101002224B1 (ko) | 신호 처리 장치 및 신호 처리 방법, 및 컴퓨터로 판독 가능한 기록 매체 | |
| US9361662B2 (en) | Systems and methods for synthesizing high resolution images using images captured by an array of independently controllable imagers | |
| KR101824290B1 (ko) | 고해상도 멀티스펙트럼 이미지 캡처 기법 | |
| US8941749B2 (en) | Image processing apparatus and method for image synthesis | |
| CN106679807B (zh) | 一种基于lctf高光谱成像系统的图像压缩与重构方法 | |
| US8031232B2 (en) | Image pickup apparatus including a first image formation system and a second image formation system, method for capturing image, and method for designing image pickup apparatus | |
| US20220394226A1 (en) | Free viewpoint video generation and interaction method based on deep convolutional neural network | |
| JPWO2006064751A1 (ja) | 複眼撮像装置 | |
| WO2016028819A1 (en) | Photographic image acquisition device and method | |
| WO2008053765A1 (ja) | 画像生成装置および画像生成方法 | |
| JP5096645B1 (ja) | 画像生成装置、画像生成システム、方法、およびプログラム | |
| CN102143322B (zh) | 摄像设备及其控制方法 | |
| CN111201780B (zh) | 成像装置和方法以及图像处理装置和方法 | |
| US9336570B2 (en) | Demosaicking system and method for color array based multi-spectral sensors | |
| JP6653460B2 (ja) | 撮像装置、撮像システム、画像生成装置およびカラーフィルタ | |
| CN113049103B (zh) | 基于dmd可变编码模板的光谱视频采集方法 | |
| JP2005065274A (ja) | 画像を表すデータを生成するための方法及び装置 | |
| Saragadam et al. | SASSI—super-pixelated adaptive spatio-spectral imaging | |
| CN106663312B (zh) | 用于改善计算成像的系统和方法 | |
| JP2018107731A (ja) | 画像生成装置及び撮像装置 | |
| JP2014155071A (ja) | 画像処理装置、撮像装置、制御方法、及びプログラム | |
| US20240119561A1 (en) | Image processing device and image processing method | |
| EP4068756A1 (en) | Imaging device, information processing method, and program | |
| CN110501069B (zh) | 时空联合调制光场光谱成像系统及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |