CN101702021A - 一种图谱一体化的时变对象光谱信息获取方法与装置 - Google Patents

Abstract

一种图谱一体化的时变对象光谱信息获取方法与装置，具体为：获取场景的当前帧图像，在其内提取包含时变对象的候选感兴趣区，将各候选感兴趣区分别与上一帧图像获取的各感兴趣区进行关联，关联成功的被确定为感兴趣区，并将其标识赋值为与其关联成功的上一帧图像感兴趣区的标识，最后获取当前帧图像各感兴趣区的光谱数据。本发明还设计了实现上述方法的装置，包括主控单元、成像传感器、光谱传感器、红外分光镜头、跟踪反射镜和跟踪扫描转台。本发明提出了宽谱成像和非成像光谱获取相结合的数据采集方法，与常规对整个场景所有区域采集光谱数据的方法相比，反应速度快，成本低，适合时变对象光谱数据的智能化采集，提高了采集光谱数据的效费比。

Description

一种图谱一体化的时变对象光谱信息获取方法与装置

技术领域

本发明属于遥感、监视和光谱数据采集领域，具体涉及时变对象的光谱数据采集方法与装置。

背景技术

光谱数据采集技术主要研究采集场景或感兴趣目标的光谱数据的方法和技术。该技术广泛应用于遥感领域，为研究各种目标背景的光谱特性，进而对场景进行分类、监视与目标探测识别提供数据基础。

通常对场景光谱数据的采集使用多光谱/超光谱成像传感器。多光谱/超光谱成像传感器具有一定的视场、角分辨率、谱分辨率，多光谱/超光谱成像传感器进行一次数据采集的过程即是对其视场内的每一个像素对应的场景区域采集特定波长范围的光谱数据，其每次采集的数据形成一个图像立方体，该立方体具有两个空间维度和一个光谱维度。

在许多实际应用中，需要利用光谱特性对动态场景进行监视或者进行机动目标自动检测识别，此时光谱数据采集过程关注的是时变对象。时变对象即具有时间变化特性的目标，例如海面运动的船舶、火灾等突发事件、运动的车辆、飞行中的飞机等。对时变对象进行光谱数据采集要求传感器反应速度足够快，能够实时采集随时间变化的目标光谱数据。

对于时变对象光谱数据采集，现有的多光谱/超光谱成像传感器存在两个缺点：(一)价格昂贵；(二)因为需要在每个象素、每个精细谱线处采集数据，故其积分时间长，反应速度慢，不适合时变对象的光谱数据采集。

为克服上述两个缺点，本发明提出了图谱一体化的光谱信息获取方法，并设计了实现该方法的宽谱成像传感器与非成像光谱传感器相结合的装置方案，以采集时变对象的光谱数据。首先由宽谱成像传感器获取场景图像，其次使用图像处理方法自动确定场景中时变对象所在的感兴趣区，或人工判决确定时变对象感兴趣区，然后由非成像光谱传感器逐一快速获取所有感兴趣区的光谱数据。

发明内容

本发明的目的在于提供一种图谱一体化的时变对象光谱信息获取方法，反应速度快，成本低，适合时变对象光谱数据的智能化采集，提高了采集光谱数据的效费比。

本发明还提供了实现上述方法的装置。

一种图谱一体化的时变对象光谱信息获取方法，按照以下步骤进行：

(1)采用成像传感器获取场景的当前帧图像；

(2)在当前帧图像内提取至少一个的候选感兴趣区，各候选感兴趣区分别包含了一个时变对象；

(3)若当前时刻位于数据获取初始阶段，则直接将当前帧图像中各候选感兴趣区确认为感兴趣区，并对各感兴趣区分别赋予标识初值；否则，分别将当前帧图像中的各候选感兴趣区与上一帧图像获取的各感兴趣区进行关联，将关联成功的候选感兴趣区确定为感兴趣区，并将其标识赋值为与其关联成功的上一帧图像感兴趣区的标识；

(4)采用非成像光谱传感器获取当前帧图像各感兴趣区的光谱数据。

(5)重复步骤(1)～(4)直到采集过程结束。

步骤(2)中候选感兴趣区按照如下方式确定：

(21)对当前帧图像作图像增强处理，以突出潜在的候选感兴趣区；

(22)对图像增强后的当前帧图像进行二值分割，得到候选感兴趣区；

(23)提取各候选感兴趣区的特征。

一种时变对象光谱信息获取方法的装置，包括主控单元、成像传感器、光谱传感器、红外分光镜头、跟踪反射镜和跟踪扫描转台，跟踪反射镜放在跟踪扫描转台上，主控单元分别连接成像传感器、光谱传感器和跟踪扫描转台，成像传感器、光谱传感器还分别通过红外分光镜头连接跟踪反射镜。

本发明的技术效果体现在：

(一)通过自动或人工参与确定场景中的感兴趣区，避免在不感兴趣区域采集光谱数据，节省了同一场景光谱数据采集的时间，提高了反应速度。时变对象对光谱数据采集装置的反应时间要求较高，而通常的多光谱/超光谱成像传感器采集数据需要较长的时间，因此不适合时变对象光谱数据的采集。而本发明反应速度快，适合于时变对象的光谱数据采集；

(二)多光谱/超光谱成像传感器价格昂贵，采集光谱数据的成本很高，本发明设计了宽谱成像和非成像光谱传感器相结合的方案，降低了采集光谱数据的成本。

反应时间分析：设宽谱成像图像大小为M*N像素，采集一帧图像的时间为t₀秒，图像中平均感兴趣区数为d个，非成像光谱传感器采集一次光谱数据的时间为t₁秒。具有相同空间分辨率的超光谱成像传感器，其每次成像时间t₂秒，波段数为P个。对同一场景，使用本发明采集光谱数据的时间约为t₀+d·t₁，超谱成像时间t2秒，令η₀＝t₂/t₁，则本发明采集数据时间与超光谱成像传感器采集数据时间之比为ratio＝(t₀+d·t₁)/(η₀·t₁)，令η₁＝t₀/t₁，则ratio＝(η₁+d)/η₀。

一般地，同一场景中关注的时变对象个数d ≤5；在我们的方案中，Bruker公司的IRcube傅立叶光谱仪参数：波长范围1.5～5微米(波数10000cm^-1～1818cm^-1)，波谱分辨率为100cm^-1，谱段数为82，其扫描速度为10000Hz，因此其获取一个感兴趣区光谱数据的时间为0.0082秒；对比TELOPS公司的FIRST-MWE超光谱成像仪，当选择其波谱分辨率与IRcube相同(100cm^-1)，其测量频率约为0.5Hz，即其获取一个场景的数据需要的时间为2秒，此时η₀＞240。通常采集一帧宽谱图像的时间远小于采集一次光谱数据的时间，即η₁＜1，此时ratio＜0.025。因此，一般可认为ratio的值在0.1以下，即本装置反应时间相比通常的超谱成像传感器下降一个数量级。

成本分析：超光谱成像传感器80万美元以上，我国尚不能生产；本发明主要成本由四部分构成，一种方案为：傅立叶光谱仪7万美元，非制冷长波红外成像仪3万美元，光学系统4万美元，其它部件(包括软件)2万美元，总成本约16万美元，在此方案中，本发明的成本仅约为超光谱成像传感器的20％，即成本下降80％，可立足于我国技术生产。

理论计算和仿真试验表明，本发明采集时变对象的光谱数据需要的时间比通常的超光谱成像传感器下降幅度超过一个数量级。装置成本下降幅度超过80％。

附图说明

图1为图谱一体化的时变对象光谱信息获取方法；

图2为图谱一体化的时变对象光谱信息获取装置；

图3为三帧长波红外宽谱(8～12μm)图像，图3(a)、(b)、(c)分别为7:00、4:00和22:00时刻图像示意图；

图4为多级滤波方法示意图；

图5为三帧宽谱图像的多级滤波结果，图5(a)、(b)、(c)分别为图3(a)、(b)、(c)的滤波结果；

图6为宽谱图像的分割结果和感兴趣区标识结果，图6(a)、(b)、(c)分别为图3(a)、(b)、(c)中三帧宽谱图像的分割结果示意图，6(a′)、(b′)、(c′)分别为图3(a)、(b)、(c)中三帧宽谱图像的感兴趣区标识结果示意图；

图7为时变对象1各部分在时间为7:00时的波谱数据(3～14μm)示意图，7(a)为上层建筑和甲板的波谱，7(b)为烟囱和动力舱的波谱；

图8为时变对象1各部分在时间为14:00时的波谱数据(3～14μm)。8(a)为上层建筑和甲板的波谱，8(b)为烟囱和动力舱的波谱；

图9为时变对象1各部分在时间为22:00时的波谱数据(3～14μm)示意图；

图10为海水的波谱数据(3～14μm)示意图。

具体实施方式

下面结合实例和附图对本发明作进一步的说明。

工作方式有人工工作方式和自动工作方式两种。在初始阶段通过人工方式确定感兴趣区，以后的阶段转入自动工作方式；初始阶段持续时间可以根据不同的数据采集任务设定，通常设定为进行前5次数据采集的时段。

本发明光谱信息获取方法具体为：

(1)采用宽谱成像传感器对包含感兴趣区的场景成像。如图3所示，图3(a)、(b)、(c)为三个不同时刻的长波红外宽谱(8～12μm)图像，时变对象为船舶。图3(a)、(b)、(c)的时间分别为7:00，14:00和22:00，场景中有两个时变对象，在图3(a)、(b)中，两个时变对象是在运动中的；在图3(c)中，两个时变对象是停泊在海面上的。

(2)通过人为判断确定或者按照如下方式自动确定候选感兴趣区：

①首先对当前帧图像作图像增强处理，以突出潜在的感兴趣区；多级滤波方法如图4所示。对对当前帧图像f_in进行多级滤波，即

f_out＝(f_in-(f_in*Lp₁*Lp₂*...Lp_n))*Lq₁*Lq₂*...Lq_m

其中Lp₁，Lp₂，...Lp_n，Lq₁，Lq₂，...Lq_m均为低通滤波器，f_out表示多级滤波结果，*表示卷积，n和m都是可变的正整数。

图5(a)、(b)、(c)分别为图3(a)、(b)、(c)中三帧宽谱图像的多级滤波结果。②然后对图像增强后的当前帧图像进行二值分割，得到候选感兴趣区；

大律法(OTSU)准则如下：设图像灰度共有L级，像素共有N个，灰度级1，2，...，L所占的像素数依次为n₁，n₂，...，n_L，令

p_i1＝n_i1/N，i1＝1，2，...，L

设k为2～L-1之间的任意灰度级，将图像分割为灰度分别大于和小于k的两部分，求

$\mathrm{\ω}\left(k\right)=\underset{i2=1}{\overset{k}{\mathrm{\Σ}}}{p}_{i2};$ $\mathrm{\μ}\left(k\right)=\underset{i2=1}{\overset{k}{\mathrm{\Σ}}}i2p_{i2};$ $\mathrm{\μ}=\underset{i1=1}{\overset{L}{\mathrm{\Σ}}}i1p_{i1}$

令

μ₀＝μ(k)/ω(k)；μ₁＝(μ-μ(k))/(1-ω(k))

定义类间方差 ${\mathrm{\σ}}_B^2\left(k\right)=\mathrm{\ω}\left(k\right)(1-\mathrm{\ω}\left(k\right)){({\mathrm{\μ}}_1-{\mathrm{\μ}}_0)}^2$

则分割门限Th(1＜Th＜L)为：

使用Th对图像进行分割，即亮度在门限Th上的像素置为255，否则置0。

③提取各候选感兴趣区的特征。

设候选感兴趣区RGN_v包含M个像素(x₁，y₁)，(x₂，y₂)，...，(x_M，y_M)，则提取各特征的方法如下：

形心 $\stackrel{\→}{\mathrm{SC}}=(x_{\mathrm{cen}},y_{\mathrm{cen}})=(\frac{\underset{i3=1}{\overset{M}{\mathrm{\Σ}}}{x}_{i3}}{M},\frac{\underset{i3=1}{\overset{M}{\mathrm{\Σ}}}{y}_{i3}}{M});$

面积A＝M；

平均亮度

f(x_i3，y_i3)表示图像在像素(x_i3，y_i3)处的亮度值；

周长

即RGN_v的边界

的长度。计算时两个4-邻域相邻像素的距离计为1，两个8-邻域相邻像素的距离计为1.41421；

外接矩形高宽比 $\mathrm{HWR}=\frac{\underset{i3=1}{\overset{M}{\max }}\left(y_{i3}\right)-\underset{i3=1}{\overset{M}{\min }}\left(y_{i3}\right)}{\underset{i3=1}{\overset{M}{\max }}\left(x_{i3}\right)-\underset{i3=1}{\overset{M}{\min }}\left(x_{i3}\right)};$

形状数为 $F=\frac{P^2}{4\mathrm{\πA}};$

提取所有候选感兴趣区的特征后，从所有候选感兴趣区中排除虚假感兴趣区，方法为：预先设定感兴趣区的面积范围，将所有面积不在范围内的候选感兴趣区排除。

(3)在数据采集初始阶段时，直接将当前帧图像中各候选感兴趣区确认为感兴趣区，并对各感兴趣区赋予一标识初值；初始阶段以后的数据采集过程中，则分别将当前帧图像中的各候选感兴趣区与上一帧图像获取的各感兴趣区进行关联，将关联成功的候选感兴趣区确定为感兴趣区，并将其标识赋值为与其关联成功的上一帧图像感兴趣区的标识。

感兴趣区关联方法：用SET_cur＝{RGN_i4，i4＝1，2，...n}表示当前帧中提取的所有候选感兴趣区，用SET_pre＝{RGN_i5，i5＝1，2，...m}表示上一帧中提取的所有感兴趣区。对SET_cur中的每一个候选感兴趣区，使用最近邻原则选择SET_pre中与之相关联的感兴趣区。若SET_pre中某一感兴趣区RGN₄是SET_cur中多个候选感兴趣区的最近邻，则在SET_cur中这多个候选感兴趣区中选择距离RGN₄最近者与RGN₄进行关联，其余候选感兴趣区重新选择关联，直到SET_cur中所有候选感兴趣区关联完毕。但在关联过程中可能出现以下两种特殊情形：(a)SET_cur中出现了新的候选感兴趣区A，即SET_pre中不存在与A关联成功的感兴趣区；(b)SET_pre中的感兴趣区B消失，即SET_cur中不存在与B关联成功的候选感兴趣区。对于情形(a)，一般对新出现的候选感兴趣区A赋予新的标识值，但是当总的候选感兴趣区A的个数大于实际可能性，则抛弃不理；对于情形(b)，对感兴趣区B的数据采集过程结束。

图6(a)、(b)、(c)分别为图3(a)、(b)、(c)中三帧宽谱图像的分割结果(左)和感兴趣区标识结果(右)。图像中共两个时变对象，即两个在海面航行的船舶，时变对象1在三帧图像中均处于下方，时变对象2均处于上方。

(4)对当前帧中提取的所有感兴趣区，由主控单元根据感兴趣区位置依次调整跟踪扫描转台，使感兴趣区位于视场中心，并由非成像光谱传感器获取感兴趣区的光谱数据。

时变对象1的光谱数据实例如图7～9所示，光谱分辨率为0.2μm，波谱范围3～14μm。

图7为时变对象1各部分在时间为7:00时的波谱数据。7(a)为上层建筑和甲板的波谱，7(b)为烟囱和动力舱的波谱；

图8为时变对象1各部分在时间为14:00时的波谱数据。8(a)为上层建筑和甲板的波谱，8(b)为烟囱和动力舱的波谱；

图9为时变对象1各部分在时间为22:00时的波谱数据。

注意到，时变对象1在7:00和14:00是正在运动的，而在22:00是停泊在海面上的。

作为对比，图10给出了典型背景——海水的波谱数据。因为海水的比热容很大，在不同时相的温度比较稳定，所以其在不同时相的波谱数据是近似相同的，故图10中只给出了一条波谱曲线。目标与背景波谱的统计数据如下(所有数据单位为W·m^-2·Sr^-1)：

(5)重复(1)～(4)，直到光谱数据采集过程结束。

图2给出了实现上述方法的装置，装置包括主控单元、成像传感器(红外成像仪)、光谱传感器、红外分光镜头和跟踪扫描转台。

主控单元负责通过跟踪扫描转台控制跟踪反射镜，并收集同一视场内的图像和感兴趣区的光谱信号。在光谱数据采集过程中，主控单元负责控制宽谱成像传感器与非成像光谱传感器的交互，并标识感兴趣区，分别记录各个感兴趣区在多个时刻的特征数据和光谱数据。光谱数据采集的时间可以预先设定，也可随时由人工介入结束采集过程。

跟踪扫描转台接受主控单元的俯仰和偏航控制指令，根据指令调整跟踪反射镜的俯仰和偏航角度，使得特定感兴趣区位于视场中心。

镜头组负责光路的初级汇聚，要求高透过率，并和大气窗口的透过波段相符；分光系统把红外光分为两路，要求两路光能量均衡，两条光路共轴并且具有相同的中心视场；镜头组将一路红外光汇聚到红外成像仪焦平面上；镜头组将另一路红外光汇聚到光谱传感器里。

光纤固定在视场中心，收集3×3个像素的小区域内的光进入谱特性分析仪进行光谱测量。

该装置通过跟踪反射镜的俯仰和偏航转动控制视场，使感兴趣区的影像移到视场中心，从而可获取其光谱数据。

Claims (3)

1.一种图谱一体化的时变对象光谱信息获取方法，按照以下步骤进行：

(1)采用成像传感器获取场景的当前帧图像；

(2)在当前帧图像内提取至少一个的候选感兴趣区，各候选感兴趣区分别包含了一个时变对象；

(3)若当前时刻位于数据获取初始阶段，则直接将当前帧图像中各候选感兴趣区确认为感兴趣区，并对各感兴趣区分别赋予标识初值；否则，分别将当前帧图像中的各候选感兴趣区与上一帧图像获取的各感兴趣区进行关联，将关联成功的候选感兴趣区确定为感兴趣区，并将其标识赋值为与其关联成功的上一帧图像感兴趣区的标识；

(4)采用非成像光谱传感器获取当前帧图像各感兴趣区的光谱数据。

(5)重复步骤(1)～(4)直到采集过程结束。

2.根据权利要求1所述的时变对象光谱信息获取方法，其特征在于，所述步骤(2)中候选感兴趣区按照如下方式确定：

(21)对当前帧图像作图像增强处理，以突出潜在的候选感兴趣区；

(22)对图像增强后的当前帧图像进行二值分割，得到候选感兴趣区；

(23)提取各候选感兴趣区的特征。

3.一种实现权利要求1所述时变对象光谱信息获取方法的装置，包括主控单元、成像传感器、光谱传感器、红外分光镜头、跟踪反射镜和跟踪扫描转台，跟踪反射镜放在跟踪扫描转台上，主控单元分别连接成像传感器、光谱传感器和跟踪扫描转台，成像传感器、光谱传感器还分别通过红外分光镜头连接跟踪反射镜。

Images