CN1743870A - 机载多角度多源数据的实时采集装置及方法 - Google Patents

Abstract

一种机载多角度多源数据的实时采集装置及方法，其装置包括至少二台大面阵相机和位于一主控计算机上的至少二块与该二台大面阵相机连接的图像采集卡，每块采集卡连接一组硬盘阵列；一姿态装置POS系统与该主控计算机连接。该方法包括如下步骤：大面阵相机工作在外触发模式，POS系统与相机同步工作，分别采集图像数据和POS事件数据。相机采集的图像分别传送至采集卡板载缓存之中，由采集卡统一的底层驱动引擎整合、分流，分别通过PCI总线传送到显存和通过板载SCSI控制器Ultra160接口传送到硬盘阵列进行实时显示和储存；采集引擎与姿态测量POS系统通讯，POS系统获取相机曝光时刻的POS事件数据也传输至主控计算机内存中，当采集完毕后自动整合到硬盘阵列中，由采集引擎控制使其和相关的图像数据一一对应。

Description

机载多角度多源数据的实时采集装置及方法

技术领域：

本发明涉及一种高分辨率机载多角度图像采集，特别是一种实时融合图像数据和姿态测量POS(地理坐标参数)数据的采集装置及方法。

背景技术

遥感对地观测技术主要是通过获取地球表面自然界目标的波谱特征信息，即对这些信息进行加工、处理，从而达到认识自然界的一项宏观观测技术。具体来说，主要分以下几个阶段：

(1)获取光谱信息为主的单台传感器阶段

这个阶段主要以定性为主，即以获取地面图像为主要目标，然而，用作定位的姿态测量装置参数精度很低，即对获取的图像进行定位的精度很差。

(2)立体观测方式为主的单台传感器阶段

同样由于没有高精度的位置和姿态参数的获取能力，仍然需要依靠地面控制点，通过拍摄的地面图像中查找这些控制点来对原始图像进行定位，定位精度很低，人力消耗很大。

(3)高光谱分辨率、超多波段的单台传感器阶段

这类传感器的定性能力有了很大的提高，但是，在定位能力上和第二个阶段一样。

(4)集成性传感器系统阶段

由前3个阶段可见要同时解决遥感的定性、定位、定量问题，仅靠获取地面目标的光谱特征信息的单传感器系统是不可能解决问题的。将定性、定位、定量紧密结合起来，集成成像装置及高精度定位装置的多传感器系统成为了现阶段对地观测技术的主要发展目标。

多角度遥感是对地观测技术的重要分支。传统的单一方向遥感只能得到地面目标一个方向的投影信息，缺乏足够多的信息来同时推断一个像元的主要材料波谱和空间结构，从而使定量遥感非常困难。而多角度对地观测通过对地面目标多个方向的观测，使得目标的观测信息得以丰富，从中能提取较单一方向的观测更为详细可靠的地面目标的三维空间结构参数，为定量遥感提供了新的途径。它的依据主要是地物本身的二向性反射特征机理：不同物体表面将入射的电磁波除本身已吸收以外向四面八方散射，形成散射通量不同的空间分布，反射的方向性是物体材料波谱特征和空间结构特征的函数。函数公式如下所示：

$\mathrm{BRDF}({\mathrm{\Θ}}_i,{\mathrm{\Φ}}_i{,\mathrm{\Θ}}_r,{\mathrm{\Φ}}_r)=\frac{\mathrm{dL}\left({\mathrm{\Ω}}_r\right)}{\mathrm{dE}\left({\mathrm{\Ω}}_i\right)}$

Θ_i为天顶角，Φ_i为方位角，主要确定入射方向；Θ_r和Φ_r确定反射方向；Ω_r和Ω_i相应表示在反射和入射方向上的两个非常小的立体角，dE(Ω_i)表示在一个微分面积元dA之上，由于Ω_i这个微分立体角内辐照度E(Ω_i)的增量所引致的dA上辐亮度的增量；dL(Ω_r)则表示由于增量dE(Ω_i)引起的Ω_r方向上的辐照度的增量。该公式给出了迄今为止二向性反射分布函数最完善的定义，从这个严格定义的BRDF，可以推演出不同情况之下常用的其它量，比如二向反射比等等。

而定位、定量问题除了取决于图像的地面分辨率，更重要的是取决于外方位元素解算的精度。传统的机载航空遥感解决外方位元素的方法一般是利用一定数量的地面控制点，采用空间三角加密的方法求外方位元素，由于需要地面控制点，野外工作量很大，成本很高，数据后处理的时间也很长。而用姿态测量POS系统可以直接获取传感器成像时刻的外方位元素，能够大大减少地面控制点甚至不使用地面控制点而直接进行遥感图像的地理定位。

因此，基于姿态测量POS的集成遥感系统，可以大大降低遥感图像的处理成本，在满足精度要求的前提下，增加了遥感的时效性。

发明内容

本发明的目的在于克服上述以往单一传感器对地测量技术的不足，将多角度技术和姿态测量技术紧密相结合，提供一种应用于机载遥感方式的多角度多源数据的实时采集装置及方法，它能定性、定量地同步提供高分辨率的地面目标多角度图像以及与每一桢图像严格对应的姿态测量POS数据，且把两者有机地整合在一起，在现有的技术条件下最大程度地同时解决遥感定性、定位、定量问题。由于其在测量地物几何信息、预测植被长势等方面的优势，使这一种装置有着很强的拓展性和很好的应用前景。

本发明的技术解决方案如下：

根据本发明一种机载多角度多源数据的实时采集装置，主要由至少两台大面阵CCD相机、至少2块基于CameraLink标准的图像采集卡、主控制计算机系统，以及高精度姿态测量装置POS(地理坐标参数)系统所组成，其中CCD相机通过电缆和图像采集卡MDR26接口一对一连接；采集卡固定于主控计算机底板PCI插槽内，主控计算机系统由ATX电源供电以提供采集卡工作必需的3.3V直流电压；多源数据存储介质大容量SCSI硬盘阵列安装于主控计算机内部，直接通过专有68针的SCSI电缆和采集卡SCSI输出端口连接，且每块采集卡各自连接一组硬盘阵列，工作于Raid0模式下；姿态测量装置POS系统输出端RS232串口、输入端事件触发同轴电缆端口分别和主控制计算机串口和采集卡LVDS接口同步信号输出针脚引线相连。

根据同一构思，用上述装置进行机载多角度多源数据实时采集的方法，包括下列步骤：

①使CCD相机工作在外触发模式之下；

②任选一块图像采集卡作为主卡，其余作为副卡，由主卡采集卡集成的信号发生器作为CCD相机曝光、传输和姿态测量装置POS事件数据采集记录的唯一同步信号源，其由3M电缆包含的控制总线传递给CCD相机；

③对同步电缆通过特定的交叉方式分别连接采集卡的同步连接端口；

④用扁平SCSI电缆连接采集卡的包含外同步触发信号的LVDS接口，且引出触发脉冲线连接POS事件输入端口；

⑤把CCD相机采集的图像分别传输至所连接的采集卡板载缓存之中，由采集卡统一的底层驱动引擎整合、分流，分别通过PCI总线和采集卡板载Ultra160控制端口传送到显存和SCSI硬盘阵列进行实时显示和存储；

⑥将采集卡底层采集引擎通过单独的线程和姿态测量POS系统通讯，通过设定相同的串口参数来获取CCD相机曝光时刻的事件数据，并存储于主控制计算机系统内存中，当采集完毕后，自动整合到SCSI硬盘阵列中，且由采集引擎控制使其和相关的图像数据一一对应。

所述的多源数据实时采集过程如下：

a.同步脉冲下降沿触发相机的电子快门，电子快门的下降沿清空CCD感光区域的电荷而后开始曝光，曝光完成即传输图像，且置相机桢有效信号FVAL为高电平有效。

b.采集卡探测到FVAL有效，开始接收相机输出图像，且以相机行有效信号LVAL为每一行图像传输的开始标志，其为高电平则开始一行数据的传输，低电平则结束一行数据的传输，周而复始的交替直到FVAL信号重新变成低电平为止。

c.三台采集卡同时接收一桢图像后，统一的采集卡底层采集引擎将三幅图像按上、中、下的排列方式统一整合，经过图像抽样或不抽样的方式传输到主控制计算机系统显存进行显示，同时按原有图像格式各自存储于所连接的SCSI硬盘阵列中去。

d.同步脉冲信号下降沿在触发相机工作的同时触发姿态测量装置POS，使其按照相同的频率向串口发送其内部记录的事件数据，主控制计算机同步运行的工作在底层的读串口线程此时便读取串口的事件数据，并将其存储于系统内存之中。

e.图像采集完毕，采集卡底层驱动引擎自动将实时采集的POS事件数据整合到SCSI硬盘阵列中去，并保持和每一桢图像严格的一一对应关系。

本发明的技术效果

1.利用本发明装置进行机载对地遥感试验，将三台CCD相机分别固定于包含三个不同对地指向的多角度平台之上，获取的多角度地物图像质量很高，系统运行流畅。

2.采集图像的同时获取的POS事件数据包含的事件号与同步存储于POS内部的经过处理后产生的高精度姿态定位数据包含的事件号严格对应，且每一个事件号都有唯一的POS姿态定位数据对应。

3.存储的每一桢图像都有唯一的事件号对应，通过该事件号可以查找到唯一的姿态数据，即对每一桢图像都实现了地理定位。

附图说明

图1是本发明机载多角度多源数据的实时采集装置的结构示意图。

图2是本发明的多角度多源数据实时采集的数据流程图。

具体实施方式

根据图1和图2，提供一较好的实施例，即使用3只CCD相机，三台图像采集卡和三组硬盘阵列。这里要指出的是给出的实施例只是为了使能更易于了解本发明的结构特征和功能特点，而不是用来限制本发明的范围。

先请参阅图1。图1是本发明机载多角度多源数据的实时采集装置的结构示意图，相机1主要包括CCD相机11、CCD相机12、CCD相机13，实现不同对地指向的多角度成像；固定于主控制计算机(PCI)2插槽内的图像采集卡31、图像采集卡32和图像采集卡33分别通过3M电缆21、3M电缆22和3M电缆23与CCD相机11、CCD相机12和CCD相机13连接；三块采集卡31、32、33板载的SCSI接口通过SCSI电缆41、SCSI电缆42、SCSI电缆43分别和同样安装在主控制计算机2内的硬盘阵列51、硬盘阵列52、硬盘阵列53连接，构成多源数据的存储模块；三块采集卡31、32、33上的同步连接头由两两交叉的采集卡同步交叉连接线连接；三块采集卡31、32、33的LDVS接口由扁平电缆连接，其引出的事件触发信号线连接姿态测量装置POS计算机系统3的事件输入端口；姿态测量装置POS计算机系统3的串口由与主控制计算机2的串口根据RS232连接线20连接；主控制计算机2的视频端口由专用视频线30连接液晶显示器4，作为整个发明装置的实时图像显示和流程监控的窗口。本发明装置的工作过程如下：

A.CCD相机11-13所成的图像经由3M电缆21-23分别传输给图像采集卡31-33。

B.图像采集卡31-33分别将暂存于各自板载缓存中的图像传输到与其相连的硬盘阵列51-53进行存储；同时统一的底层采集引擎将缓存中的图像进行整合并通过主控制计算机(PCI)2总线传输给系统显存，在液晶显示器4上进行显示。

C.姿态测量装置POS计算机系统3将事件数据传输给主控制计算机2，主控制计算机2将事件数据存储于系统内存中，在采集完成之后统一整合到硬盘阵列51-53中。

D.利用本发明机载多角度多源数据的实时采集系统对图像数据和POS数据进行同步采集的方法，包括下列步骤：

设置CCD相机11-13工作在外触发模式之下；

对采集卡31-33任选一块作为主卡，其余两块作为副卡，由主卡采集卡集成的信号发生器产生一定频率、占空比的脉冲信号通过主卡LVDS接口TTLOUT0脚输出，经扁平电缆分别传输到主卡和两块副卡的LVDS接口TTLIN0脚，作为三台CCD相机11、12、13曝光、传输和姿态测量装置POS事件数据采集记录的唯一同步信号源，其由3M电缆21-23包含的控制总线传递给CCD相机11-13；

把采集卡同步交叉连接线分别连接采集卡31-33的同步连接端口；

将扁平SCSI电缆连接采集卡31-33的包含外同步触发信号的LVDS接口，且引出触发脉冲线10连接POS事件输入端口；

把CCD相机11-13采集的图像分别传输至所连接的采集卡31-33板载缓存之中，由采集卡31、32、33统一的底层驱动引擎整合、分流，分别通过PCI总线和采集卡31、32、33板载Ultra160控制端口传送到液晶显示器4和硬盘阵列51-53进行实时显示和存储。

将采集卡31、32、33底层采集引擎通过单独的线程和姿态测量装置POS计算机系统3通讯，通过设定相同的串口参数来获取CCD相机曝光时刻的事件数据，并存储于主控制计算机系统2内存中，当采集完毕后，自动整合到硬盘阵列51-53中，且由采集引擎控制使其和相关的图像数据一一对应。

本发明装置多源数据采集的流程如图2所示。主要由三部分组成：

1.数据采集记录的同步

系统运行时由应用程序驱动统一的控制命令，采集卡31-33通过Camera Link标准集成的控制总线向相机11-13传递外同步脉冲信号，其工作原理为：当相机11-13捕获到外同步信号的下降沿的同时触发自身的电子快门，电子快门脉冲的下降沿清空CCD感光区域的电荷而后开始曝光，曝光时间的长短则由相机API命令事先设定好，曝光完成即开始传输图像，且图像的传输在严格的时序控制之下进行。底层驱动视三块采集卡11-13为一个整体，严格的进行统一的操作：由相机配置文件进行事先设定，底层着色引擎将分别存储于3组硬盘阵列上但同时曝光的图像整合在一起，按照上、中、下排列格式组合成一帧图像进行显示或导出，方便了后续图像处理时对同时曝光的图像的确认和查找。

2.POS数据的实时采集

为了使采集的每一帧图像都有唯一的POS数据对应，采用如下的协同方式工作：

(1)用专用串口线连接POS计算机PCS3串口COM1和主控计算机2串口COM1。

(2)引出采集卡LVDS接口TTLOUT0脚与POS事件触发EVENT1接头连接。

在POS这一端，采集卡TTLOUT0脚引出的相机外同步信号电平下降沿触发与之连接的POS事件EVENT1，使其按照和相机外同步信号频率一样的频率开始计数。同时我们设置PCS主控计算机串口，使其更新频率与相机外同步信号一致，这是因为相机外同步信号频率就等于图像采集的速率，频率一致就严格保证了他们之间的同步。串口的事件数据流设置为波特率9600，非极性，每字节有8bit且仅跟1位停止位。POS主控计算机3串口发出的数据格式为：

$EVT1，------.------，G，++++++++*##

其中每个字符代表一个bit，$EVT1为事件标记头，------.------表示当前时刻距离周日凌晨开始所经历的秒数，G代表格林威治时间，++++++++代表事件号，*##部分为校验码。

由于POS系统在IMU初始化且GPS接收到足够多的卫星使其状态稳定之后开始正常工作，记录当前的GPS信息及姿态数据，存储于PCS内部硬盘和插入的PCMCIA存储卡中，而收到的事件信号驱使其向串口发送和存储于PCS内部一样的EVENT数据，且该事件数据和同步存储与PCS内部的经过处理的GPS信息和姿态信息唯一对应，即每一个事件数据都有唯一的GPS及姿态数据和其对应，所以，PCS串口发出的事件信息就和当前的POS各项数据严格保持同步。事后读取存储于硬盘阵列内和图像一一对应的事件数据来对应记录于PCS内部的GPS及姿态数据，从而确定每一帧图像的GPS数据和飞行姿态数据，从而做到图像的地理定位。

在主控计算机2这一端，同样设置和PCS一样的串口参数。由应用程序驱动统一的控制命令，采集一帧图像的同时访问串口获取当前的事件数据，并把获取的事件数据存储于内存中，在采集完成之后统一按照先后的顺序整合到SCSI硬盘阵列中去，且和每一帧图像一一对应。串口的访问仅延迟在几十毫秒，保证在下一帧图像到来之前完成通讯过程，对图像数据的匹配不造成任何影响，且能更好地和PCS发出的串口事件数据同步起来。

3.图像数据的定位

开启两个单独的线程，一个记录每一桢图像的编号及该帧图像对应的读取的串口POS事件数据；另一个线程则负责记录每一桢图像采集时刻的计算机时间，精确到毫秒。

具体工作流程如下：

(1)定义存储每一帧图像对应的附加信息的内存字节；

(2)记录每一帧图像的图像编号；

(3)记录PCS发送过来的串口事件数据；

(4)记录当前图像采集时刻，精确到毫秒；

(5)采集完毕，采集卡核心驱动自动将底层动态链接库记录的相关数据整合到SCSI硬盘阵列中去。且严格保持一一对应。导出相关数据到主系统硬盘中，便于图像数据和POS本身记录的数据的匹配；

(6)数据匹配定位的后处理。

Claims (8)

1、一种机载多角度多源数据的实时采集装置，其特征在于，主要由至少二台大面阵CCD相机、至少二块基于CameraLink标准的图像采集卡、主控制计算机系统，以及高精度姿态测量装置POS系统所组成；其中CCD相机通过电缆和图像采集卡MDR26接口一对一连接；主控计算机系统由ATX电源供电以提供采集卡工作必需的3.3V直流电压；多源数据存储介质为大容量SCSI硬盘阵列，直接通过专有68针的SCSI电缆和采集卡SCSI输出端口连接，且每块采集卡各自连接一组所述硬盘阵列，工作于Raid0模式下；姿态测量装置POS系统输出端RS232串口、输入端事件触发同轴电缆端口分别和主控制计算机串口和采集卡LVDS接口同步信号输出针脚引线相连。

2、根据权利要求1所述的机载多角度多源数据的实时采集装置，其特征在于，所述的采集卡固定于主控计算机底板PCI插槽内。

3、根据权利要求1所述的机载多角度多源数据的实时采集装置，其特征在于，所述的CCD相机通过专用的3M电缆和图像采集卡连接。

4、根据权利要求1所述的机载多角度多源数据的实时采集装置，其特征在于，所述的硬盘阵列安装于主控计算机内部。

5、一种按权利要求1所述装置进行机载多角度多源数据实时采集的方法，包括下列步骤：

①使CCD相机工作在外触发模式之下；

②任选一块图像采集卡作为主卡，其余作为副卡，由主卡采集卡集成的信号发生器作为CCD相机曝光、传输和姿态测量装置POS事件数据采集记录的唯一同步信号源，其由3M电缆包含的控制总线传递给CCD相机；

③对同步电缆通过特定的交叉方式分别连接采集卡的同步连接端口；

④把扁平SCSI电缆连接采集卡的包含外同步触发信号的LVDS接口，且引出触发脉冲线连接POS事件输入端口；

⑤把CCD相机采集的图像分别传输至所连接的采集卡板载缓存之中，由采集卡统一的底层驱动引擎整合、分流，分别通过PCI总线和采集卡板载Ultra160控制端口传送到显存和SCSI硬盘阵列进行实时显示和存储；

⑥将采集卡底层采集引擎通过单独的线程和姿态测量POS系统通讯，通过设定相同的串口参数来获取CCD相机曝光时刻的事件数据，并存储于主控制计算机系统内存中，当采集完毕后，自动整合到SCSI硬盘阵列中，且由采集引擎控制使其和相关的图像数据一一对应。

6、根据权利要求5所述的进行机载多角度多源数据的实时采集方法，其特征在于，所述步骤①同步脉冲下降沿触发相机的电子快门，电子快门的下降沿清空CCD感光区域的电荷而后开始曝光，曝光完成即传输图像，且置相机桢有效信号FVAL为高电平有效。

7、根据权利要求5或6所述的进行机载多角度多源数据的实时采集方法，其特征在于，所述步骤②采集卡探测到FVAL有效，开始接收相机输出图像，且以相机行有效信号LVAL为每一行图像传输的开始标志，其为高电平则开始一行数据的传输，低电平则结束一行数据的传输，周而复始的交替直到FVAL信号重新变成低电平为止。

8、根据权利要求5所述的进行机载多角度多源数据的实时采集方法，其特征在于，所述步骤②采集卡同时接收一桢图像后，统一的采集卡底层采集引擎将图像排列统一整合，经过图像抽样或不抽样的方式传输到主控制计算机系统显存进行显示，同时按原有图像格式各自存储于所连接的SCSI硬盘阵列中。

Images