CN105338326B - 一种嵌入式高空间高光谱分辨率视频采集系统 - Google Patents

Abstract

本发明公开了一种嵌入式高空间高光谱分辨率的视频采集系统。该系统的视频采集卡将采集的RGB和灰度两路视频送至存储器，处理器对两路视频解码分离出RGB图像信号、灰度图像信号并进行同步对齐校正；通过主成分分析方法降低像素点的光谱信息维度简化计算量；然后在处理器上多线程并行化执行双边滤波的光谱传播算法，得到视频帧所有像素点的光谱信息；再通过主成分分析方法恢复高分辨率的光谱信息；将数据存储到存储器中，通过显示设备显示采集处理分析过程；最后将存储器中的光谱数据通过网络传输到远程主机。本发明的系统将视频的采集、处理、分析和显示等多过程一体化实现，具有小型化和一体化的特点，便于携带使用。

Description

一种嵌入式高空间高光谱分辨率视频采集系统

技术领域

本发明涉及视频图像处理领域，特别涉及一种在嵌入式平台下并行化实现双边滤波算法，得到高空间分辨率和高光谱分辨率的视频采集系统。

背景技术

传统光谱仪的光谱采集技术主要利用光线的散射，衍射与滤光片的光谱域带通特性将单束光线在空间中变为单光谱光线进行采集，当光线在光谱维度上分开后，使用光传感器就能够对不同谱段的光线光强进行独立的测量，进而能够采集得到光线的光谱信息。但是光谱仪光学结构复杂，实现困难，价格昂贵，体积庞大，不便移动，应用受限。

普通RGB相机是基于红绿蓝三色波段对场景采集，能够获取高空间分辨率的视频流受传感器灵敏度、成像原理、曝光时间、有限感光波段等因素的限制，彩色相机得到的图像和视频帧丢失了绝大部分的光谱信息，得到的图像或是视频帧细节不能很好呈现。利用类似光谱仪原理的高灵敏度灰度相机得到的灰度图像能具有很宽光波段的光谱信息，但是其空间分辨率有限。如果把同一场景下高空间分辨率的RGB图像和高光谱分辨率的灰度图像通过算法融合，得到的图像具有高空间分辨率的像素值和高光谱分辨率的光谱响应值。目前采用的算法多为双边滤波算法，其实现过程也多为x86计算机的CPU或是可并行计算的GPU完成。但由于使用x86计算机作为处理核心，不方便移动，功耗也大，使其应用受限。

发明内容

本发明的目的是针对上述系统对计算机的依赖和实时性要求，提供了一种可移动的嵌入式平台下实现的高空间高光谱分辨率的视频采集系统。本系统能完成高空间高光谱分辨率视频采集、处理、分析、显示的全过程，不依赖于外部计算机，能做到设备的小型化和一体化，便于携带使用。

本发明采用的技术方案为：

一种嵌入式高空间高光谱分辨率的视频采集系统,包括分别与视频采集卡连接的RGB和灰度两路相机、嵌入式多核处理器、存储器、电源模块、显示设备和远程主机，其中，视频采集卡、嵌入式多核处理器、存储器和电源模块集成在一块电路板上，所述视频采集卡将采集的两路视频送至存储器，处理器对视频解码分离出RGB图像信号和灰度图像信号并进行同步对齐校正；对校正后具有高光谱分辨率的稀疏像素点，先通过主成分分析方法降低像素点的光谱信息维度简化计算量；然后在处理器上多线程并行化执行双边滤波的光谱传播算法，得到视频帧所有像素点的光谱信息；再通过主成分分析方法反变换恢复高分辨率的光谱信息；将数据存储到存储器中，通过显示设备显示采集处理分析过程；最后将存储器中的光谱数据通过网络传输到远程主机。

进一步地，在RGB和灰度两路相机的前端设有分光装置，分光装置将场景光线分为相同的两束:一束通过稀疏掩膜板采样再经过棱镜色散使光波展开，由灰度相机采集，得到光谱分辨率较高的灰度视频，另一束通过RGB相机直接采集得到空间分辨率较高的RGB视频。

所述双边滤波的光谱传播算法计算得到所有像素点在波长为400-1000nm间的高分辨率光谱信息。

优选地，所述嵌入式多核处理器采用的是NVDIA公司的tegraK1处理器，该处理器芯片内置ARMv7架构的32位4核心CORTEX-A15CPU和Kepler结构的192个CUDA核心GPU，处理器CPU作为控制核心，负责外围设备控制及与GPU的通信，处理器GPU上的CUDA核心负责双边滤波的光谱传播算法的并行化实现。

优选地，所述存储器包括内存、闪存和数据存储器，其中，闪存采用16GByteFlash，数据存储器采用64GByte的SD卡，同时闪存和数据存储器通过100/1000M的高速以太网网卡将数据传送至远程主机。

进一步地，所述电路板上还集成有音频输入/输出接口、USB接口、HDMI接口、miniPCIE接口、硬盘接口或者以上接口的组合。

本发明以嵌入式ARM处理器为核心，控制前端的RGB与灰度的两路视频采集装置，利用多核心处理器能多线程并行化实现双边滤波的光谱传播算法，将得到的高空间高光谱分辨率的视频帧数据保存至存储器并将分析结果展现在显示设备上。具有以下优点：

(1)本发明采用RGB与灰度两路相机的混合式视频采集系统，可以看作是x86计算机上类似系统的全功能移植，可以在x86计算机上开发测试和功能实现后，再整体移植到嵌入式平台下，明显减少开发周期和成本。

(2)本发明基于双边滤波的光谱传播算法来实现视频帧中所有像素点的光谱响应值，所选嵌入式处理器具有多核心特点，能多线程并行化现实双边滤波的光谱传播算法，加速算法执行速度，在保证光谱数据准确性的同时又提高系统的实时处理能力，满足实时性需要。

(3)本发明的系统集成在一块电路板上，将视频的采集，处理，分析和显示等多过程一体化实现，不需要依赖于外部计算机，能做到设备的小型化和一体化，降低功耗，便于携带，增强实用性，利于推广使用。

附图说明

图1为嵌入式高空间高光谱分辨率视频系统结构示意图；

图2为获取高空间高光谱分辨率视频系统处理流程图。

具体实施方式

本发明的核心思想是：将前端RGB和灰度两路相机采集的视频帧送至处理器，经过同步对齐校正后得到的RGB视频帧，其上面的一些均匀间隔的稀疏像素点既具有RGB像素值又具有多通道光谱响应值，设计一种基于双边滤波的融合算法，将RGB视频帧中稀疏像素点的光谱信息，通过双边滤波的处理将光谱信息传递至所有像素点。

如图1所示的嵌入式高空间高光谱分辨率的视频系统,以多核处理器为核心，与处理器芯片电连的有FLASH芯片、RAM芯片、音频输入/输出接口、RS232UART接口、nimiPCIe接口、SATA硬盘接口、HDMI接口和SD卡接口，一路USB3.0和3路USB2.0。

上述FLASH芯片为单芯片，采用eMMC 4.51协议，具体选用的是SanDisk公司SDIN8DE4-16G-Q，容量为16GByte；

上述RAM芯片由Hynix公司的H5TC4G63AFR-RDA的4颗芯片构成，总容量为2GByte,主频可达933MHz。

本系统中的数据存储介质除了上述的16GByte FLASH外，还需要通过SDMMC接口外接SD卡来动态扩展存储容量，本系统实际选用的是带宽达48Mb/s容量为64GByte的SanDisk公司的SD卡。同时，本系统也支持2.5吋或3.5吋的SATA格式硬盘，能扩展更大的存储容量，但是需要注意的是，该系统不支持SATA硬盘的热插拔，需要系统断电，连接，重启，才能正常使用。

本系统中的网络接口有多种可选，一路RTL8111GS Realtek的100/1000Base-T自适应有线Ethernet网卡和一路usb2.0的无线网卡模块，均能作为网络传输接口中将本视频系统中原始视频数据和经处理得到的光谱信息数据高速传输到远端主机，以备后期建立光谱数据库。

本系统中的一路具备OTG功能的microUSB通过microUSB to host的HUB集线器扩展为多路USB2.0host接口，以方便连接usb slave设备如键盘，鼠标，无线网络模块等。

本系统下的两路相机为PointGrey公司Grasshopper3系列工业相机，彩色相机为GS3-U3-41S4C-C，灰度相机为GS3-U3-41S4M-C其性能参数为采用sony的icx808 CCD传感器，最大分辨率为2016*2016，4.1MP，帧率可达18fps等，两个相机用视频采集卡与处理器通过miniPCIe接口相连。

本系统中的RS232UART接口可用于与Linux主机相连接，用作系统启动时的信息输出接口，用于调试。在重新烧写bootloader,kernel,根文件系统时可将系统标准输出和标准错误输出重定向至UART接口，便于调试和观察，是系统开发阶段必不可少的接口。其常见参数设置为：115200波特率，8bit数据位,无奇偶检验，1bit停止位，无流控。Linux主机和本系统中都需设置，且参数设置保持一致。

本系统通过HDMI 1.4协议与支持HDMI 1.4的显示设备直接相连，用作系统的标准输出接口。

本系统选用选用的嵌入式处理器为TegraK1，其在嵌入式处理器中性能出众，特别是GPU性能特别出众，同时也与NVDIA GPU共享CUDA架构，利于CUDA下双边滤波光谱传播算法的跨平台移植。

TegraK1的特性简单介绍如下：

32位对称4核心的ARMv7架构CORTEX-A15，主频可达2.3GHz,同时也有64位ARMv8架构的双核丹佛(Denver)CPU核心，最高主频可达2.5GHz的版本可供选择，本系统中选用32位4核心版本。

GPU采用NVIDIA Kepler高性能计算架构，共有192个CUDA核心，处理性能到达326GFLOP。

支持CUDA6.0，与NVDIA显卡共享相同的CUDA(Compute Unified DeviceArchitecture)架构,易于GPU并行计算的跨平台移植。

支持整/浮点数运算。

支持OpenGL4.4和OpenGL ES3.1。

支持针对Tegra的多核CPU/GPU优化过的OpenCV库TegraOpenCV。

本系统的4核心的Cortex-A15CPU作为设备的控制核心，控制RGB和灰度两路相机对视频的采集和传输，负责CPU内存与GPU内存间数据的搬移，处理后可通过HDMI输出，同时送至flash或SD卡中存储，最后还需要通过网络将数据传送到远端主机以建立光谱数据库。

GPU部分实现显示，更为主要的是，将CPU送来的两路视频帧数据在CUDA架构下多核心并行化实现双边滤波的光谱传播算法，加速系统的数据处理，这是本系统的核心特色。

本系统的主要工作流程可以描述为：

在两路相机前端采集利用分光镜等光学材料将场景光线分为相同的两束:一束通过稀疏掩膜板采样并经过棱镜色散使光波展开，再通过灰度相机采集，得到到高光谱分辨率的灰度视频，另一束通过RGB相机直接采集得到高空间分辨率的RGB视频。

两路视频解码分离出视频帧——高空间低光谱的RGB视频帧和同场景下低空间高光谱灰度视频帧，经过同步对齐校正形成的RGB视频帧，存在一些均匀间隔的稀疏像素点既具有RGB像素值又具有集中于400nm到1000nm波段的多通道光谱响应值。其中对齐校正的步骤可以参考文献：Cao X,Du H,Tong X,et al.A Prism-Mask System for MultispectralVideo Acquisition.IEEE Transactions on Pattern Analysis and MachineIntelligence(PAMI),Vol.33,No.12,pp.2423-2435,2011。

任一像素点的多通道光谱响应值构成的向量维度大，算法计算量大，所以本系统采用TegraOpenCV中的PCA函数在保障光谱主体信息不丢失的情况下降低光谱分辨率维度，简化算法的计算量。

通过双边滤波的光谱传播算法将这些既有光谱信息，又有RGB像素值的像素点传播到所有像素点。双边滤波的光谱传播算法公式如下：

式中S_λ(x,y)表示像素点(x,y)在波长λ处的光谱信息，(i,j)∈R表示两路视频帧经过配准后，在像素点(x,y)附近，既有光谱信息又有像素值的像素点邻域，c∈(R,G,B)表示c为RGB三颜色通道之一。

权值系数w(i,j,x,y)为定义域核d(i,j,x,y)与值域核r(i,j,x,y)的乘积。

定义域核

值核域

f(i,j)为在点(i,j)处像素值，故权值系数

ρ_ij表示RGB颜色通道中像素点(x,y)和(i,j)的亮度比值关系(比如红色通道ρ_ij＝R_xy/R_ij，R_xy为像素点(x,y)处红色通道像素值)，这个尺度因子反映了各个像素间的亮度差异。

基于颜色相似性的光谱传播是通过RGB每个通道独立完成的,需要将(i,j)点处的光谱信息独立分配到RGB的三个通道的，分配通过卷积相机传感器的RGB三个通道的感应曲线来完成。在波长λ处RGB的三个通道独立的光谱响应值其公式为

表示通道c在波长λ处的响应。

双边滤波算法不仅考虑了像素在空间距离上的关系，同时考虑了像素间的相似度，保持光谱数据的准确性。

本系统中利用处理器的GPU把上述算法在CUDA核心的多线程执行，每线程完成一个像素点的多维度光谱数据的计算。

本系统利用CUDA函数来分配Thread数和Block数；利用CUDA提供的接口函数将RGB视频帧数据，灰度视频帧数据，定义域核模板，值域核模板复制到GPU内存中；利用kernel核函数实现上述算法；利用CUDA提供的接口函数将数据复制到CPU内存。

本系统利用用CUDA事件流处理机制，在视频帧数据进行复制时，可同时进行计算，加快算法实现速度。

利用TegraOpenCV中的PCA反变换函数将得到的光谱数据作维度恢复，生成高光谱分辨率的数据。

将数据存储至SD卡或flash中，通过网络传输至远端主机，并分析数据，送至HDMI设备显示。

本系统的软件部分基于tegra Linux BSP包开发，采用嵌入式Linux操作系统，内核版本为V3.10.8。本系统采用的引导程序bootloader为嵌入式平台常用的U-Boot，可引导flash,SD卡，网络等多种方式启动的kernel内核和根文件系统。

本系统的kernel内核根据实际需求裁剪，将nandflash,sd卡,usb接口,以太网卡，hdmi等设备驱动直接编译进内核，ext3,ext4,vfat,nfs等文件系统也可以直接编译进内核。其它驱动则可以编译成模块，在系统启动后加载。

本系统的应用层程序以Qt5.3.2的库为基础制作出UI界面，屏蔽各阶段代码的具体实现细节。通过界面操作能实现拍摄，处理，显示，分析，曲线绘制等等功能，利于实际操作使用。

上面结合附图对本发明的具体实施方式作了详细说明，但是本发明不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在本发明的前提下做出各种变化。

Claims (5)

1.一种嵌入式高空间高光谱分辨率的视频采集系统,其特征在于：该系统包括分别与视频采集卡连接的RGB和灰度两路相机、嵌入式多核处理器、存储器、电源模块、显示设备和远程主机，其中，视频采集卡、嵌入式多核处理器、存储器和电源模块集成在一块电路板上，所述视频采集卡将采集的两路视频送至存储器，处理器对两路视频解码分离出RGB图像信号和灰度图像信号并进行同步对齐校正；对校正后具有高光谱分辨率的稀疏像素点，先通过主成分分析方法降低像素点的光谱信息维度简化计算量；然后在处理器上多线程并行化执行双边滤波的光谱传播算法，得到视频帧所有像素点的光谱信息；再通过主成分分析方法反变换恢复高分辨率的光谱信息；将数据存储到存储器中，通过显示设备显示采集处理分析过程；最后将存储器中的光谱数据通过网络传输到远程主机；所述嵌入式多核处理器采用的是NVDIA公司的tegraK1处理器，该处理器芯片内置ARMv7架构的32位4核心CORTEX-A15CPU和Kepler结构的192个CUDA核心GPU，处理器CPU作为控制核心，负责外围设备控制及与GPU的通信，处理器GPU上的CUDA核心负责双边滤波的光谱传播算法的并行化实现。

2.根据权利要求1所述的一种嵌入式高空间高光谱分辨率的视频采集系统,其特征在于，在RGB和灰度两路相机的前端设有分光装置，分光装置将场景光线分为相同的两束:一束通过稀疏掩膜板采样再经过棱镜色散使光波展开，由灰度相机采集，得到光谱分辨率较高的灰度视频，另一束通过RGB相机直接采集得到空间分辨率较高的RGB视频。

3.根据权利要求1所述的一种嵌入式高空间高光谱分辨率的视频采集系统,其特征在于，所述双边滤波的光谱传播算法计算得到所有像素点在波长为400-1000nm间的高分辨率光谱信息。

4.根据权利要求1至3之一所述的一种嵌入式高空间高光谱分辨率的视频采集系统,其特征在于，所述存储器包括内存、闪存和数据存储器，其中，闪存采用16GByte Flash，数据存储器采用64GByte的SD卡，同时闪存和数据存储器通过100/1000M的高速以太网网卡将数据传送至远程主机。

5.根据权利要求1至3之一所述的一种嵌入式高空间高光谱分辨率的视频采集系统,其特征在于，所述电路板上还集成有音频输入/输出接口、USB接口、HDMI接口、miniPCIE接口、硬盘接口或者以上接口的组合。