CN110390627B - 一种高帧频图像采集与发送系统及方法 - Google Patents

Abstract

本发明公开了一种高帧频图像采集与发送系统及方法，该方法包括：图像采集时，两块CameraLink帧接收器组合成Dual CameraLink Full接口模式，采集不低于1000FPS帧率的图像数据；采集的图像数据通过PXIe总线传输至高速磁盘阵列，以TDMS文件格式实时存储；图像发送时，读取存储于磁盘阵列中的TDMS图像原始数据，传输至FPGA模块中的DMA FIFO；FPGA获取DMA FIFO中的数据后按照规定的时序通过FPGA模块的接口输出；定制的Dual CameraLink Full适配模块与FPGA模块输出接口相连，将数据转换后通过两个标准的CameraLink Full端口输出。本发明实现了1000FPS帧率图像的采集与存储，并通过FPAG模块开发和定制的Dual CameraLink Full适配卡实现千赫兹帧频的图像的发送，很好地满足了高帧频图像采集、存储及发送的需求。

Description

一种高帧频图像采集与发送系统及方法

技术领域

本发明涉及图像采集与发送技术领域，尤其涉及一种高帧频图像采集与发送系统及方法。

背景技术

在高机动目标跟踪和高速摄影领域，进行目标跟踪与识别/成像，长时间的高帧频的图像采集与发送是必要前提。而高速图像的采集、存储和发送，对于总线的传输速率要求很高，同时对于存储装置的存储速度以及图像的高速输出也提出了很大的挑战。

目前较少有集图像采集与发送于一体的系统，特别的是，市面现有的系统较少有实现1000FPS高帧频的图像发送。

发明内容

本发明要解决的技术问题在于针对现有技术中的缺陷，提供一种高帧频图像采集与发送系统及方法，实现高帧频的图像采集与发送，以解决高速图像目标跟踪识别和高速摄影的技术难题，并为高帧频图像跟踪器的注入式测试与开发提供验证模型。

本发明解决其技术问题所采用的技术方案是：

本发明提供一种高帧频图像采集与发送系统，该系统包括相互连接的以下模块：便携式PXIe机箱、高性能控制器、CameraLink帧接收器、磁盘阵列、FPGA模块、DualCameraLink Full图像发送适配模块以及配套线缆；其中：

所述便携式PXIe机箱，集成高清液晶显示器、鼠标及键盘，并为各个系统模块提供安装的结构和电气平台；

所述高性能控制器，作为系统处理器，提供数据处理能力，并提供外部设备接口，外部设备接口包括USB、DP接口；

所述CameraLink帧接收器，系统中设置有两块CameraLink帧接收器，组成DualCameraLink Full接口模式，用于实现4*SDR端口的Dual CameraLink Full模式的图像采集；

所述磁盘阵列，由多块独立的磁盘组成磁盘阵列，提供可扩展的存储空间以及连续的高速读写速率；将采集到的高帧频图像数据通过PXIe总线传输至磁盘阵列，以TDMS文件格式实现高帧频图像的实时存储；

所述FPGA模块，读取存储在磁盘阵列中的TDMS文件格式的原始高帧频图像，传输至FPGA模块中的DMA FIFO，FPGA模块获取DMA FIFO中的数据后按照规定的时序通过FPGA模块的接口输出；

所述Dual CameraLink Full图像发送适配模块，为FPGA模块图像输出提供4个标准SDR26接口，即两组CameraLink Full端口，从而实现Dual CameraLink Full图像发送；

所述配套线缆，用于实现系统与图像接收端之间的接口转换和数据传输。

进一步地，本发明的所述高性能控制器中设计有图像拉伸算法；通过图像拉伸算法，在不改变存储的图像原始数据的情况下使显示的图像更加清晰可辨；

图像拉伸时，通过以下公式进行像素数据拉伸：

x’＝255(x-x_min)/(x_max-x_min)

其中，x为原始像素点的值；x’为拉伸后像素点的值；x_max、x_min首次分别使用8位图像的最大值255和最小值0，其后由上一帧图像的直方图统计得出。

进一步地，本发明的所述FPGA模块中：

通过LabVIEW FPGA程序开发，将提取的存于TDMS文件中的图像原始数据写入FPGA的两个DMA FIFO中，然后根据CameraLink协议按照一定的时序将数据处输出至对应的引脚。

进一步地，本发明的所述Dual CameraLink Full图像发送适配模块中：

Dual CameraLink Full图像发送适配模块将FPGA模块的输出接口转换为4个标准的SDR接口，即2组CameraLink Full端口，实现定制的Dual CameraLink Full图像发送。

本发明提供一种高帧频图像采集与发送方法，该方法包括以下步骤：

S1、通过两块CameraLink帧接收器组成Dual CameraLink Full接口模式，实时采集高帧频的图像数据，其帧率不低于1000FPS；

S2、将采集到的高帧频图像数据通过PXIe总线传输至高速磁盘阵列，以TDMS文件格式实现高帧频图像的实时存储；

S3、读取存储在磁盘阵列中的TDMS文件格式的高帧频图像原始数据，传输至FPGA模块中的两个DMA FIFO；

S4、FPGA模块获取DMA FIFO中的高帧频图像数据后，按照规定的时序通过FPGA模块的相应接口进行输出；

S5、通过定制的Dual CameraLink Full图像发送适配模块与FPGA模块输出接口相连，将高帧频图像数据转换后通过2个标准的CameraLink Full端口进行输出。

进一步地，本发明的所述步骤S1中：

CameraLink帧接收器包含2个SDR接口，实现CameraLink Full模式的图像采集；本方法中，使用两块CameraLink帧接收器组合成4*SDR端口实现Dual CameraLink Full模式的图像采集；两块CameraLink帧接收器同时采集同一帧图像，大大提升了图像采集速率，图像显示时再通过纵向交叉拼接的方式组合成完整的一帧图像。

进一步地，本发明的所述步骤S2中：

通过两块CameraLink帧接收器分别采集的同一帧图像的两半图像数据，通过PXIe总线将两半图像数据传输至高速磁盘阵列后，将采集到的原始图像数据以TDMS文件格式依次顺序存储。

进一步地，本发明的伸缩步骤S3中：

实时读取TDMS文件时，与TDMS文件实时存储时一致，依次顺序读取两块CameraLink帧接收器采集的同一帧图像的两半图像数据，分别写入FPGA中配置的两个主机至终端的DMA FIFO中。

进一步地，本发明的所述步骤S4中：

分别读取FPGA模块中的两个DMA FIFO中的U64无符号整型数据，并将U64无符号整型数拆分为8个U8无符号整型数，然后将每个U8无符号整型数转换为定点数，最后分别输出至与Dual CameraLink Full图像发送适配模块两组A-H端口相对应的引脚。

进一步地，本发明的所述步骤S5中：

Dual CameraLink Full图像发送适配模块与FPGA模块仅物理连接，将FPGA接口输出信号对应转换为2个标准的CameraLink Full端口，从而实现图像Dual CameraLink Full模式输出。

本发明产生的有益效果是：本发明的高帧频图像采集与发送系统及方法，实现了Dual CameraLink Full模式图像的采集、存储、发送等功能，开发了图像拉伸算法，在不改变存储的图像原始数据的情况下使显示的图像更加清晰可辨，特别的是实现了高达1000FPS的图像的采集与发送，解决了高速图像目标跟踪识别和高速摄影的难题，并为高帧频图像跟踪器的注入式测试与开发提供了验证模型。

附图说明

下面将结合附图及实施例对本发明作进一步说明，附图中：

图1是本发明实施例的高帧频图像采集与发送系统组成结构图；

图2是本发明实施例的高帧频图像采集与发送系统实现方法流程图；

图3是本发明实施例的TDMS文件存储模型。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

如图1所示，本发明实施例的高帧频图像采集与发送系统，其中，包括：

便携式PXIe机箱：集成高清液晶显示器及鼠键，并为控制器、采集卡、FPGA模块等提供安装的结构和电气平台；

高性能控制器：作为系统处理器，提供强大数据处理能力，并提供USB、DP等外部设备接口；

CameraLink帧接收器：共两张，用于实现4*SDR端口的Dual CameraLink Full模式的图像采集；

磁盘阵列：有效存储容量为2.9TB，在整个容量内的连续读写速率为2GB/s，用于实现高帧频图像的存储；

FPGA模块：2GB板载DDR3 DRAM，以3.2GB/s的高速率从主机传输数据至终端，用于实现高帧频图像的发送；

Dual CameraLink Full图像发送适配模块：为FPGA模块图像输出提供4个标准SDR26接口，从而实现Dual CameraLink Full图像发送；

配套线缆(未包含在结构图中)：由于本系统帧接收器和Dual CameraLink Full图像发送适配模块均为SDR26接口，而相机端或图像接收端一般都是MDR接口，故需配置8根CameraLink SDR to MDR电缆。

高帧频图像采集与发送系统的高性能控制器中；

设计了图像拉伸算法，在不改变存储的图像原始数据的情况下使显示的图像更加清晰可辨。图像拉伸时，按照公式x’＝255(x-x_min)/(x_max-x_min)拉伸每个像素点数据，其中x为原始像素点的值；x’为拉伸后像素点的值；x_max、x_min，首次分别使用最大值255和最小值0，其后由上一帧图像的直方图统计得出。

高帧频图像采集与发送系统的帧接收器中；

图像采集时，相机通过4根CameraLink SDR to MDR线缆分别与第一帧接收器和第二帧接收器的Base及Medium/Full端口同时连接，组合成Dual CameraLink Full模式。两块帧接收器同时采集同一帧图像的两半数据，采集后可通过纵向交叉的方式拼接成一帧完整的图像。

高帧频图像采集与发送系统的FPGA模块中；

通过LabVIEW FPGA程序开发，将提取的存于TDMS文件中的两块帧接收器采集的同一帧图像的两半图像数据并转换为U64型一维数组，分别写入FPGA中配置的两个主机至终端的DMA FIFO，然后根据CameraLink协议按照一定的时序将数据输出至对应的引脚。

高帧频图像采集与发送系统的Dual CameraLink Full图像发送适配模块中；

图像发送时，通过定制的Dual CameraLink Full适配卡引出的4个标准的SDR26端口，连接4根CameraLink SDR to MDR线缆至高帧频图像跟踪器。将FPGA模块的输出接口转换为4个标准的SDR接口，即2组CameraLink Full端口，实现定制的Dual CameraLink Full图像发送。

如图2所示，本发明实施例的高帧频图像采集与发送方法，该方法包括以下步骤：

S1、通过两块CameraLink帧接收器组成Dual CameraLink Full接口模式，实时采集高帧频的图像数据，高帧频图像数据的帧率不低于1000FPS；

S2、将采集到的高帧频图像数据通过PXIe总线传输至高速磁盘阵列，以TDMS文件格式实现高帧频图像的实时存储；

S3、读取存储在磁盘阵列中的TDMS文件格式的高帧频图像原始数据，传输至FPGA模块中的两个DMA FIFO；

S4、FPGA模块获取DMA FIFO中的高帧频图像数据后，按照规定的时序通过FPGA模块的相应接口进行输出；

S5、通过定制的Dual CameraLink Full图像发送适配模块与FPGA模块输出接口相连，将高帧频图像数据转换后通过2个标准的CameraLink Full端口进行输出。

高帧频图像采集与发送的实现方法的步骤S1中：

标准的CameraLink帧接收器PXIe-1435包含2个SDR接口，可实现CameraLink Full模式的图像采集。本方法中，使用两块CameraLink帧接收器组合成4*SDR端口实现DualCameraLink Full模式的图像采集。两块CameraLink帧接收器同时采集图像，大大提升了图像采集速率，图像显示时再通过纵向交叉拼接的方式组合成完整的一帧图像。图像显示时，可选择图像拉伸，在不改变图像原始数据的情况下，增加图像显示对比效果。

高帧频图像采集与发送的实现方法的步骤S2中：

两块CameraLink帧接收器采集的同一帧图像的两半图像数据通过PXIe总线传输至高速磁盘阵列后，原始图像数据以TDMS文件格式依次顺序存储。图3是TDMS文件的存储模型，以分辨率为1280×864的图像为例，按图像宽度分为两半，两块CameraLink Full模式的帧接收器，各采集640×864分辨率的图像，分别实时写入顺序TDMS文件。

高帧频图像采集与发送的实现方法的步骤S3中：

与写入TDMS文件时一致，依次顺序读取两块CameraLink帧接收器采集的同一帧图像的两半图像数据；然后查询FPGA中配置的两个主机至终端的DMA FIFO的空余空间是否均支持写入本次图像数据；若是，则转换为U64型一维数组分别写入两个DMA FIFO中。

高帧频图像采集与发送的实现方法的步骤S4中：

分别依次读取两个FIFO中的U64无符号整型数据，并拆分为8个U8无符号整型数，然后将每个U8无符号整型数转换为定点数，最后分别输出至与图像发送Dual CameraLinkFull适配模块A～H端口相对应的引脚。

高帧频图像采集与发送的实现方法的步骤S5中：

定制的Dual CameraLink Full图像发送适配模块与FPGA模块输出接口相连接，目的是将FPGA接口输出信号对应转换为4个标准的CameraLink SDR端口，即两组CameraLinkFul端口，从而实现图像Dual CameraLink Full模式输出。

本发明实施例的高帧频图像采集与发送系统及方法，在使用过程中，首先利用两块CameraLink帧接收器组合成Dual CameraLink Full接口模式，采集不低于1000FPS帧率的图像数据；采集的图像数据通过PXIe总线传输至高速磁盘阵列，以TDMS文件格式实时存储；然后读取存储于磁盘阵列中的TDMS图像原始数据，传输至FPGA模块中的DMA FIFO；最后FPGA获取DMA FIFO中的数据后按照规定的时序通过FPGA模块的接口输出；定制的DualCameraLink Full图像发送适配模块与FPGA模块输出接口相连，将数据转换后通过2个标准的CameraLink Full端口输出。

应当理解的是，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (10)

1.一种高帧频图像采集与发送系统，其特征在于，该系统包括相互连接的以下模块：便携式PXIe机箱、高性能控制器、CameraLink帧接收器、磁盘阵列、FPGA模块、DualCameraLink Full图像发送适配模块以及配套线缆；其中：

所述便携式PXIe机箱，集成高清液晶显示器、鼠标及键盘，并为各个系统模块提供安装的结构和电气平台；

所述高性能控制器，作为系统处理器，提供数据处理能力，并提供外部设备接口，外部设备接口包括USB、DP接口；

所述CameraLink帧接收器，系统中设置有两块CameraLink帧接收器，组成DualCameraLink Full接口模式，用于实现4*SDR端口的Dual CameraLink Full模式的图像采集；

所述磁盘阵列，由多块独立的磁盘组成磁盘阵列，提供可扩展的存储空间以及连续的高速读写速率；将采集到的高帧频图像数据通过PXIe总线传输至磁盘阵列，以TDMS文件格式实现高帧频图像的实时存储；

所述FPGA模块，读取存储在磁盘阵列中的TDMS文件格式的原始高帧频图像，传输至FPGA模块中的DMA FIFO，FPGA模块获取DMA FIFO中的数据后按照规定的时序通过FPGA模块的接口输出；

所述Dual CameraLink Full图像发送适配模块，为FPGA模块图像输出提供4个标准SDR26接口，即两组CameraLink Full端口，从而实现Dual CameraLink Full图像发送；

所述配套线缆，用于实现系统与图像接收端之间的接口转换和数据传输。

2.根据权利要求1所述的高帧频图像采集与发送系统，其特征在于，所述高性能控制器中设计有图像拉伸算法；通过图像拉伸算法，在不改变存储的图像原始数据的情况下使显示的图像更加清晰可辨；

图像拉伸时，通过以下公式进行像素数据拉伸：

x’＝255(x-x_min)/(x_max-x_min)

其中，x为原始像素点的值；x’为拉伸后像素点的值；x_max、x_min首次分别使用8位图像的最大值255和最小值0，其后由上一帧图像的直方图统计得出。

3.根据权利要求1所述的高帧频图像采集与发送系统，其特征在于，所述FPGA模块中：

通过LabVIEW FPGA程序开发，将提取的存于TDMS文件中的图像原始数据写入FPGA的两个DMA FIFO中，然后根据CameraLink协议按照一定的时序将数据输出至对应的引脚。

4.根据权利要求1所述的高帧频图像采集与发送系统，其特征在于，所述DualCameraLink Full图像发送适配模块中：

Dual CameraLink Full图像发送适配模块将FPGA模块的输出接口转换为4个标准的SDR接口，即2组CameraLink Full端口，实现定制的Dual CameraLink Full图像发送。

5.一种高帧频图像采集与发送方法，采用权利要求1所述的高帧频图像采集与发送系统，其特征在于，该方法包括以下步骤：

S1、通过两块CameraLink帧接收器组成Dual CameraLink Full接口模式，实时采集高帧频的图像数据，其帧率不低于1000FPS；

S2、将采集到的高帧频图像数据通过PXIe总线传输至高速磁盘阵列，以TDMS文件格式实现高帧频图像的实时存储；

S3、读取存储在磁盘阵列中的TDMS文件格式的高帧频图像原始数据，传输至FPGA模块中的两个DMA FIFO；

S4、FPGA模块获取DMA FIFO中的高帧频图像数据后，按照规定的时序通过FPGA模块的相应接口进行输出；

S5、通过定制的Dual CameraLink Full图像发送适配模块与FPGA模块输出接口相连，将高帧频图像数据转换后通过2个标准的CameraLink Full端口进行输出。

6.根据权利要求5所述的高帧频图像采集与发送方法，其特征在于，所述步骤S1中：

CameraLink帧接收器包含2个SDR接口，实现CameraLink Full模式的图像采集；本方法中，使用两块CameraLink帧接收器组合成4*SDR端口实现Dual CameraLink Full模式的图像采集；两块CameraLink帧接收器同时采集同一帧图像，大大提升了图像采集速率，图像显示时再通过纵向交叉拼接的方式组合成完整的一帧图像。

7.根据权利要求5所述的高帧频图像采集与发送方法，其特征在于，所述步骤S2中：

通过两块CameraLink帧接收器分别采集的同一帧图像的两半图像数据，通过PXIe总线将两半图像数据传输至高速磁盘阵列后，将采集到的原始图像数据以TDMS文件格式依次顺序存储。

8.根据权利要求7所述的高帧频图像采集与发送方法，其特征在于，所述步骤S3中：

实时读取TDMS文件时，与TDMS文件实时存储时一致，依次顺序读取两块CameraLink帧接收器采集的同一帧图像的两半图像数据，分别写入FPGA中配置的两个主机至终端的DMAFIFO中。

9.根据权利要求5所述的高帧频图像采集与发送方法，其特征在于，所述步骤S4中：

分别读取FPGA模块中的两个DMA FIFO中的U64无符号整型数据，并将U64无符号整型数拆分为8个U8无符号整型数，然后将每个U8无符号整型数转换为定点数，最后分别输出至与Dual CameraLink Full图像发送适配模块两组A-H端口相对应的引脚。

10.根据权利要求5所述的高帧频图像采集与发送方法，其特征在于，所述步骤S5中：

Dual CameraLink Full图像发送适配模块与FPGA模块仅物理连接，将FPGA接口输出信号对应转换为2个标准的CameraLink Full端口，从而实现图像Dual CameraLink Full模式输出。

Images