CN102314693A

CN102314693A - 双模视频目标识别跟踪系统

Info

Publication number: CN102314693A
Application number: CN201110212324A
Authority: CN
Inventors: 赵建; 孙海江; 张艳超
Original assignee: Changchun Institute of Optics Fine Mechanics and Physics of CAS
Current assignee: Changchun Institute of Optics Fine Mechanics and Physics of CAS
Priority date: 2011-07-27
Filing date: 2011-07-27
Publication date: 2012-01-11

Abstract

双模视频目标识别跟踪系统属于电子学领域中的视频图像处理技术，该系统包括第一接口转换模块、第一FPGA、第一数据存储器、第一DSP、第一程序存储器、第二接口转换模块、第二FPGA、第二数据存储器、第二DSP、第二程序存储器、串口模块和信号转换模块；该系统可以同时采集红外相机和可见相机的视频信号，并集成了两片DSP，第一DSP负责处理可见相机的图像数据，第二DSP负责处理红外相机的图像数据，并从第一DSP获得可见相机的处理结果，最优化判断最终的目标脱靶量，通过串口输出跟踪结果。本发明可以同时处理两个波段相机的视频信号，并且两个DSP可以相互通讯并对两个结果进行最优化判断，获得更为稳定的计算结果。

Description

双模视频目标识别跟踪系统

技术领域

本发明属于电子学领域中的视频图像处理技术，涉及一种双模视频目标识别跟踪系统。

背景技术

视频跟踪系统是一种实时图像处理系统，具有对视频图像中的目标进行识别跟踪的能力，被广泛应用于军事和民用领域，尤其是军事上，如光学自动跟踪系统，导弹自动跟踪系统，一般都是与伺服控制系统配合使用，通过计算获得目标位置(即脱靶量)，输出送给伺服控制系统，进行目标的自动跟踪。目标识别跟踪的好坏与相机采集目标信号的波段宽度有很大关系，现有的视频跟踪系统一般只具备一台相机的视频处理能力，要么可见光，要么红外，并且，目标识别能力差，跟踪稳定性低。

发明内容

本发明的目的是提供一种双模视频目标识别跟踪系统，其可以同时采集处理红外和可见光两台相机的视频信号，融合两台相机的处理结果，使目标的识别能力更强，跟踪稳定性更高，跟踪的鲁棒性提高。

为了实现上述目的，本发明的技术方案如下：

双模视频目标识别跟踪系统，包括第一接口转换模块、第一FPGA(FieldProgrammable Gate Array，现场可编程门阵列)、第一数据存储器、第一DSP(Digital Signal Processing，数字信号处理器)、第一程序存储器、第二接口转换模块、第二FPGA、第二数据存储器、第二DSP、第二程序存储器、串口模块和信号转换模块；所述第一接口转换模块与可见相机连接，所述第一FPGA分别与第一接口转换模块、第一数据存储器、第一DSP连接，第一FPGA通过第一接口转换模块对可见相机的图像数据进行实时采集，并通过第一数据存储器对采集的可见相机的图像数据进行实时存储，同时将采集的可见相机的图像数据传送给第一DSP；所述第一程序存储器与第一DSP连接，其用于存储第一DSP的程序代码；所述第一DSP用于可见相机的图像处理、提取目标和计算目标位置，并将计算结果通过多通道缓冲串口传送给第二DSP；所述第二接口转换模块与红外相机连接，所述第二FPGA分别与第二接口转换模块、第二数据存储器、第二DSP连接，第二FPGA通过第二接口转换模块对红外相机的图像数据进行实时采集，并通过第二数据存储器对采集的红外相机的图像数据进行实时存储，同时将采集的红外相机的图像数据传送给第二DSP；所述第二程序存储器与第二DSP连接，其用于存储第二DSP的程序代码；所述第二DSP与串口模块连接，其用于红外相机的图像处理，计算红外图像中的目标位置，并通过多通道缓冲串口接收第一DSP传来的可见图像中的目标计算结果，进入计算结果的加权融合，并将加权融合后的数据传送给串口模块；所述串口模块与信号转换模块连接，其用于接收第二DSP传来的数据，并通过信号转换模块转换为差分信号后输出给外系统。

本发明是一种可以同时采集两台不同波段相机即红外相机和可见光相机输出的两路CameraLink格式视频图像的视频跟踪系统，并具有对采集的视频图像进行处理，识别目标(如飞机、导弹等)，实时跟踪目标，通过串口向外系统提供脱靶量(即目标在图像中的坐标位置)的功能。本发明通过两片FPGA管理接口转换模块和数据存储器实现了图像数据的实时采集和存储，其中第一FPGA负责可见光相机的视频采集和存储；第二FPGA负责红外相机的视频采集和存储。采用两片DSP作为图像处理的核心平台，其中第一DSP实现可见光相机的图像处理，提取目标并计算目标位置，并将计算结果通过多通道缓冲串口(McBSP)传给第二DSP；而第二DSP负责红外相机的图像处理，计算红外视频图像中的目标位置，并通过McBSP接收第一DSP传来的可见光视频中的目标计算结果，进入结果的加权融合，通过串口模块将跟踪结果-脱靶量(即目标在图像中的坐标位置)输出给外系统，一般为伺服跟踪系统，用于进行目标的自动跟踪，同时此串口模块为双向的还具备接收外系统通讯命令的功能。

本发明的有益效果是：该系统体积小集成度高、运算速度快，实时性好、并在同一台视频跟踪系统中实现了红外图像和可见图像的并行处理和计算结果的融合，提高了目标跟踪的稳定性。具体体现在如下四点：

1)采用两片DSP做核心处理器并行处理，可以同时处理两个波段相机的图像数据，满足50Hz实时性要求；

2)采用两片FPGA管理系统，可以实现两个相机图像的同时采集和存储互不干扰；

3)通过McBSP将两个相机的计算结果进行互传，提高了系统跟踪目标的鲁棒性，提高了持续跟踪目标的能力；

4)整个系统为嵌入式系统，具有小型化、集成化、自动化程度高的特点；而且系统可以输出标准差分串口数据信号供外系统如伺服跟踪系统进行串口通讯。

附图说明

图1是本发明双模视频目标识别跟踪系统的结构框图。

图2是本发明双模视频目标识别跟踪系统的电路原理图。

图3是本发明第一DSP的可见光目标识别跟踪软件流程图。

图4是本发明第二DSP的软件流程图。

具体实施方式

下面结合附图和实施例对本发明做进一步详细说明。

如图1所示，本发明的双模视频目标识别跟踪系统包括：第一接口转换模块、第一FPGA、第一数据存储器、第一DSP、第一程序存储器、第二接口转换模块、第二FPGA、第二数据存储器、第二DSP、第二程序存储器、串口模块和信号转换模块。

下面对该嵌入式跟踪系统所采用的主要芯片说明如下：两片输入接口转换模块采用芯片DS90CR288，将相机数字口输出的CameraLink格式的数据信号转换成TTL信号；负责图像采集和系统管理的两芯片FPGA，采用高性能的XILINX公司的V2P4，具有40万的系统门，800多个逻辑单元，500K的RAM，28个18×18bit乘法器，高达300MHz的系统带宽；两片数据存储器SDRAM采用ISSI公司的高速存储芯片IS42S16400，具有64Mb的存储空间，方便图像数据的存储和读取；本发明系统的核心处理器DSP，两片都采用Ti公司高性能的DSP(TMS320C6416)主频1G Hz，运算速度可达8000MIPS，最高速指令周期时间为1.0ns，每周期可执行8条32bit指令，具有VelociTI.2先进VLIW结构内核，8个独立的功能单元，6个ALU(32、40bit)，每个单元每周期都可完成一个32bit、两个16bit或者4个8bit算术运算。2个乘法器支持每周期完成4个16×16Bit乘法(结果是32bit)或者8个8×8bit乘法(结果是16bit)，可以编排并行流水汇编，达到了算法的实时性要求；程序存储器FLASH芯片采用两片AM29LV800DB，分别与第一DSP和第二DSP相连，每片具有4M的存储空间用于程序代码的存储；串口模块采用16C650具有32个Bytes的FIFO空间；串口数据通过信号转换芯片MAX488后转为差分信号。

如图2所示，本发明双模视频目标识别跟踪系统的工作过程是：首先系统上电，第一DSP通过地址线A11[0-7]译码后从第一FALSH中读取第一DSP的程序代码通过数据线D11[0-7]加载到第一DSP中，同样第二DSP通过地址线A21[0-7]译码后从第二FALSH中读取第二DSP的程序代码通过数据线D21[0-7]加载到第二DSP中，程序开始执行。下面简单介绍本系统的数据走向和工作流程，可见相机输出的数字图像信号为CameraLink格式，数字口的输出信号Ck[0-3]接入第一DS90CR288的Input1[0-3]，后分离出像素时钟CLK1、行同步信号HSYNCY1、场同步信号VSYNCY1和8位的图像数据Data1[0-7]；然后将以上信号线和数据线接入第一FPGA，第一FPGA根据像素时钟CLK1、行同步信号HSYNCY1和场同步信号VSYNCY1，采集图像数据InData1[0-7]，并将数据InData1[0-7]转成Out1[0-7]，通过地址线Addr1[0-7]译码后写入第一SDRAM中；当一整幅图像数据写入第一SDRAM后，第一DSP启动DMA(直接存储器访问)通过地址线A1[0-7]和数据线D1[0-7]将图像数据导入第一DSP片内，进行图像预处理，目标识别与跟踪等计算，当第一DSP的McBSP的串行数据接收口DR1接收到第二DSP的McBSP的串行数据发送口的请求命令时，将计算结果通过第一DSP的McBSP的串行数据发送接口TR1送给第二DSP的McBSP的串行数据接收口DR2；同样红外相机输出的数字图像信号也为CameraLink格式，数字口的输出信号Ch[0-3]接入第二DS90CR288的Input2[0-3]，后分离出像素时钟CLK2、行同步信号HSYNCY2、场同步信号VSYNCY2和8位的图像数据Data2[0-7]；然后将以上信号线和数据线接入第二FPGA，第二FPGA根据像素时钟CLK2、行同步信号HSYNCY2和场同步信号VSYNCY2，采集图像数据InData2[0-7]，并将数据InData2[0-7]转成Out20-7]，通过地址线Addr2[0-7]译码后写入第二SDRAM中；当一整幅图像数据写入第二SDRAM后，第二DSP启动DMA(直接存储器访问)通过地址线A2[0-7]和数据线D2[0-7]将图像数据导入第二DSP片内，进行图像预处理、目标识别与跟踪等计算，计算结束后通过第二DSP的串行数据发送接口TR2向第一DSP的串行数据接收口DR1发出请求命令，并通过第二DSP的串行数据接收口从第一DSP的串行数据发送口TR1获得可见相机的目标识别跟踪的计算结果，通过加权融合的计算方法得到最终的目标位置信息，即脱靶量；串行接口TR1送给第二DSP的DR2串行接口；如何接收外系统的控制命令和发送计算结果是通过第二DSP与串口通信芯片完成的，第二DSP通过地址线A[0-2]和数据线D[0-7]与芯片16C650进行数据交换，串口芯片16C650通过串行数据接口TX向芯片MAX488的串行数据接口RX发送数据，并从串行数据接口RX从MAX488的串行数据接口接收数据，MAX488则将RX接收到的数据转换为差分信号通过T+和T-发送给外系统，而从差分信号接口R+和R-接收外系统的数据，转为串行数据送给TX。

图3是第一DSP的软件算法流程图，其主要是负责可见相机的图像处理，即可见相机中目标的识别与跟踪；图4第二DSP的软件算法流程图，其主要是负责红外相机的图像处理与目标的识别与跟踪，同时负责将第一DSP的可见相机的计算结果与红外相机的计算结果进行最优化选取，并负责将最终计算结果送给通讯模块。

本发明的跟踪系统为嵌入式设备，只要将可见相机和红外相机同本系统连接正确，通电后即可通过串口获得欲跟踪目标的位置信息。

Claims

1.双模视频目标识别跟踪系统，其特征在于，该系统包括第一接口转换模块、第一FPGA、第一数据存储器、第一DSP、第一程序存储器、第二接口转换模块、第二FPGA、第二数据存储器、第二DSP、第二程序存储器、串口模块和信号转换模块；所述第一接口转换模块与可见相机连接，所述第一FPGA分别与第一接口转换模块、第一数据存储器、第一DSP连接，第一FPGA通过第一接口转换模块对可见相机的图像数据进行实时采集，并通过第一数据存储器对采集的可见相机的图像数据进行实时存储，同时将采集的可见相机的图像数据传送给第一DSP；所述第一程序存储器与第一DSP连接，其用于存储第一DSP的程序代码；所述第一DSP用于可见相机的图像处理、提取目标和计算目标位置，并将计算结果通过多通道缓冲串口传送给第二DSP；

所述第二接口转换模块与红外相机连接，所述第二FPGA分别与第二接口转换模块、第二数据存储器、第二DSP连接，第二FPGA通过第二接口转换模块对红外相机的图像数据进行实时采集，并通过第二数据存储器对采集的红外相机的图像数据进行实时存储，同时将采集的红外相机的图像数据传送给第二DSP；所述第二程序存储器与第二DSP连接，其用于存储第二DSP的程序代码；所述第二DSP与串口模块连接，其用于红外相机的图像处理，计算红外图像中的目标位置，并通过多通道缓冲串口接收第一DSP传来的可见图像中的目标计算结果，进入计算结果的加权融合，并将加权融合后的数据传送给串口模块；所述串口模块与信号转换模块连接，其用于接收第二DSP传来的数据，并通过信号转换模块转换为差分信号后输出给外系统。