CN102521824A - 一种低功耗红外实时信号处理系统 - Google Patents

一种低功耗红外实时信号处理系统 Download PDF

Info

Publication number
CN102521824A
CN102521824A CN2011103545891A CN201110354589A CN102521824A CN 102521824 A CN102521824 A CN 102521824A CN 2011103545891 A CN2011103545891 A CN 2011103545891A CN 201110354589 A CN201110354589 A CN 201110354589A CN 102521824 A CN102521824 A CN 102521824A
Authority
CN
China
Prior art keywords
low
signal processing
infrared
fpga
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2011103545891A
Other languages
English (en)
Inventor
盛春雨
汤心溢
李燕
李争
刘鹏
刘士建
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Institute of Technical Physics of CAS
Original Assignee
Shanghai Institute of Technical Physics of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Institute of Technical Physics of CAS filed Critical Shanghai Institute of Technical Physics of CAS
Priority to CN2011103545891A priority Critical patent/CN102521824A/zh
Publication of CN102521824A publication Critical patent/CN102521824A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Closed-Circuit Television Systems (AREA)

Abstract

本发明公开了一种低功耗红外实时信号处理系统，它主要用于红外成像跟踪系统。系统主要包括：一块信号处理板卡(其中以一片DSP作为核心处理机，一片FPGA做数据控制器，一个光纤数据收发模块，一个LCD模块，以及其他外围设备)。在DSP上构建了基于SYS/BOIS实时操作系统内核的软件平台，在FPGA上构建了基于嵌入式微处理器软核的红外图像处理平台，系统数据输入输出通过光纤模块实现，系统显示通过LCD模块实现，通过对红外信号处理各功能模块合理划分并分别分配到DSP和FPGA上，可以实现红外实时信号处理。本发明的主要优点在于：采用了低功耗的设计方案，将整个红外信号处理系统集成在一块板卡上，整个系统外部接口丰富，架构简洁，实时性好，功耗低。

Description

一种低功耗红外实时信号处理系统
技术领域
本发明涉及数字信号处理技术，具体来说是一种低功耗红外实时信号处理系统。它主要用于红外成像跟踪系统中的红外实时信号处理。
背景技术
红外成像跟踪系统通过红外探测器获得目标的红外图像，然后对红外图像进行预处理和潜目标检测，最后利用一定的算法对目标进行跟踪。处理能力强、可靠性高的实时信号处理系统是红外成像跟踪系统的关键技术。
以往的红外实时信号处理系统典型的架构如下：红外探测器的输出图像到信号处理系统，进行图像预处理(非均匀性校正、图像增强)和潜目标检测。由于以前的红外实时信号处理系统大多是基于定点DSP，导致性能优异但计算复杂的跟踪算法实现起来较为困难，所以潜目标和图像数据需要再传输到PC平台，由PC机完成目标轨迹的确认跟踪。由此可见，传统的实时信号处理系统造成红外成像跟踪系统结构复杂、体积庞大、功耗巨大、可靠性差、实时性不够等缺点。
因此设计一个体积小巧，低功耗、具有强大数据处理能力、可靠稳定的实时信号处理系统非常必要。采用低功耗高性能浮点信号处理系统的设计方案可以将图像处理、目标检测、多目标跟踪等系统功能集成于一块板卡之中，具有系统功耗低、实时性好、可维护性好、体积小、结构简洁等优点。
发明内容
本发明的目的，在于提出一种低功耗红外实时信号处理系统，实现红外图像的实时处理、潜目标提取、多目标跟踪、存储及显示。
为实现上述目的，本发明所采用的硬件装置为：一块嵌入式信号处理板卡，其中包括：一片低功耗DSP芯片，一片FPGA，一个光纤模块，一个LCD模块，外围设备接口。
各个硬件组成部分需要满足：所述的低功耗DSP芯片必须为低功耗浮点处理器，并且支持SYS/BOIS实时操作系统内核。所述的FPGA需要足够多的逻辑资源和内嵌存储单元(Block Ram)，并支持嵌入式微处理器软核(MicroBlaze)。所述的光纤模块必须包含发送、接收端口，通信速率大于500Mb/s。所述的LCD模块为TFT液晶模块。所述的其他外围设备接口包括：用于实时存储红外图像数据的SATA接口；用于和其他外部平台通信的SPI、USB2.0、串口和以太网接口。
各个硬件组成部分的连接关系为：红外探测器和FPGA之间通过光纤接口连接；DSP和FPGA之间的数据通信通过DSP的EMIFA接口实现；DSP通过内部集成的设备控制器实现对外部设备的控制。
红外实时信号处理系统实现红外信号实时处理的流程如下：
(1)红外探测器将采集到的红外图像通过光纤接口模块发送到FPGA。
(2)在FPGA内实现红外图像的解包、缓冲、非均匀性校正、图像增强等预处理。
(3)DSP在基于SYS/BOIS操作系统的软件环境中对FPGA预处理后的图像做目标检测提取出的潜目标数据，并进行多目标跟踪。
(4)将处理完成的红外图像结果用LCD模块显示，并照需求存储及传输。
本发明的显著特点在于以下几点：
(1)采用低功耗的设计方案。DSP采用了高性能低功耗浮点处理器，并带有LCD显示模块，这可以完成原有红外成像跟踪系统中PC平台处理机的功能，所有信号处理功能和原有PC平台的多目标跟踪、显示控制都在一块处理器板卡上实现，从而大大降低系统功耗。
(2)实时性好。基于本架构对红外信号处理做适当的模块和软硬件划分，充分利用FPGA的时序控制、并行计算、高速传输特性，将对速度算法简单的模块由FPGA完成，将需要大量复杂浮点计算、分支管理算法的算法模块由DSP完成。DSP软件基于SYS/BOIS构建，具有性能优越的内核和高效的多任务管理与调度机制，系统的实时性能够得以保证。
(4)可维护性好。由于整个信号处理系统只有一块板卡，所以在系统故障时可迅速定位，系统出现故障时减少了排错时间，紧急维护时只需简单更换整个板卡即可。
(5)体积小、结构简洁。由于整个信号处理系统的功能模块都集中在一块板卡上，大大减少了系统的体积。同时系统的结构也变的更为简洁。
附图说明
图1是低功耗红外实时信号处理系统的系统框图。
图2是红外信号处理的流程图。
具体实施方式
下面根据附图对本发明的具体实施方式作进一步的详细说明。
图1是低功耗红外实时信号处理系统的系统框图。
本发明所采用的硬件装置为：一块嵌入式信号处理板卡，其中包括：一片低功耗DSP芯片，一片FPGA，一个光纤模块，一个LCD模块，外围设备接口。
DSP和FPGA间通过DSP的EMIFA接口连接，24位地址总线、16位数据总线，将FPGA作为DSP的一个外围设备来访问，同时为了系统扩展功能需要，FPGA和DSP间还保留了一个I2C接口以及16个GPIO接口。
所述的DSP芯片是低功耗高性能浮点DSP，支持SYS/BIOS实时操作系统内核。本发明中的DSP选用了TI公司的TMS320C6748，属于TI的C6000系列高性能DSP，是业界功耗最低的浮点数字信号处理器，可满足高能效、高连通性设计对高集成度外设、更低功耗的需求。TMS320C6748的主频最高可达456M，拥有强大的浮点运算能力，峰值运算能力可达3648/2746MIPS/MFLOPS。拥有丰富的外设资源，包括3个串口、2个SPI、2个I2C、1个USB2.0、一个USB1.1、一个100M网口、一个SATA、一个LCD接口。具有2个EMIF接口，除了常见的Nor Flash，Nand flash，SDRAM接口外，还提供了对DDR2的支持。拥有64个独立DMA通道，可完成片内存储器、片外存储器、存储器映射外设、主处理器与外设的高速传输。TMS320C6748支持TI最新的CCS4.0开发环境和SYS/BOIS实时操作系统内核。
所述的FPGA芯片选用了Xilinx公司的Spartan6系列的XC6slx16，这款FPGA的片内逻辑资源有2278个slices，最大用户I/O口有232个，576KbBlockRam，可以为系统设计提供足够多的硬件资源。同时这款FPGA支持MicroBlaze软核，为系统提供了简单易用的软件平台。
所述的光纤模块包括一个光纤接头HFBR-5208，一片串并转换芯片MAX9218，一片并串转换芯片MAX9217。光纤模块的数据发送接收由FPGA控制，FPGA通过操作MAX9217、MAX9218接收或发送光纤数据。光纤模块在本系统中主要有两个用途：一是作为接收红外探测器发来的数据；另一个是将目标跟踪结果和系统处理后的图像传输给别的设备。
所述的LCD模块包括一块夏普TFT液晶屏。LCD模块用来显示系统的处理后图像，并将红外目标跟踪结果用波门标示出来。
所述的外部设备包括以下：用于实时存储红外图像数据的SATA接口；用于和其他外部平台通信的USB、SPI、串口和以太网接口。DSP通过内部集成的控制器实现对外部设备的控制。
图2是红外信号处理的流程图。
FPGA主要包括2个功能模块：红外图像非均匀性校正、图像预处理。从红外探测器接收到的图像首先进入非均匀性校正模块，运用两点校正算法，对得到的红外图像进行校正。校正后的红外图像进入图像预处理模块，采用图像增强算法，提高图像质量。
FPGA模块的软件基于MicroBlaze构建，嵌入式M icroBlaze软核接收外部命令，控制校正系数的计算、更新等。首先由数据接收模块接收由光纤得到的图像数据，启动非均匀性流水线处理，然后把数据写入到SDRAM中去，然后数据输出模块将经过预处理的图像数据以DMA方式送DSP做后续处理。
DSP应用软件系统基于TI的SYS/BOIS设计，开发环境为CCS(CodeComposer Studio)4.0。软件划分为4个任务模块：图像输入模块、目标检测模块、多目标跟踪模块、图像以及跟踪结果输出模块。利用SYS/BOIS的多任务调度特性，以任务进程的方式运行，任务进程间通过信号量和消息机制来同步、通信。其中的main进程只运行一次然后退出，对EDMA、中断、信号量等进行设置，启动各任务进程。
图像输入模块采用双缓存BufferA、BufferB，实现图像输入的乒乓操作。当目标检测模块处理其中的一个Buffer的图像数据时，图像输入模块获得图像数据存入另一Buffer，下一次则相互交换。乒乓操作是通过EDMA提供的LINK功能来实现的，BufferA，BufferB各有自己的EDMA传输参数，将它们的参数RAM LINK互相指向对方，这就形成了一个循环传输链，一次传输结束后则自动装载对方的传输参数，从而实现了无限循环自动乒乓图像输入。
目标检测模块通过一个数据指针访问存储的缓冲图像，每次EDMA完成后，图像输入模块的中断服务程序将访问指针指向刚完成传输的缓存Buffer。目标检测模块每次开始运行前读取并保存访问指针，这样就实现了乒乓缓存对目标检测模块的透明化。目标检测模块对得到的红外图像做阈值分割，目标检测，提取出潜目标。
目标跟踪模块收到目标检测模块的信号后，即读取潜目标数据，启动多目标跟踪进程。多目标跟踪算法采用SB/MHT算法。从图中可以看出算法的处理流程：SB/MHT算法主要包括门限关联，卡尔曼滤波和轨迹评价3个部分。卡尔曼滤波给出轨迹的当前状态估计和预测；然后用轨迹的预测位置、与潜目标做门限关联；门限关联后，记录各条轨迹的状态属性，做出轨迹评价，最后根据置信度对轨迹做出确认和删除操作。
目标跟踪模块输出跟踪结果后，跟踪结果及图像输出模块将跟踪结果和FPGA处理后的红外图像结合起来，把跟踪的结果用波门在红外图像上标注，然后将跟踪结果和图像送LCD模块显示。

Claims (1)

1.一种低功耗红外实时信号处理系统，其硬件装置包括含有一片低功耗DSP芯片，一片FPGA，一个光纤模块，一个LCD模块及其他外围设备接口的信号处理板卡，其特征在于：
所述的低功耗DSP芯片为低功耗浮点处理器，并且支持SYS/BOIS实时操作系统内核；
所述的FPGA具有足够多的逻辑资源和内嵌存储单元，并支持嵌入式微处理器软核；
所述的光纤模块包含发送、接收端口，通信速率大于500Mb/s；
所述的LCD模块为TFT液晶模块；
所述的其他外围设备接口包括：用于实时存储红外图像数据的SATA接口；用于和其他外部平台通信的SPI、USB2.0、串口和以太网接口；
红外探测器与系统的FPGA之间通过光纤接口连接；DSP和FPGA之间的数据通信通过DSP的EMIFA接口实现；DSP通过内部集成的设备控制器实现对外部设备的控制。
CN2011103545891A 2011-11-10 2011-11-10 一种低功耗红外实时信号处理系统 Pending CN102521824A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN2011103545891A CN102521824A (zh) 2011-11-10 2011-11-10 一种低功耗红外实时信号处理系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2011103545891A CN102521824A (zh) 2011-11-10 2011-11-10 一种低功耗红外实时信号处理系统

Publications (1)

Publication Number Publication Date
CN102521824A true CN102521824A (zh) 2012-06-27

Family

ID=46292728

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2011103545891A Pending CN102521824A (zh) 2011-11-10 2011-11-10 一种低功耗红外实时信号处理系统

Country Status (1)

Country Link
CN (1) CN102521824A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102801912A (zh) * 2012-07-17 2012-11-28 北京伽略电子系统技术有限公司 一种红外图像处理芯片及处理方法
CN102917160A (zh) * 2012-10-24 2013-02-06 天津市亚安科技股份有限公司 一种视频处理系统及其i2c器件配置方法
CN103647937A (zh) * 2013-11-21 2014-03-19 北京环境特性研究所 图像跟踪系统及其图像数据处理方法
CN107977987A (zh) * 2017-11-20 2018-05-01 北京理工大学 一种无人机载多目标探测跟踪、指示系统及方法
CN109171688A (zh) * 2018-09-29 2019-01-11 北京航空航天大学 一种用于生命体征综合采集和健康监测的可穿戴设备
CN116450206A (zh) * 2023-06-14 2023-07-18 飞腾信息技术有限公司 软件系统构建方法、装置、设备及计算机可读存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040136083A1 (en) * 2002-10-31 2004-07-15 Microsoft Corporation Optical system design for a universal computing device
CN101032427A (zh) * 2007-04-27 2007-09-12 周钷 数字信号智能监测方法及其应用系统
CN102156588A (zh) * 2011-03-16 2011-08-17 中国科学院上海技术物理研究所 一种嵌入式红外实时信号处理系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040136083A1 (en) * 2002-10-31 2004-07-15 Microsoft Corporation Optical system design for a universal computing device
CN101032427A (zh) * 2007-04-27 2007-09-12 周钷 数字信号智能监测方法及其应用系统
CN102156588A (zh) * 2011-03-16 2011-08-17 中国科学院上海技术物理研究所 一种嵌入式红外实时信号处理系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
赵广州 等: "基于DSP和FPGA的模块化实时图像处理系统设计", 《华中科技大学学报（自然科学版）》, vol. 32, no. 10, 30 October 2004 (2004-10-30), pages 4 - 6 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102801912A (zh) * 2012-07-17 2012-11-28 北京伽略电子系统技术有限公司 一种红外图像处理芯片及处理方法
CN102917160A (zh) * 2012-10-24 2013-02-06 天津市亚安科技股份有限公司 一种视频处理系统及其i2c器件配置方法
CN103647937A (zh) * 2013-11-21 2014-03-19 北京环境特性研究所 图像跟踪系统及其图像数据处理方法
CN107977987A (zh) * 2017-11-20 2018-05-01 北京理工大学 一种无人机载多目标探测跟踪、指示系统及方法
CN109171688A (zh) * 2018-09-29 2019-01-11 北京航空航天大学 一种用于生命体征综合采集和健康监测的可穿戴设备
CN116450206A (zh) * 2023-06-14 2023-07-18 飞腾信息技术有限公司 软件系统构建方法、装置、设备及计算机可读存储介质
CN116450206B (zh) * 2023-06-14 2023-09-01 飞腾信息技术有限公司 软件系统构建方法、装置、设备及计算机可读存储介质

Similar Documents

Publication Publication Date Title
CN102521824A (zh) 一种低功耗红外实时信号处理系统
CN103765345B (zh) 用于降低平台中空闲链路功率的方法和装置
CN102510481A (zh) 低功耗红外实时信号处理系统的信号处理方法
CN104063290B (zh) 处理超时的系统、方法和装置
CN102156588B (zh) 一种嵌入式红外实时信号处理系统
CN101916236B (zh) 为邮递性中断事务提供留存机构的方法、装置和系统
CN102946529B (zh) 基于fpga和多核dsp的图像传输及处理系统
CN104714918B (zh) 主机环境下高速fc总线数据接收及缓冲方法
CN104699654A (zh) 一种基于chi片内互联总线与qpi片间互联总线互联适配系统和方法
CN104050133A (zh) 一种基于fpga实现dsp与pc借助pcie总线进行通信的通信装置与通信方法
CN102023947B (zh) Ieee1394总线与高速智能统一总线的直接接口方法
CN105515673B (zh) 一种光纤通道节点卡
CN109525844B (zh) 一种多路视频编解码的加速系统及方法
CN100562864C (zh) 一种嵌入式异构多核体系片上通信的实现方法
CN203434983U (zh) 可配置fpga的光纤通道数据接口卡
CN100517283C (zh) 先进高性能系统总线连接装置及先进高性能系统总线装置
CN110851337A (zh) 适用于vpx架构的高带宽多通道的多dsp计算刀片装置
CN213276640U (zh) 智能计算卡、图像处理设备和智能计算系统
CN114610483A (zh) 一种基于npu+fpga架构的vpx型异构加速模块
CN111813736B (zh) 片上系统及信号处理方法
CN105608039A (zh) 一种基于fifo和arinc659总线的双余度计算机周期控制系统及方法
CN205263807U (zh) 一种PCIe接口的双路FC电路结构
CN104008524A (zh) 图形处理中的低能量计算技术
US20140344534A1 (en) Information Processing System
CN101359050B (zh) 一种声纳图像处理板

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20120627