CN102156588B - 一种嵌入式红外实时信号处理系统 - Google Patents
一种嵌入式红外实时信号处理系统 Download PDFInfo
- Publication number
- CN102156588B CN102156588B CN 201110063626 CN201110063626A CN102156588B CN 102156588 B CN102156588 B CN 102156588B CN 201110063626 CN201110063626 CN 201110063626 CN 201110063626 A CN201110063626 A CN 201110063626A CN 102156588 B CN102156588 B CN 102156588B
- Authority
- CN
- China
- Prior art keywords
- embedded
- fpga
- infrared
- real
- signal processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Processing (AREA)
Abstract
本发明公开了一种嵌入式红外实时信号处理系统。它主要用于红外探测系统。主要包括：一块嵌入式信号处理板卡，其中以一块内嵌PowerPC微处理器的FPGA为核心控制器，外接大容量DDR2 SDRAM和嵌入式外围设备。在PowerPC微处理器上构建了基于嵌入式实时操作系统VxWorks的软件平台，通过合理选择红外信号处理算法的软硬件实现，可以实现嵌入式红外实时信号处理。本发明的主要优点在于：采用嵌入式系统的设计方案，使用了FPGA中内嵌PowerPC微处理器的硬件架构和基于嵌入式实时操作系统VxWorks的软件平台，将整个红外信号处理系统集成在一块板卡上，整个系统外部接口丰富，实时性好，体积小便于携带。
Description
技术领域
本发明涉及一种红外信号处理系统，具体涉及一种嵌入式红外实时信号处理系统，它主要用于红外探测系统中的红外实时信号处理。
背景技术
红外探测系统通过摄取目标的红外辐射，将其转换为电信号输出，形成红外图像，实现目标的探测。性能优异且满足应用要求的红外探测系统需要处理能力强、可靠性高的实时信号处理系统作为技术支撑。
在以往的红外探测系统中信号处理系统典型的架构如下：红外探测器的输出图像到信号处理系统，先进入FPGA进行预处理(非均匀性校正、图像增强)，经过预处理后的红外图像输出到DSP中完成潜目标检测，DSP处理后的潜目标和图像数据再传输到PC机，由PC机完成轨迹跟踪确认真实目标并输出。由此可见，信号处理的各功能模块通常在多个分立的硬件平台上实现，这种分立的硬件结构存在各模块间接口复杂、联合调试不便、实时性不够、硬件结构不灵活等缺点。
因此设计一个具有强大数据处理能力、可靠稳定的实时信号处理系统非常必要。采用嵌入式系统的设计方案可以将功能软件集成于硬件系统之中，实现应用软件与硬件平台的一体化，使得原本复杂的外部控制、接口管理及资源管理成为可能，同时具有系统体积小、实时性好、配置灵活等优点。
发明内容
本发明的目的，在于提出一种嵌入式红外实时信号处理系统，实现红外图像的实时采集、处理、存储及显示。
为实现上述目的，本发明所采用的硬件装置为：一块嵌入式信号处理板卡，其中包括：一块内嵌了PowerPC微处理器的FPGA，一块大容量DDR2 SDRAM，外部设备接口。
所述的各个硬件组成部分需要满足：所述的FPGA上必须具有足够多的逻辑资源，并且包含一个嵌入式处理器PowerPC硬核，在PowerPC上移植了嵌入式实时操作系统VxWorks。所述的DDR2 SDRAM需要满足256MByte以上容量，266MHz以上工作频率的配置。所述的外部设备接口需要包括：用于实时显示红外图像的DVI/VGA接口；用于实时存储红外图像数据的SATA接口；用于和其他外部平台通信的串口和以太网接口；用于存储FPGA配置数据的CF卡接口和FLASH；用于连接鼠标和键盘的USB/PS2接口。
所述的各个硬件组成部分的连接关系为：红外探测器和FPGA之间通过LVDS或者光纤接口连接；DDR2 SDRAM和FPGA之间的数据通信通过DDR2SDRAM控制器逻辑实现；FPGA通过外设IP核实现对外部设备的控制。FPGA内的PowerPC微处理器通过片内的PLB总线和外部设备实现数据通信。
所述的嵌入式红外实时信号处理系统实现红外信号实时处理的流程如下：
(1)红外探测器将采集到的数字信号通过LVDS或者光纤接口发送到FPGA。
(2)在FPGA内实现红外图像的非均匀性校正、信号预处理、目标提取。
(3)将提取出的目标数据发送给PowerPC，在基于嵌入式微处理器和VxWorks操作系统的软件平台中完成对目标的自动跟踪。
(4)将处理完成的红外图像结果按照需求实时显示、存储及传输。
本发明的显著特点在于以下几点：
(1)采用嵌入式系统的设计方案，使用了FPGA中内嵌PowerPC微处理器的硬件架构，将整个红外信号处理系统集成在一块板卡上。由于FPGA的可编程性，系统的硬件结构和各模块实现的功能可以灵活配置，系统的可移植性和通用性高。
(2)在PowerPC微处理器上移植了嵌入式实时操作系统VxWorks。将功能软件集成于硬件系统之中，实现应用软件与硬件平台的一体化，使得原本复杂的外部控制、接口管理及资源管理成为可能。通过合理选择信号处理算法的软硬件实现方式，能够提高系统的处理能力。
(3)实时性好。在PowerPC上移植了嵌入式实时操作系统VxWorks，VxWorks具有性能优越的内核和高效的多任务管理与调度机制，系统的实时性能够得以保证。
(4)外部接口丰富。系统包括DVI/VGA、SATA、串口、以太网、CF卡、USB、PS2等外部接口，能够实现红外图像的显示、存储、传输和控制等功能。
(5)体积小，便于携带。由于整个信号处理系统的功能模块都集中在一块板卡上，大大减少了系统的体积和重量。
附图说明
图1是嵌入式红外实时信号处理系统的系统框图。
图2是红外信号处理的流程图。
具体实施方式
下面根据附图对本发明的具体实施方式作进一步的详细说明。
图1是嵌入式红外实时信号处理系统的系统框图。
本发明所采用的硬件装置为：一块嵌入式信号处理板卡，其中包括：一块内嵌了PowerPC微处理器的FPGA，一块大容量DDR2 SDRAM，外部设备接口。
所述的内嵌了PowerPC微处理器的FPGA是嵌入式红外实时信号处理系统的核心控制器。本发明中的FPGA选用了Xilinx公司的Virtex-5 FX70TFPGA，这款FPGA的片内逻辑资源有11200个slices，最大用户I/O口有640个，集成了最高传输速率达6.5Gb/s的RocketIO GTX串行高速收发器，可以为系统设计提供足够多的硬件资源。同时这款FPGA中内嵌了一个IBM公司的PowerPC 440微处理器硬核，集成了32KB一级指令缓存和32KB一级数据缓存，通过片内的128位PLB总线和外设连接，微处理器在550MHz的最高时钟频率下可提供1100DMIPS的极限处理性能。本发明在PowerPC 440处理器上移植了Wind River公司的VxWorks 6.6版本的嵌入式实时操作系统，为系统提供了多任务实时稳定的软件平台。
所述的大容量DDR2 SDRAM采用了Micron公司的MT4HTF3264HY-667D3型号的内存条，数据位宽为64bit，容量为256MByte，最高工作频率为333MHz。DDR2 SDRAM在本系统中主要有两个用途：一是作为大容量缓存储存红外探测器发来的数据，并通过片内的PLB总线传输至外部的显示、存储和通信模块；另一个用途是作为VxWorks操作系统运行的内存。DDR2 SDRAM和FPGA之间的数据通信是通过FPGA内的DDR2SDRAM控制器逻辑实现的。
所述的外部设备模块包括以下的嵌入式外围设备：用于实时显示红外图像的DVI/VGA接口；用于实时存储红外图像数据的SATA接口；用于和其他外部平台通信的串口和以太网接口；用于存储FPGA配置数据的CF卡接口和FLASH；用于连接鼠标和键盘的USB/PS2接口。这些外设模块通过FPGA内的控制器逻辑连接到片内的PLB总线上，并通过设备驱动程序实现由VxWorks操作系统统一控制管理。
所述的嵌入式红外实时信号处理系统与红外探测器之间通过LVDS接口或光纤接口连接。与本发明中的嵌入式红外实时信号处理系统连接的红外探测器是320×256元中波红外焦平面探测器，每个像素的数据大小为14bit。
图2是红外信号处理的流程图。
FPGA接收到红外探测器输出的红外图像后，将图像数据分成两路处理：一路通过DDR2 SDRAM内存控制器缓存到片外的DDR2 SDRAM中，通过片内的PLB总线传输至外部的显示、存储和通信模块；另一路进入FPGA内部的图像处理逻辑。
FPGA内部的图像处理逻辑包括四个模块：非均匀性校正；信号预处理；阈值分割；目标提取。
从红外探测器接收到的图像首先进入非均匀性校正模块，根据两点线性校正算法，对红外面阵探测器各单元的不一致性进行校正。
校正后的红外图像进入信号预处理模块，通过二维空间滤波完成背景杂散干扰的抑制，提高目标探测的信噪比。典型的空间滤波方法是用5×5的Robinson非线性滤波算子，提取复杂背景中的点目标。
图像经过空间滤波后，目标信号增强，再通过阈值分割的方法将目标和背景有效区分开。阈值分割采用的方法是子图像分割动态自适应阈值的方法，通过将图像分割成若干子图像并进行统计分析，可以计算得到其动态阈值，实现目标的自适应阈值分割。
经过阈值分割后，目标和背景已经分离开，通过目标提取算法，将潜目标的位置和尺寸信息提取出来，在每帧图像结束时产生中断请求，将当前帧的所有潜目标信息通过片内的PLB总线提供给后级的软件平台。
软件平台运行在PowerPC嵌入式微处理器上，主要由VxWorks操作系统和基于操作系统的软件算法两个模块组成。
VxWorks操作系统包括与硬件相关和硬件无关的两部分组成：硬件相关部分包括板级支持包(BSP)和设备驱动程序，作为操作系统与系统硬件的中间层，负责引导系统和支持系统的运行，是直接控制下层硬件设备的一个上层软件接口，同时对上层应用程序提供接口函数。硬件无关部分包括VxWorks操作系统的微内核，为系统提供多任务环境、进程间通信和同步功能；其他功能模块(文件系统、网络协议、设备控制等)都不是运行在内核级，用户可根据需求对其进行裁剪。
软件算法模块是实现目标跟踪功能的核心模块。从图中可以看出算法的处理流程：接收到前级FPGA逻辑中提取的潜目标信息之后，经过卡尔曼滤波求取目标的状态和预测；得到轨迹的预测位置后，将新接收的潜目标信息和现有轨迹预测位置门限关联，更新轨迹的状态；门限关联之后，对所有轨迹进行评价，基于轨迹的置信度确认或删除轨迹；最后通过外部接口发送目标信息。
Claims (1)
1.一种嵌入式红外实时信号处理系统，它包括一块内嵌了PowerPC微处理器的FPGA，一块大容量DDR2SDRAM和外部设备接口，其特征在于：
所述的FPGA包含一个嵌入式处理器PowerPC硬核，在PowerPC上移植了嵌入式实时操作系统VxWorks；所述的DDR2SDRAM容量256MByte以上，工作频率为333MHz；所述的外部设备接口为用于实时显示红外图像的DVI/VGA接口、用于实时存储红外图像数据的SATA接口、用于和其他外部平台通信的串口和以太网接口、用于存储FPGA配置数据的CF卡接口和FLASH和用于连接鼠标和键盘的USB/PS2接口；
红外探测器输出的信号和FPGA之间通过LVDS或者光纤接口连接，DDR2SDRAM和FPGA之间的数据通信通过DDR2SDRAM控制器逻辑实现，FPGA通过外设IP核实现对外部设备的控制，FPGA内的PowerPC微处理器通过片内的PLB总线和外部设备实现数据通信；红外信号实时处理步骤如下：
1)红外探测器将采集到的数字信号通过LVDS或者光纤接口发送到FPGA；
2)在FPGA内实现红外图像的非均匀性校正、信号预处理、阈值分割和目标提取；
3)将提取出的目标数据发送给PowerPC，在基于嵌入式微处理器和VxWorks操作系统的软件平台中完成对目标的自动跟踪；
4)将处理完成的红外图像结果按照需求实时显示、存储及传输。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN 201110063626 CN102156588B (zh) | 2011-03-16 | 2011-03-16 | 一种嵌入式红外实时信号处理系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN 201110063626 CN102156588B (zh) | 2011-03-16 | 2011-03-16 | 一种嵌入式红外实时信号处理系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN102156588A CN102156588A (zh) | 2011-08-17 |
| CN102156588B true CN102156588B (zh) | 2013-01-09 |
Family
ID=44438104
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN 201110063626 Expired - Fee Related CN102156588B (zh) | 2011-03-16 | 2011-03-16 | 一种嵌入式红外实时信号处理系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN102156588B (zh) |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102521824A (zh) * | 2011-11-10 | 2012-06-27 | 中国科学院上海技术物理研究所 | 一种低功耗红外实时信号处理系统 |
| CN102510481A (zh) * | 2011-11-10 | 2012-06-20 | 中国科学院上海技术物理研究所 | 低功耗红外实时信号处理系统的信号处理方法 |
| CN103095963A (zh) * | 2011-12-17 | 2013-05-08 | 中国航空工业集团公司洛阳电光设备研究所 | 基于fpga的红外线列探测器非均匀校正方法和装置 |
| CN102609389A (zh) * | 2011-12-22 | 2012-07-25 | 成都傅立叶电子科技有限公司 | 一种基于vpx总线实现的数字信号处理平台 |
| CN102833546B (zh) * | 2012-08-21 | 2015-03-04 | 中国科学院光电技术研究所 | 基于小波子带交织最优量化的高速图像压缩方法及装置 |
| CN103049879B (zh) * | 2012-12-13 | 2016-06-01 | 中国航空工业集团公司洛阳电光设备研究所 | 一种基于fpga的红外图像预处理方法 |
| CN106950824A (zh) * | 2016-01-07 | 2017-07-14 | 及长城 | 基于模糊神经网络的秸秆发酵燃料乙醇过程补料预测控制系统及方法 |
| CN108132719A (zh) * | 2016-12-01 | 2018-06-08 | 龙芯中科技术有限公司 | 基于VxWorks操作系统的鼠标滚轮的实现方法及装置 |
| CN107272500A (zh) * | 2017-07-24 | 2017-10-20 | 北京精密机电控制设备研究所 | 一种伺服液压能源测控系统 |
| CN108052478B (zh) * | 2017-12-28 | 2020-01-21 | 苏州联视泰电子信息技术有限公司 | 一种基于fpga的桥接装置 |
| CN110706147B (zh) * | 2019-09-29 | 2023-08-11 | 阿波罗智联(北京)科技有限公司 | 图像处理的环境确定方法、装置、电子设备和存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7342838B1 (en) * | 2005-06-24 | 2008-03-11 | Lattice Semiconductor Corporation | Programmable logic device with a double data rate SDRAM interface |
| CN101719873A (zh) * | 2009-12-11 | 2010-06-02 | 曙光信息产业(北京)有限公司 | 千兆虚拟网卡 |
| CN101833424A (zh) * | 2010-03-26 | 2010-09-15 | 中国科学院光电技术研究所 | 基于fpga的高速存储与传输装置 |
-
2011
- 2011-03-16 CN CN 201110063626 patent/CN102156588B/zh not_active Expired - Fee Related
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7342838B1 (en) * | 2005-06-24 | 2008-03-11 | Lattice Semiconductor Corporation | Programmable logic device with a double data rate SDRAM interface |
| CN101719873A (zh) * | 2009-12-11 | 2010-06-02 | 曙光信息产业(北京)有限公司 | 千兆虚拟网卡 |
| CN101833424A (zh) * | 2010-03-26 | 2010-09-15 | 中国科学院光电技术研究所 | 基于fpga的高速存储与传输装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN102156588A (zh) | 2011-08-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102156588B (zh) | 一种嵌入式红外实时信号处理系统 | |
| CN107203337B (zh) | 用户可配置的被动后台操作 | |
| CN105631798A (zh) | 低功耗便携式实时图像目标检测与跟踪系统及方法 | |
| CN107302658B (zh) | 实现人脸清晰的对焦方法、装置和计算机设备 | |
| CN101667169A (zh) | 一种数字信号的多处理器并行处理系统 | |
| CN103412619A (zh) | 一种异构多核的红外图像处理系统及方法 | |
| JP6695320B2 (ja) | 低電力コンピュータイメージング | |
| US20210320967A1 (en) | Edge Server with Deep Learning Accelerator and Random Access Memory | |
| CN103049879A (zh) | 一种基于fpga的红外图像预处理方法 | |
| KR20180012746A (ko) | 적응형 깊이 감지 시스템 | |
| US20230004804A1 (en) | System on a Chip with Deep Learning Accelerator and Random Access Memory | |
| CN103198445A (zh) | 高速红外目标检测与跟踪图像处理装置及其处理方法 | |
| CN103260007B (zh) | 基于片上多端口存储控制器的智能监控系统 | |
| Amara et al. | Sobel edge detection system design and integration on an FPGA based HD video streaming architecture | |
| CN104950902A (zh) | 多旋翼飞行器的控制方法及多旋翼飞行器 | |
| CN113096201B (zh) | 嵌入式视频图像深度学习方法、设备及存储介质 | |
| CN111753721A (zh) | 一种人体姿态的识别方法及装置 | |
| CN111736115B (zh) | 基于改进型sgdma+pcie的mimo毫米波雷达高速传输方法 | |
| US9218310B2 (en) | Shared input/output (I/O) unit | |
| EP4428760A1 (en) | Neural network adjustment method and corresponding apparatus | |
| CN105426517A (zh) | 一种具有图像处理功能的智能存储设备 | |
| CN102521824A (zh) | 一种低功耗红外实时信号处理系统 | |
| CN102510481A (zh) | 低功耗红外实时信号处理系统的信号处理方法 | |
| CN101303687A (zh) | 一种嵌入式异构多核体系片上通信的实现方法 | |
| US20210295212A1 (en) | Data management system, data management method, and recording medium having recorded thereon a data management program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20130109 Termination date: 20150316 |
|
| EXPY | Termination of patent right or utility model |