CN101546381B - 一种基于dsp和fpga的实时运动目标识别系统 - Google Patents

Abstract

本发明公开了一种基于DSP和FPGA的实时运动目标识别系统，涉及DSP、FPGA技术和数字图像处理、模式识别以及无线传输技术，该系统能够实时的对运动目标进行探测与识别，并通过无线技术与基站进行通信。该系统把CCD采集进来的模拟视频信号通过视频解码器进行数字化，通过XC4VSX25FPGA进行图像预处理来分担DSP的运算量，然后通过DM642实现目标探测与识别，识别结果可通过无线网进行传输。本发明集成度高、实时性强、工作稳定可靠，且具有较高的识别率，尤其适合于空中机器人对运动目标进行探测与识别。

Description

一种基于DSP和FPGA的实时运动目标识别系统

技术领域

本发明涉及DSP(Digital Signal Processor，数字信号处理器)、FPGA(Field ProgrammableGate Array，现场可编程门阵列)技术和数字图像处理、模式识别以及无线传输技术，特别是提供了一种适合于空中机器人对运动目标进行识别的系统及方法。

背景技术

随着计算机视觉技术和图像处理技术的飞速发展，目标识别技术作为空中机器人的视觉系统，在航空和航天、对地观察上发挥着十分重要的作用。例如在战场环境下，对战场车辆、机场、油库、发电厂等军用目标进行识别，在生产生活中对车辆、建筑、桥梁等民用目标进行识别。此外，在恶劣条件下，视觉导航的空中机器人可以快速、有组织的大面积搜索突发事故，锁定目标。基于图像的目标识别技术是利用成像系统所采集的图像，根据其特征自动地提取或识别相应目标，即通过一系列图像数据实现对目标的识别。实时性好、识别率高和抗干扰能力强是目标识别系统的重点技术。

目前实现图像处理的主要方式有基于通用PC微机、单片机、通用和专用DSP、FPGA来进行目标识别的。在通用PC机上主要是通过软件进行数字图像的处理工作，要占用CPU的大量资源，只能够提供一般的图像处理效果且速度较慢，而且受到微机体积和重量的影响，便携性和机动性不够好。单片机功能不够强大，处理器受到速度和内核结构的影响，使得应用范围受很大限制，只能处理比较简单的数字信号，很难达到实时的要求。采用通用专用DSP时，系统的应用范围和实时性将会受到一定的限制。

自动目标识别过程实际上是一个图像处理的过程，其方法主要有模板匹配法和神经网络法。运用模板匹配法进行识别跟踪，可以取得不错的跟踪效果，但缺点是对识别系统存储要求高，识别时计算量大，跟踪的时间较长，另外对噪声敏感。神经网络方法具有检测速度快、容错性好、能同时检测出多个目标等优点，主要缺点是检测的准确性由训练样本的数量决定。由于目标运动轨迹数目非常大，应用神经网络作检测在训练时间和收敛性方面可能存在一些问题。上述方法大多能够准确的检测目标，但因计算量比较大而不能满足一些实时系统对快速性处理的要求。采用结构比较简单的算法，难以保证自动目标识别的准确率；而复杂程度较高的算法，对内存和CPU的要求也较高，不利于硬件实现。

综合以上，对于运动目标识别来说，采用基于图像处理与模式识别技术所设计的系统，技术应该不复杂，识别率应该较高，系统的适应性应该较大，安装应该不太复杂，同时应该应用方便，维护简单，成本较低。

公开号为CN1716281A的专利申请“足球机器人视觉快速识别方法”，公开了一种足球机器人视觉快速识别方法，具有搜索速度快，识别精度高，对环境的适应性强的特点，为足球机器人的决策系统提供足够多的场上信息。但是该专利采用PC机作为硬件平台，程序通过VC++MFC实现，受PC机体积和重量影响，便携性和机动性不好，只能在固定位置对目标进行识别，具有较大的局限性。

发明内容

本发明的目的在于提供一种实时目标识别系统，相比传统的目标识别系统具有体积小、重量轻、功耗低、识别率高等特性，对运动目标进行实时识别，同时系统具有较强的通用性，适于模块化设计，算法效率高，二次开发周期较短，系统易于维护和扩展。

为达到上述目的，本发明采用下述技术方案：

一种基于DSP和FPGA的实时运动目标识别系统，包括：由DM642、电源、复位和JTAG组成的DSP最小系统，FPGA图像预处理模块，视频编码解码模块，以太网通信模块，无线传输模块以及扩展SDRAM、FLASH存储器模块。该DSP采用美国德州仪器公司的多媒体处理芯片TMS320DM642DSP(文中简称DM642)，SDRAM、FLASH无缝连接到DM642的EMIF接口进行储存器的扩展，以太网通信模块通过DM642的EMAC接口进行扩展，CCD采集的模拟视频信号通过视频编码解码模块进行数字化后，送入FPGA图像预处理模块进行图像预处理，再将预处理之后的数字图像信号输入到DSP最小系统，使用改进的纹波算法进行目标识别，最后把结果进行视频编码并通过以太网通信模块和无线传输模块进行通信；扩展存储器模块与DSP最小系统相连接。

上述的FPGA图像预处理模块用来对视频解码输出的数字视频信号进行预处理，再送入DM642进行目标识别，使用FPGA取代DSP进行大量结构比较简单的预处理运算，如图像滤波、增强等，即用硬件对图像进行预处理。

上述的扩展存储器模块采用2片4M×32bit SDRAM合成64位存储器接到DM642的CE0空间，采用4M×8bit的FLASH存储器AM29LV033接到DM642的CE1空间，并使用DM642的GPIO口对FLASH进行分页，每页大小为512K字节。

改进的纹波算法通过DM642对运动目标进行识别。传统的特征提取通常采用基于区域外接矩形的方法，在改进的纹波算法中，使用圆代替矩形进行特征提取。取区域的质心作为同心圆的中心，并进一步提出面积比和同心圆比，共2n个特征量作为目标识别的特征，从而实现了识别过程中的平移、比例和旋转不变性。具体步骤如下：

步骤一：对一帧灰度图像做二值化处理，然后对得到的二值图像做区域标记，得到图像中的多个区域；

步骤二：提取每个区域的面积比特征A_i；

以下公式表示区域的面积比特征：

$A_i=\frac{X_i}{Y_i}\×100\%,(1\≤i\≤n)$

其中，X_i是指包含在第i个同心圆内的目标的面积，即二值化后第i个同心圆内的黑色像素点的个数，Y_i是第i个同心圆的面积；

步骤三：提取每个区域的同心圆比例特征P_i；

以下公式表示区域的同心圆比例特征：

$P_i=\frac{N_i}{M_i}\×100\%,(1\≤i\≤n)$

其中，N_i代表第i个同心圆与区域重合的像素数，M_i代表第i个同心圆的周长；

识别时先判断特征A_i是否成立，如果成立，则进一步判断特征P_i。程序流程图如图6所示，流程图中的滤波可以使二值化取得更好的效果，如果各面积比特征A_i符合判断标准，则绘制同心圆，根据同心圆提取特征P_i，进一步判断，如果面积比特征A_i和其对应的同心圆比例特征P_i不能同时满足标准，则转到下一个区域判断，直到一帧图像的所有区域判断完成。如果有一个区域A_i和P_i特征全部在指定范围内，则可认定该区域为目标区域，其重心将由十字标出，并把识别结果通过无线传输模块发送到基站。然后继续下一帧图像，重复步骤一、二、三提取图像特征，进行目标识别。

本发明的优点在于结合了FPGA和DSP硬件及图像处理、模式识别技术，系统集成度高、体积小、功耗低、识别率高、二次开发周期短且应用范围广，特别适用于某些对硬件体积限制要求较高的领域。适用于机器人视觉、目标识别、空中机器人导航等应用。

附图说明

图1为根据本发明的一个具体的实时运动目标识别系统硬件框架图

图2为根据本发明的一个具体的实时运动目标识别系统视频解码电路框架图

图3为根据本发明的一个具体的实时运动目标识别系统FPGA电路框架图

图4为根据本发明的一个具体的实时运动目标识别系统视频编码电路框架图

图5为根据本发明的一个具体的实时运动目标识别系统SDRAM电路框架图

图6为根据本发明的一个具体的实时运动目标识别系统FLASH电路框架图

图7为根据本发明的一个具体的实时运动目标识别系统数据流程图

图8为根据本发明的一个具体的实时运动目标识别系统改进的纹波算法流程图

具体实施方式

本发明的一个具体实施方式是通过硬件和软件结合的方式实现的，在空中机器人上安装一个CCD摄像头和本发明的硬件系统，摄像头的输出连接到硬件系统的输入接口，通过拍摄地面目标获取视频信号输入到硬件系统，经过本发明的改进的纹波算法对目标进行识别，最终把识别结果通过无线传输模块发送到基站。

图1描述了根据本发明的一个具体的实时运动目标识别系统硬件框架图。硬件部分由视频解码、FPGA预处理、DM642、视频编码、SDRAM、FLASH、以太网、电源、JTAG、复位、时钟电路组成，外围连接CCD摄像头和无线传输模块。视频解码把输入的模拟视频信号转换成数字视频信号送入FPGA进行预处理，DM642作为一个主频高达600MHz的多媒体处理器具有很强的图像处理功能，对预处理信号进行边缘检测和模式识别。SDRAM是系统的内存，进行图像处理算法需要大量的内存空间，该SDRAM大小是64M，足以进行图像处理。FLASH是系统非易失存储器，作为程序代码存放空间。JTAG、复位、时钟、电源是DM642最小系统的组成部分，JTAG是DM642的仿真接口，用来进行程序的调试。

图2描述了根据本发明的一个具体的实时运动目标识别系统视频解码电路框架图。采用视频解码芯片TVP5150，该TVP5150的输入时钟使用14.3818MHz有源时钟，采用一路CVBS复合视频模拟信号输入，经过LC滤波和阻抗匹配设计，另外一路接地。数字和模拟电压是1.8V，I/O电压是3.3V，输出视频流通过YOUT7～YOUT0送入FPGA，同步信号内嵌在视频流中。TVP5150有两个IIC设备地址(0xB8，0xBA)，通过复位上电锁存YOUT7引脚的电平设置I2C设备地址。TVP5150虽然不支持缩放(Scaling)功能，但是可以截取屏幕的一部分作后续的压缩处理，具体操作是对应的寄存器中选择视频流的起始行和结束行，控制图像的纵向长度，选择单行的起始位置和结束位置并利用图像的AVID功能控制图像的水平宽度。模拟视频信号首先进入多路选通器，再进入增益放大器送入A/D转换电路，该ADC有9位的精度，采样频率最高达27MHz。然后经过Y/C分离器产生亮度信号和色差信号，该过程是通过复合视频乘以载波信号后产生色差信号再通过低通滤波器进行分离。最后经过亮度和色差处理产生YCbCr 4:2:2数字视频。

图3为根据本发明的一个具体的实时运动目标识别系统FPGA电路框架图。本发明选用的是XC4VSX25芯片。选取FPGA的16个I/O口将其配置成YCbCr数字视频信号的输入和输出，分别与解码芯片TVP5150和与DM642相连。解码芯片TVP5150通过一个I/O口输出工作时钟SCLK给FPGA作为FPGA处理视频信号的时钟，再通过一个I/O输出口把这个工作时钟传递给DM642，实现整个系统处理视频信号的步调一致性。本发明中，自行设计了一个简单的I2C控制器，将两个I/O口配置成I2C总线接口，用于配置解码芯片TVP5150的状态寄存器。另外，本发明设置了3个发光二极管，与FPGA相连，用以显示FPGA的上电、复位和出错报警状态。

图4为根据本发明的一个具体的实时运动目标识别系统视频编码电路框架图。视频编码的作用是把数字视频信号转换成模拟视频信号，本系统把DM642的VP0配置成视频输出，其格式为8-bit ITU-R BT.656，采用的编码器是SAA7121，SAA7121是PHILIPS公司的一种高集成度视频编码芯片，可以将数字的YUV数字编码为PAL或者NTSC制式的CVBS输出或者S端子输出的模拟视频信号，单一的3.3V供电。主要由数据管理单元、编码器、输出接口、10bit D/A转换器、同步时钟电路和I2C总线接口等组成。

SAA7121的设备寄存器也是由I2C总线来配置的，DM642片内I2C控制器作为主机，SAA7121编码器作为I2C从设备，其地址与TVP5150不同，但I2C读写时序一样。SAA7121输入口MP7～MP0与VP0视频数据总线相连，LLC(27MHz的行锁存信号)与第一路TVP5150的输出时钟SCLK相连，该SCLK必须配置成输出有效信号，RCV2(HSYNC信号)与VP0CTL0相连，RCV1(VSYNC信号)与VP0CTL1相连，即DM642的VP0控制信号作为视频输出的行同步和列同步信号。SAA7121模拟电压和数字电压都为3.3V，可输出复合视频信号和YC模拟信号。

图5为根据本发明的一个具体的实时运动目标识别系统SDRAM电路框架图。采用2片4M×32bit SDRAM合成64位存储器接到DM642的CE0空间，内存映射地址为0x80000000～0x82000000；A[20:19]通过跳线配置为10b，SDRAM工作频率为100M，使用ECLKOUT1作为SDRAM的时钟信号。

图6为根据本发明的一个具体的实时运动目标识别系统FLASH电路框架图。FLASH是可擦写和编程的非易失性存储器，已经逐渐取代只读存储器ROM，作为嵌入式系统中的硬盘使用，DM642内部没有非易失性存储器，如果要在野外使用，必须把程序烧写到FLASH中，因此，FLASH是该系统不可缺少的模块。本系统采用4M×8bit的FLASH存储器AM29LV033接到DM642的CE1空间，内存映射地址为0x90000000～0x9010000；即没有把4M的地址空间全部映射到CE1空间，因为DM642只有20根地址线，不能访问全部的4M地址空间，剩余的地址空间使用DM642的两个GPIO口来选择分页。

图7为根据本发明的一个具体的实时运动目标识别系统数据流程图。程序是在DSP/BIOS嵌入式操作系统的调度下运行的，视频输入任务从采集帧缓存中将数据取走，并进行YUV4:2:2到YUV4:2:0的采样格式变换。当变换完成后，输入任务将消息(消息中包括图像数据存放地址)放入消息队列中，然后视频输入任务等待来自于队列中的图像编码任务完成消息。当得到此消息后，视频输入任务将通知驱动程序释放缓冲区，并获取新的图像数据。图像编码任务得到消息后，已有一帧数据在输入缓存中。图像编码任务在处理其通道操作时，从输入缓存读取数据，执行预定算法，处理完毕后则将数据进行YUV4:2:0到YUV4:2:2的格式变换后，直接送到输出缓存中输出显示。

图8为根据本发明的一个具体的实时运动目标识别系统改进的纹波算法流程图。该算法通过三个步骤进行目标识别。第一步是对一帧灰度图像做二值化处理，然后对得到的二值图像做区域标记，得到图像中的多个区域；第二步是提取各区域面积比特征A_i；第三步是提取各区域同心圆比例特征P_i。识别时先判断特征A_i是否成立，如果成立，则进一步判断特征P_i。程序流程图如图6所示，流程图中的滤波可以使二值化取得更好的效果，如果各面积比特征A_i符合判断标准，则绘制同心圆，根据同心圆提取特征P_i，进一步判断，如果面积比特征A_i和其对应的同心圆比例特征P_i不能同时满足标准，则转到下一个区域判断，直到一帧图像的所有区域判断完成。如果有一个区域A_i和P_i特征全部在指定范围内，则可认定该区域为目标区域，其重心将由十字标出，并把识别结果通过无线传输模块发送到基站。然后继续下一帧图像，重复步骤一、二、三提取图像特征，进行目标识别。

Claims (2)

1.一种基于DSP和FPGA的实时运动目标识别系统，其特征在于：系统包括由DM642、电源、复位和JTAG组成的DSP最小系统，FPGA图像预处理模块，视频编码解码模块，以太网通信模块，无线传输模块以及扩展存储器模块；CCD采集的模拟视频信号通过视频解码模块进行数字化，送入FPGA图像预处理模块进行图像预处理，再将预处理之后的数字图像信号输入到DSP最小系统，使用改进的纹波算法进行目标识别，最后把结果进行视频编码并通过以太网通信模块和无线传输模块进行通信；扩展存储器模块与DSP最小系统相连接；

所述的改进的纹波算法通过DM642对运动目标进行识别；传统的特征提取通常采用基于区域外接矩形的方法，在改进的纹波算法中，使用圆代替矩形进行特征提取；取区域的质心作为同心圆的中心，并进一步提出面积比和同心圆比，共2n个特征量作为目标识别的特征，从而实现了识别过程中的平移、比例和旋转不变性；具体步骤如下：

步骤一：对一帧灰度图像做二值化处理，然后对得到的二值图像做区域标记，得到图像中的多个区域；

步骤二：提取每个区域的面积比特征A_i；

步骤三：提取每个区域的同心圆比例特征P_i；

识别时先判断特征A_i是否成立，如果成立，则进一步判断特征P_i；如果各面积比特征A_i符合判断标准，则绘制同心圆，根据同心圆提取特征P_i，进一步判断；如果面积比特征A_i和其对应的同心圆比例特征P_i不能同时满足标准，则转到下一个区域判断，直到一帧图像的所有区域判断完成；如果有一个区域A_i和P_i特征全部在指定范围内，则可认定该区域为目标区域，其重心将由十字标出，并把识别结果通过无线传输模块发送到基站；然后继续下一帧图像，重复步骤一、二、三提取图像特征，进行目标识别。

2.如权利要求1所述的识别系统，其特征在于：所述的扩展存储器模块为采用2片4M×32bit SDRAM合成64位存储器接到DM642的CE0空间，采用4M×8bit的FLASH存储器AM29LV033接到DM642的CE1空间，并使用DM642的GPIO口对FLASH进行分页，每页大小为512K字节；

所述的FPGA图像预处理模块用来对视频解码输出的数字视频信号进行预处理，再送入DM642进行目标识别，使用FPGA取代DSP进行大量结构比较简单的预处理运算，用硬件对图像进行预处理。

Images