CN113709399B - 一种基于dsp+fpga的视觉目标跟踪系统 - Google Patents

Abstract

本发明涉及图像处理模式识别领域，具体涉及一种基于DSP+FPGA的视觉目标跟踪系统，主要处理步骤包括采集图像数据和接收串口指令、接收图像数据和上位机指令、视觉目标跟踪及数据后处理，以及系统的目标偏测量数据发送与图像显示，本发明利用DSP与FPGA之间的串行高速输入输出口、外部存储器接口实现数据的高速传输，并通过改变硬件连通的通用输入输出口（GPIO）引脚电平触发彼此的数据接收中断以通知各进程相关数据传输已完成，实现DSP与FPGA之间的高速数据交换。

Description

一种基于DSP+FPGA的视觉目标跟踪系统

技术领域

本发明属于图像处理模式识别领域，具体涉及一种基于DSP+FPGA的视觉目标跟踪系统。

背景技术

在计算机视觉领域，视觉目标跟踪是一个研究热点和难点。视觉跟踪通过在连续的视频图像序列中估计跟踪目标的形状、位置和所占区域，确定目标的运动速度、方向及轨迹等信息，以实现对目标行为的分析和理解。目前已被广泛应用于军事导航、智能监控和医学影像等领域。

国内外现有的技术中，主要研究在单一的FPGA或者DSP处理器上实现视觉目标跟踪处理；其中，FPGA平台编程复杂，不利于处理系统的算法程序的快速迭代升级；DSP平台数据处理能力较强，但直接通过数据接口采集图像数据的能力不足，工程应用受到限制。

基于DSP+FPGA的嵌入式目标跟踪系统具有体积小、功耗低和便于携带等优点，利用DSP具有较强处理复杂算法、FPGA适合做数据量大和结构简单运算的优势，可以极大地提升跟踪系统的实时性和灵活性，应用前景十分广阔。

发明内容

针对现有技术中存在的不足，本发明提供一种基于DSP+FPGA的视觉目标跟踪系统，所要解决的技术问题是如何将原本单一的DSP和FPGA处理器结合，提高跟踪系统的实时性和灵活性。

为解决上述技术问题，本发明提供的技术方案是：一种基于DSP+FPGA的视觉目标跟踪系统，其步骤包括：

S1：采用FPGA处理器控制串口、视频解码芯片的时序以采集图像数据和接收串口指令；

S2：采用DSP处理器通过SRIO、EMIF高速接口和GPIO中断接口接收图像数据和上位机指令；

S3：视觉目标跟踪及数据后处理；

S4：FPGA实现偏测量数据发送及图像显示。

优选的，步骤S1中的具体流程为：

S1.1：FPGA通过控制外接串口芯片的时序，实现对跟踪指令数据的接收，以透传方式将指令数据写入DSP的EMIF空间，并触发DSP处理器相应的GPIO引脚中断；

S1.2：根据图像数据时钟信号信息控制连接相机的视频解码芯片时序，实现对图像数据的采集，并通过对SDRAM缓存单元的控制，实现对采集图像数据的缓存；

S1.3：通过SRIO接口将图像数据写入DSP连接的DDR3存储器中，并触发DSP处理器相应GPIO引脚中断。

优选的，步骤S2的具体流程为：

S2.1：DSP响应指令中断后，从EMIF空间中读取指令数据，按照相应协议进行解析并更新全局指令参数；

S2.2：DSP响应图像中断后，在DDR3存储器的指定空间中读取图像数据，通过计算图像数据的标志位数值判断本次读取的图像是否有效；

优选的，在步骤S3中的具体流程为：

S3.1：在DSP读取到有效图像数据后，重置图像数据标志位，使其处于无效状态；

S3.2：根据指令全局变量信息，判断当前处理状态，并对图像数据进行相应计算；

S3.3：根据得到的目标偏测量数据进行偏测量反馈编码和叠加栅板制作，并将编码后的偏测量数据和文字叠加信息写入EMIF空间，改变DSP相应引脚电平触发FPGA的偏测量发送与文字叠加中断。

优选的，DSP在EMIF空间中开辟与输入图像尺寸相同大小的 char型数据段，DSP通过对该段EMIF空间中数据进行编辑，将字符信息添加到栅板中，完成叠加栅板的制作，并通过GPIO引脚触发FPGA文字叠加中断。

优选的，在步骤S4中的具体流程为：

S4.1：FPGA响应中断函数，从EMIF空间中读取偏测量反馈信息，并控制串口芯片将偏测量反馈信息通过串口发送出去；

S4.2：FPGA从EMIF空间中读取文字叠加栅板，用栅板中各点数据约束SDRAM中缓存图像的相应像素点信息，实现图像的字符叠加，将叠加字符信息的图像数据进行编码并发送至显示器。

本技术方案所带来的有益效果是：本发明一种基于DSP和FPGA的视觉目标跟踪系统，其中DSP负责指令解析、跟踪处理、文字叠加栅板制作、偏测量数据编码；FPGA负责完成图像数据采集与显示、视频文字叠加和串口的逻辑控制，利用DSP与FPGA之间的串行高速输入输出口（SRIO）、外部存储器接口（EMIF）实现数据的高速传输，并通过改变硬件连通的通用输入输出口（GPIO）引脚电平触发彼此的数据接收中断以通知各进程相关数据传输已完成，实现DSP与FPGA之间的高速数据交换。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：

图1为本发明的软件实现结构图；

图2为本发明的指令更新处理过程；

图3为本发明的目标跟踪算法处理流程图；

图4为本发明的文字叠加信息传输流程图；

图5为本发明的DSP模块的偏测量处理流程图。

具体实施方式

以下结合附图对本发明的优选实例进行说明，应当理解，此处所描述的优选实例仅用于说明和解释本发明，并不用于限定本发明。

本发明所述的一种基于DSP+FPGA的视觉目标跟踪系统，如图1所示，主要包括以下步骤：

S1：采用FPGA处理器控制串口、视频解码芯片的时序以采集图像数据和接收串口指令；

S1.1：FPGA通过控制外接串口芯片的时序，实现对跟踪指令数据的接收，以透传方式将指令数据写入DSP的EMIF空间，并触发DSP处理器相应的GPIO引脚中断；

S1.2：FPGA根据图像数据时钟信号消隐区信息控制连接相机的视频解码芯片时序，实现对图像数据的采集，并通过对SDRAM缓存单元的控制，实现对采集图像数据的缓存。

S2：DSP处理器通过EMIF、SRIO高速接口和GPIO中断收上位机指令和图像数据；

S2.1：DSP响应指令中断后，从EMIF空间中读取指令数据，按照相应协议进行解析并更新全局指令参数；

跟踪系统的指令更新采取数据写入加中断通知的方式，由上位机发送至FPGA，FPGA通过EMIF接口将数据转发至DSP的EMIF空间，并通过改变GPIO引脚电平以触发DSP硬件中断，DSP在硬件中断服务函数中处理指令更新。

中断响应后，详细处理过程如下图2所示，DSP指令中断到来后，中断响应函数从EMIF的指定数据地址段中读取串口发送的指令信息，并将这些数据搬移至静态存储空间，随后DSP读取静态空间指令数据的长度标志位得到该帧数据的长度信息，然后根据长度信息将数据段的有效数据位进行指令校验。DSP读取静态空间指令数据的类型标志位，按照约定协议解析指令并对程序的指令全局变量进行赋值，随后DSP对EMIF空间的指令数据存储空间进行清零处理，并跳出该中断。

在上述的DSP数据搬移内容中，具体方式为，DSP执行平台初始化操作时，在DDR3存储器中开辟一段静态存储空间，用于存储串口发送的指令信息。在指令中断到来后，中断响应函数从EMIF中的指定数据地址中读取串口发送的指令信息，并将这些数据搬移至该段静态存储空间，防止EMIF空间的指令数据被覆盖。

同时，DSP读取指令数据段的长度标志位得到指令数据帧的长度信息，然后根据长度信息将数据段中有效指令帧数据进行指令校验，校验该帧指令是否有误。数据正确，解析数据；数据有误，则将指令错误全局变量数值加1。完成数据校验后，DSP读取正确数据帧中的类型标志位，判断指令类型；然后，按照约定协议对程序的指令全局变量进行赋值。数据解析完成后，DSP对EMIF空间的指令数据段和DDR3的指令存储空间进行清零处理，以避免对后续处理造成影响，并跳出指令中断。

S2.2：DSP响应图像中断后，在DDR3存储器的指定空间中读取图像数据，通过计算图像数据的标志位数值判断本次读取的图像是否有效。

FPGA执行到图像的消隐区时，通过SRIO接口将SDRAM中图像数据写入DSP的DDR3存储器中并通过GPIO电平触发DSP的图像接收硬件中断，为了防止FPGA写入图像数据与DSP读取图像数据间读写冲突，本研究使用乒乓操作对DSP图像存储进行设计使得DSP读取图像数据与FPGA写入图像数据不能同时使用相同的DDR3数据段。

在上述步骤中，奇帧/场中断服务设置源代码为：

interrupt void C66x_ISR_INTCA(void)

{

fpga_GetImageFromDDR3DATA_A();

}

偶帧/场中断服务设置源代码：

interrupt void C66x_ISR_INTCB(void)

{

fpga_GetImageFromDDR3DATA_B();

}

上述代码中，处理高清制式视频数据时，将奇偶帧分开处理；处理标清制式视频数据时，将同一帧影像的奇偶场分开处理。FPGA向DSP传输奇帧/场图像时，触发DSP的外部中断A；FPGA向DSP传输偶帧/场图像时，触发DSP的外部中断B。当FPGA向DSP的DDR3DATA_A数据段写入奇帧/场数据并通过DSP硬件中断A绑定引脚触发DSP图像中断时，DSP正处理DDR3DATA_B数据段中图像数据或者已处理完图像数据并处于中断等待状态；DSP与FPGA不同时访问相同的DDR3数据段，避免了访问冲突。

S3：视觉目标跟踪及数据后处理；

S3.1：在DSP读取到有效图像数据后，通过计算图像数据的标志位数值判断本次读取的图像是否有效，有效则重置标志位，使其处于无效状态，并执行跟踪指令读取；如果读取的图像标志位无效则跟踪处理数组中的跟踪状态和偏测量信息中写入图像无效状态；

S3.2：根据S2中指令全局变量信息，判断当前处理状态，并对图像数据进行跟踪计算，如下图3所示；

读取跟踪指令信息，判断DSP是否执行跟踪目标指令，需要进行跟踪处理则进行跟踪算法的调度；不需要进行跟踪计算则向跟踪处理数组中的跟踪状态和偏测量信息中写入空闲线程状态标识。调度跟踪算法处理时对图像中的目标进行处理和相关性判断，相关性小于等于阈值时，判定本次跟踪无效，向跟踪处理数组中写入目标丢失的跟踪状态；相关性大于阈值时，判定算法跟踪目标稳定；

S3.3：根据得到的目标偏测量数据进行偏测量反馈编码和叠加栅板制作，并将编码后的偏测量数据和文字叠加信息写入EMIF空间，改变DSP相应引脚电平触发FPGA的偏测量发送与文字叠加中断。

在上述步骤中，跟踪系统的显示控制单元由FPGA控制，跟踪处理得到的显示信息需要由DSP模块传输至FPGA模块，传输流程如图4所示，DSP在EMIF空间中开辟与输入图像尺寸相同大小的char型数据段，DSP通过对该段EMIF空间中数据进行编辑，将字符信息添加到栅板中，完成叠加栅板的制作，并通过GPIO引脚触发FPGA文字叠加中断。

另外，偏测量数据由DSP写入EMIF空间，并通过GPIO中断触发FPGA的偏测量数据读取进程，并直接透传至串口输出，执行过程如图5所示。

在上述步骤中，为了避免上一帧偏测量数据对本帧数据的影响，需要对DSP平台EMIF空间偏测量数据进行清零处理。

跟踪算法处理后，仅得到跟踪状态和目标在图像中的位置。当跟踪执行时，需要读取跟踪状态和目标位置，跟踪目标丢失和空闲状态时，仅需要读取跟踪状态。

定义目标在图像中心点处，水平偏测量X、俯仰偏测量Y的数值为0、0,；目标位于图像右下方时，偏测量为正值；目标位于图像左上方时，偏测量为负值。由于串口发送的一个char型字符不能够将目标偏测量大于256的偏测量信息完整表示，因此需要对目标偏测量进行转换，本研究使用两个紧邻的char型字符表示目标的偏测量，详细计算如下：

偏测量数值大于0时：

ByteH = N/256

ByteL = N%256

偏测量数值小于0时：

ByteH = 255-N/256

ByteL = -N%256

在上述计算公式中，ByteH表示目标偏测量高8位，ByteH小于4时，偏测量大于0，ByteH大于251时，偏测量小于0；ByteL表示偏测量的低8位。

将编码后的得到的偏测量帧数据写入DSP的EMIF空间数据段，然后改变相应的GPIO引脚电平，触发FPGA的偏测量数据发送中断。

S4：FPGA实现偏测量数据发送及图像显示；

S4.1：FPGA响应中断函数，从EMIF空间中读取偏测量反馈信息，并控制串口芯片将偏测量反馈信息通过串口发送出去；

S4.2：FPGA从EMIF空间中读取文字叠加栅板，用栅板中各点数据约束SDRAM中缓存图像的相应像素点信息，实现图像的字符叠加，将叠加字符信息的图像数据进行编码并发送至显示器。

最后应说明的是：以上所述仅为本发明的优选实例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (2)

1.一种基于DSP+FPGA的视觉目标跟踪方法，其特征在于，步骤包括：

S1：采用FPGA处理器控制串口和视频解码芯片的时序以采集图像数据和接收串口指令；

S2：采用DSP处理器通过SRIO和EMIF高速接口以及GPIO中断接收图像数据和上位机指令；

S3：DSP处理器进行视觉目标跟踪及数据后处理；

S4：FPGA实现偏测量数据发送及图像显示；

步骤S1中的具体流程为：

S1.1：通过控制外接串口芯片的时序，实现对跟踪指令数据的接收，以透传方式将指令数据写入DSP的EMIF空间，并触发DSP处理器相应的GPIO引脚中断；

S1.2：根据图像数据时钟信号控制连接相机的视频解码芯片时序，实现对图像数据的采集，并通过对SDRAM缓存单元的控制，实现对采集图像数据的缓存；

S1.3：通过SRIO接口将图像数据写入DSP连接的DDR3存储器中，并触发DSP处理器相应GPIO引脚中断；

在步骤S3中的具体流程为：

S3.1：在DSP读取到有效图像数据后，重置图像数据标志位，使其处于无效状态；

S3.2：根据全局指令参数，判断当前处理状态，并对图像数据进行相应计算；

S3.3：根据得到的目标偏测量数据进行偏测量反馈编码和叠加栅板制作，并将编码后的偏测量数据和文字叠加信息写入EMIF空间，改变DSP相应引脚电平触发FPGA的偏测量发送与文字叠加中断；

DSP在EMIF空间中开辟与输入图像尺寸相同大小的char型数据段，DSP通过对该段EMIF空间中数据进行编辑，将字符信息添加到栅板中，完成叠加栅板的制作，并通过GPIO引脚触发FPGA文字叠加中断；

在步骤S4中的具体流程为：

S4.1：FPGA响应中断函数，从EMIF空间中读取偏测量反馈信息，并控制串口芯片将偏测量反馈信息通过串口发送出去；

S4.2：FPGA从EMIF空间中读取文字叠加栅板，用栅板中各点数据约束SDRAM中缓存图像的相应像素点信息，实现图像的字符叠加，将叠加字符信息的图像数据进行编码并发送至显示器。

2.根据权利要求1所述的一种基于DSP+FPGA的视觉目标跟踪方法，其特征在于，步骤S2的具体流程为：

S2.1：DSP响应指令中断后，从EMIF空间中读取指令数据，按照相应协议进行解析并更新全局指令参数；

S2.2：DSP响应图像中断后，在DDR3存储器的指定空间中读取图像数据，通过计算图像数据的标志位数值判断本次读取的图像是否有效。