CN109413392B - 一种嵌入式多通道视频图像采集与并行处理的系统及方法 - Google Patents

Abstract

本发明公开了一种嵌入式多通道视频图像采集与并行处理的系统，包括多通道图像采集模块、FPGA和DSP；所述多通道图像采集模块采集图像数据并发送给FPGA；所述FPGA缓存图像数据并处理后发送至DSP；所述DSP为多核DSP，且DSP的多个核心对FPGA发送来的图像数据进行并行处理。本发明还公开了一种嵌入式多通道视频图像采集与并行处理的方法。本发明一种嵌入式多通道视频图像采集与并行处理的系统及方法，通过设置上述模块，采用FPGA对图像数据缓存，并采用多核DSP进行并行处理图像信号，可以实现对多通道图像数据的处理，提高了系统的运行速度，对于大范围分布式监控应用，增大了监控范围，可完成对多个重点监控区域监控、跟踪、分别显示。

Description

一种嵌入式多通道视频图像采集与并行处理的系统及方法

技术领域

本发明涉及图像处理技术领域，具体涉及一种嵌入式多通道视频图像采集与并行处理的系统及方法。

背景技术

随着微电子技术的发展，相机等光学传感器的性能得到了不断提高，价格却不断下降，从而产生了许多基于多相机的应用系统，如基于多摄像机的数据采集、分析系统，多传感器图像融合系统，基于分布式摄像机的大范围视频监控系统等。这些系统的共同点是都需要同时处理多通道视频数据流，实现高带宽、大容量图像数据高速、实时处理。

传统的图像采集处理系统往往只有一个图像数据通道，每次的数据采集只能面向单一传感器，并且数据速率比较有限，从而不能很好的为新的系统服务。由此，多通道视频处理系统需要一种与之相匹配的稳定、可靠的多通道同步或异步视频图像采集、缓存、并行处理与显示的装置。

发明内容

本发明所要解决的技术问题是现有的嵌入式系统往往只有一个图像数据通道，每次的数据采集只能面向单一传感器，并且数据速率比较有限，从而不能很好的为新的系统服务，目的在于提供一种嵌入式多通道视频图像采集与并行处理的系统及方法，解决上述问题。

本发明通过下述技术方案实现：

一种嵌入式多通道视频图像采集与并行处理的系统，包括多通道图像采集模块、FPGA和DSP；所述多通道图像采集模块采集图像数据并发送给FPGA；所述FPGA缓存图像数据并处理后发送至DSP；所述DSP为多核DSP，且DSP的多个核心对FPGA发送来的图像数据进行并行处理。

现有技术中，嵌入式系统往往只有一个图像数据通道，每次的数据采集只能面向单一传感器，并且数据速率比较有限，从而不能很好的为新的系统服务。本发明应用时，本发明主要用于空中多目标搜索、跟踪，在进行空中多目标搜索、跟踪时，需要多个通道进行图像采集，并且需要对多个通道的图像进行快速处理，才能够方便后续系统进行图像合成和目标捕捉。本发明采用FPGA与DSP作为主处理器，FPGA执行图像缓存和分发，而DSP对图像数据进行处理，在采用DSP进行图像数据处理时，本发明采用并行计算的方式，这里所述的并行计算可以为通过EDMA方式实现数据传输和数据处理并行处理架构，也可以通过多核DSP，将图像数据切割成多片，进行多DSP的并行数据处理，还可以将每一个图像数据通道对应一个DSP内核进行处理，采用这种方式的运行可以有效的提高多通道图片数据的处理速度，由于不同于其他领域的图像采集过程，在进行空中多目标搜索、跟踪时，需要几个通道的图像都处理完成时，才可以进行最终的拼接和显示，同时由于在FPGA内采用缓存的方式储存图像数据，在后端数据处理时，可以将缓存的图像数据和DSP处理的数据进行合成形成最终图像，增加空中目标搜索的准确性，本发明可以有效的提高整个系统的运行速度。本发明通过设置上述模块，采用FPGA对图像数据缓存，并采用多核DSP进行并行处理图像信号，可以实现对多通道图像数据的处理，提高了系统的运行速度，并且增加了空中目标搜索的准确性。

进一步的，所述FPGA包括数据缓存单元、数据优先级仲裁模块、多通道视频片间传输模块和第一DDR3单元；所述数据缓存单元缓存多通道图像采集模块发送来的图像数据；所述数据优先级仲裁模块比较每一路视频源的有效数据信息，并选择一路视频源发送至第一DDR3单元；所述第一DDR3单元进行读写控制完成数据缓存。所述多通道视频片间传输模块实现与DSP交互。

本发明应用时，空中多目标搜索、跟踪时，可能会出现需要优先处理的图像，例如出现了目标的图像，这时就需要通过数据优先级仲裁模块在调度中对这些图像信息进行优先处理，本发明通过多通道图像的优先级进行仲裁，可以快速的对重要图像进行优先缓存，提高了处理效率。

进一步的，还包括显示模块；所述FPGA对缓存中的图像叠加经由DSP并行处理后返回的图像信息后，由显示模块进行拼接显示或者分别显示。

本发明应用时，DSP处理后的图像信息一般会加入波门/十字线等标记与目标位置等信息凸显图像信息中的目标，这是将该目标信息与缓存中的图像进行叠加，可以将目标突出的展示出来，并持续框选跟踪。

进一步的，所述多核DSP的一个核心处理一个通道采集的图像数据。

本发明应用时，每一个DSP内核对一个通道的数据进行处理，多通道的使用扩展了搜索、跟踪的视场，同时使得所有数据都可以得到同步处理，进一步的节省了处理时间，减少了空中搜索、跟踪的响应时间。

一种嵌入式多通道视频图像采集与并行处理的方法，包括以下步骤：S1：采集多通道同步或异步的图像数据；S2：对多通道的图像数据进行仲裁，并根据仲裁结果对多通道图像数据进行缓存调度；S3：通过多通道图像数据的片间传输，将多通道图像数据分别送入DSP的多个内核中处理。

本发明应用时，本发明主要用于空中多目标搜索、跟踪，在进行空中多目标搜索、跟踪时，需要多个通道进行图像采集，并且需要对多个通道的图像进行快速处理，才能够方便后续系统进行图像合成、采取目标处置措施。本发明采用FPGA与DSP作为主处理器，FPGA执行图像缓存和分发，而DSP对图像数据进行处理，在采用DSP进行图像数据处理时，本发明采用并行计算的方式，这里所述的并行计算可以为通过EDMA方式实现数据传输和数据并行处理架构，也可以通过多核DSP，将图像数据切割成多片，进行多DSP的并行数据处理，还可以将每一个图像数据通道对应一个DSP内核进行处理，采用这种方式的运行可以有效的提高多通道图片数据的处理速度，由于不同于其他领域的图像采集过程，在进行空中多目标搜索、跟踪时，需要几个通道的图像都处理完成时，才可以进行最终的拼接和显示，同时由于在FPGA内采用缓存的方式储存图像数据，在后端数据处理时，可以将缓存的图像数据和DSP处理的数据进行合成形成最终图像，增加空中目标搜索的准确性，本发明可以有效的提高整个系统的运行速度。

进一步的，还包括以下步骤：S4：对缓存中的图像进行拼接显示或者分别显示，并叠加经由DSP并行处理后返回的图像信息。

本发明应用时，DSP处理后的图像信息一般会加入波门/十字线等标记与目标位置等信息凸显图像信息中的目标，这是将该目标信息与缓存中的图像进行叠加，可以将目标突出的展示出来，并持续框选跟踪。

进一步的，步骤S2包括以下子步骤：判断各通道图像数据的数据量，并在图像数据的数据量超过阈值时提高该通道图像数据处理的优先级。

本发明应用时，当图像数据的数据量超过阈值时，说明该通道的图像数据需要进行及时处理，此时提高该通道的优先级，可以提高整个系统的工作效率。

进一步的，步骤S2包括以下子步骤：判断各通道图像数据是否触发优先信号，并提高触发优先信号的图像数据的优先级。

本发明应用时，当图像数据触发优先信号，说明图像数据中可能存在目标，这就需要对此通道进行优先处理。

进一步的，步骤S3包括以下子步骤：在多通道图像数据送入DSP的多个内核中处理时，每一个DSP内核处理一个通道的图像数据。

进一步的，步骤S1包括以下子步骤：当进行大范围分布式监控时，多通道图像数据为不同的图像数据；当进行空中目标搜索、跟踪时，多通道图像数据为相同或相似的图像数据。

本发明应用时，为了针对在进行空中搜索、跟踪目标时会产生的问题，对不同的环境进行了不同的设计，当进行大范围分布式监控时，多通道图像数据为不同的图像数据，这样可以增大监控范围，对多个重点监控区域进行分别显示；而当进行空中目标搜索、跟踪时，多通道图像数据为相同或相似的图像数据，也就是所有的采集端都是朝向天空，这样可以扩大搜索、跟踪视场，多区域视频进行拼接显示。

本发明与现有技术相比，具有如下的优点和有益效果：

1、本发明一种嵌入式多通道视频图像采集与并行处理的系统，通过设置上述模块，采用FPGA对图像数据缓存，并采用多核DSP进行并行处理图像信号，可以实现对多通道图像数据的处理，提高了系统的运行速度，并且扩大搜索、跟踪视场，增加了空中目标搜索、跟踪的快速性、准确性；

2、本发明一种嵌入式多通道视频图像采集与并行处理的方法，通过设置上述步骤，采用FPGA对图像数据缓存，并采用多核DSP进行并行处理图像信号，可以实现对多通道图像数据的处理，提高了系统的运行速度，并且扩大搜索、跟踪视场，增加了空中目标搜索、跟踪的快速性、准确性。

附图说明

此处所说明的附图用来提供对本发明实施例的进一步理解，构成本申请的一部分，并不构成对本发明实施例的限定。在附图中：

图1为本发明系统结构示意图；

图2为本发明方法步骤示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本发明作进一步的详细说明，本发明的示意性实施方式及其说明仅用于解释本发明，并不作为对本发明的限定。

实施例1

如图1所示，本发明一种嵌入式多通道视频图像采集与并行处理的系统及方法，包括多通道图像采集模块、FPGA和DSP；所述多通道图像采集模块采集图像数据并发送给FPGA；所述FPGA缓存图像数据并处理后发送至DSP；所述DSP为多核DSP，且DSP的多个核心对FPGA发送来的图像数据进行并行处理。

本实施例实施时，本发明主要用于空中多目标搜索、跟踪，在进行空中多目标搜索时，需要多个通道进行图像采集，并且需要对多个通道的图像进行快速处理，才能够方便后续系统进行图像合成、采取目标处置措施。本发明采用FPGA与DSP作为主处理器，FPGA执行图像缓存和分发，而DSP对图像数据进行处理，在采用DSP进行图像数据处理时，本发明采用并行计算的方式，这里所述的并行计算可以为通过EDMA方式实现数据传输和数据并行处理架构，也可以通过多核DSP，将图像数据切割成多片，进行多DSP的并行数据处理，还可以将每一个图像数据通道对应一个DSP内核进行处理，采用这种方式的运行可以有效的提高多通道图片数据的处理速度，由于不同于其他领域的图像采集过程，在进行空中多目标搜索时，需要几个通道的图像都处理完成时，才可以进行最终的拼接和显示，同时由于在FPGA内采用缓存的方式储存图像数据，在后端数据处理时，可以将缓存的图像数据和DSP处理的数据进行合成形成最终图像，增加空中目标搜索的准确性，本发明可以有效的提高整个系统的运行速度。本发明通过设置上述模块，采用FPGA对图像数据缓存，并采用多核DSP进行并行处理图像信号，可以实现对多通道图像数据的处理，提高了系统的运行速度，并且扩大搜索、跟踪视场，增加了空中目标搜索、跟踪的快速性、准确性。

实施例2

本实施例在实施例1的基础上，所述FPGA包括数据缓存单元、数据优先级仲裁模块、多通道视频片间传输模块和第一DDR3单元；所述数据缓存单元缓存多通道图像采集模块发送来的图像数据；所述数据优先级仲裁模块比较每一路视频源的有效数据信息，并选择一路视频源发送至第一DDR3单元；所述第一DDR3单元进行读写控制完成数据缓存。所述多通道视频片间传输模块实现与DSP交互。

本实施例实施时，空中多目标搜索时，可能会出现需要优先处理的图像，例如出现了目标的图像，这时就需要通过数据优先级仲裁模块在调度中对这些图像信息进行优先处理，本发明通过多通道图像的优先级进行仲裁，可以快速的对重要图像进行优先缓存，提高了处理效率。

实施例3

本实施例在实施例1的基础上，还包括显示模块；所述FPGA对缓存中的图像叠加经由DSP并行处理后返回的图像信息后，由显示模块进行拼接显示或者分别显示。

本实施例实施时，DSP处理后的图像信息一般会加入波门/十字线等标记与目标位置等信息凸显图像信息中的目标，这是将该目标信息与缓存中的图像进行叠加，可以将目标突出的展示出来，并持续框选跟踪。

实施例4

本实施例在实施例1的基础上，所述多核DSP的一个核心处理一个通道采集的图像数据。

本实施例实施时，每一个DSP内核对一个通道的数据进行处理，使得所有数据都可以得到同步处理，进一步的节省了处理时间，减少了空中搜索的响应时间。

实施例5

如图1所示，本实施例在实施例1～4的基础上，多通道同步或异步视频数据采集：

FPGA控制多通道图像采集模块将同步或异步视频数据流缓存在相应的异步FIFO中，数据优先级仲裁模块比较每一路视频源的有效数据信息，选择一路视频源，从相应的异步FIFO中读取数据，传输给DDR3存储控制模块与多通道视频片间传输模块。

DDR3存储控制模块接收视频源信息，产生DDR3读写控制命令并传递给DDR3内存控制器。DDR3内存控制器的用户接口经过类FIFO封装方式优化，根据读写操作命令、视频源通道编号和用户设定的读写操作空间计算给出DDR3读写操作相应的地址，若为写命令，视频源的数据将写入DDR3 SDRAM存储器为各路视频源所分配的地址空间中，若为读命令，FPGA控制从相应的地址空间中读出所需的视频源数据，输出到数据缓存模块的异步FIFO中。

多通道视频片间传输模块：

多通道视频片间传输模块采用SRIO将FPGA采集的多通道视频分别写入到DSP分配的第二DDR3单元中，多核DSP分别进行处理，并将处理结果通过EMIF传输给FPGA的显示模块，实现图像信息叠加。

DSP实现图像并行协同处理：

多核DSP通过SRIO接收到来自DDR3的图像信息，进行并行处理。并行模式包括两种，一种是通过EDMA方式实现数据传输和数据并行处理架构；另一种是通过多核DSP，将图像数据切割成多片，进行DSP多核的并行数据处理。完成处理后，用过EMIF接口将处理结果传给FPGA。

显示模块：

显示模块根据用户拼接显示或分别显示的设置，FPGA接收输出设备的同步信号，从数据缓存模块的异步FIFO中取出数据，并叠加经由DSP并行处理后返回的图像信息，最终数据传输给显示设备进行显示。

实施例6

如图2所示，本发明一种嵌入式多通道视频图像采集与并行处理的方法，包括以下步骤：S1：采集多通道同步或异步的图像数据；S2：对多通道的图像数据进行仲裁，并根据仲裁结果对多通道图像数据进行缓存调度；S3：通过多通道图像数据的片间传输，将多通道图像数据分别送入DSP的多个内核中处理。

本实施例实施时，本发明主要用于空中多目标搜索、跟踪，在进行空中多目标搜索、跟踪时，需要多个通道进行图像采集，并且需要对多个通道的图像进行快速处理，才能够方便后续系统进行图像合成、采取目标处置措施。本发明采用FPGA与DSP作为主处理器，FPGA执行图像缓存和分发，而DSP对图像数据进行处理，在采用DSP进行图像数据处理时，本发明采用并行计算的方式，这里所述的并行计算可以为通过EDMA方式实现数据传输和数据并行处理架构，也可以通过多核DSP，将图像数据切割成多片，进行多DSP的并行数据处理，还可以将每一个图像数据通道对应一个DSP内核进行处理，采用这种方式的运行可以有效的提高多通道图片数据的处理速度，由于不同于其他领域的图像采集过程，在进行空中多目标搜索、跟踪时，需要几个通道的图像都处理完成时，才可以进行最终的拼接和显示，同时由于在FPGA内采用缓存的方式储存图像数据，在后端数据处理时，可以将缓存的图像数据和DSP处理的数据进行合成形成最终图像，增加空中目标搜索的准确性，本发明可以有效的提高整个系统的运行速度。

实施例7

本实施例在实施例6的基础上，还包括以下步骤：S4：对缓存中的图像进行拼接显示或者分别显示，并叠加经由DSP并行处理后返回的图像信息。

本实施例实施时，DSP处理后的图像信息一般会加入波门/十字线等标记与目标位置等信息凸显图像信息中的目标，这是将该目标信息与缓存中的图像进行叠加，可以将目标突出的展示出来，并持续框选跟踪。

实施例8

本实施例在实施例6的基础上，步骤S2包括以下子步骤：判断各通道图像数据的数据量，并在图像数据的数据量超过阈值时提高该通道图像数据处理的优先级。

本实施例实施时，当图像数据的数据量超过阈值时，说明该通道的图像数据需要进行及时处理，此时提高该通道的优先级，可以提高整个系统的工作效率。

实施例9

本实施例在实施例6的基础上，步骤S2包括以下子步骤：判断各通道图像数据是否触发优先信号，并提高触发有限信号的图像数据的优先级。

本实施例实施时，当图像数据触发优先信号，说明图像数据中可能存在目标，这就需要对此通道进行优先处理。

实施例10

本实施例在实施例6的基础上，步骤S1包括以下子步骤：当进行大范围分布式监控时，多通道图像数据为不同的图像数据；当进行空中目标搜索、跟踪时，多通道图像数据为相同或相似的图像数据。

本实施例实施时，为了针对在进行空中搜索、跟踪目标时会产生的问题，对不同的环境进行了不同的设计，当进行大范围分布式监控时，多通道图像数据为不同的图像数据，这样可以增大监控范围，对多个重点监控区域进行分别显示；而当进行空中目标搜索、跟踪时，多通道图像数据为相同或相似的图像数据，也就是所有的采集端都是朝向天空，这样可以扩大搜索、跟踪视场，多区域视频进行拼接显示。

实施例11

如图2所示本实施例在实施例6～10的基础上，本实施例流程如下：

主程序运行，完成系统的上电复位操作，系统判断DDR3控制器的校准信号是否完成，若未完成，继续等待，若完成，FPGA控制各路视频源的有效数据分别实时缓存在FPGA异步FIFO中；数据优先级仲裁模块比较每一路视频源的有效数据信息，判断视频通道优先级，选择一路视频源，从相应的异步FIFO中读取数据；DDR3读写控制模块接收视频源信息，产生DDR3读写控制命令，并根据读写操作命令、视频源通道编号和用户设定的读写操作空间计算给出DDR3读写操作相应的地址；DDR3内存控制器的用户接口模块接收异步FIFO中数据并获取DDR3读写控制模块命令，若为写命令，视频源的数据将写入DDR3 SDRAM存储器为各路视频源所分配的地址空间中，若为读命令，FPGA控制从DDR3 SDRAM存储器相应的地址空间中读出所需的视频源数据，输出到视频输出的异步FIFO中。FPGA接收输出设备的同步信号，从输出的异步FIFO中取出数据，叠加经由DSP并行处理后返回的图像信息传输给显示模块按用户设定模式进行显示。

多通道图像数据的片间传输，将多通道图像数据分别送入DSP的多个内核中处理。DSP多核并行进行数据处理。完成处理后，用过EMIF接口将处理结果传给FPGA。

以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种嵌入式多通道视频图像采集与并行处理的系统，其特征在于，包括多通道图像采集模块、FPGA和DSP；

所述多通道图像采集模块采集图像数据并发送给FPGA；所述FPGA缓存图像数据并处理后发送至DSP；

所述DSP为多核DSP，且DSP的多个核心对FPGA发送来的图像数据进行并行处理；

所述FPGA包括数据缓存单元、数据优先级仲裁模块、多通道视频片间传输模块和第一DDR3单元；

所述数据缓存单元缓存多通道图像采集模块发送来的图像数据；

所述数据优先级仲裁模块比较每一路视频源的有效数据信息，并选择一路视频源发送至第一DDR3单元；

所述第一DDR3单元进行读写控制完成数据缓存，所述多通道视频片间传输模块实现与DSP交互；

其中，FPGA控制多通道图像采集模块将同步或异步视频数据流缓存在相应的异步FIFO中，数据优先级仲裁模块比较每一路视频源的有效数据信息，选择一路视频源，从相应的异步FIFO中读取数据，传输给DDR3存储控制模块与多通道视频片间传输模块；

多通道视频片间传输模块采用SRIO将FPGA采集的多通道视频分别写入到DSP分配的第二DDR3单元中，多核DSP分别进行处理。

2.根据权利要求1所述的一种嵌入式多通道视频图像采集与并行处理的系统，其特征在于，还包括显示模块；

所述FPGA对缓存中的图像叠加经由DSP并行处理后返回的图像信息后，由显示模块进行拼接显示或者分别显示。

3.根据权利要求1所述的一种嵌入式多通道视频图像采集与并行处理的系统，其特征在于，所述多核DSP的一个核心处理一个通道采集的图像数据。

4.一种嵌入式多通道视频图像采集与并行处理的方法，其特征在于，包括以下步骤：

S1：采集多通道同步或异步的图像数据；

S2：对多通道的图像数据进行仲裁，并根据仲裁结果对多通道图像数据进行缓存调度；

S3：通过多通道图像数据的片间传输，将多通道图像数据分别送入DSP的多个内核中处理；

其中，FPGA控制多通道图像采集模块将同步或异步视频数据流缓存在相应的异步FIFO中，数据优先级仲裁模块比较每一路视频源的有效数据信息，选择一路视频源，从相应的异步FIFO中读取数据，传输给DDR3存储控制模块与多通道视频片间传输模块；

多通道视频片间传输模块采用SRIO将FPGA采集的多通道视频分别写入到DSP分配的第二DDR3单元中，多核DSP分别进行处理。

5.根据权利要求4所述的一种嵌入式多通道视频图像采集与并行处理的方法，其特征在于，还包括以下步骤：

S4：对缓存中的图像进行拼接显示或者分别显示，并叠加经由DSP并行处理后返回的图像信息。

6.根据权利要求4所述的一种嵌入式多通道视频图像采集与并行处理的方法，其特征在于，步骤S2包括以下子步骤：

判断各通道图像数据的数据量，并在图像数据的数据量超过阈值时提高该通道图像数据处理的优先级。

7.根据权利要求4所述的一种嵌入式多通道视频图像采集与并行处理的方法，其特征在于，步骤S2包括以下子步骤：

判断各通道图像数据是否触发优先信号，并提高触发优先信号的图像数据的优先级。

8.根据权利要求4所述的一种嵌入式多通道视频图像采集与并行处理的方法，其特征在于，步骤S3包括以下子步骤：

在多通道图像数据送入DSP的多个内核中处理时，每一个DSP内核处理一个通道的图像数据。

9.根据权利要求4所述的一种嵌入式多通道视频图像采集与并行处理的方法，其特征在于，步骤S1包括以下子步骤：

当进行大范围分布式监控时，多通道图像数据为不同的图像数据；

当进行空中目标搜索、跟踪时，多通道图像数据为相同或相似的图像数据。

Images