CN104581075A - 基于异构平台的全景视频处理系统及方法 - Google Patents

Abstract

本发明提供了一种基于异构平台的全景视频处理系统及方法，该处理系统包括相互连接的全方位视觉传感器和视频处理板，视频处理板包括FPGA芯片、嵌入式视频处理芯片、第三存储器、第二存储器，第三存储器、FPGA芯片都与嵌入式视频处理芯片连接，第二存储器与FPGA芯片连接，FPGA芯片包括依次连接的色彩空间转换模块、采集数据缓冲模块、处理器、第一存储器，嵌入式视频处理芯片包括依次连接的数据输出模块、系统控制模块、数据编码模块。本发明适用于功耗低、体积小的场合。

Description

基于异构平台的全景视频处理系统及方法

技术领域

本发明涉及一种处理系统及方法，具体地，涉及一种基于异构平台的全景视频处理系统及方法。

背景技术

全景视频处理系统是通过图形拼接法或折反射面成像法采集得到360度全景视频数据，将数据无缝地映射到实景空间的内表面，从而建立起二维的数字实景空间。全景视频处理系统分为视频采集、视频处理、视频输出三部分。

现有的大部分全景视频处理系统在图像处理时需要配备基于windows操作系统及X86架构CPU的上位机，由上位机进行多幅图像拼接或折反射面展开的处理，无法适用于功耗低、体积小的场合。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种基于异构平台的全景视频处理系统及方法，其适用于功耗低、体积小的场合。

根据本发明的一个方面，提供一种基于异构平台的全景视频处理系统，其特征在于，包括相互连接的全方位视觉传感器和视频处理板，视频处理板包括FPGA芯片、嵌入式视频处理芯片、第三存储器、第二存储器，第三存储器、FPGA芯片都与嵌入式视频处理芯片连接，第二存储器与FPGA芯片连接，FPGA芯片包括依次连接的色彩空间转换模块、采集数据缓冲模块、处理器、第一存储器，嵌入式视频处理芯片包括依次连接的数据输出模块、系统控制模块、数据编码模块。

优选地，所述全方位视觉传感器由折反射成像装置及CMOS传感器组成。

优选地，所述FPGA芯片作为从处理芯片，负责完成图像采集、色彩空间转换、传输控制等简单的信号预处理操作，FPGA内置的处理器执行折反射面展开算法并将处理好的数据存放于第二存储器中。

优选地，所述第三存储器由系统控制模块、数据编码模块及数据输出模块共享。

优选地，所述系统控制模块负责读取第一存储器中的视频数据并将其放入未处理数据段中；数据编码模块读取这些数据进行视频数据的编码并将其放入已处理数据段中；数据输出模块负责将已处理数据段中的数据通过以太网发送至播放器。

本发明还提供一种基于异构平台的全景视频处理方法，其特征在于，其包括以下步骤：

步骤一，首先嵌入式视频处理芯片作为系统主控芯片，负责完成自身系统控制模块、数据编码模块、第三存储器、数据输出模块的初始化；

步骤二，嵌入式视频处理芯片复位FPGA芯片，FPGA芯片初始化内部时钟，而后初始化色彩空间转换模块、采集数据缓冲模块、处理器及第一存储器，处理器加载折反射面展开程序；

步骤三，FPGA芯片以一定的帧率采集全方位视觉传感器的数据，采集到的数据在色彩空间转换模块中转换为处理器可识别的图像格式，经由采集数据缓冲模块送入第二存储器中，第二存储器以乒乓缓冲的形式分别存储奇数帧及偶数帧图像数据，FPGA硬核处理器按照奇偶的顺序读取图像数据，进行折反射面展开处理；

步骤四，嵌入式视频处理芯片通过EMIF接口读取经FPGA芯片处理好的图像数据，由系统控制模块调用数据编码模块进行H.264编码，而后系统控制模块108通过共享的第三存储器读取这些数据，对图像数据进行流媒体处理，通过数据输出模块对外输出。

与现有技术相比，本发明具有如下的有益效果：一，本发明处理性能强，整个系统核心处理器件由FPGA及达芬奇视频处理器组成，由FPGA内置硬核实现折反射面展开算法，由达芬奇芯片内置DSP实现视频编码；二，本发明功耗低，板卡核心硬件均为低功耗设计，视频处理卡功耗不大于20W，远低于X86架构的视频处理系统；三，本发明设备体积小，整板体积可以控制在3U标准结构内。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为本发明基于异构平台的全景视频处理系统的原理框图。

图2为本发明基于异构平台的全景视频处理方法的流程图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。

如图1所示，本发明基于异构平台的全景视频处理系统包括相互连接的全方位视觉传感器和视频处理板，视频处理板包括FPGA芯片、嵌入式视频处理芯片、第三存储器、第二存储器，第三存储器、FPGA芯片都与嵌入式视频处理芯片连接，第二存储器与FPGA芯片连接，FPGA芯片包括依次连接的色彩空间转换模块、采集数据缓冲模块、处理器、第一存储器，嵌入式视频处理芯片包括依次连接的数据输出模块、系统控制模块、数据编码模块。全方位视觉传感器由折反射成像装置及CMOS传感器组成。嵌入式视频处理芯片为德州仪器公司的达芬奇型嵌入式视频处理芯片。EMIF接口(外部存储器接口)作为嵌入式视频处理芯片与FPGA芯片的接口。FPGA芯片作为从处理芯片，负责完成图像采集、色彩空间转换、传输控制等简单的信号预处理操作，FPGA内置的处理器执行折反射面展开算法并将处理好的数据存放于第二存储器中，待一帧图像处理完成后，嵌入式视频处理芯片经EMIF接口将第二存储器中数据搬移到第三存储器中，调用H.264编码算法及TS码流封装并将数据通过socket报文发送至远端流媒体播放器。第二存储器和第三存储器都采用DDR内存。第一存储器采用双口RAM(Random-Access Memory，随机存取存储器)。

全方位视觉传感器采集的信号进入FPGA芯片后，进入色彩空间转换模块进行格式转换，生成可以被处理器识别的图像格式。为了防止初始采集数据的速度过快，加入了采集数据缓冲模块。经过以上处理此时视频数据已经可以被处理器识别，FPGA内置硬核处理器对收到的数据进行折反射面展开，将环形的、不直观图像数据展开为长条状、直观的图像数据。最后，这些数据由硬核处理器送至第二存储器中。

在视频处理器中，第三存储器由系统控制模块、数据编码模块及数据输出模块共享，主要分为未处理数据段及已处理数据段。系统控制模块负责读取第一存储器中的视频数据并将其放入未处理数据段中；数据编码模块读取这些数据进行视频数据的编码并将其放入已处理数据段中；数据输出模块负责将已处理数据段中的数据通过以太网发送至播放器。

如图2所示，本发明基于异构平台的全景视频处理方法包括以下步骤：

步骤一，首先嵌入式视频处理芯片作为系统主控芯片，负责完成自身系统控制模块、数据编码模块、第三存储器、数据输出模块的初始化；

步骤二，嵌入式视频处理芯片复位FPGA芯片，FPGA芯片初始化内部时钟，而后初始化色彩空间转换模块、采集数据缓冲模块、处理器及第一存储器，处理器加载折反射面展开程序；

步骤三，FPGA芯片以一定的帧率采集全方位视觉传感器的数据，采集到的数据在色彩空间转换模块中转换为处理器可识别的图像格式，经由采集数据缓冲模块送入第二存储器中，第二存储器以乒乓缓冲的形式分别存储奇数帧及偶数帧图像数据，FPGA硬核处理器按照奇偶的顺序读取图像数据，进行折反射面展开处理；

步骤四，嵌入式视频处理芯片通过EMIF接口读取经FPGA芯片处理好的图像数据，由系统控制模块调用数据编码模块进行H.264编码，而后系统控制模块108通过共享的第三存储器读取这些数据，对图像数据进行流媒体处理，通过数据输出模块对外输出。

本发明采用折反射面的全方位视觉传感器实现视频采集，由德州仪器公司的达芬奇型嵌入式视频处理芯片配合FPGA芯片实现折反射面视频展开、H264编码及流媒体封装，由远端流媒体播放器实现视频显示。本发明适用于功耗低、体积小的场合。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。

Claims (6)

1.一种基于异构平台的全景视频处理系统，其特征在于，包括相互连接的全方位视觉传感器和视频处理板，视频处理板包括FPGA芯片、嵌入式视频处理芯片、第三存储器、第二存储器，第三存储器、FPGA芯片都与嵌入式视频处理芯片连接，第二存储器与FPGA芯片连接，FPGA芯片包括依次连接的色彩空间转换模块、采集数据缓冲模块、处理器、第一存储器，嵌入式视频处理芯片包括依次连接的数据输出模块、系统控制模块、数据编码模块。

2.根据权利要求1所述的基于异构平台的全景视频处理系统，其特征在于，所述全方位视觉传感器由折反射成像装置及CMOS传感器组成。

3.根据权利要求1所述的基于异构平台的全景视频处理系统，其特征在于，所述FPGA芯片作为从处理芯片，负责完成图像采集、色彩空间转换、传输控制等简单的信号预处理操作，FPGA内置的处理器执行折反射面展开算法并将处理好的数据存放于第二存储器中。

4.根据权利要求1所述的基于异构平台的全景视频处理系统，其特征在于，所述第三存储器由系统控制模块、数据编码模块及数据输出模块共享。

5.根据权利要求4所述的基于异构平台的全景视频处理系统，其特征在于，所述系统控制模块负责读取第一存储器中的视频数据并将其放入未处理数据段中；数据编码模块读取这些数据进行视频数据的编码并将其放入已处理数据段中；数据输出模块负责将已处理数据段中的数据通过以太网发送至播放器。

6.一种基于异构平台的全景视频处理方法，其特征在于，其包括以下步骤：

步骤一，首先嵌入式视频处理芯片作为系统主控芯片，负责完成自身系统控制模块、数据编码模块、第三存储器、数据输出模块的初始化；

步骤二，嵌入式视频处理芯片复位FPGA芯片，FPGA芯片初始化内部时钟，而后初始化色彩空间转换模块、采集数据缓冲模块、处理器及第一存储器，处理器加载折反射面展开程序；

步骤三，FPGA芯片以一定的帧率采集全方位视觉传感器的数据，采集到的数据在色彩空间转换模块中转换为处理器可识别的图像格式，经由采集数据缓冲模块送入第二存储器中，第二存储器以乒乓缓冲的形式分别存储奇数帧及偶数帧图像数据，FPGA硬核处理器按照奇偶的顺序读取图像数据，进行折反射面展开处理；

步骤四，嵌入式视频处理芯片通过EMIF接口读取经FPGA芯片处理好的图像数据，由系统控制模块调用数据编码模块进行H.264编码，而后系统控制模块108通过共享的第三存储器读取这些数据，对图像数据进行流媒体处理，通过数据输出模块对外输出。