CN104581075B - 基于异构平台的全景视频处理系统及方法 - Google Patents
基于异构平台的全景视频处理系统及方法 Download PDFInfo
- Publication number
- CN104581075B CN104581075B CN201510016986.6A CN201510016986A CN104581075B CN 104581075 B CN104581075 B CN 104581075B CN 201510016986 A CN201510016986 A CN 201510016986A CN 104581075 B CN104581075 B CN 104581075B
- Authority
- CN
- China
- Prior art keywords
- data
- memory
- module
- chip
- fpga chip
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 33
- 230000015654 memory Effects 0.000 claims abstract description 47
- 238000006243 chemical reaction Methods 0.000 claims abstract description 14
- 239000000872 buffer Substances 0.000 claims abstract description 12
- 230000000007 visual effect Effects 0.000 claims abstract description 3
- 230000008569 process Effects 0.000 claims description 26
- 238000003384 imaging method Methods 0.000 claims description 6
- 238000003672 processing method Methods 0.000 claims description 4
- 230000005540 biological transmission Effects 0.000 claims description 3
- 238000007726 management method Methods 0.000 description 4
- 238000005265 energy consumption Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000000151 deposition Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000003139 buffering effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000005538 encapsulation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000000465 moulding Methods 0.000 description 1
- 239000004575 stone Substances 0.000 description 1
Abstract
本发明提供了一种基于异构平台的全景视频处理系统及方法，该处理系统包括相互连接的全方位视觉传感器和视频处理板，视频处理板包括FPGA芯片、嵌入式视频处理芯片、第三存储器、第二存储器，第三存储器、FPGA芯片都与嵌入式视频处理芯片连接，第二存储器与FPGA芯片连接，FPGA芯片包括依次连接的色彩空间转换模块、采集数据缓冲模块、处理器、第一存储器，嵌入式视频处理芯片包括依次连接的数据输出模块、系统控制模块、数据编码模块。本发明适用于功耗低、体积小的场合。
Description
技术领域
本发明涉及一种处理系统及方法，具体地，涉及一种基于异构平台的全景视频处理系统及方法。
背景技术
全景视频处理系统是通过图形拼接法或折反射面成像法采集得到360度全景视频数据，将数据无缝地映射到实景空间的内表面，从而建立起二维的数字实景空间。全景视频处理系统分为视频采集、视频处理、视频输出三部分。
现有的大部分全景视频处理系统在图像处理时需要配备基于windows操作系统及X86架构CPU的上位机，由上位机进行多幅图像拼接或折反射面展开的处理，无法适用于功耗低、体积小的场合。
发明内容
针对现有技术中的缺陷，本发明的目的是提供一种基于异构平台的全景视频处理系统及方法，其适用于功耗低、体积小的场合。
根据本发明的一个方面，提供一种基于异构平台的全景视频处理系统，其特征在于，包括相互连接的全方位视觉传感器和视频处理板，视频处理板包括FPGA芯片、嵌入式视频处理芯片、第三存储器、第二存储器，第三存储器、FPGA芯片都与嵌入式视频处理芯片连接，第二存储器与FPGA芯片连接，FPGA芯片包括依次连接的色彩空间转换模块、采集数据缓冲模块、处理器、第一存储器，嵌入式视频处理芯片包括依次连接的数据输出模块、系统控制模块、数据编码模块。
优选地，所述全方位视觉传感器由折反射成像装置及CMOS传感器组成。
优选地，所述FPGA芯片作为从处理芯片，负责完成图像采集、色彩空间转换、传输控制等简单的信号预处理操作，FPGA内置的处理器执行折反射面展开算法并将处理好的数据存放于第二存储器中。
优选地，所述第三存储器由系统控制模块、数据编码模块及数据输出模块共享。
优选地，所述系统控制模块负责读取第一存储器中的视频数据并将其放入未处理数据段中；数据编码模块读取这些数据进行视频数据的编码并将其放入已处理数据段中；数据输出模块负责将已处理数据段中的数据通过以太网发送至播放器。
本发明还提供一种基于异构平台的全景视频处理方法，其特征在于，其包括以下步骤：
步骤一，首先嵌入式视频处理芯片作为系统主控芯片，负责完成自身系统控制模块、数据编码模块、第三存储器、数据输出模块的初始化；
步骤二，嵌入式视频处理芯片复位FPGA芯片，FPGA芯片初始化内部时钟，而后初始化色彩空间转换模块、采集数据缓冲模块、处理器及第一存储器，处理器加载折反射面展开程序；
步骤三，FPGA芯片以一定的帧率采集全方位视觉传感器的数据，采集到的数据在色彩空间转换模块中转换为处理器可识别的图像格式，经由采集数据缓冲模块送入第二存储器中，第二存储器以乒乓缓冲的形式分别存储奇数帧及偶数帧图像数据， FPGA硬核处理器按照奇偶的顺序读取图像数据，进行折反射面展开处理；
步骤四，嵌入式视频处理芯片通过EMIF接口读取经FPGA芯片处理好的图像数据，由系统控制模块调用数据编码模块进行H.264编码，而后系统控制模块通过共享的第三存储器读取这些数据，对图像数据进行流媒体处理，通过数据输出模块对外输出。
与现有技术相比，本发明具有如下的有益效果：一，本发明处理性能强，整个系统核心处理器件由FPGA及达芬奇视频处理器组成，由FPGA内置硬核实现折反射面展开算法，由达芬奇芯片内置DSP实现视频编码；二，本发明功耗低，板卡核心硬件均为低功耗设计，视频处理卡功耗不大于20W，远低于X86架构的视频处理系统；三，本发明设备体积小，整板体积可以控制在3U标准结构内。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为本发明基于异构平台的全景视频处理系统的原理框图。
图2为本发明基于异构平台的全景视频处理方法的流程图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。
如图1所示，本发明基于异构平台的全景视频处理系统包括相互连接的全方位视觉传感器和视频处理板，视频处理板包括FPGA芯片、嵌入式视频处理芯片、第三存储器、第二存储器，第三存储器、FPGA芯片都与嵌入式视频处理芯片连接，第二存储器与 FPGA芯片连接，FPGA芯片包括依次连接的色彩空间转换模块、采集数据缓冲模块、处理器、第一存储器，嵌入式视频处理芯片包括依次连接的数据输出模块、系统控制模块、数据编码模块。全方位视觉传感器由折反射成像装置及CMOS传感器组成。嵌入式视频处理芯片为德州仪器公司的达芬奇型嵌入式视频处理芯片。EMIF接口(外部存储器接口) 作为嵌入式视频处理芯片与FPGA芯片的接口。FPGA芯片作为从处理芯片，负责完成图像采集、色彩空间转换、传输控制等简单的信号预处理操作，FPGA内置的处理器执行折反射面展开算法并将处理好的数据存放于第二存储器中，待一帧图像处理完成后，嵌入式视频处理芯片经EMIF接口将第二存储器中数据搬移到第三存储器中，调用H.264编码算法及TS码流封装并将数据通过socket报文发送至远端流媒体播放器。第二存储器和第三存储器都采用DDR内存。第一存储器采用双口RAM(Random-Access Memory，随机存取存储器)。
全方位视觉传感器采集的信号进入FPGA芯片后，进入色彩空间转换模块进行格式转换，生成可以被处理器识别的图像格式。为了防止初始采集数据的速度过快，加入了采集数据缓冲模块。经过以上处理此时视频数据已经可以被处理器识别，FPGA内置硬核处理器对收到的数据进行折反射面展开，将环形的、不直观图像数据展开为长条状、直观的图像数据。最后，这些数据由硬核处理器送至第二存储器中。
在视频处理器中，第三存储器由系统控制模块、数据编码模块及数据输出模块共享，主要分为未处理数据段及已处理数据段。系统控制模块负责读取第一存储器中的视频数据并将其放入未处理数据段中；数据编码模块读取这些数据进行视频数据的编码并将其放入已处理数据段中；数据输出模块负责将已处理数据段中的数据通过以太网发送至播放器。
如图2所示，本发明基于异构平台的全景视频处理方法包括以下步骤：
步骤一，首先嵌入式视频处理芯片作为系统主控芯片，负责完成自身系统控制模块、数据编码模块、第三存储器、数据输出模块的初始化；
步骤二，嵌入式视频处理芯片复位FPGA芯片，FPGA芯片初始化内部时钟，而后初始化色彩空间转换模块、采集数据缓冲模块、处理器及第一存储器，处理器加载折反射面展开程序；
步骤三，FPGA芯片以一定的帧率采集全方位视觉传感器的数据，采集到的数据在色彩空间转换模块中转换为处理器可识别的图像格式，经由采集数据缓冲模块送入第二存储器中，第二存储器以乒乓缓冲的形式分别存储奇数帧及偶数帧图像数据， FPGA硬核处理器按照奇偶的顺序读取图像数据，进行折反射面展开处理；
步骤四，嵌入式视频处理芯片通过EMIF接口读取经FPGA芯片处理好的图像数据，由系统控制模块调用数据编码模块进行H.264编码，而后系统控制模块通过共享的第三存储器读取这些数据，对图像数据进行流媒体处理，通过数据输出模块对外输出。
本发明采用折反射面的全方位视觉传感器实现视频采集，由德州仪器公司的达芬奇型嵌入式视频处理芯片配合FPGA芯片实现折反射面视频展开、H264编码及流媒体封装，由远端流媒体播放器实现视频显示。本发明适用于功耗低、体积小的场合。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。
Claims (2)
1.一种基于异构平台的全景视频处理系统，其特征在于，包括相互连接的全方位视觉传感器和视频处理板，视频处理板包括FPGA芯片、嵌入式视频处理芯片、第三存储器、第二存储器，第三存储器、FPGA芯片都与嵌入式视频处理芯片连接，第二存储器与FPGA芯片连接，FPGA芯片包括依次连接的色彩空间转换模块、采集数据缓冲模块、处理器、第一存储器，嵌入式视频处理芯片包括依次连接的数据输出模块、系统控制模块、数据编码模块；所述全方位视觉传感器由折反射成像装置及CMOS传感器组成；所述FPGA芯片作为从处理芯片，负责完成图像采集、色彩空间转换、传输控制等简单的信号预处理操作，FPGA内置的处理器执行折反射面展开算法并将处理好的数据存放于第二存储器中；所述第三存储器由系统控制模块、数据编码模块及数据输出模块共享；所述系统控制模块负责读取第一存储器中的视频数据并将其放入未处理数据段中；数据编码模块读取这些数据进行视频数据的编码并将其放入已处理数据段中；数据输出模块负责将已处理数据段中的数据通过以太网发送至播放器。
2.一种基于异构平台的全景视频处理方法，其特征在于，其包括以下步骤：
步骤一，首先嵌入式视频处理芯片作为系统主控芯片，负责完成自身系统控制模块、数据编码模块、第三存储器、数据输出模块的初始化；
步骤二，嵌入式视频处理芯片复位FPGA芯片，FPGA芯片初始化内部时钟，而后初始化色彩空间转换模块、采集数据缓冲模块、处理器及第一存储器，处理器加载折反射面展开程序；
步骤三，FPGA芯片以一定的帧率采集全方位视觉传感器的数据，采集到的数据在色彩空间转换模块中转换为处理器可识别的图像格式，经由采集数据缓冲模块送入第二存储器中，第二存储器以乒乓缓冲的形式分别存储奇数帧及偶数帧图像数据，FPGA硬核处理器按照奇偶的顺序读取图像数据，进行折反射面展开处理；
步骤四，嵌入式视频处理芯片通过EMIF接口读取经FPGA芯片处理好的图像数据，由系统控制模块调用数据编码模块进行H.264编码，而后系统控制模块通过共享的第三存储器读取这些数据，对图像数据进行流媒体处理，通过数据输出模块对外输出。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510016986.6A CN104581075B (zh) | 2015-01-13 | 2015-01-13 | 基于异构平台的全景视频处理系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510016986.6A CN104581075B (zh) | 2015-01-13 | 2015-01-13 | 基于异构平台的全景视频处理系统及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104581075A CN104581075A (zh) | 2015-04-29 |
| CN104581075B true CN104581075B (zh) | 2017-12-22 |
Family
ID=53096152
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510016986.6A Active CN104581075B (zh) | 2015-01-13 | 2015-01-13 | 基于异构平台的全景视频处理系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104581075B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107124575A (zh) * | 2017-04-14 | 2017-09-01 | 苏州科达科技股份有限公司 | 一种媒体处理方法、装置及媒体服务器 |
| CN107277445B (zh) * | 2017-06-29 | 2020-05-12 | 深圳市元征科技股份有限公司 | 一种车载设备 |
| CN110381252A (zh) * | 2019-07-18 | 2019-10-25 | 湖南宏动光电有限公司 | 一种图形处理系统 |
| CN112272263A (zh) * | 2020-09-28 | 2021-01-26 | 苏州浪潮智能科技有限公司 | 一种人工智能视频处理装置及方法 |
| CN112184537B (zh) * | 2020-09-30 | 2022-04-26 | 王汉 | 异构计算架构摄像系统及图像处理方法 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102137229A (zh) * | 2011-03-09 | 2011-07-27 | 上海贝威科技有限公司 | 嵌入式高清全景摄像机及方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7599550B1 (en) * | 2003-11-21 | 2009-10-06 | Arecont Vision Llc | Method for accurate real-time compensation for changing illumination spectra in digital video cameras |
-
2015
- 2015-01-13 CN CN201510016986.6A patent/CN104581075B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102137229A (zh) * | 2011-03-09 | 2011-07-27 | 上海贝威科技有限公司 | 嵌入式高清全景摄像机及方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN104581075A (zh) | 2015-04-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104581075B (zh) | 基于异构平台的全景视频处理系统及方法 | |
| CN110708513B (zh) | 一种8k视频多核异构处理装置 | |
| CN103379266B (zh) | 一种具有视频语义分析功能的高清网络摄像机 | |
| CN103686314B (zh) | 采用高清视频通道传输多路标清视频的解复用装置及方法 | |
| CN105208342B (zh) | 一种双路视频压缩存储及网络切换传输电路 | |
| CN103248797A (zh) | 一种基于fpga的视频分辨率增强方法及模块 | |
| CN101938638A (zh) | 基于分辨率分级传输的网络视频监控系统 | |
| CN106713804A (zh) | 一种三通道图像传输接口转换装置及方法 | |
| CN102123275B (zh) | 一种视频分量数据信息获取及提取的方法 | |
| CN102214080A (zh) | 基于USB Video Class的多点式VGA图像采集和显示系统 | |
| CN203851239U (zh) | 一种双摄像头视频图像跟踪装置 | |
| CN105554592A (zh) | 一种实现高帧率视频图像采集传输的方法及系统 | |
| CN102438106A (zh) | 一种视频采集系统 | |
| CN105430297A (zh) | 多视频格式向iidc协议视频格式转换的自动控制系统 | |
| CN203136042U (zh) | 一种将摄像机输出接口扩展的装置 | |
| CN205812165U (zh) | 一种全景视频直播盒子 | |
| CN201974795U (zh) | 一种基于fpga的图像拼接处理装置 | |
| CN202634596U (zh) | 一种基于ccd高清网络摄像系统 | |
| Gudis et al. | Multi-resolution real-time dense stereo vision processing in FPGA | |
| CN104918004B (zh) | 基于fpga和dsp芯片的pci通信监控系统 | |
| CN103517066A (zh) | 基于SoC的高清嵌入式视频编解码系统 | |
| CN209330259U (zh) | 嵌入式视频处理装置及多媒体设备 | |
| CN103414898B (zh) | 一种高分辨率视频采集方法及系统 | |
| CN203522918U (zh) | 一种hdmi转pcie的采集卡 | |
| CN207443037U (zh) | 一种基于fpga的视频监控系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |