CN104581075A - 基于异构平台的全景视频处理系统及方法 - Google Patents
基于异构平台的全景视频处理系统及方法 Download PDFInfo
- Publication number
- CN104581075A CN104581075A CN201510016986.6A CN201510016986A CN104581075A CN 104581075 A CN104581075 A CN 104581075A CN 201510016986 A CN201510016986 A CN 201510016986A CN 104581075 A CN104581075 A CN 104581075A
- Authority
- CN
- China
- Prior art keywords
- data
- memory
- module
- chip
- fpga chip
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 41
- 238000006243 chemical reaction Methods 0.000 claims abstract description 15
- 239000000872 buffer Substances 0.000 claims abstract description 14
- 238000003384 imaging method Methods 0.000 claims description 6
- 238000003672 processing method Methods 0.000 claims description 4
- 230000005540 biological transmission Effects 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 abstract description 2
- 238000005265 energy consumption Methods 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000005538 encapsulation Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000004575 stone Substances 0.000 description 1
Landscapes
- Image Processing (AREA)
- Studio Devices (AREA)
Abstract
本发明提供了一种基于异构平台的全景视频处理系统及方法,该处理系统包括相互连接的全方位视觉传感器和视频处理板,视频处理板包括FPGA芯片、嵌入式视频处理芯片、第三存储器、第二存储器,第三存储器、FPGA芯片都与嵌入式视频处理芯片连接,第二存储器与FPGA芯片连接,FPGA芯片包括依次连接的色彩空间转换模块、采集数据缓冲模块、处理器、第一存储器,嵌入式视频处理芯片包括依次连接的数据输出模块、系统控制模块、数据编码模块。本发明适用于功耗低、体积小的场合。
Description
技术领域
本发明涉及一种处理系统及方法,具体地,涉及一种基于异构平台的全景视频处理系统及方法。
背景技术
全景视频处理系统是通过图形拼接法或折反射面成像法采集得到360度全景视频数据,将数据无缝地映射到实景空间的内表面,从而建立起二维的数字实景空间。全景视频处理系统分为视频采集、视频处理、视频输出三部分。
现有的大部分全景视频处理系统在图像处理时需要配备基于windows操作系统及X86架构CPU的上位机,由上位机进行多幅图像拼接或折反射面展开的处理,无法适用于功耗低、体积小的场合。
发明内容
针对现有技术中的缺陷,本发明的目的是提供一种基于异构平台的全景视频处理系统及方法,其适用于功耗低、体积小的场合。
根据本发明的一个方面,提供一种基于异构平台的全景视频处理系统,其特征在于,包括相互连接的全方位视觉传感器和视频处理板,视频处理板包括FPGA芯片、嵌入式视频处理芯片、第三存储器、第二存储器,第三存储器、FPGA芯片都与嵌入式视频处理芯片连接,第二存储器与FPGA芯片连接,FPGA芯片包括依次连接的色彩空间转换模块、采集数据缓冲模块、处理器、第一存储器,嵌入式视频处理芯片包括依次连接的数据输出模块、系统控制模块、数据编码模块。
优选地,所述全方位视觉传感器由折反射成像装置及CMOS传感器组成。
优选地,所述FPGA芯片作为从处理芯片,负责完成图像采集、色彩空间转换、传输控制等简单的信号预处理操作,FPGA内置的处理器执行折反射面展开算法并将处理好的数据存放于第二存储器中。
优选地,所述第三存储器由系统控制模块、数据编码模块及数据输出模块共享。
优选地,所述系统控制模块负责读取第一存储器中的视频数据并将其放入未处理数据段中;数据编码模块读取这些数据进行视频数据的编码并将其放入已处理数据段中;数据输出模块负责将已处理数据段中的数据通过以太网发送至播放器。
本发明还提供一种基于异构平台的全景视频处理方法,其特征在于,其包括以下步骤:
步骤一,首先嵌入式视频处理芯片作为系统主控芯片,负责完成自身系统控制模块、数据编码模块、第三存储器、数据输出模块的初始化;
步骤二,嵌入式视频处理芯片复位FPGA芯片,FPGA芯片初始化内部时钟,而后初始化色彩空间转换模块、采集数据缓冲模块、处理器及第一存储器,处理器加载折反射面展开程序;
步骤三,FPGA芯片以一定的帧率采集全方位视觉传感器的数据,采集到的数据在色彩空间转换模块中转换为处理器可识别的图像格式,经由采集数据缓冲模块送入第二存储器中,第二存储器以乒乓缓冲的形式分别存储奇数帧及偶数帧图像数据,FPGA硬核处理器按照奇偶的顺序读取图像数据,进行折反射面展开处理;
步骤四,嵌入式视频处理芯片通过EMIF接口读取经FPGA芯片处理好的图像数据,由系统控制模块调用数据编码模块进行H.264编码,而后系统控制模块108通过共享的第三存储器读取这些数据,对图像数据进行流媒体处理,通过数据输出模块对外输出。
与现有技术相比,本发明具有如下的有益效果:一,本发明处理性能强,整个系统核心处理器件由FPGA及达芬奇视频处理器组成,由FPGA内置硬核实现折反射面展开算法,由达芬奇芯片内置DSP实现视频编码;二,本发明功耗低,板卡核心硬件均为低功耗设计,视频处理卡功耗不大于20W,远低于X86架构的视频处理系统;三,本发明设备体积小,整板体积可以控制在3U标准结构内。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述,本发明的其它特征、目的和优点将会变得更明显:
图1为本发明基于异构平台的全景视频处理系统的原理框图。
图2为本发明基于异构平台的全景视频处理方法的流程图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明,但不以任何形式限制本发明。应当指出的是,对本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进。这些都属于本发明的保护范围。
如图1所示,本发明基于异构平台的全景视频处理系统包括相互连接的全方位视觉传感器和视频处理板,视频处理板包括FPGA芯片、嵌入式视频处理芯片、第三存储器、第二存储器,第三存储器、FPGA芯片都与嵌入式视频处理芯片连接,第二存储器与FPGA芯片连接,FPGA芯片包括依次连接的色彩空间转换模块、采集数据缓冲模块、处理器、第一存储器,嵌入式视频处理芯片包括依次连接的数据输出模块、系统控制模块、数据编码模块。全方位视觉传感器由折反射成像装置及CMOS传感器组成。嵌入式视频处理芯片为德州仪器公司的达芬奇型嵌入式视频处理芯片。EMIF接口(外部存储器接口)作为嵌入式视频处理芯片与FPGA芯片的接口。FPGA芯片作为从处理芯片,负责完成图像采集、色彩空间转换、传输控制等简单的信号预处理操作,FPGA内置的处理器执行折反射面展开算法并将处理好的数据存放于第二存储器中,待一帧图像处理完成后,嵌入式视频处理芯片经EMIF接口将第二存储器中数据搬移到第三存储器中,调用H.264编码算法及TS码流封装并将数据通过socket报文发送至远端流媒体播放器。第二存储器和第三存储器都采用DDR内存。第一存储器采用双口RAM(Random-Access Memory,随机存取存储器)。
全方位视觉传感器采集的信号进入FPGA芯片后,进入色彩空间转换模块进行格式转换,生成可以被处理器识别的图像格式。为了防止初始采集数据的速度过快,加入了采集数据缓冲模块。经过以上处理此时视频数据已经可以被处理器识别,FPGA内置硬核处理器对收到的数据进行折反射面展开,将环形的、不直观图像数据展开为长条状、直观的图像数据。最后,这些数据由硬核处理器送至第二存储器中。
在视频处理器中,第三存储器由系统控制模块、数据编码模块及数据输出模块共享,主要分为未处理数据段及已处理数据段。系统控制模块负责读取第一存储器中的视频数据并将其放入未处理数据段中;数据编码模块读取这些数据进行视频数据的编码并将其放入已处理数据段中;数据输出模块负责将已处理数据段中的数据通过以太网发送至播放器。
如图2所示,本发明基于异构平台的全景视频处理方法包括以下步骤:
步骤一,首先嵌入式视频处理芯片作为系统主控芯片,负责完成自身系统控制模块、数据编码模块、第三存储器、数据输出模块的初始化;
步骤二,嵌入式视频处理芯片复位FPGA芯片,FPGA芯片初始化内部时钟,而后初始化色彩空间转换模块、采集数据缓冲模块、处理器及第一存储器,处理器加载折反射面展开程序;
步骤三,FPGA芯片以一定的帧率采集全方位视觉传感器的数据,采集到的数据在色彩空间转换模块中转换为处理器可识别的图像格式,经由采集数据缓冲模块送入第二存储器中,第二存储器以乒乓缓冲的形式分别存储奇数帧及偶数帧图像数据,FPGA硬核处理器按照奇偶的顺序读取图像数据,进行折反射面展开处理;
步骤四,嵌入式视频处理芯片通过EMIF接口读取经FPGA芯片处理好的图像数据,由系统控制模块调用数据编码模块进行H.264编码,而后系统控制模块108通过共享的第三存储器读取这些数据,对图像数据进行流媒体处理,通过数据输出模块对外输出。
本发明采用折反射面的全方位视觉传感器实现视频采集,由德州仪器公司的达芬奇型嵌入式视频处理芯片配合FPGA芯片实现折反射面视频展开、H264编码及流媒体封装,由远端流媒体播放器实现视频显示。本发明适用于功耗低、体积小的场合。
以上对本发明的具体实施例进行了描述。需要理解的是,本发明并不局限于上述特定实施方式,本领域技术人员可以在权利要求的范围内做出各种变形或修改,这并不影响本发明的实质内容。
Claims (6)
1.一种基于异构平台的全景视频处理系统,其特征在于,包括相互连接的全方位视觉传感器和视频处理板,视频处理板包括FPGA芯片、嵌入式视频处理芯片、第三存储器、第二存储器,第三存储器、FPGA芯片都与嵌入式视频处理芯片连接,第二存储器与FPGA芯片连接,FPGA芯片包括依次连接的色彩空间转换模块、采集数据缓冲模块、处理器、第一存储器,嵌入式视频处理芯片包括依次连接的数据输出模块、系统控制模块、数据编码模块。
2.根据权利要求1所述的基于异构平台的全景视频处理系统,其特征在于,所述全方位视觉传感器由折反射成像装置及CMOS传感器组成。
3.根据权利要求1所述的基于异构平台的全景视频处理系统,其特征在于,所述FPGA芯片作为从处理芯片,负责完成图像采集、色彩空间转换、传输控制等简单的信号预处理操作,FPGA内置的处理器执行折反射面展开算法并将处理好的数据存放于第二存储器中。
4.根据权利要求1所述的基于异构平台的全景视频处理系统,其特征在于,所述第三存储器由系统控制模块、数据编码模块及数据输出模块共享。
5.根据权利要求4所述的基于异构平台的全景视频处理系统,其特征在于,所述系统控制模块负责读取第一存储器中的视频数据并将其放入未处理数据段中;数据编码模块读取这些数据进行视频数据的编码并将其放入已处理数据段中;数据输出模块负责将已处理数据段中的数据通过以太网发送至播放器。
6.一种基于异构平台的全景视频处理方法,其特征在于,其包括以下步骤:
步骤一,首先嵌入式视频处理芯片作为系统主控芯片,负责完成自身系统控制模块、数据编码模块、第三存储器、数据输出模块的初始化;
步骤二,嵌入式视频处理芯片复位FPGA芯片,FPGA芯片初始化内部时钟,而后初始化色彩空间转换模块、采集数据缓冲模块、处理器及第一存储器,处理器加载折反射面展开程序;
步骤三,FPGA芯片以一定的帧率采集全方位视觉传感器的数据,采集到的数据在色彩空间转换模块中转换为处理器可识别的图像格式,经由采集数据缓冲模块送入第二存储器中,第二存储器以乒乓缓冲的形式分别存储奇数帧及偶数帧图像数据,FPGA硬核处理器按照奇偶的顺序读取图像数据,进行折反射面展开处理;
步骤四,嵌入式视频处理芯片通过EMIF接口读取经FPGA芯片处理好的图像数据,由系统控制模块调用数据编码模块进行H.264编码,而后系统控制模块108通过共享的第三存储器读取这些数据,对图像数据进行流媒体处理,通过数据输出模块对外输出。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510016986.6A CN104581075B (zh) | 2015-01-13 | 2015-01-13 | 基于异构平台的全景视频处理系统及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510016986.6A CN104581075B (zh) | 2015-01-13 | 2015-01-13 | 基于异构平台的全景视频处理系统及方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104581075A true CN104581075A (zh) | 2015-04-29 |
CN104581075B CN104581075B (zh) | 2017-12-22 |
Family
ID=53096152
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510016986.6A Active CN104581075B (zh) | 2015-01-13 | 2015-01-13 | 基于异构平台的全景视频处理系统及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN104581075B (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107124575A (zh) * | 2017-04-14 | 2017-09-01 | 苏州科达科技股份有限公司 | 一种媒体处理方法、装置及媒体服务器 |
CN107277445A (zh) * | 2017-06-29 | 2017-10-20 | 深圳市元征科技股份有限公司 | 一种车载设备 |
CN110381252A (zh) * | 2019-07-18 | 2019-10-25 | 湖南宏动光电有限公司 | 一种图形处理系统 |
CN112184537A (zh) * | 2020-09-30 | 2021-01-05 | 王汉 | 异构计算架构摄像系统及图像处理方法 |
CN112272263A (zh) * | 2020-09-28 | 2021-01-26 | 苏州浪潮智能科技有限公司 | 一种人工智能视频处理装置及方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050140787A1 (en) * | 2003-11-21 | 2005-06-30 | Michael Kaplinsky | High resolution network video camera with massively parallel implementation of image processing, compression and network server |
CN102137229A (zh) * | 2011-03-09 | 2011-07-27 | 上海贝威科技有限公司 | 嵌入式高清全景摄像机及方法 |
-
2015
- 2015-01-13 CN CN201510016986.6A patent/CN104581075B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050140787A1 (en) * | 2003-11-21 | 2005-06-30 | Michael Kaplinsky | High resolution network video camera with massively parallel implementation of image processing, compression and network server |
CN102137229A (zh) * | 2011-03-09 | 2011-07-27 | 上海贝威科技有限公司 | 嵌入式高清全景摄像机及方法 |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107124575A (zh) * | 2017-04-14 | 2017-09-01 | 苏州科达科技股份有限公司 | 一种媒体处理方法、装置及媒体服务器 |
CN107277445A (zh) * | 2017-06-29 | 2017-10-20 | 深圳市元征科技股份有限公司 | 一种车载设备 |
CN107277445B (zh) * | 2017-06-29 | 2020-05-12 | 深圳市元征科技股份有限公司 | 一种车载设备 |
CN110381252A (zh) * | 2019-07-18 | 2019-10-25 | 湖南宏动光电有限公司 | 一种图形处理系统 |
CN112272263A (zh) * | 2020-09-28 | 2021-01-26 | 苏州浪潮智能科技有限公司 | 一种人工智能视频处理装置及方法 |
CN112184537A (zh) * | 2020-09-30 | 2021-01-05 | 王汉 | 异构计算架构摄像系统及图像处理方法 |
CN112184537B (zh) * | 2020-09-30 | 2022-04-26 | 王汉 | 异构计算架构摄像系统及图像处理方法 |
Also Published As
Publication number | Publication date |
---|---|
CN104581075B (zh) | 2017-12-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104581075A (zh) | 基于异构平台的全景视频处理系统及方法 | |
CN103686314B (zh) | 采用高清视频通道传输多路标清视频的解复用装置及方法 | |
CN104798376A (zh) | 摄像机命令集主机命令转换 | |
WO2022161227A1 (zh) | 图像处理方法、装置、图像处理芯片和电子设备 | |
CN102075758B (zh) | 基于soc的mjpeg视频编解码系统及其方法 | |
CN105208342B (zh) | 一种双路视频压缩存储及网络切换传输电路 | |
CN111083311A (zh) | 一种无人机机载多路视频与pos数据的同步系统与方法 | |
CN102123275B (zh) | 一种视频分量数据信息获取及提取的方法 | |
CN203851239U (zh) | 一种双摄像头视频图像跟踪装置 | |
CN104244085B (zh) | 基于现场可编程门阵列的多媒体数据传输方法及装置 | |
CN102687520A (zh) | 一种实现串口通信的数字电视及系统 | |
CN103517066A (zh) | 基于SoC的高清嵌入式视频编解码系统 | |
CN102497514B (zh) | 一种三通道视频转发设备和转发方法 | |
CN104918004B (zh) | 基于fpga和dsp芯片的pci通信监控系统 | |
CN203522918U (zh) | 一种hdmi转pcie的采集卡 | |
CN203279035U (zh) | 多接口网络硬盘录像机 | |
CN209330259U (zh) | 嵌入式视频处理装置及多媒体设备 | |
CN103716636A (zh) | 一种基于tms320dm642的视频图像处理系统 | |
CN103414898A (zh) | 一种高分辨率视频采集方法及系统 | |
CN201846416U (zh) | 图像传感器 | |
CN104796670A (zh) | 基于流水线架构的跨平台多路实时视频处理系统架构 | |
CN204517960U (zh) | 一种视频信号模数转换电路 | |
CN202798921U (zh) | 基于现场可编程逻辑门阵列的高清摄像机 | |
CN203675196U (zh) | 网络控制3g-sdi高清字符叠加器 | |
US20070195168A1 (en) | Web camera |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |