CN114286146A - 一种基于云桌面技术的fpga音视频处理方法及系统 - Google Patents
一种基于云桌面技术的fpga音视频处理方法及系统 Download PDFInfo
- Publication number
- CN114286146A CN114286146A CN202111495193.9A CN202111495193A CN114286146A CN 114286146 A CN114286146 A CN 114286146A CN 202111495193 A CN202111495193 A CN 202111495193A CN 114286146 A CN114286146 A CN 114286146A
- Authority
- CN
- China
- Prior art keywords
- audio
- video
- programmable gate
- gate array
- field programmable
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000005516 engineering process Methods 0.000 title claims abstract description 24
- 238000003672 processing method Methods 0.000 title claims abstract description 10
- 238000012545 processing Methods 0.000 claims abstract description 26
- 230000006835 compression Effects 0.000 claims description 17
- 238000007906 compression Methods 0.000 claims description 17
- 238000000034 method Methods 0.000 claims description 12
- 230000001133 acceleration Effects 0.000 claims description 11
- 238000007781 pre-processing Methods 0.000 claims description 10
- 238000006243 chemical reaction Methods 0.000 claims description 7
- 238000000605 extraction Methods 0.000 claims description 5
- 239000000284 extract Substances 0.000 claims description 3
- 238000013461 design Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明提供了一种基于云桌面技术的FPGA音视频处理方法及系统，云主机采集音视频数据传输给现场可编程门阵列(FPGA)，FPGA对音视频数据进行预处理并复制成多路音视频流，然后用VCU编码器进行压缩编码，最后打包上传到云终端上，云终端接收解码播放音视频。本发明用独立的FPGA芯片和硬件编码，大大提高了音视频处理的效率，能实现4K高清音视频无卡顿。
Description
技术领域
本发明属于云桌面技术领域，尤其涉及一种基于云桌面技术的FPGA音视频处理方法及系统。
背景技术
本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。
随着云计算的发展速度越来越快，云桌面广泛应用于具有高数据安全管控、高性能计算等要求的安全办公、金融、设计、影视、教育等领域，特别是教育领域，满足学校智慧校园建设的需求，解决电脑教室、电子阅览室、培训室、实验室、考试中心等公共PC运行速度慢、故障率高、维护难度大、桌面可靠性差等问题，通过云桌面的功能，可以满足对学习资源的系统化管理，增强教学资源的共享能力，保障教学资源的最大化利用。
在实际应用过程中，在学校办公、教学、培训环节会形成独特的微环境，非常容易形成集中运算风暴，对服务器造成巨大的运算压力；同时由于数据交互量巨大，形成的高码流对网络带宽提出了相当高的要求，极易导致系统崩溃，在云终端分配运算能力以及解决音视频特殊高码流的处理能力，成为解决云桌面技术中性能问题的一个研究方向。
发明内容
为克服上述现有技术的不足，本发明提供了一种基于云桌面技术的FPGA音视频处理方法及系统，基于FPGA逻辑设计和嵌入式软件设计，实现独立FPGA不占用CPU资源处理专业音视频业务，硬解码高码流同步推送4K高清音视频无卡顿。
为实现上述目的，本发明的一个或多个实施例提供了如下技术方案：
一种基于云桌面技术的FPGA音视频处理系统，包括云主机和云终端：
云主机包括第一现场可编程门阵列、加速处理器，所述第一现场可编程门阵列包括VCU编码器；
云主机接收音视频信号，通过高清多媒体接口传输给第一现场可编程门阵列，第一现场可编程门阵列提取音视频流并进行色彩空间转换、分辨率缩放预处理，复制多路相同的流存入内存中；VCU编码器从内存中读取音视频流数据进行压缩编码，压缩编码完再将音视频流存储到内存中；加速处理器对VCU编码器压缩编码后的音视频流进行打包，通过以太网口发送至云终端；
云终端包括第二现场可编程门阵列；
云终端接收云主机打包的音视频流，用第二现场可编程门阵列对其进行硬件解码，获得并播放音视频数据。
所述第一现场可编程门阵列使用HDMI IP核完成对音视频流的提取。
所述第一现场可编程门阵列采用音视频处理IP核(VPSS)进行预处理。
所述第一现场可编程门阵列使用BroadcasterIP核进行音视频流的复制，用FramebufWriteIP核以DMA的方式将流数据存入内存中。
所述加速处理器，安装有嵌入式Linux系统，执行Linux应用程序，为音视频预处理和压缩编码传递参数和命令。
所述第二现场可编程门阵列，采用MPEG2解码器进行硬件解码。
一种基于云桌面技术的FPGA音视频处理方法，包括：
接收音视频信号，通过高清多媒体接口传输给第一现场可编程门阵列，第一现场可编程门阵列提取音视频流并进行色彩空间转换、分辨率缩放预处理，复制多路相同的流存入内存中；
VCU编码器从内存中读取音视频流数据进行压缩编码，压缩编码完再将音视频流存储到内存中；
加速处理器对VCU编码器压缩编码后的音视频流进行打包，通过以太网口发送至云终端；
接收云主机打包的音视频流，用第二现场可编程门阵列对其进行硬件解码，获得并播放音视频数据。
所述第一现场可编程门阵列使用HDMI IP核完成对音视频流的提取。
所述第一现场可编程门阵列采用音视频处理IP核(VPSS)进行预处理。
所述第一现场可编程门阵列使用BroadcasterIP核进行音视频流的复制，用FramebufWriteIP核以DMA的方式将流数据存入内存中。
所述加速处理器，安装有嵌入式Linux系统，执行Linux应用程序，为音视频预处理和压缩编码传递参数和命令。
所述第二现场可编程门阵列，采用MPEG2解码器进行硬件解码。
以上一个或多个技术方案存在以下有益效果：
1、独立的FPGA芯片，是并行处理架构，能够同时对多路音视频信号并行处理，而且各路音视频信号输入与输出互相独立，大大提高了音视频处理的效率，同时又满足架构简单、易于实现、系统稳定、低成本等优点。
2、MPEG2解码器是硬件解码，相比传统的用CPU解码的软件解码方案，效率高，功耗低、热功耗低。
3、通过FPGA、VCU、APU及云技术的相互配合，实现云主机对音视频信号的高效采集和处理，实现多个云终端并发点播4K高清音视频无卡顿。
本发明附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
图1为学校机房结构图。
图2为本发明的基于云桌面技术的FPGA音视频处理系统结构图。
图3为本发明的基于云桌面技术的FPGA音视频处理方法流程图。
具体实施方式
应该指出，以下详细说明都是示例性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。
在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
云桌面是利用虚拟技术对各种物理设备进行虚拟化处理，从而使资源的利用率得到有效提升，目前在学校教室、企业办公、医院等场景得到广泛的应用，现阶段，在高校教学应用中，大多数采用传统的音视频采集编解码传输方法，随着视频的清晰度增加，数据量变得更大，传统方法越来越不能满足高分辨率视频的实时编解码传输要求。
基于此，本发明提供了一种基于云桌面技术的FPGA音视频处理方法及系统，采用Xilinx推出的ZYNQ UltraScale+MPSoc EG系列芯片，该芯片集成了ARM处理器、EPGA逻辑资源及硬核编码器，通过独立FPGA处理音视频数据，用硬件编解码器进行编解码，避免大量占用CPU，提高编解码的效率和速度。
所图1所示，学校机房配置有一个老师用的云主机和多个学生用的智能终端，还配置有DVD播放器、教学站台、音响等外部设备，老师通过云主机对学生终端进行全部控制和监管，在音视频方面，老师运行云主机上的各种教学软件视频及音频实时广播到学生端，老师插话讲解，学生通过学生端屏幕和耳麦实时收看收听；学生也可以根据老师分配的权限点播相应的节目，支持各种音频视频格式，支持全班同学4K全高清视频并发点播完全流畅，无任何卡顿；学生端可以同时并发流畅点播同一个视频，而可以同时并发流畅点播完全不同的视频。
为了实现4K音视频同屏广播不占用CPU内容，本申请在云主机和云终端上分别部署独立的FPGA音视频处理系统，对音视频进行处理。
实施例一
本实施例公开了一种基于云桌面技术的FPGA音视频处理系统，如图2所示，包括云主机和云终端，云主机采集处理和传输音视频，而云终端则接收音视频进行播放，具体如下：
云主机采集音视频数据，通过高清多媒体接口(HDMI)传输给现场可编程门阵列(FPGA)，FPGA从音视频数据中提取音视频流，然后对音视频流进行色彩空间转换、分辨率的缩放预处理，将预处理后的音视频流复制为多路相同的流，将多路流数据通过高性能接口存入内存DDR中。
根据加速处理器(APU)传递的编码命令和参数，VCU编码器通过高性能接口从DDR中读取音视频流数据进行压缩编码，压缩编码完再将音视频流存储到DDR中。
APU对VCU编码器压缩编码后的音视频流进行RTP打包，通过以太网口发送至云终端上。
云终端接收云主机打包的音视频流，用MPEG2解码器对其进行硬件解码，获得并播放音视频数据。
本申请采用软硬件协同的设计，包括FPGA逻辑设计以及嵌入式软件设计两个部分。
使用Vivado 2019.1进行FPGA逻辑设计。FPGA逻辑设计包括视频采集与预处理、VCU压缩编码模块。在Vivado工程中通过调用Xilinx IP核进行每个模块功能的实现，并将两个模块合理地衔接；工程搭建完成后，进行管脚约束、综合、实现等步骤。综合实现之后对系统的时序进行分析，在时序满足的条件下，导出生成的HDF文件。
在Vivado中生成了相应的硬件描述文件(HDF)后，还需要在ARM上运行Linux系统，在Linux操作系统上，执行应用程序来驱动整套系统的运行。
所述现场可编程门阵列(FPGA)，作为核心芯片，具有强大的并行处理数据的能力，满足色彩空间转换、分辨率的缩放等实时视频帧处理需求；引入依赖硬件的VCU编码器和MPEG2解码器，不占用CPU，从而提高编码和解码的效率和速度，实现同步推送4K高清视频无卡顿的目标。
实施例二
本实施例公开了基于云桌面技术的FPGA音视频处理方法，如图3所示，包括：
接收音视频信号，通过高清多媒体接口传输给第一现场可编程门阵列，第一现场可编程门阵列提取音视频流并进行色彩空间转换、分辨率缩放预处理，复制多路相同的流存入内存中；
VCU编码器从内存中读取音视频流数据进行压缩编码，压缩编码完再将音视频流存储到内存中；
加速处理器对VCU编码器压缩编码后的音视频流进行打包，通过以太网口发送至云终端；
接收云主机打包的音视频流，用第二现场可编程门阵列对其进行硬件解码，获得并播放音视频数据。
所述第一现场可编程门阵列使用HDMI IP核完成对音视频流的提取。
所述第一现场可编程门阵列采用音视频处理IP核(VPSS)进行预处理。
所述第一现场可编程门阵列使用BroadcasterIP核进行音视频流的复制，用FramebufWriteIP核以DMA的方式将流数据存入内存中。
所述加速处理器，安装有嵌入式Linux系统，执行Linux应用程序，为音视频预处理和压缩编码传递参数和命令。
上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。
Claims (10)
1.一种基于云桌面技术的FPGA音视频处理系统，其特征是：包括云主机和云终端：
云主机包括第一现场可编程门阵列、加速处理器，所述第一现场可编程门阵列包括VCU编码器；
云主机接收音视频信号，通过高清多媒体接口传输给第一现场可编程门阵列，第一现场可编程门阵列提取音视频流并进行色彩空间转换、分辨率缩放预处理，复制多路相同的流存入内存中；VCU编码器从内存中读取音视频流数据进行压缩编码，压缩编码完再将音视频流存储到内存中；加速处理器对VCU编码器压缩编码后的音视频流进行打包，通过以太网口发送至云终端；
云终端包括第二现场可编程门阵列；
云终端接收云主机打包的音视频流，用第二现场可编程门阵列对其进行硬件解码，获得并播放音视频数据。
2.如权利要求1所述的一种基于云桌面技术的FPGA音视频处理系统，其特征是：所述第一现场可编程门阵列使用HDMIIP核完成对音视频流的提取。
3.如权利要求1所述的一种基于云桌面技术的FPGA音视频处理系统，其特征是：所述第一现场可编程门阵列采用音视频处理IP核进行预处理。
4.如权利要求1所述的一种基于云桌面技术的FPGA音视频处理系统，其特征是：所述第一现场可编程门阵列使用BroadcasterIP核进行音视频流的复制，用FramebufWriteIP核以DMA的方式将流数据存入内存中。
5.如权利要求1所述的一种基于云桌面技术的FPGA音视频处理系统，其特征是：所述加速处理器，安装有嵌入式Linux系统，执行Linux应用程序，为音视频预处理和压缩编码传递参数和命令。
6.如权利要求1所述的一种基于云桌面技术的FPGA音视频处理系统，其特征是：所述第二现场可编程门阵列，采用MPEG2解码器进行硬件解码。
7.一种基于云桌面技术的FPGA音视频处理方法，其特征是：包括：
接收音视频信号，通过高清多媒体接口传输给第一现场可编程门阵列，第一现场可编程门阵列提取音视频流并进行色彩空间转换、分辨率缩放预处理，复制多路相同的流存入内存中；
VCU编码器从内存中读取音视频流数据进行压缩编码，压缩编码完再将音视频流存储到内存中；
加速处理器对VCU编码器压缩编码后的音视频流进行打包，通过以太网口发送至云终端；
接收云主机打包的音视频流，用第二现场可编程门阵列对其进行硬件解码，获得并播放音视频数据。
8.如权利要求7所述的一种基于云桌面技术的FPGA音视频处理系统，其特征是：所述第一现场可编程门阵列使用HDMIIP核完成对音视频流的提取。
9.如权利要求7所述的一种基于云桌面技术的FPGA音视频处理系统，其特征是：所述第一现场可编程门阵列采用音视频处理IP核进行预处理。
10.如权利要求7所述的一种基于云桌面技术的FPGA音视频处理系统，其特征是：所述第一现场可编程门阵列使用BroadcasterIP核进行音视频流的复制，用FramebufWriteIP核以DMA的方式将流数据存入内存中。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111495193.9A CN114286146A (zh) | 2021-12-08 | 2021-12-08 | 一种基于云桌面技术的fpga音视频处理方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111495193.9A CN114286146A (zh) | 2021-12-08 | 2021-12-08 | 一种基于云桌面技术的fpga音视频处理方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114286146A true CN114286146A (zh) | 2022-04-05 |
Family
ID=80871452
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111495193.9A Pending CN114286146A (zh) | 2021-12-08 | 2021-12-08 | 一种基于云桌面技术的fpga音视频处理方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114286146A (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103179431A (zh) * | 2013-03-21 | 2013-06-26 | 福建升腾资讯有限公司 | Vdi环境下音视频重定向转码分离方法 |
| CN105657467A (zh) * | 2015-12-30 | 2016-06-08 | 深圳市讯方技术股份有限公司 | 基于云桌面的流媒体文件控制方法及系统 |
| CN106231352A (zh) * | 2016-07-22 | 2016-12-14 | 福建升腾资讯有限公司 | 基于云教室场景下实现网络影院流畅播放的方法 |
| CN112866747A (zh) * | 2021-01-04 | 2021-05-28 | 深圳市君创视讯科技有限公司 | 一种基于Zynq异构平台的超低延时视频传输方法及其装置 |
-
2021
- 2021-12-08 CN CN202111495193.9A patent/CN114286146A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103179431A (zh) * | 2013-03-21 | 2013-06-26 | 福建升腾资讯有限公司 | Vdi环境下音视频重定向转码分离方法 |
| CN105657467A (zh) * | 2015-12-30 | 2016-06-08 | 深圳市讯方技术股份有限公司 | 基于云桌面的流媒体文件控制方法及系统 |
| CN106231352A (zh) * | 2016-07-22 | 2016-12-14 | 福建升腾资讯有限公司 | 基于云教室场景下实现网络影院流畅播放的方法 |
| CN112866747A (zh) * | 2021-01-04 | 2021-05-28 | 深圳市君创视讯科技有限公司 | 一种基于Zynq异构平台的超低延时视频传输方法及其装置 |
Non-Patent Citations (1)
| Title |
|---|
| 蹇清平: "一种基于Zynq UltraScale+的HDMI 4K高清视频会议终端的设计与实现", 《信息通信》, no. 8, pages 137 - 139 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102855133B (zh) | 一种计算机处理单元交互式系统 | |
| CA2973405A1 (en) | Method and apparatus for image synchronous displaying | |
| CN104159150A (zh) | 云终端、云服务器、媒体数据流播放系统及方法 | |
| CN101155089A (zh) | 无线多媒体实时学习系统与方法 | |
| CN110943909A (zh) | 一种音视频融合通信服务器 | |
| CN103200396A (zh) | 基于信息展示平台的实时视频流显示方法及系统 | |
| CN102231824A (zh) | 视频监控任意编码格式数字矩阵系统及其实现方法 | |
| CN104144349A (zh) | 基于h264的spice视频编解码扩展方法及系统 | |
| CN102857531B (zh) | 一种基于云计算的远程交互式系统 | |
| WO2021031590A1 (zh) | 音视频推送方法、移动终端及显示终端 | |
| CN109525559B (zh) | 一种画面共享方法及系统 | |
| CN102609048B (zh) | 一种音视频点播的电脑及方法 | |
| CN101442627A (zh) | 一种用于对等计算机顶盒的播放器的控制方法 | |
| CN103428297A (zh) | 基于桌面虚拟化的远程交互系统架构 | |
| CN114286146A (zh) | 一种基于云桌面技术的fpga音视频处理方法及系统 | |
| CN111083408B (zh) | 一种视频存储业务的处理方法、系统及设备 | |
| CN102857535B (zh) | 一种计算机处理单元、计算机网关、交互式系统 | |
| CN102857534B (zh) | 一种基于云计算的远程交互方法 | |
| CN1564536A (zh) | 基于攻防和视频组播技术的网络化交互式教学实验方法 | |
| CN1912952A (zh) | 基于视音频嵌入式开发平台的码流生成与分析高速数字信号处理选件二次开发板 | |
| CN110795008B (zh) | 图片传输方法、装置及计算机可读存储介质 | |
| Wang | Optimization of the online teaching system based on streaming media | |
| WO2023216798A1 (zh) | 音视频的转码装置、方法、设备、介质及产品 | |
| CN102857532B (zh) | 一种基于云计算节点的远程交互方法 | |
| Xueya et al. | Development of wireless mobile video surveillance on windows mobile using DirectShow technology |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |