CN107026852A - 一种解决大规模视频云应用中的网络性能瓶颈的方法 - Google Patents

一种解决大规模视频云应用中的网络性能瓶颈的方法 Download PDF

Info

Publication number
CN107026852A
CN107026852A CN201710177298.7A CN201710177298A CN107026852A CN 107026852 A CN107026852 A CN 107026852A CN 201710177298 A CN201710177298 A CN 201710177298A CN 107026852 A CN107026852 A CN 107026852A
Authority
CN
China
Prior art keywords
video
server
interface card
network interface
virtual machine
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710177298.7A
Other languages
English (en)
Other versions
CN107026852B (zh
Inventor
邹春端
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Clp Power Great Wall Internet Application Guangdong Co Ltd
Original Assignee
Clp Power Great Wall Internet Application Guangdong Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Clp Power Great Wall Internet Application Guangdong Co Ltd filed Critical Clp Power Great Wall Internet Application Guangdong Co Ltd
Priority to CN201710177298.7A priority Critical patent/CN107026852B/zh
Publication of CN107026852A publication Critical patent/CN107026852A/zh
Application granted granted Critical
Publication of CN107026852B publication Critical patent/CN107026852B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/80—Responding to QoS

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

为克服虚拟技术在高I/O负载应用场景中的短板，本发明提出一种解决大规模视频云应用中的网络性能瓶颈的方法，其包括硬件环境实施步骤：配置有支持SR‑IOV功能的PC服务器，该PC服务器具有支持SR‑IOV功能的网卡；软件环境实施步骤：所述PC服务器的虚拟化底层使用XenServer平台，在PC服务器的BIOS设置中开启SR‑IOV功能，在网卡的BIOS设置中将其调整为SR‑IOV模式，修改XenServer的启动参数，配置需要直通给视频应用虚拟机使用的网卡。本发明基于SR‑IOV技术，将物理网卡直通给视频应用虚拟机使用，使视频流量处理程序直接与物理网卡交互，跳过虚拟化管理层和虚拟交换机层，从而解决虚拟化环境中的网络丢包和延时抖动问题。

Description

一种解决大规模视频云应用中的网络性能瓶颈的方法
技术领域
本发明涉及计算机虚拟化领域之高性能I/O需求场景，具体涉及一种运用SR-IOV技术解决大规模视频云应用中的网络性能瓶颈的方法。
背景技术
虚拟化技术发展至今，主要适用场景还是集中在CPU密集、内存密集型应用，例如WEB应用等，其主要原因是虚拟化技术的CPU虚拟化、内存虚拟化技术出现最早，解决方案较为成熟，CPU和内存的虚拟化效率较高(达90％以上)。但是在涉及高I/O负载的应用场景中，如大规模视频应用、高负载数据库应用、3D游戏等场景，虚拟技术很少能得到应用，这是由于I/O虚拟化效率表现不佳(30％-60％不等)，这也意味着这些应用无法进行虚拟化，无法享受虚拟化架构所带来的各种好处，如快速部署、快整迁移、硬件解耦、集群HA等。
在传统虚拟化技术架构中，由于虚拟机中的所有网络流量都必须经过虚拟化底层管理程序、虚拟交换机进行中转，在网络流量较大时(大于400Mbps)，会造成巨量的CPU中断与CPU上下文切换，严重时，会占用所有CPU资源，导致虚拟机网络出现丢包、延迟大幅度抖动等故障。
视频应用场景对网络质量要求极高，要求网络通道高带宽、低延迟、低抖动，否则很容易出现视频画面卡顿、花屏故障。在大规模视频应用场景下，每台视频服务器将承载100-200路视频，网络流量高达800Mbps，如果使用普通的虚拟化技术架构来承载视频流量，视频画面会出现严重卡顿、花屏现象，故此，目前市场主流的大规模视频解决方案都使用物理服务器进行部署。
发明内容
为克服虚拟技术在高I/O负载应用场景中的短板，本发明提出一种解决大规模视频云应用中的网络性能瓶颈的方法，其基于SR-IOV技术，将物理网卡直通给视频应用虚拟机使用，使视频流量处理程序直接与物理网卡交互，跳过虚拟化管理层和虚拟交换机层，从而解决虚拟化环境中的网络丢包和延时抖动问题。
具体技术内容如下：
一种解决大规模视频云应用中的网络性能瓶颈的方法，其包括硬件环境实施步骤和软件环境实施步骤；
所述硬件环境实施步骤是：
S11，配置有支持SR-IOV功能的PC服务器，该PC服务器具有支持SR-IOV功能的网卡；
所述软件环境实施步骤是：
S21，所述PC服务器的虚拟化底层使用XenServer平台，并于其视频应用虚拟机中安装有若干视频服务软件，包括视频流转发软件和视频数据存储软件；
S22，在PC服务器的BIOS设置中开启SR-IOV功能，在网卡的BIOS设置中将其调整为SR-IOV模式；
S23，修改XenServer的启动参数，配置需要直通给视频应用虚拟机使用的网卡，具体包括以下操作：
S231，定位需要网卡的PCI总线地址，将查询出来的网卡PCI总线地址的编号填入到配置文件中，并重启PC服务器令其生效；
S232，查询到视频应用虚拟机的UUID，为视频应用虚拟机分配硬件直通网卡；
S233，开启视频应用虚拟机，在虚拟机的操作系统里安装网卡驱动，随后将该网卡用于视频应用流量处理。
优选的，所述PC服务器的虚拟化底层采用XenServer6.5以上版本。
本发明通过使用SR-IOV技术结合开源虚拟化平台(XenServer)，将虚拟化技术引入到视频应用场景中。具体的有益效果说明如下：
1)解决了虚拟化环境中的网络丢包和延时抖动问题，消除了虚拟化环境在处理巨量网络流量时的网络丢包问题，虚拟机网络延时抖动由之前的1～100ms，稳定在1ms左右，基本没有网络延时抖动。
2)消除了虚拟化层用于处理网络流量的巨量CPU开销，消除了虚拟化管理程序和虚拟交换机软件层处理巨量流量时所触发的海量CPU中断和CPU上下文切换开销，极大的提升了物理服务器的虚拟化效率。
3)将虚拟化技术引入到视频应用场景，使得视频云首次架构在虚拟化架构平台上，依托虚拟化架构平台的先天优势，短时间就完成生产环境的快速部署上线，且大大降低了项目实施成本，以较低的代价实现了整套系统的整体容灾。
附图说明
图1为本发明的软件环境实施步骤的流程图。
具体实施方式
如下结合附图1，对本申请方案作进一步描述：
一种解决大规模视频云应用中的网络性能瓶颈的方法，其包括硬件环境实施步骤和软件环境实施步骤；
所述硬件环境实施步骤是：
S11，配置有支持SR-IOV功能的PC服务器，该PC服务器具有支持SR-IOV功能的网卡；
所述软件环境实施步骤是：
S21，所述PC服务器的虚拟化底层使用XenServer平台，并于其视频应用虚拟机中安装有若干视频服务软件，包括视频流转发软件和视频数据存储软件；
S22，在PC服务器的BIOS设置中开启SR-IOV功能，在网卡的BIOS设置中将其调整为SR-IOV模式；
S23，修改XenServer的启动参数，配置需要直通给视频应用虚拟机使用的网卡，具体包括以下操作：
S231，
定位需要网卡的PCI总线地址，所使用的命令是：1spci|grep-inet；
将查询出来的网卡PCI总线地址的编号填入到配置文件中，所使用的命令是：
vi/boot/extlinux.conf；
...splash pciback.hide＝(43：00.0)(43：00.1)(44：00.0)(44：00.1)---...；斜体显示为相应的格式示例；
执行命令，并重启PC服务器令其生效，所使用的命令是：
extlinux-i/boot；
reboot；
S232，
查询到视频应用虚拟机的UUID，所使用的命令是：
xe vm-list name-lable＝”视频应用虚拟机的名称”；
为视频应用虚拟机分配硬件直通网卡，所使用的命令是：
xe vm-param-set；
other-config：pci＝0/0000：44：00.0，0/0000：44：00.1
uuid＝8a4998a2-d781-81a2-edd2-36f149f4055e
S233，开启视频应用虚拟机，在虚拟机的操作系统里安装网卡驱动，随后将该网卡用于视频应用流量处理。
所述PC服务器的虚拟化底层采用XenServer6.5以上版本。
测试数据如下：(iperf网络流量压力9Gb/s)
本发明涉及的名词解释：
UUID，即Universally Unique Identifier，其含义是通用唯一识别码。
XenServer，是一种全面而易于管理的服务器虚拟化平台，基于强大的XenHypervisor程序之上，是为了高效地管理Windows(R)和Linux(R)虚拟服务器而设计的，可提供经济高效的服务器整合和业务连续性。Xen技术被广泛看作是业界最快速、最安全的虚拟化软件。
SR-IOV，即Single-root I/O virtualization，意为单根I/O虚拟化，使用SR-IOV技术会使处理器利用率和网络延迟降低50％，而且会增加30％的网络吞吐率；通过网络性能的优化，可以在不花钱投资SR-IOV网络基础设施的情况下，在同样一台SR-IOV服务器上支持更多的虚拟机，或在高I/O负载的机器上很好地运行VM；同时，SR-IOV提供的低延迟可以让对延迟敏感的网络流量(例如交易型数据或流媒体)有更好的网络性能。
上述优选实施方式应视为本申请方案实施方式的举例说明，凡与本申请方案雷同、近似或以此为基础作出的技术推演、替换、改进等，均应视为本专利的保护范围。

Claims (2)

1.一种解决大规模视频云应用中的网络性能瓶颈的方法，其特征在于，包括硬件环境实施步骤和软件环境实施步骤；
所述硬件环境实施步骤是：
S11，配置有支持SR-IOV功能的PC服务器，该PC服务器具有支持SR-IOV功能的网卡；
所述软件环境实施步骤是：
S21，所述PC服务器的虚拟化底层使用XenServer平台，并于其视频应用虚拟机中安装有若干视频服务软件，包括视频流转发软件和视频数据存储软件；
S22，在PC服务器的BIOS设置中开启SR-IOV功能，在网卡的BIOS设置中将其调整为SR-IOV模式；
S23，修改XenServer的启动参数，配置需要直通给视频应用虚拟机使用的网卡，具体包括以下操作：
S231，定位需要网卡的PCI总线地址，将查询出来的网卡PCI总线地址的编号填入到配置文件中，并重启PC服务器令其生效；
S232，查询到视频应用虚拟机的UUID，为视频应用虚拟机分配硬件直通网卡；
S233，开启视频应用虚拟机，在虚拟机的操作系统里安装网卡驱动，随后将该网卡用于视频应用流量处理。
2.根据权利要求1所述的解决大规模视频云应用中的网络性能瓶颈的方法，其特征在于：所述PC服务器的虚拟化底层采用XenServer6.5以上版本。
CN201710177298.7A 2017-03-22 2017-03-22 一种解决大规模视频云应用中的网络性能瓶颈的方法 Active CN107026852B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710177298.7A CN107026852B (zh) 2017-03-22 2017-03-22 一种解决大规模视频云应用中的网络性能瓶颈的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710177298.7A CN107026852B (zh) 2017-03-22 2017-03-22 一种解决大规模视频云应用中的网络性能瓶颈的方法

Publications (2)

Publication Number Publication Date
CN107026852A true CN107026852A (zh) 2017-08-08
CN107026852B CN107026852B (zh) 2020-05-05

Family

ID=59526214

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710177298.7A Active CN107026852B (zh) 2017-03-22 2017-03-22 一种解决大规模视频云应用中的网络性能瓶颈的方法

Country Status (1)

Country Link
CN (1) CN107026852B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112600723A (zh) * 2020-11-13 2021-04-02 苏州浪潮智能科技有限公司 一种基于虚拟化场景的网卡测试方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120284712A1 (en) * 2011-05-04 2012-11-08 Chitti Nimmagadda Systems and methods for sr-iov pass-thru via an intermediary device
CN102891882A (zh) * 2011-07-18 2013-01-23 国际商业机器公司 利用硬件中的网络包缓冲的基于检查点的高可用性
CN102946366A (zh) * 2012-11-12 2013-02-27 杭州华为数字技术有限公司 带内管理方法及系统
CN104067231A (zh) * 2011-12-07 2014-09-24 西里克斯系统公司 使用虚拟交换代理控制网络接口
CN106250211A (zh) * 2016-08-05 2016-12-21 浪潮(北京)电子信息产业有限公司 一种基于sr_iov的虚拟化实现方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120284712A1 (en) * 2011-05-04 2012-11-08 Chitti Nimmagadda Systems and methods for sr-iov pass-thru via an intermediary device
CN102891882A (zh) * 2011-07-18 2013-01-23 国际商业机器公司 利用硬件中的网络包缓冲的基于检查点的高可用性
CN104067231A (zh) * 2011-12-07 2014-09-24 西里克斯系统公司 使用虚拟交换代理控制网络接口
CN102946366A (zh) * 2012-11-12 2013-02-27 杭州华为数字技术有限公司 带内管理方法及系统
CN106250211A (zh) * 2016-08-05 2016-12-21 浪潮(北京)电子信息产业有限公司 一种基于sr_iov的虚拟化实现方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
TASNRH: "XenServer的SR-IOV技术", 《51CTO博客》 *
TODAYGOOD: "Xen SRIOV config on sles11sp2", 《CHINAUNIX博客》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112600723A (zh) * 2020-11-13 2021-04-02 苏州浪潮智能科技有限公司 一种基于虚拟化场景的网卡测试方法
CN112600723B (zh) * 2020-11-13 2022-05-13 苏州浪潮智能科技有限公司 一种基于虚拟化场景的网卡测试方法

Also Published As

Publication number Publication date
CN107026852B (zh) 2020-05-05

Similar Documents

Publication Publication Date Title
US9984648B2 (en) Delivering GPU resources to a migrating virtual machine
US10599457B2 (en) Importing and exporting virtual disk images
US20180109471A1 (en) Generalized packet processing offload in a datacenter
US9588793B2 (en) Creating new virtual machines based on post-boot virtual machine snapshots
US20170323418A1 (en) Virtualized gpu in a virtual machine environment
US8681821B1 (en) Streamlined guest networking in a virtualized environment
US20170024224A1 (en) Dynamic snapshots for sharing network boot volumes
CN114008588A (zh) 在处理单元的虚拟化环境中共享多媒体物理功能
WO2016115831A1 (zh) 一种虚拟机容错的方法、装置及系统
Kozuch et al. Migration without Virtualization.
US20130086582A1 (en) Network Adapter Hardware State Migration Discovery in a Stateful Environment
US20130086298A1 (en) Live Logical Partition Migration with Stateful Offload Connections Using Context Extraction and Insertion
US20160139944A1 (en) Method and Apparatus for Combined Hardware/Software VM Migration
US8872835B2 (en) Prevention of DoS attack by a rogue graphics application
US9110694B2 (en) Data flow affinity for heterogenous virtual machines
US8607231B1 (en) Method and system for processing isochronous data packets using virtual USB controller and placing the isochronous data packets into a look-ahead queue having a plurality of blank packets
CN115526770A (zh) 用于虚拟化图形处理的缩放
CN114691286A (zh) 服务器系统、虚拟机创建方法及装置
CN116508001A (zh) 卸载容器执行环境
CN107026852A (zh) 一种解决大规模视频云应用中的网络性能瓶颈的方法
US11106380B2 (en) Migration of storage for workloads between desktop and cloud environments
JP2015170887A (ja) パケット処理方法及びシステム
US9436489B2 (en) Virtual machine data replication with shared resources
US20150248303A1 (en) Paravirtualized migration counter
CN116016498A (zh) Cdn网元容器配置方法、读写方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant