CN105898621A - 一种可分级视频传输方法、装置及系统 - Google Patents
一种可分级视频传输方法、装置及系统 Download PDFInfo
- Publication number
- CN105898621A CN105898621A CN201610371308.6A CN201610371308A CN105898621A CN 105898621 A CN105898621 A CN 105898621A CN 201610371308 A CN201610371308 A CN 201610371308A CN 105898621 A CN105898621 A CN 105898621A
- Authority
- CN
- China
- Prior art keywords
- video
- grade
- level
- hardware
- client
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
- H04N21/643—Communication protocols
- H04N21/6437—Real-time Transport Protocol [RTP]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/1066—Session management
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/1066—Session management
- H04L65/1073—Registration or de-registration
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/60—Network streaming of media packets
- H04L65/65—Network streaming protocols, e.g. real-time transport protocol [RTP] or real-time control protocol [RTCP]
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Business, Economics & Management (AREA)
- General Business, Economics & Management (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
本发明属于多媒体通信技术领域,尤其涉及一种可分级视频传输方法、装置及系统。所述可分级视频传输方法包括:步骤a:接收客户端的硬件配置信息及实时网速信息;步骤b:根据所述硬件配置信息对客户端进行硬件等级划分;步骤c:根据所述硬件等级划分及所述实时网速信息确定视频等级,并根据所确定的视频等级下发对应级别的视频数据。本发明使得视频通信更加流畅,有效应对异构客户端和网速变化时,仍能可以保持较好视频通信质量。
Description
技术领域
本发明属于多媒体通信技术领域,尤其涉及一种可分级视频传输方法、装置及系统。
背景技术
由于现在客户端的异构型越来越多,不同客户端的硬件性能(例如分辨率,CPU,内存,GPU等)差异很大,导致不同客户端的计算能力差异也很大。计算机网络也越来越复杂,固网容易波动,尤其是现在越来越多的二级、三级网络运营商提供的宽带接入,带宽速度和稳定性都没有保证,移动设备2.5G,3G,4G网络同时存在,网速差异很大。这样需要在服务器上做视频可分级转码,再根据客户端硬件性能和实时网速做可分级视频推送。
SIP(Session Initiation Protocol,会话初始协议)是由IETF(InternetEngineering Task Force,因特网工程任务组)制定的多媒体通信协议。它是一个基于文本的应用层控制协议,用于创建、修改和释放一个或多个参与者的会话,并能动态调整和修改会话属性,如会话带宽要求、传输的媒体类型(语音、视频和数据等)、媒体的编解码格式、对多播和单播的支持等。广泛应用于CS(Circuit Switched,电路交换)、NGN(Next GenerationNetwork,下一代网络)以及IMS(IP Multimedia Subsystem,IP多媒体子系统)的网络中,可以支持并应用于语音、视频、数据等多媒体业务,同时也可以应用于Presence(呈现)、Instant Message(即时消息)等特色业务。目前SIP服务器主要是对视频数据进行中继透传,增加转码模块,很多都是用CPU、FFMPEG和X264软转码,或者另外再用专门的音频视频DSP(DigitalSignal Processing数字信号处理)作为独立的视频处理MCU,也使得硬件系统复杂带来不稳定,并且对于软件开发人员增加了开发难度。
SDP协议(Session Description Protocol)是RFC2327(Session DescriptionProtocol,话描述协议,)规定的内容。SDP用于描述会话的各项信息,包括网络IP、URL、音频流视频流种类、编码方式、尺寸、帧率、控制方式和时间信息等。客户端可利用这些详细信息完成解码和播放。
Intel Quick Sync Video技术是一项硬件加速的视频编解码技术,和以往的显卡GPU加速不同,Intel Quick Sync Video在CPU内融合了专有的视频处理芯片,极大地提高了CPU的视频处理能力。该技术在2011年随SandyBridge架构CPU一起发布,其设计应用场景非常广泛,包括高清视频解码、高清视频转码、即时视频通信等,支持H.264和MPEG-2格式编码和H.264、MPEG-2和VC-1格式解码。Intel Media SDK是随着Quick Sync Video技术一同发布的供开发者使用的多媒体开发包,其中包括了Quick Sync Video引擎的API。通过这组API,我们可以很方便地访问到硬件加速引擎,开发出具有硬件加速特性的视频编码器及解码器。
Intel Quick Sync的硬编码大概是CUDA的1.2~2倍,x264的4~6倍,而且视频质量和x264相当,并且编码时CPU的占用率也远低于CUDA和x264。所以如果使用Intel Media SDK来做视频转码的性价比一般要比NVIDIA CUDA要高。目前国内使用Intel Media SDK在产品化设计方面的公开文档还不多。
刘利川的《H.264/SVC可伸缩编码及其传输系统若干问题研究》第三章SVC时空域组合可伸缩快速模式决策算法,讲解了可伸缩视频编码的技术细节。范敏的《H.264可伸缩编码的算法研究及其应用》中2.2节提到H.264-SVC的时间、空间、质量可伸缩性,4.1节中提到RTSP和SDP协议。郭献的《基于Intel平台的H_264硬件加速编解码器的研究与应用》一文中,只提到Intel Quick Sync硬件视频转码加速技术,第四章针对Intel Media SDK性能优化和时域视频可分级做了一些描述,第五章使用Intel Media SDK硬件加速转码与FFMPEG、x264比较,有明显速度优势。金曙阳的《基于GPU并行编码的全高清互动教学系统的设计与实现》一文中,4.2.3节中提到使用IntelMedia SDK来调用Intel GUP来做编码器,并且在4.1.2节中得出结论Intel GPU硬件加速视频编码明显。Web of Science中Journal of Korea Academia-Industrial cooperation Society一文《A Study on FPGA utilization For PC-basedFull-HD DVR System Implementation Full-HD》中也提到在DVR system里面使用Intel Media SDK技术。
综上所述,现有技术中的视频传输技术只写出了视频可以做可分级编码并传输,也提到过硬件的异构特性需要可分级视频编码和传输,但是并没有详细说明客户端与服务器通过某种协议进行可分级视频的调度技术细节,也没有结合具体的异构硬件的性能做可分级调度的决策方案,并且现有公开文档都是基于RTSP协议来做简要描述,难以在代码级别具体灵活实现。服务器端做视频可分级转码的实现方式也没有说明。
发明内容
本发明提供了一种可分级视频传输方法、装置及系统,旨在至少在一定程度上解决现有技术中的上述技术问题之一。
本发明是这样实现的,一种可分级视频传输方法,包括:
步骤a:接收客户端的硬件配置信息及实时网速信息;
步骤b:根据所述硬件配置信息对客户端进行硬件等级划分;
步骤c:根据所述硬件等级划分及所述实时网速信息确定视频等级,并根据所确定的视频等级下发对应级别的视频数据。
本发明实施例采取的技术方案还包括:在所述步骤b中,所述对客户端进行硬件等级划分的划分方式包括:分别设定CPU等级、内存等级、屏幕分辨率等级、摄像头分辨率等级和网络带宽等级的性能指标,根据CPU等级、内存等级、屏幕分辨率等级、摄像头分辨率等级和网络带宽等级的性能指标进行区间静态匹配,根据匹配结果进行硬件等级划分。
本发明实施例采取的技术方案还包括:所述步骤c还包括:接通视频通信,接收客户端上传的视频数据,并使用Intel Media SDK开发接口对上传的视频数据进行可分级转码加速处理。
本发明实施例采取的技术方案还包括:在所述步骤c中,所述视频等级包括下发视频等级和上传视频等级,所述下发视频等级和上传视频等级分别包括时间、空间和质量等级,所述上传视频等级的时间、空间和质量等级大于或等于所述下传视频等级的时间、空间和质量等级。
本发明实施例采取的技术方案还包括:所述步骤c后还包括:根据实时网速信息判断是否需要调整下发视频等级,如果不需要调整下发视频等级,继续按照当前的视频等级进行视频通信;如果需要调整下发视频等级,根据客户端对应的硬件等级划分及实时网速信息重新确定视频等级,并根据重新确定的视频等级下发视频数据。
本发明实施例采取的另一技术方案为:一种可分级视频传输装置,包括SIP服务器,所述SIP服务器包括信息接收模块、硬件等级划分模块和视频等级划分模块;
所述信息接收模块用于接收客户端的硬件配置信息及实时网速信息;
所述硬件等级划分模块用于根据所述硬件配置信息对客户端进行硬件等级划分;
所述视频等级划分模块用于根据所述硬件等级划分及所述实时网速信息确定视频等级,并根据所确定的视频等级下发对应级别的视频数据。
本发明实施例采取的技术方案还包括:所述硬件等级划分模块对客户端进行硬件等级划分的划分方式包括:分别设定CPU等级、内存等级、屏幕分辨率等级、摄像头分辨率等级和网络带宽等级的性能指标,根据CPU等级、内存等级、屏幕分辨率等级、摄像头分辨率等级和网络带宽等级的性能指标进行区间静态匹配,根据匹配结果进行硬件等级划分;所述视频等级划分模块确定的视频等级包括下发视频等级和上传视频等级,所述下发视频等级和上传视频等级分别包括时间、空间和质量等级,所述上传视频等级的时间、空间和质量等级大于或等于所述下传视频等级的时间、空间和质量等级。
本发明实施例采取的技术方案还包括:所述SIP服务器还包括视频处理模块,所述视频处理模块用于接通视频通信,接收客户端上传的视频数据,并使用Intel Media SDK开发接口对上传的视频数据进行可分级转码加速处理。
本发明实施例采取的技术方案还包括:所述SIP服务器还包括视频等级判断模块,所述视频等级判断模块用于根据实时网速信息判断是否需要调整下发视频等级,如果不需要调整下发视频等级,继续按照当前的视频等级进行视频通信;如果需要调整下发视频等级,通过所述视频等级划分模块根据客户端对应的硬件等级划分及实时网速信息重新确定视频等级,并根据重新确定的视频等级下发视频数据。
本发明实施例采取的又一技术方案为:一种可分级视频传输系统,包括客户端和SIP服务器,所述客户端用于向SIP服务器上传硬件配置信息及实时网速信息;所述SIP服务器包括信息接收模块、硬件等级划分模块和视频等级划分模块;
所述信息接收模块用于接收所述客户端的硬件配置信息及实时网速信息;
所述硬件等级划分模块用于根据所述硬件配置信息对客户端进行硬件等级划分;
所述视频等级划分模块用于根据所述硬件等级划分及所述实时网速信息确定视频等级,并根据所确定的视频等级下发对应级别的视频数据。
相对于现有技术,本发明产生的有益效果在于:本发明实施例的可分级视频传输方法、装置及系统通过SIP/SDP协议向SIP服务器上传硬件配置信息及实时网速信息,SIP服务器根据硬件配置信息及实时网速信息对客户端进行硬件等级划分,定义视频等级,并使用Intel Media SDK开发接口对客户端上传的视频数据进行可分级转码加速处理后,根据定义的视频等级下发视频数据;并在视频通信过程中,根据客户端的实时网速信息对视频等级进行实时调整,使得视频通信更加流畅,有效应对异构客户端和网速变化时,仍能可以保持较好视频通信质量。
附图说明
图1是本发明实施例的可分级视频传输方法的流程图;
图2是本发明实施例的可分级视频传输装置的结构示意图;
图3是本发明实施例的可分级视频传输系统的结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
请参阅图1,是本发明实施例的可分级视频传输方法的流程图。本发明实施例的可分级视频传输方法包括以下步骤:
步骤100:客户端向SIP服务器发起SIP注册请求;
步骤200:SIP服务器接收SIP注册请求,获取客户端对应的参数信息进行SIP注册,并向客户端返回注册成功信息;
在步骤200中,获取的客户端参数信息包括客户端位置信息及被呼叫方号码信息等。
步骤300:客户端接收注册成功信息,并通过SIP/SDP协议向SIP服务器上传硬件配置信息及实时网速信息;
在步骤300中,硬件配置信息及实时网速信息上传方式为:在SDP协议媒体层字段a含CPU、内存、最大支持视频分辨率及屏幕分辨率等;在SDP协议中会话描述层字段b上报客户端检测到的实时网速信息。
步骤400:SIP服务器接收硬件配置信息及实时网速信息,并根据硬件配置信息对客户端进行硬件等级划分;
在步骤400中,硬件等级划分如下表1所示:
表1
具体地,SIP服务器对客户端进行硬件等级划分的划分方式包括:CPU等级为a,内存等级为b,屏幕分辨率等级为c,摄像头分辨率等级为d,网络带宽等级为e,分别设定CPU等级a、内存等级b、屏幕分辨率等级c、摄像头分辨率等级d和网络带宽等级e不同等级对应的性能指标,根据表1对CPU等级a、内存等级b、屏幕分辨率等级c、摄像头分辨率等级d和网络带宽等级e对应的性能指标进行区间静态匹配,根据匹配结果进行硬件等级划分。
步骤500:SIP服务器与客户端接通视频通信,接收客户端上传的视频数据,并对上传的视频数据进行可分级转码加速处理;
在步骤500中,SIP服务器使用Intel Media SDK开发接口对上传的视频数据进行可分级转码加速,使得视频通信更加流畅;具体处理方式包括以下步骤:
步骤501:接收客户端上传的视频流;
步骤502:视频流通过Intel Media SDK CDecodingPipeline.RunDecoding解码出视频数据;
步骤503:视频数据通过Intel Media SDK CEncodingPipeline.Run做可分级编码视频数据。
步骤600:根据客户端对应的硬件等级划分及实时网速信息确定对应的视频等级,根据确定的视频等级下发对应级别的视频数据;
在步骤600中,如上述表1所示,视频等级包括下发视频等级和上传视频等级,下发视频等级和上传视频等级分别包括时间、空间和质量等级。其中,下发视频的时间等级为td,空间等级为sd,质量等级为qd。上传的视频数据的时间等级为tu,空间等级为su,质量等级为qu。
时间分辨率与硬件和网速等级有关,CPU等级a权重为0.1,内存等级b权重为0.3,屏幕分辨率等级c权重为0.05,摄像头分辨率等级d权重为0.05,网络带宽等级e权重为0.5,下发视频的时间等级公式为:
td=a×0.1+b×0.3+c×0.05+d×0.05+e×0.5 (1)
空间分辨率与硬件和网速等级有关,CPU等级a权重为0.1,内存等级b权重为0.3,屏幕分辨率等级c权重为0.2,摄像头分辨率等级d权重为0.2,网络带宽等级e权重为0.2,下发视频的空间等级公式为:
sd=a×0.1+b×0.3+c×0.2+d×0.2+e×0.2 (2)
质量等级与硬件等级静态规划有关,CPU等级a权重为0.2,内存等级b权重为0.3,屏幕分辨率等级c权重为0.2,摄像头分辨率等级d群众为0.2,网络带宽等级e权重为0.1,下发视频的质量等级公式为:
qd=a×0.2+b×0.3+c×0.2+d×0.2+e×0.1 (3)
上传视频等级的时间、空间和质量等级必须大于或等于下传视频等级的时间、空间和质量等级。即:
tu≥td
su≥sd
qu≥qd
步骤700:根据实时网速信息判断是否需要调整下发视频等级,如果不需要调整下发视频等级,执行步骤800;如果需要调整下发视频等级,重新执行步骤600;
在步骤700中,本发明通过实时网速信息对下发视频等级进行实时调整,有效应对异构客户端和网速变化时,仍能可以保持较好视频通信质量。当网速下降时,服务器调低下发视频等级,当网速上升时,服务器提升下发视频等级。然后用媒体层字段a改变视频媒体分辨率。本实施例采用自定义的属性描述,如:width:352;height:288;fps:25;framenum:10364;bitcount:24。
步骤800:继续按照当前的视频等级进行视频通信;
步骤900:SIP服务器判断客户端是否通知结束视频通信,如果客户端通知结束视频通信,执行步骤1000;如果客户端没有通知结束视频通信,重新执行步骤700;
步骤1000:SIP服务器挂断本次视频通信。
本发明实施例的可分级视频传输方法通过SIP/SDP协议向SIP服务器上传硬件配置信息及实时网速信息,SIP服务器根据硬件配置信息及实时网速信息对客户端进行硬件等级划分,定义视频等级,并使用Intel Media SDK开发接口对客户端上传的视频数据进行可分级转码加速处理后,根据定义的视频等级下发视频数据;并在视频通信过程中,根据客户端的实时网速信息对视频等级进行实时调整,使得视频通信更加流畅,有效应对异构客户端和网速变化时,仍能可以保持较好视频通信质量。
请参阅图2,是本发明实施例的可分级视频传输装置的结构示意图。本发明实施例的可分级视频传输装置包括SIP服务器;SIP服务器包括SIP注册模块、信息接收模块、硬件等级划分模块、视频处理模块、视频等级划分模块、视频等级判断模块和视频结束判断模块。
SIP注册模块用于接收客户端发送的SIP注册请求,获取客户端对应的参数信息进行SIP注册,并向客户端返回注册成功信息;其中,SIP注册模块获取的客户端参数信息包括客户端位置信息及被呼叫方号码信息等。
信息接收模块用于接收客户端上传的硬件配置信息及实时网速信息;
硬件等级划分模块用于根据硬件配置信息对客户端进行硬件等级划分;其中,硬件等级划分如下表1所示:
表1
具体地,等级划分模块对客户端进行硬件等级划分的划分方式包括:CPU等级为a,内存等级为b,屏幕分辨率等级为c,摄像头分辨率等级为d,网络带宽等级为e,分别设定CPU等级a、内存等级b、屏幕分辨率等级c、摄像头分辨率等级d和网络带宽等级e不同等级对应的性能指标,根据表1对CPU等级a、内存等级b、屏幕分辨率等级c、摄像头分辨率等级d和网络带宽等级e对应的性能指标进行区间静态匹配,根据匹配结果进行硬件等级划分。
视频处理模块用于与客户端接通视频通信,接收客户端上传的视频数据,并对上传的视频数据进行可分级转码加速处理;其中,视频处理模块使用Intel Media SDK开发接口对上传的视频数据进行可分级转码加速,使得视频通信更加流畅;具体地,视频处理模块包括视频接收单元、视频解码单元和视频分级单元;
视频接收单元用于接收客户端上传的视频流;
视频解码单元用于通过Intel Media SDK CDecodingPipeline.RunDecoding解码出视频数据;
视频分级单元用于通过Intel Media SDK CEncodingPipeline.Run对视频数据做可分级编码。
视频等级划分模块用于根据客户端对应的硬件等级划分及实时网速信息确定视频等级,根据视频等级下发对应级别的视频数据;其中,如上述表1所示,视频等级包括下发视频等级和上传视频等级,下发视频等级和上传视频等级分别包括时间、空间和质量等级。下发视频的时间等级为td,空间等级为sd,质量等级为qd。上传的视频数据的时间等级为tu,空间等级为su,质量等级为qu。
时间分辨率与硬件和网速等级有关,CPU等级a权重为0.1,内存等级b权重为0.3,屏幕分辨率等级c权重为0.05,摄像头分辨率等级d权重为0.05,网络带宽等级e权重为0.5,下发视频的时间等级公式为:
td=a×0.1+b×0.3+c×0.05+d×0.05+e×05 (1)
空间分辨率与硬件和网速等级有关,CPU等级a权重为0.1,内存等级b权重为0.3,屏幕分辨率等级c权重为0.2,摄像头分辨率等级d权重为0.2,网络带宽等级e权重为0.2,下发视频的空间等级公式为:
sd=a×0.1+b×0.3+c×0.2+d×0.2+e×0.2 (2)
质量等级与硬件等级静态规划有关,CPU等级a权重为0.2,内存等级b权重为0.3,屏幕分辨率等级c权重为0.2,摄像头分辨率等级d群众为0.2,网络带宽等级e权重为0.1,下发视频的质量等级公式为:
qd=a×0.2+b×0.3+c×0.2+d×0.2+e×0.1 (3)
上传视频等级的时间、空间和质量等级必须大于或等于下传视频等级的时间、空间和质量等级。即:
tu≥td
su≥sd
qu≥qd
视频等级判断模块用于根据实时网速信息判断是否需要调整下发视频等级,如果不需要调整下发视频等级,继续按照当前的视频等级进行视频通信;如果需要调整下发视频等级,则通过视频等级划分模块重新确定视频等级,并根据新的视频等级下发对应级别的视频数据;其中,本发明实施例通过实时网速信息对下发视频等级进行实时调整,有效应对异构客户端和网速变化时,仍能可以保持较好视频通信质量。当网速下降时,服务器调低下发视频等级,当网速上升时,服务器提升下发视频等级。然后用媒体层字段a改变视频媒体分辨率。本实施例采用自定义的属性描述,如:width:352;height:288;fps:25;framenum:10364;bitcount:24。
视频结束判断模块用于判断客户端是否通知结束视频通信,如果客户端通知结束视频通信,挂断本次视频通信。
本发明实施例的可分级视频传输装置根据客户端的硬件配置信息及实时网速信息对客户端进行硬件等级划分,定义视频等级,并使用Intel MediaSDK开发接口对客户端上传的视频数据进行可分级转码加速处理后,根据定义的视频等级下发视频数据;并在视频通信过程中,根据客户端的实时网速信息对视频等级进行实时调整,使得视频通信更加流畅,有效应对异构客户端和网速变化时,仍能可以保持较好视频通信质量。
请参阅图3,是本发明实施例的可分级视频传输系统的结构示意图。本发明实施例的可分级视频传输系统包括客户端和SIP服务器;客户端和SIP服务器网络连接。
客户端包括注册请求模块和信息上传模块;
注册请求模块用于向SIP服务器发起SIP注册请求;
信息上传模块用于接收SIP服务器返回的注册成功信息,并通过SIP/SDP协议向SIP服务器上传硬件配置信息及实时网速信息;其中,硬件配置信息及实时网速信息上传方式为:在SDP协议媒体层字段a含CPU、内存、最大支持视频分辨率及屏幕分辨率等;在SDP协议中会话描述层字段b上报客户端检测到的实时网速信息。
SIP服务器包括SIP注册模块、信息接收模块、硬件等级划分模块、视频处理模块、视频等级划分模块、视频等级判断模块和视频结束判断模块;
SIP注册模块用于接收客户端发送的SIP注册请求,获取客户端对应的参数信息进行SIP注册,并向客户端返回注册成功信息;其中,SIP注册模块获取的客户端参数信息包括客户端位置信息及被呼叫方号码信息等。
信息接收模块用于接收客户端上传的硬件配置信息及实时网速信息;
硬件等级划分模块用于根据硬件配置信息对客户端进行硬件等级划分;其中,硬件等级划分如下表1所示:
表1
具体地,等级划分模块对客户端进行硬件等级划分的划分方式包括:CPU等级为a,内存等级为b,屏幕分辨率等级为c,摄像头分辨率等级为d,网络带宽等级为e,分别设定CPU等级a、内存等级b、屏幕分辨率等级c、摄像头分辨率等级d和网络带宽等级e不同等级对应的性能指标,根据表1对CPU等级a、内存等级b、屏幕分辨率等级c、摄像头分辨率等级d和网络带宽等级e对应的性能指标进行区间静态匹配,根据匹配结果进行硬件等级划分。
视频处理模块用于与客户端接通视频通信,接收客户端上传的视频数据,并对上传的视频数据进行可分级转码加速处理;其中,视频处理模块使用Intel Media SDK开发接口对上传的视频数据进行可分级转码加速,使得视频通信更加流畅;具体地,视频处理模块包括视频接收单元、视频解码单元和视频分级单元;
视频接收单元用于接收客户端上传的视频流;
视频解码单元用于通过Intel Media SDK CDecodingPipeline.RunDecoding解码出视频数据;
视频分级单元用于通过Intel Media SDK CEncodingPipeline.Run对视频数据做可分级编码。
视频等级划分模块用于根据客户端对应的硬件等级划分及实时网速信息确定视频等级,根据视频等级下发对应级别的视频数据;其中,如上述表1所示,视频等级包括下发视频等级和上传视频等级,下发视频等级和上传视频等级分别包括时间、空间和质量等级。下发视频的时间等级为td,空间等级为sd,质量等级为qd。上传的视频数据的时间等级为tu,空间等级为su,质量等级为qu。
时间分辨率与硬件和网速等级有关,CPU等级a权重为0.1,内存等级b权重为0.3,屏幕分辨率等级c权重为0.05,摄像头分辨率等级d权重为0.05,网络带宽等级e权重为0.5,下发视频的时间等级公式为:
td=a×0.1+b×0.3+c×0.05+d×0.05+e×0.5 (1)
空间分辨率与硬件和网速等级有关,CPU等级a权重为0.1,内存等级b权重为0.3,屏幕分辨率等级c权重为0.2,摄像头分辨率等级d权重为0.2,网络带宽等级e权重为0.2,下发视频的空间等级公式为:
sd=a×0.1+b×0.3+c×0.2+d×0.2+e×0.2 (2)
质量等级与硬件等级静态规划有关,CPU等级a权重为0.2,内存等级b权重为0.3,屏幕分辨率等级c权重为0.2,摄像头分辨率等级d群众为0.2,网络带宽等级e权重为0.1,下发视频的质量等级公式为:
qd=a×0.2+b×0.3+c×0.2+d×0.2+e×0.1 (3)
上传视频等级的时间、空间和质量等级必须大于或等于下传视频等级的时间、空间和质量等级。即:
tu≥td
su≥sd
qu≥qd
视频等级判断模块用于根据实时网速信息判断是否需要调整下发视频等级,如果不需要调整下发视频等级,继续按照当前的视频等级进行视频通信;如果需要调整下发视频等级,则通过视频等级划分模块重新确定视频等级,并根据新的视频等级下发对应级别的视频数据;其中,本发明实施例通过实时网速信息对下发视频等级进行实时调整,有效应对异构客户端和网速变化时,仍能可以保持较好视频通信质量。当网速下降时,服务器调低下发视频等级,当网速上升时,服务器提升下发视频等级。然后用媒体层字段a改变视频媒体分辨率。本实施例采用自定义的属性描述,如:width:352;height:288;fps:25;framenum:10364;bitcount:24。
视频结束判断模块用于判断客户端是否通知结束视频通信,如果客户端通知结束视频通信,挂断本次视频通信。
本发明实施例的可分级视频传输系统通过SIP/SDP协议向SIP服务器上传硬件配置信息及实时网速信息,SIP服务器根据硬件配置信息及实时网速信息对客户端进行硬件等级划分,定义视频等级,并使用Intel Media SDK开发接口对客户端上传的视频数据进行可分级转码加速处理后,根据定义的视频等级下发视频数据;并在视频通信过程中,根据客户端的实时网速信息对视频等级进行实时调整,使得视频通信更加流畅,有效应对异构客户端和网速变化时,仍能可以保持较好视频通信质量。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。
Claims (10)
1.一种可分级视频传输方法,包括:
步骤a:接收客户端的硬件配置信息及实时网速信息;
步骤b:根据所述硬件配置信息对客户端进行硬件等级划分;
步骤c:根据所述硬件等级划分及所述实时网速信息确定视频等级,并根据所确定的视频等级下发对应级别的视频数据。
2.根据权利要求1所述的可分级视频传输方法,其特征在于,在所述步骤b中,所述对客户端进行硬件等级划分的划分方式包括:分别设定CPU等级、内存等级、屏幕分辨率等级、摄像头分辨率等级和网络带宽等级的性能指标,根据CPU等级、内存等级、屏幕分辨率等级、摄像头分辨率等级和网络带宽等级的性能指标进行区间静态匹配,根据匹配结果进行硬件等级划分。
3.根据权利要求2所述的可分级视频传输方法,其特征在于,所述步骤c还包括:接通视频通信,接收客户端上传的视频数据,并使用Intel MediaSDK开发接口对上传的视频数据进行可分级转码加速处理。
4.根据权利要求1所述的可分级视频传输方法,其特征在于,在所述步骤c中,所述视频等级包括下发视频等级和上传视频等级,所述下发视频等级和上传视频等级分别包括时间、空间和质量等级,所述上传视频等级的时间、空间和质量等级大于或等于所述下传视频等级的时间、空间和质量等级。
5.根据权利要求1至4任一项所述的可分级视频传输方法,其特征在于,所述步骤c后还包括:根据实时网速信息判断是否需要调整下发视频等级,如果不需要调整下发视频等级,继续按照当前的视频等级进行视频通信;如果需要调整下发视频等级,根据客户端对应的硬件等级划分及实时网速信息重新确定视频等级,并根据重新确定的视频等级下发视频数据。
6.一种可分级视频传输装置,其特征在于,包括SIP服务器,所述SIP服务器包括信息接收模块、硬件等级划分模块和视频等级划分模块;
所述信息接收模块用于接收客户端的硬件配置信息及实时网速信息;
所述硬件等级划分模块用于根据所述硬件配置信息对客户端进行硬件等级划分;
所述视频等级划分模块用于根据所述硬件等级划分及所述实时网速信息确定视频等级,并根据所确定的视频等级下发对应级别的视频数据。
7.根据权利要求6所述的可分级视频传输装置,其特征在于,所述硬件等级划分模块对客户端进行硬件等级划分的划分方式包括:分别设定CPU等级、内存等级、屏幕分辨率等级、摄像头分辨率等级和网络带宽等级的性能指标,根据CPU等级、内存等级、屏幕分辨率等级、摄像头分辨率等级和网络带宽等级的性能指标进行区间静态匹配,根据匹配结果进行硬件等级划分;所述视频等级划分模块确定的视频等级包括下发视频等级和上传视频等级,所述下发视频等级和上传视频等级分别包括时间、空间和质量等级,所述上传视频等级的时间、空间和质量等级大于或等于所述下传视频等级的时间、空间和质量等级。
8.根据权利要求7所述的可分级视频传输装置,其特征在于,所述SIP服务器还包括视频处理模块,所述视频处理模块用于接通视频通信,接收客户端上传的视频数据,并使用Intel Media SDK开发接口对上传的视频数据进行可分级转码加速处理。
9.根据权利要求6至8任一项所述的可分级视频传输装置,其特征在于,所述SIP服务器还包括视频等级判断模块,所述视频等级判断模块用于根据实时网速信息判断是否需要调整下发视频等级,如果不需要调整下发视频等级,继续按照当前的视频等级进行视频通信;如果需要调整下发视频等级,通过所述视频等级划分模块根据客户端对应的硬件等级划分及实时网速信息重新确定视频等级,并根据重新确定的视频等级下发视频数据。
10.一种可分级视频传输系统,其特征在于,包括客户端和SIP服务器,所述客户端用于向SIP服务器上传硬件配置信息及实时网速信息;所述SIP服务器包括信息接收模块、硬件等级划分模块和视频等级划分模块;
所述信息接收模块用于接收所述客户端的硬件配置信息及实时网速信息;
所述硬件等级划分模块用于根据所述硬件配置信息对客户端进行硬件等级划分;
所述视频等级划分模块用于根据所述硬件等级划分及所述实时网速信息确定视频等级,并根据所确定的视频等级下发对应级别的视频数据。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610371308.6A CN105898621A (zh) | 2016-05-30 | 2016-05-30 | 一种可分级视频传输方法、装置及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610371308.6A CN105898621A (zh) | 2016-05-30 | 2016-05-30 | 一种可分级视频传输方法、装置及系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN105898621A true CN105898621A (zh) | 2016-08-24 |
Family
ID=56708970
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610371308.6A Pending CN105898621A (zh) | 2016-05-30 | 2016-05-30 | 一种可分级视频传输方法、装置及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105898621A (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106557291A (zh) * | 2016-10-28 | 2017-04-05 | 努比亚技术有限公司 | 分屏处理方法及装置 |
CN110234023A (zh) * | 2019-02-22 | 2019-09-13 | 华为技术有限公司 | 一种处理视频业务的方法和设备 |
CN110430383A (zh) * | 2019-08-06 | 2019-11-08 | 聚好看科技股份有限公司 | 终端、信令服务器、音视频通信方法及计算机存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102790905A (zh) * | 2012-08-03 | 2012-11-21 | 重庆大学 | 基于P2PVoD视频点播系统的H.264/SVC到H.264/AVC的转码方法 |
CN103402119A (zh) * | 2013-07-19 | 2013-11-20 | 哈尔滨工业大学深圳研究生院 | 一种面向传输的svc码流提取方法及系统 |
CN103974135A (zh) * | 2014-05-07 | 2014-08-06 | 广州骏视信息科技有限公司 | 一种视频分享方法及系统 |
US20140366070A1 (en) * | 2013-06-10 | 2014-12-11 | Samsung Electronics Co., Ltd. | Method and apparatus for assigning video bitrate in mobile communication system |
-
2016
- 2016-05-30 CN CN201610371308.6A patent/CN105898621A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102790905A (zh) * | 2012-08-03 | 2012-11-21 | 重庆大学 | 基于P2PVoD视频点播系统的H.264/SVC到H.264/AVC的转码方法 |
US20140366070A1 (en) * | 2013-06-10 | 2014-12-11 | Samsung Electronics Co., Ltd. | Method and apparatus for assigning video bitrate in mobile communication system |
CN103402119A (zh) * | 2013-07-19 | 2013-11-20 | 哈尔滨工业大学深圳研究生院 | 一种面向传输的svc码流提取方法及系统 |
CN103974135A (zh) * | 2014-05-07 | 2014-08-06 | 广州骏视信息科技有限公司 | 一种视频分享方法及系统 |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106557291A (zh) * | 2016-10-28 | 2017-04-05 | 努比亚技术有限公司 | 分屏处理方法及装置 |
CN106557291B (zh) * | 2016-10-28 | 2019-10-15 | 努比亚技术有限公司 | 分屏处理方法及装置 |
CN110234023A (zh) * | 2019-02-22 | 2019-09-13 | 华为技术有限公司 | 一种处理视频业务的方法和设备 |
CN110430383A (zh) * | 2019-08-06 | 2019-11-08 | 聚好看科技股份有限公司 | 终端、信令服务器、音视频通信方法及计算机存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108810636B (zh) | 视频播放方法、虚拟现实设备、服务器、系统及存储介质 | |
EP2583463B1 (en) | Combining multiple bit rate and scalable video coding | |
CN103843301B (zh) | 经译码多媒体数据的网络串流期间的表示之间的切换 | |
CN106464842B (zh) | 用于混合式拓扑媒体会议系统的方法和系统 | |
CN100571278C (zh) | 在iptv业务中应用终端能力信息的方法、系统及装置 | |
CN101710962B (zh) | 视频会议资源调度的方法和装置 | |
JP2005516557A (ja) | ビデオ会議システム及び動作方法 | |
CN108881797B (zh) | 一种视联网的数据处理方法和装置 | |
CN107743703A (zh) | DASH客户端QoE度量的中间件分发 | |
JP2010503280A (ja) | マルチメディア音声会議向け視覚的構成の管理技術 | |
CN101755454A (zh) | 确定移动视频电话之间的首选图像格式的方法和设备 | |
WO2012170184A1 (en) | Method and system for streaming live teleconferencing feeds to mobile client devices | |
CN105245914B (zh) | 云桌面高清视频传输方法及系统 | |
US20220329883A1 (en) | Combining Video Streams in Composite Video Stream with Metadata | |
CN206323408U (zh) | 一种基于ims的融合视频通信系统 | |
CN111385515B (zh) | 视频会议数据的传输方法和视频会议数据的传输系统 | |
CN105898621A (zh) | 一种可分级视频传输方法、装置及系统 | |
CN101489091A (zh) | 一种语音信号传输处理方法及装置 | |
Kim et al. | Iptv systems, standards and architectures: Part ii-heterogeneous networks and terminal-aware qos/qoe-guaranteed mobile iptv service | |
CN109963110A (zh) | 多方视频会议的处理方法、装置、存储介质及计算设备 | |
WO2021082479A1 (zh) | 调整视频流的属性的方法和装置 | |
US20220407899A1 (en) | Real-time augmented reality communication session | |
Lim et al. | Tiled panoramic video transmission system based on MPEG-DASH | |
EP2884743A1 (en) | Process for managing the exchanges of video streams between users of a video conference service | |
CN110795008B (zh) | 图片传输方法、装置及计算机可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20160824 |