CN112104904A - 一种多用户同步观看视频和实时互动的方法和系统 - Google Patents
一种多用户同步观看视频和实时互动的方法和系统 Download PDFInfo
- Publication number
- CN112104904A CN112104904A CN201910518757.2A CN201910518757A CN112104904A CN 112104904 A CN112104904 A CN 112104904A CN 201910518757 A CN201910518757 A CN 201910518757A CN 112104904 A CN112104904 A CN 112104904A
- Authority
- CN
- China
- Prior art keywords
- video
- performance
- terminal
- synchronous
- function
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 40
- 230000003993 interaction Effects 0.000 title claims abstract description 33
- 230000001360 synchronised effect Effects 0.000 claims abstract description 143
- 230000008030 elimination Effects 0.000 claims abstract description 11
- 238000003379 elimination reaction Methods 0.000 claims abstract description 11
- 230000014509 gene expression Effects 0.000 claims abstract description 10
- 230000011664 signaling Effects 0.000 claims description 151
- 230000006870 function Effects 0.000 claims description 115
- 238000009877 rendering Methods 0.000 claims description 62
- 238000012544 monitoring process Methods 0.000 claims description 22
- 238000004891 communication Methods 0.000 claims description 17
- 230000003997 social interaction Effects 0.000 claims description 13
- 230000008569 process Effects 0.000 claims description 10
- 230000005540 biological transmission Effects 0.000 claims description 6
- 230000009131 signaling function Effects 0.000 claims description 6
- 238000012360 testing method Methods 0.000 claims description 5
- 230000003139 buffering effect Effects 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000013459 approach Methods 0.000 claims description 3
- 230000015556 catabolic process Effects 0.000 claims description 3
- 238000006731 degradation reaction Methods 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 2
- 238000012216 screening Methods 0.000 claims description 2
- 230000004044 response Effects 0.000 description 54
- 101150054987 ChAT gene Proteins 0.000 description 15
- 101100203187 Mus musculus Sh2d3c gene Proteins 0.000 description 15
- 230000026676 system process Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 5
- 230000002452 interceptive effect Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
- H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
- H04N21/254—Management at additional data server, e.g. shopping server, rights management server
- H04N21/2541—Rights Management
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
- H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
- H04N21/637—Control signals issued by the client directed to the server or network components
- H04N21/6377—Control signals issued by the client directed to the server or network components directed to server
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/65—Transmission of management data between client and server
- H04N21/658—Transmission by the client directed to the server
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Computer Security & Cryptography (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
本发明公开了一种多用户同步观看视频和实时互动的方法和系统,用以解决多用户实时观看相同视频的画面难以同步问题和多用户在观看视频时的实时交互问题,一种多用户同步观看视频和实时互动的方法包括如下步骤:用户创建放映厅,设置放映厅的播放性能级别和播放优先保障策略;创建者可以邀请其他用户终端加入放映厅,设置播放视频;被邀请的用户终端,自动调整终端播放质量级别和自动控制淘汰终端;创建者为其他用户终端设置不同的实时同步指令操作权限;用户可以在所具有的权限范围内对视频的同步播放进行控制;通过同步控制和实时反馈算法,来精确控制终端视频的同步播放;所有同步用户可以通过文字、语音、视频、弹幕或表情的形式进行实时互动。
Description
技术领域
本发明涉及通信技术领域,具体涉及一种多用户同步观看视频和实时互动的方法和系统。
背景技术
随着5G时代的到来,依托于5G增强型移动互联网高可靠、低时延的特性,无线终端的上下行速率得以大幅提升,连接时延将达到毫秒级别,并且支持高速移动下的性能可靠性,为实现多用户实时同步观看视频和实时互动提供了有利的条件;同时随着4K视频、VR和AR技术的兴起,对视频质量要求有了极大地提高,分辨率和帧率的要求都随之而提高,由于终端硬件的性能差异,以及终端在不同运行时的性能表现差异,短时或细微的同步差异通常会随着时间被放大,造成了明显的不同步现象,极大地影响了同步观看视频的体验效果,无法让身处异地的用户终端,拥有在一起同时观看同一个视频画面,并能尽情的聊天和互动体验;信息技术的进步,促使用户对视频体验要求有了极大地提升,而多用户观看视频不同步的现象给用户带来了极大地体验问题。
可见在当前多用户同步观看视频时,还存在影响用户体验的同步问题,因此急需一种多用户同步观看视频和实时互动的方法和系统来优化多用户同步观看视频和实时互动的体验。
发明内容
本发明解决了上述存在的缺陷问题,提出一种多用户同步观看视频和实时互动的方法和系统,实现了通过放映厅来管理和控制实时同步观看视频的功能,也实现了通过同步控制和实时反馈算法,来精确控制终端视频播放的同步帧率的功能,解决了不同的参与同步播放的用户终端由于性能的差异而出现的不同步问题,同时也实现了所有同步用户可以通过文字、语音、视频、弹幕或表情的形式进行实时互动的功能,极大地优化了用户同步观看视频和实时互动的体验,实现多个用户终端同步观看视频的播放、同步控制视频的播放以及实时的互动聊天,打破了多个终端用户的距离限制,借助同步控制功能和丰富的聊天互动功能,使用户在线上也可以获得如同线下面对面一般的视频观看体验。
为解决上述技术问题,本发明公开了一种多用户同步观看视频和实时互动的方法和系统,其技术方案如下:
步骤一、用户创建放映厅,设置放映厅的播放性能级别和播放优先保障策略;
步骤二、创建者可以邀请其他用户终端加入放映厅,设置播放视频;
步骤三、被邀请的用户终端,自动调整终端播放质量级别和自动控制淘汰终端;
步骤四、创建者为其他用户终端设置不同的实时同步指令操作权限;
步骤五、用户终端可以在其所具有的权限范围内对视频的同步播放进行控制;
步骤六、通过同步控制和实时反馈算法,来精确控制终端视频播放的同步帧率;
步骤七、所有同步用户可以通过文字、语音、视频、弹幕或表情的形式进行实时互动。
用户创建的放映厅,可以管理和控制参与同步观看视频的用户终端。
放映厅的播放性能级别,分为四个等级:超高级、高级、中级和低级,用于标识当前放映厅预观看视频的质量,所述视频的质量由视频的帧率、分辨率和码率共同决定,每个视频都存在一到四个不同等级的视频源。
放映厅的播放优先保障策略,包括高性能终端体验优先策略、平均性能终端体验优先策略、低性能终端体验优先策略、加权性能优先策略和比例性能优先策略。
高性能终端体验优先策略,是以评级为高性能用户终端的实际播放性能参数来动态制定同步策略;平均性能终端体验优先策略,是以所有用户终端的实际播放性能参数来动态制定同步策略;低性能终端体验优先策略,是以评级为低性能用户终端的实际播放性能参数来动态制定同步策略;加权性能优先策略,是以通过给予每种类型的终端一定的权重比例,通过所有用户终端的实际播放性能参数来动态制定同步策略;比例性能优先策略,是以满足一定比例的用户终端数达到最佳同步体验,来动态制定同步策略,其中比例可以进行动态设置,所述性能参数包括性能级别、用户终端实际负荷和渲染丢帧率。
设置播放视频,包括创建者从视频资源库中选择、筛选或检索相关视频,并将该视频资源同步给其它参与的用户终端。
被邀请的用户终端自动调整终端播放质量级别和自动控制淘汰终端,其流程如下:
步骤一、用户终端获取或估算所属的性能级别和性能参数;
被邀请终端如果已经接入过放映厅,则已经存在性能性能级别和性能参数,可以直接获取,被邀请终端第一次接入时,通过尝试解码和渲染不同等级的测试视频源,本用户终端统计和分析当前终端的性能参数,估算本用户终端所属的性能级别,并保存记录该终端的性能级别和性能参数,供下次接入时使用;
步骤二、用户终端上报性能级别和性能参数;
被邀请终端将本终端的性能级别和性能参数上报,所述性能参数包括性能级别、用户终端实际负荷和渲染丢帧率;
步骤三、用户终端根据性能级别匹配并设置对应等级的视频源;
被邀请的用户终端根据所评估的性能级别,自动匹配预设视频的不同等级视频源,如果匹配成功,则被邀请的用户终端设置视频源为匹配成功的视频源;
步骤四、淘汰匹配失败的用户终端;
如果被邀请终端的性能评级低于当前视频的最低视频源的等级要求时,则选择淘汰该用户终端,拒绝该用户终端进行同步观看视频。
创建者为其他用户终端设置不同的实时同步指令操作权限,所述实时同步操作权限包括暂停播放、开始播放、结束播放、缓冲视频、设置播放视频、调整播放进度和设置放映厅的播放优先保障策略。
用户可以在其所具有的权限范围内对视频的同步播放进行控制,包括以下控制流程:
步骤一、具有同步控制权限的用户终端,主动发起实时同步信令;
步骤二、实时同步信令进行预处理后,被下发给所有参与同步的用户终端;
步骤三、参与同步的用户终端,接收到实时同步命令后,执行该指令,来实现控制信令的同步。
通过同步控制和实时反馈算法,来精确控制终端视频播放的同步帧率;所述同步帧率,是指给用户终端设定的实际解码和渲染帧率,不同性能级别的终端需要设定不同的同步帧率。
同步控制和实时反馈算法包括以下步骤:
步骤一、根据用户终端上报的性能参数,根据播放优先保障策略,计算不同性能类型终端的同步帧率,初始化所有用户终端的同步帧率;
步骤二、同步播放的过程中,用户终端监控播放渲染的性能参数;
步骤三、当性能参数低于当前用户终端性能评级的最低阈值时,允许用户终端在播放过程中实施自动性能降级;
步骤四、当用户终端的性能评级低于当前视频的最低视频源的等级要求时,则淘汰该用户终端;
步骤五、用户终端定时上报当前播放渲染的性能参数;
步骤六、统计所有终端上报的性能参数,根据播放优先保障策略,重新计算不同性能类型终端的同步帧率,并重新下发给各用户终端。
用户终端同步帧率的计算流程如下:
步骤一、根据播放优先保障策略计算平均渲染丢帧率;
所述播放优先保障策略为高性能终端体验优先策略时,统计所有高性能用户终端丢帧率的均值,作为平均渲染丢帧率;所述播放优先保障策略为平均性能终端体验优先策略,统计所有用户终端丢帧率的均值,作为平均渲染丢帧率;所述播放优先保障策略为低性能终端体验优先策略,统计所有低性能用户终端丢帧率的均值,作为平均渲染丢帧率;所述播放优先保障策略为加权性能优先策略,先分别统计各不同性能级别用户终端丢帧率的均值,再根据不同性能级别终端的权重,计算最终的加权丢帧率,作为平均渲染丢帧率;所述播放优先保障策略为比例性能优先策略,先对终端的丢帧率进行从小到大排序,选择排序在设定比例内的用户终端作为计算终端,计算其平均丢帧率,作为平均渲染丢帧率;
步骤二、根据平均渲染丢帧率计算帧率偏移比例;
如果平均渲染丢帧率小于丢帧率的最低阈值,则偏移比例为1;
如果平均渲染丢帧率大于丢帧率的最低阈值,则偏移率设为1减去二分之一丢帧率;
如果平均渲染丢帧率趋近于0,则偏移比例设为1加上二分之一最低阈值;
步骤三、根据帧率偏移比例计算不同性能级别终端的同步帧率;
所述同步帧率等于当前的同步帧率乘以偏移比例。
所有同步用户可以通过文字、语音、视频、弹幕或表情的形式进行实时互动;其特征在于,可以在观看同步视频的同时,与其它终端用户进行文字聊天、语音聊天和视频聊天,同时也可以通过弹幕和表情的形式来进行互动。
一种多用户同步观看视频和实时互动的系统,其特征在于,包括服务提供系统和用户终端系统。
服务提供系统包括综合业务模块、视频资源提供模块、实时同步信令控制模块、性能动态控制模块和通信模块。
用户终端系统包括放映厅模块、聊天和社交互动模块、同步信令控制和执行模块、性能监视和反馈模块、视频编解码模块、视频渲染模块和通信模块。
服务提供系统包括综合业务模块、视频资源提供模块、实时同步信令控制模块、性能动态控制模块和通信模块。
综合业务模块包括放映厅的创建和管理功能、邀请和通知加入放映厅功能、发布弹幕或表情的社交互动功能、以及文字、语音和视频聊天功能。
视频资源提供模块包括提供视频信息的获取、推荐、分类和检索功能、多性能级别的视频源提供功能和不同性能级别测试视频提供功能、视频上传功能和视频云转码功能。
实时同步信令控制模块包括管理和控制放映厅的同步信令功能、同步各用户终端的播放时钟功能和终端接入控制功能。
性能动态控制模块包括统计终端上报的性能参数功能、计算和下发同步帧率功能和主动淘汰终端功能。
通信模块,包括对于通用传输协议HTTP、WebSocket和RTP的服务端实现功能和自定义的多点实时视频同步控制协议的服务端实现功能。
用户终端系统包括放映厅模块、聊天和社交互动模块、同步信令控制和执行模块、性能监视和反馈模块、视频编解码模块、视频渲染模块和通信模块。
放映厅模块包括放映厅的创建功能、选择、上传或设置播放视频功能、设置放映厅的播放性能级别和播放优先保障策略功能、创建者为其他用户终端设置不同的实时同步指令操作权限功能、控制视频的同步播放信令功能。
聊天和社交互动模块包括邀请其他用户终端加入放映厅功能、实时文字、语音、视频聊天功能和实时发送弹幕和表情功能。
同步信令控制和执行模块包括发送同步信令功能、执行同步信令功能和同步服务器时钟功能。
性能监视和反馈模块包括实时监测和统计终端性能参数功能、定时上报性能参数功能、接收并设置同步帧率功能、自动调整终端播放质量级别功能和自动控制淘汰终端功能。
视频编解码模块包括视频的下载传输功能,视频内容的实时解码功能、解码性能监控和统计功能和解码控制功能。
视频渲染模块包括视频渲染功能、渲染参数控制功能和渲染性能监控和统计功能。
通信模块包括对于通用传输协议HTTP、WebSocket和RTP的终端实现功能和自定义的多点实时视频同步控制协议的终端实现功能。
用户终端包括Android终端、IOS终端、PC终端、Web端、音视频播放终端、AR设备终端和VR设备终端。
本发明具有如下有益效果:
本实施例提供的一种多用户同步观看视频和实时互动的方法和系统,用户通过创建放映厅,设置播放性能级别和播放优先保障策略,设置播放视频,自动调整用户终端的播放质量级别和自动控制淘汰终端,为用户终端提供同步指令操作权限,可以让所有终端用户都能对视频播放进行控制,同时通过同步控制和实时反馈算法,来精确控制终端视频播放的同步帧率,解决了不同的参与同步播放的用户终端由于性能的差异而出现的不同步问题,使用户在线上也可以获得如同线下面对面一般的视频观看体验。
实施本发明的任一产品不一定需要同时实现以上所述的所有系统与客户端。
附图说明
图1为本发明实施提供的一种多用户同步观看视频和实时互动的方法的流程图;
图2为本发明实施提供的自动调整终端播放质量级别和自动控制淘汰终端的流程图;
图3为本发明实施提供的控制视频同步播放的流程图;
图4为本发明实施提供的同步控制和实时反馈算法流程图;
图5为本发明实施提供的用户终端同步帧率的计算流程图;
图6为本发明实施提供的一种多用户同步观看视频和实时互动的系统结构示意图;
图7为本发明实施提供的一种多点实时视频同步控制协议的协议栈图;
图8为本发明实施提供的一种多点实时视频同步控制协议的信令流程图。
具体实施方式
为使本领域的技术人员更好地理解本发明的技术方案,下面结合附图对本发明提供的多应用构建多社交网络的方法和系统进行详细描述。
本发明实施例包括:一种多用户同步观看视频和实时互动的系统,如图6所示,为本发明实施提供的一种多用户同步观看视频和实时互动的系统结构示意图,其中包括服务提供系统600和用户终端系统700;服务提供系统600包括综合业务模块601、视频资源提供模块602、实时同步信令控制模块603、性能动态控制模块604和通信模块605;用户终端系统700包括放映厅模块701、聊天和社交互动模块702、同步信令控制和执行模块703、性能监视和反馈模块704、视频编解码模块705、视频渲染模块706和通信模块707。
综合业务模块601包括放映厅的创建和管理功能、邀请和通知加入放映厅功能、发布弹幕或表情的社交互动功能、以及文字、语音和视频聊天功能。
视频资源提供模块602包括提供视频信息的获取、推荐、分类和检索功能、多性能级别的视频源提供功能和不同性能级别测试视频提供功能、视频上传功能和视频云转码功能。
实时同步信令控制模块603包括管理和控制放映厅的同步信令功能、同步各用户终端的播放时钟功能和终端接入控制功能。
性能动态控制模块604包括统计终端上报的性能参数功能、计算和下发同步帧率功能和主动淘汰终端功能。
通信模块605,包括对于通用传输协议HTTP、WebSocket和RTP的服务端实现功能和自定义的多点实时视频同步控制协议的服务端实现功能。
放映厅模块701包括放映厅的创建功能、选择、上传或设置播放视频功能、设置放映厅的播放性能级别和播放优先保障策略功能、创建者为其他用户终端设置不同的实时同步指令操作权限功能、控制视频的同步播放信令功能。
聊天和社交互动模块702包括邀请其他用户终端加入放映厅功能、实时文字、语音、视频聊天功能和实时发送弹幕和表情功能。
同步信令控制和执行模块703包括发送同步信令功能、执行同步信令功能和同步服务器时钟功能。
性能监视和反馈模块704包括实时监测和统计终端性能参数功能、定时上报性能参数功能、接收并设置同步帧率功能、自动调整终端播放质量级别功能和自动控制淘汰终端功能。
视频编解码模块705包括视频的下载传输功能,视频内容的实时解码功能、解码性能监控和统计功能和解码控制功能。
视频渲染模块706包括视频渲染功能、渲染参数控制功能和渲染性能监控和统计功能。
通信模块707包括对于通用传输协议HTTP、WebSocket和RTP的终端实现功能和自定义的多点实时视频同步控制协议的终端实现功能。
以下给出所述系统的一个具体过程,用户使用用户终端系统700中的放映厅模块701,通过发送请求给服务提供系统600中的综合业务模块601,来创建放映厅、置放映厅的播放性能级别和设置播放优先保障策略,通过发送请求给视频资源提供模块602,来选择和获取播放视频,通过发送请求给实时同步信令控制模块,来设置播放视频;用户使用聊天和社交互动模块702,发送请求给综合业务模块,来邀请其他用户终端加入放映厅;被邀请的用户终端通过同步信令控制和执行模块703向服务提供系统600的实时同步信令控制模块603发送注册加入放映厅请求,并通过性能监视和反馈模块704来自动调整终端播放质量级别和自动控制淘汰终端;放映厅的创建者可以通过放映厅模块701为其他用户终端设置不同的实时同步指令操作权限;用户终端通过同步信令控制和执行模块703在其所具有的权限范围内对视频的同步播放进行控制,控制信令被实时同步信令控制模块603处理后,发送给其它用户终端,当其它用户终端接收到同步控制信令时,通过同步信令控制和执行模块703来执行相应的信令;用户终端通过性能监视和反馈模块704发送实时性能参数给性能动态控制模块604,性能动态控制模块604通过同步控制和实时反馈算法来精确控制终端视频播放的同步帧率,性能动态控制模块604将同步帧率发送给性能监视和反馈模块704,性能监视和反馈模块704将接收到的同步帧率设置给视频编解码模块705和视频渲染模块706;用户终端通过聊天和社交互动模块702来实现文字、语音、视频、弹幕或表情的形式进行实时互动。
其中用户终端系统700中的同步信令控制和执行模块703与服务提供系统600中的实时同步信令控制模块603之间可以通过通用协议或私有协议进行通信,用户终端系统700中的性能监视和反馈模块704与服务提供系统600中的性能动态控制模块604之间也可以通过通用协议或私有协议进行通信,为了进一步提高同步视频控制信令的传输效率,如图7所示为本发明实施提供的一种多点实时视频同步控制协议的协议栈图,如图8所示为本发明实施提供的一种多点实时视频同步控制协议的信令流程图,以下给出了一种多点实时视频同步控制协议MP-RTVSCP(Multi Peer Real Time Video Sync Control Protocol)的具体实施方案,多点实时视频同步控制协议主要包括协议头和协议体。
多点实时视频同步控制协议的协议头由32bit组成,如表1所示,包括信令类型、信令版本号和信令内容长度三个字段。
表1多点实时视频同步控制协议的协议头结构
信令类型 | 8bit |
信令版本号 | 8bit |
信令内容长度 | 16bit |
其中信令类型的长度为8bit,包括18种信令类型,如表2所示,信令0x00和0x01分别代表注册加入放映厅和注册加入放映厅应答,信令0x02和0x03分别代表设定播放视频和设定播放视频应答,信令0x04和0x05分别代表设定开始播放和设定开始播放应答,信令0x06和0x07分别代表设定暂停播放和设定暂停播放应答,信令0x08和0x09分别代表设定结束播放和设定结束播放应答,信令0x0a和0x0b分别代表设定播放进度和设定播放进度应答,信令0x0c和0x0d分别代表设定播放缓冲和设定播放缓冲应答,信令0x0e和0x0f分别代表上报性能级别和上报性能级别应答,信令0x10和0x11分别代表上报性能参数和上报性能参数应答,信令0x12和0x13分别代表设定同步帧率和设定同步帧率应答,信令0x14和0x15分别代表设定同步时钟和设定同步时钟应答,信令0x16和0x17分别代表离开放映厅和离开放映厅应答。
其中信令0x00注册加入放映厅、信令0x0e上报性能级别、信令0x10上报性能参数和信令0x16离开放映厅为用户终端系统主动发送给服务提供系统的信令,其中信令0x12和信令0x14为服务提供系统主动发送给用户终端系统的信令,其中信令0x02设定播放视频、信令0x04设定开始播放、信令0x06设定暂停播放、信令0x08设定结束播放、信令0x0a设定播放进度和信令0x0c设定播放缓冲,既可以是用户终端系统主动发送给服务提供系统的请求信令,也可以是服务提供系统下发给用户终端的执行信令。
其中信令版本号的长度为8bit,用于标志当前多点实时视频同步控制协议的版本,信令内容长度为16bit,用于表示协议体的长度,不同的信令类型,其协议体的字段数并不固定,需要根据协议头中的协议内容长度去读取和解析。
表2信令类型表
如表3所示,信令0x00注册加入放映厅的协议体共包含两个字段:用户终端ID和放映厅ID,协议体长度为8Byte。
表3注册加入放映厅的协议体
用户终端ID | 放映厅ID |
32bit | 32bit |
如表4所示,信令0x01注册加入放映厅应答的协议体共包含三个字段:用户终端ID、放映厅ID和应答结果,协议体长度为9Byte。
表4注册加入放映厅应答的协议体
用户终端ID | 放映厅ID | 应答结果 |
32bit | 32bit | 8bit |
用户终端系统向服务提供系统发送信令sync_join_req请求,服务提供系统处理该请求后返回信令sync_join_resp给用户终端系统。
如表5所示,信令0x02设定播放视频的协议体共包含三个字段:用户终端ID、放映厅ID和播放视频ID,协议体长度为12Byte。
表5设定播放视频的协议体
用户终端ID | 放映厅ID | 播放视频ID |
32bit | 32bit | 32bit |
如表6所示,信令0x03设定播放视频应答的协议体共包含三个字段:用户终端ID、放映厅ID和应答结果,协议体长度为9Byte。
表6设定播放视频应答的协议体
用户终端ID | 放映厅ID | 应答结果 |
32bit | 32bit | 8bit |
用户终端系统向服务提供系统发送信令sync_set_video_req请求,服务提供系统处理该请求后返回信令sync_set_video_resp给用户终端系统,同时服务提供系统给其它用户终端发送信令sync_set_video_req请求,其它用户终端接收到请求后,执行设定播放视频信令,并返回信令sync_set_video_resp给服务提供系统。
信令0x04设定开始播放、信令0x06设定暂停播放、信令0x08设定结束播放的协议体与信令0x00注册加入放映厅的协议体一样,共包含两个字段:用户终端ID和放映厅ID,协议体长度为8Byte。
信令0x05设定开始播放应答、信令0x07设定暂停播放应答、信令0x09设定结束播放应答与信令0x01注册加入放映厅应答的协议体一样,共包含三个字段:用户终端ID、放映厅ID和应答结果,协议体长度为9Byte。
用户终端系统可以向服务提供系统发送信令sync_play_req、信令sync_pause_req或信令sync_end_req请求,服务提供系统处理请求后返回相应的应答信令,同时服务提供系统给其它用户终端发送信令sync_play_req、信令sync_pause_req或信令sync_end_req请求,其它用户终端接收到请求后,执行对应的视频播放控制信令,并返回相应的应答信令。
如表7所示,信令0x0a设定播放进度的协议体共包含三个字段:用户终端ID、放映厅ID和播放视频进度,协议体长度为10Byte。
表7设定播放进度的协议体
用户终端ID | 放映厅ID | 播放视频进度 |
32bit | 32bit | 16bit |
如表8所示,信令0x0b设定播放进度应答的协议体共包含三个字段:用户终端ID、放映厅ID和应答结果,协议体长度为9Byte。
表8设定播放进度应答的协议体
用户终端ID | 放映厅ID | 应答结果 |
32bit | 32bit | 8bit |
用户终端系统向服务提供系统发送信令sync_set_progress_req请求,服务提供系统处理该请求后返回信令sync_set_progress_resp给用户终端系统,同时服务提供系统给其它用户终端发送信令sync_set_progress_req请求,其它用户终端在接收到请求后,再执行设定播放视频信令,并返回信令sync_set_progress_resp给服务提供系统。
如表9所示,信令0x0c设定播放缓冲的协议体共包含三个字段:用户终端ID、放映厅ID和播放视频缓冲时长,协议体长度为10Byte。
表9设定播放缓冲的协议体
用户终端ID | 放映厅ID | 播放视频缓冲时长 |
32bit | 32bit | 16bit |
如表10所示,信令0x0d设定播放缓冲应答的协议体共包含三个字段:用户终端ID、放映厅ID和应答结果,协议体长度为9Byte。
表10设定播放缓冲应答的协议体
用户终端ID | 放映厅ID | 应答结果 |
32bit | 32bit | 8bit |
用户终端系统向服务提供系统发送信令sync_set_buff_req请求,服务提供系统处理该请求后返回信令sync_set_buff_resp给用户终端系统,同时服务提供系统给其它用户终端发送信令sync_set_buff_req请求,其它用户终端接收到请求后,执行设定播放视频信令,并返回信令sync_set_buff_resp给服务提供系统。
如表11所示,信令0x0e上报性能级别的协议体共包含三个字段:用户终端ID、放映厅ID和终端性能级别,协议体长度为9Byte。
表11上报性能级别的协议体
用户终端ID | 放映厅ID | 终端性能级别 |
32bit | 32bit | 8bit |
如表12所示,信令0x0f上报性能级别响应的协议体共包含三个字段:用户终端ID、放映厅ID和应答结果,协议体长度为9Byte。
表12上报性能级别应答的协议体
用户终端ID | 放映厅ID | 应答结果 |
32bit | 32bit | 8bit |
用户终端系统向服务提供系统发送信令sync_set_level_req请求,服务提供系统处理该请求后返回信令sync_set_level_resp给用户终端系统。
如表13所示,信令0x10上报性能参数的协议体共包含五个字段:用户终端ID、放映厅ID、终端性能级别、用户终端实际负荷和渲染丢帧率,协议体长度为11Byte。
表13上报性能参数的协议体
用户终端ID | 放映厅ID | 终端性能级别 | 终端实际负荷 | 渲染丢帧率 |
32bit | 32bit | 8bit | 8bit | 8bit |
如表14所示,信令0x11上报性能参数响应的协议体共包含三个字段:用户终端ID、放映厅ID和应答结果,协议体长度为9Byte。
表14上报性能参数应答的协议体
用户终端ID | 放映厅ID | 应答结果 |
32bit | 32bit | 8bit |
用户终端系统向服务提供系统发送信令sync_set_params_req请求,服务提供系统处理该请求后返回信令sync_set_params_resp给用户终端系统。
如表15所示,信令0x12设定同步帧率的协议体共包含三个字段:用户终端ID、放映厅ID和同步帧率,协议体长度为9Byte。
表15设定同步帧率的协议体
用户终端ID | 放映厅ID | 同步帧率 |
32bit | 32bit | 8bit |
如表16所示,信令0x13设定同步帧率响应的协议体共包含三个字段:用户终端ID、放映厅ID和应答结果,协议体长度为9Byte。
表16设定同步帧率应答的协议体
用户终端ID | 放映厅ID | 应答结果 |
32bit | 32bit | 8bit |
服务提供系统向用户终端系统发送信令sync_set_apr_req请求,用户终端系统处理该请求后返回信令sync_set_apr_resp给服务提供系统。
如表17所示,信令0x14设定同步时钟的协议体共包含三个字段:用户终端ID、放映厅ID和同步时钟,协议体长度为12Byte。
表17设定同步帧率的协议体
用户终端ID | 放映厅ID | 同步时钟 |
32bit | 32bit | 32bit |
如表18所示,信令0x15设定同步时钟响应的协议体共包含三个字段:用户终端ID、放映厅ID和应答结果,协议体长度为9Byte。
表18设定同步帧率应答的协议体
用户终端ID | 放映厅ID | 应答结果 |
32bit | 32bit | 8bit |
服务提供系统向用户终端系统发送信令sync_set_time_req请求,用户终端系统处理该请求后返回信令sync_set_time_resp给服务提供系统。
信令0x16离开放映厅与信令0x00注册加入放映厅的协议体一样,共包含两个字段:用户终端ID和放映厅ID,协议体长度为8Byte。
信令0x17离开放映厅应答与信令0x01注册加入放映厅应答的协议体一样,共包含三个字段:用户终端ID、放映厅ID和应答结果,协议体长度为9Byte。
用户终端系统向服务提供系统发送信令sync_leave_req请求,服务提供系统处理该请求后返回信令sync_leave_resp给用户终端系统。
应用上述系统,本发明还提供了一种多用户同步观看视频和实时互动的方法,图1为本发明实施提供的一种多用户同步观看视频和实时互动的方法的流程图,如图1所示,实现多用户同步观看视频和实时互动的方法包括:
步骤101用户创建放映厅,设置放映厅播放性能级别和播放优先保障策略;
步骤102创建者可以邀请其他用户终端加入放映厅,设置播放视频;
步骤103被邀请的用户终端,自动调整终端播放质量级别和自动控制淘汰终端;
步骤104创建者为其他用户终端设置不同的实时同步指令操作权限;
步骤105用户终端可以在其所具有的权限范围内对视频的同步播放进行控制;
步骤106通过同步控制和实时反馈算法,来精确控制终端视频播放的同步帧率;
步骤107所有同步用户可以通过文字、语音、视频、弹幕或表情的形式进行实时互动。
图2为本发明实施提供的自动调整终端播放质量级别和自动控制淘汰终端的流程图,如图2所示,实现自动调整终端播放质量级别和自动控制淘汰终端的方法包括:
步骤201用户终端获取或估算所属的性能级别和性能参数;
具体的,被邀请终端如果已经接入过放映厅,则已经存在性能性能级别和性能参数,可以直接获取,被邀请终端第一次接入时,通过尝试解码和渲染不同等级的测试视频源,本用户终端统计和分析当前终端的性能参数,估算本用户终端所属的性能级别,并保存记录该终端的性能级别和性能参数,供下次接入时使用;
步骤202用户终端上报性能级别和性能参数;
具体的,被邀请终端将本终端的性能级别和性能参数上报,所述性能参数包括性能级别、用户终端实际负荷和渲染丢帧率;
步骤203用户终端根据性能级别匹配并设置对应等级的视频源;
具体的,被邀请的用户终端根据所评估的性能级别,自动匹配预设视频的不同等级视频源,如果匹配成功,则被邀请的用户终端设置视频源为匹配成功的视频源;
步骤204淘汰匹配失败的用户终端;
具体的,如果被邀请终端的性能评级低于当前视频的最低视频源的等级要求时,则选择淘汰该用户终端,拒绝该用户终端进行同步观看视频。
图3本发明实施提供的控制视频同步播放的流程图,如图3所示,实现同步播放进行控制的流程包括:
步骤301具有同步控制权限的用户终端,主动发起实时同步信令;
步骤302实时同步信令进行预处理后,被下发给所有参与同步的用户终端;
步骤303参与同步的用户终端,接收到实时同步命令后,执行该指令,来实现控制信令的同步。
图4为本发明实施提供的同步控制和实时反馈算法流程图,如图4所示,实现同步控制和实时反馈算法流程包括:
步骤401根据用户终端上报的性能参数,根据播放优先保障策略,计算不同性能类型终端的同步帧率,初始化所有用户终端的同步帧率;
步骤402同步播放的过程中,用户终端监控播放渲染的性能参数;
步骤403当性能参数低于当前用户终端性能评级的最低阈值时,允许用户终端在播放过程中实施自动性能降级;
步骤404当用户终端的性能评级低于当前视频的最低视频源的等级要求时,则淘汰该用户终端;
步骤405用户终端定时上报当前播放渲染的性能参数;
步骤406统计所有终端上报的性能参数,根据播放优先保障策略,重新计算不同性能类型终端的同步帧率,并重新下发给各用户终端。
图5为本发明实施提供的用户终端同步帧率的计算流程图,如图5所示,实现用户终端同步帧率的计算流程包括:
步骤501根据播放优先保障策略计算平均渲染丢帧率;
具体的,所述播放优先保障策略为高性能终端体验优先策略时,统计所有高性能用户终端丢帧率的均值,作为平均渲染丢帧率;所述播放优先保障策略为平均性能终端体验优先策略,统计所有用户终端丢帧率的均值,作为平均渲染丢帧率;所述播放优先保障策略为低性能终端体验优先策略,统计所有低性能用户终端丢帧率的均值,作为平均渲染丢帧率;所述播放优先保障策略为加权性能优先策略,先分别统计各不同性能级别用户终端丢帧率的均值,再根据不同性能级别终端的权重,计算最终的加权丢帧率,作为平均渲染丢帧率;所述播放优先保障策略为比例性能优先策略,先对终端的丢帧率进行从小到大排序,选择排序在设定比例内的用户终端作为计算终端,计算其平均丢帧率,作为平均渲染丢帧率;
步骤502根据平均渲染丢帧率计算帧率偏移比例;
具体的,如果平均渲染丢帧率小于丢帧率的最低阈值,则偏移比例为1;如果平均渲染丢帧率大于丢帧率的最低阈值,则偏移率设为1减去二分之一丢帧率;如果平均渲染丢帧率趋近于0,则偏移比例设为1加上二分之一最低阈值;
步骤503根据帧率偏移比例计算不同性能级别终端的同步帧率;
具体的,所述同步帧率等于当前的同步帧率乘以偏移比例。
本实施例提供的多用户同步观看视频和实时互动的系统,实现了通过放映厅来管理和控制实时同步观看视频的功能,也实现了通过同步控制和实时反馈算法,来精确控制终端视频播放的同步帧率的功能,解决了不同的参与同步播放的用户终端由于性能的差异而出现的不同步问题,同时也实现了所有同步用户可以通过文字、语音、视频、弹幕或表情的形式进行实时互动的功能,极大地优化了用户同步观看视频和实时互动的体验,实现多个用户终端同步观看视频的播放、同步控制视频的播放以及实时的互动聊天,打破了多个终端用户的距离限制,借助同步控制功能和丰富的聊天互动功能,使用户在线上也可以获得如同线下面对面一般的视频观看体验。
综上所述,以上实施方式仅仅是为了说明本发明的原理而采用的示例性实施方式,然而本发明并不局限于此,对于本领域内的普通技术人员而言,在不脱离本发明的原理和实质的情况下,可以做出各种变型和改进,如也可应用于多用户终端同步听音乐场景,这些变型和改进也视为本发明的保护范围。
Claims (10)
1.一种多用户同步观看视频和实时互动的方法,其特征在于,包括:
用户创建放映厅,设置放映厅的播放性能级别和播放优先保障策略;
创建者可以邀请其他用户终端加入放映厅,设置播放视频;
被邀请的用户终端,自动调整终端播放质量级别和自动控制淘汰终端;
创建者为其他用户终端设置不同的实时同步指令操作权限;
用户终端可以在其所具有的权限范围内对视频的同步播放进行控制;
通过同步控制和实时反馈算法,来精确控制终端视频播放的同步帧率;
所有同步用户可以通过文字、语音、视频、弹幕或表情的形式进行实时互动。
2.根据权利要求1所述的一种多用户同步观看视频和实时互动的方法,其特征在于,所述放映厅可以管理和控制参与同步观看视频的用户终端;
所述放映厅的播放性能级别,分为四个等级:超高级、高级、中级和低级,用于标识当前放映厅预观看视频的质量,所述视频的质量由视频的帧率、分辨率和码率共同决定,每个视频都存在一到四个不同等级的视频源;
所述放映厅的播放优先保障策略,包括高性能终端体验优先策略、平均性能终端体验优先策略、低性能终端体验优先策略、加权性能优先策略和比例性能优先策略;
所述高性能终端体验优先策略,是以评级为高性能用户终端的实际播放性能参数来动态制定同步策略;
所述平均性能终端体验优先策略,是以所有用户终端的实际播放性能参数来动态制定同步策略;
所述低性能终端体验优先策略,是以评级为低性能用户终端的实际播放性能参数来动态制定同步策略;
所述加权性能优先策略,是以通过给予每种类型的终端一定的权重比例,通过所有用户终端的实际播放性能参数来动态制定同步策略;
所述比例性能优先策略,是以满足一定比例的用户终端数达到最佳同步体验,来动态制定同步策略,其中比例可以进行动态设置;
所述性能参数包括性能级别、用户终端实际负荷和渲染丢帧率。
3.根据权利要求1所述的一种多用户同步观看视频和实时互动的方法,其特征在于,所述设置播放视频,包括创建者从视频资源库中选择、筛选或检索相关视频,并将该视频资源同步给其它参与的用户终端;
所述被邀请的用户终端自动调整终端播放质量级别和自动控制淘汰终端,其流程如下:
用户终端获取或估算所属的性能评级;
用户终端上报性能评级和性能参数;
用户终端根据性能级别匹配并设置对应等级的视频源;
淘汰匹配失败的用户终端。
4.根据权利要求1所述的一种多用户同步观看视频和实时互动的方法,其特征在于,创建者为其他用户终端设置不同的实时同步指令操作权限,所述实时同步操作权限包括暂停播放、开始播放、结束播放、缓冲视频、设置播放视频、调整播放进度和设置放映厅的播放优先保障策略;
所述用户可以在其所具有的权限范围内对视频的同步播放进行控制,其特征在于,包括以下控制流程:
具有同步控制权限的用户终端,主动发起实时同步信令;
实时同步信令进行预处理后,被下发给所有参与同步的用户终端;
参与同步的用户终端,接收到实时同步命令后,执行该指令,来实现控制信令的同步。
5.根据权利要求1所述的一种多用户同步观看视频和实时互动的方法,其特征在于,通过同步控制和实时反馈算法,来精确控制终端视频播放的同步帧率;
所述同步帧率,是指给用户终端设定的实际解码和渲染帧率,不同性能级别的终端需要设定不同的同步帧率;
所述同步控制和实时反馈算法包括以下步骤:
根据用户终端上报的性能参数,根据播放优先保障策略,计算不同性能类型终端的同步帧率,初始化所有用户终端的同步帧率;
同步播放的过程中,用户终端监控播放渲染的性能参数;
当性能参数低于当前用户终端性能评级的最低阈值时,允许用户终端在播放过程中实施自动性能降级;
当用户终端的性能评级低于当前视频的最低视频源的等级要求时,则淘汰该用户终端;
用户终端定时上报当前播放渲染的性能参数;
统计所有终端上报的性能参数,根据播放优先保障策略,重新计算不同性能类型终端的同步帧率,并重新下发给各用户终端。
6.根据权利要求1所述的一种多用户同步观看视频和实时互动的方法,其特征在于,所述用户终端同步帧率的计算流程如下:
步骤一、根据播放优先保障策略计算平均渲染丢帧率;
所述播放优先保障策略为高性能终端体验优先策略时,统计所有高性能用户终端丢帧率的均值,作为平均渲染丢帧率;
所述播放优先保障策略为平均性能终端体验优先策略,统计所有用户终端丢帧率的均值,作为平均渲染丢帧率;
所述播放优先保障策略为低性能终端体验优先策略,统计所有低性能用户终端丢帧率的均值,作为平均渲染丢帧率;
所述播放优先保障策略为加权性能优先策略,先分别统计各不同性能级别用户终端丢帧率的均值,再根据不同性能级别终端的权重,计算最终的加权丢帧率,作为平均渲染丢帧率;
所述播放优先保障策略为比例性能优先策略,先对终端的丢帧率进行从小到大排序,选择排序在设定比例内的用户终端作为计算终端,计算其平均丢帧率,作为平均渲染丢帧率;
步骤二、根据平均渲染丢帧率计算帧率偏移比例;
如果平均渲染丢帧率小于丢帧率的最低阈值,则偏移比例为1;
如果平均渲染丢帧率大于丢帧率的最低阈值,则偏移率设为1减去二分之一丢帧率;
如果平均渲染丢帧率趋近于0,则偏移比例设为1加上二分之一最低阈值;
步骤三、根据帧率偏移比例计算不同性能级别终端的同步帧率;
所述同步帧率等于当前的同步帧率乘以偏移比例。
7.根据权利要求1所述的一种多用户同步观看视频和实时互动的方法,其特征在于,所有同步用户可以通过文字、语音、视频、弹幕或表情的形式进行实时互动;
其特征在于,可以在观看同步视频的同时,与其它终端用户进行文字聊天、语音聊天和视频聊天,同时也可以通过弹幕和表情的形式来进行互动。
8.一种多用户同步观看视频和实时互动的系统,其特征在于,包括服务提供系统和用户终端系统;
所述服务提供系统包括综合业务模块、视频资源提供模块、实时同步信令控制模块、性能动态控制模块和通信模块;
所述用户终端系统包括放映厅模块、聊天和社交互动模块、同步信令控制和执行模块、性能监视和反馈模块、视频编解码模块、视频渲染模块和通信模块。
9.根据权利要求8所述的一种多用户同步观看视频和实时互动的系统,其特征在于,所述服务提供系统包括综合业务模块、视频资源提供模块、实时同步信令控制模块、性能动态控制模块和通信模块;
所述综合业务模块包括放映厅的创建和管理功能、邀请和通知加入放映厅功能、发布弹幕或表情的社交互动功能、以及文字、语音和视频聊天功能;
所述视频资源提供模块包括提供视频信息的获取、推荐、分类和检索功能、多性能级别的视频源提供功能和不同性能级别测试视频提供功能、视频上传功能和视频云转码功能;
所述实时同步信令控制模块包括管理和控制放映厅的同步信令功能、同步各用户终端的播放时钟功能和终端接入控制功能;
所述性能动态控制模块包括统计终端上报的性能参数功能、计算和下发同步帧率功能和主动淘汰终端功能;
所述通信模块,包括对于通用传输协议HTTP、WebSocket和RTP的服务端实现功能和自定义的多点实时视频同步控制协议的服务端实现功能。
10.根据权利要求8所述的一种多用户同步观看视频和实时互动的系统,其特征在于,所述用户终端系统包括放映厅模块、聊天和社交互动模块、同步信令控制和执行模块、性能监视和反馈模块、视频编解码模块、视频渲染模块和通信模块;
所述放映厅模块包括放映厅的创建功能、选择、上传或设置播放视频功能、设置放映厅的播放性能级别和播放优先保障策略功能、创建者为其他用户终端设置不同的实时同步指令操作权限功能、控制视频的同步播放信令功能;
所述聊天和社交互动模块包括邀请其他用户终端加入放映厅功能、实时文字、语音、视频聊天功能和实时发送弹幕和表情功能;
所述同步信令控制和执行模块包括发送同步信令功能、执行同步信令功能和同步服务器时钟功能;
所述性能监视和反馈模块包括实时监测和统计终端性能参数功能、定时上报性能参数功能、接收并设置同步帧率功能、自动调整终端播放质量级别功能和自动控制淘汰终端功能;
所述视频编解码模块包括视频的下载传输功能,视频内容的实时解码功能、解码性能监控和统计功能和解码控制功能;
所述视频渲染模块包括视频渲染功能、渲染参数控制功能和渲染性能监控和统计功能;
所述通信模块包括对于通用传输协议HTTP、WebSocket和RTP的终端实现功能和自定义的多点实时视频同步控制协议的终端实现功能;
所述用户终端包括Android终端、IOS终端、PC终端、Web端、音视频播放终端、AR设备终端和VR设备终端。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910518757.2A CN112104904B (zh) | 2019-06-17 | 2019-06-17 | 一种多用户同步观看视频和实时互动的方法和系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910518757.2A CN112104904B (zh) | 2019-06-17 | 2019-06-17 | 一种多用户同步观看视频和实时互动的方法和系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112104904A true CN112104904A (zh) | 2020-12-18 |
CN112104904B CN112104904B (zh) | 2023-12-22 |
Family
ID=73748319
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910518757.2A Active CN112104904B (zh) | 2019-06-17 | 2019-06-17 | 一种多用户同步观看视频和实时互动的方法和系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112104904B (zh) |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112738565A (zh) * | 2020-12-22 | 2021-04-30 | 广州视源电子科技股份有限公司 | 互动带宽优化方法、装置、计算机设备和存储介质 |
CN112752112A (zh) * | 2020-12-28 | 2021-05-04 | 当趣网络科技(杭州)有限公司 | 放映厅控制方法、装置、电子设备及介质 |
CN112911368A (zh) * | 2021-01-15 | 2021-06-04 | 北京字跳网络技术有限公司 | 互动方法、装置、电子设备和存储介质 |
CN112954426A (zh) * | 2021-02-07 | 2021-06-11 | 咪咕文化科技有限公司 | 视频播放方法、电子设备及存储介质 |
CN113099281A (zh) * | 2021-02-22 | 2021-07-09 | 互影科技(北京)有限公司 | 视频互动方法、装置、存储介质及终端 |
CN113556611A (zh) * | 2021-07-20 | 2021-10-26 | 上海哔哩哔哩科技有限公司 | 视频观看方法及装置 |
CN114222192A (zh) * | 2021-12-17 | 2022-03-22 | 湖南快乐阳光互动娱乐传媒有限公司 | 一种视频共看匹配方法及装置 |
CN114357199A (zh) * | 2022-01-04 | 2022-04-15 | 聚好看科技股份有限公司 | 服务器及放映厅的创建方法、搜索方法 |
CN114615518A (zh) * | 2022-05-11 | 2022-06-10 | 飞狐信息技术(天津)有限公司 | 视频的播放方法及装置、电子设备、存储介质 |
CN115002553A (zh) * | 2022-04-29 | 2022-09-02 | 当趣网络科技(杭州)有限公司 | 基于同一影视视频边看边聊的方法和系统 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101496402A (zh) * | 2005-02-28 | 2009-07-29 | 尹赖夫互动有限公司 | 用于直播节目期间管理大量观众的实时对话的方法和装置 |
CN104618798A (zh) * | 2015-02-12 | 2015-05-13 | 北京清源新创科技有限公司 | 面向互联网视频直播的播放时刻控制方法及装置 |
CN104811582A (zh) * | 2014-01-28 | 2015-07-29 | 华为技术有限公司 | 多智能设备同步播放的方法和装置 |
CN105530535A (zh) * | 2014-09-29 | 2016-04-27 | 中兴通讯股份有限公司 | 一种多人观看视频实时互动的方法及系统 |
CN106303590A (zh) * | 2016-08-08 | 2017-01-04 | 腾讯科技(深圳)有限公司 | 邀请观看视频影片的实现方法和装置 |
CN108667798A (zh) * | 2018-03-27 | 2018-10-16 | 上海临奇智能科技有限公司 | 一种虚拟观影的方法及系统 |
-
2019
- 2019-06-17 CN CN201910518757.2A patent/CN112104904B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101496402A (zh) * | 2005-02-28 | 2009-07-29 | 尹赖夫互动有限公司 | 用于直播节目期间管理大量观众的实时对话的方法和装置 |
CN104811582A (zh) * | 2014-01-28 | 2015-07-29 | 华为技术有限公司 | 多智能设备同步播放的方法和装置 |
CN105530535A (zh) * | 2014-09-29 | 2016-04-27 | 中兴通讯股份有限公司 | 一种多人观看视频实时互动的方法及系统 |
CN104618798A (zh) * | 2015-02-12 | 2015-05-13 | 北京清源新创科技有限公司 | 面向互联网视频直播的播放时刻控制方法及装置 |
CN106303590A (zh) * | 2016-08-08 | 2017-01-04 | 腾讯科技(深圳)有限公司 | 邀请观看视频影片的实现方法和装置 |
CN108667798A (zh) * | 2018-03-27 | 2018-10-16 | 上海临奇智能科技有限公司 | 一种虚拟观影的方法及系统 |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112738565A (zh) * | 2020-12-22 | 2021-04-30 | 广州视源电子科技股份有限公司 | 互动带宽优化方法、装置、计算机设备和存储介质 |
CN112752112A (zh) * | 2020-12-28 | 2021-05-04 | 当趣网络科技(杭州)有限公司 | 放映厅控制方法、装置、电子设备及介质 |
CN112911368A (zh) * | 2021-01-15 | 2021-06-04 | 北京字跳网络技术有限公司 | 互动方法、装置、电子设备和存储介质 |
CN112954426A (zh) * | 2021-02-07 | 2021-06-11 | 咪咕文化科技有限公司 | 视频播放方法、电子设备及存储介质 |
CN113099281A (zh) * | 2021-02-22 | 2021-07-09 | 互影科技(北京)有限公司 | 视频互动方法、装置、存储介质及终端 |
CN113099281B (zh) * | 2021-02-22 | 2022-05-17 | 互影科技(北京)有限公司 | 视频互动方法、装置、存储介质及终端 |
CN113556611B (zh) * | 2021-07-20 | 2022-08-16 | 上海哔哩哔哩科技有限公司 | 视频观看方法及装置 |
CN113556611A (zh) * | 2021-07-20 | 2021-10-26 | 上海哔哩哔哩科技有限公司 | 视频观看方法及装置 |
WO2023000896A1 (zh) * | 2021-07-20 | 2023-01-26 | 上海哔哩哔哩科技有限公司 | 视频观看方法及装置 |
CN114222192A (zh) * | 2021-12-17 | 2022-03-22 | 湖南快乐阳光互动娱乐传媒有限公司 | 一种视频共看匹配方法及装置 |
CN114357199A (zh) * | 2022-01-04 | 2022-04-15 | 聚好看科技股份有限公司 | 服务器及放映厅的创建方法、搜索方法 |
CN115002553A (zh) * | 2022-04-29 | 2022-09-02 | 当趣网络科技(杭州)有限公司 | 基于同一影视视频边看边聊的方法和系统 |
CN114615518A (zh) * | 2022-05-11 | 2022-06-10 | 飞狐信息技术(天津)有限公司 | 视频的播放方法及装置、电子设备、存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN112104904B (zh) | 2023-12-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112104904B (zh) | 一种多用户同步观看视频和实时互动的方法和系统 | |
US11457283B2 (en) | System and method for multi-user digital interactive experience | |
US20220070524A1 (en) | Devices, systems, and processes for facilitating live and recorded content watch parties | |
US9641559B2 (en) | Methods and systems for dynamic adjustment of session parameters for effective video collaboration among heterogeneous devices | |
US20180063556A1 (en) | Systems and methods for providing guest broadcasting on a live stream video platform | |
US20020112244A1 (en) | Collaborative video delivery over heterogeneous networks | |
US20080091838A1 (en) | Multi-level congestion control for large scale video conferences | |
US11863841B2 (en) | Video playing control method and system | |
CN101889422A (zh) | 用于使终端的输出同步的方法及系统 | |
CN110049271B (zh) | 一种视联网会议信息展示方法及装置 | |
US11889159B2 (en) | System and method for multi-user digital interactive experience | |
CN110856011A (zh) | 一种分组进行直播互动的方法、电子设备及存储介质 | |
US9402056B2 (en) | Collaboration extension system | |
CN101873219A (zh) | 一种基于应用层组播的视频会议直播系统 | |
CN111327868B (zh) | 设置会议发言方角色的方法、终端、服务器、设备及介质 | |
CN111131752A (zh) | 基于视联网的视频会议控制方法、装置、设备及介质 | |
CN110457575B (zh) | 文件推送方法、装置及存储介质 | |
WO2022100528A1 (zh) | 音视频转发方法、装置、终端与系统 | |
CN111641800A (zh) | 一种会议实现的方法及装置 | |
CN104469259A (zh) | 一种云端视频合成方法及系统 | |
CN112771875B (zh) | 在保持视频质量的同时提高视频比特率 | |
Safaei et al. | Large-scale immersive video conferencing by altering video quality and distribution based on the virtual context | |
JP2020174378A (ja) | 異種ネットワーキング環境におけるメディアレンダリングの同期化 | |
Mekuria et al. | Network support for social 3-D immersive tele-presence with highly realistic natural and synthetic avatar users | |
Timmerer et al. | Guest editorial adaptive media streaming |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |