CN108737905B - 直播互动同步方法及架构 - Google Patents
直播互动同步方法及架构 Download PDFInfo
- Publication number
- CN108737905B CN108737905B CN201810600466.3A CN201810600466A CN108737905B CN 108737905 B CN108737905 B CN 108737905B CN 201810600466 A CN201810600466 A CN 201810600466A CN 108737905 B CN108737905 B CN 108737905B
- Authority
- CN
- China
- Prior art keywords
- program
- delay
- time delay
- participating
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 41
- 230000003993 interaction Effects 0.000 title claims abstract description 39
- 230000002452 interceptive effect Effects 0.000 claims abstract description 67
- 230000001934 delay Effects 0.000 claims abstract description 27
- 238000012216 screening Methods 0.000 claims abstract description 20
- 238000012544 monitoring process Methods 0.000 claims abstract description 17
- 238000005259 measurement Methods 0.000 claims abstract description 16
- 230000004044 response Effects 0.000 claims abstract description 15
- 230000014759 maintenance of location Effects 0.000 claims abstract description 6
- 238000012360 testing method Methods 0.000 claims description 9
- 238000012163 sequencing technique Methods 0.000 claims description 7
- 238000011144 upstream manufacturing Methods 0.000 claims description 3
- 230000003111 delayed effect Effects 0.000 claims 1
- 230000005540 biological transmission Effects 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000002035 prolonged effect Effects 0.000 description 3
- 230000002457 bidirectional effect Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000005236 sound signal Effects 0.000 description 2
- 230000001174 ascending effect Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 239000002537 cosmetic Substances 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/475—End-user interface for inputting end-user data, e.g. personal identification number [PIN], preference data
- H04N21/4758—End-user interface for inputting end-user data, e.g. personal identification number [PIN], preference data for providing answers, e.g. voting
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/242—Synchronization processes, e.g. processing of PCR [Program Clock References]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
- H04N21/262—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists
- H04N21/26208—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists the scheduling operation being performed under constraints
- H04N21/26241—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists the scheduling operation being performed under constraints involving the time of distribution, e.g. the best time of the day for inserting an advertisement or airing a children program
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/438—Interfacing the downstream path of the transmission network originating from a server, e.g. retrieving encoded video stream packets from an IP network
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/439—Processing of audio elementary streams
- H04N21/4394—Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- Computer Networks & Wireless Communication (AREA)
- Business, Economics & Management (AREA)
- Marketing (AREA)
- Human Computer Interaction (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
本发明属于网络视频技术领域，具体涉及直播互动同步方法及架构、时延同步系统、视频播放器。该方法包括：监测节目音频中是否出现第一关键字词；对多个播放节目的参与用户的视频流进行时延测量，获得各参与用户的节目时延；根据各参与用户的节目时延筛选满足保留条件的参与用户、设置参考时延，并计算各参与用户的节目时延相对于参考时延的额外时延；在计算各参与用户的节目时延相对于参考时延的额外时延的同时，监测节目音频中是否出现第二关键字词，并将对应的视频内容的目标帧编号发送至视频播放器；视频播放器根据自身对应的额外时延，延时播放目标帧视频内容的节目；用户进行互动、应答。其能提高互动问答节目的用户体验，改善运营商口碑。
Description
技术领域
本发明属于网络视频技术领域，具体涉及一种直播互动同步方法及直播互动同步架构、时延同步系统、视频播放器。
背景技术
目前的很多直播节目中都包含现场互动问答环节，收看节目的用户可以即时参与抢答活动。直播节目中的互动问答或投票，一般会向得到抢答机会并回答正确的用户赠送礼品，有时赠品还颇具价值，例如正处于推广阶段的新款消费类电子产品、化妆品以及限量款影视明星签名海报等。这些对参与者来说，都具有一定的吸引力。
但是基于互联网的直播节目的互动问答，由于网络传输时延不均匀的特性，一些用户的时延比较短，而另外一些用户的时延则较长。容易理解的是，时延短的用户会比时延长的用户更先看到和听到问题，从而能更早的发起抢答请求，导致部分用户收到问答题目的时间晚于其他用户，导致这部分用户不能即时发起抢答请求，降低了互动问答环节的用户体验度。
这种现象不仅会给一些用户留有一种始终比别人慢的印象，更严重的是，甚至于可能会猜测节目组是否作弊，故意把奖品留给“关系户”。此外，还有一些用户可能会归咎为不同运营商的网络存在快慢区别，带给运营商负面口碑。
如何提高互动问答节目的用户体验，改善其给运营商带来负面口碑的问题，成为目前亟待解决的技术问题。
发明内容
本发明所要解决的技术问题是针对现有技术中上述不足，提供一种直播互动同步方法及直播互动同步架构、时延同步系统、视频播放器，提高互动问答节目的用户体验，改善其给运营商带来负面口碑的问题。
解决本发明技术问题所采用的技术方案是该直播互动同步方法，包括步骤：
监测节目音频中是否出现与互动活动相关的第一关键字词；
在监测到节目音频中出现所述第一关键字词时，对多个播放节目的参与用户的视频流进行时延测量，获得各参与用户的节目时延；
根据各参与用户的所述节目时延筛选满足保留条件的参与用户、设置参考时延，并计算各参与用户的所述节目时延相对于所述参考时延的额外时延；
在计算各参与用户的节目时延相对于所述参考时延的额外时延的同时，监测节目音频中是否出现与互动活动相关的第二关键字词，并将所述第二关键字词所对应的视频内容的目标帧编号发送至视频播放器；
所述视频播放器根据自身对应的额外时延，延时播放目标帧视频内容的节目；
用户进行互动，所述视频播放器根据自身对应的所述额外时延，发送互动请求；
互动应答系统响应互动请求；
其中：与互动活动相关的第一关键字词包括“问”、“问答”，与互动活动相关的第二关键字词包括“听题”、“请听题”。
优选的是，根据各参与用户的节目时延筛选满足保留条件的参与用户、设置参考时延，包括：
预设不可容忍门限值以及可牺牲用户比例值；
对各参与用户的所述节目时延进行排序；
去除所述节目时延处于所述不可容忍门限值以外或处于所述可牺牲用户比例值以内的数量较多的参与用户；
将保留的参与用户中最长的节目时延设置为参考时延。
优选的是，根据各参与用户的节目时延筛选满足保留条件的参与用户、设置参考时延，包括：
计算所述节目时延大于不可容忍门限值的参与用户数占参与用户总数的延超比例值；
如果所述延超比例值小于可牺牲用户比例值，则去除节目时延排名靠后的可牺牲用户比例值的参与用户；
如果所述延超比例值大于等于可牺牲用户比例，则去除节目时延排名靠后的预设不可容忍门限值的参与用户；
将排名末位的参与用户的所述节目时延作为参考时延。
优选的是，计算各参与用户的所述节目时延相对于所述参考时延的额外时延，包括：将保留的各参与用户的所述节目延时与所述参考时延的差值，作为各参与用户对应的额外时延。
优选的是，在获得各参与用户的节目时延的步骤中，使用直播系统当前发送直播视频流所用的IP包大小的测试数据包进行时延测量，将时延测量数值作为各参与用户的所述节目时延；
或者，在获得各参与用户的节目时延的步骤中，分别测试视频播放器上行到直播系统与直播系统下行到视频播放器的单向时延之和作为各参与用户的节目时延；
相应的，视频播放器根据自身对应的额外时延，延时播放目标帧视频内容的节目，以及发送互动请求的步骤中：分别采用视频播放器上行到直播系统与直播系统下行到视频播放器的单向时延时。
优选的是，还进一步包括步骤：
对所述节目时延大于参考时延的各参与用户，发送参与用户当前位置的网络时延较大、互动成功率较低的提示。
一种时延同步系统，包括预设单元、排序单元、筛选单元、设置单元，其中：
所述预设单元，配置为预设不可容忍门限值以及可牺牲用户比例值；
所述排序单元，配置为对各参与用户的节目时延进行排序；
所述筛选单元，配置为去除所述节目时延处于所述不可容忍门限值以外或处于所述可牺牲用户比例值以内的数量较多的参与用户；
所述设置单元，配置为将保留的参与用户中最长的所述节目时延设置为参考时延。
优选的是，所述计算元，配置为计算所述节目时延大于不可容忍门限值的参与用户数占参与用户总数的延超比例值；
所述判断元，配置为判断所述延超比例值与所述可牺牲用户比例值的大小；
所述执行元，配置为：若所述延超比例值小于所述可牺牲用户比例值，则去除所述节目时延排名靠后的可牺牲用户比例值的参与用户；若延超比例值大于等于可牺牲用户比例，则去除所述节目时延排名靠后的预设不可容忍门限值的参与用户。
一种视频播放器，包括视频流处理单元、视频播放单元，还包括节目播放内容监测单元和地址获取单元，其中：
所述节目播放内容监测单元，配置为对当前播放的节目的音频进行监测和识别，提炼并匹配与互动活动相关的第一关键字词和/或第二关键字词；
所述地址获取单元，配置为获得所述节目源的服务器地址以及获得所述时延同步系统的服务器地址；
其中：与互动活动相关的第一关键字词包括“问”、“问答”，与互动活动相关的第二关键字词包括“听题”、“请听题”。
一种直播互动同步架构，包括节目源、直播系统、互动应答系统，还包括上述的时延同步系统和上述的视频播放器。
本发明的有益效果是：
本发明提供直播互动同步方法及直播互动同步架构、时延同步系统、视频播放器，根据关键词触发对视频延时播放时间设定以及视频流调节方式，实现传输参数对目标视频帧延长播放时间控制，从而实现不同时延用户同时看到关键视频内容，提升了用户体验。
附图说明
图1为本发明实施例中直播互动同步方法的流程图；
图2为本发明实施例中时延同步系统的结构框图；
图3为本发明实施例中视频播放器的结构框图；
图4为本发明实施例中直播互动同步架构的工作过程示意图；
附图标识中：
1-时延同步系统；11-预设单元；12-排序单元；13-筛选单元； 14-设定单元；
131-计算元；132-判断元；133-执行元；
2-视频播放器；21-频流处理单元；22-视频播放单元；23- 节目播放内容监测单元；
3-节目源；4-直播系统；5-互动应答系统。
具体实施方式
为使本领域技术人员更好地理解本发明的技术方案，下面结合附图和具体实施方式对本发明直播互动同步方法及直播互动同步架构、时延同步系统、视频播放器作进一步详细描述。
本发明的技术构思在于，出现上述时延问题的本质是用户当时所处的网络环境的网络时延较大而导致的。移动互联网网络传输时延不仅仅与移动网络信号的强弱有关，还与当时的网络流量、网络用户数量有关，并且如果节目源设置在运营商Z1，那么运营商Z2的用户接收节目内容的时延通常会比运营商Z1的用户的时延要长。本发明基于网络时延问题对互动问答节目的用户体验进行改善，避免因网络时延造成互动问答节目本身的用户体验降低，给运营商带来负面口碑的问题。
本发明提出了一种直播互动同步方法及直播互动同步架构、时延同步系统、视频播放器，其基于视频直播延时的时延补偿的方式，实现了对网络传输时延的补偿，从而能保证绝大多数用户都能同时看到和听到互动题目内容，可以确保收看节目的参与用户均能有公平的机会同时发起抢答或参与投票，从而有对等的机会发起抢答请求或参与投票，提升了用户体验。
作为本发明的一方面，本发明提供一种直播互动同步方法，如图1所示，该方法包括步骤：
S1：监测节目音频中是否出现与互动活动相关的第一关键字词；与互动活动相关的第一关键字词例如可以为“问”、“问答”；
S2：在监测到节目音频中出现与第一关键字词时，对多个播放节目的参与用户的视频流进行时延测量，获得各参与用户的节目时延；
S3：根据各参与用户的节目时延筛选满足保留条件的参与用户、设置参考时延，并计算各参与用户的节目时延相对于参考时延的额外时延；
S3’：在计算各参与用户的节目时延相对于所述参考时延的额外时延的同时，监测节目音频中是否出现与互动活动相关的第二关键字词，并将第二关键字词所对应的视频内容的目标帧编号发送至视频播放器；与互动活动相关的第二关键字词例如可以为“听题”、“请听题”；
S4：视频播放器根据自身对应的额外时延，延时播放目标帧视频内容的节目；
S5：用户进行互动，视频播放器根据自身对应的额外时延，发送互动请求；这里的互动例如可以为抢答互动；
S6：互动应答系统响应互动请求。
优选的是，根据各参与用户的节目时延筛选满足保留条件的参与用户、设置参考时延，包括：
预设不可容忍门限值(以下标记为A)以及可牺牲用户比例值(以下标记为B)；
对各参与用户的节目时延进行排序；
去除节目时延处于不可容忍门限值以外或处于可牺牲用户比例值以内的数量较多的参与用户，即根据被筛选出局的标准，去除大于不可容忍门限值A部分的参与用户，或者，去除处于可牺牲用户比例值范围内的参与用户；
将保留的参与用户中最长的节目时延设置为参考时延。
进一步优选的是，根据各参与用户的节目时延筛选满足保留条件的参与用户、设置参考时延，包括：
计算节目时延大于不可容忍门限值A的参与用户数占参与用户总数的延超比例值；
如果延超比例值小于可牺牲用户比例值B，则去除节目时延排名靠后的可牺牲用户比例值B的参与用户；
如果延超比例值大于等于可牺牲用户比例B，则去除节目时延排名靠后的预设不可容忍门限值A的参与用户；
将排名末位的参与用户(即保留下来的节目时延最长的参与用户)的时延作为参考时延，这里将参考时延记为C。
其中：计算各参与用户的节目时延相对于参考时延的额外时延，包括：将保留的各参与用户的节目延时与参考时延的差值，作为各参与用户对应的额外时延。额外时延＝节目时延-C。
优选的是，在获得各参与用户的节目时延的步骤中，使用直播系统当前发送直播视频流所用的IP包大小的测试数据包进行时延测量，将时延测量数值作为各参与用户的节目时延。
同样优选的是，在获得各参与用户的节目时延的步骤中，分别测试视频播放器上行到直播系统与直播系统下行到视频播放器的单向时延之和作为各参与用户的节目时延；
相应的，视频播放器根据自身对应的额外时延，延时播放目标帧视频内容的节目，以及发送互动请求的步骤中：
分别采用视频播放器上行到直播系统与直播系统下行到视频播放器的单向时延时。
该直播互动同步方法，还进一步包括步骤：
对节目时延大于参考时延的各参与用户，发送参与用户当前位置的网络时延较大、互动成功率较低的提示。
作为本发明的一方面，本发明还提供一种时延同步系统，如图2所示，该时延同步系统1包括预设单元11、排序单元12、筛选单元13、设定单元14，其中：
预设单元11，配置为预设不可容忍门限值(以下标记为A) 以及可牺牲用户比例值(以下标记为B)。
预设不可容忍门限值A即当时延超过该门限值时，认为该用户参与互动问答的体验无论怎样都会非常差，例如将不可容忍门限值预设为200ms，即此时如果某用户的时延超过200ms，那么为了让该用户公平的参与问答，将会降低其他大部分用户的体验。可牺牲用户比例值B即设置对应比例的参与用户的互动问答体验不能得到保证，例如将此门限值设为5％，即时延最大的5％的参与用户，将不能得到公平参与问答的保证。
排序单元12，配置为对各参与用户的节目时延进行排序；
筛选单元13，配置为去除节目时延大于处于不可容忍门限值以外或处于可牺牲用户比例值以内的数量较多的参与用户，即根据被筛选出局的标准，去除不可容忍门限值A部分的参与用户，或者，去除处于可牺牲用户比例值范围内的参与用户；
设定单元14，配置为将保留的参与用户中最长的节目时延设置为参考时延。
具体的，筛选单元13包括计算元131、判断元132和执行元 133，其中：
计算元131，配置为计算节目时延大于不可容忍门限值A的参与用户数占参与用户总数的延超比例值；
判断元132，配置为判断延超比例值与可牺牲用户比例值B 的大小；
执行元133，配置为：若延超比例值小于可牺牲用户比例值B，则去除节目时延排名靠后的可牺牲用户比例值B的参与用户；若延超比例值大于等于可牺牲用户比例B，则去除节目时延排名靠后的预设不可容忍门限值A的参与用户。
作为本发明的一方面，本发明还提供一种视频播放器，如图 3所示，该视频播放器2包括视频流处理单元21、视频播放单元 22，还包括节目播放内容监测单元23和地址获取单元24，其中：
节目播放内容监测单元23，配置为对当前播放的节目的音频进行监测和识别，提炼并匹配与互动活动相关的第一关键字词和/ 或第二关键字词；
地址获取单元24，配置为获得节目源3的服务器地址以及获得时延同步系统1的服务器地址。
其中：与互动活动相关的第一关键字词例如可以为“问”、“问答”，与互动活动相关的第二关键字词例如可以为“听题”、“请听题”，等等。
配置节目播放内容监测单元23后，这样客户端应用软件监测到第一关键词，主动向时延同步系统发起时延测量请求。这是因为：首先，时延同步系统并不保存收看节目的客户端列表，也不易于保存可能随时发生变化(客户端会动态加入或退出)的客户端列表；其次，并不是所有客户端都必定支持直播互动同步功能，即为了最大程度的降低时延同步系统的负载和系统的兼容性，仅对支持直播互动同步功能的客户端发起时延测量操作。
基于上述的时延同步系统1和视频播放器2，作为本发明的一方面，本发明提供一种直播互动同步架构。参考图4，除时延同步系统1和视频播放器2外，该直播互动同步架构还包括节目源3、直播系统4、互动应答系统5(例如抢答应答系统)。
以下将结合图4和图1，以互联网直播节目作为示例，对该直播互动同步架构的直播互动同步方法进行详细说明：
步骤S0)：从视频节目源3获取直播节目，时延同步系统1 和直播系统4。
该步骤对应图4中的(1)-(2)：
(1)：时延同步系统1和直播系统4同时从节目源3获取节目。
(2)：直播系统4在经历预设的时延之后将直播节目内容发送到互联网。一般情况下，直播系统4在真正将直播节目发送到互联网之前，需要相对于节目源3而言设置一定的时延(门限值，可人为设定，时长不做限定)，例如2s。
步骤S1)：视频播放器2接收视频内容，解码播放节目，同时监测节目音频中是否出现与互动活动相关的第一关键字词。
这里的视频播放器2可用为客户端应用软件(当然也可以为配置了人机交互界面的电视等的其他播放装置或软件)，该步骤对应图4中的(3)：用户客户端应用软件接收直播节目并解码播放，同时监测直播节目中音频信号中的第一关键字，例如：“下面即将进入问答环节”这句台词中的“问答”。
步骤S2)：在监测到节目音频中出现所述第一关键字词时，对多个播放节目的参与用户的视频流进行时延测量，获得各参与用户的节目时延。
该步骤对应图4中的(4)-(5)，监测对象为视频播放器正在直播的节目：
(4)：当用户客户端应用软件监测到预设的关键词之后，向时延同步系统1发送“测量当前网络时延请求”。
(5)：时延同步系统1接收到来自用户的时延测试请求后，进行时延测量。为了更真实的反应直播节目数据包的时延情况，可以使用直播系统4当前发送直播视频流所用的IP包大小的测试数据包来进行时延测量。时延的具体的测量方法现有技术，例如 PING。
优选的是，时延同步系统1与直播系统4设置在同一机房内，因此时延同步系统1与当前用户之间的时延可以看作为直播系统 4与当前用户之间的双向平均时延(即上行时延与下行时延的算术平均值)。为了能更清楚的说明本发明的直播互动同步应用，对时延同步系统1与直播系统4设置举例做如下说明：
第一：直播内容是一场足球赛，这场比赛会同时被中央电视台和北京电视台转播。这形成了两个直播节目源，并且分别从两个不同的直播节目源。由于中央电视台和北京电视台必定是用两套不同的直播系统，即使中央电视台和北京电视台都会在其中插播互动问答，那么也必定是相互独立的，即问题的内容和提出问题的时机一般不会相同。而对于收看直播节目的观众，要么收看北京电视台的节目，要么收看中央电视台的节目，基本不会同时收看两套不同的节目。由此，本发明只讨论由一个电视台转播节目的情形即可。假定有一组观众收看北京电视台的节目，北京电视台又同时通过中国电信、中国联通两个不同的网络运营商网络向用户播发球赛现场。由于转播权和问题插播权都属于北京电视台。此时的时延同步服务器、直播节目源服务器，都在北京电视台机房，因此与具体的网络运营商无关。
第二：关于单台时延同步系统负责需要通过多台服务器进行分担的情况。这种情况下，与节目源同处于同一机房地时延同步服务器(时延同步服务器中心节点，或中心时延同步服务器)不直接面向用户。并且此时一般会通过CDN网络对直播内容进行分级分发。直接接入用户的CDN末端节点同一机房内设置时延服务器(边缘时延同步服务器)，用于实现对用户的时延测量。边缘时延同步服务器和中心时延同步服务之间的一般采用的是骨干网络，时延相对固定，并且服务器之间可以随时进行时延测量和更新。因此这种情况下，用户端的时延补偿是用户至边缘服务器时延加上边缘服务器至中心服务器时延的总合。
第三：客户端获得直播节目源服务器地址时，将同时获得时延同步服务器地址。
步骤S3)：根据各参与用户的节目时延筛选满足保留条件的参与用户、设置参考时延，计算各参与用户的节目时延相对于参考时延的额外时延。
该步骤对应图4中的(6)-(7)：
(6)：当全部测试请求完成后，时延同步系统1进行以下处理：
a)：将当前测试全部的参与用户(即收看当前节目的用户)，按节目时延由短至长进行排序；
b)：计算节目时延大于不可容忍门限值A的参与用户比例，如果该比例值小于B(B为百分数)，则以去掉排名靠后的可牺牲用户比例值B的参与用户后，选出排名末位的参与用户，即时延最长的参与用户；如果该比例值大于等于B，则以去掉排名靠后的处于不可容忍门限值A的参与用户后，选出排名末位的参与用户，即时延最长的参与用户。根据去除节目时延处于不可容忍门限值以外或处于可牺牲用户比例值以内的数量较多的参与用户的筛选出局标准，假定不可容忍门限值A的时延为1000ms，即当用户时延在1000ms及1000ms以上时，无论怎样，都不会使该参与用户满意；同时假定收看某个节目的用户数为10000人，其中100人的时延达到或超过了1000ms；同时假定预设的可牺牲用户比例为 1.5％。于是有：A＝1％，A<B，最终将有1.5％的参与用户被牺牲，即 150人被舍弃，不为其提供时延补偿服务；如果B＝0.5％，由于A>B，最终将有1％的参与用户被牺牲，即100人被舍弃，不为其提供时延补偿服务。
c)：排名末位的参与用户(Uc)的时延值作为参考时延，记为C。不失一般性，将其余用户U1，U2，U3，…，Un的节目时延值从小到大分别记为D1，D2，D3，…，Dn。
d)：对于U1，U2，U3，…，Un分别需要引入时长等于C-D1， C-D2，C-D3，…，C-Dn的额外时延。
这里应该理解的是，在计算额外时延的过程中，对各保留下来的各参与用户的排序并非必要步骤，这里只是基于已经排序后的各参与用户的额外时延的一种承接计算。事实上，只要将各参与用户自身的节目时延与参考时延进行求差计算，保证参与用户与其自身的额外时延对应即可。
另外，对于选做参考时延的参与用户(排名末位的参与用户 Uc)的额外时延，可以不返回任何时延参数，也可以返回一个参数0。不论怎样处理，对后续的节目播放都不会产生实际影响。
更为善意的一种方式是，对于进行时延排序过程中，排在Uc 之后的参与用户，时延同步系统1可以其发送一个参数“-1”，表示其节目时延超过其他参与用户。客户端应用软件可以根据这一提示，向参与用户发出提示，提示其当前位置的网络时延较大，可能不能抢答成功。参与用户可以根据这一提示变换自己所在位置，例如从咖啡厅里走到咖啡厅外，以便在一个问题提出时，有更好的机会获得抢答权。
(7)：将所有的C-D1，C-D2，C-D3，…，C-Dn发送给U1， U2，U3，…，Un的客户端应用软件。
步骤S3’)：在计算各参与用户的节目时延相对于参考时延的额外时延的同时，监测节目音频中是否出现与互动活动相关的第二关键字词，并将所述第二关键字词所对应的视频内容的目标帧编号发送至视频播放器。
该步骤对应图4中的(6’)-(7’)：
(6’)：时延同步系统1同时监测直播节目中音频信号中的第二关键字，例如“请听题”。
(7’)：时延同步系统1将音频“请听题”所对应的视频内容的最后一帧的编号(每一帧视频内容都会带有一个编号)，即目标帧编号，发送给U1，U2，U3，…，Un的客户端应用软件。
例如，以不可容忍门限值A等于200ms为例，则：
互联网视频的典型帧率一般为每秒20帧左右，每帧视频大约的播放时长为50ms，200ms为4帧画面。那么前述步骤(7’)中，会将第二关键词对应的视频帧的最后4帧(而不只是最后1帧) 的编号全部发送给参与用户U1，U2，U3，…，Un。
如果视频帧率更高，例如每秒60帧，那么每帧视频大约的播放时长为16.7ms，200ms为12帧画面。则前述步骤(7’)中，会将第二关键词对应的视频帧的最后12帧的编号全部发送给参与用户U1，U2，U3，…，Un。
如果按照视频帧率和设定的延时计算，不可容忍门限值A的时间长度小于或等于1帧画面占用的时间(例如，视频画面每秒 20帧，设定的不可容忍门限值A为40ms)，则前述步骤(7’)中，只发送第二关键词对应的视频帧的最后1帧的编号全部发送给用户U1，U2，U3，…，Un。
步骤S4)：视频播放器根据自身对应的额外时延，延时播放目标帧视频内容的节目。
该步骤对应图4中的(8)：客户端应用软件在收到额外时延参数和目标帧编号后，会将目标帧的播放时长延长一段时间，该段时间的长短等于该参与用户所对应的额外时延参数。此时对于 U1，U2，U3，…，Un中的任意一个参与用户Um，由于增加了额外时延，第二关键词之后的视频帧将会在无额外时延时的预定播放时间之后的C-Um ms(时间很短，肉眼难以发觉)之后才进行播放。而对于参与用户Uc由于其在测试过程中的节目时延排在筛选保留参与用户的末位，因此其第二关键词之后的视频帧将会按照正常的预定播放时间进行播放。由于Um和Uc的节目时延差恰好是 C-Um，所以从用户的角度看，U1，U2，U3，…，Un，Uc将会同时看到第二关键词之后的节目内容，即题目内容。
步骤S5)：用户进行互动，所述视频播放器根据自身对应的所述额外时延，发送互动请求。
该步骤对应图4中的(9)-(10)：
(9)：用户在客户端应用软件提供的抢答按钮上发起抢答请求。客户端应用软件在检测到用户的操作后，会额外引入一个时延后再提交请求。具体的，对于U1，U2，U3，…，Un，其客户端应用软件会分别延时C-D1，C-D2，C-D3，…，C-Dn之后再真正向互动应答系统5提交抢答请求。
(10)：客户端应用软件将抢答请求提交给互动应答系统5。
步骤S6)：互动应答系统5响应互动请求。
这里的互动应答系统5可以为抢答应答系统，该步骤对应图 4中的(11)：抢答应答系统根据先到先服务的原则，与排名第一的参与用户建立连接关系(例如视频通信)。如果规则允许前一位用户答错，可以选择下一位用户在此作答，则抢答应答系统可以依次选择下一位用户并与之建立连接关系。
当然，在图4的(5)中，还可以分别测试上行(客户端应用软件到直播系统4)和下行(直播系统4到客户端应用软件)两个单向时延。相应的，由此在视频播放额外时延和抢答请求延时提交时延可以分别采用下行和上行时延两个独立的数值。
本发明的直播互动同步方法仅以互联网直播节目作为示例，实现网络侧参数对目标视频帧延长播放时间控制，但是该互动同步处理的方法并不局限于互联网直播节目，不论是何种播放形式，只要服务端和客户端之间具备双向网络连接关系，例如：基于双向有线电视网的节目直播、面向基于宽带接入的机顶盒或电脑的节目直播还是其他形式，只要可能存在抢答应答或投票选举等包括互动行为的直播节目均可采用该方法及相应的装置，这里不做限定。
本发明提供直播互动同步方法及直播互动同步架构、时延同步系统、视频播放器，根据关键词触发对视频延时播放时间设定以及视频流调节方式，实现传输参数对目标视频帧延长播放时间控制，从而实现不同时延用户同时看到关键视频内容，提升了用户体验。
可以理解的是，以上实施方式仅仅是为了说明本发明的原理而采用的示例性实施方式，然而本发明并不局限于此。对于本领域内的普通技术人员而言，在不脱离本发明的精神和实质的情况下，可以做出各种变型和改进，这些变型和改进也视为本发明的保护范围。
Claims (8)
1.一种直播互动同步方法，其特征在于，包括步骤：
监测节目音频中是否出现与互动活动相关的第一关键字词；
在监测到节目音频中出现所述第一关键字词时，对多个播放节目的参与用户的视频流进行时延测量，获得各参与用户的节目时延；
根据各参与用户的所述节目时延筛选满足保留条件的参与用户、设置参考时延，并计算各参与用户的所述节目时延相对于所述参考时延的额外时延；
在计算各参与用户的节目时延相对于所述参考时延的额外时延的同时，监测节目音频中是否出现与互动活动相关的第二关键字词，并将所述第二关键字词所对应的视频内容的目标帧编号发送至视频播放器；
所述视频播放器根据自身对应的额外时延，延时播放目标帧视频内容的节目；
用户进行互动，所述视频播放器根据自身对应的所述额外时延，发送互动请求；
互动应答系统响应互动请求；
其中：与互动活动相关的第一关键字词包括“问”、“问答”，与互动活动相关的第二关键字词包括“听题”、“请听题”。
2.根据权利要求1所述的直播互动同步方法，其特征在于，根据各参与用户的节目时延筛选满足保留条件的参与用户、设置参考时延，包括：
预设不可容忍门限值以及可牺牲用户比例值；
对各参与用户的所述节目时延进行排序；
去除所述节目时延处于所述不可容忍门限值以外或处于所述可牺牲用户比例值以内的数量较多的参与用户；
将保留的参与用户中最长的节目时延设置为参考时延。
3.根据权利要求2所述的直播互动同步方法，其特征在于，根据各参与用户的节目时延筛选满足保留条件的参与用户、设置参考时延，包括：
计算所述节目时延大于不可容忍门限值的参与用户数占参与用户总数的延超比例值；
如果所述延超比例值小于可牺牲用户比例值，则去除节目时延排名靠后的可牺牲用户比例值的参与用户；
如果所述延超比例值大于等于可牺牲用户比例，则去除节目时延排名靠后的所述延超比例值的参与用户；
将进行去除操作后的保留的参与用户中的排名末位的参与用户的所述节目时延作为参考时延。
4.根据权利要求1所述的直播互动同步方法，其特征在于，计算各参与用户的所述节目时延相对于所述参考时延的额外时延，包括：将保留的各参与用户的所述节目延时与所述参考时延的差值，作为各参与用户对应的额外时延。
5.根据权利要求1所述的直播互动同步方法，其特征在于，在获得各参与用户的节目时延的步骤中，使用直播系统当前发送直播视频流所用的IP包大小的测试数据包进行时延测量，将时延测量数值作为各参与用户的所述节目时延；
或者，在获得各参与用户的节目时延的步骤中，分别测试视频播放器上行到直播系统与直播系统下行到视频播放器的单向时延之和作为各参与用户的节目时延；
相应的，视频播放器根据自身对应的额外时延，延时播放目标帧视频内容的节目，以及发送互动请求的步骤中：分别采用视频播放器上行到直播系统与直播系统下行到视频播放器的单向时延时。
6.根据权利要求1-5任一项所述的直播互动同步方法，其特征在于，还进一步包括步骤：
对所述节目时延大于参考时延的各参与用户，发送参与用户当前位置的网络时延较大、互动成功率较低的提示。
7.一种直播互动同步架构，包括节目源、直播系统、互动应答系统，其特征在于，还包括时延同步系统和视频播放器；
所述视频播放器包括：节目播放内容监测单元和地址获取单元，其中：
所述节目播放内容监测单元，配置为对当前播放的节目的音频进行监测和识别，提炼并匹配与互动活动相关的第一关键字词和/或第二关键字词；
所述地址获取单元，配置为获得所述节目源的服务器地址和所述时延同步系统的服务器地址；
其中：与互动活动相关的第一关键字词包括“问”、“问答”，与互动活动相关的第二关键字词包括“听题”、“请听题”；
所述时延同步系统包括预设单元、排序单元、筛选单元、设置单元，其中：
所述预设单元，配置为预设不可容忍门限值以及可牺牲用户比例值；
所述排序单元，配置为对各参与用户的节目时延进行排序；
所述筛选单元，配置为去除所述节目时延处于所述不可容忍门限值以外或处于所述可牺牲用户比例值以内的数量较多的参与用户；
所述设置单元，配置为将保留的参与用户中最长的所述节目时延设置为参考时延；
所述视频播放器还用于在获取到所述第一关键字词后，向所述时延同步系统发送测量当前网络时延请求；
所述时延同步系统还用于在接收到所述测量当前网络时延请求后，对多个播放节目的参与用户的视频流进行时延测量，获得各参与用户的节目时延，以及用于根据所述参考时延和各参与用户的节目时延计算各参与用户的额外时延，并将额外时延发送至对应参与用户的视频播放器，以及还用于在监测到当前播放的节目中出现第二关键词时，将所述第二关键字词所对应的视频内容的目标帧编号发送至视频播放器；
所述视频播放器还用于根据自身对应的额外时延，延时播放目标帧视频内容的节目。
8.根据权利要求7所述的直播互动同步架构，其特征在于，所述筛选单元包括计算元、判断元和执行元，其中：
所述计算元，配置为计算所述节目时延大于不可容忍门限值的参与用户数占参与用户总数的延超比例值；
所述判断元，配置为判断所述延超比例值与所述可牺牲用户比例值的大小；
所述执行元，配置为：若所述延超比例值小于所述可牺牲用户比例值，则去除所述节目时延排名靠后的可牺牲用户比例值的参与用户；若延超比例值大于等于可牺牲用户比例，则去除所述节目时延排名靠后的所述延超比例值的参与用户。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810600466.3A CN108737905B (zh) | 2018-06-12 | 2018-06-12 | 直播互动同步方法及架构 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810600466.3A CN108737905B (zh) | 2018-06-12 | 2018-06-12 | 直播互动同步方法及架构 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108737905A CN108737905A (zh) | 2018-11-02 |
| CN108737905B true CN108737905B (zh) | 2021-04-13 |
Family
ID=63929323
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810600466.3A Active CN108737905B (zh) | 2018-06-12 | 2018-06-12 | 直播互动同步方法及架构 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108737905B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114363709A (zh) * | 2021-12-30 | 2022-04-15 | 南京谦萃智能科技服务有限公司 | 直播方法、终端设备及计算机可读存储介质 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2008024852A2 (en) * | 2006-08-22 | 2008-02-28 | Goldspot Media, Inc. | Method and apparatus for alternate content scheduling on mobile devices |
| CN101729906A (zh) * | 2008-10-16 | 2010-06-09 | 财团法人工业技术研究院 | 行动电视系统及其同步化播放串流服务的方法 |
| CN103780619A (zh) * | 2014-01-08 | 2014-05-07 | 深圳市掌玩网络技术有限公司 | 广域网实时互动游戏同步方法、装置及系统 |
| CN104618798A (zh) * | 2015-02-12 | 2015-05-13 | 北京清源新创科技有限公司 | 面向互联网视频直播的播放时刻控制方法及装置 |
| CN106507202A (zh) * | 2016-11-11 | 2017-03-15 | 传线网络科技（上海）有限公司 | 播放控制方法及装置 |
| CN106899862A (zh) * | 2017-02-23 | 2017-06-27 | 杭州当虹科技有限公司 | 计算视频信号时间偏移量的方法和系统 |
| CN107469348A (zh) * | 2017-08-11 | 2017-12-15 | 北京安云世纪科技有限公司 | 一种联机游戏的连接建立方法及装置 |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8661496B2 (en) * | 2002-12-10 | 2014-02-25 | Ol2, Inc. | System for combining a plurality of views of real-time streaming interactive video |
| US8863171B2 (en) * | 2010-06-14 | 2014-10-14 | Sony Corporation | Announcement of program synchronized triggered declarative objects |
| EP3399764A1 (en) * | 2012-03-29 | 2018-11-07 | Koninklijke KPN N.V. | Marker-based inter-destination media synchronization |
| CN103763586B (zh) * | 2014-01-16 | 2017-05-10 | 北京酷云互动科技有限公司 | 电视节目互动方法、装置和服务器 |
| CN105100954B (zh) * | 2014-05-07 | 2018-05-29 | 朱达欣 | 一种基于互联网通信及流媒体直播的交互应答系统及方法 |
| TWI620438B (zh) * | 2015-08-12 | 2018-04-01 | 財團法人資訊工業策進會 | 校正直播節目中互動時間的方法、裝置與電腦可讀取儲存裝置 |
| CN105208039B (zh) * | 2015-10-10 | 2018-06-08 | 广州华多网络科技有限公司 | 在线演唱会大合唱的方法及系统 |
| CN106341711B (zh) * | 2016-09-27 | 2019-09-24 | 成都西可科技有限公司 | 一种多机位视频直播回放方法及系统 |
| CN107645669A (zh) * | 2017-10-18 | 2018-01-30 | 青岛桐轩佳航科技有限公司 | 多屏显示控制方法、装置及系统 |
-
2018
- 2018-06-12 CN CN201810600466.3A patent/CN108737905B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2008024852A2 (en) * | 2006-08-22 | 2008-02-28 | Goldspot Media, Inc. | Method and apparatus for alternate content scheduling on mobile devices |
| CN101729906A (zh) * | 2008-10-16 | 2010-06-09 | 财团法人工业技术研究院 | 行动电视系统及其同步化播放串流服务的方法 |
| CN103780619A (zh) * | 2014-01-08 | 2014-05-07 | 深圳市掌玩网络技术有限公司 | 广域网实时互动游戏同步方法、装置及系统 |
| CN104618798A (zh) * | 2015-02-12 | 2015-05-13 | 北京清源新创科技有限公司 | 面向互联网视频直播的播放时刻控制方法及装置 |
| CN106507202A (zh) * | 2016-11-11 | 2017-03-15 | 传线网络科技（上海）有限公司 | 播放控制方法及装置 |
| CN106899862A (zh) * | 2017-02-23 | 2017-06-27 | 杭州当虹科技有限公司 | 计算视频信号时间偏移量的方法和系统 |
| CN107469348A (zh) * | 2017-08-11 | 2017-12-15 | 北京安云世纪科技有限公司 | 一种联机游戏的连接建立方法及装置 |
Non-Patent Citations (1)
| Title |
|---|
| "视频流媒体的Qos特征分析及质量保证";罗军等;《计算机工程与应用》;20031231;第66-70页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108737905A (zh) | 2018-11-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106161219B (zh) | 消息处理方法及装置 | |
| US6819669B2 (en) | Method and system for data communication | |
| US20060068818A1 (en) | Audience participation method and apparatus | |
| CN105933375B (zh) | 一种连麦会话的监测方法、装置和服务器 | |
| JP2007534076A (ja) | ネットワークチャット環境におけるチャット負荷管理のためのシステム及び方法 | |
| CN109714622B (zh) | 一种视频数据处理方法、装置及电子设备 | |
| CN110769270A (zh) | 直播互动的方法及装置、电子设备、存储介质 | |
| CN110856011B (zh) | 一种分组进行直播互动的方法、电子设备及存储介质 | |
| CN102790923A (zh) | 用户评论信息共享的方法、即时消息服务器及用户终端 | |
| TW200926810A (en) | Instant messaging method and network TV system based on network TV | |
| CN104394430A (zh) | 一种基于交互应用的资源传输方法及其系统、服务设备 | |
| CN115086746B (zh) | 用于直播系统的视频轮巡方法、直播系统以及电子设备 | |
| CN109195003A (zh) | 基于直播进行游戏的互动方法、系统、终端及装置 | |
| Schmitt et al. | Asymmetric delay in video-mediated group discussions | |
| CN107205159B (zh) | 网络直播中流媒体的比特率调整方法、装置和存储介质 | |
| CN108737905B (zh) | 直播互动同步方法及架构 | |
| DK1698059T3 (en) | Managing the return path in an interactive television environment | |
| CN103814580B (zh) | 提供交互服务的方法以及交互服务网络中的服务器 | |
| CN112019937B (zh) | 一种在线答题直播方法、装置、服务器及存储介质 | |
| CN108322787A (zh) | 视频流分发方法、装置及电子设备 | |
| JP3679836B2 (ja) | 双方向放送受信装置 | |
| CN113031756A (zh) | 一种评测vr体验临场感的方法、装置及系统 | |
| Mekuria | Inter-destination media synchronization for TV broadcasts | |
| CN107071566B (zh) | 直播间观看人数显示方法及装置 | |
| Robitza et al. | Acceptance of mobile TV channel switching delays |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |