CN116112700A - 一种直播互动方法、装置、电子设备和存储介质 - Google Patents

一种直播互动方法、装置、电子设备和存储介质 Download PDF

Info

Publication number
CN116112700A
CN116112700A CN202211722292.0A CN202211722292A CN116112700A CN 116112700 A CN116112700 A CN 116112700A CN 202211722292 A CN202211722292 A CN 202211722292A CN 116112700 A CN116112700 A CN 116112700A
Authority
CN
China
Prior art keywords
event
time stamp
link
display time
interaction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211722292.0A
Other languages
English (en)
Inventor
韩映萍
李伟辉
刘延钧
邓志强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianyi Cloud Technology Co Ltd
Original Assignee
Tianyi Cloud Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianyi Cloud Technology Co Ltd filed Critical Tianyi Cloud Technology Co Ltd
Priority to CN202211722292.0A priority Critical patent/CN116112700A/zh
Publication of CN116112700A publication Critical patent/CN116112700A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content

Abstract

本申请涉及一种直播互动方法、装置、电子设备和存储介质，该方法包括：推流端触发交互事件，在推流端的推流器中对交互事件建立补充增强信息链路和显示时间戳链路后得到补充增强信息链路和显示时间戳链路的交互事件，推流端将补充增强信息链路和显示时间戳链路的交互事件发送到业务服务器；业务服务器对所述补充增强信息链路和显示时间戳链路的交互事件进行序列缓存得到缓存事件列表；播放端连接信令服务器时请求业务服务器接口对所述缓存事件列表进行收集；播放端实时监听当前播放帧的显示时间戳值，通过当前播放帧的显示时间戳值对缓存事件列表中的显示时间戳值进行阈值校对匹配，确定是否执行交互事件。本申请实现了更准确的互动效果。

Description

一种直播互动方法、装置、电子设备和存储介质
技术领域
本申请涉及网络直播技术领域，特别是涉及一种直播互动方法、装置、电子设备和存储介质。
背景技术
直播流播放延时的背景下，不确定的延时时长导致业务端无法用固定的延时动作来进行事件同步，从而影响有交互联动的观看和体验。通过优化处理校对时间点位置可以实现比较精准的交互，目前常用的方式是采用在需要处理交互的时间点往直播流里插入SEI数据帧，通过播放器解析SEI数据帧获得对应指令来执行相应动作，不过此方式忽略了网络传输中的丢帧影响，关键的SEI帧丢失会导致功能的异常无法执行相应的动作。
发明内容
基于上述问题，本申请提供一种直播互动方法、装置、电子设备和存储介质。
第一方面，本申请实施例提供一种直播互动方法，应用于包括：推流端、业务服务器、信令服务器和播放端的系统中，包括：
推流端触发交互事件，在推流端的推流器中对所述交互事件建立补充增强信息链路和显示时间戳链路后得到补充增强信息链路和显示时间戳链路的交互事件，推流端将补充增强信息链路和显示时间戳链路的交互事件发送到业务服务器；
业务服务器接收到补充增强信息链路和显示时间戳链路的交互事件后，对补充增强信息链路和显示时间戳链路的交互事件进行序列缓存得到缓存事件列表；
播放端连接信令服务器时请求业务服务器接口对缓存事件列表进行收集并对实时事件进行监听；
播放端实时监听当前播放帧的显示时间戳值，通过当前播放帧的显示时间戳值对缓存事件列表中的显示时间戳值进行阈值校对匹配，确定是否执行交互事件。
进一步地，上述一种直播互动方法中在推流端的推流器中对所述交互事件建立补充增强信息链路和显示时间戳链路后得到补充增强信息链路和显示时间戳链路的交互事件，包括：
将交互事件的数据封装后插入推流器的补充增强信息帧内，建立补充增强信息链路；
获取交互事件的显示时间戳值，建立显示时间戳链路；
建立补充增强信息链路和显示时间戳链路后得到补充增强信息链路和显示时间戳链路的交互事件；
其中，显示时间戳值设定为系统时间戳。
进一步地，上述一种直播互动方法中，对补充增强信息链路和显示时间戳链路的交互事件进行序列缓存得到缓存事件列表，包括：
进行序列缓存时依据预先设置的最大缓存时长缓存事件列表，移除超过预先设置的最大缓存时长的事件。
进一步地，上述一种直播互动方法，还包括：
若检测到信令服务器异常，播放端根据当前播放的补充增强信息帧解析交互事件并执行交互事件。
进一步地，上述一种直播互动方法中，通过当前播放帧的显示时间戳值对缓存事件列表中的显示时间戳值进行阈值校对匹配，包括：
当监听到当前播放帧的显示时间戳值处于缓存事件列表中第一事件对应显示时间戳值的时间阈值λ范围内时，触发延时时长Td执行交互事件。
其中，延时时长Td表示第一事件对应显示时间戳值减当前播放帧的显示时间戳值。
进一步地，上述一种直播互动方法还包括：触发延时时长Td执行交互事件后，将触发延时时长Td执行交互事件对应的交互事件标记为已触发。
进一步地，上述一种直播互动方法还包括：当接收到新的播放端连接所述系统时，显示当前时间临近的交互事件序列和显示时间戳。
第二方面，本申请实施例还提供一种直播互动装置，应用于包括：推流端、业务服务器、信令服务器和播放端的系统中，包括：
建立模块和发送模块：用于所述推流端触发交互事件，在所述推流端的推流器中对所述交互事件建立补充增强信息链路和显示时间戳链路后得到补充增强信息链路和显示时间戳链路的交互事件，推流端将所述补充增强信息链路和显示时间戳链路的交互事件发送到业务服务器；其中，补充增强信息发送到流媒体服务器随视频流一起分发；显示时间戳信息发送到业务服务器进行分发；二者对应的相同交互事件也随两条链路进行分发；
序列缓存模块：用于所述业务服务器接收到所述补充增强信息链路和显示时间戳链路的交互事件后，对所述补充增强信息链路和显示时间戳链路的交互事件进行序列缓存得到缓存事件列表；
收集模块：用于所述播放端连接所述信令服务器时请求业务服务器接口对所述缓存事件列表进行收集；
校对模块和确定模块：用于播放端实时监控当前播放帧的显示时间戳值，通过所述当前播放帧的显示时间戳值对缓存事件列表中的显示时间戳值进行阈值校对匹配，确定是否执行交互事件。
第三方面，本发明实施例还提供了一种电子设备，包括：处理器和存储器；
所述处理器通过调用所述存储器存储的程序或指令，用于执行如上所述的一种直播互动方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储程序或指令，所述程序或指令使计算机执行如上所述的一种直播互动方法。
本申请实施例的优点在于：首先，本申请在将互动事件数据插入SEI帧的基础上，增加获取交互动作时间点推流的显示时间戳PTS值，比单独设置SEI数据帧的方式更稳定有效，减少丢帧情况下连带交互事件的丢失，为网络波动导致丢帧场景提供交互事件防止丢失的补偿机制；其次，比单独校对PTS时间点的方式更精准，本申请设定区间阈值，在区间内将是否存在SEI数据帧加入考量来提升匹配精准度，同时也避免信令通道断开导致无法交互；另外，利用业务服务器缓存和中转，提供查询接口给播放端进行校对最临近事件是否还在事件的阈值范围，可以有效防护播放起点在SEI数据帧的后续帧，广播已经在前几秒下发但无法再次收到的情形。
附图说明
为了更清楚地说明本申请实施例或传统技术中的技术方案，下面将对实施例或传统技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种直播互动方法示意图；
图2为本申请实施例提供的一种直播互动装置示意图；
图3是本公开实施例提供的一种电子设备的示意性框图。
具体实施方式
为使本申请的上述目的、特征和优点能够更加明显易懂，下面结合附图对本申请的具体实施方式做详细的说明。在下面的描述中阐述了很多具体细节以便于充分理解本申请。但是本申请能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本申请内涵时做类似改进，因此本申请不受下面公开的具体实施的限制。
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中在本申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请。本文所使用的术语“及/或”包括一个或多个相关的所列项目的任意的和所有的组合。
下文首先介绍本申请涉及到的专业术语。
1、直播流延时：是指直播推流中推流画面和观看画面存在的延时。常规直播流采用rtmp协议，经过流媒体CDN分发到播放端拉流观看，网络正常情况下延时范围是3～5s。
2、直播精准互动：是指直播视频音画跟上层业务功能精准联动。优化处理直播流延时导致的画面和事件无法同步问题。例如播放到画面1时需要展示一个提醒对话框的需求。
3、直播流丢帧：是指推流端生产的画面序列帧在网络分发过程中由于网络因素被动丢失或者播放端的追帧策略主动丢失，网络分发过程的丢帧可能发生在上行网络或下行网络期间。
4、SEI帧：即补充增强信息(Supplemental Enhancement Information)，属于码流范畴，它提供了向视频码流中加入额外信息的方法，是H.264标准的特性之一。
5、PTS：Presentation Time Stamp，即显示时间戳，由推流器生成。这个时间戳用来告诉播放器以什么顺序显示这一帧的数据。
6、信令系统：实时数据通信的系统，可以沿用聊天系统或简单的socket长连接。
图1为本申请实施例提供的一种直播互动方法示意图。
第一方面，本申请实施例提供一种直播互动方法，应用于包括：推流端、业务服务器、信令服务器和播放端的系统中，结合图1，包括S101至S104四个步骤：
S101：推流端触发交互事件，在推流端的推流器中对交互事件建立补充增强信息链路和显示时间戳链路后得到补充增强信息链路和显示时间戳链路的交互事件，推流端将补充增强信息链路和显示时间戳链路的交互事件发送到业务服务器。
具体的，本申请实施例中，交互事件可以是直播时主播和观众的对话，送礼物，或者观众发送的语音或文字等内容；对交互事件建立补充增强信息SEI链路和显示时间戳PTS链路的方法下文介绍，得到补充增强信息链路和显示时间戳PTS链路的交互事件后，推流端将补充增强信息SEI链路和显示时间戳PTS链路的交互事件发送到业务服务器。
S102：业务服务器接收到补充增强信息链路和显示时间戳链路的交互事件后，对补充增强信息链路和显示时间戳链路的交互事件进行序列缓存得到缓存事件列表。
具体的，本申请实施例中，业务服务器接收到补充增强信息SEI链路和显示时间戳PTS链路的交互事件后，对补充增强信息SEI链路和显示时间戳PTS链路的交互事件按照显示时间戳进行序列缓存得到缓存事件列表。
S103：播放端连接信令服务器时请求业务服务器接口对缓存事件列表进行收集并对实时事件进行监听。
具体的，本申请实施例中，业务服务器对补充增强信息SEI链路和显示时间戳PTS链路的交互事件按照显示时间戳进行序列缓存得到缓存事件列表，播放端通过业务服务器的接口获取缓存事件列表进行收集的同时获取实时事件并对实时事件进行监听，实时事件是单一事件并且显示时间戳。
S104：播放端实时监听当前播放帧的显示时间戳值，通过当前播放帧的显示时间戳值对缓存事件列表中的显示时间戳值进行阈值校对匹配，确定是否执行交互事件。
具体的，本申请实施例中，阈值校对匹配方法下文详细介绍，校对匹配后确定是否执行交互事件，使得互动效果更准确。
进一步地，上述一种直播互动方法中在推流端的推流器中S101步骤中对交互事件建立补充增强信息链路和显示时间戳链路后得到补充增强信息链路和显示时间戳链路的交互事件，包括：
将交互事件的数据封装后插入推流器的补充增强信息SEI帧内，建立补充增强信息SEI链路；
获取交互事件的显示时间戳PTS值，建立显示时间戳链路；
建立补充增强信息链路和显示时间戳链路后得到补充增强信息链路和显示时间戳链路的交互事件；
其中，显示时间戳值设定为系统时间戳。
具体的，本申请实施例中，交互事件的显示时间戳PTS值是当前推流帧PTS值，显示时间戳值设定为系统时间戳，避免设成从0开始的相对时间导致在推流重连时重新从0开始不延续。
进一步地，上述一种直播互动方法中，对补充增强信息链路和显示时间戳链路的交互事件进行序列缓存得到缓存事件列表，包括：
进行序列缓存时依据预先设置的最大缓存时长缓存事件列表，移除超过预先设置的最大缓存时长的事件。
具体的，本申请实施例中，业务服务器最大缓存时长T0可根据延时要求进行配置，如10s。
进一步地，上述一种直播互动方法，还包括：
若检测到信令服务器异常，播放端根据当前播放的补充增强信息帧解析交互事件并执行交互事件。
具体的，本申请实施例中，播放端根据当前播放的补充增强信息帧解析交互事件并执行交互事件，避免信令通道断开导致无法交互的情形。
进一步地，上述一种直播互动方法中，通过当前播放帧的显示时间戳值对缓存事件列表中的显示时间戳值进行阈值校对匹配，包括：
当监听到当前播放帧的显示时间戳值处于缓存事件列表中第一事件对应显示时间戳值的时间阈值λ范围内时，触发延时时长Td执行交互事件。
其中，延时时长Td表示第一事件对应显示时间戳值减当前播放帧的显示时间戳值。
具体的，本申请实施例中，设λ为时间阈值，λ可根据实际应用场景配置不同精度；当监听到当前播放帧的显示时间戳PTS值处于第一事件eventID对应PTS值的阈值λ范围内，即在(PTSeventID-λ/2，PTSeventID+λ/2)区间时触发延时Td执行交互事件，延时时长Td为第一事件eventID对应的显示时间戳PTS减去当前播放帧的显示时间戳PTS。通过比对当前播放帧的PTS校验缓存列表，将PTSBP＝PTS-λ/2之前的事件移除，对在[PTSBP，PTS)区间范围内的事件进行实时执行。
进一步地，上述一种直播互动方法还包括：触发延时时长Td执行交互事件后，将触发延时时长Td执行交互事件对应的交互事件标记为已触发。
具体的，本申请实施例中，触发延时时长Td执行交互事件对应的交互事件标记为已触发，避免SEI帧解析后重复执行。
进一步地，上述一种直播互动方法还包括：当接收到新的播放端连接系统时，显示当前时间临近的交互事件序列和显示时间戳。
具体的，本申请实施例中，当新的观众加入直播时，在播放端显示当前时间临近的交互事件序列和显示时间戳。
图2为本申请实施例提供的一种直播互动装置示意图。
第二方面，本申请实施例还提供一种直播互动装置，应用于包括：推流端、业务服务器、信令服务器和播放端的系统中，结合图2，包括：
建立模块201和发送模块202：用于所述推流端触发交互事件，在所述推流端的推流器中对所述交互事件建立补充增强信息链路和显示时间戳链路后得到补充增强信息链路和显示时间戳链路的交互事件，推流端将所述补充增强信息链路和显示时间戳链路的交互事件发送到业务服务器；其中，补充增强信息发送到流媒体服务器随视频流一起分发；显示时间戳信息发送到业务服务器进行分发；二者对应的相同交互事件也随两条链路进行分发。
具体的，本申请实施例中，交互事件可以是直播时的广告插入，答题中的提问作答，带货中的商品介绍等内容；建立模块201对交互事件建立补充增强信息SEI链路和显示时间戳PTS链路，得到补充增强信息链路和显示时间戳PTS链路的交互事件后，推流端的发送模块202将补充增强信息SEI链路和显示时间戳PTS链路的交互事件发送到业务服务器。
序列缓存模块203：用于所述业务服务器接收到所述补充增强信息链路和显示时间戳链路的交互事件后，对所述补充增强信息链路和显示时间戳链路的交互事件进行序列缓存得到缓存事件列表。
具体的，本申请实施例中，业务服务器接收到补充增强信息SEI链路和显示时间戳PTS链路的交互事件后，序列缓存模块203对补充增强信息SEI链路和显示时间戳PTS链路的交互事件按照显示时间戳进行序列缓存得到缓存事件列表。
收集模块204：用于所述播放端连接所述信令服务器时请求业务服务器接口对缓存事件列表进行收集并对实时事件进行监听。
具体的，本申请实施例中，业务服务器对补充增强信息SEI链路和显示时间戳PTS链路的交互事件按照显示时间戳进行序列缓存得到缓存事件列表，播放端的收集模块204通过业务服务器的接口获取缓存事件列表进行收集的同时，通过业务服务器的接口获取实时事件并对实时事件进行监听，实时事件是单一事件并且显示时间戳。
校对模块205和确定模块206：用于播放端实时监控当前播放帧的显示时间戳值，通过所述当前播放帧的显示时间戳值对缓存事件列表中的显示时间戳值进行阈值校对匹配，确定是否执行交互事件。
具体的，本申请实施例中，校对模块205进行阈值校对匹配校对匹配后通过确定模块206确定是否执行交互事件，使得互动效果更准确。
第三方面，本发明实施例还提供了一种电子设备，包括：处理器和存储器；
所述处理器通过调用所述存储器存储的程序或指令，用于执行如上所述任一项所述的一种直播互动方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储程序或指令，所述程序或指令使计算机执行如上所述任一项所述的一种直播互动方法。
图3是本公开实施例提供的一种电子设备的示意性框图。
如图3所示，电子设备包括：至少一个处理器301、至少一个存储器303和至少一个通信接口303。电子设备中的各个组件通过总线系统304耦合在一起。通信接口303，用于与外部设备之间的信息传输。可理解，总线系统304用于实现这些组件之间的连接通信。总线系统304除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但为了清楚说明起见，在图3中将各种总线都标为总线系统304。
可以理解，本实施例中的存储器302可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。
在一些实施方式中，存储器302存储了如下的元素，可执行单元或者数据结构，或者他们的子集，或者他们的扩展集：操作系统和应用程序。
其中，操作系统，包含各种系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务。应用程序，包含各种应用程序，例如媒体播放器(Media Player)、浏览器(Browser)等，用于实现各种应用业务。实现本申请实施例提供的一种直播互动方法中任一方法的程序可以包含在应用程序中。
在本申请实施例中，处理器301通过调用存储器302存储的程序或指令，具体的，可以是应用程序中存储的程序或指令，处理器301用于执行本申请实施例提供的一种直播互动方法各实施例的步骤。
推流端触发交互事件，在推流端的推流器中对所述交互事件建立补充增强信息链路和显示时间戳链路后得到补充增强信息链路和显示时间戳链路的交互事件，推流端将补充增强信息链路和显示时间戳链路的交互事件发送到业务服务器；
业务服务器接收到补充增强信息链路和显示时间戳链路的交互事件后，对补充增强信息链路和显示时间戳链路的交互事件进行序列缓存得到缓存事件列表；
播放端连接信令服务器时请求业务服务器接口对缓存事件列表进行收集；
播放端实时监听当前播放帧的显示时间戳值，通过当前播放帧的显示时间戳值对缓存事件列表中的显示时间戳值进行阈值校对匹配，确定是否执行交互事件。
本申请实施例提供的一种直播互动方法中任一方法可以应用于处理器301中，或者由处理器301实现。处理器301可以是一种集成电路芯片，具有信号能力。在实现过程中，上述方法的各步骤可以通过处理器301中的硬件的集成逻辑电路或者软件形式的指令完成。上述器301可以是通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规器等。
本申请实施例提供的一种直播互动方法中任一方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件单元组合执行完成。软件单元可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器302，处理器301读取存储器302中的信息，结合其硬件完成一种直播互动方法的步骤。
本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本申请的范围之内并且形成不同的实施例。
本领域的技术人员能够理解，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
以上，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种直播互动方法，其特征在于，应用于包括：推流端、业务服务器、信令服务器和播放端的系统中，包括：
所述推流端触发交互事件，在所述推流端的推流器中对所述交互事件建立补充增强信息链路和显示时间戳链路后得到补充增强信息链路和显示时间戳链路的交互事件，推流端将所述补充增强信息链路和显示时间戳链路的交互事件发送到业务服务器；其中，补充增强信息发送到流媒体服务器随视频流一起分发；显示时间戳信息发送到业务服务器进行分发；二者对应的相同交互事件也随两条链路进行分发；
所述业务服务器接收到所述补充增强信息链路和显示时间戳链路的交互事件后，对所述补充增强信息链路和显示时间戳链路的交互事件进行序列缓存得到缓存事件列表；
所述播放端连接所述信令服务器时请求业务服务器接口对所述缓存事件列表进行收集并对实时事件进行监听；
所述播放端实时监听当前播放帧的显示时间戳值，通过所述当前播放帧的显示时间戳值对缓存事件列表中的显示时间戳值进行阈值校对匹配，确定是否执行交互事件。
2.根据权利要求1所述的一种直播互动方法，其特征在于，所述在所述推流端的推流器中对所述交互事件建立补充增强信息链路和显示时间戳链路后得到补充增强信息链路和显示时间戳链路的交互事件，包括：
将所述交互事件的数据封装后插入推流器的补充增强信息帧内，建立补充增强信息链路；
获取所述交互事件的显示时间戳值，建立显示时间戳链路；
建立补充增强信息链路和显示时间戳链路后得到补充增强信息链路和显示时间戳链路的交互事件；
其中，所述显示时间戳值设定为系统时间戳。
3.根据权利要求1所述的一种直播互动方法，其特征在于，所述对所述补充增强信息链路和显示时间戳链路的交互事件进行序列缓存得到缓存事件列表，包括：
进行序列缓存时依据预先设置的最大缓存时长缓存事件列表，移除超过所述预先设置的最大缓存时长的事件。
4.根据权利要求1所述的一种直播互动方法，其特征在于，所述方法还包括：
若检测到信令服务器异常，播放端根据当前播放的补充增强信息帧解析交互事件并执行交互事件。
5.根据权利要求1所述的一种直播互动方法，其特征在于，所述通过所述当前播放帧的显示时间戳值对缓存事件列表中的显示时间戳值进行阈值校对匹配，包括：
当监听到当前播放帧的显示时间戳值处于缓存事件列表中第一事件对应显示时间戳值的时间阈值λ范围内时，触发延时时长Td执行交互事件。
其中，延时时长Td表示第一事件对应显示时间戳值减当前播放帧的显示时间戳值。
6.根据权利要求5所述的一种直播互动方法，其特征在于，所述方法还包括：所述触发延时时长Td执行交互事件后，将所述触发延时时长Td执行交互事件对应的交互事件标记为已触发。
7.根据权利要求1所述的一种直播互动方法，其特征在于，所述方法还包括：
当接收到新的播放端连接所述系统时，显示当前时间临近的交互事件序列和显示时间戳。
8.一种直播互动装置，其特征在于，应用于包括：推流端、业务服务器、信令服务器和播放端的系统中，包括：
建立模块和发送模块：用于所述推流端触发交互事件，在所述推流端的推流器中对所述交互事件建立补充增强信息链路和显示时间戳链路后得到补充增强信息链路和显示时间戳链路的交互事件，推流端将所述补充增强信息链路和显示时间戳链路的交互事件发送到业务服务器；其中，补充增强信息发送到流媒体服务器随视频流一起分发；显示时间戳信息发送到业务服务器进行分发；二者对应的相同交互事件也随两条链路进行分发；
序列缓存模块：用于所述业务服务器接收到所述补充增强信息链路和显示时间戳链路的交互事件后，对所述补充增强信息链路和显示时间戳链路的交互事件进行序列缓存得到缓存事件列表；
收集模块：用于所述播放端连接所述信令服务器时请求业务服务器接口对所述缓存事件列表进行收集；
校对模块和确定模块：用于播放端实时监控当前播放帧的显示时间戳值，通过所述当前播放帧的显示时间戳值对缓存事件列表中的显示时间戳值进行阈值校对匹配，确定是否执行交互事件。
9.一种电子设备，其特征在于，包括：处理器和存储器；
所述处理器通过调用所述存储器存储的程序或指令，用于执行如权利要求1至7任一项所述一种直播互动方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储程序或指令，所述程序或指令使计算机执行如权利要求1至7任一项所述一种直播互动方法。
CN202211722292.0A 2022-12-30 2022-12-30 一种直播互动方法、装置、电子设备和存储介质 Pending CN116112700A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211722292.0A CN116112700A (zh) 2022-12-30 2022-12-30 一种直播互动方法、装置、电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211722292.0A CN116112700A (zh) 2022-12-30 2022-12-30 一种直播互动方法、装置、电子设备和存储介质

Publications (1)

Publication Number Publication Date
CN116112700A true CN116112700A (zh) 2023-05-12

Family

ID=86259153

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211722292.0A Pending CN116112700A (zh) 2022-12-30 2022-12-30 一种直播互动方法、装置、电子设备和存储介质

Country Status (1)

Country Link
CN (1) CN116112700A (zh)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018082634A1 (zh) * 2016-11-04 2018-05-11 优酷网络技术（北京）有限公司 直播视频互动数据处理方法及装置
CN108174164A (zh) * 2018-01-16 2018-06-15 北京三体云联科技有限公司 一种实时视频处理方法及装置
CN109714622A (zh) * 2018-11-15 2019-05-03 北京奇艺世纪科技有限公司 一种视频数据处理方法、装置及电子设备
CN110233716A (zh) * 2019-05-31 2019-09-13 北京文香信息技术有限公司 一种通信交互方法、装置、存储介质、终端设备及服务器
CN111131847A (zh) * 2019-12-23 2020-05-08 杭州当虹科技股份有限公司 一种直播互动方法
CN112437289A (zh) * 2020-09-28 2021-03-02 上海艾策通讯科技股份有限公司 一种切换时延获取方法
CN112468822A (zh) * 2020-11-06 2021-03-09 上海钦文信息科技有限公司 一种基于视频sei消息的多媒体录播课互动方法
CN112929687A (zh) * 2021-02-05 2021-06-08 腾竞体育文化发展(上海)有限公司 基于直播视频的互动方法、装置、设备及存储介质
CN114461423A (zh) * 2022-02-08 2022-05-10 腾讯科技（深圳）有限公司 一种多媒体流处理方法、设备、存储介质及程序产品
CN114786022A (zh) * 2022-02-23 2022-07-22 南京小灿灿网络科技有限公司 一种新媒体直播和用户线上互动方法
CN114900727A (zh) * 2022-05-11 2022-08-12 上海哔哩哔哩科技有限公司 视频流处理方法及装置

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018082634A1 (zh) * 2016-11-04 2018-05-11 优酷网络技术（北京）有限公司 直播视频互动数据处理方法及装置
CN108174164A (zh) * 2018-01-16 2018-06-15 北京三体云联科技有限公司 一种实时视频处理方法及装置
CN109714622A (zh) * 2018-11-15 2019-05-03 北京奇艺世纪科技有限公司 一种视频数据处理方法、装置及电子设备
CN110233716A (zh) * 2019-05-31 2019-09-13 北京文香信息技术有限公司 一种通信交互方法、装置、存储介质、终端设备及服务器
CN111131847A (zh) * 2019-12-23 2020-05-08 杭州当虹科技股份有限公司 一种直播互动方法
CN112437289A (zh) * 2020-09-28 2021-03-02 上海艾策通讯科技股份有限公司 一种切换时延获取方法
CN112468822A (zh) * 2020-11-06 2021-03-09 上海钦文信息科技有限公司 一种基于视频sei消息的多媒体录播课互动方法
CN112929687A (zh) * 2021-02-05 2021-06-08 腾竞体育文化发展(上海)有限公司 基于直播视频的互动方法、装置、设备及存储介质
CN114461423A (zh) * 2022-02-08 2022-05-10 腾讯科技（深圳）有限公司 一种多媒体流处理方法、设备、存储介质及程序产品
CN114786022A (zh) * 2022-02-23 2022-07-22 南京小灿灿网络科技有限公司 一种新媒体直播和用户线上互动方法
CN114900727A (zh) * 2022-05-11 2022-08-12 上海哔哩哔哩科技有限公司 视频流处理方法及装置

Similar Documents

Publication Publication Date Title
CN112188225B (zh) 用于直播回放的弹幕下发方法和直播视频弹幕回放方法
US9055502B2 (en) Content-based handover method and system
CN109714622B (zh) 一种视频数据处理方法、装置及电子设备
CN109089127B (zh) 一种视频拼接方法、装置、设备及介质
CN111010614A (zh) 一种显示直播字幕的方法、装置、服务器及介质
US20160295269A1 (en) Information pushing method, device and system
CN107509100A (zh) 音视频同步方法、系统、计算机装置及计算机可读存储介质
CN107690073A (zh) 一种视频直播方法及视频直播服务器
CN106998485B (zh) 视频直播方法及装置
JP6662905B2 (ja) オーディオビジュアル品質推定装置、オーディオビジュアル品質推定方法、及びプログラム
CN104918137A (zh) 一种拼接屏系统播放视频的方法
US9813742B2 (en) Method, device and system for evaluating user experience value of video quality
CN109040830B (zh) 直播播放卡顿的预测方法、切换方法及装置
CN109428864B (zh) 提高nginx-rtmp拉流服务质量的方法及装置
CN107370768B (zh) 一种智能电视流媒体预览系统与方法
CN111726657A (zh) 直播视频的播放处理方法、装置及服务器
CN111726641A (zh) 直播视频的播放处理方法、装置及服务器
CN110139128B (zh) 一种信息处理方法、拦截器、电子设备及存储介质
CN112954433A (zh) 视频处理方法、装置、电子设备及存储介质
CN115623264A (zh) 直播流的字幕处理方法、装置及直播流的播放方法、装置
US10382810B2 (en) Method and device for implementing synchronous playing
CN110351576B (zh) 一种在工业场景下进行实时视频流快速显示的方法及其系统
CN116112700A (zh) 一种直播互动方法、装置、电子设备和存储介质
KR19990019657A (ko) 브이오디용 셋탑 유닛에서의 비디오 재생 방법
CN111416994B (zh) 视频流和跟踪信息的同步呈现的方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination