CN114786022A - 一种新媒体直播和用户线上互动方法 - Google Patents

一种新媒体直播和用户线上互动方法 Download PDF

Info

Publication number
CN114786022A
CN114786022A CN202210164206.2A CN202210164206A CN114786022A CN 114786022 A CN114786022 A CN 114786022A CN 202210164206 A CN202210164206 A CN 202210164206A CN 114786022 A CN114786022 A CN 114786022A
Authority
CN
China
Prior art keywords
live broadcast
time
server
live
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210164206.2A
Other languages
English (en)
Inventor
梁晓彤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Xiaocancan Network Technology Co ltd
Original Assignee
Nanjing Xiaocancan Network Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Xiaocancan Network Technology Co ltd filed Critical Nanjing Xiaocancan Network Technology Co ltd
Priority to CN202210164206.2A priority Critical patent/CN114786022A/zh
Publication of CN114786022A publication Critical patent/CN114786022A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2387—Stream processing in response to a playback request from an end-user, e.g. for trick-play
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Databases & Information Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明属于新媒体领域，具体公开了一种新媒体直播和用户线上互动方法，包括如下具体步骤：S1、接收节目信号，获得直播流；S2、在直播流编码设备编解码过程中，在直播流中嵌入服务器时间戳的SEI信息；S3、具体直播信息通过服务端与客户端长链接通路下发，每条直播信息中也同样包含当前服务器时间；S4、管理人员通过监看编码环节画面下发推送指令；S5、互动系统服务端下发包含时间戳的直播信息，用户进入直播页时建立连接，用户退出直播时断开连接；S6、客户端首先收到服务端直播信息与下发时间，在直播观看过程中，播放器解析直播流中每个关键帧的时间，一旦匹配到与服务端互动指令相同时间，则在客户端中渲染UI信息界面呈现给用户。

Description

一种新媒体直播和用户线上互动方法
技术领域
本发明涉及新媒体领域，具体为一种新媒体直播和用户线上互动方法。
背景技术
新媒体是利用数字技术，通过计算机网络、无线通信网、卫星等渠道，以及电脑、手机、数字电视机等终端，向用户提供信息和服务的传播形态。从空间上来看，“新媒体”特指当下与“传统媒体”相对应的，以数字压缩和无线网络技术为支撑，利用其大容量、实时性和交互性，可以跨越地理界线最终得以实现全球化的媒体。
在新媒体多元化发展的今天，直播的门槛日趋降低，网红直播也好，直播带货也罢，诸多直播场景应运而生。不论是哪一种直播形式，无一不突出了新媒体直播的实时性和互动性，但是对于大型媒体机构而言，大量的新闻、赛事、文艺节目、影视剧等内容通过新媒体渠道进行直播，更多的是体现传播属性，没有发挥出新媒体直播实时和互动的特点。
在现有的直播流程中，如果想让用户实时参与互动，可以通过服务端发送的互动内容到客户端，客户端在播放器浮层上进行渲染显示，但是大多数支撑系统中，服务端消息分发通道和直播流通道是分开的，直播流经过编解码、CDN分发，最终到达每个用户，由于用户之间地域和网络环境的不同，观看到的直播画面也存在时间差异，而服务端对于客户端的消息下达则相对一致，所以客户端收到服务端推送的信息和直播流最终到达的时间会出现不一致的情况。
发明内容
本发明的目的在于提供一种新媒体直播和用户线上互动方法，以解决上述背景技术中提出的问题。
为实现上述目的，本发明提供如下技术方案：一种新媒体直播和用户线上互动方法，包括如下具体步骤：
S1、接收节目信号，获取与节目信号对应的播出模板，根据播出模板确定输出参数，根据输出参数选择空闲的编码设备对所述节目信号进行编码，获得直播流；
S2、在直播流编码设备编解码过程中，在直播流中嵌入服务器时间戳的SEI信息，将当前服务器时间戳以字符串形式放入H.264Access Unit中传输，每隔1秒为直播流插入一个关键帧，赋予直播流连续时间码，经过直播链路传输分发至客户端；
S3、具体直播信息通过服务端与客户端长链接通路下发，每条直播信息中也同样包含当前服务器时间；
S4、管理人员通过监看编码环节画面下发推送指令，推送至互动系统，编码器嵌入时间与服务器下发消息时间保持一致；
S5、互动系统服务端下发包含时间戳的直播信息，使用WebSocket与用户进行通讯，用户进入直播页观看直播时建立连接，用户退出直播时断开连接；
S6、客户端首先收到服务端直播信息与下发时间，在直播观看过程中，播放器解析直播流中每个关键帧的时间，一旦匹配到与服务端互动指令相同时间，则在客户端中渲染UI信息界面呈现给用户。
优选的，步骤S2中，在编码器编码环节，将当前服务器时间嵌入直播流中，同时完成面向客户端目标码率的一出三路信号编码，保证每个码率中都嵌有时间戳参数的SEI信息。
优选的，管理人员在互动系统中提前绑定相应的直播内容，并维护活动信息，在直播过程中，根据直播进展适时进行推送，用户在客户端中即可实时获取扩展的活动信息。
优选的，所述客户端和服务端之间通过心跳机制保证连接的有效性。
优选的，在所述互动系统服务端增加断线重连机制，设置为每n+1秒之后进行重连，n表示长连接断开的次数。
优选的，步骤S6中，客户端播放器在播放器解码直播流数据时，将码流中的SEI信息解析完成后，把SEI信息从播放器底层ffmpeg层回调到ijkpayer层，再从ijkplayer层回调到上层客户端，在客户端内调用播放器的SEI信息回调方法，监听直播流中实时解析的SEI信息，客户端获取回调后SEI信息中的时间值与接收服务端的互动指令时间值进行对比，从而判断执行相应UI层的效果呈现。
与现有技术相比，本发明的有益效果是：
本发明将SEI信息应用在新媒体直播实时互动中，在直播流中嵌入服务器时间戳的SEI信息，实现了数据同步功能，能够与用户进行实时沟通、深度交互，可根据需要录入互动主题，灵活性强，为用户带来更加丰富的新媒体直播体验。
具体实施方式
下面将结合本发明实施例，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明提供一种技术方案：一种新媒体直播和用户线上互动方法，包括如下具体步骤：
S1、接收节目信号，获取与节目信号对应的播出模板，根据播出模板确定输出参数，根据输出参数选择空闲的编码设备对所述节目信号进行编码，获得直播流；
S2、在直播流编码设备编解码过程中，在直播流中嵌入服务器时间戳的SEI信息，将当前服务器时间戳以字符串形式放入H.264Access Unit中传输，每隔1秒为直播流插入一个关键帧，赋予直播流连续时间码，经过直播链路传输分发至客户端；
在编码器编码环节，将当前服务器时间嵌入直播流中，同时完成面向客户端目标码率的一出三路信号编码，保证每个码率中都嵌有时间戳参数的SEI信息；
S3、具体直播信息通过服务端与客户端长链接通路下发，每条直播信息中也同样包含当前服务器时间；
S4、管理人员通过监看编码环节画面下发推送指令，推送至互动系统，编码器嵌入时间与服务器下发消息时间保持一致；
S5、管理人员在互动系统中提前绑定相应的直播内容，并维护活动信息，在直播过程中，根据直播进展适时进行推送，用户在客户端中即可实时获取扩展的活动信息；互动系统服务端下发包含时间戳的直播信息，使用WebSocket与用户进行通讯，用户进入直播页观看直播时建立连接，用户退出直播时断开连接；客户端和服务端之间通过心跳机制保证连接的有效性；
为了解决连接过程中因为网络等某些因素导致的长连接断开，在所述互动系统服务端增加断线重连机制，设置为每n+1秒之后进行重连，n表示长连接断开的次数；
S6、客户端首先收到服务端直播信息与下发时间，在直播观看过程中，播放器解析直播流中每个关键帧的时间，一旦匹配到与服务端互动指令相同时间，则在客户端中渲染UI信息界面呈现给用户；
客户端播放器在播放器解码直播流数据时，将码流中的SEI信息解析完成后，把SEI信息从播放器底层ffmpeg层回调到ijkpayer层，再从ijkplayer层回调到上层客户端，在客户端内调用播放器的SEI信息回调方法，监听直播流中实时解析的SEI信息，客户端获取回调后SEI信息中的时间值与接收服务端的互动指令时间值进行对比，从而判断执行相应UI层的效果呈现；
在实际操作中，播放器的适配克服了一些技术难点，比如由编码器输出的直播流，SEI信息类型语法结构较为复杂，造成解析算法也较为繁琐，需要放在播放器ffmpeg应用层，即视频解码前解析；底层ffmpeg解析SEI信息的时机是在解复用阶段，会在同一时刻回调几条SEI信息，SEI信息与当前播放画面会不一致，导致不能完全利用ffmpeg底层的SEI信息解析框架；针对上述情况，对ffmpeg进行了拓展，封装了自定义API接口，传入AVPacket结构体数据，最终解析出所需要的当前视频帧对应时间的hours、minutes、seconds字段。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (6)

1.一种新媒体直播和用户线上互动方法，其特征在于，包括如下具体步骤：
S1、接收节目信号，获取与节目信号对应的播出模板，根据播出模板确定输出参数，根据输出参数选择空闲的编码设备对所述节目信号进行编码，获得直播流；
S2、在直播流编码设备编解码过程中，在直播流中嵌入服务器时间戳的SEI信息，将当前服务器时间戳以字符串形式放入H.264Access Unit中传输，每隔1秒为直播流插入一个关键帧，赋予直播流连续时间码，经过直播链路传输分发至客户端；
S3、具体直播信息通过服务端与客户端长链接通路下发，每条直播信息中也同样包含当前服务器时间；
S4、管理人员通过监看编码环节画面下发推送指令，推送至互动系统，编码器嵌入时间与服务器下发消息时间保持一致；
S5、互动系统服务端下发包含时间戳的直播信息，使用WebSocket与用户进行通讯，用户进入直播页观看直播时建立连接，用户退出直播时断开连接；
S6、客户端首先收到服务端直播信息与下发时间，在直播观看过程中，播放器解析直播流中每个关键帧的时间，一旦匹配到与服务端互动指令相同时间，则在客户端中渲染UI信息界面呈现给用户。
2.根据权利要求1所述的一种新媒体直播和用户线上互动方法，其特征在于：步骤S2中，在编码器编码环节，将当前服务器时间嵌入直播流中，同时完成面向客户端目标码率的一出三路信号编码，保证每个码率中都嵌有时间戳参数的SEI信息。
3.根据权利要求1所述的一种新媒体直播和用户线上互动方法，其特征在于：管理人员在互动系统中提前绑定相应的直播内容，并维护活动信息，在直播过程中，根据直播进展适时进行推送，用户在客户端中即可实时获取扩展的活动信息。
4.根据权利要求1所述的一种新媒体直播和用户线上互动方法，其特征在于：所述客户端和服务端之间通过心跳机制保证连接的有效性。
5.根据权利要求1所述的一种新媒体直播和用户线上互动方法，其特征在于：在所述互动系统服务端增加断线重连机制，设置为每n+1秒之后进行重连，n表示长连接断开的次数。
6.根据权利要求1所述的一种新媒体直播和用户线上互动方法，其特征在于：步骤S6中，客户端播放器在播放器解码直播流数据时，将码流中的SEI信息解析完成后，把SEI信息从播放器底层ffmpeg层回调到ijkpayer层，再从ijkplayer层回调到上层客户端，在客户端内调用播放器的SEI信息回调方法，监听直播流中实时解析的SEI信息，客户端获取回调后SEI信息中的时间值与接收服务端的互动指令时间值进行对比，从而判断执行相应UI层的效果呈现。
CN202210164206.2A 2022-02-23 2022-02-23 一种新媒体直播和用户线上互动方法 Pending CN114786022A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210164206.2A CN114786022A (zh) 2022-02-23 2022-02-23 一种新媒体直播和用户线上互动方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210164206.2A CN114786022A (zh) 2022-02-23 2022-02-23 一种新媒体直播和用户线上互动方法

Publications (1)

Publication Number Publication Date
CN114786022A true CN114786022A (zh) 2022-07-22

Family

ID=82423762

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210164206.2A Pending CN114786022A (zh) 2022-02-23 2022-02-23 一种新媒体直播和用户线上互动方法

Country Status (1)

Country Link
CN (1) CN114786022A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116112700A (zh) * 2022-12-30 2023-05-12 天翼云科技有限公司 一种直播互动方法、装置、电子设备和存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107071509A (zh) * 2017-05-18 2017-08-18 北京大生在线科技有限公司 多路直播的视频精确同步方法
CN107995155A (zh) * 2017-10-11 2018-05-04 上海聚力传媒技术有限公司 视频数据编码、解码、展示方法、视频系统及存储介质
CN108965900A (zh) * 2018-06-22 2018-12-07 中央电视台 新媒体直播方法及装置、存储介质
CN110233716A (zh) * 2019-05-31 2019-09-13 北京文香信息技术有限公司 一种通信交互方法、装置、存储介质、终端设备及服务器
CN111131847A (zh) * 2019-12-23 2020-05-08 杭州当虹科技股份有限公司 一种直播互动方法
CN112468822A (zh) * 2020-11-06 2021-03-09 上海钦文信息科技有限公司 一种基于视频sei消息的多媒体录播课互动方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107071509A (zh) * 2017-05-18 2017-08-18 北京大生在线科技有限公司 多路直播的视频精确同步方法
CN107995155A (zh) * 2017-10-11 2018-05-04 上海聚力传媒技术有限公司 视频数据编码、解码、展示方法、视频系统及存储介质
CN108965900A (zh) * 2018-06-22 2018-12-07 中央电视台 新媒体直播方法及装置、存储介质
CN110233716A (zh) * 2019-05-31 2019-09-13 北京文香信息技术有限公司 一种通信交互方法、装置、存储介质、终端设备及服务器
CN111131847A (zh) * 2019-12-23 2020-05-08 杭州当虹科技股份有限公司 一种直播互动方法
CN112468822A (zh) * 2020-11-06 2021-03-09 上海钦文信息科技有限公司 一种基于视频sei消息的多媒体录播课互动方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
李英斌: "浅谈SEI信息在新媒体直播实时互动中的应用" *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116112700A (zh) * 2022-12-30 2023-05-12 天翼云科技有限公司 一种直播互动方法、装置、电子设备和存储介质
CN116112700B (zh) * 2022-12-30 2024-05-24 天翼云科技有限公司 一种直播互动方法、装置、电子设备和存储介质

Similar Documents

Publication Publication Date Title
US10735797B2 (en) Providing interactive video on demand
CN101917391B (zh) 一种网络视频的播放方法及一种网络视频播放系统
US20010013123A1 (en) Customized program creation by splicing server based video, audio, or graphical segments
KR100837720B1 (ko) 디지털 멀티미디어 방송에서 비디오 서비스와 동기화된 데이터 서비스를 제공하는 방법 및 그 장치와 데이터 서비스의 실행 방법
CN101198047B (zh) 一种电视播放方法及系统
CN103024454B (zh) 在广播电视节目中向受众传送互动入口信息的方法及其系统
CN109714622B (zh) 一种视频数据处理方法、装置及电子设备
CN109361945A (zh) 一种快速传输及同步的会议视听系统及其控制方法
CN102752669A (zh) 多通道实时流媒体文件的传送处理方法与系统、接收装置
CN102421033A (zh) 一种在移动终端上实现电视节目共享的方法
CN102860022B (zh) 一种节目切换的方法、装置和媒体服务器
CN103414921A (zh) 一种分布式的iptv多终端视频切换业务的建立方法
CN108494792A (zh) 一种flash播放器播放hls视频流的转换系统及其工作方法
CN104683823A (zh) 一种多屏联动音视频同步系统
CN105142003B (zh) 电视节目播放方法及装置
CN114786022A (zh) 一种新媒体直播和用户线上互动方法
CN114461423A (zh) 一种多媒体流处理方法、设备、存储介质及程序产品
CN106488255A (zh) 一种切换媒体流的方法及装置
JP5997500B2 (ja) 放送通信連携受信装置
CN102088624A (zh) 一种电视信号处理方法、移动终端及系统
WO2023231478A1 (zh) 音视频共享方法、设备及计算机可读存储介质
Marfil et al. IDMS solution for hybrid broadcast broadband delivery within the context of HbbTV standard
CN102710967A (zh) 一种云电视系统与方法
KR101541540B1 (ko) 컨텐츠 다운로드 서비스 제공 방법 및 장치
CN113923510B (zh) 转发数字电视内容的方法、装置、设备及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20220722