CN110958464A - 直播数据处理方法、装置、服务器、终端及存储介质 - Google Patents

直播数据处理方法、装置、服务器、终端及存储介质 Download PDF

Info

Publication number
CN110958464A
CN110958464A CN201911269562.5A CN201911269562A CN110958464A CN 110958464 A CN110958464 A CN 110958464A CN 201911269562 A CN201911269562 A CN 201911269562A CN 110958464 A CN110958464 A CN 110958464A
Authority
CN
China
Prior art keywords
terminal
live
data stream
stream
live broadcast
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911269562.5A
Other languages
English (en)
Inventor
耿振健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Reach Best Technology Co Ltd
Beijing Dajia Internet Information Technology Co Ltd
Original Assignee
Reach Best Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Reach Best Technology Co Ltd filed Critical Reach Best Technology Co Ltd
Priority to CN201911269562.5A priority Critical patent/CN110958464A/zh
Publication of CN110958464A publication Critical patent/CN110958464A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21Server components or server architectures
    • H04N21/218Source of audio or video content, e.g. local disk arrays
    • H04N21/2187Live feed
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/233Processing of audio elementary streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23424Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for inserting or substituting an advertisement
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/239Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests
    • H04N21/2393Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests involving handling client requests
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/437Interfacing the upstream path of the transmission network, e.g. for transmitting client requests to a VOD server
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439Processing of audio elementary streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44016Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85Assembly of content; Generation of multimedia applications
    • H04N21/854Content authoring
    • H04N21/8547Content authoring involving timestamps for synchronizing content

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Databases & Information Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本公开关于一种直播数据处理方法、装置、服务器、终端及存储介质。本公开通过在第一用户对第二用户的直播进行转播时,由终端侧仅进行转播对象的确定和转播过程的触发,而无需进行混流等硬件上的编码处理,则可以大大降低对主播终端的压力,保证了直播的流畅性,也保证了用户的视听体验。

Description

直播数据处理方法、装置、服务器、终端及存储介质
技术领域
本公开涉及互联网计算机技术领域,尤其涉及一种直播数据处理方法、装置、服务器、终端及存储介质。
背景技术
随着网络技术的发展,已经发展出越来越多的互动方式,例如,主播用户可以通过在直播平台的直播间里发起直播,而观众用户可以通过进入直播间观看直播,来与主播用户实现在线的互动。然而,这种互动方式能够吸引的流量有限,为此,大多直播平台开始提供联合直播的方式,例如,连麦或者PK的方式,主播和主播之间可以同时进行联合直播,在各自的直播间中均能够显示该直播过程,为观众用户带来更丰富的直播内容。
为了实现上述联合直播,需要参与联合直播的一个主播终端将所采集的直播视频流发送至另一主播终端,由该主播终端对接收到的直播视频流和设备自己采集的直播数据进行硬件编码,从而实现直播视频流的混流,再将混流后的直播视频流通过直播平台发送给各个观众设备,这种处理方式,对主播终端造成很大的处理压力,无法保证直播的流畅性,降低了用户的视听体验。
发明内容
本公开提供一种直播数据处理方法、装置、服务器、终端及存储介质,以至少解决相关技术中可互动性差、视听体验差的问题。本公开的技术方案如下:
根据本公开实施例的第一方面,提供一种直播数据处理方法,应用于第一终端,所述第一终端登录有第一用户,包括:
接收所述第一用户的转播指令,所述转播指令用于指示对第二终端的直播进行转播;
获取第二终端的直播标识信息,所述直播标识信息用于唯一标识所述第二终端的直播视频流;
向服务器发送携带所述直播标识信息的转播请求,所述转播请求用于指示所述服务器基于所述直播标识信息将所述第二终端的直播数据流和所述第一终端的直播数据流进行转播。
在一种可能实现方式中,所述获取第二终端的直播标识信息包括下述任一项:
将所述第二终端的直播数据流的数据流地址,获取为所述第二终端的直播标识信息;
将所述第二用户的用户标识获取为所述第二终端的直播标识信息。
在一种可能实现方式中,所述第二终端的直播数据流包括直播音频流和直播视频流,所述方法还包括:
接收所述第一用户对所述第二终端的直播的第一音量调整指令,所述第一音量调整指令携带目标音量,向所述服务器发送音量调整请求,所述音量调整请求用于指示基于所述目标音量对所述第二终端的直播音频流进行调整;或,
当检测到所述第一终端采集到的音量大于音量阈值时,向所述服务器发送音量调整请求,所述音量调整请求用于指示基于所述目标音量对所述第二终端的直播音频流进行调整。
在一种可能实现方式中,所述获取第二终端的直播标识信息之后,所述方法还包括:
根据所述第二终端的直播标识信息,获取所述第二终端的直播数据流;
在所述第一终端的播放器上,将所述第二终端的直播数据流和所述第一终端采集到的所述第一终端的直播数据流渲染至所述第一终端的直播间画面中进行显示。
根据本公开实施例的第二方面,提供一种直播数据处理方法,应用于服务器,包括:
接收第一终端的携带第二终端的直播标识信息的转播请求,基于所述第二终端的直播标识信息,获取所述第二终端的直播数据流;
接收所述第一终端的直播数据流;
对所述第一终端的直播数据流和所述第二终端的直播数据流中的视频画面进行拼接,得到目标直播数据流;
将所述目标直播数据流发送至所述第一终端的观众终端。
在一种可能实现方式中,所述第二终端的直播标识信息包括下述任一项:
所述第二终端的直播数据流的数据流地址;
所述第二用户的用户标识。
在一种可能实现方式中,所述第二终端的直播数据流包括直播音频流和直播视频流,所述方法还包括:
接收音量调整请求,所述音量调整请求携带目标音量,基于所述目标音量对所述第二终端的直播音频流进行调整,将拼接后的直播视频流和调整后的直播音频流发送至所述第一终端的观众终端;或,
接收音效调整请求,所述音效调整请求携带目标音效标识,基于所述目标音效标识对所述第二终端的直播音频流进行调整,将拼接后的直播视频流和调整后的直播音频流发送至所述第一终端的观众终端。
在一种可能实现方式中,所述对所述第一终端的直播数据流和所述第二终端的直播数据流中的视频画面进行拼接包括:
对所述第一终端的直播数据流进行解析,得到多个第一视频画面以及对应的第一播放时间戳;
对所述第二终端的直播数据流进行解析,得到多个第二视频画面以及对应的第二播放时间戳;
按照多个第一播放时间戳和多个第二播放时间戳,将对应于相同播放时间戳的第一视频画面和第二视频画面进行拼接。
根据本公开实施例的第三方面,提供一种直播数据处理方法,应用于第三终端,包括:
在进入第一用户的直播间后,接收所述第一用户所登录的第一终端的直播数据流和所述直播间所转播的第二终端的直播数据流;
对所述第一终端的直播数据流和所述第二终端的直播数据流中的视频画面进行拼接;
显示经过拼接得到的直播画面。
在一种可能实现方式中,所述第二终端的直播数据流包括直播音频流和直播视频流,所述方法还包括:
从服务器接收第二音量调整指令,所述第二音量调整指令携带目标音量;
基于所述目标音量对所述第二终端的直播音频流进行调整,按照调整后的音量播放所述第二终端的直播音频流。
在一种可能实现方式中,所述对所述第一终端的直播数据流和所述第二终端的直播数据流中的视频画面进行拼接包括:
对所述第一终端的直播数据流进行解析,得到多个第一视频画面以及对应的第一播放时间戳;
对所述第二终端的直播数据流进行解析,得到多个第二视频画面以及对应的第二播放时间戳;
按照多个第一播放时间戳和多个第二播放时间戳,将对应于相同播放时间戳的第一视频画面和第二视频画面进行拼接。
根据本公开实施例的第四方面,提供一种直播数据处理装置,包括:
接收单元,被配置为执行接收所述第一用户的转播指令,所述转播指令用于指示对第二终端的直播进行转播;
获取单元,被配置为执行获取第二终端的直播标识信息,所述直播标识信息用于唯一标识所述第二终端的直播视频流;
发送单元,被配置为执行向服务器发送携带所述直播标识信息的转播请求,所述转播请求用于指示所述服务器基于所述直播标识信息将所述第二终端的直播数据流和所述第一终端的直播数据流进行转播。
在一种可能实现方式中,所述获取第二终端的直播标识信息包括下述任一项:
将所述第二终端的直播数据流的数据流地址,获取为所述第二终端的直播标识信息;
将所述第二用户的用户标识获取为所述第二终端的直播标识信息。
在一种可能实现方式中,所述第二终端的直播数据流包括直播音频流和直播视频流,
所述接收单元,还被配置为执行接收所述第一用户对所述第二终端的直播的第一音量调整指令,所述第一音量调整指令携带目标音量,所述发送单元,还被配置为执行向所述服务器发送音量调整请求,所述音量调整请求用于指示基于所述目标音量对所述第二终端的直播音频流进行调整;或,
所述发送单元,还被配置为执行当检测到所述第一终端采集到的音量大于音量阈值时,向所述服务器发送音量调整请求,所述音量调整请求用于指示基于所述目标音量对所述第二终端的直播音频流进行调整;或,
所述接收单元,还被配置为执行接收所述第一用户对所述第二终端的直播的音效调整指令,所述音效调整指令携带目标音效标识,所述发送单元,还被配置为执行向所述服务器发送音效调整请求,所述音效调整请求用于指示基于所述目标音效标识对所述第二终端的直播音频流进行调整。
在一种可能实现方式中,所述装置还包括:
视频流获取单元,被配置为执行根据所述第二终端的直播标识信息,获取所述第二终端的直播数据流;
显示单元,被配置为执行在所述第一终端的播放器上,将所述第二终端的直播数据流和所述第一终端采集到的所述第一终端的直播数据流渲染至所述第一终端的直播间画面中进行显示。
根据本公开实施例的第五方面,提供一种直播数据处理装置,应用于服务器,包括:
接收单元,被配置为执行接收第一终端的携带第二终端的直播标识信息的转播请求,基于所述第二终端的直播标识信息,获取所述第二终端的直播数据流;
所述接收单元,还被配置为执行接收所述第一终端的直播数据流;
拼接单元,被配置为执行对所述第一终端的直播数据流和所述第二终端的直播数据流中的视频画面进行拼接,得到目标直播数据流;
发送单元,被配置为执行将所述目标直播数据流发送至所述第一终端的观众终端。
在一种可能实现方式中,所述第二终端的直播标识信息包括下述任一项:
所述第二终端的直播数据流的数据流地址;
所述第二用户的用户标识。
在一种可能实现方式中,所述第二终端的直播数据流包括直播音频流和直播视频流,
所述接收单元,还被配置为执行接收音量调整请求,所述音量调整请求携带目标音量,所述装置还包括第一调整单元,所述第一调整单元被配置为执行基于所述目标音量对所述第二终端的直播音频流进行调整;所述发送单元,还被配置为执行将拼接后的直播视频流和调整后的直播音频流发送至所述第一终端的观众终端;或,
所述接收单元,还被配置为执行接收音效调整请求,所述音效调整请求携带目标音效标识,所述装置还包括第二调整单元,所述第二调整单元被配置为执行基于所述目标音效标识对所述第二终端的直播音频流进行调整,所述发送单元,还被配置为执行将拼接后的直播视频流和调整后的直播音频流发送至所述第一终端的观众终端。
在一种可能实现方式中,所述拼接单元被配置为执行下述步骤:
对所述第一终端的直播数据流进行解析,得到多个第一视频画面以及对应的第一播放时间戳;
对所述第二终端的直播数据流进行解析,得到多个第二视频画面以及对应的第二播放时间戳;
按照多个第一播放时间戳和多个第二播放时间戳,将对应于相同播放时间戳的第一视频画面和第二视频画面进行拼接。
根据本公开实施例的第六方面,提供一种直播数据处理装置,应用于第三终端,包括:
接收单元,被配置为执行在进入第一用户的直播间后,接收所述第一用户所登录的第一终端的直播数据流和所述直播间所转播的第二终端的直播数据流;
拼接单元,被配置为执行对所述第一终端的直播数据流和所述第二终端的直播数据流中的视频画面进行拼接;
显示单元,被配置为执行显示经过拼接得到的直播画面。
在一种可能实现方式中,所述第二终端的直播数据流包括直播音频流和直播视频流,
所述接收单元,还被配置为执行从服务器接收第二音量调整指令,所述第二音量调整指令携带目标音量;
所述装置还包括:
调整单元,被配置为执行基于所述目标音量对所述第二终端的直播音频流进行调整;
播放单元,被配置为执行按照调整后的音量播放所述第二终端的直播音频流。
在一种可能实现方式中,所述拼接单元,被配置为执行对所述第一终端的直播数据流进行解析,得到多个第一视频画面以及对应的第一播放时间戳;对所述第二终端的直播数据流进行解析,得到多个第二视频画面以及对应的第二播放时间戳;按照多个第一播放时间戳和多个第二播放时间戳,将对应于相同播放时间戳的第一视频画面和第二视频画面进行拼接。
根据本公开实施例的第七方面,提供一种服务器,包括:处理器;用于存储处理器可执行指令的存储器;其中,处理器被配置为执行指令,以实现如上述任一项的直播数据处理方法。
根据本公开实施例的第八方面,提供一种终端,包括:处理器;用于存储处理器可执行指令的存储器;其中,处理器被配置为执行指令,以实现如上述任一项的直播数据处理方法。
根据本公开实施例的第九方面,提供一种存储介质,当存储介质中的指令由电子设备的处理器执行时,使得电子设备能够执行如上述任一项的直播数据处理方法。
根据本公开实施例的第十方面,提供一种计算机程序产品,包括可执行指令,当计算机程序产品中的指令由电子设备的处理器执行时,使得电子设备能够执行如上述任一项的直播数据处理方法。
本公开的实施例提供的技术方案至少带来以下有益效果:通过在第一用户对第二用户的直播进行转播时,由终端侧仅进行转播对象的确定和转播过程的触发,而无需进行混流等硬件上的编码处理,则可以大大降低对主播终端的压力,保证了直播的流畅性,也保证了用户的视听体验。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理,并不构成对本公开的不当限定。
图1是根据一示例性实施例示出的一种直播数据处理方法的流程图。
图2是根据一示例性实施例示出的一种直播数据处理方法的流程图。
图3是根据一示例性实施例示出的一种直播数据处理方法的流程图。
图4是根据一示例性实施例示出的一种直播数据处理方法的流程图。
图5是根据一示例性实施例示出的一种直播数据处理方法的流程图。
图6是根据一示例性实施例示出的一种直播数据处理装置的框图。
图7是根据一示例性实施例示出的一种直播数据处理装置的框图。
图8是根据一示例性实施例示出的一种直播数据处理装置的框图。
图9是根据一示例性实施例示出的一种服务器的框图。
图10是根据一示例性实施例示出的一种终端的框图。
具体实施方式
为了使本领域普通人员更好地理解本公开的技术方案,下面将结合附图,对本公开实施例中的技术方案进行清楚、完整地描述。
需要说明的是,本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
本公开所涉及的用户信息可以为经用户授权或者经过各方充分授权的信息。
连麦:是指直播中,由观众向主播发起连线请求,在主播和该观众之间建立低延迟的通讯链路,而其他观众可以看到“主播+连麦观众”的合成音视频内容。
PK:是指直播过程中,由主播发起,选择与其他主播进行PK,主播间建立低延迟的通讯链路,在所有观众方可以看到两个主播的合成音视频内容。
图1是根据一示例性实施例示出的一种直播数据处理方法的流程图,如图1所示,该直播数据处理方法用于第一终端中,包括以下步骤。
在步骤101中,接收所述第一用户的转播指令,所述转播指令用于指示对第二终端的直播进行转播。
在步骤102中,获取第二终端的直播标识信息,所述直播标识信息用于唯一标识所述第二终端的直播视频流。
在步骤103中,向服务器发送携带所述直播标识信息的转播请求,所述转播请求用于指示所述服务器基于所述直播标识信息将所述第二终端的直播数据流和所述第一终端的直播数据流进行转播。
本公开实施例提供的方法,通过在第一用户对第二用户的直播进行转播时,由终端侧仅进行转播对象的确定和转播过程的触发,而无需进行混流等硬件上的编码处理,则可以大大降低对主播终端的压力,保证了直播的流畅性,也保证了用户的视听体验。上述过程中,被引入直播数据流的主播是无感的,因此双方都少了很多社交压力。而本地播放器进行渲染的直播方式,对主播设备的性能损耗比较低,相对于需要本地混流的PK或连麦等方式,有着不一样的视听体验。
在一种可能实现方式中,所述获取第二终端的直播标识信息包括下述任一项:
将所述第二终端的直播数据流的数据流地址,获取为所述第二终端的直播标识信息;
将所述第二用户的用户标识获取为所述第二终端的直播标识信息。
在一种可能实现方式中,所述方法还包括:
接收所述第一用户对所述第二终端的直播的第一音量调整指令,所述第一音量调整指令携带目标音量,向所述服务器发送音量调整请求,所述音量调整请求用于指示基于所述目标音量对所述第二终端的直播音频流进行调整;或,
当检测到所述第一终端采集到的音量大于音量阈值时,向所述服务器发送音量调整请求,所述音量调整请求用于指示基于所述目标音量对所述第二终端的直播音频流进行调整;
接收所述第一用户对所述第二终端的直播的音效调整指令,所述音效调整指令携带目标音效标识,向所述服务器发送音效调整请求,所述音效调整请求用于指示基于所述目标音效标识对所述第二终端的直播音频流进行调整。
在一种可能实现方式中,所述获取第二终端的直播标识信息之后,所述方法还包括:
根据所述第二终端的直播标识信息,获取所述第二终端的直播视频流;
在所述第一终端的播放器上,将所述第二终端的直播视频流和所述第一终端采集到的所述第一终端的直播视频流渲染至所述第一终端的直播间画面中进行显示。
图2是根据一示例性实施例示出的一种直播数据处理方法的流程图,如图2所示,该直播数据处理方法用于服务器中,包括以下步骤。
在步骤201中,接收第一终端的携带第二终端的直播标识信息的转播请求,基于所述第二终端的直播标识信息,获取所述第二终端的直播数据流。
在步骤202中,接收所述第一终端的直播数据流。
在步骤203中,对所述第一终端的直播数据流和所述第二终端的直播数据流中的视频画面进行拼接,得到目标直播数据流。
在步骤204中,将所述目标直播数据流发送至所述第一终端的观众终端。
本公开实施例提供的方法,通过在第一用户对第二用户的直播进行转播时,由终端侧仅进行转播对象的确定和转播过程的触发,而无需进行混流等硬件上的编码处理,则可以大大降低对主播终端的压力,保证了直播的流畅性,也保证了用户的视听体验。上述过程中,被引入直播数据流的主播是无感的,因此双方都少了很多社交压力。而本地播放器进行渲染的直播方式,对主播设备的性能损耗比较低,相对于需要本地混流的PK或连麦等方式,有着不一样的视听体验。
在一种可能实现方式中,所述第二终端的直播标识信息包括下述任一项:
所述第二终端的直播数据流的数据流地址;
所述第二用户的用户标识。
在一种可能实现方式中,所述第二用户的直播数据流包括直播音频流和直播视频流,
接收音量调整请求,所述音量调整请求携带目标音量,基于所述目标音量对所述第二终端的直播音频流进行调整,将拼接后的直播视频流和调整后的直播音频流发送至所述第一终端的观众终端;或,
接收音效调整请求,所述音效调整请求携带目标音效标识,基于所述目标音效标识对所述第二终端的直播音频流进行调整,将拼接后的直播视频流和调整后的直播音频流发送至所述第一终端的观众终端。
在一种可能实现方式中,所述对所述第一终端的直播数据流和所述第二终端的直播数据流中的视频画面进行拼接包括:
对所述第一终端的直播数据流进行解析,得到多个第一视频画面以及对应的第一播放时间戳;
对所述第二终端的直播数据流进行解析,得到多个第二视频画面以及对应的第二播放时间戳;
按照多个第一播放时间戳和多个第二播放时间戳,将对应于相同播放时间戳的第一视频画面和第二视频画面进行拼接。
上述所有可选技术方案,可以采用任意结合形成本公开的可选实施例,在此不再一一赘述。
图3是根据一示例性实施例示出的一种直播数据处理方法的流程图,如图3所示,该直播数据处理方法用于第三终端中,包括以下步骤。
在步骤301中,在进入第一用户的直播间后,接收所述第一用户所登录的第一终端的直播数据流和所述直播间所转播的第二终端的直播数据流。
在步骤302中,对所述第一终端的直播数据流和所述第二终端的直播数据流中的视频画面进行拼接。
在步骤303中,显示经过拼接得到的直播画面。
在一种可能实现方式中,所述第二终端的直播数据流包括直播音频流和直播视频流,
从服务器接收第二音量调整指令,所述第二音量调整指令携带目标音量,基于所述目标音量对所述第二终端的直播音频流进行调整,按照调整后的音量播放所述第二终端的直播音频流;或,
接收音效调整指令,所述音效调整指令携带目标音效标识,基于所述目标音效标识对所述第二终端的直播音频流进行调整,按照调整后的音效播放所述第二终端的直播音频流。
在一种可能实现方式中,所述对所述第一终端的直播数据流和所述第二终端的直播数据流中的视频画面进行拼接包括:
对所述第一终端的直播数据流进行解析,得到多个第一视频画面以及对应的第一播放时间戳;
对所述第二终端的直播数据流进行解析,得到多个第二视频画面以及对应的第二播放时间戳;
按照多个第一播放时间戳和多个第二播放时间戳,将对应于相同播放时间戳的第一视频画面和第二视频画面进行拼接。
上述所有可选技术方案,可以采用任意结合形成本公开的可选实施例,在此不再一一赘述。
本公开实施例提供了一种在直播间内引入另一路直播数据流的新的直播模式,而且被引入的直播数据流的主播是无感的。这种在当前直播间内引入另一路直播数据流的方式,在体验上是非常新颖,可以赋予主播灵活的内容生产方式和与观众互动的方式,并且对方主播和对方房间是无感的,能够减轻社交压力。下面基于图4所示的流程图对该过程进行说明。图4是根据一示例性实施例示出的一种直播数据处理方法的流程图,如图4所示,该直播数据处理方法以第一终端、服务器以及观众终端之间的交互为例进行说明,包括以下步骤。
在步骤401中,第一终端接收该第一用户的转播指令,该转播指令用于指示对第二终端的直播进行转播。
第一终端可以通过直播客户端提供转播选项,而第一用户可以进行转播对象的选择并对转播选项进行操作,从而触发转播指令。例如,直播客户端可以在第二用户的直播页面上提供转播选项,从而第一用户在浏览第二用户的直播页面时,可以对该转播选项进行点击操作,从而触发对第二用户的直播进行转播的转播指令。又例如,直播客户端可以在第一用户的直播页面上提供转播选项,在检测到第一用户对该转播选项的点击操作时,可以提供待转播的直播列表(或用户列表),又或者,还可以提供输入框,用以第一用户进行直播标识信息的输入,该输入可以是填写或粘贴等操作,以基于第一用户选中或是输入的直播标识信息,来确定被转播的直播。
在步骤402中,该第一终端获取第二终端的直播标识信息,该直播标识信息用于唯一标识该第二终端的直播数据流。
在一种可能实现方式中,该获取第二终端的直播标识信息包括下述任一项:将该第二终端的直播数据流的数据流地址,获取为该第二终端的直播标识信息;将该第二用户的用户标识获取为该第二终端的直播标识信息。
需要说明的是,通过该数据流地址,除了可以获取到当前直播平台上的直播数据流,还可以是其他平台的数据流,从而实现跨平台的转播,大大扩展了内容的来源。其中,数据流地址可以为直播数据流的URL(Uniform Resource Locator,统一资源定位符)地址。而如果被转播用户与第一用户属于同一平台,则可以直接通过用户标识,例如主播名称或者ID(Identity,身份标识)等,来获取主播正在直播的直播数据流。在服务器或终端获取该直播数据流时,可以通过用户标识先确定该用户标识对应的直播数据流ID,再基于直播数据流ID来获取对应的直播数据流。
在步骤403中,该第一终端向服务器发送携带该直播标识信息的转播请求。
该转播请求用于指示该服务器基于该直播标识信息将该第二终端的直播数据流和该第一终端的直播数据流中的视频画面进行拼接,得到目标直播数据流,将该目标直播数据流发送至该第一用户的观众终端。
在步骤404中,服务器接收第一终端的携带第二终端的直播标识信息的转播请求,基于该第二终端的直播标识信息,获取该第二终端的直播数据流。
当服务器接收到该转播请求后,如果直播标识信息为数据流地址,则可以从该数据流地址获取第二终端的直播数据流,如果直播标识信息为用户标识,则可以根据该用户标识,先确定该用户标识对应的直播数据流ID,再基于直播数据流ID来获取对应的直播数据流。
在步骤405中,该第一终端向服务器发送直播数据流。
当第一终端的直播开始后,则可以向服务器发送第一终端采集得到的直播数据流。
在步骤406中,该服务器接收该第一终端的直播数据流。
在步骤407中,该服务器对该第一终端的直播数据流和该第二终端的直播数据流中的视频画面进行拼接,得到目标直播数据流。
在一种可能实现方式中,该对该第一终端的直播数据流和该第二终端的直播数据流中的视频画面进行拼接包括:对该第一终端的直播数据流进行解析,得到多个第一视频画面以及对应的第一播放时间戳;对该第二终端的直播数据流进行解析,得到多个第二视频画面以及对应的第二播放时间戳;按照多个第一播放时间戳和多个第二播放时间戳,将对应于相同播放时间戳的第一视频画面和第二视频画面进行拼接。通过按照播放时间戳进行画面拼接,可以实现同步的视听体现,由于网络传输上可能产生的延时,可能会导致两路直播数据流的不太同步,则可以将对应于相同播放时间戳的视频画面进行拼接,从而保证显示的同步性。
在步骤408中,该服务器将该目标直播数据流发送至该第一终端的观众终端。
通过服务器进行上述的数据流合并的处理后,可以将合并后的数据流发送给第一终端的观众终端,从而使得观众终端能有统一的视听体验。
在步骤409中,第一终端根据该第二终端的直播标识信息,获取该第二终端的直播数据流。
而对于第一终端来说,其可以自行获取第二终端的直播数据流。该获取方式与上述服务器获取第二终端的直播数据流的方式同理,在此不做赘述。
在步骤410中,在该第一终端的播放器上,将该第二终端的直播数据流和该第一终端采集到的该第一终端的直播数据流渲染至该第一终端的直播间画面中进行显示。
第一终端可以通过本地播放器对该第二终端的直播数据流和该第一终端采集到的该第一终端的直播数据流按照预设画面布局进行渲染,例如,当预设画面布局为并排显示时,则可以在直播间画面的左半部分渲染第一终端的直播数据流,而在直播间画面的右半部分渲染第二终端的直播数据流,而当预设画面布局为大小画面显示时,则可以在直播间画面的大画面中渲染第一终端的直播数据流,而在直播间画面的小画面中渲染第二终端的直播数据流。
当然,第一用户可以在第一终端上对上述预设画面布局进行调整,以调整最终显示的直播间画面中第一用户和第二用户的视频画面的显示方式,而在第一终端上进行了预设画面布局的调整后,第一终端将用于指示该调整的布局调整信息发送至服务器,由服务器基于该布局调整信息改变视频画面的拼接方式,从而使得在各个观众终端能够有全新的视听体验。
在上述实施例提供的方法中,通过在第一用户对第二用户的直播进行转播时,由终端侧仅进行转播对象的确定和转播过程的触发,而无需进行混流等硬件上的编码处理,则可以大大降低对主播终端的压力,保证了直播的流畅性,也保证了用户的视听体验。上述过程中,被引入直播数据流的主播是无感的,因此双方都少了很多社交压力。而本地播放器进行渲染的直播方式,对主播设备的性能损耗比较低,相对于需要本地混流的PK或连麦等方式,有着不一样的视听体验。
上述图4所示的实施例是以服务器来进行画面拼接为例进行说明,在一些可能实现方式中,还可以由观众端来进行拼接,具体可以参见下述如图5的流程,如图5所示,该直播数据处理方法以第一终端、服务器以及第三终端(即观众终端)之间的交互为例进行说明,包括以下步骤。
在步骤501中,第一终端接收该第一用户的转播指令,该转播指令用于指示对第二终端的直播进行转播。
在步骤502中,该第一终端获取第二终端的直播标识信息,该直播标识信息用于唯一标识该第二终端的直播数据流。
在步骤503中,该第一终端向服务器发送携带该直播标识信息的转播请求。
在步骤504中,服务器接收第一终端的携带第二终端的直播标识信息的转播请求,基于该第二终端的直播标识信息,获取该第二终端的直播数据流。
在步骤505中,该第一终端向服务器发送直播数据流。
在步骤506中,该服务器接收该第一终端的直播数据流。
在步骤507中,当第三终端的用户进入第一用户的直播间后,该服务器将该第一终端的直播数据流和该第二终端的直播数据流发送至第三终端。
在步骤508中,该第三终端接收该第一终端的直播数据流和该第二终端的直播数据流。
在步骤509中,该第三终端对该第一终端的直播数据流和该第二终端的直播数据流中的视频画面进行拼接。
在一种可能实现方式中,该对该第一终端的直播数据流和该第二终端的直播数据流中的视频画面进行拼接包括:对该第一终端的直播数据流进行解析,得到多个第一视频画面以及对应的第一播放时间戳;对该第二终端的直播数据流进行解析,得到多个第二视频画面以及对应的第二播放时间戳;按照多个第一播放时间戳和多个第二播放时间戳,将对应于相同播放时间戳的第一视频画面和第二视频画面进行拼接。通过按照播放时间戳进行画面拼接,可以实现同步的视听体现,由于网络传输上可能产生的延时,可能会导致两路直播数据流的不太同步,则可以将对应于相同播放时间戳的视频画面进行拼接,从而保证显示的同步性。
第三终端可以通过本地播放器对该第二终端的直播数据流和该第一终端的直播数据流中的视频画面按照预设画面布局进行拼接,例如,当预设画面布局为并排显示时,则可以在直播间画面的左半部分渲染第一终端的直播数据流,而在直播间画面的右半部分渲染第二终端的直播数据流,而当预设画面布局为大小画面显示时,则可以在直播间画面的大画面中渲染第一终端的直播数据流,而在直播间画面的小画面中渲染第二终端的直播数据流。
当然,用户可以在第三终端上对上述预设画面布局进行调整,以调整最终显示的直播间画面中第一用户和第二用户的视频画面的显示方式。
在步骤510中,第三终端显示拼接后的视频画面。
在上述实施例提供的方法中,通过在第一用户对第二用户的直播进行转播时,由终端侧仅进行转播对象的确定和转播过程的触发,而无需进行混流等硬件上的编码处理,则可以大大降低对主播终端的压力,保证了直播的流畅性,也保证了用户的视听体验。上述过程中,被引入直播数据流的主播是无感的,因此双方都少了很多社交压力。而本地播放器进行渲染的直播方式,对主播设备的性能损耗比较低,相对于需要本地混流的PK或连麦等方式,有着不一样的视听体验。
可选地,在本公开实施例中,该第二终端的直播数据流包括直播音频流和直播视频流,也即是,主播设备所产生的视频和音频是分别编码并传输的,则为了达到和谐的视听效果,在其转播过程中,第一用户可以选择对第二用户的直播声音进行调整,甚至对其声音进行关闭,仅显示其画面,以保证自己的正常讲话。也即是,在一种可能实现方式中,该方法还包括:第一终端接收该第一用户对该第二终端的直播的第一音量调整指令,该第一音量调整指令携带目标音量;该第一终端向该服务器发送音量调整请求,该音量调整请求用于指示基于该目标音量对该第二终端的直播音频流进行调整,该服务器接收音量调整请求,该音量调整请求携带目标音量;基于该目标音量对该第二终端的直播音频流进行调整;将拼接后的直播视频流和调整后的直播音频流发送至该第一终端的观众终端。例如,当第一用户想要关闭第二用户的声音时,则可以将音量参数调整为0,也即是,携带的目标音量为0,而服务器在接收到该目标音量时,则可以暂停向观众终端发送第二终端的直播音频流,以节约流量,当然,也可以是将直播音频流中的音量调整为0,而不暂停发送。对于目标音量不为0的情况,则可以将直播音频流中的音量调整为目标音量后再进行发送。
在一种可能实现方式中,第一终端还可以自动进行音量调整,相应地,该方法还包括:当检测到所述第一终端采集到的音量大于音量阈值时,第一终端向所述服务器发送音量调整请求,所述音量调整请求用于指示基于所述目标音量对所述第二终端的直播音频流进行调整。这种自动调整的方式可以在无需用户感知的情况下,对音量进行控制,从而避免被转播的视频音量掩盖了主播的音量,提高转播的智能性。
对于服务器来说,服务器可以接收音量调整请求,所述音量调整请求携带目标音量,基于所述目标音量对所述第二终端的直播音频流进行调整,将拼接后的直播视频流和调整后的直播音频流发送至所述第一终端的观众终端
上述调整还可以是对音效的调整,例如,在第一终端可以接收所述第一用户对所述第二终端的直播的音效调整指令,所述音效调整指令携带目标音效标识,向所述服务器发送音效调整请求,所述音效调整请求用于指示基于所述目标音效标识对所述第二终端的直播音频流进行调整。而服务器可以接收音效调整请求,所述音效调整请求携带目标音效标识,基于所述目标音效标识对所述第二终端的直播音频流进行调整,将拼接后的直播视频流和调整后的直播音频流发送至所述第一终端的观众终端。
上述直播音频流和直播视频流分别发送,可以使得对声音相关参数进行单独调整成为可能,甚至在第一终端和观众终端侧均可以自行进行音量的调整,以达到自己想要的视听效果。例如,对于观众终端,由于其接收到的是直播音频流和拼接后的直播视频流,则如果其可以通过不同声道来播放不同主播的音频流,并通过对不同声道的声音控制,来实现个性化的调整,而拼接后的直播视频流则可以带给观众用户统一的视觉效果。又例如,对于第一终端来说,其可以在本地对第二终端的直播音频流进行调整,并将该调整同步至服务器,以使得观众能够得到统一的视听体验,当然,也可以仅在本地进行第二终端的直播音频流的调整,以保证自己的直播不被影响。
需要说明的是,上述音量和音效的调整仅以第一终端触发调整,服务器基于接收到的调整请求进行对应调整为例进行说明,而对于观众端进行画面拼接的场景下,则可以在由第一终端发起音量调整或音效调整后,由服务器接收音量调整请求或音效调整请求,并向观众终端也即是第三终端下发音量调整指令或音效调整指令,以便由第三终端进行相应调整,也即是,该方法还包括:第三终端从服务器接收第二音量调整指令,所述第二音量调整指令携带目标音量,基于所述目标音量对所述第二终端的直播音频流进行调整,按照调整后的音量播放所述第二终端的直播音频流;或,接收音效调整指令,所述音效调整指令携带目标音效标识,基于所述目标音效标识对所述第二终端的直播音频流进行调整,按照调整后的音效播放所述第二终端的直播音频流。上述调整等具体过程与服务器侧同理,在此不做赘述。
图6是根据一示例性实施例示出的一种直播数据处理装置的框图。参照图6,该装置包括接收单元601、获取单元602以及发送单元603。
接收单元601,被配置为执行接收所述第一用户的转播指令,所述转播指令用于指示对第二终端的直播进行转播;
获取单元602,被配置为执行获取第二终端的直播标识信息,所述直播标识信息用于唯一标识所述第二终端的直播视频流;
发送单元603,被配置为执行向服务器发送携带所述直播标识信息的转播请求,所述转播请求用于指示所述服务器基于所述直播标识信息将所述第二终端的直播数据流和所述第一终端的直播数据流进行转播。
在一种可能实现方式中,所述获取第二终端的直播标识信息包括下述任一项:
将所述第二终端的直播数据流的数据流地址,获取为所述第二终端的直播标识信息;
将所述第二用户的用户标识获取为所述第二终端的直播标识信息。
在一种可能实现方式中,所述第二终端的直播数据流包括直播音频流和直播视频流,
所述接收单元,还被配置为执行接收所述第一用户对所述第二终端的直播的第一音量调整指令,所述第一音量调整指令携带目标音量,所述发送单元,还被配置为执行向所述服务器发送音量调整请求,所述音量调整请求用于指示基于所述目标音量对所述第二终端的直播音频流进行调整;或,
所述发送单元,还被配置为执行当检测到所述第一终端采集到的音量大于音量阈值时,向所述服务器发送音量调整请求,所述音量调整请求用于指示基于所述目标音量对所述第二终端的直播音频流进行调整;或,
所述接收单元,还被配置为执行接收所述第一用户对所述第二终端的直播的音效调整指令,所述音效调整指令携带目标音效标识,所述发送单元,还被配置为执行向所述服务器发送音效调整请求,所述音效调整请求用于指示基于所述目标音效标识对所述第二终端的直播音频流进行调整。
在一种可能实现方式中,所述装置还包括:
视频流获取单元,被配置为执行根据所述第二终端的直播标识信息,获取所述第二终端的直播数据流;
显示单元,被配置为执行在所述第一终端的播放器上,将所述第二终端的直播数据流和所述第一终端采集到的所述第一终端的直播数据流渲染至所述第一终端的直播间画面中进行显示。
需要说明的是:上述实施例提供的直播数据处理装置在直播数据处理时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将设备的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的直播数据处理装置与直播数据处理方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
图7是根据一示例性实施例示出的一种直播数据处理装置的框图。参照图7,该装置包括接收单元701、拼接单元702以及发送单元703。
接收单元701,被配置为执行接收第一终端的携带第二终端的直播标识信息的转播请求,基于所述第二终端的直播标识信息,获取所述第二终端的直播数据流;
所述接收单元701,还被配置为执行接收所述第一终端的直播数据流;
拼接单元702,被配置为执行对所述第一终端的直播数据流和所述第二终端的直播数据流中的视频画面进行拼接,得到目标直播数据流;
发送单元703,被配置为执行将所述目标直播数据流发送至所述第一终端的观众终端。
在一种可能实现方式中,所述第二终端的直播标识信息包括下述任一项:
所述第二终端的直播数据流的数据流地址;
所述第二用户的用户标识。
在一种可能实现方式中,所述第二用户的直播数据流包括直播音频流和直播视频流,
所述接收单元,还被配置为执行接收音量调整请求,所述音量调整请求携带目标音量,所述装置还包括第一调整单元,所述第一调整单元被配置为执行基于所述目标音量对所述第二终端的直播音频流进行调整;所述发送单元,还被配置为执行将拼接后的直播视频流和调整后的直播音频流发送至所述第一终端的观众终端;或,
所述接收单元,还被配置为执行接收音效调整请求,所述音效调整请求携带目标音效标识,所述装置还包括第二调整单元,所述第二调整单元被配置为执行基于所述目标音效标识对所述第二终端的直播音频流进行调整,所述发送单元,还被配置为执行将拼接后的直播视频流和调整后的直播音频流发送至所述第一终端的观众终端。
在一种可能实现方式中,所述拼接单元被配置为执行下述步骤:
对所述第一终端的直播数据流进行解析,得到多个第一视频画面以及对应的第一播放时间戳;
对所述第二终端的直播数据流进行解析,得到多个第二视频画面以及对应的第二播放时间戳;
按照多个第一播放时间戳和多个第二播放时间戳,将对应于相同播放时间戳的第一视频画面和第二视频画面进行拼接。
需要说明的是:上述实施例提供的直播数据处理装置在直播数据处理时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将设备的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的直播数据处理装置与直播数据处理方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
图8是根据一示例性实施例示出的一种直播数据处理装置的框图。参照图8,该方法可以应用于第三终端,该装置包括:
接收单元801,被配置为执行在进入第一用户的直播间后,接收所述第一用户所登录的第一终端的直播数据流和所述直播间所转播的第二终端的直播数据流;
拼接单元802,被配置为执行对所述第一终端的直播数据流和所述第二终端的直播数据流中的视频画面进行拼接;
显示单元803,被配置为执行显示经过拼接得到的直播画面。
在一种可能实现方式中,所述第二终端的直播数据流包括直播音频流和直播视频流,
所述接收单元,还被配置为执行从服务器接收第二音量调整指令,所述第二音量调整指令携带目标音量;
所述装置还包括:
调整单元,被配置为执行基于所述目标音量对所述第二终端的直播音频流进行调整;
播放单元,被配置为执行按照调整后的音量播放所述第二终端的直播音频流。
在一种可能实现方式中,所述拼接单元,被配置为执行对所述第一终端的直播数据流进行解析,得到多个第一视频画面以及对应的第一播放时间戳;对所述第二终端的直播数据流进行解析,得到多个第二视频画面以及对应的第二播放时间戳;按照多个第一播放时间戳和多个第二播放时间戳,将对应于相同播放时间戳的第一视频画面和第二视频画面进行拼接。
需要说明的是:上述实施例提供的直播数据处理装置在直播数据处理时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将设备的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的直播数据处理装置与直播数据处理方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
图9是根据一示例性实施例示出的一种服务器的框图。该服务器900可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上处理器(central processingunits,CPU)901和一个或一个以上的存储器902,其中,存储器902中存储有至少一条指令,至少一条指令由处理器901加载并执行以实现上述各个方法实施例提供的直播数据处理方法。当然,该服务器还可以具有有线或无线网络接口、键盘以及输入输出接口等部件,以便进行输入输出,该服务器还可以包括其他用于实现设备功能的部件,在此不做赘述。
图10是本公开实施例提供的一种终端的结构示意图。该终端1000可以是:智能手机、平板电脑、MP3(Moving Picture Experts Group Audio Layer III,动态影像专家压缩标准音频层面3)播放器、MP4(Moving Picture Experts Group Audio Layer IV,动态影像专家压缩标准音频层面4)播放器、笔记本电脑或台式电脑。终端1000还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。
通常,终端1000包括有:一个或多个处理器1001和一个或多个存储器1002。
处理器1001可以包括一个或多个处理核心,比如4核心处理器、8核心处理器等。处理器1001可以采用DSP(Digital Signal Processing,数字信号处理)、FPGA(Field-Programmable Gate Array,现场可编程门阵列)、PLA(Programmable Logic Array,可编程逻辑阵列)中的至少一种硬件形式来实现。处理器1001也可以包括主处理器和协处理器,主处理器是用于对在唤醒状态下的数据进行处理的处理器,也称CPU(Central ProcessingUnit,中央处理器);协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中,处理器1001可以在集成有GPU(Graphics Processing Unit,图像处理器),GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中,处理器1001还可以包括AI(Artificial Intelligence,人工智能)处理器,该AI处理器用于处理有关机器学习的计算操作。
存储器1002可以包括一个或多个计算机可读存储介质,该计算机可读存储介质可以是非暂态的。存储器1002还可包括高速随机存取存储器,以及非易失性存储器,比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中,存储器1002中的非暂态的计算机可读存储介质用于存储至少一个指令,该至少一个指令用于被处理器1001所执行以实现本公开中方法实施例提供的直播数据处理方法。
在一些实施例中,终端1000还可选包括有:外围设备接口1003和至少一个外围设备。处理器1001、存储器1002和外围设备接口1003之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口1003相连。具体地,外围设备包括:射频电路1004、显示屏1005、摄像头组件1006、音频电路1007、定位组件1008和电源1009中的至少一种。
外围设备接口1003可被用于将I/O(Input/Output,输入/输出)相关的至少一个外围设备连接到处理器1001和存储器1002。在一些实施例中,处理器1001、存储器1002和外围设备接口1003被集成在同一芯片或电路板上;在一些其他实施例中,处理器1001、存储器1002和外围设备接口1003中的任意一个或两个可以在单独的芯片或电路板上实现,本实施例对此不加以限定。
射频电路1004用于接收和发射RF(Radio Frequency,射频)信号,也称电磁信号。射频电路1004通过电磁信号与通信网络以及其他通信设备进行通信。射频电路1004将电信号转换为电磁信号进行发送,或者,将接收到的电磁信号转换为电信号。可选地,射频电路1004包括:天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路1004可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于:城域网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity,无线保真)网络。在一些实施例中,射频电路1004还可以包括NFC(Near Field Communication,近距离无线通信)有关的电路,本公开对此不加以限定。
显示屏1005用于显示UI(User Interface,用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏1005是触摸显示屏时,显示屏1005还具有采集在显示屏1005的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器1001进行处理。此时,显示屏1005还可以用于提供虚拟按钮和/或虚拟键盘,也称软按钮和/或软键盘。在一些实施例中,显示屏1005可以为一个,设置终端1000的前面板;在另一些实施例中,显示屏1005可以为至少两个,分别设置在终端1000的不同表面或呈折叠设计;在再一些实施例中,显示屏1005可以是柔性显示屏,设置在终端1000的弯曲表面上或折叠面上。甚至,显示屏1005还可以设置成非矩形的不规则图形,也即异形屏。显示屏1005可以采用LCD(Liquid Crystal Display,液晶显示屏)、OLED(Organic Light-Emitting Diode,有机发光二极管)等材质制备。
摄像头组件1006用于采集图像或视频。可选地,摄像头组件1006包括前置摄像头和后置摄像头。通常,前置摄像头设置在终端的前面板,后置摄像头设置在终端的背面。在一些实施例中,后置摄像头为至少两个,分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种,以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality,虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中,摄像头组件1006还可以包括闪光灯。闪光灯可以是单色温闪光灯,也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合,可以用于不同色温下的光线补偿。
音频电路1007可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波,并将声波转换为电信号输入至处理器1001进行处理,或者输入至射频电路1004以实现语音通信。出于立体声采集或降噪的目的,麦克风可以为多个,分别设置在终端1000的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器1001或射频电路1004的电信号转换为声波。扬声器可以是传统的薄膜扬声器,也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时,不仅可以将电信号转换为人类可听见的声波,也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中,音频电路1007还可以包括耳机插孔。
定位组件1008用于定位终端1000的当前地理位置,以实现导航或LBS(LocationBased Service,基于位置的服务)。定位组件1008可以是基于美国的GPS(GlobalPositioning System,全球定位系统)、中国的北斗系统、俄罗斯的格雷纳斯系统或欧盟的伽利略系统的定位组件。
电源1009用于为终端1000中的各个组件进行供电。电源1009可以是交流电、直流电、一次性电池或可充电电池。当电源1009包括可充电电池时,该可充电电池可以支持有线充电或无线充电。该可充电电池还可以用于支持快充技术。
在一些实施例中,终端1000还包括有一个或多个传感器1010。该一个或多个传感器1010包括但不限于:加速度传感器1011、陀螺仪传感器1012、压力传感器1013、指纹传感器1014、光学传感器1015以及接近传感器1016。
加速度传感器1011可以检测以终端1000建立的坐标系的三个坐标轴上的加速度大小。比如,加速度传感器1011可以用于检测重力加速度在三个坐标轴上的分量。处理器1001可以根据加速度传感器1011采集的重力加速度信号,控制显示屏1005以横向视图或纵向视图进行用户界面的显示。加速度传感器1011还可以用于游戏或者用户的运动数据的采集。
陀螺仪传感器1012可以检测终端1000的机体方向及转动角度,陀螺仪传感器1012可以与加速度传感器1011协同采集用户对终端1000的3D动作。处理器1001根据陀螺仪传感器1012采集的数据,可以实现如下功能:动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。
压力传感器1013可以设置在终端1000的侧边框和/或显示屏1005的下层。当压力传感器1013设置在终端1000的侧边框时,可以检测用户对终端1000的握持信号,由处理器1001根据压力传感器1013采集的握持信号进行左右手识别或快捷操作。当压力传感器1013设置在显示屏1005的下层时,由处理器1001根据用户对显示屏1005的压力操作,实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。
指纹传感器1014用于采集用户的指纹,由处理器1001根据指纹传感器1014采集到的指纹识别用户的身份,或者,由指纹传感器1014根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时,由处理器1001授权该用户执行相关的敏感操作,该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器1014可以被设置终端1000的正面、背面或侧面。当终端1000上设置有物理按键或厂商Logo时,指纹传感器1014可以与物理按键或厂商Logo集成在一起。
光学传感器1015用于采集环境光强度。在一个实施例中,处理器1001可以根据光学传感器1015采集的环境光强度,控制显示屏1005的显示亮度。具体地,当环境光强度较高时,调高显示屏1005的显示亮度;当环境光强度较低时,调低显示屏1005的显示亮度。在另一个实施例中,处理器1001还可以根据光学传感器1015采集的环境光强度,动态调整摄像头组件1006的拍摄参数。
接近传感器1016,也称距离传感器,通常设置在终端1000的前面板。接近传感器1016用于采集用户与终端1000的正面之间的距离。在一个实施例中,当接近传感器1016检测到用户与终端1000的正面之间的距离逐渐变小时,由处理器1001控制显示屏1005从亮屏状态切换为息屏状态;当接近传感器1016检测到用户与终端1000的正面之间的距离逐渐变大时,由处理器1001控制显示屏1005从息屏状态切换为亮屏状态。
本领域技术人员可以理解,图10中示出的结构并不构成对终端1000的限定,可以包括比图示更多或更少的组件,或者组合某些组件,或者采用不同的组件布置。
本公开实施例还提供一种计算机程序产品,包括可执行指令,当计算机程序产品中的指令由电子设备的处理器执行时,使得电子设备能够执行如上述任一项的直播数据处理方法或直播数据处理方法。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由下面的权利要求指出。
应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (10)

1.一种直播数据处理方法,其特征在于,应用于第一终端,所述第一终端登录有第一用户,包括:
接收所述第一用户的转播指令,所述转播指令用于指示对第二终端的直播进行转播;
获取第二终端的直播标识信息,所述直播标识信息用于唯一标识所述第二终端的直播视频流;
向服务器发送携带所述直播标识信息的转播请求,所述转播请求用于指示所述服务器基于所述直播标识信息将所述第二终端的直播数据流和所述第一终端的直播数据流进行转播。
2.根据权利要求1所述的直播数据处理方法,其特征在于,所述第二终端的直播数据流包括直播音频流和直播视频流,所述方法还包括:
接收所述第一用户对所述第二终端的直播的第一音量调整指令,所述第一音量调整指令携带目标音量,向所述服务器发送音量调整请求,所述音量调整请求用于指示基于所述目标音量对所述第二终端的直播音频流进行调整;或,
当检测到所述第一终端采集到的音量大于音量阈值时,向所述服务器发送音量调整请求,所述音量调整请求用于指示基于所述目标音量对所述第二终端的直播音频流进行调整;或,
接收所述第一用户对所述第二终端的直播的音效调整指令,所述音效调整指令携带目标音效标识,向所述服务器发送音效调整请求,所述音效调整请求用于指示基于所述目标音效标识对所述第二终端的直播音频流进行调整。
3.一种直播数据处理方法,其特征在于,应用于服务器,包括:
接收第一终端的携带第二终端的直播标识信息的转播请求,基于所述第二终端的直播标识信息,获取所述第二终端的直播数据流;
接收所述第一终端的直播数据流;
对所述第一终端的直播数据流和所述第二终端的直播数据流中的视频画面进行拼接,得到目标直播数据流;
将所述目标直播数据流发送至所述第一终端的观众终端。
4.根据权利要求3所述的直播数据处理方法,其特征在于,所述第二终端的直播数据流包括直播音频流和直播视频流,所述方法还包括:
接收音量调整请求,所述音量调整请求携带目标音量,基于所述目标音量对所述第二终端的直播音频流进行调整,将拼接后的直播视频流和调整后的直播音频流发送至所述第一终端的观众终端;或,
接收音效调整请求,所述音效调整请求携带目标音效标识,基于所述目标音效标识对所述第二终端的直播音频流进行调整,将拼接后的直播视频流和调整后的直播音频流发送至所述第一终端的观众终端。
5.一种直播数据处理方法,其特征在于,应用于第三终端,包括:
在进入第一用户的直播间后,接收所述第一用户所登录的第一终端的直播数据流和所述直播间所转播的第二终端的直播数据流;
对所述第一终端的直播数据流和所述第二终端的直播数据流中的视频画面进行拼接;
显示经过拼接得到的直播画面。
6.根据权利要求5所述的直播数据处理方法,其特征在于,所述第二终端的直播数据流包括直播音频流和直播视频流,所述方法还包括:
从服务器接收第二音量调整指令,所述第二音量调整指令携带目标音量,基于所述目标音量对所述第二终端的直播音频流进行调整,按照调整后的音量播放所述第二终端的直播音频流;或,
接收音效调整指令,所述音效调整指令携带目标音效标识,基于所述目标音效标识对所述第二终端的直播音频流进行调整,按照调整后的音效播放所述第二终端的直播音频流。
7.一种直播数据处理装置,其特征在于,包括用于执行权利要求1或2所述的直播数据处理方法,或,权利要求3或4中任一项所述的直播数据处理方法,或,权利要求5或6任一项直播数据处理方法的多个功能单元。
8.一种终端,其特征在于,包括:
处理器;
用于存储所述处理器可执行指令的存储器;
其中,所述处理器被配置为执行所述指令,以实现如权利要求1或2所述的直播数据处理方法,或,权利要求5或6中任一项所述的直播数据处理方法。
9.一种服务器,其特征在于,包括:
处理器;
用于存储所述处理器可执行指令的存储器;
其中,所述处理器被配置为执行所述指令,以实现如权利要求3或4所述的直播数据处理方法。
10.一种存储介质,当所述存储介质中的指令由电子设备的处理器执行时,使得所述电子设备能够执行如权利要求1或2所述的直播数据处理方法,或,权利要求3或4中任一项所述的直播数据处理方法,或,权利要求5或6任一项直播数据处理方法。
CN201911269562.5A 2019-12-11 2019-12-11 直播数据处理方法、装置、服务器、终端及存储介质 Pending CN110958464A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911269562.5A CN110958464A (zh) 2019-12-11 2019-12-11 直播数据处理方法、装置、服务器、终端及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911269562.5A CN110958464A (zh) 2019-12-11 2019-12-11 直播数据处理方法、装置、服务器、终端及存储介质

Publications (1)

Publication Number Publication Date
CN110958464A true CN110958464A (zh) 2020-04-03

Family

ID=69981038

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911269562.5A Pending CN110958464A (zh) 2019-12-11 2019-12-11 直播数据处理方法、装置、服务器、终端及存储介质

Country Status (1)

Country Link
CN (1) CN110958464A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113179416A (zh) * 2021-04-26 2021-07-27 腾讯科技(深圳)有限公司 直播内容转播方法及相关设备
CN113645472A (zh) * 2021-07-05 2021-11-12 北京达佳互联信息技术有限公司 一种基于播放对象的交互方法、装置、电子设备及存储介质
CN113840170A (zh) * 2020-06-23 2021-12-24 武汉斗鱼网络科技有限公司 连麦直播的方法及装置
WO2023091079A3 (en) * 2021-11-17 2023-08-17 Lemon Inc. Methods, systems and storage media for generating an effect configured by one or more network connected devices

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110283008A1 (en) * 2010-05-13 2011-11-17 Vladimir Smelyansky Video Class Room
CN105430424A (zh) * 2015-11-26 2016-03-23 广州华多网络科技有限公司 一种视频直播的方法、装置和系统
CN107911707A (zh) * 2017-11-08 2018-04-13 北京密境和风科技有限公司 一种基于直播的处理方法、装置及服务器
CN108769824A (zh) * 2018-06-19 2018-11-06 武汉斗鱼网络科技有限公司 一种视频混流方法、装置、系统、设备及介质
CN108965904A (zh) * 2018-09-05 2018-12-07 北京优酷科技有限公司 一种直播间的音量调节方法及客户端
CN109151497A (zh) * 2018-08-06 2019-01-04 广州虎牙信息科技有限公司 一种连麦直播方法、装置、电子设备及存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110283008A1 (en) * 2010-05-13 2011-11-17 Vladimir Smelyansky Video Class Room
CN105430424A (zh) * 2015-11-26 2016-03-23 广州华多网络科技有限公司 一种视频直播的方法、装置和系统
CN107911707A (zh) * 2017-11-08 2018-04-13 北京密境和风科技有限公司 一种基于直播的处理方法、装置及服务器
CN108769824A (zh) * 2018-06-19 2018-11-06 武汉斗鱼网络科技有限公司 一种视频混流方法、装置、系统、设备及介质
CN109151497A (zh) * 2018-08-06 2019-01-04 广州虎牙信息科技有限公司 一种连麦直播方法、装置、电子设备及存储介质
CN108965904A (zh) * 2018-09-05 2018-12-07 北京优酷科技有限公司 一种直播间的音量调节方法及客户端

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113840170A (zh) * 2020-06-23 2021-12-24 武汉斗鱼网络科技有限公司 连麦直播的方法及装置
CN113840170B (zh) * 2020-06-23 2023-06-16 武汉斗鱼网络科技有限公司 连麦直播的方法及装置
CN113179416A (zh) * 2021-04-26 2021-07-27 腾讯科技(深圳)有限公司 直播内容转播方法及相关设备
CN113645472A (zh) * 2021-07-05 2021-11-12 北京达佳互联信息技术有限公司 一种基于播放对象的交互方法、装置、电子设备及存储介质
WO2023091079A3 (en) * 2021-11-17 2023-08-17 Lemon Inc. Methods, systems and storage media for generating an effect configured by one or more network connected devices
US11882166B2 (en) 2021-11-17 2024-01-23 Lemon Inc. Methods, systems and storage media for generating an effect configured by one or more network connected devices

Similar Documents

Publication Publication Date Title
CN109246466B (zh) 视频播放方法、装置及电子设备
CN109600678B (zh) 信息展示方法、装置及系统、服务器、终端、存储介质
CN109982102B (zh) 直播间的界面显示方法和系统、以及直播服务器和主播端
CN108900859B (zh) 直播方法及系统
CN108401124B (zh) 视频录制的方法和装置
CN109348247B (zh) 确定音视频播放时间戳的方法、装置及存储介质
CN111464830B (zh) 图像显示的方法、装置、系统、设备及存储介质
CN111083507B (zh) 连麦方法及系统、第一主播端、观众端及计算机存储介质
CN112929687A (zh) 基于直播视频的互动方法、装置、设备及存储介质
CN109874043B (zh) 视频流发送方法、播放方法及装置
CN112118477B (zh) 虚拟礼物展示方法、装置、设备以及存储介质
CN111355974A (zh) 虚拟礼物赠送处理的方法、装置、系统、设备及存储介质
CN109413453B (zh) 视频播放方法、装置、终端及存储介质
CN110324689B (zh) 音视频同步播放的方法、装置、终端及存储介质
CN110958464A (zh) 直播数据处理方法、装置、服务器、终端及存储介质
CN110533585B (zh) 一种图像换脸的方法、装置、系统、设备和存储介质
CN107896337B (zh) 信息推广方法、装置及存储介质
CN113271470B (zh) 直播连麦方法、装置、终端、服务器及存储介质
CN111010588B (zh) 直播处理方法、装置、存储介质及设备
CN111083526B (zh) 视频转场方法、装置、计算机设备及存储介质
CN111045945B (zh) 模拟直播的方法、装置、终端、存储介质及程序产品
CN112104648A (zh) 数据处理方法、装置、终端、服务器及存储介质
CN110996167A (zh) 在视频中添加字幕的方法及装置
CN111954018B (zh) 直播间管理方法、系统、装置、设备及存储介质
CN108900921A (zh) 连麦直播方法、装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200403

RJ01 Rejection of invention patent application after publication