CN111954004B - 数据处理方法、控制设备、远程用户终端及数据处理系统 - Google Patents

数据处理方法、控制设备、远程用户终端及数据处理系统 Download PDF

Info

Publication number
CN111954004B
CN111954004B CN202010849173.6A CN202010849173A CN111954004B CN 111954004 B CN111954004 B CN 111954004B CN 202010849173 A CN202010849173 A CN 202010849173A CN 111954004 B CN111954004 B CN 111954004B
Authority
CN
China
Prior art keywords
audio
client
data
video data
user account
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010849173.6A
Other languages
English (en)
Other versions
CN111954004A (zh
Inventor
常树磊
郑旭东
孙弢
徐美玲
朱羽
印子彤
张琪
徐元金
彭帅
李祥熙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Yayue Technology Co ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202010849173.6A priority Critical patent/CN111954004B/zh
Publication of CN111954004A publication Critical patent/CN111954004A/zh
Application granted granted Critical
Publication of CN111954004B publication Critical patent/CN111954004B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21Server components or server architectures
    • H04N21/218Source of audio or video content, e.g. local disk arrays
    • H04N21/2187Live feed
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/165Management of the audio stream, e.g. setting of volume, audio stream path
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21Server components or server architectures
    • H04N21/218Source of audio or video content, e.g. local disk arrays
    • H04N21/2181Source of audio or video content, e.g. local disk arrays comprising remotely distributed storage units, e.g. when movies are replicated over a plurality of video servers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/233Processing of audio elementary streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本申请提供了数据处理方法、控制设备、远程用户终端及数据处理系统。该方法可以基于控制设备针对每个远程用户终端运行的客户端设置第一数据采集参数,并生成参数设置指令。控制设备将每一客户端对应的参数设置指令发送至相应的客户端,以使得客户端控制自身所在的远程用户终端基于第一数据采集参数采集音视频数据。即通过控制音视频数据的采集源头(即客户端)的采集参数变更的方式,使得采集源头采集到的音视频数据是符合要求的数据,因此控制设备可以直接将接收到的音视频数据传输至演播室的显示设备,减少了控制设备侧的用户的工作量,节省了音视频数据处理时间,从而避免了节目直播过程中显示设备播放的音视频数据出现延时的情况。

Description

数据处理方法、控制设备、远程用户终端及数据处理系统
技术领域
本申请涉及通信技术领域,更具体的说,是涉及一种数据处理方法、控制设备、远程用户终端及数据处理系统。
背景技术
在节目直播过程中,例如,若受到节目录制场地或节目录制经费或交通或自然灾害或疫情等因素的影响,导致一个或多个用户无法到节目录制现场时,可能涉及远程用户的视频连线,如远程嘉宾或远程观众的视频连线。
远程用户视频连线的实现方式包括:远程用户通过远程用户终端(例如,手机、电脑)观看直播节目,并通过远程用户终端将采集的远程用户的音视频数据发送至控制设备,控制设备侧的用户可以从控制设备获得的多个远程用户的音视频数据中选择一个或多个音视频数据,发送至该节目对应的演播室的显示设备,从而实现了远程用户参与到节目的录制中的目的。
目前,控制设备在将一个或多个音视频数据发送至显示设备之前,需要对音视频数据进行处理,由于对音视频数据进行处理需要一定的时间,可能导致音视频数据不能实时传输到显示设备,导致音视频数据延时显示。
发明内容
有鉴于此,本申请提供了一种数据处理方法、控制设备、远程用户终端及数据处理系统,以解决目前控制设备需要对接收到的音视频数据进行处理,使得音视频数据不能实时传输到显示设备,导致音视频数据延时显示的技术问题。
本申请提供如下技术方案:
根据本申请实施例的第一方面,提供一种数据处理方法,应用于控制设备,包括:针对至少一个客户端分别设置第一数据采集参数;所述第一数据采集参数包括采集音频数据的参数以及采集视频数据的参数中的至少一种;针对每一所述客户端,生成指示所述客户端将自身存储的当前数据采集参数设置为所述第一数据采集参数的参数设置指令,以得到所述至少一个客户端分别对应的参数设置指令;将所述至少一个客户端对应的参数设置指令分别发送至相应的所述客户端,以使得所述客户端控制自身所在的远程用户终端基于所述第一数据采集参数采集音视频数据。
结合第一方面,在第一种可能的实现方式中,还包括:获取第一用户账号对应的至少一个第二用户账号;所述第一用户账号为所述控制设备登录的账号,所述第二用户账号为所述客户端登录的账号;不同所述客户端对应不同的所述第二用户账号;显示所述至少一个第二用户账号分别对应的显示窗口,一个所述第二用户账号对应的显示窗口用于显示登陆有所述第二用户账号的客户端发送的音视频数据;若检测到针对至少一个所述显示窗口中目标显示窗口对应的音频通信按键处于被触按的状态,确定检测到针对所述目标显示窗口的操作满足所述预设条件;若检测到所述目标显示窗口对应的音频通信按键处于未被触按的状态,确定检测到针对所述目标显示窗口的操作不满足所述预设条件。
结合第一方面,在第二种可能的实现方式中,所述针对至少一个客户端分别设置第一数据采集参数,包括:若检测到针对至少一个所述显示窗口中目标显示窗口的操作满足预设条件,针对登陆有目标第二用户账号的客户端设置的所述第一数据采集参数包括表征关闭麦克风的信息,所述目标显示窗口对应所述目标第二用户账号。
结合第一方面,在第三种可能的实现方式中,所述数据处理方法还包括:针对任一所述第二用户账号对应的所述显示窗口,若未接收到登陆有所述第二用户账号的客户端发送的音视频数据,控制所述显示窗口显示预设图案。
结合第一方面,在第四种可能的实现方式中,还包括:接收至少一个所述客户端发送的音视频数据;从至少一个音视频数据中,确定至少一个第一音视频数据;从预设的至少一个画面布局样式中,确定第一画面布局样式,一个画面布局样式包括用于显示音视频数据的显示区域的个数,以及,每个所述显示区域的位置信息;将所述至少一个第一音视频数据以及所述第一画面布局样式发送至显示设备;所述将所述至少一个第一音视频数据以及所述第一画面布局样式发送至显示设备,包括:获取第一用户账号对应的第三用户账号;所述第一用户账号为所述控制设备登录的账号,所述第三用户账号为所述显示设备登录的账号;将所述至少一个第一音视频数据以及所述第一画面布局样式发送至登陆有所述第三用户账号的所述显示设备。
结合第一方面,在第五种可能的实现方式中,还包括:若检测到针对所述客户端设置状态标识的第一操作,生成状态标识设置指令;所述状态标识为第一状态标识或第二状态标识;所述客户端对应所述第一状态标识表征所述客户端所在远程用户终端采集的音视频数据已经发送至所述显示设备,所述客户端对应所述第二状态标识表征所述客户端所在远程用户终端采集的音视频数据未发送至所述显示设备;向所述客户端发送所述状态标识设置指令,以指示所述客户端将自身的当前状态标识设置为所述状态标识设置指令携带的状态标识;所述第二状态标识包括第一子状态标识以及第二子状态标识,一个所述客户端对应所述第一子状态标识表征所述客户端所在远程用户终端采集的音视频数据已达到发送至所述显示设备的要求;一个所述客户端对应所述第二子状态标识表征所述客户端所在远程用户终端采集的音视频数据未达到发送至所述显示设备的要求,所述从至少一个音视频数据中,确定至少一个第一音视频数据包括:从状态标识为所述第一子状态标识的客户端所在远程用户终端采集的音视频数据中,确定至少一个第二音视频数据;从至少一个第二音视频数据中,确定至少一个第一音视频数据。
结合第一方面,在第六种可能的实现方式中,还包括:若检测到预览至少一个备用画面的指令,显示至少一个所述备用画面,一个所述备用画面为基于所述备用画面对应的备用数据集合显示的画面的缩略图;其中,一个所述备用画面对应一个备用数据集合,所述备用数据集合包括至少一个所述客户端所在远程用户终端采集的音视频数据以及第二画面布局样式,所述第二画面布局样式为预设的至少一个画面布局样式中任一画面布局样式。
根据本申请实施例的第二方面,提供一种数据处理方法,应用于运行有客户端的远程用户终端,包括:接收参数设置指令,所述参数设置指令携带有控制设备设置的第一数据采集参数,所述第一数据采集参数包括采集音频数据的参数以及采集视频数据的参数中的至少一种;将自身存储的当前数据采集参数设置为所述第一数据采集参数;控制所述远程用户终端基于所述第一数据采集参数采集远程用户的音视频数据;将所述音视频数据发送至所述控制设备。
结合第二方面,在第一种可能的实现方式中,还包括:接收状态标识设置指令;所述状态标识设置指令携带第一状态标识或第二状态标识,所述第一状态标识表征所述远程用户终端采集的音视频数据已经发送至所述显示设备,一个所述远程用户终端对应所述第二状态标识表征所述远程用户终端采集的音视频数据未发送至所述显示设备;将所述状态标识设置指令携带的状态标识设置成自身对应的状态标识。
结合第二方面,在第二种可能的实现方式中,还包括:
若检测到控制设备发送的通信指令,生成提示信息;所述通信指令是所述控制设备检测到针至少一个显示窗口中目标显示窗口的操作满足预设条件的情况下生成的,所述目标显示窗口对应的目标第二用户账号为所述客户端登陆的账号。
根据本申请实施例的第三方面,提供一种控制设备,包括:
输入模块,用于针对至少一个客户端分别设置第一数据采集参数;所述第一数据采集参数包括采集音频数据的参数以及采集视频数据的参数中的至少一种;
指令生成模块,用于针对每一所述客户端,生成指示所述客户端将自身存储的当前数据采集参数设置为所述第一数据采集参数的参数设置指令,以得到所述至少一个客户端分别对应的参数设置指令;
第一发送模块,用于将所述至少一个客户端对应的参数设置指令分别发送至相应的所述客户端,以使得所述客户端控制自身所在的远程用户终端基于所述第一数据采集参数采集音视频数据。
根据本申请实施例的第四方面,提供一种远程用户终端,包括:
采集模块,用于接收参数设置指令,所述参数设置指令携带有控制设备设置的第一数据采集参数,所述第一数据采集参数包括采集音频数据的参数以及采集视频数据的参数中的至少一种;
设置模块,用于将自身存储的当前数据采集参数设置为所述第一数据采集参数;
控制模块,用于控制所述远程用户终端基于所述第一数据采集参数采集音视频数据;
第二发送模块,将所述音视频数据发送至所述控制设备。
根据本申请实施例的第五方面,提供一种数据处理系统,包括:
控制设备,用于执行如第一方面所示的数据处理方法;至少一个远程用户终端,每一所述远程用户终端,用于执行如第二方面所示的数据处理方法。
根据本申请的第六方面,提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述第一方面或者第二方面的各种可能实现方式中提供的方法。
经由上述的技术方案可知,与现有技术相比,本申请提供的一种数据处理方法中,可以基于控制设备针对一个或多个客户端分别设置第一数据采集参数,对于任一客户端而言,控制设备得到该客户端对应的第一数据采集参数后,可以生成参数设置指令。将所述参数设置指令发送至该客户端,该客户端在接收到参数设置指令后,会将自己存储的当前数据采集参数设置为第一数据采集参数,该客户端控制自身所在的远程用户终端采集远程用户侧的音视频数据时,会控制远程用户终端基于第一数据采集参数采集远程用户侧的音视频数据。也就是说,本申请实施例通过控制音视频数据的采集源头(即客户端)的采集参数变更的方式,使得音视频数据的采集源头采集到的音视频数据是符合要求的数据,因此控制设备接收到的音视频数据已经是符合要求的数据,无需再次处理即可满足输出要求,可以直接传输至演播室的显示屏,减少了控制设备侧的用户的工作量,节省了音视频数据处理时间,从而避免了节目直播过程中显示设备播放的音视频数据出现延时的情况。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本申请实施例提供的一种实施环境的架构图;
图2为本申请实施例提供的另一种实施环境的架构图;
图3为本申请实施例提供的又一种实施环境的架构图;
图4为本申请实施例提供的一种应用于控制设备的数据处理方法的一种实现方式的流程图;
图5为本申请实施例提供的控制设备显示一个或多个显示窗口的一种实现方式的示意图;
图6为本申请实施例提供的控制设备显示一个或多个显示窗口的另一种实现方式的示意图;
图7为本申请实施例提供的多个第二用户账号的分组示意图;
图8为本申请实施例提供的多种画面布局样式的示意图;
图9为本申请实施例提供的画面切换的示意图;
图10为本申请实施例提供的预览至少一个备用画面的示意图;
图11为本申请实施例提供的应用于运行有客户端的远程用户终端的数据处理方法的流程图;
图12为本申请实施例提供的在第一服务器设置信息的示意;
图13为本申请实施例提供的一种控制设备的结构示意图;
图14为本申请实施例提供的一种远程用户终端的结构示意图;
图15为本申请实施例提供的控制设备的一种实现方式的结构图;
图16为本申请实施例提供的远程用户终端的一种实现方式的结构图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请实施例提供了一种数据处理方法、控制设备、远程用户终端及数据处理系统。
在详细介绍本申请实施例提供的技术方案之前,先对本申请实施例所涉及的实施环境进行简单的介绍。本申请实施例涉及多种实施环境,本申请介绍但不限于以下三种。
第一种实施环境:如图1所示,为本申请实施例提供的一种实施环境的架构图。下述数据处理方法可以应用于该实施环境,该实施环境包括:控制设备101、至少一个远程用户终端102、显示设备103以及第一服务器104。
其中,控制设备101和远程用户终端102可以通过无线网络建立连接并通信。控制设备101和显示设备103可以通过无线网络或有线网络建立连接并通信。控制设备101和第一服务器104可以通过无线网络或有线网络建立连接并通信。远程用户终端102和第一服务器104可以通过无线网络建立连接并通信。
示例性的,远程用户终端102或控制设备101可以是任何一种可与用户通过键盘、触摸板、触摸屏、遥控器、语音交互或手写设备等一种或多种方式进行人机交互的电子产品,例如,手机、笔记本电脑、平板电脑、掌上电脑、个人计算机、可穿戴设备、智能电视、PAD等。
示例性的,控制设备101或第一服务器104可以是一台服务器,也可以是由多台服务器组成的服务器集群,或者是一个云计算服务器中心。
应注意的是,图1仅仅是一种示例,远程用户终端的类型可以有多种,不限于图1中的智能手机、笔记本电脑。控制设备的类型可以有多种,不限于图1中的电脑。图1中仅示出两个远程用户终端102,一个显示设备103,在实际应用中远程用户终端102的数目和显示设备的数目可以根据实际情况而定,并不限定于图1所示的数量。
每个远程用户终端102上安装有客户端,客户端可以为应用程序客户端或网页版客户端。
控制设备101,用于设置一个或多个客户端的第一数据采集参数;远程用户终端102中的客户端在接收到第一数据采集参数后,会将自身存储的当前数据采集参数设置为第一数据采集参数,并基于第一数据采集参数控制远程用户终端102采集该远程用户终端102侧的远程用户的音视频数据。
示例性的,在节目直播过程中,一个或多个远程用户作为节目嘉宾或节目观众可以通过自己的远程用户终端102观看直播节目,并通过远程用户终端102将自身采集的远程用户侧的音视频数据发送至控制设备101。
控制设备101接收到一个或多个客户端发送的音视频数据后,可以将一个或多个音视频数据发送至演播室的显示设备103,显示设备103播放接收到的一个或多个音视频数据,从而实现了远程用户参与到节目的录制中的目的。
示例性的,控制设备101以及远程用户终端102都安装有相应的应用程序,在执行上述操作之前,控制设备101侧的用户需要成功登陆控制设备101中的应用程序,远程用户需要成功登陆远程用户终端102中的客户端。示例性的,第一服务器104用于对控制设备101和远程用户终端102的登陆过程进行验证。
在一可选实现方式中,一个节目涉及的设备可以包括:一个或多个控制设备101、一个或多个显示设备103以及一个或多个远程用户终端102。其中,可以将上述设备划分至少一个设备集合,一个设备集合包括:一个控制设备101、该控制设备可以控制的一个或多个显示设备103、该控制设备101对应的一个或多个远程用户终端102。不同设备集合中的控制设备不同,一个控制设备仅可以控制属于同一设备集合的一个或多个显示设备103;一个远程用户终端102仅能够将自身采集的音视频数据发送至属于同一设备集合的控制设备。
示例性的,第一服务器104可以存储有控制设备登陆的第一用户账号对应的一个或多个第二用户账号;第一服务器104可以将第一用户账号发送至登陆有第二用户账号的远程用户终端102,以使得登陆第二用户账号的远程用户终端102“知道”将自身采集的音视频数据发送至登陆有第一用户账号的控制设备101。
示例性的,一个节目可以涉及一个或多个直播间,一个直播间对应一个设备集合,即对于每一直播间而言涉及的设备包括:一个控制设备101、一个或多个远程用户终端102、一个或多个显示设备103。
示例性的,若一个节目涉及一个或多个直播间,第一服务器104可以存储有一个或多个节目分别对应的直播间房间号,一个节目可以对应一个或多个直播间,所以一个节目可以对应一个或多个直播间房间号,第一服务器104还可以存储每一直播间房间号对应的控制设备101登陆的第一用户账号、第一用户账号对应的一个或多个远程用户终端102登陆的第二用户账号、第一用户账号对应的第三用户账号。显示设备登陆有第三用户账号。
第二种实施环境:如图2所示,为本申请实施例提供的另一种实施环境的架构图。下述数据处理方法可以应用于该实施环境,该实施环境包括:控制设备101、至少一个远程用户终端102、第二服务器201以及显示设备103。
在一可选实现方式中图2所示的实施环境架构图还可以包括第一服务器104。可选的,第一服务器104与第二服务器201可以为同一服务器,或者,第一服务器104与第二服务器201为不同服务器。
针对控制设备101、远程用户终端102、显示设备103、第一服务器104的说明可以参见图1所示的实施环境,这里不再赘述。
示例性的,第二服务器201可以是一台服务器,也可以是由多台服务器组成的服务器集群,或者是一个云计算服务器中心。
应注意的是,图2仅仅是一种示例,远程用户终端的类型可以有多种,不限于图2中的智能手机和笔记本电脑。控制设备的类型可以有多种,不限于图2中的电脑。图2中仅示出两个远程用户终端102,一个显示设备103,在实际应用中远程用户终端102的数目和显示设备的数目可以根据实际情况而定,并不限定于图2所示的数量。
每一远程用户终端102可以通过无线网络与第二服务器201建立连接并通信;控制设备101可以通过无线网络与第二服务器201建立连接并通信。
每个远程用户终端102基于第二服务器201与控制设备101进行通信,即如图1涉及的参数设置指令、远程用户终端102采集的音视频数据等均是通过第二服务器201转发的。
第三种实施环境:如图3所示,为本申请实施例提供的又一种实施环境的架构图。下述数据处理方法可以应用于该实施环境,该实施环境包括:控制设备101、至少一个远程用户终端102、显示设备103以及第三服务器301。
在一可选实现方式中,图3所示的实施环境还可以包括第一服务器104和/或第二服务器201。可选的,第一服务器104可以与第三服务器301为同一服务器,或者,第一服务器104可以与第三服务器301为不同服务器;可选的,第二服务器201与第三服务器301为同一服务器,或者,第二服务器201与第三服务器301为不同服务器。
针对控制设备101、远程用户终端102、显示设备103、第一服务器104的说明可以参见图1所示的实施环境,这里不再赘述。
针对第二服务器201的说明可以参见图2所示的实施环境,这里不再赘述。
示例性的,节目现场的录制设备302将录制的直播数据,发送至第三服务器301中。
示例性的,节目现场的录制设备302可以为摄像机、录像机等采集音视频的设备。节目现场可以包括一个或多个录制设备302,图3中仅示出一个录制设备302,实际应用中录制设备302的数目可以基于实际情况设定,这里不进行限制。
第三服务器301可以将直播数据发送至一个或多个远程用户终端102。
示例性的,若一个节目涉及一个或多个直播间(可以参见图1相应内容,这里不再赘述),可选的,对于任一远程用户终端102而言,远程用户终端102可以从第一服务器104中得到拉流地址;远程用户终端102基于已获取的拉流地址从第三服务器301中获取直播数据,并通过远程用户终端102中的客户端播放。
示例性的,若第三服务器301与第二服务器201为不同的服务器,第三服务器301可以直接将直播数据发送至远程用户终端102;示例性的,第三服务器301可以通过第二服务器201将直播数据发送至远程用户终端102。
本领域技术人员应能理解上述设备、终端或服务器仅为举例,其他现有的或今后可能出现的设备、终端或服务器如可适用于本公开,也应包含在本公开保护范围以内,并在此以引用方式包含于此。
结合上述实施环境,下面对本申请实施例提供的数据处理方法进行说明。
如图4所示,为本申请实施例提供的一种应用于控制设备的数据处理方法的一种实现方式的流程图。该方法在实施过程中包括以下步骤S401至步骤S403。
步骤S401:针对至少一个客户端分别设置第一数据采集参数。
所述第一数据采集参数包括采集音频数据的参数以及采集视频数据的参数中的至少一种。
示例性的,采集音频数据的参数包括但不限制于:采样率、声道数、音量、表征启动麦克风的信息以及表征关闭麦克风的信息中的一种或多种。
可以理解的是,采集音频数据的参数并不仅限于上述列举的参数,还可以包括其他和音频数据相关的参数,这里就不再一一列举了。
示例性的,采集视频数据的参数包括但不限制于:分辨率、帧率、视频码率、表征启动摄像头的信息以及表征关闭摄像头的信息中的一种或多种。
可以理解的是,采集视频数据的参数并不仅限于上述列举的参数,还可以包括其他和视频数据相关的参数,这里就不再一一列举了。
下面举例对分辨率进行说明。
假设控制设备可以接收并显示各客户端所在远程用户终端采集得到的音视频数据,控制设备侧的用户认为某个客户端所在远程用户终端采集的音视频数据的分辨率较低,则可以设置该客户端的第一数据采集参数,该第一数据采集参数包含分辨率,客户端接收到第一数据采集参数后,控制远程用户终端基于第一数据采集参数包含的分辨率采集视频数据,客户端此时采集得到的音视频数据就满足控制设备侧的用户的需求了。
下面举例对音量进行说明。
假设需要远程用户A与节目现场的明星B进行互动,但是担心远程用户A在与明星B的交流中出现引兴奋而引起的大声喊叫,可以基于控制设备设置远程用户A对应的远程用户终端A运行的客户端的第一数据采集参数,该第一数据采集参数包括音量A,客户端接收到第一数据采集参数后,控制远程用户终端A基于所述音量A采集音频数据,假设音量A比较小,即使远程用户A大声喊叫,但是远程用户终端A采集得到的音频数据的音量较低。
下面对表征启动麦克风的信息、表征关闭麦克风的信息、表征启动摄像头的信息、表征关闭摄像头的信息进行说明。
示例性的,表征启动麦克风的信息包括启动麦克风的时间和启动麦克风的指令中的一种或多种。表征关闭麦克风的信息包括关闭麦克风的时间和关闭麦克风的指令中的一种或多种。示例性的,表征启动摄像头的信息包括启动摄像头的时间和启动摄像头的指令中的一种或多种。表征关闭摄像头的信息包括关闭摄像头的时间和关闭摄像头的指令中的一种或多种。
下面以表征启动摄像头的信息包括启动摄像头的时间为例进行说明。其他类似,不再赘述。
假设节目组安排在上午8:00-8:20这段时间与远程用户A进行视频连线,那么,基于控制设备设置的第一数据采集参数包括启动摄像头的时间为即上午8点至8点20;客户端基于所述第一数据采集参数在上午8点至8点20这一时间段,控制远程用户终端102采集远程用户的视频数据;8点20以后或8点之前,远程用户A可以基于远程用户终端102观看节目的直播,但是远程用户终端102并不采集远程用户的视频数据。
下面以表征启动摄像头的信息包括启动摄像头的指令为例进行说明。其他类似,不再赘述。
仍以上述为例,若需要上午8点启动摄像头,那么,在上午8点时,在控制设备上设置的针对远程用户终端A中的客户端的第一数据采集参数包括启动摄像头的指令;远程用户终端A中的客户端接收到启动摄像头的指令后,启动远程用户终端A的摄像头以采集视频数据,在8点20以后,在控制设备上设置的针对远程用户终端A中的客户端的第一数据采集参数包括关闭摄像头的指令;远程用户终端A中的客户端接收到关闭摄像头的指令后,不调用远程用户终端A的摄像头,从而不再采集视频数据。
上面结合例子对部分参数进行说明,但是本申请并不限定需要针对客户端设置第一数据采集参数应用场景。
可选的,不同远程用户对应不同客户端,本申请实施例提供的针对至少一个客户端分别设置第一数据采集参数的方式包括但不限于以下3种。
第一种设置方式:若不同客户端对应的第一数据采集参数不同,在对客户端设置第一数据采集参数时,需要单独对每一客户端进行设置。
第二种设置方式:若不同客户端对应的第一数据采集参数相同,可以对多个客户端执行一键设置第一数据采集参数的操作。
在第二种设置方式中,针对多个客户端可以统一设置一次第一数据采集参数,无需单独对每一客户端进行设置。
在一可选实施例中,若不同客户端对应的第一数据采集参数相同,也可以单独对每一客户端进行设置。
第三种设置方式:若部分客户端对应的第一数据采集参数相同,另一部分客户端对应的第一数据采集参数相同;但是这两部分客户端对应的第一数据采集参数不同,那么,可以针对每部分客户端执行一键设置第一数据采集参数的操作。
在第三种设置方式中,针对对应的第一数据采集参数相同的客户端而言,可以统一设置一次第一数据采集参数,无需单独对每一客户端进行设置。
在一可选实施例中,步骤S401的实现方式有多种,本申请实施例提供但不限于以下两种。
第一种步骤S401的实现方式:接收至少一个客户端所在远程用户终端中用于采集音视频数据的采集模块对应的最大数据采集参数;针对任一客户端而言,获取针对所述客户端设置的第二数据采集参数;若所述第二数据采集参数小于或等于所述客户端对应的最大数据采集参数;将所述第二数据采集参数确定为所述第一数据采集参数;若所述第二数据采集参数大于该客户端对应的最大数据采集参数;将所述最大数据采集参数确定为所述第一数据采集参数。
示例性的,采集模块可以为摄像头和麦克风中的一种或多种。
示例性的,最大数据采集参数为采集音频数据的最大参数以及采集视频数据的最大参数中的至少一种。
示例性的,采集音频数据的最大参数包括但不限于:最大采样率以及最大音量中的一种或多种。
示例性的,采集视频的最大参数包括但不限于:最大分辨率、最大帧率以及最大视频码率中的一种或多种。
第二种步骤S401的实现方式:直接对至少一个客户端分别设置第一数据采集参数。不包括接收至少一个客户端所在远程用户终端中用于采集音视频数据的采集模块对应的最大采集参数。
步骤S402:针对每一所述客户端,生成指示所述客户端将自身存储的当前数据采集参数设置为所述第一数据采集参数的参数设置指令,以得到所述至少一个客户端分别对应的参数设置指令。
示例性的,参数设置指令可以携带有所述第一数据采集参数。参数设置指令用于指示所述客户端将自身存储的当前数据采集参数设置为所述第一数据采集参数。
对于任一客户端而言,当前数据采集参数为远程用户终端的客户端原有存储的数据采集参数。示例性的,当前数据采集参数可以与第一数据采集参数相同,也可以与第一数据采集参数不同。
可选的,不同客户端存储的当前数据采集参数可能相同,也可能不同。
当前数据采集参数包括:采集音频数据的参数以及采集视频数据的参数中的至少一种。针对当前数据采集参数的说明可以参见针对第一数据采集参数的说明,这里不再赘述。
步骤S403:将所述至少一个客户端对应的参数设置指令分别发送至相应的所述客户端,以使得所述客户端控制自身所在的远程用户终端基于所述第一数据采集参数采集音视频数据。
本申请提供的一种数据处理方法中,可以基于控制设备针对一个或多个客户端分别设置第一数据采集参数,对于任一客户端而言,控制设备得到该客户端对应的第一数据采集参数后,可以生成参数设置指令。将所述参数设置指令发送至该客户端,该客户端在接收到参数设置指令后,会将自己存储的当前数据采集参数设置为第一数据采集参数,该客户端控制自身所在的远程用户终端采集远程用户侧的音视频数据时,会控制远程用户终端基于第一数据采集参数采集远程用户侧的音视频数据。也就是说,本申请实施例通过控制音视频数据的采集源头(即客户端)的采集参数变更的方式,使得音视频数据的采集源头采集到的音视频数据是符合要求的数据,因此控制设备接收到的音视频数据已经是符合要求的数据,无需再次处理即可满足输出要求,可以直接传输至演播室的显示屏,减少了控制设备侧的用户的工作量,节省了音视频数据处理时间,从而避免了节目直播过程中显示设备播放的音视频数据出现延时的情况。
在一可选实现方式中,可能有客户端所在远程用户终端采集的音视频数据“不适合”发送至演播室的显示设备的情况,这里的“不适合”是指音视频数据的内容不适合其他用户观看,例如,音视频数据包括黄色视频,或者,音视频数据包含远程用户仪表不端庄的视频,或者,音视频数据包括远程用户口出恶言的音频等等。基于此,控制设备对应的用户可能需要观看一个或多个客户端的采集的音视频数据,以便监控一个或多个客户端对应的音视频数据是否“适合”发送至演播室的显示设备103。
示例性的,应用于控制设备的数据处理方法还可以包括以下步骤A11至步骤A12。
步骤A11:获取第一用户账号对应的至少一个第二用户账号。
所述第一用户账号为所述控制设备登录的账号,所述第二用户账号为所述客户端登录的账号。不同所述客户端对应不同的所述第二用户账号。
步骤A12:显示所述至少一个第二用户账号分别对应的显示窗口,一个所述第二用户账号对应的显示窗口用于显示登陆有所述第二用户账号的客户端发送的音视频数据。
在一可选实现方式中,对于图1或图2或图3所示实施环境而言,控制设备101和每一远程用户终端102均安装有应用程序,控制设备侧的用户可以基于第一用户账号登陆控制设备中的应用程序;远程用户可以基于第二用户账号登陆远程用户终端中的客户端。不同远程用户终端102中的客户端登陆的第二用户账号不同。
在一可选实现方式中,登陆第一用户账号的控制设备101,与,登陆第二用户账号的远程用户终端10位于同一直播间。
在一可选实现方式中,第一服务器104可以存储有不同节目对应的直播间,一个节目可能对应一个或多个直播间,第一服务器104还存储有每个直播间包含的一个或多个第二用户账号以及一个第一用户账号。
示例性的,不同直播间包含的控制设备对应的第一用户账号不同。
在一可选实施例中,由于第一服务器104存储有每个直播间包含的一个或多个第二用户账号,所以在远程用户基于第二用户账号登陆远程用户终端102的客户端的过程中,会将第二用户账号发送至第一服务器104;第一服务器104可以确定远程用户终端102登陆的第二用户账号,确定其需要进入的直播间(以直播间A为例),从而避免了远程用户终端错误连入其他直播间(非直播间A)的情况。“其他直播间”可以是指与直播间A属于同一节目的其他直播间,或者,与直播间A属于不同节目的其他直播间。
由于限定了直播间A包含的一个或多个第二用户账号,避免了其他用户账号(例如,其他节目对应的用户账号,或者,其他直播间(非直播间A)包含的用户账号)进入直播间A的情况。
由于限定了直播间A包含的一个第一用户账号,所以避免本节目的控制设备错误接入本节目的其他直播间,或本节目的控制设备错误连入其他节目的直播间,或,其他节目的控制设备错误连入本节目的直播间A的情况。
步骤A11的实现方式有多种,本申请实施例提供但不限于以下两种。
第一种步骤A11实现方式:接收第一服务器104发送的第一用户账号对应的所述至少一个第二用户账号。
示例性的,具体实现过程包括:步骤A111,第一服务器104接收控制设备发送的第一请求,第一请求携带第一用户账号;步骤A112,从预先存储的各目标第一用户账号对应的至少一个第二用户账号中,确定第一用户账号对应的至少一个第二用户账号;步骤A113,将第一用户账号对应的至少一个第二用户账号发送至控制设备101。
示例性的,第一请求可以为身份验证请求,或者,表征获得客户端的第二用户账号的请求。
示例性的,若一个直播间包括一个第一用户账号和至少一个第二用户账号,那么步骤A112具体为:确定包含所述第一用户账号的直播间;获取所述直播间包含的所有第二用户账号。
第二种步骤A11实现方式:接收至少一个客户端分别采集的音视频数据。其中,一个客户端所在远程用户终端采集的音视频数据携带有所述客户端登陆的第二用户账号;从至少一个音视频数据中,获得所述至少一个第二用户账号。
为了本领域技术人员更加理解本申请实施例提供的步骤A11至步骤A12,下面结合具体例子进行说明。如图5所示,为本申请实施例提供的控制设备显示一个或多个显示窗口的一种实现方式的示意图。
假设控制设备101对应5个客户端,5个客户端分别对应的显示窗口分别为显示窗口1、显示窗口2、显示窗口3、显示窗口4以及显示窗口5。
一个客户端对应的显示窗口可以显示该客户端所在远程用户终端采集的音视频数据。
示例性的,一个客户端对应的显示窗口还可以显示该客户端登陆的第二用户账号。
控制设备101侧的用户可以基于显示窗口显示的第二用户账号,或者,显示窗口显示的音视频数据,确定该显示窗口对应哪个用户。
在一可选实施例中,有时需要控制设备101侧的用户与远程用户终端102侧的用户进行一对一沟通,例如,远程用户的位置比较靠左,使得远程用户的远程用户终端采集的音视频数据不包括远程用户左侧部分内容,即远程用户左侧部分未被采集到,此时控制设备101侧的用户可能需要告知该远程用户向右移动。
为了便于控制设备101侧的用户与远程用户终端102侧的用户进行一对一沟通,即使得控制设备101侧的用户与远程用户终端102侧的用户的沟通隐私化处理,本申请实施例提供的应用于控制设备的数据处理方法还包括以下步骤B11至步骤B12。
步骤B11:若检测到针至少一个所述显示窗口中目标显示窗口的操作满足预设条件,采集所述控制设备在所述直播间发送的第一数据。所述目标显示窗口对应目标第二用户账号。
步骤B12:将所述第一数据发送至登陆所述目标第二用户账号的客户端;所述第一数据不能够发送至登陆除所述目标第二用户账号外的其他第二用户账号的客户端。
示例性的,第一数据包括:音频数据和/或视频数据。
在一可选实施例中,检测针至少一个所述显示窗口中目标显示窗口的操作是否满足预设条件的实现方式有多种,本申请实施例提供但不限于以下三种。
第一种:若检测到所述目标显示窗口对应的音频通信按键处于被触按的状态,确定检测到针对所述目标显示窗口的操作满足所述预设条件。若检测到所述目标显示窗口对应的音频通信按键处于未被触按的状态,确定检测到针对所述目标显示窗口的操作不满足所述预设条件。
可选的,一个客户端对应的显示窗口对应的音频通信按键可以为控制设备中的物理按键,如键盘中的一个或多个按键,也可以是虚拟按键。
可选的,显示窗口可以为音频通信按键,或者,显示窗口显示有音频通信按键,如图5所示的黑色圆圈51,或者,若显示窗口处于选定状态时,可以向左或向下或上或向右或悬浮于显示窗口显示菜单52,如图5所示,处于选中状态的显示窗口53的右侧显示的菜单52上设置有音频通信按键53。
图5示出的音频通信按键的形状仅为示例,本申请对此不进行限制,例如,音频通信按键的形状还可以为正方形、长方形、星形等等。
图5中示出了显示窗口显示有音频通信按键以及显示窗口处于选定状态时在显示窗口的右侧显示的菜单两种形式,但是并不是限定在实际应用中同时具有上述两种形式,在实际应用中,可以仅仅具有上述任一种形式,或者,同时具有上述两种形式。
第二种:若检测到针对所述目标显示窗口的触按轨迹为第一预设轨迹,确定检测到针对所述目标显示窗口的操作满足所述预设条件。若检测到针对所述目标显示窗口的触按轨迹为第二预设轨迹,确定检测到针对所述目标显示窗口的操作不满足所述预设条件。
示例性的,第一预设轨迹可以为“画圈”;示例性的,第二预设轨迹为“画叉”。
第三种:若接收到表征与目标第二用户账号进行通话的语音指令,确定检测到针对所述目标显示窗口的操作满足所述预设条件。若接收到表征与目标第二用户账号结束通话的语音指令,确定检测到针对所述目标显示窗口的操作不满足所述预设条件。
示例性的,语音指令可以为“与目标第二用户账号通话”或“与目标第二用户账号连线”。
示例性的,可以利用各显示窗口在控制设备中的显示位置,为各显示窗口设置相应的编号。如图5所示,显示窗口1、显示窗口2、显示窗口3、显示窗口4以及显示窗口5为相应编号,语音指令可以为:“与编号1通话”或“与编号1连线”。
综上,在上述三种实现方式中,为了避免除登陆有目标第二用户账号的客户端以外的其他客户端接收到控制设备发送的第一数据,即为了实现控制设备与目标第二用户账号的客户端“一对一通话”,本申请实施例可以通过以下两种方式实现。
第一种实现方式:若登陆有第一用户账号的控制设备与登陆有第二用户账号的远程用户终端位于同一直播间,控制设备与位于该直播间的登陆有第二用户账号的各客户端均具有音频通信通道,且在未检测到满足预设条件的操作的情况下,控制设备与位于该直播间的各客户端的音频通信通道均处于导通状态,此时,控制设备若在直播间发送第一数据,位于直播间的各客户端均可以接收到第一数据;若检测到针对目标显示窗口的操作满足预设条件的情况下,仅保留登陆有目标第二用户账号的客户端与控制设备的音频通信通道,断开除登陆有目标第二用户账号的客户端以外的客户端与控制设备的音频通信通道,此时,控制设备若在直播间发送第一数据,仅登陆有目标第二用户账号的客户端可以接收到的第一数据。
第二种实现方式:若登陆有第一用户账号的控制设备与登陆有第二用户账号的远程用户终端不具有音频通信通道;在未检测到满足预设条件的操作的情况下,控制设备与登陆有第二用户账号的各客户端不具有音频通信通道;若检测到针对目标显示窗口的操作满足预设条件,开启控制设备与登陆有目标第二用户账号的远程用户终端的音频通信通道,不建立控制设备与除登陆有目标第二用户账号的客户端以外的其他客户端的音频通信通道;若检测到针对目标显示窗口的操作不满足预设条件,关闭控制设备与登陆有目标第二用户账号的远程用户终端的音频通信通道。
在一可选实施例中,在控制设备与登陆有目标第二用户账号的客户端“一对一通话”时,若不需要登陆有目标第二用户账号的客户端对应的远程用户的回应,但是又担心登陆有目标第二用户账号的客户端对应的远程用户回应,可选的,可以设置登陆有目标第二用户账号的客户端对应的第一数据采集参数包括表征关闭麦克风的信息。登陆有目标第二用户账号的客户端接收到第一数据采集参数后,关闭安装有登陆有目标第二用户账号的客户端的远程用户终端的麦克风,即使该远程用户回应了,该远程用户终端也不会采集音频数据。
在一可选实施例中,由于控制设备101可以展示显示窗口,一个客户端对应的显示窗口用于显示客户端发送的音视频数据;可以理解的是,针对任一登陆有第二用户账号的客户端对应的显示窗口,若控制设备101未接收到该客户端发送的音视频数据,那么,该客户端对应的显示窗口无法显示音视频数据,可选的,可以控制该显示窗口显示预设图案,以提示控制设备侧的用户未接收到该客户端发送的音视频数据,从而及时联系登陆有该第二用户账号的客户端对应的远程用户,以确定该远程用户是否能够正常进行视频连线。
示例性的,预设图案可以为静态图像,也可以动态图像。示例性的,该预设图案可以为黑屏图案或雪花图案等。
为了让本领域技术人员更加理解本实施例,下面以预设图案为黑屏图案为例进行说明。如图6所示,为本申请实施例提供的控制设备显示一个或多个显示窗口的另一种实现方式的示意图。
图6与图5相对应,假设控制终端101对应5个登陆有第二用户账号的客户端,假设,一个远程用户还未基于第二用户账号登录远程用户终端102中的客户端,那么,显然该远程用户终端无法采集音视频数据,也无法将音视频数据发送至控制设备101,控制设备101可以在相应的显示窗口显示预设图案;或者,一个远程用户已经基于第二用户账号登录远程用户终端102中的客户端,但是该远程用户终端由于采集模块故障无法采集音视频数据,从而无法将音视频数据发送至控制设备101,那么控制设备101可以在相应的显示窗口显示预设图案。
在一可选实施例中,若登陆有第一用户账户的控制设备,与,登陆有第二用户账号的远程用户终端位于同一直播间,可能需要对多个登陆有第二用户账号的远程用户终端进行分组,属于同一组的各远程用户终端之间可以进行交互,不同组的各远程用户终端之间不能进行交互。
为了实现上述分组方法,本申请实施例提供的应用于控制设备的数据处理方法还包括以下步骤C11。
步骤C11:将各所述第二用户账号划分为至少两个用户集合。
其中,一个所述用户集合包括多个第二用户账号,同一所述用户集合包含的不同第二用户账号对应的客户端具有相同的属性标识,不同所述用户集合包含的不同第二用户账号对应的客户端具有不同的属性标识;一个所述客户端对应的属性标识是自身接收位于所述直播间的与自身具有相同属性标识的其他客户端在所述直播间发送的第二数据的依据。
为了让本领域技术人员更加理解上述分组方法,下面举例进行说明。如图7所示,为本申请实施例提供的多个第二用户账号的分组示意图。图7与图5相对应,相关介绍可以参见图5,这里不再赘述。
如图7所示,将5个第二用户账号划分为两个用户集合,分别为:用户集合1和用户集合2。其中,用户集合1中包括2个第二用户账号,分别为第二用户账号11以及第二用户账号12,用户集合2中包括3个第二用户账号,分别为第二用户账号13、第二用户账号14以及第二用户账号15。
假设登陆有第二用户账号11的客户端11具有属性标识a,登陆有第二用户账号12的客户端12具有属性标识a;登陆有第二用户账号13的客户端13具有属性标识b,登陆有第二用户账号14的客户端14具有属性标识b,登陆有第二用户账号15的客户端15具有属性标识b。其中属性标识b与属性标识a不同。
示例性的,属性标识可以用任一个或多个字符表示,上述仅为示例,并不对属性标识的表现形式进行限定。
示例性的,一个客户端对应的显示窗口上可以显示该客户端具有的属性标识;示例性的,一个客户端对应的显示窗口可以不显示该客户端具有的属性标识。示例性的,可以将属于同一用户集合的第二用户账号用虚线框出,如图7所示。示例性的,可以将属于同一用户集合的第二用户账号对应的显示窗口用相同样色标识。
客户端11、客户端12、客户端13、客户端14以及客户端15位于同一直播间,客户端11在该直播间发送的第二数据仅客户端12可以收到;客户端13发送的第二数据仅客户端14和客户端15可以收到。即通过属性标识设置不同用户集合之间的通话隔离。
示例性的,第二数据包括:音频数据和/或视频数据。
可以理解的是,通过属性标识设置不同用户集合之间的通信隔离的方式有多种,本申请实施例提供但不限于以下两种。
第一种实现方式:对于属于同一用户集合的各第二用户账号而言,若无音视频通信通道,建立各第二用户账号的音视频通信通道;若有音视频通信通道,保留音视频通信通道;对于属于不同用户集合的各第二用户账号而言,若具有音视频通信通道,中断该音视频通信通道;若无音视频通信通道,不进行处理。
由于同一用户集合包含的各第二用户账号对应的不同客户端之间具有音频通讯通道,因而可实现用户集合内彼此之间的通信;而不同用户集合包含的各第二用户账号对应的客户端之间不具有音频通讯通道,所以不能进行通信,从而实现了不同用户集合之间的通信隔离。
第二种实现方式:各登陆有第二用户账号的客户端发送的第二数据携带有属性标识以及直播间的标识;第一服务器或第二服务器或第三服务器创建有一个或多个直播间对应的业务实体对象,一个直播间对应的业务实体对象存储有位于该直播间的一个或多个客户端的属性标识以及通信地址;一个直播间对应的业务实体对象可以获得位于该直播间的各客户端发送的第二数据,业务实体对象将携带有属性标识a的第二数据转发至具有属性标识a的客户端的通信地址,不会将携带有属性标识a的第二数据转发至具有属性标识b的客户端的通信地址;同理,业务实体对象将携带属性标识b的第二数据发送至具有属性标识a的客户端的通信地址,不会将携带有属性标识b的第二数据转发至具有属性标识a的客户端的通信地址。
目前,控制设备101向演播室的显示设备103发送多个音视频数据后,显示设备103在显示接收到的音视频数据时,是音视频数据的显示样式是随机显示的,导致显示设备103显示的音视频数据杂乱无序;无法对显示设备103显示音视频数据的样式进行变更。针对于此本申请实施例提供的应用于控制设备的数据处理方法还包括以下步骤D11至D14。
步骤D11:接收至少一个所述客户端发送的音视频数据。
步骤D12:从至少一个音视频数据中,确定至少一个第一音视频数据。
示例性的,在节目直播过程中,远程用户的直播内容需要满足直播规范,如远程用户的穿着不宜太过暴露,直播语音不能涉及带有侮辱性的用语。为了保证节目直播的安全顺利进行,需要对从至少一个客户端发送的音视频数据中,确定满足直播规范的至少一个第一音视频数据。
示例性的,根据节目的流程,例如,在上午8点20分需要将远程用户A的音视频数据发送至显示设备103;在上述8点30分还需要将远程用户B的音视频数据发送至显示设备103。基于节目的流程,可以从至少一个音视频数据中,确定一个或多个第一音视频数据。
步骤D13:从预设的至少一个画面布局样式中,确定第一画面布局样式。
一个画面布局样式包括用于显示音视频数据的显示区域的个数,以及,每个所述显示区域的位置信息。
示例性的,预设的至少一个画面布局样式可以是从第一服务器104中得到的;示例性的,预设的至少一个画面布局样式可以是控制设备预先存储的;示例性的,预设的至少一个画面布局样式可以是控制设备侧的用户在控制设备上设置的。
示例性的,步骤D12确定的第一音视频数据的数目不同,对应的画面布局样式不同;示例性的,步骤D12确定的第一音视频数据的数目相同,可以选择的画面布局样式也可能有多种。
为了本领域技术人员更加理解本申请实施例提供的画面布局样式,下面举例进行说明,如图8所示,为本申请实施例提供的多种画面布局样式的示意图。
图8示出了9个画面布局样式,9个画面布局样式分为四类,第一类是包含一个显示区域的画面布局样式;第二类是包含两个显示区域的画面布局样式;第三类是包含三个显示区域的画面布局样式;第四类是包括五个显示区域的画面布局样式。本申请实施例将包含显示区域的数目相同的画面布局样式称为同一类画面布局样式。
可以理解的是,图8仅为示例,本申请实施例提及的画面布局样式还可以包括四个显示区域,或者,六个显示区域,或者,七个显示区域,…等等,本申请实施例并不对画面布局样式包含的显示区域的数目进行限定。
可以理解的是,图8仅为示例,本申请实施例并不对画面布局样式包含的显示区域的位置进行限定。
示例性的,同一类画面布局样式可能包括多个画面布局样式,例如,第二类包括两个画面布局样式,即画面布局样式81以及画面布局样式82,尽管这两个画面布局样式包含的显示区域数目均为2,但是,两个画面布局样式包含的显示区域的位置不同,画面布局样式81包含的两个显示区域的位置为一左一右,画面布局样式82包含的两个显示区域的位置为一上一下;第三类和第四类同理,这里不再赘述。
示例性的,一个画面布局样式包含的多个显示区域的尺寸可能相同,画面布局样式81包含的两个显示区域的尺寸相同;一个画面布局样式包含的多个显示区域的尺寸可能不同,如画面布局样式83包含的位于中间的显示区域的尺寸大于位于四周的四个显示区域的尺寸。
步骤D14:将所述至少一个第一音视频数据以及所述第一画面布局样式发送至显示设备。
在一可选实现方式中,将所述至少一个第一音视频数据以及所述第一画面布局样式包含的包括用于显示音视频数据的显示区域的个数,以及,每个所述显示区域的位置信息发送至显示设备103。
在一可选实现方式中,将所述第一画面布局样式对应的编号以及所述至少一个第一音视频数据发送至显示设备103。
相应的,显示设备103存储有预设的至少一个画面布局样式,以及预设的至少一个画面布局样式的编号。
示例性的,显示设备103存储的预设的至少一个画面布局样式可以是从第一服务器104获得的;示例性的,显示设备103存储的预设的至少一个画面布局样式可以是显示设备103侧的用户在显示设备103进行设置的。
显示设备103基于所述第一画面布局样式显示所述至少一个第一音视频数据。
步骤D11至步骤D14所示的技术方案可以实现音视频数据的筛选,保证了节目的顺利进行,同时对第一音视频数据在显示设备中画面布局进行设置,保证了直播画面的整洁有序。
在一可选实施例中,一个直播间对应一个控制设备、一个控制设备对应一个或多个显示设备。为了避免一个直播间对应的显示设备错误接收其他直播间对应的控制设备发送的音频数据以及画面布局样式,示例性的,在第一服务器104中设置一个或多个节目分别对应的直播间,每个直播间包含控制设备的第一用户账号,每个直播间包含的第一用户账号对应的第三用户账号。
示例性的,在显示设备103接收控制设备101发送的至少一个第一音视频数据以及第一画面布局样式之前,需要显示设备侧的用户基于第三用户账号登陆显示设备103中的应用程序。
示例性的,第一服务器104可以对第三用户账号进行验证。示例性的,第一服务器104将第一用户账号发送至登陆有第三用户账号的显示设备103中,显示设备103仅接收登陆有第一用户账号的控制设备发送的至少一个第一音视频数据以及第一画面布局样式。
示例性的,第一服务器104可以将第三用户账号发送至登陆有第一用户账号的控制设备,使得控制设备101仅将至少一个第一音视频数据以及第一画面布局样式发送至登陆有第三用户账号的显示设备103。
综上,将所述至少一个第一音视频数据以及所述第一画面布局样式发送至显示设备的步骤,包括:获取第一用户账号对应的第三用户账号;所述第一用户账号为所述控制设备登录的账号,所述第三用户账号为所述显示设备登录的账号。将所述至少一个第一音视频数据以及所述第一画面布局样式发送至登陆有所述第三用户账号的所述显示设备。
在本申请实施例中,控制设备和显示设备(一个或多个)为一一对应的关系,控制设备与直播间为一一对应的关系,从而避免一个直播间对应的显示设备错误接收其他直播间对应的控制设备发送的音视频数据以及画面布局样式的情况。
目前,控制设备101向演播室的显示设备103发送多个音视频数据后,显示设备103可以在相应的位置随机显示音视频数据,例如,基于接收多个音视频数据的接收顺序,从左到右依次显示各音视频数据。对于有显示位置要求的应用场景而言基于上述方法无法实现。下面举例对有显示位置要求的应用场景进行说明。
例如,一个远程用户为“大咖”明星,需要在显示设备103的中间位置显示该远程用户对应的音视频数据;或者,在多方会谈应用场景中,一方需要在显示设备103的左侧显示,另一方需要在显示设备103的右侧显示。上述场景仅为示例,并不对有显示位置要求的应用场景造成限定。
针对于此,本申请实施例提供的应用于控制设备的数据处理方法还包括以下步骤E11至E13。
步骤E11:对于每一所述第一音视频数据,获取采集所述第一音视频数据的客户端登陆的所述第二用户账号对应的用户身份信息,以得到所述至少一个第一音视频数据分别对应的用户身份信息。
在一可选实施例中,可以预先在第一服务器104中设置各第二用户账号分别对应的用户身份信息。
可以理解的是,由于每个直播间包含的各第二用户账号是预先设置好的,远程用户所持有的第二用户账号是节目组人员下发给各远程用户的,所以节目组人员是知道哪个远程用户对应哪个第二用户账号,所以可以预先在第一服务器104中设置各第二用户账号分别对应的用户身份信息。
示例性的,用户需要基于第四用户账号登陆第一服务器104;然后再第一服务器104上设置相应信息,例如,设置各第二用户账号分别对应的用户身份信息。
可以理解的是,不同应用场景用户身份信息不同,例如,针对辩论赛的应用场景,用户身份信息可以为:甲方一辩、甲方二辩、甲方三辩、甲方四辩、乙方一辩、乙方二辩、乙方三辩、乙方四辩以及主持人;针对娱乐应用场景,用户身份信息可以为:一线明星、二线明星、十八线明星、主持人、嘉宾、观众。
综上,在不用应用场景下用户身份信息不同,本申请实施例并不限定上述用户身份信息。
步骤E12:基于所述至少一个第一音视频数据分别对应的用户身份信息,确定所述至少一个第一音视频数据的显示位置信息。
示例性的,一个登陆有第二用户账号的客户端对应的用户身份信息携带有该第二用户账号对应的第一音视频数据的显示位置。
示例性的,控制设备101设置有各用户身份信息分别对应的显示位置信息,基于所述至少一个第一音视频数据分别对应的用户身份信息,确定所述至少一个第一音视频数据的显示位置信息。
示例性的,控制设备101侧的用户可以基于至少一个第一音视频数据分别对应的用户身份信息,人为确定至少一个第一音视频数据的显示位置信息。
步骤E13:将所述至少一个第一音视频数据的显示位置信息发送至所述显示设备。
在步骤D11至步骤D14中需要从多个音视频数据中确定至少一个第一音视频数据,在将至少一个第一音视频数据发送至显示设备103后,节目组人员需要告知相应的客户端其采集的第一音视频数据已经处于直播状态,例如,可以使得客户端对应的用户注意自己的仪态,目前,是通过打电话或者发短信的方式,告知相应的客户端其采集的第一音视频数据已经处于直播状态,不便捷。
为了更加便捷的告知相应的客户端其采集的第一音视频数据已经处于直播状态,本申请实施例提供的应用于控制设备的任一数据处理方法还包括以下步骤F11至步骤F12。
步骤F11:若检测到针对所述客户端设置状态标识的第一操作,生成状态标识设置指令。
所述状态标识为第一状态标识或第二状态标识。
其中,所述客户端对应所述第一状态标识表征所述客户端所在远程用户终端采集的音视频数据已经发送至所述显示设备,所述客户端对应所述第二状态标识表征所述客户端所在远程用户终端采集的音视频数据未发送至所述显示设备。
在一可选方式中,检测到针对所述客户端设置状态标识的第一操作的方式有多种,本申请实施例提供但不限于以下三种。
第一种:若检测到所述客户端对应的显示窗口的状态标识按键被触按,确定检测到针对所述客户端设置状态标识的第一操作。
示例性的,显示窗口可以显示状态标识按键,可选的,用户点击该状态标识按键时,可以展示下拉菜单,可以从下拉菜单中选择相应的状态标识。
示例性的,若显示窗口处于选定状态时,可以向左或向下或上或向右或悬浮于显示窗口显示菜单,可以从菜单中选择相应的状态标识。
第二种:若检测到针对所述客户端对应的显示窗口触按轨迹为第三预设轨迹,确定检测到针对所述客户端设置状态标识的第一操作。
可选的,第三预设轨迹可以为向左侧滑动,或向右侧滑动;若状态标识有多个,可以将各状态标识进行排列,每执行一次第三预设轨迹,可以切换至下一状态标识,直至切换至相应的状态标识。
第三种:若接收到表征针对所述客户端设置状态标识的语音指令,确定检测到针对所述客户端设置状态标识的第一操作。
示例性的,语音指令可以为:将第二用户账号对应的客户端的状态标识设置为第一状态标识。
步骤F12:向所述客户端发送所述状态标识设置指令,以指示所述客户端将自身的当前状态标识设置为所述状态标识设置指令携带的状态标识。
在本申请实施例可以实现控制设备与运行客户端的远程用户终端显示的状态标识同步,即可以通过在控制设备设置相应客户端的状态标识的方式,变更客户端的当前状态标识,从而达到提醒客户端侧的远程用户自己当前是否处于直播状态。如,若客户端当前的状态标识为第一状态标识,则表征运行该客户端的远程用户终端采集的第一音视频数据正处于直播状态,若客户端当前的状态标识为第二状态标识,则表征运行该客户端的远程用户终端采集的音视频数据未处于直播状态。无需打电话或发短信提醒。
在步骤D11至步骤D14中需要从多个音视频数据中确定至少一个第一音视频数据,从大量音视频数据中确定至少一个第一音视频数据的过程比较耗时,为了节省时间,可以对客户端设置状态标识,在选取至少一个第一音视频数据的过程中,不是从所有音视频数据中进行筛选,而是从具有相应状态标识的音视频数据中进行筛选,从而节省了时间。下面对该方法进行说明,该方法在实施过程中包括以下步骤G11至步骤G12。
在一可选实施例中,所述第二状态标识包括第一子状态标识以及第二子状态标识。一个所述客户端对应所述第一子状态标识表征所述客户端所在远程用户终端采集的音视频数据已达到发送至所述显示设备的要求;一个所述客户端对应所述第二子状态标识表征所述客户端所在远程用户终端采集的音视频数据未达到发送至所述显示设备的要求。
上述提及的“要求”可以包括:音视频数据中远程用户的穿着不能太过暴露、音视频数据中远程用户的音频不能涉及侮辱性的词语、传输音视频数据的网络稳定、传输音视频数据不能出现间断,例如不能出现黑屏。
步骤G11:从状态标识为所述第一子状态标识的客户端所在远程用户终端采集的音视频数据中,确定至少一个第二音视频数据。
步骤G12:从至少一个第二音视频数据中,确定至少一个第一音视频数据。
在一可选实施例中,控制设备向显示设备发送的至少一个第一音视频数据可能会出现异常,第一音视频数据可能会出现的异常情况包括但不限于:采集第一音视频数据的客户端的网络不稳定,导致显示设备显示的第一音视频数据出现卡顿现象;采集第一音视频数据的客户端所在远程用户终端的采集视频模块和/或采集音频模块发生损坏,导致显示设备显示的第一音视频数据仅包括音频数据或视频数据。
为了保证节目的正常运行,本申请实施例提供的应用于控制设备的任一数据处理方法还包括以下步骤H11,或步骤H12,或步骤H13。
步骤H11:针对每个所述第一音视频数据,若检测到表征所述第一音视频数据异常的信息,终止向所述显示设备传输所述第一音视频数据;将第二音视频数据发送至所述显示设备。
在步骤H11中,用第二音视频数据替换出现异常的第一音视频数据,显示在显示设备中。
示例性的,控制设备可以自动从至少一个第二音视频数据中确定一个或多个第二音视频数据,并发送至显示设备。其中,发送至显示设备的第二音视频数据的数目与出现异常的第一音视频数据的数目相同。
示例性的,控制设备侧的用户可以从至少一个第二音视频数据中选择一个或多个第二音视频数据,并发送至显示设备。其中,发送至显示设备的第二音视频数据的数目与出现异常的第一音视频数据的数目相同。
或者,
步骤H12:针对每个所述第一音视频数据,若未接收到第一音视频数据,将所述第二音视频数据发送至所述显示设备。
例如,若采集第一音视频数据的客户端所在的远程用户终端出现断网情况,或者,采集第一音视频数据的客户端所在的远程用户终端无音视频采集模块,那么,客户端不会向控制设备发送第一音视频数据,控制设备无法接收到第一音视频数据,因此用第二音视频数据替代该第一音视频数据发送至所述显示设备。
或者,
步骤H13:针对每个所述第一音视频数据,若检测到表征所述第一音视频数据异常的信息,将第一音频数据以及预设备用图像发送至所述显示设备,所述第一音视频数据包括所述第一音频数据,所述预设备用图像显示在所述显示设备中用于显示所述第一音视频数据的显示区域。
示例性的,若检测到第一音视频数据包含的第一音频数据正常,第一视频数据异常,如第一视频数据出现卡顿或黑屏现象。将第一音频数据以及预设备用图像发送至所述显示设备。
示例性的,预设备用图像可以为采集出现异常的第一音视频数据的客户端对应的远程用户的照片,或者,可以为其他图案的图像。
本申请实施例可实现对所述客户端的采集的音视频数据中的异常音视频数据的替换,保证了节目直播顺利进行。
为了本领域技术人员更加理解本申请实施例提供的上述技术方案,下面举例进行说明,如图9所示,为本申请实施例提供的画面切换的示意图。
图9左侧显示设备103显示的一个显示窗口出现黑屏现象,控制设备101将备用数据(可选的,备用数据可以为步骤H11或步骤H12中的第二音视频数据,或者,步骤H13中的预设备用图像)发送至显示设备103,图9右侧显示设备103接收到备用数据后,在相应显示窗口输出备用数据,从而让显示设备的画面回复正常,保证直播安全。
在一可选实施例中,在节目直播过程中,可能出现需要将显示设备显示的所有第一音视频数据进行整体替换的情况;例如,若因为节目流程,需要显示设备显示的用户集合2对应的音视频数据,假设显示设备当前显示用户集合1对应的音视频数据,那么,就需要用户集合2对应的音视频数据整体替换用户集合1对应的音视频数据;再例如,若由于显示设备当前显示的一个或多个第一音视频数据出现异常,所以需要整体替换显示设备当前显示的第一音视频数据。为了保证节目直播顺利进行,所述控制设备还设置有备用画面,以实现直播画面的整体替换。本申请实施例提供的应用于控制设备的数据处理方法还包括以下步骤J11。
步骤J11:若检测到切换至预设的至少一个备用画面中的目标备用画面的指令,将所述目标备用画面对应的备用数据集合发送至所述显示设备。
其中,一个所述备用画面对应一个备用数据集合,所述备用数据集合包括至少一个所述客户端所在远程用户终端采集的音视频数据以及第二画面布局样式,所述第二画面布局样式为预设的至少一个画面布局样式中任一画面布局样式。
可选的,备用数据集合包括的至少一个所述客户端所在远程用户终端采集的音视频数据包括:具有所述第一子状态标识的一个或多个客户端所在远程用户终端采集的音视频数据。
可选的,备用数据集合包括的至少一个所述客户端所在远程用户终端采集的音视频数据包括:具有所述第一状态标识的一个或多个客户端所在远程用户终端采集的音视频数据和具有所述第一子状态标识的一个或多个客户端所在远程用户终端采集的音视频数据。
在一可选实施例中,还包括确定目标备用画面步骤,在确定目标备用画面之前,还可以预览至少一个备用画面,以便从至少一个备用画面中确定目标备用画面。具体步骤包括步骤K11:若检测到预览至少一个备用画面的指令,显示至少一个所述备用画面,一个所述备用画面为基于所述备用画面对应的备用数据集合显示的画面的缩略图。
其中,一个所述备用画面对应一个备用数据集合,所述备用数据集合包括至少一个所述客户端所在远程用户终端采集的音视频数据以及第二画面布局样式,所述第二画面布局样式为预设的至少一个画面布局样式中任一画面布局样式。
示例性的,本申请实施例提及的一个备用画面对应的“缩略图”可以为基于所述备用画面对应的备用数据集合显示的画面中的一帧视频图像。
可以理解的是,基于所述备用画面对应的备用数据集合显示的画面中每一显示区域显示的音视频数据均为动态的视频,缩略图可以为静态图像。
示例性的,本申请实施例提及的一个备用画面对应的“缩略图”可以为包含备用数据集合(所述备用画面对应的备用数据集合)中至少一个所述客户端对应的用户的照片的缩略图。
如图10所示,为本申请实施例提供的预览至少一个备用画面的示意图。
图10中示出了4个备用画面,图10仅为示例,并不对备用画面的数目和备用画面包含的显示区域的数目和显示区域的位置信息进行限定。
备用画面对应的备用画面集合包含的第二画面布局样式与图8所示的画面布局样式相对应,具体可参见图8对画面布局样式的说明,这里不再赘述。
示例性的,若控制设备侧的用户从至少一个备用画面中选择出目标备用画面后,目标备用画面相应位置处可显示被选中图标,例如,图10中的“√”。图10中的“√”仅为示例,并不对被选中图标的表现形式进行限定。
上述技术方案中,在节目直播之前,可以根据节目流程,提前做好节目环节所需的画面组合,即备用画面,在直播过程中可随时一键切换,从而实现了更加快速的将音视频数据发送至显示设备的目的,保证了直播的实时性。
如图11所示,为本申请实施例提供的应用于运行有客户端的远程用户终端的数据处理方法的流程图。该方法在实施过程中包括以下步骤S1101至步骤S1104。
步骤S1101:接收参数设置指令。
所述参数设置指令携带有控制设备设置的第一数据采集参数,所述第一数据采集参数包括采集音频数据的参数以及采集视频数据的参数中的至少一种。
针对第一数据采集参数的说明可以参见图4所示的技术方案中针对第一数据采集参数的说明,这里不再赘述。
步骤S1102:将自身存储的当前数据采集参数设置为所述第一数据采集参数。
针对当前数据采集参数的说明参见图4所示技术方案中针对当前数据采集参数的说明,这里不再赘述。
步骤S1103:控制所述远程用户终端基于所述第一数据采集参数采集远程用户的音视频数据。
示例性的,步骤S1102至步骤S1103可以是客户端执行的步骤。
步骤S1104:将所述音视频数据发送至所述控制设备。
在一可选实施例中,若第一数据采集参数小于或等于该客户端所在的远程用户终端包含的采集模块的最大数据采集参数,控制所述客户端所在的远程用户终端基于第一数据采集参数采集音视频数据。
在一可选实施例中,若第一数据采集参数大于该客户端所在的远程用户终端包含的采集模块的最大数据采集参数,控制所述客户端所在的远程用户终端基于采集模块的最大数据采集参数采集音视频数据。
针对最大数据采集参数的说明参见图4中对最大数据采集参数的说明,这里不再赘述。
目前客户端进入直播间的过程如下,用户基于账号登陆客户端,从客户端中查找直播间并进入相应的直播间,操作繁琐。为了便捷用户操作,本申请实施例提供了应用于运行有客户端的远程用户终端中的数据处理方法还包括以下步骤L11至步骤L14。
步骤L11:若检测到登陆指令,获取所述客户端登陆的第二用户账号。
所述第二用户账号为所述客户端登录的账号。不同所述客户端对应不同的所述第二用户账号。
针对不同的节目设置不同的直播间,一个节目可能对应一个或多个直播间,一个直播间包括至少一个第二用户账号。
步骤L12:将所述第二用户账号发送至第一服务器。
步骤L13:接收所述第一服务器在身份验证通过的情况下反馈的拉流地址。
所述拉流地址是基于所述第二用户账号所在直播间的房间号生成的。
步骤L14:基于所述拉流地址从第三服务器获取所述直播间的直播数据。
本申请实施例中用户基于第二用户账号登陆客户端后,可以直接进入直播间,无需从客户端中查找直播间并进入相应的直播间,操作简便,且不会出现误进入其他直播间的情况。
在一可选实施例中,应用于运行有客户端的远程用户终端的数据处理方法还包括以下步骤M11至步骤M12。
步骤M11:接收状态标识设置指令。
所述状态标识设置指令携带第一状态标识或第二状态标识,所述第一状态标识表征所述客户端所在的远程用户终端采集的音视频数据已经发送至所述显示设备,一个所述客户端对应所述第二状态标识表征所述客户端所在远程用户终端采集的音视频数据未发送至所述显示设备。
步骤M12:将所述状态标识设置指令携带的状态标识设置成自身对应的状态标识。
本申请实施例可以实现运行客户端的远程用户终端与控制设备显示的状态标识同步,以提醒远程用户自身是否处于直播状态。如,若运行客户端的远程用户终端显示的状态标识为第一状态标识,则表征运行该客户端的远程用户终端采集的音视频数据正处于直播状态,若运行客户端的远程用户终端所显示的状态标识为第二状态标识,则表征运行该客户端的远程用户终端采集的音视频数据未处于直播状态。
在一可选实施例中,控制设备若检测到针至少一个所述显示窗口中目标显示窗口的操作满足预设条件,生成通信指令;客户端接收到通信指令后,生成提示信息。示例性的,该提示信息以文字或语音的形式显示在客户端所在直播间,且仅所述客户端可见。为了醒目,该提示信息可以设置字体颜色为较为鲜艳的颜色,或以闪烁方式显示。
上述本申请公开的实施例中详细描述了方法,对于本申请的方法可采用多种形式的装置实现,因此本申请还公开了多种装置,下面给出具体的实施例进行详细说明。
在一可选实施例中,本申请实施例提供的数据处理系统可以包括:控制设备101以及至少一个远程用户终端102中的客户端。
在一可选实施例中,本申请实施例提供的任一数据处理系统还可以包括:第一服务器104、第二服务器201以及第三服务器301中的一个或多个。
在一可选实施例中,本申请实施例提供的任一数据处理系统还可以包括:节目信息管理系统和时之砂延时播控系统中的一个或多个。
其中,第一服务器104可以接入节目信息管理系统进行管理,例如,第一服务器104可以通过节目信息管理系统预定演播室、预定节目现场录制设备等等。
其中,控制设备101可以接入时之砂延时播控系统,可以实现在线包装,例如,控制设备101将接收到的音视频数据发送至时之砂延时播控系统,时之砂延时播控系统可以在音视频数据上添加音频特效和/或视频特效,然后将添加音频特效和/或视频特效后的音视频数据发送至显示设备103。
为了本领域技术人员更加理解本申请实施例提供的数据处理系统,下面举例进行说明。
如图12所示,为本申请实施例提供的在第一服务器设置信息的示意图。
如图12所示,用户基于第四用户账号登陆第一服务器中的应用程序后,可以设置一个或多个节目对应的信息,如图12所示节目1以及节目2。
针对每一节目可以设置一个或多个直播间,例如,节目1包括3个直播间,分别为直播间1、直播间2以及直播间3,节目2包括一个直播间,为直播间4。
针对每一直播间设置该直播间包含的一个或多个第二用户账号以及第一用户账号;以及设置直播间或者第一用户账号对应的第三用户账号。例如,直播间1包括第二用户账号11、第二用户账号12,…,第二用户账号1N,第一用户账号1;直播间1对应第三用户账号1。直播间2、直播间3以及直播间4类似这里不再赘述。其中,M、N、L、Q为大于或等于1的正整数。M、N、L、Q可以不同,也可以相同。
示例性的,可以在第一服务器中设置每个用户账号的密码,密码可以为声纹、指纹、虹膜、字符串中的一种或多种。
由于第一服务器设置有直播间包含的一个或多个第二用户账号以及第一用户账号,所以对于远程用户终端的客户端,或,控制设备而言,用户基于相应用户账号登陆过程中,需要将用户账号以及用户密码发送至第一服务器。第一服务器基于用户账号和密码进行身份验证,身份验证成功后,生成拉流地给远程用户终端中的客户端或控制设备,从而使得远程用户终端中的客户端或控制设备进入直播间,若身份验证失败,无法进入直播间,从而实现了防止无关人员进入直播间,干扰直播的情况出现。
在一可选实施例中,第一服务器用于执行以下操作:用于针对每一所述客户端,接收所述客户端发送的第二用户账号;基于所述第二用户账号进行身份验证;若身份验证通过,确定所述第二用户账号所在的直播间的房间号;基于所述直播间的房间号生成拉流地址,将所述拉流地址以及所述直播间包含的第一用户账号发送至所述客户端;所述控制设备登陆有所述第一用户账号。
示例性的,用户基于第二用户账号和第二密码在客户端进行登陆的过程中,客户端将第二用户账号和第二密码发送至第一服务器,第一服务器基于第二用户账号和密码进行身份验证。
在一可选实施例中,第一服务器用于执行以下操作:第一服务器,用于接收所述控制设备发送的第一用户账号;基于所述第一用户账号进行身份验证;若身份验证通过,确定所述第一用户账号所在的直播间包含的至少一个第二用户账号,将至少一个所述第二用户账号发送至所述控制设备;和/或,若身份验证通过,将预先设置的至少一个画面布局样式发送至所述控制设备;一个画面布局样式包括用于显示音视频数据的显示区域的个数,以及,每个所述显示区域的位置信息。
示例性的,用户基于第一用户账号和第一密码在控制设备进行登陆的过程中,控制设备将第一用户账号和第一密码发送至第一服务器,第一服务器基于第一用户账号和密码进行身份验证。
在一可选实施例中,第一服务器用于执行以下操作:所述第一服务器,用于接收显示设备发送的第三用户账号,所述显示设备登陆有所述第三用户账号;基于所述第三用户账号进行身份验证;若身份验证通过,将预先设置的至少一个画面布局样式以及所述显示设备对应的所述控制设备的第一用户账号发送至所述显示设备。
示例性的,用户基于第三用户账号和第三密码在显示设备进行登陆的过程中,显示设备将第三用户账号和第三密码发送至第一服务器,第一服务器基于第三用户账号和第三密码进行身份验证。
可以理解的是,显示设备显示客户端所在远程用户终端采集的音视频数据时可能会出现“回声”。由于“回声”仅与音频数据有关,与视频数据无关,因此,下面以音频数据为例对“回声”的产生过程进行说明。
产生回声的过程包括以下步骤N11至步骤N22。
步骤N11:客户端A采集远程用户A发出的音频数据A1以及客户端A所在的远程用户终端A的设备声音(即直播间发出的直播数据),以得到音频数据A2;步骤N12:客户端A将音频数据A2发送至控制设备;步骤N13:控制设备将音频数据A2发送至显示设备103;步骤N14:显示设备103播放音频数据A2;步骤N15:节目现场的录制设备录制直播数据,该直播数据包括音频数据A2;步骤N16:客户端A通过直播间播放直播数据;步骤N17:客户端A继续采集远程用户A发出的音频数据A1以及客户端A所在的远程用户终端A的设备声音(即直播间发出的直播数据),以得到音频数据A2;步骤N18:客户端A将音频数据A2发送至控制设备;步骤N19:控制设备将音频数据A2发送至显示设备103;步骤N20:显示设备103播放音频数据A2;步骤N21:节目现场的录制设备录制直播数据,该直播数据包括音频数据A2;步骤N22:客户端A通过直播间播放直播数据。
在节目直播过程中,无间断的重复步骤N11至步骤N22,显示设备播放的音频数据A2包括客户端A对应的用户的至少两个声音,一个声音是远程用户终端A的设备声音,一个声音是采集远程用户A发出的音频数据A1,节目现场的用户可以听到客户端A对应的用户的“回声”。
为了解决上述“回声”问题,本申请实施例提供了应用于运行客户端的远程用户终端的以下方法,该方法包括步骤P11至步骤P12。
步骤P11:采集远程用户发出的音频数据A1。
步骤P12:将所述音频数据A1发送至控制设备;禁止将远程用户终端的设备声音发送至控制设备。
由于控制设备无法接收到客户端A所在远程用户终端A的设备声音,所以显示设备播放的音频数据仅客户端A对应的用户的一个声音,节目现场不会产生上述“回声”。
假设客户端A与客户端B位于同一直播间,客户端A对应的用户发出音频数据A1,音频数据A1可以通过直播间传输至客户端B;客户端A将音频数据A1发送至控制设备,控制设备将音频数据A1发送至显示设备,显示设备播放音频数据A1,节目现场的录制设备录制的直播数据包括音频数据A1,客户端B可以通过直播间得到并播放直播数据,对于客户端B而言,可以听到两个客户端A对应的用户声音,即听到“回声”。
为了解决上述“回声”问题,本申请实施例提供了应用于第三服务器的下述方法。该方法在实施过程中包括以下步骤Q11至步骤Q13。
步骤Q11:接收针对节目现场录制得到的第三音视频数据。
所述第三音视频数据为节目现场的录制设备录制得到的音视频数据,所述第三音频数据至少包括:显示设备输出的音频数据。
步骤Q12:从所述第三音视频数据中去除所述直播间对应的第二音频数据,以得到所述直播间对应的直播数据。
所述第二音频数据为位于所述直播间中的至少一个客户端在所述直播间发送的音频数据生成的。
可选的,第三服务器可以接收到各客户端在相应的直播间发送的第二数据,第二数据携带客户端所在直播间的标识;假设步骤Q12提及的直播间为直播间A,那么,第三服务器将携带直播间A的标识的第二数据一个或多个第二数据生成第二音频数据。
示例性的,直播间的标识为直播间的房间号。不同的直播间对应不同的直播间标识,因而不同的直播间所对应的直播数据不同。
步骤Q13:将所述直播间对应的直播数据发送至位于所述直播间的客户端。
由于所述直播间对应的直播数据中不包含所述直播间对应的第二音频数据,因而直播间中的客户端仅可以通过直播间听到与自己位于同一直播间的其他客户端的用户的声音,不会通过直播数据听到与自己位于同一直播间的其他客户端的用户的声音,即听不到上述“回声”。
如图13所示,为本申请实施例提供的一种控制设备的结构示意图。所述控制设备包括:
输入模块1301,用于针对至少一个客户端分别设置第一数据采集参数;所述第一数据采集参数包括采集音频数据的参数以及采集视频数据的参数中的至少一种;指令生成模块1302,用于针对每一所述客户端,生成指示所述客户端将自身存储的当前数据采集参数设置为所述第一数据采集参数的参数设置指令,以得到所述至少一个客户端分别对应的参数设置指令;第一发送模块1303,用于将所述至少一个客户端分别对应的参数设置指令分别发送至相应的所述客户端,以使得所述客户端控制自身所在的远程用户终端基于所述第一数据采集参数采集音视频数据。
本申请提供的一种控制设备中,可以基于控制设备中的输入模块1301针对一个或多个客户端分别设置第一数据采集参数,对于任一客户端而言,控制设备中的指令生成模块1302得到该客户端对应的第一数据采集参数后,可以生成参数设置指令。第一发送模块1303将所述参数设置指令发送至该客户端,该客户端在接收到参数设置指令后,会将自己存储的当前数据采集参数设置为第一数据采集参数,该客户端控制自身所在的远程用户终端采集远程用户侧的音视频数据时,会控制远程用户终端基于第一数据采集参数采集远程用户侧的音视频数据。也就是说,本申请实施例通过控制音视频数据的采集源头(即客户端)的采集参数变更的方式,使得音视频数据的采集源头采集到的音视频数据是符合要求的数据,因此控制设备接收到的音视频数据已经是符合要求的数据,无需再次处理即可满足输出要求,可以直接传输至演播室的显示屏,减少了控制设备侧的用户的工作量,节省了音视频数据处理时间,从而避免了节目直播过程中显示设备播放的音视频数据出现延时的情况。
可选的,所述控制设备还包括:第一获取模块,用于获取第一用户账号对应的至少一个第二用户账号;所述第一用户账号为所述控制设备登录的账号,所述第二用户账号为所述客户端登录的账号;不同所述客户端对应不同的所述第二用户账号;显示模块,用于显示所述至少一个第二用户账号分别对应的显示窗口,一个所述第二用户账号对应的显示窗口用于显示登陆有所述第二用户账号的客户端发送的音视频数据。
针对第一获取模块以及显示模块的说明可以参见针对步骤A11至步骤A12的说明,这里不再赘述。
可选的,登陆有所述第二用户账号的客户端与登陆有所述第一用户账号的控制终端位于同一直播间;所述控制设备还包括:第一采集模块,用于若检测到针对至少一个所述显示窗口中目标显示窗口的操作满足预设条件,采集所述控制设备在所述直播间发送的第一数据;所述目标显示窗口对应目标第二用户账号;第三发送模块,用于将所述第一数据发送至登陆所述目标第二用户账号的客户端;所述第一数据不能够发送至登陆除所述目标第二用户账号外的其他第二用户账号的客户端。
针对第一采集模块以及第三发送模块的说明可以参见针对步骤B11至步骤B12的说明,这里不再赘述。
可选的,所述第一采集模块包括:第一确定单元,用于若检测到所述目标显示窗口对应的音频通信按键处于被触按的状态,确定检测到针对所述目标显示窗口的操作满足所述预设条件;第二确定单元,用于若检测到所述目标显示窗口对应的音频通信按键处于未被触按的状态,确定检测到针对所述目标显示窗口的操作不满足所述预设条件。
可选的,所述控制设备的显示模块还用于:对任一所述第二用户账号对应的所述显示窗口,若未接收到登陆有所述第二用户账号的客户端发送的音视频数据,控制所述显示窗口显示预设图案。
可选的,登陆有所述第二用户账号的客户端与登陆有所述第一用户账号的控制终端位于同一直播间;所述控制设备还包括:分组模块,将各所述第二用户账号划分为至少两个用户集合;其中,一个所述用户集合包括多个第二用户账号,同一所述用户集合包含的不同第二用户账号对应的客户端具有相同的属性标识,不同所述用户集合包含的不同第二用户账号对应的客户端具有不同的属性标识;一个所述客户端对应的属性标识是自身接收位于所述直播间的与自身具有相同属性标识的其他客户端在所述直播间发送的第二数据的依据。
针对分组模块的说明可以参见针对步骤C11的说明,这里不再赘述。
可选的,所述控制设备还包括:第一接收模块,用于接收至少一个所述客户端发送的音视频数据。第一确定模块,用于从至少一个音视频数据中,确定至少一个第一音视频数据。第二确定模块,用于从预设的至少一个画面布局样式中,确定第一画面布局样式,一个画面布局样式包括用于显示音视频数据的显示区域的个数,以及,所述每个所述显示区域的位置信息。第四发送模块,用于将所述至少一个第一音视频数据以及所述第一画面布局样式发送至显示设备。
针对第一接收模块、第一确定模块、第二确定模块以及第四发送模块的说明可以参见针对步骤D11至步骤D14的说明,这里不再赘述。
可选的,所述第四发送模块包括:第一获取单元,用于获取第一用户账号对应的第三用户账号;所述第一用户账号为所述控制设备登录的账号,所述第三用户账号为所述显示设备登录的账号。第一发送单元,用于将所述至少一个第一音视频数据以及所述第一画面布局样式发送至登陆有所述第三用户账号的所述显示设备。
在本申请实施例中,控制设备和显示设备(一个或多个)为一一对应的关系,控制设备与直播间为一一对应的关系,从而避免一个直播间对应的显示设备错误接收其他直播间对应的控制设备发送的音视频数据以及画面布局样式的情况。
可选的,所述控制设备还包括:第二获取模块,用于对于每一所述第一音视频数据,获取采集所述第一音视频数据的客户端登陆的所述第二用户账号对应的用户身份信息,以得到所述至少一个第一音视频数据分别对应的用户身份信息。第三确定模块,用于基于所述至少一个第一音视频数据分别对应的用户身份信息,确定所述至少一个第一音视频数据的显示位置信息。第五发送模块,用于将所述至少一个第一音视频数据的显示位置信息发送至所述显示设备。
针对第二获取模块、第三确定模块以及第五发送模块的说明,可以参见步骤E11至E13的说明,这里不再赘述。
可选的,所述控制设备还包括:第一生成模块,用于若检测到针对所述客户端设置状态标识的第一操作,生成状态标识设置指令。所述状态标识为第一状态标识或第二状态标识;所述客户端对应所述第一状态标识表征所述客户端所在远程用户终端采集的音视频数据已经发送至所述显示设备,所述客户端对应所述第二状态标识表征所述客户端所在远程用户终端采集的音视频数据未发送至所述显示设备;第六发送模块,用于向所述客户端发送所述状态标识设置指令,以指示所述客户端将自身的当前状态标识设置为所述状态标识设置指令携带的状态标识。
针对第一生成模块以及第六发送模块的说明,可以参见步骤F11至步骤F12的说明,这里不再赘述。
基于第一生成模块以及第六发送模块可以实现控制设备与运行客户端的远程用户终端显示的状态标识同步,即可以通过在控制设备设置相应客户端的状态标识的方式,变更客户端的当前状态标识,从而达到提醒客户端侧的远程用户自己当前是否处于直播状态。如,若客户端当前的状态标识为第一状态标识,则表征运行该客户端的远程用户终端采集的第一音视频数据正处于直播状态,若客户端当前的状态标识为第二状态标识,则表征运行该客户端的远程用户终端采集的音视频数据未处于直播状态。无需打电话或发短信提醒。
可选的,所述第二状态标识包括第一子状态标识以及第二子状态标识;其中,一个所述客户端对应所述第一子状态标识表征所述客户端所在远程用户终端采集的音视频数据已达到发送至所述显示设备的要求;一个所述客户端对应所述第二子状态标识表征所述客户端所在远程用户终端采集的音视频数据未达到发送至所述显示设备的要求;所述第二确定模块包括:第三确定单元,用于从状态标识为所述第一子状态标识的客户端所在远程用户终端采集的音视频数据中,确定至少一个第二音视频数据。第四确定单元,用于从至少一个第二音视频数据中,确定至少一个第一音视频数据。
针对第三确定单元以及第四确定单元的说明可以参见步骤G11至步骤G12的说明,这里不再赘述。
可选的,还包括:第一处理模块,用于针对每个所述第一音视频数据,若检测到表征所述第一音视频数据异常的信息,终止向所述显示设备传输所述第一音视频数据;将所述第二音视频数据发送至所述显示设备;或,第二处理模块,用于针对每个所述第一音视频数据,若检测到表征所述第一音视频数据异常的信息,将第一音频数据以及预设备用图像发送至所述显示设备,所述第一音视频数据包括所述第一音频数据,所述预设备用图像显示在所述显示设备中用于显示所述第一音视频数据的显示区域。
针对第一处理模块以及第二处理模块的说明可以参见步骤H11和步骤H12的说明,这里不再赘述。
可选的,所述控制设备还包括:备用画面切换模块,用于若检测到切换至预设的至少一个备用画面中的目标备用画面的指令,将所述目标备用画面对应的备用数据集合发送至所述显示设备;其中,一个所述备用画面对应一个备用数据集合,所述备用数据集合包括至少一个所述客户端所在远程用户终端采集的音视频数据以及第二画面布局样式,所述第二画面布局样式为预设的至少一个画面布局样式中任一画面布局样式。
针对备用画面切换模块的说明可以参见步骤J11的说明,这里不再赘述。
可选的,所述控制设备还包括:备用画面预览模块,用于若检测到预览至少一个备用画面的指令,显示至少一个所述备用画面。一个所述备用画面为基于所述备用画面对应的备用数据集合显示的画面;其中,一个所述备用画面对应一个备用数据集合,所述备用数据集合包括至少一个所述客户端所在远程用户终端采集的音视频数据以及第二画面布局样式,所述第二画面布局样式为预设的至少一个画面布局样式中任一画面布局样式。
针对备用画面预览模块的说明可以参见步骤K11的说明,这里不再赘述。
如图14所示,为本申请实施例提供的一种远程用户终端的结构示意图。所述远程用户终端(运行有客户端)包括:指令获取模块1401,用于接收参数设置指令,所述参数设置指令携带有控制设备设置的第一数据采集参数,所述第一数据采集参数包括采集音频数据的参数以及采集视频数据的参数中的至少一种。设置模块1402,用于将自身存储的当前数据采集参数设置为所述第一数据采集参数。控制模块1403,用于控制所述远程用户终端基于所述第一数据采集参数采集远程用户的音视频数据。第二发送模块1404,将所述音视频数据发送至所述控制设备。
可选的,所述远程用户终端还包括:第三获取模块,用于若检测到登陆指令,获取表征用户身份信息的第二用户账号;第七发送模块,用于将所述第二用户账号发送至第一服务器;第二接收模块,用于接收所述第一服务器在身份验证通过的情况下反馈的拉流地址,所述拉流地址是基于所述第二用户账号所在直播间的房间号生成的;第四获取模块,用于基于所述拉流地址从第三服务器获取所述直播间的直播数据。
针对第三获取模块、第七发送模块、第二接收模块以及第四获取模块的说明,可以参见步骤L11至步骤L14的说明,这里不再赘述。
可选的,所述远程用户终端还包括:第三接收模块,用于接收状态标识设置指令。所述状态标识设置指令携带第一状态标识或第二状态标识,所述第一状态标识表征所述远程用户终端采集的音视频数据已经发送至所述显示设备,一个所述远程用户终端对应所述第二状态标识表征所述远程用户终端采集的音视频数据未发送至所述显示设备;状态设置模块,用于将所述状态标识设置指令携带的状态标识设置成自身对应的状态标识。
针对第三接收模块以及状态设置模块的说明可以参见骤M11至步骤M12的说明,这里不再赘述。
如图15所示,为本申请实施例提供的控制设备的一种实现方式的结构图,该控制设备包括:
存储器1501,用于存储程序;
处理器1502,用于执行所述程序,所述程序具体用于:
针对至少一个客户端分别设置第一数据采集参数;所述第一数据采集参数包括采集音频数据的参数以及采集视频数据的参数中的至少一种;
针对每一所述客户端,生成指示所述客户端将自身存储的当前数据采集参数设置为所述第一数据采集参数的参数设置指令,以得到所述至少一个客户端分别对应的参数设置指令;
将所述至少一个客户端对应的参数设置指令分别发送至相应的所述客户端,以使得所述客户端控制自身所在的远程用户终端基于所述第一数据采集参数采集音视频数据。
处理器1502可能是一个中央处理器CPU,或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit)。
控制设备还可以包括通信接口1503以及通信总线1504,其中,存储器1501、处理器1502以及通信接口1503通过通信总线1504完成相互间的通信。
如图16所示,为本申请实施例提供的远程用户终端的一种实现方式的结构图,该远程用户终端包括:
存储器1601,用于存储程序;
处理器1602,用于执行所述程序,所述程序具体用于:
接收参数设置指令,所述参数设置指令携带有控制设备设置的第一数据采集参数,所述第一数据采集参数包括采集音频数据的参数以及采集视频数据的参数中的至少一种;
将自身存储的当前数据采集参数设置为所述第一数据采集参数;
控制所述远程用户终端(运行有客户端)基于所述第一数据采集参数采集远程用户的音视频数据;
将所述音视频数据发送至所述控制设备。
处理器1602可能是一个中央处理器CPU,或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit)。
控制设备还可以包括通信接口1603以及通信总线1604,其中,存储器1601、处理器1602以及通信接口1603通过通信总线1604完成相互间的通信。
本发明实施例还提供了一种可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时,实现如上述应用于控制设备的任一所述的数据处理方法实施例包含的各个步骤。
本发明实施例还提供了一种可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时,实现如上述应用于远程用户终端的任一所述的数据处理方法实施例包含的各个步骤。
需要说明的是,本说明书中的各个实施例中记载的特征可以相互替换或者组合。对于装置或系统类实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块,或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下,在其它实施例中实现。因此,本申请将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (13)

1.一种数据处理方法,其特征在于,应用于控制设备,包括:
针对至少一个客户端分别设置第一数据采集参数;所述第一数据采集参数包括采集音频数据的参数以及采集视频数据的参数中的至少一种,所述采集音频数据的参数包括采样率、声道数、音量、表征启动麦克风的信息以及表征关闭麦克风的信息中的一种或多种,所述采集视频数据的参数包括分辨率、帧率、视频码率、表征启动摄像头的信息以及表征关闭摄像头的信息中的一种或多种;
针对每一所述客户端,生成指示所述客户端将自身存储的当前数据采集参数设置为所述第一数据采集参数的参数设置指令,以得到所述至少一个客户端分别对应的参数设置指令;
将所述至少一个客户端对应的参数设置指令分别发送至相应的所述客户端,以使得所述客户端控制自身所在的远程用户终端基于所述第一数据采集参数采集音视频数据;
获取第一用户账号对应的至少一个第二用户账号;所述第一用户账号为所述控制设备登录的账号,所述第二用户账号为所述客户端登录的账号;不同所述客户端对应不同的所述第二用户账号,登陆有所述第二用户账号的客户端与登陆有所述第一用户账号的控制终端位于同一直播间;
显示所述至少一个第二用户账号分别对应的显示窗口,一个所述第二用户账号对应的显示窗口用于显示登陆有所述第二用户账号的客户端发送的音视频数据;
若检测到针对至少一个所述显示窗口中目标显示窗口的操作满足预设条件,采集所述控制设备在所述直播间发送的第一数据;所述目标显示窗口对应目标第二用户账号;
将所述第一数据发送至登陆所述目标第二用户账号的客户端;所述第一数据不能够发送至登陆除所述目标第二用户账号外的其他第二用户账号的客户端。
2.根据权利要求1所述数据处理方法,其特征在于,登陆有所述第二用户账号的客户端与登陆有所述第一用户账号的控制终端位于同一直播间;所述数据处理方法还包括:
将各所述第二用户账号划分为至少两个用户集合;
其中,一个所述用户集合包括多个第二用户账号,同一所述用户集合包含的不同第二用户账号对应的客户端具有相同的属性标识,不同所述用户集合包含的不同第二用户账号对应的客户端具有不同的属性标识;一个所述客户端对应的属性标识是自身接收位于所述直播间的与自身具有相同属性标识的其他客户端在所述直播间发送的第二数据的依据。
3.根据权利要求1所述数据处理方法,其特征在于,还包括:
接收至少一个所述客户端发送的音视频数据;
从至少一个音视频数据中,确定至少一个第一音视频数据;
从预设的至少一个画面布局样式中,确定第一画面布局样式,一个画面布局样式包括用于显示音视频数据的显示区域的个数,以及,每个所述显示区域的位置信息;
将所述至少一个第一音视频数据以及所述第一画面布局样式发送至显示设备。
4.根据权利要求3所述数据处理方法,其特征在于,还包括:
对于每一所述第一音视频数据,获取采集所述第一音视频数据的客户端登陆的所述第二用户账号对应的用户身份信息,以得到所述至少一个第一音视频数据分别对应的用户身份信息;
基于所述至少一个第一音视频数据分别对应的用户身份信息,确定所述至少一个第一音视频数据的显示位置信息;
将所述至少一个第一音视频数据的显示位置信息发送至所述显示设备。
5.根据权利要求3所述数据处理方法,其特征在于,还包括:
若检测到针对所述客户端设置状态标识的第一操作,生成状态标识设置指令;
其中,所述状态标识为第一状态标识或第二状态标识;所述客户端对应所述第一状态标识表征所述客户端所在远程用户终端采集的音视频数据已经发送至所述显示设备,所述客户端对应所述第二状态标识表征所述客户端所在远程用户终端采集的音视频数据未发送至所述显示设备;
向所述客户端发送所述状态标识设置指令,以指示所述客户端将自身的当前状态标识设置为所述状态标识设置指令携带的状态标识。
6.根据权利要求3所述数据处理方法,其特征在于,所述数据处理方法还包括:
针对每个所述第一音视频数据,若检测到表征所述第一音视频数据异常的信息,终止向所述显示设备传输所述第一音视频数据;将预设备用音视频数据发送至所述显示设备;或,
针对每个所述第一音视频数据,若检测到表征所述第一音视频数据异常的信息,将第一音频数据以及预设备用图像发送至所述显示设备,所述第一音视频数据包括所述第一音频数据,所述预设备用图像显示在所述显示设备中用于显示所述第一音视频数据的显示区域。
7.根据权利要求1、4、5或6任一所述数据处理方法,其特征在于,还包括:
若检测到切换至预设的至少一个备用画面中的目标备用画面的指令,将所述目标备用画面对应的备用数据集合发送至显示设备;
其中,一个所述备用画面对应一个备用数据集合,所述备用数据集合包括至少一个所述客户端所在远程用户终端采集的音视频数据以及第二画面布局样式,所述第二画面布局样式为预设的至少一个画面布局样式中任一画面布局样式。
8.一种数据处理方法,其特征在于,应用于运行有客户端的远程用户终端,包括:
接收参数设置指令,所述参数设置指令携带有控制设备设置的第一数据采集参数,所述第一数据采集参数包括采集音频数据的参数以及采集视频数据的参数中的至少一种,所述采集音频数据的参数包括采样率、声道数、音量、表征启动麦克风的信息以及表征关闭麦克风的信息中的一种或多种,所述采集视频数据的参数包括分辨率、帧率、视频码率、表征启动摄像头的信息以及表征关闭摄像头的信息中的一种或多种;
将自身存储的当前数据采集参数设置为所述第一数据采集参数;
控制所述远程用户终端基于所述第一数据采集参数采集音视频数据;
将所述音视频数据发送至所述控制设备;
接收第一数据,所述第一数据为所述远程用户客户端满足预设条件采集所述控制设备在直播间发送的第一数据,所述第一数据不能够发送至登陆除目标第二用户账号外的其他第二用户账号的客户端,所述目标第二用户账号为满预设条件的远程用户客户端。
9.根据权利要求8所述数据处理方法,其特征在于,还包括:
若检测到登陆指令,获取所述远程用户终端登陆的第二用户账号;
将所述第二用户账号发送至第一服务器;
接收所述第一服务器在身份验证通过的情况下反馈的拉流地址,所述拉流地址是基于所述第二用户账号所在直播间的房间号生成的;
基于所述拉流地址从第三服务器获取所述直播间的直播数据。
10.一种控制设备,其特征在于,包括:
输入模块,用于针对至少一个客户端分别设置第一数据采集参数;所述第一数据采集参数包括采集音频数据的参数以及采集视频数据的参数中的至少一种,所述采集音频数据的参数包括采样率、声道数、音量、表征启动麦克风的信息以及表征关闭麦克风的信息中的一种或多种,所述采集视频数据的参数包括分辨率、帧率、视频码率、表征启动摄像头的信息以及表征关闭摄像头的信息中的一种或多种;
指令生成模块,用于针对每一所述客户端,生成指示所述客户端将自身存储的当前数据采集参数设置为所述第一数据采集参数的参数设置指令,以得到所述至少一个客户端分别对应的参数设置指令;
第一发送模块,用于将所述至少一个客户端对应的参数设置指令分别发送至相应的所述客户端,以使得所述客户端控制自身所在的远程用户终端基于所述第一数据采集参数采集音视频数据;
第一获取模块,用于获取第一用户账号对应的至少一个第二用户账号;所述第一用户账号为所述控制设备登录的账号,所述第二用户账号为所述客户端登录的账号;不同所述客户端对应不同的所述第二用户账号,登陆有所述第二用户账号的客户端与登陆有所述第一用户账号的控制终端位于同一直播间;
显示模块,用于显示所述至少一个第二用户账号分别对应的显示窗口,一个所述第二用户账号对应的显示窗口用于显示登陆有所述第二用户账号的客户端发送的音视频数据;
第一采集模块,用于若检测到针对至少一个所述显示窗口中目标显示窗口的操作满足预设条件,采集所述控制设备在所述直播间发送的第一数据;所述目标显示窗口对应目标第二用户账号;
第三发送模块,用于将所述第一数据发送至登陆所述目标第二用户账号的客户端;所述第一数据不能够发送至登陆除所述目标第二用户账号外的其他第二用户账号的客户端。
11.一种远程用户终端,其特征在于,包括:
指令获取模块,用于接收参数设置指令,所述参数设置指令携带有控制设备设置的第一数据采集参数,所述第一数据采集参数包括采集音频数据的参数以及采集视频数据的参数中的至少一种,所述采集音频数据的参数包括采样率、声道数、音量、表征启动麦克风的信息以及表征关闭麦克风的信息中的一种或多种,所述采集视频数据的参数包括分辨率、帧率、视频码率、表征启动摄像头的信息以及表征关闭摄像头的信息中的一种或多种;
设置模块,用于将自身存储的当前数据采集参数设置为所述第一数据采集参数;
控制模块,用于控制所述远程用户终端基于所述第一数据采集参数采集音视频数据;
第二发送模块,将所述音视频数据发送至所述控制设备;
所述指令获取模块,还用于接收第一数据,所述第一数据为所述远程用户客户端满足预设条件采集所述控制设备在直播间发送的第一数据,所述第一数据不能够发送至登陆除目标第二用户账号外的其他第二用户账号的客户端,所述目标第二用户账号为满预设条件的远程用户客户端。
12.一种数据处理系统,其特征在于,包括:
控制设备,用于执行如权利要求1至7任一所述数据处理方法包含的步骤;
至少一个远程用户终端,每一所述远程用户终端,用于执行如权利要求8至9任一所述数据处理方法包含的步骤。
13.根据权利要求12所述数据处理系统,其特征在于,还包括:
第一服务器,用于针对每一所述客户端,接收所述客户端发送的第二用户账号,所述客户端登陆有所述第二用户账号;基于所述第二用户账号进行身份验证;若身份验证通过,确定所述第二用户账号所在的直播间的房间号;基于所述直播间的房间号生成拉流地址,将所述拉流地址以及所述直播间包含的第一用户账号发送至所述客户端;所述控制设备登陆有所述第一用户账号;和/或,
第一服务器,用于接收所述控制设备发送的第一用户账号,所述控制设备登陆有所述第一用户账号;基于所述第一用户账号进行身份验证;若身份验证通过,确定所述第一用户账号所在的直播间包含的至少一个第二用户账号,将至少一个所述第二用户账号发送至所述控制设备;和/或,若身份验证通过,将预先设置的至少一个画面布局样式发送至所述控制设备;一个画面布局样式包括用于显示音视频数据的显示区域的个数,以及,每个所述显示区域的位置信息;和/或,
所述第一服务器,用于接收显示设备发送的第三用户账号,所述显示设备登陆有所述第三用户账号;基于所述第三用户账号进行身份验证;若身份验证通过,将预先设置的至少一个画面布局样式以及所述显示设备对应的所述控制设备的第一用户账号发送至所述显示设备;和/或,
所述控制设备与所述至少一个客户端位于同一直播间,所述数据处理系统还包括:第三服务器,用于接收针对节目现场录制得到的第三音视频数据;从所述第三音视频数据中去除所述直播间对应的第二音频数据,以得到所述直播间对应的直播数据,所述第二音频数据为位于所述直播间中的至少一个客户端在所述直播间发送的音频数据生成的;将所述直播数据发送至位于所述直播间的客户端。
CN202010849173.6A 2020-08-21 2020-08-21 数据处理方法、控制设备、远程用户终端及数据处理系统 Active CN111954004B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010849173.6A CN111954004B (zh) 2020-08-21 2020-08-21 数据处理方法、控制设备、远程用户终端及数据处理系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010849173.6A CN111954004B (zh) 2020-08-21 2020-08-21 数据处理方法、控制设备、远程用户终端及数据处理系统

Publications (2)

Publication Number Publication Date
CN111954004A CN111954004A (zh) 2020-11-17
CN111954004B true CN111954004B (zh) 2022-01-04

Family

ID=73359577

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010849173.6A Active CN111954004B (zh) 2020-08-21 2020-08-21 数据处理方法、控制设备、远程用户终端及数据处理系统

Country Status (1)

Country Link
CN (1) CN111954004B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113973213A (zh) * 2021-09-28 2022-01-25 上海信宝博通电子商务有限公司 远程推流控制方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109151497A (zh) * 2018-08-06 2019-01-04 广州虎牙信息科技有限公司 一种连麦直播方法、装置、电子设备及存储介质
CN110418149A (zh) * 2016-12-06 2019-11-05 广州华多网络科技有限公司 视频直播方法、装置、设备以及存储介质
CN111050220A (zh) * 2019-12-11 2020-04-21 深圳市米兰显示技术有限公司 一种媒体数据播放方法以及相关装置
CN111064980A (zh) * 2019-12-24 2020-04-24 深圳康佳电子科技有限公司 一种基于云端的音视频播放控制方法及系统

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10136845B2 (en) * 2011-02-28 2018-11-27 Abbott Diabetes Care Inc. Devices, systems, and methods associated with analyte monitoring devices and devices incorporating the same
CN105847957A (zh) * 2016-05-27 2016-08-10 天脉聚源(北京)传媒科技有限公司 一种基于移动终端的现场直播方法及装置
CN111526295B (zh) * 2020-04-30 2023-02-28 臻迪科技股份有限公司 音视频处理系统、采集方法、装置、设备及存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110418149A (zh) * 2016-12-06 2019-11-05 广州华多网络科技有限公司 视频直播方法、装置、设备以及存储介质
CN109151497A (zh) * 2018-08-06 2019-01-04 广州虎牙信息科技有限公司 一种连麦直播方法、装置、电子设备及存储介质
CN111050220A (zh) * 2019-12-11 2020-04-21 深圳市米兰显示技术有限公司 一种媒体数据播放方法以及相关装置
CN111064980A (zh) * 2019-12-24 2020-04-24 深圳康佳电子科技有限公司 一种基于云端的音视频播放控制方法及系统

Also Published As

Publication number Publication date
CN111954004A (zh) 2020-11-17

Similar Documents

Publication Publication Date Title
CN105072504B (zh) 一种影院的弹幕播放方法、装置及系统
WO2017173793A1 (zh) 一种视频投屏方法及装置
CN107872732B (zh) 一种自助式互动视频直播系统
CN108401192A (zh) 视频流处理方法、装置、计算机设备及存储介质
WO2018000648A1 (zh) 交互信息显示方法、装置、服务器及终端
WO2015078199A1 (zh) 直播互动方法、装置、客户端、服务器及系统
WO2017181594A1 (zh) 一种视频显示方法及装置
US20190362053A1 (en) Media distribution network, associated program products, and methods of using the same
CN103067776A (zh) 节目推送方法、系统及智能显示设备、云端服务器
EP3131257B1 (en) Program, information processing apparatus, and information processing system for use in an electronic conference system
CN110602529B (zh) 直播监控方法、装置、电子设备和机器可读存储介质
CN108259923B (zh) 一种视频直播方法、系统及设备
CN111711528B (zh) 网络会议的管控方法、装置、计算机可读存储介质及设备
CN114422460B (zh) 一种在即时通信应用中建立同屏交流分享的方法、系统
CN112492329B (zh) 直播方法和装置
CN109819324A (zh) 一种信息推荐方法和装置及计算机可读存储介质
CN111901695B (zh) 视频内容截取方法、装置和设备及计算机存储介质
CN111954004B (zh) 数据处理方法、控制设备、远程用户终端及数据处理系统
JP2019503139A (ja) チャンネル変更に基づいたトリガフィーチャを有するコンピューティングシステム
WO2018000743A1 (zh) 一种用于跨设备群聊的方法及电子设备
WO2017181595A1 (zh) 一种视频显示方法及装置
CN108882004B (zh) 视频录制方法、装置、设备及存储介质
WO2014121148A1 (en) Video mail capture, processing and distribution
US10375447B1 (en) Asynchronous video conversation systems and methods
CN114466208B (zh) 直播记录处理方法、装置、存储介质及计算机设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20221202

Address after: 1402, Floor 14, Block A, Haina Baichuan Headquarters Building, No. 6, Baoxing Road, Haibin Community, Xin'an Street, Bao'an District, Shenzhen, Guangdong 518000

Patentee after: Shenzhen Yayue Technology Co.,Ltd.

Address before: 518000 Tencent Building, No. 1 High-tech Zone, Nanshan District, Shenzhen City, Guangdong Province, 35 Floors

Patentee before: TENCENT TECHNOLOGY (SHENZHEN) Co.,Ltd.

TR01 Transfer of patent right