CN114845123A - 直播交互方法、装置、设备和存储介质 - Google Patents

直播交互方法、装置、设备和存储介质 Download PDF

Info

Publication number
CN114845123A
CN114845123A CN202110144228.8A CN202110144228A CN114845123A CN 114845123 A CN114845123 A CN 114845123A CN 202110144228 A CN202110144228 A CN 202110144228A CN 114845123 A CN114845123 A CN 114845123A
Authority
CN
China
Prior art keywords
live broadcast
live
connection
data
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110144228.8A
Other languages
English (en)
Inventor
刘士博
丁建栋
何永继
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba Group Holding Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Priority to CN202110144228.8A priority Critical patent/CN114845123A/zh
Priority to US17/585,374 priority patent/US20220248066A1/en
Publication of CN114845123A publication Critical patent/CN114845123A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/27Server based end-user applications
    • H04N21/274Storing end-user multimedia data in response to end-user request, e.g. network recorder
    • H04N21/2743Video hosting of uploaded data from client
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21Server components or server architectures
    • H04N21/218Source of audio or video content, e.g. local disk arrays
    • H04N21/2187Live feed
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21Server components or server architectures
    • H04N21/222Secondary servers, e.g. proxy server, cable television Head-end
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25866Management of end-user data
    • H04N21/25875Management of end-user data involving end-user authentication
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25866Management of end-user data
    • H04N21/25891Management of end-user data being end-user preferences
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/472End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47202End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting content on demand, e.g. video on demand
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/472End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47205End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for manipulating displayed content, e.g. interacting with MPEG-4 objects, editing locally
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/478Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/488Data services, e.g. news ticker
    • H04N21/4882Data services, e.g. news ticker for displaying messages, e.g. warnings, reminders
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85Assembly of content; Generation of multimedia applications
    • H04N21/854Content authoring
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/141Systems for two-way working between two video terminals, e.g. videophone

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Graphics (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本申请实施例提供了一种直播交互方法、装置、设备和存储介质,以提高直播的扩展性。该方法应用于连接多个直播端的直播协同服务端,所述直播协同服务端可连接多个直播服务提供方,包括:接收第一直播端发送的直播请求;提供可连线的一或多个第二直播端清单给第一直播端;接收来自第一直播端或第二直播端的确认结果;根据确认结果接收来自第一直播端和至少一个第二直播端的原始直播数据;处理原始直播数据以产生最终直播数据;发送最终直播数据给一或多个直播服务提供方。能够跨直播服务提供方实现连线,提高直播的可扩展性。

Description

直播交互方法、装置、设备和存储介质
技术领域
本申请涉及数据处理技术领域,特别是涉及一种直播交互方法和装置、一种电子设备和一种存储介质。
背景技术
随着互联网技术的不断发展,网络直播也逐渐兴起,包括各种形式的直播,如游戏直播、电商直播、才艺直播等各种形式的直播。
主播可以在各直播平台注册账号来进行直播,在不同平台上直播需要登录不同的账号。有时一个主播会与另外一个主播连麦来直播,即两个主播关联在一起进行直播,这种连麦形式的直播通常要求两个主播在同一个平台,而不同平台的主播不能连麦。
目前由于平台的局限,而导致直播只能在同一平台内的主播之间连线,使得直播具有局限性。
发明内容
本申请实施例提供了一种直播交互方法,以提高直播的扩展性。
相应的,本申请实施例还提供了一种数据处理装置、一种电子设备以及一种存储介质,用以保证上述方法的实现及应用。
为了解决上述问题,本申请实施例公开了一种直播交互方法,应用于连接多个直播端的直播协同服务端,所述直播协同服务端可连接多个直播服务提供方,所述方法包括:接收第一直播端发送的直播请求;提供可连线的一或多个第二直播端清单给第一直播端;接收来自第一直播端或第二直播端的确认结果;根据确认结果接收来自第一直播端和至少一个第二直播端的原始直播数据;处理原始直播数据以产生最终直播数据;发送最终直播数据给一或多个直播服务提供方。
本申请实施例还公开了一种直播交互方法,用以使第一直播端可通过直播协同服务端同时在多个直播服务提供方进行直播,包括:提供直播的交互界面,交互界面包括平台设置和连线设置;接收直播用户对应的平台设置信息和连线设置信息;发送平台设置信息和连线设置信息给直播协同服务端;接收来自直播协同服务端的连线确认信息;获取第一原始直播数据并提供第一原始直播数据给直播协同服务端;接收来自直播协同服务端的最终直播数据;其中,所述平台设置包括可选择的多个直播服务提供方,连线设置包括多个可选择的第二直播端,最终直播数据包括至少部分第一原始直播数据。
本申请实施例还公开了一种直播交互方法,用以使第一直播端可通过直播协同服务端同时在多个直播服务提供方进行直播,所述第一直播端采用共享直播设备,所述方法包括:登录直播用户的直播账号;提供直播的交互界面,交互界面包括平台设置和连线设置;接收直播用户对应的直播选择信息;发送所述直播选择信息给直播协同服务端;接收来自直播协同服务端的连线确认信息,以确定与至少一个第二直播端的连接结果;获取第一原始直播数据并提供第一原始直播数据给直播协同服务端;接收来自直播协同服务端的最终直播数据,所述最终直播数据包括至少部分第一原始直播数据;发送退出请求给直播协同服务端。
本申请实施例还公开了一种直播交互方法,应用于连接多个直播端的直播协同服务端,所述直播协同服务端可连接多个直播服务提供方,所述方法包括:接收第一直播端的连线设置信息;依据所述连线设置信息查询一或多个第二直播端;提供可连线的一或多个第二直播端清单给第一直播端;接收来自第一直播端的连线发起请求,所述连线发起请求依据清单中选择的第二直播端生成;接收第二直播端的连线确认结果;依据所述连线确认结果,建立第一直播端和至少一个第二直播端的连线关系;接收第一直播端的第一原始直播数据和第二直播端的第二原始直播数据;依据所述连线关系,将第一原始直播数据和至少一个第二原始直播数据进行合成,得到最终直播数据;发送最终直播数据给直播服务提供方。
本申请实施例还公开了一种直播交互系统,用于呈现在直播用户的电子设备,以使直播用户可通过直播协同方同时在多个直播服务提供方进行直播,包括:直播界面单元、视频获取单元和通信单元,其中:直播界面单元,用以提供直播设置选项和接收直播用户的设置输入,包括:平台设置界面,提供可选择的多个直播服务平台;连线设置界面,提供可选择的其他直播用户;视频设置界面,提供可选择的视频设置参数;视频获取单元,用以拍摄视频;通信单元,用以与直播协同方传输设置信息和直播数据。
本申请实施例还公开了一种电子设备,包括:处理器;和存储器,其上存储有可执行代码,当所述可执行代码被执行时,使得所述处理器执行如本申请实施例中一个或多个所述的方法。
本申请实施例还公开了一个或多个机器可读介质,其上存储有可执行代码,当所述可执行代码被执行时,使得处理器执行如本申请实施例中一个或多个所述的方法。
与现有技术相比,本申请实施例包括以下优点:
在本申请实施例中,直播系统的直播协同服务端,所述直播协同服务端连接多个直播服务提供方的服务器,实现各直播服务提供方之间的交互,从而第一直播端可发起连线,与确认连线的第二直播端建立直播端组,该直播端的选取不局限于同一直播服务提供方,之后可将直播端组中直播端的直播数据进行合成,得到最终直播数据反馈给直播端的直播设备,并且推流给直播端所属的直播服务提供方的服务器,能够跨直播服务提供方实现连线,提高直播的可扩展性。
附图说明
图1是本申请实施例的一种直播系统的结构示意图;
图2是本申请的一种直播交互方法实施例的步骤流程图;
图3A、图3B是本申请实施例的一种连线画面的合成示例的示意图;
图4是本申请的另一种直播交互方法实施例的步骤流程图;
图5本申请实施例的一种直播交互示例的示意图;
图6是本申请的一种直播交互方法实施例的步骤流程图;
图7是本申请的另一种直播交互方法实施例的步骤流程图;
图8是本申请的再一种直播交互方法实施例的步骤流程图;
图9是本申请的一种直播交互装置实施例的结构框图;
图10是本申请的另一种直播交互装置实施例的结构框图;
图11是本申请一实施例提供的装置的结构示意图。
具体实施方式
为使本申请的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本申请作进一步详细的说明。
本申请实施例中可应用于直播领域,直播是指广播电视节目的后期合成、播出同时进行的播出方式。本申请的直播为基于网络的直播,通过网络传输直播视频。
本申请实施例可提供直播系统,该直播系统包括直播协同服务端和多个直播端,直播端的设备可包括共享直播设备和/或专属直播设备,专属直播设备指的是直播用户自己拥有的直播设备,共享直播设备指的是直播用户共享使用的直播设备。直播协同服务端可连接多个直播服务提供方的服务器设备,从而能够连接直播端和直播服务提供方,并给直播服务提供方的设备提供直播端对应的直播数据。其中,直播服务提供方可以理解为直播平台,从而通过直播协同服务端能够为各直播平台提供直播服务。如图1所示的一种直播系统结构图:
直播端1、2…n连接直播协同服务端,直播协同服务端可连接多个直播平台(即直播服务提供方),如直播平台A1、A2、…Am。其中,n和m为正整数。从而使用这些直播端的直播设备可通过直播协同服务端连接各个直播平台,通过直播平台进行直播。上述这些设备包括共享直播设备,共享直播设备可以理解为一种分时租赁的直播设备,直播用户可以租赁该共享直播设备,通过共享直播设备登录自己在直播网站的直播账号,从而直播协同服务端可连接相应的直播平台,为直播用户提供直播服务。此种模式下,直播用户可通过直播间的一套共享直播设备登录多个直播平台的直播账号来进行直播,节省设备资源。其中,直播设备,如直播间的共享直播设备可包括:视频采集设备、音频采集设备、灯光设备、主机设备以及网络设备等。例如可以采用摄像头等视频采集设备,采集直播的视频画面;可以采用麦克风和声卡的组合等音频采集设备,采集直播过程中主播的声音信息以及其他配乐、音效等音频信息;采用补光灯等灯光设备,在直播过程中调节灯光效果;采用直播主机来运行各种直播软件,并且接受外设的音视频流并推送到直播协同服务端,采用网络设备提供高速稳定的网络,连接直播间的直播设备和直播协同服务端。另外一些场景中,直播用户也可使用自己的直播设备连接直播协同服务端,通过该直播协同服务端一个或多个直播平台进行直播。另外一些场景中,在直播服务提供方、直播端授权的情况下,直播服务提供方的服务器也可连接直播端(图1未示出),通过直播协同服务端与其他直播服务提供方的服务器建立通信,实现直播端的跨直播平台的直播。
在上述架构下,直播协同服务端可连接多个直播平台的服务器,从而使得连接该直播协同服务端的直播端能够登录各个直播平台的账号进行直播,且可以支持一套设备登录多个平台进行直播,提高直播的效率。相应的,通过上述架构,直播协同服务端也可实现不同直播平台的互通,使得不同直播平台的主播可以实现连线。
参照图2,示出了本申请的一种直播交互方法实施例的步骤流程图。
步骤202,接收第一直播端发送的直播请求。
直播协同服务端可接收第一直播端发送的直播请求,该直播请求包括执行直播所需的各种请求,如直播请求包括:开启直播的直播开启请求,与其他直播端连线的直播连线请求等。
基于该直播请求可获取相应的直播信息,例如直播用户的身份信息、连线条件等。其中,身份信息包括登录信息以及其他身份信息,如会员信息、等级信息等,连线条件包括连线的筛选条件,如针对直播服务提供方的提供方条件,针对直播端的直播端条件等。
例如,可设置连线的直播平台即直播服务提供方作为提供方条件,也可指定连线的直播端如主播的主播名、主播的直播间标识等,还可设置一些条件筛选一些直播端,从而能够在较大范围内选择直播端进行连线。例如设置直播类型等条件,从而可接收到服务端反馈的可选的直播端,在这些可选择的直播端中可选择直播端来申请连线。
本申请实施例中,确认第一直播端的身份信息;根据身份信息查询第二直播端和/或直播服务提供方;根据查询的第二直播端和/或直播服务提供方生成直播选择信息;提供所述直播选择信息给第一直播端;直播选择信息包括可选择的第二直播端、直播服务提供方。第一直播端的身份信息可包括直播端的用户名、等级信息以及其他能够描述身份的身份信息。直播协同服务端根据该身份信息可提供直播选择信息给第一直播端,该直播选择信息用于对直播进行选择,例如在开启直播时选择直播服务提供方,在需要连线时选择第二直播端等,因此直播选择信息包括可选择的第二直播端、直播服务提供方。本申请实施例中,直播选择信息可在第一直播端登录时反馈,也可基于其请求反馈,具体可依据需求确定。例如在登录时反馈直播选择信息,从而便于直播用户选择直播服务提供方,也可选择想要连线的一个或多个第二直播端。另外一些场景中,直播选择信息可作为连线的一或多个第二直播端清单提供给第一直播端,便于选择要连线的第二直播端。
步骤204,提供可连线的一或多个第二直播端清单给第一直播端。
在第一直播端需要与其他直播端连线的情况下,直播协同服务端可提供可连线直播端清单,该可连线直播端清单包括可连线的一或多个第二直播端,第一直播端可从该清单中选择一个或多个第二直播端进行连线。其中,第一直播端可在直播请求中携带连线条件,直播协同服务端也可默认一些连线条件。第一直播端可理解为发起连线的直播端,第二直播端可理解为第一直播端之外的直播端,其可接收其他直播端的连线。
基于不同的连线条件可执行针对连线的精确匹配或智能匹配,例如连线条件包括指定的第二直播端,则可精确匹配到对应的第二直播端,又如,连线条件为针对直播服务提供方、第二直播端的一些条件,则可基于该连线条件进行匹配,确定符合条件的第二直播端,例如可以根据主播类型、身份信息等进行匹配,或者基于该第一直播端的历史连线数据等进行推荐等。
基于连线条件可筛选出一或多个第二直播端构成相应的可连线直播端清单,然后可发送给第一直播端。
步骤206,接收来自第一直播端或第二直播端的确认结果。
第一直播端可基于该清单选择想要连线的一个或多个第二直播端,然后可反馈选择的确认结果给直播协同服务端,直播协同服务端可基于该确认结果确定第一直播端想要连线的一个或多个第二直播端,相应的也要发送连线请求给想要连线的一个或多个第二直播端,第二直播端可确认是否连线,并发送相应的确认结果给直播协同服务端。直播系统服务端可基于确认结果确认进行连线的第一直播端和第二直播端。
其中,可接收来自第一直播端的连线选择结果,连线选择结果包括指定的一或多个第二直播端;根据连线选择结果发送连线请求给指定的第二直播端。在接收到第二直播端的确认结果后,可根据确认结果建立所述第一直播端和至少一个第二直播端之间的连线关系。将确认连线的第一直播端和至少一个第二直播端建立连线关系,如在连线记录中记录该连线关系等。可以记录连线直播组中各连线直播端的用户信息作为连线数据,例如针对每个连线直播端可记录用户标识、直播间信息,所属的直播服务提供方等信息;关系数据包括直播端组中第一直播端和第二直播端的对应关系,并且可标记出第一直播端,即发起连线的直播用户,如添加发起标识等。
步骤208,根据确认结果接收来自第一直播端和至少一个第二直播端的原始直播数据。
步骤210,处理原始直播数据以产生最终直播数据。
第一直播端和至少一个第二直播端可上传原始直播数据到直播系统服务端,后续可基于该连线关系处理原始直播数据,生成连线的最终直播数据。
其中,接收连线直播端上传的原始直播数据,其中,原始直播数据可为音频数据流和图像的视频数据流分两个数据流上传,然后将所述音频数据流和图像的视频数据流进行合成,得到对应的原始直播数据,也可为已经将音频和图像已经合成为视频数据流的原始直播流。例如,在使用共享直播设备时,各直播端在直播的过程中,可通过共享直播设备上传采集到的音频数据流和视频数据流,然后将音频数据流和视频数据流进行合成,得到对应的原始直播数据。
针对连线直播组中的直播端,由于各直播端的直播为连线形式的,因此还要将连线直播组中直播端的原始直播数据进行合成,确定对应的最终直播数据。即针对连线的形式,需要将连线的各直播端的原始直播视频合成为最终直播视频,因此可以依据所述连线关系确定第一直播端和至少一个第二直播端,然后获取连线直播组中每个直播端的原始直播数据,再按照设定规则将所述原始直播数据进行合成,得到至少一种最终直播数据。
其中,对于直播数据的合成规则可按照需求进行设置和选择,基于所需的设定规则进行合成。例如,设定规则为等分规则,则可不区分主次,各直播端可占据相同的屏幕空间,如图3A所示的示例中,两个、三个、四个直播端连线的情况下,各直播端的直播数据采用等分屏幕空间的方式进行拼接。设备规则也可包括分区规则,即区分连线的主次,不同的情况占据不同尺寸、位置的屏幕空间,例如以第一直播端为主,则第一直播端占据最大的屏幕空间,而其他直播端占据的屏幕空间相对较小,对于其他直播端所占据的屏幕空间也可进一步区分,又如以主视角为主,则每个直播端均可合成一个对应的最终直播数据,即在每个直播端的直播间中该直播端为主,其他直播端为次,对应进行直播视频的合成,如图3B所示。上述设定规则可依据需求设置,本申请实施例对此不做限制。
步骤212,发送最终直播数据给一或多个直播服务提供方。
在完成最终直播视频的合成后,可进行推流以实现各直播端的连线。其中,可将各连线直播端所对应的最终直播数据发送给对应直播端,还可将各连线直播端所对应的最终直播数据发送到对应直播端的直播服务提供方的服务器中,以使各服务器将最终直播数据推送到对应观看直播用户的用户设备处,完成直播。
其中,如果直播端通过直播服务提供方的服务器连接直播协同服务端,则针对这类直播端的最终直播数据由直播服务提供方的服务器转发。也即在连线的发起、执行等阶段中,如果直播设备直接与直播协同服务端交互,则各种数据可由直播协同服务端直接发送,如果直播设备不直接与直播协同服务端交互,则基于其直播服务提供方的服务器转发。
在连线的过程中,如果连线直播组中有第二直播端退出连线,则在该连线直播组对应的记录中删除退出的第二直播端的数据,包括在所述连线数据中删除所述退出的第二直播端对应的数据,如用户名、用户标识等数据,并且在关系数据中删除该第二直播端。后续退出连线的第二直播端的直播数据不会再与该连线直播组中直播端的原始直播数据进行合成。如果第一直播端退出连线,则该退出指示可理解为连线的结束指示,可相应可解散该连线直播组,结束该次连线。
在上述实施例的基础上,本申请实施例还提供了一种直播交互方法,用以使第一直播端可通过直播协同服务端同时在多个直播服务提供方进行直播。
参照图4,示出了本申请的另一种直播交互方法实施例的步骤流程图。
步骤402,提供直播的交互界面,交互界面包括平台设置和连线设置。
服务端可提供直播交互界面,发送直播的交互界面到第一服务端,从而在第一服务端显示该直播的交互界面。该交互界面包括平台设置和连线设置,所述平台设置包括可选择的多个直播服务提供方,连线设置包括多个可选择的第二直播端。
平台设置可提供可选择的多个直播服务提供方,可以选择一个或多个直播服务提供方,从而通过该直播协同服务端,第一直播端可在一个或多个直播平台上进行直播。其中,第一直播端在不同直播平台上可对应不同的直播账号,直播协同服务端可获取该第一直播端在各直播平台的直播账号,从而基于选择的一个或多个直播平台,登录相应的账号为其提供直播服务。
连线设置可提供多个可选择的第二直播端,如第二直播端的用户名、直播间标识等,当然在一些场景中,连线设置也可设置一些连线条件,从而接收直播协同服务端反馈的清单,确定多个可选择的第二直播端。
其中,在使用共享直播设备的情况下,直播用户可通过扫码等方式来获取设备使用的授权。因此用户通过手机等终端设备扫描共享直播设备的二维码等标识码之后,可以授权自己的身份信息给直播协同服务端。如可以发送设备使用请求给直播协同服务端,在设备使用请求中携带身份信息。直播协同服务端基于该身份信息确定直播用户的直播账号,并进行该直播账号的登录,反馈相应的设备使用结果给终端设备。也可发送指令给共享直播设备,共享直播设备可以登录该直播账号,后续可执行直播处理。本实施例中,用户扫码授权登录中,可以将扫码授权的身份信息与直播账号绑定,从而基于该身份信息可确定直播账号。在直播用户首次使用共享直播设备时,如果之前没有直播账号,可基于该身份信息创建直播账号,如果已经有直播账号,可将该直播账号与该身份信息绑定,再次使用时可直接完成登录。上述直播账号的提供可基于用户终端提供。
在另外一些实施例中,扫码授权的身份信息和直播用户的直播账号也可不绑定,即通过扫码授权使用共享直播设备后。共享直播设备作为第一直播端,可在该共享直播设备上显示登录界面,用户在该登录界面上输入登录信息,然后上传登录信息到直播协同服务端,以登录该直播用户的直播账号来进行直播。本申请实施例中,直播账号可为直播协同服务端的账号,也可为某一直播平台的账号,在直播协同服务端还可记录该账号所关联的其他账号,以便提供直播用户在一个或多个直播服务提供方的直播平台上的直播。
步骤404,接收直播用户对应的平台设置信息和连线设置信息。
步骤406,发送平台设置信息和连线设置信息给直播协同服务端。
基于上述在交互界面针对直播设置和连线设置的选择,直播端可接收直播用户对应的平台设置信息和连线设置信息,然后发送给直播协同服务端。
步骤408,接收来自直播协同服务端的连线确认信息。
直播协同服务端可执行连线的步骤,如上述实施例中提供清单、发送请求接收确认结果等步骤,从而可生成连线确认结果,该连线确认结果包括同意连线的至少一个第二直播端,从而第一直播端可接收来自直播协同服务端的连线确认信,并确认执行连线。
步骤410,获取第一原始直播数据并提供第一原始直播数据给直播协同服务端。
在完成直播设置、连线设置后,可以进行直播,第一直播端可提供原始直播数据,为便于区分,可称为第一原始直播数据,发送到直播协同服务端。
步骤412,接收来自直播协同服务端的最终直播数据。
直播协同服务端可如上述实施例进行数据的合成等处理,得到最终直播数据,然后反馈给第一直播端。其中,最终直播数据包括至少部分第一原始直播数据。
其中,还可接收直播用户对应的视频设置信息;发送视频设置信息给直播协同服务端;其中,最终直播数据符合视频设置信息。该视频设置信息用于设置视频的合成规则,服务端可基于该视频设置信息确定合成规则,进行最终视频合成。在另外一些场景中,视频设置信息还可包括直播数据的其他设置信息,如特效信息、美颜信息等,从而在最终直播数据中添加相应的特效、美颜等处理。
在上述实施例的基础上,本申请实施例提供了一种直播交互方法,从交互的交互角度描述直播端和直播协同服务端的交互处理过程,如图5所示:
步骤502,第一直播端在直播设备上登录直播账号。
直播用户要使用共享直播设备等直播设备,可通过扫码、预先申请(如预约时间)等多种方式进行授权确认,在接收到启动指令后可启动所述共享直播设备,然后直播用户可在共享直播设备上输入登录信息,共享直播设备接收到登录信息后可上传给直播协同服务端,直播协同服务端可基于该登录信息进行登录。该直播用户可作为第一直播端进行直播。
其中,在一些示例中,该登录信息可包括直播用户的用户名、密码等账号信息,也可包括所属的直播服务提供方等服务方信息,从而可以将账号信息发送给相应的直播服务提供方的服务器进行登录验证,在验证通过后可进行登录。在另外一些场景中,直播协同服务端也可与直播服务提供方的服务器通过交互预先共享用户信息,从而基于登录信息可确定该直播用户所属的直播服务提供方并进行登录验证,通过后向直播服务提供方的服务器发送相应的登录指示,从而实现直播用户作为第一直播端在对应直播平台的登录。
第一直播端完成登录后可开启直播,而后可与其他直播端进行连线,在另外一些场景中,也可与其他直播端连线后再开启直播,本申请实施例对连线的时机不做限制。
如果先直播再连线,则可通过第一直播端采集并上传音频数据流和视频数据流原始直播数据。在直播的过程中,可通过直播设备采集并上传音频数据流和视频数据流,如通过麦克风采集音频数据流,通过摄像头采集视频数据流,通过主机设备处理后,采用网络设备上传到直播协同服务端中,由直播协同服务端推流给相应的直播平台进行直播。而后可以进行连线设置,发起连线。
步骤504,第一直播端执行连线设置。
直播用户确定要与其他直播用户进行连线形式的直播后,可将该直播用户作为第一直播端,可以发送请求给直播协同服务端,从而可以进行连线的设置。可以获取直播协同服务端提供的直播的交互界面,并显示直播的交互界面,所述直播的交互界面包括连线设置控件,如平台设置控件、连线设置控件等。
直播用户可以在直播界面上触发相应的连线控件,通过该连线控件触发进行连线的发起,相应可生成连线设置请求给直播协同服务端,从而可接收相应的页面数据,基于该页面数据在第一直播端的直播设备上显示直播的交互界面,所述直播的交互界面包括连线设置控件。
连线设置控件用于进行连线的设置,例如可通过连线设置控件设置连线的直播平台即直播服务提供方,也可指定连线的主播,如主播名(或主播名)、直播间标识等,还可设置一些条件筛选一些主播,从而能够在较大范围内选择主播进行连线。例如设置直播类型等条件,从而可接收到直播协同服务端反馈的可选的主播,在这些可选择的主播中可选择主播作为第二直播端,从而申请连线。从而可依据对所述连线设置控件的触发,确定连线的第二直播端以及第二直播端所属的直播服务提供方。
相应的在直播协同服务端可接收查询条件,并依据查询条件查询连线查询信息,所述连线查询信息包括:服务方信息和/或用户信息;反馈所述连线查询信息。基于不同的查询条件可执行针对连线的精确匹配或智能匹配,例如查询条件包括指定的第二直播端即主播,则可精确匹配到对应的第二直播端,又如,查询条件为针对直播服务提供方、直播端的一些条件,则可基于该查询条件进行匹配,确定符合条件的主播,例如可以根据主播类型、身份信息等进行匹配,或者基于该第一直播端的历史连线数据等进行推荐等。
然后可以在直播的交互界面中选择指定的第二直播端,从而向这些第二直播端发起连线。
步骤506,第一直播端依据所述第二直播端生成连线发起请求,并发送所述连线发起请求。
在确定出连线的第二直播端以及第二直播端所属的直播服务提供方,可以生成连线发起请求,例如将第二直播端的用户标识、直播服务提供方的服务方信息等添加到连线发起请求中,发送给直播协同服务端。
步骤508,直播协同服务端依据所述连线发起请求确定至少一个第二直播端;向所述至少一个第二直播端的直播设备发送连线请求。
接收第一直播端的直播设备发送的连线发起请求,依据所述连线发起请求确定确认连线的第二直播端。其中,可以从连线发起请求确定至少一个第二直播端,然后向各第二直播端的直播设备分别发送连线请求。其中,在第二直播端也使用直播协同服务端的直播设备,则可由直播协同服务端直接给服务设备发送第二直播端的直播设备发送连线请求,如果第二直播端的直播设备不是直播协同服务端的直播设备,则服务端可通过直播服务提供方的服务器转发连线请求,给相应第二直播端。
步骤510,第二直播端发送连线响应。
第二直播端进行直播的过程中,可接收到第一直播端的连线请求,例如通过提示信息等方式显示连线请求,从而第二直播端可确认是否连线,并生成相应的连线响应后反馈。其中,连线响应可包括确认连线的响应,或拒绝连线的响应。
步骤512,生成连线确认结果并反馈。
服务端接收所述至少一个第二直播端的直播设备反馈的连线响应,确定至少一个确认连线的第二直播端。在接收到各第二直播端的连线响应后,可确定确认连线的第二直播端和拒绝连线的第二直播端,然后可生成对应的连线确认结果。
并且,服务端可建立第一直播端和各确认连线的第二直播端的连线关系。其中,可将第一直播端和确认连线的第二直播端作为直播端,建立直播端组。还可确定所述直播端组对应的连线数据,以及直播端之间的关系数据。
可以记录直播端组中各直播端的用户信息作为连线数据,例如针对每个直播端可记录用户标识、直播间信息,所属的直播服务提供方等信息;关系数据包括直播端组中第一直播端和第二直播端的对应关系,并且可编辑出第一直播端,即发起连线的直播用户,如添加发起标识等,也可添加到连线数据中。
从而可以在服务端记录直播过程中的连线情况,实现直播端之间的连线。
步骤514,第一直播端、第二直播端可发送原始直播数据给直播协同服务端。在另外一些场景中,第二直播端可发送原始直播数据给直播服务提供方的服务器,由直播服务提供方转发给直播协同服务端。
原始直播数据可为音频数据流和视频数据流分开传输的方式;则在直播协同服务端可将所述音频数据流和视频数据流进行合成,得到对应的直播数据。各直播端在直播的过程中,可通过直播设备上传采集到的音频数据流和视频数据流,然后将音频数据流和视频数据流进行合成,得到各直播用户所对应的直播数据。
针对连线直播端组中的直播端,由于各直播端的直播为连线形式的,因此还要将连线直播端组中直播端的直播数据进行合成,确定对应的最终直播数据。合成过程与上述实施类似,具体参照上述实施例部分。
步骤516,反馈最终直播数据。
在完成直播视频的合成后,可进行推流以实现各主播的连线。其中,可将各直播端所对应的最终直播数据发送给各直播端的直播设备,还可将各直播端所对应的最终直播数据发送到对应直播端的直播服务提供方的服务器中,以使各服务器将最终直播数据推送到对应观看直播的用户的用户设备处,完成直播。
其中,如果直播端的直播设备通过直播服务提供方的服务器连接服务端,则针对这类直播端的最终直播数据由直播服务提供方的服务器转发。也即在连线的发起、执行等阶段中,如果直播设备直接与服务端交互,则各种数据由服务端直接发送,如果直播设备不直接与服务端交互,则基于其直播服务提供方的服务器转发。
在连线的过程中,如果直播端组中有直播端退出连线,则在该直播端组对应的记录中删除退出的直播端的数据,包括在所述连线数据中删除所述退出的直播端对应的数据,如用户名、用户标识等数据,并且在关系数据中删除该直播端。后续退出连线的直播用户的直播数据不会再与该直播端组中直播端的直播数据进行合成。如果退出连线的直播用户为发起连线的第一直播端,则该退出指示可理解为连线的结束指示,可相应可解散该直播端组,结束该次连线。
从而通过上述过程,可以实现各直播用户之间的连线,连线不局限于单一的直播服务提供方,实现多直播服务提供方的融合处理,提高可扩展性。
直播系统的服务端,所述服务端连接多个直播服务提供方的服务器,实现各直播服务提供方之间的交互,从而第一直播端可发起连线,与确认连线的第二直播端建立直播端组,该直播端的选取不局限于同一直播服务提供方,之后可将直播端组中直播端的直播数据进行合成,得到最终直播数据反馈给直播端的直播设备,并且推流给直播端所属的直播服务提供方的服务器,能够跨直播服务提供方实现连线,提高直播的可扩展性。
在上述实施例的基础上,本实施例还提供了一种直播交互方法,应用于服务端。
参照图6,示出了本申请的一种直播交互方法实施例的步骤流程图。
步骤602,接收第一直播端发送的连线发起请求,依据所述连线发起请求确定确认连线的第二直播端。
直播协同服务端可以连接不同的直播服务提供方的服务器,从而支持直播用户使用直播设备,登录各直播平台进行直播。直播用户使用直播设备连接服务端,基于服务端与直播服务提供方的服务器的交互实现直播。
在直播过程中,如果想要与其他直播用户连麦即连线,可发起连线,完成连线相关的设置后,直播协同服务端提供可连线的一或多个第二直播端清单给第一直播端,第一直播端选择后可发送连线发起请求,相应的服务端可接收该连线发起请求。可以依据所述连线发起请求确定至少一个第二直播端;向所述至少一个第二直播端的直播设备发送连线请求;接收所述至少一个第二直播端的直播设备反馈的连线响应,确定至少一个确认连线的第二直播端。
该连线发起请求可携带请求连线的第二直播端的用户信息和所属直播服务提供方的服务方信息,用户信息如用户标识、用户名、直播间标识,直播间名称等,服务方信息如直播服务提供方的名称、标识等。从而可确定出想要连线的第二直播端,其中,可以确定出一个或多个第二直播端,然后针对每个第二直播端,分别向其直播设备发送连线请求,各直播用户可选择参与或拒绝连线,相应的可接收到各第二直播端的直播设备反馈的连线响应,基于该连线响应确定直播用户是否参与连线,可以确定出至少一个确认连线的第二直播端。
其中,第一直播端在直播过程中如果想要与其他直播用户连线,可基于直播的交互界面进行连线设置,从而发起连线。因此可提供直播的交互界面,该直播的交互界面可包括:连线设置控件。该连线设置控件可用于进行连线设置,从而能够触发针对连线的查询、发起等设置。
基于针对连线设置控件的触发,可生成对应的查询条件,可以发送查询条件到服务端,从而服务端可依据查询条件查询连线查询信息,所述连线查询信息包括:服务方信息和/或用户信息;反馈所述连线查询信息。用户信息如用户标识、用户名、直播间标识,直播间名称等,服务方信息如直播服务提供方的名称、标识等。从而可以便于第一直播端选择需要的第二直播端。例如第一直播端在直播的交互界面中输入第二直播端的用户名,从而将用户名作为查询条件,确定出对应的一个或多个第二直播端之后,可以得到对应的连线查询信息。又如,第一直播端在直播的交互界面中输入第二直播端的类型等,作为查询条件,相应的服务端可基于该查询条件进行查询,确定对应的连线查询信息。
本申请实施例中,由于连线是两个或以上直播用户共同进行直播的一种形式,因此通常会要求连线的直播用户均为在线的状态,也就是要求直播端为直播状态。在一些场景中,如果第二直播端为离线状态,即未开启直播,也可发送提示信息给第二直播端,使得第二直播端开启直播后再进行连线。
在另外一些场景中,连线也可为预约连线的形式,即第一直播端在发起连线时可以设置预约连线的预约时间,如在晚上8点开启连线等,从而针对直播端组中的直播端,如果在达到预约时间时处于直播状态,可自动开启连线。
步骤604,将所述第一直播端和确认连线的第二直播端作为直播端,建立直播端组并生成连线确认结果。
可以将所获取的第一直播端和确认连线的第二直播端作为直播端,确定所述直播端组对应的连线数据,并且建立直播端之间的关系数据,创建直播端组。也就是在服务端记录直播用户的连线关系,从而实现直播用户之间的连线。
例如可以在服务端的数据库中记录直播端组的记录,包括直播端组的祖标识,直播端组中各直播端的用户标识,所属直播服务提供方的服务方信息,当前的直播状态等信息,以及记录发起本次连线的第一直播端等数据。
而后可执行直播端组中直播端的连线。
步骤606,将所述直播端组中直播端的直播数据进行合成,确定对应的最终直播数据,并反馈给对应直播端的直播设备。
可以从各直播端的直播设备中获取对应的视频数据流和音频数据流,并合成得到直播数据。其中,每个直播用户在直播的过程中也可能够设置有相应的个性化设置,如美颜、美化、特效等,对于这些个性化设置可在最终直播数据时添加,从而所合成的直播数据为添加有个性化设置的直播数据。
然后可以判断该直播用户是否属于某一直播端组中的直播端,如果是,则执行连线合成。如果否则按照正常的直播流程,将直播数据反馈给对应直播用户的直播设备并推流到直播服务提供方服务器,以便发送给观看直播的用户的用户设备,实现直播。
针对各直播端的直播数据可进行连线的合成,其中,可基于设定规则将所述直播端的直播数据进行合成,得到至少一种最终直播数据。合成的方式如上述实施例所述,另外,连线设置有相应的连线效果设置,也可在合成的过程中添加,如一些画面特效、声音特效,以及相应的链接数据等各种所需条件的数据。
步骤608,向直播端所属的直播服务提供方的服务器推送所述最终直播数据,以便进行直播。
连线所合成的最终直播数据可以反馈给各直播端的直播设备,以便在直播端的直播设备处播放,也可向直播端所属的直播服务提供方的服务器推送所述最终直播数据,使得直播服务提供方的服务器将最终直播数据发送给观看直播的各用户的用户设备,从而能够观看相应的连线视频。
在连线的过程中,如果直播端组中有直播端退出连线,则在该直播端组对应的记录中删除退出的直播端的数据,包括在所述连线数据中删除所述退出的直播端对应的数据,如用户名、用户标识等数据,并且在关系数据中删除该直播端。后续退出连线的用户的直播数据不会再与该直播端组中直播端的直播数据进行合成。
如果退出连线的用户为发起连线的第一直播端,则该退出指示可理解为连线的结束指示,可相应可解散该直播端组,结束该次连线。
在上述实施例的基础上,本实施例还提供了一种直播交互方法,应用于第一直播端的直播设备。
参照图7,示出了本申请的另一种直播交互方法实施例的步骤流程图。
步骤702,显示直播的交互界面,所述直播的交互界面包括连线设置控件。
用户可以使用共享直播设备来来进行直播。一种示例中,共享直播设备通过扫码方式使用。则直播用户可通过手机等扫描直播设备上的二维码等条码信息,从而通过登录等方式进行授权,通过授权后可开启使用直播设备,然后可在直播设备上启动一个或多个直播APP(Application,应用程序),并在相应的APP上进行登录。在另外一些场景中,也可提供一个共享的直播APP,从而可以在该直播APP上选择一个或多个直播平台并进行账号登录。在一些示例中,可以通过登录一个账号来关联到各个直播平台上该直播用户的账号,在另外一些场景中也可分别登录不同直播平台的账号。
在完成登录后可开启直播,直播过程中直播用户想要采用连麦形式的直播,可以发起连线,此种情况下可以请求连线设置,相应可从服务端获取直播的交互界面,并显示该直播的交互界面。
步骤704,依据对所述连线设置控件的触发,确定连线的第二直播端以及第二直播端所属的直播服务提供方。
所述直播的交互界面包括连线设置控件,该连线设置控件用于进行连线设置,如可以选择想要连线的第二直播端或者第二直播端类型等,针对第二直播端可指定一个或多个直播服务提供方,也可不指定直播服务提供方,从而能够基于连线设置控件确定对应的查询条件,发送到服务端,服务端可基于该查询条件进行检索,确定符合查询条件的第二直播端,得到对应的连线查询信息。可以在直播的交互界面显示该连线查询信息,从而选择所需的一个或多个第二直播端,确定连线的第二直播端以及第二直播端所属的直播服务提供方,得到对应第二直播端的服务方信息和/或用户信息。
步骤706,依据所述第二直播端生成连线发起请求。
可以将第二直播端的服务方信息和/或用户信息添加到连线发起请求中,发送该连线发起请求,以便能够向各第二直播端发起连线。基于各第二直播端的连线响应确定确认连线的第二直播端。从而服务端将第一直播端和确认连线的第二直播端作为直播端构成直播端组,并且可记录相应的连线数据和关系数据,还可生成连线确认结果,反馈给直播端的直播设备。
步骤708,接收连线确认结果,以与确认连线的第二直播端建立直播端组。
其中,针对第一直播端和第二直播端均可反馈连线确认结果,该连线确认结果可提示建立连线的各直播用户,也可提示拒绝连线的直播用户等,可以依据需求确定。
连线建立之后,直播端的直播设备所采集的视频数据流和音频数据流可继续上传到服务端,服务端基于该视频数据流和音频数据流合成为给直播用户的直播数据,而针对直播端还要将其直播数据进行合成,得到对应的最终直播数据,也就是将针对本次连线的所有主播的视频数据进行合成。
步骤710,接收最终直播数据并播放,所述最终直播数据依据直播端组中直播端的直播数据合成得到。
各直播端的直播设备可接收最终直播数据并播放,观看直播的用户可基于直播服务提供方的推流获取最终直播数据并播放,实现对直播的观看。
在上述实施例的基础上,本实施例还提供了一种直播交互方法,应用于第二直播端的直播设备。
参照图8,示出了本申请的再一种直播交互方法实施例的步骤流程图。
步骤802,接收连线请求。
步骤804,在直播页面显示连线提示信息,所述连线提示信息依据连线请求确定。
各第二直播端的直播设备可接收到连线请求。其中,在第二直播端也使用服务端的直播设备,则可由服务端直接给服务设备发送第二直播端的直播设备发送连线请求,如果第二直播端的直播设备不是服务端的直播设备,则服务端可通过直播服务提供方的服务器转发连线请求,各相应第二直播端的直播设备。
基于该连线请求,可在第二直播端的直播页面中显示连线提示信息,该连线提示信息可提示发起连线的第一直播端,也可提示已经确认加入该连线的其他第二直播端,从而便于该第二直播端选择是否加入连线。
步骤806,依据对所述连线提示信息的触发,发送连线响应,所述连线响应包括:确认连线的响应信息,以与第一直播端建立直播端组。
第二直播端可确认是否连线,可通过触发该连线提示信息来进行反馈,例如该连线提示信息上可显示加入或拒绝的控件,从而直播用户可基于对控件的触发来确认是否加入,并生成相应的连线响应后反馈。其中,连线响应可包括确认连线的响应,或拒绝连线的响应。该连线提示信息也可基于需求显示其他控件,例如查看详情控件等,从而可查看已经同意连线的各第二直播端以及相应直播用户的用户信息等。
步骤808,接收最终直播数据并播放,所述最终直播数据依据直播端组中直播端的直播数据合成得到。
在确认连线后,服务端后续接收到该直播用户的直播设备采集的视频数据流、音频数据流进行最终直播数据后,可与直播端组中其他直播端的直播数据合成为最终直播数据。之后,直播设备可接收最终直播数据并播放,该最终直播数据也可推送到该直播用户所属直播服务提供方的服务器中,从而能够推流给观看直播的用户。
综上,本申请可实现跨直播平台的多人连线,其可将参与连线的直播端组中直播端的直播数据进行合成,然后再推流到各个直播端的直播设备和观看用户的直播设备中,这样增加了直播互动的灵活性以及扩展性。
需要说明的是,对于方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本申请实施例并不受所描述的动作顺序的限制,因为依据本申请实施例,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作并不一定是本申请实施例所必须的。
在上述实施例的基础上,本实施例还提供了一种直播交互装置,应用于应用于直播系统的服务端,该服务端可由服务器(集群)等电子设备构成。所述服务端连接多个直播服务提供方的服务器。
参照图9,示出了本申请的一种直播交互装置实施例的结构框图,具体可以包括如下模块:
请求接收模块902,用于接收第一直播端发送的直播请求。
清单提供模块904,用于提供可连线的一或多个第二直播端清单给第一直播端。
确认接收模块906,用于接收来自第一直播端或第二直播端的确认结果。
数据接收模块908,用于根据确认结果接收来自第一直播端和至少一个第二直播端的原始直播数据。
数据处理模块910,用于处理原始直播数据以产生最终直播数据。
数据发送模块912,用于发送最终直播数据给一或多个直播服务提供方。
其中,还包括:选择模块,用于确认第一直播端的身份信息;根据身份信息提供直播选择信息给第一直播端;直播选择信息包括可选择的第二直播端、直播服务提供方。
所述确认接收模块906,还用于接收来自第一直播端的连线选择结果,连线选择结果包括指定的一或多个第二直播端;根据连线选择结果发送连线请求给指定的第二直播端。
数据处理模块910,用于按照设定规则对所述原始直播数据进行合成,生成最终直播数据。
所述确认接收模块906,还用于根据确认结果建立所述第一直播端和至少一个第二直播端之间的连线关系。
所述确认接收模块906,还用于接收第二直播端的退出请求;在所述连线关系中删除所述第二直播端。
还包括:连线处理模块,用于接收第一直播端的连线设置信息;依据所述连线设置信息查询一或多个第二直播端。
所述请求接收模块902,还用于接收来自第一直播端的连线发起请求,所述连线发起请求依据清单中选择的第二直播端生成。
所述确认接收模块906,用于接收第二直播端的连线确认结果。
所述连线处理模块,用于依据所述连线确认结果,建立第一直播端和至少一个第二直播端的连线关系。
直播系统的直播协同服务端,所述直播协同服务端连接多个直播服务提供方的服务器,实现各直播服务提供方之间的交互,从而第一直播端可发起连线,与确认连线的第二直播端建立直播端组,该直播端的选取不局限于同一直播服务提供方,之后可将直播端组中直播端的直播数据进行合成,得到最终直播数据反馈给直播端的直播设备,并且推流给直播端所属的直播服务提供方的服务器,能够跨直播服务提供方实现连线,提高直播的可扩展性。
在上述实施例的基础上,本实施例还提供了一种直播交互装置,应用于应用于第一直播端,第一直播端的直播设备可包括各种音视频采集设备、主机设备、网络设备等电子设备中,该直播设备连接直播系统的服务端,服务端连接多个直播服务提供方的服务器。
参照图10,示出了本申请的另一种直播交互装置实施例的结构框图,具体可以包括如下模块:
界面提供模块1002,用于提供直播的交互界面,交互界面包括平台设置和连线设置。
设置处理模块1004,用于接收直播用户对应的平台设置信息和连线设置信息;发送平台设置信息和连线设置信息给直播协同服务端。
连线确认模块1006,用于接收来自直播协同服务端的连线确认信息。
数据提供模块1008,用于获取第一原始直播数据并提供第一原始直播数据给直播协同服务端。
直播模块1010,用于接收来自直播协同服务端的最终直播数据。
其中,所述平台设置包括可选择的多个直播服务提供方,连线设置包括多个可选择的第二直播端,最终直播数据包括至少部分第一原始直播数据。
所述设置处理模块1004,还用于接收直播用户对应的视频设置信息;发送视频设置信息给直播协同服务端;其中,最终直播数据符合视频设置信息。
所述最终直播数据由第一原始直播数据和来自一或多个第二直播端的第二原始直播数据所组成。
还包括:登录模块,用于接收登录信息并上传,以通过直播端设备登录直播用户的直播账号来进行直播。
综上,本申请可实现跨直播平台的多人连线,其可将参与连线的直播端组中直播端的直播数据进行合成,然后再推流到各个直播端的直播设备和观看用户的直播设备中,这样增加了直播互动的灵活性以及扩展性。
在上述各实施例的基础上,本申请实施例还提供了一种直播交互系统,用于呈现在直播用户的电子设备,以使直播用户可通过直播协同方同时在多个直播服务提供方进行直播,包括:
直播界面单元,用以提供直播设置选项和接收直播用户的设置输入。
视频获取单元,用以拍摄视频;
通信单元,用以与直播协同方传输设置信息和直播数据。
所述直播界面单元,包括:平台设置界面、连线设置界面和视频设置界面,其中:
平台设置界面,提供可选择的多个直播服务平台;
连线设置界面,提供可选择的其他直播用户;
视频设置界面,提供可选择的视频设置参数;
本实施例各单元与上述实施例对应部分类似,因此可参照上述实施例的描述。
本申请实施例还提供了一种非易失性可读存储介质,该存储介质中存储有一个或多个模块(programs),该一个或多个模块被应用在设备时,可以使得该设备执行本申请实施例中各方法步骤的指令(instructions)。
本申请实施例提供了一个或多个机器可读介质,其上存储有指令,当由一个或多个处理器执行时,使得电子设备执行如上述实施例中一个或多个所述的方法。本申请实施例中,所述电子设备包括终端设备、服务器(集群)等各类型的设备。
本公开的实施例可被实现为使用任意适当的硬件,固件,软件,或及其任意组合进行想要的配置的装置,该装置可包括终端设备、服务器(集群)等电子设备。图11示意性地示出了可被用于实现本申请中所述的各个实施例的示例性装置1100。
对于一个实施例,图11示出了示例性装置1100,该装置具有一个或多个处理器1102、被耦合到(一个或多个)处理器1102中的至少一个的控制模块(芯片组)1104、被耦合到控制模块1104的存储器1106、被耦合到控制模块1104的非易失性存储器(NVM)/存储设备1108、被耦合到控制模块1104的一个或多个输入/输出设备1110,以及被耦合到控制模块1104的网络接口1112。
处理器1102可包括一个或多个单核或多核处理器,处理器1102可包括通用处理器或专用处理器(例如图形处理器、应用处理器、基频处理器等)的任意组合。在一些实施例中,装置1100能够作为本申请实施例中所述终端设备、服务器(集群)等设备。
在一些实施例中,装置1100可包括具有指令1114的一个或多个计算机可读介质(例如,存储器1106或NVM/存储设备1108)以及与该一个或多个计算机可读介质相合并被配置为执行指令1114以实现模块从而执行本公开中所述的动作的一个或多个处理器1102。
对于一个实施例,控制模块1104可包括任意适当的接口控制器,以向(一个或多个)处理器1102中的至少一个和/或与控制模块1104通信的任意适当的设备或组件提供任意适当的接口。
控制模块1104可包括存储器控制器模块,以向存储器1106提供接口。存储器控制器模块可以是硬件模块、软件模块和/或固件模块。
存储器1106可被用于例如为装置1100加载和存储数据和/或指令1114。对于一个实施例,存储器1106可包括任意适当的易失性存储器,例如,适当的DRAM。在一些实施例中,存储器1106可包括双倍数据速率类型四同步动态随机存取存储器(DDR4SDRAM)。
对于一个实施例,控制模块1104可包括一个或多个输入/输出控制器,以向NVM/存储设备1108及(一个或多个)输入/输出设备1110提供接口。
例如,NVM/存储设备1108可被用于存储数据和/或指令1114。NVM/存储设备1108可包括任意适当的非易失性存储器(例如,闪存)和/或可包括任意适当的(一个或多个)非易失性存储设备(例如,一个或多个硬盘驱动器(HDD)、一个或多个光盘(CD)驱动器和/或一个或多个数字通用光盘(DVD)驱动器)。
NVM/存储设备1108可包括在物理上作为装置1100被安装在其上的设备的一部分的存储资源,或者其可被该设备访问可不必作为该设备的一部分。例如,NVM/存储设备1108可通过网络经由(一个或多个)输入/输出设备1111进行访问。
(一个或多个)输入/输出设备1110可为装置1100提供接口以与任意其他适当的设备通信,输入/输出设备1110可以包括通信组件、音频组件、传感器组件等。网络接口1112可为装置1100提供接口以通过一个或多个网络通信,装置1100可根据一个或多个无线网络标准和/或协议中的任意标准和/或协议来与无线网络的一个或多个组件进行无线通信,例如接入基于通信标准的无线网络,如WiFi、2G、3G、4G、5G等,或它们的组合进行无线通信。
对于一个实施例,(一个或多个)处理器1102中的至少一个可与控制模块1104的一个或多个控制器(例如,存储器控制器模块)的逻辑封装在一起。对于一个实施例,(一个或多个)处理器1102中的至少一个可与控制模块1104的一个或多个控制器的逻辑封装在一起以形成系统级封装(SiP)。对于一个实施例,(一个或多个)处理器1102中的至少一个可与控制模块1104的一个或多个控制器的逻辑集成在同一模具上。对于一个实施例,(一个或多个)处理器1102中的至少一个可与控制模块1104的一个或多个控制器的逻辑集成在同一模具上以形成片上系统(SoC)。
在各个实施例中,装置1100可以但不限于是:服务器、台式计算设备或移动计算设备(例如,膝上型计算设备、手持计算设备、平板电脑、上网本等)等终端设备。在各个实施例中,装置1100可具有更多或更少的组件和/或不同的架构。例如,在一些实施例中,装置1100包括一个或多个摄像机、键盘、液晶显示器(LCD)屏幕(包括触屏显示器)、非易失性存储器端口、多个天线、图形芯片、专用集成电路(ASIC)和扬声器。
其中,检测装置中可采用主控芯片作为处理器或控制模块,传感器数据、位置信息等存储到存储器或NVM/存储设备中,传感器组可作为输入/输出设备,通信接口可包括网络接口。
对于装置实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。
本申请实施例是参照根据本申请实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上,使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本申请实施例的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例做出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本申请实施例范围的所有变更和修改。
最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
以上对本申请所提供的一种直播交互方法和装置,一种电子设备和一种存储介质,进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的一般技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。

Claims (16)

1.一种直播交互方法,其特征在于,应用于连接多个直播端的直播协同服务端,所述直播协同服务端可连接多个直播服务提供方,所述方法包括:
接收第一直播端发送的直播请求;
提供可连线的一或多个第二直播端清单给第一直播端;
接收来自第一直播端或第二直播端的确认结果;
根据确认结果接收来自第一直播端和至少一个第二直播端的原始直播数据;
处理原始直播数据以产生最终直播数据;
发送最终直播数据给一或多个直播服务提供方。
2.根据权利要求1所述的方法,其特征在于,还包括:
确认第一直播端的身份信息;
根据身份信息提供直播选择信息给第一直播端;
直播选择信息包括可选择的第二直播端、直播服务提供方。
3.根据权利要求1所述的方法,其特征在于,还包括:
接收来自第一直播端的连线选择结果,连线选择结果包括指定的一或多个第二直播端;
根据连线选择结果发送连线请求给指定的第二直播端。
4.根据权利要求1所述的方法,其特征在于,所述处理原始直播数据以产生最终直播数据,包括:
按照设定规则对所述原始直播数据进行合成,生成最终直播数据。
5.根据权利要求1所述的方法,其特征在于,还包括:
根据确认结果建立所述第一直播端和至少一个第二直播端之间的连线关系。
6.根据权利要求5所述的方法,其特征在于,还包括:
接收第二直播端的退出请求;
在所述连线关系中删除所述第二直播端。
7.根据权利要求5所述的方法,其特征在于,还包括:
接收设备使用请求,所述设备使用请求包括身份信息;
依据身份信息确定对应直播用户的直播账号。
8.一种直播交互方法,其特征在于,用以使第一直播端可通过直播协同服务端同时在多个直播服务提供方进行直播,包括:
提供直播的交互界面,交互界面包括平台设置和连线设置;
接收直播用户对应的平台设置信息和连线设置信息;
发送平台设置信息和连线设置信息给直播协同服务端;
接收来自直播协同服务端的连线确认信息;
获取第一原始直播数据并提供第一原始直播数据给直播协同服务端;
接收来自直播协同服务端的最终直播数据;
其中,所述平台设置包括可选择的多个直播服务提供方,连线设置包括多个可选择的第二直播端,最终直播数据包括至少部分第一原始直播数据。
9.根据权利要求8所述的方法,其特征在于,交互界面还包括视频设置;所述方法还包括:
接收直播用户对应的视频设置信息;
发送视频设置信息给直播协同服务端;
其中,最终直播数据符合视频设置信息。
10.根据权利要求8所述的方法,其特征在于,所述最终直播数据由第一原始直播数据和来自一或多个第二直播端的第二原始直播数据所组成。
11.一种直播交互方法,用以使第一直播端可通过直播协同服务端同时在多个直播服务提供方进行直播,所述第一直播端采用共享直播设备,所述方法包括:
登录直播用户的直播账号;
提供直播的交互界面,交互界面包括平台设置和连线设置;
接收直播用户对应的直播选择信息;
发送所述直播选择信息给直播协同服务端;
接收来自直播协同服务端的连线确认信息,以确定与至少一个第二直播端的连接结果;
获取第一原始直播数据并提供第一原始直播数据给直播协同服务端;
接收来自直播协同服务端的最终直播数据,所述最终直播数据包括至少部分第一原始直播数据;
发送退出请求给直播协同服务端。
12.根据权利要求11所述的方法,其特征在于,所述登录直播用户的直播账号,包括:
接收登录信息;
上传所述登录信息,以登录所述登录信息对应直播用户的直播账号。
13.一种直播交互方法,应用于连接多个直播端的直播协同服务端,所述直播协同服务端可连接多个直播服务提供方,所述方法包括:
接收第一直播端的连线设置信息;
依据所述连线设置信息查询一或多个第二直播端;
提供可连线的一或多个第二直播端清单给第一直播端;
接收来自第一直播端的连线发起请求,所述连线发起请求依据清单中选择的第二直播端生成;
接收第二直播端的连线确认结果;
依据所述连线确认结果,建立第一直播端和至少一个第二直播端的连线关系;
接收第一直播端的第一原始直播数据和第二直播端的第二原始直播数据;
依据所述连线关系,将第一原始直播数据和至少一个第二原始直播数据进行合成,得到最终直播数据;
发送最终直播数据给直播服务提供方。
14.一种直播交互系统,用于呈现在直播用户的电子设备,以使直播用户可通过直播协同方同时在多个直播服务提供方进行直播,包括:
直播界面单元,用以提供直播设置选项和接收直播用户的设置输入,包括:
平台设置界面,提供可选择的多个直播服务平台;
连线设置界面,提供可选择的其他直播用户;
视频设置界面,提供可选择的视频设置参数;
视频获取单元,用以拍摄视频;
通信单元,用以与直播协同方传输设置信息和直播数据。
15.一种电子设备,其特征在于,包括:处理器;和
存储器,其上存储有可执行代码,当所述可执行代码被执行时,使得所述处理器执行如权利要求1-7、13中一个或多个所述的方法,或执行如权利要求8-12中一个或多个所述的方法。
16.一个或多个机器可读介质,其上存储有可执行代码,当所述可执行代码被执行时,使得处理器执行如权利要求1-7、13中一个或多个所述的方法,或执行如权利要求8-12中一个或多个所述的方法。
CN202110144228.8A 2021-02-02 2021-02-02 直播交互方法、装置、设备和存储介质 Pending CN114845123A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202110144228.8A CN114845123A (zh) 2021-02-02 2021-02-02 直播交互方法、装置、设备和存储介质
US17/585,374 US20220248066A1 (en) 2021-02-02 2022-01-26 Live Broadcast Interaction Method, Apparatus, Device and Storage Medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110144228.8A CN114845123A (zh) 2021-02-02 2021-02-02 直播交互方法、装置、设备和存储介质

Publications (1)

Publication Number Publication Date
CN114845123A true CN114845123A (zh) 2022-08-02

Family

ID=82561230

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110144228.8A Pending CN114845123A (zh) 2021-02-02 2021-02-02 直播交互方法、装置、设备和存储介质

Country Status (2)

Country Link
US (1) US20220248066A1 (zh)
CN (1) CN114845123A (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106454537A (zh) * 2016-10-14 2017-02-22 广州华多网络科技有限公司 一种视频直播方法及相关设备
CN107071584A (zh) * 2017-03-14 2017-08-18 北京潘达互娱科技有限公司 直播连麦方法及装置
CN206728217U (zh) * 2017-05-05 2017-12-08 江西创成微电子有限公司 跨直播平台的语音连麦系统
US20180032224A1 (en) * 2016-07-26 2018-02-01 Facebook, Inc. Systems and methods for shared broadcasting
CN109348238A (zh) * 2018-09-30 2019-02-15 武汉斗鱼网络科技有限公司 一种直播中的语音连麦方法、装置、服务器及存储介质
CN109388924A (zh) * 2018-09-30 2019-02-26 武汉斗鱼网络科技有限公司 一种身份验证方法、装置、服务器及存储介质
CN111212306A (zh) * 2019-12-24 2020-05-29 北京达佳互联信息技术有限公司 连麦方法、装置、电子设备及存储介质
CN112291583A (zh) * 2020-10-29 2021-01-29 北京达佳互联信息技术有限公司 直播连麦方法、装置、服务器、终端及存储介质

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8838696B2 (en) * 2010-09-15 2014-09-16 Syniverse Technologies, Llc Method and apparatus to provide an ecosystem for mobile video
US20140129680A1 (en) * 2012-11-08 2014-05-08 BitGravity, Inc. Socket communication apparatus and method
US10616288B2 (en) * 2016-08-02 2020-04-07 Facebook, Inc. Systems and methods for shared broadcasting
US20180041552A1 (en) * 2016-08-02 2018-02-08 Facebook, Inc. Systems and methods for shared broadcasting
US20180152736A1 (en) * 2016-11-30 2018-05-31 Harold Glen Alexander Live video recording, streaming, viewing, and storing mobile application, and systems and methods of use thereof
US10762675B2 (en) * 2016-12-12 2020-09-01 Facebook, Inc. Systems and methods for interactive broadcasting
US11057444B1 (en) * 2018-03-29 2021-07-06 Facebook, Inc. Systems and methods for shared broadcasting
US11470370B2 (en) * 2021-01-15 2022-10-11 M35Creations, Llc Crowdsourcing platform for on-demand media content creation and sharing

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180032224A1 (en) * 2016-07-26 2018-02-01 Facebook, Inc. Systems and methods for shared broadcasting
CN106454537A (zh) * 2016-10-14 2017-02-22 广州华多网络科技有限公司 一种视频直播方法及相关设备
CN107071584A (zh) * 2017-03-14 2017-08-18 北京潘达互娱科技有限公司 直播连麦方法及装置
CN206728217U (zh) * 2017-05-05 2017-12-08 江西创成微电子有限公司 跨直播平台的语音连麦系统
CN109348238A (zh) * 2018-09-30 2019-02-15 武汉斗鱼网络科技有限公司 一种直播中的语音连麦方法、装置、服务器及存储介质
CN109388924A (zh) * 2018-09-30 2019-02-26 武汉斗鱼网络科技有限公司 一种身份验证方法、装置、服务器及存储介质
CN111212306A (zh) * 2019-12-24 2020-05-29 北京达佳互联信息技术有限公司 连麦方法、装置、电子设备及存储介质
CN112291583A (zh) * 2020-10-29 2021-01-29 北京达佳互联信息技术有限公司 直播连麦方法、装置、服务器、终端及存储介质

Also Published As

Publication number Publication date
US20220248066A1 (en) 2022-08-04

Similar Documents

Publication Publication Date Title
US10299004B2 (en) Method and system for sourcing and editing live video
US20150245079A1 (en) System and method for broadcasting interactive content
US20170289608A1 (en) Message sharing method, client, and computer storage medium
US11317125B2 (en) System and methods for integrated multistreaming of media with graphical overlays
CN112714330A (zh) 基于连麦直播的礼物赠送方法、装置及电子设备
CN111836074B (zh) 一种连麦直播方法、装置、电子设备及存储介质
WO2015078199A1 (zh) 直播互动方法、装置、客户端、服务器及系统
RU2673560C1 (ru) Способ и система воспроизведения мультимедийной информации, стандартизированный сервер и терминал прямой трансляции
CN112291503B (zh) 交互方法、装置和电子设备
CN111432284A (zh) 一种多媒体终端的弹幕交互方法及多媒体终端
CN114845123A (zh) 直播交互方法、装置、设备和存储介质
CN108377397A (zh) 一种基于摄像头实现联网视频互动的方法
US11500451B2 (en) System and method for augmented reality via data crowd sourcing
JP6426136B2 (ja) 動画を配信するためのシステム、方法、及び、これらに用いられるプログラム
KR20090087243A (ko) Iptv 기반의 노래방 서비스와 연계된 셀프 동영상 제공시스템 및 그 서비스 방법
CN115460431B (zh) 媒体流直播方法、系统、计算机设备和存储介质
US20230396814A1 (en) A system, a device, and methods of streaming an event
US11917232B2 (en) Collaborative video capture and sharing
US11930057B2 (en) Integrated system and method for executing a communal media session with dual-view sharing
CN110868637A (zh) 视频、数据处理方法、装置、电子设备和存储介质
CN113301365B (zh) 媒体资源处理方法、装置、设备和存储介质
US20150089563A1 (en) Communication management apparatus, terminal, communication management system, communication management method, program, and information storage medium
CN115914670A (zh) 直播回放处理方法、装置及存储介质
CN115357315A (zh) 网络会议的画面布局方法、电子设备和存储介质
AU2021221519A1 (en) A system, a device, and methods of streaming an event

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination