CN115695859A - 多画面音视频播放方法、装置及存储介质 - Google Patents

多画面音视频播放方法、装置及存储介质 Download PDF

Info

Publication number
CN115695859A
CN115695859A CN202110872870.8A CN202110872870A CN115695859A CN 115695859 A CN115695859 A CN 115695859A CN 202110872870 A CN202110872870 A CN 202110872870A CN 115695859 A CN115695859 A CN 115695859A
Authority
CN
China
Prior art keywords
video
audio
picture
data
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110872870.8A
Other languages
English (en)
Inventor
王俊杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202110872870.8A priority Critical patent/CN115695859A/zh
Publication of CN115695859A publication Critical patent/CN115695859A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本申请公开了多画面音视频播放方法、装置及存储介质;本申请与区块链的相关技术关联;本申请获取目标音视频的视频显示数据和至少两路音频播放数据,目标音视频由至少两路选中音视频的选中音视频数据混流得到,至少两路选中音视频与至少两路音频播放数据一一对应;基于视频显示数据,显示目标音视频的视频画面,视频画面包括至少两路选中音视频的至少两个选中视频画面;播放至少两个选中视频画面中目标选中视频画面对应的目标音频播放数据;当检测到针对目标选中视频画面的切换指令时,播放切换选中视频画面对应的切换音频播放数据,切换选中视频画面为与目标选中视频画面不同的选中视频画面;本申请可以提升数据解码速度。

Description

多画面音视频播放方法、装置及存储介质
技术领域
本申请涉及音视频领域,具体涉及多画面音视频播放方法、装置及存储介质。
背景技术
现如今,各种显示屏幕(如显示器、智能电视、智慧屏等)的尺寸越来越大,基于这些大尺寸的显示屏幕逐渐产生了一些新的使用场景,比如,可以在显示屏幕上进行多屏同看,即在一个显示屏幕上同时显示至少两个视频画面(一个视频画面可以对应一个节目),并播放其中至少一个目标视频画面对应的音频数据,现有技术在实现多屏同看的过程中,会由显示屏幕所在的终端系统同时对每一个节目的视频数据进行解码。
在对现有技术的研究和实践过程中,本申请的发明人发现,受限于显示屏幕所在终端系统的硬件性能,现有技术所得到的多屏同看仅能实现较少数量的视频画面同时显示、或同时显示的多个视频画面的清晰度较低,即现有技术无法实现高质量的多屏同看。
发明内容
本申请实施例提供了多画面音视频播放方法、装置及存储介质,可以提升多画面音视频播放过程的数据解码速度。
本申请实施例提供一种多画面音视频播放方法,包括:
获取目标音视频的视频显示数据和至少两路音频播放数据,所述目标音视频由至少两路选中音视频的选中音视频数据混流得到,所述至少两路选中音视频与所述至少两路音频播放数据一一对应;
基于所述视频显示数据,显示所述目标音视频的视频画面,所述视频画面包括所述至少两路选中音视频的至少两个选中视频画面;
播放所述至少两个选中视频画面中目标选中视频画面对应的目标音频播放数据;
当检测到针对所述目标选中视频画面的切换指令时,播放切换选中视频画面对应的切换音频播放数据,所述切换选中视频画面为与所述目标选中视频画面不同的选中视频画面。
具体地,本申请还提供一种多画面音视频播放装置,包括:
获取模块,用于获取目标音视频的视频显示数据和至少两路音频播放数据,所述目标音视频由至少两路选中音视频的选中音视频数据混流得到,所述至少两路选中音视频与所述至少两路音频播放数据一一对应;
画面显示模块,用于基于所述视频显示数据,显示所述目标音视频的视频画面,所述视频画面包括所述至少两路选中音视频的至少两个选中视频画面;
音频播放模块,用于播放所述至少两个选中视频画面中目标选中视频画面对应的目标音频播放数据;
切换模块,用于当检测到针对所述目标选中视频画面的切换指令时,播放切换选中视频画面对应的切换音频播放数据,所述切换选中视频画面为与所述目标选中视频画面不同的选中视频画面。
在一些实施例中,多画面音视频播放装置还包括第一确定模块,确定模块具体用于:
对所述视频显示数据进行画面识别,确定所述目标音视频包含的至少两个选中视频画面、以及每个选中视频画面的画面边界信息。
在一些实施例中,多画面音视频播放装置还包括第二确定模块,第二确定模块包括查询子模块和确定子模块,其中,
查询子模块,用于根据所述音频播放数据的数量,查询所述目标音视频对应的画面显示策略;
确定子模块,用于基于所述画面显示策略,确定所述目标音视频包含的至少两个选中视频画面、以及每个选中视频画面的画面边界信息。
在一些实施例中,画面显示模块具体用于:
基于所述视频显示数据和所述画面边界信息,显示所述目标音视频的视频画面,所述视频画面包括至少两个选中视频画面、以及每个选中视频画面的边界标识,其中,所述至少两个选中视频画面包括目标选中视频画面,所述目标选中视频画面的边界标识与其他选中视频画面的边界标识不同。
在一些实施例中,音频播放模块具体用于:
接收服务器发送的画面音频映射关系,所述画面音频映射关系包括目标音视频的至少两个选中视频画面与至少两路音播放频数据的映射关系;
从所述画面音频映射关系中,确定所述目标选中视频画面对应的目标音频播放数据;播放所述目标音频播放数据。
在一些实施例中,所述目标选中视频画面对应目标边界标识,切换模块包括检测子模块、确定子模块和播放子模块,其中,
检测子模块,用于检测所述目标边界标识对应的当前选中视频画面;
确定子模块,用于当所述当前选中视频画面与所述目标选中视频画面不同时,确定所述当前选中视频画面为切换选中视频画面,生成针对所述目标选中视频画面和所述切换选中视频画面的切换指令;
播放子模块,用于根据所述切换指令,播放所述切换选中视频画面对应的切换音频播放数据。
在一些实施例中,播放子模块具体用于:
根据所述切换指令,通过音频播放接口停止播放所述目标音频播放数据;
通过所述音频播放接口,播放所述切换选中视频画面对应的切换音频播放数据。
在一些实施例中,多画面音视频播放装置还包括:
获取模块,用于获取对象确定的至少两路选中音视频标识;
发送模块,用于向服务器发送所述至少两路选中音视频标识,以使所述服务器对所述选中音视频标识对应的至少两路选中音视频数据进行混流处理,得到目标音视频的视频显示数据和至少两路音频播放数据。
在一些实施例中,获取模块具体用于:
显示音视频选择页面,所述音视频选择页面包括多个待选音视频标识;
响应于针对所述多个待选音视频标识的选择操作,获取对象确定的至少两路选中音视频标识。
在一些实施例中,获取模块具体用于:
接收服务器发送的目标音视频的音视频数据;
对所述音视频数据进行分离处理,得到视频编码数据和至少两路音频编码数据;
分别对所述视频编码数据和所述音频编码数据进行解码,得到所述目标音视频的视频显示数据和至少两路音频播放数据。
本申请还提供了一种多画面音视频播放方法,包括:
接收终端发送的至少两路选中音视频的选中音视频标识;
根据所述至少两路选中音视频标识,获取所述至少两路选中音视频对应的至少两路选中音视频数据;
对所述至少两路选中音视频数据进行混流处理,得到目标音视频的视频显示数据和至少两路音频播放数据,以使所述终端基于所述视频显示数据和至少两路音频播放数据进行多画面音视频播放。
相应地,本申请还提供了一种多画面音视频播放装置,包括:
接收模块,用于接收终端发送的至少两路选中音视频的选中音视频标识;
数据获取模块,用于根据所述至少两路选中音视频标识,获取所述至少两路选中音视频对应的至少两路选中音视频数据;
混流模块,用于对所述至少两路选中音视频数据进行混流处理,得到目标音视频的视频显示数据和至少两路音频播放数据,以使所述终端基于所述视频显示数据和至少两路音频播放数据进行多画面音视频播放。
在一些实施例中,多画面音视频播放装置的数据获取模块具体用于:
根据所述至少两路选中音视频标识,向至少两个选中音视频对应的至少两个业务服务器分别发送数据获取请求;
接收所述至少两个业务服务器返回的至少两路选中音视频数据,所述选中音视频数据为所述业务服务器基于所述数据获取请求返回。
相应的,本申请实施例还提供了一种存储介质,存储介质存储有计算机程序,计算机程序适于处理器进行加载,以执行本申请实施例提供的任一种多画面音视频播放方法。
相应的,本申请实施例还提供了一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其中,处理器执行计算机程序时实现本申请实施例提供的任一种多画面音视频播放方法。
本申请获取目标音视频的视频显示数据和至少两路音频播放数据,目标音视频由至少两路选中音视频的选中音视频数据混流得到,至少两路选中音视频与至少两路音频播放数据一一对应;基于视频显示数据,显示目标音视频的视频画面,视频画面包括至少两路选中音视频的至少两个选中视频画面;播放至少两个选中视频画面中目标选中视频画面对应的目标音频播放数据;当检测到针对目标选中视频画面的切换指令时,播放切换选中视频画面对应的切换音频播放数据,切换选中视频画面为与目标选中视频画面不同的选中视频画面。
本申请可以接收终端发送的至少两路选中音视频的选中音视频标识;根据至少两路选中音视频标识,获取至少两路选中音视频对应的至少两路选中音视频数据;对至少两路选中音视频数据进行混流处理,得到目标音视频的视频显示数据和至少两路音频播放数据,以使终端基于视频显示数据和至少两路音频播放数据进行多画面音视频播放。本申请可以在服务器上对多路选中音视频的选中音视频数据进行混流,得到目标音视频的视频显示数据和至少两路音频播放数据,终端在实现针对目标音视频的多画面音视频播放过程中,仅需对视频显示数据进行解码,相比于现有技术需要对每一路选中音视频的数据进行解码,本申请可以显著提升多画面音视频播放过程的数据解码速度。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请的多画面音视频播放系统的场景示意图;
图2是本申请的多画面音视频播放方法的流程示意图;
图3是本申请的多画面音视频播放方法的另一流程示意图;
图4是本申请的多画面音视频播放方法的另一流程示意图;
图5是本申请的多画面音视频播放方法的部分流程示意图;
图6是本申请的多画面音视频播放方法的另一部分流程示意图;
图7是本申请的多画面音视频播放方法的另一部分流程示意图;
图8是本申请的多画面音视频播放装置的结构示意图;
图9是本申请的多画面音视频播放装置的另一结构示意图;
图10是本申请的计算机设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,本申请所描述的实施例仅仅是本申请的一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请的多画面音视频播放方法可以集成在多画面音视频播放装置中,多画面音视频播放装置可以集成在多画面音视频播放系统中,该多画面音视频播放系统可以包括一个或多个计算机设备,该计算机设备可以为终端或服务器等,其中,服务器可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云计算服务的云服务器。终端可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表、智能电视、智慧屏幕等等,但并不局限于此。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接,本申请在此不做限制。
参见图1,多画面音视频播放系统可以包括终端0001和服务器0002,其中,多画面音视频播放装置可以集成在终端0001,具体地,多画面音视频播放装置可以获取目标音视频的视频显示数据和至少两路音频播放数据,目标音视频由至少两路选中音视频的选中音视频数据混流得到,至少两路选中音视频与至少两路音频播放数据一一对应;基于视频显示数据,显示目标音视频的视频画面,视频画面包括至少两路选中音视频的至少两个选中视频画面;播放至少两个选中视频画面中目标选中视频画面对应的目标音频播放数据;当检测到针对目标选中视频画面的切换指令时,播放切换选中视频画面对应的切换音频播放数据,切换选中视频画面为与目标选中视频画面不同的选中视频画面。
终端0001还可以获取对象确定的至少两路选中音视频标识,并向服务器0002发送至少两路选中音视频标识,服务器0002可以对接收到的选中音视频标识对应的至少两路选中音视频数据进行混流处理,得到目标音视频的视频显示数据和至少两路音频播放数据,并将视频显示数据和至少两路音频显示数据发送给终端0001,使得终端0001进行多画面音视频播放。
需要说明的是,图1所示的多画面音视频播放系统的场景示意图仅仅是一个示例,本申请实施例描述的多画面音视频播放系统以及场景是为了更加清楚的说明本申请实施例的技术方案,并不构成对于本申请实施例提供的技术方案的限定,本领域普通技术人员可知,随着多画面音视频播放装置的演变和新业务场景的出现,本申请实施例提供的技术方案对于类似的技术问题,同样适用。
以下分别进行详细说明。在本实施例中,将对多画面音视频播放方法进行详细描述,该多画面音视频播放方法可以由终端或服务器执行,也可以由终端和服务器共同执行,本实施例以多画面音视频播放方法由终端执行为例进行说明,如图2所示,图2是本申请实施例提供的多画面音视频播放方法的流程示意图。该多画面音视频播放方法可以包括:
101、获取目标音视频的视频显示数据和至少两路音频播放数据,目标音视频由至少两路选中音视频的选中音视频数据混流得到,至少两路选中音视频与至少两路音频播放数据一一对应。
本申请中,目标音视频可以为在显示屏幕上同时显示的多个不同来源的选中音视频的总称,选中音视频可以为包含有画面和声音中的至少一种的多媒体数据,比如,目标音视频可以为显示屏幕上同时显示的新闻节目和电视剧的总称。目标音视频中包含的选中音视频的数量可以为多个,来源可以有多种,来源可以为视频软件(如短视频播放软件、影视播放软件等)、直播软件(如游戏直播、带货直播等)、电视频道等等,一个目标音视频中包含的多个选中音视频的来源可以相同,也可以不同,具体地可以根据使用对象的需求灵活选择。
其中,视频显示数据可以包括在显示屏幕上显示视频画面所需的数据,比如,若目标音视频包括在线游戏直播、新闻电视台和体育电视台三个来源,则视频显示数据可以为在显示屏幕上同时显示在线游戏直播的视频画面、新闻电视台的视频画面、以及体育电视台的视频画面所需的数据,通过该视频显示数据可以在显示屏幕上显示目标音视频包含的多个选中音视频的选中视频画面,本申请中,目标音视频对应至少一个视频显示数据,视频显示数据可以由计算机设备(如服务器等)发送到显示屏幕所在终端,则显示屏幕所在终端仅需对此视频显示数据进行处理,并与音频播放数据一起,在显示屏幕上显示目标音视频的视频画面,由于显示屏幕所在终端的硬件性能有限,而处理显示质量更高(如分辨率更高)的视频显示数据需要更优的硬件性能和网络环境,而本申请仅需对一个视频显示数据进行处理,因此在有限的硬件性能条件下可以处理显示质量更高的视频显示数据,进而实现高质量的多屏同看。此外,在一些实施例中,视频显示数据也可以由显示屏幕所在终端生成,具体地可以在实际应用过程中灵活设置,在此不在赘述。
其中,音频播放数据可以包括目标音视频中与每一个选中音视频对应的音频数据。
具体地,显示屏幕所在终端向服务器发送数据获取请求,接收服务器根据该数据获取获取请求返回的目标音视频的数据,目标音视频的数据包括视频显示数据和至少两个音频播放数据。
比如,目标音视频1可以为四个音视频的总称,四个音视频分别为:视频1、视频2、视频3和视频4,可以接收服务器发送的目标音视频1的视频显示数据1以及4个音频播放数据(包括音频播放数据1、音频播放数据2、音频播放数据3和音频播放数据4)。
在一些实施例中,多画面音视频播放方法还可以包括步骤:
获取对象确定的至少两路选中音视频标识;
向服务器发送至少两路选中音视频标识,以使服务器对选中音视频标识对应的至少两路选中音视频数据进行混流处理,得到目标音视频的视频显示数据和至少两路音频播放数据。
本申请中,对象可以包括使用显示屏幕所在终端进行多屏同看的用户(如使用对象),也可以包括开发测试过程中,对显示屏幕所在终端实现多画面音视频播放过程进行测试、验证的开发/测试人员以及测试用例、智能测试设备等等。
在本申请中,显示屏幕的使用对象可以确定想要进行多屏同看的至少两个音视频,其中,选中音视频标识可以包括使用对象确定的选中音视频的唯一标识信息,显示屏幕所在终端在接收到选中音视频标识后,可以向计算机设备(如服务器)发送该选中音视频源标识,使得计算机设备基于选中音视频标识进行相关操作。
其中,选中音视频数据可以包括选中音视频标识对应的音视频的相关数据,选中音视频数据可以由服务器借助传输媒介从提供该选中音视频数据的服务器、信号产生设备等处获得,与显示设备所在终端相比,服务器强大的性能使得其可以对多路选中音视频数据进行高效快速优质的处理,比如可以对每一路选中音视频数据进行解码,得到每一路选中音视频数据的视频数据和音频播放数据,再由服务器对所有音视频数据的视频数据进行混流处理,得到目标音视频的视频显示数据,
该过程将多个视频数据整合为至少一个视频显示数据,使得显示屏幕所在终端仅需对视频显示数据进行处理,即可实现多屏同看,免除了显示屏幕所在终端对多路音视频数据进行解码的过程,考虑了显示屏幕所在终端的实际性能,而服务器侧性能强大,可以对进行更多路选中音视频数据的高效处理,也使得使用对象可以在多屏同看的过程中,看到更加清晰的视频画面,更多数量的视频画面,进而有效提升多屏同看的观看质量。
比如,显示屏幕所在终端可以接收用户确定的“LA直播”、“XX情”、“新闻3台”和“电影6台”,然后显示屏幕所在终端向服务器发送这四个选中音视频标识,服务器可以根据获取这四个选中音视频标识对应的选中音视频数据,分别为直播1、电视剧2、新闻3和电影4,对这四个选中音视频数据进行解码、混流等处理,得到目标音视频1的视频显示数据和四个音频播放数据,接着可以对这些数据进行编码、复用等处理,得到目标音视频的视频显示数据和四路音频播放数据。
在一些实施例中,步骤“获取对象确定的至少两路选中音视频标识”可以包括:
显示音视频选择页面,音视频选择页面包括多个待选音视频标识;
响应于针对多个待选音视频标识的选择操作,获取对象确定的至少两路选中音视频标识。
为了使用对象可以更加便捷地确定想要进行多屏同看的音视频标识,可以在显示屏幕上显示可供选择的音视频标识,供使用对象从中选择并向显示屏幕所在终端发送选中音视频标识。
其中,音视频选择页面可以包括能够进行音视频标识选择的页面,音视频选择页面可以包括多个待选音视频标识,待选音视频标识可以包括供使用对象选择的音视频标识,使用对象可以从多个待选音视频标识中进行选择,其中,选中音视频标识可以包括使用对象选中的将要进行多屏同看的音视频的标识。
使用对象的选择操作可以以多种方式进行,比如,可以在音视频选择页面设置编辑框、选择控件、勾选控件、按钮、滑框等等,使用对象可以在编辑框输入或选择选中音视频标识,也可以勾选选中音视频标识对应的勾选控件,等等。
在一些实施例中,步骤“获取目标音视频的视频显示数据和至少两路音频播放数据”可以包括:
接收服务器发送的目标音视频的音视频数据;
对音视频数据进行分离处理,得到视频编码数据和至少两路音频编码数据;
分别对视频编码数据和音频编码数据进行解码,得到目标音视频的视频显示数据和至少两路音频播放数据。
为了便于通过有线无线方式进行数据传输,显示屏幕所在终端需要对接收到的服务器发送的目标音视频的相关数据进行处理,才能得到目标音视频的视频显示数据和至少两路音频播放数据。
其中,音视频数据可以包括从计算机设备(如服务器)接收到的目标音视频的数据,为了进行高效地传输,数据发送方会将目标音视频的相关数据组合在一起,而为了最终实现多屏同看,首先需要对音视频数据进行分离处理,得到其中所包含的不同类型的数据,分离处理的方式可以根据实际使用需求灵活选择,比如可以对音视频数据进行解析,又比如可以调用视频播放器中的解复用接口,等等。
其中,视频编码数据和至少两路音频编码数据可以为对音视频数据进行分离处理后所得到的数据,由于实际用于音视频播放的视频显示数据和音频播放数据通常占用内存较多,为了便于传输、节省网络资源、以及保障数据安全等等原因,在进行数据传输前可以对视频显示数据和音频播放数据进行编码,得到视频编码数据和音频编码数据,相对应地,显示屏幕所在终端在得到视频编码数据和音频编码数据后,需要分别对其进行解码处理,得到目标音视频的视频显示数据和至少两路音频播放数据,解码处理可以基于一定的压缩解码标准进行,比如,音频的压缩编码标准可以包括AAC(一种音频压缩解码标准)、MP3(一种音频压缩解码标准)、AC-3(一种音频压缩解码标准)等,视频压缩编码标准可以包括H.264(一种视频压缩解码标准)、MPEG2(一种视频压缩解码标准)、VC-1(一种视频压缩解码标准)等等,实际进行解码的过程可以包括多种,如调用解码接口进行音频解码或视频解码等。
由于将目标音视频包含的所有选中音视频进行了混流处理,将每个选中音视频的视频数据合为一个视频显示数据,为了使目标音视频正常播放,使用对象可以在多画面间切换目标选中视频画面,显示屏幕所在终端在接收到视频显示数据和音频播放数据后,需要根据这些数据确定目标音视频内包含的选中音视频数量,具体地,确认选中音视频数量的方式可以包括多种,如可以向服务器发送请求,并接收服务器返回的目标音视频包含的选中音视频数量,等。
其中,视频画面可以包括目标音视频在显示屏幕上显示的画面,通常显示屏幕上会显示每一个选中音视频的选中视频画面,因此目标音视频的选中音视频数量与选中视频画面数量可以是等价的。
每一个选中视频画面对应一个音频播放数据,选中视频画面与音频播放数据的对应关系的确定方式可以有多种,比如,可以从服务器获取目标音视频内选中视频画面与音频播放数据的对应关系,等。
比如,可以根据获取到的目标音视频的配置数据信息,确定目标音视频1包括四个视频画面,分别位于显示屏幕的区域1、区域2、区域3和区域4,这四个区域的视频画面分别对应音频播放数据1、音频播放数据2、音频播放数据3和音频播放数据4。
在一些实施例中,多画面音视频播放方法可以包括步骤:
对视频显示数据进行画面识别,确定目标音视频包含的至少两个选中视频画面、以及每个选中视频画面的画面边界信息。
具体地,可以通过图像识别的相关技术,对视频显示数据所能呈现的视频画面进行识别,识别得到目标音视频中包含的至少两个选中视频画面,以及每个选中视频画面在视频画面内的位置信息。
其中,画面边界信息可以包括单个选中视频画面的边界在视频显示数据所呈现的视频画面内的边界位置信息,画面边界信息可以通过图像识别得到,画面边界信息也可以在确定了每个选中视频画面的位置信息后,根据位置信息确定。
比如,可以通过图像识别模型1对视频显示数据进行识别,得到其中包含的四个视频画面,以及每个视频画面的位置画面边界信息。
在一些实施例中,多画面音视频播放方法还可以包括:
根据音频播放数据的数量,查询目标音视频对应的画面显示策略;
基于画面显示策略,确定目标音视频包含的至少两个选中视频画面、以及每个选中视频画面的画面边界信息。
在一些实施例中,服务器在进行混流时可以按照策略进行,具体地,随着目标音视频内选中音视频数量的不同,可以使用不同的画面显示策略,通过画面显示策略可以确定所有选中视频画面在目标音视频的视频画面上的排布方式,进而确定每个选中视频画面的位置信息等。如四个选中音视频时,可以平均排布,在目标音视频的视频画面上显示面积相等的四个选中视频画面,又比如八个选中视频画面时,可以在画面的左右两列分别显示三个面积相等的选中视频画面,在画面的中间一列显示两个面积相等的选中视频画面,这八个选中视频画面的面积可以有所区别,如中间一列的面积可以相对更大,等等。
相对应地,在显示屏幕所在终端侧,即可通过目标音视频内选中音视频数量,确定该目标音视频的画面显示策略,进而直接根据画面显示策略,确定目标音视频包含的每个选中视频画面的画面边界信息。
比如,在获取到四个音频播放数据后,可以根据数量4查询目标音视频对应的画面显示策略1,进而直接确定目标音视频四个视频画面,每个视频画面的画面边界信息。
102、基于视频显示数据,显示目标音视频的视频画面,视频画面包括至少两路选中音视频的至少两个选中视频画面。
103、播放至少两个选中视频画面中目标选中视频画面对应的目标音频播放数据。
在多画面音视频播放过程中,为了保证观看体验,同一时刻虽然显示多个选中视频画面,但是仅会播放其中一个选中视频画面对应的音频播放数据,其中,目标选中视频画面可以包括进行音频播放的选中视频画面,目标选中视频画面可以为系统预设的,如预设显示屏幕左上的选中视频画面为目标选中视频画面,目标选中视频画面也可以为显示屏幕的使用对象选定的,如选定对象可以选定显示屏幕右下的选中视频画面为目标选中视频画面,等等。
比如,可以基于的视频显示数据1,显示目标音视频1的四个视频画面,并播放目标视频画面:视频画面2对应的目标音频播放数据:音频播放数据2。
在一些实施例中,步骤“显示所述目标音视频的视频画面”,可以包括:
基于视频显示数据和画面边界信息,显示目标音视频的视频画面,视频画面包括至少两个选中视频画面、以及每个选中视频画面的边界标识,其中,至少两个选中视频画面包括目标选中视频画面,目标选中视频画面的边界标识与其他选中视频画面的边界标识不同。
具体的,可以根据视频显示数据显示目标音视频的视频画面,该视频画面包括至少两个选中视频画面,可以根据画面边界信息通过边界标识,对选中视频画面的边界进行标示,其中,边界标识可以包括对选中视频画面的边界进行标示以提示使用对象的信息,通常来说,不同的选中视频画面之间界限明显,无需使用边界标识进行过于明显的边界标示,但是在多个选中视频画面同时显示的情况下,通常需要突出显示目标选中视频画面,以便观看对象可以快速确定与播放的声音对应的视频画面,因此,在一些实施例中,也可以仅对目标选中视频画面进行边界标识。
比如可以参见图1中,视频画面1通过较为明显的黑色边框(一种边界标识)进行标示,视频画面2、视频画面3和视频画面4则使用灰色边框(一种边界标识)进行标示。
在一些实施例中,步骤“播放至少两个选中视频画面中目标选中视频画面对应的目标音频播放数据”可以包括:
接收服务器发送的画面音频映射关系,画面音频映射关系包括目标音视频的至少两个选中视频画面与至少两路音播放频数据的映射关系;从画面音频映射关系中,确定目标选中视频画面对应的目标音频播放数据;播放目标音频播放数据。
其中,画面音频映射关系包括目标音视频的至少两个选中视频画面与至少两路音播放频数据的映射关系,比如,选中视频画面1对应音频播放数据1,选中视频画面2对应音频播放数据2,画面音频映射关系可以由服务器在进行混流过程中确定并记录,在确定显示屏幕上的目标选中视频画面后,可以根据该映射关系确定目标选中视频画面对应的目标音频播放数据,并与视频画面同步地进行音频播放数据的播放。
104、当检测到针对目标选中视频画面的切换指令时,播放切换选中视频画面对应的切换音频播放数据,切换选中视频画面为与目标选中视频画面不同的选中视频画面。
本申请的多画面视频播放过程中,使用对象可以在选中视频画面之间来回切换,切换选中视频画面为显示屏幕上显示的多个选中视频画面中,与目标选中视频画面不相同的选中视频画面,切换选中视频画面可以为新的目标选中视频画面,显示屏幕所在终端可以同步播放切换选中视频画面对应的切换音频播放数据,切换音频播放数据为多个音频播放数据中,与目标音频播放数据不相同的音频播放数据。
其中,切换指令可以包括显示屏幕所在终端生成的指令,切换指令可以为显示屏幕所在终端自动生成,比如,以设定时间间隔依次在目标音视频的四个视频画面间切换,显示屏幕所在终端则依次播放这四个视频画面对应的音频播放数据,切换指令也可以为显示屏幕所在终端基于使用对象的切换操作生成,在不同类型的显示屏幕上,切换操作也有所不同,比如,在触摸屏幕上切换操作可以如点触(轻触、双击等)、滑动等,也可以为借助于鼠标、遥控器等实现的切换操作。比如,当检测到从视频画面1切换到视频画面2的切换指令时,显示屏幕所在终端则播放视频画面2对应的音频播放数据2。
在一些实施例中,目标视频画面对应目标边界标识,步骤“当检测到针对目标选中视频画面的切换指令时,播放切换选中视频画面对应的切换音频播放数据,切换选中视频画面为与目标选中视频画面不同的选中视频画面”可以包括:
检测目标边界标识对应的当前选中视频画面;
当当前选中视频画面与目标选中视频画面不同时,确定当前选中视频画面为切换选中视频画面,生成针对目标选中视频画面和切换选中视频画面的切换指令;
根据切换指令,播放切换选中视频画面对应的切换音频播放数据。
具体地,目标边界标识可以自动地移动、或随着使用对象的操作而移动,而显示屏幕所在终端在可以以设定时间间隔检测目标边界标识是否变动,具体地,可以检测目标边界标识在检测时刻对应的当前选中视频画面,若当前选中视频画面与目标选中视频标识不同,则认为目标边界标识已经移动,即需要切换播放当前选中视频画面对应的音频播放数据。
在多屏同看的过程中,可以进行多次切换操作,即当前选中视频画面会多次变化,而与当前选中视频画面比较,以确定目标边界标识是否变动实质上是目标边界标识前一次所在的选中视频画面(可以是目标选中视频画面也可以不是),因此,可以在每一次确定目标边界标识变动的后,确定当前选中视频画面为切换选中视频画面。
则具体地,步骤“根据切换指令,播放切换选中视频画面对应的切换音频播放数据”之后还可以包括:
循环检测目标边界标识对应的当前选中视频画面,当当前选中视频画面与切换选中视频画面不同时,确定当前选中视频画面为新的切换选中视频画面,生成针对目标选中视频画面和新的切换选中视频画面的切换指令;根据切换指令,播放新的切换选中视频画面对应的切换音频播放数据,直至多画面视频播放结束。
在一些实施例中,步骤“根据切换指令,播放切换选中视频画面对应的切换音频播放数据”可以包括:
根据切换指令,通过音频播放接口停止播放目标音频播放数据;
通过音频播放接口,播放切换视频画面对应的切换音频播放数据。
具体地,为了保证多画面视频播放过程中,不同的音频播放数据快速切换,避免出现断音等现象,可以根据切换指令,通过音频接口停止播放目标音频播放数据、或切换视频画面对应的切换音频播放数据,再通过音频接口,播放切换视频画面对应的切换音频播放数据、或新的切换视频画面对应的新的切换音频播放数据。
本实施例还可以以多画面音视频播放方法由服务器执行为例进行说明,如图3所示,图3是本申请实施例提供的多画面音视频播放方法的流程示意图。该多画面音视频播放方法可以包括:
201、接收终端发送的至少两路选中音视频的选中音视频标识。
其中,选中音视频标识可以包括使用对象确定的选中音视频的唯一标识信息,显示屏幕所在终端在接收到选中音视频标识后,可以向计算机设备(如服务器)发送该选中音视频源标识,使得计算机设备基于选中音视频标识进行相关操作。
202、根据至少两路选中音视频标识,获取至少两路选中音视频对应的至少两路选中音视频数据。
其中,选中音视频数据可以包括选中音视频标识对应的音视频的相关数据,选中音视频数据可以由服务器借助传输媒介从提供该选中音视频数据的服务器、信号产生设备等处获得,与显示设备所在终端相比,服务器强大的性能使得其可以对多路选中音视频数据进行高效快速优质的处理,比如可以对每一路选中音视频数据进行解码,得到每一路选中音视频数据的视频数据和音频播放数据,再由服务器对所有音视频数据的视频数据进行混流处理,得到目标音视频的视频显示数据,
在一些实施例中,步骤“根据至少两路选中音视频标识,获取至少两路选中音视频对应的至少两路选中音视频数据”可以包括:
根据至少两路选中音视频标识,向至少两个选中音视频对应的至少两个业务服务器分别发送数据获取请求;接收至少两个业务服务器返回的至少两路选中音视频数据,选中音视频数据为业务服务器基于数据获取请求返回。
其中,业务服务器可以包括提供选中音视频数据的服务器,在接收到选中音视频标识后,可以向选中音视频标识对应的业务服务器发送数据获取请求,业务服务器会基于该数据获取请求返回该选中音视频标识对应的选中音视频数据。
203、对至少两路选中音视频数据进行混流处理,得到目标音视频的视频显示数据和至少两路音频播放数据,以使终端基于视频显示数据和至少两路音频播放数据进行多画面音视频播放。
该过程将多个视频数据整合为至少一个视频显示数据,使得显示屏幕所在终端仅需对视频显示数据进行处理,即可实现多屏同看,免除了显示屏幕所在终端对多路音视频数据进行解码的过程,考虑了显示屏幕所在终端的实际性能,而服务器侧性能强大,可以对进行更多路选中音视频数据的高效处理,也使得使用对象可以在多屏同看的过程中,看到更加清晰的视频画面,更多数量的视频画面,进而有效提升多屏同看的观看质量。
本申请可以在服务器上对多路选中音视频的选中音视频数据进行混流,得到目标音视频的视频显示数据和至少两路音频播放数据,终端在实现针对目标音视频的多画面音视频播放过程中,仅需对视频显示数据进行解码,相比于现有技术需要对每一路选中音视频的数据进行解码,本申请可以显著提升多画面音视频播放过程的数据解码速度。
根据上述实施例所描述的方法,以下将举例作进一步详细说明。
本申请将以集成在服务器和终端的多画面音视频播放系统为例,对多画面音视频播放方法进行介绍,多画面音视频播放系统可以包括终端和服务器,如图4所示,图4是本申请实施例提供的多画面音视频播放方法的流程示意图。该多画面音视频播放方法可以包括:
301、终端获取对象确定的至少两路选中音视频标识,并向服务器发送该至少两路选中音视频标识。
比如,终端可以显示多屏同看页面,多屏同看页面内有可供用户选择的很多码流标识(待选音视频标识),用户可以从中选择自己想要进行多屏同看的目标码流标识(即选中音视频标识),用户可以触发多屏同看页面上的多屏同看按钮,终端即可接收用户选择的多个目标码流标识,终端可以向服务器发送这多个目标码流标识。
302、服务器对接收到的至少两路选中音视频标识对应的至少两路选中音视频数据进行混流处理,得到目标音视频的视频显示数据、至少两路音频播放数据、以及画面音频映射关系。
具体地,服务器接收到多个目标码流标识后,服务器要把用户选择的这几个目标码流标识对应的多个码流的视频画面混成一个总画面,将混流得到的一个视频显示数据和多路音频显示数据向终端发送,在混流过程中,不同码流的视频画面对应总画面中的不同区域,服务器将不同区域的视频画面与其对应的音频显示数据对应起来,得到目标音视频的画面音频映射关系。
其中,码流可以由推流端模块发送,多画面音视频播放系统可以接收推流端模块发送的码流,码流的形式可以是现在热门的主播带货,也可以是各大卫视的电视频道等。推流段模块可以为运行在计算机设备上,计算机设备可以为服务器等。
其中,码流处理模块可以负责处理采集的码流,处理可以包括解复用、解码,混流等处理,混流可以为把多个码流生成一个码流,最终生成的码流包含一个总画面(如由4/6/8个画面拼接而成的一个总画面)和多个音频通道。
比如,可以参见图5,一个多画面音视频播放系统可以包括服务器和终端,服务器接收四个推流端向其发送的码流并进行处理,得到目标音视频的视频显示数据和音频播放数据,终端上安装客户端,客户端可以在接收视频显示数据以及音频播放数据,并进行多画面音视频播放。
303、终端基于从服务器接收到的视频显示数据和至少两路音频播放数据,确定目标音视频的视频画面包括的至少两个选中视频画面。
具体地可以有多种方式,比如,可以根据画面音频映射关系确定目标音视频的视频画面中,选中视频画面的数量和每个选中视频画面的位置,又比如,可以对视频画面进行画面识别,得到其中包含的选中视频画面的数量和各自的位置,等等。
304、终端基于视频显示数据,显示目标音视频的视频画面,该视频画面包括至少两个选中视频画面、每个选中视频画面的边界标识、以及播放至少两个选中视频画面中目标选中视频画面对应的目标音频播放数据,其中,目标选中视频画面对应目标边界标识。
305、终端检测目标边界标识对应的当前选中视频画面。
306、当当前选中视频画面与目标选中视频画面不同时,终端确定当前选中视频画面为切换选中视频画面,生成针对目标选中视频画面和切换选中视频画面的切换指令。
307、终端根据切换指令,播放切换选中视频画面对应的切换音频播放数据。
本申请可以在终端上安装客户端,通过客户端在终端侧实现多画面音视频播放,可以参见图6,用户在客户端上若选择多屏同看,可以在客户端页面添加自己喜欢的节目(即确定选中音视频标识),客户端可根据用户的操作,向服务器发送数据、以及接收服务器返回的数据,客户端可以根据接收到服务器返回的数据,初始化多屏页面并进行多画面音视频播放。
本申请在多画面音视频播放的过程中,可以切换视频画面,具体地,参见图7,服务器可以建立焦点与音频通道的对应关系(即画面音频映射关系),服务器可以将该对应关系发送的终端,终端可以获取显示屏幕上当前焦点(即目标边界标识),并判断焦点是否变换,若变换,则关闭当前焦点的音频(即目标音频播放数据或切换音频播放数据),并切换到变换后的音频通道,打开变化后焦点的音频进行音频播放(即通过音频播放接口播放切换音频播放数据、或新的切换音频播放数据),若焦点没有变换,则继续先前的音视频播放。
本申请可以在服务器上对多路选中音视频的选中音视频数据进行混流,得到目标音视频的视频显示数据和至少两路音频播放数据,终端在实现针对目标音视频的多画面音视频播放过程中,仅需对视频显示数据进行解码,相比于现有技术需要对每一路选中音视频的数据进行解码,本申请可以显著提升多画面音视频播放过程的数据解码速度。
为便于更好的实施本申请实施例提供的多画面音视频播放方法,本申请实施例还提供一种基于上述多画面音视频播放方法的装置。其中名词的含义与上述多画面音视频播放方法中相同,具体实现细节可以参考方法实施例中的说明。
如图8示,图8为本申请一实施例提供的多画面音视频播放装置的结构示意图,其中该多画面音视频播放装置可以包括获取模块401、画面显示模块402、音频播放模块403和切换模块404,其中,
获取模块401,用于获取目标音视频的视频显示数据和至少两路音频播放数据,目标音视频由至少两路选中音视频的选中音视频数据混流得到,至少两路选中音视频与至少两路音频播放数据一一对应;
画面显示模块402,用于基于视频显示数据,显示目标音视频的视频画面,视频画面包括至少两路选中音视频的至少两个选中视频画面;
音频播放模块403,用于播放至少两个选中视频画面中目标选中视频画面对应的目标音频播放数据;
切换模块404,用于当检测到针对目标选中视频画面的切换指令时,播放切换选中视频画面对应的切换音频播放数据,切换选中视频画面为与目标选中视频画面不同的选中视频画面。
在一些实施例中,多画面音视频播放装置还包括第一确定模块,确定模块具体用于:
对视频显示数据进行画面识别,确定目标音视频包含的至少两个选中视频画面、以及每个选中视频画面的画面边界信息。
在一些实施例中,多画面音视频播放装置还包括第二确定模块,第二确定模块包括查询子模块和确定子模块,其中,
查询子模块,用于根据音频播放数据的数量,查询目标音视频对应的画面显示策略;
确定子模块,用于基于画面显示策略,确定目标音视频包含的至少两个选中视频画面、以及每个选中视频画面的画面边界信息。
在一些实施例中,画面显示模块具体用于:
基于视频显示数据和画面边界信息,显示目标音视频的视频画面,视频画面包括至少两个选中视频画面、以及每个选中视频画面的边界标识,其中,至少两个选中视频画面包括目标选中视频画面,目标选中视频画面的边界标识与其他选中视频画面的边界标识不同。
在一些实施例中,音频播放模块具体用于:
接收服务器发送的画面音频映射关系,画面音频映射关系包括目标音视频的至少两个选中视频画面与至少两路音播放频数据的映射关系;
从画面音频映射关系中,确定目标选中视频画面对应的目标音频播放数据;
播放目标音频播放数据。
在一些实施例中,目标选中视频画面对应目标边界标识,切换模块包括检测子模块、确定子模块和播放子模块,其中,
检测子模块,用于检测目标边界标识对应的当前选中视频画面;
确定子模块,用于当当前选中视频画面与目标选中视频画面不同时,确定当前选中视频画面为切换选中视频画面,生成针对目标选中视频画面和切换选中视频画面的切换指令;
播放子模块,用于根据切换指令,播放切换选中视频画面对应的切换音频播放数据。
在一些实施例中,播放子模块具体用于:
根据切换指令,通过音频播放接口停止播放目标音频播放数据;
通过音频播放接口,播放切换选中视频画面对应的切换音频播放数据。
在一些实施例中,多画面音视频播放装置还包括:
获取模块,用于获取对象确定的至少两路选中音视频标识;
发送模块,用于向服务器发送至少两路选中音视频标识,以使服务器对选中音视频标识对应的至少两路选中音视频数据进行混流处理,得到目标音视频的视频显示数据和至少两路音频播放数据。
在一些实施例中,获取模块具体用于:
显示音视频选择页面,音视频选择页面包括多个待选音视频标识;
响应于针对多个待选音视频标识的选择操作,获取对象确定的至少两路选中音视频标识。
在一些实施例中,获取模块具体用于:
接收服务器发送的目标音视频的音视频数据;
对音视频数据进行分离处理,得到视频编码数据和至少两路音频编码数据;
分别对视频编码数据和音频编码数据进行解码,得到目标音视频的视频显示数据和至少两路音频播放数据。
本实施例中,获取模块401获取目标音视频的视频显示数据和至少两路音频播放数据,目标音视频由至少两路选中音视频的选中音视频数据混流得到,至少两路选中音视频与至少两路音频播放数据一一对应,画面显示模块402基于视频显示数据,显示目标音视频的视频画面,视频画面包括至少两路选中音视频的至少两个选中视频画面,音频播放模块403播放至少两个选中视频画面中目标选中视频画面对应的目标音频播放数据,切换模块404当检测到针对目标选中视频画面的切换指令时,播放切换选中视频画面对应的切换音频播放数据,切换选中视频画面为与目标选中视频画面不同的选中视频画面。
本申请可以在服务器上对多路选中音视频的选中音视频数据进行混流,得到目标音视频的视频显示数据和至少两路音频播放数据,终端在实现针对目标音视频的多画面音视频播放过程中,仅需对视频显示数据进行解码,相比于现有技术需要对每一路选中音视频的数据进行解码,本申请可以显著提升多画面音视频播放过程的数据解码速度。
本申请实施例还提供一种基于上述多画面音视频播放方法的装置。其中名词的含义与上述多画面音视频播放方法中相同,具体实现细节可以参考方法实施例中的说明。
如图9示,图9为本申请一实施例提供的多画面音视频播放装置的结构示意图,其中该多画面音视频播放装置可以包括接收模块501、数据获取模块502和混流模块503,其中,
接收模块501,用于接收终端发送的至少两路选中音视频的选中音视频标识;
数据获取模块502,用于根据至少两路选中音视频标识,获取至少两路选中音视频对应的至少两路选中音视频数据;
混流模块503,用于对至少两路选中音视频数据进行混流处理,得到目标音视频的视频显示数据和至少两路音频播放数据,以使终端基于视频显示数据和至少两路音频播放数据进行多画面音视频播放。
在一些实施例中,多画面音视频播放装置的数据获取模块具体用于:
根据至少两路选中音视频标识,向至少两个选中音视频对应的至少两个业务服务器分别发送数据获取请求;
接收至少两个业务服务器返回的至少两路选中音视频数据,选中音视频数据为业务服务器基于数据获取请求返回。
本实施例中,接收模块501接收终端发送的至少两路选中音视频的选中音视频标识,数据获取模块502根据至少两路选中音视频标识,获取至少两路选中音视频对应的至少两路选中音视频数据,混流模块503对至少两路选中音视频数据进行混流处理,得到目标音视频的视频显示数据和至少两路音频播放数据,以使终端基于视频显示数据和至少两路音频播放数据进行多画面音视频播放。
本申请可以在服务器上对多路选中音视频的选中音视频数据进行混流,得到目标音视频的视频显示数据和至少两路音频播放数据,终端在实现针对目标音视频的多画面音视频播放过程中,仅需对视频显示数据进行解码,相比于现有技术需要对每一路选中音视频的数据进行解码,本申请可以显著提升多画面音视频播放过程的数据解码速度。
此外,本申请实施例还提供一种计算机设备,该计算机设备可以为终端或者服务器,如图10所示,其示出了本申请实施例所涉及的计算机设备的结构示意图,具体来讲:
该计算机设备可以包括一个或者一个以上处理核心的处理器601、一个或一个以上计算机可读存储介质的存储器602、电源603和输入单元604等部件。本领域技术人员可以理解,图10中示出的计算机设备结构并不构成对计算机设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。其中:
处理器601是该计算机设备的控制中心,利用各种接口和线路连接整个计算机设备的各个部分,通过运行或执行存储在存储器602内的软件程序和/或模块,以及调用存储在存储器602内的数据,执行计算机设备的各种功能和处理数据,从而对计算机设备进行整体监控。可选的,处理器601可包括一个或多个处理核心;优选的,处理器601可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户页面和应用程序等,调制解调处理器主要处理无线通讯。可以理解的是,上述调制解调处理器也可以不集成到处理器601中。
存储器602可用于存储软件程序以及模块,处理器601通过运行存储在存储器602的软件程序以及模块,从而执行各种功能应用以及数据处理。存储器602可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据计算机设备的使用所创建的数据等。此外,存储器602可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地,存储器602还可以包括存储器控制器,以提供处理器601对存储器602的访问。
计算机设备还包括给各个部件供电的电源603,优选的,电源603可以通过电源管理系统与处理器601逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源603还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
该计算机设备还可包括输入单元604,该输入单元604可用于接收输入的数字或字符信息,以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。
尽管未示出,计算机设备还可以包括显示单元等,在此不再赘述。具体在本实施例中,计算机设备中的处理器601会按照如下的指令,将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器602中,并由处理器601来运行存储在存储器602中的应用程序,从而实现各种功能,如下:
获取目标音视频的视频显示数据和至少两路音频播放数据,目标音视频由至少两路选中音视频的选中音视频数据混流得到,至少两路选中音视频与至少两路音频播放数据一一对应;基于视频显示数据,显示目标音视频的视频画面,视频画面包括至少两路选中音视频的至少两个选中视频画面;播放至少两个选中视频画面中目标选中视频画面对应的目标音频播放数据;当检测到针对目标选中视频画面的切换指令时,播放切换选中视频画面对应的切换音频播放数据,切换选中视频画面为与目标选中视频画面不同的选中视频画面;
以及接收终端发送的至少两路选中音视频的选中音视频标识;根据至少两路选中音视频标识,获取至少两路选中音视频对应的至少两路选中音视频数据;对至少两路选中音视频数据进行混流处理,得到目标音视频的视频显示数据和至少两路音频播放数据,以使终端基于视频显示数据和至少两路音频播放数据进行多画面音视频播放。以上各个操作的具体实施可参见前面的实施例,在此不再赘述。
如本申请所公开的多画面音视频播放方法或装置,其中多个服务器可组成为一区块链,而服务器为区块链上的节点。
根据本申请的一个方面,提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述实施例中各种可选实现方式中提供的方法。
本领域普通技术人员可以理解,上述实施例的各种方法中的全部或部分步骤可以通过计算机程序来完成,或通过计算机程序控制相关的硬件来完成,该计算机程序可以存储于一计算机可读存储介质中,并由处理器进行加载和执行。
区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain),本质上是一个去中心化的数据库,是一串使用密码学方法相关联产生的数据块,每一个数据块中包含了一批次网络交易的信息,用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层。
区块链底层平台可以包括用户管理、基础服务、智能合约以及运营监控等处理模块。其中,用户管理模块负责所有区块链参与者的身份信息管理,包括维护公私钥生成(账户管理)、密钥管理以及用户真实身份和区块链地址对应关系维护(权限管理)等,并且在授权的情况下,监管和审计某些真实身份的交易情况,提供风险控制的规则配置(风控审计);基础服务模块部署在所有区块链节点设备上,用来验证业务请求的有效性,并对有效请求完成共识后记录到存储上,对于一个新的业务请求,基础服务先对接口适配解析和鉴权处理(接口适配),然后通过共识算法将业务信息加密(共识管理),在加密之后完整一致的传输至共享账本上(网络通信),并进行记录存储;智能合约模块负责合约的注册发行以及合约触发和合约执行,开发人员可以通过某种编程语言定义合约逻辑,发布到区块链上(合约注册),根据合约条款的逻辑,调用密钥或者其它的事件触发执行,完成合约逻辑,同时还提供对合约升级注销的功能;运营监控模块主要负责产品发布过程中的部署、配置的修改、合约设置、云适配以及产品运行中的实时状态的可视化输出,例如:告警、监控网络情况、监控节点设备健康状态等。
平台产品服务层提供典型应用的基本能力和实现框架,开发人员可以基于这些基本能力,叠加业务的特性,完成业务逻辑的区块链实现。应用服务层提供基于区块链方案的应用服务给业务参与方进行使用。
为此,本申请实施例还提供一种存储介质,其中存储有计算机程序,该计算机程序能够被处理器进行加载,以执行本申请实施例所提供的任一种多画面音视频播放方法中的步骤。例如,该计算机程序可以执行如下步骤:
获取目标音视频的视频显示数据和至少两路音频播放数据,目标音视频由至少两路选中音视频的选中音视频数据混流得到,至少两路选中音视频与至少两路音频播放数据一一对应;基于视频显示数据,显示目标音视频的视频画面,视频画面包括至少两路选中音视频的至少两个选中视频画面;播放至少两个选中视频画面中目标选中视频画面对应的目标音频播放数据;当检测到针对目标选中视频画面的切换指令时,播放切换选中视频画面对应的切换音频播放数据,切换选中视频画面为与目标选中视频画面不同的选中视频画面;
以及接收终端发送的至少两路选中音视频的选中音视频标识;根据至少两路选中音视频标识,获取至少两路选中音视频对应的至少两路选中音视频数据;对至少两路选中音视频数据进行混流处理,得到目标音视频的视频显示数据和至少两路音频播放数据,以使终端基于视频显示数据和至少两路音频播放数据进行多画面音视频播放。
其中,该存储介质可以包括:只读存储器(ROM,Read Only Memory)、随机存取记忆体(RAM,Random Access Memory)、磁盘或光盘等。
由于该存储介质中所存储的计算机程序,可以执行本申请实施例所提供的任一种多画面音视频播放方法中的步骤,因此,可以实现本申请实施例所提供的任一种多画面音视频播放方法所能实现的有益效果,详见前面的实施例,在此不再赘述。
以上对本申请实施例所提供的多画面音视频播放方法、装置及存储介质进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上,本说明书内容不应理解为对本申请的限制。

Claims (15)

1.一种多画面音视频播放方法,其特征在于,包括:
获取目标音视频的视频显示数据和至少两路音频播放数据,所述目标音视频由至少两路选中音视频的选中音视频数据混流得到,所述至少两路选中音视频与所述至少两路音频播放数据一一对应;
基于所述视频显示数据,显示所述目标音视频的视频画面,所述视频画面包括所述至少两路选中音视频的至少两个选中视频画面;
播放所述至少两个选中视频画面中目标选中视频画面对应的目标音频播放数据;
当检测到针对所述目标选中视频画面的切换指令时,播放切换选中视频画面对应的切换音频播放数据,所述切换选中视频画面为与所述目标选中视频画面不同的选中视频画面。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
对所述视频显示数据进行画面识别,确定所述目标音视频包含的至少两个选中视频画面、以及每个选中视频画面的画面边界信息。
3.根据权利要求1所述的方法,其特征在于,所述方法还包括:
根据所述音频播放数据的数量,查询所述目标音视频对应的画面显示策略;
基于所述画面显示策略,确定所述目标音视频包含的至少两个选中视频画面、以及每个选中视频画面的画面边界信息。
4.根据权利要求2或3所述的方法,其特征在于,所述基于所述视频显示数据,显示所述目标音视频的视频画面,包括:
基于所述视频显示数据和所述画面边界信息,显示所述目标音视频的视频画面,所述视频画面包括至少两个选中视频画面、以及每个选中视频画面的边界标识,其中,所述至少两个选中视频画面包括目标选中视频画面,所述目标选中视频画面的边界标识与其他选中视频画面的边界标识不同。
5.根据权利要求1所述的方法,其特征在于,所述播放所述至少两个选中视频画面中目标选中视频画面对应的目标音频播放数据,包括:
接收服务器发送的画面音频映射关系,所述画面音频映射关系包括目标音视频的至少两个选中视频画面与至少两路音播放频数据的映射关系;
从所述画面音频映射关系中,确定所述目标选中视频画面对应的目标音频播放数据;
播放所述目标音频播放数据。
6.根据权利要求4所述的方法,其特征在于,所述目标选中视频画面对应目标边界标识,
所述当检测到针对所述目标选中视频画面的切换指令时,播放切换选中视频画面对应的切换音频播放数据,包括:
检测所述目标边界标识对应的当前选中视频画面;
当所述当前选中视频画面与所述目标选中视频画面不同时,确定所述当前选中视频画面为切换选中视频画面,生成针对所述目标选中视频画面和所述切换选中视频画面的切换指令;
根据所述切换指令,播放所述切换选中视频画面对应的切换音频播放数据。
7.根据权利要求6所述的方法,其特征在于,所述根据所述切换指令,播放所述切换选中视频画面对应的切换音频播放数据,包括:
根据所述切换指令,通过音频播放接口停止播放所述目标音频播放数据;
通过所述音频播放接口,播放所述切换选中视频画面对应的切换音频播放数据。
8.根据权利要求1所述的方法,其特征在于,所述方法还包括:
获取对象确定的至少两路选中音视频标识;
向服务器发送所述至少两路选中音视频标识,以使所述服务器对所述选中音视频标识对应的至少两路选中音视频数据进行混流处理,得到目标音视频的视频显示数据和至少两路音频播放数据。
9.根据权利要求8所述的方法,其特征在于,所述获取对象确定的至少两路选中音视频标识,包括:
显示音视频选择页面,所述音视频选择页面包括多个待选音视频标识;
响应于针对所述多个待选音视频标识的选择操作,获取对象确定的至少两路选中音视频标识。
10.根据权利要求1所述的方法,其特征在于,所述获取目标音视频的视频显示数据和至少两路音频播放数据,包括:
接收服务器发送的目标音视频的音视频数据;
对所述音视频数据进行分离处理,得到视频编码数据和至少两路音频编码数据;
分别对所述视频编码数据和所述音频编码数据进行解码,得到所述目标音视频的视频显示数据和至少两路音频播放数据。
11.一种多画面音视频播放方法,其特征在于,包括:
接收终端发送的至少两路选中音视频的选中音视频标识;
根据所述至少两路选中音视频标识,获取所述至少两路选中音视频对应的至少两路选中音视频数据;
对所述至少两路选中音视频数据进行混流处理,得到目标音视频的视频显示数据和至少两路音频播放数据,以使所述终端基于所述视频显示数据和至少两路音频播放数据进行多画面音视频播放。
12.根据权利要求11所述的方法,其特征在于,所述根据所述至少两路选中音视频标识,获取所述至少两路选中音视频对应的至少两路选中音视频数据,包括:
根据所述至少两路选中音视频标识,向至少两个选中音视频对应的至少两个业务服务器分别发送数据获取请求;
接收所述至少两个业务服务器返回的至少两路选中音视频数据,所述选中音视频数据为所述业务服务器基于所述数据获取请求返回。
13.一种多画面音视频播放装置,其特征在于,包括:
获取模块,用于获取目标音视频的视频显示数据和至少两路音频播放数据,所述目标音视频由至少两路选中音视频的选中音视频数据混流得到,所述至少两路选中音视频与所述至少两路音频播放数据一一对应;
画面显示模块,用于基于所述视频显示数据,显示所述目标音视频的视频画面,所述视频画面包括所述至少两路选中音视频的至少两个选中视频画面;
音频播放模块,用于播放所述至少两个选中视频画面中目标选中视频画面对应的目标音频播放数据;
切换模块,用于当检测到针对所述目标选中视频画面的切换指令时,播放切换选中视频画面对应的切换音频播放数据,所述切换选中视频画面为与所述目标选中视频画面不同的选中视频画面。
14.一种多画面音视频播放装置,其特征在于,包括:
接收模块,用于接收终端发送的至少两路选中音视频的选中音视频标识;
数据获取模块,用于根据所述至少两路选中音视频标识,获取所述至少两路选中音视频对应的至少两路选中音视频数据;
混流模块,用于对所述至少两路选中音视频数据进行混流处理,得到目标音视频的视频显示数据和至少两路音频播放数据,以使所述终端基于所述视频显示数据和至少两路音频播放数据进行多画面音视频播放。
15.一种存储介质,其特征在于,所述存储介质存储有多条计算机程序,所述计算机程序适于处理器进行加载,以执行如权利要求1至12任一项方法中的步骤。
CN202110872870.8A 2021-07-30 2021-07-30 多画面音视频播放方法、装置及存储介质 Pending CN115695859A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110872870.8A CN115695859A (zh) 2021-07-30 2021-07-30 多画面音视频播放方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110872870.8A CN115695859A (zh) 2021-07-30 2021-07-30 多画面音视频播放方法、装置及存储介质

Publications (1)

Publication Number Publication Date
CN115695859A true CN115695859A (zh) 2023-02-03

Family

ID=85059589

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110872870.8A Pending CN115695859A (zh) 2021-07-30 2021-07-30 多画面音视频播放方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN115695859A (zh)

Similar Documents

Publication Publication Date Title
US11706200B2 (en) Tracking and analyses of content presentation
CN102860028B (zh) 内容重放装置、控制信息提供服务器以及内容重放系统
CN109982148B (zh) 一种直播方法、装置、计算机设备与存储介质
EP3363511A1 (en) Video generating system, control device, and editing device
CN109525851A (zh) 直播方法、装置和存储介质
WO2016074327A1 (zh) 一种媒体流的控制方法、装置和系统
CN103067776A (zh) 节目推送方法、系统及智能显示设备、云端服务器
CN112492401B (zh) 基于视频的互动方法、装置、计算机可读介质及电子设备
CN113518260B (zh) 视频播放方法、装置、电子设备及计算机可读存储介质
JP2013537330A (ja) コンテンツシグネチャリングユーザーインターフェイス
JP2022046513A (ja) ビデオ通話センター
CN109819324A (zh) 一种信息推荐方法和装置及计算机可读存储介质
CN113741762A (zh) 一种多媒体播放方法、装置、电子设备和存储介质
CN102347839A (zh) 内容签名
WO2018000743A1 (zh) 一种用于跨设备群聊的方法及电子设备
CN109089152A (zh) 一种直播间的操作方法、装置、设备和存储介质
CN115695859A (zh) 多画面音视频播放方法、装置及存储介质
CN111104087A (zh) 庭审信息处理方法、装置、系统及存储介质
CN112866794A (zh) 一种音轨切换方法及设备
CN105872667A (zh) 一种智能终端播放广告的方法和一种智能终端
CN107613376A (zh) 一种直播方法及装置
CN114025170A (zh) 视频播放方法、装置、计算机设备和计算机可读存储介质
CN103873268B (zh) 数据播放的处理系统、控制播放的操控器及其相关设备
WO2017197817A1 (zh) 一种数据处理方法、装置、电子设备及服务器
CN112073359B (zh) 信息交互方法、装置、设备及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40081523

Country of ref document: HK