CN114697724A - 一种媒体播放方法及电子设备 - Google Patents

一种媒体播放方法及电子设备 Download PDF

Info

Publication number
CN114697724A
CN114697724A CN202011634630.6A CN202011634630A CN114697724A CN 114697724 A CN114697724 A CN 114697724A CN 202011634630 A CN202011634630 A CN 202011634630A CN 114697724 A CN114697724 A CN 114697724A
Authority
CN
China
Prior art keywords
video
media file
file
media
playing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011634630.6A
Other languages
English (en)
Inventor
王灿
马明刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN202011634630.6A priority Critical patent/CN114697724A/zh
Priority to PCT/CN2021/140717 priority patent/WO2022143374A1/zh
Publication of CN114697724A publication Critical patent/CN114697724A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439Processing of audio elementary streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/475End-user interface for inputting end-user data, e.g. personal identification number [PIN], preference data
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/485End-user interface for client configuration

Abstract

本申请涉及一种媒体播放方法及电子设备,属于视频处理技术领域。该方法包括:电子设备检测到针对第一媒体文件的第一用户输入;响应于第一用户输入,电子设备播放第一媒体文件;在第一媒体文件播放至第一位置时,电子设备播放第二媒体文件,并且电子设备继续播放第一媒体文件;其中,第一位置为预先设置的。本申请使得电子设备能够同时播放多路视频,有助于满足用户同时观看多路视频的需求,提高用户体验。

Description

一种媒体播放方法及电子设备
技术领域
本申请涉及视频处理技术领域,特别涉及一种媒体播放方法及电子设备。
背景技术
目前,常见的视频文件格式有MP4、AVI等,而这些格式的视频文件在某一时刻仅支持一路视频的播放,无法支持多路视频同时播放。因而无法满足用户全方位多视角的观看需求。例如,某一比赛直播场景,基于现有格式的视频文件,无法同时播放实时比赛的视频和精彩回放的视频。在播放精彩回放的视频时,如果比赛还在进行中,就容易导致用户错过一些实时比赛的画面,用户观看体验较差。
发明内容
为了解决上述技术问题,本申请提供了一种媒体播放方法及电子设备,使得电子设备可以同时播放多路视频,满足用户同时观看多路视频的需求,提高了用户体验。
第一方面,为本申请实施例的一种播放方法,应用于电子设备,具体包括:电子设备检测到针对第一媒体文件或第一控件的第一用户输入;响应于第一用户输入,电子设备播放第一媒体文件;在第一媒体文件播放至第一位置时,电子设备播放所述第二媒体文件,并且继续播放第一媒体文件;其中,第一位置为预先设置的。
本申请实施例中,由于当第一媒体文件播放至第一位置时可以自动播放第二媒体文件,从而电子设备可以同时播放多个媒体文件。因此,在媒体文件为视频文件的情况下,有助于满足用户能够同时观看多个视角的视频的需求,提高用户体验。
在一种可能的设计中,电子设备包括显示屏;第一媒体文件和第二媒体文件在显示屏上播放;第一媒体文件和第二媒体文件都为视频文件。从而便于用户观看。
在一种可能的设计中,电子设备包括扬声器;第一媒体文件和第二媒体文件在扬声器上播放;第一媒体文件和第二媒体文件都为音频文件。
在一种可能的设计中,电子设备与耳机连接;第一媒体文件和第二媒体文件在耳机上播放;第一媒体文件和第二媒体文件都为音频文件。
在一种可能的设计中,电子设备包括显示屏和扬声器,第一媒体文件在显示屏上播放;第一媒体为视频文件;第二媒体文件在扬声器上播放;第二媒体文件为音频文件。
在一种可能的设计中,电子设备包括显示屏,且电子设备与耳机连接,第一媒体文件在显示屏上播放;第一媒体文件为视频文件;第二媒体文件在所述耳机上播放;第二媒体文件为音频文件。
在一种可能的设计中,电子设备包括显示屏,且电子设备与耳机连接,第一媒体文件在耳机上播放;第一媒体文件为音频文件;第二媒体文件在显示屏上播放;所第二媒体文件为视频文件。
在一种可能的设计中,电子设备包括显示屏和扬声器,第一媒体文件在扬声器上播放;第一媒体文件为音频文件;第二媒体文件在显示屏上播放;第二媒体文件为视频文件。
在一种可能的设计中,电子设备可以基于下列方式在第一媒体文件播放至第一位置时,播放所述第二媒体文件,并且继续播放所述第一媒体文件:
在第一媒体文件播放至第一位置时,电子设备的显示屏分屏为第一屏和第二屏,在第二屏播放第二媒体文件,并且在第一屏继续播放第一媒体文件;其中,第一媒体文件和第二媒体文件都为视频文件。从而便于实现。
在一种可能的设计中,电子设备可以基于下列方式在第一媒体文件播放至第一位置时,播放第二媒体文件,并且继续播放第一媒体文件:
在第一媒体文件播放至第一位置时,在显示屏上显示一个窗口,该窗口显示第二媒体文件对应的第二画面,且该窗口悬浮在第一媒体文件对应的第一画面之上;其中,第一媒体文件和第二媒体文件都为视频文件。不但便于实现,还降低了对观看第一媒体文件对应的第一画面的影响。
在一种可能的设计中,第一位置包括以下的一种:第一媒体文件中预设的播放时间点、第一媒体文件中预设的播放帧、第一媒体文件预设的播放比例。
在一种可能的设计中,第一位置为用户预先设置的。从而提高第一位置设置的灵活性。
在一种可能的设计中,第一媒体文件在播放时,关联第一媒体文件扩展信息;第一媒体文件扩展信息包括第一媒体文件标识;第一媒体文件标识用于标识第一媒体文件;第一媒体文件扩展信息关联第二媒体文件扩展信息;第二媒体文件扩展信息包括第二媒体文件标识和第二媒体文件播放位置标识;第二媒体文件标识用于标识第二媒体文件;第二媒体文件播放位置标识用于标识第二媒体开始播放时所述第一媒体的第一播放位置信息;第一播放位置信息包括所述第一位置。
例如,第一媒体文件包括媒体扩展信息,媒体扩展信息包括第一媒体文件扩展信息和第二媒体文件扩展信息。
在一种可能的设计中,在第二媒体文件播放完毕后,电子设备继续播放第一媒体文件;且电子设备只播放第一媒体文件。
在一种可能的设计中,在第一媒体文件播放至第二位置时,电子设备播放第三媒体文件,并且电子设备继续播放第一媒体文件;其中,第二位置为预先设置的;第二位置位于第二媒体文件播放完毕后。
在一种可能的设计中,第二位置包括以下的一种:第一媒体文件中预设的播放时间点、第一媒体文件中预设的播放帧、第一媒体文件预设的播放比例。
在一种可能的设计中,所述第一媒体文件扩展信息还关联第三媒体文件扩展信息;所述第三媒体文件扩展信息包括第三媒体文件标识和第三媒体文件播放位置标识;所述第三媒体文件标识用于标识所述第三媒体文件;所述第三媒体文件播放位置标识用于标识所述第三媒体开始播放时所述第一媒体的第二播放位置信息;所述第二播放位置信息包括所述第二位置。例如,第一媒体文件还包括第三媒体文件扩展信息。
在一种可能的设计中,所述第一媒体文件扩展信息为与所述第一多媒体多路信息mmmw,所述第二媒体文件扩展信息为第二mmmw,所述第三媒体文件扩展信息为第三mmmw,所述第一mmmw、与所述第一mmmw对应的stsd、stts、stsc、stsz、stss、stco位于第一媒体流盒子stb1中,所述第二mmmw、与所述第二mmmw对应的stsd、stts、stsc、stsz、stss、stco位于第二媒体流盒子stb1中,所述第三mmmw、与所述第三mmmw对应的stsd、stts、stsc、stsz、stss、stco位于第三媒体流盒子stb1中,所述第一媒体流盒子stb1位于所述第一媒体盒子media中,所述第二媒体流盒子stb1位于所述第二媒体盒子media中,所述第三媒体流盒子stb1位于所述第三媒体盒子media中,所述第一媒体盒子media和与所述第一媒体盒子media对应的头tkhd位于第一流trak中,所述第二媒体盒子media和与所述第二媒体盒子media对应的头tkhd位于第二流trak中,所述第三媒体盒子media和与所述第三媒体盒子media对应的头tkhd位于第三流trak中,所述第一流trak、所述第二流trak、所述第三流trak、与所述第一流trak、所述第二流trak与所述第三流trak对应的头mvhd位于视频盒子moov中,所述视频盒子moov、媒体数据mdata和媒体类型ftyp位于MP4文件中,所述第一流trak用于指示所述第一媒体文件,所述第二流trak用于指示所述第二媒体文件,所述第三流trak用于指示所述第三媒体文件,所述第一媒体文件、所述第二媒体文件和所述第三媒体文件均为视频文件。从而便于实现。
第二方面,为本申请实施例的一种视频文件的获取方法,应用于电子设备,所述电子设备包括显示屏;具体包括:
所述显示屏显示第一应用的第一界面;所述第一界面包括主视频文件设置控件、主视频文件预览框、第一从视频文件设置控件、第一从视频文件预览框、第一关联设置控件和完成控件;
响应于对所述主视频文件设置控件的第一用户输入,所述显示屏显示所述第一应用的第二界面;所述第二界面包括第一视频文件和第二视频文件;
响应于对所述第一视频文件的第二用户输入,所述主视频文件预览框显示所述第一视频文件的预览静态画面或预览动态画面;
响应于对所述第一从视频文件设置控件的第三用户输入,所述电子设备显示所述第二界面;
响应于对所述第二媒体文件的第四用户输入,所述第一从视频文件预览框显示所述第二视频文件的预览静态画面或预览动态画面;
响应于对所述第一关联设置控件的第五用户输入,所述显示屏显示一个关联设置框;所述关联设置框用于设置所述主视频文件在播放至第一位置时,所述第一从视频文件开始播放,并且所述第一从视频文件的播放不会暂停或停止所述主视频文件的播放;所述关联设置框包括第一位置输入框、第一确认控件和第二确认控件;
在接收到对所述第一位置输入框的第六用户输入后,且在接收到对所述第一确认控件的第七用户输入后,所述第一位置设置完毕;
在接收到对所述完成控件的第八用户输入后,获取到第三视频文件。
通过上述技术方案,使得用户可以根据自身的需要,将多个视频文件整合为一个视频文件,从而电子设备可以基于一个视频文件,同时播放多路视频。
在一种可能的设计中,响应于对第三视频文件的操作,电子设备可以播放第一视频文件;在第一视频文件播放至第一位置时,电子设备播放所述第二视频文件,并且继续播放第一视频文件。
第三方面,为本申请实施例的一种电子设备,所述电子设备包括执行上述第一方面或者第一方面的任意一种可能的设计的方法的模块/单元;这些模块/单元可以通过硬件实现,也可以通过硬件执行相应的软件实现。
第四方面,为本申请实施例的一种电子设备,所述电子设备包括执行上述第二方面或者第二方面的任意一种可能的设计的方法的模块/单元;这些模块/单元可以通过硬件实现,也可以通过硬件执行相应的软件实现。
第五方面,为本申请实施例的一种媒体播放装置,所述媒体播放装置包括存储器、和处理器,以及计算机程序,所述计算机程序存储在存储器中,当所述计算机程序被所述执行时,使得所述媒体播放装置执行本申请实施例第一方面及其第一方面任一可能设计的技术方案。
在一种可能的设计中,所述媒体播放装置为电子设备、或者所述媒体播放装置为芯片。
第六方面,为本申请实施例的一种媒体播放装置,所述媒体播放装置包括存储器、和处理器,以及计算机程序,所述计算机程序存储在存储器中,当所述计算机程序被所述执行时,使得所述媒体播放装置执行本申请实施例第二方面及其第二方面任一可能设计的技术方案。
在一种可能的设计中,所述媒体播放装置为电子设备、或者所述媒体播放装置为芯片。
第七方面,为本申请实施例的一种计算机可读存储介质,所述计算机可读存储介质包括计算机程序,当计算机程序在电子设备上运行时,使得所述电子设备执行如上述第一方面及其第一方面任一可能设计的技术方案。
第八方面,为本申请实施例的一种计算机可读存储介质,所述计算机可读存储介质包括计算机程序,当计算机程序在电子设备上运行时,使得所述电子设备执行如上述第二方面及其第二方面任一可能设计的技术方案。
第九方面,为本申请实施例的一种计算机程序产品,当其在计算机上运行时,使得所述计算机执行如上述第一方面及其第一方面任一可能设计的技术方案。
第十方面,为本申请实施例的一种计算机程序产品,当其在计算机上运行时,使得所述计算机执行如上述第二方面及其第二方面任一可能设计的技术方案。
其中,第三方面至第十方面的有益效果,请参见方法部分的有益效果,不重复赘述。
附图说明
图1为本申请实施例的一种视频文件的结构示意图;
图2为本申请实施例的一种视频扩展信息的结构示意图;
图3为本申请实施例的一种点播场景的网络架构的示意图;
图4A为本申请实施例的一种视频处理设备的结构示意图;
图4B为本申请实施例的一种视频播放设备的结构示意图;
图5为本申请实施例的一种用于视频文件整合的界面示意图;
图6为本申请实施例的另一用于视频文件整合的界面示意图;
图7为本申请实施例的另一用于视频文件整合的界面示意图;
图8为本申请实施例的一种视频文件存储位置界面的示意图;
图9A为本申请实施例的另一用于视频文件整合的界面示意图;
图9B为本申请实施例的另一用于视频文件整合的界面示意图;
图10为本申请实施例的一种视频播放的界面示意图;
图11为本申请实施例的另一视频播放的界面示意图;
图12为本申请实施例的另一视频播放的界面示意图;
图13为本申请实施例的另一界面的示意图;
图14为本申请实施例的一种直播场景的网络架构示意图;
图15A为本申请实施例的一种播放布局的示意图;
图15B为本申请实施例的另一播放布局的示意图;
图16为本申请实施例的另一视频播放的界面示意图;
图17为本申请实施例的一种视频播放装置的结构示意图。
具体实施方式
下面结合本申请实施例中的附图,对本申请实施例中的技术方案进行描述。其中,在本申请实施例的描述中,以下实施例中所使用的术语只是为了描述特定实施例的目的,而并非旨在作为对本申请的限制。如在本申请的说明书和所附权利要求书中所使用的那样,单数表达形式“一个”、“一种”、“所述”、“上述”、“该”和“这一”旨在也包括例如“一个或多个”这种表达形式,除非其上下文中明确地有相反指示。还应当理解,在本申请以下各实施例中,“至少一个”、“一个或多个”是指一个或两个以上(包含两个)。术语“和/或”,用于描述关联对象的关联关系,表示可以存在三种关系;例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B的情况,其中A、B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。
在本说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此,在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例,而是意味着“一个或多个但不是所有的实施例”,除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”,除非是以其他方式另外特别强调。术语“连接”包括直接连接和间接连接,除非另外说明。“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。
在本申请实施例中,“示例性地”或者“例如”等词用于表示作例子、例证或说明。本申请实施例中被描述为“示例性地”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言,使用“示例性地”或者“例如”等词旨在以具体方式呈现相关概念。
需要指出的是,本申请实施例中涉及的“第一”、“第二”等词汇,仅用于区分描述的目的,而不能理解为指示或暗示相对重要性,也不能理解为指示或暗示顺序。
为了解决上述技术问题,本申请提供了一种媒体播放方法,使得电子设备能够根据一个媒体文件,同时播放多路媒体,例如第一媒体和第二媒体。在媒体为视频的情况下,使得用户可以同时观看多路视频的需求,有助于提高用户体验。
应理解,在本申请实施例中,媒体可以为视频、音频、图像、动画等,媒体文件可以为视频文件、音频文件、图像文件等文件。下面以媒体文件为视频文件为例,对本申请实施例的媒体播放方法进行介绍,在媒体文件为音频文件或图像文件时,可以参见视频文件的相关介绍。
在一些实施例中,通过在视频文件增加视频扩展信息,使得视频文件能够支持同时播放多路视频,满足用户同时观看多路视频的需求。其中,视频扩展信息用于指示至少两路视频的关联关系。例如,视频文件的视频扩展信息用于指示,实时比赛的视频与精彩回放的视频的关联关系。视频播放设备可以基于视频文件,同时播放实时比赛的视频和精彩回放的视频。
以视频扩展信息用于指示第一路视频与第二路视频的关联关系为例。示例性地,视频扩展信息包括第一路视频的扩展信息和第二路视频的扩展信息。第一路视频的扩展信息包括主视频标识;主视频标识用于标识第一路视频为主视频。第二路视频的扩展信息包括从视频标识和从视频播放的关联标识。从视频标识用于指示第二路视频为从视频;从视频播放的关联标识又可以称之为从视频播放位置标识,用于标识在主视频播放至第一播放位置时,从视频开始播放。有关第一播放位置,可以采用帧、时间、比例等来标记。比如,第一播放位置为帧,可以设定在主视频播放至第10帧时,开始播放从视频;第一播放位置为时间,可以设定在主视频播放至1分20秒时,开始播放从视频;第一播放位置为比例,可以设定在主视频播放至1/3时,开始播放从视频。
需要说明的是,上述仅是以视频扩展信息用于指示第一路视频与第二路视频的关联关系为例进行介绍的,并不够成对视频扩展信息的限定。在本申请实施例中,视频扩展信息可以用于指示多路视频的关联关系。例如,从视频可以有多路。多路从视频可以称为第一从视频、第二从视频…等。在有多路从视频的情形下,可以只有部分从视频与主视频有直接的关联关系,而剩余的从视频与上述部分从视频有直接的关联关系。比如,以视频扩展信息用于指示第一路视频、第二路视频和第三路视频的关联关系为例。视频扩展信息包括第一路视频的扩展信息、第二路视频的扩展信息和第三路视频的扩展信息。第一路视频的扩展信息包括主视频标识,第二路视频的扩展信息包括从视频标识和第二从视频播放的关联标识,第三路视频的扩展信息包括从视频标识和第三从视频播放的关联标识。第二从视频播放的关联标识用于标识主视频播放至第一播放位置时,第二从视频开始播放。第三从视频播放的关联标识用于标识第二从视频播放至第二播放位置时,第三从视频开始播放。可以理解的是,第三从视频播放的关联标识也可以用于标识主视频播放至第三播放位置时,第三从视频开始播放。需要说明的是,第一播放位置和第三播放位置可以相同,也可以不同,对此不作限定。
当然,在从视频有多路的情况下,视频扩展信息也可以用于指示多路从视频分别与主视频的关联关系。例如,视频扩展信息用于指示第一路视频与第二路视频的关联关系,和第一路视频和第三路视频的关联关系。
以视频扩展信息包括第一路视频的扩展信息和第二路视频的扩展信息为例,第二路视频扩展信息包括从视频标识和从视频播放的关联标识,在从视频播放的关联标识用于标识在主视频播放至第一播放位置时,从视频开始播放的情况下,示例的,从视频播放的关联标识可以为主视频的帧序号(如sample index)。即第二路视频的扩展信息包括的主视频帧序号,当主视频帧序号用于标识主视频的第N帧时,其中N为大于或等于1的正整数,则在主视频播放至第N帧时,开始播放从视频。即第一路视频的第N帧与第二路视频的第1帧同时播放,第一路视频的第N+1帧与第二路视频的第2帧同时播放,第一路视频的第N+2帧与第二路视频的第3帧同时播放,以此类推,直至第二路视频播放结束,不再播放第二路视频,如果第一路视频仍未结束,则继续播放第一路视频。
在本申请实施例中从视频播放的关联标识还可以通过其它信息来标识在主视频处于什么播放位置时,开始播放从视频。例如主视频中某一帧的起始播放时刻、从视频中某一帧的起始播放时刻、从视频的帧标识等,对此不作限定。
首先,对本申请实施例中涉及的部分名词进行解释,以便于本领域技术人员理解。
1、视频文件。本申请实施例中基于是否支持同时播放至少两路视频将视频文件划分为两类,分别为第一类视频文件和第二类视频文件。第一类视频文件只能支持播放一路视频。第二类视频文件支持同时播放至少两路视频。示例的,第一类视频文件不包括视频扩展信息,可以参见现有协议中的关于视频文件的规定,在此不再赘述。
示例的,第二类视频文件包括视频扩展信息。例如,本申请实施例中第二类视频文件可以包括视频元数据、视频数据和音频数据。其中,视频元数据为视频数据和音频数据的描述信息,用于索引到相应的视频数据和音频数据。比如,视频元数据包括视频扩展信息。该视频扩展信息用于描述多路视频的关联关系。在本申请的另一些实施例中,视频元数据还可以包括视频类型(主视频、还是从视频)等。视频数据用于描述视频中图像,可以为图像序列。对于某一个第二类视频文件来说,可以包括一路或多路视频的视频数据。音频数据用于描述视频中的声音,可以理解为数字化的声音数据。此外,对于某一个第二类视频文件来说,也可以包括一路或多路视频的音频数据。例如,一个第二类视频文件包括视频元数据、N路视频的视频数据和M路视频的音频数据。N和M为正整数,N和M的取值可以相同,也可以不同。例如,N和M的取值相同,M路视频的音频数据与N路视频的视频数据分别相对应。再例如,N与M的取值不同,N大于1,M等于1,在这种情况下,视频文件中的音频数据可以对应N路视频中某一路视频的视频数据,如主视频的视频数据,或者某一从视频的视频数据。此外,还需要说明的是,对于一路视频来说,以主视频为例,主视频的音频数据可以包括一个或多个音轨的音频数据。例如,主视频的音频数据包括两个音轨的音频数据,其中,一个音轨的音频数据用于描述视频中的使用某一种语言(如中文)的声音,另一个音轨的音频数据用于描述视频中的使用另一种语言(如英文)的声音。在这种情况下,用户可以在播放主视频时,根据需要选择使用中文还是英文播放声音。
以第二类视频文件的视频格式为MP4为例。在这种情况下,该第二类视频文件又可以称之为MP4文件。在一些实施例中,如图1所示,MP4文件包括ftyp(file type box)、mdata(media data box)和moov(movie box)。ftyp包含视频文件格式信息,在这里ftyp包含的视频文件格式信息用于标识视频文件格式为MP4。mdata用于存储媒体数据。应理解,本申请实施例中的视频数据、音频数据均可以称之为媒体数据。在一些实施例中,视频数据和音频数据分别可以基于chunk-sample划分,以便于查找。在这种情况下,mdata是以chunk为单位存储媒体数据的,一个chunk可以包括一个或多个sample,sample是媒体数据(视频数据或音频数据)的最小存储单元。moov包含视频元数据。示例的,moov是一个container box,所包含的视频元数据可以由相应的子box诠释。例如,moov包括mvhd(movie header box)和至少一个trak(track box)。其中,mvhd用于存储MP4文件的创建时间、修改时间、时长、推荐播放速率等信息。trak用于存储视频数据或者音频数据的相关描述信息。以一个trak为例,在一些实施例中,trak是一个container box,可以包括tkhd(track header box)和mdia(mediabox)等。tkhd包含一路视频的媒体数据(音频数据或视频数据)的总体信息,例如track id、视频时长等。track id用于标识一路视频。示例的,mdia是一个container box,可以包括mdhd(media header box)、hdlr(handler reference box)和minf(media informationbox)。mdha用于定义time scale等。hdlr包含与视频播放过程相关的信息,例如数据类型(音频、视频等)。示例的,minf是一个container box,可以包括stb1(sample table box)。stb1包括stsd(sample description box)、stts(time to sample box)、stsc(sample tochunk box)、stsz(sample size box)、stss(sync sample box)、stco(chunk offset box)等。stsd包含视频的编码类型、宽高、长度、音频的声道、采样等信息。stts包含sample的时序映射信息,如sample index、与sample index对应的时间偏移量等。stsc包含sample与chunk的映射关系。stsz用于存储媒体数据的每个sample的大小。stss可以包含可随机访问的sample index列表,该sample index列表中的每个sample index用于指示一个关键帧。本申请实施例中,关键帧可以理解为携带全量数据的视频帧,无需参考之前的视频帧就可以独立解码为一帧视频画面。非关键帧可以理解为增量数据的视频帧,需要参考其它帧才能解码出一帧视频画面。只有关键帧才能随机访问。stco用于定义每个chunk在媒体数据中的位置,例如,stco包含每个chunk在媒体数据中的偏移。具体的,关于ftyp、mdata、moov可以参见现有协议中的相关介绍,在此不再详述。
在MP4文件为第二类视频文件的情况下,进一步的,在一些实施例中,通过在用于描述视频数据的trak中的stb1增加字段mmmw(多媒体多路信息,multi media multi way),从而在MP4文件中增加对应的视频扩展信息。示例的,mmmw包括一路视频的扩展信息。示例的,在视频类型不同的情况下,对应的stb1中mmmw包括的扩展信息可以不同。例如,在trak中track id标识的视频的视频类型为主视频时,对应stb1中的mmmw可以包括主视频标识。在一些实施例中,在trak中track id标识的视频的视频类型为主视频时,对应stb1中的mmmw还可以包括主视频对应音频数据的track id。再例如,在trak中track id标识的视频的视频类型为从视频时,对应stb1中的mmmw可以包括从视频标识和从视频播放的关联标识,从视频播放的关联标识用于标识从视频开始播放时主视频的播放位置。例如,从视频播放的关联标识可以为sample index。在一些实施例中,在trak中track id标识的视频的视频类型为从视频时,对应stb1中的mmmw可以包括从视频对应音频数据的track id。
示例的,mmmw是stb1的子box,也可以理解为一个box,其结构可以如图2所示,包括以下字段:box size、box type、version、flags、role、audio track id、sample index。例如,box size可以占用4个字节,用于表示box的大小;box type可以占用4个字节,用于表示box的类型;version可以占用1个字节,用于表示box的版本;flags可以占用3字节,用于扩展一些功能的标志位;role可以占用4字节,用于标识视频类型(主视频或从视频);audiotrack id可以占用4字节,用于标识音频数据;sample index可以占用4字节,用于标识从视频开始播放时主视频的播放位置。其中,对于主视频和从视频来说,mmmw的结构可以相同,在这种情况下,对于主视频来说,以下字段如sample index、audio track id可以为特殊标识或者为空,特殊标识用于指示该字段无效。对于从视频来说,audio track id可以为特殊标识或者为空。或者,对于主视频和从视频来说,mmmw的结构可以不同。在这种情况下,对于主视频来说,mmmw中sample index和audio track id可以是可选的字段,而对于从视频来说,audio trcak id可以是可选的字段。例如,对于主视频来说,mmmw中可以不包括以下字段:sample index或audio track id。或者,再例如,对于从视频来说,mmmw中可以不包括audio track id。需要说明的是,图2仅为一种mmmw的结构的举例说明,并不构成对本申请实施例的限定。例如,role还可以占用两个字节等。
还需要说明的是,上述是以用于携带视频的扩展信息字段为mmmw为例进行说明的,本申请实施例对用于携带视频的扩展信息字段的名称不作限定,例如,用于携带视频的扩展信息的字段还可以称之为视频扩展字段等。
2、视频播放设备。本申请实施例中的视频播放设备为电子设备,如便携式终端。便携式终端如,手机、平板电脑、笔记本电脑等。在这种情况下,视频播放设备可以响应于对安装在便携式终端上的视频应用(如华为
Figure BDA0002880877020000091
)的操作,播放相应的视频。在另一些实施例中,视频播放设备还可以为非便携式终端,例如智慧屏、台式机电脑或电视机等。示例的,在视频播放设备为电视机的情况下,可以响应于用户选中某一频道的操作,播放相应的视频。进一步的,在一些实施例中,视频播放设备还可以支持整合视频文件。以视频播放设备为手机为例,手机响应于用户对自身安装的具有视频整合功能的应用(例如相机应用、图库应用或视频应用等)的操作,将至少两个第一类视频文件整合成一个第二类视频文件,并保存到本地和/或上传到视频服务器,从而使得手机可以基于第二类视频文件,同时播放至少两路视频。上述至少两个第一类视频文件为预先录制好的视频文件,可以存储在视频播放设备上,也可以是存储在网盘或服务器(如视频服务器)上,本申请实施例对预先录制好的视频文件的存储位置不作限定。进一步,在一些实例中,手机将至少两个第一类视频文件整合为一个第二类视频文件后,保存该第二类视频文件。例如,手机将该第二视频文件保存到本地和/或上传到服务器或网盘等。
3、视频处理设备。本申请实施例中的视频处理设备为电子设备,如便携式终端。例如,便携式终端可以为手机、平板电脑、笔记本电脑等。或者,本申请实施例中的视频处理设备也可以非便携式终端,例如智慧屏、台式机电脑、或电视机等,对此不作限定。需要说明的是,在视频处理设备为便携式终端或者非便携式终端时,视频处理设备与视频播放设备可以为同一设备,也可以为不同设备,对此不作限定。又或者,视频处理设备还可以为视频服务器等,本申请实施例中的视频服务器可以为云服务器,也可以为本地服务器,对此不作限定。示例的,视频处理设备具有视频整合功能,支持将至少两个第一类视频文件整合成一个第二类视频文件。
本申请实施例的视频播放方法可以应用于点播场景,也可以应用于直播场景。下面结合具体的应用场景,对本申请实施例的视频播放方法进行相应的说明。
图3示出了一种点播场景的网络架构,包括视频服务器和视频播放设备。其中,视频服务器用于接收来自视频播放设备的视频获取请求,向视频播放设备发送相应的视频文件。视频播放设备用于接收用户播放某一视频的操作,并响应于上述操作,向视频服务器发送视频获取请求,以及接收来自视频服务器的视频文件,并根据视频文件进行相应的播放。示例的,视频播放设备响应于用户对自身安装的视频应用(如华为视频)中的某一视频选项的操作,向视频服务器发送视频获取请求,以及接收来自视频服务器响应于视频获取请求发送的视频文件,并根据该视频文件,播放视频。
在视频播放设备接收到来自视频服务器的视频文件为第二类视频文件的情况下,视频播放设备可以根据该视频文件,播放多路视频。在一些实施例中,视频播放设备可以根据视频扩展信息,自适应相应的视频播放布局,并进行多路视频的播放。示例的,在视频扩展信息用于指示两路视频的关联关系的情况下,视频播放设备根据视频扩展信息,在小窗口内播放从视频,在大窗口内播放主视频。以视频扩展信息用于第一路视频与第二路视频的关联关系为例。例如,视频扩展信息包括第一路视频的扩展信息和第二路视频的扩展信息,第一路视频的扩展信息包括主视频标识,第二路视频的扩展信息包括从视频标识和从视频播放的关联标识,其中,主视频帧标识用于标识主视频中第N帧,则视频播放设备根据视频扩展信息,显示大窗口,并在大窗口内播放第一路视频,当第一路视频播放到第N帧时,继续在大窗口内播放第一路视频,以及显示小窗口,并在小窗口内播放第二路视频,第二路视频播放结束后,可以隐藏小窗口,如果第一路视频未播放结束,则继续显示大窗口,并在大窗口内播放第一路视频。第一路视频播放到第N帧之前,可以不显示小窗口。大窗口和小窗口的布局可以是用户预先设置好的,也可以系统默认的,例如,小窗口可以悬浮在大窗口上,以画中画的形式布局,在这种情况下,用户可以根据自身需求移动小窗口的位置,或者,小窗口的位置也可以是固定的。再例如,小窗口和大窗口也可以是平铺布局的,即第一路视频和第二路视频分屏显示。需要说明的是,在小窗口悬浮在大窗口上的情况下,在播放到第一路视频的第N帧之前大窗口的尺寸和播放到第一路视频的第N帧时大窗口的尺寸可以不发生变化。在大窗口和小窗口采用平铺布局的方式时,为了适应视频播放设备的显示屏的大小,在播放第一路视频的第N帧之前大窗口的尺寸与播放到第一路视频的第N帧时大窗口的尺寸可以不同,在播放到第一路视频的第N帧之前大窗口的尺寸可以大于播放到第一路视频的第N帧时大窗口的尺寸。当第二路视频播放结束时,大窗口的尺寸可以恢复播放第一路视频的第N帧之前大窗口的尺寸。
再例如,在视频扩展信息用于指示第一路视频与第二视频的关联关系、第一路视频与第三路视频的关联关系的情况下,如果这三路视频同时播放,视频播放设备根据视频扩展信息,在第一窗口内播放第一路视频,在第二窗口内播放第二路视频,在第三窗口内播放第三路视频,第一窗口的尺寸大于第二窗口的尺寸,第一窗口的尺寸大于第三窗口的尺寸,第二窗口的尺寸与第三窗口的尺寸可以相同,也可以不同,对此不作限定,其中第二窗口、第三窗口可以悬浮在第一窗口上,或者第一窗口、第二窗口和第三窗口平铺布局等。
进一步的,在一些实施例中,图3所示的网络架构还可以包括视频处理设备,其中,视频文件可以是由视频处理设备生成,上传到视频服务器的。示例的,视频处理设备响应于用户基于自身安装的具有视频整合功能的应用(例如相机应用、图库应用或视频应用等)的操作,将至少两个第一类视频文件整合为一个第二类视频文件。示例的,视频处理设备与视频播放设备可以为同一设备,也可以为不同的设备,对此不作限定。在视频处理设备与视频播放设备为同一设备的情况下,在另一些实施例中,当视频处理设备将至少两个第一类视频文件整合为一个第二类视频文件后,还可以将该第二类视频文件保存在本地,即自身的内部存储器、或者与自身连接的外部存储器中。如果视频处理设备和视频播放设备为同一设备,则视频播放设备还可以响应于用户对本地的第二类视频文件的打开操作,基于该第二类视频文件,进行视频的播放。或者,当视频处理设备将至少两个第一类视频文件整合为一个第二类视频文件后,还可以将该第二类视频文件上传到网盘或视频服务器等,以便于保存。
当然,在本申请的另一些实施例中,在视频处理设备不为视频服务器的情况下,视频文件也可以是由视频服务器生成的。例如,视频处理设备响应于用户基于自身安装的具有视频整合功能的应用的操作,向视频服务器发送视频文件整合请求,其中视频文件整合请求中包括至少两个第一类视频文件和与该至少两个第一类视频文件分别对应的视频的关联关系。视频服务器接收到来自视频处理设备的视频文件整合请求,根据视频文件整合请求中的至少两个第一类视频文件和与该至少两个第一类视频文件分别对应的视频的关联关系,将至少两个第一视频文件整合为一个第二类视频文件。
图4A示出了本申请实施例的视频处理设备的一种结构,包括获取模块401A、编码模块402A、关联模块403A和封装模块404A。进一步的,在一些实施例中,视频处理设备还可以包括剪辑模块405A。
其中,获取模块401A用于获取L个第一类视频文件。L为大于或等于2的正整数。其中,该L个第一类视频文件是预先录制好的视频文件,可以存储在视频处理设备上,也可以存储在网盘或服务器上,对此不作限定。示例的,获取模块401A用于接收用户基于具有视频整合功能的应用选择视频文件的第一操作,并响应于第一操作,获取主视频对应的第一类视频文件。获取模块401A还用于接收用户基于具有视频整合功能的应用选择视频文件的第二操作,并响应于第二操作,获取从视频对应的第一类视频文件。L的取值与用户选择的从视频对应第一类视频文件的个数有关。又示例的,获取模块401A用于接收视频文件整合请求,从视频文件整合请求中获取L个第一类视频文件,其中L个第一类视频文件中包括一个主视频对应的第一类视频文件和L-1个从视频对应的第一类视频文件。
编码模块402A用于对与上述L个第一类视频文件分别对应的视频进行编码压缩,得到L路标准视频码流。
关联模块403A用于生成视频扩展信息,视频扩展信息用于指示与W个第一类视频文件分别对应的视频的关联关系。该W个第一类视频文件为上述L个第一类视频文件中的视频文件,2≤W≤L、且W为正整数。示例的,关联模块403A可以响应于用户完成建立与上述W个第一类视频文件分别对应的视频的关联关系的操作,生成视频扩展信息。再示例的,关联模块403A还可以根据视频文件整合请求中的L个第一类视频文件对应的视频的关联关系,生成视频扩展信息。
封装模块404A用于根据W路标准视频码流和视频扩展信息,得到一个第二类视频文件。
剪辑模块405A用于从L个第一类视频文件中筛选出W个第一类视频文件。示例的,剪辑模块405A用于响应于用户从L个第一类视频文件中选中W第一类视频文件建立视频关联关系的操作,从L个第一类视频文件中筛选出W个第一类视频文件。
图4B示出了本申请实施例的视频播放设备的一种结构,包括获取模块401B、解封装模块402B、解码模块403B、关联模块404B和播放模块405B。
获取模块401B用于获取第二类视频文件。在一些实施例中,获取模块401B用于响应于接收用户选中播放某一视频的操作,获取第二类视频文件。
解封装模块402B用于对第二类视频文件解封装,得到视频元数据、多路视频的媒体数据(例如P路视频的视频数据和Q路视频的音频数据,P、Q为正整数,且P≥2,1≤Q≤P,Q路视频为P路视频中的一路或多路视频)。其中,对于一路视频的音频数据来说,可以包括一个或多个音轨的音频数据。例如,在一路视频对应中文音轨和英文音轨的情况下,该路视频的音频数据可以包括中文音轨的音频数据和英文音轨的音频数据。
解码模块403B用于多路视频的媒体数据进行解码。以多路视频的媒体数据为P路视频的视频数据和Q路视频的音频数据为例,解码模块403用于对P路视频的视频数据和Q路视频的音频数据进行解码。例如,以某一路视频的音频数据包括中文音轨的音频数据和英文音轨的音频数据为例,在这种情况下,解码模块403B可以根据视频的声音播放设置,对相应音轨的音频数据进行解码。比如,视频的声音播放设置为中文,则解码模块403B对中文音轨的音频数据进行解码,从而视频在播放时,使用中文播放声音。示例的,视频的声音设置可以是用户根据自身需要设置的,也可以是默认的,对此不作限定。
关联模块404B用于根据视频元数据中的视频扩展信息,得到多路视频的帧关联信息。
播放模块405B用于根据多路视频的帧关联信息,播放相应的视频。示例的,播放模块405B用于根据多路视频的帧关联信息,确定视频播放窗口的个数,并根据视频播放窗口的个数自适应相应的视频播放窗口的布局,然后,在相应的视频播放窗口内进行视频的播放。需要说明的是,与视频播放窗口的个数对应的视频播放窗口的布局可以是用户根据自身需要设置的,也可以是系统默认的,对此不作限定。
以视频处理设备为手机、且具有视频整合功能的应用为第一应用为例,对本申请实施例将至少两个第一类视频文件整合为一个第二类视频文件进行说明。应理解,本申请实施例中具有视频整合功能的第一应用可以通过在图库应用功能、视频应用、相机应用等原生应用(native application)中增加视频整合功能实现。或者,本申请实施例中具有视频整合功能的第一应用也可以为第三方应用,对此不作限定。需要说明的是,在本申请实施例中,第三方应用可以理解为用户根据自身需求从应用市场APP、或网络上下载到手机上的应用。
如图5所示,手机显示界面500,界面500包括图标501。图标501用于标识第一应用。响应于用户点击图标501,手机显示第一应用的界面。例如,第一应用的界面可以为界面510,包括视频预览框01、视频预览框02和视频预览框03、选项502、选项503和选项504。视频预览框01用于预览主视频,视频预览框02用于预览从视频1,视频预览框02用于预览从视频,选项502为与视频预览框01对应的选项,用于选择主视频对应的第一类视频文件,选项503为与视频预览框02对应的选项,用于选择从视频1对应的第一类视频文件,选项504为与视频预览框03对应的选项,用于选择从视频2对应的第一类视频文件。在一些实施例中,用户可以根据自身需要增加或删除第一应用的界面上从视频的视频预览框的个数。需要说明的是,第一应用的界面上视频预览框的个数最多不超过第一应用支持的用于视频整合的视频文件的最大个数,且第一应用的界面上视频预览框的个数最少为1个。其中,用于视频整合的第一类视频文件的最大个数可以是用户根据自身需要预定义的,也可以是研发人员在程序开发时预置好的,对此不作限定。例如,第一应用最大支持将4个第一类视频文件整合为与一个第二类视频文件,在这种情况下,第一应用的界面上最多包括4个视频预览框,其中一个视频预览框用于预览主视频,另外3个视频预览框分别用于预览从视频。
示例的,如图6所示,响应于用户点击选项502的操作,显示界面600。界面600包括至少两个第一类视频文件的选项,例如选项601、选项602、选项603和选项604。其中选项601、选项602、选项603和选项604分别用于标识一个第一类视频文件。需要说明的是,选项601、选项602、选项603和选项604分别标识的第一类视频文件可以存储在手机上,也可以存储在网盘或服务器上,对此不作限定。进一步的,响应于用户点击选项601的操作,手机返回界面510,在视频预览区域01内显示选项601标识的第一类视频文件对应的视频。
又示例的,如图7所示,响应于用户点击503的操作,手机显示界面600。响应于用户点击选项602的操作,手机返回界面510,在视频预览框02内显示选项602标识的第一类视频文件对应的视频。在一些实施例中,界面510包括选项701,选项710用于设置从视频1开始播放时主视频的播放位置。示例的,响应于用户点击选项701的操作,手机显示提示框710,提示框710用于提示用户设置从视频1开始播放时,主视频的播放位置。例如,提示框710包括选项711、选项712、选项713和选项714。选项711用于设置主视频的具体播放位置信息,选项712用于设置标识主视频播放位置的单位,例如帧、秒、小时、分钟等,选项713用于取消设置,选项714用于确认设置。例如,响应于对选项711和712的操作,手机将从视频1开始播放时主视频的播放位置设置为第N帧,响应于用户点击选项714的操作,手机返回界面510。当然可以理解的是,标识主视频播放位置的单位还可以为毫秒等其它单位,对此不作限定。例如,以用户通过选项711和选项712设置的从视频1开始播放时主视频的播放位置为主视频的第N帧,则手机根据选项711和选项712的设置,生成从视频1与主视频的关联关系。应理解,用户设置从视频2与主视频的关联方式与从视频1与主视频的关联方式类似,例如,可以通过选项504选择从视频2对应的第一类视频文件,通过从视频2对应的关联设置选项来设置从视频2开始播放时主视频的播放位置。需要说明的是,在本申请实施例中,与从视频对应的关联设置选项,例如701可以是用户选择从视频对应的视频文件后显示的,也可以在用户未选择从视频对应的视频文件在界面510上显示,对此不作限定。
进一步的,在本申请的一些实施例中,响应于用户点击选项502的操作,手机显示视频文件存储位置界面,视频文件存储位置界面包括至少一个视频文件的存储位置选项。例如,视频文件存储位置界面可以为图8所示的界面800,包括选项801、选项802和选项803,选项801用于指示视频文件存储位置为图库应用,选项802用于指示视频文件存储位置为云盘。响应于用户点击选项801或选项802的操作,手机显示界面600。从而便于用户进行视频文件的选择。
此外,又示例的,当用户在第一应用的界面设置完成后,如图9A所示,响应于用户点击选项900的操作,手机将主视频对应的第一类视频文件、从视频1对应的第一类视频文件、从视频2对应的第一类视频文件整合为一个第二类视频文件,该第二类视频文件包括视频扩展信息,该视频扩展信息用于指示主视频与从视频1的关联关系、以及主视频与从视频2的关联关系。又示例的,当用户在第一应用的界面设置完成后,如图9B所示,响应于用户点击选项900的操作,手机将主视频对应的第一类视频文件、从视频1对应的第一类视频文件整合为一个第二类视频文件,该第二类视频文件包括视频扩展信息,该视频扩展信息用于指示主视频与从视频1的关联关系。又示例的,当用户在第一应用的界面设置完成后,如图9A所示,用户虽然选择了从视频2对应的第一类视频文件,但是未设置从视频2开始播放时主视频的播放位置,因此响应于用户点击选项900的操作,手机将主视频对应的第一类视频文件、从视频1对应的第一类视频文件整合为一个第二类视频文件,该第二类视频文件包括视频扩展信息,该视频扩展信息用于指示主视频与从视频1的关联关系。
以主视频与从视频1的关联关系为例,主视频与从视频1的关联关系可以用于指示从视频1开始播放时主视频的播放位置。示例的,视频扩展信息用于指示主视频与从视频1的关联关系的情况下,视频扩展信息可以包括主视频的扩展信息和从视频1的扩展信息,主视频的扩展信息包括主视频标识,从视频1扩展信息包括从视频标识、和主视频帧标识,主视频帧标识用于指示从视频1开始播放时主视频的播放位置。
需要说明的是,图9A或图9B中所示的选项900可以是用户在界面510上选择一个主视频对应的第一类视频文件和一个从视频对应的第一类视频文件之后,呈现在界面510上的,也可以是响应于用户点击图标501,显示的界面510时呈现在界面510上的,对此不作限定。
此外,在一些实施例中,手机得到第二类视频文件后,将该第二类视频文件上传到网盘或服务器,或者保存在本地。
上述是以在手机上将至少两个第一类视频文件整合为一个第二类视频文件为例进行说明的,需要说明的是,本申请实施例还可以将至少两个第一类视频文件整合为一个第二类视频文件的步骤由服务器(如视频服务器)执行。例如,当用户在第一应用的界面设置完成后,如图9A所示,响应于用户点击选项900的操作,手机向服务器发送视频文件整合请求,其中,视频文件整合请求中包括主视频对应的第一类视频文件、从视频1对应的第一类视频文件、从视频2对应的第一类视频文件、从视频1开始播放时主视频的播放位置信息、从视频2开始播放时主视频的播放位置信息,服务器接收到来自手机的视频文件整合请求,根据从视频1开始播放时主视频的播放位置信息、从视频2开始播放时主视频的播放位置信息,将主视频对应的第一类视频文件、从视频1对应的第一类视频文件、从视频2对应的第一类视频文件整合为一个第二类视频文件。
应理解,上述仅为一种用户选择主视频、从视频对应的第一类视频文件、以及设置从视频开始播放时主视频的播放位置的举例说明,并不构成对本申请实施例的限定,本申请实施例中不限定用户选择主视频、从视频对应的第一类视频文件、以及设置从视频开始播放时主视频的播放位置的方式。
下面以视频播放设备为手机为例,结合具体场景对手机播放第二类视频文件的方式进行具体说明。
如图10所示,手机显示界面1000,界面1000包括图标1001。图标1001用于标识图库应用。响应于用户点击图标1001,手机显示图库应用的界面。例如,图库应用的界面可以为界面1010,包括选项1011,选项1011用于标识视频文件。响应于用户点击选项1011的操作,手机根据选项1011标识的视频文件,播放相应的视频。在一些实施例中,响应于用户点击选项1011的操作,手机判断选项1011标识的视频文件是否为第二类视频文件。示例的,手机可以通过判断选项1011标识的视频文件中是否包括视频扩展信息,来判断选项1011标识的视频文件是否为第二类视频文件。例如,选项1011标识的视频文件中不包括视频扩展信息,则选项1011标识的视频文件为第一类视频文件。再例如,选项1011标识的视频文件包括视频扩展信息,则选项1011标识的视频文件为第二类视频文件。以视频文件格式为MP4为例。手机可以通过判断选项1011标识的视频文件是否包括mmmw。若选项1011标识的视频文件包括mmmw,则选项1011标识的视频文件为第二类视频文件。若选项1011标识的视频文件不包括mmmw,则选项1011标识的视频文件为第一类视频文件。
若选项1011标识的视频文件为第一类视频文件,手机根据选项1011标识的视频文件进行视频播放,具体播放方式可以参见现有手机根据第一类视频文件播放视频的方式,在此不再赘述。
若选项1011标识的视频文件为第二类视频文件,则手机根据第二类视频文件播放至少两路视频。以选项1011标识的第二类视频文件中的视频扩展信息用于指示第一路视频与第二路视频的关联关系为例。例如,选项1011标识的第二类视频文件中的视频扩展信息包括第一路视频的扩展信息和第二路视频的扩展信息,第一路视频的扩展信息包括主视频标识,第二路视频的扩展信息包括从视频标识和主视频帧标识,其中主视频帧标识用于标识主视频的第N帧,则响应于用户点击选项1011的操作,手机在窗口1021内播放第一路视频,当第一路视频在窗口1021内播放到第N帧时,开始在窗口1022内播放第二路视频。示例的,如图11所示,第一路视频播放到第M帧时,第二路视频播放最后一帧,第一路视频播放到第M+1帧时,第二路视频播放已结束,隐藏窗口1022,若第一路视频仍未播放结束,则继续在窗口1021内播放第一路视频。
示例的,手机根据选项1011标识的第二类视频文件中的视频扩展信息生成视频关联信息,然后,手机根据视频关联信息,播放相应的视频。视频关联信息可以如表1所示。
表1
主视频帧序号 从视频序号
1.1 --
1.2 --
…… --
1.N 2
…… --
以选项1011标识的第二类视频文件的视频文件格式为MP4为例,视频关联信息还可以如表2所示。
表2
sample index DTS PTS sample size offet sub track id
1.1 T11 T12 Z1 F1 --
1.2 T21 T22 Z2 F2 --
…… …… …… …… …… --
1.N TN1 TN2 ZN FN 2
…… …… …… …… …… --
其中,sample idex表示主视频帧序号,DTS表示主视频帧的解码时间,PTS标识主视频帧的显示时间,sample size标识主视频的帧大小,offset表示主视频对应的帧在视频文件中的位置,sub track id用于标识从视频。例如,如表2所示,sample index为1.N时,sub track id为2,即主视频播放到第N帧时,sub track id为2的从视频开始播放。
示例的,可以通过将sub track id为2的从视频的显示开始时刻设置为主视频的第N帧的显示开始时刻,以及将sub track id为2的从视频的显示时间与主视频的显示时间映射到同一时间轴上,从而将sub track id为2与主视频的第N帧关联。
在一些实施例中,手机根据视频扩展信息,确定视频播放窗口的布局。例如,手机根据视频扩展信息,确定需要播放的视频的路数,然后根据需要播放的视频的路数,确定视频播放窗口的个数,再根据视频播放窗口的个数,确定与视频播放窗口的个数对应的视频播放窗口的布局。其中,视频播放窗口的个数与需要播放的视频的路数相同。例如,手机在第一路视频播放到N帧之前,需要播放的视频仅有一路,因此视频播放窗口的个数为1,该视频播放窗口用于播放第一路视频。手机在第一路视频播放到N帧时,需要播放的视频有两路,分别为第一路视频和第二路视频,因此,视频播放窗口的个数为2,而与视频播放窗口的个数为2对应的视频播放窗口的布局可以是用户预先设置好的,或者是图库应用默认的,例如这两个视频播放窗口分别为窗口1021和窗口1022,其布局可以为画中画的方式,如图10所示,窗口1021用于播放第一路视频,窗口1022用于播放第二路视频。或者,视频播放窗口的个数为2,窗口的布局可以为平铺方式,如图12所示,窗口1201用于播放第一路视频,窗口1202用于播放第二路视频,窗口1202位于窗口1202的下侧。需要说明的是,图12所示仅为一种两个视频播放窗口的平铺布局方式,在本申请实施例中窗口1201和窗口1201还可以左右布局等,对此不作限定。
又示例的,手机当在窗口1021内播放第一路视频,在窗口1022内播放第二路视频时,在选项902标识的第二类视频文件中包括第一路视频的音频数据和第二路视频数据的情况下,手机可以默认根据主视频的音频数据,播放相应的声音;或者手机也可以默认根据从视频的音频数据,播放相应的声音。例如,手机默认根据主视频的音频数据,播放相应的声音的情况下,则手机在窗口1021内播放第一路视频,在窗口1022内播放第二路视频时,默认根据第一路视频的音频数据,播放第一路视频的声音,而第二路视频是无声或静音播放的。再例如,手机默认根据从视频的音频数据,播放相应的声音的情况下,则手机在窗口1021内播放第一路视频,在窗口1022内播放第二路视频时,默认根据第二路视频的音频数据,播放第二路视频的声音,而第一路视频是无声或静音播放的。
进一步的,在选项1011标识的第二类视频文件中包括第一路视频的音频数据和第二路视频数据的情况下,手机在窗口1021内播放第一路视频,在窗口1022内播放第二路视频时,视频播放界面上还可以包括第一路视频的声音选项和第二路视频的声音选项,响应于用户对第一路视频的声音选项的操作,则手机播放第一路视频的声音,响应于用户对选项第二路视频的声音选项的操作,则手机播放第二路视频的声音。从而便于用户与设备交互。
示例的,在选项1011标识的第二类视频文件中仅包括第一路视频的音频数据情况下,手机在窗口1021内播放第一路视频,在窗口1022内播放第二路视频时,根据第一路视频的音频数据,播放第一路视频的声音。或者,在选项1011标识的第二类视频文件中仅包括第二路视频的音频数据情况下,手机在窗口1021内播放第一路视频,在窗口1022内播放第二路视频时,根据第二路视频的音频数据,播放第二路视频的声音。
如图13所示,手机显示界面1300,桌面包括图标1301。图标1301用于标识视频应用。响应于用户点击图标1301,手机显示视频应用的界面。示例的,视频应用的界面可以为界面1310,包括视频选项1311。视频选项1311用于播放视频名称为开发者大会的视频,响应于用户点击视频选项1311,手机向视频服务器发送视频获取请求,视频获取请求用于请求获取视频名称为开发者大会对应的视频文件。视频服务器接收到来自手机的视频获取请求,向手机返回视频名称为开发者大会对应的视频文件。手机接收到来自视频服务器的视频名称为开发者大会对应的视频文件,根据视频名称为开发者大会对应的视频文件,进行视频播放。具体的,手机根据视频名称为开发者大会对应的视频文件,进行视频播放的方式可以参见上述手机根据选项1311用于标识视频文件进行视频播放的方式,在此不再赘述。
上述仅为视频播放设备为手机时,触发手机根据视频文件进行视频播放的举例说明,本申请实施例还可以通过其它方式触发手机根据视频文件进行视频播放,对此不作限定。例如,在视频播放设备为电视机的情况下,视频播放设备可以响应用户点击遥控器的频道选择按键,触发根据来自相应频道的服务器的视频文件,进行视频播放。
此外,在直播场景下,视频播放设备也可以通过在视频元数据中增加视频扩展信息,从而使得视频播放设备可以同时播放至少两路视频。从而满足用户在直播场景下多角度的观看需求。
示例的,图14示出了一种直播场景的网络架构,包括至少一台摄像机(如摄像机1、摄像机2等)、导播台、推流服务器和视频播放设备。
其中,摄像机用于实时采集视频,在直播场景的网络架构中包括至少两台摄像机,不同的摄像机可以用于从不同的视角进行视频的采集。例如,在直播某一比赛时,摄像机1可以用于采集实时比赛的画面,摄像机2可以用户采集实时讲解的画面。其中,摄像机1位于机位1上,摄像机2位于机位2上。导播台用于接收来自摄像机采集的视频,并对来自摄像机的视频进行编码等处理,得到相应的视频元数据、视频数据和音频数据,并将视频元数据、视频数据和音频数据上传到推流服务器,并由推流服务器下发给相应的视频播放设备。视频播放设备根据视频元数据对视频数据和音频数据进行解码,并播放相应的视频。
在一些实施例中,导播台根据用户的设置,对来自摄像机的视频进行编码等处理。例如,用户设置仅直播来自一个机位(例如机位1)上的摄像机1的视频,则导播台根据用户的设置生成视频元数据,该视频元数据用于指示机位1上的摄像机1的编码方式等,具体可以参见现有协议中关于视频元数据的介绍。以及导播台对来自机位1上的摄像机1的视频进行编码等处理,得到视频数据和音频数据,并将视频元数据、视频数据和音频数据上传到推流服务器。如果用户的设置未改变,则导播台后续只需要对来自机位1上的摄像机1的视频进行编码等处理,得到视频数据和音频数据,并将视频数据和音频数据上传到推流服务器即可,无需在重新生成视频元数据。
示例的,对于视频播放设备来说,视频播放设备接收到视频元数据后,判断视频元数据中是否包括视频扩展信息,若视频元数据中不包括视频扩展信息,则视频播放设备确定播放视频需要的视频播放窗口的个数为1,以及根据视频元数据对视频数据和音频数据进行解码,并在解码后,根据视频播放窗口的个数为1对应的布局,播放相应的视频。示例的,视频播放窗口的个数为1对应的布局可以为全屏,也可以不是全屏,可以是根据用户设置的,也可以是默认的,对此不作限定。
在一些实施例中,导播台响应于用户的设置,确定由直播一路视频更新为直播两路或多路视频。以直播一路视频更新为直播两路视频为例。例如,一路视频为来自机位1的摄像机的视频,一路视频为基于位于机位1的摄像机采集的在某一段内采集的视频得到的慢回放视频,则导播台更新视频元数据,视频元数据包括视频扩展信息,并将更新后的视频元数据、上述两路视频的视频数据、音频数据上传到推流服务器,并由推流服务器下发给视频播放设备。视频播放设备可以根据更新后的视频元数据,进行两路视频的播放。
具体的,更新后的视频扩展信息用于指示慢回放视频与来自机位1的摄像机1的视频的关联关系。例如,视频扩展信息包括来自机位1的摄像机1的视频的扩展信息和慢回放视频的扩展信息,来自机位1的摄像机1的视频的扩展信息包括主视频标识,慢回放视频的扩展信息包括从视频标识和主视频帧标识,其中主视频帧标识用于标识慢回放视频开始播放时来自机位1的摄像机的视频的播放位置。
示例的,视频播放设备接收到视频元数据、音频数据和视频数据后,可以判断视频元数据是否包括视频扩展信息,若视频元数据包括视频扩展信息,根据视频扩展信息,确定需要直播的视频的路数,并根据需要直播的视频的路数,确定视频播放窗口的个数。其中,视频播放窗口的个数与需要直播的视频的路数是相同的。然后,视频播放设备根据视频播放窗口的个数,确定与视频播放窗口的个数对应的布局。视频播放设备根据与视频播放窗口的个数对应的布局,播放上述两路视频。与视频播放窗口的个数对应的布局可以是用户在视频播放设备上预先设置的,也可以默认的,对此不作限定。例如,视频播放窗口的个数为2时,视频播放窗口的个数为2时对应的布局,如图15A所示,则主视频在窗口1501A内播放,从视频在窗口1502A内播放。再例如,视频播放窗口的个数为2时,视频播放窗口的个数为2时对应的布局,如图15B所示,则主视频在窗口1501B内播放,从视频在窗口1502B内播放。
进一步的,当从视频(即上述慢回放视频播放结束后),导播台重新更新视频元数据,并将重新更新后的视频元数据上传到推流服务器,由推流服务器发送给视频播放设备。视频播放设备接收到重新更新的视频元数据,则判断重新更新的视频元数据是否包括视频扩展信息,如果不包括视频扩展信息,则视频播放设备确定只播放一路视频,并一个视频播放窗口对应的布局,播放相应的视频。
应理解,上述仅是以直播的两路视频一路为来自机位1的摄像机1的视频、和慢回放视频为例进行介绍的,可以理解的是,直播的两路视频也可以为一路为来自机位1的摄像机1的视频,一路为来自机位2的摄像机2的视频,对此不作限定。当然本申请实施例不限于直播两路视频,还可以同时直播3路或更多路视频。对于直播3路或更多路视频,与直播两路视频不同的是,视频扩展信息用于指示3路或更多路视频的关联关系,其它可以参见直播两路视频时的相关介绍,在此不再赘述。
需要说明的是,上述各个实施例是以将至少两个第一类视频文件整合为一个第二类视频文件为例进行介绍的,本申请实施例的方法还可以适用于将至少一个第一类视频文件和一个第二类视频文件整合为一个新的第二类视频文件,在这种情况下,将用于视频文件整合的第二类视频文件中的主视频作为整合后的新的第二类视频文件中的主视频,将用于视频文件整合的第一类视频文件中的视频作为整合后的新的第二类视频文件中的从视频,具体实现方式可以参见将至少两个第一类视频文件整合为一个第二类视频文件的相关介绍,在此不再赘述。
此外,在本申请实施例中,还可以将音频文件和视频文件整合为一个媒体文件,或者将至少两个音频文件整合为一个媒体文件,或者音频文件和图像文件整合为一个媒体文件。以将两个音频文件整合为一个媒体文件为例,电子设备可以根据媒体扩展信息播放由两个音频文件整合的媒体文件。例如,媒体文件包括第一路音频的音频数据、第二路音频的音频数据、以及音频扩展信息。其中,音频扩展信息包括第一路音频的扩展信息和第二路音频的扩展信息,第一路音频的扩展信息包括主音频标识,第二路音频的扩展信息包括从音频标识和从音频播放位置标识,从音频播放位置标识用于指示第二路音频开始播放时第一路音频的播放位置。以从音频播放位置标识用于标识第一路音频播放到T时刻时,开始播放第二路音频,在这种情况下,电子设备可以通过扬声器播放第一路音频,在第一路音频播放到T时刻时,通过扬声器播放第二路音频,以及继续播放第一路音频。在一些实施例中,电子设备在耳机连接时,电子设备可以通过耳机播放第一路音频,在第一路音频播放到T时刻时,通过扬声器播放第二路音频,以及继续使用耳机播放第一路音频。或者,电子设备可以通过耳机播放第一路音频,在第一路音频播放到T时刻时,通过耳机播放第二路音频,以及继续使用耳机播放第一路音频。又或者,电子设备可以通过扬声器播放第一路音频,在第一路音频播放到T时刻时,通过耳机播放第二路音频,以及继续使用扬声器播放第一路音频。
应理解,上述各个实施例可以单独使用,也可以相互结合使用,以实现不同的技术效果,对此不作限定。
此外,还可以将上述实施例扩展到不同媒体文件的播放场景中,从而使得电子设备可以在播放某一媒体文件时,自动拉起另一个媒体文件进行播放。以第一媒体文件和第二媒体文件为例。
示例的,第一媒体文件关联第一媒体文件扩展信息,第一媒体文件扩展信息包括第一媒体文件标识,第一媒体文件标识用于标识第一媒体文件,第一媒体文件扩展信息关联第二媒体文件扩展信息,第二媒体文件扩展信息包括第二媒体文件标识和第二媒体文件播放位置标识,第二媒体文件标识用于标识第二媒体文件,第二媒体文件播放位置标识用于标识第二媒体开始播放时第一媒体的第一播放位置信息,第一播放位置信息包括第一位置。
例如,第一媒体文件关联第一媒体文件扩展信息,第一媒体文件扩展信息关联第二媒体文件扩展信息可以通过将第一媒体文件扩展信息和第二媒体文件扩展信息增加到第一媒体文件中实现,也可以通过建立相应的关联关系实现,对此不作限定。
以第一播放位置信息包括第一位置为例。电子设备响应于播放第一媒体文件的操作,播放第一媒体文件,当第一媒体文件播放到第一位置时,开始播放第二媒体文件。其中,电子设备播放第二媒体文件时,继续播放第一媒体文件,即电子设备从第一媒体文件播放到第一位置时,可以同时播放第一媒体文件和第二媒体文件。例如,播放第一媒体文件的操作可以为用户对第一媒体文件的操作,或者用户对用于指示第一媒体文件的控件的操作、或者某一快捷操作、语音指令等,对此不作限定。
示例的,第一媒体文件和第二媒体文件可以均为视频文件。在这种情况下,当第一媒体文件和第二媒体文件同时播放时,第一媒体文件和第二媒体文件可以分屏播放。例如,当第一媒体文件和第二媒体文件同时播放时,电子设备可以将显示屏分屏为第一屏和第二屏,并在第一屏上播放第一媒体文件,在第二屏上播放第二媒体文件。或者,电子设备在播放到第一位置时,在显示屏上显示一个窗口,在该窗口内显示第二媒体文件对应的画面。该窗口悬浮在第一媒体文件对应的画面之上,即用于播放第二媒体文件对应的画面的窗口悬浮在与用于播放第一媒体文件对应的画面的窗口之上。
又示例的,第一媒体文件为视频文件、第二媒体文件为音频文件。在这种情况下,当第一媒体文件和第二媒体文件同时播放时,电子设备通过显示屏静音播放第一媒体文件,通过扬声器播放第二媒体文件。在一些实施例中,如果电子设备与耳机连接,电子设备可以通过耳机播放第二媒体文件,电子设备通过扬声器非静音播放第一媒体文件,即第一媒体文件的声音通过扬声器输出。
又示例的,第一媒体文件为音频文件、第二媒体文件为视频文件。在这种情况下,当第一媒体文件和第二媒体文件同时播放时,电子设备通过扬声器播放第一媒体文件,通过显示屏静音播放第二媒体文件。在一些实施例中,如果电子设备与耳机连接,电子设备可以通过耳机非静音播放第二媒体文件。即第二媒体文件的声音通过耳机输出。
或者,又示例的,第一媒体文件和第二媒体文件均为音频文件。当第一媒体文件和第二媒体文件同时播放时,如果电子设备与耳机连接,电子设备可以通过扬声器播放第一媒体文件,通过耳机播放第二媒体文件。或者,电子设备可以通过耳机播放第一媒体文件,通过扬声器播放第二媒体文件。在一些实施例中,当第一媒体文件和第二媒体文件同时播放时,如果电子设备与耳机未连接,则电子设备可以通过扬声器同时播放第一媒体文件和第二媒体文件。
在一些实施例中,第一媒体文件扩展信息还可以关联第三媒体文件扩展信息。第三媒体文件扩展信息包括第三媒体文件标识和第三媒体文件播放位置标识。第三媒体文件标识用于标识第三媒体文件,第三媒体文件播放位置标识用于标识第三媒体开始播放时第一媒体的第二播放位置信息。以第二播放位置信息包括第二位置为例。在这种情况下,电子设备当第一媒体文件播放到第二位置时,开始播放第三媒体文件,并继续播放第一媒体文件。即本申请实施例对第一媒体文件扩展信息关联的媒体文件扩展信息的个数不作限定。
例如,第一媒体文件中可以包括第一媒体文件扩展信息、第二媒体文件扩展信息和第三媒体文件扩展信息。
例如,如图16所示,电子设备显示界面1600,界面1600包括选项1601和选项1602,选项1601用于标识视频文件1,选项1602用于标识视频文件2,视频文件1和视频文件1在本地保存,也可以在服务器侧保存,对此不作限定。视频文件1关联第一视频文件扩展信息,第一视频文件扩展信息关联第二视频文件扩展信息,第一视频文件扩展信息包括第一视频文件标识,第一视频文件标识用于标识视频文件1,第二视频扩展信息包括第二视频文件标识和第二视频文件播放位置标识,第二视频文件标识用于标识视频文件2,第二视频文件播放位置标识用于标识T时刻,在这种情况下,电子设备响应于用户点击选项1601,在窗口1611内播放视频文件1,例如,视频文件1播放到T-1时刻时窗口1611内显示的视频文件1对应的画面。当视频文件1播放到T时刻时,电子设备显示窗口1612,并在窗口1612内播放视频文件2,然后继续在窗口1611内播放视频文件1。进一步的,在一些实施例中,如图16所示,当视频文件1播放到M时刻,视频文件2播放完毕,二视频文件1仍未播放完毕,则电子设备在窗口1611内继续播放视频文件1。
应理解,上述各个实施例可以单独使用,也可以相互结合使用,以实现不同的技术效果,对此不作限定。
上述本申请提供的实施例中,从电子设备作为执行主体的角度对本申请实施例提供的方法进行了介绍。为了实现上述本申请实施例提供的方法中的各功能,电子设备可以包括硬件结构和/或软件模块,以硬件结构、软件模块、或硬件结构加软件模块的形式来实现上述各功能。上述各功能中的某个功能以硬件结构、软件模块、还是硬件结构加软件模块的方式来执行,取决于技术方案的特定应用和设计约束条件。
本申请实施例还提供了一种视频播放装置,如图17所示,包括一个或多个处理器1701、一个或多个存储器1702。存储器1702中存储有一个或多个计算机程序,当该一个或多个计算机程序被处理器1701执行时,使得视频播放设备执行本申请实施例提供的视频播放方法。
进一步的,在一些实施例中,视频播放装置还可以包括收发器1703,用于通过传输介质和其它设备进行通信,从而用于视频播放装置可以和其它设备进行通信。示例性地,收发器1703可以是通信接口、电路、总线、模块等,该其它设备可以是终端或服务器等。示例性地,收发器1703可以用于向视频服务器发送视频获取请求、接收视频文件等。
在另一些实施例中,视频播放装置还可以包括显示屏1704,用于显示需要播放的视频。示例的,显示屏1704包括显示面板。显示面板可以采用液晶显示屏(liquid crystaldisplay,LCD),有机发光二极管(organic light-emitting diode,OLED),有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrix organic light emitting diode的,AMOLED),柔性发光二极管(flex light-emitting diode,FLED),Miniled,MicroLed,Micro-oLed,量子点发光二极管(quantum dot light emitting diodes,QLED)等。
此外,本申请实施例中的视频播放装置还可以包括扬声器、触摸传感器等,对此不作限定。
本申请实施例中不限定上述处理器1701、存储器1702、收发器1703和显示屏1704之间的连接介质。例如,本申请实施例中处理器1701、存储器1702、收发器1703和显示屏1704之间可以通过总线连接,所述总线可以分为地址总线、数据总线、控制总线等。
在本申请实施例中,处理器可以是通用处理器、数字信号处理器、专用集成电路、现场可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件,可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件处理器执行完成,或者用处理器中的硬件及软件模块组合执行完成。
在本申请实施例中,存储器可以是非易失性存储器,比如硬盘(hard disk drive,HDD)或固态硬盘(solid-state drive,SSD)等,还可以是易失性存储器(volatilememory),例如随机存取存储器(random-access memory,RAM)。存储器是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质,但不限于此。本申请实施例中的存储器还可以是电路或者其它任意能够实现存储功能的装置,用于存储程序指令和/或数据。
以上实施例中所用,根据上下文,术语“当…时”或“当…后”可以被解释为意思是“如果…”或“在…后”或“响应于确定…”或“响应于检测到…”。类似地,根据上下文,短语“在确定…时”或“如果检测到(所陈述的条件或事件)”可以被解释为意思是“如果确定…”或“响应于确定…”或“在检测到(所陈述的条件或事件)时”或“响应于检测到(所陈述的条件或事件)”。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。在不冲突的情况下,以上各实施例的方案都可以组合使用。
需要指出的是,本专利申请文件的一部分包含受著作权保护的内容。除了对专利局的专利文件或记录的专利文档内容制作副本以外,著作权人保留著作权。

Claims (17)

1.一种播放方法,应用于电子设备,其特征在于,所述方法包括:
所述电子设备检测到针对第一媒体文件的第一用户输入;
响应于所述第一用户输入,所述电子设备播放所述第一媒体文件;
在所述第一媒体文件播放至第一位置时,所述电子设备播放所述第二媒体文件,并且所述电子设备继续播放所述第一媒体文件;其中,所述第一位置为预先设置的;
或者,
所述电子设备检测到针对第一控件的第一用户输入;
响应于所述第一用户输入,所述电子设备播放第一媒体文件;
在所述第一媒体文件播放至第一位置时,所述电子设备播放所述第二媒体文件,并且所述电子设备继续播放所述第一媒体文件;其中,所述第一位置为预先设置的。
2.根据权利要求1所述的方法,其特征在于,
所述电子设备包括显示屏;所述第一媒体文件和所述第二媒体文件在所述显示屏上播放;所述第一媒体文件和所述第二媒体文件都为视频文件;
或者,
所述电子设备包括扬声器;所述第一媒体文件和所述第二媒体文件在所述扬声器上播放;所述第一媒体文件和所述第二媒体文件都为音频文件;
或者,
所述电子设备与耳机连接;所述第一媒体文件和所述第二媒体文件在所述耳机上播放;所述第一媒体文件和所述第二媒体文件都为音频文件;
或者,
所述电子设备包括显示屏和扬声器,所述第一媒体文件在所述显示屏上播放;所述第一媒体为视频文件;所述第二媒体文件在所述扬声器上播放;所述第二媒体文件为音频文件;
或者,
所述电子设备包括显示屏,且所述电子设备与耳机连接,所述第一媒体文件在所述显示屏上播放;所述第一媒体文件为视频文件;所述第二媒体文件在所述耳机上播放;所述第二媒体文件为音频文件;
或者,
所述电子设备包括显示屏,且所述电子设备与耳机连接,所述第一媒体文件在所述耳机上播放;所述第一媒体文件为音频文件;所述第二媒体文件在所述显示屏上播放;所述第二媒体文件为视频文件;
或者,
所述电子设备包括显示屏和扬声器,所述第一媒体文件在所述扬声器上播放;所述第一媒体文件为音频文件;所述第二媒体文件在所述显示屏上播放;所述第二媒体文件为视频文件。
3.根据权利要求2所述的方法,其特征在于,在所述第一媒体文件播放至第一位置时,所述电子设备播放所述第二媒体文件,并且所述电子设备继续播放所述第一媒体文件;包括:
在所述第一媒体文件播放至第一位置时,所述电子设备的显示屏分屏为第一屏和第二屏;
所述第二屏播放所述第二媒体文件,并且所述第一屏继续播放所述第一媒体文件;其中,所述第一媒体文件和所述第二媒体文件都为视频文件。
4.根据权利要求2所述的方法,其特征在于,在所述第一媒体文件播放至第一位置时,所述电子设备播放所述第二媒体文件,并且所述电子设备继续播放所述第一媒体文件;包括:
在所述第一媒体文件播放至第一位置时,所述电子设备的显示屏显示一个窗口,所述窗口显示所述第二媒体文件对应的第二画面,且所述窗口悬浮在所述第一媒体文件对应的第一画面之上;其中,所述第一媒体文件和所述第二媒体文件都为视频文件。
5.根据权利要求1-4中任意一项所述的方法,其特征在于,所述第一位置包括以下的一种:所述第一媒体文件中预设的播放时间点、所述第一媒体文件中预设的播放帧、所述第一媒体文件预设的播放比例。
6.根据权利要求1-5中任意一项所述的方法,其特征在于,所述第一位置为用户预先设置的。
7.根据权利要求1-6中任意一项所述的方法,其特征在于,所述第一媒体文件在播放时,关联第一媒体文件扩展信息;所述第一媒体文件扩展信息包括第一媒体文件标识;所述第一媒体文件标识用于标识所述第一媒体文件;所述第一媒体文件扩展信息关联第二媒体文件扩展信息;所述第二媒体文件扩展信息包括第二媒体文件标识和第二媒体文件播放位置标识;所述第二媒体文件标识用于标识所述第二媒体文件;所述第二媒体文件播放位置标识用于标识所述第二媒体开始播放时所述第一媒体的第一播放位置信息;所述第一播放位置信息包括所述第一位置。
8.根据权利要求1-7中任意一项所述的方法,其特征在于,所述方法还包括:
在所述第二媒体文件播放完毕后,所述电子设备继续播放所述第一媒体文件;且所述电子设备只播放所述第一媒体文件。
9.根据权利要求8所述的方法,其特征在于,所述方法还包括:
在所述第一媒体文件播放至第二位置时,所述电子设备播放所述第三媒体文件,并且所述电子设备继续播放所述第一媒体文件;其中,所述第二位置为预先设置的;所述第二位置位于所述第二媒体文件播放完毕后。
10.根据权利要求9所述的方法,其特征在于,所述第二位置包括以下的一种:所述第一媒体文件中预设的播放时间点、所述第一媒体文件中预设的播放帧、所述第一媒体文件预设的播放比例。
11.根据权利要求10或9所述的方法,其特征在于,所述第一媒体文件扩展信息还关联第三媒体文件扩展信息;所述第三媒体文件扩展信息包括第三媒体文件标识和第三媒体文件播放位置标识;所述第三媒体文件标识用于标识所述第三媒体文件;所述第三媒体文件播放位置标识用于标识所述第三媒体开始播放时所述第一媒体的第二播放位置信息;所述第二播放位置信息包括所述第二位置。
12.根据权利要求11所述的方法,其特征在于,所述第一媒体文件扩展信息为与所述第一多媒体多路信息mmmw,所述第二媒体文件扩展信息为第二mmmw,所述第三媒体文件扩展信息为第三mmmw,所述第一mmmw、与所述第一mmmw对应的stsd、stts、stsc、stsz、stss、stco位于第一媒体流盒子stb1中,所述第二mmmw、与所述第二mmmw对应的stsd、stts、stsc、stsz、stss、stco位于第二媒体流盒子stb1中,所述第三mmmw、与所述第三mmmw对应的stsd、stts、stsc、stsz、stss、stco位于第三媒体流盒子stb1中,所述第一媒体流盒子stb1位于所述第一媒体盒子media中,所述第二媒体流盒子stb1位于所述第二媒体盒子media中,所述第三媒体流盒子stb1位于所述第三媒体盒子media中,所述第一媒体盒子media和与所述第一媒体盒子media对应的头tkhd位于第一流trak中,所述第二媒体盒子media和与所述第二媒体盒子media对应的头tkhd位于第二流trak中,所述第三媒体盒子media和与所述第三媒体盒子media对应的头tkhd位于第三流trak中,所述第一流trak、所述第二流trak、所述第三流trak、与所述第一流trak、所述第二流trak与所述第三流trak对应的头mvhd位于视频盒子moov中,所述视频盒子moov、媒体数据mdata和媒体类型ftyp位于MP4文件中,所述第一流trak用于指示所述第一媒体文件,所述第二流trak用于指示所述第二媒体文件,所述第三流trak用于指示所述第三媒体文件,所述第一媒体文件、所述第二媒体文件和所述第三媒体文件均为视频文件。
13.一种视频文件的获取方法,应用于电子设备,所述电子设备包括显示屏;其特征在于,所述方法包括:
所述显示屏显示第一应用的第一界面;所述第一界面包括主视频文件设置控件、主视频文件预览框、第一从视频文件设置控件、第一从视频文件预览框、第一关联设置控件和完成控件;
响应于对所述主视频文件设置控件的第一用户输入,所述显示屏显示所述第一应用的第二界面;所述第二界面包括第一视频文件和第二视频文件;
响应于对所述第一视频文件的第二用户输入,所述主视频文件预览框显示所述第一视频文件的预览静态画面或预览动态画面;
响应于对所述第一从视频文件设置控件的第三用户输入,所述电子设备显示所述第二界面;
响应于对所述第二媒体文件的第四用户输入,所述第一从视频文件预览框显示所述第二视频文件的预览静态画面或预览动态画面;
响应于对所述第一关联设置控件的第五用户输入,所述显示屏显示一个关联设置框;所述关联设置框用于设置所述主视频文件在播放至第一位置时,所述第一从视频文件开始播放,并且所述第一从视频文件的播放不会暂停或停止所述主视频文件的播放;所述关联设置框包括第一位置输入框、第一确认控件和第二确认控件;
在接收到对所述第一位置输入框的第六用户输入后,且在接收到对所述第一确认控件的第七用户输入后,所述第一位置设置完毕;
在接收到对所述完成控件的第八用户输入后,获取到第三视频文件。
14.一种电子设备,其特征在于,包括:
处理器;
存储器;
以及计算机程序,所述计算机程序存储在所述存储器中,当所述计算机程序被所述处理器执行时,使得所述电子设备执行如权利要求1-13中任意一项所述的方法。
15.一种芯片,其特征在于,包括:
处理器;
存储器;
以及计算机程序,所述计算机程序存储在所述存储器中,当所述计算机程序被所述处理器执行时,使得所述芯片执行如权利要求1-13中任意一项所述的方法。
16.一种计算机可读存储介质,其特征在于,包括计算机程序,当所述计算机程序在电子设备上运行时,使得所述电子设备执行如权利要求1-13中任意一项所述的方法。
17.一种计算机程序产品,其特征在于,当其在计算机上运行时,使得所述计算机执行如权利要求1-13中任意一项所述的方法。
CN202011634630.6A 2020-12-31 2020-12-31 一种媒体播放方法及电子设备 Pending CN114697724A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202011634630.6A CN114697724A (zh) 2020-12-31 2020-12-31 一种媒体播放方法及电子设备
PCT/CN2021/140717 WO2022143374A1 (zh) 2020-12-31 2021-12-23 一种媒体播放方法及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011634630.6A CN114697724A (zh) 2020-12-31 2020-12-31 一种媒体播放方法及电子设备

Publications (1)

Publication Number Publication Date
CN114697724A true CN114697724A (zh) 2022-07-01

Family

ID=82134215

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011634630.6A Pending CN114697724A (zh) 2020-12-31 2020-12-31 一种媒体播放方法及电子设备

Country Status (2)

Country Link
CN (1) CN114697724A (zh)
WO (1) WO2022143374A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116033204B (zh) * 2022-07-08 2023-10-20 荣耀终端有限公司 屏幕录制方法、电子设备及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101778282A (zh) * 2010-01-12 2010-07-14 北京暴风网际科技有限公司 一种不同媒体文件并发播放方法
CN105554550A (zh) * 2015-12-08 2016-05-04 腾讯科技(北京)有限公司 视频播放方法及装置
CN105898473A (zh) * 2015-12-15 2016-08-24 乐视网信息技术(北京)股份有限公司 基于安卓平台的多媒体资源的播放方法、装置及移动设备
CN106603947A (zh) * 2016-12-28 2017-04-26 深圳Tcl数字技术有限公司 电视机伴音播放的控制方法及装置
CN107682713A (zh) * 2017-04-11 2018-02-09 腾讯科技(北京)有限公司 媒体文件播放方法及装置
CN108833787A (zh) * 2018-07-19 2018-11-16 百度在线网络技术(北京)有限公司 用于生成短视频的方法和装置
CN109240638A (zh) * 2018-08-29 2019-01-18 北京轩辕联科技有限公司 用于车辆的音频处理方法及装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7120924B1 (en) * 2000-02-29 2006-10-10 Goldpocket Interactive, Inc. Method and apparatus for receiving a hyperlinked television broadcast
CN101272464B (zh) * 2003-06-02 2011-08-24 迪斯尼实业公司 用于画中画呈现的媒体回放设备、方法和系统
CN101557464B (zh) * 2009-04-01 2013-06-05 深圳市融创天下科技股份有限公司 一种在视频节目播放中动态嵌入其他媒体片段的方法
CN104853223B (zh) * 2015-04-29 2018-09-04 小米科技有限责任公司 视频流的插播方法及终端设备
CN105872695A (zh) * 2015-12-31 2016-08-17 乐视网信息技术(北京)股份有限公司 一种视频播放方法及装置
CN110996157A (zh) * 2019-12-20 2020-04-10 上海众源网络有限公司 一种视频播放方法、装置、电子设备及机器可读存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101778282A (zh) * 2010-01-12 2010-07-14 北京暴风网际科技有限公司 一种不同媒体文件并发播放方法
CN105554550A (zh) * 2015-12-08 2016-05-04 腾讯科技(北京)有限公司 视频播放方法及装置
CN105898473A (zh) * 2015-12-15 2016-08-24 乐视网信息技术(北京)股份有限公司 基于安卓平台的多媒体资源的播放方法、装置及移动设备
CN106603947A (zh) * 2016-12-28 2017-04-26 深圳Tcl数字技术有限公司 电视机伴音播放的控制方法及装置
CN107682713A (zh) * 2017-04-11 2018-02-09 腾讯科技(北京)有限公司 媒体文件播放方法及装置
CN108833787A (zh) * 2018-07-19 2018-11-16 百度在线网络技术(北京)有限公司 用于生成短视频的方法和装置
CN109240638A (zh) * 2018-08-29 2019-01-18 北京轩辕联科技有限公司 用于车辆的音频处理方法及装置

Also Published As

Publication number Publication date
WO2022143374A1 (zh) 2022-07-07

Similar Documents

Publication Publication Date Title
JP7466763B2 (ja) マルチメディアデータの処理方法、生成方法及び関連機器
US20190297299A1 (en) Audio routing for audio-video recording
KR100400167B1 (ko) 영상 캡쳐 기능을 갖는 휴대형 단말기 및 그 구현 방법
JP2016538657A (ja) 複数のユーザコメントを検索してコンテンツにオーバーレイすることによるビデオのブラウジング
US10009643B2 (en) Apparatus and method for processing media content
WO2020062684A1 (zh) 视频处理方法、装置、终端和介质
EP2074588A1 (en) Method, apparatus and system for generating regions of interest in video content
JP2004288197A (ja) スクリーンエリアインセット内にデータ表現を提示するためのインターフェース
US11277668B2 (en) Methods, systems, and media for providing media guidance
TWI501609B (zh) 用以儲存多重來源多媒體呈現內容之系統與方法
US11570415B2 (en) Methods, systems, and media for generating a summarized video using frame rate modification
CN105979188A (zh) 一种视频录制方法及装置
WO2021143386A1 (zh) 资源传输方法及终端
CN110719530A (zh) 一种视频播放方法、装置、电子设备及存储介质
CN113992926B (zh) 界面显示方法、装置、电子设备和存储介质
WO2022143374A1 (zh) 一种媒体播放方法及电子设备
US20240107087A1 (en) Server, terminal and non-transitory computer-readable medium
CN112764636A (zh) 视频处理方法、装置、电子设备和计算机可读存储介质
US20230199138A1 (en) Information processing device, information processing program, and recording medium
CN113891108A (zh) 字幕优化方法、装置、电子设备和存储介质
JP2007243605A (ja) 通信装置、通信方法及びプログラム
CN114449316B (zh) 一种视频处理方法、装置、电子设备及存储介质
WO2023160238A1 (zh) 一种图片显示方法及相关电子设备
JP2014002616A (ja) 映像検索システム
US20240146863A1 (en) Information processing device, information processing program, and recording medium

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination