CN111510756A - 音视频的切换方法、装置、计算机设备及可读存储介质 - Google Patents

音视频的切换方法、装置、计算机设备及可读存储介质 Download PDF

Info

Publication number
CN111510756A
CN111510756A CN201910092875.1A CN201910092875A CN111510756A CN 111510756 A CN111510756 A CN 111510756A CN 201910092875 A CN201910092875 A CN 201910092875A CN 111510756 A CN111510756 A CN 111510756A
Authority
CN
China
Prior art keywords
audio
video
data file
content
streaming media
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910092875.1A
Other languages
English (en)
Inventor
吴志强
郑翰超
陈辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Bilibili Technology Co Ltd
Original Assignee
Shanghai Bilibili Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Bilibili Technology Co Ltd filed Critical Shanghai Bilibili Technology Co Ltd
Priority to CN201910092875.1A priority Critical patent/CN111510756A/zh
Priority to PCT/CN2019/128458 priority patent/WO2020155964A1/zh
Priority to EP19912378.7A priority patent/EP3866481A4/en
Publication of CN111510756A publication Critical patent/CN111510756A/zh
Priority to US17/330,226 priority patent/US11490173B2/en
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47202—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting content on demand, e.g. video on demand
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8106—Monomedia components thereof involving special audio data, e.g. different tracks for different languages
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/85406—Content authoring involving a specific file format, e.g. MP4 format

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Human Computer Interaction (AREA)
  • Information Transfer Between Computers (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明公开了一种音视频的切换方法、装置、计算机设备及可读存储介质，该方法包括：在利用DASH对流媒体内容进行音视频同步播放的过程中，当接收到单音播放指令时，向服务器发送获取所述流媒体内容的音频数据文件的请求；其中，在所述服务器上存储有根据所述流媒体内容的视频内容形成的视频数据文件以及根据所述流媒体内容的音频内容形成的音频数据文件；接收由所述服务器反馈回的所述流媒体内容的音频数据文件，并根据所述音频数据文件解析出音频内容；根据所述音频内容对所述流媒体内容进行单音播放。本发明能够对流媒体内容进行单音播放，减少用户的流量使用，提高用户体验度。

Description

音视频的切换方法、装置、计算机设备及可读存储介质
技术领域
本发明涉及音视频播放技术领域，具体涉及一种音视频的切换方法、装置、计算机设备及可读存储介质。
背景技术
随着互联网和智能终端的不断发展，越来越多的用户选择使用智能终端(例如，手机、电脑)播放音频、视频等流媒体；用户可以通过智能终端从网络服务器上获取视频内容和音频内容，并在智能终端上播放。但是，在现有技术中，不能将音视频的播放模式切换为单音播放模式；例如，当用户播放音乐类或相声类音视频时，不能只播放音频内容而不播放视频内容。不能进行单音播放的原因是：在现有技术中，视频内容和音频内容同存于一个流媒体文件中，用户只能获取该流媒体文件，而不能单独获取音频内容。如何实现单音播放，成为一个亟需解决的技术问题。
发明内容
本发明的目的在于提供一种音视频的切换方法、装置、计算机设备及可读存储介质，能够对流媒体内容进行单音播放，减少用户的流量使用，提高用户体验度。
根据本发明的一个方面，提供了一种音视频的切换方法，该方法包括如下步骤：
在利用DASH对流媒体内容进行音视频同步播放的过程中，当接收到单音播放指令时，向服务器发送获取所述流媒体内容的音频数据文件的请求；其中，在所述服务器上存储有根据所述流媒体内容的视频内容形成的视频数据文件以及根据所述流媒体内容的音频内容形成的音频数据文件；
接收由所述服务器反馈回的所述流媒体内容的音频数据文件，并根据所述音频数据文件解析出音频内容；
根据所述音频内容对所述流媒体内容进行单音播放。
可选的，所述方法还包括：
在进行单音播放的过程中，当接收到音视频同步播放指令时，向所述服务器发送获取所述流媒体内容的音频数据文件和视频数据文件的请求；
接收由所述服务器反馈回的所述流媒体内容的音频数据文件和视频数据文件，根据所述音频数据文件解析出音频内容，并根据所述视频数据文件解析出视频内容；
根据所述音频内容和视频内容对所述流媒体内容进行音视频同步播放。
可选的，所述当接收到音视频同步播放指令时，向所述服务器发送获取所述流媒体内容的音频数据文件和视频数据文件的请求，具体包括：
获取当前播放的音频内容的时间戳，并根据所述时间戳确定出当前播放的音频内容的分片号；
向所述服务器发送获取与所述分片号对应的音频数据文件和视频数据文件的请求；
其中，所述流媒体内容被划分为多个分片，每个分片均有对应的分片号，且每个分片号均有对应的音频数据文件和视频数据文件。
可选的，所述根据所述音频数据文件解析出音频内容，具体包括：
对所述音频数据文件进行解封装操作，得到音频流压缩编码数据，并对所述音频压缩编码数据进行解码操作，得到音频内容。
可选的，所述根据所述视频数据文件解析出视频内容，具体包括：
对所述视频数据文件进行解封装操作，得到视频流压缩编码数据，并对所述视频压缩编码数据进行解码操作，得到视频内容。
可选的，所述方法还包括：
在进行单音播放的过程中，当接收到音频语言切换指令时，根据所述音频语言切换指令从所述服务器获取对应语言的音频数据文件，并根据所述音频数据文件播放对应语言的音频内容。
为了实现上述目的，本发明还提供一种音视频的切换装置，该装置具体包括以下组成部分：
请求模块，用于在利用DASH对流媒体内容进行音视频同步播放的过程中，当接收到单音播放指令时，向服务器发送获取所述流媒体内容的音频数据文件的请求；其中，在所述服务器上存储有根据所述流媒体内容的视频内容形成的视频数据文件以及根据所述流媒体内容的音频内容形成的音频数据文件；
解析模块，用于接收由所述服务器反馈回的所述流媒体内容的音频数据文件，并根据所述音频数据文件解析出音频内容；
播放模块，用于根据所述音频内容对所述流媒体内容进行单音播放。
可选的，所述请求模块，还用于：
在进行单音播放的过程中，当接收到音视频同步播放指令时，向所述服务器发送获取所述流媒体内容的音频数据文件和视频数据文件的请求；
所述解析模块，还用于：
接收由所述服务器反馈回的所述流媒体内容的音频数据文件和视频数据文件，根据所述音频数据文件解析出音频内容，并根据所述视频数据文件解析出视频内容；
所述播放模块，还用于：
根据所述音频内容和视频内容对所述流媒体内容进行音视频同步播放。
为了实现上述目的，本发明还提供一种计算机设备，该计算机设备具体包括：存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述介绍的音视频的切换方法的步骤。
为了实现上述目的，本发明还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述介绍的音视频的切换方法的步骤。
本发明提供的音视频的切换方法、装置、计算机设备及可读存储介质，可以在播放流媒体内容的过程中根据用户指令或播放状态自动切换至单音播放模式，从而只播放音频内容而不播放视频内容，进而减少用户的流量使用，且仍能满足用户收听音频内容的要求，提高了用户的体验度。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1为实施例一提供的音视频的切换方法的一种可选的流程示意图；
图2为实施例一提供的由单音播放切换回音视频同步播放的方法的流程示意图；
图3为实施例二提供的音视频的切换装置的一种可选的程序模块示意图；
图4为实施例三提供的计算机设备的一种可选的硬件架构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例一
下面结合附图对本发明提供的音视频的切换方法进行说明。
图1为本发明音视频的切换方法的一种可选的流程示意图，该方法应用于客户端，如图1所示，该方法具体包括以下步骤：
步骤S101：在利用DASH对流媒体内容进行音视频同步播放的过程中，当接收到单音播放指令时，向服务器发送获取所述流媒体内容的音频数据文件的请求。
其中，DASH(Dynamic Adaptive Streaming over HTTP，基于HTTP的动态自适应流)是一种自适应比特率流技术，使得高质量流媒体可以通过传统的HTTP网络服务器以互联网传递。在传统的音视频播放技术中，音频内容和视频内容被包含在一个流媒体文件中，客户端从服务器获取该流媒体文件，并通过解析该流媒体文件以进行音视频的播放；而在DASH技术中，服务器对流媒体内容的视频内容进行压缩以及封装操作以形成视频数据文件，并对该流媒体内容的音频内容进行压缩以及封装操作以形成音频数据文件；客户端需要从服务器分别获取视频数据文件和音频数据文件，并通过解析该视频数据文件和音频数据文件以进行音视频的播放。
在本实施例中，在服务器上存储有根据待播放内容的视频内容形成的视频数据文件以及根据待播放内容的音频内容形成的音频数据文件；本实施例利用在DASH中将音频内容和视频内容分离开来的特点，当需要进行单音播放时，只向服务器发送获取音频数据文件的请求，而不向服务器发送获取视频数据文件的请求。
具体的，触发单音播放指令的方式可以包括以下三种：
第一种，由用户通过点击预设的按钮而触发的单音播放指令；
第二种：当检测到播放界面最小化时而触发的单音播放指令；
第三种：当检测到播放软件被切换至后台运行时而触发的单音播放指令。
需要说明的是，第一种情况同时适用于WEB端(例如，PC电脑)和移动端(例如，智能手机)，即当接收到由用户操作而触发的单音播放指令时自动将播放模式切换至单音播放模式，只进行音频内容的播放而不播放视频内容；第二种情况适用于WEB端，即当用户将播放流媒体内容的显示界面最小化时，自动将播放模式切换至单音播放模式；第三种情况适用于移动端，即当用户将播放媒体内容所使用的应用软件切换至后台运行时，自动将播放模式切换至单音播放模式。
在本实施例中，针对通过移动端上的应用软件播放流媒体内容，根据是否接收到由用户触发的单音播放指令或者根据播放软件是否由前台运行切换到后台运动来判断是否将播放模式切换至单音播放模式；针对通过WEB端上的网页播放流媒体内容，根据是否接收到由用户触发的单音播放指令或者根据播放界面是否由用户最小化来判断是否将播放模式切换至单音播放模式。本实施例提供了多种切换至单音播放模式的判断方法，可以简化用户操作，提高用户体验度。
此外，在DASH技术中，流媒体内容被划分为多个分片，每个分片对应一定时间长度的播放内容(例如，10秒)，每个分片均有对应的音频数据文件和视频数据文件；在播放一个分片之前，客户端从服务器获取该分片的音频数据文件和视频数据文件，客户端对音频数据文件进行解析以得到音频内容并缓存在音频缓存区中，以及对视频数据文件进行解析以得到视频内容并缓存在视频缓存区中。
基于DASH的分片特性，步骤S101，具体包括：
步骤A1：当接收到单音播放指令时，停止从视频缓存区获取视频内容，只从音频缓存区获取音频内容，并根据所述音频内容对当前分片进行单音播放。
在本实施例中，当在播放所述流媒体内容的一个分片的过程中确定出需要切换至单音播放时，停止视频流的链接，只保留音频流的链接，只继续对音频内容进行播放。
步骤A2：向所述服务器发送获取下个分片的音频数据文件的请求。
从下个分片开始，客户端只向服务器发送获取所流媒体内容的音频数据文件的请求，不再发送获取所述流媒体内容的视频数据文件的请求。
在本实施例中，当需要切换至单音播放模式时，先利用已缓存的音频内容，对当前分片进行单音播放，并从下个分片开始，只从服务器获取音频数据文件，直至切换至音视频同步播放。
步骤S102：接收由所述服务器反馈回的所述流媒体内容的音频数据文件，并根据所述音频数据文件解析出音频内容。
具体的，所述根据所述音频数据文件解析出音频内容，具体包括：
对所述音频数据文件进行解封装操作，得到音频流压缩编码数据，并对所述音频压缩编码数据进行解码操作，得到音频内容。
其中，解封装又称解复用，是将输入的封装格式(例如，AVI格式、PM4格式、FLV格式)的数据分离为音频流压缩编码数据和视频流压缩编码数据，此外，在解封装的过程中还可以获取到流媒体文件中的一些基本信息。
解码是通过解码器将压缩数据恢复成音视频信号的过程。
步骤S103：根据所述音频内容对所述流媒体内容进行单音播放。
具体的，步骤S103，包括：
将解码得到的音频内容输送至客户端中相应的声卡以播放出来。
此外，如图2所示，本实施例还提供了一种由单音播放切换回音视频同步播放的方法，所述方法具体包括以下步骤：
步骤S201：在进行单音播放的过程中，当接收到音视频同步播放指令时，向所述服务器发送获取所述流媒体内容的音频数据文件和视频数据文件的请求。
具体的，触发音视频同步播放指令的方式可以包括以下三种：
第一种，由用户通过点击预设的按钮而触发的音视频同步播放指令；
第二种：当检测到播放界面取消最小化时而触发的音视频同步播放指令；
第三种：当检测到播放软件由后台运行切换至前台运行时而触发的音视频同步播放指令。
需要说明的是，第一种情况同时适用于WEB端(例如，PC电脑)和移动端(例如，智能手机)，即当接收到由用户操作而触发的音视频同步播放指令时自动将播放模式切换至音视频同步播放模式，同时播放音频内容和视频内容；第二种情况适用于WEB端，当用户取消播放界面的最小化时，自动将播放模式切换至音视频同步播放；第三种情况适用于移动端，当用户将播放软件由后台运行切换至前台运行时，自动将播放模式切换至音视频同步播放。
在本实施例中，针对通过移动端上的应用软件播放流媒体内容，根据是否接收到由用户触发的音视频切换指令或者根据播放软件是否由后台运行切换到前台运动来判断是否将播放模式切换至音视频同步播放；针对通过WEB端上的网页播放流媒体内容，根据是否接收到由用户触发的音视频切换指令或者根据播放界面是否由最小化还原来判断是否将播放模式切换至音视频同步播放。
进一步的，所述向所述服务器发送获取所述流媒体内容的音频数据文件和视频数据文件的请求，具体包括：
获取当前播放的音频内容的时间戳，并根据所述时间戳确定出当前播放的音频内容的分片号；
向所述服务器发送获取与所述分片号对应的音频数据文件和视频数据文件的请求；
其中，所述流媒体内容被划分为多个分片，每个分片均有对应的分片号，且每个分片号均有对应的音频数据文件和视频数据文件。
在本实施例中，在对流媒体内容进行单音播放的过程中，当需要将单音播放恢复至音视频同步播放时，根据当前播放的音频内容，重新从服务器拉取当前分片的视频内容和音频内容，以重新对当前分片进行音视频同步播放。
步骤S202：接收由所述服务器反馈回的所述流媒体内容的音频数据文件和视频数据文件，根据所述音频数据文件解析出音频内容，并根据所述视频数据文件解析出视频内容。
具体的，步骤S202，包括：
对所述音频数据文件进行解封装操作，得到音频流压缩编码数据，并对所述音频压缩编码数据进行解码操作，得到音频内容；以及，
对所述视频数据文件进行解封装操作，得到视频流压缩编码数据，并对所述视频压缩编码数据进行解码操作，得到视频内容。
步骤S203：根据所述音频内容和视频内容对所述流媒体内容进行音视频同步播放。
更进一步的，所述方法还包括：
在进行单音播放的过程中，当接收到音频语言切换指令时，根据所述音频语言切换指令从所述服务器获取对应语言的音频数据文件，并根据所述音频数据文件播放对应语言的音频内容。
例如，待播放内容为一部美国的电影，且该电影具有英文原音和中文配音两种语言可供选择；在单音播放的过程中，可以根据用户的选择，选择收听英文原音或中文配音。
实施例二
基于上述实施例一中提供的音视频的切换方法，本实施例中提供一种音视频的切换装置，具体地，图3示出了该音视频的切换装置的可选的结构框图，该音视频的切换装置被分割成一个或多个程序模块，一个或者多个程序模块被存储于存储介质中，并由一个或多个处理器所执行，以完成本发明。本发明所称的程序模块是指能够完成特定功能的一系列计算机程序指令段，比程序本身更适合描述音视频的切换装置在存储介质中的执行过程，以下描述将具体介绍本实施例各程序模块的功能。
如图3所示，应用于客户端的音视频的切换装置具体包括以下组成部分：
请求模块301，用于在利用DASH对流媒体内容进行音视频同步播放的过程中，当接收到单音播放指令时，向服务器发送获取所述流媒体内容的音频数据文件的请求；其中，在所述服务器上存储有根据所述流媒体内容的视频内容形成的视频数据文件以及根据所述流媒体内容的音频内容形成的音频数据文件；
解析模块302，用于接收由所述服务器反馈回的所述流媒体内容的音频数据文件，并根据所述音频数据文件解析出音频内容；
播放模块303，用于根据所述音频内容对所述流媒体内容进行单音播放。
此外，在单音播放模式下，请求模块301，还用于：
在进行单音播放的过程中，当接收到音视频同步播放指令时，向所述服务器发送获取所述流媒体内容的音频数据文件和视频数据文件的请求。
在单音播放模式下，解析模块302，还用于：
接收由所述服务器反馈回的所述流媒体内容的音频数据文件和视频数据文件，根据所述音频数据文件解析出音频内容，并根据所述视频数据文件解析出视频内容。
在单音播放模式下，播放模块303，还用于：
根据所述音频内容和视频内容对所述流媒体内容进行音视频同步播放。
具体的，在单音播放模式下，请求模块301，具体用于：
获取当前播放的音频内容的时间戳，并根据所述时间戳确定出当前播放的音频内容的分片号；
向所述服务器发送获取与所述分片号对应的音频数据文件和视频数据文件的请求；
其中，所述流媒体内容被划分为多个分片，每个分片均有对应的分片号，且每个分片号均有对应的音频数据文件和视频数据文件。
解析模块302，具体用于：
对所述音频数据文件进行解封装操作，得到音频流压缩编码数据，并对所述音频压缩编码数据进行解码操作，得到音频内容；以及，
对所述视频数据文件进行解封装操作，得到视频流压缩编码数据，并对所述视频压缩编码数据进行解码操作，得到视频内容。
进一步的，所述装置还包括：
切换模块，用于在进行单音播放的过程中，当接收到音频语言切换指令时，根据所述音频语言切换指令从所述服务器获取对应语言的音频数据文件，并根据所述音频数据文件播放对应语言的音频内容。
实施例三
本实施例还提供一种计算机设备，如可以执行程序的智能手机、平板电脑、笔记本电脑、台式计算机、机架式服务器、刀片式服务器、塔式服务器或机柜式服务器(包括独立的服务器，或者多个服务器所组成的服务器集群)等。如图4所示，本实施例的计算机设备40至少包括但不限于：可通过系统总线相互通信连接的存储器401、处理器402。需要指出的是，图4仅示出了具有组件401-402的计算机设备40，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。
本实施例中，存储器401(即可读存储介质)包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，存储器401可以是计算机设备40的内部存储单元，例如该计算机设备40的硬盘或内存。在另一些实施例中，存储器401也可以是计算机设备40的外部存储设备，例如该计算机设备40上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。当然，存储器401还可以既包括计算机设备40的内部存储单元也包括其外部存储设备。在本实施例中，存储器401通常用于存储安装于计算机设备40的操作系统和各类应用软件，例如实施例二的音视频的切换装置的程序代码等。此外，存储器401还可以用于暂时地存储已经输出或者将要输出的各类数据。
处理器402在一些实施例中可以是中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器402通常用于控制计算机设备40的总体操作。
具体的，在本实施例中，处理器402用于执行处理器402中存储的音视频的切换方法的程序，所述音视频的切换方法的程序被执行时实现如下步骤：
在利用DASH对流媒体内容进行音视频同步播放的过程中，当接收到单音播放指令时，向服务器发送获取所述流媒体内容的音频数据文件的请求；其中，在所述服务器上存储有根据所述流媒体内容的视频内容形成的视频数据文件以及根据所述流媒体内容的音频内容形成的音频数据文件；
接收由所述服务器反馈回的所述流媒体内容的音频数据文件，并根据所述音频数据文件解析出音频内容；
根据所述音频内容对所述流媒体内容进行单音播放。
上述方法步骤的具体实施例过程可参见第一实施例，本实施例在此不再重复赘述。
实施例四
本实施例还提供一种计算机可读存储介质，如闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘、服务器、App应用商城等等，其上存储有计算机程序，所述计算机程序被处理器执行时实现如下方法步骤：
在利用DASH对流媒体内容进行音视频同步播放的过程中，当接收到单音播放指令时，向服务器发送获取所述流媒体内容的音频数据文件的请求；其中，在所述服务器上存储有根据所述流媒体内容的视频内容形成的视频数据文件以及根据所述流媒体内容的音频内容形成的音频数据文件；
接收由所述服务器反馈回的所述流媒体内容的音频数据文件，并根据所述音频数据文件解析出音频内容；
根据所述音频内容对所述流媒体内容进行单音播放。
上述方法步骤的具体实施例过程可参见第一实施例，本实施例在此不再重复赘述。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种音视频的切换方法，其特征在于，所述方法包括：
在利用DASH对流媒体内容进行音视频同步播放的过程中，当接收到单音播放指令时，向服务器发送获取所述流媒体内容的音频数据文件的请求；其中，在所述服务器上存储有根据所述流媒体内容的视频内容形成的视频数据文件以及根据所述流媒体内容的音频内容形成的音频数据文件；
接收由所述服务器反馈回的所述流媒体内容的音频数据文件，并根据所述音频数据文件解析出音频内容；
根据所述音频内容对所述流媒体内容进行单音播放。
2.根据权利要求1所述的音视频的切换方法，其特征在于，所述方法还包括：
在进行单音播放的过程中，当接收到音视频同步播放指令时，向所述服务器发送获取所述流媒体内容的音频数据文件和视频数据文件的请求；
接收由所述服务器反馈回的所述流媒体内容的音频数据文件和视频数据文件，根据所述音频数据文件解析出音频内容，并根据所述视频数据文件解析出视频内容；
根据所述音频内容和视频内容对所述流媒体内容进行音视频同步播放。
3.根据权利要求2所述的音视频的切换方法，其特征在于，所述当接收到音视频同步播放指令时，向所述服务器发送获取所述流媒体内容的音频数据文件和视频数据文件的请求，具体包括：
获取当前播放的音频内容的时间戳，并根据所述时间戳确定出当前播放的音频内容的分片号；
向所述服务器发送获取与所述分片号对应的音频数据文件和视频数据文件的请求；
其中，所述流媒体内容被划分为多个分片，每个分片均有对应的分片号，且每个分片号均有对应的音频数据文件和视频数据文件。
4.根据权利要求1或2所述的音视频的切换方法，其特征在于，所述根据所述音频数据文件解析出音频内容，具体包括：
对所述音频数据文件进行解封装操作，得到音频流压缩编码数据，并对所述音频压缩编码数据进行解码操作，得到音频内容。
5.根据权利要求2所述的音视频的切换方法，其特征在于，所述根据所述视频数据文件解析出视频内容，具体包括：
对所述视频数据文件进行解封装操作，得到视频流压缩编码数据，并对所述视频压缩编码数据进行解码操作，得到视频内容。
6.根据权利要求1所述的音视频的切换方法，其特征在于，所述方法还包括：
在进行单音播放的过程中，当接收到音频语言切换指令时，根据所述音频语言切换指令从所述服务器获取对应语言的音频数据文件，并根据所述音频数据文件播放对应语言的音频内容。
7.一种音视频的切换装置，其特征在于，所述装置包括：
请求模块，用于在利用DASH对流媒体内容进行音视频同步播放的过程中，当接收到单音播放指令时，向服务器发送获取所述流媒体内容的音频数据文件的请求；其中，在所述服务器上存储有根据所述流媒体内容的视频内容形成的视频数据文件以及根据所述流媒体内容的音频内容形成的音频数据文件；
解析模块，用于接收由所述服务器反馈回的所述流媒体内容的音频数据文件，并根据所述音频数据文件解析出音频内容；
播放模块，用于根据所述音频内容对所述流媒体内容进行单音播放。
8.根据权利要求7所述的音视频的切换装置，其特征在于，所述请求模块，还用于：
在进行单音播放的过程中，当接收到音视频同步播放指令时，向所述服务器发送获取所述流媒体内容的音频数据文件和视频数据文件的请求；
所述解析模块，还用于：
接收由所述服务器反馈回的所述流媒体内容的音频数据文件和视频数据文件，根据所述音频数据文件解析出音频内容，并根据所述视频数据文件解析出视频内容；
所述播放模块，还用于：
根据所述音频内容和视频内容对所述流媒体内容进行音视频同步播放。
9.一种计算机设备，所述计算机设备包括：存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6任一项所述方法的步骤。
CN201910092875.1A 2019-01-30 2019-01-30 音视频的切换方法、装置、计算机设备及可读存储介质 Pending CN111510756A (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201910092875.1A CN111510756A (zh) 2019-01-30 2019-01-30 音视频的切换方法、装置、计算机设备及可读存储介质
PCT/CN2019/128458 WO2020155964A1 (zh) 2019-01-30 2019-12-25 音视频的切换方法、装置、计算机设备及可读存储介质
EP19912378.7A EP3866481A4 (en) 2019-01-30 2019-12-25 Audio/video switching method and apparatus, and computer device and readable storage medium
US17/330,226 US11490173B2 (en) 2019-01-30 2021-05-25 Switch of audio and video

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910092875.1A CN111510756A (zh) 2019-01-30 2019-01-30 音视频的切换方法、装置、计算机设备及可读存储介质

Publications (1)

Publication Number Publication Date
CN111510756A true CN111510756A (zh) 2020-08-07

Family

ID=71840239

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910092875.1A Pending CN111510756A (zh) 2019-01-30 2019-01-30 音视频的切换方法、装置、计算机设备及可读存储介质

Country Status (4)

Country Link
US (1) US11490173B2 (zh)
EP (1) EP3866481A4 (zh)
CN (1) CN111510756A (zh)
WO (1) WO2020155964A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113676777A (zh) * 2021-08-18 2021-11-19 上海哔哩哔哩科技有限公司 数据处理方法及装置
CN114339308A (zh) * 2022-01-04 2022-04-12 腾讯音乐娱乐科技（深圳）有限公司 一种视频流加载方法、电子设备及存储介质

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113038193B (zh) * 2021-03-24 2023-08-11 Vidaa美国公司 一种自动修复音视频不同步的方法及显示设备
US20220394323A1 (en) * 2021-06-04 2022-12-08 Rovi Guides, Inc. Supplmental audio generation system in an audio-only mode
CN114786063B (zh) * 2022-03-11 2023-12-05 北京字跳网络技术有限公司 一种音视频处理方法、装置、设备以及存储介质
CN116634189B (zh) * 2023-07-20 2023-10-03 天津星耀九洲科技有限公司 交互式直播数据显示方法、装置及电子设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105612753A (zh) * 2013-10-08 2016-05-25 高通股份有限公司 媒体流传输期间在适配集合间的切换
CN105940671A (zh) * 2014-01-29 2016-09-14 谷歌公司 媒体应用后台处理
CN106792075A (zh) * 2017-01-04 2017-05-31 合网络技术（北京）有限公司 视频播放方法及装置

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101873447A (zh) * 2009-04-21 2010-10-27 深圳富泰宏精密工业有限公司 电子装置及其收看电视的省电方法
US8640181B1 (en) * 2010-09-15 2014-01-28 Mlb Advanced Media, L.P. Synchronous and multi-sourced audio and video broadcast
CN102625150A (zh) * 2012-03-16 2012-08-01 中国科学院计算技术研究所 一种媒体播放系统和方法
US9769512B2 (en) * 2012-11-08 2017-09-19 Time Warner Cable Enterprises Llc System and method for delivering media based on viewer behavior
CN103024490A (zh) * 2012-12-26 2013-04-03 北京奇艺世纪科技有限公司 一种支持音频和视频独立播放的方法及设备
CN104581320A (zh) * 2013-10-16 2015-04-29 中兴通讯股份有限公司 一种切换播放模式的方法、装置和终端
US10667004B2 (en) * 2014-12-22 2020-05-26 Lg Electronics Inc. Broadcasting signal reception device, and broadcasting signal reception method based on pull mode
JP6259114B2 (ja) * 2015-01-21 2018-01-10 エルジー エレクトロニクス インコーポレイティド 放送信号送信装置、放送信号受信装置、放送信号送信方法、及び放送信号受信方法
EP3253024A4 (en) * 2015-01-29 2018-07-11 LG Electronics Inc. Broadcast signal transmitting device, broadcast signal receiving device, broadcast signal transmitting method, and broadcast signal receiving method
WO2016149928A1 (zh) * 2015-03-26 2016-09-29 华为技术有限公司 视频播放模式切换方法、装置和终端
US10693936B2 (en) * 2015-08-25 2020-06-23 Qualcomm Incorporated Transporting coded audio data
US9854375B2 (en) * 2015-12-01 2017-12-26 Qualcomm Incorporated Selection of coded next generation audio data for transport
CN105979060A (zh) * 2015-12-03 2016-09-28 乐视致新电子科技（天津）有限公司 一种播放方法和装置
US10887645B2 (en) * 2017-07-13 2021-01-05 Qualcomm Incorporated Processing media data using file tracks for web content
US10958948B2 (en) * 2017-08-29 2021-03-23 Charter Communications Operating, Llc Apparatus and methods for latency reduction in digital content switching operations
US20200321015A1 (en) * 2017-12-28 2020-10-08 Sony Corporation Information processing device, information processing method, and program

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105612753A (zh) * 2013-10-08 2016-05-25 高通股份有限公司 媒体流传输期间在适配集合间的切换
CN105940671A (zh) * 2014-01-29 2016-09-14 谷歌公司 媒体应用后台处理
CN106792075A (zh) * 2017-01-04 2017-05-31 合网络技术（北京）有限公司 视频播放方法及装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113676777A (zh) * 2021-08-18 2021-11-19 上海哔哩哔哩科技有限公司 数据处理方法及装置
CN113676777B (zh) * 2021-08-18 2024-03-08 上海哔哩哔哩科技有限公司 数据处理方法及装置
CN114339308A (zh) * 2022-01-04 2022-04-12 腾讯音乐娱乐科技（深圳）有限公司 一种视频流加载方法、电子设备及存储介质

Also Published As

Publication number Publication date
EP3866481A1 (en) 2021-08-18
EP3866481A4 (en) 2022-06-29
US11490173B2 (en) 2022-11-01
US20210281929A1 (en) 2021-09-09
WO2020155964A1 (zh) 2020-08-06

Similar Documents

Publication Publication Date Title
CN111510756A (zh) 音视频的切换方法、装置、计算机设备及可读存储介质
CN109257646B (zh) 视频处理方法、装置、电子设备及计算机可读介质
CN111510755A (zh) 音视频的切换方法、装置、计算机设备及可读存储介质
US20170111414A1 (en) Video playing method and device
CN111556353B (zh) 一种视频播放方法、视频播放管理装置及终端设备
CN112653700B (zh) 一种基于webrtc网页视频通信的方法
US20090300145A1 (en) Media streaming with seamless ad insertion
CN108933764B (zh) 一种实现快速起播的方法和装置
CN103428582B (zh) 播放视频的方法、装置和客户端
US20150268808A1 (en) Method, Device and System for Multi-Speed Playing
CN110401858A (zh) 一种视频播放方法、装置、电子设备及存储介质
JP2017538328A (ja) プロモーション情報の処理方法、装置、デバイス及びコンピュータ記憶媒体
WO2020026009A1 (zh) 一种视频对象的推荐方法、装置和设备/终端/服务器
CN110996160A (zh) 视频处理方法、装置、电子设备及计算机可读取存储介质
CN112866730A (zh) 流媒体数据传输方法及装置、系统、电子设备、存储介质
CN112449250B (zh) 一种视频资源的下载方法、装置、设备和介质
CN110858919A (zh) 媒体文件播放过程中的数据处理方法、装置及存储介质
CN114040245B (zh) 视频播放方法、装置、计算机存储介质和电子设备
CN111510761B (zh) 首帧均衡限流方法、装置、计算机设备及可读存储介质
KR20170005741A (ko) 이미지 기반 동영상 콘텐츠 제공 방법 및 그 시스템
CN114374869B (zh) 一种全景视频播放方法、装置及计算机存储介质
KR20170010574A (ko) 정보처리장치, 영상처리장치 및 그들의 제어방법
CN115022725A (zh) 一种视频播放方法和装置
CN114339415A (zh) 客户端视频播放方法、装置、电子设备和可读介质
CN113542764A (zh) 视频快速启播方法、装置、电子设备及计算机可读介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200807

RJ01 Rejection of invention patent application after publication