CN111510755A - 音视频的切换方法、装置、计算机设备及可读存储介质 - Google Patents

音视频的切换方法、装置、计算机设备及可读存储介质 Download PDF

Info

Publication number
CN111510755A
CN111510755A CN201910092650.6A CN201910092650A CN111510755A CN 111510755 A CN111510755 A CN 111510755A CN 201910092650 A CN201910092650 A CN 201910092650A CN 111510755 A CN111510755 A CN 111510755A
Authority
CN
China
Prior art keywords
audio
playing
content
video
tone
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910092650.6A
Other languages
English (en)
Inventor
耿宙
顾怡昀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Bilibili Technology Co Ltd
Original Assignee
Shanghai Bilibili Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Bilibili Technology Co Ltd filed Critical Shanghai Bilibili Technology Co Ltd
Priority to CN201910092650.6A priority Critical patent/CN111510755A/zh
Priority to US16/773,788 priority patent/US10838691B2/en
Publication of CN111510755A publication Critical patent/CN111510755A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/262—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists
    • H04N21/26258—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists for generating a list of items to be played back in a given order, e.g. playlist, or scheduling item distribution according to such list
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2387—Stream processing in response to a playback request from an end-user, e.g. for trick-play
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44204—Monitoring of content usage, e.g. the number of times a movie has been viewed, copied or the amount which has been watched
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8106—Monomedia components thereof involving special audio data, e.g. different tracks for different languages
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明公开了一种音视频的切换方法、装置、计算机设备及可读存储介质，该方法包括：在利用DASH对待播放内容进行音视频同步播放的过程中，检测播放状态，并根据检测结果确定出是否需要切换至单音播放；在确定出需要切换至单音播放的情况下，从服务器仅获取所述待播放内容的音频内容，并根据获取到的音频内容对所述待播放内容进行单音播放。本发明能够对流媒体内容进行单音播放，减少用户的流量使用，提高用户体验度。

Description

音视频的切换方法、装置、计算机设备及可读存储介质
技术领域
本发明涉及音视频播放技术领域，具体涉及一种音视频的切换方法、装置、计算机设备及可读存储介质。
背景技术
随着互联网和智能终端的不断发展，越来越多的用户选择使用智能终端(例如，手机、电脑)播放音频、视频等流媒体；用户可以通过智能终端从网络服务器上获取流媒体内容，并在智能终端上播放。但是，在现有技术中，不能将音视频的播放模式切换为单音播放模式；例如，当用户播放音乐类或相声类音视频时，不能只播放音频内容而不播放视频内容。不能进行单音播放的原因如下：在现有技术中，视频内容和音频内容同存于一个流媒体文件中，用户只能获取该流媒体文件，而不能单独获取音频内容。如何实现单音播放，成为一个亟需解决的技术问题。
发明内容
本发明的目的在于提供一种音视频的切换方法、装置、计算机设备及可读存储介质，能够对流媒体内容进行单音播放，减少用户的流量使用，提高用户体验度。
根据本发明的一个方面，提供了一种音视频的切换方法，该方法包括如下步骤：
在利用DASH对待播放内容进行音视频同步播放的过程中，检测播放状态，并根据检测结果确定出是否需要切换至单音播放；
在确定出需要切换至单音播放的情况下，从服务器仅获取所述待播放内容的音频内容，并根据获取到的音频内容对所述待播放内容进行单音播放。
可选的，所述在利用DASH对待播放内容进行音视频同步播放的过程中，检测播放状态，并根据检测结果确定出是否需要切换至单音播放，具体包括：
检测是否接收到单音切换指令，若是，则确定出需要切换至单音播放；或者，
检测播放界面是否最小化，若是，则确定出需要切换至单音播放；或者，
检测播放软件是否切换至后台运行，若是，则确定出需要切换至单音播放。
可选的，所述方法还包括：
在对所述待播放内容进行单音播放的过程中，当接收到音频语言切换指令时，根据所述音频语言切换指令从所述服务器获取对应语言的音频内容，并播放获取到的对应语言的音频内容。
可选的，所述方法还包括：
在对所述待播放内容进行单音播放的过程中，当接收到音频音质切换指令时，根据所述音频音质切换指令从所述服务器获取对应音质的音频内容，并播放获取到的对应音质的音频内容。
可选的，所述方法还包括：
在对所述待播放内容进行单音播放的过程中，检测播放状态，并根据检测结果确定出是否需要切换至音视频同步播放；
在确定出需要切换至音视频同步播放的情况下，从所述服务器同时获取所述待播放内容的音频内容和视频内容，并根据获取到的音频内容和视频内容对所述待播放内容进行音视频同步播放。
可选的，所述在对所述待播放内容进行单音播放的过程中，检测播放状态，并根据检测结果确定出是否需要切换至音视频同步播放，具体包括：
检测是否接收到音视频切换指令，若是，则确定出需要切换至音视频同步播放；或者，
检测播放界面是否取消最小化，若是，则确定出需要切换至音视频同步播放；或者，
检测播放软件是否由后台运行切换至前台运行，若是，则确定出需要切换至音视频同步播放。
为了实现上述目的，本发明还提供一种音视频的切换装置，该装置具体包括以下组成部分：
检测模块，用于在利用DASH对待播放内容进行音视频同步播放的过程中，检测播放状态，并根据检测结果确定出是否需要切换至单音播放；
处理模块，用于在确定出需要切换至单音播放的情况下，从服务器仅获取所述待播放内容的音频内容，并根据获取到的音频内容对所述待播放内容进行单音播放。
可选的，所述检测模块，还用于：
在对所述待播放内容进行单音播放的过程中，检测播放状态，并根据检测结果确定出是否需要切换至音视频同步播放；
所述处理模块，还用于：
在确定出需要切换至音视频同步播放的情况下，从所述服务器同时获取所述待播放内容的音频内容和视频内容，并根据获取到的音频内容和视频内容对所述待播放内容进行音视频同步播放。
为了实现上述目的，本发明还提供一种计算机设备，该计算机设备具体包括：存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述介绍的音视频的切换方法的步骤。
为了实现上述目的，本发明还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述介绍的音视频的切换方法的步骤。
本发明提供的音视频的切换方法、装置、计算机设备及可读存储介质，可以在播放流媒体内容的过程中根据用户指令或播放状态自动切换至单音播放模式，从而只播放音频内容而不播放视频内容，进而减少用户的流量使用，且仍能满足用户收听音频内容的要求，提高了用户的体验度。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1为实施例一提供的音视频的切换方法的一种可选的流程示意图；
图2为实施例一提供的由单音播放切换回音视频同步播放的方法的流程示意图；
图3为实施例二提供的音视频的切换装置的一种可选的程序模块示意图；
图4为实施例三提供的计算机设备的一种可选的硬件架构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例一
下面结合附图对本发明提供的音视频的切换方法进行说明。
图1为本发明音视频的切换方法的一种可选的流程示意图，该方法应用于客户端，如图1所示，该方法具体包括以下步骤：
步骤S101：在利用DASH对待播放内容进行音视频同步播放的过程中，检测播放状态，并根据检测结果确定出是否需要切换至单音播放。
其中，DASH(Dynamic Adaptive Streaming over HTTP，基于HTTP的动态自适应流)是一种自适应比特率流技术，使得高质量流媒体可以通过传统的HTTP网络服务器以互联网传递。
在本实施例中，播放模式包括：音视频同步播放、音视频暂停播放和单音播放；在音视频同步播放模式下，用户既能看到视频内容也能听到音频内容；在音视频暂停播放模式下，用户既不能看到视频内容也不能听到音频内容；在单音播放模式下，用户只能听到音频内容而看不到视频内容。
具体的，步骤S101，包括：
检测是否接收到单音切换指令，若是，则确定出需要切换至单音播放；或者，
检测播放界面是否最小化，若是，则确定出需要切换至单音播放；或者，
检测播放软件是否切换至后台运行，若是，则确定出需要切换至单音播放。
其中，单音切换指令是由用户触发的；例如，用户通过点击预设的单音播放按钮以触发单音切换指令；无论在WEB端(例如，PC电脑)还是在移动端(例如，智能手机)，当接收到由用户触发的单音切换指令时自动将播放模式切换至单音播放；
播放界面为WEB端上的播放流媒体内容的显示界面，当用户将播放界面最小化时，自动将播放模式切换至单音播放；在进行音视频同步播放的过程中，当用户将播放界面最小化且并未切换至音视频暂停播放模式时，用户仅需要收听音频内容而不需要观看视频内容，所以为了节省用户的流量和用电量，自动切换至单音播放模式；
播放软件为移动端上的播放流媒体内容所使用的应用软件，当用户将播放软件切换至后台运行时，自动将播放模式切换至单音播放。
在本实施例中，针对通过移动端上的应用软件播放流媒体内容，根据是否接收到由用户触发的单音切换指令或者根据播放软件是否由前台运行切换到后台运动来判断是否将播放模式切换至单音播放模式；针对通过WEB端上的网页播放流媒体内容，根据是否接收到由用户触发的单音切换指令或者根据播放界面是否由用户最小化来判断是否将播放模式切换至单音播放模式。本实施例提供了多种切换至单音播放模式的判断方法，可以简化用户操作，提高用户体验度。
步骤S102：在确定出需要切换至单音播放的情况下，从服务器仅获取所述待播放内容的音频内容，并根据获取到的音频内容对所述待播放内容进行单音播放。
在传统的音视频播放技术中，音频内容和视频内容被包含在一个流媒体文件中，客户端从服务器获取该流媒体文件，并通过解析该流媒体文件以进行音视频的播放；而在DASH技术中，服务器对流媒体内容的视频内容进行压缩以及封装操作以形成视频数据文件，并对该流媒体内容的音频内容进行压缩以及封装操作以形成音频数据文件；客户端需要从服务器分别获取视频数据文件和音频数据文件，并通过解析该视频数据文件和音频数据文件以进行音视频的播放。
在本实施例中，在服务器上存储有根据待播放内容的视频内容形成的视频数据文件以及根据待播放内容的音频内容形成的音频数据文件；本实施例利用在DASH中将音频内容和视频内容分离开来的特点，当需要进行单音播放时，只向服务器发送获取音频数据文件的请求，而不向服务器发送获取视频数据文件的请求。
具体的，步骤S102，包括：
步骤A1：停止从视频缓存区获取视频内容，只从音频缓存区获取音频内容，并根据所述音频内容对当前分片进行单音播放。
其中，在DASH技术中，流媒体内容被划分为多个分片，每个分片对应一定时间长度的播放内容(例如，10秒)，每个分片均有对应的音频数据文件和视频数据文件；在播放一个分片之前，从服务器获取该分片的音频数据文件和视频数据文件，对音频数据文件进行解析以得到音频内容并缓存在音频缓存区中，以及对视频数据文件进行解析以得到视频内容并缓存在视频缓存区中。
在本实施例中，当在播放所述待播放内容的一个分片的过程中确定出需要切换至单音播放时，停止视频流的链接，只保留音频流的链接，只继续对音频内容进行播放。
步骤A2：向所述服务器发送获取下个分片的音频数据文件的请求。
从下个分片开始，客户端只向服务器发送获取所述待播放内容的音频数据文件的请求，不再发送获取所述待播放内容的视频数据文件的请求。
步骤A3：接收由所述服务器反馈回的所述待播放内容的音频数据文件，并根据所述音频数据文件解析出音频内容。
其中，所述根据所述音频数据文件解析出音频内容，具体包括：
对所述音频数据文件进行解封装操作，得到音频流压缩编码数据，并对所述音频压缩编码数据进行解码操作，得到音频内容。
其中，解封装又称解复用，是将输入的封装格式(例如，AVI格式、PM4格式、FLV格式)的文件分离为音频流压缩编码数据或视频流压缩编码数据；解码是通过解码器将压缩数据恢复成音视频信号的过程。
步骤A4：根据所述音频内容，对下个分片进行单音播放。
在本实施例中，当需要切换至单音播放模式时，先利用已缓存的音频内容，对当前分片进行单音播放，并从下个分片开始，只从服务器获取音频数据文件，直至切换至音视频同步播放或音视频暂停播放。
进一步的，所述方法还包括：
在对所述待播放内容进行单音播放的过程中，当接收到音频语言切换指令时，根据所述音频语言切换指令从所述服务器获取对应语言的音频内容，并播放获取到的对应语言的音频内容。
例如，待播放内容为一部美国的电影，且该电影具有英文原音和中文配音两种语言可供选择；在单音播放的过程中，可以根据用户的选择，选择收听英文原音或中文配音。
进一步的，所述方法还包括：
在对所述待播放内容进行单音播放的过程中，当接收到音频音质切换指令时，根据所述音频音质切换指令从所述服务器获取对应音质的音频内容，并播放获取到的对应音质的音频内容。
例如，待播放内容的音频内容具有标准音质、高音质、无损音质可供选择；在单音播放的过程中，可以根据用户的选择，选择收听对应音质的音频内容。
此外，如图2所示，本实施例还提供了一种由单音播放切换回音视频同步播放的方法，所述方法具体包括以下步骤：
步骤S201：在对所述待播放内容进行单音播放的过程中，检测播放状态，并根据检测结果确定出是否需要切换至音视频同步播放；
具体的，步骤S201，包括：
检测是否接收到音视频切换指令，若是，则确定出需要切换至音视频同步播放；或者，
检测播放界面是否取消最小化，若是，则确定出需要切换至音视频同步播放；或者，
检测播放软件是否由后台运行切换至前台运行，若是，则确定出需要切换至音视频同步播放。
其中，音视频切换指令是由用户触发的；例如，用户通过点击预设的正常播放按钮以触发音视频切换指令；无论在WEB端(例如，PC电脑)还是在移动端(例如，智能手机)，当接收到由用户触发的音视频切换指令时自动将播放模式切换至音视频同步播放；
针对WEB端，当用户取消播放界面的最小化时，自动将播放模式切换至音视频同步播放；针对移动端，当用户将播放软件由后台运行切换至前台运行时，自动将播放模式切换至音视频同步播放。
在本实施例中，针对通过移动端上的应用软件播放流媒体内容，根据是否接收到由用户触发的音视频切换指令或者根据播放软件是否由后台运行切换到前台运动来判断是否将播放模式切换至音视频同步播放；针对通过WEB端上的网页播放流媒体内容，根据是否接收到由用户触发的音视频切换指令或者根据播放界面是否由最小化还原来判断是否将播放模式切换至音视频同步播放。
步骤S202：在确定出需要切换至音视频同步播放的情况下，从所述服务器同时获取所述待播放内容的音频内容和视频内容，并根据获取到的音频内容和视频内容对所述待播放内容进行音视频同步播放。
具体的，所述从所述服务器同时获取所述待播放内容的音频内容和视频内容，具体包括：
步骤B1：获取当前播放的音频内容的时间戳，并根据所述时间戳确定出当前播放的音频内容的分片号；
步骤B2：向所述服务器发送获取与所述分片号对应的音频数据文件和视频数据文件的请求；
步骤B3：接收由所述服务器反馈回的所述音频数据文件和视频数据文件，从所述音频数据文件中解析出音频内容并从所述视频数据文件中解析出视频内容。
在本实施例中，将待播放内容划分为多个分片，每个分片对应一个分片号，每个分片号都有对应的视频数据文件和音频数据文件。
进一步的，步骤B3，具体包括：
对所述音频数据文件进行解封装操作，得到音频流压缩编码数据，并对所述音频压缩编码数据进行解码操作，得到音频内容；以及，
对所述视频数据文件进行解封装操作，得到视频流压缩编码数据，并对所述视频压缩编码数据进行解码操作，得到视频内容。
在本实施例中，当对流媒体内容进行单音播放的过程中，可以根据用户指令或者用户操作，判断是否需要将单音播放恢复至音视频同步播放，若是，则根据当前播放的音频内容，重新从服务器拉取当前分片的视频内容和音频内容，以重新对当前分片进行音视频同步播放。
实施例二
基于上述实施例一中提供的音视频的切换方法，本实施例中提供一种音视频的切换装置，具体地，图3示出了该音视频的切换装置的可选的结构框图，该音视频的切换装置被分割成一个或多个程序模块，一个或者多个程序模块被存储于存储介质中，并由一个或多个处理器所执行，以完成本发明。本发明所称的程序模块是指能够完成特定功能的一系列计算机程序指令段，比程序本身更适合描述音视频的切换装置在存储介质中的执行过程，以下描述将具体介绍本实施例各程序模块的功能。
如图3所示，应用于客户端的音视频的切换装置具体包括以下组成部分：
检测模块401，用于在利用DASH对待播放内容进行音视频同步播放的过程中，检测播放状态，并根据检测结果确定出是否需要切换至单音播放。
具体的，检测模块301，具体用于：
检测是否接收到单音切换指令，若是，则确定出需要切换至单音播放；或者，
检测播放界面是否最小化，若是，则确定出需要切换至单音播放；或者，
检测播放软件是否切换至后台运行，若是，则确定出需要切换至单音播放。
处理模块302，用于在确定出需要切换至单音播放的情况下，从服务器仅获取所述待播放内容的音频内容，并根据获取到的音频内容对所述待播放内容进行单音播放。
进一步的，所述装置还包括：
第一切换模块，用于在对所述待播放内容进行单音播放的过程中，当接收到音频语言切换指令时，根据所述音频语言切换指令从所述服务器获取对应语言的音频内容，并播放获取到的对应语言的音频内容；
第二切换模块，用于在对所述待播放内容进行单音播放的过程中，当接收到音频音质切换指令时，根据所述音频音质切换指令从所述服务器获取对应音质的音频内容，并播放获取到的对应音质的音频内容。
此外，在单音播放模式下，检测模块301，还用于：
在对所述待播放内容进行单音播放的过程中，检测播放状态，并根据检测结果确定出是否需要切换至音视频同步播放。
具体的，在单音播放模式下，检测模块301，具体用于：
检测是否接收到音视频切换指令，若是，则确定出需要切换至音视频同步播放；或者，
检测播放界面是否取消最小化，若是，则确定出需要切换至音视频同步播放；或者，
检测播放软件是否由后台运行切换至前台运行，若是，则确定出需要切换至音视频同步播放。
在单音播放模式下，处理模块302，还用于：
在确定出需要切换至音视频同步播放的情况下，从所述服务器同时获取所述待播放内容的音频内容和视频内容，并根据获取到的音频内容和视频内容对所述待播放内容进行音视频同步播放。
实施例三
本实施例还提供一种计算机设备，如可以执行程序的智能手机、平板电脑、笔记本电脑、台式计算机、机架式服务器、刀片式服务器、塔式服务器或机柜式服务器(包括独立的服务器，或者多个服务器所组成的服务器集群)等。如图3所示，本实施例的计算机设备40至少包括但不限于：可通过系统总线相互通信连接的存储器401、处理器402。需要指出的是，图4仅示出了具有组件401-402的计算机设备40，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。
本实施例中，存储器401(即可读存储介质)包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，存储器401可以是计算机设备40的内部存储单元，例如该计算机设备40的硬盘或内存。在另一些实施例中，存储器401也可以是计算机设备40的外部存储设备，例如该计算机设备40上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。当然，存储器401还可以既包括计算机设备40的内部存储单元也包括其外部存储设备。在本实施例中，存储器401通常用于存储安装于计算机设备40的操作系统和各类应用软件，例如实施例二的音视频的切换装置的程序代码等。此外，存储器401还可以用于暂时地存储已经输出或者将要输出的各类数据。
处理器402在一些实施例中可以是中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器402通常用于控制计算机设备40的总体操作。
具体的，在本实施例中，处理器402用于执行处理器402中存储的音视频的切换方法的程序，所述音视频的切换方法的程序被执行时实现如下步骤：
在利用DASH对待播放内容进行音视频同步播放的过程中，检测播放状态，并根据检测结果确定出是否需要切换至单音播放；
在确定出需要切换至单音播放的情况下，从服务器仅获取所述待播放内容的音频内容，并根据获取到的音频内容对所述待播放内容进行单音播放。
上述方法步骤的具体实施例过程可参见第一实施例，本实施例在此不再重复赘述。
实施例四
本实施例还提供一种计算机可读存储介质，如闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘、服务器、App应用商城等等，其上存储有计算机程序，所述计算机程序被处理器执行时实现如下方法步骤：
在利用DASH对待播放内容进行音视频同步播放的过程中，检测播放状态，并根据检测结果确定出是否需要切换至单音播放；
在确定出需要切换至单音播放的情况下，从服务器仅获取所述待播放内容的音频内容，并根据获取到的音频内容对所述待播放内容进行单音播放。
上述方法步骤的具体实施例过程可参见第一实施例，本实施例在此不再重复赘述。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种音视频的切换方法，其特征在于，所述方法包括：
在利用DASH对待播放内容进行音视频同步播放的过程中，检测播放状态，并根据检测结果确定出是否需要切换至单音播放；
在确定出需要切换至单音播放的情况下，从服务器仅获取所述待播放内容的音频内容，并根据获取到的音频内容对所述待播放内容进行单音播放。
2.根据权利要求1所述的音视频的切换方法，其特征在于，所述在利用DASH对待播放内容进行音视频同步播放的过程中，检测播放状态，并根据检测结果确定出是否需要切换至单音播放，具体包括：
检测是否接收到单音切换指令，若是，则确定出需要切换至单音播放；或者，
检测播放界面是否最小化，若是，则确定出需要切换至单音播放；或者，
检测播放软件是否切换至后台运行，若是，则确定出需要切换至单音播放。
3.根据权利要求1所述的音视频的切换方法，其特征在于，所述方法还包括：
在对所述待播放内容进行单音播放的过程中，当接收到音频语言切换指令时，根据所述音频语言切换指令从所述服务器获取对应语言的音频内容，并播放获取到的对应语言的音频内容。
4.根据权利要求1所述的音视频的切换方法，其特征在于，所述方法还包括：
在对所述待播放内容进行单音播放的过程中，当接收到音频音质切换指令时，根据所述音频音质切换指令从所述服务器获取对应音质的音频内容，并播放获取到的对应音质的音频内容。
5.根据权利要求1所述的音视频的切换方法，其特征在于，所述方法还包括：
在对所述待播放内容进行单音播放的过程中，检测播放状态，并根据检测结果确定出是否需要切换至音视频同步播放；
在确定出需要切换至音视频同步播放的情况下，从所述服务器同时获取所述待播放内容的音频内容和视频内容，并根据获取到的音频内容和视频内容对所述待播放内容进行音视频同步播放。
6.根据权利要求5所述的音视频的切换方法，其特征在于，所述在对所述待播放内容进行单音播放的过程中，检测播放状态，并根据检测结果确定出是否需要切换至音视频同步播放，具体包括：
检测是否接收到音视频切换指令，若是，则确定出需要切换至音视频同步播放；或者，
检测播放界面是否取消最小化，若是，则确定出需要切换至音视频同步播放；或者，
检测播放软件是否由后台运行切换至前台运行，若是，则确定出需要切换至音视频同步播放。
7.一种音视频的切换装置，其特征在于，所述装置包括：
检测模块，用于在利用DASH对待播放内容进行音视频同步播放的过程中，检测播放状态，并根据检测结果确定出是否需要切换至单音播放；
处理模块，用于在确定出需要切换至单音播放的情况下，从服务器仅获取所述待播放内容的音频内容，并根据获取到的音频内容对所述待播放内容进行单音播放。
8.根据权利要求7所述的音视频的切换装置，其特征在于，所述检测模块，还用于：
在对所述待播放内容进行单音播放的过程中，检测播放状态，并根据检测结果确定出是否需要切换至音视频同步播放；
所述处理模块，还用于：
在确定出需要切换至音视频同步播放的情况下，从所述服务器同时获取所述待播放内容的音频内容和视频内容，并根据获取到的音频内容和视频内容对所述待播放内容进行音视频同步播放。
9.一种计算机设备，所述计算机设备包括：存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6任一项所述方法的步骤。
CN201910092650.6A 2019-01-30 2019-01-30 音视频的切换方法、装置、计算机设备及可读存储介质 Pending CN111510755A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201910092650.6A CN111510755A (zh) 2019-01-30 2019-01-30 音视频的切换方法、装置、计算机设备及可读存储介质
US16/773,788 US10838691B2 (en) 2019-01-30 2020-01-27 Method and apparatus of audio/video switching

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910092650.6A CN111510755A (zh) 2019-01-30 2019-01-30 音视频的切换方法、装置、计算机设备及可读存储介质

Publications (1)

Publication Number Publication Date
CN111510755A true CN111510755A (zh) 2020-08-07

Family

ID=71731268

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910092650.6A Pending CN111510755A (zh) 2019-01-30 2019-01-30 音视频的切换方法、装置、计算机设备及可读存储介质

Country Status (2)

Country Link
US (1) US10838691B2 (zh)
CN (1) CN111510755A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112911364A (zh) * 2021-01-18 2021-06-04 珠海全志科技股份有限公司 音视频播放方法、计算机装置及计算机可读存储介质
CN114125576A (zh) * 2021-11-29 2022-03-01 广州繁星互娱信息科技有限公司 多媒体资源的同步方法和装置、存储介质及电子设备
WO2023165371A1 (zh) * 2022-03-02 2023-09-07 北京字节跳动网络技术有限公司 音频播放方法、装置、电子设备及存储介质

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10477471B2 (en) * 2017-10-27 2019-11-12 Avago Technologies International Sales Pte. Limited Apparatus to save power smartly from bluetooth audio visual remote control protocol notifications
CN112165634B (zh) * 2020-09-29 2022-09-16 北京百度网讯科技有限公司 建立音频分类模型的方法、自动转换视频的方法和装置
CN114257771B (zh) * 2021-12-21 2023-12-01 杭州海康威视数字技术股份有限公司 一种多路音视频的录像回放方法、装置、存储介质和电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103024490A (zh) * 2012-12-26 2013-04-03 北京奇艺世纪科技有限公司 一种支持音频和视频独立播放的方法及设备
CN104967901A (zh) * 2015-06-29 2015-10-07 腾讯科技（北京）有限公司 媒体播放中的音轨切换方法和媒体播放设备
CN105940671A (zh) * 2014-01-29 2016-09-14 谷歌公司 媒体应用后台处理
CN106937167A (zh) * 2017-02-25 2017-07-07 杭州领娱科技有限公司 一种后台音频处理方法及其移动终端
CN109845280A (zh) * 2017-09-29 2019-06-04 腾讯科技（深圳）有限公司 基于流媒体的音视频播放方法及装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9769512B2 (en) * 2012-11-08 2017-09-19 Time Warner Cable Enterprises Llc System and method for delivering media based on viewer behavior
EP3846480A1 (en) * 2015-02-09 2021-07-07 bitmovin GmbH Client, live-streaming server and data stream using an information on a current segment of a sequence of segments
US20170041355A1 (en) * 2015-08-03 2017-02-09 Arris Enterprises Llc Contextual information for audio-only streams in adaptive bitrate streaming
US10659845B2 (en) * 2015-08-06 2020-05-19 Google Llc Methods, systems, and media for providing video content suitable for audio-only playback
US10231001B2 (en) * 2016-05-24 2019-03-12 Divx, Llc Systems and methods for providing audio content during trick-play playback

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103024490A (zh) * 2012-12-26 2013-04-03 北京奇艺世纪科技有限公司 一种支持音频和视频独立播放的方法及设备
CN105940671A (zh) * 2014-01-29 2016-09-14 谷歌公司 媒体应用后台处理
CN104967901A (zh) * 2015-06-29 2015-10-07 腾讯科技（北京）有限公司 媒体播放中的音轨切换方法和媒体播放设备
CN106937167A (zh) * 2017-02-25 2017-07-07 杭州领娱科技有限公司 一种后台音频处理方法及其移动终端
CN109845280A (zh) * 2017-09-29 2019-06-04 腾讯科技（深圳）有限公司 基于流媒体的音视频播放方法及装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112911364A (zh) * 2021-01-18 2021-06-04 珠海全志科技股份有限公司 音视频播放方法、计算机装置及计算机可读存储介质
CN114125576A (zh) * 2021-11-29 2022-03-01 广州繁星互娱信息科技有限公司 多媒体资源的同步方法和装置、存储介质及电子设备
WO2023165371A1 (zh) * 2022-03-02 2023-09-07 北京字节跳动网络技术有限公司 音频播放方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
US10838691B2 (en) 2020-11-17
US20200241835A1 (en) 2020-07-30

Similar Documents

Publication Publication Date Title
CN111510755A (zh) 音视频的切换方法、装置、计算机设备及可读存储介质
US11336953B2 (en) Video processing method, electronic device, and computer-readable medium
US11490173B2 (en) Switch of audio and video
CN109640188B (zh) 视频预览方法、装置、电子设备及计算机可读存储介质
CN109168078B (zh) 一种视频清晰度切换方法及装置
US20170111414A1 (en) Video playing method and device
US7860996B2 (en) Media streaming with seamless ad insertion
CN111556353B (zh) 一种视频播放方法、视频播放管理装置及终端设备
US10271105B2 (en) Method for playing video, client, and computer storage medium
KR101991188B1 (ko) 홍보 정보의 처리방법, 장치, 디바이스 및 비휘발성 컴퓨터 저장매체
CN107333163A (zh) 一种视频处理方法及装置、一种终端及存储介质
CN114040243B (zh) 直播间视频播放方法及装置
WO2020026009A1 (zh) 一种视频对象的推荐方法、装置和设备/终端/服务器
CN113535063A (zh) 直播页面切换方法、视频页面切换方法、电子设备及存储介质
KR20220144857A (ko) 멀티미디어 데이터 퍼블리싱 방법 및 장치, 및 디바이스와 기록 매체
WO2016160240A1 (en) Digital content streaming from digital tv broadcast
CN113873316B (zh) 直播间视频播放方法及装置
US20200099987A1 (en) Systems and methods for displaying a live video stream in a graphical user interface
CN114040245A (zh) 视频播放方法、装置、计算机存储介质和电子设备
CN109922366B (zh) 一种设备参数调整方法、装置、设备及介质
CN114339415B (zh) 客户端视频播放方法、装置、电子设备和可读介质
CN114374869B (zh) 一种全景视频播放方法、装置及计算机存储介质
CN112019858B (zh) 一种视频播放方法、装置、计算机设备和存储介质
CN112423099A (zh) 视频加载方法、装置和电子设备
CN113542764A (zh) 视频快速启播方法、装置、电子设备及计算机可读介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination