CN108882013A - 调整音视频播放速率的方法、装置、电子设备及存储介质 - Google Patents
调整音视频播放速率的方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN108882013A CN108882013A CN201710320621.1A CN201710320621A CN108882013A CN 108882013 A CN108882013 A CN 108882013A CN 201710320621 A CN201710320621 A CN 201710320621A CN 108882013 A CN108882013 A CN 108882013A
- Authority
- CN
- China
- Prior art keywords
- audio
- audio data
- preset
- image
- playing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 44
- 238000005070 sampling Methods 0.000 claims abstract description 127
- 238000012545 processing Methods 0.000 claims description 20
- 230000000694 effects Effects 0.000 description 13
- 238000010586 diagram Methods 0.000 description 5
- 230000009191 jumping Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000006399 behavior Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/439—Processing of audio elementary streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
- H04N21/440281—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the temporal resolution, e.g. by frame skipping
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
本发明公开了一种调整音视频播放速率的方法，包括：接收图像数据和音频数据，并分别存储在图像队列和音频队列中；若所述图像队列中的图像数据的数量超过预设图像数量阈值，将图像帧率提高为图像原始帧率的第一倍数，并按照提高后的图像帧率播放图像；其中，所述第一倍数为所述图像队列中的实际图像数量除以所述预设图像数量阈值；若所述音频队列中的音频数据的时长超过第一预设时长阈值并小于第二预设时长阈值，对音频数据按照预设动态调整规则进行采样并供播放器播放。本发明还公开了一种调整音视频播放速率的装置、电子设备及存储介质。
Description
技术领域
本发明涉及数据处理技术领域，特别是指一种调整音视频播放速率的方法、装置、电子设备及存储介质。
背景技术
在音视频流媒体网络实时传输和播放过程中，经常会因为网络波动造成播放延迟。发生网络波动时，往往都是播放端的流媒体数据没有按时接收到，然后又在短时间内接收到了大量的流媒体数据。此时对于播放器的处理，如果丢弃过时的数据，直接播放最新的数据，会让使用者感到明显的图像和音频的跳跃和不连续；如果不丢弃过时的数据，继续按照循序播放，会造成音视频播放的延迟。
发明内容
有鉴于此，本发明的目的在于提出一种调整音视频播放速率的方法、装置、电子设备及存储介质，能够减小音视频播放延迟导致的不连续问题。
基于上述目的本发明提供的调整音视频播放速率的方法，包括：
接收图像数据和音频数据，并分别存储在图像队列和音频队列中；
若所述图像队列中的图像数据的数量超过预设图像数量阈值，将图像帧率提高为图像原始帧率的第一倍数，并按照提高后的图像帧率播放图像；其中，所述第一倍数为所述图像队列中的实际图像数量除以所述预设图像数量阈值；
若所述音频队列中的音频数据的时长超过第一预设时长阈值并小于第二预设时长阈值，对音频数据按照预设动态调整规则进行采样并供播放器播放。
在一些可选实施方式中，所述方法还包括：
若所述音频队列中的音频数据的时长超过第二预设时长阈值，则对超过第二预设时长阈值且时间点在先的部分的音频数据进行丢弃，将音频数据采样率减小为音频数据原始采样率的第二倍数，按照减小后的音频数据采样率对所述第二预设时长阈值以内的音频数据进行采样并供播放器播放；其中，所述第二倍数为所述第二预设时长阈值除以所述音频队列中的实际音频时长。
在一些可选实施方式中，所述方法还包括：
若所述音频队列中的音频数据的时长超过第二预设时长阈值，则将音频数据采样率减小为音频数据原始采样率的第二倍数，按照减小后的音频数据采样率对所述音频队列中的音频数据进行采样并供播放器播放；其中，所述第二倍数为所述第二预设时长阈值除以所述音频队列中的实际音频时长。
在一些可选实施方式中，所述对音频数据按照预设动态调整规则进行采样并供播放器播放的步骤包括：
若所述音频队列中的音频数据的时长超过第一预设时长阈值并小于第三预设时长阈值，对音频数据按照第一预设音频采样率进行采样并供播放器播放；
若所述音频队列中的音频数据的时长超过第三预设时长阈值并小于第四预设时长阈值，对音频数据按照第二预设音频采样率进行采样并供播放器播放；
若所述音频队列中的音频数据的时长超过第四预设时长阈值并小于第二预设时长阈值，对音频数据按照第三预设音频采样率进行采样并供播放器播放。
本发明实施例的第二个方面，提供了一种调整音视频播放速率的装置，包括：
接收模块，用于接收图像数据和音频数据，并分别存储在图像队列和音频队列中；
图像处理模块，若所述图像队列中的图像数据的数量超过预设图像数量阈值，用于将图像帧率提高为图像原始帧率的第一倍数，并按照提高后的图像帧率播放图像；其中，所述第一倍数为所述图像队列中的实际图像数量除以所述预设图像数量阈值；
音频处理模块，若所述音频队列中的音频数据的时长超过第一预设时长阈值并小于第二预设时长阈值，用于对音频数据按照预设动态调整规则进行采样并供播放器播放。
在一些可选实施方式中，若所述音频队列中的音频数据的时长超过第二预设时长阈值，所述音频处理模块，具体用于：
对超过第二预设时长阈值且时间点在先的部分的音频数据进行丢弃，将音频数据采样率减小为音频数据原始采样率的第二倍数，按照减小后的音频数据采样率对所述第二预设时长阈值以内的音频数据进行采样并供播放器播放；其中，所述第二倍数为所述第二预设时长阈值除以所述音频队列中的实际音频时长。
在一些可选实施方式中，若所述音频队列中的音频数据的时长超过第二预设时长阈值，所述音频处理模块，具体用于：
将音频数据采样率减小为音频数据原始采样率的第二倍数，按照减小后的音频数据采样率对所述音频队列中的音频数据进行采样并供播放器播放；其中，所述第二倍数为所述第二预设时长阈值除以所述音频队列中的实际音频时长。
在一些可选实施方式中，所述音频处理模块，具体用于：
若所述音频队列中的音频数据的时长超过第一预设时长阈值并小于第三预设时长阈值，对音频数据按照第一预设音频采样率进行采样并供播放器播放；
若所述音频队列中的音频数据的时长超过第三预设时长阈值并小于第四预设时长阈值，对音频数据按照第二预设音频采样率进行采样并供播放器播放；
若所述音频队列中的音频数据的时长超过第四预设时长阈值并小于第二预设时长阈值，对音频数据按照第三预设音频采样率进行采样并供播放器播放。
本发明实施例的第三个方面，提供了一种电子设备，包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上任意一项所述的方法。
本发明实施例的第四个方面，提供了一种非易失性计算机可读存储介质，其特征在于，所述非易失性计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行如上任意一项所述的方法。
从上面所述可以看出，本发明提供的调整音视频播放速率的方法、装置、电子设备及存储介质，通过调整帧率来控制图像播放速率并基于动态调整规则修改采样率来达到控制音频播放速率的方法，通过对图像和音频的加速播放，可以达到既让使用者体会不到跳跃和不连续，同时又能减少播放延迟的目的。
附图说明
图1为本发明提供的调整音视频播放速率的方法的一个实施例的流程示意图；
图2为本发明提供的调整音视频播放速率的装置的一个实施例的模块结构示意图；
图3为本发明提供的调整音视频播放速率的电子设备的一个实施例的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。
需要说明的是，本发明实施例中所有使用“第一”和“第二”的表述均是为了区分两个相同名称非相同的实体或者非相同的参量，可见“第一”“第二”仅为了表述的方便，不应理解为对本发明实施例的限定，后续实施例对此不再一一说明。
基于上述目的，本发明实施例的第一个方面，提供了一种调整音视频播放速率的方法，通过动态调整音频采样率来达到控制音频播放速率的方法，可以达到既让使用者体会不到跳跃和不连续，同时又能减少播放延迟的效果。如图1所示，为本发明提供的调整音视频播放速率的方法的一个实施例的流程示意图。
所述调整音视频播放速率的方法，包括以下步骤：
步骤101：接收图像数据和音频数据，并分别存储在图像队列和音频队列中。可选的，音频数据暂存于脉冲编码调制(PCM)队列中，所述PCM队列可以自定义排序。
步骤102：若所述图像队列中的图像数据的数量超过预设图像数量阈值，将图像帧率提高为图像原始帧率的第一倍数，并按照提高后的图像帧率播放图像；其中，所述第一倍数为所述图像队列中的实际图像数量除以所述预设图像数量阈值。这里，接收图像数据可以是按照一定时间间隔来接收的，所述时间间隔可以是任意选择的，例如以0.5秒为时间间隔接收图像数据，并将这0.5秒内接收到的图像数据首先暂时存储在图像队列中，当开始下一个0.5秒的数据接收时，对前一个0.5秒接收到的数据(即图像队列和音频队列中存储的数据)进行如步骤102所述的方式来进行处理，从而保证视频播放的连贯性。这里，所述预设图像数量阈值可以根据接收数据的时间间隔来设定，例如，正常情况下0.5秒内接收的图像数据的数量应该是N帧，则可将预设图像数量阈值设置为N。
步骤103：若所述音频队列中的音频数据的时长超过第一预设时长阈值并小于第二预设时长阈值，对音频数据按照预设动态调整规则进行采样并供播放器播放。通常情况下，音频播放的速度是固定的，这个受限于音频播放器的采样率(音频采样率是指一秒钟内对声音信号的采样次数，采样频率越高声音的还原就越真实越自然)。所述音频队列中的音频数据的时长超过第一预设时长阈值时，说明音频队列中的音频数据较多，不能以正常速率播放，需要变更采样频率，而在超过第二预设时长阈值时，由于音频数据过多，若强行变更采样频率以保证所有音频数据都能播放，则会影响音频的效果。
从上述实施例中可以看出，本发明提供的调整音视频播放速率的方法，通过调整帧率来控制图像播放速率并基于动态调整规则修改采样率来达到控制音频播放速率的方法，通过对图像和音频的加速播放，可以达到既让使用者体会不到跳跃和不连续，同时又能减少播放延迟的目的。
在一些可选实施方式中，所述调整音视频播放速率的方法，还可包括以下步骤：
若所述音频队列中的音频数据的时长超过第二预设时长阈值，则对超过第二预设时长阈值且时间点在先的部分的音频数据进行丢弃，将音频数据采样率减小为音频数据原始采样率的第二倍数，按照减小后的音频数据采样率对所述第二预设时长阈值以内的音频数据进行采样并供播放器播放；其中，所述第二倍数为所述第二预设时长阈值除以所述音频队列中的实际音频时长。
通过上述实施例，一方面保证了音频数据的正常播放，另一方面避免了对于过多音频数据的强行变更采样频率从而导致播放出来的音频的效果较差的问题。
在一些可选实施方式中，所述调整音视频播放速率的方法，还可包括以下步骤：
若所述音频队列中的音频数据的时长超过第二预设时长阈值，则将音频数据采样率减小为音频数据原始采样率的第二倍数，按照减小后的音频数据采样率对所述音频队列中的音频数据进行采样并供播放器播放；其中，所述第二倍数为所述第二预设时长阈值除以所述音频队列中的实际音频时长；从而在某些不能够丢弃音频数据的情况下，使得音频采样频率根据当前延迟的多少来进行动态调整。
正常播放的情况下，音频播放器的采样频率设置为44.1KHz，同时音频数据解码后也转换为44.1KHz的播放频率送到播放器进行播放，此时每秒钟播放44.1K个音频数据采样。如果需要加速音频播放的速度，那么就将音频数据解码后转为较低的采样频率(例如40KHz)送到播放器进行播放，这样原始音频数据为每秒钟40K个音频数据采样；但是播放器每秒钟按照原播放频率播放44.1K个音频数据采样；这样，在实际播放中，原始音频1秒钟的数据，播放器就在40K/44.1K＝0.9秒内播放完毕了，以此来到达加速播放的效果。因为流媒体数据进行了加速播放，使用者会体会到图像中画面动作加速，同时音频变快、音调变细了。为了最小化这种不良效果，当加速播放的速度保持在10％以内，既可以进行加速播放，同时用户基本上体会不到加速的感觉。基于此，在一些可选实施方式中，所述对音频数据按照预设动态调整规则进行采样并供播放器播放的步骤还可具体包括以下步骤：
若所述音频队列中的音频数据的时长超过第一预设时长阈值并小于第三预设时长阈值，对音频数据按照第一预设音频采样率进行采样并供播放器播放；例如，原始的音频采样率为44.1kHz，播放器播放采样率设置为44.1kHz；假设所述第一预设时长阈值为0.4秒，所述第三预设时长阈值0.9秒，则当队列中积压了0.5秒的数据，选用原播放速率的102％倍进行播放，即将音频数据的采样率修改为44.1kHz/102％＝43.24kHz，所述第一预设音频采样率则可选为43.24kHz；
若所述音频队列中的音频数据的时长超过第三预设时长阈值并小于第四预设时长阈值，对音频数据按照第二预设音频采样率进行采样并供播放器播放；假设所述第三预设时长阈值0.9秒，所述第四预设时长阈值为1.4秒，则当队列中积压了1秒的数据，选用原播放速率的105％进行播放，则将音频数据的采样率修改为44.1kHz/105％＝42kHz，所述第二预设音频采样率则可选为42kHz；
若所述音频队列中的音频数据的时长超过第四预设时长阈值并小于第二预设时长阈值，对音频数据按照第三预设音频采样率进行采样并供播放器播放；假设所述第四预设时长阈值为1.4秒，所述第二预设时长阈值2秒，则当队列中积压了1.5秒的数据，选用原播放速率的110％进行播放，则将音频数据的采样率修改为44.1kHz/110％＝40.09kHz，所述第三预设音频采样率则可选为40.09kHz。
通过上述实施例，使得音频播放速率的调整更加平稳，且调整后的音频在播放出来后能够不失真，保证音频的播放效果。
基于上述目的，本发明实施例的第二个方面，提供了一种调整音视频播放速率的装置，通过动态调整音频采样率来达到控制音频播放速率的方法，可以达到既让使用者体会不到跳跃和不连续，同时又能减少播放延迟的效果。如图2所示，为本发明提供的调整音视频播放速率的装置的一个实施例的流程示意图。
所述调整音视频播放速率的装置，包括：
接收模块201，用于接收图像数据和音频数据，并分别存储在图像队列和音频队列中；
图像处理模块202，若所述图像队列中的图像数据的数量超过预设图像数量阈值，用于将图像帧率提高为图像原始帧率的第一倍数，并按照提高后的图像帧率播放图像；其中，所述第一倍数为所述图像队列中的实际图像数量除以所述预设图像数量阈值；
音频处理模块203，若所述音频队列中的音频数据的时长超过第一预设时长阈值并小于第二预设时长阈值，用于对音频数据按照预设动态调整规则进行采样并供播放器播放。
从上述实施例中可以看出，本发明提供的调整音视频播放速率的装置，通过调整帧率来控制图像播放速率并基于动态调整规则修改采样率来达到控制音频播放速率的方法，通过对图像和音频的加速播放，可以达到既让使用者体会不到跳跃和不连续，同时又能减少播放延迟的目的。
在一些可选实施方式中，若所述音频队列中的音频数据的时长超过第二预设时长阈值，所述音频处理模块203，具体用于：
对超过第二预设时长阈值且时间点在先的部分的音频数据进行丢弃，将音频数据采样率减小为音频数据原始采样率的第二倍数，按照减小后的音频数据采样率对所述第二预设时长阈值以内的音频数据进行采样并供播放器播放；其中，所述第二倍数为所述第二预设时长阈值除以所述音频队列中的实际音频时长。
通过上述实施例，一方面保证了音频数据的正常播放，另一方面避免了对于过多音频数据的强行变更采样频率从而导致播放出来的音频的效果较差的问题。
在一些可选实施方式中，若所述音频队列中的音频数据的时长超过第二预设时长阈值，所述音频处理模块203，具体用于：
将音频数据采样率减小为音频数据原始采样率的第二倍数，按照减小后的音频数据采样率对所述音频队列中的音频数据进行采样并供播放器播放；其中，所述第二倍数为所述第二预设时长阈值除以所述音频队列中的实际音频时长；从而在某些不能够丢弃音频数据的情况下，使得音频采样频率根据当前延迟的多少来进行动态调整。
正常播放的情况下，音频播放器的采样频率设置为44.1KHz，同时音频数据解码后也转换为44.1KHz的播放频率送到播放器进行播放，此时每秒钟播放44.1K个音频数据采样。如果需要加速音频播放的速度，那么就将音频数据解码后转为较低的采样频率(例如40KHz)送到播放器进行播放，这样原始音频数据为每秒钟40K个音频数据采样；但是播放器每秒钟按照原播放频率播放44.1K个音频数据采样；这样，在实际播放中，原始音频1秒钟的数据，播放器就在40K/44.1K＝0.9秒内播放完毕了，以此来到达加速播放的效果。因为流媒体数据进行了加速播放，使用者会体会到图像中画面动作加速，同时音频变快、音调变细了。为了最小化这种不良效果，当加速播放的速度保持在10％以内，既可以进行加速播放，同时用户基本上体会不到加速的感觉。基于此，在一些可选实施方式中，所述音频处理模块203，具体用于：
若所述音频队列中的音频数据的时长超过第一预设时长阈值并小于第三预设时长阈值，对音频数据按照第一预设音频采样率进行采样并供播放器播放；例如，原始的音频采样率为44.1kHz，播放器播放采样率设置为44.1kHz；假设所述第一预设时长阈值为0.4秒，所述第三预设时长阈值0.9秒，则当队列中积压了0.5秒的数据，选用原播放速率的102％倍进行播放，即将音频数据的采样率修改为44.1kHz/102％＝43.24kHz，所述第一预设音频采样率则可选为43.24kHz；
若所述音频队列中的音频数据的时长超过第三预设时长阈值并小于第四预设时长阈值，对音频数据按照第二预设音频采样率进行采样并供播放器播放；假设所述第三预设时长阈值0.9秒，所述第四预设时长阈值为1.4秒，则当队列中积压了1秒的数据，选用原播放速率的105％进行播放，则将音频数据的采样率修改为44.1kHz/105％＝42kHz，所述第二预设音频采样率则可选为42kHz；
若所述音频队列中的音频数据的时长超过第四预设时长阈值并小于第二预设时长阈值，对音频数据按照第三预设音频采样率进行采样并供播放器播放；假设所述第四预设时长阈值为1.4秒，所述第二预设时长阈值2秒，则当队列中积压了1.5秒的数据，选用原播放速率的110％进行播放，则将音频数据的采样率修改为44.1kHz/110％＝40.09kHz，所述第三预设音频采样率则可选为40.09kHz。
通过上述实施例，使得音频播放速率的调整更加平稳，且调整后的音频在播放出来后能够不失真，保证音频的播放效果。
基于上述目的，本发明实施例的第三个方面，提出了一种执行所述调整音视频播放速率的方法的装置的一个实施例。如图3所示，为本发明提供的执行所述调整音视频播放速率的方法的装置的一个实施例的硬件结构示意图。
如图3所示，所述装置包括：
一个或多个处理器301以及存储器302，图3中以一个处理器301为例。
所述执行所述调整音视频播放速率的方法的装置还可以包括：输入装置303和输出装置304。
处理器301、存储器302、输入装置303和输出装置304可以通过总线或者其他方式连接，图3中以通过总线连接为例。
存储器302作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，如本申请实施例中的所述调整音视频播放速率的方法对应的程序指令/模块(例如，附图2所示的接收模块201、图像处理模块202和音频处理模块203)。处理器301通过运行存储在存储器302中的非易失性软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例的调整音视频播放速率的方法。
存储器302可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据调整音视频播放速率的装置的使用所创建的数据等。此外，存储器302可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，存储器302可选包括相对于处理器301远程设置的存储器，这些远程存储器可以通过网络连接至会员用户行为监控装置。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置303可接收输入的数字或字符信息，以及产生与调整音视频播放速率的装置的用户设置以及功能控制有关的键信号输入。输出装置304可包括显示屏等显示设备。
所述一个或者多个模块存储在所述存储器302中，当被所述一个或者多个处理器301执行时，执行上述任意方法实施例中的调整音视频播放速率的方法。所述执行所述调整音视频播放速率的方法的装置的实施例，其技术效果与前述任意方法实施例相同或者类似。
本申请实施例提供了一种非暂态计算机存储介质，所述计算机存储介质存储有计算机可执行指令，该计算机可执行指令可执行上述任意方法实施例中的列表项操作的处理方法。所述非暂态计算机存储介质的实施例，其技术效果与前述任意方法实施例相同或者类似。
最后需要说明的是，本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random Access Memory，RAM)等。所述计算机程序的实施例，其技术效果与前述任意方法实施例相同或者类似。
所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本公开的范围(包括权利要求)被限于这些例子；在本发明的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本发明的不同方面的许多其它变化，为了简明它们没有在细节中提供。
另外，为简化说明和讨论，并且为了不会使本发明难以理解，在所提供的附图中可以示出或可以不示出与集成电路(IC)芯片和其它部件的公知的电源/接地连接。此外，可以以框图的形式示出装置，以便避免使本发明难以理解，并且这也考虑了以下事实，即关于这些框图装置的实施方式的细节是高度取决于将要实施本发明的平台的(即，这些细节应当完全处于本领域技术人员的理解范围内)。在阐述了具体细节(例如，电路)以描述本发明的示例性实施例的情况下，对本领域技术人员来说显而易见的是，可以在没有这些具体细节的情况下或者这些具体细节有变化的情况下实施本发明。因此，这些描述应被认为是说明性的而不是限制性的。
尽管已经结合了本发明的具体实施例对本发明进行了描述，但是根据前面的描述，这些实施例的很多替换、修改和变型对本领域普通技术人员来说将是显而易见的。例如，其它存储器架构(例如，动态RAM(DRAM))可以使用所讨论的实施例。
本发明的实施例旨在涵盖落入所附权利要求的宽泛范围之内的所有这样的替换、修改和变型。因此，凡在本发明的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种调整音视频播放速率的方法，其特征在于，包括：
接收图像数据和音频数据，并分别存储在图像队列和音频队列中；
若所述图像队列中的图像数据的数量超过预设图像数量阈值，将图像帧率提高为图像原始帧率的第一倍数，并按照提高后的图像帧率播放图像；其中，所述第一倍数为所述图像队列中的实际图像数量除以所述预设图像数量阈值；
若所述音频队列中的音频数据的时长超过第一预设时长阈值并小于第二预设时长阈值，对音频数据按照预设动态调整规则进行采样并供播放器播放。
2.根据权利要求1所述的方法，其特征在于，还包括：
若所述音频队列中的音频数据的时长超过第二预设时长阈值，则对超过第二预设时长阈值且时间点在先的部分的音频数据进行丢弃，将音频数据采样率减小为音频数据原始采样率的第二倍数，按照减小后的音频数据采样率对所述第二预设时长阈值以内的音频数据进行采样并供播放器播放；其中，所述第二倍数为所述第二预设时长阈值除以所述音频队列中的实际音频时长。
3.根据权利要求1所述的方法，其特征在于，还包括：
若所述音频队列中的音频数据的时长超过第二预设时长阈值，则将音频数据采样率减小为音频数据原始采样率的第二倍数，按照减小后的音频数据采样率对所述音频队列中的音频数据进行采样并供播放器播放；其中，所述第二倍数为所述第二预设时长阈值除以所述音频队列中的实际音频时长。
4.根据权利要求1所述的方法，其特征在于，所述对音频数据按照预设动态调整规则进行采样并供播放器播放的步骤包括：
若所述音频队列中的音频数据的时长超过第一预设时长阈值并小于第三预设时长阈值，对音频数据按照第一预设音频采样率进行采样并供播放器播放；
若所述音频队列中的音频数据的时长超过第三预设时长阈值并小于第四预设时长阈值，对音频数据按照第二预设音频采样率进行采样并供播放器播放；
若所述音频队列中的音频数据的时长超过第四预设时长阈值并小于第二预设时长阈值，对音频数据按照第三预设音频采样率进行采样并供播放器播放。
5.一种调整音视频播放速率的装置，其特征在于，包括：
接收模块，用于接收图像数据和音频数据，并分别存储在图像队列和音频队列中；
图像处理模块，若所述图像队列中的图像数据的数量超过预设图像数量阈值，用于将图像帧率提高为图像原始帧率的第一倍数，并按照提高后的图像帧率播放图像；其中，所述第一倍数为所述图像队列中的实际图像数量除以所述预设图像数量阈值；
音频处理模块，若所述音频队列中的音频数据的时长超过第一预设时长阈值并小于第二预设时长阈值，用于对音频数据按照预设动态调整规则进行采样并供播放器播放。
6.根据权利要求5所述的装置，其特征在于，若所述音频队列中的音频数据的时长超过第二预设时长阈值，所述音频处理模块，具体用于：
对超过第二预设时长阈值且时间点在先的部分的音频数据进行丢弃，将音频数据采样率减小为音频数据原始采样率的第二倍数，按照减小后的音频数据采样率对所述第二预设时长阈值以内的音频数据进行采样并供播放器播放；其中，所述第二倍数为所述第二预设时长阈值除以所述音频队列中的实际音频时长。
7.根据权利要求5所述的装置，其特征在于，若所述音频队列中的音频数据的时长超过第二预设时长阈值，所述音频处理模块，具体用于：
将音频数据采样率减小为音频数据原始采样率的第二倍数，按照减小后的音频数据采样率对所述音频队列中的音频数据进行采样并供播放器播放；其中，所述第二倍数为所述第二预设时长阈值除以所述音频队列中的实际音频时长。
8.根据权利要求5所述的装置，其特征在于，所述音频处理模块，具体用于：
若所述音频队列中的音频数据的时长超过第一预设时长阈值并小于第三预设时长阈值，对音频数据按照第一预设音频采样率进行采样并供播放器播放；
若所述音频队列中的音频数据的时长超过第三预设时长阈值并小于第四预设时长阈值，对音频数据按照第二预设音频采样率进行采样并供播放器播放；
若所述音频队列中的音频数据的时长超过第四预设时长阈值并小于第二预设时长阈值，对音频数据按照第三预设音频采样率进行采样并供播放器播放。
9.一种电子设备，其特征在于，包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1-4任意一项所述的方法。
10.一种非易失性计算机可读存储介质，其特征在于，所述非易失性计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行如权利要求1-4任意一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710320621.1A CN108882013A (zh) | 2017-05-09 | 2017-05-09 | 调整音视频播放速率的方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710320621.1A CN108882013A (zh) | 2017-05-09 | 2017-05-09 | 调整音视频播放速率的方法、装置、电子设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN108882013A true CN108882013A (zh) | 2018-11-23 |
Family
ID=64287019
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710320621.1A Pending CN108882013A (zh) | 2017-05-09 | 2017-05-09 | 调整音视频播放速率的方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108882013A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110505613A (zh) * | 2019-08-19 | 2019-11-26 | 惠州Tcl移动通信有限公司 | 音频数据处理方法、计算机可读存储介质以及计算机设备 |
| CN111372138A (zh) * | 2018-12-26 | 2020-07-03 | 杭州登虹科技有限公司 | 一种播放器端的直播低延迟技术方案 |
| CN112511885A (zh) * | 2020-11-20 | 2021-03-16 | 深圳乐播科技有限公司 | 音视频同步方法、装置及存储介质 |
| CN112929702A (zh) * | 2021-04-01 | 2021-06-08 | 北京百家视联科技有限公司 | 一种数据流发送方法、装置、电子设备和存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101409808A (zh) * | 2008-10-15 | 2009-04-15 | 北京创毅视讯科技有限公司 | 一种音频重采样方法、装置及一种数字电视芯片 |
| CN101552909A (zh) * | 2009-04-28 | 2009-10-07 | 山东大学 | 基于无线视频监控的帧率控制方法 |
| US20110116773A1 (en) * | 2009-11-18 | 2011-05-19 | Stmicroelectronics (Grenoble 2) Sas | Method and device for controlling playing speed of a compressed digital video sequence (trickmode) |
| CN104113777A (zh) * | 2014-08-01 | 2014-10-22 | 广州金山网络科技有限公司 | 一种音频流解码方法及装置 |
| CN104363411A (zh) * | 2014-10-20 | 2015-02-18 | 福建星网锐捷安防科技有限公司 | 一种视频监控系统中的视频播放方法及装置 |
| CN104735485A (zh) * | 2015-03-05 | 2015-06-24 | 上海小蚁科技有限公司 | 一种播放视频的方法及装置 |
-
2017
- 2017-05-09 CN CN201710320621.1A patent/CN108882013A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101409808A (zh) * | 2008-10-15 | 2009-04-15 | 北京创毅视讯科技有限公司 | 一种音频重采样方法、装置及一种数字电视芯片 |
| CN101552909A (zh) * | 2009-04-28 | 2009-10-07 | 山东大学 | 基于无线视频监控的帧率控制方法 |
| US20110116773A1 (en) * | 2009-11-18 | 2011-05-19 | Stmicroelectronics (Grenoble 2) Sas | Method and device for controlling playing speed of a compressed digital video sequence (trickmode) |
| CN104113777A (zh) * | 2014-08-01 | 2014-10-22 | 广州金山网络科技有限公司 | 一种音频流解码方法及装置 |
| CN104363411A (zh) * | 2014-10-20 | 2015-02-18 | 福建星网锐捷安防科技有限公司 | 一种视频监控系统中的视频播放方法及装置 |
| CN104735485A (zh) * | 2015-03-05 | 2015-06-24 | 上海小蚁科技有限公司 | 一种播放视频的方法及装置 |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111372138A (zh) * | 2018-12-26 | 2020-07-03 | 杭州登虹科技有限公司 | 一种播放器端的直播低延迟技术方案 |
| CN110505613A (zh) * | 2019-08-19 | 2019-11-26 | 惠州Tcl移动通信有限公司 | 音频数据处理方法、计算机可读存储介质以及计算机设备 |
| CN110505613B (zh) * | 2019-08-19 | 2022-11-04 | 惠州Tcl移动通信有限公司 | 音频数据处理方法、计算机可读存储介质以及计算机设备 |
| CN112511885A (zh) * | 2020-11-20 | 2021-03-16 | 深圳乐播科技有限公司 | 音视频同步方法、装置及存储介质 |
| CN112929702A (zh) * | 2021-04-01 | 2021-06-08 | 北京百家视联科技有限公司 | 一种数据流发送方法、装置、电子设备和存储介质 |
| CN112929702B (zh) * | 2021-04-01 | 2021-08-24 | 北京百家视联科技有限公司 | 一种数据流发送方法、装置、电子设备和存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108882013A (zh) | 调整音视频播放速率的方法、装置、电子设备及存储介质 | |
| US20190341078A1 (en) | Gapless video looping | |
| US20170171278A1 (en) | Method and electronic device for continuously playing video | |
| WO2021012665A1 (zh) | 一种交互式音视频播放的方法及装置 | |
| US8244897B2 (en) | Content reproduction apparatus, content reproduction method, and program | |
| EP3550848A1 (en) | Remote cloud-based video production system in an environment where there is network delay | |
| CN104125482B (zh) | 一种流媒体播放方法及装置 | |
| US20110205427A1 (en) | Method and apparatus for controlling video-audio data playing | |
| CN103327410B (zh) | 移动终端浏览器中视频的播放方法、系统和移动终端 | |
| CN105072480B (zh) | 一种视频直播方法及装置 | |
| CN110022498B (zh) | 一种实现码率切换的方法及装置 | |
| US10326704B2 (en) | Enabling continuous content playback | |
| CN105025344A (zh) | 一种插播方法及装置 | |
| CN105744299A (zh) | 动态码率切换方法、服务器及系统 | |
| CN104464743B (zh) | 一种在语音聊天室中播放背景音乐的方法及移动终端 | |
| US20150268808A1 (en) | Method, Device and System for Multi-Speed Playing | |
| US9287997B2 (en) | Removing network delay in a live broadcast | |
| CN102694823A (zh) | 一种实现分段节目播放控制的方法、服务器及客户端 | |
| CN106331847B (zh) | 音视频播放方法及设备 | |
| CN105744371A (zh) | 流媒体数据的播放方法及装置 | |
| WO2017071428A1 (zh) | 快进快退的处理方法及终端 | |
| US11589119B2 (en) | Pseudo seamless switching method, device and media for web playing different video sources | |
| CN111064698B (zh) | 一种多媒体流数据的播放方法和装置 | |
| KR20200018493A (ko) | 데이터를 스트리밍하기 위한 방법들 및 장치들 | |
| CN114416013A (zh) | 数据发送方法、装置、电子设备及计算机可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20181123 |