CN105208426A - 一种音视频同步变速的方法及系统 - Google Patents
一种音视频同步变速的方法及系统 Download PDFInfo
- Publication number
- CN105208426A CN105208426A CN201510616429.8A CN201510616429A CN105208426A CN 105208426 A CN105208426 A CN 105208426A CN 201510616429 A CN201510616429 A CN 201510616429A CN 105208426 A CN105208426 A CN 105208426A
- Authority
- CN
- China
- Prior art keywords
- speed
- audio
- variation
- speed change
- audio frequency
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
- H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/85—Assembly of content; Generation of multimedia applications
- H04N21/854—Content authoring
- H04N21/8547—Content authoring involving timestamps for synchronizing content
Abstract
本发明提供一种音视频同步变速的方法及系统，方法包括：读取第一音频缓存区中的待变速音频，提取所述待变速音频的音频参数；获取变速系数，据以评估所述待变速音频根据所述变速系数变速后的音频质量；当所述音频质量未达到预定要求标准，则对所述待变速音频进行异常处理；当所述音频质量达到预定要求标准，则根据所述变速系数对所述待变速音频进行变速不变调处理，随后与以所述变速系数变速后的相应视频进行同步。本发明实现了音视频文件变速播放时，音频、视频能够同步变速，并且音频的音调、音色保持不变，保证了音视频文件变速后的播放品质。
Description
技术领域
本发明涉及媒体变速播放领域，特别涉及一种音视频同步变速的方法及系统。
背景技术
在诸多应用场合中，音视频文件的播放速率需要调节成以0.5X、0.6X、0.8X等倍速的慢速播放，或以1.2X、1.5X、2.0X等倍速的快速播放。一个音视频文件经过解复用后，可分离出音频、视频或字幕等信息文件。当音视频文件变速播放时，由于音频的特殊性，不能对音频采取简单的插值和抽点操作，否则会直接导致声音的畸变。
目前，对音频的常用处理方式有：音频不做处理、音频变频处理或将音频当作异常进行处理。前两种方式会导致音频走音变调，后一种处理方式直接不输出音频数据。可见，这些处理方式严重影响了用户的视听体验，给用户观看音视频文件带来了很大不便。
发明内容
鉴于以上所述现有技术的缺点，本发明的目的在于提供一种音视频同步变速的方法及系统，用于解决现有技术中音视频文件变速播放时，由于音频不能高质量地变速，从而导致变速后的音视频文件可观性差的问题。
为实现上述目的及其他相关目的，本发明提供一种音视频同步变速的方法，包括：读取第一音频缓存区中的待变速音频，提取所述待变速音频的音频参数。获取变速系数，评估所述待变速音频根据所述变速系数变速后的音频质量。当所述音频质量未达到预定要求标准，则对所述待变速音频进行异常处理。当所述音频质量达到预定要求标准，则根据所述变速系数对所述待变速音频进行变速不变调处理，随后与以所述变速系数变速后的相应视频进行同步。
可选的，评估变速后的音频质量为：根据音频参数及权重函数确定评分机制，计算所述变速系数在所述评分机制中的评分。
可选的，所述异常处理至少包括：提示报错、音频静音或将所述变速系数变为最大或最小预设变速系数。
可选的，所述变速不变调处理为：通过傅里叶变换算法将所述待变速音频输出为依所述变速系数变速的且音调及音色不变的音频，存储到第二音频缓存区中。
可选的，所述变速系数与外部运动机构的运动参数相关联，音视频速度的变化控制所述外部运动机构的运动速度相应变化；所述外部运动机构的运动速度变化还可以控制音视频速度的变化。
为实现上述目的及其他相关目的，本发明提供一种音视频同步变速的系统，包括：音频读取模块，用于读取第一音频缓存区中的待变速音频，提取所述待变速音频的音频参数。音频评估模块，用于获取变速系数，据以评估所述待变速音频根据所述变速系数变速后的音频质量。音频变速模块，用于当所述音频质量未达到预定要求标准，则对所述待变速音频进行异常处理，当所述音频质量达到预定要求标准，则根据所述变速系数对所述待变速音频进行变速不变调处理。音视频同步模块，用于将与以所述变速系数变速后的相应视频与变速后的所述待变速音频进行同步。
可选的，评估变速后的音频质量为：根据音频参数及权重函数确定评分机制，计算所述变速系数在所述评分机制中的评分。
可选的，所述异常处理至少包括：提示报错、音频静音或将所述变速系数变为最大或最小预设变速系数。
可选的，所述变速不变调处理为：通过傅里叶变换算法将所述待变速音频输出为依所述变速系数变速的且音调及音色不变的音频，存储到第二音频缓存区中。
可选的，所述变速系数与外部运动机构的运动参数相关联，音视频速度的变化控制所述外部运动机构的运动速度相应变化；所述外部运动机构的运动速度变化还可以控制音视频速度的变化。
如上所述，本发明的音视频同步变速方法及系统，使得音视频文件变速播放时，音频能够高质量地变速且音调及音色不变，并与视频同步播放，保证了音视频文件变速后的播放品质，提高用户体验。
附图说明
图1显示为本发明一实施例的音视频同步变速的方法流程图；
图2显示为本发明一实施例的音频质量评分机制示意图；
图3显示为本发明一实施例的将变速后的音频与视频同步的方法流程图；
图4显示为本发明一实施例的音视频同步变速的系统模块图。
元件标号说明
1音视频同步变速系统
11音频读取模块
12音频评估模块
13音频变速模块
14音视频同步模块
S1～S6步骤
S51～S54步骤
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
请参阅图1，本发明提供一种音视频同步变速的方法，包括如下步骤：
步骤S1：读取第一音频缓存区中的待变速音频，提取所述待变速音频的音频参数。音频参数包括但不限于：采样率、采样精度、通道数及比特率等。
需要说明的是，待变速音频的获取是从接收的音视频数据中通过解复用后分离得到的。分离出的视频、音频分别进行变速操作后再通过同步算法整合到一起，生成最终变速后的音视频进行播放。
步骤S2：获取变速系数，评估待变速音频根据变速系数变速后的音频质量，也就是评估待变速音频是否适合按照变速系数来变速。变速包括加速、减速，也就是说，变速系数可以是0.5X或0.8X等，也可以是1.5X或3X等。
优选的，评估变速后的音频质量为：根据音频参数及权重函数确定评分机制，计算所述变速系数在所述评分机制中的评分。具体为：
1)选定几种重要的音频参数；
2)选取合适的权重函数，该权重函数确定了各音频参数的权重；
3)根据音频参数及权重函数计算评分，画出评分机制图像，如图2所示，此时，权重函数为二次函数，纵轴对应计算的分数，横轴对应变速系数。权重函数的选择不同，生成的图像也不同。权重函数还可以为：一次函数、分段函数等。需要说明的是，不同变速系数对应的音频参数的具体数值可以不同。
优选的，预定要求标准为60分，也即评分分值在60分及以上可以认为音频变速后质量有保证，可以对其进行变速处理。此时，评分在60-100分范围内对应的Min变速系数至Max变速系数定为最佳变速系数范围。最佳变速系数范围内，变速后的数据量、变速后的失真情况、变速过程的计算量等都有所保证。
4)若实际的变速系数在最佳变速范围内，评分也就在60-100分之间，认为变速后的质量有保证，可以变速。
需要说明的是，变速倍数小于最佳变速系数范围的下限，得分小于60，评估的结果为过慢。变速倍数大于最佳变速系数范围的上限，得分也小于60，评估的结果为过快。过慢或过快都不符合预定要求标准，即变速后的音频质量不佳。
步骤S3：判断音频质量是否达到预定要求标准。当所述音频质量达到预定要求标准，执行步骤S4；当所述音频质量未达到预定要求标准，执行步骤S6。
步骤S4：根据所述变速系数对所述待变速音频进行变速不变调处理。
在一实施例中，所述变速不变调处理为：通过傅里叶变换算法将所述待变速音频输出为依所述变速系数变速的且音调及音色不变的音频，存储到第二音频缓存区中。需要说明的是，通过傅里叶变换，在频域中对音频频率进行修改，从而实现变速；对相位进行调整，从而实现音频及音色不变。
在一实施例中，所述变速不变调处理还可以为：将待变速音频分成若干段，依次在相邻的两段待变速音频间根据变速系数用插值算法进行处理，之后结合HDMI的刷新率对音频数据重新采样，重复此操作直到所有分段的待变速音频处理完毕。
步骤S5：请参阅图3，与以所述变速系数变速后的相应视频进行同步具体包括以下步骤：
步骤S51：读取视频的帧数据以及变速后的音频的帧数据。
步骤S52：计算并更新视频时间戳以及变速后的音频时间戳。
步骤S53：对更新后的音频时间戳以及视频时间戳进行平滑处理，得到最终的音频以及视频。
步骤S54：将最终的音频及视频进行同步处理。
需要说明的是，视频的变速可以为：对于加速播放的待加速视频进行插帧操作，对于减速播放的待减速视频进行删帧操作。优选的，视频变速操作时，还可以结合HDMI的刷新率，对视频进行插帧和删帧操作。
步骤S6：对所述待变速音频进行异常处理，例如：提示报错、音频静音或将所述变速系数变为最大预设减速系数或最小预设加速系数。在一实施例中，当所述变速系数变为最大预设减速系数或最小预设加速系数时，执行步骤S2。
在一实施例中，所述变速系数与外部运动机构的运动参数相关联，音视频速度的变化控制所述外部运动机构的运动速度相应变化；所述外部运动机构的运动速度变化还可以控制音视频速度的变化。例如，音视频播放速度变快，外部运动机构的运动速度相应加快，或者，外部运动机构的运动速度减慢，音视频播放速度相应减慢等。
请参阅图4，与方法实施例相似的是，本发明提供一种音视频同步变速的系统1，包括：音频读取模块11、音频评估模块12、音频变速模块13及音视频同步模块14。由于上述方法实施例中的技术特征也可以用到该系统实施例中，故不再重复赘述。
音频读取模块11读取第一音频缓存区中的待变速音频，提取所述待变速音频的音频参数。音频评估模块12获取变速系数，据以评估所述待变速音频根据所述变速系数变速后的音频质量。当所述音频质量未达到预定要求标准，音频变速模块13则对所述待变速音频进行异常处理，当所述音频质量达到预定要求标准，音频变速模块13则根据所述变速系数对所述待变速音频进行变速不变调处理。音视频同步模块14将与以所述变速系数变速后的相应视频与变速后的所述待变速音频进行同步。
需要说明的是，外部运动机构可以是自主的或受控的以生命体、机械或电子装置等为主体的具有运动速度的系统。在一实施例中，外部运动机构优选为电动跑步机，音视频播放的速度变化可以相应控制电动跑步机跑带的运转速度。同样的，跑带运转的速度变化也可以相应控制音视频的播放速度。
综上所述，本发明的音视频同步变速的方法及系统，有效克服了现有技术中的种种缺点而具高度产业利用价值。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。
Claims (10)
1.一种音视频同步变速的方法，其特征在于，包括：
读取第一音频缓存区中的待变速音频，提取所述待变速音频的音频参数；
获取变速系数，评估所述待变速音频根据所述变速系数变速后的音频质量；
当所述音频质量未达到预定要求标准，则对所述待变速音频进行异常处理；当所述音频质量达到预定要求标准，则根据所述变速系数对所述待变速音频进行变速不变调处理，随后与以所述变速系数变速后的相应视频进行同步。
2.根据权利要求1所述的音视频同步变速的方法，其特征在于，评估变速后的音频质量为：根据音频参数及权重函数确定评分机制，计算所述变速系数在所述评分机制中的评分。
3.根据权利要求1所述的音视频同步变速的方法，其特征在于，所述异常处理至少包括：提示报错、音频静音或将所述变速系数变为最大或最小预设变速系数。
4.根据权利要求1所述的音视频同步变速的方法，其特征在于，所述变速不变调处理为：通过傅里叶变换算法将所述待变速音频输出为依所述变速系数变速的且音调及音色不变的音频，存储到第二音频缓存区中。
5.根据权利要求1所述的音视频同步变速的方法，其特征在于，所述变速系数与外部运动机构的运动参数相关联，音视频速度的变化控制所述外部运动机构的运动速度相应变化；所述外部运动机构的运动速度变化还可以控制音视频速度的变化。
6.一种音视频同步变速的系统，其特征在于，包括：
音频读取模块，用于读取第一音频缓存区中的待变速音频，提取所述待变速音频的音频参数；
音频评估模块，用于获取变速系数，评估所述待变速音频根据所述变速系数变速后的音频质量；
音频变速模块，用于当所述音频质量未达到预定要求标准，则对所述待变速音频进行异常处理；当所述音频质量达到预定要求标准，则根据所述变速系数对所述待变速音频进行变速不变调处理；
音视频同步模块，用于将与以所述变速系数变速后的相应视频与变速后的所述待变速音频进行同步。
7.根据权利要求6所述的音视频同步变速的系统，其特征在于，评估变速后的音频质量为：根据音频参数及权重函数确定评分机制，计算所述变速系数在所述评分机制中的评分。
8.根据权利要求6所述的音视频同步变速的系统，其特征在于，所述异常处理至少包括：提示报错、音频静音或将所述变速系数变为最大或最小预设变速系数。
9.根据权利要求6所述的音视频同步变速的系统，其特征在于，所述变速不变调处理为：通过傅里叶变换算法将所述待变速音频输出为依所述变速系数变速的且音调及音色不变的音频，存储到第二音频缓存区中。
10.根据权利要求6所述的音视频同步变速的系统，其特征在于，所述变速系数与外部运动机构的运动参数相关联，音视频速度的变化控制所述外部运动机构的运动速度相应变化；所述外部运动机构的运动速度变化还可以控制音视频速度的变化。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510616429.8A CN105208426B (zh) | 2015-09-24 | 2015-09-24 | 一种音视频同步变速的方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510616429.8A CN105208426B (zh) | 2015-09-24 | 2015-09-24 | 一种音视频同步变速的方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105208426A true CN105208426A (zh) | 2015-12-30 |
| CN105208426B CN105208426B (zh) | 2018-07-06 |
Family
ID=54955808
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510616429.8A Active CN105208426B (zh) | 2015-09-24 | 2015-09-24 | 一种音视频同步变速的方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105208426B (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107484009A (zh) * | 2017-09-12 | 2017-12-15 | 上海脉淼信息科技有限公司 | 一种适用于网络直播的流媒体播放方法和装置 |
| CN108597527A (zh) * | 2018-04-19 | 2018-09-28 | 北京微播视界科技有限公司 | 多声道音频处理方法、装置、计算机可读存储介质和终端 |
| WO2019200996A1 (zh) * | 2018-04-19 | 2019-10-24 | 北京微播视界科技有限公司 | 多声道音频处理方法、装置和计算机可读存储介质 |
| CN111627412A (zh) * | 2020-05-06 | 2020-09-04 | Oppo（重庆）智能科技有限公司 | 音频变速方法、装置、电子设备和计算机可读存储介质 |
| CN116320575A (zh) * | 2023-05-18 | 2023-06-23 | 江苏弦外音智造科技有限公司 | 一种音视频的音频处理控制系统 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5952596A (en) * | 1997-09-22 | 1999-09-14 | Yamaha Corporation | Method of changing tempo and pitch of audio by digital signal processing |
| CN101219266A (zh) * | 2007-01-10 | 2008-07-16 | 刘鹏 | 跑步机的语音控制装置 |
| CN101740034A (zh) * | 2008-11-04 | 2010-06-16 | 刘盛举 | 一种实现声音变速不变调方法及变速变调系统 |
| CN102117613A (zh) * | 2009-12-31 | 2011-07-06 | 展讯通信（上海）有限公司 | 数字音频变速处理方法及其设备 |
| CN102271280A (zh) * | 2011-07-20 | 2011-12-07 | 宝利微电子系统控股公司 | 一种数字音视频变速播放的方法和装置 |
| CN103475927A (zh) * | 2012-06-08 | 2013-12-25 | 腾讯科技（深圳）有限公司 | 在线视频实时变速播放方法及系统 |
-
2015
- 2015-09-24 CN CN201510616429.8A patent/CN105208426B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5952596A (en) * | 1997-09-22 | 1999-09-14 | Yamaha Corporation | Method of changing tempo and pitch of audio by digital signal processing |
| CN101219266A (zh) * | 2007-01-10 | 2008-07-16 | 刘鹏 | 跑步机的语音控制装置 |
| CN101740034A (zh) * | 2008-11-04 | 2010-06-16 | 刘盛举 | 一种实现声音变速不变调方法及变速变调系统 |
| CN102117613A (zh) * | 2009-12-31 | 2011-07-06 | 展讯通信（上海）有限公司 | 数字音频变速处理方法及其设备 |
| CN102271280A (zh) * | 2011-07-20 | 2011-12-07 | 宝利微电子系统控股公司 | 一种数字音视频变速播放的方法和装置 |
| CN103475927A (zh) * | 2012-06-08 | 2013-12-25 | 腾讯科技（深圳）有限公司 | 在线视频实时变速播放方法及系统 |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107484009A (zh) * | 2017-09-12 | 2017-12-15 | 上海脉淼信息科技有限公司 | 一种适用于网络直播的流媒体播放方法和装置 |
| CN108597527A (zh) * | 2018-04-19 | 2018-09-28 | 北京微播视界科技有限公司 | 多声道音频处理方法、装置、计算机可读存储介质和终端 |
| WO2019200996A1 (zh) * | 2018-04-19 | 2019-10-24 | 北京微播视界科技有限公司 | 多声道音频处理方法、装置和计算机可读存储介质 |
| CN111627412A (zh) * | 2020-05-06 | 2020-09-04 | Oppo（重庆）智能科技有限公司 | 音频变速方法、装置、电子设备和计算机可读存储介质 |
| CN116320575A (zh) * | 2023-05-18 | 2023-06-23 | 江苏弦外音智造科技有限公司 | 一种音视频的音频处理控制系统 |
| CN116320575B (zh) * | 2023-05-18 | 2023-09-05 | 江苏弦外音智造科技有限公司 | 一种音视频的音频处理控制系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN105208426B (zh) | 2018-07-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105208426A (zh) | 一种音视频同步变速的方法及系统 | |
| CN105513583B (zh) | 一种歌曲节奏的显示方法及其系统 | |
| US10638246B2 (en) | Audio object extraction with sub-band object probability estimation | |
| US10362426B2 (en) | Upmixing of audio signals | |
| JP7001588B2 (ja) | オブジェクトベースのオーディオ信号バランシング法 | |
| CN107329980A (zh) | 一种基于音频的实时联动显示方法及存储设备 | |
| CN104020986B (zh) | 一种屏幕录制方法及装置 | |
| US20140180685A1 (en) | Signal processing device, signal processing method, and computer program product | |
| CN105430471B (zh) | 一种视频中弹幕的显示方法及装置 | |
| CN102780932A (zh) | 多窗口播放方法和系统 | |
| KR20200086064A (ko) | 신호 처리 장치 및 이를 구비하는 영상표시장치 | |
| US20180014139A1 (en) | Adaptive audio construction | |
| TWI478151B (zh) | 音頻處理系統與音頻處理方法 | |
| JP4587916B2 (ja) | 音声信号判別装置、音質調整装置、コンテンツ表示装置、プログラム、及び記録媒体 | |
| CN107369185A (zh) | 一种基于图像的油画风格化方法 | |
| CN110022499A (zh) | 一种直播弹幕颜色设置方法及装置 | |
| US11386913B2 (en) | Audio object classification based on location metadata | |
| US11716586B2 (en) | Information processing device, method, and program | |
| JP7468359B2 (ja) | 情報処理装置および方法、並びにプログラム | |
| TW201828712A (zh) | 根據單聲道音訊資料提供立體聲效果的影音處理方法及影音處理裝置 | |
| CN102082928A (zh) | 字幕属性的关联方法及装置 | |
| US20240155192A1 (en) | Control device, control method, and recording medium | |
| JP2006171458A (ja) | 音質調整装置、コンテンツ表示装置、プログラム、及び記録媒体 | |
| CN105635793B (zh) | 一种播放节目的方法及装置 | |
| EP4315329A1 (en) | Information processing device, information processing method, and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP03 | Change of name, title or address |
Address after: 350000 building, No. 89, software Avenue, Gulou District, Fujian, Fuzhou 18, China Patentee after: Ruixin Microelectronics Co., Ltd Address before: 350003 building, No. 89, software Avenue, Gulou District, Fujian, Fuzhou 18, China Patentee before: Fuzhou Rockchips Electronics Co.,Ltd. |
|
| CP03 | Change of name, title or address |