CN106603543B - 校正流媒体音视频同步的方法及装置 - Google Patents
校正流媒体音视频同步的方法及装置 Download PDFInfo
- Publication number
- CN106603543B CN106603543B CN201611198006.XA CN201611198006A CN106603543B CN 106603543 B CN106603543 B CN 106603543B CN 201611198006 A CN201611198006 A CN 201611198006A CN 106603543 B CN106603543 B CN 106603543B
- Authority
- CN
- China
- Prior art keywords
- video
- frame
- frame per
- audio
- per
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000001360 synchronised effect Effects 0.000 title claims abstract description 85
- 238000000034 method Methods 0.000 title claims abstract description 64
- 238000009877 rendering Methods 0.000 claims abstract description 53
- 238000012937 correction Methods 0.000 claims abstract description 34
- 238000001514 detection method Methods 0.000 claims abstract description 22
- 238000004364 calculation method Methods 0.000 claims abstract description 20
- 238000011156 evaluation Methods 0.000 claims abstract description 19
- 238000011897 real-time detection Methods 0.000 claims abstract description 12
- 230000008859 change Effects 0.000 claims description 12
- 238000004891 communication Methods 0.000 description 26
- 230000008569 process Effects 0.000 description 25
- 230000006870 function Effects 0.000 description 15
- 238000010295 mobile communication Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 5
- NJPPVKZQTLUDBO-UHFFFAOYSA-N novaluron Chemical compound C1=C(Cl)C(OC(F)(F)C(OC(F)(F)F)F)=CC=C1NC(=O)NC(=O)C1=C(F)C=CC=C1F NJPPVKZQTLUDBO-UHFFFAOYSA-N 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 238000007689 inspection Methods 0.000 description 3
- 238000007726 management method Methods 0.000 description 3
- 230000005236 sound signal Effects 0.000 description 3
- 230000001413 cellular effect Effects 0.000 description 2
- 125000004122 cyclic group Chemical group 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000009792 diffusion process Methods 0.000 description 2
- 239000010408 film Substances 0.000 description 2
- 238000009432 framing Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 101150012579 ADSL gene Proteins 0.000 description 1
- 102100020775 Adenylosuccinate lyase Human genes 0.000 description 1
- 108700040193 Adenylosuccinate lyases Proteins 0.000 description 1
- 241000208340 Araliaceae Species 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000000712 assembly Effects 0.000 description 1
- 238000000429 assembly Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 239000003990 capacitor Substances 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000005314 correlation function Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 229910052738 indium Inorganic materials 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 238000000465 moulding Methods 0.000 description 1
- 238000013468 resource allocation Methods 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000010409 thin film Substances 0.000 description 1
- 230000002463 transducing effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/60—Network streaming of media packets
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
- H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
- H04N21/440281—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the temporal resolution, e.g. by frame skipping
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
本发明公开了一种校正流媒体音视频同步的方法及装置，该装置包括：同步检测模块，用于实时检测流媒体的音频和视频是否同步；第一判断模块，用于在音频和视频不同步时，判断视频的图像解码时常是否大于图像显示时常；数据获取模块，用于获取视频的视频源帧率、实际播放帧率以及移动终端的解码性能和渲染性能；参考帧率评估模块，用于根据解码性能和渲染性能评估视频的参考帧率；丢帧间隔计算模块，用于根据视频源帧率、实际播放帧率及参考帧率计算丢帧间隔；丢帧控制模块，用于按照丢帧间隔丢弃视频中的B帧。与现有技术相比，本发明实现了以一定的间隔丢弃视频中的B帧来进行音、视频的同步调整，保证了音频和视频同步播放，提高了用户收看体验。
Description
技术领域
本发明涉及移动通信技术领域，尤其涉及一种校正流媒体音视频同步的方法及装置。
背景技术
在移动互联网时代，随着智能终端的推广和普及，用户不断追求高品质的音视体验，高压缩比、高码率、高分辨率、多声道、无损音源渐渐成为标配，人们对多媒体的音源的无损和视频画面的质量要求越来越高。网络视频点播(Video-on-demand，简称为VOD)和直播已成为人们生活中休闲娱乐的一部分，根据用户的需要播放相应的视频节目，从根本上改变了用户过去被动式看电视的不足，可以随时直接点播希望收看的视频内容。其中，视频点播(VOD)的实现过程为：当用户发出点播请求时，流媒体服务系统根据点播请求，将存放在片源库中的节目信息检索出来，以视频和音频流文件的形式通过高速传输网络传送到用户终端。在线视频流媒体片源库提供商提供了不同文件类型、编码类型的视频源，以及相同编码类型不同level、不同profile 的视频源，以满足用户对音视频源需求的多样性。
然而，受到服务器带宽、网络传输性能、终端硬件性能等因素的制约， VOD在终端上播放时，视频难以达到源文件所要求的FPS(视频播放帧率)，在播放过程中会出现跳帧现象，表现为图像显示不连贯；甚至出现音视频不同步，如音频滞后视频或音频领先于视频，严重影响了用户收看体验。
因此，有必要提供一种校正流媒体音视频同步的方法及装置来解决上述技术问题。
发明内容
本发明的主要目的在于提出一种校正流媒体音视频同步的方法及装置，旨在解决现有技术中流媒体播放过程中音频和视频不同步、影响用户收看体验的问题。
为实现上述目的，本发明提供一种校正流媒体音视频同步的装置，应用于移动终端，所述装置包括：
同步检测模块，用于在流媒体播放过程中，实时检测所述流媒体的音频和视频是否同步；
第一判断模块，用于在所述音频和所述视频不同步时，判断所述视频的图像解码时常是否大于图像显示时常；
数据获取模块，用于在所述第一判断模块的判断结果为是时，获取所述视频的视频源帧率、实际播放帧率以及所述移动终端的解码性能和渲染性能；
参考帧率评估模块，用于根据所述解码性能和所述渲染性能评估所述视频的参考帧率；
丢帧间隔计算模块，用于根据所述视频源帧率、实际播放帧率以及所述参考帧率计算丢帧间隔；
丢帧控制模块，用于按照所述丢帧间隔丢弃所述视频中的B帧。
进一步地，所述丢帧间隔计算模块包括：
待设置帧率计算单元，用于根据所述实际播放帧率和所述参考帧率计算待设置帧率；
丢帧间隔计算单元，用于根据所述视频源帧率和所述待设置帧率计算丢帧间隔，所述丢帧间隔的计算公式为Ti＝1000/(Fs–Fset)，其中所述Fs为视频源帧率，所述Fset为待设置帧率，所述Ti为丢帧间隔。
进一步地，所述待设置帧率计算单元具体用于：
实时判断所述实际播放帧率是否大于等于待设置帧率、以及所述实际播放帧率与预设值之和是否小于等于所述参考帧率，其中所述待设置帧率的初始化值为零；
若所述实际播放帧率大于或等于所述待设置帧率，则将所述待设置帧率的取值加1，并重复所述实时判断所述实际播放帧率是否大于等于所述待设置帧率、以及所述实际播放帧率与预设值之和是否小于等于所述参考帧率的步骤，若所述实际播放帧率小于所述待设置帧率，则执行判断所述实际播放帧率与预设值之和是否小于等于所述参考帧率的步骤；
若所述实际播放帧率与预设值之和小于或等于所述参考帧率，则将所述待设置帧率的取值减1，并重复所述实时判断所述实际播放帧率是否大于等于所述待设置帧率、以及所述实际播放帧率与预设值之和是否小于等于所述参考帧率的步骤；
当所述实际播放帧率与预设值之和大于所述参考帧率时，将当前时刻的所述实际播放帧率和所述参考帧率的平均值作为所述待设置帧率。
进一步地，所述校正流媒体音视频同步的装置还包括：
网络拥塞控制模块，用于在按照所述丢帧间隔丢弃所述视频中的B帧之后检测到所述音频和所述视频不同步时，检测当前网络是否拥塞，并在当前网络拥塞时，由当前的视频帧跳至下一个I帧；
渲染控制模块，用于在当前的视频帧跳至下一个I帧后检测到所述音频和所述视频不同步时，检测所述移动终端是否采用硬件解码，并在所述移动终端采用硬件解码时，跳过渲染当前的视频帧。
进一步地，所述同步检测模块具体用于：
实时获取当前时刻的音频帧时间和视频帧时间；
判断所述音频帧时间与所述视频帧时间的差值的绝对值是否不小于两个视频帧的显示时长；
若判断结果为是，则判定所述音频和所述视频不同步。
相较于现有技术，本发明所提出的校正流媒体音视频同步的装置在流媒体播放过程中，当检测到音频和视频不同步且视频的图像解码时常大于图像显示时常时，获取所述视频的视频源帧率、实际播放帧率以及所述移动终端的解码性能和渲染性能，然后根据所述解码性能和所述渲染性能评估所述视频的参考帧率，最后根据所述视频源帧率、实际播放帧率以及所述参考帧率计算丢帧间隔，并按照所述丢帧间隔丢弃所述视频中的B帧，从而实现了以一定的间隔丢弃视频中的B帧来进行音视和视频的同步调整，保证了音频和视频同步播放，提高了用户收看体验。
此外，为实现上述目的，本发明还提供一种校正流媒体音视频同步的方法，应用于移动终端，所述方法包括以下步骤：
流媒体播放过程中，实时检测所述流媒体的音频和视频是否同步；
若所述音频和所述视频不同步，则判断所述视频的图像解码时常是否大于图像显示时常；
若判断结果为是，则获取所述视频的视频源帧率、实际播放帧率以及所述移动终端的解码性能和渲染性能；
根据所述解码性能和所述渲染性能评估所述视频的参考帧率；
根据所述视频源帧率、实际播放帧率以及所述参考帧率计算丢帧间隔，并按照所述丢帧间隔丢弃所述视频中的B帧。
进一步地，所述根据所述视频源帧率、实际播放帧率以及所述参考帧率计算丢帧间隔的步骤包括：
根据所述实际播放帧率和所述参考帧率计算待设置帧率；
根据所述视频源帧率和所述待设置帧率计算丢帧间隔，所述丢帧间隔的计算公式为Ti＝1000/(Fs–Fset)，其中所述Fs为视频源帧率，所述Fset为待设置帧率，所述Ti为丢帧间隔。
进一步地，所述实际播放帧率和所述参考帧率是实时变化的，所述根据所述实际播放帧率和所述参考帧率计算待设置帧率的步骤包括：
实时判断所述实际播放帧率是否大于等于待设置帧率、以及所述实际播放帧率与预设值之和是否小于等于所述参考帧率，其中所述待设置帧率的初始化值为零；
若所述实际播放帧率大于或等于所述待设置帧率，则将所述待设置帧率的取值加1，并重复所述实时判断所述实际播放帧率是否大于等于所述待设置帧率、以及所述实际播放帧率与预设值之和是否小于等于所述参考帧率的步骤，若所述实际播放帧率小于所述待设置帧率，则执行判断所述实际播放帧率与预设值之和是否小于等于所述参考帧率的步骤；
若所述实际播放帧率与预设值之和小于或等于所述参考帧率，则将所述待设置帧率的取值减1，并重复所述实时判断所述实际播放帧率是否大于等于所述待设置帧率、以及所述实际播放帧率与预设值之和是否小于等于所述参考帧率的步骤；
当所述实际播放帧率与预设值之和大于所述参考帧率时，将当前时刻的所述实际播放帧率和所述参考帧率的平均值作为所述待设置帧率。
进一步地，所述按照所述丢帧间隔丢弃所述视频中的B帧的步骤之后还包括：
判断所述音频和所述视频是否同步；
若所述音频和所述视频不同步，则检测当前网络是否拥塞，并在当前网络拥塞时，由当前的视频帧跳至下一个I帧；
判断所述音频和所述视频是否同步；
若所述音频和所述视频不同步，则检测所述移动终端是否采用硬件解码，并在所述移动终端采用硬件解码时，跳过渲染当前的视频帧。
进一步地，所述实时检测所述流媒体的音频和视频是否同步的步骤包括：
实时获取当前时刻的音频帧时间和视频帧时间；
判断所述音频帧时间与所述视频帧时间的差值的绝对值是否不小于两个视频帧的显示时长；
若判断结果为是，则判定所述音频和所述视频不同步。
相较于现有技术，本发明所提出的校正流媒体音视频同步的方法在流媒体播放过程中，当检测到音频和视频不同步且视频的图像解码时常大于图像显示时常时，获取所述视频的视频源帧率、实际播放帧率以及所述移动终端的解码性能和渲染性能，然后根据所述解码性能和所述渲染性能评估所述视频的参考帧率，最后根据所述视频源帧率、实际播放帧率以及所述参考帧率计算丢帧间隔，并按照所述丢帧间隔丢弃所述视频中的B帧，从而实现了以一定的间隔丢弃视频中的B帧来进行音视和视频的同步调整，保证了音频和视频同步播放，提高了用户收看体验。
附图说明
图1为实现本发明各个实施例的移动终端的硬件结构示意图；
图2为如图1所示的移动终端的无线通信系统示意图；
图3为本发明所述的校正流媒体音视频同步的装置第一实施例的功能模块示意图；
图4为本发明所述的校正流媒体音视频同步的装置第二实施例的功能模块示意图；
图5为本发明所述的校正流媒体音视频同步的方法第一实施例的实施流程示意图；
图6为本发明所述的校正流媒体音视频同步的方法第二实施例的实施流程示意图；
图7为本发明中音视频同步校正功能的设置界面；
图8为带有I帧、B帧和P帧的视频对应的视频帧序列一实施例的示意图；
图9为移动终端上动态库libAutoSyncStreamAV.so所处的界面。
附图标记：
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
现在将参考附图描述实现本发明各个实施例的移动终端100。在后续的描述中，使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本发明的说明，其本身并没有特定的意义。因此，“模块”与“部件”可以混合地使用。
移动终端可以以各种形式来实施。例如，本发明中描述的终端可以包括诸如移动电话、智能电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、导航装置等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。下面，假设终端是移动终端。然而，本领域技术人员将理解的是，除了特别用于移动目的的元件之外，根据本发明的实施方式的构造也能够应用于固定类型的终端。
图1为实现本发明各个实施例的移动终端的硬件结构示意。
移动终端100可以包括，但不限于感测单元10、存储器20、控制器30、无线通信单元40、输出单元50、输入单元60、接口单元70及电源单元80。图1示出了具有各种组件的移动终端100，但是应理解的是，并不要求实施所有示出的组件。可以替代地实施更多或更少的组件。将在下面详细描述移动终端100 的元件。
感测单元10用于检测移动终端100的当前状态，(例如，移动终端100的打开或关闭状态)、移动终端100的位置、用户对于移动终端100的接触(即，触摸输入)的有无、移动终端100的取向、移动终端100的加速或减速移动和方向等等，并且生成用于控制移动终端100的操作的命令或信号。例如，当移动终端 100实施为滑动型移动电话时，感测单元10可以感测该滑动型电话是打开还是关闭。另外，感测单元10能够检测电源单元80 是否提供电力或者接口单元70 是否与外部装置耦接。
无线通信单元40通常包括一个或多个组件，其允许移动终端100与无线通信系统或网络之间的无线电通信。例如，无线通信单元可以包括广播接收模块、移动通信模块、无线互联网模块、短程通信模块和位置信息模块中的至少一个。
广播接收模块经由广播信道从外部广播管理服务器接收广播信号和/或广播相关信息。广播信道可以包括卫星信道和/或地面信道。广播管理服务器可以是生成并发送广播信号和/或广播相关信息的服务器或者接收之前生成的广播信号和/或广播相关信息并且将其发送给终端的服务器。广播信号可以包括TV广播信号、无线电广播信号、数据广播信号等等。而且，广播信号可以进一步包括与TV或无线电广播信号组合的广播信号。广播相关信息也可以经由移动通信网络提供，并且在该情况下，广播相关信息可以由移动通信模块来接收。广播信号可以以各种形式存在，例如，其可以以数字多媒体广播 (DMB)的电子节目指南(EPG)、数字视频广播手持(DVB-H)的电子服务指南 (ESG)等等的形式而存在。广播接收模块可以通过使用各种类型的广播系统接收信号广播。特别地，广播接收模块可以通过使用诸如多媒体广播-地面 (DMB-T)、数字多媒体广播-卫星(DMB-S)、数字视频广播-手持(DVB-H)，前向链路媒体(MediaFLO@)的数据广播系统、地面数字广播综合服务(ISDB-T) 等等的数字广播系统接收数字广播。广播接收模块可以被构造为适合提供广播信号的各种广播系统以及上述数字广播系统。经由广播接收模块接收的广播信号和/或广播相关信息可以存储在存储器20(或者其它类型的存储介质) 中。
移动通信模块将无线电信号发送到基站(例如，接入点、节点B等等)、外部终端以及服务器中的至少一个和/或从其接收无线电信号。这样的无线电信号可以包括语音通话信号、视频通话信号、或者根据文本和/或多媒体消息发送和/或接收的各种类型的数据。
无线互联网模块支持移动终端的无线互联网接入。该模块可以内部或外部地耦接到终端。该模块所涉及的无线互联网接入技术可以包括WLAN(无线 LAN)(Wi-Fi)、Wibro(无线宽带)、Wimax(全球微波互联接入)、HSDPA(高速下行链路分组接入)等等。
短程通信模块是用于支持短程通信的模块。短程通信技术的一些示例包括蓝牙TM、射频识别(RFID)、红外数据协会(IrDA)、超宽带(UWB)、紫蜂TM等等。
位置信息模块是用于检查或获取移动终端的位置信息的模块。位置信息模块的典型示例是GPS(全球定位系统)。根据当前的技术，GPS模块计算来自三个或更多卫星的距离信息和准确的时间信息并且对于计算的信息应用三角测量法，从而根据经度、纬度和高度准确地计算三维当前位置信息。当前，用于计算位置和时间信息的方法使用三颗卫星并且通过使用另外的一颗卫星校正计算出的位置和时间信息的误差。此外，GPS模块能够通过实时地连续计算当前位置信息来计算速度信息。
输出单元50被构造为以视觉、音频和/或触觉方式提供输出信号(例如，音频信号、视频信号、警报信号、振动信号等等)。输出单元50可以包括显示单元51、音频输出模块52、警报单元53等等。
显示单元51可以显示在移动终端100中处理的信息。例如，当移动终端100 处于电话通话模式时，显示单元51可以显示与通话或其它通信(例如，文本消息收发、多媒体文件下载等等)相关的用户界面(UI)或图形用户界面(GUI)。当移动终端100处于视频通话模式或者图像捕获模式时，显示单元51可以显示捕获的图像和/或接收的图像、示出视频或图像以及相关功能的UI或GUI等等。
同时，当显示单元51和触摸板以层的形式彼此叠加以形成触摸屏时，显示单元51可以用作输入装置和输出装置。显示单元51可以包括液晶显示器 (LCD)、薄膜晶体管LCD(TFT-LCD)、有机发光二极管(OLED)显示器、柔性显示器、三维(3D)显示器等等中的至少一种。这些显示器中的一些可以被构造为透明状以允许用户从外部观看，这可以称为透明显示器，典型的透明显示器可以例如为TOLED(透明有机发光二极管)显示器等等。根据特定想要的实施方式，移动终端100可以包括两个或更多显示单元(或其它显示装置)，例如，移动终端可以包括外部显示单元(未示出)和内部显示单元(未示出)。触摸屏可用于检测触摸输入压力以及触摸输入位置和触摸输入面积。
音频输出模块52可以在移动终端处于呼叫信号接收模式、通话模式、记录模式、语音识别模式、广播接收模式等等模式下时，将无线通信单元40接收的或者在存储器20中存储的音频数据转换音频信号并且输出为声音。而且，音频输出模块52可以提供与移动终端100执行的特定功能相关的音频输出(例如，呼叫信号接收声音、消息接收声音等等)。音频输出模块52可以包括扬声器、蜂鸣器等等。
警报单元53可以提供输出以将事件的发生通知给移动终端100。典型的事件可以包括呼叫接收、消息接收、键信号输入、触摸输入等等。除了音频或视频输出之外，警报单元53可以以不同的方式提供输出以通知事件的发生。例如，警报单元53可以以振动的形式提供输出，当接收到呼叫、消息或一些其它进入通信(incoming communication)时，警报单元53可以提供触觉输出(即，振动)以将其通知给用户。通过提供这样的触觉输出，即使在用户的移动电话处于用户的口袋中时，用户也能够识别出各种事件的发生。警报单元53也可以经由显示单元51或音频输出模块52提供通知事件的发生的输出。
输入单元60可以根据用户输入的命令生成键输入数据以控制移动终端的各种操作。输入单元60允许用户输入各种类型的信息，并且可以包括键盘、锅仔片、触摸板(例如，检测由于被接触而导致的电阻、压力、电容等等的变化的触敏组件)、滚轮、摇杆等等。特别地，当触摸板以层的形式叠加在显示单元51 上时，可以形成触摸屏。
接口单元70用作至少一个外部装置与移动终端100连接可以通过的接口。例如，外部装置可以包括有线或无线头戴式耳机端口、外部电源(或电池充电器)端口、有线或无线数据端口、存储卡端口、用于连接具有识别模块的装置的端口、音频输入/输出(I/O)端口、视频I/O端口、耳机端口等等。识别模块可以是存储用于验证用户使用移动终端100的各种信息并且可以包括用户识别模块(UIM)、客户识别模块(SIM)、通用客户识别模块(USIM)等等。另外，具有识别模块的装置(下面称为"识别装置")可以采取智能卡的形式，因此，识别装置可以经由端口或其它连接装置与移动终端100连接。接口单元170可以用于接收来自外部装置的输入(例如，数据信息、电力等等)并且将接收到的输入传输到移动终端100内的一个或多个元件或者可以用于在移动终端和外部装置之间传输数据。
另外，当移动终端100与外部底座连接时，接口单元70可以用作允许通过其将电力从底座提供到移动终端100的路径或者可以用作允许从底座输入的各种命令信号通过其传输到移动终端的路径。从底座输入的各种命令信号或电力可以用作用于识别移动终端是否准确地安装在底座上的信号。
存储器20可以存储由控制器30执行的处理和控制操作的软件程序等等，或者可以暂时地存储己经输出或将要输出的数据(例如，电话簿、消息、静态图像、视频等等)。而且，存储器20可以存储关于当触摸施加到触摸屏时输出的各种方式的振动和音频信号的数据。
存储器20可以包括至少一种类型的存储介质，所述存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等等)、随机访问存储器 (RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等等。而且，移动终端100 可以与通过网络连接执行存储器20的存储功能的网络存储装置协作。
控制器30通常控制移动终端的总体操作。例如，控制器30执行与语音通话、数据通信、视频通话等等相关的控制和处理。另外，控制器30可以包括用于再现(或回放)多媒体数据的多媒体模块，多媒体模块可以构造在控制器30内，或者可以构造为与控制器30分离。控制器30可以执行模式识别处理，以将在触摸屏上执行的手写输入或者图片绘制输入识别为字符或图像。
电源单元80在控制器30的控制下接收外部电力或内部电力并且提供操作各元件和组件所需的适当的电力。
这里描述的各种实施方式可以以使用例如计算机软件、硬件或其任何组合的计算机可读介质来实施。对于硬件实施，这里描述的实施方式可以通过使用特定用途集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理装置 (DSPD)、可编程逻辑装置(PLD)、现场可编程门阵列(FPGA)、处理器、控制器、微控制器、微处理器、被设计为执行这里描述的功能的电子单元中的至少一种来实施，在一些情况下，这样的实施方式可以在控制器30 中实施。对于软件实施，诸如过程或功能的实施方式可以与允许执行至少一种功能或操作的单独的软件模块来实施。软件代码可以由以任何适当的编程语言编写的软件应用程序(或程序)来实施，软件代码可以存储在存储器20 中并且由控制器30 执行。
至此，己经按照其功能描述了移动终端。下面，为了简要起见，将描述诸如折叠型、直板型、摆动型、滑动型移动终端等等的各种类型的移动终端中的滑动型移动终端作为示例。因此，本发明能够应用于任何类型的移动终端，并且不限于滑动型移动终端。
如图1中所示的移动终端100可以被构造为利用经由帧或分组发送数据的诸如有线和无线通信系统以及基于卫星的通信系统来操作。
现在将参考图2描述其中根据本发明的移动终端能够操作的通信系统。
这样的通信系统可以使用不同的空中接口和/或物理层。例如，由通信系统使用的空中接口包括例如频分多址(FDMA)、时分多址(TDMA)、码分多址 (CDMA)和通用移动通信系统(UMTS)(特别地，长期演进(LTE))、全球移动通信系统(GSM)等等。作为非限制性示例，下面的描述涉及CDMA通信系统，但是这样的教导同样适用于其它类型的系统。
参考图2，CDMA无线通信系统可以包括多个移动终端100、多个基站 (BS)270、基站控制器(BSC)275和移动交换中心(MSC)280。MSC280被构造为与公共电话交换网络(PSTN)290形成接口。MSC280还被构造为与可以经由回程线路耦接到基站270的BSC275形成接口。回程线路可以根据若干己知的接口中的任一种来构造，所述接口包括例如E1/T1、ATM，IP、PPP、帧中继、HDSL、 ADSL或xDSL。将理解的是，如图2中所示的系统可以包括多个BSC2750。
每个BS270可以服务一个或多个分区(或区域)，由多向天线或指向特定方向的天线覆盖的每个分区放射状地远离BS270。或者，每个分区可以由用于分集接收的两个或更多天线覆盖。每个BS270可以被构造为支持多个频率分配，并且每个频率分配具有特定频谱(例如，1.25MHz,5MHz等等)。
分区与频率分配的交叉可以被称为CDMA信道。BS270也可以被称为基站收发器子系统(BTS)或者其它等效术语。在这样的情况下，术语"基站"可以用于笼统地表示单个BSC275和至少一个BS270。基站也可以被称为"蜂窝站"。或者，特定BS270的各分区可以被称为多个蜂窝站。
如图2中所示，广播发射器(BT)295将广播信号发送给在系统内操作的移动终端100。广播接收模块被设置在移动终端100处以接收由 BT295发送的广播信号。在图2中，示出了几个全球定位系统(GPS)卫星300。卫星300帮助定位多个移动终端100中的至少一个。
在图2中，描绘了多个卫星300，但是理解的是，可以利用任何数目的卫星获得有用的定位信息。如图1中所示的无线通信单元40中的GPS模块通常被构造为与卫星300配合以获得想要的定位信息。替代GPS跟踪技术或者在GPS跟踪技术之外，可以使用可以跟踪移动终端的位置的其它技术。另外，至少一个GPS卫星300可以选择性地或者额外地处理卫星DMB传输。
作为无线通信系统的一个典型操作，BS270接收来自各种移动终端100的反向链路信号。移动终端100通常参与通话、消息收发和其它类型的通信。特定基站270接收的每个反向链路信号被在特定BS270内进行处理。获得的数据被转发给相关的BSC275。BSC提供通话资源分配和包括BS270之间的软切换过程的协调的移动管理功能。BSC275还将接收到的数据路由到MSC280，其提供用于与PSTN290形成接口的额外的路由服务。类似地，PSTN290与MSC280形成接口，MSC与BSC275形成接口，并且BSC275相应地控制BS270以将正向链路信号发送到移动终端100。
基于上述移动终端硬件结构以及通信系统，提出本发明的各个实施例。
首先，本发明提出一种校正流媒体音视频同步的装置400，所述校正流媒体音视频同步的装置400适用于任一移动终端。如图3所示，是本发明所述的校正流媒体音视频同步的装置400第一实施例的功能模块示意图。在本实施例中，所述校正流媒体音视频同步的装置400可以被分割成一个或多个模块，所述一个或多个模块被存储于所述存储器20中，并由一个或多个控制器(本实施例中为所述控制器30)所执行，以完成本发明。例如，在图3中，所述校正流媒体音视频同步的装置400可以被分割成同步检测模块401、第一判断模块402、数据获取模块403、参考帧率评估模块404、丢帧间隔计算模块405 以及丢帧控制模块406 。其中本发明所称的模块是指一种能够完成特定功能的一系列计算机程序指令段，比程序更适合于描述所述校正流媒体音视频同步的装置400校正音频和视频同步的过程。以下将就上述各功能模块401-406 的具体功能进行详细描述。
所述同步检测模块401，用于在流媒体播放过程中，实时检测所述流媒体的音频和视频是否同步，若检测结果为所述音频和所述视频不同步，则调用第一判断模块402，若检测结果为所述音频和所述视频同步，则重复检测音频和视频是否同步。其中，流媒体包括音频和视频，当移动终端进行网络视频点播并播放接收到的流媒体数据时，会实时检测播放过程中的音频和视频是否同步。具体的，同步检测模块401用于：(1)实时获取当前时刻的音频帧时间和视频帧时间；(2)判断所述音频帧时间与所述视频帧时间的差值的绝对值是否不小于两个视频帧的显示时长；(3)若判断结果为是，则判定所述音频和所述视频不同步，反之若判断结果为否，则判定所述音频和所述视频同步。其中，编码器中有一个系统时钟(其频率是27MHz),此时钟用来产生指示音视频的正确显示和解码的时间戳，音频帧时间和视频帧时间以移动终端的系统时钟作为参考，记录当前时刻的音频帧时间为Taudio，视频帧时间为 Tvideo，然后判断|Taudio-Tvideo|>＝2*视频帧的显示时长，即当音频帧和视频帧相差2个连续视频帧显示时长时，用户就会感觉到音频和视频不同步，此时判定音频和视频不同步。需要说明的是，本发明校正流媒体音视频同步的方法具有一个设置界面，只有当在设置界面上开启音视频同步校正功能后，才会在流媒体播放过程中执行本实施例中的步骤S501至步骤S505，请参考图 7，图7为本发明中音视频同步校正功能的设置界面。
所述第一判断模块402，用于在所述音频和所述视频不同步时，判断所述视频的图像解码时常是否大于图像显示时常，若判断结果为是，则调用数据获取模块403，反之重复检测过程。即当音频和视频不同步且图像解码时常大于图像显示时常时，才开启丢帧机制进行音视频同步的调节。
所述数据获取模块403，用于在所述第一判断模块的判断结果为是时，获取所述视频的视频源帧率、实际播放帧率以及所述移动终端的解码性能和渲染性能。其中，视频源帧率是指流媒体中视频文件本身的帧率；实际播放帧率是指移动终端的播放帧率，该实际播放帧率可能受移动终端的解码性能、渲染性能或网络传输速度等多种因素的影响；而移动终端的解码性能和渲染性能与移动终端自身的处理能力有关，在获取解码性能和渲染性能时，以预设时间单元(如2秒)作为一个周期，然后在获取视频、视频解码、视频渲染等阶段记录每帧图像的解码耗时、渲染耗时，然后用预设时间单元中得到的解码耗时的平均值来表征解码性能，用预设时间单元中得到的渲染耗时的平均值来表征渲染性能。本实施例中将视频源帧率记为Fs、实际播放帧率记为Fa。
所述参考帧率评估模块404，用于根据所述解码性能和所述渲染性能评估所述视频的参考帧率。本实施中将参考帧率记为Fe，其中该参考帧率Fe为根据解码性能和渲染性能估算出的视频应有的播放帧率，其用于计算丢帧间隔。
所述丢帧间隔计算模块405，用于根据所述视频源帧率、实际播放帧率以及所述参考帧率计算丢帧间隔。更具体的，丢帧间隔计算模块405包括：待设置帧率计算单元，用于根据所述实际播放帧率(Fa)和所述参考帧率(Fe) 计算待设置帧率，本实施例中待设置帧率记为Fset；以及丢帧间隔计算单元，用于根据所述视频源帧率(Fs)和所述待设置帧率(Fset)计算丢帧间隔，所述丢帧间隔的计算公式为Ti＝1000/(Fs–Fset)，其中所述Ti为丢帧间隔，表示每隔Ti时间丢弃视频中的一个B帧，以此进行音频和视频的同步调整。其中，该丢帧间隔Ti的单位为毫秒(ms)，其具体根据视频帧时间戳(video frame timestamp)来判断是否到达丢帧间隔。
所述丢帧控制模块406，用于按照所述丢帧间隔丢弃所述视频中的B帧。具体的，对于采用MPEG2、H264等编码类型的视频，当视频和音频不同步时，可以通过丢弃视频中的B帧来进行音频和视频的同步调整。本实施例中以H264编码类型的视频为例进行说明，该编码类型的视频包括I帧、B帧和 P帧，其中I帧为帧内编码帧，其是一种自带全部信息的独立帧，无需参考其它图像便可独立进行解码，视频序列中的第一帧始终是I帧；P帧为前向预测编码帧，P帧需要参考前面的I帧才能进行编码，与I帧相比，P帧通常占用更少的数据位，但P帧对前面的P帧和I帧有着复杂的依赖性，因此对传输错误非常敏感；B帧为双向预测编码帧，B帧需要同时以前面的帧和后面的帧作为参考帧，由于B帧不是参考帧，因此B帧的丢失不会造成解码错误的扩散，请参考图8，图8为带有I帧、B帧和P帧的视频对应的视频帧序列一实施例的示意图。当视频播放滞后于音频时，按照计算得到的丢帧间隔丢弃所述视频中的B帧，以进行音频和视频的同步调整。
通过上述模块401至406，本发明校正流媒体音视频同步的装置在流媒体播放过程中，当检测到音频和视频不同步且视频的图像解码时常大于图像显示时常时，获取所述视频的视频源帧率、实际播放帧率以及所述移动终端的解码性能和渲染性能，然后根据所述解码性能和所述渲染性能评估所述视频的参考帧率，最后根据所述视频源帧率、实际播放帧率以及所述参考帧率计算丢帧间隔，并按照所述丢帧间隔丢弃所述视频中的B帧，从而实现了以一定的间隔丢弃视频中的B帧来进行音视和视频的同步调整，保证了音频和视频同步播放，提高了用户收看体验。
基于上述第一实施例，提出本发明所述的校正流媒体音视频同步的装置 400的第二实施例。在本实施例中，图4所示，校正流媒体音视频同步的装置 400还包括网络拥塞控制模块407以及渲染控制模块408。
所述网络拥塞控制模块407，用于在按照所述丢帧间隔丢弃所述视频中的 B帧之后检测到所述音频和所述视频不同步时，检测当前网络是否拥塞，并在当前网络拥塞时，由当前的视频帧跳至下一个I帧，以及在网络不拥塞时调用渲染控制模块408，以检测所述移动终端是否采用硬件解码。即当按照丢帧间隔丢弃所述视频中的B帧进行音频和视频的同步调整后，若音频和视频仍不同步，也就是通过丢弃B帧调整仍然无法满足音频和视频同步的性能要求或者视频中B帧较少而导致音频和视频仍不同步时，进一步检测此时音频和视频的不同步是否是由网络拥塞导致的，此时可以使用跳至下一个关键帧(即 Skip to nextI frame)策略作为辅助。举例如：若当前clock比当前video buffer 大500ms(说明视频播放滞后，网络拥塞)，则直接在文件层查找到下一个关键帧(即I帧)。
所述渲染控制模块408，用于在当前的视频帧跳至下一个I帧后检测到所述音频和所述视频不同步时，检测所述移动终端是否采用硬件解码，并在所述移动终端采用硬件解码时，跳过渲染当前的视频帧。即当通过跳至下一个I 帧进行同步调整后，若音频和视频仍不同步，则进一步检测移动终端是否采用硬件解码，若是则通过跳过渲染来进行音频和视频的同步调整。具体的，由于硬件解码一般不占用CPU，故此时导致音频和视频不同步的原因可能是渲染，因此此时跳过渲染可以进行音频和视频的同步调整。举例如：当视频落后系统同步时钟100ms时，就不显示当前帧，即跳过渲染该帧，以达到音频和视频的同步。
此外，本实施例中，所述待设置帧率计算单元具体用于：(1)实时判断所述实际播放帧率是否大于等于待设置帧率、以及所述实际播放帧率与预设值之和是否小于等于所述参考帧率，本实施例中所述待设置帧率的初始化值为0，当然在其他实施例中，待设置帧率的初始化值还可以为其他数值，此外本实施中预设值为5，即相当于实时判断Fa+5是否小于等于Fe，在其他实施例中预设值还可以为其他数值；(2)若所述实际播放帧率大于或等于所述待设置帧率，则将所述待设置帧率的取值加1，并重复所述实时判断所述实际播放帧率是否大于等于所述待设置帧率、以及所述实际播放帧率与预设值之和是否小于等于所述参考帧率的步骤，若所述实际播放帧率小于所述待设置帧率，则执行判断所述实际播放帧率与预设值之和是否小于等于所述参考帧率的步骤；(3)若所述实际播放帧率与预设值之和小于或等于所述参考帧率，则将所述待设置帧率的取值减1，并重复所述实时判断所述实际播放帧率是否大于等于所述待设置帧率、以及所述实际播放帧率与预设值之和是否小于等于所述参考帧率的步骤；(4)当所述实际播放帧率与预设值之和大于所述参考帧率时，将当前时刻的所述实际播放帧率和所述参考帧率的平均值作为所述待设置帧率。本实施中，由于实际播放帧率是实时变化的，且移动终端的解码性能和渲染性能也是实时变化的，因此参考帧率也是实时变化的，因此通过实际播放帧率和参考帧率计算得到的待设置帧率也是实时变化的，故本实施例中不以某一时刻的实际播放帧率和参考帧率计算得到的待设置帧率作为最终计算结果，而是计算一个时间片段内的待设置帧率，其计算结果更为准确，具有更好的参考意义。而计算过程中所使用的判断、循环过程需要占用一定的时间，其计算得到的结果即为一定时间段内的待设置帧率。
通过上述模块401-408，本发明所提出的校正流媒体音视频同步的装置在流媒体播放过程中，当检测到音频和视频不同步且视频的图像解码时常大于图像显示时常时，获取所述视频的视频源帧率、实际播放帧率以及所述移动终端的解码性能和渲染性能，然后根据所述解码性能和所述渲染性能评估所述视频的参考帧率，并根据所述视频源帧率、实际播放帧率以及所述参考帧率计算丢帧间隔，然后按照所述丢帧间隔丢弃所述视频中的B帧以进行音频和视频的同步调整，调整后若音频和视频仍不同步且当前网络拥塞，则通过跳至下一个I帧进行进一步的同步调整，之后若音频和视频仍不同步且采用硬件解码，则通过跳过渲染进行进一步的同步调整，从而有力的保证了流媒体音视频的同步播放，提高了用户收看体验。此外，本发明校正流媒体音视频同步的方法，便于移植到各种硬件平台和视频播放引擎中，降低了开发成本、提升了生产力，易于开发、易于维护。
进一步地，本发明提出一种校正流媒体音视频同步的方法，该方法应用于移动终端中。如图5所示，是本发明所述的校正流媒体音视频同步的方法第一实施例的实施流程图。在本实施例中，根据不同的需求，图5所示的流程图中的步骤的执行顺序可以改变，某些步骤可以省略。
步骤S501，流媒体播放过程中，实时检测所述流媒体的音频和视频是否同步，若检测结果为所述音频和所述视频不同步，则执行步骤S502，若检测结果为所述音频和所述视频同步，则重复检测过程，即继续执行步骤S501。其中，流媒体包括音频和视频，当移动终端进行网络视频点播并播放接收到的流媒体数据时，会实时检测播放过程中的音频和视频是否同步。具体的，步骤S501包括以下子步骤：(1)实时获取当前时刻的音频帧时间和视频帧时间；(2)判断所述音频帧时间与所述视频帧时间的差值的绝对值是否不小于两个视频帧的显示时长；(3)若判断结果为是，则判定所述音频和所述视频不同步，反之若判断结果为否，则判定所述音频和所述视频同步。其中，编码器中有一个系统时钟(其频率是27MHz),此时钟用来产生指示音视频的正确显示和解码的时间戳，音频帧时间和视频帧时间以移动终端的系统时钟作为参考，记录当前时刻的音频帧时间为Taudio，视频帧时间为Tvideo，然后判断|Taudio-Tvideo|>＝2*视频帧的显示时长，即当音频帧和视频帧相差2 个连续视频帧显示时长时，用户就会感觉到音频和视频不同步，此时判定音频和视频不同步。需要说明的是，本发明校正流媒体音视频同步的方法具有一个设置界面，只有当在设置界面上开启音视频同步校正功能后，才会在流媒体播放过程中执行本实施例中的步骤S501至步骤S505，请参考图7，图7 为本发明中音视频同步校正功能的设置界面。
步骤S502，判断所述视频的图像解码时常是否大于图像显示时常，若判断结果为是，则执行步骤S503，反之重复检测过程，即继续执行步骤S501。即当音频和视频不同步且图像解码时常大于图像显示时常时，才执行步骤 S503至步骤S505，即开启丢帧机制进行音视频同步的调节。
步骤S503，获取所述视频的视频源帧率、实际播放帧率以及所述移动终端的解码性能和渲染性能。其中，视频源帧率是指流媒体中视频文件本身的帧率；实际播放帧率是指移动终端的播放帧率，该实际播放帧率可能受移动终端的解码性能、渲染性能或网络传输速度等多种因素的影响；而移动终端的解码性能和渲染性能与移动终端自身的处理能力有关，在获取解码性能和渲染性能时，以预设时间单元(如2秒)作为一个周期，然后在获取视频、视频解码、视频渲染等阶段记录每帧图像的解码耗时、渲染耗时，然后用预设时间单元中得到的解码耗时的平均值来表征解码性能，用预设时间单元中得到的渲染耗时的平均值来表征渲染性能。本实施例中将视频源帧率记为Fs、实际播放帧率记为Fa。
步骤S504，根据所述解码性能和所述渲染性能评估所述视频的参考帧率。本实施中将参考帧率记为Fe，其中该参考帧率Fe为根据解码性能和渲染性能估算出的视频应有的播放帧率，其用于计算丢帧间隔。
步骤S505，根据所述视频源帧率、实际播放帧率以及所述参考帧率计算丢帧间隔，并按照所述丢帧间隔丢弃所述视频中的B帧。具体的，对于采用 MPEG2、H264等编码类型的视频，当视频和音频不同步时，可以通过丢弃视频中的B帧来进行音频和视频的同步调整。本实施例中以H264编码类型的视频为例进行说明，该编码类型的视频包括I帧、B帧和P帧，其中I帧为帧内编码帧，其是一种自带全部信息的独立帧，无需参考其它图像便可独立进行解码，视频序列中的第一帧始终是I帧；P帧为前向预测编码帧，P帧需要参考前面的I帧才能进行编码，与I帧相比，P帧通常占用更少的数据位，但P 帧对前面的P帧和I参考帧有着复杂的依赖性，因此对传输错误非常敏感；B 帧为双向预测编码帧，B帧需要同时以前面的帧和后面的帧作为参考帧，由于 B帧不是参考帧，因此B帧的丢失不会造成解码错误的扩散，请参考图8，图 8为带有I帧、B帧和P帧的视频对应的视频帧序列一实施例的示意图。当视频播放滞后于音频时，按照计算得到的丢帧间隔丢弃所述视频中的B帧，以进行音频和视频的同步调整。更具体的，步骤S505包括以下子步骤：(1)根据所述实际播放帧率(Fa)和所述参考帧率(Fe)计算待设置帧率，本实施例中待设置帧率记为Fset；(2)根据所述视频源帧率(Fs)和所述待设置帧率 (Fset)计算丢帧间隔，所述丢帧间隔的计算公式为Ti＝1000/(Fs–Fset)，其中所述Ti为丢帧间隔，表示每隔Ti时间丢弃视频中的一个B帧，以此进行音频和视频的同步调整。其中，该丢帧间隔Ti的单位为毫秒(ms)，其具体根据视频帧时间戳(videoframe timestamp)来判断是否到达丢帧间隔。
通过上述步骤S501-S505，本发明校正流媒体音视频同步的方法在流媒体播放过程中，当检测到音频和视频不同步且视频的图像解码时常大于图像显示时常时，获取所述视频的视频源帧率、实际播放帧率以及所述移动终端的解码性能和渲染性能，然后根据所述解码性能和所述渲染性能评估所述视频的参考帧率，最后根据所述视频源帧率、实际播放帧率以及所述参考帧率计算丢帧间隔，并按照所述丢帧间隔丢弃所述视频中的B帧，从而实现了以一定的间隔丢弃视频中的B帧来进行音视和视频的同步调整，保证了音频和视频同步播放，提高了用户收看体验。
基于上述第一实施例，提出本发明所述的校正流媒体音视频同步的方法的第二实施例。
如图6所示，是本发明所述的校正流媒体音视频同步的方法第二实施例的实施流程图。在本实施例中，根据不同的需求，图6所示的流程图中的步骤的执行顺序可以改变，某些步骤可以省略。
步骤S601，流媒体播放过程中，实时检测所述流媒体的音频和视频是否同步，若检测结果为所述音频和所述视频不同步，则执行步骤S602，若检测结果为所述音频和所述视频同步，则重复检测过程，即继续执行步骤S601。
步骤S602，判断所述视频的图像解码时常是否大于图像显示时常，若判断结果为是，则执行步骤S603，反之重复检测过程，即继续执行步骤S601。
步骤S603，获取所述视频的视频源帧率Fs、实际播放帧率Fa以及所述移动终端的解码性能和渲染性能。
步骤S604，根据所述解码性能和所述渲染性能评估所述视频的参考帧率 Fe，然后执行步骤S605和S607。
步骤S605，实时判断所述实际播放帧率Fa是否大于等于所述待设置帧率 Fset，若判断结果为是，则执行步骤S606，若判断结果为否，则执行步骤S607。本实施例中所述待设置帧率Fset的初始化值为0，当然在其他实施例中，待设置帧率的初始化值还可以为其他数值。
步骤S606，将所述待设置帧率Fset的取值加1，然后重复执行步骤S605 和S607。
步骤S607，实时判断所述实际播放帧率Fa与预设值之和是否小于等于所述参考帧率Fe，若判断结果为是，则执行步骤S608，反之执行步骤S609。本实施中预设值为5，即相当于实时判断Fa+5是否小于等于Fe，在其他实施例中预设值还可以为其他数值。
步骤S608，将所述待设置帧率Fset的取值减1，然后重复执行步骤S605 和S607。
步骤S609，将当前时刻的所述实际播放帧率Fa和所述参考帧率Fe的平
均值作为所述待设置帧率Fset，即Fset＝(Fe+Fa)/2。
其中，步骤S605至步骤S609为根据实际播放帧率Fa和所述参考帧率Fe 计算待设置帧率Fset的具体实现步骤，本实施例中，由于实际播放帧率Fa是实时变化的，且移动终端的解码性能和渲染性能也是实时变化的，因此参考帧率Fe也是实时变化的，因此通过实际播放帧率Fa和参考帧率Fe计算得到的待设置帧率Fset也是实时变化的，故本实施例中不以某一时刻的实际播放帧率Fa和参考帧率Fe计算得到的待设置帧率Fset作为最终计算结果，而是计算一个时间片段内的待设置帧率Fset，其计算结果更为准确，具有更好的参考意义。而步骤S605至步骤S609中所使用的判断、循环过程需要占用一定的时间，其计算得到的结果即为一定时间段内的待设置帧率Fset。
步骤S610，根据所述视频源帧率Fs和所述待设置帧率Fset计算丢帧间隔 Ti，并按照所述丢帧间隔丢弃所述视频中的B帧，所述丢帧间隔Ti的计算公式为Ti＝1000/(Fs–Fset)。
步骤S611，判断所述音频和所述视频是否同步，若判断结果为否，则执行步骤S612，反之结束流程，此次音频和视频的同步调整过程结束。
步骤S612，检测当前网络是否拥塞，若当前网络拥塞，则执行步骤S613，反之若网络不拥塞，则执行步骤S615。
步骤S613，由当前的视频帧跳至下一个I帧。即当按照丢帧间隔丢弃所述视频中的B帧进行音频和视频的同步调整后，若音频和视频仍不同步，也就是通过丢弃B帧调整仍然无法满足音频和视频同步的性能要求或者视频中 B帧较少而导致音频和视频仍不同步时，进一步检测此时音频和视频的不同步是否是由网络拥塞导致的，此时可以使用跳至下一个关键帧(即Skip to next I frame)策略作为辅助。举例如：若当前clock比当前videobuffer大500ms(说明视频播放滞后，网络拥塞)，则直接在文件层查找到下一个关键帧(即I帧)。
步骤S614，判断所述音频和所述视频是否同步，若判断结果为否，则执行步骤S615，反之结束流程，此次音频和视频的同步调整过程结束。
步骤S615，检测所述移动终端是否采用硬件解码，若所述移动终端采用硬件解码，则跳过渲染当前的视频帧。即当通过跳至下一个I帧进行同步调整后，若音频和视频仍不同步，则进一步检测移动终端是否采用硬件解码，若是则通过跳过渲染来进行音频和视频的同步调整。具体的，由于硬件解码一般不占用CPU，故此时导致音频和视频不同步的原因可能是渲染，因此此时跳过渲染可以进行音频和视频的同步调整。举例如：当视频落后系统同步时钟100ms时，就不显示当前帧，即跳过渲染该帧，以达到音频和视频的同步。
通过上述步骤S601至S615，本发明所提出的校正流媒体音视频同步的方法在流媒体播放过程中，当检测到音频和视频不同步且视频的图像解码时常大于图像显示时常时，获取所述视频的视频源帧率、实际播放帧率以及所述移动终端的解码性能和渲染性能，然后根据所述解码性能和所述渲染性能评估所述视频的参考帧率，并根据所述视频源帧率、实际播放帧率以及所述参考帧率计算丢帧间隔，然后按照所述丢帧间隔丢弃所述视频中的B帧以进行音频和视频的同步调整，调整后若音频和视频仍不同步且当前网络拥塞，则通过跳至下一个I帧进行进一步的同步调整，之后若音频和视频仍不同步且采用硬件解码，则通过跳过渲染进行进一步的同步调整，从而有力的保证了流媒体音视频的同步播放，提高了用户收看体验。此外，本发明校正流媒体音视频同步的方法，便于移植到各种硬件平台和视频播放引擎中，降低了开发成本、提升了生产力，易于开发、易于维护。
需要说明的是，本发明所提出的校正流媒体音视频同步的方法在使用时需要生成动态库，然后被视频解复用模块(Demuxer，用于分离出音、视频流) 调用即可。其生成动态库时，具体步骤如下：
a.配置Android.mk文件，设置LOCAL_MODULE＝libAutoSyncStreamAV，引用变量include$((BUILD_SHARED_LIBRARY)；
b.根据配置属性，编译生成一个公用的动态库libAutoSyncStreamAV.so供Demuxer模块使用；
c.动态库的生成路径如：out/target/项目名 /system/lib/libAutoSyncStreamAV.so，请参考图9，图9为移动终端上动态库 libAutoSyncStreamAV.so所处的界面。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (6)
1.一种校正流媒体音视频同步的装置，应用于移动终端，其特征在于，所述装置包括：
同步检测模块，用于在流媒体播放过程中，实时检测所述流媒体的音频和视频是否同步；
第一判断模块，用于在所述音频和所述视频不同步时，判断所述视频的图像解码时长是否大于图像显示时长；
数据获取模块，用于在所述第一判断模块的判断结果为是时，获取所述视频的视频源帧率、实际播放帧率以及所述移动终端的解码性能和渲染性能；
参考帧率评估模块，用于根据所述解码性能和所述渲染性能评估所述视频的参考帧率；
丢帧间隔计算模块，用于根据所述视频源帧率、实际播放帧率以及所述参考帧率计算丢帧间隔；
丢帧控制模块，用于按照所述丢帧间隔丢弃所述视频中的B帧；
所述丢帧间隔计算模块包括：
待设置帧率计算单元，用于根据所述实际播放帧率和所述参考帧率计算待设置帧率；
丢帧间隔计算单元，用于根据所述视频源帧率和所述待设置帧率计算丢帧间隔，所述丢帧间隔的计算公式为Ti＝1000/(Fs–Fset)，其中所述Fs为视频源帧率，所述Fset为待设置帧率，所述Ti为丢帧间隔；
所述待设置帧率计算单元具体用于：
实时判断所述实际播放帧率是否大于等于待设置帧率、以及所述实际播放帧率与预设值之和是否小于等于所述参考帧率，其中所述待设置帧率的初始化值为零；
若所述实际播放帧率大于或等于所述待设置帧率，则将所述待设置帧率的取值加1，并重复所述实时判断所述实际播放帧率是否大于等于所述待设置帧率、以及所述实际播放帧率与预设值之和是否小于等于所述参考帧率的步骤，若所述实际播放帧率小于所述待设置帧率，则执行判断所述实际播放帧率与预设值之和是否小于等于所述参考帧率的步骤；
若所述实际播放帧率与预设值之和小于或等于所述参考帧率，则将所述待设置帧率的取值减1，并重复所述实时判断所述实际播放帧率是否大于等于所述待设置帧率、以及所述实际播放帧率与预设值之和是否小于等于所述参考帧率的步骤；
当所述实际播放帧率与预设值之和大于所述参考帧率时，将当前时刻的所述实际播放帧率和所述参考帧率的平均值作为所述待设置帧率。
2.如权利要求1所述的校正流媒体音视频同步的装置，其特征在于，还包括：
网络拥塞控制模块，用于在按照所述丢帧间隔丢弃所述视频中的B帧之后检测到所述音频和所述视频不同步时，检测当前网络是否拥塞，并在当前网络拥塞时，由当前的视频帧跳至下一个I帧；
渲染控制模块，用于在当前的视频帧跳至下一个I帧后检测到所述音频和所述视频不同步时，检测所述移动终端是否采用硬件解码，并在所述移动终端采用硬件解码时，跳过渲染当前的视频帧。
3.如权利要求1或2中任一项所述的校正流媒体音视频同步的装置，其特征在于，所述同步检测模块具体用于：
实时获取当前时刻的音频帧时间和视频帧时间；
判断所述音频帧时间与所述视频帧时间的差值的绝对值是否不小于两个视频帧的显示时长；
若判断结果为是，则判定所述音频和所述视频不同步。
4.一种校正流媒体音视频同步的方法，应用于移动终端，其特征在于，所述方法包括以下步骤：
流媒体播放过程中，实时检测所述流媒体的音频和视频是否同步；
若所述音频和所述视频不同步，则判断所述视频的图像解码时常是否大于图像显示时常；
若判断结果为是，则获取所述视频的视频源帧率、实际播放帧率以及所述移动终端的解码性能和渲染性能；
根据所述解码性能和所述渲染性能评估所述视频的参考帧率；
根据所述视频源帧率、实际播放帧率以及所述参考帧率计算丢帧间隔，并按照所述丢帧间隔丢弃所述视频中的B帧；
所述根据所述视频源帧率、实际播放帧率以及所述参考帧率计算丢帧间隔的步骤包括：
根据所述实际播放帧率和所述参考帧率计算待设置帧率；
根据所述视频源帧率和所述待设置帧率计算丢帧间隔，所述丢帧间隔的计算公式为Ti＝1000/(Fs–Fset)，其中所述Fs为视频源帧率，所述Fset为待设置帧率，所述Ti为丢帧间隔；
所述实际播放帧率和所述参考帧率是实时变化的，所述根据所述实际播放帧率和所述参考帧率计算待设置帧率的步骤包括：
实时判断所述实际播放帧率是否大于等于待设置帧率、以及所述实际播放帧率与预设值之和是否小于等于所述参考帧率，其中所述待设置帧率的初始化值为零；
若所述实际播放帧率大于或等于所述待设置帧率，则将所述待设置帧率的取值加1，并重复所述实时判断所述实际播放帧率是否大于等于所述待设置帧率、以及所述实际播放帧率与预设值之和是否小于等于所述参考帧率的步骤，若所述实际播放帧率小于所述待设置帧率，则执行判断所述实际播放帧率与预设值之和是否小于等于所述参考帧率的步骤；
若所述实际播放帧率与预设值之和小于或等于所述参考帧率，则将所述待设置帧率的取值减1，并重复所述实时判断所述实际播放帧率是否大于等于所述待设置帧率、以及所述实际播放帧率与预设值之和是否小于等于所述参考帧率的步骤；
当所述实际播放帧率与预设值之和大于所述参考帧率时，将当前时刻的所述实际播放帧率和所述参考帧率的平均值作为所述待设置帧率。
5.如权利要求4所述的校正流媒体音视频同步的方法，其特征在于，所述按照所述丢帧间隔丢弃所述视频中的B帧的步骤之后还包括：
判断所述音频和所述视频是否同步；
若所述音频和所述视频不同步，则检测当前网络是否拥塞，并在当前网络拥塞时，由当前的视频帧跳至下一个I帧；
判断所述音频和所述视频是否同步；
若所述音频和所述视频不同步，则检测所述移动终端是否采用硬件解码，并在所述移动终端采用硬件解码时，跳过渲染当前的视频帧。
6.如权利要求4或5中任一项所述的校正流媒体音视频同步的方法，其特征在于，所述实时检测所述流媒体的音频和视频是否同步的步骤包括：
实时获取当前时刻的音频帧时间和视频帧时间；
判断所述音频帧时间与所述视频帧时间的差值的绝对值是否不小于两个视频帧的显示时长；
若判断结果为是，则判定所述音频和所述视频不同步。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201611198006.XA CN106603543B (zh) | 2016-12-22 | 2016-12-22 | 校正流媒体音视频同步的方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201611198006.XA CN106603543B (zh) | 2016-12-22 | 2016-12-22 | 校正流媒体音视频同步的方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106603543A CN106603543A (zh) | 2017-04-26 |
| CN106603543B true CN106603543B (zh) | 2019-08-09 |
Family
ID=58602614
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201611198006.XA Active CN106603543B (zh) | 2016-12-22 | 2016-12-22 | 校正流媒体音视频同步的方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106603543B (zh) |
Families Citing this family (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107959874B (zh) * | 2017-12-12 | 2020-08-25 | 海信视像科技股份有限公司 | 音画同步自动校正方法和装置 |
| CN110704268B (zh) * | 2018-07-10 | 2023-10-27 | 浙江宇视科技有限公司 | 一种视频图像自动化测试方法及装置 |
| CN109167890B (zh) * | 2018-08-22 | 2021-03-05 | 海信视像科技股份有限公司 | 一种音画同步方法和装置及显示设备 |
| CN109302637B (zh) * | 2018-11-05 | 2023-02-17 | 腾讯科技(成都)有限公司 | 图像处理方法、图像处理装置和电子设备 |
| CN111432258B (zh) * | 2019-04-29 | 2022-09-30 | 杭州海康威视数字技术股份有限公司 | 一种音视频信号同步方法和装置 |
| CN110166808B (zh) * | 2019-06-13 | 2021-09-07 | 深圳市拔超科技有限公司 | 一种解决晶振误差导致视频不同步的方法、装置及解码设备 |
| CN112516590A (zh) * | 2019-09-19 | 2021-03-19 | 华为技术有限公司 | 一种帧率识别方法及电子设备 |
| CN113050906B (zh) * | 2019-12-26 | 2024-05-07 | 深圳市万普拉斯科技有限公司 | 显示屏的帧率调整方法、装置、终端和存储介质 |
| CN111432384B (zh) * | 2020-03-18 | 2023-05-09 | 合肥讯飞读写科技有限公司 | 用于具有录音功能设备的大数据量音频蓝牙实时传输方法 |
| CN111355975B (zh) * | 2020-03-26 | 2021-09-07 | 郑州信大捷安信息技术股份有限公司 | 一种直播客户端音视频延时调节播放系统及方法 |
| US11122321B1 (en) | 2020-04-06 | 2021-09-14 | International Business Machines Corporation | Stream synchronization using an automated digital clapperboard |
| CN111462868B (zh) * | 2020-04-09 | 2023-05-30 | 武汉联影医疗科技有限公司 | 医学影像管理方法、装置和存储介质 |
| CN113542795B (zh) * | 2020-04-21 | 2023-04-18 | 腾讯科技（深圳）有限公司 | 视频处理方法、装置、电子设备及计算机可读存储介质 |
| CN113556505B (zh) * | 2020-04-23 | 2022-11-25 | 杭州海康威视数字技术股份有限公司 | 数据处理方法、装置、电子设备及可读存储介质 |
| CN113453054B (zh) * | 2021-06-30 | 2022-11-29 | 深圳万兴软件有限公司 | 音视频丢帧方法、装置、计算机设备及存储介质 |
| CN113965786B (zh) * | 2021-09-29 | 2024-03-26 | 杭州当虹科技股份有限公司 | 精准控制视频输出播放的方法 |
| CN114040247A (zh) * | 2021-11-09 | 2022-02-11 | 新智认知数据服务有限公司 | 网络视频流的处理方法、电子设备及计算机可读存储介质 |
| CN114584835B (zh) * | 2022-02-10 | 2024-04-02 | 百果园技术(新加坡)有限公司 | 一种视频处理方法、装置、设备及存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102368823A (zh) * | 2011-06-28 | 2012-03-07 | 上海盈方微电子有限公司 | 一种基于分级机制的视频丢帧策略 |
| CN102368835A (zh) * | 2011-06-28 | 2012-03-07 | 上海盈方微电子有限公司 | 一种音视频Seek同步策略 |
| CN102547299A (zh) * | 2010-12-30 | 2012-07-04 | 福建星网视易信息系统有限公司 | 基于mpeg-2视频流的音视频同步控制方法 |
| CN102685507A (zh) * | 2011-07-12 | 2012-09-19 | 天脉聚源(北京)传媒科技有限公司 | 一种mpeg-2传输流解码音视频同步方法和系统 |
| CN103310820A (zh) * | 2012-03-14 | 2013-09-18 | 三星电子（中国）研发中心 | 一种对多媒体播放器进行优化的方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9191413B2 (en) * | 2011-11-01 | 2015-11-17 | T-Mobile Usa, Inc. | Synchronizing video and audio over heterogeneous transports |
-
2016
- 2016-12-22 CN CN201611198006.XA patent/CN106603543B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102547299A (zh) * | 2010-12-30 | 2012-07-04 | 福建星网视易信息系统有限公司 | 基于mpeg-2视频流的音视频同步控制方法 |
| CN102368823A (zh) * | 2011-06-28 | 2012-03-07 | 上海盈方微电子有限公司 | 一种基于分级机制的视频丢帧策略 |
| CN102368835A (zh) * | 2011-06-28 | 2012-03-07 | 上海盈方微电子有限公司 | 一种音视频Seek同步策略 |
| CN102685507A (zh) * | 2011-07-12 | 2012-09-19 | 天脉聚源(北京)传媒科技有限公司 | 一种mpeg-2传输流解码音视频同步方法和系统 |
| CN103310820A (zh) * | 2012-03-14 | 2013-09-18 | 三星电子（中国）研发中心 | 一种对多媒体播放器进行优化的方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106603543A (zh) | 2017-04-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106603543B (zh) | 校正流媒体音视频同步的方法及装置 | |
| CN104902212B (zh) | 一种视频通信方法及装置 | |
| CN105677231B (zh) | 关联应用分屏显示装置、方法及终端 | |
| CN104866265B (zh) | 多媒体文件的显示方法和装置 | |
| CN105718027B (zh) | 后台应用程序的管理方法及移动终端 | |
| CN104822091B (zh) | 视频播放进度控制方法、装置及移动终端 | |
| CN106990828A (zh) | 一种控制屏幕显示的装置和方法 | |
| CN106358319A (zh) | 一种无线投影装置、系统及方法 | |
| CN106598457B (zh) | 一种声音播放控制方法、装置及终端 | |
| CN105245938B (zh) | 播放多媒体文件的装置和方法 | |
| CN106507173A (zh) | 移动终端和分屏显示控制方法 | |
| CN106713640B (zh) | 一种亮度调节方法和设备 | |
| CN105100642B (zh) | 图像处理方法和装置 | |
| CN106534590B (zh) | 一种照片处理方法、装置及终端 | |
| CN105554710B (zh) | 消息显示方法和装置 | |
| CN106873936A (zh) | 电子设备及信息处理方法 | |
| CN106657651A (zh) | 一种投射处理方法、装置及终端 | |
| CN106250081A (zh) | 一种基于双屏终端的显示方法和装置 | |
| CN104731508B (zh) | 音频播放方法及装置 | |
| CN104917868B (zh) | 文本进度调节方法和装置 | |
| CN108668071A (zh) | 一种拍摄方法、装置、系统及一种移动终端 | |
| CN105635837B (zh) | 一种视频播放方法和装置 | |
| CN106095072B (zh) | 一种控制方法、智能设备及服务器 | |
| CN104837122B (zh) | 多方通信方法、终端及系统 | |
| CN109168029A (zh) | 一种调整分辨率的方法、设备和计算机可存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |