CN103327368A - 执行多媒体播放控制的方法及其装置 - Google Patents

执行多媒体播放控制的方法及其装置 Download PDF

Info

Publication number
CN103327368A
CN103327368A CN2012102124866A CN201210212486A CN103327368A CN 103327368 A CN103327368 A CN 103327368A CN 2012102124866 A CN2012102124866 A CN 2012102124866A CN 201210212486 A CN201210212486 A CN 201210212486A CN 103327368 A CN103327368 A CN 103327368A
Authority
CN
China
Prior art keywords
video playback
control
audio
treatment circuit
multimedia
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2012102124866A
Other languages
English (en)
Other versions
CN103327368B (zh
Inventor
赖骏铭
林建良
谢芳易
陈威年
周冠宏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xueshan Technology Co ltd
Original Assignee
MediaTek Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MediaTek Inc filed Critical MediaTek Inc
Publication of CN103327368A publication Critical patent/CN103327368A/zh
Application granted granted Critical
Publication of CN103327368B publication Critical patent/CN103327368B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4333—Processing operations in response to a pause request
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440281—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the temporal resolution, e.g. by frame skipping

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

一种执行多媒体播放控制的方法以及装置，其中执行多媒体播放控制的方法应用于电子装置，并且包含：确定关于音频播放与视频播放的不同步状态是否存在；以及当检测到存在不同步状态时，根据场景切换检测结果与停滞检测结果中的至少一个控制视频播放的跳变触发与程序。本发明提供的执行多媒体播放控制的方法以及装置可实现音频与视频的顺畅播放。

Description

执行多媒体播放控制的方法及其装置
技术领域
本发明有关于电子装置的音频/视频(audio/video,A/V)播放控制，并且特别有关于执行多媒体播放控制的方法，以及相关装置。
背景技术
根据现有技术，可利用装配触摸屏的便携式电子装置（例如，多功能移动电话、个人数字助理、平板电脑等）来播放多媒体的音频、视频流。上述多媒体音频视频流包含多个需要解码的编码数据的情况下，将会发生许多问题。例如，由于编解码复杂度(codec complexity)，所以不能保证所有时刻的多媒体播放顺畅，其中当上述多媒体音频视频流的某些参数(例如分辨率、媒体类型等)超出支持规范时，将可能发生上述问题。在另一示例中，既然在上述多媒体音频视频流中的视频部分的解码负担比音频部分的要重，即存在上述便携式电子装置的解码能力的缺陷，所以上述视频播放可能会延迟（例如当系统正同时忙于处理多个任务的情况下）。某些传统方法在解决此类延迟问题时，常会引入若干的副作用，其中上述副作用包含停滞(standstill)以及音频失真(audio-distortion)的问题。典型的停滞问题意味着解码未来图像并且将其显示在屏幕上的时间会变晚，因此当前显示的图片会比预先设计的显示时间要长。典型的音频失真问题意味着由于对音频播放的调整造成的音频播放失真。总之，现有技术无法提供良好的终端用户体验。因此，需要一种新颖的方法来加强对电子装置的播放控制。
发明内容
有鉴于此，本发明提供一种执行多媒体播放控制的方法及其装置。
一种执行多媒体播放控制的方法，应用于电子装置，该执行多媒体播放控制的方法包含：确定关于音频播放与视频播放的不同步状态是否存在；以及当检测到存在该不同步状态时，根据场景切换检测结果与停滞检测结果中的至少一个控制该视频播放的跳变触发与程序。
一种用于执行多媒体播放控制的装置，包含电子装置的至少一部分，该用于执行多媒体播放控制的装置包含：时钟，配置以提供参考时间；以及处理电路，配置以控制该电子装置的操作并且确定关于音频播放与视频播放的不同步状态是否存在；其中利用该参考时间确定该不同步状态是否存在，该处理电路根据场景切换检测结果与停滞检测结果中的至少一个控制该视频播放的跳变触发与程序。
一种执行多媒体播放控制的方法，应用于电子装置，该执行多媒体播放控制的方法包含：检测是否存在候选音频帧；以及当检测到存在该候选音频帧时，执行临时音频暂停操作，从而控制视频播放与音频播放的时序同步。
本发明提供的执行多媒体播放控制的方法及其装置可实现音频与视频的顺畅播放。
附图说明
图1是根据本发明第一实施例描述的执行多媒体播放控制的装置示意图。
图2是根据本发明实施例描述的执行多媒体播放控制的方法示意图。
图3是根据本发明实施例描述的关于图2所示方法的工作流程图。
图4是根据图3的实施例描述的关于图2所示方法的时序控制方法示意图。
图5是根据本发明另一实施例描述的关于图2所示方法的停滞检测方案示意图。
图6是根据本发明实施例描述的关于图2所示方法的工作流程图。
图7是根据图6所示实施例描述的关于图2所示方法的时序控制方案示意图。
图8是根据本发明另一实施例描述的关于图2所示方法的工作流程图。
图9是根据图8所示实施例描述的关于图2所述方法的某些实施例细节示意图。
图10是根据本发明另一实施例描述的关于图2所示方法的工作流程图。
图11是根据图10所示实施例描述的关于图2所示方法的时序控制方案示意图。
图12是根据图11所示实施例描述的关于图2所示方法的音频波形实施例示意图。
具体实施方式
在说明书及权利要求书当中使用了某些词汇来指称特定的元件。所属技术领域的技术人员应可理解，硬件制造商可能会用不同的名词来称呼同一个元件。本说明书及权利要求书并不以名称的差异作为区分元件的方式，而是以元件在功能上的差异作为区分的准则。在通篇说明书及权利要求项中所提及的“包含”为一开放式的用语，故应解释成“包含但不限定于”。此外，“耦接”一词在此包含任何直接及间接的电气连接手段。因此，若文中描述第一装置耦接于第二装置，则代表第一装置可直接电气连接于第二装置，或透过其它装置或连接手段间接地电气连接至第二装置。
接下来的描述是关于本发明的实施例，其为了描述本发明的基本原理，并不作为对本发明的限制。本发明的保护范围由权利要求书作出界定。
请参考图1，图1是根据本发明第一实施例描述执行多媒体播放控制的装置100的示意图。根据不同的实施例，例如第一实施例以及其变形例，装置100可包含电子装置的至少一部分（例如一部分或者全部）。例如，装置100可包含上述的电子装置的一部分，特别地，可为电子装置中的例如集成电路(Integrated Circuit,IC)的控制电路。在另一示例中，装置100可为上述整个电子装置。在另一示例中，装置100可为包含上述电子装置的A/V系统。电子装置的示例可包含但不局限于，移动电话（例如多功能移动电话）、个人数字助理(PDA)、类似平板的便携式电子装置（基于广义定义）以及包含平板计算机（可简称为平板电脑）、笔记本计算机或者桌上型计算机的个人计算机。
如图1所示，装置100包含处理电路110、存储单元120、缓冲器125与时钟130。可配置存储单元120用于临时储存信息，例如多媒体音视频中的信息，并且可配置缓冲器125用于缓冲处理电路110的信息。例如，存储单元120可为硬盘驱动器(Hard Disk Drive,HDD)或者例如快闪的非易失性存储器，以及缓冲器125可为例如随机存取存储器(Random Access Memory,RAM)的易失性存储器。另外，可配置时钟130提供参考时间。例如，时钟130可与振荡器装配在一起，其中上述振荡器的频率可为32kHz。在另一示例中，时钟130可与振荡频率为26MHz的振荡器装配在一起。另外，可配置处理电路110以控制电子装置的操作，更特别地，可通过配置电路110获得例如多媒体音视频，根据上述多媒体音视频执行A/V解码控制以及A/V播放控制，以及根据上述参考时间执行某些相关检测操作，从而解码并且播放上述多媒体音视频。在解码多媒体音视频期间，可在缓冲器125中缓冲多媒体音视频的部分或者全部解码内容/数据，并且基于时钟130，处理电路110可分别通过输出信号SAUDIO与SVIDEO以在其正确的时刻输出解码音频内容/数据与该解码视频内容/数据，从而分别利用至少一个音频输出模块（例如一个或多个扬声器，或者一个或多个耳机）与至少一个显示模块（例如液晶显示模块、触摸屏、液晶显示监测器及/或投影仪）实现同步播放。因此，可在不引入任何现有技术问题（例如播放不流畅问题或者视频播放延迟问题），不引入副作用（例如停滞问题或者音频失真问题）的情况下播放上述多媒体音视频。请参考图2，其在下面段落中将描述某些实施细节。
图2是根据本发明实施例描述执行多媒体播放控制的方法200示意图。可在图1所述的装置100中应用图2所述的方法。上述方法描述如下。
在步骤210，处理电路110确定关于音频播放与视频播放的不同步(out of synchronization)状态是否存在，其中可利用参考时间确定不同步状态是否存在。更特别地，处理电路110可通过分别比较待播放的解码音频数据与解码视频数据的时间戳(time stamp)和上述参考时间来确定不同步状态是否存在。例如，在待播放的最新解码音频数据的时间戳与上述参考时间之间不存在误差的情况下，如果待播放的最新解码视频数据的时间戳与上述参考时间之间的差异达到预定阈值时，则处理电路110可确定出现了不同步状态。
在步骤220，当检测到出现不同步状态时，处理电路110根据场景切换检测结果(scene change detection)以及停滞检测结果中的至少一项（例如场景切换检测结果及/或停滞检测结果）来控制视频播放的跳变触发与程序。典型地，上述跳变触发与程序为视频播放的跳转操作的触发与程序，并且更特别地，为跳转至待播放的已选择帧以及开始播放上述已选择帧的时序，其中上述已选择帧可为关键帧(key frame)。例如，当已检测到存在不同步状态时，处理电路110可只根据场景切换检测结果与停滞检测结果中的一个检测来控制视频播放的跳变触发与程序。在另一示例中，当已检测到存在不同步状态时，处理电路110可同时根据场景切换检测结果与停滞检测结果来控制视频播放的跳变触发与程序。
根据某些实施例，例如图2所示的实施例以及某些变化例，处理电路110可执行场景切换检测以确定场景切换是否存在。当检测到场景切换存在时（例如检测到在已缓冲待播放的解码视频数据中的特定帧与场景切换相符，或者检测到场景切换存在于待播放的解码视频数据中，其中上述两个实例皆基于目前的解码状态），处理电路110触发视频播放的跳变操作，并且更特别地，处理电路110触发视频播放的跳变操作以跳转至目标帧。作为执行跳变操作的时序控制的结果，用户可感觉不到上述跳变操作。因此，本发明的方法与装置允许用户在不会遇到任何现有技术问题以及任何副作用的情况下观赏多媒体音视频。
根据某些实施例，例如图2所示的实施例以及某些变化例，处理电路110可执行停滞检测以确定停滞现象是否存在，从而确定是否延迟触发视频播放的跳变操作，其中“停滞现象”可代表基于目前解码状态存在的停滞问题，因此确定是否存在停滞现象不受限于确定是否存在上述停滞问题。例如，当检测到存在停滞现象时（例如检测到发生了停滞问题，或者检测到基于目前解码状态可发生停滞问题以及应该阻止上述停滞问题），处理电路110延迟触发视频播放的跳变操作。在另一示例中，当检测到不存在停滞现象时（例如未检测到停滞问题，或者未检测到基于目前解码状态的停滞问题），处理电路110触发视频播放的跳变操作。实际上，处理电路110可通过分析待播放的解码音频数据与解码视频数据的时间戳来执行上述停滞检测。作为执行跳变操作的时序控制的结果，用户可感觉不到上述跳变操作。因此，本发明的方法与装置允许用户在不会遇到任何现有技术问题以及任何副作用的情况下观赏多媒体音视频。
根据某些实施例，不管处理电路110是否根据上述场景切换检测结果及/或停滞检测结果（例如，只根据场景切换检测结果，或者只根据停滞检测结果，或者同时根据场景切换检测结果与停滞检测结果）来控制视频播放的跳变触发与程序，处理电路110可修改要播放的解码音频数据与解码视频数据的至少一个时间戳，从而控制视频播放与音频播放的时序同步。根据某些实施例，不管处理电路110是否根据上述场景切换检测结果及/或停滞检测结果（例如，只根据场景切换检测结果，或者只根据停滞检测结果，或者同时根据场景切换检测结果与停滞检测结果）来控制视频播放的跳变触发与程序，处理电路110可检测候选音频帧是否存在（例如强度小于预定阈值的多个连续音频帧）。当检测到候选音频帧存在时，处理电路110执行临时音频暂停操作，从而控制音频播放与视频播放的时序同步。例如，可在播放候选音频帧的第一部分与第二部分之间执行临时音频暂停操作。在另一示例中，可在播放完候选音频帧之后执行临时音频暂停操作。在另一示例中，可在播放候选音频帧之前执行临时音频暂停操作。实际上，可通过在两个音频帧之间插入一个或者多个强度小于预定阈值的音频帧，例如一个或多个无强度的空音频帧，来实施上述临时音频暂停操作，其中两个音频帧位于包含上述候选音频帧的音频播放序列中。
图3是根据本发明实施例描述关于图2所示方法200的工作流程图310。
在步骤312，处理电路110执行音频与视频播放。典型地，处理电路110同时执行音频播放与视频播放。
在步骤314，处理电路110确定有关音频播放与视频播放的上述不同步状态（在图3中标注为“AV不同步”）是否存在。当检测到不同步状态存在时，进入步骤316；否则重新进入步骤312。
在步骤316，处理电路110确定上述不同步状态的不同步指数(index)是否超出了最大允许不同步值（在图3中标注为“超出最大AV同步误差值”），其中不同步指数的示例可为关于时间戳的误差。例如，在待播放的最新解码音频数据的时间戳与上述参考时间之间的误差为零时，不同步指数可为待播放的最新解码音频数据的时间戳与上述参考时间之间的误差。当不同步指数达到上述预定阈值时（例如本实施例的最大允许不同步值），处理电路110可确定不同步指数超出最大允许不同步值，这样即表示本时刻的不同步状态为不能接受的并且应该执行操作以取得更好的播放效果。当检测到不同步指数超出最大允许不同步值时，进入步骤320；否则进入步骤318。
在步骤318，处理电路110确定上述的场景切换是否存在。当检测到存在场景切换（在图3中标注为“检测到场景切换”）时，进入步骤320；否则，重新进入步骤312。
在步骤320，处理电路110触发上述的跳变操作（图3中标注为“跳变至目标帧”），从而跳变至上述的目标帧（例如关键帧）。
如图3揭露，工作流程图310中，可在步骤314与步骤318之间安排步骤316，其中该安排可防止在某些情况下（例如长时间未检测到场景切换的情况下）步骤318阻挡了步骤320。上述只是为了描述的目的，并非对本发明的限制。根据本实施例的变化例，可省略步骤316，其中从步骤314的下箭头直接指向步骤318。上述变化例的相似描述将不再赘述。
图4是根据图3的实施例描述的关于图2所示方法200的时序控制方法示意图，其中可在装置100上应用上述场景切换检测。标记current_video_time代表目前正在播放帧的时间戳的时间。例如，目前正在播放的帧可为具有索引101的帧，并且刚播放完的帧可为具有索引100的帧。另外，标记current_audio_time代表目前正在播放的音频内容的时间戳的时间。例如，目前正在播放的音频内容可为用于具有索引119的帧的音频内容。假设已检测到上述步骤318所述的场景切换出现在具有索引111的帧上，即当多媒体音视频从具有索引110的帧切换到具有索引111的帧时改变场景。在本实施例中，因为具有索引120的帧为目标帧（例如目前正在播放的音频内容的时间戳的时间current_audio_time后的最近关键帧），所以处理电路110选择具有索引120的帧（例如帧内）作为步骤320所示的跳变操作的目标帧。因此，在处理电路110的控制下，视频播放从具有索引100的帧跳转到具有索引120的帧，从而实现A/V同步的目的（即上述的音频播放/视频播放同步）。
图5是根据本发明另一实施例描述的关于图2所示方法200的停滞检测方案示意图。标记current_video_time代表目前正在播放帧的时间戳的时间，以及标记current_audio_time代表目前正在播放的音频内容的时间戳的时间。因此，目前正在播放帧的时间戳的时间current_video_time与目前正在播放的音频内容的时间戳的时间current_audio_time之间的时间差代表对应上述不同步状态（图5中标注为“AV不同步”）的时间差。
假设用于跳变的目标帧的时间戳的时间与目前正在播放的音频内容的时间戳的时刻current_audio_time之间的时间差为N毫秒。根据本实施例，处理电路110检测上述的停滞现象，并且更特别地，检测执行跳变操作引起的停滞现象，上述跳变操作使得视频领先音频N毫秒（图5中标注为“由帧跳变引起的停滞，造成视频领先音频N毫秒”）。当处理电路110检测到图5所示情况下的停滞现象时，处理电路110预测到由于上述停滞现象可能引起停滞问题并且执行停滞排除(standstillelimination)以阻止停滞问题。请参考图6，上述关于停滞排除的某些实施例将在下面段落中进行描述。
图6是根据本发明实施例描述的关于图2所示方法200的工作流程图330，其中可应用延迟跳变操作以阻止停滞问题。
在步骤332，处理电路110执行音频与视频播放。典型地，处理电路110同时执行音频播放与视频播放。
在步骤334，处理电路110确定有关音频播放与视频播放的上述不同步状态（在图6中标注为“AV不同步”）是否存在。当检测到不同步状态存在时，进入步骤336；否则重新进入步骤332。
在步骤336，处理电路110确定上述不同步状态的不同步指数是否超出了最大允许不同步值（在图6中标注为“超出最大AV同步误差值”）。当检测到不同步指数超出最大允许不同步值时，进入步骤340；否则进入步骤338。
在步骤338，处理电路110确定上述的场景切换是否存在。当检测到存在场景切换时（在图6中标注为“检测到场景切换”），进入步骤340；否则，重新进入步骤332。
在步骤340，处理电路110确定上述的停滞现象是否存在，并且更特别地，确定在跳变后停滞现象是否将要发生（图6中标注为“跳变后停滞存在”）。当检测到停滞现象存在时，即如果现在执行跳变操作，用户可遇到上述停滞问题时，进入步骤342以阻止停滞问题；否则进入步骤344。
在步骤342，处理电路110延迟触发视频播放的跳变操作（图6中标注为“延迟跳变”）。
在步骤344，处理电路110触发视频播放的跳变操作（图6中标注为“跳变至目标帧”），从而跳变至上述的目标帧（例如关键帧）。
如图6所揭露，工作流程图330中，可在步骤334与步骤338之间安排步骤336，其中该安排可防止在某些情况下（例如长时间未检测到场景切换的情况下）步骤338阻挡了步骤340。上述只是为了描述的目的，并非对本发明的限制。根据本实施例的变化例，可省略步骤336，其中从步骤334的下箭头直接指向步骤338。上述变化例的相似描述将不再赘述。
图7是根据图6所示实施例描述的关于图2所示方法200的时序控制方案示意图。在图7所示的时序控制方案中，为了方便理解，描述了包含停滞检测阶段(1)、停滞排除阶段(2)、帧跳变触发阶段(3)的多个阶段，其中先进入停滞检测阶段(1)，然后是停滞排除阶段(2)，最后为帧跳变触发阶段(3)（图7中标注为“时间序列：(1)→(2)→(3)”）。
在停滞检测阶段(1)，处理电路110检测图5所示情况下的停滞现象，并且因此预测由于停滞现象可能发生停滞问题以及需要确定执行阻止停滞问题的上述停滞排除。当刚检测到停滞现象的时候，时刻current_video_time与时刻current_audio_time的各自数值（其在图5所示实施例中揭露）可分别重写为符合停滞检测阶段(1)符号T1Video与T1Audio。
在停滞排除阶段(2)，处理电路110执行上述停滞排除以阻止停滞问题。更特别地，在处理电路110的控制下，装置100继续视频解码，从而排除如果立即执行跳变操作可能引起上述停滞问题的上述停滞现象（图7中标注为“继续视频解码以排除由于跳变可能造成的停滞”）。处理电路110可根据下面内容确定触发跳变操作的时刻T2Audio：
T2Audio=T1Audio+M；
其中符号M表示步骤342中延迟触发跳变操作的延迟时间。
在帧跳变触发阶段(3)，既然触发跳变操作已经延迟延迟时间M，则处理电路110触发跳变操作（图7中标注为“触发帧跳变过程”）。
图8是根据本发明另一实施例描述的关于图2所示方法200的工作流程图350。
在步骤352，处理电路110执行音频与视频播放。典型地，处理电路110同时执行音频播放与视频播放。
在步骤354，处理电路110确定有关音频播放与视频播放的上述不同步状态（在图8中标注为“AV不同步”）是否存在。当检测到不同步状态存在时，进入步骤356；否则重新进入步骤352。
在步骤356，处理电路110确定上述不同步状态的不同步指数是否超出了最大允许不同步值（在图8中标注为“超出最大AV同步误差值”）。当检测到不同步指数超出最大允许不同步值时，进入步骤360；否则进入步骤358。
在步骤358，处理电路110确定上述的场景切换是否存在。当检测到存在场景切换时（在图8中标注为“检测到场景切换”），进入步骤360；否则，重新进入步骤352。
在步骤360，处理电路110确定上述的停滞现象是否存在，并且更特别地，确定立即触发帧跳变操作后是否将出现上述的停滞问题（图8中标注为“帧跳变后发生视频停滞？”）。当检测到停滞现象存在时，即如果立即执行跳变操作，用户可遇到上述停滞问题时，进入步骤362以阻止停滞问题；否则重新进入步骤352。
在步骤362，处理电路110通过改变上述待播放的解码音频数据与解码视频数据的至少一个时间戳执行时间戳调整，从而流畅地播放视频与音频。例如，处理电路110可改变要播放的解码视频数据的某些时间戳，从而可调整视频播放的时序以排除停滞现象。在另一示例中，处理电路110可改变待播放的解码音频数据的某些时间戳，从而可调整音频播放的时序以排除停滞现象。
在步骤364，处理电路110触发跳变操作（图8中标注为“触发帧跳变”）。
如图8所揭露，工作流程图350中，可在步骤354与步骤358之间安排步骤356，其中该安排可防止在某些情况下（例如长时间未检测到场景切换的情况下）步骤358阻挡了步骤360。上述只是为了描述的目的，并非对本发明的限制。根据本实施例的变化例，可省略步骤356，其中从步骤354的下箭头直接指向步骤358。上述变化例的相似描述将不再赘述。
图9是根据图8所示实施例描述的关于图2所述方法200的某些实施例细节。X轴表示音频时序，以及Y轴表示正在播放帧的时间戳的视频时间TVideo与正在播放音频内容的时间戳的音频时间TAudio之间的时间差（TVideo-TAudio）。
根据本实施例，未经过步骤362所述的时间戳调整的情况下，时间差（TVideo-TAudio）的曲线（图9中曲线标注为“在时间戳调整前”）频繁地突然升高，其中图9中高于Y轴零点的突然升高边可作为上述停滞现象的示例。请注意，上述突然升高边分别近似达到500，每个突然升高边具有太高的大于零的顶点，这意味着突然升高边表示的停滞问题对于用户是不可接受的。另外，经过步骤362所述的时间戳调整的情况下，时间差（TVideo-TAudio）的曲线（图9中曲线标注为“在时间戳调整后”）不具有任何其顶点高于零的突然升高边，这意味着可通过步骤362所述的时间戳调整来排除停滞现象。
图10是根据本发明另一实施例描述的关于图2所示方法200的工作流程图370。
在步骤372，处理电路110执行音频与视频播放。典型地，处理电路110同时执行音频播放与视频播放。
在步骤374，处理电路110确定有关音频播放与视频播放的上述不同步状态（在图10中标注为“AV不同步”）是否存在。当检测到不同步状态存在时，进入步骤376；否则重新进入步骤372。
在步骤376，处理电路110确定是否存在一个或者多个候选音频帧，并且更特别地，确定是否找到一个或者多个候选音频帧（图10中标注为“发现候选音频帧”）。当检测到已经找到一个或者多个候选音频帧时，进入步骤378；否则，重新进入步骤372。
在步骤378，处理电路110执行类似上述临时音频暂停操作的音频暂停操作，从而控制音频播放与视频播放的时序同步。
图11是根据图10所示实施例描述的关于图2所示方法200的时序控制方案示意图。如图11所示，存在像某些准静音帧（即上述实施例提到的音频强度小于预定阈值的某些帧）及/或某些静音帧的多个候选帧。另外，图11存在某些非候选帧，例如某些帧既不是准静音帧又不是静音帧。此外，当认定音频暂停旗标(audio pause flag)以触发步骤378所述的音频暂停操作时，开始待考虑的音频帧（图11中标注为“开始音频暂停”），并且当不认定上述音频暂停旗标时停止上述待考虑的音频帧（图11中标注为“结束音频暂停”）。
根据本实施例，处理电路110通过插入某些静音帧执行音频暂停操作，从而为未完成以及滞后解码（尤其是未完成与滞后的视频解码）取得额外的时间。作为步骤378所示的音频暂停操作的结果，音频时间与视频时间皆经过转移，并且皆可被看作在转移时间(TCLOCK-TDUMMY_FRAME)，其中符号TCLOCK与TDUMMY_FRAME分别代表时钟时间以及插入静音帧的总时间。在本实施例中，静音帧紧挨着例如准静音帧及/或静音帧的候选帧，既然是不知不觉地暂停音频，所以对用户体验不会有任何影响。
图12是根据图11所示实施例描述的关于图2所示方法200的音频波形实施例。作为插入静音帧的结果，如图12所示，在原始波形的第一部分与第二部分之间插入平坦曲线以产生出改良波形。因此，暂停音频（或者音频播放），并且处理电路110可为恢复音频播放与视频播放的同步状态取得额外时间（图12中标注为“AV同步”）。
本发明的优势在于，作为执行跳变操作的时序控制的结果，用户可感觉不到跳变操作。另外，本发明的方法与装置允许用户在不遇到任何现有技术问题与副作用的情况下欣赏多媒体音视频。
本发明虽以较佳实施例揭露如上，但是其并非用以限定本发明的范围，任何熟悉此项技术者，在不脱离本发明的精神和范围内，做均等的变化与修饰，皆属于本发明的涵盖范围。

Claims (21)

1.一种执行多媒体播放控制的方法，应用于电子装置，该执行多媒体播放控制的方法包含：
确定关于音频播放与视频播放的不同步状态是否存在；以及
当检测到存在该不同步状态时，根据场景切换检测结果与停滞检测结果中的至少一个控制该视频播放的跳变触发与程序。
2.如权利要求1所述的执行多媒体播放控制的方法，其特征在于，该确定关于音频播放与视频播放的不同步状态是否存在的步骤进一步包含：
通过分别比较待播放的解码音频数据与解码视频数据的时间戳和参考时间，确定是否存在该不同步状态。
3.如权利要求1所述的执行多媒体播放控制的方法，其特征在于，该根据场景切换检测结果与停滞检测结果中的至少一个控制该视频播放的跳变触发与程序的步骤进一步包含：
执行该场景切换检测以确定是否存在场景切换；以及
当检测到存在该场景切换时，触发该视频播放的跳变操作。
4.如权利要求3所述的执行多媒体播放控制的方法，其特征在于，该根据场景切换检测结果与停滞检测结果中的至少一个控制该视频播放的跳变触发与程序的步骤进一步包含：
当检测到存在该场景切换时，触发该视频播放的该跳变操作以跳变至关键帧。
5.如权利要求1所述的在执行多媒体播放控制的方法，其特征在于，该根据场景切换检测结果与停滞检测结果中的至少一个控制该视频播放的跳变触发与程序的步骤进一步包含：
执行该停滞检测以确定是否存在停滞现象，从而确定是否延迟触发该视频播放的跳变操作。
6.如权利要求5所述的执行多媒体播放控制的方法，其特征在于，该根据场景切换检测结果与停滞检测结果中的至少一个控制该视频播放的跳变触发与程序的步骤进一步包含：
当检测到存在该停滞现象时，延迟触发该视频播放的该跳变操作。
7.如权利要求5所述的执行多媒体播放控制的方法，其特征在于，该根据场景切换检测结果与停滞检测结果中的至少一个控制该视频播放的跳变触发与程序的步骤进一步包含：
当未检测到存在该停滞现象时，触发该视频播放的该跳变操作。
8.如权利要求5所述的执行多媒体播放控制的方法，其特征在于，该根据场景切换检测结果与停滞检测结果中的至少一个控制该视频播放的跳变触发与程序的步骤进一步包含：
通过分析待播放的解码音频数据与解码视频数据的时间戳执行该停滞检测。
9.如权利要求1所述的执行多媒体播放控制的方法，进一步包含：
改变待播放的解码音频数据与解码视频数据的至少一个时间戳，从而控制该视频播放与该音频播放的时序同步。
10.如权利要求1所述的执行多媒体播放控制的方法，进一步包含：
检测是否存在候选音频帧；以及
当检测到存在该候选音频帧时，执行临时音频暂停操作，从而控制该视频播放与该音频播放的时序同步。
11.一种用于执行多媒体播放控制的装置，包含电子装置的至少一部分，该用于执行多媒体播放控制的装置包含：
时钟，配置以提供参考时间；以及
处理电路，配置以控制该电子装置的操作并且确定关于音频播放与视频播放的不同步状态是否存在；其中利用该参考时间确定该不同步状态是否存在，该处理电路根据场景切换检测结果与停滞检测结果中的至少一个控制该视频播放的跳变触发与程序。
12.如权利要求11所述的用于执行多媒体播放控制的装置，其特征在于，该处理电路通过分别比较待播放的解码音频数据与解码视频数据的时间戳和该参考时间，确定是否存在该不同步状态。
13.如权利要求11所述的用于执行多媒体播放控制的装置，其特征在于，该处理电路执行该场景切换检测以确定是否存在场景切换；以及当检测到存在该场景切换时，该处理电路触发该视频播放的跳变操作。
14.如权利要求13所述的用于执行多媒体播放控制的装置，其特征在于，当检测到存在该场景切换时，该处理电路触发该视频播放的该跳变操作以跳变至关键帧。
15.如权利要求11所述的用于执行多媒体播放控制的装置，其特征在于，该处理电路执行该停滞检测以确定是否存在停滞现象，从而确定是否延迟触发该视频播放的跳变操作。
16.如权利要求15所述的用于执行多媒体播放控制的装置，其特征在于，当检测到存在该停滞现象时，该处理电路延迟触发该视频播放的该跳变操作。
17.如权利要求15所述的用于执行多媒体播放控制的装置，其特征在于，当未检测到存在该停滞现象时，该处理电路触发该视频播放的该跳变操作。
18.如权利要求15所述的用于执行多媒体播放控制的装置，其特征在于，该处理电路通过分析待播放的解码音频与视频数据的时间戳执行该停滞检测。
19.如权利要求11所述的用于执行多媒体播放控制的装置，其特征在于，该处理电路改变待播放的解码音频与视频数据的至少一个时间戳，从而控制该视频播放与该音频播放的时序同步。
20.如权利要求11所述的用于执行多媒体播放控制的装置，其特征在于，该处理电路检测是否存在候选音频帧；以及当检测到存在该候选音频帧时，该处理电路执行临时音频暂停操作，从而控制该视频播放与该音频播放的时序同步。
21.一种执行多媒体播放控制的方法，应用于电子装置，该执行多媒体播放控制的方法包含：
检测是否存在候选音频帧；以及
当检测到存在该候选音频帧时，执行临时音频暂停操作，从而控制视频播放与音频播放的时序同步。
CN201210212486.6A 2012-03-25 2012-06-21 执行多媒体播放控制的方法及其装置 Expired - Fee Related CN103327368B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US13/429,436 US9143820B2 (en) 2012-03-25 2012-03-25 Method for performing fluent playback control in response to decoding status, and associated apparatus
US13/429,436 2012-03-25

Publications (2)

Publication Number Publication Date
CN103327368A true CN103327368A (zh) 2013-09-25
CN103327368B CN103327368B (zh) 2016-12-21

Family

ID=49195858

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210212486.6A Expired - Fee Related CN103327368B (zh) 2012-03-25 2012-06-21 执行多媒体播放控制的方法及其装置

Country Status (2)

Country Link
US (1) US9143820B2 (zh)
CN (1) CN103327368B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109471383A (zh) * 2018-10-29 2019-03-15 苏州金螳螂文化发展股份有限公司 时序控制方法、控制终端、受控设备及时序控制系统
CN109905763A (zh) * 2019-03-20 2019-06-18 四川长虹电器股份有限公司 优化播放器音频播放卡顿的方法
CN112367542A (zh) * 2020-10-21 2021-02-12 四川长虹电器股份有限公司 一种镜像投屏的终端播放系统及方法
CN113055711A (zh) * 2021-02-22 2021-06-29 迅雷计算机（深圳）有限公司 一种音视频同步检测方法及其检测系统

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101968526B1 (ko) * 2013-01-08 2019-04-12 엘지전자 주식회사 이동 단말기 및 그것의 제어 방법
CN104469487B (zh) * 2014-12-31 2019-02-12 优酷网络技术（北京）有限公司 一种场景切换点的检测方法及装置
CN106210846A (zh) * 2016-08-15 2016-12-07 深圳Tcl新技术有限公司 音视频播放方法及系统
CN106507217B (zh) * 2016-10-27 2019-07-02 腾讯科技（北京）有限公司 视频流的时间戳的处理方法和装置
CN110324643B (zh) 2019-04-24 2021-02-02 网宿科技股份有限公司 一种视频录制方法及系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010017978A1 (en) * 1994-06-24 2001-08-30 Mitsubishi Denki Kabushiki Kaisha Specially formatted optical disk and method of playback
US20010044711A1 (en) * 2000-03-29 2001-11-22 Ken Monda Method and apparatus for reproducing compressively coded data
US20020152083A1 (en) * 2001-02-06 2002-10-17 Miroslav Dokic Systems and methods for transmitting bursty-asnychronous data over a synchronous link
US20030021587A1 (en) * 2001-07-27 2003-01-30 Keishi Sugimoto Digital video recording/reproduction apparatus and program therefor
US20030063578A1 (en) * 2001-10-02 2003-04-03 Weaver Jeffrey S. System and method for comfort noise production
CN1589014A (zh) * 2004-07-30 2005-03-02 联合信源数字音视频技术（北京）有限公司 一种视频解码控制方法及装置
US20060078305A1 (en) * 2004-10-12 2006-04-13 Manish Arora Method and apparatus to synchronize audio and video
CN101119323A (zh) * 2007-09-21 2008-02-06 腾讯科技（深圳）有限公司 解决网络抖动的方法及装置
US20080259862A1 (en) * 2005-11-02 2008-10-23 Electronics And Telecommunications Research Institute Method for Scheduling in Mobile Communication and Apparatus Thereof

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008271253A (ja) * 2007-04-20 2008-11-06 Toshiba Corp ストリーム再生装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010017978A1 (en) * 1994-06-24 2001-08-30 Mitsubishi Denki Kabushiki Kaisha Specially formatted optical disk and method of playback
US20010044711A1 (en) * 2000-03-29 2001-11-22 Ken Monda Method and apparatus for reproducing compressively coded data
US20020152083A1 (en) * 2001-02-06 2002-10-17 Miroslav Dokic Systems and methods for transmitting bursty-asnychronous data over a synchronous link
US20030021587A1 (en) * 2001-07-27 2003-01-30 Keishi Sugimoto Digital video recording/reproduction apparatus and program therefor
US20030063578A1 (en) * 2001-10-02 2003-04-03 Weaver Jeffrey S. System and method for comfort noise production
CN1589014A (zh) * 2004-07-30 2005-03-02 联合信源数字音视频技术（北京）有限公司 一种视频解码控制方法及装置
US20060078305A1 (en) * 2004-10-12 2006-04-13 Manish Arora Method and apparatus to synchronize audio and video
US20080259862A1 (en) * 2005-11-02 2008-10-23 Electronics And Telecommunications Research Institute Method for Scheduling in Mobile Communication and Apparatus Thereof
CN101119323A (zh) * 2007-09-21 2008-02-06 腾讯科技（深圳）有限公司 解决网络抖动的方法及装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109471383A (zh) * 2018-10-29 2019-03-15 苏州金螳螂文化发展股份有限公司 时序控制方法、控制终端、受控设备及时序控制系统
CN109905763A (zh) * 2019-03-20 2019-06-18 四川长虹电器股份有限公司 优化播放器音频播放卡顿的方法
CN112367542A (zh) * 2020-10-21 2021-02-12 四川长虹电器股份有限公司 一种镜像投屏的终端播放系统及方法
CN113055711A (zh) * 2021-02-22 2021-06-29 迅雷计算机（深圳）有限公司 一种音视频同步检测方法及其检测系统

Also Published As

Publication number Publication date
US20130251343A1 (en) 2013-09-26
US9143820B2 (en) 2015-09-22
CN103327368B (zh) 2016-12-21

Similar Documents

Publication Publication Date Title
CN103327368A (zh) 执行多媒体播放控制的方法及其装置
CN107172454B (zh) 一种视频推荐方法、介质、装置和计算设备
US20170168542A1 (en) Method for playing video and electronic device
US10509588B2 (en) System and method for controlling memory frequency using feed-forward compression statistics
EP2712205A2 (en) Method and apparatus for image data processing, and electronic device including the apparatus
CN103957447A (zh) 悬浮多窗口播放系统
CN100504883C (zh) 用于多媒体字幕和音频描述的同步方案
KR101952260B1 (ko) 다수의 동영상 썸네일을 동시에 표시하기 위한 영상 재생 장치 및 방법
US20130145394A1 (en) Video providing textual content system and method
CN101743531A (zh) 使用用户运动输入用户命令的方法及其多媒体设备
CN103257821A (zh) 图像显示设备中改变字幕属性的装置和方法
US20140016910A1 (en) Electronic apparatus and control method of the same
US20140013192A1 (en) Techniques for touch-based digital document audio and user interface enhancement
KR101408021B1 (ko) 멀티미디어 파일 제어 과정에서 빠른 응답을 구현하는 방법 및 재생 장치
KR102355752B1 (ko) 인터액티브 시청각 무비를 플레잉하기 위한 장치 및 방법
CN106385628A (zh) 一种分析音视频不同步的装置及方法
CN102999327A (zh) 以压缩动画模式观看演示文稿
CN105577947A (zh) 控制方法及电子设备
CN101521782A (zh) 一种快进退浏览视频的方法、系统及多媒体设备
US9137483B2 (en) Video playback device, video playback method, non-transitory storage medium having stored thereon video playback program, video playback control device, video playback control method and non-transitory storage medium having stored thereon video playback control program
CN107295402A (zh) 视频解码方法及装置
CN101809999A (zh) 声音信号控制装置
CN110753251A (zh) 视频切换方法、装置及电子设备
CN103763438B (zh) 信息播报方法、装置及移动终端
JP2009177603A (ja) 情報処理装置および表示制御方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20220224

Address after: ottawa

Patentee after: Xueshan Technology Co.,Ltd.

Address before: China Taiwan Hsinchu Science Park Hsinchu city Dusing a road No.

Patentee before: MEDIATEK Inc.

CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20161221