CN108769815A - 视频处理方法及其装置 - Google Patents

Abstract

本发明提供一种视频处理方法及其装置，该视频处理方法由一处理器执行一操作系统，该操作系统包括一使用者空间与一内核空间，该方法包括：接收一视频；该使用者空间的一解码程序自一显示器取得该显示器的一目前垂直同步信号的发出时间；该解码程序解码该视频中的一视频帧，取得该视频帧标注的一应显示时间；当一目前时间早于该视频帧的该应显示时间时，根据该目前垂直同步信号的发出时间，计算该视频帧需要等待的一等待时间；当该等待时间结束，利用一渲染函数将该视频帧进行渲染；以及当该使用者空间的一显示程序接收一个垂直同步信号时，该显示程序将该视频帧输出至该显示器，以显示该视频帧。本发明能够改善视频播放延迟。

Description

视频处理方法及其装置

技术领域

本发明有关于视频处理方法，特别是有关于避免视频播放延迟的视频处理方法及其装置。

背景技术

Android操作系统是一种基于Linux核的开放原始码移动操作系统，主要设计用于移动装置，例如：智能手机及平板计算机等可携式电子装置。一般使用者经常通过上述的可携式电子装置观看一视频(video)。然而，若执行操作系统的处理器(例如：CPU)性能不佳，导致解码或解析视频的时间过长，则可能造成视频播放的延迟。

发明内容

本发明提供一种根据垂直同步信号动态调整解码程序的视频处理方法及其装置。

本发明提供一种视频处理方法，由一处理器执行一操作系统，该操作系统包括一使用者空间与一内核空间，该方法包括：接收一视频；该使用者空间的一解码程序自一显示器取得该显示器的一目前垂直同步信号的发出时间；该解码程序解码该视频中的一视频帧，取得该视频帧标注的一应显示时间；当一目前时间早于该视频帧的该应显示时间时，根据该目前垂直同步信号的发出时间，计算该视频帧需要等待的一等待时间；当该等待时间结束，利用一渲染函数将该视频帧进行渲染；以及当该使用者空间的一显示程序接收一个垂直同步信号时，该显示程序将该视频帧输出至该显示器，以显示该视频帧。

本发明还提供一种视频处理装置，包括：一处理器，耦接一显示器，该处理器执行一操作系统，该操作系统包括一使用者空间与一内核空间，该操作系统执行以下操作：接收一视频；该使用者空间的一解码程序自一显示器取得该显示器的一目前垂直同步信号的发出时间；该解码程序解码该视频中的一视频帧，取得该视频帧标注的一应显示时间；当一目前时间早于该视频帧的该应显示时间时，根据该目前垂直同步信号的发出时间，计算该视频帧需要等待的一等待时间；当该等待时间结束，利用一渲染函数将该视频帧进行渲染；以及当该使用者空间的一显示程序接收一个垂直同步信号时，该显示程序将该视频帧输出至该显示器，以显示该视频帧。

本发明能够改善视频播放延迟。

附图说明

图1是依据本发明一实施例的视频处理装置的软硬件架构的示意图。

图2是依据本发明第一实施例的视频处理装置的方块图。

图3A是依据本发明第一实施例的视频处理方法流程图。

图3B是依据本发明第一实施例的视频处理时序图。

图4是依据本发明第二实施例的视频处理装置的方块图。

图5A-1及图5A-2是依据本发明第二实施例的视频处理方法流程图。

图5B是依据本发明第二实施例的视频处理时序图。

其中，附图中符号的简单说明如下：100～软硬件架构；101～CPU；102～GPU；103～驱动器；104～显示程序；105～解码程序；106～媒体播放程序；200、400～视频处理装置；201、401～视频；202、402～处理器；203、403～解码程序；2031、4031～解码；2032、4032～视频帧；2033、4033～渲染；204、404～显示程序；2041、4041～缓冲队列；205、405～显示器；301、302、303、304、305、306、307、308、309、310、311～步骤；406～系结程序；501、502、503、504、505、506、507、508、509、510、511、512～步骤。

具体实施方式

为使本发明的上述和其他目的、特征和优点能更明显易懂，下文特举出较佳实施例，并配合所附图式，作详细说明如下。

必须了解的是，以下的揭露提供一或多实施例或范例，用以实现本发明的不同特征。以下揭露的特定的范例的元件以及安排用以简化本发明，当然，并非用以限定于这些范例。另外，图式中的特征并非按照比例绘制，仅用于解释说明的目的。

图1是依据本发明一实施例的视频处理装置的软硬件架构100的示意图。视频处理装置的处理器运行一操作系统，该操作系统可包括Android操作系统、Linux操作系统及Unix操作系统等，本发明不限于此。在本实施例中，视频处理装置的处理器运行Android操作系统，其软硬件架构100可以图1来表示。硬件层包括中央处理器101(CPU)及图形处理器102(graphics processing unit，GPU)，还可包括存储器、硬盘、显示器、输入/输出装置以及网络接口等等硬件元件。在硬件层之上包括显示驱动层，显示驱动层包括驱动器(driver)103，用以驱动及存取显示器。此外，软硬件架构100还包括显示合成层、视频解码层及应用层。显示合成层包括显示程序(display process)104，用以进行视频的显示步骤流程，在Android架构下显示程序在SurfaceFlinger内完成。SurfaceFlinger为Android用于管理图层整合的一种系统功能服务。而视频解码层包括解码程序(decoding process)105，用以进行视频的解析、解码步骤流程，在Android架构下解码程序在Mediaserver内完成。应用层可包括媒体播放程序106等应用程序，以供一使用者存取播放任意类型的视频档案。值得注意的是，在此架构下Android操作系统包括内核空间(kernel space)及使用者空间(user space)，硬件层及显示驱动层属于内核空间，相对地，显示合成层、视频解码层及应用层则属于使用者空间。内核空间是指当操作系统核载入时，在存储器中所切出来的专门提供给核使用的空间；使用者空间是指可以让使用者去修改编辑的数据空间，在这个空间，使用者可以设定、修改、新增所需要的功能。

接着，请参考图2。图2是依据本发明第一实施例的视频处理装置200的方块图。视频处理装置200包括一处理器202，处理器202耦接一显示器205。显示器205用以显示一视频。本实施例中，处理器202可以是一中央处理器(CPU)，处理器202执行一操作系统，操作系统可以是Android操作系统。在本实施例中，使用者通过视频处理装置200的媒体播放程序播放一视频201，视频处理装置200通过因特网或无线网络接收视频201。视频201可以是任何档案格式的视频，且该视频的每秒显示帧数(frames per second，FPS)可包括30FPS或29.97FPS的视频格式。视频201传送至处理器202的解码程序203进行视频解码程序，接着传送至显示程序204进行视频显示程序，最后送至显示器205以供使用者观看。

详细而言，Android操作系统在执行视频的解码及显示流程时，执行包括解码程序203及显示程序204等两个部分，然本发明不限于此。上述解码程序203及显示程序204皆为Android操作系统所提供的一种系统功能服务。首先解码程序203接收视频201后会先进行解码(decode)2031，以解码视频201中多个视频帧(video frame)2032，以取得各视频帧的应显示时间，并等待直到应显示时间时，再将各视频帧经由渲染(render)2033调整为适合显示器的显示画面，传送并暂存于显示程序204的缓冲队列(buffer queue)2041。接着，等待自显示器205取得的一垂直同步信号(vertical synchronization signal，以下简称Vsync)，一旦接收到垂直同步信号时，将应显示的视频帧传送至显示器205以显示该视频帧。其中，垂直同步信号(Vsync)显示器205在显示每一帧跟帧之间的垂直空白期间(vertical blanking period)所产生的一同步信号，用以与处理器202沟通目前的显示状态。一般而言，显示器205的显示更新频率(frame rate)是60Hz，亦即每一垂直同步信号的间隔时间是16.6667ms(即1000ms/60所得到的时间)。详细的视频处理流程将详述于后。

请参考图3A及图3B。图3A是依据本发明第一实施例的视频处理方法流程图，该视频处理方法由一处理器执行一操作系统。图3B是依据本发明第一实施例的视频处理时序图。配合参考图2的视频处理装置200，图3A的视频处理方法用于包括处理器202及显示器205的视频处理装置200。在图3A中，整个视频处理方法流程分为解码程序以及显示程序。在图3B中，为了理解清楚，将视频处理时序图区分为处理器202处理阶段以及显示器205显示阶段。

在步骤301中，视频处理装置200接收一视频。视频包括多个视频帧，其中每一视频帧皆有其对应的应显示时间。

在步骤302中，解码程序203解码该视频中的一视频帧，以取得该视频帧标注的一应显示时间(DisplayTime)。举例而言，在图3B中，视频具有至少五个视频，而在解码完第五个视频帧时，解码程序203取得第五个视频帧的应显示时间。

在步骤303中，在取得该应显示时间后，取得一目前时间(NowTime)。亦即在图3B中所标示的目前时间。

在步骤304中，解码程序203判断该目前时间是否早于该视频帧的该应显示时间。

在步骤305中，当该目前时间不早于该视频帧的该应显示时间时，亦即当该目前时间等于或晚于该视频帧的该应显示时间时，则接收晚于该视频帧的另一视频帧。也就是进行丢帧处理，以快进到适合的视频帧时间。

在步骤306中，当该目前时间早于该视频帧的该应显示时间时，则解码程序203会等待一时间，该等待时间为该应显示时间减去该目前时间(亦即DisplayTime-NowTime)。在Android操作系统中，等待一时间的实现方式例如使用sleep、usleep、nanosleep等函数实现。在等待时间结束时，解码程序203可立起一旗帜(flag)，如图3B中所标示(图3B中仅示出对应第五个视频帧的旗帜)。

在步骤307中，当等待时间结束，利用一渲染函数将该视频帧进行渲染，以将该视频帧调整成显示器205适合的显示画面。其实现方式可以例如是呼叫(call)AwesomeNativeWindowRenderer的render函数以将该视频帧进行渲染。至此，解码程序结束，接着进行显示程序。

在步骤308中，显示程序204将该视频帧暂存于一缓冲队列，以等待适合送至显示器205的时间点。其实现方式可以例如是在显示程序204创建一个对应的BufferQueue，通过mNativeWindow->queueBuffer及BufferQueue::queueBuffer等语法，将BufferQueue更新。

在步骤309中，当该等待时间结束，显示程序204判断是否接收一个垂直同步信号(NextVsync)。前述一个垂直同步信号从显示器205取得，也就是当显示器205已完成当前显示的视频帧，在垂直空白期间发出的一个垂直同步信号。

在步骤310中，当未接收到一个垂直同步信号时，则继续等待下一个垂直同步信号，回到步骤309中。

在步骤311中，当已接收该一个垂直同步信号时，将该视频帧输出至该显示器205，以显示该视频帧。在本实施例中，如图3B所示，显示程序204一旦接收到等待时间结束旗帜立起后的一个垂直同步信号(NextVsync)后，即将该第五个视频帧输出至显示器205，显示器205在适当的时间显示该第五个视频帧。

值得注意的是，在上述实施例中，如步骤306所言，Android操作系统使用sleep、usleep、nanosleep等函数实现等待一时间的需求，然而，这些sleep函数却无法做到精确的时间长度。再者，解码程序203专门开启一个TimeEventThread的程序来处理视频的等待时间程序，此程序的调用也需要消耗时间。因此，对于30FPS的视频而言，显示的间隔时间应为1000ms/30，约等于33.333ms；而对于29.97FPS的视频而言，显示的间隔时间应为1000ms/29.97，约等于33.367ms。对此，解码程序203无法做到准确地在33.333ms或33.367ms等时间间隔将各视频帧送到显示程序204进行显示流程。

此外，在步骤307及显示程序的步骤308～步骤311中，将视频帧渲染与暂存于缓冲队列以及等待一个垂直同步信号亦需要一些处理时间，该处理时间取决于处理器性能。一般而言，前述处理时间可假设需要1ms。实际上，处理器的性能不同，每一次需要更新的视频数量也不同，将导致所需的处理时间不能确定。当显示程序204接收到等待时间结束旗帜立起的时间过晚，使得与一个垂直同步信号的时间间隔过短(例如：小于1ms)，将进入步骤310，只能等待下一个垂直同步信号来显示该视频帧。如此，视频就晚了一个垂直同步信号的时间显示，将导致视频的延迟。

为了改善上述实施例可能发生的视频延迟现象，本发明提出第二实施例的视频处理方法及其视频处理装置。图4是依据本发明第二实施例的视频处理装置400的方块图。图4与图2相同的方块、元件其功能如上所述，在此不再重复赘述。其差异在于，图4的处理器402在解码程序403中，通过使用者空间的执行程序间通信(Inter Process Communication，IPC)的一系结程序(binder)406，用以自显示程序404取得显示程序404自显示器405取得该显示器405的一目前垂直同步信号的发出时间(Vsynctime)。因为负责显示的显示程序404直接与显示器405沟通，其可以比解码程序403更有效率地取得该显示器405的目前垂直同步信号的发出时间。解码程序403并根据该目前垂直同步信号的发出时间，调整进行渲染与传送至显示程序404的缓冲队列4041的时间，借此改善上述可能的延迟视频现象。

更进一步地，解码程序403取得该目前垂直同步信号发出时间的方法不限于此，还可包括对于操作系统中内核空间的显示驱动层的一驱动器，产生一命令码，使该驱动器执行该命令码以取得该目前垂直同步信号的发出时间。并通过内核空间与使用者空间之间的ioctl接口来直接提供该目前垂直同步信号的发出时间至解码程序403。

请参考图5A-1、图5A-2及图5B。图5A-1及图5A-2是依据本发明第二实施例的视频处理方法流程图，该视频处理方法由一处理器执行一操作系统。图5B是依据本发明第二实施例的视频处理时序图。配合参考图4的视频处理装置400，图5A-1及图5A-2的视频处理方法用于包括处理器402及显示器405的视频处理装置400。图5A-1及图5A-2与图3A相同步骤其内容如上所述，在此不再重复赘述。其差异在于，Android操作系统的解码程序403在一视频开始时通过执行一系结程序(binder)406，使解码程序403在步骤512时，即可自显示程序404取得显示程序404自显示器405取得该显示器405的目前垂直同步信号的发出时间(Vsynctime)，并根据该目前垂直同步信号的发出时间，计算视频帧需要等待的一等待时间。其中，系结程序也是一种Android操作系统提供的系统功能服务，其目的在于进行使用者空间的程序之间的通信，用以传输所需数据。

接着，解码程序403在步骤506时计算该视频帧需要等待的一等待时间，并等待该等待时间。该等待时间根据该视频帧的应显示时间(DisplayTime)比较该目前垂直同步信号的发出时间，得出该视频帧应在该目前垂直同步号发出后的第m个垂直同步信号及第m+1个垂直同步信号区间输出，并在该第m个垂直同步信号的发出时间加上一安全时间再减去目前时间(NowTime)，以得出该等待时间，其中m为零或正整数。在本实施例中，因为显示器405的显示更新频率是60Hz，其每一显示帧(其各自对应一垂直同步信号)的间隔时间是16.6667ms，因此该安全时间可设为大约是该些垂直同步信号的间隔时间的一半，例如8ms，以确保该视频帧得以在第m+1个垂直同步信号后正确显示。解码程序403并在步骤506等待该等待时间。

配合参考图5B，在解码程序403解码完视频的第五个视频且判断目前时间早于该第五个视频帧的应显示时间时后，解码程序403根据该第五个视频帧的应显示时间判定应在该目前垂直同步信号的发出时间后的第m个垂直同步信号及第m+1个垂直同步信号(如图5B所标示的Vm及Vm+1)区间输出。此时，解码程序403计算等待时间应为在该第m个垂直同步信号的发出时间加上一安全时间(例如：8ms)再减去该目前时间。当等待时间结束后，解码程序403立起旗帜，如图5B中所标示(图5B中仅示出对应第五个视频帧的旗帜)。继续进行后续的显示程序步骤(即步骤507之后的渲染等步骤)，使得显示器405得以在第m+1个垂直同步信号(Vm+1)发出后，能正确无延迟地将第五个视频帧显示。

另外，举例说明如何得到视频帧应显示的区间，假设一视频帧的应显示时间减去目前垂直同步信号的发出时间，再除以每一显示帧的间隔时间16.6667ms，所得到结果是33.4，则表示该视频帧应在该目前垂直同步信号后的第33个垂直同步信号及第34个垂直同步信号的区间内完成渲染与传送至显示程序404。而开始进行渲染与传送至显示程序404的时间应为第33个垂直同步信号的发出时间再加上安全时间(例如：8ms)。因此，该视频帧的等待时间为在第33个垂直同步信号的发出时间加上该安全时间再减去该目前时间，即为Vsynctime+33*16.6667+8ms-NowTime。上述Vsynctime+33*16.6667即表示第33个垂直同步信号的发出时间。等到该等待时间结束，将该视频帧进行渲染与传送至显示程序404，即可使该视频帧确保在应显示的时间正确显示。不过，若视频格式是29.97FPS(每视频帧的时间间隔33.367ms)，与显示器的显示更新频率60Hz的两个显示帧时间(33.333ms)不一致，因此每过一段时间(约500帧)还是会因为等待时间过短而必须延迟一帧。然而，每500帧延迟一次是我们肉眼所无法分辨的，因此上述解决方案仍是可以接受的。

综上所述，本发明提供的视频处理方法及其视频处理装置结合了垂直同步信号的发出时间，动态调整视频帧在解码程序的等待时间及送去显示程序的时间，从根本上解决了视频播放延迟的问题，以提供使用者更好的影音体验。

此外，虽然图3A、图5A-1及图5A-2的方法流程图采用指定的顺序来执行，但是在不违法发明精神的情况下，本领域技术人员可以在达到相同效果的前提下，修改这些步骤间的顺序。所以，本发明并不局限于仅使用如上所述的顺序。此外，本领域技术人员亦可以将若干步骤整合为一个步骤，或者是除了这些步骤外，循序或平行地执行更多步骤，本发明亦不因此而局限。

以上所述仅为本发明较佳实施例，然其并非用以限定本发明的范围，任何熟悉本项技术的人员，在不脱离本发明的精神和范围内，可以在此基础上做进一步的改进和变化，因此本发明的保护范围应当以本申请的权利要求书所界定的范围为准。

Claims (12)

1.一种视频处理方法，其特征在于，由处理器执行操作系统，该操作系统包括使用者空间与内核空间，该方法包括：

接收视频；

该使用者空间的解码程序自显示器取得该显示器的目前垂直同步信号的发出时间；

该解码程序解码该视频中的视频帧，取得该视频帧标注的应显示时间；

当目前时间早于该视频帧的该应显示时间时，根据该目前垂直同步信号的发出时间，计算该视频帧需要等待的等待时间；

当该等待时间结束时，利用渲染函数将该视频帧进行渲染；以及

当该使用者空间的显示程序接收一个垂直同步信号时，该显示程序将该视频帧输出至该显示器，以显示该视频帧。

2.根据权利要求1所述的视频处理方法，其特征在于，计算该视频帧需要等待的等待时间的步骤还包括：根据该应显示时间比较该目前垂直同步信号的发出时间，得出该视频帧应在该目前垂直同步号发出后的第m个垂直同步信号及第m+1个垂直同步信号区间输出，并在该第m个垂直同步信号的发出时间加上安全时间再减去该目前时间，以得出该等待时间，其中m为零或正整数。

3.根据权利要求1所述的视频处理方法，其特征在于，该解码程序取得该显示器的该目前垂直同步信号的发出时间的步骤还包括：该解码程序通过该使用者空间的执行程序间通信的系结程序，用以自该显示程序取得该显示程序自该显示器取得的该目前垂直同步信号的发出时间。

4.根据权利要求1所述的视频处理方法，其特征在于，该内核空间具有驱动器，其中该解码程序取得该显示器的该目前垂直同步信号的发出时间的步骤还包括：该解码程序产生命令码使该驱动器取得该目前垂直同步信号的发出时间并通过该内核空间与该使用者空间之间的接口提供该目前垂直同步信号的发出时间至该解码程序。

5.根据权利要求1所述的视频处理方法，其特征在于，还包括：进行渲染后再由该显示程序将该视频帧暂存于缓冲队列。

6.根据权利要求2所述的视频处理方法，其特征在于，该安全时间约为该垂直同步信号的间隔时间的一半。

7.一种视频处理装置，其特征在于，包括：

处理器，耦接显示器，该处理器执行操作系统，该操作系统包括使用者空间与内核空间，该操作系统执行以下操作：

接收视频；

该使用者空间的解码程序自显示器取得该显示器的目前垂直同步信号的发出时间；

该解码程序解码该视频中的视频帧，取得该视频帧标注的应显示时间；

当目前时间早于该视频帧的该应显示时间时，根据该目前垂直同步信号的发出时间，计算该视频帧需要等待的等待时间；

当该等待时间结束时，利用渲染函数将该视频帧进行渲染；以及

当该使用者空间的显示程序接收一个垂直同步信号时，该显示程序将该视频帧输出至该显示器，以显示该视频帧。

8.根据权利要求7所述的视频处理装置，其特征在于，计算该视频帧需要等待的等待时间的操作还包括：根据该应显示时间比较该目前垂直同步信号的发出时间，得出该视频帧应在该目前垂直同步号发出后的第m个垂直同步信号及第m+1个垂直同步信号区间输出，并在该第m个垂直同步信号的发出时间加上安全时间再减去该目前时间，以得出该等待时间，其中m为零或正整数。

9.根据权利要求7所述的视频处理装置，其特征在于，该解码程序取得该显示器的该目前垂直同步信号的发出时间的操作还包括：该解码程序通过该使用者空间的执行程序间通信的系结程序，用以自该显示程序取得该显示程序自该显示器取得的该目前垂直同步信号的发出时间。

10.根据权利要求7所述的视频处理装置，其特征在于，该内核空间具有驱动器，其中该解码程序取得该显示器的该目前垂直同步信号的发出时间的操作还包括：该解码程序产生命令码使该驱动器取得该目前垂直同步信号的发出时间并通过该内核空间与该使用者空间之间的接口提供该目前垂直同步信号的发出时间至该解码程序。

11.根据权利要求7所述的视频处理装置，其特征在于，该操作系统执行的操作还包括：进行渲染后再由该显示程序将该视频帧暂存于缓冲队列。

12.根据权利要求8所述的视频处理装置，其特征在于，该安全时间约为该垂直同步信号的间隔时间的一半。