CN105208395A - 对安卓系统硬件视频解码的时间戳进行纠错的方法及系统 - Google Patents

Abstract

本申请公开了一种对安卓系统硬件视频解码的时间戳进行纠错的方法及系统，方法为正确的显示时间戳计算步骤：对每个视频压缩帧，在将其输入到OMX？Codec(开放多媒体加速层编码器)进行视频解码前，对其头信息进行解析，得到每个视频压缩帧对应的正确的显示时间戳；显示时间戳对应处理步骤：按照解码顺序，将每个视频压缩帧进行顺序编号，并将计算出的正确的显示时间戳和与其对应的视频压缩帧的顺序号组成数对，记为(Pts_n，n)，并将各数对保存到由数对组成的数对列表中；视频解码步骤：将视频压缩帧输入到OMX？Codec进行视频解码等内容。解决现有技术中采用OMX？Codec开发媒体播放器时，无法实现正常的音视频同步处理的问题。

Description

对安卓系统硬件视频解码的时间戳进行纠错的方法及系统

技术领域

本申请涉及多媒体信息处理技术领域，具体地说，涉及一种对安卓系统硬件视频解码的时间戳进行纠错的方法及系统。

背景技术

当前，移动手机操作系统的诞生引发了手机等移动终端的智能化，其中有代表性的是安卓(Android)系统以及苹果的IOS系统。安卓系统在近几年内得到了迅速发展。

OMXCodec是安卓系统底层提供的进行视频解码的硬件加速接口。由于市面上的Android系统的实施除了依赖于Android系统的版本，还依赖于各个手机厂家的实现。现有技术在采用OMXCodec开发的媒体播放器时，通常对OMXCodec输出的视频显示时间戳不做处理，直接使用。这就造成了部分Android系统对OMXCodec接口实现有误差，甚至有错误。其中采用OMXCodec解码视频后输出了错误的视频显示时间戳是最常见的错误，这给采用OMXCodec开发的媒体播放器带来了极大的适配难度。上述显示时间戳Pts被用来与音频显示时间戳同步，来保证媒体播放中的音画同步。

另外，由于视频编码通常会采用前后帧参考的预测策略，造成部分视频码流中，压缩帧的解码顺序与显示顺序不一致。而且，由于安卓手机厂商很多，对视频来说，解码输出有的是按解码序输出，有的是显示序输出。有很大部分厂商的手机无论按解码序输出还是按显示序输出，其时间戳都是错误的，无法实现正常的音视频同步处理。上述解码顺序是指压缩帧在解码器中被正确解码的顺序；显示顺序是指压缩帧在被解码器正确解码成无压缩帧后，无压缩帧正确显示输出的顺序。

因此，现有技术的缺陷在于：现有技术在采用OMXCodec开发媒体播放器时，对OMXCodec输出的视频显示时间戳没有进行错误判断处理，直接与音频显示时间戳同步，进行媒体内容播放。这造成对OMXCodec输出错误显示时间戳的Android系统上，采用OMXCodec开发的媒体播放器无法正常播放媒体内容。

发明内容

有鉴于此，本申请所要解决的技术问题是提供了一种对安卓系统硬件视频解码的时间戳进行纠错的方法及系统，解决现有技术中采用OMXCodec开发媒体播放器时，无法实现正常的音视频同步处理的问题。

为了解决上述技术问题，本申请有如下技术方案：

一种对安卓系统硬件视频解码的时间戳进行纠错的方法，其特征在于，包括：

正确的显示时间戳计算步骤：对每个视频压缩帧，在将其输入到OMXCodec(开放多媒体加速层编码器)进行视频解码前，对其头信息进行解析，得到每个视频压缩帧对应的正确的显示时间戳；

显示时间戳对应处理步骤：按照解码顺序，将每个视频压缩帧进行顺序编号，并将计算出的正确的显示时间戳和与其对应的视频压缩帧的顺序号组成数对，记为(Pts_n，n)，并将各数对保存到由数对组成的数对列表中；

视频解码步骤：将视频压缩帧输入到OMXCodec进行视频解码；

显示时间戳替换处理步骤：对OMXCodec输出解码后的无压缩帧进行处理，若为按照解码序输出，则按照解码序输出时的替换方法用正确的显示时间戳替换由OMXCodec输出的显示时间戳；若为按照显示序输出，则按照显示序输出时的替换方法用正确的显示时间戳替换由OMXCodec输出的显示时间戳。

优选地，其中，所述显示时间戳替换步骤中，OMXCodec输出解码后的无压缩帧，若按照解码序输出，则按照解码序输出时的替换方法用正确的显示时间戳替换由OMXCodec输出的显示时间戳，进一步为：

若OMXCodec是按照解码序输出解码后的无压缩帧的，则对于第m个输出的帧，通过在数对列表中查找顺序号为m的数对(Pts_m，m)，得到该第m个输出的帧正确的显示时间戳Pts_m，替换由OMXCodec输出的显示时间戳，时间戳的数对维持在一个窗口范围内，超出部分从时间戳数对列表中去掉。

优选地，其中，所述显示时间戳替换步骤中，OMXCodec输出解码后的无压缩帧，若为按照显示序输出，则按照显示序输出时的替换方法用正确的显示时间戳替换由OMXCodec输出的显示时间戳，进一步为：

若OMXCodec是按照显示序输出解码后的无压缩帧的，则对于第1个输出的帧，通过在数对列表中查找显示时间戳最小的数对得到此帧正确的显示时间戳替换由OMXCodec输出的显示时间戳，然后将此数对从数对列表中去掉；对于第2个输出的帧，通过在数对列表中查找剩余数对中显示时间戳最小的数对得到此帧正确的显示时间戳替换由OMXCodec输出的显示时间戳，然后将此数对再从数对列表中去掉；以此类推，对于第n个输出的帧，通过在数对列表中查找剩余数对中显示时间戳最小的数对得到此帧正确的显示时间戳替换由OMXCodec输出的显示时间戳，然后将此数对从数对列表中去掉。

为了解决上述技术问题，本申请还有如下技术方案：

一种安卓系统中对视频解码过程中产生的错误时间戳进行纠正的系统，其特征在于，包括：正确的显示时间戳计算模块、显示时间戳对应处理模块、视频解码模块、显示时间戳替换处理模块，其中，

所述正确的显示时间戳计算模块，用于对每个视频压缩帧，在将其输入到OMXCodec进行视频解码前，对其头信息进行解析，得到每个视频压缩帧对应的正确的显示时间戳；

所述显示时间戳对应处理模块，用于按照解码顺序，将每个视频压缩帧进行顺序编号，并将计算出的正确的显示时间戳和与其对应的视频压缩帧的顺序号组成数对，记为(Pts_n，n)，并将各数对保存到由数对组成的数对列表中；

所述视频解码模块，用于将视频压缩帧输入到OMXCodec进行视频解码；

所述显示时间戳替换处理模块，用于对OMXCodec输出解码后的无压缩帧进行处理，若为按照解码序输出，则按照解码序输出时的替换方法用正确的显示时间戳替换由OMXCodec输出的显示时间戳；若为按照显示序输出，则按照显示序输出时的替换方法用正确的显示时间戳替换由OMXCodec输出的显示时间戳。

与现有技术相比，本申请所述的方法和系统，达到了如下效果：

第一，本发明中，对视频压缩帧的头信息进行解析，得到每个视频压缩帧对应的正确的显示时间戳，并能够用正确的显示时间戳替换由OMXCodec输出的显示时间戳，从而能够实现正常的音视频同步处理，使得采用OMXCodec开发的媒体播放器能够正常播放媒体内容。

第二，本发明由于能够正确获取每帧视频的显示时间戳，因而大大提升了采用OMXCodec开发的视频播放器在各版本的安卓平台上的适配能力。

第三，本发明并不受OMXCodec输出解码后的无压缩帧的方式的限制，无论是按照解码序输出，还是按照显示序输出，均能够将由OMXCodec输出的显示时间戳替换为正确的显示时间戳，均能实现音视频的同步播放。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1为本发明的所述一种对安卓系统硬件视频解码的时间戳进行纠错的方法的一种实施例的流程图；

图2为本发明的所述一种对安卓系统硬件视频解码的时间戳进行纠错的方法的另一种实施例的流程图。

具体实施方式

如在说明书及权利要求当中使用了某些词汇来指称特定组件。本领域技术人员应可理解，硬件制造商可能会用不同名词来称呼同一个组件。本说明书及权利要求并不以名称的差异来作为区分组件的方式，而是以组件在功能上的差异来作为区分的准则。如在通篇说明书及权利要求当中所提及的“包含”为一开放式用语，故应解释成“包含但不限定于”。“大致”是指在可接收的误差范围内，本领域技术人员能够在一定误差范围内解决所述技术问题，基本达到所述技术效果。此外，“耦接”一词在此包含任何直接及间接的电性耦接手段。因此，若文中描述一第一装置耦接于一第二装置，则代表所述第一装置可直接电性耦接于所述第二装置，或通过其他装置或耦接手段间接地电性耦接至所述第二装置。说明书后续描述为实施本申请的较佳实施方式，然所述描述乃以说明本申请的一般原则为目的，并非用以限定本申请的范围。本申请的保护范围当视所附权利要求所界定者为准。

实施例1

参见图1所示为对安卓系统硬件视频解码的时间戳进行纠错的方法的一种具体实施例，该实施例中，OMXCodec是按照解码序输出解码后的无压缩帧的，本实施例中所述方法包括以下步骤：

步骤101、正确的显示时间戳计算步骤：对每个视频压缩帧，在将其输入到OMXCodec(OpenMediaAcceleartionCodec，开放多媒体加速层编码器)进行视频解码前，对其头信息进行解析，得到每个视频压缩帧对应的正确的显示时间戳；

步骤102、显示时间戳对应处理步骤：按照解码顺序，将每个视频压缩帧进行顺序编号，并将计算出的正确的显示时间戳和与其对应的视频压缩帧的顺序号组成数对，记为(Pts_n，n)，并将各数对保存到由数对组成的数对列表中；

步骤103、视频解码步骤：将视频压缩帧输入到OMXCodec进行视频解码；

步骤104、显示时间戳替换处理步骤：对OMXCodec输出解码后的无压缩帧进行处理，若为按照解码序输出，则按照解码序输出时的替换方法用正确的显示时间戳替换由OMXCodec输出的显示时间戳；具体为：若OMXCodec是按照解码序输出解码后的无压缩帧的，则对于第m个输出的帧，通过在数对列表中查找顺序号为m的数对(Pts_m，m)，得到该第m个输出的帧正确的显示时间戳Pts_m，替换由OMXCodec输出的显示时间戳，时间戳的数对维持在一个窗口范围内，超出部分从时间戳数对列表中去掉。

步骤101中，对其头信息进行解析，得到每个视频压缩帧对应的正确的显示时间戳，具体可为：如果解复用文件自带显示时间戳，则根据此显示时间戳一次效验后，用此时间戳；如果解复用文件不带显示时间戳，则需要解析视频帧的头部数据，获取POC(PictureOrderCount)图像顺序号数据，结合视频的帧率等信息，计算出视频压缩帧帧的显示时间戳PTS，解码时间戳DTS按顺序递增。

上述实施例的步骤101中，对每个视频压缩帧的头信息进行解析可方便计算出各视频压缩帧对应的正确的显示时间戳。由于该实施例中OMXCodec是按照解码序输出解码后的无压缩帧的，步骤104给出了此种情况下的显示时间戳替换处理的方法，该方法可以用正确的显示时间戳替换由OMXCodec输出的显示时间戳，使得音视频能够同步播放，方便观众的观看。

此外，按解码序输出是按序号排列，保持一定窗口范围可查询即可。

实施例2

参见图2所示为对安卓系统硬件视频解码的时间戳进行纠错的方法的另一种具体实施例，该实施例中，OMXCodec是按照显示序输出解码后的无压缩帧的，本实施例中所述方法包括以下步骤：

步骤201、正确的显示时间戳计算步骤：对每个视频压缩帧，在将其输入到OMXCodec进行视频解码前，对其头信息进行解析，得到每个视频压缩帧对应的正确的显示时间戳；

步骤202、显示时间戳对应处理步骤：按照解码顺序，将每个视频压缩帧进行顺序编号，并将计算出的正确的显示时间戳和与其对应的视频压缩帧的顺序号组成数对，记为(Pts_n，n)，并将各数对保存到由数对组成的数对列表中；

步骤203、视频解码步骤：将视频压缩帧输入到OMXCodec进行视频解码；

步骤204、显示时间戳替换处理步骤：对OMXCodec输出解码后的无压缩帧进行处理，若为按照显示序输出，则按照显示序输出时的替换方法用正确的显示时间戳替换由OMXCodec输出的显示时间戳，具体为：若OMXCodec是按照显示序输出解码后的无压缩帧的，则对于第1个输出的帧，通过在数对列表中查找显示时间戳最小的数对得到此帧正确的显示时间戳替换由OMXCodec输出的显示时间戳，然后将此数对从数对列表中去掉；对于第2个输出的帧，通过在数对列表中查找剩余数对中显示时间戳最小的数对得到此帧正确的显示时间戳替换由OMXCodec输出的显示时间戳，然后将此数对再从数对列表中去掉；以此类推，对于第n个输出的帧，通过在数对列表中查找剩余数对中显示时间戳最小的数对得到此帧正确的显示时间戳替换由OMXCodec输出的显示时间戳，然后将此数对从数对列表中去掉。

该方案中，显示时间戳输出的帧，时间信息应该是递增，去掉之前的最小时间戳，以便第二帧解码完成输出后，找到剩下的时间戳最小的为第二帧的显示时间戳，这样替换简单快速。

上述实施例中，先通过软解方案，对视频的头信息进行解析，得到正确的显示时间戳，对于通过显示序输出解码后的无压缩帧的情形，将输出的逐帧的图像内容与得到的正确的显示时间戳内容进行处理，用正确的显示时间戳替换由OMXCodec输出的显示时间戳，从而实现了音视频的同步播放，方便观众的通畅观看。

上述两个实施例中，由于考虑到可能无法正确判断出OMXCodec输出的显示时间戳是否正确，因此一概将OMXCodec输出的显示时间戳直接替换成正确的时间戳，由于解析出正确的显示时间戳的方法并不复杂，具体为：如果解复用文件自带显示时间戳，则根据此显示时间戳一次效验后，用此时间戳；如果解复用文件不带显示时间戳，则需要解析视频帧的头部数据，获取POC(PictureOrderCount)图像顺序号数据，结合视频的帧率等信息，计算出视频帧的显示时间戳PTS。该方法的计算代价与视频解码相比完全可以忽略不计，因此，本发明提供的上述方法能够方便地实现音视频的同步播放。

上述两个实施例中，视频压缩帧是被按照解码序依次输入到OMXCodec中进行视频解码的。如果将每一个压缩帧与其被解码的顺序号相对应，则第1个被解码的压缩帧的顺序号为1；第2个被解码的压缩帧的顺序号为2；以此类推，第n个被解码的压缩帧的顺序号为n。

实施例3

本发明还提供一种对安卓系统硬件视频解码的时间戳进行纠错的系统，包括：正确的显示时间戳计算模块、显示时间戳对应处理模块、视频解码模块、显示时间戳替换处理模块，其中，

上述正确的显示时间戳计算模块，用于对每个视频压缩帧，在将其输入到OMXCodec进行视频解码前，对其头信息进行解析，得到每个视频压缩帧对应的正确的显示时间戳；

上述显示时间戳对应处理模块，用于按照解码顺序，将每个视频压缩帧进行顺序编号，并将计算出的正确的显示时间戳和与其对应的视频压缩帧的顺序号组成数对，记为(Pts_n，n)，并将各数对保存到由数对组成的数对列表中；

上述视频解码模块，用于将视频压缩帧输入到OMXCodec进行视频解码；

上述显示时间戳替换处理模块，用于对OMXCodec输出解码后的无压缩帧进行处理，若为按照解码序输出，则按照解码序输出时的替换方法用正确的显示时间戳替换由OMXCodec输出的显示时间戳；若为按照显示序输出，则按照显示序输出时的替换方法用正确的显示时间戳替换由OMXCodec输出的显示时间戳。

该实施例提供的系统为在安卓系统中对视频解码过程中产生的错误时间戳进行纠正提供的平台，实现了错误时间戳的纠正，使得播放的音视频得以同步。

通过以上各实施例可知，本申请存在的有益效果是：

第一，本发明中，对视频压缩帧的头信息进行解析，得到每个视频压缩帧对应的正确的显示时间戳，并能够用正确的显示时间戳替换由OMXCodec输出的显示时间戳，从而能够实现正常的音视频同步处理，使得采用OMXCodec开发的媒体播放器能够正常播放媒体内容。

第二，本发明由于能够正确获取每帧视频的显示时间戳，因而大大提升了采用OMXCodec开发的视频播放器在各版本的安卓平台上的适配能力。

第三，本发明并不受OMXCodec输出解码后的无压缩帧的方式的限制，无论是按照解码序输出，还是按照显示序输出，均能够将由OMXCodec输出的显示时间戳替换为正确的显示时间戳，均能实现音视频的同步播放。

本领域内的技术人员应明白，本申请的实施例可提供为方法、装置、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

上述说明示出并描述了本申请的若干优选实施例，但如前所述，应当理解本申请并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文所述发明构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本申请的精神和范围，则都应在本申请所附权利要求的保护范围内。

Claims (4)

1.一种对安卓系统硬件视频解码的时间戳进行纠错的方法，其特征在于，包括：

正确的显示时间戳计算步骤：对每个视频压缩帧，在将其输入到OMXCodec(开放多媒体加速层编码器)进行视频解码前，对其头信息进行解析，得到每个视频压缩帧对应的正确的显示时间戳；

显示时间戳对应处理步骤：按照解码顺序，将每个视频压缩帧进行顺序编号，并将计算出的正确的显示时间戳和与其对应的视频压缩帧的顺序号组成数对，记为(Pts_n，n)，并将各数对保存到由数对组成的数对列表中；

视频解码步骤：将视频压缩帧输入到OMXCodec进行视频解码；

显示时间戳替换处理步骤：对OMXCodec输出解码后的无压缩帧进行处理，若为按照解码序输出，则按照解码序输出时的替换方法用正确的显示时间戳替换由OMXCodec输出的显示时间戳；若为按照显示序输出，则按照显示序输出时的替换方法用正确的显示时间戳替换由OMXCodec输出的显示时间戳。

2.根据权利要求1所述对安卓系统硬件视频解码的时间戳进行纠错的方法，其特征在于，

所述显示时间戳替换步骤中，OMXCodec输出解码后的无压缩帧，若按照解码序输出，则按照解码序输出时的替换方法用正确的显示时间戳替换由OMXCodec输出的显示时间戳，进一步为：

若OMXCodec是按照解码序输出解码后的无压缩帧的，则对于第m个输出的帧，通过在数对列表中查找顺序号为m的数对(Pts_m，m)，得到该第m个输出的帧正确的显示时间戳Pts_m，替换由OMXCodec输出的显示时间戳，时间戳的数对维持在一个窗口范围内，超出部分从时间戳数对列表中去掉。

3.根据权利要求1所述对安卓系统硬件视频解码的时间戳进行纠错的方法，其特征在于，

所述显示时间戳替换步骤中，OMXCodec输出解码后的无压缩帧，若为按照显示序输出，则按照显示序输出时的替换方法用正确的显示时间戳替换由OMXCodec输出的显示时间戳，进一步为：

若OMXCodec是按照显示序输出解码后的无压缩帧的，则对于第1个输出的帧，通过在数对列表中查找显示时间戳最小的数对得到此帧正确的显示时间戳替换由OMXCodec输出的显示时间戳，然后将此数对从数对列表中去掉；对于第2个输出的帧，通过在数对列表中查找剩余数对中显示时间戳最小的数对得到此帧正确的显示时间戳替换由OMXCodec输出的显示时间戳，然后将此数对再从数对列表中去掉；以此类推，对于第n个输出的帧，通过在数对列表中查找剩余数对中显示时间戳最小的数对得到此帧正确的显示时间戳替换由OMXCodec输出的显示时间戳，然后将此数对从数对列表中去掉。

4.一种安卓系统中对视频解码过程中产生的错误时间戳进行纠正的系统，其特征在于，包括：正确的显示时间戳计算模块、显示时间戳对应处理模块、视频解码模块、显示时间戳替换处理模块，其中，

所述正确的显示时间戳计算模块，用于对每个视频压缩帧，在将其输入到OMXCodec进行视频解码前，对其头信息进行解析，得到每个视频压缩帧对应的正确的显示时间戳；

所述显示时间戳对应处理模块，用于按照解码顺序，将每个视频压缩帧进行顺序编号，并将计算出的正确的显示时间戳和与其对应的视频压缩帧的顺序号组成数对，记为(Pts_n，n)，并将各数对保存到由数对组成的数对列表中；

所述视频解码模块，用于将视频压缩帧输入到OMXCodec进行视频解码；

所述显示时间戳替换处理模块，用于对OMXCodec输出解码后的无压缩帧进行处理，若为按照解码序输出，则按照解码序输出时的替换方法用正确的显示时间戳替换由OMXCodec输出的显示时间戳；若为按照显示序输出，则按照显示序输出时的替换方法用正确的显示时间戳替换由OMXCodec输出的显示时间戳。