CN115914711A - 音视频播放方法、装置、设备、介质和计算机程序产品 - Google Patents

Abstract

本申请涉及音视频技术领域，提供了一种音视频播放方法、装置、计算机设备、存储介质和计算机程序产品。本申请能够实现提高音视频播放的准确性和效率。该方法包括：获取音视频采集设备采集的音频数据和视频数据，音频数据标识有对应的时间戳，视频数据标识有对应的时间戳，根据音频数据的时间戳和视频数据的时间戳，将音频数据和视频数据进行同步匹配处理，得到同步匹配处理后的音频数据和同步匹配处理后的视频数据，对同步匹配处理后的音频数据进行音频解码处理，得到解码后的音频数据，以及对同步匹配处理后的视频数据进行视频解码处理，得到解码后的视频数据，播放解码后的音频数据和解码后的视频数据。

Description

音视频播放方法、装置、设备、介质和计算机程序产品

技术领域

本申请涉及音视频技术领域，特别是涉及一种音视频播放方法、装置、计算机设备、存储介质和计算机程序产品。

背景技术

随着智能终端的技术的发展，智能终端能够播放如高清摄像机和录像机等音视频采集设备采集的音视频，如何在智能终端上准确地播放音视频采集设备采集的音视频成为了重要的研究方向。

传统技术通常是终端直接根据音视频采集设备采集的音视频进行音视频播放，但是往往存在如传输延迟等不利因素的影响，导致音视频播放的准确性较低。

发明内容

基于此，有必要针对上述技术问题，提供一种音视频播放方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。

第一方面，本申请提供了一种音视频播放方法。方法包括：

获取音视频采集设备采集的音频数据和视频数据；音频数据标识有对应的时间戳，视频数据标识有对应的时间戳；

根据音频数据的时间戳和视频数据的时间戳，将音频数据和视频数据进行同步匹配处理，得到同步匹配处理后的音频数据和同步匹配处理后的视频数据；

对同步匹配处理后的音频数据进行音频解码处理，得到解码后的音频数据，以及对同步匹配处理后的视频数据进行视频解码处理，得到解码后的视频数据；

播放解码后的音频数据和解码后的视频数据。

在其中一个实施例中，在根据音频数据的时间戳和视频数据的时间戳，将音频数据和视频数据进行同步匹配处理，得到同步匹配处理后的音频数据和同步匹配处理后的视频数据之前，还包括：

根据音频数据，得到音频数据的帧率信息，以及根据视频数据，得到视频数据的帧率信息；

将音频数据添加至音频数据队列中，以及将视频数据添加至视频数据队列中；

根据音频数据的时间戳和视频数据的时间戳，将音频数据和视频数据进行同步匹配处理，得到同步匹配处理后的音频数据和同步匹配处理后的视频数据，包括：

在音频数据的帧率信息小于或等于视频数据的帧率信息的情况下，根据视频数据队列中的视频数据的时间戳，从音频数据队列中，选取出音频数据的时间戳满足预设时间戳差异条件的音频数据，作为待匹配的音频数据；

将待匹配的音频数据和视频数据进行匹配处理，得到同步匹配处理后的音频数据和同步匹配处理后的视频数据。

在其中一个实施例中，方法还包括：

在音频数据的帧率信息大于视频数据的帧率信息的情况下，根据音频数据队列中的音频数据的时间戳，从视频数据队列中，选取出视频数据的时间戳满足预设时间戳差异条件的视频数据，作为待匹配的视频数据；

将待匹配的视频数据和音频数据进行匹配处理，得到同步匹配处理后的音频数据和同步匹配处理后的视频数据。

在其中一个实施例中，对同步匹配处理后的音频数据进行音频解码处理，得到解码后的音频数据，以及对同步匹配处理后的视频数据进行视频解码处理，得到解码后的视频数据，包括：

在终端支持硬解码模式的情况下，利用硬解码通道，对同步匹配处理后的音频数据进行音频解码处理，得到解码后的音频数据，以及对同步匹配处理后的视频数据进行视频解码处理，得到解码后的视频数据；

在终端不支持硬解码模式的情况下，利用软解码通道，对同步匹配处理后的音频数据进行音频解码处理，得到解码后的音频数据，以及对同步匹配处理后的视频数据进行视频解码处理，得到解码后的视频数据。

在其中一个实施例中，根据音频数据的时间戳和视频数据的时间戳，将音频数据和视频数据进行同步匹配处理，得到同步匹配处理后的音频数据和同步匹配处理后的视频数据，包括：

根据音频数据的时间戳和视频数据的时间戳，将音频数据和视频数据进行同步匹配处理，得到同步匹配处理后的音视频数据；

对同步匹配处理后的音视频数据进行拆分处理，得到同步匹配处理后的音频数据和同步匹配处理后的视频数据。

在其中一个实施例中，获取音视频采集设备采集的音频数据和视频数据，包括：

获取音视频采集设备采集的音视频数据；

根据音视频数据的数据类型，对音视频数据进行拆分处理，得到音频数据和视频数据。

第二方面，本申请还提供了一种音视频播放装置。所述装置包括：

数据获取模块，用于获取音视频采集设备采集的音频数据和视频数据；所述音频数据标识有对应的时间戳，所述视频数据标识有对应的时间戳；

数据同步模块，用于根据所述音频数据的时间戳和所述视频数据的时间戳，将所述音频数据和所述视频数据进行同步匹配处理，得到同步匹配处理后的音频数据和同步匹配处理后的视频数据；

数据解码模块，用于对所述同步匹配处理后的音频数据进行音频解码处理，得到解码后的音频数据，以及对所述同步匹配处理后的视频数据进行视频解码处理，得到解码后的视频数据；

数据播放模块，用于播放所述解码后的音频数据和所述解码后的视频数据。

第三方面，本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

获取音视频采集设备采集的音频数据和视频数据；音频数据标识有对应的时间戳，视频数据标识有对应的时间戳；根据音频数据的时间戳和视频数据的时间戳，将音频数据和视频数据进行同步匹配处理，得到同步匹配处理后的音频数据和同步匹配处理后的视频数据；对同步匹配处理后的音频数据进行音频解码处理，得到解码后的音频数据，以及对同步匹配处理后的视频数据进行视频解码处理，得到解码后的视频数据；播放解码后的音频数据和解码后的视频数据。

第四方面，本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：

获取音视频采集设备采集的音频数据和视频数据；音频数据标识有对应的时间戳，视频数据标识有对应的时间戳；根据音频数据的时间戳和视频数据的时间戳，将音频数据和视频数据进行同步匹配处理，得到同步匹配处理后的音频数据和同步匹配处理后的视频数据；对同步匹配处理后的音频数据进行音频解码处理，得到解码后的音频数据，以及对同步匹配处理后的视频数据进行视频解码处理，得到解码后的视频数据；播放解码后的音频数据和解码后的视频数据。

第五方面，本申请还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：

获取音视频采集设备采集的音频数据和视频数据；音频数据标识有对应的时间戳，视频数据标识有对应的时间戳；根据音频数据的时间戳和视频数据的时间戳，将音频数据和视频数据进行同步匹配处理，得到同步匹配处理后的音频数据和同步匹配处理后的视频数据；对同步匹配处理后的音频数据进行音频解码处理，得到解码后的音频数据，以及对同步匹配处理后的视频数据进行视频解码处理，得到解码后的视频数据；播放解码后的音频数据和解码后的视频数据。

上述音视频播放方法、装置、计算机设备、存储介质和计算机程序产品，获取音视频采集设备采集的音频数据和视频数据，音频数据标识有对应的时间戳，视频数据标识有对应的时间戳，根据音频数据的时间戳和视频数据的时间戳，将音频数据和视频数据进行同步匹配处理，得到同步匹配处理后的音频数据和同步匹配处理后的视频数据，对同步匹配处理后的音频数据进行音频解码处理，得到解码后的音频数据，以及对同步匹配处理后的视频数据进行视频解码处理，得到解码后的视频数据，播放解码后的音频数据和解码后的视频数据。该方案接收获取音视频采集设备发送的音频数据和视频数据，根据音频数据的时间戳和视频数据的时间戳，对音频数据和视频数据进行同步匹配处理，得到同步匹配处理后的音频数据和同步匹配处理后的视频数据，对同步匹配处理后的音频数据进行音频解码处理，得到解码后的音频数据，并同时对同步匹配处理后的视频数据进行视频解码处理，得到解码后的视频数据，同时播放解码后的音频数据和解码后的视频数据，即进行音视频播放，从而实现提高音视频播放的准确性和效率。

附图说明

图1为一个实施例中音视频播放方法的流程示意图；

图2为一个实施例中音视频播放方法的处理流程图；

图3为另一个实施例中音视频播放方法的处理流程图；

图4为一个实施例中解码步骤的流程示意图；

图5为另一个实施例中音视频播放方法的流程示意图；

图6为一个实施例中音视频播放装置的结构框图；

图7为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

在一个实施例中，如图1所示，提供了一种音视频播放方法，本实施例以该方法应用于终端进行举例说明，包括以下步骤：

步骤S101，获取音视频采集设备采集的音频数据和视频数据。

本步骤中，音频数据标识有对应的时间戳，视频数据标识有对应的时间戳；音视频采集设备可以是各种视频监控设备，也可以是手机等带摄像头数据采集能力的设备。

具体的，终端接收音视频采集设备发送的音频数据和视频数据。

步骤S102，根据音频数据的时间戳和视频数据的时间戳，将音频数据和视频数据进行同步匹配处理，得到同步匹配处理后的音频数据和同步匹配处理后的视频数据。

本步骤中，音频数据的时间戳可以是指音频数据标识的对应的时间戳；视频数据的时间戳可以是指视频数据标识的对应的时间戳，其中，时间戳可以是由音视频采集设备采集音频数据和视频数据时对音频数据和视频数据进行标记。

具体的，终端根据音频数据的时间戳和视频数据的时间戳，将音频数据和视频数据进行同步匹配处理，得到同步匹配处理后的音频数据和同步匹配处理后的视频数据。

步骤S103，对同步匹配处理后的音频数据进行音频解码处理，得到解码后的音频数据，以及对同步匹配处理后的视频数据进行视频解码处理，得到解码后的视频数据。

具体的，终端对同步匹配处理后的音频数据和同步匹配处理后的视频数据进行单独处理，具体为对同步匹配处理后的音频数据进行音频解码处理，得到解码后的音频数据，以及对同步匹配处理后的视频数据进行视频解码处理，得到解码后的视频数据。

步骤S104，播放解码后的音频数据和解码后的视频数据。

具体的，终端同时播放解码后的音频数据和解码后的视频数据，即进行了音视频播放。

上述音视频播放方法中，获取音视频采集设备采集的音频数据和视频数据，音频数据标识有对应的时间戳，视频数据标识有对应的时间戳，根据音频数据的时间戳和视频数据的时间戳，将音频数据和视频数据进行同步匹配处理，得到同步匹配处理后的音频数据和同步匹配处理后的视频数据，对同步匹配处理后的音频数据进行音频解码处理，得到解码后的音频数据，以及对同步匹配处理后的视频数据进行视频解码处理，得到解码后的视频数据，播放解码后的音频数据和解码后的视频数据。该方案接收获取音视频采集设备发送的音频数据和视频数据，根据音频数据的时间戳和视频数据的时间戳，对音频数据和视频数据进行同步匹配处理，得到同步匹配处理后的音频数据和同步匹配处理后的视频数据，对同步匹配处理后的音频数据进行音频解码处理，得到解码后的音频数据，并同时对同步匹配处理后的视频数据进行视频解码处理，得到解码后的视频数据，同时播放解码后的音频数据和解码后的视频数据，即进行音视频播放，从而实现提高音视频播放的准确性和效率。

在一个实施例中，上述方法还可以通过如下步骤得到音频数据的帧率信息、视频数据的帧率信息以及将音频数据和视频数据添加至队列，具体包括：根据音频数据，得到音频数据的帧率信息，以及根据视频数据，得到视频数据的帧率信息；将音频数据添加至音频数据队列中，以及将视频数据添加至视频数据队列中；上述步骤S102的根据音频数据的时间戳和视频数据的时间戳，将音频数据和视频数据进行同步匹配处理，得到同步匹配处理后的音频数据和同步匹配处理后的视频数据具体包括：在音频数据的帧率信息小于或等于视频数据的帧率信息的情况下，根据视频数据队列中的视频数据的时间戳，从音频数据队列中，选取出音频数据的时间戳满足预设时间戳差异条件的音频数据，作为待匹配的音频数据；将待匹配的音频数据和视频数据进行匹配处理，得到同步匹配处理后的音频数据和同步匹配处理后的视频数据。

本实施例中，音频数据的帧率信息可以是音频数据中每秒钟的包的数量，其中音频数据可以是以音频数据包的格式；视频数据的帧率信息可以是视频帧率数值；音频数据队列可以是用于按时间顺序存储音频数据的队列；视频数据队列可以是用于按时间顺序存储视频数据的队列；音频数据的帧率信息小于或等于视频数据的帧率信息，可以是指，音频数据的每秒钟发的包数量小于或等于视频数据的帧率数值；预设时间戳差异条件可以是预先设置的视频数据的时间戳和音频数据的时间戳的差值条件，例如视频数据的时间戳和音频数据的时间戳的差值的绝对值小于数值A。

具体的，终端在根据音频数据的时间戳和视频数据的时间戳，将音频数据和视频数据进行同步匹配处理，得到同步匹配处理后的音频数据和同步匹配处理后的视频数据之前，根据音频数据，得到音频数据的帧率信息，以及根据视频数据，得到视频数据的帧率信息，将音频数据添加至音频数据队列中，以及将视频数据添加至视频数据队列中，在音频数据的帧率信息小于或等于视频数据的帧率信息的情况下，根据视频数据队列中的视频数据的时间戳，从音频数据队列中，选取出音频数据的时间戳满足预设时间戳差异条件的音频数据，作为待匹配的音频数据(例如，针对音频数据中的每一个音频数据包，删去音频数据包的时间戳与视频数据中的任一视频帧的时间戳的差值超出预设范围的音频数据包，剩余的音频数据包可作为待匹配的音频数据)，将待匹配的音频数据和视频数据进行匹配处理，得到同步匹配处理后的音频数据和同步匹配处理后的视频数据。

本实施例的技术方案，通过在音频数据的帧率信息小于或等于视频数据的帧率信息的情况下，将待匹配的音频数据和视频数据进行同步匹配处理，即以读取视频数据队列为基准，将超出偏差范围的音频数据删除，再进行匹配处理，从而提高对音频数据和视频数据进行同步匹配处理的准确性，从而有利于后续提高音视频播放的准确性。

在一个实施例中，上述方法还可以通过如下步骤得到同步匹配处理后的音频数据和同步匹配处理后的视频数据，具体包括：在音频数据的帧率信息大于视频数据的帧率信息的情况下，根据音频数据队列中的音频数据的时间戳，从视频数据队列中，选取出视频数据的时间戳满足预设时间戳差异条件的视频数据，作为待匹配的视频数据；将待匹配的视频数据和音频数据进行匹配处理，得到同步匹配处理后的音频数据和同步匹配处理后的视频数据。

本实施例中，音频数据的帧率信息大于视频数据的帧率信息，可以是指，音频数据的每秒钟发的包数量大于视频数据的帧率数值。

具体的，终端在音频数据的帧率信息大于视频数据的帧率信息的情况下，根据音频数据队列中的音频数据的时间戳，从视频数据队列中，选取出视频数据的时间戳满足预设时间戳差异条件的视频数据，作为待匹配的视频数据(例如，针对视频数据中的每一个视频帧，删去视频帧的时间戳与音频数据中的任一音频数据包的时间戳的差值超出预设范围的视频帧，剩余的视频帧可作为待匹配的视频数据)，将待匹配的视频数据和音频数据进行匹配处理，得到同步匹配处理后的音频数据和同步匹配处理后的视频数据。

本实施例的技术方案，通过在音频数据的帧率信息大于视频数据的帧率信息的情况下，将待匹配的视频数据和音频数据进行同步匹配处理，即以读取音频数据队列为基准，将超出偏差范围的视频数据删除，再进行匹配处理，从而提高对音频数据和视频数据进行同步匹配处理的准确性，从而有利于后续提高音视频播放的准确性。

在一个实施例中，上述步骤S103的对同步匹配处理后的音频数据进行音频解码处理，得到解码后的音频数据，以及对同步匹配处理后的视频数据进行视频解码处理，得到解码后的视频数据具体包括：在终端支持硬解码模式的情况下，利用硬解码通道，对同步匹配处理后的音频数据进行音频解码处理，得到解码后的音频数据，以及对同步匹配处理后的视频数据进行视频解码处理，得到解码后的视频数据；在终端不支持硬解码模式的情况下，利用软解码通道，对同步匹配处理后的音频数据进行音频解码处理，得到解码后的音频数据，以及对同步匹配处理后的视频数据进行视频解码处理，得到解码后的视频数据。

本实施例中，硬解码模式可以是硬件解码(也可以称为硬解码)。

具体的，在终端支持硬解码模式的情况下，终端创建并启动硬解码通道，利用硬解码通道，对同步匹配处理后的音频数据进行音频解码处理，得到解码后的音频数据，以及对同步匹配处理后的视频数据进行视频解码处理，得到解码后的视频数据；在终端不支持硬解码模式的情况下，终端创建并启动软解码通道，对同步匹配处理后的音频数据进行音频解码处理，得到解码后的音频数据，以及对同步匹配处理后的视频数据进行视频解码处理，得到解码后的视频数据。

本实施例的技术方案，通过判断终端能否支持硬解码模式，利用硬解码通道或软解码通道对同步匹配处理后的音频数据和同步匹配处理后的视频数据进行解码处理，从而提高得到解码后的音频数据和解码后的视频数据的效率，从而有利于后续提高音视频播放的效率。

在一个实施例中，上述步骤S102的根据音频数据的时间戳和视频数据的时间戳，将音频数据和视频数据进行同步匹配处理，得到同步匹配处理后的音频数据和同步匹配处理后的视频数据具体包括：根据音频数据的时间戳和视频数据的时间戳，将音频数据和视频数据进行同步匹配处理，得到同步匹配处理后的音视频数据；对同步匹配处理后的音视频数据进行拆分处理，得到同步匹配处理后的音频数据和同步匹配处理后的视频数据。

本实施例中，同步匹配处理后的音视频数据可以是对音频数据和视频数据进行同步匹配处理后，组合得到的音视频数据。

具体的，终端根据音频数据的时间戳和视频数据的时间戳，将音频数据和视频数据进行同步匹配处理，得到同步匹配处理后的音视频数据，对同步匹配处理后的音视频数据进行拆分处理，得到同步匹配处理后的音频数据和同步匹配处理后的视频数据。

本实施例的技术方案，通过将同步匹配处理后的音视频数据进行拆分，从而得到更准确的同步匹配处理后的音频数据和同步匹配处理后的视频数据，从而有利于后续提高音视频播放的准确性。

在一个实施例中，上述步骤S101的获取音视频采集设备采集的音频数据和视频数据具体包括：获取音视频采集设备采集的音视频数据；根据音视频数据的数据类型，对音视频数据进行拆分处理，得到音频数据和视频数据。

本实施例中，音视频数据可以是将音频数据和视频数据组合得到的数据；数据类型可以是音频数据类型和视频数据类型，也可以是不同规格参数的数据指标，例如编码类型指标、分辨率指标、解码性能指标等。

具体的，终端接收音视频采集设备发送的音视频数据，根据音视频数据的数据类型，对音视频数据进行拆分处理，得到音频数据和视频数据。

本实施例的技术方案，通过将音视频采集设备发送的音视频数据进行拆分，得到音频数据和视频数据，从而有利于提高音视频播放的兼容性和准确性。

以下以一个实施例说明本申请提供的音视频播放方法，本实施例以该方法应用于终端进行举例说明，主要步骤包括：

第一步，终端获取音视频采集设备采集的音视频数据。

第二步，终端根据音视频数据的数据类型，对音视频数据进行拆分处理，得到音频数据和视频数据。

第三步，终端根据音频数据，得到音频数据的帧率信息，以及根据视频数据，得到视频数据的帧率信息。

第四步，终端将音频数据添加至音频数据队列中，以及将视频数据添加至视频数据队列中。

第五步，终端在音频数据的帧率信息小于或等于视频数据的帧率信息的情况下，根据视频数据队列中的视频数据的时间戳，从音频数据队列中，选取出音频数据的时间戳满足预设时间戳差异条件的音频数据，作为待匹配的音频数据，将待匹配的视频数据和音频数据进行匹配处理，得到同步匹配处理后的音视频数据；终端在音频数据的帧率信息大于视频数据的帧率信息的情况下，根据音频数据队列中的音频数据的时间戳，从视频数据队列中，选取出视频数据的时间戳满足预设时间戳差异条件的视频数据，作为待匹配的视频数据，将待匹配的视频数据和音频数据进行匹配处理，得到同步匹配处理后的音视频数据。

第六步，终端对同步匹配处理后的音视频数据进行拆分处理，得到同步匹配处理后的音频数据和同步匹配处理后的视频数据。

第七步，在终端支持硬解码模式的情况下，终端利用硬解码通道，对同步匹配处理后的音频数据进行音频解码处理，得到解码后的音频数据，以及对同步匹配处理后的视频数据进行视频解码处理，得到解码后的视频数据；在终端不支持硬解码模式的情况下，终端利用软解码通道，对同步匹配处理后的音频数据进行音频解码处理，得到解码后的音频数据，以及对同步匹配处理后的视频数据进行视频解码处理，得到解码后的视频数据。

第八步，终端播放解码后的音频数据和解码后的视频数据。

本实施例的技术方案，通过接收获取音视频采集设备发送的音频数据和视频数据，根据音频数据的时间戳和视频数据的时间戳，对音频数据和视频数据进行同步匹配处理，得到同步匹配处理后的音频数据和同步匹配处理后的视频数据，对同步匹配处理后的音频数据进行音频解码处理，得到解码后的音频数据，并同时对同步匹配处理后的视频数据进行视频解码处理，得到解码后的视频数据，同时播放解码后的音频数据和解码后的视频数据，即进行音视频播放，从而实现提高音视频播放的准确性和效率。

以下以一个应用实例说明本申请提供的音视频播放方法，本应用实例以该方法应用于终端进行举例说明，主要步骤包括：

第一步，如图2和图3所示，终端进行数据录入(数据入列，音视频数据接收)：将每一帧数据传入方法统一入口，接收到数据后根据数据属性加入对应数据队列，若同时接收多路数据，则创建多个队列组并标示数据通道号，后续存储数据均根据通道号进行匹配，若判断是音频数据，则将数据添加到音频数据队列，留待后续流程取值使用，若判断是视频数据，则将数据添加到视频数据队列，留待后续流程取值使用。

第二步，如图2和图3所示，终端进行数据读取及同步(音视频数据同步处理)：终端建立循环线程从音频数据队列和视频数据队列读取数据，并进行数据同步。具体的，终端判断到若视频帧率数值比音频数据每秒钟发的包数量大，则以视频数据读取线程为基准，为视频线程每读取一帧视频数据都需要到音频数据队列读取最新一个包(音频数据包)，并且比对视频帧与音频数据包时间戳，若视频时间戳与音频时间戳相匹配，则同时取出对应视频帧和音频数据包进行下一环节，并在各自队列中删除已取出的包或者帧；若音频数据时间戳大于已取出视频数据的时间戳及预设的偏差范围，则抛弃此次取值留待下次继续取此数据包(表明还未到播放此音频包的时间)，此时扔掉已取数据包不做处理，队列中此数据包不做删除；若音频数据时间戳小于已取出的视频数据的时间戳及预设的偏差范围(表明音频数据已经过期)，此时直接队列中删除此音频包，并且取出的音频数据直接抛弃；终端按照上述方式，循环读取视频数据队列。终端判断到若视频帧率数值比音频数据每秒钟发的包数量小，则以读取音频数据队列为基准，每读取一个音频数据包都到视频数据队列中读取一个视频帧，并且比对时间戳，若视频时间戳小于音频时间戳及预设的偏差范围，则直接从队列中删除此数据帧，以取出的不处理，若视频时间戳与所取音频数据包时间戳匹配，则同步进入下一环节并两者同时从各自队列中清除，若视频时间戳大于音频时间戳及预设的偏差范围，则将视频帧保留于其队列中留待下次取用，取出的视频帧不做处理。

第三步，如图2和图3所示，终端进行均衡动态解码音视频数据：终端从队列中取出的进行了音视频同步处理的数据将进入本环节，本环节主要将音视频压缩数据进行解码还原：创建一路视频播放资源时，终端内部会动态检测终端(当前Android设备，即当前安卓设备)是否支持硬解码(即进行资源诊断及解码器确认)，如果支持则创建相关资源并标记，硬解码(硬件解码器)使用设备图形处理器(GPU)处理，可节省中央处理器(CPU)资源，在解码器循环解码过程中有动态切换软解策略，此场景主要是适用于多路视频同时适用硬解码时，如果硬解资源不足时将动态切换部分链路到软解码(软解码器)，在创建播放资源时如果当前安卓设备不支持硬解码则所有链路使用软解码并使用OpenGL(Open GraphicsLibrary，开放图形库)渲染(渲染播放)。

第四步，终端若在解码过程中，源视频数据的编码类型发生了改变，会自动切换重置解码器配置并继续解码过程，做到播放连续且用户层无感；终端若在音频播放过程中，源音频数据的编码类型发生了改变，会自动切换重置音频解码器并继续播放，做到播放连续且用户层无感。其中，基于以上每一路数据的处理流程包含数据接收、数据缓存、数据读取、音视频数据同步、数据解码、解码数据渲染，终端能够对视频解码器进行选择，能体现视频播放过程的最大承载能力以及音视频编码类型的动态支持。

其中，终端可包含音视频数据动态管理模块、音视频解码器动态管理模块、音视频同步服务模块和渲染及播放模块，音视频解码器动态管理模块主要负责均衡终端的硬件能力、性能处理、链路最优化选择，音视频解码器动态管理模块是一种可以动态检测当前装置(终端)的解码性能、是否支持硬件解码、对视频编码类型支持的一种封闭的检测算法；解码方式优先使用硬件解码，可以发挥硬件解码及渲染的性能效率优势，通过性能及链路优化可以最大限度达到支持16路1080P以上的视频播放；音频数据可以是G711A、G711U以及AAC(有损压缩)编码格式的音频数据，视频数据可以是H264、H265编码格式的视频数据。

具体的，远程监控设备或音视频采集设备将音视频数据经过编码压缩，经过网络传输到终端。终端进行音视频数据接收，在接收到创建解码链路的需求后，启动流程，如图4所示，首选链路需要启动创建解码器服务(为每条链路建立解码通道)，首先需要检测终端是否支持硬件解码服务(检测当前设备是否支持硬件解码)，如果支持，则需要根据当前资源情况分配硬件解码资源，如果满足创建硬件解码的条件，则创建硬件解码通道(启动硬件解码通道和渲染通道)，并且启动资源监控及数据异常监控(启动数据变化检测服务，检测编码类型变化及数据合规性)，如果检测到不满足创建硬件解码的条件，则进行软解码资源分配及流程创建并同步创建OpenGL(开放图形库)渲染引擎对象(启动软解码通道和渲染通道)，进行渲染前期初始化操作，创建软建解码后同样启动服务进行全程监控(启动数据变化检测服务，检测编码类型变化及数据合规性)，若检测到数据编码类型发生变化，则会通知内部创建解码链路环节切换解码类型，当该环节检测到异常数据如编码不匹配、数据格式错误等数据异常情况，根据内部定义的异常触发定义进行通知应用，其中，在启动第一路视频链路时会启动资源监测服务，在整个音视频解码播放过程中，如果检测到终端资源紧张会进行提示告警，并且切换部分硬解码链路(启动解码过程中动态资源监测，若硬解码资源不足是动态切换软解码通道)。

示例性的，如图5所示，终端中以链路为单位，每个链路对应一路音视频播放，终端中每条链路在接收到音视频数据(音视频数据接收)后，首先根据数据属性分别将音频数据和视频数据分别加入对应的缓存队列(音视频数据加入队列)，并在进入队列前过滤掉无效数据，每条链路在创建完成后，会在链路创建子线程循环分别读取队列中的音频数据和视频数据(音视频数据取出队列)，拿到各自队列中队首的位置进行音视频同步操作(音视频同步)，音视频同步处理后进行音频解码播放和视频解码播放(视频解码并视频播放，音频解码并音频播放)，在播放过程中会进行数据及资源监测(播放过程数据及资源监测)。

本应用实例的技术方案，实现可以在Android(安卓)设备上兼容同时多类型编码数据、多路不同规格的数据解码播放，能够将不同规格参数的数据指标如编码类型指标、分辨率指标、解码性能指标等比较重要的数据输入统一成一个入口，在核心内部进行性能检测优化、数据兼容、异步多路、高清视频兼容各方面进行整合，在如监控领域及直播领域可大大提高对各种网络环境、数据采集终端设备类型、本地Android(安卓)设备类型支持，另外，实现多路动态管理远程网络传输的音视频数据、动态资源均衡解码及渲染播放控制，封装了音视频处理的繁杂过程，通过整合有效资源提高了基于Android(安卓)系统的音视频播放的效率和兼容性。

应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的音视频播放方法的音视频播放装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个音视频播放装置实施例中的具体限定可以参见上文中对于音视频播放方法的限定，在此不再赘述。

在一个实施例中，如图6所示，提供了一种音视频播放装置，该装置600可以包括：

数据获取模块601，用于获取音视频采集设备采集的音频数据和视频数据；所述音频数据标识有对应的时间戳，所述视频数据标识有对应的时间戳；

数据同步模块602，用于根据所述音频数据的时间戳和所述视频数据的时间戳，将所述音频数据和所述视频数据进行同步匹配处理，得到同步匹配处理后的音频数据和同步匹配处理后的视频数据；

数据解码模块603，用于对所述同步匹配处理后的音频数据进行音频解码处理，得到解码后的音频数据，以及对所述同步匹配处理后的视频数据进行视频解码处理，得到解码后的视频数据；

数据播放模块604，用于播放所述解码后的音频数据和所述解码后的视频数据。

在一个实施例中，该装置600还包括：数据添加模块，用于根据所述音频数据，得到所述音频数据的帧率信息，以及根据所述视频数据，得到所述视频数据的帧率信息；将所述音频数据添加至音频数据队列中，以及将所述视频数据添加至视频数据队列中；数据同步模块602，还用于在所述音频数据的帧率信息小于或等于所述视频数据的帧率信息的情况下，根据所述视频数据队列中的所述视频数据的时间戳，从所述音频数据队列中，选取出所述音频数据的时间戳满足预设时间戳差异条件的音频数据，作为待匹配的音频数据；将所述待匹配的音频数据和所述视频数据进行匹配处理，得到所述同步匹配处理后的音频数据和所述同步匹配处理后的视频数据。

在一个实施例中，该装置600还包括：数据匹配模块，用于在所述音频数据的帧率信息大于所述视频数据的帧率信息的情况下，根据所述音频数据队列中的所述音频数据的时间戳，从所述视频数据队列中，选取出所述视频数据的时间戳满足所述预设时间戳差异条件的视频数据，作为待匹配的视频数据；将所述待匹配的视频数据和所述音频数据进行匹配处理，得到所述同步匹配处理后的音频数据和所述同步匹配处理后的视频数据。

在一个实施例中，数据解码模块603，用于在终端支持硬解码模式的情况下，利用硬解码通道，对所述同步匹配处理后的音频数据进行音频解码处理，得到所述解码后的音频数据，以及对所述同步匹配处理后的视频数据进行视频解码处理，得到所述解码后的视频数据；在所述终端不支持硬解码模式的情况下，利用软解码通道，对所述同步匹配处理后的音频数据进行音频解码处理，得到所述解码后的音频数据，以及对所述同步匹配处理后的视频数据进行视频解码处理，得到所述解码后的视频数据。

在一个实施例中，数据同步模块602，还用于根据所述音频数据的时间戳和所述视频数据的时间戳，将所述音频数据和所述视频数据进行同步匹配处理，得到同步匹配处理后的音视频数据；对所述同步匹配处理后的音视频数据进行拆分处理，得到所述同步匹配处理后的音频数据和所述同步匹配处理后的视频数据。

在一个实施例中，数据获取模块601，还用于获取所述音视频采集设备采集的音视频数据；根据所述音视频数据的数据类型，对所述音视频数据进行拆分处理，得到所述音频数据和所述视频数据。

上述音视频播放装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图7所示。该计算机设备包括处理器、存储器、输入/输出接口、通信接口、显示单元和输入装置。其中，处理器、存储器和输入/输出接口通过系统总线连接，通信接口、显示单元和输入装置通过输入/输出接口连接到系统总线。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、移动蜂窝网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种音视频播放方法。该计算机设备的显示单元用于形成视觉可见的画面，可以是显示屏、投影装置或虚拟现实成像装置。显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解，图7中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，还提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。

在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。

需要说明的是，本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory，ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory，MRAM)、铁电存储器(Ferroelectric Random Access Memory，FRAM)、相变存储器(Phase Change Memory，PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory，DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims (10)

1.一种音视频播放方法，其特征在于，所述方法包括：

获取音视频采集设备采集的音频数据和视频数据；所述音频数据标识有对应的时间戳，所述视频数据标识有对应的时间戳；

根据所述音频数据的时间戳和所述视频数据的时间戳，将所述音频数据和所述视频数据进行同步匹配处理，得到同步匹配处理后的音频数据和同步匹配处理后的视频数据；

对所述同步匹配处理后的音频数据进行音频解码处理，得到解码后的音频数据，以及对所述同步匹配处理后的视频数据进行视频解码处理，得到解码后的视频数据；

播放所述解码后的音频数据和所述解码后的视频数据。

2.根据权利要求1所述的方法，其特征在于，在根据所述音频数据的时间戳和所述视频数据的时间戳，将所述音频数据和所述视频数据进行同步匹配处理，得到同步匹配处理后的音频数据和同步匹配处理后的视频数据之前，还包括：

根据所述音频数据，得到所述音频数据的帧率信息，以及根据所述视频数据，得到所述视频数据的帧率信息；

将所述音频数据添加至音频数据队列中，以及将所述视频数据添加至视频数据队列中；

所述根据所述音频数据的时间戳和所述视频数据的时间戳，将所述音频数据和所述视频数据进行同步匹配处理，得到同步匹配处理后的音频数据和同步匹配处理后的视频数据，包括：

在所述音频数据的帧率信息小于或等于所述视频数据的帧率信息的情况下，根据所述视频数据队列中的所述视频数据的时间戳，从所述音频数据队列中，选取出所述音频数据的时间戳满足预设时间戳差异条件的音频数据，作为待匹配的音频数据；

将所述待匹配的音频数据和所述视频数据进行匹配处理，得到所述同步匹配处理后的音频数据和所述同步匹配处理后的视频数据。

3.根据权利要求2所述的方法，其特征在于，所述方法还包括：

在所述音频数据的帧率信息大于所述视频数据的帧率信息的情况下，根据所述音频数据队列中的所述音频数据的时间戳，从所述视频数据队列中，选取出所述视频数据的时间戳满足所述预设时间戳差异条件的视频数据，作为待匹配的视频数据；

将所述待匹配的视频数据和所述音频数据进行匹配处理，得到所述同步匹配处理后的音频数据和所述同步匹配处理后的视频数据。

4.根据权利要求1所述的方法，其特征在于，所述对所述同步匹配处理后的音频数据进行音频解码处理，得到解码后的音频数据，以及对所述同步匹配处理后的视频数据进行视频解码处理，得到解码后的视频数据，包括：

在终端支持硬解码模式的情况下，利用硬解码通道，对所述同步匹配处理后的音频数据进行音频解码处理，得到所述解码后的音频数据，以及对所述同步匹配处理后的视频数据进行视频解码处理，得到所述解码后的视频数据；

在所述终端不支持硬解码模式的情况下，利用软解码通道，对所述同步匹配处理后的音频数据进行音频解码处理，得到所述解码后的音频数据，以及对所述同步匹配处理后的视频数据进行视频解码处理，得到所述解码后的视频数据。

5.根据权利要求1所述的方法，其特征在于，所述根据所述音频数据的时间戳和所述视频数据的时间戳，将所述音频数据和所述视频数据进行同步匹配处理，得到同步匹配处理后的音频数据和同步匹配处理后的视频数据，包括：

根据所述音频数据的时间戳和所述视频数据的时间戳，将所述音频数据和所述视频数据进行同步匹配处理，得到同步匹配处理后的音视频数据；

对所述同步匹配处理后的音视频数据进行拆分处理，得到所述同步匹配处理后的音频数据和所述同步匹配处理后的视频数据。

6.根据权利要求1所述的方法，其特征在于，所述获取音视频采集设备采集的音频数据和视频数据，包括：

获取所述音视频采集设备采集的音视频数据；

根据所述音视频数据的数据类型，对所述音视频数据进行拆分处理，得到所述音频数据和所述视频数据。

7.一种音视频播放装置，其特征在于，所述装置包括：

数据获取模块，用于获取音视频采集设备采集的音频数据和视频数据；所述音频数据标识有对应的时间戳，所述视频数据标识有对应的时间戳；

数据同步模块，用于根据所述音频数据的时间戳和所述视频数据的时间戳，将所述音频数据和所述视频数据进行同步匹配处理，得到同步匹配处理后的音频数据和同步匹配处理后的视频数据；

数据解码模块，用于对所述同步匹配处理后的音频数据进行音频解码处理，得到解码后的音频数据，以及对所述同步匹配处理后的视频数据进行视频解码处理，得到解码后的视频数据；

数据播放模块，用于播放所述解码后的音频数据和所述解码后的视频数据。

8.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述的方法的步骤。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。

10.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。

Images