CN116437134B - 一种用于检测音视频同步性的方法及装置 - Google Patents

一种用于检测音视频同步性的方法及装置 Download PDF

Info

Publication number
CN116437134B
CN116437134B CN202310696289.4A CN202310696289A CN116437134B CN 116437134 B CN116437134 B CN 116437134B CN 202310696289 A CN202310696289 A CN 202310696289A CN 116437134 B CN116437134 B CN 116437134B
Authority
CN
China
Prior art keywords
audio
video
original
data
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310696289.4A
Other languages
English (en)
Other versions
CN116437134A (zh
Inventor
谢永强
李忠博
梁进君
齐锦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Systems Engineering of PLA Academy of Military Sciences
Original Assignee
Institute of Systems Engineering of PLA Academy of Military Sciences
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Systems Engineering of PLA Academy of Military Sciences filed Critical Institute of Systems Engineering of PLA Academy of Military Sciences
Priority to CN202310696289.4A priority Critical patent/CN116437134B/zh
Publication of CN116437134A publication Critical patent/CN116437134A/zh
Application granted granted Critical
Publication of CN116437134B publication Critical patent/CN116437134B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4394—Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4398—Processing of audio elementary streams involving reformatting operations of audio signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明提出一种用于检测音视频同步性的方法及装置，属于音视频同步性检测技术领域。本发明针对音视频同步检测装置无法判断解码器音视频同步的纠正能力问题；对同一时刻采集的原始音视频序列进行编码，编码后的网络包打上代表采集时间的时间戳信息，并将时间戳对应的音频包和视频包以前后具有一定延时方式发送至待测设备。待测设备收到音视频数据包后，不会立刻解码播放，会根据时间戳信息，采取一定调整策略进行音视频同步后播放，本发明对播放的原始音视频进行特征提取，判断音视频不同步的延时大小，并与发包时的延时进行比较，以此判断解码器音视频同步的纠正能力。

Description

一种用于检测音视频同步性的方法及装置
技术领域
本发明属于音视频同步性检测技术领域，尤其涉及一种用于检测音视频同步性的方法及装置。
背景技术
所有的基于网络传输的音视频采集播放系统都会存在音视频同步的问题，因为网络对不同包的延时情况不同，所以同一时间发出的音频包和视频包不会同时到达接收端，如果接收端不进行任何处理就解码播放，便会出现音视频不同步现象，在丢包网络环境下，要通过一段时间的处理才能继续解码播放视频，这就造成了视频严重滞后于音频的现象。
音视频同步解决方法通常是在解码播放端增加时延，将不同时间到达的音视频包存入缓冲中，通过音视频包中携带的时间戳信息，将发送端相同时间采集的音视频同时播放，其中时间戳定义了媒体负载数据的采样时刻。传统的检测音视频同步方法都是对解码的音视频信号进行特征提取，判断播放的音视频信号是否同步。这种方法无法判断解码器音视频同步的纠正能力。
发明内容
本发明针对现有技术中的不足，提出一种用于检测音视频同步性的方案。
本发明第一方面提出一种用于检测音视频同步性的方法。所述方法利用音视频同步性检测装置对待测解码器进行音视频同步性检测，所述音视频同步性检测装置包括：采集模块、原始音频存储模块、原始视频存储模块、音频编码模块、视频编码模块、数据打包模块、延时发送模块、原始音频采集模块、原始视频采集模块、音频特征提取模块、视频特征提取模块、同步检测模块和同步能力判断模块。
所述方法具体包括：
步骤S1、所述采集模块分别从所述原始音频存储模块和所述原始视频存储模块中同时采集用于执行所述音视频同步性检测的原始音频数据和原始视频数据。
其中，所述原始音频数据在固定时间点处具有特殊音频特征，所述特殊音频特征为：在从所述固定时间点开始的固定时间间隔内将音频置为静音状态。
其中，所述原始视频数据在所述固定时间点处具有特殊视频特征，所述特殊视频特征为：在从所述固定时间点开始的所述固定时间间隔内将视频画面置为黑白。
步骤S2、所述音频编码模块和所述视频编码模块分别对所述原始音频数据和所述原始视频数据进行编码，所述数据打包模块分别对经压缩的音频数据和经压缩的视频数据进行打包，以分别获取音频数据包和视频数据包。
步骤S3、所述延时发送模块以固定发送间隔将所述音频数据包和所述视频数据包发送至所述待测解码器，所述待测解码器对所述音频数据包和所述视频数据包进行解析处理，以获取并播放所述原始音频数据和所述原始视频数据。
步骤S4、所述原始音频采集模块和所述原始视频采集模块分别采集经播放的原始音频数据和经播放的原始视频数据。
步骤S5、所述音频特征提取模块从所述经播放的原始音频数据中提取出所述特殊音频特征，并记录采集到所述特殊音频特征的时间起点，所述视频特征提取模块从所述经播放的原始视频数据中提取出所述特殊视频特征，并记录采集到所述特殊视频特征的时间起点。
步骤S6、所述同步检测模块计算采集到所述特殊音频特征的时间起点和采集到所述特殊视频特征的时间起点的差值作为第一差值，所述同步能力判断模块基于所述第一差值和所述固定发送间隔的比较结果判断所述待测解码器的音视频同步能力。
根据本发明第一方面的方法，所述采集模块分别从所述原始音频存储模块和所述原始视频存储模块中同时采集所述原始音频数据和所述原始视频数据时，为采集到的所述原始音频数据和所述原始视频数据分别附加上第一时间戳，所述第一时间戳为同时采集所述原始音频数据和所述原始视频数据的时间。
根据本发明第一方面的方法，所述音频编码模块和所述视频编码模块分别对所述原始音频数据和所述原始视频数据进行编码时，将所述第一时间戳分别附加在所述经压缩的音频数据和所述经压缩的视频数据上。
根据本发明第一方面的方法，所述数据打包模块分别对所述经压缩的音频数据和所述经压缩的视频数据进行打包时，将所述第一时间戳分别附加在所述音频数据包和所述视频数据包的时间戳数据位上。
根据本发明第一方面的方法，具有相同时间戳的音频数据和视频数据为关联音视频数据。
根据本发明第一方面的方法，所述待测解码器对所述音频数据包和所述视频数据包进行解析处理具体包括：分别对所述音频数据包和所述视频数据包进行解码处理，以获取经解压的音频数据和经解压的视频数据；以及对所述经解压的音频数据和所述经解压的视频数据进行特征提取，基于提取到的音频特征和视频特征进行音视频同步校准。
根据本发明第一方面的方法，所述同步能力判断模块基于所述第一差值和所述固定发送间隔的比较结果判断所述待测解码器的音视频同步能力，具体包括：当所述第一差值小于所述固定发送间隔时，判定所述待测解码器具备所述音视频同步能力，所述第一差值小于所述固定发送间隔越多，所述音视频同步能力越强。
根据本发明第一方面的方法，所述方法还包括：所述原始音频采集模块将采集所述经播放的原始音频数据的时间作为第二时间戳添加至所述经播放的原始音频数据，将采集所述经播放的原始视频数据的时间作为第三时间戳添加至所述经播放的原始视频数据；在所述音频特征提取模块从所述经播放的原始音频数据中提取出所述特殊音频特征并且所述视频特征提取模块从所述经播放的原始视频数据中提取出所述特殊视频特征后，所述同步检测模块计所述第二时间戳和所述第三时间戳的差值作为第二差值；所述同步能力判断模块基于所述第二差值和所述固定发送间隔的比较结果判断所述待测解码器的音视频同步能力。
本发明第二方面提出一种用于检测音视频同步性的装置。所述装置对待测解码器进行音视频同步性检测，所述装置包括：采集模块、原始音频存储模块、原始视频存储模块、音频编码模块、视频编码模块、数据打包模块、延时发送模块、原始音频采集模块、原始视频采集模块、音频特征提取模块、视频特征提取模块、同步检测模块和同步能力判断模块。
其中，所述采集模块分别从所述原始音频存储模块和所述原始视频存储模块中同时采集用于执行所述音视频同步性检测的原始音频数据和原始视频数据。
其中，所述原始音频数据在固定时间点处具有特殊音频特征，所述特殊音频特征为：在从所述固定时间点开始的固定时间间隔内将音频置为静音状态。
其中，所述原始视频数据在所述固定时间点处具有特殊视频特征，所述特殊视频特征为：在从所述固定时间点开始的所述固定时间间隔内将视频画面置为黑白。
其中，所述音频编码模块和所述视频编码模块分别对所述原始音频数据和所述原始视频数据进行编码，所述数据打包模块分别对经压缩的音频数据和经压缩的视频数据进行打包，以分别获取音频数据包和视频数据包。
其中，所述延时发送模块以固定发送间隔将所述音频数据包和所述视频数据包发送至所述待测解码器，所述待测解码器对所述音频数据包和所述视频数据包进行解析处理，以获取并播放所述原始音频数据和所述原始视频数据。
其中，所述原始音频采集模块和所述原始视频采集模块分别采集经播放的原始音频数据和经播放的原始视频数据。
其中，所述音频特征提取模块从所述经播放的原始音频数据中提取出所述特殊音频特征，并记录采集到所述特殊音频特征的时间起点，所述视频特征提取模块从所述经播放的原始视频数据中提取出所述特殊视频特征，并记录采集到所述特殊视频特征的时间起点。
其中，所述同步检测模块计算采集到所述特殊音频特征的时间起点和采集到所述特殊视频特征的时间起点的差值作为第一差值，所述同步能力判断模块基于所述第一差值和所述固定发送间隔的比较结果判断所述待测解码器的音视频同步能力。
根据本发明第二方面的系统，所述采集模块分别从所述原始音频存储模块和所述原始视频存储模块中同时采集所述原始音频数据和所述原始视频数据时，为采集到的所述原始音频数据和所述原始视频数据分别附加上第一时间戳，所述第一时间戳为同时采集所述原始音频数据和所述原始视频数据的时间。
根据本发明第二方面的系统，所述音频编码模块和所述视频编码模块分别对所述原始音频数据和所述原始视频数据进行编码时，将所述第一时间戳分别附加在所述经压缩的音频数据和所述经压缩的视频数据上。
根据本发明第二方面的系统，所述数据打包模块分别对所述经压缩的音频数据和所述经压缩的视频数据进行打包时，将所述第一时间戳分别附加在所述音频数据包和所述视频数据包的时间戳数据位上。
根据本发明第二方面的系统，具有相同时间戳的音频数据和视频数据为关联音视频数据。
根据本发明第二方面的系统，所述待测解码器对所述音频数据包和所述视频数据包进行解析处理具体包括：分别对所述音频数据包和所述视频数据包进行解码处理，以获取经解压的音频数据和经解压的视频数据；以及对所述经解压的音频数据和所述经解压的视频数据进行特征提取，基于提取到的音频特征和视频特征进行音视频同步校准。
根据本发明第二方面的系统，所述同步能力判断模块基于所述第一差值和所述固定发送间隔的比较结果判断所述待测解码器的音视频同步能力，具体包括：当所述第一差值小于所述固定发送间隔时，判定所述待测解码器具备所述音视频同步能力，所述第一差值小于所述固定发送间隔越多，所述音视频同步能力越强。
根据本发明第二方面的系统，所述方法还包括：所述原始音频采集模块将采集所述经播放的原始音频数据的时间作为第二时间戳添加至所述经播放的原始音频数据，将采集所述经播放的原始视频数据的时间作为第三时间戳添加至所述经播放的原始视频数据；在所述音频特征提取模块从所述经播放的原始音频数据中提取出所述特殊音频特征并且所述视频特征提取模块从所述经播放的原始视频数据中提取出所述特殊视频特征后，所述同步检测模块计所述第二时间戳和所述第三时间戳的差值作为第二差值；所述同步能力判断模块基于所述第二差值和所述固定发送间隔的比较结果判断所述待测解码器的音视频同步能力。
本发明第三方面公开了一种电子设备。所述电子设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时，实现本公开第一方面所述的一种用于检测音视频同步性的方法中的步骤。
本发明第四方面公开了一种计算机可读存储介质。所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时，实现本公开第一方面所述的一种用于检测音视频同步性的方法中的步骤。
综上，本发明提出的技术方案针对音视频同步检测装置无法判断解码器音视频同步的纠正能力问题。对同一时刻采集的原始音视频序列进行编码，编码后的网络包打上代表采集时间的时间戳信息，并将时间戳对应的音频包和视频包以前后具有一定延时方式发送至待测设备。待测设备收到音视频数据包后，不会立刻解码播放，会根据时间戳信息，采取一定调整策略进行音视频同步后播放，本发明对播放的原始音视频进行特征提取，判断音视频不同步的延时大小，并与发包时的延时进行比较，以此判断解码器音视频同步的纠正能力。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为根据本发明实施例的对待测解码器进行音视频同步性检测的的场景示意图。
图2为根据本发明实施例的音视频同步性检测装置的组成示意图。
图3为根据本发明实施例的音视频同步性检测的流程示意图。
图4为根据本发明实施例的一种电子设备的结构图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例只是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明第一方面提出一种用于检测音视频同步性的方法。如图1所示，所述方法利用音视频同步性检测装置对待测解码器进行音视频同步性检测。如图2所示，所述音视频同步性检测装置包括：采集模块、原始音频存储模块、原始视频存储模块、音频编码模块、视频编码模块、数据打包模块、延时发送模块、原始音频采集模块、原始视频采集模块、音频特征提取模块、视频特征提取模块、同步检测模块和同步能力判断模块。
所述方法具体包括：
步骤S1、所述采集模块分别从所述原始音频存储模块和所述原始视频存储模块中同时采集用于执行所述音视频同步性检测的原始音频数据和原始视频数据。
其中，所述原始音频数据在固定时间点处具有特殊音频特征，所述特殊音频特征为：在从所述固定时间点开始的固定时间间隔内将音频置为静音状态。
其中，所述原始视频数据在所述固定时间点处具有特殊视频特征，所述特殊视频特征为：在从所述固定时间点开始的所述固定时间间隔内将视频画面置为黑白。
步骤S2、所述音频编码模块和所述视频编码模块分别对所述原始音频数据和所述原始视频数据进行编码，所述数据打包模块分别对经压缩的音频数据和经压缩的视频数据进行打包，以分别获取音频数据包和视频数据包。
步骤S3、所述延时发送模块以固定发送间隔将所述音频数据包和所述视频数据包发送至所述待测解码器，所述待测解码器对所述音频数据包和所述视频数据包进行解析处理，以获取并播放所述原始音频数据和所述原始视频数据。
步骤S4、所述原始音频采集模块和所述原始视频采集模块分别采集经播放的原始音频数据和经播放的原始视频数据。
步骤S5、所述音频特征提取模块从所述经播放的原始音频数据中提取出所述特殊音频特征，并记录采集到所述特殊音频特征的时间起点，所述视频特征提取模块从所述经播放的原始视频数据中提取出所述特殊视频特征，并记录采集到所述特殊视频特征的时间起点。
步骤S6、所述同步检测模块计算采集到所述特殊音频特征的时间起点和采集到所述特殊视频特征的时间起点的差值作为第一差值，所述同步能力判断模块基于所述第一差值和所述固定发送间隔的比较结果判断所述待测解码器的音视频同步能力。
在一些实施例中，所述采集模块分别从所述原始音频存储模块和所述原始视频存储模块中同时采集所述原始音频数据和所述原始视频数据时，为采集到的所述原始音频数据和所述原始视频数据分别附加上第一时间戳，所述第一时间戳为同时采集所述原始音频数据和所述原始视频数据的时间。
在一些实施例中，所述音频编码模块和所述视频编码模块分别对所述原始音频数据和所述原始视频数据进行编码时，将所述第一时间戳分别附加在所述经压缩的音频数据和所述经压缩的视频数据上。
在一些实施例中，所述数据打包模块分别对所述经压缩的音频数据和所述经压缩的视频数据进行打包时，将所述第一时间戳分别附加在所述音频数据包和所述视频数据包的时间戳数据位上。
在一些实施例中，具有相同时间戳的音频数据和视频数据为关联音视频数据。
在一些实施例中，所述待测解码器对所述音频数据包和所述视频数据包进行解析处理具体包括：分别对所述音频数据包和所述视频数据包进行解码处理，以获取经解压的音频数据和经解压的视频数据；以及对所述经解压的音频数据和所述经解压的视频数据进行特征提取，基于提取到的音频特征和视频特征进行音视频同步校准。
在一些实施例中，所述同步能力判断模块基于所述第一差值和所述固定发送间隔的比较结果判断所述待测解码器的音视频同步能力，具体包括：当所述第一差值小于所述固定发送间隔时，判定所述待测解码器具备所述音视频同步能力，所述第一差值小于所述固定发送间隔越多，所述音视频同步能力越强。
在一些实施例中，所述方法还包括：所述原始音频采集模块将采集所述经播放的原始音频数据的时间作为第二时间戳添加至所述经播放的原始音频数据，将采集所述经播放的原始视频数据的时间作为第三时间戳添加至所述经播放的原始视频数据；在所述音频特征提取模块从所述经播放的原始音频数据中提取出所述特殊音频特征并且所述视频特征提取模块从所述经播放的原始视频数据中提取出所述特殊视频特征后，所述同步检测模块计所述第二时间戳和所述第三时间戳的差值作为第二差值；所述同步能力判断模块基于所述第二差值和所述固定发送间隔的比较结果判断所述待测解码器的音视频同步能力。
具体地，所述装置包括发送端和接收端两个部分，其中，发送端用于对原始视频数据进行采集、编码、打包和传输，接收端用于接收原始视频数据，并进行特征提取和同步检测。下面对装置的组成模块进行介绍。
原始音频存储模块：用于存储具有特征值的原始音频数据。
原始视频存储模块：用于存储具有特征值的原始视频数据。
采集模块：用于对具有相同特征的原始音视频数据进行同时采集，并对每个数据标明采集时间。
音频编码模块：用于对原始音频进行编码，并将采集时间标记到编码后数据上。
视频编码模块：用于对原始视频进行编码，并将采集时间标记到编码后数据上。
数据打包模块：对编码后的音视频数据进行封包，将采集时间记录到数据包的时间戳字段。
延时发送模块：对相同采集时间的音视频数据包进行延时发送。
原始音频采集模块：用于采集原始音频数据，并对每个数据标明采集时间。
原始视频采集模块：用于采集原始视频数据，并对每个数据标明采集时间。
音频特征提取模块：用于提取原始音频数据的特征。
视频特征提取模块：用于提取原始视频数据的特征。
同步检测模块：用于对具有相同特征的原视频数据采集时间进行对比，计算时间差。
同步能力判断模块：用于比较发送延时与采集的相同特征数据时间差，如果时间差小于发送延时则具有音视频同步能力，小于越多，则音视频同步能力越强。
具体地，原始视频序列加上固定周期(5s)的特征，特征为将该帧图像置为黑白，相对时间的音频数据也加上特征，特征为将该音频静音20ms。检测装置接收到原始音频数据时检测静音音频，接收到原始视频数据时检测黑白图像。
具体地，音视频原始数据特征检测方法的流程如图3所示。
(1)采集原始音视频并在相同时刻赋予一定特征，并记录采集时间。
(2)对音视频数据进行编码，并将采集时间标记给编码后的音视频数据。
(3)对编码后的音视频数据进行封包，将采集时间记录到数据包的timestamp字段。
(4)对相同采集时间的音视频数据包进行延时发送。
(5)采集原始音视频数据，并对每个数据标明采集时间。
(6)提取原始音视频数据的特征。
(7)比较具有特征的音视频数据采集时间，比较时间差，检测是否同步。
(8)将(4)中的延时时间与(7)中的时间差比较，时间差小于发送延时则具有音视频同步能力，小于越多，则音视频同步能力越强。
可见，本发明提出的基于音视频包延迟发送和视频特征提取的音视频同步能力检测方案，其相比于其它音视频同步检测方法，不仅可判断播放的音视频是否同步，也可通过在发送端对音视频包以不同时间延迟发送，来判断解码器的音视频同步能力。
本发明第二方面提出一种用于检测音视频同步性的装置。所述装置对待测解码器进行音视频同步性检测，所述装置包括：采集模块、原始音频存储模块、原始视频存储模块、音频编码模块、视频编码模块、数据打包模块、延时发送模块、原始音频采集模块、原始视频采集模块、音频特征提取模块、视频特征提取模块、同步检测模块和同步能力判断模块。
其中，所述采集模块分别从所述原始音频存储模块和所述原始视频存储模块中同时采集用于执行所述音视频同步性检测的原始音频数据和原始视频数据。
其中，所述原始音频数据在固定时间点处具有特殊音频特征，所述特殊音频特征为：在从所述固定时间点开始的固定时间间隔内将音频置为静音状态。
其中，所述原始视频数据在所述固定时间点处具有特殊视频特征，所述特殊视频特征为：在从所述固定时间点开始的所述固定时间间隔内将视频画面置为黑白。
其中，所述音频编码模块和所述视频编码模块分别对所述原始音频数据和所述原始视频数据进行编码，所述数据打包模块分别对经压缩的音频数据和经压缩的视频数据进行打包，以分别获取音频数据包和视频数据包。
其中，所述延时发送模块以固定发送间隔将所述音频数据包和所述视频数据包发送至所述待测解码器，所述待测解码器对所述音频数据包和所述视频数据包进行解析处理，以获取并播放所述原始音频数据和所述原始视频数据。
其中，所述原始音频采集模块和所述原始视频采集模块分别采集经播放的原始音频数据和经播放的原始视频数据。
其中，所述音频特征提取模块从所述经播放的原始音频数据中提取出所述特殊音频特征，并记录采集到所述特殊音频特征的时间起点，所述视频特征提取模块从所述经播放的原始视频数据中提取出所述特殊视频特征，并记录采集到所述特殊视频特征的时间起点。
其中，所述同步检测模块计算采集到所述特殊音频特征的时间起点和采集到所述特殊视频特征的时间起点的差值作为第一差值，所述同步能力判断模块基于所述第一差值和所述固定发送间隔的比较结果判断所述待测解码器的音视频同步能力。
根据本发明第二方面的系统，所述采集模块分别从所述原始音频存储模块和所述原始视频存储模块中同时采集所述原始音频数据和所述原始视频数据时，为采集到的所述原始音频数据和所述原始视频数据分别附加上第一时间戳，所述第一时间戳为同时采集所述原始音频数据和所述原始视频数据的时间。
根据本发明第二方面的系统，所述音频编码模块和所述视频编码模块分别对所述原始音频数据和所述原始视频数据进行编码时，将所述第一时间戳分别附加在所述经压缩的音频数据和所述经压缩的视频数据上。
根据本发明第二方面的系统，所述数据打包模块分别对所述经压缩的音频数据和所述经压缩的视频数据进行打包时，将所述第一时间戳分别附加在所述音频数据包和所述视频数据包的时间戳数据位上。
根据本发明第二方面的系统，具有相同时间戳的音频数据和视频数据为关联音视频数据。
根据本发明第二方面的系统，所述待测解码器对所述音频数据包和所述视频数据包进行解析处理具体包括：分别对所述音频数据包和所述视频数据包进行解码处理，以获取经解压的音频数据和经解压的视频数据；以及对所述经解压的音频数据和所述经解压的视频数据进行特征提取，基于提取到的音频特征和视频特征进行音视频同步校准。
根据本发明第二方面的系统，所述同步能力判断模块基于所述第一差值和所述固定发送间隔的比较结果判断所述待测解码器的音视频同步能力，具体包括：当所述第一差值小于所述固定发送间隔时，判定所述待测解码器具备所述音视频同步能力，所述第一差值小于所述固定发送间隔越多，所述音视频同步能力越强。
根据本发明第二方面的系统，所述方法还包括：所述原始音频采集模块将采集所述经播放的原始音频数据的时间作为第二时间戳添加至所述经播放的原始音频数据，将采集所述经播放的原始视频数据的时间作为第三时间戳添加至所述经播放的原始视频数据；在所述音频特征提取模块从所述经播放的原始音频数据中提取出所述特殊音频特征并且所述视频特征提取模块从所述经播放的原始视频数据中提取出所述特殊视频特征后，所述同步检测模块计所述第二时间戳和所述第三时间戳的差值作为第二差值；所述同步能力判断模块基于所述第二差值和所述固定发送间隔的比较结果判断所述待测解码器的音视频同步能力。
本发明第三方面公开了一种电子设备。所述电子设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时，实现本公开第一方面所述的一种用于检测音视频同步性的方法中的步骤。
图4为根据本发明实施例的一种电子设备的结构图，如图4所示，电子设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该电子设备的处理器用于提供计算和控制能力。该电子设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该电子设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、运营商网络、近场通信(NFC)或其他技术实现。该电子设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该电子设备的输入装置可以是显示屏上覆盖的触摸层，也可以是电子设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图4中示出的结构，仅仅是与本公开的技术方案相关的部分的结构图，并不构成对本申请方案所应用于其上的电子设备的限定，具体的电子设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
本发明第四方面公开了一种计算机可读存储介质。所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时，实现本公开第一方面所述的一种用于检测音视频同步性的方法中的步骤。
综上，本发明提出的技术方案针对音视频同步检测装置无法判断解码器音视频同步的纠正能力问题。对同一时刻采集的原始音视频序列进行编码，编码后的网络包打上代表采集时间的时间戳信息，并将时间戳对应的音频包和视频包以前后具有一定延时方式发送至待测设备。待测设备收到音视频数据包后，不会立刻解码播放，会根据时间戳信息，采取一定调整策略进行音视频同步后播放，本发明对播放的原始音视频进行特征提取，判断音视频不同步的延时大小，并与发包时的延时进行比较，以此判断解码器音视频同步的纠正能力。
请注意，以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种用于检测音视频同步性的方法，其特征在于：
所述方法利用音视频同步性检测装置对待测解码器进行音视频同步性检测，所述音视频同步性检测装置包括：采集模块、原始音频存储模块、原始视频存储模块、音频编码模块、视频编码模块、数据打包模块、延时发送模块、原始音频采集模块、原始视频采集模块、音频特征提取模块、视频特征提取模块、同步检测模块和同步能力判断模块；
所述方法具体包括：
步骤S1、所述采集模块分别从所述原始音频存储模块和所述原始视频存储模块中同时采集用于执行所述音视频同步性检测的原始音频数据和原始视频数据；
其中，所述原始音频数据在固定时间点处具有特殊音频特征，所述特殊音频特征为：在从所述固定时间点开始的固定时间间隔内将音频置为静音状态；
其中，所述原始视频数据在所述固定时间点处具有特殊视频特征，所述特殊视频特征为：在从所述固定时间点开始的所述固定时间间隔内将视频画面置为黑白；
步骤S2、所述音频编码模块和所述视频编码模块分别对所述原始音频数据和所述原始视频数据进行编码，所述数据打包模块分别对经压缩的音频数据和经压缩的视频数据进行打包，以分别获取音频数据包和视频数据包；
步骤S3、所述延时发送模块以固定发送间隔将所述音频数据包和所述视频数据包发送至所述待测解码器，所述待测解码器对所述音频数据包和所述视频数据包进行解析处理，以获取并播放所述原始音频数据和所述原始视频数据；
步骤S4、所述原始音频采集模块和所述原始视频采集模块分别采集经播放的原始音频数据和经播放的原始视频数据；
步骤S5、所述音频特征提取模块从所述经播放的原始音频数据中提取出所述特殊音频特征，并记录采集到所述特殊音频特征的时间起点，所述视频特征提取模块从所述经播放的原始视频数据中提取出所述特殊视频特征，并记录采集到所述特殊视频特征的时间起点；
步骤S6、所述同步检测模块计算采集到所述特殊音频特征的时间起点和采集到所述特殊视频特征的时间起点的差值作为第一差值，所述同步能力判断模块基于所述第一差值和所述固定发送间隔的比较结果判断所述待测解码器的音视频同步能力。
2.根据权利要求1所述的一种用于检测音视频同步性的方法，其特征在于：
所述采集模块分别从所述原始音频存储模块和所述原始视频存储模块中同时采集所述原始音频数据和所述原始视频数据时，为采集到的所述原始音频数据和所述原始视频数据分别附加上第一时间戳，所述第一时间戳为同时采集所述原始音频数据和所述原始视频数据的时间；
所述音频编码模块和所述视频编码模块分别对所述原始音频数据和所述原始视频数据进行编码时，将所述第一时间戳分别附加在所述经压缩的音频数据和所述经压缩的视频数据上；
所述数据打包模块分别对所述经压缩的音频数据和所述经压缩的视频数据进行打包时，将所述第一时间戳分别附加在所述音频数据包和所述视频数据包的时间戳数据位上；
具有相同时间戳的音频数据和视频数据为关联音视频数据。
3.根据权利要求1所述的一种用于检测音视频同步性的方法，其特征在于，所述待测解码器对所述音频数据包和所述视频数据包进行解析处理具体包括：分别对所述音频数据包和所述视频数据包进行解码处理，以获取经解压的音频数据和经解压的视频数据；以及对所述经解压的音频数据和所述经解压的视频数据进行特征提取，基于提取到的音频特征和视频特征进行音视频同步校准。
4.根据权利要求1所述的一种用于检测音视频同步性的方法，其特征在于，所述同步能力判断模块基于所述第一差值和所述固定发送间隔的比较结果判断所述待测解码器的音视频同步能力，具体包括：当所述第一差值小于所述固定发送间隔时，判定所述待测解码器具备所述音视频同步能力，所述第一差值小于所述固定发送间隔越多，所述音视频同步能力越强。
5.根据权利要求4所述的一种用于检测音视频同步性的方法，其特征在于，所述方法还包括：
所述原始音频采集模块将采集所述经播放的原始音频数据的时间作为第二时间戳添加至所述经播放的原始音频数据，将采集所述经播放的原始视频数据的时间作为第三时间戳添加至所述经播放的原始视频数据；
在所述音频特征提取模块从所述经播放的原始音频数据中提取出所述特殊音频特征并且所述视频特征提取模块从所述经播放的原始视频数据中提取出所述特殊视频特征后，所述同步检测模块计所述第二时间戳和所述第三时间戳的差值作为第二差值；
所述同步能力判断模块基于所述第二差值和所述固定发送间隔的比较结果判断所述待测解码器的音视频同步能力。
6.一种用于检测音视频同步性的装置，其特征在于，所述装置对待测解码器进行音视频同步性检测，所述装置包括：采集模块、原始音频存储模块、原始视频存储模块、音频编码模块、视频编码模块、数据打包模块、延时发送模块、原始音频采集模块、原始视频采集模块、音频特征提取模块、视频特征提取模块、同步检测模块和同步能力判断模块；其中：
所述采集模块分别从所述原始音频存储模块和所述原始视频存储模块中同时采集用于执行所述音视频同步性检测的原始音频数据和原始视频数据；
其中，所述原始音频数据在固定时间点处具有特殊音频特征，所述特殊音频特征为：在从所述固定时间点开始的固定时间间隔内将音频置为静音状态；
其中，所述原始视频数据在所述固定时间点处具有特殊视频特征，所述特殊视频特征为：在从所述固定时间点开始的所述固定时间间隔内将视频画面置为黑白；
所述音频编码模块和所述视频编码模块分别对所述原始音频数据和所述原始视频数据进行编码，所述数据打包模块分别对经压缩的音频数据和经压缩的视频数据进行打包，以分别获取音频数据包和视频数据包；
所述延时发送模块以固定发送间隔将所述音频数据包和所述视频数据包发送至所述待测解码器，所述待测解码器对所述音频数据包和所述视频数据包进行解析处理，以获取并播放所述原始音频数据和所述原始视频数据；
所述原始音频采集模块和所述原始视频采集模块分别采集经播放的原始音频数据和经播放的原始视频数据；
所述音频特征提取模块从所述经播放的原始音频数据中提取出所述特殊音频特征，并记录采集到所述特殊音频特征的时间起点，所述视频特征提取模块从所述经播放的原始视频数据中提取出所述特殊视频特征，并记录采集到所述特殊视频特征的时间起点；
所述同步检测模块计算采集到所述特殊音频特征的时间起点和采集到所述特殊视频特征的时间起点的差值作为第一差值，所述同步能力判断模块基于所述第一差值和所述固定发送间隔的比较结果判断所述待测解码器的音视频同步能力。
7.根据权利要求6所述的一种用于检测音视频同步性的装置，其特征在于：
所述采集模块分别从所述原始音频存储模块和所述原始视频存储模块中同时采集所述原始音频数据和所述原始视频数据时，为采集到的所述原始音频数据和所述原始视频数据分别附加上第一时间戳，所述第一时间戳为同时采集所述原始音频数据和所述原始视频数据的时间；
所述音频编码模块和所述视频编码模块分别对所述原始音频数据和所述原始视频数据进行编码时，将所述第一时间戳分别附加在所述经压缩的音频数据和所述经压缩的视频数据上；
所述数据打包模块分别对所述经压缩的音频数据和所述经压缩的视频数据进行打包时，将所述第一时间戳分别附加在所述音频数据包和所述视频数据包的时间戳数据位上；
具有相同时间戳的音频数据和视频数据为关联音视频数据。
8.根据权利要求6所述的一种用于检测音视频同步性的装置，其特征在于，所述同步能力判断模块基于所述第一差值和所述固定发送间隔的比较结果判断所述待测解码器的音视频同步能力，具体包括：当所述第一差值小于所述固定发送间隔时，判定所述待测解码器具备所述音视频同步能力，所述第一差值小于所述固定发送间隔越多，所述音视频同步能力越强。
9.一种电子设备，其特征在于，所述电子设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时，实现权利要求1-5任一项所述的一种用于检测音视频同步性的方法中的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时，实现权利要求1-5任一项所述的一种用于检测音视频同步性的方法中的步骤。
CN202310696289.4A 2023-06-13 2023-06-13 一种用于检测音视频同步性的方法及装置 Active CN116437134B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310696289.4A CN116437134B (zh) 2023-06-13 2023-06-13 一种用于检测音视频同步性的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310696289.4A CN116437134B (zh) 2023-06-13 2023-06-13 一种用于检测音视频同步性的方法及装置

Publications (2)

Publication Number Publication Date
CN116437134A CN116437134A (zh) 2023-07-14
CN116437134B true CN116437134B (zh) 2023-09-22

Family

ID=87091113

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310696289.4A Active CN116437134B (zh) 2023-06-13 2023-06-13 一种用于检测音视频同步性的方法及装置

Country Status (1)

Country Link
CN (1) CN116437134B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1720749A (zh) * 2002-12-04 2006-01-11 皇家飞利浦电子股份有限公司 自动测试音频/视频同步的方法
CN101742548A (zh) * 2009-12-22 2010-06-16 武汉虹信通信技术有限责任公司 基于h.324m协议的3g视频电话的音视频同步测试装置及方法
CN104581202A (zh) * 2013-10-25 2015-04-29 腾讯科技（北京）有限公司 音视频同步方法与系统及编码装置和解码装置
CN104618786A (zh) * 2014-12-22 2015-05-13 深圳市腾讯计算机系统有限公司 音视频同步方法和装置
CN105208408A (zh) * 2013-06-08 2015-12-30 孔涛 超高清数字广播信号测试系统
CN112423075A (zh) * 2020-11-11 2021-02-26 广州华多网络科技有限公司 音视频时间戳的处理方法、装置、电子设备及存储介质
CN113055711A (zh) * 2021-02-22 2021-06-29 迅雷计算机（深圳）有限公司 一种音视频同步检测方法及其检测系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1720749A (zh) * 2002-12-04 2006-01-11 皇家飞利浦电子股份有限公司 自动测试音频/视频同步的方法
CN101742548A (zh) * 2009-12-22 2010-06-16 武汉虹信通信技术有限责任公司 基于h.324m协议的3g视频电话的音视频同步测试装置及方法
CN105208408A (zh) * 2013-06-08 2015-12-30 孔涛 超高清数字广播信号测试系统
CN104581202A (zh) * 2013-10-25 2015-04-29 腾讯科技（北京）有限公司 音视频同步方法与系统及编码装置和解码装置
CN104618786A (zh) * 2014-12-22 2015-05-13 深圳市腾讯计算机系统有限公司 音视频同步方法和装置
CN112423075A (zh) * 2020-11-11 2021-02-26 广州华多网络科技有限公司 音视频时间戳的处理方法、装置、电子设备及存储介质
CN113055711A (zh) * 2021-02-22 2021-06-29 迅雷计算机（深圳）有限公司 一种音视频同步检测方法及其检测系统

Also Published As

Publication number Publication date
CN116437134A (zh) 2023-07-14

Similar Documents

Publication Publication Date Title
US10957358B2 (en) Reference and non-reference video quality evaluation
CN1938972B (zh) 用于测量多媒体数据传输质量的方法和装置
CN101248675B (zh) 播放接收装置、播放接收方法和播放接收电路
US8155035B2 (en) Reception apparatus and method, program, and recording medium
US20020181600A1 (en) Stream converting apparatus that converts data stream of first format possibly containing error into correct data stream of second format
CN101516017B (zh) 一种会话类业务视频传输时延的测量方法、装置和系统
CN105049917A (zh) 录制音视频同步时间戳的方法和装置
US8041180B2 (en) Hardware apparatus and method having video/audio encoding and multiplexing functionality
CN113542795A (zh) 视频处理方法、装置、电子设备及计算机可读存储介质
CN101322410A (zh) 检测视频数据错误的方法及装置
JP4488958B2 (ja) 映像伝送システム及び映像伝送方法
CN1825969A (zh) 使数据处理系统同步于数据流的装置及方法
CN116437134B (zh) 一种用于检测音视频同步性的方法及装置
US20090310865A1 (en) Video Surveillance System, Annotation And De-Annotation Modules Thereof
US9401782B2 (en) Test system and a test method for determining processing parameters of audio and/or video data
CN110300326B (zh) 一种视频卡顿的检测方法、装置、电子设备及存储介质
KR20140070896A (ko) 비디오 스트리밍 방법 및 그 전자 장치
CN112437289B (zh) 一种切换时延获取方法
US20110044179A1 (en) Method and device for analyzing data
TWI762980B (zh) 數位串流錯誤檢查方法與電路系統
CN115914711A (zh) 音视频播放方法、装置、设备、介质和计算机程序产品
JP5036081B2 (ja) 画像伝送システム
CN117014696A (zh) 基于rtp的音视频传输方法、装置、电子设备及存储介质
US20160344790A1 (en) Wireless communication device and wireless communication method
CN116828259A (zh) 一种视频设备关键帧间隔的检测方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant