CN112995781B - 一种实时视频中音视频延时确定方法和系统 - Google Patents

Abstract

一种实时视频中音视频延时确定方法，包括：打开多点控制单元MCU延时确定功能，并按第一预设规则对当前正在处理的音视频流条数和音视频处理环节分别进行编号，用户上传相应参数，确定自身所需的延时测试需求；并储存各个环节中音视频处理信息，并在音视频数据各处理环节中设置相同的信息条数阈值k；对用户上传的参数进行解析，确定用户延时测试需求对应的音视频流序号和音视频指定处理环节，查询用户指定处理环节中存储的信息，匹配存储信息中帧序号相同的信息，并获取信息中的时刻值，将两个时刻值的差值作为此帧数据在指定环节间的延时结果；将延时结果发送给用户。本发明逻辑简单，易实现，操作便利，准确性高，实用范围广，无任何限制。

Description

一种实时视频中音视频延时确定方法和系统

技术领域

本发明涉及的是音视频流媒体领域,特别涉及一种实时视频中音视频延时确定方法和装置。

背景技术

近年来，在网络和终端设备快速发展的推动下，实时视频通讯系统越来越受到人们青睐。实时视频通信系统主要由视频发送端、视频服务端和视频接收端三者构成，它是基于IP网络的图像、声音、文字交互系统，使世界各地的两人或多人实时音视频通讯成为可能。实时视频通信系统使用范围广，使用形式多样，如视频会议、视频群聊、网络主播互动、直播连麦等应用都会使用。在使用实时视频通信系统，特别是多人同时聊天或直播连麦时，能明显感受到通信双方间有延时，造成延时的原因有网络、多点控制单元MCU和视频播放端，通常情况下，多点控制单元MCU是造成延时的主因。

中国专利公开号为CN102158683A的专利中，介绍了一种视频延时的测试方法及计算机，专利主要思想是源终端发给多点控制单元MCU的视频数据记为第一报文，多点控制单元MCU发送给远程终端的视频数据记为第二报文，然后获取两个报文中的同一帧图像，并比对对应的时间信息，从而确定多点控制单元MCU的延时。然而，发明人发现，上述延时确定方法并不严谨，源终端到多点控制单元MCU和多点控制单元MCU到远程终端的网络延时均被算入多点控制单元MCU的延时，另外，多点控制单元MCU可能存在必要的视频丢帧，且视频中相邻两帧图像的区别很小，在获取两个报文中的同一帧图像时，并不能真正保证获取到的就是同一帧图像，有可能是将前后关系的两帧图像误认为是同一帧图像，而相邻两帧图像的时间间隔在16至40毫秒间不等，所以此专利介绍的延时确定方法误差较大。

中国专利公开号为CN109309831A的专利中，介绍了一种视频延时的测试方法及装置，专利主要思想是在多点控制单元MCU解码视频数据后和编码视频数据前，以水印或台标的方式为原始视频数据添加时间信息，在视频播放端播放带有时间信息的视频画面，从而获取了本帧图像画面的视频延时。然而，本发明人发现，上述延时确定方法并不严谨，时间信息只能在多点控制单元MCU解码视频后和编码视频前添加，漏算了视频解码和编码造成的延时，另外，时间信息的添加需要对视频图像进行大量数据修改，会人为引入时间延时，所以此专利介绍的延时确定方法不够精准。

中国专利公开号为CN110049379A的专利中，也介绍了一种通过添加时间信息水印来确定延时的方法。此方法的不足同专利CN109309831A。

还有一些中国专利公开的延时确定方法，普遍存在引入网络延时、多点控制单元MCU统计不完整造成延时偏小、获取同一帧视频图像不准确引入的帧间隔误差和视频数据添加时间信息引入人为延时等缺陷中的一个或多个。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的一种实时视频中音视频延时确定方法和系统。

为了解决上述技术问题，本申请实施例公开了如下技术方案：

一种实时视频中音视频延时确定方法，包括：

S100.用户通过多点控制单元MCU的网络模块延时确定功能，获取多点控制单元MCU当前正在处理的音视频流条数，并按第一预设规则对当前正在处理的音视频流顺序和音视频处理环节分别进行编号；用户根据自身需求，上传相应参数，确定自身所需的延时测试需求；

S200.记录模块记录并储存各个环节中音视频处理信息，包括：当前帧的帧序号和处理完的系统时刻；并在音视频数据各处理环节中设置相同的信息条数阈值k，判断各个环节中已存储的信息条数是否等于阈值k；

S300.对用户上传的参数进行解析，确定用户延时测试需求对应的音视频流顺序和音视频指定处理环节，统计模块查询用户指定处理环节中存储的信息，匹配存储信息中帧序号相同的信息，并获取信息中的时刻值，将两个时刻值的差值作为此帧数据在指定环节间的延时结果，并将延时结果发送给网络模块；

S400.网络模块获取用户所需的延时结果，并将延时结果发送给用户。

进一步地，MCU对视频处理环节分别进行编号的第一预设规则为：将视频处理环节中的视频数据接收、视频数据解码、视频数据丢帧、视频数据缩放、视频数据合成、视频数据合成后缩放和视频数据编码发送按递增顺序编号为1到7。

进一步地，MCU对音频处理环节分别进行编号的第一预设规则为：将音频处理环节中的音频数据接收、音频数据解码、音频数据重采样、音频数据混音、音频数据编码发送按递增顺序编号为1到5。

进一步地，用户上传参数的规则为：首先确定音视频类型，其中1表示视频，0表示音频；然后确定具体的音频或视频编号；最后确定需要测试的视频或音频处理环节的起止编号。

进一步地，S200中，当各个环节中已存储的信息条数等于阈值k时，先删掉已存储的第一条信息，然后再存储当前生成的这条信息，若小于阈值k，直接存储当前生成的这条信息。

进一步地，当视频数据丢帧环节出现丢帧时，视频数据丢帧环节会通知在它之前的视频数据接收环节和视频数据解码环节具体的丢帧编号，使视频数据接收环节和视频数据解码环节删除并更新已存储的信息。

进一步地，S200的具体方法为:

S201：当多点控制单元MCU中的记录模块被测试用户唤醒唤醒后，每个音视频数据处理环节中的记录模块独立记录本环节帧数据处理情况，每个环节处理的帧序号从1开始，单调递增，记录模块存储的信息包含帧序号和帧数据处理结束的系统时刻；

S202：S201每新生成一条信息，记录模块会获取本环节已存储的信息条数，并与S200中设置的阈值k做比较；

S203：当记录模块中已存储的信息值未到k时，直接直接存储当前生成的这条信息；记录模块已存储了k条信息时，删除已存储信息中的第一条信息，将新生成的信息进行存储；

S204：当某个数据处理环节中的记录模块收到了同一条媒体流的其它环节发送的丢帧或帧数据处理异常信号，一同收到的还有丢帧或帧数据处理异常的帧序号n；

S205：收到通知的记录模块会删除帧序号n对应的存储信息，并更新已存储信息中帧序号大于n的信息，更新内容是重新为帧序号赋值，保证删除信息后，剩余信息中的帧序号连贯，同时，记录模块中用于累计已处理数据帧的标记值减1。

进一步地，S300的具体方法为：

S301统计模块根据测试用户指定的延时确定参数，查询对应环节中记录模块存储的信息;

S302：统计模块先查询测试用户指定的起始环节中的存储信息，从存储信息中的第一条开始，获取信息中帧序号n和信息中系统时刻T1，再在测试用户指定的终止环节中查询帧序号为n的信息，并获取信息中系统时刻T2，T2与T1的差值T便是测试用户需要的延时确定值；

S303.统计模块将延时确定结果发送给网络模块。

本发明还公开了一种实时视频中音视频延时确定系统，包括：网络模块、记录模块和统计模块；其中：

网络模块，用于为用户提供测试用户能访问的接口，开启多点控制单元MCU的延时功能；用于对测试用户传入的参数进行解析，判断用户传入的参数是否满足要求；还用于接收统计模块发送的延时确定结果，并将延时确定结果发送给用户；

记录模块，用于记录并储存各个环节中音视频处理信息，包括：当前帧的帧序号和处理完的系统时刻；并在音视频数据各处理环节中设置相同的信息条数阈值k，判断各个环节中已存储的信息条数是否等于阈值k；

统计模块，用于查询用户指定处理环节中存储的信息，匹配存储信息中帧序号相同的信息，并获取信息中的时刻值，将两个时刻值的差值作为此帧数据在指定环节间的延时结果，并将延时结果发送给网络模块。

本发明实施例提供的上述技术方案的有益效果至少包括：

本发明公开的一种实时视频中音视频延时确定方法和系统，在延时确定过程中涵盖了多点控制单元MCU的每一个音视频数据处理环节，不会漏掉部分环节的延时统计，同时，音视频数据处理时刻的记录与音视频数据本身无任何联系，属于极轻量操作，不会影响多点控制单元MCU自身性能，也不会人为引入延时，另外，延时确定结果直接由统计模块计算得出，用户按时、按需访问网络模块直接获取延时结果，避免了前后相似帧造成的帧间隔误差。本发明逻辑简单，易实现，操作便利，准确性高，实用范围广，无任何限制。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：

图1为本发明实施例1中,一种实时视频中音视频延时确定方法的流程图；

图2为本发明实施例1中，S200处理方法的流程图；

图3为本发明实施例1中，S300处理方法的的流程图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

为了解决现有技术中存在的问题，本发明实施例提供一种实时视频中音视频延时确定方法和系统。

实施例1

本实施例公开了一种实时视频中音视频延时确定方法，如图1，包括：

S100.用户通过多点控制单元MCU的网络模块延时确定功能，获取多点控制单元MCU当前正在处理的音视频流条数，MCU按第一预设规则对当前正在处理的音视频流和音视频处理环节分别进行编号；用户根据自身需求，上传相应参数，确定自身所需的延时测试需求。

具体的，对视频处理环节分别进行编号的第一预设规则为：将视频处理环节中的视频数据接收、视频数据解码、视频数据丢帧、视频数据缩放、视频数据合成、视频数据合成后缩放和视频数据编码发送按递增顺序编号为1到7。对音频处理环节分别进行编号的第一预设规则为：将音频处理环节中的音频数据接收、音频数据解码、音频数据重采样、音频数据混音、音频数据编码发送按递增顺序编号为1到5。

可以理解的，假设当前有3条视频流，3条音频流在处理，视频流的编号分别为1、2、3，音频流的编号为1、2、3，视频分别率为1920x1080、1920x1080、1280x720，视频处理环节及环节编号为：1、视频数据接收，2、视频数据解码，3、视频数据丢帧，4、视频数据缩放，5、视频数据合成，6、视频数据合成后缩放，7、视频数据编码发送，音频处理环节及环节编号为：1、音频数据接收，2、音频数据解码，3、音频数据重采样，4、音频数据混音，5、音频数据编码发送。其次，测试用户上传相应参数，媒体类型参数的值为1表示视频，值为0表示音频，假设用户需要知道第一个视频从视频数据接收到视频数据编码发送的时间延时，则用户上传参数为1 1 1 7，首数字1表示视频，第二个数字1表示3个视频中的第一个视频，第三个数字1表示视频处理环节七个步骤中第一个步骤视频数据接收环节，第四个数字7表示视频处理环节七个步骤中第七个步骤视频数据编码发送环节，从而表示第一个视频从视频数据接收到视频数据编码发送的时间延时。

S200.记录模块记录并储存各个环节中音视频处理信息，包括：当前帧的帧序号和处理完的系统时刻；并在音视频数据各处理环节中设置相同的信息条数阈值k，判断各个环节中已存储的信息条数是否等于阈值k。

具体的，本实施例中，如图2，记录模块在S200的具体工作流程为：

S201：当多点控制单元MCU中的记录模块被测试用户唤醒唤醒后，每个音视频数据处理环节中的记录模块独立记录本环节帧数据处理情况，每个环节处理的帧序号从1开始，单调递增，记录模块存储的信息包含帧序号和帧数据处理结束的系统时刻；例如，每一条信息可由定义的结构体表示，结构体包含两个成员，分别是数据类型为长整型的帧序号值和数据类型为长整型的时刻值。再将表示信息的结构体以List或Vector的形式存储在系统内存中。

S202：S201每新生成一条信息，记录模块会获取本环节已存储的信息条数，并与S200中设置的阈值k做比较；

S203：当记录模块中已存储的信息值未到k时，直接直接存储当前生成的这条信息；记录模块已存储了k条信息时，删除已存储信息中的第一条信息，将新生成的信息进行存储；例如，List或Vector存储的信息条数已达到阈值60条，List或Vector删除第一条信息，新生成的信息追加到List或Vector中，已存储的总信息条数加1。

S204：当某个数据处理环节中的记录模块收到了同一条媒体流的其它环节发送的丢帧或帧数据处理异常信号，一同收到的还有丢帧或帧数据处理异常的帧序号n；例如，视频数据画面合成环节出现了合成失败，当前合成失败的帧序号是150，合成环节会通知它之前的视频数据接收环节、视频数据解码环节、视频数据丢帧环节和视频数据缩放环节的记录模块数据处理出现异常，并告知帧序号是150。

S205：收到通知的记录模块会删除帧序号n对应的存储信息，并更新已存储信息中帧序号大于n的信息，更新内容是重新为帧序号赋值，保证删除信息后，剩余信息中的帧序号连贯，同时，记录模块中用于累计已处理数据帧的标记值减1。例如，在S204例子的基础上，视频数据接收环节、视频数据解码环节、视频数据丢帧环节和视频数据缩放环节的记录模块均会删除已存储信息中帧序号为150的信息，并将已存储信息中帧序号为151的信息调整为150，帧序号为152的信息调整为151，同时，视频数据接收环节、视频数据解码环节、视频数据丢帧环节和视频数据缩放环节的记录模块还会将数据帧累计标记值减1，因为存储信息中的帧序号值是从数据帧累计标记获取的，为了保证帧序号连贯，累计标记值也要同步更改。由于存储的信息条数阈值为60，且从第一个环节数据接收到最后一个环节数据编码发送，两者间的帧序号差不超过30，数据量很小，所以记录模块对存储信息的删除、更新操作会迅速完成，对多点控制单元MCU的性能影响忽略不计。

在一些优选实施例中，当视频数据丢帧环节出现丢帧时，视频数据丢帧环节会通知在它之前的视频数据接收环节和视频数据解码环节具体的丢帧编号，使视频数据接收环节和视频数据解码环节删除并更新已存储的信息。

具体的，阈值k可以设置为100以内，50以上的整数，因为k值若设置的过大，存储的信息太多没多大实际用途，且消耗的系统资源也会变多，若k值设置50以内，考虑到已存储的信息会进行删除、更新操作，且会用平均值的形式向测试用户返回延时确定结果，已存储的信息参数过少也不便于算平均值，综上，本例子中阈值k选定为60。视频数据接收环节中记录模块存储的时刻信息用t1表示，视频数据编码发送环节中记录模块存储的时刻信息用t7表示，t1、t7的精度值达到微秒。若视频数据丢帧环节出现了丢帧，被丢掉的视频帧在丢帧环节中的帧序号为10，视频数据丢帧环节会通知在它之前的视频数据接收环节、视频数据解码环节出现了丢帧，丢帧序号是10，视频数据接收环节和视频数据解码环节中的记录模块会快速删掉视频帧序号为10的记录信息，并更新视频帧序号大于10的信息，如记录信息中原本视频帧序号为11，更新为10，原本视频帧序号为12，更新为11等。

S300.对用户上传的参数进行解析，确定用户延时测试需求对应的音视频流顺序和音视频指定处理环节，统计模块查询用户指定处理环节中存储的信息，匹配存储信息中帧序号相同的信息，并获取信息中的时刻值，将两个时刻值的差值作为此帧数据在指定环节间的延时结果，并将延时结果发送给网络模块。

在本实施例中，如图3，S300的具体方法为：

S301统计模块根据测试用户指定的延时确定参数，查询对应环节中记录模块存储的信息；

S302：统计模块先查询测试用户指定的起始环节中的存储信息，从存储信息中的第一条开始，获取信息中帧序号n和信息中系统时刻T1，再在测试用户指定的终止环节中查询帧序号为n的信息，并获取信息中系统时刻T2，T2与T1的差值T便是测试用户需要的延时确定值；

S303.统计模块将延时确定结果发送给网络模块。

具体的，根据用户上传的参数，例如上传参数为1117，可知媒体类型参数的值上传1，视频编号参数的值上传1，起始环节参数的值上传1，终止环节参数的值上传7。网络模块将参数解析出来后通知给统计模块，统计模块开始查询第1条视频流所在的数据接收环节和数据编码发送环节记录模块存储的信息，查询方向从记录模块存储的第一条信息开始往后查，比对两个环节中存储信息的帧序号，帧序号相同的信息再获取信息中的时刻值t1、t7，后一个环节的时刻值t7减去前一个环节的时刻值t1，差值t即为测试用户需要的延时值。

S400.网络模块获取用户所需的延时结果，并将延时结果发送给用户。

本实施例还公开了一种实时视频中音视频延时确定系统，包括：网络模块、记录模块和统计模块；其中：

网络模块，用于为用户提供测试用户能访问的接口，开启多点控制单元MCU的延时功能；用于对测试用户传入的参数进行解析，判断用户传入的参数是否满足要求；还用于接收统计模块发送的延时确定结果，并将延时确定结果发送给用户。

具体的，网络模块对外提供测试用户能访问的接口，每个接口功能不同。网络模块对外提供的接口能让测试用户传入参数，网络模块会解析测试用户传入的参数，并判断传入的参数是否满足要求。最终，网络模块会将延时确定参数发送给统计模块。网络模块将延时确定结果响应给测试用户。

记录模块，用于记录并储存各个环节中音视频处理信息，包括：当前帧的帧序号和处理完的系统时刻；并在音视频数据各处理环节中设置相同的信息条数阈值k，判断各个环节中已存储的信息条数是否等于阈值k；

统计模块，用于查询用户指定处理环节中存储的信息，匹配存储信息中帧序号相同的信息，并获取信息中的时刻值，将两个时刻值的差值作为此帧数据在指定环节间的延时结果，并将延时结果发送给网络模块。

本实施例公开的一种实时视频中音视频延时确定方法和系统，在延时确定过程中涵盖了多点控制单元MCU的每一个音视频数据处理环节，不会漏掉部分环节的延时统计，同时，音视频数据处理时刻的记录与音视频数据本身无任何联系，属于极轻量操作，不会影响多点控制单元MCU自身性能，也不会人为引入延时，另外，延时确定结果直接由统计模块计算得出，用户按时、按需访问网络模块直接获取延时结果，避免了前后相似帧造成的帧间隔误差。本发明逻辑简单，易实现，操作便利，准确性高，实用范围广，无任何限制。

应该明白，公开的过程中的步骤的特定顺序或层次是示例性方法的实例。基于设计偏好，应该理解，过程中的步骤的特定顺序或层次可以在不脱离本公开的保护范围的情况下得到重新安排。所附的方法权利要求以示例性的顺序给出了各种步骤的要素，并且不是要限于所述的特定顺序或层次。

在上述的详细描述中，各种特征一起组合在单个的实施方案中，以简化本公开。不应该将这种公开方法解释为反映了这样的意图，即，所要求保护的主题的实施方案需要清楚地在每个权利要求中所陈述的特征更多的特征。相反，如所附的权利要求书所反映的那样，本发明处于比所公开的单个实施方案的全部特征少的状态。因此，所附的权利要求书特此清楚地被并入详细描述中，其中每项权利要求独自作为本发明单独的优选实施方案。

本领域技术人员还应当理解，结合本文的实施例描述的各种说明性的逻辑框、模块、电路和算法步骤均可以实现成电子硬件、计算机软件或其组合。为了清楚地说明硬件和软件之间的可交换性，上面对各种说明性的部件、框、模块、电路和步骤均围绕其功能进行了一般地描述。至于这种功能是实现成硬件还是实现成软件，取决于特定的应用和对整个系统所施加的设计约束条件。熟练的技术人员可以针对每个特定应用，以变通的方式实现所描述的功能，但是，这种实现决策不应解释为背离本公开的保护范围。

结合本文的实施例所描述的方法或者算法的步骤可直接体现为硬件、由处理器执行的软件模块或其组合。软件模块可以位于RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、移动磁盘、CD-ROM或者本领域熟知的任何其它形式的存储介质中。一种示例性的存储介质连接至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以位于ASIC中。该ASIC可以位于用户终端中。当然，处理器和存储介质也可以作为分立组件存在于用户终端中。

对于软件实现，本申请中描述的技术可用执行本申请所述功能的模块(例如，过程、函数等)来实现。这些软件代码可以存储在存储器单元并由处理器执行。存储器单元可以实现在处理器内，也可以实现在处理器外，在后一种情况下，它经由各种手段以通信方式耦合到处理器，这些都是本领域中所公知的。

上文的描述包括一个或多个实施例的举例。当然，为了描述上述实施例而描述部件或方法的所有可能的结合是不可能的，但是本领域普通技术人员应该认识到，各个实施例可以做进一步的组合和排列。因此，本文中描述的实施例旨在涵盖落入所附权利要求书的保护范围内的所有这样的改变、修改和变型。此外，就说明书或权利要求书中使用的术语“包含”，该词的涵盖方式类似于术语“包括”，就如同“包括，”在权利要求中用作衔接词所解释的那样。此外，使用在权利要求书的说明书中的任何一个术语“或者”是要表示“非排它性的或者”。

Claims (7)

1.一种实时视频中音视频延时确定方法，其特征在于，包括：

S100.用户通过多点控制单元MCU的网络模块打开延时确定功能，获取多点控制单元MCU当前正在处理的音视频流条数，并按第一预设规则对当前正在处理的音视频流和音视频处理环节分别进行编号；用户根据自身需求，上传相应参数，确定自身所需的延时测试需求；

S200.记录模块记录并储存各个环节中音视频处理信息，包括：当前帧的帧序号和处理完的系统时刻；并在音视频数据各处理环节中设置相同的信息条数阈值k，判断各个环节中已存储的信息条数是否等于阈值k；S200的具体方法为：

S201：当多点控制单元MCU中的记录模块被测试用户唤醒后，每个音视频数据处理环节中的记录模块独立记录本环节帧数据处理情况，每个环节处理的帧序号从1开始，单调递增，记录模块存储的信息包含帧序号和帧数据处理结束的系统时刻；

S202：S201每新生成一条信息，记录模块会获取本环节已存储的信息条数，并与S200中设置的阈值k做比较；

S203：当记录模块中已存储的信息值未到k时，直接存储当前生成的这条信息；记录模块已存储了k条信息时，删除已存储信息中的第一条信息，将新生成的信息进行存储；

S204：当某个数据处理环节中的记录模块收到了同一条媒体流的其它环节发送的丢帧或帧数据处理异常信号，一同收到的还有丢帧或帧数据处理异常的帧序号n；

S205：收到通知的记录模块会删除帧序号n对应的存储信息，并更新已存储信息中帧序号大于n的信息，更新内容是重新为帧序号赋值，保证删除信息后，剩余信息中的帧序号连贯，同时，记录模块中用于累计已处理数据帧的标记值减1；

S300.对用户上传的参数进行解析，确定用户延时测试需求对应的音视频流序号和音视频指定处理环节，统计模块查询用户指定处理环节中存储的信息，匹配存储信息中帧序号相同的信息，并获取信息中的时刻值，将两个时刻值的差值作为此帧数据在指定环节间的延时结果，并将延时结果发送给网络模块；S300的具体方法为：

S301统计模块根据测试用户指定的延时确定参数，查询对应环节中记录模块存储的信息；

S302：统计模块先查询测试用户指定的起始环节中的存储信息，从存储信息中的第一条开始，获取信息中帧序号n和信息中系统时刻T1，再在测试用户指定的终止环节中查询帧序号为n的信息，并获取信息中系统时刻T2，T2与T1的差值T便是测试用户需要的延时确定值；

S303.统计模块将延时确定结果发送给网络模块；

S400.网络模块接收统计模块发送的延时结果，并将延时结果发送给用户。

2.如权利要求1所述的一种实时视频中音视频延时确定方法，其特征在于，对视频处理环节分别进行编号的第一预设规则为：将视频处理环节中的视频数据接收、视频数据解码、视频数据丢帧、视频数据缩放、视频数据合成、视频数据合成后缩放和视频数据编码发送按递增顺序编号为1到7。

3.如权利要求1所述的一种实时视频中音视频延时确定方法，其特征在于，对音频处理环节分别进行编号的第一预设规则为：将音频处理环节中的音频数据接收、音频数据解码、音频数据重采样、音频数据混音、音频数据编码发送按递增顺序编号为1到5。

4.如权利要求2或3所述的一种实时视频中音视频延时确定方法，其特征在于，用户上传参数的规则为：首先确定音视频类型，其中1表示视频，0表示音频；然后确定具体的音频或视频编号；最后确定需要测试的视频或音频处理环节的起止编号。

5.如权利要求1所述的一种实时视频中音视频延时确定方法，其特征在于，S200中，当各个环节中已存储的信息条数等于阈值k时，先删掉已存储的第一条信息，然后再存储当前生成的这条信息；若小于阈值k时，直接存储当前生成的这条信息。

6.如权利要求2所述的一种实时视频中音视频延时确定方法，其特征在于，当视频数据丢帧环节出现丢帧时，视频数据丢帧环节会通知在它之前的视频数据接收环节和视频数据解码环节具体的丢帧编号，使视频数据接收环节和视频数据解码环节删除并更新已存储的信息。

7.一种实时视频中音视频延时确定系统，其特征在于，包括：网络模块、记录模块和统计模块；其中：

网络模块，用于为用户提供测试用户能访问的接口，开启多点控制单元MCU的延时确定功能；用于对测试用户传入的参数进行解析，判断用户传入的参数是否满足要求；还用于接收统计模块发送的延时确定结果，并将延时确定结果发送给用户；

记录模块，用于记录并储存各个环节中音视频处理信息，包括：当前帧的帧序号和处理完的系统时刻；并在音视频数据各处理环节中设置相同的信息条数阈值k，判断各个环节中已存储的信息条数是否等于阈值k；其中记录模块工作的方法为：

S201：当多点控制单元MCU中的记录模块被测试用户唤醒后，每个音视频数据处理环节中的记录模块独立记录本环节帧数据处理情况，每个环节处理的帧序号从1开始，单调递增，记录模块存储的信息包含帧序号和帧数据处理结束的系统时刻；

S202：S201每新生成一条信息，记录模块会获取本环节已存储的信息条数，并与S200中设置的阈值k做比较；

S203：当记录模块中已存储的信息值未到k时，直接存储当前生成的这条信息；记录模块已存储了k条信息时，删除已存储信息中的第一条信息，将新生成的信息进行存储；

S204：当某个数据处理环节中的记录模块收到了同一条媒体流的其它环节发送的丢帧或帧数据处理异常信号，一同收到的还有丢帧或帧数据处理异常的帧序号n；

S205：收到通知的记录模块会删除帧序号n对应的存储信息，并更新已存储信息中帧序号大于n的信息，更新内容是重新为帧序号赋值，保证删除信息后，剩余信息中的帧序号连贯，同时，记录模块中用于累计已处理数据帧的标记值减1；

统计模块，用于查询用户指定处理环节中存储的信息，匹配存储信息中帧序号相同的信息，并获取信息中的时刻值，将两个时刻值的差值作为此帧数据在指定环节间的延时结果，并将延时结果发送给网络模块，其中，统计模块工作的方法为：

S301统计模块根据测试用户指定的延时确定参数，查询对应环节中记录模块存储的信息；

S302：统计模块先查询测试用户指定的起始环节中的存储信息，从存储信息中的第一条开始，获取信息中帧序号n和信息中系统时刻T1，再在测试用户指定的终止环节中查询帧序号为n的信息，并获取信息中系统时刻T2，T2与T1的差值T便是测试用户需要的延时确定值；

S303.统计模块将延时确定结果发送给网络模块。

Images