CN113132672B - 一种数据处理方法以及视频会议设备 - Google Patents

Abstract

本申请公开了一种数据处理方法以及视频会议设备，其中，所述方法应用于视频会议设备中，所述方法包括：对视频采集装置采集的原始视频数据进行处理，得到视频数据；基于所述视频数据，确定处理时间信息；其中，所述处理时间信息，包括对所述原始视频数据进行处理得到所述视频数据的时间；基于所述处理时间信息，对音频数据进行处理，以同步所述视频数据与所述音频数据；其中，所述音频数据，为对音频采集装置采集的原始音频数据进行处理得到的。

Description

一种数据处理方法以及视频会议设备

技术领域

本申请涉及信息技术领域，尤其涉及一种数据处理方法以及视频会议设备。

背景技术

在视频会议中，视频会议设备中的音频采集装置以及视频采集装置，能够分别采集会场的音频数据和视频数据、对音频数据和视频数据执行预处理以及编码，然后再将编码之后的音频数据以及视频数据传输至远程接收端，远程接收端在接收到编码后的音频数据以及视频数据时，再分别解码播放这些数据。由于音频数据的预处理、编码、传输以及解码对应的运算量以及处理时间相对较短，因此，在远程接收端，音频数据与视频数据会出现明显的异步现象。为了解决以上问题，相关技术中通常采用降低视频数据分辨率的方法，以缓解音频数据和视频数据的异步状态，然而，这样的做法，降低了视频会议设备中的高清摄像头的利用率，并且还降低了远程接收端接收到的视频数据的清晰度。

发明内容

本申请实施例提供了一种数据处理方法以及视频会议设备。

本申请实施例提供的技术方案是这样的：

本申请实施例提供了一种数据处理方法，所述方法应用于视频会议设备中，所述方法包括：

对视频采集装置采集的原始视频数据进行处理，得到视频数据；

基于所述视频数据，确定处理时间信息；其中，所述处理时间信息，包括对所述原始视频数据进行处理得到所述视频数据的时间；

基于所述处理时间信息，对音频数据进行处理，以同步所述视频数据与所述音频数据；其中，所述音频数据，为对音频采集装置采集的原始音频数据进行处理得到的。

在一些实施方式中，所述得到视频数据，包括：

如果检测到所述视频采集装置采集所述原始视频数据，控制所述视频采集装置接收硬件同步单元发送的第一时间信息，并将所述第一时间信息添加至所述原始视频数据中；

对所述原始视频数据进行处理，得到所述视频数据；

相应地，得到所述音频数据，包括：

如果检测到所述音频采集装置采集所述原始音频数据，控制所述音频采集装置接收硬件同步单元发送的所述第一时间信息，并将所述第一时间信息添加至所述原始音频数据中；

对所述原始音频数据进行处理，得到所述音频数据。

在一些实施方式中，其中，第一距离与第二距离之间的差值小于预设范围；所述第一距离，为所述硬件同步单元与所述视频采集装置之间的距离；所述第二距离，为所述硬件同步单元与所述音频采集装置之间的距离。

在一些实施方式中，所述基于所述视频数据，确定处理时间信息，包括：

获取所述视频采集装置采集所述原始视频数据时的工作模式参数；

基于所述工作模式参数，确定所述处理时间信息。

在一些实施方式中，基于所述工作模式参数，确定所述处理时间信息，包括：

获取处理时间确定模型；其中，所述处理时间确定模型，包括多种工作模式参数与对多个处理时间信息的对应关系；

基于所述工作模式参数与所述处理时间确定模型，确定所述处理时间信息。

在一些实施方式中，所述基于所述视频数据，确定处理时间信息，包括：

对所述视频数据进行解析，得到第二时间信息；其中，所述第二时间信息，为所述视频采集装置采集所述原始视频数据的时间；

获取得到所述视频数据的第三时间信息；

基于所述第二时间信息以及所述第三时间信息，确定所述处理时间信息。

在一些实施方式中，基于所述处理时间信息，对所述音频数据进行处理，包括：

确定延迟时间阈值；

如果所述处理时间信息小于所述延迟时间阈值，基于所述处理时间信息，延迟所述音频数据；

如果所述处理时间信息大于或等于所述延迟时间阈值，基于所述延迟时间阈值，延迟所述音频数据。

在一些实施方式中，所述方法还包括：

对所述音频数据进行分析，得到第一数据；对所述视频数据进行分析，得到第二数据；

对所述第一数据以及所述第二数据进行分析，确定第一数据对应的第一带宽以及第二数据对应的第二带宽；

基于所述第一带宽，传输所述第一数据；基于所述第二带宽，传输所述第二数据。

在一些实施方式中，所述基于所述处理时间信息，对所述音频数据进行处理之后，还包括：

对处理之后的音频数据、以及所述视频数据进行音视频编码处理，得到视频会议流数据；

发送所述视频会议流数据。

本申请实施例还提供了一种视频会议设备，所述视频会议设备包括视频采集装置、音频采集装置以及处理装置；

所述视频采集装置，用于采集原始视频数据；

所述音频采集装置，用于采集原始音频数据；

所述处理装置，用于对所述原始视频数据进行处理，得到视频数据；对所述原始音频数据进行处理，得到音频数据；

所述处理装置，还用于基于所述视频数据，确定处理时间信息；基于所述处理时间信息，对所述音频数据进行处理，以同步所述视频数据与所述音频数据；其中，所述处理时间信息，包括对所述原始视频数据进行处理得到所述视频数据的时间。

本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序被所述视频会议设备的处理器执行时，能够实现如前任一所述的数据处理方法。

本申请实施例提供的应用于视频会议设备的数据处理方法，对视频采集装置采集的原始视频数据进行处理得到视频数据之后，确定对原始视频数据处理得到视频数据的处理时间信息，然后基于该处理时间信息，对音频数据进行处理，以同步视频数据与音频数据。如此，通过本申请实施例提供的数据处理方法，视频会议设备能够协同控制相互独立的视频采集装置以及音频采集装置的数据处理操作；并且，视频会议设备能够根据视频数据对应的处理时间信息，确定如何处理音频数据，从而削弱了得到视频数据过程中的各种处理操作产生的时延、对音视频数据同步的影响，改善了视频会议过程中音视频数据的同步状态。

附图说明

图1为本申请实施例提供的数据处理方法的第一种流程示意图；

图2为本申请实施例提供的数据处理方法的第二种流程示意图；

图3为本申请实施例提供的对音频数据延时的流程示意图；

图4为本申请实施例提供的获取视频会议流数据的架构示意图；

图5为本申请实施例提供的视频会议设备的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。

应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本申请涉及信息技术领域，尤其涉及一种数据处理方法以及视频会议设备。

视频会议设备，包括能够采集原始音频数据的至少一个麦克风、能够采集原始图像数据的至少一个摄像头、能够对原始音频数据进行编码的音频编码器以及能够对原始图像数据进行编码的视频编码器，并且，麦克风与摄像头是相互独立的设备。

在视频会议过程中，视频会议设备对原始音频数据编码之后，就直接将音频编码结果发送至远程接收端，并且，视频会议设备对原始视频数据执行预处理以及编码操作之后，也直接将编码结果发送至远程接收端。音频数据与视频数据的数据类型、数据量之间的差异，导致原始音频数据的编码、传输、解码以及播放所占用的时间，要小于原始视频数据的编码、传输、解码以及播放所占用的时间，因此，在远程接收端呈现视频会议数据时，会出现明显的音频、视频不同步的情况。

比如，在实际应用中，在未对视频数据进行预处理的情况下，将摄像头采集的4K原始视频数据编码成H264格式的视频数据，大概需要占用200ms以上的处理时间，如此，在视频会议设备端，仅执行编码之后的视频数据，相对于音频数据的延时，可以达到180ms以上；而在音视频数据网络传输、远程接收端对音频数据、视频数据解码等因素的影响的基础上，在远程接收端，音频数据与视频数据的异步现象就更加明显。

为了解决以上问题，相关技术中通常采用降低摄像头的视频采集分辨率、比如将视频采集分辨率从1080P降低为720P的方法，以减少原始视频数据的数据量，从而缩短原始视频数据的一系列处理过程所占用的时间，进而能够改善音频数据与视频数据在远程接收端的同步问题。

然而，上述方案虽然能够从一定程度上改善音频数据与视频数据的同步状态，但是这样的技术方案不能充分利用摄像头的高清视频采集功能，使得设备的优势特性无法发挥，同时也直接导致远程接收端看到的视频数据的分辨率下降明显，这将导致视频会议的效率低下，从而造成了视频会议资源的浪费。

基于以上问题，本申请实施例提供了一种数据处理方法，该方法应用于视频会议设备中，该方法能够获取从原始视频数据得到视频数据的处理时间信息，并基于该处理时间信息，对音频数据进行处理，从而能够同步视频数据与音频数据。也就是说，通过本申请实施例提供的数据处理方法，视频会议设备能够根据得到视频数据的处理时间信息，确定如何对音频数据的处理，也就是说，本申请实施例提供的数据处理方法，在对音频数据处理的过程中，充分考虑了视频数据处理的各个环节所占用的时间长度因素，进而能够改善音频数据与视频数据在远程接收端的同步状态。

需要说明的是，本申请实施例提供的数据处理方法，可以是通过视频会议设备中的处理器来实现的，上述处理器可以为特定用途集成电路(Application SpecificIntegrated Circuit，ASIC)、数字信号处理器(Digital Signal Processor，DSP)、数字信号处理装置(Digital Signal Processing Device，DSPD)、可编程逻辑装置(ProgrammableLogic Device，PLD)、现场可编程逻辑门阵列(Field Programmable Gate Array，FPGA)、中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器中的至少一种。

图1为本申请实施例提供的数据处理方法的第一种流程示意图。如图1所示，该方法可以包括步骤101至步骤103：

步骤101、对视频采集装置采集的原始视频数据进行处理，得到视频数据。

在一种实施方式中，视频采集装置，可以是摄像头。

在一种实施方式中，视频采集装置的数量，可以是多个；示例性地，为了改善视频会议的视觉效果，多个视频采集装置可以分别设置在会议现场的不同位置。

在一种实施方式中，多个视频采集装置的视频采集参数，可以不同。示例性地，第一视频采集装置的精度可以与第二视频采集装置的精度不同；设置在第一位置的视频采集装置可以设定为需要执行视频预处理操作，设置在第二位置的视频采集装置可以设定为不需要执行视频预处理操作；第一视频采集装置可以处于为视频采集状态，第二视频采集装置，可以处于红绿蓝(Red Green Blue，RGB)视频采集状态。

在一种实施方式中，原始视频数据，可以为YUV格式的。

在一种实施方式中，视频采集装置对原始视频数据的采集，可以是连续进行的。

在一种实施方式中，视频采集装置对原始视频数据的采集操作，可以是由声音信号控制的，示例性地，若检测到会议现场的音频数据的分贝值小于第一阈值，则可以暂停视频采集装置的采集动作；反之，若检测到会议现场的音频数据的分贝值大于或等于第一阈值，则可以启动视频采集装置，并控制视频采集装置持续采集原始视频数据。

在一种实施方式中，对原始视频数据进行处理，可以包括视频数据预处理，还可以包括视频编码处理。

在一种实施方式中，视频数据预处理，可以包括：改善视觉效果处理、降噪处理、目标检测处理等。示例性地，上述视频数据预处理的操作，可以通过计算机视觉的人工智能(Artificial Intelligence)处理实现。

在一种实施方式中，视频数据预处理，可以包括对视频数据拼接、裁剪等处理。

在一种实施方式中，是否对原始视频数据执行视频数据预处理，是可控的。

在一种实施方式中，对原始视频数据进行处理，可以是按照先执行视频数据预处理，再执行视频编码处理的顺序执行的。

在一种实施方式中，对原始视频数据的进行视频编码处理，得到的视频数据，可以是H.261、H.263、H.264、动态图像专家(Moving Picture Experts Group，MPEG)格式等任一种。

在一种实施方式中，视频编码处理，可以是通过硬件实现的，也可以是通过软件实现的。

在一种实施方式中，视频采集装置，能够实现原始视频数据的采集、以及视频编码处理两种功能。

步骤102、基于视频数据，确定处理时间信息。

其中，处理时间信息，包括对原始视频数据进行处理得到视频数据的时间。

在一种实施方式中，处理时间信息，可以是以毫秒为单位的。

在一种实施方式中，处理时间信息，可以是通过检测获取原始视频数据的时间、与得到视频数据的时间之间的时间差而确定的。

在一种实施方式中，处理时间信息，可以是以视频会议设备的系统时间为基准的。

在一种实施方式中，处理时间信息，可以是以视频会议设备中特别设置的时钟周期为单位的，示例性地，处理时间信息，可以为N个时钟周期，其中，N为大于1的整数。

在一种实施方式中，若干帧的视频数据，可以对应一个处理时间信息；比如N帧连续的视频数据，对应一个处理时间信息；示例性地，每一帧视频数据，可以对应一个处理时间信息。

步骤103、基于处理时间信息，对音频数据进行处理，以同步视频数据与音频数据。

其中，音频数据，为对音频采集装置采集的原始音频数据进行处理得到的。

在一种实施方式中，音频采集装置，可以为麦克风。

在一种实施方式中，音频采集装置的数量可以为多个，示例性地，多个音频采集装置在会议现场中的设置形式、设置位置可以不同。

在一种实施方式中，多个音频采集装置中每一音频采集装置的参数，可以不同。示例性地，第一音频采集装置设置了回声消除功能，第二音频采集装置未设置回声消除功能；第一音频采集装置的信噪比，可以高于第二音频采集装置的信噪比；第一音频采集装置的监听距离，可以大于第二音频采集装置的监听距离等。

在一种实施方式中，原始音频数据，可以为音频采集装置直接采集到的数据，示例性地，该原始音频数据可以为模拟数据，也可以为数字化的数据。

在一种实施方式中，音频数据，可以是对原始音频数据进行音频编码处理之后得到的数据。

在一种实施方式中，音频采集装置，可以实现采集原始音频数据、以及对原始音频数据进行编码得到音频数据两种功能。

在一种实施方式中，视频采集装置、与音频采集装置，可以是同时启动的。

在一种实施方式中，基于处理时间，对音频数据进行处理，可以是通过以下方式实现的：

基于处理时间，确定是否对音频数据进行延时处理。

按照处理时间，对音频数据进行延时处理。

对处理时间进行分析，确定目标延时，并基于目标延时对音频数据进行延时处理。

在一种实施方式中，同步音频数据与视频数据，可以是控制音频数据与视频数据严格同步。

在一种实施方式中，音频数据与视频数据的同步，可以是控制音频数据与视频数据之间的时间差小于第二阈值。示例性地，第二阈值，可以根据视频会议设备的设备参数、视频会议的实际需求等确定；第二阈值，可以是可调的。

由以上可知，本申请实施例提供的应用于视频会议设备的数据处理方法，对视频采集装置采集的原始视频数据进行处理得到视频数据之后，确定对原始视频数据处理得到视频数据的处理时间信息，然后基于该处理时间信息，对音频数据进行处理，以同步视频数据与音频数据。如此，通过本申请实施例提供的数据处理方法，视频会议设备能够协同控制相互独立的视频采集装置以及音频采集装置的数据处理操作；并且，视频会议设备能够根据视频数据对应的处理时间信息，确定如何处理音频数据，从而削弱了得到视频数据过程中的各种处理操作产生的时延、对音视频数据同步的影响，改善了视频会议过程中音视频会议的同步效果。

基于前述实施例，本申请实施例还提供了一种数据处理方法，图2为本申请实施例提供的数据处理方法的第二种流程示意图。如图2所示，该流程可以包括步骤201至步骤204：

步骤201、对视频采集装置采集的原始视频数据进行处理，得到视频数据。

在本申请实施例中观，步骤201中得到视频数据的操作，可以通过步骤A1至步骤A2来实现：

步骤A1、如果检测到视频采集装置采集原始视频数据，控制视频采集装置接收硬件同步单元发送的第一时间信息，并将第一时间信息添加至原始视频数据中。

在一种实施方式中，硬件同步单元，可以是在视频会议设备中单独设置的单元，该单元可以仅用于发送同步时间信息。

在一种实施方式中，硬件同步单元，可以是复用的视频会议设备中能够发送同步时钟信号的硬件电路单元。

在一种实施方式中，第一时间信息，可以是视频会议设备的系统时间。

在一种实施方式中，第一时间信息，可以是视频会议设备的时钟周期个数。比如，视频会议设备从首次启动运行、到当前采集原始视频数据之间，经历的时钟周期个数为M，则第一时间信息，可以为M+1的时钟周期数量，其中，M可以为大于1的整数。

在一种实施方式中，第一时间信息，可以为相对时间信息。其中，该相对时间信息，可以以视频会议设备本次开机的时间为基准时间；示例性地，视频会议设备本次开机的时间，可以是视频会议设备的系统时间，也可以为视频会议设备开机时对应的时钟周期数量。

在一种实施方式中，将第一时间信息添加至原始视频数据中，可以是将第一时间信息作为原始视频数据的时间戳，附加在原始视频数据中。

在一种实施方式中，将第一时间信息添加至原始视频数据中，可以是以帧为单位进行的，即在每一帧原始视频数据中，均添加对应的第一时间信息。

步骤A2、对原始视频数据进行处理，得到视频数据。

在本申请实施例中，在得到视频数据之后，还可以在视频数据中添加第四时间信息。

在本申请实施例中，第四时间信息的单位以及设置方式，与第一时间信息的单位以及设置方式，可以相同。

由以上可知，通过原始视频数据中携带的第一时间信息、以及视频数据中携带的第四时间信息，就可以确定视频数据对应的处理时间信息。

相应地，音频数据，可以通过步骤B1至步骤B2得到：

步骤B1、如果检测到音频采集装置采集原始音频数据，控制音频采集装置接收硬件同步单元发送的第一时间信息，并将第一时间信息添加至原始音频数据中。

在一种实施方式中，硬件同步单元，可以同步将第一时间信息发送至音频采集装置以及视频采集装置。

在一种实施方式中，将第一时间信息添加至原始音频数据中，可以是将第一时间信息作为原始音频数据的时间戳设置的。

步骤B2、对原始音频数据进行处理，得到音频数据。

在本申请实施例中，在得到音频数据之后，还可以在音频数据中添加第五时间信息。

在本申请实施例中，第五时间信息的单位以及设置方式，与第一时间信息的单位以及设置方式，可以均相同。

如果视频会议设备对原始音频数据执行一系列复杂操作，从原始音频数据得到音频数据，也需要占用一定的时间。此时，通过原始音频数据中携带的第一时间信息、以及音频数据中携带的第五时间信息，就可以确定音频数据对应的处理时间信息。

在实际应用中，视频会议设备中的音频采集装置、与视频采集装置是两个相互独立的硬件装置，为了使音频采集装置与视频采集装置能够协同工作，相关技术中通常采用软件的方式实现。这种方式的前提是：假定音频采集装置采集原始音频数据的操作、与视频采集装置采集原始视频数据的操作是同步的，并且，视频数据与音频数据分别传输至处理器的时延也是相同的。在上述前提下，处理器分别为接收到的音频数据、以及视频数据设定时间戳，然后将音频数据以及视频数据分别传输至远程接收端，远程接收端分别对音频数据、以及视频数据执行解码操作，并获取它们分别携带的时间戳，再按照该时间戳同步解码之后的音频数据和视频数据的渲染操作。

然而，在实际应用中，上述方案执行的前提条件是无法满足的，比如，视频采集装置需要执行视频预处理操作时，视频信号与音频信号之间的实际延迟已经较大，而上述方案并未考虑这种延迟的影响；并且，在视频会议设备的负载过高的情况下，视频会议设备的处理器也无法通过软件算法稳定的生成时间戳信息。

在实际的视频会议过程中，视频会议设备启动视频采集设备以及音频采集设备的时间是同步的，在此基础上，本申请实施例提供的数据处理方法，视频会议设备通过硬件同步单元为原始音频数据设置第一时间信息，同时通过硬件同步单元为原始视频数据设置第二时间信息；相应地，在得到视频数据之后，还能够通过硬件同步单元为视频数据设置第四时间信息。由于硬件同步单元的时钟精准度要远远高于软件时钟的精准度，因此，基于第四时间信息以及第一时间信息，就可以准确的确定得到视频数据的处理时间信息，从而能够为后续的音视频数据的同步提供保障。并且，由于第一时间信息的生成并不需要受到处理器的控制，也不需要依赖于软件算法，因此，即使在视频会议设备的处理器负载过高的情况下，硬件同步单元依然能够提供高精度的第一时间信息，从而改善了第一时间信息发送的稳定性和准确性。

在本申请实施例中，第一距离与第二距离之间的差值小于预设范围；第一距离，为硬件同步单元与视频采集装置之间的距离；第二距离，为硬件同步单元与音频采集装置之间的距离。

在一种实施方式中，第一距离与第二距离，可以是相等的。

在实际应用中，电信号的传输时间，与电信号的传输路径之间具备直接的因果关系，因此，在本申请实施例中，由于第一距离与第二距离小于预设范围，那么，第一时间信息在第一距离上的传输时间、与其在第二距离上的传输时间之间的误差，也可以小于指定范围，如此，视频数据中携带的第一时间信息、与音频数据中携带的第一时间信息之间的时延误差，可以较小，从而能够进一步提高处理时间信息的精度，为后续的音视频高精度同步奠定基础。

步骤202、获取视频采集装置采集原始视频数据时的工作模式参数。

在一种实施方式中，工作模式参数，可以包括视频采集装置在采集原始视频数据时开启的功能，比如视频采集装置在采集原始视频数据时开启了视频数据预处理功能。

在一种实施方式中，工作模式参数，还可以包括视频采集装置采集原始视频数据时实现相关功能所消耗的功耗、需要的时间等；比如视频采集装置实现视频数据预处理功能需要消耗200ms的时间。

在一种实施方式中，工作模式参数，可以包括视频会议设备适合的环境状态的参数，比如环境光亮度、噪音分贝大小等。

在一种实施方式中，工作模式参数，还可以包括视频会议设备输出的数据格式参数。

在一种实施方式中，工作模式参数，还可以包括视频会议设备的输出功率阈值，视频会议设备可以根据输出功率阈值，合理配置各个硬件单元的工作模式、适当调度软件环节的进程线程切换；示例性地，如果视频会议设备的实际输出功率超过输出功率阈值，视频会议设备还可以输出告警信息。

在一种实施方式中，视频采集装置可以设置有默认工作模式参数，比如，在用户未设定工作模式参数的情况下，视频采集装置可以将默认工作模式参数、或者用户上一次设定的工作模式参数，确定为视频采集装置本次采集原始视频数据、并处理原始视频数据所依据的工作模式参数。

在一种实施方式中，如果用户未设定工作模式参数、或者用户设定的工作模式参数，与视频会议设备当前所处的环境状态的匹配度较差，视频会议设备可以输出提示信息。

在一种实施方式中，上述提示信息，可以包括与视频会议设备当前所处的环境状态匹配度较好的工作模式参数。比如，视频会议设备中设定的第一工作模式参数与环境光亮度较亮的工作环境匹配，而视频会议设备实际工作环境的环境光亮度较暗，若按照第一工作模式参数控制视频会设备持续工作，则得到的视频数据的清晰度可能不能满足视频会议的需求，此时视频会议设备可以输出提示信息，提示信息中可以包括与实际工作环境的环境光亮度匹配的第二工作模式参数，以供用户选择。

在一种实施方式中，视频会议输出提示信息之后，若在指定时间之内，未检测到用户输入的选择操作，则视频会议设备可以将第二工作模式参数自动设定为当前的工作模式参数，以改善视频会议的效果。

步骤203、基于工作模式参数，确定处理时间信息。

其中，处理时间信息，包括对原始视频数据进行处理得到视频数据的时间。

在一种实施方式中，工作模式参数中，包含了得到视频数据所实现的一系列功能，以及实现这些功能所占用的时间，因此，基于选定的工作模式参数，就可以确定处理时间信息。

在一种实施方式中，在工作模式参数所包含的功能中，一部分功能可以是并行执行的，那么这些功能所占用的时间，可以为其中一项功能对应的时间，其中，这一项功能对应的时间，可以是所有功能中实现时间最长的。

在一种实施方式中，在工作模式参数所包含的功能中，有一部分功能可以是串行进行的，这些功能之间可以具备前后的关联关系，即第一功能实现之后，才能实现第二功能，此时，这部分功能对应的时间，可以是所有功能实现的时间的总和。

在一种实施方式中，处理时间信息，可以包括上述并行执行的功能所对应的时间；还可以包括上述串行执行的功能所对应的时间。

在本申请实施例中，步骤203可以通过步骤C1至步骤C2实现：

步骤C1、获取处理时间确定模型。

其中，处理时间确定模型，包括多种工作模式参数与对多个处理时间信息的对应关系。

在一种实施方式中，多种工作模式参数与对多个处理时间信息的对应关系，可以是通过以下任一方式确定的：

对图像采集装置的每一功能进行测试，并统计功能实现所需要占用的时间信息，然后对至少一种功能进行组合，得到功能组合，并依据功能组合得到工作模式参数，相应地，根据至少一种功能组合的结果可以确定对应的时间信息，根据这些时间信息，就可以确定工作模式对应的处理时间。以此类推，就可以得到多种工作模式参数与多个处理时间之间的对应关系。示例性地，在上述测试的过程中，对任一功能所需要占用的时间信息的确定，可以是基于硬件同步单元发送的时间信息为基准确定的。

根据图像采集装置的功能实现说明，可以确定实现每一功能占用的时间信息；根据功能实现说明，还可以确定各项功能之间的串行和/或并行执行参数；基于以上串行和/或并行执行参数、以及时间信息，就可以确定多种工作模式、以及工作模式对应的时间信息；然后根据工作模式，可以设定工作模式参数；从而能够得到多种工作模式参数与多个处理时间信息之间的对应关系。

在一种实施方式中，对多种工作模式参数与对多个处理时间信息的对应关系进行汇总整理，就可以得到处理时间确定模型。

在一种实施方式中，处理时间确定模型，可以是以列表的形式呈现的；示例性地，还可以将列表存储在数据库中。示例性地，该数据库可以存储在视频会议设备中，也可以存储在云端或其它设备中。

在一种实施方式中，随着视频会议设备使用状态、使用时间的延长，处理时间确定模型中，各种不同的工作模式参数对应的处理时间可以改变。这种改变以及改变的程度，可以是通过对视频会议设备的工作环境温度、器件老化程度、器件发热频率等因素进行评估而确定的；示例性地，这种改变以及改变的程度，还可以是通过对视频会议设备的数据处理状态、响应速度等因素进行定期评估而确定的。

步骤C2、基于工作模式参数与处理时间确定模型，确定处理时间信息。

在一种实施方式中，处理时间信息，可以是基于工作模式参数，与处理时间确定模型中的工作模式参数的匹配度而确定的。

通过以上方式，在视频会议设备的工作过程中，可以实时的根据视频会议设备的工作模式参数确定对应的处理时间信息。如此，在无需借助软件同步操作或硬件同步单元的情况下，就能够确定每种视频会议设备的处理时间信息，从而提高了处理时间信息的确定效率，也为高效的实现音视频数据的高精度同步奠定了基础。

在本申请实施例中，基于视频数据，确定处理时间信息，还可以通过步骤D1至步骤D3实现：

步骤D1、对视频数据进行解析，得到第二时间信息。

其中，第二时间信息，为视频采集装置采集原始视频数据的时间。

在一种实施方式中，第二时间信息，可以是视频采集装置根据其从硬件同步单元接收到的同步时间信息设定的。

步骤D2、获取得到视频数据的第三时间信息。

在一种实施方式中，第三时间信息，可以与第二时间信息的单位相同，比如，第二时间信息的单位为时钟周期个数，第三时间信息的单位也可以为时钟周期个数。

步骤D3、基于第二时间信息以及第三时间信息，确定处理时间信息。

在一种实施方式中，对第三时间信息与第二时间信息做差，就可以确定处理时间信息。

在本申请实施例中，处理时间信息，是依据原始视频数据的采集时间即第二时间信息、以及获取视频数据的第三时间信息而确定的，因此，处理时间信息，能够全面而客观的反映得到视频数据真实延时状态，从而为后续的音视频数据同步提供了精度更高的时间保障。

步骤204、基于处理时间信息，对音频数据进行处理，以同步视频数据与音频数据。

其中，音频数据，为对音频采集装置采集的原始音频数据进行处理得到的。

在本申请实施例中，步骤204中基于处理时间信息，对音频数据进行处理，可以通过步骤E1至步骤E2实现：

步骤E1、确定延迟时间阈值。

在一种实施方式中，延迟时间阈值，可以是固定设置在视频会议设备中的。

在一种实施方式中，延迟时间阈值，可以是设置在视频会议系统中的。示例性地，视频会议系统中，可以包含至少一个视频会议设备，视频会议系统中的视频会议设备的延迟时间阈值，可以不同。

在一种实施方式中，延迟时间阈值，可以根据视频会议设备的工作状态、视频会议的数据传输需求、网络传输状态而灵活确定。

步骤E2、如果处理时间信息小于延迟时间阈值，基于处理时间信息，延迟音频数据；如果处理时间信息大于或等于延迟时间阈值，基于延迟时间阈值，延迟音频数据。

在实际应用中，音频数据与视频数据之间绝对同步的概率微乎其微，并且，对于人的主观感受而言，若音频数据领先于视频数据的时间少于45ms、或者延迟于视频数据的时间少于125ms，则人体的感官是基本感受不到的。因此，综合考虑音视频数据在视频会议系统中的处理过程、传输过程，以及音频数据对应的音频信号、视频数据对应的光信号在空气中的传输特性，以及人体对音频信号和视频信号的感受程度，可以将延迟时间阈值设定为500ms。

在本申请实施例中，若音频数据早于视频数据的时间大于或等于500ms，即处理时间信息大于500ms，则可以按照延迟时间阈值延迟音频数据；若音频数据早于视频数据的时间小于500ms，则可以按照处理时间信息即延迟音频数据。

在本申请实施例中，处理时间信息，可以仅包括对原始视频数据执行视频预处理对应的时间。

图3为本申请实施例提供的对音频数据延时的流程示意图。如图3所示，该流程可以包括以下步骤：

步骤301、启动视频会议设备。

在本申请实施例中，视频会议设备的数量可以为多个。

示例性地，视频会议设备启动之后，可以同时启动音频采集装置以及视频采集装置。

步骤302、设定视频处理参数。

示例性地，视频处理参数，可以是针对原始视频数据处理的工作模式参数。

步骤303、是否启用视频预处理。

示例性地，是否启用视频预处理，可以是通过对视频处理参数进行判断而确定的。

示例性地，若启用视频预处理，则执行步骤304；反之，则执行步骤305。

步骤304、执行视频预处理。

示例性地，在步骤304之前，还可以执行加载视频预处理模块的操作，在视频预处理模块加载完成的情况下，可以执行视频预处理。

步骤305、查询视频延迟T。

示例性地，视频延迟T可以为大于0的数字。

示例性地，视频延迟T，可以是基于硬件同步单元发送的第一时间信息、以及得到视频数据的时间信息确定的；视频延迟T，还可以是根据处理时间确定模型、以及视频处理参数之间的匹配关系而确定的。

步骤306、获取处理时间信息。

示例性地，处理时间信息，可以与视频延迟T相等。

步骤307、处理时间信息是否大于延迟时间阈值。

示例性地，若处理时间信息小于或等于延迟时间阈值，则可以执行步骤308；反之，则执行步骤309。

步骤308、处理音频数据、以及视频数据。

示例性地，处理音频数据，可以表示开始采集原始音频数据，还可以表示对采集得到的音频数据不执行延时处理。

示例性地，处理视频数据，可以包括对视频数据的编码处理。

示例性地，处理音频数据、以及视频数据，可以表示对音频数据以及视频数据同时执行音视频编码处理。

步骤309、延迟音频数据，处理音频数据以及视频数据。

示例性地，延迟音频数据，可以是按照延迟时间阈值，对采集得到的原始音频数据进行延迟；还可以是按照延迟时间阈值，开始采集原始音频数据，并对采集得到的原始音频数据进行处理，得到音频数据。

示例性的，处理音频数据以及视频数据，可以同步之后的音频数据以及视频数据分别处理，还可以是对同步之后的音频数据以及视频数据统一处理。

示例性地，在本申请实施例中，在确定需要延迟音频数据之后，还可以按照实际的延迟时间重新设定音频采集装置，控制音频采集装置可以同步采集原始音频数据，但是可以暂时缓存采集得到的原始音频数据，并在延迟时间到达时，启动对原始音频数据的处理。

通过以上步骤，本申请实施例提供的数据处理方法中，视频会议设备延迟音频数据的操作，是依据其得到音频数据以及视频数据的实际操作过程所对应的时间差进行的；并且，在延迟时间阈值包括了视频会议系统的数据处理特性、声音信号传输特性、光信号传输特性以及人体的主观感受容忍度的情况下，本申请实施例提供的数据处理方法的音视频数据同步操作，能够更贴合实际的视频会议系统的需求。

基于前述实施例，在音频数据为未编码数据、视频数据为未编码数据的情况下，在步骤204的基于处理时间信息，对音频数据进行处理之后，还可以执行步骤F1至步骤F2：

步骤F1、对处理之后的音频数据、以及视频数据进行音视频编码处理，得到视频会议流数据。

在一种实施方式中，音视频编码处理，可以是分别对音频数据进行编码得到第一编码结果，将第一时间信息添加至第一编码结果中，对视频数据进行编码得到第二编码结果，并将第一时间信息添加至第二编码结果中，然后按照第一时间信息，将第一编码结果以及第二编码结果打包为视频会议流数据。

在一种实施方式中，处理之后的音频数据，可以为延时之后的音频数据，在这种情况下，音视频编码处理，可以是音视频编码器直接同时对同步之后的音频数据以及视频数据进行编码，在得到视频编码结果之后，将音频编码结果与视频编码结果打包为视频会议流数据。

步骤F2、发送视频会议流数据。

图4为本申请实施例提供的获取视频会议流数据的架构示意图。

在图4中，硬件同步单元401可以是在视频会议设备中的硬件同步芯片；其用于输出第一时间信息至音频采集单元402、以及视频采集单元403。其中，音频采集单元402，可以包括音频采集芯片、以及受音频采集芯片控制的音频采集装置；视频采集单元403，可以包括视频采集芯片、以及受视频采集芯片控制的视频采集装置。

在图4中，音频采集单元402，可以将第一时间信息添加至原始音频数据中、视频采集单元403可以将第一时间信息添加至原始视频数据中；音频采集单元402，将添加有第一时间信息的原始音频数据发送至音频处理单元404；音频处理单元404，能够对音频采集单元402发送的添加有第一时间信息的原始音频数据进行降噪处理；视频采集单元403，能够将携带有第一时间信息的原始视频数据发送至视频处理单元405中，视频处理单元405能够对携带有第一时间信息的原始视频数据进行视频预处理。

在图4中，音频处理单元404将处理之后的原始音频数据发送至音视频编码单元406；视频处理单元405能够将处理之后的原始视频数据发送至音视频编码单元406。音视频编码单元406在接收到原始音频数据以及原始视频数据之后，分别对它们进行音频编码以及视频编码处理，得到视频会议流数据；然后通过视频会议流数据输出单元407，发送视频会议流数据至远程接收端。

在相关技术的视频会议过程中，音频编码数据与视频编码数据，是分开传输至远程接收端的，远程接收端在接收到相互独立的音频编码数据以及视频编码数据之后，再分别对它们执行解码、渲染操作，这种方式进一步恶化了音频数据与视频数据之间的不同步。

而本申请实施例提供的数据处理方法中，视频会议设备能够将处于同步状态的音频数据以及视频数据进行编码，并将以上编码结果打包为视频会议流数据，如此，在视频会议流数据的网络传输过程中，就可以对抗视频数据、音频数据由于网络传输而导致的不同步。

本申请实施例提供的数据处理方法，还可以包括步骤G1至步骤G3：

步骤G1、对音频数据进行分析，得到第一数据；对视频数据进行分析，得到第二数据。

示例性地，步骤G1中的音频数据以及视频数据，可以是经过音频编码以及视频编码之后得到的音频数据以及视频数据。

在一种实施方式中，对音频数据以及视频数据的分析，可以是基于统计学的方式进行的，即对视频会议设备工作过程中的大量音频数据、以及视频数据进行分析。

在一种实施方式中，对音频数据以及视频数据的分析，可以是基于当前会议过程中视频会议设备产生的音频数据、以及视频数据进行分析。

在一种实施方式中，对音频数据以及视频数据的分析，可以是在视频会议开始之前进行的，示例性地，在视频会议设备启动、视频会议系统中的各个视频会议设备建立通信连接之后，可以在短暂的时间内对视频会议设备预期产生的音频数据、以及视频数据进行分析。

在一种实施方式中，第一数据，可以表示单位时间内视频会议设备处理的音频数据的数据量；相应地，第二数据，可以表示单位时间内视频会议设备处理的视频数据的数据量。

在一种实施方式中，第一数据，可以表示在视频会议设备处于工作状态时、产生的音频数据的峰值数据量；相应地，第二数据，可以表示视频会议设备处于工作状态时、产生的视频数据的峰值数据量。

步骤G2、对第一数据以及第二数据进行分析，确定第一数据对应的第一带宽以及第二数据对应的第二带宽。

在一种实施方式中，第一带宽与第一数据呈正比关系、第二带宽与第二数据呈正比关系。

在一种实施方式中，在视频会议系统的通信带宽为固定带宽的情况下，可以基于第一数据以及第二数据，确定带宽划分比例；然后再基于带宽划分比例、以及上述固定带宽，确定第一带宽以及第二带宽。

在一种实施方式中，在视频会议过程中，第一数据以及第二数据，可以根据视频会议的工作状态、音频数据的数据量、以及视频数据的数据量而动态变化，相应地，第一带宽与第二带宽，也可以随着视频会议设备的工作状态、音频数据的数据量、以及视频数据的数据量而动态调整。

步骤G3、基于第一带宽，传输第一数据；基于第二带宽，传输第二数据。

在一种实施方式中，传输第一数据以及第二数据，可以是同步进行的。

在本申请实施例中，为音频数据以及视频数据分配不同的通信带宽，就可以限定音频数据、以及视频数据在视频会议系统中的传输速率，从而能够改善视频数据以及音频数据在视频会议系统的网络中的异步状态，为远程接收端的音视频数据同步提供了保障。

通过以上操作，本申请实施例提供的数据处理方法，在视频会议过程中，能够实现视频会议过程中音视频带宽的动态调整，如此，一方面能够改善音视频数据传输的效果、以及音频数据与视频数据的同步过程，另一方面，还可以充分利用视频会议系统的通信资源。

由以上可知，本申请实施例提供的数据处理方法，对视频采集装置采集的原始视频数据进行处理得到视频数据之后，视频会议设备能够获取视频采集装置采集原始视频数据时的工作模式参数，并基于工作模式参数，确定处理时间信息，然后根据处理时间信息，对音频数据进行处理，以同步视频数据与音频数据。由此，本申请实施例提供的数据处理方法，能够根据视频会议设备的工作模式参数，灵活高效的确定视频数据实际的处理时间信息，因此，在基于该处理时间信息对音频数据进行处理的过程中，就可以使得音频数据的处理进程或进度、能够与视频数据的处理进程或进度高度同步，从而有效改善了视频会议过程中音频数据与视频数据之间的同步效果。

基于前述实施例，本申请实施例还提供了一种视频会议设备5。图5为本申请实施例提供的视频会议设备5的结构示意图，该视频会议设备5包括视频采集装置501、音频采集装置502以及处理装置503，其中：

视频采集装置501，用于采集原始视频数据；

音频采集装置502，用于采集原始音频数据；

处理装置503，用于对原始视频数据进行处理，得到视频数据；对原始音频数据进行处理，得到音频数据；

处理装置503，还用于基于视频数据，确定处理时间信息；基于处理时间信息，对音频数据进行处理，以同步视频数据与音频数据；其中，处理时间信息，包括对原始视频数据进行处理得到视频数据的时间。

在一些实施方式中，视频会议设备5还包括硬件同步单元。

处理装置503，用于如果检测到视频采集装置采集原始视频数据，控制视频采集装置501接收硬件同步单元发送的第一时间信息，并将第一时间信息添加至原始视频数据中；

处理装置503，还用于对原始视频数据进行处理，得到视频数据；

处理装置503，用于如果检测到音频采集装置采集原始音频数据，控制音频采集装置接收硬件同步单元发送的第一时间信息，并将第一时间信息添加至原始音频数据中；

处理装置503，还用于对原始音频数据进行处理，得到音频数据。

在一些实施方式中，第一距离与第二距离之间的差值小于预设范围；第一距离，为硬件同步单元与视频采集装置501之间的距离；第二距离，为硬件同步单元与音频采集装置502之间的距离。

在一些实施方式中，处理装置503，用于获取视频采集装置采集原始视频数据时的工作模式参数；基于工作模式参数，确定处理时间信息。

在一些实施方式中，处理装置503，用于获取处理时间确定模型；其中，处理时间确定模型，包括多种工作模式参数与对多个处理时间信息的对应关系；基于工作模式参数与处理时间确定模型，确定处理时间信息。

在一些实施方式中，处理装置503，用于对视频数据进行解析，得到第二时间信息；其中，第二时间信息，为视频采集装置采集原始视频数据的时间；

处理装置503，还用于获取得到视频数据的第三时间信息；基于第二时间信息以及第三时间信息，确定处理时间信息。

在一些实施方式中，处理装置503，用于确定延迟时间阈值；

处理装置503，还用于如果处理时间信息小于延迟时间阈值，基于处理时间信息，延迟音频数据；如果处理时间信息大于或等于延迟时间阈值，基于延迟时间阈值，延迟音频数据。

在一些实施方式中，处理装置503，用于对音频数据进行分析，得到第一数据；对视频数据进行分析，得到第二数据；

处理装置503，还用于对第一数据以及第二数据进行分析，确定第一数据对应的第一带宽以及第二数据对应的第二带宽；

处理装置503，还用于基于第一带宽，传输第一数据；基于第二带宽，传输第二数据。

在一些实施方式中，处理装置503，用于对处理之后的音频数据、以及视频数据进行音视频编码处理，得到视频会议流数据；发送视频会议流数据。

需要说明的是，上述处理装置503，可以为特定用途集成电路ASIC、DSP、DSPD、PLD、FPGA、CPU、控制器、微控制器、微处理器中的至少一种。可以理解地，用于实现上述处理器功能的电子器件还可以为其它，本申请实施例不作具体限定。

由以上可知，本申请实施例提供的视频会议设备5，对视频采集装置采集的原始视频数据进行处理得到视频数据之后，确定对原始视频数据处理得到视频数据的处理时间信息，然后基于该处理时间信息，对音频数据进行处理，以同步视频数据与音频数据。如此，本申请实施例提供的视频会议设备5，能够协同控制相互独立的视频采集装置以及音频采集装置的数据处理操作；并且，视频会议设备5还能够根据视频数据对应的处理时间信息，确定如何处理音频数据，从而削弱了得到视频数据过程中的各种处理操作产生的时延、对音视频数据同步的影响，实现了视频会议过程中音视频会议的同步。

基于前述实施例，本申请实施例还提供了一种计算机可读存储介质，该存储介质中存储有计算机程序，该计算机程序被处理器执行时，能够实现如前任一所述的应用于视频会议设备的数据处理方法。

上文对各个实施例的描述倾向于强调各个实施例之间的不同之处，其相同或相似之处可以互相参考，为了简洁，本文不再赘述。

本申请所提供的各方法实施例中所揭露的方法，在不冲突的情况下可以任意组合，得到新的方法实施例。

本申请所提供的各产品实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的产品实施例。

本申请所提供的各方法或设备实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的方法实施例或设备实施例。

需要说明的是，上述计算机可读存储介质可以是只读存储器(Read Only Memory，ROM)、可编程只读存储器(Programmable Read-Only Memory，PROM)、可擦除可编程只读存储器(Erasable Programmable Read-Only Memory，EPROM)、电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，EEPROM)、磁性随机存取存储器(Ferromagnetic Random Access Memory，FRAM)、快闪存储器(Flash Memory)、磁表面存储器、光盘、或只读光盘(Compact Disc Read-Only Memory，CD-ROM)等存储器；也可以是包括上述存储器之一或任意组合的各种电子设备，如移动电话、计算机、平板设备、个人数字助理等。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件节点的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本申请各个实施例所描述的方法。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上仅为本申请的优选实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (9)

1.一种数据处理方法，其中，所述方法应用于视频会议设备中，所述方法包括：

对视频采集装置采集的原始视频数据进行处理，得到视频数据；

基于所述视频数据，确定处理时间信息；其中，所述处理时间信息，包括对所述原始视频数据进行处理得到所述视频数据的时间；

基于所述处理时间信息，对音频数据进行处理，以同步所述视频数据与所述音频数据；其中，所述音频数据，为对音频采集装置采集的原始音频数据进行处理得到的；

其中，所述视频采集装置与硬件同步单元之间的距离为第一距离；所述音频采集装置与硬件同步单元之间的距离为第二距离；其中，所述第一距离与所述第二距离之间的差值小于预设范围。

2.根据权利要求1所述的方法，其中，所述得到视频数据，包括：

检测到所述视频采集装置采集所述原始视频数据，控制所述视频采集装置接收硬件同步单元发送的第一时间信息，并将所述第一时间信息添加至所述原始视频数据中；

对所述原始视频数据进行处理，得到所述视频数据；

相应地，得到所述音频数据，包括：

检测到所述音频采集装置采集所述原始音频数据，控制所述音频采集装置接收硬件同步单元发送的所述第一时间信息，并将所述第一时间信息添加至所述原始音频数据中；

对所述原始音频数据进行处理，得到所述音频数据。

3.根据权利要求1所述的方法，其中，所述基于所述视频数据，确定处理时间信息，包括：

获取所述视频采集装置采集所述原始视频数据时的工作模式参数；

基于所述工作模式参数，确定所述处理时间信息。

4.根据权利要求3所述的方法，其中，基于所述工作模式参数，确定所述处理时间信息，包括：

获取处理时间确定模型；其中，所述处理时间确定模型，包括多种工作模式参数与对多个处理时间信息的对应关系；

基于所述工作模式参数与所述处理时间确定模型，确定所述处理时间信息。

5.根据权利要求1所述的方法，其中，所述基于所述视频数据，确定处理时间信息，包括：

对所述视频数据进行解析，得到第二时间信息；其中，所述第二时间信息，为所述视频采集装置根据其从所述硬件同步单元接收到的同步时间信息设定的时间；

获取处理完所述原始视频数据的第三时间信息；

基于所述第二时间信息以及所述第三时间信息，确定所述处理时间信息。

6.根据权利要求1所述的方法，其中，基于所述处理时间信息，对所述音频数据进行处理，包括：

确定延迟时间阈值；

如果所述处理时间信息小于所述延迟时间阈值，基于所述处理时间信息，延迟所述音频数据；

如果所述处理时间信息大于或等于所述延迟时间阈值，基于所述延迟时间阈值，延迟所述音频数据。

7.根据权利要求1或6任一所述的方法，其中，所述方法还包括：

对所述音频数据进行分析，得到第一数据；对所述视频数据进行分析，得到第二数据；

对所述第一数据以及所述第二数据进行分析，确定第一数据对应的第一带宽以及第二数据对应的第二带宽；

基于所述第一带宽，传输所述第一数据；基于所述第二带宽，传输所述第二数据。

8.根据权利要求1所述的方法，其中，所述基于所述处理时间信息，对所述音频数据进行处理之后，还包括：

对处理之后的音频数据、以及所述视频数据进行音视频编码处理，得到视频会议流数据；

发送所述视频会议流数据。

9.一种视频会议设备，所述视频会议设备包括视频采集装置、音频采集装置以及处理装置；

所述视频采集装置，用于采集原始视频数据；

所述音频采集装置，用于采集原始音频数据；

所述处理装置，用于对所述原始视频数据进行处理，得到视频数据；对所述原始音频数据进行处理，得到音频数据；

所述处理装置，还用于基于所述视频数据，确定处理时间信息；基于所述处理时间信息，对所述音频数据进行处理，以同步所述视频数据与所述音频数据；其中，所述处理时间信息，包括对所述原始视频数据进行处理得到所述视频数据的时间；

其中，所述视频采集装置与硬件同步单元之间的距离为第一距离；所述音频采集装置与硬件同步单元之间的距离为第二距离；其中，所述第一距离与所述第二距离之间的差值小于预设范围。

Images