CN113691762A - 视频会议的数据传输方法、装置及计算机可读存储介质 - Google Patents

Abstract

本发明公开了一种视频会议的数据传输方法、装置及计算机可读存储介质，所述视频会议的数据传输方法包括：第一视频会议终端检测到与视频会议服务器的通信连接断开时，录制第一音频数据；在与所述视频会议服务器重新连接后，将所述第一音频数据发送至所述视频会议服务器。本发明能够避免视频会议终端重连后，视频会议信息丢失。

Description

视频会议的数据传输方法、装置及计算机可读存储介质

技术领域

本发明涉及视频会议技术领域，尤其涉及一种视频会议的数据传输方法、装置及计算机可读存储介质。

背景技术

在进行视频会议的过程中，各个视频会议终端通过视频会议服务器转发视频会议中的数据，其中，由于网络连接可能不稳定或者其他因素的影响，视频会议终端与视频会议服务器的连接可能会断开，在连接断开后，视频会议服务器无法获取到连接断开的视频会议终端的数据，从而导致视频会议终端重连后，其视频会议信息丢失。

发明内容

本发明的主要目的在于提供一种视频会议的数据传输方法、装置及计算机可读存储介质，旨在解决视频会议服务器无法获取到连接断开的视频会议终端的数据，从而导致视频会议终端重连后，其视频会议信息丢失的技术问题。

为实现上述目的，本发明提供一种视频会议的数据传输方法，所述视频会议的数据传输方法包括：

第一视频会议终端检测到与视频会议服务器的通信连接断开时，录制第一音频数据；

在与所述视频会议服务器重新连接后，将所述第一音频数据发送至所述视频会议服务器。

可选地，所述第一视频会议终端检测到与视频会议服务器的通信连接断开时，录制第一音频数据的步骤包括：

所述第一视频会议终端检测到与所述视频会议服务器的通信连接断开时，采集第一视频会议终端所在环境的原始音频数据；

对所述原始音频数据进行降噪处理，得到所述第一音频数据；

在所述第一音频数据的声音强度大于预设阈值时，保存所述第一音频数据。

可选地，所述在与所述视频会议服务器重新连接后，将所述第一音频数据发送至所述视频会议服务器的步骤包括：

在与所述视频会议服务器重新连接后，将所述第一音频数据以及所述第一音频数据对应发言时间发送至所述视频会议服务器；

和/或，所述将所述第一音频数据以及所述发言时间发送至所述视频会议服务器的步骤之后，所述视频会议的数据传输方法还包括：

接收所述视频会议服务器返回的所述发言时间关联的文字信息，所述文字信息由所述视频会议服务器根据所述第一音频数据转写得到；

关联显示所述发言时间以及所述文字信息。

可选地，所述视频会议的数据传输方法还包括：

接收所述视频会议服务器发送的第二音频数据以及所述第二音频数据关联的终端标识，所述第二音频数据为对第三音频数据加速处理后得到的音频数据，所述第三音频数据包括所述第一音频数据以及所述第一视频会议终端重新连接后录制的音频数据，所述终端标识为所述第一视频会议终端的标识；

在所述第二音频数据关联的终端标识与所述第一视频会议终端的终端标识相同时，取消播放所述第二音频数据；

在所述第二音频数据关联的终端标识与所述第一视频会议终端的终端标识不相同时，播放所述第二音频数据。

此外，为实现上述目的，本发明还提供一种视频会议的数据传输方法，所述视频会议的数据传输方法包括：

接收第一视频会议终端发送的第一音频数据，所述第一音频数据为所述第一视频会议终端检测到与所述视频会议服务器的通信连接断开时录制的音频数据；

将所述第一音频数据发送至所述第一视频会议终端以及第二视频会议终端；

和/或，将所述第一音频数据转写为文字信息，将所述文字信息发送至所述第一视频会议终端以及所述第二视频会议终端。

可选地，所述将所述文字信息发送至所述第一视频会议终端以及所述第二视频会议终端的步骤包括：

将发言时间以及所述发言时间关联的所述文字信息发送至所述第一视频会议终端以及所述第二视频会议终端，所述发言时间由所述第一视频会议终端在发送所述第一音频数据的同时发送。

可选地，所述视频会议的数据传输方法还包括：

根据断线时长、加速播放倍率以及原始播放倍率确定需要加速播放的加速时长，所述加速播放倍率大于所述原始播放倍率；

在重新连接所述第一视频会议终端时开始计时得到计时长；

在所述计时时长小于或者等于所述加速时长时，按照所述加速播放倍率对所述第三音频数据加速处理得到第二音频数据，所述第三音频数据包括所述第一音频数据以及所述第一视频会议终端重新连接后录制的音频数据；

向所述第一视频会议终端以及所述第二视频会议终端发送所述第二音频数据以及所述第二音频数据关联的终端标识，所述终端标识为所述第一视频会议终端的标识；

在所述计时时长大于所述加速时长时，向所述第一视频会议终端以及所述第二视频会议终端发送所述第三音频数据，所述第三音频数据的播放倍率为所述原始播放倍率。

此外，为实现上述目的，本发明还提供一种视频会议的数据传输装置，所述装置包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的视频会议的数据传输程序，所述视频会议的数据传输程序被所述处理器执行时实现上述任一项所述的视频会议的数据传输方法的步骤。

此外，为实现上述目的，本发明还提供一种视频会议的数据传输装置，所述装置包括录制模块、第一发送模块，其中：

所述录制模块用于第一视频会议终端检测到与视频会议服务器的通信连接断开时，录制第一音频数据；

所述第一发送模块用于在与所述视频会议服务器重新连接后，将所述第一音频数据发送至所述视频会议服务器；

或者，所述装置包括接收模块、第二发送模块、转写模块，其中：

所述接收模块用于接收第一视频会议终端发送的第一音频数据，所述第一音频数据为所述第一视频会议终端检测到与所述视频会议服务器的通信连接断开时录制的音频数据；

所述转写模块，用于将所述第一音频数据转写为文字信息；

所述第二发送模块用于将所述第一音频数据发送至所述第一视频会议终端以及第二视频会议终端，和/或，将所述文字信息发送至所述第一视频会议终端以及所述第二视频会议终端。

此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有视频会议的数据传输程序，所述视频会议的数据传输程序被处理器执行时实现上述任一项所述的视频会议的数据传输方法的步骤。

本发明实施例提出的一种视频会议的数据传输方法、装置及计算机可读存储介质，通过第一视频会议终端检测到与视频会议服务器的通信连接断开时，录制第一音频数据，在与视频会议服务器重新连接后，将第一音频数据发送至视频会议服务器，从而使得在第一视频会议终端与视频会议服务器的通信连接断开后，能够及时地录制第一音频数据，并且在重连后，将录制的第一音频数据发送至视频会议服务器，从而使得视频会议服务器能够获取到连接断开的视频会议终端的数据，从而在视频会议终端重连后，其视频会议信息不会丢失，而是能够被正常保留。

附图说明

图1是本发明实施例方案涉及的硬件运行环境的装置结构示意图；

图2为本发明视频会议的数据传输方法第一实施例的流程示意图；

图3为本发明视频会议的数据传输方法第二实施例的流程示意图；

图4为本发明视频会议的数据传输方法第三实施例的流程示意图；

图5为本发明视频会议的数据传输方法第四实施例的流程示意图；

图6为本发明视频会议的数据传输方法第五实施例的流程示意图；

图7为本发明视频会议的数据传输方法第六实施例的流程示意图；

图8为本发明视频会议的数据传输方法第七实施例的流程示意图；

图9为本发明视频会议的数据传输方法实施例涉及的界面示意图；

图10为本发明视频会议的数据传输装置的功能模块示意图；

图11为本发明视频会议的数据传输装置的另一功能模块示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

如图1所示，图1是本发明实施例方案涉及的硬件运行环境的装置结构示意图。

如图1所示，该装置可以包括：处理器1001，例如CPU，通信接口1002，存储器1003，通信总线1004。其中，通信总线1004用于实现这些组件之间的连接通信。通信接口1002可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1003可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1003可选的还可以是独立于前述处理器1001的存储装置。

本领域技术人员可以理解，图1中示出的装置结构并不构成对装置的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

如图1所示，作为一种计算机存储介质的存储器1003中可以包括操作系统、通信模块以及视频会议的数据传输程序。

本发明实施例装置是PC、智能手机、平板电脑、便携计算机等具有录制功能的视频会议终端；或者，本发明实施例装置是视频会议服务器。

在图1所示的装置中，所述装置为视频会议终端，其中，通信接口1002主要用于连接视频会议服务器，与视频会议服务器进行数据通信；而处理器1001可以用于调用存储器1003中存储视频会议的数据传输程序，并执行以下操作：

第一视频会议终端检测到与视频会议服务器的通信连接断开时，录制第一音频数据；

在与所述视频会议服务器重新连接后，将所述第一音频数据发送至所述视频会议服务器。

进一步地，处理器1001可以调用存储器1003中存储的视频会议的数据传输程序，还执行以下操作：

所述第一视频会议终端检测到与所述视频会议服务器的通信连接断开时，采集第一视频会议终端所在环境的原始音频数据；

对所述原始音频数据进行降噪处理，得到所述第一音频数据；

在所述第一音频数据的声音强度大于预设阈值时，保存所述第一音频数据。

进一步地，处理器1001可以调用存储器1003中存储的视频会议的数据传输程序，还执行以下操作：

在与所述视频会议服务器重新连接后，将所述第一音频数据以及所述第一音频数据对应发言时间发送至所述视频会议服务器；

和/或，接收所述视频会议服务器返回的所述发言时间关联的文字信息，所述文字信息由所述视频会议服务器根据所述第一音频数据转写得到；

关联显示所述发言时间以及所述文字信息。

进一步地，处理器1001可以调用存储器1003中存储的视频会议的数据传输程序，还执行以下操作：

接收所述视频会议服务器发送的第二音频数据以及所述第二音频数据关联的终端标识，所述第二音频数据为对第三音频数据加速处理后得到的音频数据，所述第三音频数据包括所述第一音频数据以及所述第一视频会议终端重新连接后录制的音频数据，所述终端标识为所述第一视频会议终端的标识；

在所述第二音频数据关联的终端标识与所述第一视频会议终端的终端标识相同时，取消播放所述第二音频数据；

在所述第二音频数据关联的终端标识与所述第一视频会议终端的终端标识不相同时，播放所述第二音频数据。

或者，在图1所示的装置中，所述装置为视频会议服务器，其中，通信接口1002主要用于连接视频会议终端，与视频会议终端进行数据通信；而处理器1001可以用于调用存储器1003中存储视频会议的数据传输程序，并执行以下操作：

接收第一视频会议终端发送的第一音频数据，所述第一音频数据为所述第一视频会议终端检测到与所述视频会议服务器的通信连接断开时录制的音频数据；

将所述第一音频数据发送至所述第一视频会议终端以及第二视频会议终端；

和/或，将所述第一音频数据转写为文字信息，将所述文字信息发送至所述第一视频会议终端以及所述第二视频会议终端。

进一步地，处理器1001可以调用存储器1003中存储的视频会议的数据传输程序，还执行以下操作：

将发言时间以及所述发言时间关联的所述文字信息发送至所述第一视频会议终端以及所述第二视频会议终端，所述发言时间由所述第一视频会议终端在发送所述第一音频数据的同时发送。

进一步地，处理器1001可以调用存储器1003中存储的视频会议的数据传输程序，还执行以下操作：

根据断线时长、加速播放倍率以及原始播放倍率确定需要加速播放的加速时长，所述加速播放倍率大于所述原始播放倍率；

在重新连接所述第一视频会议终端时开始计时得到计时长；

在所述计时时长小于或者等于所述加速时长时，按照所述加速播放倍率对所述第三音频数据加速处理得到第二音频数据，所述第三音频数据包括所述第一音频数据以及所述第一视频会议终端重新连接后录制的音频数据；

向所述第一视频会议终端以及所述第二视频会议终端发送所述第二音频数据以及所述第二音频数据关联的终端标识，所述终端标识为所述第一视频会议终端的标识；

在所述计时时长大于所述加速时长时，向所述第一视频会议终端以及所述第二视频会议终端发送所述第三音频数据，所述第三音频数据的播放倍率为所述原始播放倍率。

参照图2，本发明第一实施例提供一种视频会议的数据传输方法，所述视频会议的数据传输方法包括：

步骤S10，第一视频会议终端检测到与视频会议服务器的通信连接断开时，录制第一音频数据；

第一视频会议终端是一种用于进行视频会议的终端设备，第一视频会议终端比如为智能手机、平板电脑以及PC等计算机设备；第一视频会议终端具有录制功能，能够录制音频数据；在第一视频会议终端与视频会议服务器之间的通信连接未断开的情况下，第一视频会议终端的视频会议信息可以基于该通信连接发送至视频会议服务器，并使得视频会议服务器将视频会议信息转发至第二视频会议终端，第二视频会议终端为所述视频会议服务器连接的视频会议终端中，除第一视频会议终端以外的视频会议终端，具体可以是参与第一视频会议终端相同视频会议通话的视频会议终端；在第一视频会议终端与视频会议服务器的通信连接断开时，第一视频会议终端的视频会议信息无法发送至视频会议服务器，导致第二视频会议终端无法正常接收第一视频会议终端的视频会议信息。

为了避免视频会议信息丢失，本实施例中，在第一视频会议终端与视频会议服务器的通信连接断开时，录制第一音频数据，第一音频数据为通信连接断开后至重新连接前录制的音频数据，其中，第一音频数据具体可以是通信连接断开后至重新连接前录制的完整音频数据，在第一音频数据为完整音频数据的情况下，第一音频数据的录制持续时长等于通信连接断开至重连的持续时长，或者，第一音频数据也可以是通信连接断开后至重新连接前录制的部分音频数据，在第一音频数据为部分音频数据的情况下，第一音频数据的录制持续时长小于通信连接断开至重连的持续时长；录制第一音频数据的方式不限定，比如，可以通过第一视频会议终端所包括的音频录入模块录制第一音频数据，或者，也可以通过第一视频会议终端外接的音频录入设备录制第一音频数据，或者采用其他方式录制第一音频数据，在此不做限定。

第一视频会议终端可以采用下述方式检测与视频会议服务器的通信连接断开：第一视频会议终端实时监控本地网络状态，具体而言，第一视频会议终端对当前所处的网络环境进行检测，以检测第一视频会议终端与视频会议服务器的通信连接断开，而不向视频会议服务端发送连接请求，避免视频会议服务器处理连接请求所引起的通信压力增大的问题，从而可以减少视频会议服务端的通信压力，或者，第一视频会议终端监测与视频会议服务器的连接，第一视频会议终端可以向视频会议服务器发送连接请求，在视频会议服务器未返回该连接请求对应的响应数据时，则确定第一视频会议终端与视频会议服务器的通信连接断开，或者，可以同时采用上述两种方式检测到通信连接断开时，确定第一视频会议终端与视频会议服务器的通信连接断开，以提升检测的准确性，或者，还可以采用其他方式检测与视频会议服务器的通信连接断开。

步骤S20，在与所述视频会议服务器重新连接后，将所述第一音频数据发送至所述视频会议服务器。

第一视频会议终端在与视频会议服务器的通信连接断开后，可以尝试与视频会议服务器重新建立通信连接，并在与视频会议服务器重新连接后，将第一音频数据发送至视频会议服务器，在将第一音频数据发送至视频会议服务器的同时，还可以发送通信连接断开至重连期间录制的画面信息，此外，还可以发送通信连接断开的断线时间以及重新连接的重连时间。

第一视频会议终端在接收到第一音频数据之后，可以将第一音频数据转发至第二视频会议终端，使得第二视频会议终端获取到第一视频会议终端在断线期间的视频会议信息。

在本实施例中，通过第一视频会议终端检测到与视频会议服务器的通信连接断开时，录制第一音频数据，在与视频会议服务器重新连接后，将第一音频数据发送至视频会议服务器，从而使得在第一视频会议终端与视频会议服务器的通信连接断开后，能够及时地录制第一音频数据，并且在重连后，将录制的第一音频数据发送至视频会议服务器，从而使得视频会议服务器能够获取到连接断开的视频会议终端的数据，从而在视频会议终端重连后，其视频会议信息不会丢失，而是能够被正常保留。

,参照图3，本发明第二实施例提供一种视频会议的数据传输，基于上述图2所示的实施例，所述步骤S10包括：

步骤S11，所述第一视频会议终端检测到与所述视频会议服务器的通信连接断开时，采集第一视频会议终端所在环境的原始音频数据；

为了避免录制的第一音频数据中不包括实际参与该视频会议的用户的声音，以提升录制的第一音频数据的准确性，本实施例中，通过采集第一视频会议终端所在环境的原始音频数据，对原始音频数据进行降噪处理，降噪处理后的原始音频数据的声音强度大于预设阈值表明人声足够强，人声足够强即表明原始音频数据中包括参与当前视频会议通话的用户的人声，而不参与当前视频会议通话的人往往距离第一视频会议终端较远，其声音强度也较低，若原始音频数据中仅包括不参与当前视频会议通话的人的人声，则对应的降噪处理后的原始音频数据的声音强度小于预设阈值，此时则可以丢弃该降噪处理后的原始音频数据。

在检测到与视频会议服务器的通信连接断开时，可以立即开启录音服务，在录音服务开启后，开启人声检测服务，在检测到有人讲话时，对采集的原始音频数据进行降噪处理。

步骤S12，对所述原始音频数据进行降噪处理，得到所述第一音频数据；

降噪处理具体可以是背景降噪处理，背景降噪处理比如Nvdia的RTX Voice降噪处理技术，通过对原始音频数据进行降噪处理，将降噪处理后的的原始音频数据作为得到的第一音频数据。

步骤S13，在所述第一音频数据的声音强度大于预设阈值时，保存所述第一音频数据。

预设阈值是预先设定的用于指示人声强度是否足够强的声音强度阈值；在第一音频数据的声音强度大于预设阈值时，表明人声足够强，此时表明第一音频数据中包括实际参与会议的用户的声音，则第一音频数据为有效数据，保存第一音频数据，若第一音频数据的声音强度小于或者等于预设阈值，则表明人声较弱或者没有人声，第一音频数据中很可能并不包括实际参与会议的用户的声音，此时丢弃第一音频数据，不再将第一音频数据发送至视频会议服务端。

在本实施例中，通过第一视频会议终端检测到与视频会议服务器的通信连接断开时，采集第一视频会议终端所在环境的原始音频数据，对原始音频数据进行降噪处理，得到第一音频数据，在第一音频数据的声音强度大于预设阈值时，保存第一音频数据，从而避免录制的第一音频数据中不包括实际参与该视频会议的用户的声音，能够提升录制的第一音频数据的准确性。

参照图4，本发明第三实施例提供一种视频会议的数据传输方法，基于第一实施例，所述步骤S20包括：

步骤S21，在与所述视频会议服务器重新连接后，将所述第一音频数据以及所述第一音频数据对应发言时间发送至所述视频会议服务器；

为了避免第一视频会议终端与视频会议服务器重连后，丢失用户的发言时间，第一视频会议终端在与视频会议服务器重新连接后，将第一音频数据以及第一音频数据对应的发言时间发送至视频会议服务器；视频会议服务器在接收到第一音频数据以及第一音频数据对应的发言时间后，将第一音频数据以及第一音频数据对应的发言时间发送至第一视频会议终端以及第二视频会议终端，视频会议服务器还可以在接收到第一音频数据以及第一音频数据对应的发言时间后，将第一音频数据转写为文字信息，并将该文字信息与发言时间关联，将发言时间关联的文字信息发送至第一视频会议终端以及第二视频会议终端，第一视频会议终端以及第二视频会议终端接收到发言时间关联的文字信息后，可以将发言时间与文字信息关联显示，从而使得所有参与视频会议的用户都能明确得知断线用户的发言时间以及文字信息，提升视频会议的通话体验，避免重要信息丢失。

发言时间可以是断线时间，或者，发言时间也可以是检测到人声的时间，或者，发言时间也可以设置为其他时间。

和/或，所述将所述第一音频数据以及所述第一音频数据对应的发言时间发送至所述视频会议服务器的步骤之后，所述视频会议的数据传输方法还包括：

步骤S22，接收所述视频会议服务器返回的所述发言时间关联的文字信息，所述文字信息由所述视频会议服务器根据所述第一音频数据转写得到；

步骤S23，关联显示所述发言时间以及所述文字信息。

第一视频会议终端接收视频会议服务器返回的发言时间关联的文字信息后，关联显示发言时间以及文字信息，关联显示指在显示文字信息以及发言时间时，体现文字信息与发言时间的关联关系，这种关联关系包括但不限于将文字信息以及发言时间在相同行显示，或者将文字信息与发言时间以相同字体、颜色、字号等属性显示，或者将发言时间显示于文字信息的上方或者下方，关联显示发言时间以及文字信息时至少需要将发言时间以及文字信息同时显示。

第一视频会议终端关联显示发言时间以及文字信息时，可以按照如图9所示的方式进行显示，其中，显示的内容包括发言时间“14:34”以及“噢，对不起，我刚才是不是掉线了，大家现在听得清楚我说什么吗？”，图中所示界面仅作举例，不限定与此，其中，发言时间关联的文字信息的颜色可以与其他文字的颜色不同，以体现区别，在文字信息内容较多导致显示区域不足以完整显示时，还可以隐藏较早发言时间关联的文字信息，并将文字信息向上滚动。

在本实施例中，通过在与视频会议服务器重新连接后，将第一音频数据以及第一音频数据对应的发言时间发送至视频会议服务器，接受视频会议服务器返回的发言时间关联的文字信息，关联显示发言时间以及文字信息，从而能够避免第一视频会议终端与视频会议服务器重连后，丢失用户的发言时间。

参照图5，本发明第四实施例提供一种视频会议的数据传输方法，基于第一实施例，所述视频会议的数据传输方法还包括：

步骤S30，接收所述视频会议服务器发送的第二音频数据以及所述第二音频数据关联的终端标识，所述第二音频数据为对第三音频数据加速处理后得到的音频数据，所述第三音频数据包括所述第一音频数据以及所述第一视频会议终端重新连接后录制的音频数据，所述终端标识为发送所述第三音频数据的视频会议终端的标识；

第一视频会议终端接收到视频会议服务器发送的第二音频数据之后，为了避免第一视频会议终端的用户再次听到自己的声音，还基于第二音频数据关联的终端标识与第一视频会议终端的终端标识进行比较，进一步判定是否需要播放第二音频数据；终端标识是用于识别视频会议终端的标识信息，终端标识可以是视频会议终端的设备信息，也可以将使用视频会议终端的用户的用户标识作为终端标识，终端标识具体为发送第三音频数据的视频会议终端的标识，第三音频数据是与视频会议服务器连接的视频会议终端发送的音频数据，第三音频数据包括视频会议终端与视频会议服务器断线时录制的音频数据，以及第一视频会议终端重新连接视频会议服务器后录制的音频数据；视频会议服务器可以通过对第三音频数据进行加速处理得到第二音频数据，加速处理的目的在于使第三音频数据被快速播放完成，并且能够使发送第三音频数据的视频会议终端能够进行正常的视频会议通话，其中，视频会议服务器可以采用如下方式对第三音频数据加速处理得到第二音频数据：视频会议服务器首先获取发送第三音频数据的视频会议终端的断线时长、原始播放倍率以及加速播放倍率，根据断线时长、原始播放倍率以及加速播放倍率确定需要加速播放的加速时长，在发送第三音频数据的视频会议终端重新连接后开始计时得到计时时长，在计时时长未达到加速时长时，对第三音频数据按照加速播放倍率进行加速处理得到第二音频数据，根据断线时长、原始播放倍率以及加速播放倍率确定需要加速播放的加速时长的方式为，确定原始播放速率与断线时长的乘积，确定加速播放倍率与原始播放倍率的差值，确定该乘积与该差值的比值，将该比值作为加速时长；或者，也可以采用其他计算公式得到加速时长。

步骤S40，在所述第二音频数据关联的终端标识与所述第一视频会议终端的终端标识相同时，取消播放所述第二音频数据；

步骤S50，在所述第二音频数据关联的终端标识与所述第一视频会议终端的终端标识不相同时，播放所述第二音频数据。

在第二音频数据关联的终端标识与第一视频会议终端的终端标识相同时，表明第二音频数据是基于第一视频会议终端发送的音频数据加速处理得到的音频数据，此时为了避免用户重复听到自己的声音，取消播放第二音频数据，即不播放第二音频数据；在第二音频数据关联的终端标识与第一视频会议终端的终端标识不相同时，表明第二音频数据是基于第一视频会议终端以外的视频会议终端发送的音频数据加速处理得到的，此时为了避免丢失其他视频会议终端的视频会议信息，第一视频会议终端播放该第二音频数据。

在本实施例中，通过接收视频会议服务器发送的第二音频数据以及第二音频数据关联的终端标识，在第二音频数据关联的终端标识与第一视频会议终端的终端标识相同时，取消播放第二音频数据，在第二音频数据关联的终端标识与第一视频会议终端的终端标识不相同时，播放第二音频数据，从而能够避免用户重复听到自己的声音，并且避免第一视频会议终端丢失其他视频会议终端的视频会议信息。

参照图6，本发明第五实施例提供一种视频会议的数据传输方法，所述视频会议的数据传输方法包括：

步骤S60，接收第一视频会议终端发送的第一音频数据，所述第一音频数据为所述第一视频会议终端检测到与所述视频会议服务器的通信连接断开时录制的音频数据；

在本实施例中，执行主体为视频会议服务器；视频会议服务器接收第一视频会议终端发送的第一音频数据；第一视频会议终端是一种用于进行视频会议的终端设备，第一视频会议终端比如为智能手机、平板电脑以及PC等计算机设备；第一视频会议终端具有录制功能，能够录制音频数据；在第一视频会议终端与视频会议服务器之间的通信连接未断开的情况下，第一视频会议终端的视频会议信息可以基于该通信连接发送至视频会议服务器，并使得视频会议服务器将视频会议信息转发至第二视频会议终端，第二视频会议终端为所述视频会议服务器连接的视频会议终端中，除第一视频会议终端以外的视频会议终端，具体可以是参与第一视频会议终端相同视频会议通话的视频会议终端；在第一视频会议终端与视频会议服务器的通信连接断开时，第一视频会议终端的视频会议信息无法发送至视频会议服务器，导致第二视频会议终端无法正常接收第一视频会议终端的视频会议信息。

为了避免视频会议信息丢失，在第一视频会议终端与视频会议服务器的通信连接断开时，录制第一音频数据，第一音频数据为通信连接断开后至重新连接前录制的音频数据，其中，第一音频数据具体可以是通信连接断开后至重新连接前录制的完整音频数据，在第一音频数据为完整音频数据的情况下，第一音频数据的录制持续时长等于通信连接断开至重连的持续时长，或者，第一音频数据也可以是通信连接断开后至重新连接前录制的部分音频数据，在第一音频数据为部分音频数据的情况下，第一音频数据的录制持续时长小于通信连接断开至重连的持续时长；录制第一音频数据的方式不限定，比如，可以通过第一视频会议终端所包括的音频录入模块录制第一音频数据，或者，也可以通过第一视频会议终端外接的音频录入设备录制第一音频数据，或者采用其他方式录制第一音频数据，在此不做限定。

第一视频会议终端可以采用下述方式检测与视频会议服务器的通信连接断开：第一视频会议终端实时监控本地网络状态，具体而言，第一视频会议终端对当前所处的网络环境进行检测，以检测第一视频会议终端与视频会议服务器的通信连接断开，而不向视频会议服务端发送连接请求，避免视频会议服务器处理连接请求所引起的通信压力增大的问题，从而可以减少视频会议服务端的通信压力，或者，第一视频会议终端监测与视频会议服务器的连接，第一视频会议终端可以向视频会议服务器发送连接请求，在视频会议服务器未返回该连接请求对应的响应数据时，则确定第一视频会议终端与视频会议服务器的通信连接断开，或者，可以同时采用上述两种方式检测到通信连接断开时，确定第一视频会议终端与视频会议服务器的通信连接断开，以提升检测的准确性，或者，还可以采用其他方式检测与视频会议服务器的通信连接断开。

视频会议服务器还可以接收第一视频会议终端发送的断线时间以及重连时间，并将断线时间以及重连时间发送至第一视频会议终端以及第二视频会议终端，以使第一视频会议终端以及第二视频会议终端显示断线时间以及重连时间；可以将断线时间至重连时间的时长作为断线时长。

步骤S70，将所述第一音频数据发送至所述第一视频会议终端以及第二视频会议终端；

视频会议服务器将第一音频数据发送至第一视频会议终端以及第二视频会议终端，其中，视频会议服务器可以通过广播发送该第一音频数据，第一视频会议终端接收到第一音频数据后可以忽略该第一音频数据，第二视频会议终端接收到第一音频数据后可以播放第一音频数据。

步骤S80，和/或，将所述第一音频数据转写为文字信息，将所述文字信息发送至所述第一视频会议终端以及所述第二视频会议终端。

为了便于快速使第一视频会议终端以及第二视频会议终端的用户获知断线时丢失的信息，视频会议服务器还将第一音频数据转写为文字信息，将转写得到的文字信息发送至第一视频会议终端以及第二视频会议终端，第一视频会议终端以及第二视频会议终端接收到文字信息后显示文字信息。

在本实施例中，通过接收第一视频会议终端发送的第一音频数据，将第一音频数据发送至第一视频会议终端以及第二视频会议终端，和/或，将第一音频数据转写为文字信息，将文字信息发送至第一视频会议终端以及第二视频会议终端，其中，第一音频数据是第一视频会议终端检测到视频会议服务器的通信连接断开时录制的音频数据，从而能够在视频会议终端断线重连后，及时获取其断线期间的视频会议信息，避免视频会议信息丢失。

参照图7，本发明第六实施例提供一种视频会议的数据传输方法，基于第五实施例，所述步骤S80包括：

步骤S81，和/或，将所述第一音频数据转写为文字信息，将发言时间以及所述发言时间关联的所述文字信息发送至所述第一视频会议终端以及所述第二视频会议终端，所述发言时间由所述第一视频会议终端在发送所述第一音频数据的同时发送。

为了避免视频会议服务器与第一视频会议终端重连后，丢失用户的发言时间，视频会议服务器还接收第一视频会议终端发送的第一音频数据以及第一音频数据对应的发言时间，并在将第一音频信息转写为文字信息之后，将文字信息与发言时间关联，将发言时间关联的文字信息发送至第一视频会议终端以及第二视频会议终端，第一视频会议终端以及第二视频会议终端接收到发言时间关联的文字信息之后，关联显示发言时间以及文字信息，从而使得所有参与视频会议的用户都能明确得知断线用户的发言时间以及文字信息，提升视频会议的通话体验，避免重要信息丢失。

发言时间可以是断线时间，或者，发言时间也可以是检测到人声的时间，或者，发言时间也可以设置为其他时间。

在本实施例中，通过将发言时间以及发言时间关联的文字信息发送至第一视频会议终端以及第二视频会议终端，其中，发言时间由第一视频会议终端发送第一音频数据的同时发送，从而避免发言时间丢失，使得所有参与视频会议的用户都能明确得知断线用户的发言时间以及文字信息，提升视频会议的通话体验，避免重要信息丢失。

参照图8，本发明第七实施例提供一种视频会议的数据传输方法，基于第六实施例，所述视频会议的数据传输方法包括：

步骤S90，根据断线时长、加速播放倍率以及原始播放倍率确定需要加速播放的加速时长，所述加速播放倍率大于所述原始播放倍率；

断线时长是第一视频会议终端与视频会议服务器通信连接断开至重新连接的持续时长，加速播放倍率是对音频数据进行加速处理的倍率信息，原始播放倍率是音频数据原本的播放倍率，加速时长是视频会议服务器需要对接收到的数据进行加速处理的持续时长，加速播放倍率大于原始播放倍率。

视频会议服务器在与第一视频会议终端重连后，接收第一视频会议终端断线期间录制的第一音频数据，若直接将该第一音频数据以原始播放倍率发送至参与视频会议的视频会议终端，而在重连后视频会议服务器又接收到了此前断线的视频会议终端发送的新的音频数据，此时，由于新的音频数据发送至参与视频会议的视频会议终端时，其仍在播放此前的音频数据，从而导致新的音频数据一直存在延迟；比如，第一视频会议终端的断线时长为30s，则视频会议服务器在第一视频会议终端重新连接后，将30s内的第一音频数据发送至第一视频会议终端以及第二视频会议终端，第一视频会议终端不播放第一音频数据，第二视频会议终端播放30s内的第一音频数据，而第一视频会议终端重连后，再次发送了新的音频数据，此时，视频会议服务器接收到新的音频数据之后转发至第一视频会议终端以及第二视频会议终端，第二视频会议终端由于当前仍在播放此前30s的第一音频数据，导致新的音频数据只能在30s后被播放，从而一直存在30s的延迟；为了避免延迟的问题，本实施例对第一视频会议终端发送的音频数据进行加速处理，第一视频会议终端发送的数据为第三音频数据，并按照加速播放倍率对第三音频数据进行处理得到第二音频数据，由于在加速处理达到某个时间临界点时，该延迟可以被消除，因此，本实施例还计算了加速时长作为加速处理终止的临界点，在计时时长小于或者等于加速时长时，对第三音频数据进行加速处理以得到第二音频数据，在计时时长大于加速时长时，延时已经被消除，可以按照原始播放倍率播放第三音频数据，从而视频会议服务器将第三音频数据发送至第一视频会议终端以及第二视频会议终端。

本实施例中基于断线时长、加速播放倍率以及原始播放倍率确定需要加速的加速时长，可以采用下述计算方式计算得到加速时长，确定断线时长与原始播放倍率的乘积，并确定加速播放倍率与原始播放倍率的差值，进而确定该乘积与该差值的比值，将该比值作为加速时长，比如，原始播放倍率为1，加速播放倍率为1.5，断线时长为0.5分钟，则按照上述计算方式可以得到加速时长为(1*0.5)/(1.5-1)＝1分钟，从而加速时长为1分钟。

或者，还可以结合第一音频数据转写为文字信息的转写时长，进一步得到加速时长，即首先确定断线时长以及转写时长之和作为总时长，并确定总时长与原始播放倍率的乘积，以及加速播放倍率与原始播放倍率的差值，将总时长与原始播放倍率的乘积，与该差值的比值，作为加速时长，此时，可以使得文字显示与音频播放彼此匹配或者彼此对应，提升文字显示和音频播放的效果。

步骤S100，在重新连接所述第一视频会议终端时开始计时得到计时长；

步骤S110，在所述计时时长小于或者等于所述加速时长时，按照所述加速播放倍率对所述第三音频数据加速处理得到第二音频数据，所述第三音频数据包括所述第一音频数据以及所述第一视频会议终端重新连接后录制的音频数据；

在计时时长小于或者等于加速时长时，对第三音频数据加速处理得到第二音频数据，比如加速时长为1分钟，视频会议服务器在于第一视频会议终端重连后计时时长小于或者等于1分钟的情况下，对于第一视频会议终端发送的音频数据都进行加速处理，若加速播放速率为1.5，第一视频会议终端发送的数据包括此前发送的第一音频数据以及新发送的音频数据，此前发送的第一音频数据的时长为0.5分钟，而由于限定了计时时长小于或者等于加速时长的情况下，对第三音频数据进行加速处理，所加速处理的音频数据为1分钟内接收到的音频数据，从而所有需要加速处理的音频数据的时长为0.5+1＝1.5分钟，按照1.5倍速加速处理后，只需要1分钟即可播放完毕，恰好等于加速时长，从而在计时时长大于加速时长时，可以不对新接收的音频数据进行加速处理，而回到正常播放速率的视频会议通话中。

步骤S120，向所述第一视频会议终端以及所述第二视频会议终端发送所述第二音频数据以及所述第二音频数据关联的终端标识，所述终端标识为所述第一视频会议终端的标识；

为了避免第一视频会议终端的用户重复听到自己的声音，在向第一视频会议终端以及第二视频会议终端发送第二音频数据的同时，还发送第二音频数据关联的终端标识，终端标识为第一视频会议终端的标识，第一视频会议终端接收到第二音频数据关联的终端标识时，检测第二音频数据关联的终端标识与第一视频会议终端自身的终端标识是否相同，在相同时取消播放第二音频数据。

步骤S130，在所述计时时长大于所述加速时长时，向所述第一视频会议终端以及所述第二视频会议终端发送所述第三音频数据，所述第三音频数据的播放倍率为所述原始播放倍率。

在计时时长大于加速时长时，表明已经通过加速处理第三音频数据的方式，消除了延迟问题，此时按照正常的视频会议通话的音频播放速率进行播放，以进行正常的视频会议通话的过程，即向第一视频会议终端以及第二视频会议终端发送第三音频数据，第三音频数据的播放倍率为原始播放倍率，从而使得参与视频会议的终端设备能够没有延时、正常速率第三音频数据。

在本实施例中，通过根据断线时长、加速播放倍率以及原始播放倍率确定需要加速播放的加速时长，在重新连接第一视频会议终端时开始计时得到计时时长，在计时时长小于或者等于加速时长时，按照加速播放倍率对第三音频数据加速处理得到第二音频数据，向第一视频会议终端以及第二视频会议终端发送第二音频数据以及第二音频数据关联的终端标识，在计时时长大于加速时长时，向第一视频会议终端以及第二视频会议终端发送第三音频数据，第三音频数据的播放倍率为原始播放倍率，从而能够避免延迟问题。

如图10所示，图10为本发明视频会议的数据传输装置一实施例的示意图，视频会议的数据传输装置包括：

录制模块10，所述录制模块10用于第一视频会议终端检测到与视频会议服务器的通信连接断开时，录制第一音频数据；

第一发送模块20，所述第一发送模块20用于在与所述视频会议服务器重新连接后，将所述第一音频数据发送至所述视频会议服务器。

在一实施例中，所述录制模块还用于执行以下步骤：

所述第一视频会议终端检测到与所述视频会议服务器的通信连接断开时，采集所述第一视频会议终端所在环境的原始音频数据；

对所述原始音频数据进行降噪处理，得到所述第一音频数据；

在所述第一音频数据的声音强度大于预设阈值时，保存所述第一音频数据。

在一实施例中，所述视频会议的数据传输装置还包括接收模块以及显示模块，其中：

第一发送模块10还用于在与所述视频会议服务器重新连接后，将所述第一音频数据以及所述第一音频数据对应的发言时间发送至所述视频会议服务器；

接收模块，用于接收所述视频会议服务器返回的所述发言时间关联的文字信息，所述文字信息由所述视频会议服务器根据所述第一音频数据转写得到；

显示模块，用于关联显示所述发言时间以及所述文字信息。

在一实施例中，所述视频会议的数据传输装置还包括播放模块，其中：

所述接收模块，用于接收所述视频会议服务器发送的第二音频数据以及所述第二音频数据关联的终端标识，所述第二音频数据为对第三音频数据加速处理后得到的音频数据，所述第三音频数据包括所述第一音频数据以及所述第一视频会议终端重新连接后录制的音频数据，所述终端标识为所述第一视频会议终端的标识；

所述播放模块，用于在所述第二音频数据关联的终端标识与所述第一视频会议终端的终端标识相同时，取消播放所述第二音频数据；在所述第二音频数据关联的终端标识与所述第一视频会议终端的终端标识不相同时，播放所述第二音频数据。

如图11所示，图11为本发明视频会议的数据传输装置另一实施例的示意图，视频会议的数据传输装置包括：

接收模块30，所述接收模块30用于接收第一视频会议终端发送的第一音频数据，所述第一音频数据为所述第一视频会议终端检测到与所述视频会议服务器的通信连接断开时录制的音频数据；

第二发送模块40，所述第二发送模块40用于将所述第一音频数据发送至所述第一视频会议终端以及第二视频会议终端；和/或，将所述文字信息发送至所述第一视频会议终端以及所述第二视频会议终端

转写模块50，所述转写模块50用于将所述第一音频数据转写为文字信息。

在一实施例中，所述第二发送模块还用于将发言时间以及所述发言时间关联的所述文字信息发送至所述第一视频会议终端以及所述第二视频会议终端，所述发言时间由所述第一视频会议终端在发送所述第一音频数据的同时发送。

在一实施例中，所述视频会议的数据传输装置还包括确定模块、计时模块、加速模块，其中：

所述确定模块，用于根据断线时长、加速播放倍率以及原始播放倍率确定需要加速播放的加速时长，所述加速播放倍率大于所述原始播放倍率；

所述计时模块，用于在重新连接所述第一视频会议终端时开始计时得到计时长；

所述加速模块，用于在所述计时时长小于或者等于所述加速时长时，按照所述加速播放倍率对所述第三音频数据加速处理得到第二音频数据，所述第三音频数据包括所述第一音频数据以及所述第一视频会议终端重新连接后录制的音频数据；

所述第二发送模块20，还用于执行以下步骤：

向所述第一视频会议终端以及所述第二视频会议终端发送所述第二音频数据以及所述第二音频数据关联的终端标识，所述终端标识为所述第一视频会议终端的标识；

在所述计时时长大于所述加速时长时，向所述第一视频会议终端以及所述第二视频会议终端发送所述第三音频数据，所述第三音频数据的播放倍率为所述原始播放倍率。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台视频会议的数据传输装置执行本发明对应实施例所述的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种视频会议的数据传输方法，其特征在于，所述视频会议的数据传输方法包括：

第一视频会议终端检测到与视频会议服务器的通信连接断开时，录制第一音频数据；

在与所述视频会议服务器重新连接后，将所述第一音频数据发送至所述视频会议服务器。

2.如权利要求1所述的视频会议的数据传输方法，其特征在于，所述第一视频会议终端检测到与视频会议服务器的通信连接断开时，录制第一音频数据的步骤包括：

所述第一视频会议终端检测到与所述视频会议服务器的通信连接断开时，采集所述第一视频会议终端所在环境的原始音频数据；

对所述原始音频数据进行降噪处理，得到所述第一音频数据；

在所述第一音频数据的声音强度大于预设阈值时，保存所述第一音频数据。

3.如权利要求1所述的视频会议的数据传输方法，其特征在于，所述在与所述视频会议服务器重新连接后，将所述第一音频数据发送至所述视频会议服务器的步骤包括：

在与所述视频会议服务器重新连接后，将所述第一音频数据以及所述第一音频数据对应的发言时间发送至所述视频会议服务器；

和/或，所述将所述第一音频数据以及所述第一音频数据对应的所述发言时间发送至所述视频会议服务器的步骤之后，所述视频会议的数据传输方法还包括：

接收所述视频会议服务器返回的所述发言时间关联的文字信息，所述文字信息由所述视频会议服务器根据所述第一音频数据转写得到；

关联显示所述发言时间以及所述文字信息。

4.如权利要求1所述的视频会议的数据传输方法，其特征在于，所述视频会议的数据传输方法还包括：

接收所述视频会议服务器发送的第二音频数据以及所述第二音频数据关联的终端标识，所述第二音频数据为对第三音频数据加速处理后得到的音频数据，所述第三音频数据包括所述第一音频数据以及所述第一视频会议终端重新连接后录制的音频数据，所述终端标识为所述第一视频会议终端的标识；

在所述第二音频数据关联的终端标识与所述第一视频会议终端的终端标识相同时，取消播放所述第二音频数据；

在所述第二音频数据关联的终端标识与所述第一视频会议终端的终端标识不相同时，播放所述第二音频数据。

5.一种视频会议的数据传输方法，其特征在于，所述视频会议的数据传输方法包括：

接收第一视频会议终端发送的第一音频数据，所述第一音频数据为所述第一视频会议终端检测到与所述视频会议服务器的通信连接断开时录制的音频数据；

将所述第一音频数据发送至所述第一视频会议终端以及第二视频会议终端；

和/或，将所述第一音频数据转写为文字信息，将所述文字信息发送至所述第一视频会议终端以及所述第二视频会议终端。

6.如权利要求5所述的视频会议的数据传输方法，其特征在于，所述将所述文字信息发送至所述第一视频会议终端以及所述第二视频会议终端的步骤包括：

将发言时间以及所述发言时间关联的所述文字信息发送至所述第一视频会议终端以及所述第二视频会议终端，所述发言时间由所述第一视频会议终端在发送所述第一音频数据的同时发送。

7.如权利要求5所述的视频会议的数据传输方法，其特征在于，所述视频会议的数据传输方法还包括：

根据断线时长、加速播放倍率以及原始播放倍率确定需要加速播放的加速时长，所述加速播放倍率大于所述原始播放倍率；

在重新连接所述第一视频会议终端时开始计时得到计时长；

在所述计时时长小于或者等于所述加速时长时，按照所述加速播放倍率对所述第三音频数据加速处理得到第二音频数据，所述第三音频数据包括所述第一音频数据以及所述第一视频会议终端重新连接后录制的音频数据；

向所述第一视频会议终端以及所述第二视频会议终端发送所述第二音频数据以及所述第二音频数据关联的终端标识，所述终端标识为所述第一视频会议终端的标识；

在所述计时时长大于所述加速时长时，向所述第一视频会议终端以及所述第二视频会议终端发送所述第三音频数据，所述第三音频数据的播放倍率为所述原始播放倍率。

8.一种视频会议的数据传输装置，其特征在于，所述装置包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的视频会议的数据传输程序，其中：

所述视频会议的数据传输程序被所述处理器执行时实现如权利要求1至4中任一项所述的视频会议的数据传输方法的步骤；

或者，所述视频会议的数据传输程序被所述处理器执行时实现如权利要求5至7任一项所述的视频会议的数据传输方法的步骤。

9.一种视频会议的数据传输装置，其特征在于，所述装置包括录制模块、第一发送模块，其中：

所述录制模块用于第一视频会议终端检测到与视频会议服务器的通信连接断开时，录制第一音频数据；

所述第一发送模块用于在与所述视频会议服务器重新连接后，将所述第一音频数据发送至所述视频会议服务器；

或者，所述装置包括接收模块、第二发送模块、转写模块，其中：

所述接收模块用于接收第一视频会议终端发送的第一音频数据，所述第一音频数据为所述第一视频会议终端检测到与所述视频会议服务器的通信连接断开时录制的音频数据；

所述转写模块，用于将所述第一音频数据转写为文字信息；

所述第二发送模块用于将所述第一音频数据发送至所述第一视频会议终端以及第二视频会议终端，和/或，将所述文字信息发送至所述第一视频会议终端以及所述第二视频会议终端。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有视频会议的数据传输程序，所述视频会议的数据传输程序被处理器执行时实现如权利要求1至7中任一项所述的视频会议的数据传输方法的步骤。

Images