CN111614929A - 一种基于5g传输的声学定位视频会议方法、系统及储存介质 - Google Patents

Abstract

本发明公开一种基于5G传输的声学定位视频会议方法、系统及储存介质。所述方法包括：将视频会议装置置于同一系统时间，与远程客户端基于5G网络连接；利用视频会议装置对会议内容实时录制，录制时分别进行人脸角度识别检测与声学定位；对所述录制时分别进行人脸角度识别检测与声学定位得到的音视频数据进行同步处理；将所述同步处理后合成的音视频数据5G传输至远程客户端展播。该基于5G传输的声学定位视频会议方法及系统能解决通过采用5G无线方式传输音视频数据，降低安装布线成本，提升传输带宽，降传输延迟的技术问题。

Description

一种基于5G传输的声学定位视频会议方法、系统及储存介质

技术领域

本发明涉及5G视频处理领域，尤其涉及一种基于5G传输的声学定位视频会议方法、系统及储存介质。

背景技术

传统视频会议摄像机通过有线usb或4G无线方式传输音视频数据到会议系统客户端软件，布线成本较高，而且带宽限制，易出现音视频延迟、卡顿和图片丢失等问题。针对视频会议的应用场景中存在的问题，需要一种新的采用5G无线方式传输会议音视频数据，来降低安装布线成本，提升传输带宽，降低传输延迟问题，以至降低使用成本，增加客户使用的体验效果，提升满意度。

发明内容

本发明的主要目的在于提供一种基于5G传输的声学定位视频会议方法、系统及储存介质，可以解决现有技术中视频会议装置布线成本较高，而且带宽限制，易出现音视频延迟、卡顿和图片丢失等问题。

为实现上述目的，本发明第一方面提供一种基于5G传输的声学定位视频会议方法，所述方法包括：

所述方法包括：

将视频会议装置置于同一系统时间，与远程客户端基于5G网络连接；

利用视频会议装置对会议内容实时录制，录制时分别进行人脸角度识别检测与声学定位；

对所述录制时分别进行人脸角度识别检测与声学定位得到的音视频数据进行同步处理；

将所述同步处理后合成的音视频数据5G传输至远程客户端展播。

为实现上述目的，本发明第二方面提供一种基于5G传输的声学定位视频会议的系统，其特征在于，所述系统包括：

人脸检测模块，声学定位模块，音视频同步模块,裁剪编码模块，5G音视频传输模块，摄像机，麦克风，远程客户端，本地客户端，所述人脸检测模块、声学定位模块、音视频同步模块、裁剪编码模块、5G音视频传输模块、摄像机、麦克风、远程客户端、本地客户端间信号连接；

所述人脸检测模块用于识别记录所述摄像机录制内容中的人脸，人脸角度，人脸所在视频画面的位置坐标，时间戳T；

所述声学定位模块用于识别记录所述麦克风录制内容中的发言人声学角度，音频，时间戳T；

所述视频同步模块用于某录制时刻下将人脸角度和声学角度进行匹配，获得发言人在某录制时刻下人脸、声学角度、时间戳T、人脸位置；

所述裁剪编码模块用于对所述人脸检测模块，所述声学定位模块识别记录后的数据进行裁剪编码，得到参会者通过人脸位置信息识别，在某时刻下从完整的会场图片中裁剪出的参会者人脸图片，并对该参会者视频音频进行编码生成在该时刻下的参会者人脸图片及音频数据；

所述5G音视频传输模块用于利用5G网络将参会者在某时刻下的音视频信息实时发送到本地会议系统电脑客户端软件，再通过5G传输到远端会场远程客户端；

所述摄像机用于采录视频数据；

所述麦克风用于采录音频数据；

所述远程客户端用于展播会议；

所述本地客户端用于会议进程界面控制显示。

本发明提供一种基于5G传输的声学定位视频会议方法、系统及储存介质。所述方法包括：将视频会议装置置于同一系统时间，与远程客户端基于5G网络连接；利用视频会议装置对会议内容实时录制，录制时分别进行人脸角度识别检测与声学定位；对所述录制时分别进行人脸角度识别检测与声学定位得到的音视频数据进行同步处理；将所述同步处理后合成的音视频数据5G传输至远程客户端展播。该基于5G传输的声学定位视频会议方法，系统通过采用5G无线方式传输音视频数据，能解决降低安装布线成本，提升传输带宽，降低传输延迟的技术问题。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明第一实施例中一种基于5G传输的声学定位视频会议方法的流程示意图；

图2为本发明第一实施例中一种基于5G传输方法的细化步骤的流程示意图；

图3为本发明第一实施例中一种基于5G传输的声学定位视频会议方法的细化步骤的流程示意图；

图4为本发明第二实施例中步一种基于5G传输的声学定位视频会议系统示意图。

具体实施方式

为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而非全部实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

由于现有技术中存在视频会议装置布线成本较高，而且带宽限制，易出现音视频延迟、卡顿和图片丢失等问题。

为了解决上述技术问题，本发明提出一种基于5G传输的声学定位视频会议方法和系统。

请参阅图1，为本发明第一实施例中一种基于5G传输的声学定位视频会议方法的流程示意图。该方法包括：

步骤101，将视频会议装置置于同一系统时间，与远程客户端基于5G网络连接；

可选的，所述视频会议装置包括人脸检测模块，声学定位模块，音视频同步模块，裁剪编码模块，5G音视频传输模块，摄像机，麦克风，所述视频会议装置内部信号连接。

具体地，将视频会议装置置于同一系统时间，是保证所有模块装置处在同一时间戳T下，时间戳T指录制的进程时刻，5G音视频传输模块，各模块通过5G信号连接，减少了布线电缆，传输时差，5G信号网络是目前最快的传输方式，将摄像机，麦克风采录的音视频快速传输，大大降低安装布线成本，提升传输带宽，降低传输延迟问题。

步骤102，利用视频会议装置对会议内容实时录制，录制时分别进行人脸角度识别检测与声学定位；

将摄像机，麦克风采录的音视频5G信号网络快速传输至人脸检测模块，声学定位模块，人脸检测模块进行人脸识别，确定人脸角度，人脸所在视频画面的位置坐标，声学定位模块进行识别记录所述麦克风录制内容中的发言人声学角度，音频。

步骤103，对所述录制时分别进行人脸角度识别检测与声学定位得到的音视频数据进行同步处理；

利用视频同步模块用于某录制时刻下将人脸角度和声学角度进行匹配，获得发言人在某录制时刻下人脸、声学角度、时间戳T、人脸位置；如：同一时间戳T下，A,B同志分别在人脸位置A,人脸位置B采录到其发言视频，利用声学定位模块确定A,B同志声学角度，利用人脸角度和声学角度进行匹配，获得发言人A,B同志在某录制时间戳T下人脸、声学角度、时间戳T、人脸位置。

步骤104，将所述同步处理后合成的音视频数据5G传输至远程客户端展播，通过5G将发言人在时间戳T下的音视频信息实时发送到本地会议系统电脑客户端软件，再通过5G传输到远端会场。

请参阅图2，特别的强调的，所述5G音视频传输模块与远程客户端基于5G网络连接，所述视频会议装置内部信号基于5G网络连接。

请参阅图3，为本发明第一实施例中一种基于5G传输的声学定位视频会议方法的细化步骤的流程示意图。

其中具体方法包括：

利用所述人脸检测模块识别记录所述摄像机录制内容中的人脸，人脸角度，人脸所在视频画面的位置坐标，时间戳T；

人脸检测模块首先对摄像机采样的原始YUV视频会议信息meetingPicYuv_u进行分析，负责输出一组人脸(每个人有唯一编号)id_n、人脸角度(人脸在水平视场角中所处的角度)av_i、时间戳tv_j、人脸所在视频画面的位置坐标p_k，这些是会议场景中的人物特征信息，为后续识别同步处理提取备用。

利用所述声学定位模块识别记录所述麦克风录制内容中的发言人声学角度，音频，时间戳T；

声学定位模块，负责输出在时刻ta_y下发言人声学角度aa_x和音频audio_w，麦克风负责采录时刻ta_y下发言人的声学量，如声学角度aa_x和音频audio_w供声学定位模块识别检测。

利用音视频同步模块在某录制时刻下将人脸角度和声学角度进行匹配，获得发言人在某录制时刻下人脸、声学角度、时间戳T、人脸位置；

音视频同步模块，在时刻ta_y下将人脸角度和声学角度进行匹配，获得发言人在时刻ta_y下人脸id_n、声学角度aa_x、时间戳ta_y、位置p_k，这里实现了识别到同一人脸id_n，声学角度aa_x、时间戳ta_y、位置p_k下，发言人的会议音视频，合成处理记录并保存。

利用裁剪编码模块对所述人脸检测模块，所述声学定位模块识别记录后的数据进行裁剪编码，得到参会者通过人脸位置信息识别，在某时刻下从完整的会场图片中裁剪出的参会者人脸图片，并对该参会者视频音频进行编码生成在该时刻下的参会者人脸图片及音频数据；

裁剪编码模块，通过人脸位置信息，在时刻ta_y下从完整的会场图片meetingPicYuv_u中裁剪出人脸图片facePicYuv_u，裁剪编码模块生成在时刻ta_y下的人脸图片facePicJpg_u、音频数据audioG711_w，如：裁剪编码模块生成会场图片中A同志的发言时刻ta_y下的人脸图片照片，并保存A同志的音频数据。

利用5G音视频传输模块，通过5G网络将参会者在某时刻下的音视频信息实时发送到本地会议系统电脑客户端软件，再通过5G传输到远端会场，5G音视频传输模块，通过5G将发言人在时刻ta_y下的音视频信息实时发送到本地会议系统电脑客户端软件，再通过5G传输到远端会场，采用5G快速传输，中间不采用电缆布线，大大减少成本，降低延迟时差，确保用户体验满意度。

请参阅图4，为图4为本发明第二实施例中步一种基于5G传输的声学定位视频会议系统示意图。该系统包括：人脸检测模块1，声学定位模块2，音视频同步模块3,裁剪编码模块4，5G音视频传输模块5，摄像机，麦克风，远程客户端，本地客户端，所述视频会议装置内部信号连接；

所述人脸检测模块1用于识别记录所述摄像机录制内容中的人脸，人脸角度，人脸所在视频画面的位置坐标，时间戳T；

所述声学定位模块2用于识别记录所述麦克风录制内容中的发言人声学角度，音频，时间戳T；

所述视频同步模块3用于某录制时刻下将人脸角度和声学角度进行匹配，获得发言人在某录制时刻下人脸、声学角度、时间戳T、人脸位置；

所述裁剪编码模块4用于对所述人脸检测模块，所述声学定位模块识别记录后的数据进行裁剪编码，得到参会者通过人脸位置信息识别，在某时刻下从完整的会场图片中裁剪出的参会者人脸图片，并对该参会者视频音频进行编码生成在该时刻下的参会者人脸图片及音频数据；

所述5G音视频传输模块5用于利用5G网络将参会者在某时刻下的音视频信息实时发送到本地会议系统电脑客户端软件，再通过5G传输到远端会场远程客户端；

所述摄像机用于采录视频数据；

所述麦克风用于采录音频数据；

所述远程客户端用于展播会议；

所述本地客户端用于会议进程界面控制显示。

结合具体实施例如下：

1.人脸检测模块

在同一时间戳T时刻51553456731下,对摄像机sensor采样的原始YUV视频会议信息meetingPicYuv_u进行分析，输出本地会场三张参会人的人脸信息如下所述：

1-1、人脸A(每个人有唯一编号)580、人脸角度(人脸在水平视场角中所处的角度)155.3度、时间戳为51553456731、人脸所在视频画面的矩形位置坐标[起点(1500,500),终点(1700,640)]。

1-2、人脸B(每个人有唯一编号)581、人脸角度(人脸在水平视场角中所处的角度)90.5度、时间戳为51553456731、人脸所在视频画面的矩形位置坐标[起点(900,520),终点(1100,660)]。

1-3、人脸C(每个人有唯一编号)582、人脸角度(人脸在水平视场角中所处的角度)45.9度、时间戳为51553456731、人脸所在视频画面的矩形位置坐标[起点(400,490),终点(600,630)]。

2.声学定位模块

负责输出在同一时间戳T时刻51553456731下发言人声学角度155.3度和音频数据audio_w。

3.音视频同步模块

3-1、在同一时间戳T时刻51553456731下将三个人脸角度和声学角度进行匹配，获得发言人在时刻51553456731下人脸ID编号(即发言人)580、声学角度155.3度、时间戳51553456731、人脸A矩形位置坐标[起点(1500,500),终点(1700,640)]。

4.裁剪编码模块

4-1、通过人脸A矩形位置坐标[起点(1500,500),终点(1700,640)]，在时刻51553456731下从完整的YUV会场图片meetingPicYuv_u中裁剪出人脸ID编号580的图片facePicYuv_u，视频音视频编码模块编码生成在时刻51553456731下的发言人580图片facePicJpg_u、发言人音频数据audioG711_w。

5.音视频传输模块

5-1、通过5G将本地会场人脸ID编号580的发言人，在时刻51553456731下的音视频信息facePicJpg_u和audioG711_w，实时发送到本地会议系统电脑客户端软件，再通过5G传输到远端会场。

根据图2所示，具体通讯流程如下。

5-11、建立连接，会议系统客户端软件向指定摄像机(举例192.168.1.100)发送建立连接请求，摄像机收到请求后同意并返回应答。

5-12、请求音视频数据，会议系统客户端软件向指定摄像机发送音视频请求，摄像机收到请求后，返回音视频给会议系统客户端软件。

断开连接，会议系统客户端软件向指定摄像机发送断开连接请求，摄像机收到请求后同意断开并返回应答。

本发明第三实施例中提供一种基于5G传输的声学定位视频会议系统及方法储存介质，用于实现储存上述的会议方法及系统。

在本发明实施例中，特别的强调的，所述5G音视频传输模块与远程客户端基于5G网络连接，所述视频会议装置内部信号基于5G网络连接，将视频会议装置置于同一系统时间，与远程客户端基于5G网络连接；利用视频会议装置对会议内容实时录制，录制时分别进行人脸角度识别检测与声学定位；对所述录制时分别进行人脸角度识别检测与声学定位得到的音视频数据进行同步处理；将所述同步处理后合成的音视频数据5G传输至远程客户端展播。该基于5G传输的声学定位视频会议方法，系统通过采用5G无线方式传输音视频数据，能解决降低安装布线成本，提升传输带宽，降低传输延迟的技术问题。

需要说明的是，对于前述的各方法实施例，为了简便描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其它顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定都是本发明所必须的。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其它实施例的相关描述。

以上为对本发明所提供的该基于5G传输的声学定位视频会议方法，系统的描述，对于本领域的技术人员，依据本发明实施例的思想，在具体实施方式及应用范围上均会有改变之处，综上，本说明书内容不应理解为对本发明的限制。

Claims (7)

1.一种基于5G传输的声学定位视频会议方法，其特征在于，所述方法包括：

将视频会议装置置于同一系统时间，与远程客户端基于5G网络连接；

利用视频会议装置对会议内容实时录制，录制时分别进行人脸角度识别检测与声学定位；

对所述录制时分别进行人脸角度识别检测与声学定位得到的音视频数据进行同步处理；

将所述同步处理后合成的音视频数据5G传输至远程客户端展播。

2.根据权利要求1所述的方法，其特征在于，所述视频会议装置包括人脸检测模块，声学定位模块，音视频同步模块，裁剪编码模块，5G音视频传输模块，摄像机，麦克风，所述人脸检测模块、声学定位模块、音视频同步模块、裁剪编码模块、5G音视频传输模块、摄像机、麦克风间信号连接。

3.根据权利要求2所述的方法，其特征在于，所述5G音视频传输模块与远程客户端通过5G网络连接。

4.根据权利要求2所述的方法，其特征在于，视频会议装置置于同一系统时间后，所述方法还包括：

利用所述人脸检测模块识别记录所述摄像机录制内容中的人脸、人脸角度、人脸所在视频画面的位置坐标、时间戳T；

利用所述声学定位模块识别记录所述麦克风录制内容中的发言人声学角度、音频、时间戳T；

利用音视频同步模块在某录制时刻下将人脸角度和声学角度进行匹配，获得发言人在该录制时刻下人脸、声学角度、时间戳T、人脸位置；

利用裁剪编码模块对所述人脸检测模块，所述声学定位模块识别记录后的数据进行裁剪编码，得到参会者通过人脸位置信息识别，在某时刻下从完整的会场图片中裁剪出的参会者人脸图片，并对该参会者视频音频进行编码生成在该时刻下的参会者人脸图片及音频数据；

利用5G音视频传输模块，通过5G网络将参会者在某时刻下的音视频信息实时发送到本地会议系统电脑客户端软件，再通过5G传输到远端会场。

5.根据权利要求1或4所述的方法，其特征在于，对所述录制时分别进行人脸角度识别检测与声学定位得到的音视频数据进行同步处理步骤包括利用人脸所在视频画面的位置坐标，时间戳T，声学角度的比对识别分析，得到同时间戳T时刻下同一参会者的音视频数据。

6.一种基于5G传输的声学定位视频会议的系统，其特征在于，所述系统包括：人脸检测模块，声学定位模块，音视频同步模块,裁剪编码模块，5G音视频传输模块，摄像机，麦克风，远程客户端，本地客户端，所述人脸检测模块、声学定位模块、音视频同步模块、裁剪编码模块、5G音视频传输模块、摄像机、麦克风、远程客户端、本地客户端间信号连接；

所述人脸检测模块用于识别记录所述摄像机录制内容中的人脸，人脸角度，人脸所在视频画面的位置坐标，时间戳T；

所述声学定位模块用于识别记录所述麦克风录制内容中的发言人声学角度，音频，时间戳T；

所述视频同步模块用于某录制时刻下将人脸角度和声学角度进行匹配，获得发言人在某录制时刻下人脸、声学角度、时间戳T、人脸位置；

所述裁剪编码模块用于对所述人脸检测模块，所述声学定位模块识别记录后的数据进行裁剪编码，得到参会者通过人脸位置信息识别，在某时刻下从完整的会场图片中裁剪出的参会者人脸图片，并对该参会者视频音频进行编码生成在该时刻下的参会者人脸图片及音频数据；

所述5G音视频传输模块用于利用5G网络将参会者在某时刻下的音视频信息实时发送到本地会议系统电脑客户端软件，再通过5G传输到远端会场远程客户端；

所述摄像机用于采录视频数据；

所述麦克风用于采录音频数据；

所述远程客户端用于展播会议；

所述本地客户端用于会议进程界面控制显示。

7.一种储存介质，其特征在于，用于储存权利要求1-6任意一项所述的会议方法及系统。

Images