CN112418036A - 一种视频会议秩序分析方法及处理终端 - Google Patents

Abstract

本发明涉及一种视频会议秩序分析方法及处理终端，所述方法包括步骤1：进行相机标定，得到相机参数；步骤2：建立参会人员与人脸特征一一对应的人脸数据库；步骤3：确定人脸标准图像在视频中的初始三维坐标，得到人脸初始三维坐标集合P；步骤4：获取当前时间各子会场各个人脸标准图像在视频中的人脸三维坐标集合PX；步骤5：根据两个集合，通过人脸特征识别出两个集合为同一个人脸编号的人脸标准图像，计算各个人脸标准图像的移动距离和各个子会场整体人员定量移动距离；步骤6：根据整体人员定量移动距离进行排序，根据排序结果得到会议秩序排名。本发明更准确分析出人脸远离或靠近摄像头的移动情况和反映整体会场的秩序。

Description

一种视频会议秩序分析方法及处理终端

技术领域

本发明涉及视频会议技术分析技术领域，具体是一种视频会议秩序分析方法及处理终端。

背景技术

人脸识别是基于人的脸部特征信息进行身份识别的一种生物识别技术，其用摄像机或摄像头采集含有人脸的图像或视频流，并自动在图像中检测和跟踪人脸，进而对检测到的人脸进行脸部识别的一系列相关技术，通常也叫做人像识别、面部识别。相机标定是在图像测量过程以及机器视觉应用中，为确定空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系，必须建立相机成像的几何模型，这些相机成像的几何模型参数就是相机参数。在大多数条件下，这些相机参数需通过实验与计算才能得到，这个求解参数的过程就称之为相机标定或摄像机标定。

在视频会议应用中，通常会有多个子会场，每个子会场对应有若干与会人数。对于会议的主办单位而言，通常需要实时掌握各个子会场的与会人员的现场情况，也即需要知道会议秩序情况。现有会议秩序分析，通常是通过视频进行人脸识别，分析人脸识别后，采用二维坐标分析人员走动情况，也即通过像素点坐标分析出人脸的移动情况，从而分析出会场的人员走动情况，进而得到会议秩序。但是，与会人员在摄像机前的前后走动(靠近和远离摄像机)，采用这样的方法并不能识别出来，只能确定人脸在图像平面中二维移动情况，而不能得到三维下的人脸前后移动情况，从而对会场秩序不能准确把握。因此，需要一种能够分析出人脸在会场中远近移动时仍然分析出人脸移动的距离，得到更准确的会场秩序结果。

发明内容

针对现有技术的不足，本发明的目的之一是提供一种视频会议秩序分析方法，其能够解决远近移动时的人脸移动距离的问题；

本发明的目的之二是提供一种处理终端，其能够解决远近移动时的人脸移动距离的问题。

实现本发明的目的之一的技术方案为：一种视频会议秩序分析方法，包括如下步骤：

步骤1：对采集人脸标准图像的摄像头进行相机标定，得到相机参数；

步骤2：获取每个子会场参会人员的标准人脸图像并按采集顺序进行编号，并根据标准人脸图像提取到人脸特征，从而建立参会人员与人脸特征一一对应的人脸数据库；

步骤3：根据相机参数对参会人员位置进行初始化，确定每个参会人员的人脸标准图像在视频中的初始三维坐标，从而得到人脸初始三维坐标集合P，

其中，集合P中的第n个人脸的初始三维坐标Pn:{xn,yn,zn}，xn、yn、zn分别表示x轴、y轴和z轴坐标；

步骤4：按预设的时间间隔每隔一段时间分别对各个子会场的参会人员位置进行检测，获取当前时间各子会场各个人脸标准图像在视频中的人脸三维坐标集合PX，

其中，集合PX中的第n个人脸三维坐标PXn:{pxn,pyn,pzn}，pxn、pyn、pzn分别表示x轴、y轴和z轴坐标；

步骤5：根据人脸初始三维坐标集合P和人脸三维坐标集合PX，通过人脸特征识别出两个集合为同一个人脸编号的人脸标准图像，按公式①计算各个人脸标准图像的移动距离：

式中，D_n表示第n个人脸标准图像的移动距离，

按公式②计算出各个子会场整体人员的平均移动距离D_ave：

式中，N表示子会场的总参会人员数；

步骤6：根据计算出各个子会场对应的D_ave进行排序，根据排序结果得到会议秩序排名。

进一步地，所述根据计算出各个子会场对应的D_ave进行排序，根据排序结果得到会议秩序排名，具体包括，

根据D_ave按大到小排序，排序越靠前，则其会议秩序排名越靠后，反之，则会议秩序排名越靠前。

进一步地，执行完所述步骤5之后，执行步骤7：

步骤7：按公式③计算出从初始化至当前时间累积的整体人员的平均移动距离D_总：

其中，

表示第i次计算得到的D_ave，M表示截止当前时间计算D_ave的总次数，

然后，根据计算出各个子会场对应的D_总进行排序，根据排序结果得到会议秩序排名，

执行完步骤7后，则结束处理。

进一步地，所述根据计算出各个子会场对应的D_总进行排序，根据排序结果得到会议秩序排名，具体包括

根据D_总按大到小排序，排序越靠前，则其会议秩序排名越靠后，反之，则会议秩序排名越靠前。

实现本发明的目的之二的技术方案为：一种处理终端，其包括：

存储器，用于存储程序指令；

处理器，用于运行所述程序指令，以执行所述的视频会议秩序分析方法的步骤。

本发明的有益效果为：本发明通过相机标定获得人脸的三维坐标数据，能够更好地分析出人脸在会场空间里的移动情况，也即更准确分析出人脸远离或靠近摄像头的移动情况，从而得到更准确的会议秩序数据。通过人脸特征识别得到人脸坐标集合的人脸编号，由于自身就是一一对应的，不需要去重，方便于距离计算，计算更简单。同时，通过计算各个子会场的距离平均值，能够反映整体会场的秩序，比一般的评估会场秩序更科学和更合理。

附图说明

图1为本发明的流程示意图；

图2为处理终端的结构示意图。

具体实施方案

下面，结合附图以及具体实施方案，对本发明做进一步描述：

如图1所示，一种视频会议秩序分析方法，包括如下步骤：

步骤1：预先在各个子会场的固定位置架设人脸采集设备，人脸采集设备通常为视频会议设备上的摄像头，并进行相机标定，得到相机参数。

步骤2：针对各个子会场的参会人员，采集每个子会场参会人员的标准人脸图像并按采集顺序进行自动编号，通常是在参会人员签到时进行采集标准人脸图像。并根据标准人脸图像提取到人脸特征，从而建立参会人员与人脸特征一一对应的人脸数据库。

步骤3：根据相机参数对参会人员位置进行初始化，确定每个参会人员的人脸标准图像在视频中的初始三维坐标，从而得到人脸初始三维坐标集合P。

针对各个子会场，单场会议开始时，对各子会场就坐区域内的视频图像进行分析，根据相机参数并通过人脸检测算法获取就坐区域内的人脸标准图像数量N和各个人脸标准图像在视频中的初始像三维坐标，从而得到各个人脸初始三维坐标集合P:{P1,P2,…，PN}，其中，集合P中的第n个人脸(也即人脸编号为n，介于1和N之间)初始三维坐标Pn:{xn,yn,zn}，xn、yn、zn分别表示x轴、y轴和z轴坐标。

步骤4：按预设的时间间隔每隔一段时间分别对各个子会场的参会人员位置进行检测，获取当前时间各子会场各个人脸标准图像在视频中的人脸三维坐标集合PX。

定期分别读取出各个子会场的一帧视频图像Frm，对视频图像Frm进行人脸检测，并识别出各个人脸标准图像的人脸编号，从而获得当前时间各子会场中各个人脸标准图像的三维坐标数据，得到人脸三维坐标集合PX:{PX1,PX2,…,PXN}，其中，集合PX中的第n个人脸三维坐标PXn:{pxn,pyn,pzn}，pxn、pyn、pzn分别表示x轴、y轴和z轴坐标。经过本步骤处理，可以准确得到相比于会议开始初始化时，当前时间参会人员的位置变化(即人员走动)情况。

步骤5：根据人脸初始三维坐标集合P和人脸三维坐标集合PX，通过人脸特征识别出两个集合为同一个人脸编号的人脸标准图像，针对同一个人脸编号的人脸标准图像，按公式①计算各个人脸标准图像的移动距离,其中，第n个人脸标准图像的移动距离为D_n：

按公式①计算出所有人脸标准图像的移动距离后，则按公式②计算出各个子会场整体人员的平均移动距离D_ave，D_ave属于能够定量的移动距离量，每一个子会场对应有一个D_ave：

本步骤中，通过计算出同一个参会人员(即同一个人脸编号)在会议开始时至当前时间的位置移动情况，从而得到各个子会场所有人员的位置移动情况，进而计算出会场整体人员定量移动距离，该定量移动距离可以从整体上衡量出子会场整体人员位置变化情况，也即衡量会议秩序。

步骤6：根据计算出各个子会场对应的D_ave进行排序，根据排序结果得到会议秩序排名。其中，根据D_ave按大到小排序，排序越靠前，说明对应的子会场的秩序越差，其会议秩序排名越靠后，反之，则会议秩序排名越靠前。

优选地，在步骤6中，是直接根据当前时间得到的D_ave进行排序，并不能直观反映从开始会议至当前时间的整体会议的会议情况，例如，从开始会议到单场会议结束下来的整个会议的人员移动情况，为此，还提供步骤7，以根据整场会议下来的人员移动情况。执行完步骤5后执行步骤7，执行步骤7后直接结束处理。

步骤7：针对各个子会场，按公式③计算出从会议开始至当前时间累积的整体人员的平均移动距离D_总：

其中，

表示第i次计算得到的子会场整体人员的平均移动距离D_ave，M表示截止当前时间计算子会场整体人员的平均移动距离D_ave的总次数。

然后，根据计算出各个子会场对应的D_总进行排序，根据排序结果得到会议秩序排名。其中，根据D_总按大到小排序，排序越靠前，说明对应的子会场的秩序越差，其会议秩序排名越靠后，反之，则会议秩序排名越靠前。

例如，某一会议持续60分钟，每隔15分钟对各个子会场的参会人员位置进行检测，也即每隔15分钟读取出各个子会场的一帧视频图像Frm，从而分别在第15分钟、30分钟、45分钟和60分钟分别得到

对此4个数字进行累加求和即得到整场会议下来的整体人员的平均移动距离D_总。然后再进行排序，得到各个子会场的会议执行排名。

通过以上步骤的处理，相比于采用像素坐标分析参会人员走动情况，通过相机标定获得人脸的三维坐标数据，能够更好地分析出人脸在会场空间里的移动情况，也即更准确分析出人脸远离或靠近摄像头的移动情况，从而得到更准确的会议秩序数据。通过人脸特征识别得到人脸坐标集合的人脸编号，由于自身就是一一对应的，不需要去重，方便于距离计算，计算更简单。同时，通过计算各个子会场的距离平均值，能够反映整体会场的秩序，比一般的评估会场秩序更科学和更合理。

如图2所示，本发明还提供一种处理终端100，其包括：

存储器101，用于存储程序指令；

处理器102，用于运行所述程序指令，以执行所述视频会议秩序分析方法的步骤。

本说明书所公开的实施例只是对本发明单方面特征的一个例证，本发明的保护范围不限于此实施例，其他任何功能等效的实施例均落入本发明的保护范围内。对于本领域的技术人员来说，可根据以上描述的技术方案以及构思，做出其它各种相应的改变以及变形，而所有的这些改变以及变形都应该属于本发明权利要求的保护范围之内。

Claims (5)

1.一种视频会议秩序分析方法，其特征在于，包括如下步骤：

步骤1：对采集人脸标准图像的摄像头进行相机标定，得到相机参数；

步骤2：获取每个子会场参会人员的标准人脸图像并按采集顺序进行编号，并根据标准人脸图像提取到人脸特征，从而建立参会人员与人脸特征一一对应的人脸数据库；

步骤3：根据相机参数对参会人员位置进行初始化，确定每个参会人员的人脸标准图像在视频中的初始三维坐标，从而得到人脸初始三维坐标集合P，

其中，集合P中的第n个人脸的初始三维坐标Pn:{xn,yn,zn}，xn、yn、zn分别表示x轴、y轴和z轴坐标；

步骤4：按预设的时间间隔每隔一段时间分别对各个子会场的参会人员位置进行检测，获取当前时间各子会场各个人脸标准图像在视频中的人脸三维坐标集合PX，

其中，集合PX中的第n个人脸三维坐标PXn:{pxn,pyn,pzn}，pxn、pyn、pzn分别表示x轴、y轴和z轴坐标；

步骤5：根据人脸初始三维坐标集合P和人脸三维坐标集合PX，通过人脸特征识别出两个集合为同一个人脸编号的人脸标准图像，按公式①计算各个人脸标准图像的移动距离：

式中，D_n表示第n个人脸标准图像的移动距离，

按公式②计算出各个子会场整体人员的平均移动距离D_ave：

式中，N表示子会场的总参会人员数；

步骤6：根据计算出各个子会场对应的D_ave进行排序，根据排序结果得到会议秩序排名。

2.根据权利要求1所述的视频会议秩序分析方法，其特征在于，所述根据计算出各个子会场对应的D_ave进行排序，根据排序结果得到会议秩序排名，具体包括，

根据D_ave按大到小排序，排序越靠前，则其会议秩序排名越靠后，反之，则会议秩序排名越靠前。

3.根据权利要求1所述的视频会议秩序分析方法，其特征在于，执行完所述步骤5之后，执行步骤7：

步骤7：按公式③计算出从初始化至当前时间累积的整体人员的平均移动距离D_总：

其中，

表示第i次计算得到的D_ave，M表示截止当前时间计算D_ave的总次数，

然后，根据计算出各个子会场对应的D_总进行排序，根据排序结果得到会议秩序排名，

执行完步骤7后，则结束处理。

4.根据权利要求3所述的视频会议秩序分析方法，其特征在于，

所述根据计算出各个子会场对应的D_总进行排序，根据排序结果得到会议秩序排名，具体包括

根据D_总按大到小排序，排序越靠前，则其会议秩序排名越靠后，反之，则会议秩序排名越靠前。

5.一种处理终端，其特征在于，其包括：

存储器，用于存储程序指令；

处理器，用于运行所述程序指令，以执行如权利要求1-4任一项所述的视频会议秩序分析方法的步骤。

Images