CN109165641B - 基于人脸识别的视频会议秩序分析方法 - Google Patents

Abstract

本发明公开了一种基于人脸识别的视频会议秩序分析方法，该方法包括以下步骤：步骤一、针对参会人员，采集参会人员标准图像并调用人脸识别平台的人脸库建设接口，建立参会人员信息与人脸特征信息一一对应的人脸数据库；步骤二、标定子会场人员就坐区域；步骤三、会前人员位置初始化；步骤四、会中人员位置检测；步骤五、会中人员走动定量计算；步骤六、会场人员走动评价计算。本发明的视频会议秩序分析方法，通过固定摄像头在规定区域内获取会议图像，并结合与会人员人脸检测进行位置分析和计算走动定量计算，实现各自会场会议秩序的客观评价，达到视频会议秩序分析的自动化、高效化、精准化。

Description

基于人脸识别的视频会议秩序分析方法

技术领域

本发明涉及视频会议技术和图像处理技术领域，具体是一种基于人脸识别的视频会议秩序分析方法。

背景技术

随着信息网络及通信技术的不断发展，对于远距离多媒体通信的需求越来越强烈，通信视频会议在办公领域的应用也日益广泛，同时视频设备成本的下降和高清摄像技术的提升，视频会议将会逐步取代现场会议，成为日常办公会议解决方案的主流。

目前，视频会议中会场图像效果已成为最直观的用户体验，直接体现出系统的运作状态情况和运维保障水平的高低。在现实应用环境中，视频会议系统召开的视频会议数量繁多，一场会议的召开需要同时接入多个子会场，但通常只有采用轮训的方式将子会场的视频图像投影了主展示屏幕，导致各自子会场会议秩序难以把握，影响会议效率。

针对此情况，本文给出基于人脸识别的基于人脸识别的视频会议秩序分析方法，即一种基于人脸识别的视频会议秩序分析方法，在视频会议开展期间实现各自会场会议秩序的客观评价，达到视频会议秩序分析的自动化、高效化、精准化。

发明内容

本发明的目的在于提供一种基于人脸识别的视频会议秩序分析方法，以解决上述背景技术中提出的传统的视频会议秩序把握困难，视频会议子会场秩序集中化管理效果差的问题。

为实现上述目的，本发明提供如下技术方案：

一种基于人脸识别的视频会议秩序分析方法，该方法包括以下步骤：

步骤一、针对参会人员，采集参会人员标准图像并调用人脸识别平台的人脸库建设接口，建立参会人员信息与人脸特征信息一一对应的人脸数据库；

步骤二、标定子会场人员就坐区域；

步骤三、通过人脸识别平台人脸检测算法进行子会场人员位置初始化，获取人脸在视频中的初始像素坐标集合P；

步骤四、定期通过人脸检测算法对子会场人员位置进行检测，获取当前时间人脸在视频中的初始像素坐标集合P’；

步骤五、根据步骤三和步骤四中集合P’的每个点与其在集合P中最邻近点的距离进行人员走动定量计算，获取人员走动定量集合D；

步骤六、对步骤三和步骤四获取的集合P和集合P’进行去重处理后，通过欧式距离进行子会场人员走动评价计算。

优选的，所述步骤二包括视频会议各子会场均采用固定位置的摄像头，拍摄的会议区域为规定区域，视频会议管理人员通过多边形区域标定子会场的人员就坐区域。

优选的，所述步骤三包括单场视频会议开始后，对各子会场就坐区域内的视频图像进行分析，通过人脸识别平台的人脸检测算法获取就坐区域内的人脸数量FN和各个人脸在视频中的初始像素坐标，该像素坐标记为集合P:{P1，P2…PN}。

优选的，所述步骤四包括在确定就坐区域内人脸数量和坐标后，针对每个子会场，定期从视频流中抽取一幅图像，通过人脸识别平台的人脸检测算法对整幅图像进行人脸检测，分别获取就坐区域外的人脸数量FM和就坐区域内的人脸数量FN’和各个人脸在视频中的初始像素坐标，该像素坐标集合记为集合P’:{P1’，P2’…PN’}。

优选的，所述步骤五包括确定当前人员位置情况后，针对集合P’，根据欧式距离求出P’中的每个点在集合P中的最邻近点的序号,记为集合I:{I1，I2…，IN}，并计算出P’中的每个点与其最邻近点的距离，记为集合D:{D1，D2…，DN}。

更为优选的，所述集合P’最邻近点计算包括为去除集合P’中的多个点具有相同邻近点的情况，对集合I中的序号进行去重处理，针对集合P’对应同一个邻近地的多个点，保留与邻近点距离最小的点，其余的点标记为未知点，针对集合P中的点，如果其序号没有包含在集合D中，同样标记为未知点。

优选的，所述步骤六子会场人员走动评价计算包括通过所述步骤五确定集合P和P’中的点之间对应关系，以及集合P和P’中的未知点后，通过以下方法进行评价：

S1、针对集合P和集合P’中每对对应点，计算其欧式距离，再对所有的欧式距离求和，记为Dis1；

S2、针对集合P的每个未知点，计算其欧式距离为位置坐标到图像坐标原点的距离，再对集和P每个未知点的欧式距离求和，记为Dis2；

S3、针对集合P’的每个未知点，同样计算其欧式距离为位置坐标到图像坐标原点的距离，再对集和P’每个未知点的欧式距离求和，记为Dis3；

S4、对Dis1、Dis2和Dis3进行求和得到该子会场会议秩序参考指数，对所有子会场的会议秩序参考指数进行从小到大顺序排名，得到各子会场会议秩序排名。

与现有技术相比，本发明的有益效果是：

1)本发明通过固定摄像头对子会场进行会前区域标定、会前人员位置初始化和会中实时进行图像采集，完成视频会议中对子会场的图像参数采集并通过人脸识别检测形成标准的人员坐标集合模型，实现了视频会议秩序分析的自动化；

2)本发明通过建立的多个人员坐标集合，结合人脸识别检测对人员位置进行监测分析，实现了完善的人员走动定量计算和人员走动评价计算；

3)本发明通过对所有子会场会议秩序进行人员走动评价计算对视频会议子会场秩序客观评价，实现所有的子会场的会议秩序化管理，保障了视频会议的自动化、高效化、精准化。

附图说明

图1为本发明一种基于人脸识别的视频会议秩序分析方法的流程框图；

图2为本发明一种基于人脸识别的视频会议秩序分析方法实施例的具体实施流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1-2

如图1和图2所示，一种基于人脸识别的视频会议秩序分析方法，该方法包括以下步骤：

步骤一、针对参会人员，采集参会人员标准图像并调用人脸识别平台的人脸库建设接口，建立参会人员信息与人脸特征信息一一对应的人脸数据库；

步骤二、标定子会场人员就坐区域。

视频会议各子会场均采用固定位置的摄像头，拍摄的会议区域为规定区域，视频会议管理人员通过多边形区域标定子会场的人员就坐区域。

步骤三、通过人脸识别平台人脸检测算法进行子会场人员位置初始化，获取人脸在视频中的初始像素坐标集合P。

单场视频会议开始后，对各子会场就坐区域内的视频图像进行分析，通过人脸识别平台的人脸检测算法获取就坐区域内的人脸数量FN和各个人脸在视频中的初始像素坐标，该像素坐标记为集合P:{P1，P2…PN}。

步骤四、定期通过人脸检测算法对子会场人员位置进行检测，获取当前时间人脸在视频中的初始像素坐标集合P’。

在确定就坐区域内人脸数量和坐标后，针对每个子会场，定期从视频流中抽取一幅图像，通过人脸识别平台的人脸检测算法对整幅图像进行人脸检测，分别获取就坐区域外的人脸数量FM和就坐区域内的人脸数量FN’和各个人脸在视频中的初始像素坐标，该像素坐标集合记为集合P’:{P1’，P2’…PN’}。

步骤五、根据步骤三和步骤四中集合P’的每个点与其在集合P中最邻近点的距离进行人员走动定量计算，获取人员走动定量集合D。

确定当前人员位置情况后，针对集合P’，根据欧式距离求出P’中的每个点在集合P中的最邻近点的序号,记为集合I:{I1，I2…，IN}，并计算出P’中的每个点与其最邻近点的距离，记为集合D:{D1，D2…，DN}。

集合P’最邻近点计算包括为去除集合P’中的多个点具有相同邻近点的情况，对集合I中的序号进行去重处理，针对集合P’对应同一个邻近地的多个点，保留与邻近点距离最小的点，其余的点标记为未知点，针对集合P中的点，如果其序号没有包含在集合D中，同样标记为未知点。

步骤六、对步骤三和步骤四获取的集合P和集合P’进行去重处理后，通过欧式距离进行子会场人员走动评价计算。

子会场人员走动评价计算包括通过所述步骤五确定集合P和P’中的点之间对应关系，以及集合P和P’中的未知点后，通过以下方法进行评价：

S1、针对集合P和集合P’中每对对应点，计算其欧式距离，再对所有的欧式距离求和，记为Dis1；

S2、针对集合P的每个未知点，计算其欧式距离为位置坐标到图像坐标原点的距离，再对集和P每个未知点的欧式距离求和，记为Dis2；

S3、针对集合P’的每个未知点，同样计算其欧式距离为位置坐标到图像坐标原点的距离，再对集和P’每个未知点的欧式距离求和，记为Dis3；

S4、对Dis1、Dis2和Dis3进行求和得到该子会场会议秩序参考指数，对所有子会场的会议秩序参考指数进行从小到大顺序排名，得到各子会场会议秩序排名。

如图2所示，通过对视频会议的区域标定、会议人员位置初始化、会议人员位置检测、会议人员走动定量计算和会议人员走动评价计算对视频会议进行分析，实现了人员走动定量计算算法及人员走动评价计算算法，形成了一套视频会议秩序分析算法。通过该算法的实现，解决了由于会议子会场多而导致会议会场秩序混乱，从而影响整体会议质量及会议效率的困境，简化了会议子会场的出现秩序，有效的实现了子会场的秩序化管理，保障视频会议的自动化、高效化、精准化。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (6)

1.一种基于人脸识别的视频会议秩序分析方法，其特征在于，该方法包括以下步骤：

步骤一、针对参会人员，采集参会人员标准图像并调用人脸识别平台的人脸库建设接口，建立参会人员信息与人脸特征信息一一对应的人脸数据库；

步骤二、标定子会场人员就坐区域；

步骤三、通过人脸识别平台人脸检测算法进行子会场人员位置初始化，获取人脸在视频中的初始像素坐标集合P；

步骤四、定期通过人脸检测算法对子会场人员位置进行检测，获取当前时间人脸在视频中的初始像素坐标集合P’；

步骤五、根据步骤三和步骤四中集合P’的每个点与其在集合P中最邻近点的距离进行人员走动定量计算，获取人员走动定量集合D；

步骤六、对步骤三和步骤四获取的集合P和集合P’进行去重处理后，通过欧式距离进行子会场人员走动评价计算，所述步骤三包括单场视频会议开始后，对各子会场就坐区域内的视频图像进行分析，通过人脸识别平台的人脸检测算法获取就坐区域内的人脸数量FN和各个人脸在视频中的初始像素坐标，该像素坐标记为集合P:{P1，P2…PN}。

2.根据权利要求1所述的一种基于人脸识别的视频会议秩序分析方法，其特征在于，所述步骤二包括视频会议各子会场均采用固定位置的摄像头，拍摄的会议区域为规定区域，视频会议管理人员通过多边形区域标定子会场的人员就坐区域。

3.根据权利要求1所述的一种基于人脸识别的视频会议秩序分析方法，其特征在于，所述步骤四包括在确定就坐区域内人脸数量和坐标后，针对每个子会场，定期从视频流中抽取一幅图像，通过人脸识别平台的人脸检测算法对整幅图像进行人脸检测，分别获取就坐区域外的人脸数量FM和就坐区域内的人脸数量FN’和各个人脸在视频中的初始像素坐标，该像素坐标集合记为集合P’:{P1’，P2’…PN’}。

4.根据权利要求1所述的一种基于人脸识别的视频会议秩序分析方法，其特征在于，所述步骤五包括确定当前人员位置情况后，针对集合P’，根据欧式距离求出P’中的每个点在集合P中的最邻近点的序号,记为集合I:{I1，I2…，IN}，并计算出P’中的每个点与其最邻近点的距离，记为集合D:{D1，D2…，DN}。

5.根据权利要求4所述的一种基于人脸识别的视频会议秩序分析方法，其特征在于，所述集合P’最邻近点计算包括为去除集合P’中的多个点具有相同邻近点的情况，对集合I中的序号进行去重处理，针对集合P’对应同一个邻近地的多个点，保留与邻近点距离最小的点，其余的点标记为未知点，针对集合P中的点，如果其序号没有包含在集合D中，同样标记为未知点。

6.根据权利要求1所述的一种基于人脸识别的视频会议秩序分析方法，其特征在于，所述步骤六子会场人员走动评价计算包括通过所述步骤五确定集合P和P’中的点之间对应关系，以及集合P和P’中的未知点后，通过以下方法进行评价：

S1、针对集合P和集合P’中每对对应点，计算其欧式距离，再对所有的欧式距离求和，记为Dis1；

S2、针对集合P的每个未知点，计算其欧式距离为位置坐标到图像坐标原点的距离，再对集和P每个未知点的欧式距离求和，记为Dis2；

S3、针对集合P’的每个未知点，同样计算其欧式距离为位置坐标到图像坐标原点的距离，再对集和P’每个未知点的欧式距离求和，记为Dis3；

S4、对Dis1、Dis2和Dis3进行求和得到该子会场会议秩序参考指数，对所有子会场的会议秩序参考指数进行从小到大顺序排名，得到各子会场会议秩序排名。

Images