CN106033539B - 一种基于视频人脸识别的会议引导方法及系统 - Google Patents

Abstract

本发明提供了一种基于视频人脸识别的会议引导系统，包括数据库模块、采集模块、数据处理模块、显示屏模块。本发明还提供了利用所述系统实现的方法，包括：建立数据库，所述数据库存储有参会人员的人脸照片、参会人员的标识信息、参会人员与会议目的地之间对应的会议引导图信息；采集会场图像；从会场图像中提取人脸图像；根据人脸图像和人脸照片识别人脸，得到相应的标识信息；根据标识信息提供对应的引导图信息；通过显示屏显示对应的引导图信息。本发明解决了传统的数字或纸质引导过程复杂效果差的问题，提升了用户体验，保证了会议的效率。

Description

一种基于视频人脸识别的会议引导方法及系统

技术领域

本发明涉及会议引导方法，具体地，涉及一种基于视频人脸识别的会议引导方法；还涉及实现所述方法的基于视频人脸识别的会议引导系统。

背景技术

会议引导是会议成功举行的基础，特别是大型会议，快捷方便的引导是保证参会人员快速到达会场的一把金钥匙。虽然视频技术越来越渗入国民生活的方方面面，但会议引导却基本上还停留在纸质或简单的数字引导时代。经检索现有会议引导技术，中国专利，申请号为CN201540698U，名称为数字会议引导系统；在该专利中采用了显示屏来显示会议引导信息，但却并未对基于视频人脸识别技术的会议引导进行专门的研究。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种基于视频人脸识别的会议引导方法。

根据本发明提供的基于视频人脸识别的会议引导方法，包括如下步骤：

步骤1：建立数据库，所述数据库存储有参会人员的人脸照片、参会人员的标识信息、参会人员与会议目的地之间对应的会议引导图信息；

步骤2：采集会场图像；

步骤3：从会场图像中提取人脸图像；

步骤4：根据人脸图像和人脸照片识别人脸，得到相应的标识信息；

步骤5：根据标识信息提供对应的引导图信息；

步骤6：通过显示屏显示对应的引导图信息。

优选地，所述步骤1建立数据库，包括如下步骤：

-利用已有的会议地点引导图，根据实际会议地点的结构，绘制由会议引导处开始到会议地点的路线图，构成所述会议引导图信息；

-录入具体参会人员的标识信息，并保存到建立的数据库中；

-上传符合设定要求的参会人员照片，并从上传的参会人员照片中检测人脸，将检测出来的人脸矩形框扩大之后抠取人脸照片，保存到建立的数据库中；

-添加参会人员人脸图像到建立的数据库中，计算抠取出来的参会人员人脸的特征值并保存，其中，人脸特征值的计算方法如下：

对于从视频中抠取出来的人脸图像，先使用基于多尺度SDM模型的人脸对齐算法，检测出人脸的特征点，并估计其姿态；将人脸归一化至标准姿态人脸，同时进行光照校正，消除光线强弱及不均匀对人脸识别带来的影响；对于归一化后所得的标准姿态与标准光照人脸提取分块GSF特征；

-将制作好的会议地点引导图分配给参会人员，并通过会议地点引导图的文件路径进行关联。

优选地，所述步骤2，包括：通过智能摄像机从摄像头获取会场实时视频，然后从视频流中取帧。

优选地，所述步骤3，包括：

步骤3.1：通过智能摄像机进行人脸抓拍，所述人脸抓拍采用的技术方法包括在OpenCV中人脸检测过程中采用定点计算；

步骤3.2：依次对获取的每帧图片进行人脸检测，检测到人脸之后抠取人脸；

步骤3.3：通过网络把抠取的人脸图像传输到后台服务器；其中智能摄像机中人脸抓拍采用的技术方法如下：

在OpenCV中人脸检测过程中采用定点计算；在对视频图像处理时，智能摄像机的DSP采用将图像分批载入L2Cache的方式。优选地，所述步骤4，包括：

步骤4.1：将智能摄像机抓拍的人脸的特征值与数据库中参会人员人脸特征值比对，并将匹配程度最高的人脸图片作为识别结果返回；其中，人脸识别采用的技术方法如下：

步骤4.1.1：将计算好的人脸特征值通过PCA进行必要的降维；

步骤4.1.2：将降维后的人脸特征向量投影到事先训练好的FLD人脸子空间，从而得出该人脸的识别结果，并返回该参会人员的相关信息。

优选地，所述步骤5包括如下步骤：

步骤5.1：根据识别出来的参会人员人脸检索出对应的参会人员标识信息；

步骤5.2：根据参会人员标识信息查找会议地点，并获取会议地点引导图信息。

优选地，所述步骤6通过显示屏显示对应的引导图，包括从数据库中获得会议地点引导图信息，通过网络传输给会议引导终端，在显示屏上显示对应参会人员的会议引导图。

优选地，所述人脸检测的方法为：采用Haar小波特征与Adaboost算法训练的层级结构分类器检测人脸。

优选地，所述抠取人脸的方法如下：

-将人脸检测框向外扩展后再进行抠取，令需要抠取人脸宽度为L1、需要抠取人脸高度为H1、检测出的人脸宽度为L0、检测出的人脸高度为H0、抠取人脸左上角X坐标为X1、抠取人脸左上角Y坐标为Y1、检测出的人脸左上角X坐标X0、检测出的人脸左上角Y坐标为Y0，则抠取人脸的矩形计算公式如下：

L1＝L0*1.5；

H1＝H0*1.5；

X1＝X0-(1.5-1)*L0*0.5；

Y1＝Y0-(1.5-1)*H0*0.5；

-根据参会人员照片，对抠取人脸左上角X、Y坐标做调整，调整步骤如下：

如果X1<0，那么令X1＝0；

如果Y1<0，那么令Y1＝0。

本发明还提供一种基于视频人脸识别的会议引导系统，所述基于视频人脸识别的会议引导系统用于执行上述的基于视频人脸识别的会议引导方法。

与现有技术相比，本发明具有如下的有益效果：

1、本发明利用人脸识别技术进行会议引导，提升了会议参会人员进入会场的效率。

2、本发明中基于个人的特定化引导服务，提高了用户体验，协助会议能够按时举行。

3、本发明在OpenCV中的人脸检测采用定点计算，大大提高了人脸检测在智能相机的DSP中的运算速度；并且在对视频图像处理时，智能摄像机的DSP采用将图像分批载入L2Cache的方式，减少内存频繁访问的开销，从而提供人脸检测的速度。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为本发明提供的会议准备阶段流程图；

图2为本发明提供的会议引导阶段流程图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。

根据本发明提供的基于视频人脸识别的会议引导方法，包括如下步骤：

步骤1：建立数据库，所述数据库存储有参会人员的人脸照片、参会人员的标识信息、参会人员与会议目的地之间对应的会议引导图信息；

具体地，如图1中所示的会议准备阶段流程，包括：制作会议地点引导图、录入参会人员信息，上传参会人员照片，从照片中检测人脸，添加人脸到参会人员人脸库，给参会人员分配会议地点，其中所述参会人员的人脸照片与对应的会议引导图之间设置链接关系；

步骤2：采集会场图像；

步骤3：从会场图像中提取人脸图像；

步骤4：根据人脸图像和人脸照片识别人脸，得到相应的标识信息；

步骤5：根据标识信息提供对应的引导图信息；

步骤6：通过显示屏显示对应的引导图信息。

优选地，所述步骤1建立数据库，包括如下步骤：

-利用已有的会议地点引导图，根据实际会议地点的结构，绘制由会议引导处开始到会议地点的路线图，构成所述会议引导图信息；其中，路线图可以有多种格式，包括但不仅限于平面图、三维图、动态图；

-录入具体参会人员的标识信息，并保存到建立的数据库中；具体地，录入参会人员姓名、职位、手机号码等基本信息并保存到数据库中；

-上传符合设定要求的参会人员照片，并从上传的参会人员照片中检测人脸，将检测出来的人脸矩形框扩大之后抠取人脸照片，保存到建立的数据库中；具体地，对于参会人员照片设定要求：照片中人脸的长宽大小不低于150象素×150象素，象素太低会影响识别的准确率；照片中人脸部分必须清晰可见，并且不能穿戴包括但不限于帽子、墨镜、口罩可能会遮挡人脸面部特征的各种衣物、装饰品；

-添加参会人员人脸图像到建立的数据库中，计算抠取出来的参会人员人脸的特征值并保存，具体地，从照片中检测人脸模块从上传的参会人员照片中检测人脸，并将检测出来的人脸矩形框扩大1.5倍，然后将人脸从上传图片中抠取出来，保存到临时文件；其中，人脸特征值的计算方法如下：

对于从视频中抠取出来的人脸图像，先使用基于多尺度SDM模型的人脸对齐算法，本领域技术人员可以参考现有技术实现所述基于多尺度SDM模型的人脸对齐算法，例如参考文献：姚文韬，沈春锋，顾志松，董文生：“基于多尺度SDM模型的人脸对齐算法”载于《控制工程》2015Vol.22(增刊)，检测出人脸的特征点，并估计其姿态；将人脸归一化至标准姿态人脸，同时进行光照校正，消除光线强弱及不均匀对人脸识别带来的影响；对于归一化后所得的标准姿态与标准光照人脸提取分块GSF特征，所述GSF特征全称为Gabor SurfaceFeature，本领域技术人员可参考文献Yan.K，Chen.Y，Zhang.D，Gabor Surface Featurefor Face Recognition，Asian Conference on Pattern Recognition(ACPR),pp288–292，2011；

-将制作好的会议地点引导图分配给参会人员，并通过会议地点引导图的文件路径进行关联。制作会议地点引导图可以借助第三方工具，根据实际会议地点的结构，绘制由会议引导处开始到会议地点的路线图，路线图可以有多种格式，包括但不仅限于平面图、三维图、动态图。

如图2中所示的会议引导阶段流程，包括：参会人员人脸抓拍，根据抓拍的人脸进行自动识别，根据识别出来的参会人员检索会议地点，获取到达会议地点的引导图，显示引导图到显示屏。

优选地，所述步骤2，包括：通过智能摄像机从摄像头获取会场实时视频，然后从视频流中取帧。

优选地，所述步骤3，包括：

步骤3.1：通过智能摄像机进行人脸抓拍，所述人脸抓拍采用的技术方法包括在OpenCV中人脸检测过程中采用定点计算；

步骤3.2：依次对获取的每帧图片进行人脸检测，检测到人脸之后抠取人脸；

步骤3.3：通过网络把抠取的人脸图像传输到后台服务器；其中智能摄像机中人脸抓拍采用的技术方法如下：

在OpenCV中人脸检测过程中采用定点计算；在对视频图像处理时，智能摄像机的DSP采用将图像分批载入L2Cache的方式。

优选地，所述步骤4，包括：

步骤4.1：将智能摄像机抓拍的人脸的特征值与数据库中参会人员人脸特征值比对，并将匹配程度最高的人脸图片作为识别结果返回；其中，人脸识别采用的技术方法如下：

步骤4.1.1：将计算好的人脸特征值通过PCA进行必要的降维；

步骤4.1.2：将降维后的人脸特征向量投影到事先训练好的FLD人脸子空间，从而得出该人脸的识别结果，并返回该参会人员的相关信息。

优选地，所述步骤5根据识别出的人脸图像提供对应的引导图，

步骤5.1：根据识别出来的参会人员人脸检索出对应的参会人员标识信息；

步骤5.2：根据参会人员标识信息查找会议地点，并获取会议地点引导图信息。

优选地，所述步骤6通过显示屏显示对应的引导图，包括从数据库中获得会议地点引导图信息，通过网络传输给会议引导终端，在显示屏上显示对应参会人员的会议引导图。

优选地，所述人脸检测的方法为：采用Haar小波特征与Adaboost算法训练的层级结构分类器检测人脸。

优选地，所述抠取人脸的方法如下：

-将人脸检测框向外扩展后再进行抠取，令需要抠取人脸宽度为L1、需要抠取人脸高度为H1、检测出的人脸宽度为L0、检测出的人脸高度为H0、抠取人脸左上角X坐标为X1、抠取人脸左上角Y坐标为Y1、检测出的人脸左上角X坐标X0、检测出的人脸左上角Y坐标为Y0，则抠取人脸的矩形计算公式如下：

L1＝L0*1.5；

H1＝H0*1.5；

X1＝X0-(1.5-1)*L0*0.5；

Y1＝Y0-(1.5-1)*H0*0.5；

-根据参会人员照片，对抠取人脸左上角X、Y坐标做调整，调整步骤如下：

如果X1<0，那么令X1＝0；

如果Y1<0，那么令Y1＝0。

本发明还提供一种基于视频人脸识别的会议引导系统，用于执行上述的基于视频人脸识别的会议引导方法。

更进一步具体地，在一个优选例中，智能摄像机和会议引导终端安装在参会人员引导入口处。后台服务器上安装了人脸识别服务软件和数据库。智能摄像机、会议引导终端和后台服务器通讯正常。

在会议准备阶段中：

(1)制作某某公司XX会议室的平面引导图。

(2)新增参会人员张三，并录入张三的姓名、职位、手机号码等基本信息。

(3)上传张三的人脸照片到后台服务器。

(4)分配张三的会议地点为某某公司XX会议室。

在会议引导阶段中：

(1)张三到达会议引导处。

(2)智能摄像机自动抓取张三的人脸图像。

(3)智能摄像机将张三的人脸图像传输到后台服务器。

(4)后台服务器识别出张三的基本信息。

(5)后台服务器根据张三的基本信息获取张三的会议地点。

(6)后台服务器将会议地点引导图发送给会议引导终端。

(7)会议引导终端显示会议引导图。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。

Claims (9)

1.一种基于视频人脸识别的会议引导方法，其特征在于，包括如下步骤：

步骤1：建立数据库，所述数据库存储有参会人员的人脸照片、参会人员的标识信息、参会人员与会议目的地之间对应的会议引导图信息；

步骤2：采集会场图像；

步骤3：从会场图像中提取人脸图像；

步骤4：根据人脸图像和人脸照片识别人脸，得到相应的标识信息；

步骤5：根据标识信息提供对应的引导图信息；

步骤6：通过显示屏显示对应的引导图信息；

所述步骤1建立数据库，包括如下步骤：

-利用已有的会议地点引导图，根据实际会议地点的结构，绘制由会议引导处开始到会议地点的路线图，构成所述会议引导图信息；

-录入具体参会人员的标识信息，并保存到建立的数据库中；

-上传符合设定要求的参会人员照片，并从上传的参会人员照片中检测人脸，将检测出来的人脸矩形框扩大之后抠取人脸照片，保存到建立的数据库中；

-添加参会人员人脸图像到建立的数据库中，计算抠取出来的参会人员人脸的特征值并保存，其中，人脸特征值的计算方法如下：

对于从视频中抠取出来的人脸图像，先使用基于多尺度SDM模型的人脸对齐算法，检测出人脸的特征点，并估计其姿态；将人脸归一化至标准姿态人脸，同时进行光照校正，消除光线强弱及不均匀对人脸识别带来的影响；对于归一化后所得的标准姿态与标准光照人脸提取分块GSF特征；

-将制作好的会议地点引导图分配给参会人员，并通过会议地点引导图的文件路径进行关联。

2.根据权利要求1所述的基于视频人脸识别的会议引导方法，其特征在于，所述步骤2，包括：通过智能摄像机从摄像头获取会场实时视频，然后从视频流中取帧。

3.根据权利要求2所述的基于视频人脸识别的会议引导方法，其特征在于，所述步骤3，包括：

步骤3.1：通过智能摄像机进行人脸抓拍，所述人脸抓拍采用的技术方法包括在OpenCV中人脸检测过程中采用定点计算；

步骤3.2：依次对获取的每帧图片进行人脸检测，检测到人脸之后抠取人脸；

步骤3.3：通过网络把抠取的人脸图像传输到后台服务器；其中智能摄像机中人脸抓拍采用的技术方法如下：

在OpenCV中人脸检测过程中采用定点计算；在对视频图像处理时，智能摄像机的DSP采用将图像分批载入L2Cache的方式。

4.根据权利要求3所述的基于视频人脸识别的会议引导方法，其特征在于，所述步骤4，包括：

步骤4.1：将智能摄像机抓拍的人脸的特征值与数据库中参会人员人脸特征值比对，并将匹配程度最高的人脸图片作为识别结果返回；其中，人脸识别采用的技术方法如下：

步骤4.1.1：将计算好的人脸特征值通过PCA进行必要的降维；

步骤4.1.2：将降维后的人脸特征向量投影到事先训练好的FLD人脸子空间，从而得出该人脸的识别结果，并返回该参会人员的相关信息。

5.根据权利要求4所述的基于视频人脸识别的会议引导方法，其特征在于，所述步骤5包括如下步骤：

步骤5.1：根据识别出来的参会人员人脸检索出对应的参会人员标识信息；

步骤5.2：根据参会人员标识信息查找会议地点，并获取会议地点引导图信息。

6.根据权利要求5所述的基于视频人脸识别的会议引导方法，其特征在于，所述步骤6通过显示屏显示对应的引导图，包括从数据库中获得会议地点引导图信息，通过网络传输给会议引导终端，在显示屏上显示对应参会人员的会议引导图。

7.根据权利要求1或3所述的基于视频人脸识别的会议引导方法，其特征在于，所述检测人脸的方法为：采用Haar小波特征与Adaboost算法训练的层级结构分类器检测人脸。

8.根据权利要求1或3所述的基于视频人脸识别的会议引导方法，其特征在于，所述抠取人脸的方法如下：

-将人脸检测框向外扩展后再进行抠取，令需要抠取人脸宽度为L1、需要抠取人脸高度为H1、检测出的人脸宽度为L0、检测出的人脸高度为H0、抠取人脸左上角X坐标为X1、抠取人脸左上角Y坐标为Y1、检测出的人脸左上角X坐标X0、检测出的人脸左上角Y坐标为Y0，则抠取人脸的矩形计算公式如下：

L1＝L0*1.5；

H1＝H0*1.5；

X1＝X0-(1.5-1)*L0*0.5；

Y1＝Y0-(1.5-1)*H0*0.5；

-根据参会人员照片，对抠取人脸左上角X、Y坐标做调整，调整步骤如下：

如果X1<0，那么令X1＝0；

如果Y1<0，那么令Y1＝0。

9.一种基于视频人脸识别的会议引导系统，其特征在于，所述基于视频人脸识别的会议引导系统用于执行权利要求1-8中任一项所述的基于视频人脸识别的会议引导方法。