CN109276233A - 一种面向视频流的分布式人脸及生理特征识别方法 - Google Patents

Abstract

本发明公开了一种面向视频流的分布式人脸及生理特征识别方法，该方法搭建客户端、智能识别服务器和信息管理服务器的框架；客户端从视频流中动态抓取视频帧，对视频帧进行人脸检测，存储人脸位置信息，进行生理特征识别，发送给智能图像识别服务器进行人脸身份识别；智能识别服务器进行人脸身份识别，更新数据库，向客户端返回识别结果；客户端在移动终端屏幕上显示人脸图像以及生理特征曲线图。本发明利用分布式技术高效地处理多客户端识别，克服常规生理参数检测方法的不足，提高检测舒适度，应用广泛，具有极大的商业价值和经济效益。

Description

一种面向视频流的分布式人脸及生理特征识别方法

技术领域

本发明涉及一种人脸及生理特征识别方法，具体涉及一种面向视频流的分布式人脸及生理特征识别方法，属于分布式系统与图像处理应用软件领域。

背景技术

心率是指单位时间内心脏搏动的次数，一般指每分钟心脏搏动的次数。心率作为人体生命活动重要的生理特征参数，在生命体征的检测和疾病的预防诊断等方面具有重要的应用价值。常规的生理参数检测仪器一般是接触式的，包括心电图机、可穿戴式设备等。

近些年来，由于PPG光学技术的发展和摄像头的普及，非接触式生理参数检测方法引起了广泛的关注。一类是通过摄像头捕获胸腔由呼吸引起的起伏变化，系统通过信号处理计算出心率，但基于胸腔的检测方法得到的不是血液容积脉搏波，因此应用范围较小。另一类是通过采集设备记录下皮肤组织在一定光照条件下血管内血液容积的变化，即可得到与心脏搏动周期相同的血流信号，得到生命体征参数。这种方法实现了非接触式测量，用户只需要保证待测皮肤在摄像头的拍摄范围内即可。

现有生理特征识别方法主要目标是克服传统呼吸和心率检测仪等接触式生理特征识别设备的局限性，使用红外摄像头或者专用的生理特征信号采集装置，或者是针对单一用户进行心率或者呼吸信号的检测。例如合肥工业大学提出一种非接触式的婴儿生理参数昼夜监护方法(CN108272448A)，采用可见光摄像头或红外摄像头分别对婴儿进行非接触式生理参数的昼夜监测。当光照强度高于设定阈值时，利用总体平均经验模态分解法对可见光摄像头捕获的人脸和胸口感兴趣区域的平均像素集合进行本征模式分量提取，对得到的最佳本征模式分量进行峰值检测从而得到生理参数检测结果；否则，利用欧拉放大法对红外摄像头捕获的人脸和胸口感兴趣区域的平均像素集合进行重构，对重构后的平均像素集合进行生理参数检测。厦门金网科技有限公司提出一种基于UWB技术的呼吸和心跳速率检测系统(CN108272447A)，包括UWB生理特征信号采集装置和呼吸与心跳速率检测系统，其中UWB生理特征信号采集装置包括一个低频信号源、一个高频信号源、一个延时控制单元、一个微处理器、两个脉冲成形器、一个通道开关、一个信号混合器、一个发射天线、一个接收天线、一个A/D转换器、一个数据发送器以及八个滤波器。首都医科大学提出一种基于红外序列图像的人体呼吸和心率信号非接触式检测方法(CN104055498A)，采集受试者侧面红外序列图像,利用Ostu方法二值化图像，提取序列图像重心(一阶距)的时间序列信号，得受试者的呼吸信号；选取颞浅动脉上行区域(太阳穴区域)和鼻孔周围区域作为感兴趣区，计算鼻孔感兴趣区的均值可得受试者的呼吸信号；太阳穴感兴趣区将其时间序列信号通过集成经验模式分解，然后进行AR功率谱分析，从而检测呼吸及心率信号。

上述发明和成果使用红外摄像头或UWB生理特征信号采集装置成本较高，操作繁琐；未涉及系统框架，只能支持单个客户端的生理特征识别工作，只能实时检测不能及时存储有效的生理特征信息；4)识别方法受感兴趣区域制约较大，可移植性不强。

由于人脸直接暴露在外，且面部的皮肤较薄，毛细血管丰富，因此，本发明提出一种基于普通光学摄像机视频流的人脸及生理特征识别方法，选择从连续的面部视频中提取与生理特征有关的信号，从而计算出心率等相关生理参数。设计合理、工作性能稳定、动态识别人脸并提取生理特征且提取速度快，操作简单、易于维护，有广泛的应用价值和商业价值。

发明内容

本发明的目的在于实现一种面向视频流的分布式人脸及生理特征识别方法。本方法搭建客户端、智能识别服务器和信息管理服务器的框架；客户端从视频流中动态抓取视频帧，对视频帧进行预处理和人脸检测，存储人脸位置信息，对人脸感兴趣区域进行生理特征识别，将识别结果进行显示；将视频帧发送给智能图像识别服务器进行人脸身份识别；智能识别服务器接收人脸视频帧，进行人脸身份识别，更新数据库，向客户端返回识别结果；客户端接收识别结果，在移动终端屏幕上显示人脸图像以及生理特征曲线图。具体来说，本发明的方法包括下列步骤：

A.搭建客户端、智能识别服务器和信息管理服务器的框架，具体步骤如下：

A1.在客户端建立一个客户端进程，进程内创建两个线程，具体步骤如下：

A1.1.人脸抓取检测线程(简称抓取检测线程)，从摄像头输入的视频流中动态抓取视频帧，实时检测人脸，进行生理特征识别；

A1.2.人脸显示请求线程(简称显示请求线程)，对检测的人脸和人脸感兴趣区域画框，将检测到的人脸视频帧发送给智能识别服务器，接收发回来的人脸身份信息进行显示；

所述的人脸感兴趣区域包括但不限于人脸额头区域；

A2.建立智能识别服务器，在识别服务器下搭建两个子系统，具体步骤如下：

A2.1.建立Web service服务子系统，具体步骤如下：

A2.1.1搭建一个轻量级Web应用框架，包括但不限于Flask框架；

A2.1.2接收客户端发来的Web service请求，启动服务线程；

A2.2.建立人脸身份识别子系统(简称识别子系统)，具体步骤如下：

A2.2.1接收人脸身份识别请求(简称识别请求)，创建人脸身份识别进程(简称识别进程)，对发送来的人脸视频帧进行身份识别，返回识别结果；

A3.在信息管理服务器的管理信息库中建立个人信息表；

所述的个人信息表包括但不限于：姓名、心率值；

B.客户端的抓取检测线程从视频流中动态抓取视频帧，对视频帧进行预处理和人脸检测，具体步骤如下：

B1.开启移动终端摄像头，从视频流中动态抓取视频帧；

B2.对人脸视频帧图像进行预处理，具体步骤如下：

B2.1.将视频帧图像转换成人脸身份识别需要的格式，包括但不限于GRAY格式；

B2.2.对图像进行处理，使图像尖锐，对比度增强；

B3.对视频帧图像进行人脸检测；

B4.若不存在人脸，则直接在移动终端屏幕上显示该视频帧；若存在人脸，则执行C；

C.抓取检测线程存储人脸位置信息，对人脸感兴趣区域进行生理特征识别，将识别结果传递给显示请求线程进行显示，具体步骤如下：

C1.存储人脸位置信息，并根据人脸位置信息计算人脸感兴趣区域位置信息；

C2.求出人脸感兴趣区域的灰度平均值；

C3.对人脸提取感兴趣区域进行生理特征识别，包括但不限于检测心率值；检测心率的具体步骤如下：

C3.1.计算视频帧率；

C3.2.利用间隔采样函数获取在L帧图像时间内的时间值；

C3.3.利用汉明窗从长度为L的视频帧序列生成周期函数；

C3.4.对周期函数计算灰度均值变化来表征反射光强度变化关系；

C3.5.对周期函数进行快速傅里叶变换得到频谱图，将人脸感兴趣区域灰度均值变化关系转换为频率和振幅的关系；

C3.6.根据相位、振幅、帧率计算心率值列表，选取最恰当心率值；

C4.每隔M帧连同人脸位置信息、人脸感兴趣区域位置信息以及心率值一起传递给显示请求线程；

D.请求显示线程将接收的人脸视频帧发送给智能图像识别服务器进行人脸身份识别，具体步骤如下：

D1.显示请求线程获取抓取检测线程传递来的视频帧图像、检测到的人脸位置信息、人脸感兴趣区域位置信息以及心率值；

D2.在人脸周围和人脸感兴趣区域上画出矩形框，并在人脸框上方显示心率值，在人脸框下方显示“人脸身份识别中”，在移动终端屏幕上实时显示视频帧；

D3.每隔N帧，将图像帧连同人脸位置信息及心率值一起，打包发送给智能识别服务器进行人脸身份识别；

E.智能识别服务器接收人脸视频帧，利用人脸视频帧进行人脸身份识别，更新数据库，向客户端返回识别结果，具体步骤如下：

E1.Web Service服务子系统接收请求，启动一个服务线程处理请求，具体步骤如下：

E1.1.服务线程接收客户端发来的Web service请求；

E1.2.通过管道，向智能图像识别服务器下的识别子系统发送识别请求；

E2.识别子系统接收识别请求，进行人脸身份识别；

E3.将识别出来的人脸身份结果通过管道通信返回给Web Service服务子系统；

E4.Web service服务线程接收识别子系统返回的人脸身份结果，处理业务逻辑，并将人脸身份结果和心率值写入信息管理服务器的管理信息库中；

传递和更新的信息包括但不限于：姓名，心率值；

E5.Web service服务线程发送人脸身份识别结果给客户端进行显示；

F.客户端接收识别结果，在移动终端屏幕上显示合成后的人脸图像以及生理特征曲线图，具体步骤如下：

F1.客户端的显示请求线程接收Web service服务线程发来的人脸身份信息；

F2.在移动终端屏幕上实时显示视频帧，在人脸框上方显示人脸身份信息和心率值；

所述的人脸身份信息包括但不限于：姓名；

F3.在移动终端屏幕上实时显示生理特征曲线图。

本发明的优点是采用了分布式系统，能够高效地处理多个客户端的要求；克服了常规接触式生理参数检测方法的不足，提高了生理参数检测的舒适度，并且能够满足一些特殊情况的使用要求，例如，婴儿的家庭医疗、航天医疗、重症监护室等环境；操作简单，能够被广泛的应用于各种场合，具有极大商业价值和经济效益。

附图说明

图1：面向视频流的分布式人脸及生理特征识别方法流程图

具体实施方式

下面结合附图，通过对某位测试者的人脸及生理特征识别的过程说明，作为实施例对本发明方法做进一步描述。

方法流程图如图1所示。本发明方法包括：1)搭建客户端、智能识别服务器和信息管理服务器的框架；2)客户端从视频流中动态抓取视频帧，对视频帧进行预处理和人脸检测；3)存储人脸位置信息，对人脸感兴趣区域进行生理特征识别，将识别结果进行显示；4)将视频帧发送给智能图像识别服务器进行人脸身份识别；5)智能识别服务器接收人脸视频帧，进行人脸身份识别，更新数据库，向客户端返回识别结果；6)客户端接收识别结果，在移动终端屏幕上显示人脸图像以及生理特征曲线图。具体实施步骤如下：

1.搭建客户端、智能识别服务器和信息管理服务器的框架，具体步骤如下：

1.1.在客户端建立一个客户端进程，进程内创建两个线程，具体步骤如下：

1.1.1.人脸抓取检测线程(简称抓取检测线程)，从摄像头输入的视频流中动态抓取视频帧，实时检测人脸，进行生理特征识别；

1.1.2.人脸显示请求线程(简称显示请求线程)，对检测的人脸和人脸额头区域画框，将检测到的人脸视频帧发送给智能识别服务器，接收发回来的人脸身份信息进行显示；

1.2.建立智能识别服务器，在识别服务器下搭建两个子系统，具体步骤如下：

1.2.1.建立Web service服务子系统，具体步骤如下：

1.2.1.1搭建一个轻量级Web应用框架，包括但不限于Flask框架；

1.2.1.2每接收一个客户端发来的Web service请求，则启动一个服务线程；

1.2.2.建立人脸身份识别子系统(简称识别子系统)，具体步骤如下：

1.2.2.1接收人脸身份识别请求(简称识别请求)，创建人脸身份识别进程(简称识别进程)，对发送来的人脸视频帧进行身份识别，返回识别结果；

1.3.在信息管理服务器的管理信息库中建立个人信息表；

2.客户端的抓取检测线程从视频流中动态抓取视频帧，对视频帧进行预处理和人脸检测，具体步骤如下：

2.1.开启移动终端摄像头，从视频流中动态抓取视频帧；

2.2.对人脸视频帧图像进行预处理，具体步骤如下：

2.2.1.将视频帧图像转换成GRAY格式；

2.2.2.对图像进行处理，使图像尖锐，对比度增强；

2.3.对视频帧图像进行人脸检测；

2.4.若不存在人脸，则直接在移动终端屏幕上显示该视频帧；若存在人脸，则继续执行3；

3.抓取检测线程存储人脸位置信息，对人脸提取感兴趣区域进行生理特征识别，将识别结果传递给显示请求线程进行显示，具体步骤如下：

3.1.存储人脸位置信息，并根据人脸位置信息计算人脸额头区域位置信息；

这里的人脸位置信息包括四个值：(234,170,235,235)，它们分别表示人脸位置左上角横坐标、人脸位置左上角纵坐标、人脸宽度、人脸高度，；这里的人脸额头区域位置信息包括四个值，额头位置左上角横坐标、额头位置左上角纵坐标、额头宽度、额头高度，它们按人脸额头占全脸特定比例计算得出，为(222,194,58,35)；

3.2.求出人脸额头区域灰度平均值；

3.3.对人脸提取感兴趣区域进行生理特征识别，检测心率值；检测心率的具体步骤如下：

3.3.1.计算视频帧率；

3.3.2.利用间隔采样函数采取在L帧图像时间内的时间值；

3.3.3.利用汉明窗从长度为L的视频帧序列生成周期函数；

3.3.4.对周期函数计算灰度均值变化来表征反射光强度变化关系；

3.3.5.对周期函数进行快速傅里叶变换得到频谱图，将人脸感兴趣区域灰度均值变化关系转换为频率和振幅的关系；

3.3.7.根据相位、振幅、帧率计算心率值列表，如下：

[51 58 65 72 80 87 94 101 109 116 123 130 138 145 152159 167 174]

选取频率72为心率值；

3.4.每隔2帧连同人脸位置信息、人脸感兴趣区域位置信息以及心率值一起传递给显示请求线程；

4.请求显示线程将接收的人脸视频帧发送给智能图像识别服务器进行人脸身份识别，具体步骤如下：

4.1.显示请求线程获取抓取检测线程传递来的视频帧图像、检测到的人脸位置信息、人脸感兴趣区域位置信息以及心率值；

4.2.在人脸周围和人脸感兴趣区域上画出矩形框，并在人脸框上方显示心率值，在人脸框下方显示“人脸身份识别中”，在移动终端屏幕上实时显示视频帧；

4.3.每隔5帧，将图像帧连同人脸位置信息及心率值一起，打包发送给智能识别服务器进行人脸身份识别；

5.智能识别服务器接收人脸视频帧，利用人脸视频帧进行人脸身份识别，更新数据库，向客户端返回识别结果，具体步骤如下：

5.1.Web Service服务子系统接收请求，启动一个服务线程处理请求，具体步骤如下：

5.1.1.服务线程接收客户端发来的Web service请求；

5.1.2.通过管道，向智能图像识别服务器下的识别子系统发送识别请求；

5.2.识别子系统接收识别请求，进行人脸身份识别，识别出该人的姓名为赵一；

5.3.将识别出来的人脸身份结果通过管道通信返回给Web Service服务子系统；

5.4.Web service服务线程接收识别子系统返回的人脸身份结果，处理业务逻辑，并将人脸身份结果和心率值写入信息管理服务器的管理信息库中；

传递和更新的信息包括但不限于：姓名，心率值；

5.5.Web service服务线程发送人脸身份信息给客户端进行显示；

6.客户端接收识别结果，在移动终端屏幕上显示合成后的人脸图像以及生理特征曲线图，具体步骤如下：

6.1.客户端的显示请求线程接收Web service服务线程发来的人脸身份信息；

6.2.在移动终端屏幕上实时显示视频帧，在人脸框上方显示该测试者姓名赵一和他的心率值72；

6.3.在移动终端屏幕上实时显示生理特征曲线图。

本发明的方法实现了面向视频流的分布式人脸及生理特征识别，通过6个步骤能够实现利用一个带有摄像头的终端设备，快速地为对各种场景下的人员进行人脸及生理特征识别，具有较高的准确率，具有很高的商业价值和经济效益。

最后需要注意的是，公布实施例的目的在于帮助进一步理解本发明，但是本领域的技术人员可以理解：在不脱离本发明及所附的权利要求的精神和范围内，各种替换和修改都是可能的。因此，本发明不应局限于实施例所公开的内容，本发明要求保护的范围以权利要求书界定的范围为准。

Claims (6)

1.一种面向视频流的分布式人脸及生理特征识别方法，其步骤包括：

A.搭建客户端、智能识别服务器和信息管理服务器的框架，具体步骤如下：

A1.在客户端建立一个客户端进程，进程内创建两个线程；

A2.建立智能识别服务器，在识别服务器下搭建两个子系统；

A3.在信息管理服务器的管理信息库中建立个人信息表；

所述的个人信息表包括但不限于：姓名、心率值；

B.客户端的抓取检测线程从视频流中动态抓取视频帧，对视频帧进行预处理和人脸检测，具体步骤如下：

B1.开启移动终端摄像头，从视频流中动态抓取视频帧；

B2.对人脸视频帧图像进行预处理；

B3.对视频帧图像进行人脸检测；

B4.若不存在人脸，则直接在移动终端屏幕上显示该视频帧；若存在人脸，则执行C；

C.抓取检测线程存储人脸位置信息，对人脸感兴趣区域进行生理特征识别，将识别结果传递给显示请求线程进行显示，具体步骤如下：

C1.存储人脸位置信息，并根据人脸位置信息计算人脸感兴趣区域位置信息；

C2.求出人脸感兴趣区域的灰度平均值；；

C3.对人脸提取感兴趣区域进行生理特征识别，包括但不限于检测心率值；

C4.每隔M帧连同人脸位置信息、人脸感兴趣区域位置信息以及心率值一起传递给显示请求线程；

D.请求显示线程将接收的人脸视频帧发送给智能图像识别服务器进行人脸身份识别，具体步骤如下：

D1.显示请求线程获取抓取检测线程传递来的视频帧图像、检测到的人脸位置信息、人脸感兴趣区域位置信息以及心率值；

D2.在人脸周围和人脸感兴趣区域上画出矩形框，并在人脸框上方显示心率值，在人脸框下方显示“人脸身份识别中”，在移动终端屏幕上实时显示视频帧；

D3.每隔N帧，将图像帧连同人脸位置信息及心率值一起，打包发送给智能识别服务器进行人脸身份识别；

E.智能识别服务器接收人脸视频帧，利用人脸视频帧进行人脸身份识别，更新数据库，向客户端返回识别结果，具体步骤如下：

E1.Web Service服务子系统接收请求，启动一个服务线程处理请求；

E2.识别子系统接收识别请求，进行人脸身份识别；

E3.将识别出来的人脸身份结果通过管道通信返回给Web Service服务子系统；

E4.Web service服务线程接收识别子系统返回的人脸身份结果，处理业务逻辑，并将人脸身份结果和心率值写入信息管理服务器的管理信息库中；

传递和更新的信息包括但不限于：姓名，心率值；

E5.Web service服务线程发送人脸身份识别结果给客户端进行显示；

F.客户端接收识别结果，在移动终端屏幕上显示合成后的人脸图像以及生理特征曲线图，具体步骤如下：

F1.客户端的显示请求线程接收Web service服务线程发来的人脸身份信息；

F2.在移动终端屏幕上实时显示视频帧，在人脸框上方显示人脸身份信息和心率值；

所述的人脸身份信息包括但不限于：姓名；

F3.在移动终端屏幕上实时显示生理特征曲线图。

2.如权利要求1所述的一种面向视频流的分布式人脸及生理特征识别方法,其特征在于，在客户端建立一个客户端进程，进程内创建两个线程，具体步骤如下：

A1.1.人脸抓取检测线程(简称抓取检测线程)，从摄像头输入的视频流中动态抓取视频帧，实时检测人脸，进行生理特征识别；

A1.2.人脸显示请求线程(简称显示请求线程)，对检测的人脸和人脸感兴趣区域画框，将检测到的人脸视频帧发送给智能识别服务器，接收发回来的人脸身份信息进行显示；

所述的人脸感兴趣区域包括但不限于人脸额头区域。

3.如权利要求1所述的一种面向视频流的分布式人脸及生理特征识别方法,其特征在于，建立智能识别服务器，在识别服务器下搭建两个子系统，具体步骤如下：

A2.1.建立Web service服务子系统，具体步骤如下：

A2.1.1搭建一个轻量级Web应用框架，包括但不限于Flask框架；

A2.1.2接收客户端发来的Web service请求，启动服务线程；

A2.2.建立人脸身份识别子系统(简称识别子系统)，具体步骤如下：

A2.2.1接收人脸身份识别请求(简称识别请求)，创建人脸身份识别进程(简称识别进程)，对发送来的人脸视频帧进行身份识别，返回识别结果。

4.如权利要求1所述的一种面向视频流的分布式人脸及生理特征识别方法，其特征在于，对人脸视频帧图像进行预处理，具体实现如下：

B2.1.将视频帧图像转换成人脸身份识别需要的格式，包括但不限于GRAY格式；

B2.2.对图像进行处理，使图像尖锐，对比度增强。

5.如权利要求1所述的一种面向视频流的分布式人脸及生理特征识别方法，其特征在于，对人脸提取感兴趣区域进行生理特征识别，包括但不限于检测心率值，检测心率的具体实现如下：

C3.1.计算视频帧率；

C3.2.利用间隔采样函数获取在L帧图像时间内的时间值；

C3.3.用分段线性插值函数从原始图像生成具有更高分辨率的图像

C3.4.对周期函数计算灰度均值变化来表征反射光强度变化关系；

C3.5.对周期函数进行快速傅里叶变换得到频谱图，将人脸感兴趣区域灰度均值变化关系转换为频率和振幅的关系；

C3.6.根据相位、振幅、帧率计算心率值列表，选取最恰当心率值。

6.如权利要求1所述的一种面向视频流的分布式人脸及生理特征识别方法，其特征在于，Web Service服务子系统接收请求，启动服务线程处理请求，具体实现如下：

E1.1.服务线程接收客户端发来的Web service请求；

E1.2.通过管道，向智能图像识别服务器下的识别子系统发送识别请求。