CN109700449B - 一种可抗头部自然运动的有效心率量测系统 - Google Patents

Abstract

本发明公开了一种可抗头部自然运动的有效心率量测系统，包括两个处理单元：第一单元为稳定ROI的获取，打开摄影镜头，汇入实时的影像，系统将自动侦测并追踪人脸与脸部特征点，在侦测到人脸后，运用人脸黄金比例缩小搜寻框以增加追踪速度；将感兴趣区域ROI的位置分别设计在额头、右脸颊以及左脸颊上，利用脸部特征点判断头运动的姿态(pose)，据以自动选取最合适的ROI，并利用运动滤波，以获得稳定的ROI信号。第二单元是心率信号处理，将ROI信号先进行预处理，从ROI区域取出绿色通道进行像素平均，将每个时间点的平均值串连起来形成时间序列信号，然后利用标准化处理，消除光线变动对信号质量的影响将主要信号突显出来，经过快速傅里叶转换以及带通滤波处理，便可以计算心跳数据。

Description

一种可抗头部自然运动的有效心率量测系统

技术领域

本发明涉及到一种心率测量系统，特别涉及一种可抗头部自然运动的有效心率量测系统。

背景技术

近年来，运用计算机视觉技术量测心率等生理信号因为便宜且适合长期监控而普遍受到关注，此方法透过一般廉价的摄像头，从人脸获取生命征象，以量测心率，一般而言，此方法系从人脸获取一块感兴趣区域(Region of Interest；ROI)，然后利用快速傅利叶转换(Fast Fourier Transform)获取频谱，据以计算心率，然而，此方法通常需人为方式事先在人脸上定义一个固定ROI，并且要求受测者脸部静止不动；脸部若有运动，则量测精确度就严重受到影响，这种方法不适合真实应用的情境，因为既使人在静止情况下，头部仍会有自然的晃动(natural movement)，特别是若要长期监控量测心率，更不能要求人脸正对着摄像头而不运动。

发明内容

本发明的目的在于提供一种可抗头部自然运动的有效心率量测系统，具有找出人脸的哪些部位最适宜作为量测的ROI，以及在人头自然运动下，如何选择最佳ROI，得到稳定生命征象信号的新技术的优点，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：一种可抗头部自然运动的有效心率量测系统，包括以下步骤：

S1：对脸部与脸部特征点进行侦测与追踪，脸部侦测运用HOG特征配合SVM分类器而得，然后运用形状预测法估测侧脸部的68个特征点，脸部追踪利用标准人脸的黄金比例，设计搜寻框并缩小搜寻的范围，以改进追踪的速度，获得68点人脸特征点分布于人脸的眼、口、鼻和脸部轮廓之上，由人脸黄金比例图得知道人脸的宽度大约是5个眼睛的宽度WEYE，高度约为3个鼻梁的长度WN，右眼宽度WRE＝d(36，39)，左眼宽度WLE＝d(42，45)，WEYE＝0.5(WRE+WLE)；鼻梁的高度WN＝d(33，E)，E＝0.5(x19+x24)，利用标准人脸的黄金比例，设计搜寻框并缩小搜寻的范围；

S2：将感兴趣区域ROI的位置分别设计在额头、右脸颊以及左脸颊上，并自动选取感兴趣区域ROI；

S3：采用滑动视窗法，对ROI坐标做运动滤波，降低侦测追踪时感兴趣区域ROI的些微跳动，以得到稳定ROI；

S4：进行预处理，从稳定ROI取出绿色( G) 通道，将ROI中每个像素点的数值做平均，得到一个波形序列，接着进行标准化，消除光线变动对信号质量的影响；

S5：标准化后的信号经快速傅里叶变换，将影像从时间域信号转换为频率域信号，通过带通滤波将非心率噪声信号滤除，然后以下列公式计算心率：

FPS为每分钟获取的影格数；k为频率域信号中的最大峰值的索引值；N为FFT计算长度。

优选的，步骤S3中滑动视窗运动滤波视窗大小为M，将目前影格的感兴趣区域ROI位置，与前面(M-1)/2影格与后面(M-1)/2影格，总共M格影像做ROI位置的平均。

优选的，步骤S4中，光线变动会影响信号的质量，将ROI信号序列经由标准化处理，滤除光线噪声，将影像从时间域信号转换为频率域信号。

优选的，步骤S5中由于人的心跳在未运动的情况下为每分钟40-100次，当FPS与N固定，可以据此推出k的范围。

与现有技术相比，本发明的有益效果：

1、本发明提出可抗头部自然运动的有效心率量测系统，运用商用摄像头，不须接触人脸，即可测量人的心率数据。与接触式量测设备比较，使用者不需携带设备，也不须操作设备，完全自动量测。这对于受测者（特别是老人与小孩）非常方便。

2、与学术刊物揭露的非接触式量测技术比较，本发明自动旋转不同位置的ROI，因此允许使用者有适度的自然运动。在追踪人脸时，运用人脸黄金比例缩小搜寻框以增加追踪速度，以达实时（real-time）量测的目标。

附图说明

图1为本发明的系统流程图；

图2为本发明的脸部特征点定位侦测图；

图3为本发明的人脸黄金比例图;

图4为本发明的运动滤波前X坐标图；

图5为本发明的运动滤波后X坐标图；

图6为本发明的运动滤波前Y坐标图；

图7为本发明的运动滤波后Y坐标图；

图8为本发明的G通道像素平均波形；

图9为本发明的测量心跳结果与参考装置测量心跳结果关联图；

图10为本发明的测量心跳结果与参考装置测量心跳结果误差图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例一：

请参阅图3，一种可抗头部自然运动的有效心率量测系统，包括以下步骤：

步骤一：对脸部特征点进行侦测与追踪，脸部侦测运用特征配合分类器HOG（Histogram of Oriented Gradient）SVM(Support Vector Machine)而得，然后运用形状侦测法侦侧脸部的68个特征点，脸部追踪利用标准人脸的黄金比例，设计搜寻框并缩小搜寻的范围，以改进追踪的速度，68特征点分布于人脸的眼、口、鼻和脸部轮廓之上，由人脸黄金比例图得知道人脸的宽度大约是5个眼睛的宽度WEYE，高度约为3个鼻梁的长度WN，右眼宽度WRE＝d(36，39)，左眼宽度WLE＝d(42，45)，WEYE＝0.5(WRE+WLE)；鼻梁的高度WN＝d(33，E)，E＝0.5(x19+x24)，利用标准人脸的黄金比例，设计搜寻框并缩小搜寻的范围，x₁₉与x₂₄为特征点19与24之x坐标，利用这信息我们将搜寻框的宽度定为7个眼睛的宽，高度定为5个鼻梁的高；

步骤二：将感兴趣区域ROI的位置分别设计在额头、右脸颊以及左脸颊上，并对感兴趣区域ROI自动选取，是当脸为正面，脸往左转时，或脸往右转时，系统能自动选择感兴趣区域ROI，以提升心率量测的准确度，脸部宽度是由眼睛宽度作为定义标准，且人脸的宽度大约为5个眼睛的宽度，因此ROI切换也是依据眼睛宽度作为比例，脸部宽度是由眼睛宽度作为定义标准，且人脸的宽度大约为5个眼睛的宽度，因此ROI切换也是依据眼睛宽度作为比例。当右脸宽度

大于k个眼睛宽度时，切换至右边脸颊ROI位置；反之，左脸宽度

大于k个眼睛宽度时，切换至左边脸颊ROI位置；如果两侧脸颊的宽度皆低于k个眼睛的宽度，表示额头ROI位置相对较明显，为较理想的计算部位，取额头ROI进行运算，ROI的选择如下：

式中W_RE为特征点2与30的欧氏距离(Euclidean distance)；W _LF为特征点14与30的欧氏距离；W_EYE 为两眼的平均宽度，即1/2(W _LE +W _RE )，而W _LE 为特征点42与45的欧氏距离，W _RE为特征点36与39的欧氏距离；

步骤三：采用滑动视窗运动滤波法，降低侦测追踪时将感兴趣区域ROI的些微跳动，以得到稳定ROI，滑动视窗运动滤波视窗大小为M，将目前影格的感兴趣区域ROI位置，与前面(M-1)/2影格与后面(M-1)/2影格，总共M格影像做ROI位置的平均，如图4-7，显示影格1到13的x轴与y轴的坐标点位置，在运动滤波后，较滤波前之坐标点位置变动降低了许多。显然运动滤波稳定了ROI坐标，顺利的输出稳定的ROI以利进行后续的计算，此运动滤波的目的是：由于人脸侦测追踪时会有自然的晃动，运动滤波就是为了消除该影响；

步骤四：在经过感兴趣区域取得所需的ROI信息之后，接着进行预处理，彩色影像包含B、G、R色三通道的信息，光线变动会影响信号的质量，只取出G通道，然后对ROI中每个像素点的数值做平均，经过一段时间，得到一个波形序列，如图8所示，由于光线噪声往往是低频，将ROI信号序列经由式之标准化处理，滤除光线噪声，将影像从时间域信号转换为频率域信号，

为原始ROI序列，

为移动平均(moving average),

为移动标准差(movingstandard deviation)，

2n+1是移动窗长度。

步骤五：标准化后之信号经快速傅里叶变换(Fast Fourier Transform；FFT)，将ROI信号从时间域转换为频率域，再通过带通滤波器滤除非心率的噪声，然后以下式计算心率：

FPS为每分钟获取的影格数；k为频率域信号中的最大峰值的索引值(index)；N为FFT计算长度，由于人的心跳在未运动的情况下约略为每分钟40-100次，若FPS与N固定后，推出k的范围，因此可透过带通滤波的处理，将非心率的噪声过滤，如此可以提高量测正确率。

此外，由于时序信号长度往往远超过FFT的长度N，为了增加量测的可靠度，我们将时序信号每N点取出一个片段，相邻的两段彼此有部分重叠，在我们的实施例中，重叠长度为N/2时可以得到较精确的结果，如表1.1。

表1.1 不同重叠长度正确率比较

重叠长度	N/8	N/4	N/2
				总输出次数	380	190	100
总错误次数	102	33	0
				正确率	73%	83%	100%

实施例二：

分别对十五位受测者进行实验，每个受测者进行20次的量测，一共300次的量测结果，受测者皆为肤色深浅不一的黄种人。影片使用一般的网络摄影机，分辨率为640 x 480。这些影片存在许多变化性与困难度，包含摄影机角度变化以及拍摄距离不一，以及受测者当时的环境受到光线不同程度的干扰。

将本系统测得的心率

与参考设备测得之心率

，求所有测试记录之平均值、标准差，并计算

与

之相关系数(correlation)以及绝对误差，如下

相关系数：
			绝对误差：

从三个ROI位置自动选择最佳位置：额头以及左右侧脸颊，为了检验这种调适性ROI技术，设计三种不同方式，以测试调适性ROI的效能，。

1. 正脸对镜头时，量测额头与两侧脸颊；

2.左侧脸时量测额头与右脸颊；

3.右侧脸时量测额头与左脸颊；

量测位置比较

量测结果如表1.2至1.4所示，结果显示本发明可以明显提升与参考装置量测之相关性。

表 1.2正脸对镜头时量测额头与两侧脸颊之比较

表1.3左侧脸时量测额头与右脸颊之比较

表 1.4右侧脸时量测额头与左脸颊之比较

图9为本发明测量心跳结果与参考装置测量心跳结果关联图，由此图可知其一致性蛮高的，图10也得知最大误差只有3。

综上所述，本发明提出的可抗头部自然运动的有效心率量测系统，包括两个处理单元，第一单元为稳定ROI的获取，第二单元为心率信号处理。第一单元，打开摄影镜头，汇入实时的影像，系统将自动侦测人脸部份，在侦测到人脸时，运用人脸黄金比例缩小搜寻框以增加追踪速度，并利用脸部特征点判断头自然运动的姿态(pose)，据以并自动选取感兴趣区域最合适的ROI，以获得稳定的ROI位置。。

第二单元是心率信号处理，先进行预处理，从ROI区域取出绿色通道进行像素平均，将每个时间点的平均值串连起来形成时间序列信号，利用标准化处理，消除光线变动对信号质量的影响将主要信号突显出来，经过快速傅里叶转换以及带通滤波处理，便可以计算峰值获得心跳数据。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (4)

1.一种可抗头部自然运动的有效心率量测系统，其特征在于，包括以下步骤：

S1：对脸部与脸部特征点进行侦测与追踪，脸部侦测运用HOG特征配合分类器SVM而得，然后运用形状侦预测法估测脸部的68个特征点，脸部追踪利用标准人脸的黄金比例，设计搜寻框并缩小搜寻的范围，68特征点分布于人脸的眼、口、鼻和脸部轮廓之上，由人脸黄金比例图得知道人脸的宽度是5个眼睛的宽度W EYE ，高度为3个鼻梁的长度W N ，右眼宽度WRE ＝d(36，39)，左眼宽度W LE ＝d(42，45)，W EYE ＝0.5(W RE +W LE )；鼻梁的高度W N＝d(33，E)，E＝0.5(x 19 +x 24 )，x 19 与x 24 为特征点19与24之x坐标，将搜寻框的宽度定为7个眼睛的宽，高度定为5个鼻梁的高；

S2：将感兴趣区域ROI的位置分别设计在额头、右脸颊以及左脸颊上；当右脸宽度大于k个眼睛宽度时，切换至右边脸颊ROI位置；反之，左脸宽度大于k个眼睛宽度时，切换至左边脸颊ROI位置；如果两侧脸颊的宽度皆低于k个眼睛的宽度，切换至额头ROI；

S3：采用滑动视窗法，对ROI坐标做运动滤波，降低侦测追踪时感兴趣区域ROI的些微跳动，以得到稳定ROI；

S4：进行预处理，从稳定ROI取出绿色通道，将ROI中每个像素点的数值做平均，得到一个波形序列，接着进行标准化，消除光线变动对信号质量的影响；

S5：标准化后的信号经快速傅里叶变换，将时间域转换为频率域，通过带通滤波将非心率噪声信号滤除，然后以下列公式计算心率：

FPS为每分钟获取的影格数；k为频率域信号中的最大峰值的索引值；N为FFT计算长度。

2.根据权利要求1所述的一种可抗头部自然运动的有效心率量测系统，其特征在于：滑动视窗运动滤波视窗大小为M，将目前影格的感兴趣区域ROI位置，与前面(M-1)/2影格与后面(M-1)/2影格，总共M格影像做ROI位置的平均。

3.根据权利要求1所述的一种可抗头部自然运动的有效心率量测系统，其特征在于：步骤S4中，光线变动会影响信号的质量，将ROI信号序列经由标准化处理，滤除光线噪声。

4.根据权利要求1所述的一种可抗头部自然运动的有效心率量测系统，其特征在于：步骤S5中，带通滤波将非心率噪声信号滤除情况下，由于人的心跳在未运动的情况下为每分钟40-100次，当FPS与N固定，可以据此推出k的范围。

Images