CN102973253A - 一种利用视觉信息监测人体生理指标的方法和系统 - Google Patents

Abstract

本发明涉及一种利用视觉信息监测人体生理指标的方法和系统。所述方法包括以下步骤：通过采集装置采集待测对象的视觉信息并存储数据；对所选取的视觉信息进行处理；对上述处理结果进行分析以提取人体生理指标；对所提取的生理指标返回显示。所述的系统包括：用于采集视觉信息的模块；用于对采集的视觉信息进行处理的模块；用于对处理后的信号分析以提取人体生理指标的模块。本发明实现人体生理状况的无创、连续监测以及多项生理指标的同步检测与协同分析，测量准确度高，布线简单，易于作为家庭医疗保健内容推广普及。

Description

一种利用视觉信息监测人体生理指标的方法和系统

技术领域

本发明涉及一种利用视觉信息监测人体生理指标的方法和系统，属于检测技术领域。

背景技术

无创、连续式监测人体心率、呼吸率等生理指标在家庭医疗保健与人体生理状况监测方面有重要的意义。随着国内生活水平的提高，人们的饮食结构及生活习惯都发生了较大改变：饮食涉入脂肪和胆固醇的含量明显增加，蔬菜等高纤维成分减少；日常活动量减少，作息不规律，生活节奏变快，压力增大等，这些都成为心血管疾病的温床，心血管疾病已经成为发展中国家的一个重要的死亡原因。然而，通常的医疗检测都需要固定的精密仪器支持，且检测方式也多为针对单一指标、非连续测式量，如心电图，臂式血压计听诊仪等。这不仅难以大范围普及，也不利于家庭成员身体情况的长期检测。 

Photolethysmography(PPG，光电容积描记法）是本领域公知的利用光电手段在活体组织中无创检测血液容积变化的方法。通常的PPG医疗仪器需要一个发光器和接收器。发光器发射特定波长的光束（通常是红光和可见红光），照射到皮肤表面时光束通过透射或反射方式到达接收器。在此过程中由于光束受到皮肤肌肉组织和血液的吸收，光强有一定的衰减。由于心脏周期性搏动引起的血液容积的变化，将影响皮肤血液对光的吸收量的变化，接收器接收到的 强度呈脉动性变化的，将此光强变化信号转换成电信号便可获得携带有丰富的人体微血管循环系统信息的容积脉搏血流的变化信号。 

流形学习（Manifold Learning）是模式识别的基本方法。Bregler和Omohundro在于1995年发表的Nonlinear manifold learning for visual speech recognition的文章中提出。流形学习使用有限点集合来计算嵌入在高维空间中的低维流形，从观测到的现象中去寻找事物的本质，找到产生数据的内在规律。其基本思想是通过获取数据集内所蕴含的几何信息来进行数据分析。本发明即将流形学习的方法应用于PPG方法之中，以更科学地进行生理指标的测量工作。据现有知识来看，本发明首创了将流形学习的方法应用在人体生理指标的测量工作中的方式。 

现有的基于PPG的技术，通常采用可以见光源或红外传感器，在手指尖耳垂部位测量，测量方式多为夹带式，且测量指标局限于血氧饱和度或心率。授权公告日为2009年03月03日、授权公告号为200980106331.0的发明专利说明书公开了一种使用可见光图像测定心率的方法。该方法可利用蜂窝电话相机等设备捕获人体皮肤对应的过个可见光图像，通过降维处理测定对象心率。该方法虽然可以实现无创、连续测量，但利用普通的线性降维，处理方式过于简单，精确度低，且只能提供人体心率信息，不能满足现代社会日益提高的各种测量需求。 

发明内容

鉴于上述内容，发明人经潜心钻研PPG技术与流形学习，对两者进行有机整合，提出本发明，以期即能实现无创、连续测量，也能对测量的各种参数及参数的准确度进行较大的提高。 

本发明的目的是提供一种利用视觉信息监测人体生理指标的方法和系统。 

根据本发明的发明目的之一，其中提供一种利用视觉信息自动监测人体生理指标的方法，包括： 

步骤（1）：通过采集装置采集待测对象的视觉信息并存储数据；

步骤（2）：对所选取的视觉信息进行处理；

步骤（3）：对上述处理结果进行分析以提取人体生理指标；

步骤（4）：对所提取的生理指标返回显示。

根据本发明进一步的发明目的，其中在进行所述采集视觉信息的步骤之前，先要检测在采集部件镜头前是否有待测对象出现，当检测到待测对象时开始工作，该检测手段可通过红外、感光等手段实现。 

根据本发明进一步的发明目的，其中所述采集待检测对象视觉信息还包括，选取视觉信息中需要的预定视觉信息，将所选取的视觉信息压缩为适合使用的特定格式并存储。 

根据本发明进一步的发明目的，其中是在采集的视频中检测人脸图像，并存储视觉信息；所述检测人脸图像的方法是：使用基于Adaboost、肤色、PCA、SVM等中的至少一种人脸检测模型，检测视频序列中的视频帧是否存在人脸，并返回人脸位置信息。 

根据本发明进一步的发明目的，其中所述存储的视觉信息具体是：所述视频帧中返回的人脸位置信息，或部分区为感兴趣区域，视频彩色传感器采集的RGB三通道像素的值；存储视觉信息的方法具体是：成功检测到人脸时存储以人脸为感兴趣区域的视觉信息作为后续处理；若某一帧检测人脸失败， 以上一帧的信息作为当前存储信息；连续1秒不能检测到人脸则停止生理指标监测。 

根据本发明进一步的发明目的，其中所述对采集的视觉信息进行处理为：当采集的视觉信息量达到监测初始量L₀时，利用流形学习方法从采集的原始信息中恢复隐含的包含较少的光线变化影响的人体生理PPG信号。 

根据本发明进一步的发明目的，其中所述对采集的视觉信息进行处理进一步还包括：去除PPG信号中的奇异点，并对PPG信号进行滤波处理，提取隐含的BVP（Blood Volume Pulse，血容积脉搏波）信号。 

根据本发明进一步的发明目的，其中所述对处理后的信号分析以提取人体生理指标为利用处理后的BVP信号求取人体生理指标：心率f_HR。 

根据本发明进一步的发明目的，其中具体方法为：先进行三次样条插值保证存在数据存在连续的一阶微分值；取插值后的数据上一阶微分最大值为特征点，利用所有相邻特征点时间间隔计算心脏搏动平均时间 

利用如下公式计算心率： 

$f_{\mathrm{HR}}=60/\stackrel{\‾}{T}.$

根据本发明进一步的发明目的，其中所述对处理后的信号分析以提取人体生理指标为利用处理后的BVP信号求取人体生理指标：呼吸率f_RR。 

根据本发明进一步的发明目的，其中具体方法为对BVP进行频域分析，取频率范围为[R_h1,R_h2]的高频部分，利用峰值频率 

得到呼吸率： 

$f_{\mathrm{RR}}=60\×f_{{\mathrm{HF}}_{\mathrm{peak}}}.$

根据本发明进一步的发明目的，其中以L₀为边长，L₁为步长的滑动窗口重复处理，以实现连续的人体生理指标监测；同时检测连续的L₂时间内是 否有生理指标异常；如果连续L₂时间内持续检测到某一生理指标异常，则启动生理指标异常报警；否则返回步骤（2）继续监测。 

根据本发明进一步的发明目的，其中所述提取的人体生理指标包括：心搏动周期、心率、呼吸率、心率变异性、呼吸性豆蔻心率不齐、血氧饱和度、心搏输出量、血压以及可由这些生理指标分析得出的相关生理指标中的至少一种。 

根据本发明的另一发明目的，其中提供一种利用视觉信息自动检测人体生理指标的系统，其特征在于包括： 

采集装置，用于采集待测对象的视觉信息；

处理装置，用于对采集的视觉信息进行处理，具体包括选取视觉信息中需要的预定视觉信息，将所选取的视觉信息压缩为适合使用的特定格式并存储，对所选取的视觉信息进行预处理，对经上述处理后的所述视觉信息进行处理，对上述处理结果进行分析以提取人体生理指标，对处理后的信号分析以提取人体生理指标；

存储装置，用于存储上述视觉信息及所获得的各个中间信息、分析数据和最终结果；

显示装置，用于对所提取的生理指标返回显示。

根据本发明的另一发明目的，其中提供一种利用视觉信息自动监测人体生理指标的设备，包括： 

用于通过采集部件采集待测对象的视觉信息的采集装置；

用于对所选取的视觉信息进行处理的处理装置；

用于对上述处理结果进行分析以提取人体生理指标的分析装置； 

用于对所提取的生理指标返回显示的显示装置。

利用本发明提供的人体生理指标检测方法及系统，具有以下优点：可以实现人体生理状况的无创、连续监测以及多项生理指标的同步检测与协同分析。布线简单，方便实现，只需要可以采集视觉信息的摄像头等设备与基本的处理器即可实现生理状况监测，易于作为家庭医疗保健内容推广普及；智能精确，信号处理及基于流形学习提取脉搏波信号的方法保证了测量的可靠性。系统通过对处理信号的分析得到心率、呼吸率等多项生理指标，并提供指标异常预警，以及多项指标的综合分析结果。 

附图说明

图1为本发明利用视觉信息实现人体生理指标检测的方法流程图； 

图2为根据本发明提出方法实现人体生理指标检测系统的框架图； 

图3为采集的原始信号对应的信号分析结果图； 

图4为对处理后的信号进行特征点提取及周期计算； 

图5为处理信号的频域分析图。 

具体实施方式

以下通过具体的实施例对本发明的技术方案作进一步描述。 

应理解的是本发明提供的检测方法能够在不同的实例上具有各种变化，基于本发明思想的各种变化的实例皆不脱离本发明的范围；且本发明中的附图在本质上作为说明之用，例如绘图元件并不一定是按比例绘制也不限定特定的设备，描述特定顺序或行为也不要求相于次序这样的特定性。即本发明中的附图只为解释说明本发明的方法及系统，而非用以限制本发明。 

实施例 

本实施例中利用一台计算机（Dell Optiplex790）外接摄像头（Logitech C170）录制视频以供分析。视频数据以彩色（24位RGB，3信道8位/信道）、30帧每秒(fps)的速率、分辨率的格式采集，并以MEPG压缩方法保存为AVI格式。附图1为本发明方法的流程图。附图2为本实例的系统架构图。本实例的方法具体内容如下： 

在摄像头采集的视频中利用Adaboost构造的“Haar-like人脸检测器”检测每一帧中的人脸区域。在下面的参考文献中，Proceedings of the IEEE Conference on Image Processing，第900-903页，2002年的R.Lienhart和J.Maydt.的“An Extended Set of Haar-like Features for Rapid Object Detection”，提供了关于Haar-like人脸检测器的详细信息；所述采集视觉信息是在采集的视频中检测人脸图像，并存储视觉信息；所述人脸检测方法的一个实例是利用Adaboost（Adaboost是一种迭代算法，它的前身是前身的Boosting算，其核心思想是针对同一个训练集训练不同的分类器(弱分类器)，然后把这些弱分类器集合起来，构成一个更强的最终分类器）模型构造Haar-lik人脸检测器，检测人脸区域，在下面的参考文献中，Proceedings of the IEEE Conference on Image Processing，第900-903页，2002年的R.Lienhart和J.Maydt.的“An Extended Set of Haar-like Features for Rapid Object Detection”，提供了关于Haar-like人脸检测器的详细信息。其他实例包括肤色模型，PCA模型（Principal Component Analysis，主成分分析），ANN模型（Artificial Neural Networks，人工神经网络），SVM模型（Support Vectro Machine，多类支持向量机）等可用于检测视频图像中人脸位置的模型。检测视 频序列中的视频帧是否存在人脸，并返回人脸位置信息。 

人脸检测器成功检测到人脸时，返回包含人脸区域的矩阵框位置信息。存储当前帧下人脸区域每个色彩通道RGB所有像素值的平均值。若某一帧检测人脸失败，则以之前一帧的信息作为当前存储的视觉信息。连续1秒内不能检测到人脸则停止生理指标检测。所述存储的视觉信息具体是：所述视频帧中返回的人脸位置信息，或部分区为感兴趣区域，视频彩色传感器采集的RGB三通道像素的值；存储视觉信息的方法具体是：成功检测到人脸时存储以人脸为感兴趣区域的视觉信息作为后续处理；若某一帧检测人脸失败，以上一帧的信息作为当前存储信息；连续1秒不能检测到人脸则停止生理指标监测。 

所述对采集的视觉信息进行处理为：当采集的视觉信息量达到监测初始量L₀=60帧时，利用流形学习方法从采集的原始信息中恢复隐含的包含较少的光线变化影响的人体生理PPG信号。 

所述流形学习方法的一个实例是拉普拉斯特征映射算法。具体方法是：利用采集的原始RGB作为输入向量： 

X_i(j)=(x₁(j),x₂(j),...,x_n(j)) j=1,2,3。

其中x_i(1)，x_i(2)，x_i(3)分别表示在第i帧采集的R，G，B颜色通道的均值。将采集的数据X输入拉普拉斯特征映射算法模型。在下面的参考文献中，2003年Neural Computation的15(6)期第1373-1396页，Belkin M和Niyogi P.的“Laplacian Eigenmaps for Dimensionality Reduction and Data Representation”，提供了关于拉普拉斯特征映射算法的原理。详细步骤叙述如下： 

1、构造邻接图G：当x_i是x_j中最近的k个点中的一个，或x_i是x_j最近的k=12 个点中的一个，则认为他们是相邻的，即G_ij有边，w_ij=1。否则G_ij无边，w_ij=0。

2、构造权值矩阵W_ij：如果x_i和x_j相邻，令w_ij=1；x_i和x_j不相邻，则令w_ij=0。

3、计算低维潜入Y：应图G中每个连通的区域计算方程Ly=λDy的特征值和特征向量。其中 

L＝D-W为拉普拉斯矩阵，λ为辅助参数。

拉普拉斯特征映射算法是所述的流形学习方法的一个实例。其他实例包括：等距映射(Isomap)，局部线性嵌入(Locally Linear Embedding,LLE)，局部切空间排列(Local Tangent Space Alignment,LTSA)，最大方差展开(Maximum Variance Unfolding,MVU)，线性保持投影(Linearity Preserving Projection,LPP)等，任意一种通过获取数据集内所蕴含的几何信息来进行数据分析，通过有限点集合来计算嵌入在高维空间中的流形的方法。 

处理后的数据结果见附图4。 

所述对采集的视觉信息进行处理还包括：对提取PPG信号进行数据预处理，去除PPG信号中的奇异点，并对PPG信号进行滤波处理，提取隐含的BVP（Blood Volume Pulse，血容积脉搏波）信号。“奇异点”具体定义为大于（或小于）平均值Q=10倍的数值。除去点后利用相邻两点的平均值对奇异点的空缺位置进行插值。 

所述的滤波处理包括：移动均值滤波、中值滤波、高斯滤波、最小均方差滤波、Gabor滤波，高通滤波，低通滤波，带通滤波中的任意一种或几种。应用本法发明方法的一个实例是使用移动均值滤波和汉宁窗带通滤波。 

所述对处理后的信号分析以提取人体生理指标为利用处理后的BVP信号求取人体生理指标：心率f_HR；具体方法为：先进行三次样条插值保证存在数据存在连续的一阶微分值；取插值后的数据上一阶微分最大值为特征点，利 用所有相邻特征点时间间隔计算心脏搏动平均时间 

利用如下公式计算心率： 

$f_{\mathrm{HR}}=60/\stackrel{\‾}{T}.$

数据处理结果及特征点选取结果请参阅附图4。 

所述对处理后的信号分析以提取人体生理指标为利用处理后的BVP信号求取人体生理指标：呼吸率f_RR；具体方法为对BVP进行频域分析，取频率范围为[R_h1,R_h2]的高频部分，选取[0.1-0.6]赫兹作为高频分析的有效频率段，寻找高频部分的峰值频率 

利用峰值频率 

得到呼吸率： 

$f_{\mathrm{RR}}=60\×f_{{\mathrm{HF}}_{\mathrm{peak}}}.$

本实例的高频频段信息请参阅附图5。 

以L₀=60帧为边长，L₁=1秒为步长的滑动窗口重复处理，以实现连续的人体生理指标监测；同时检测连续的L₂＝30秒时间内是否有生理指标异常；如果连续L₂时间内持续检测到某一生理指标异常，则启动生理指标异常报警；否则返回处理步骤继续监测。 

所述提取的人体生理指标包括：心搏动周期、心率、呼吸率、心率变异性、呼吸性豆蔻心率不齐、血氧饱和度、心搏输出量、血压以及可由这些生理指标分析得出的相关生理指标中的至少一种。 

综上所述，本发明提出一种利用视觉信息实现人体心率和呼吸率的监测方法及系统。只需基本的视觉信息采集设备即可实现人体生理状况的无创、连续式监测，可作为家庭医疗保健的项目大力普及。 

虽然本发明已以优选实例公开如上，然而所公开实例并非用以限制本发明的范围。可以理解：在不脱离本发明的精神的情况下，在此可以产生各种附加、修改和替换。本领域普通技术人员很清楚：在不脱离本发明的精神或 本质特性的情况下，可以以其他特殊形式、结构、布置、比例、以及利用其他元件、材料和部件来实现本发明。本领域的技术人员将意识到：本发明可以使用发明实际中使用的结构、布置、比例、材料以及部件和其他的许多修改，这些修改在不脱离本发明的原理的情况下而特别适应于特殊环境和操作需求。因此，当前公开的实施例在所有方面应被理解为说明性的而非对其请求保护的范围的限制。 

Claims (15)

1.一种利用视觉信息自动监测人体生理指标的方法，包括：

步骤（1）：通过采集装置采集待测对象的视觉信息并存储数据；

步骤（2）：对所选取的视觉信息进行处理；

步骤（3）：对上述处理结果进行分析以提取人体生理指标；

步骤（4）：对所提取的生理指标返回显示。

2.根据权利要求1所述的方法，其特征在于，在进行所述采集视觉信息的步骤之前，先要检测在采集部件镜头前是否有待测对象出现，当检测到待测对象时开始工作，该检测手段可通过红外、感光等手段实现。

3.根据权利要求1所述的方法，其特征在于，所述采集待检测对象视觉信息还包括，选取视觉信息中需要的预定视觉信息，将所选取的视觉信息压缩为适合使用的特定格式并存储。

4.根据权利要求1所述的方法，其特征在于，所述采集待检测对象视觉信息的方法是：在采集的视频中检测人脸图像，并存储视觉信息；所述检测人脸图像的方法是：使用基于Adaboost、肤色、PCA、SVM等中的至少一种人脸检测模型，检测视频序列中的视频帧是否存在人脸，并返回人脸位置信息。

5.根据权利要求4所述的方法，其特征在于，所述存储的视觉信息具体是：所述视频帧中返回的人脸位置信息，或部分区为感兴趣区域，视频彩色传感器采集的RGB三通道像素的值；存储视觉信息的方法具体是：成功检测到人脸时存储以人脸为感兴趣区域的视觉信息作为后续处理；若某一帧检测人脸失败，以上一帧的信息作为当前存储信息；连续1秒不能检测到人脸则停止生理指标监测。

6.根据权利要求1所述的方法，其特征在于，所述对采集的视觉信息进行处理为：当采集的视觉信息量达到监测初始量L₀时，利用流形学习方法从采集的原始信息中恢复隐含的包含较少的光线变化影响的人体生理PPG信号。

7.根据权利要求6所述的方法，其特征在于，所述对采集的视觉信息进行处理进一步还包括：去除PPG信号中的奇异点，并对PPG信号进行滤波处理，提取隐含的人体血容积脉搏波BVP信号。

8.根据权利要求7所述的方法，其特征在于，所述对处理后的信号分析以提取人体生理指标为利用处理后的BVP信号求取人体生理指标：心率f_HR。

9.根据权利要求8所述的方法，其特征在于，具体方法为：先进行三次样条插值保证存在数据存在连续的一阶微分值；取插值后的数据上一阶微分最大值为特征点，利用所有相邻特征点时间间隔计算心脏搏动平均时间

利用如下公式计算心率：

$f_{\mathrm{HR}}=60/\stackrel{\‾}{T}.$

10.根据权利要求1所述的方法，其特征在于，所述对处理后的信号分析以提取人体生理指标为利用处理后的BVP信号求取人体生理指标：呼吸率f_RR。

11.根据权利要求10所述的方法，其特征在于，具体方法为对BVP进行频域分析，取频率范围为[R_h1,R_h2]的高频部分，利用峰值频率

得到呼吸率：

$f_{\mathrm{RR}}=60\×f_{{\mathrm{HF}}_{\mathrm{peak}}}.$

12.根据权利要求8-11所述的方法，其特征在于，以L₀为边长，L₁为步长的滑动窗口重复处理，以实现连续的人体生理指标监测；同时检测连续的L₂时间内是否有生理指标异常；如果连续L₂时间内持续检测到某一生理指标异常，则启动生理指标异常报警；否则返回步骤（2）继续监测。

13.根据权利要求1所述的方法，其特征在于，所述提取的人体生理指标包括：

心搏动周期、心率、呼吸率、心率变异性、呼吸性豆蔻心率不齐、血氧饱和度、心搏输出量、血压以及可由这些生理指标分析得出的相关生理指标中的至少一种。

14.一种利用视觉信息自动检测人体生理指标的系统，其特征在于包括：

采集装置，用于采集待测对象的视觉信息；

处理装置，用于对采集的视觉信息进行处理，具体包括选取视觉信息中需要的预定视觉信息，将所选取的视觉信息压缩为适合使用的特定格式并存储，对所选取的视觉信息进行预处理，对经上述处理后的所述视觉信息进行处理，对上述处理结果进行分析以提取人体生理指标，对处理后的信号分析以提取人体生理指标；

存储装置，用于存储上述视觉信息及所获得的各个中间信息、分析数据和最终结果；

显示装置，用于对所提取的生理指标返回显示。

15.一种利用视觉信息自动监测人体生理指标的设备，包括：

用于通过采集部件采集待测对象的视觉信息的采集装置；

用于对所选取的视觉信息进行处理的处理装置；

用于对上述处理结果进行分析以提取人体生理指标的分析装置；

用于对所提取的生理指标返回显示的显示装置。

Images