CN109009052A

CN109009052A - 基于视觉的嵌入式心率测量系统及其测量方法

Info

Publication number: CN109009052A
Application number: CN201810707329.XA
Authority: CN
Inventors: 陆林鹏; 王寒冰; 庞丽莉; 张雨雯
Original assignee: Nanjing Institute of Technology
Current assignee: Nanjing Institute of Technology
Priority date: 2018-07-02
Filing date: 2018-07-02
Publication date: 2018-12-18

Abstract

本发明公开了一种基于视觉的嵌入式心率测量系统及其测量方法，通过固定视频帧的采集区域，取消动态捕捉人脸方案，降低由人脸检测算法带来的误差。基于人脸定位方案的改变，对每一视频帧面部区域R,G,B三个分量求和而不是求均值作为视频帧的特征。通过傅立叶频谱分析得到频率分量得出心率的结果误差很大，本发明提出计算心率的方法，即对信号波峰进行处理，然后对信号波峰计数从而推算出心率值。

Description

基于视觉的嵌入式心率测量系统及其测量方法

技术领域

本发明涉及电子医疗设备领域，特别涉及一种基于视觉的嵌入式心率测量系统及其测量方法。

背景技术

目前，心率检测装置以接触式设备为主，包括听诊器、心电监护仪等设备。非接触式心率检测装置主要包括微波多普勒雷达、激光多普勒仪以及热成像仪。以上这些设备测量结果最为精确，但成本都很高或者是不便于携带。近几年出现的心率手环、手指夹式血氧仪等设备都是基于光电容积脉搏法。这种方法必须借助专用光源来实现检测，而且作用距离很短。

光电容积脉搏波描记法(Photo Plethysmo Graphy，下文简称PPG)是借光电手段检测血液容积变化的方法。当一定波长的光束照射到皮肤表面时，光束将通过透射或反射方式传送到光电接收器，在此过程中由于受到检测端皮肤肌肉和血液的吸收衰减作用，检测器检测到的光强度将减弱，当心脏收缩时外周血容量最多，光吸收量也最大，检测到的光强度最小；而在心脏舒张时，正好相反，检测到的光强度最大，故光接收器接收到的光强度随之呈脉动性变化，将此光强度变化信号转换成电信号，便可获得容积脉搏血流的变化。

Verkruysse等人在2008年论证了利用环境光来测量血容量变化是可行的。麻省理工大学Mc Duff等人在2012年初步提出具体的理论方法，主要是在MATLAB上进行视频预处理、频谱分析、去噪进而得到心率、呼吸率等生理参数。只是这个方法只是通过脚本代码进行了初步的实现，不足以用于要(比如嵌入式平台)，执行效率上不够高效，而且不支持对实时采集的视频流的处理。

使用视觉方法的心率检测方法，Mc Duff等人的理论研究较为完整，但只是用MATLAB脚本语言实现对视频文件的生理参数的分析，仍然不足以直接用于嵌入式环境，只能在MATLAB软件中处理静态的视频文件，而不支持对实时采集的视频流的处理。

发明内容

为解决现有技术中接触式测量方法中的专用性、成本昂贵等缺点，本发明的目的是设计一种基于视觉的嵌入式心率测量系统及其测量方法。

本发明公开了基于视觉的嵌入式心率测量方法，包括以下步骤：

步骤1、采集第i个视频帧，将第i个视频帧转换到RGB三基色空间，将指定区域的R、G、B分量分别求和得到r_i，g_i，b_i；累计采集300个视频帧，得到三个300维的向量，记为R_a，G_a，B_a；

步骤2：去噪：对步骤1中的得到的R_a，G_a，B_a三个信号进行去噪，得到R_b，G_b，B_b；

步骤3：主成分分析：对R_b，G_b，B_b三个信号应用盲源分离算法，得到R_c，G_c，B_c；

步骤4、采用0.75～3Hz的32点汉明窗口滤波器对R_c，G_c，B_c进行滤波，得到新的三个结果信号R_d，G_d，B_d；

步骤5、采用傅立叶变换对R_d，G_d，B_d进行频谱分析，并在三个频谱结果中挑选出拥有最大振幅的信号作为下一步的处理信号，记作S_a；

步骤6：波峰确定：对S_a进行三次样条插值，S_a拓展为若干数据点，记为S_b；

步骤7、对S_b寻找波峰，设立一个窗口大小为WS的滑动窗口，从第1+WS个数据点开始，WS+1～2*WS作为当前的窗口，1～WS作为前一个窗口，2*WS+1～3*WS作为后一个窗口，分别找出这三个窗口的最大值，若当前窗口的最大值比前一个窗口和后一个窗口的最大值都大，那么将这个最大值以及它的位置值添加到向量Y和X的末尾；否则滑动窗口后移WS，重复上述操作，遍历整个S，最终得到的Y、X即为所有的波峰值以及波峰位置，X的长度记作k；

步骤8：根据拉以达准则，对Y、X进行滤波，排除坏值；首先根据X计算波峰间隔均值和方差：

对从第一个波峰间隔开始向后按同样的方式依次处理每一次波峰，处理方式如下：若波峰间隔落在(μ-0.8σ,μ+2σ)，则认为该数据点合理，保留；若该波峰间隔分配小于μ-0.8σ，则将该波峰间隔合并入左右两边较小的波峰间隔；若该波峰间隔大于μ+2σ，则在该波峰间隔中间插入一个分隔点；

步骤9：计数波峰的个数，得到相应的心率值：

心率值＝波峰个数*2。

步骤2中采用用于HRV方面的去趋势方法进行去噪，参数λ＝2000。

步骤1中还包括对采集到的视频帧进行判断，视频帧捕捉失败，则对该次错误进行计数，并立即重新采集视频帧，当错误计数达到指定值时，则判定本次采集无效并重启摄像头；如果正常，则显示屏上指定位置绘制视频帧，然后判断用户是否按下开始，如果没有，则继续上述过程；否则，进入视频帧的前期处理，按如下公式(3)将视频帧转换到RGB三基色空间。

R＝1.164*(Y-16)+1.156*(V-128)

G＝1.164*(Y-16)-0.380*(U-128)+0.813*(V-128) (3)

B＝1.164*(Y-16)+2.018*(U-128)

本发明还公开了一种基于视觉的嵌入式心率测量系统，包括基于单进程多线程的嵌入式处理器，所述嵌入式处理器包括负责视频帧采集及数据更新的主线程和对信号进行核心算法运算得到心率值的子线程，所述核心算法基于权利要求1至3任意一项所述的基于视觉的嵌入式心率测量方法。

主线程向子线程提供数据是通过从主线程中数组A向子线程中数组B拷贝完成，所述数组A引入队头head、队尾tail两个标志，将新数据放置在队尾，并将队尾更新tail＝(tail+1)％300；根据head、tail值，从数组A的队头开始直至队尾，将数组A数据按序拷贝给子线程中数组B，并更新head值。

本发明通过固定视频帧的采集区域，取消动态捕捉人脸方案，降低由人脸检测算法带来的误差。基于人脸定位方案的改变，对每一视频帧面部区域R,G,B三个分量求和而不是求均值作为视频帧的特征。

针对嵌入式设备进行算法优化，通过固化去噪所需的矩阵数据，提升程序执行效率，引入单进程多线程的程序设计方式，主线程负责界面的绘制、视频帧的采集以及数据的更新，子线程负责完成对信号进行核心算法运算并得出心率值。配合长度为300的double元素数组的循环队列A，引入队头head、队尾tail两个标志，将新的数据放置在队尾，并将队尾更新,即tail＝(tail+1)％300。主线程向子线程提供数据是通过从主线程中数组A向子线程中数组B拷贝动作完成的，为了保证数组B中数据的时序性，根据head、tail值，从数组A的队头开始直至队尾，将数组A数据按序拷贝给子线程中数组B，并更新head值。主线程继续接收新数据的输入，子线程则进行核心算法的运算。如此提升整个系统的运行效率，充分利用嵌入式处理器资源。

通过傅立叶频谱分析得到频率分量得出心率的结果误差很大，本发明提出计算心率的方法，即对信号波峰进行处理，然后对信号波峰计数从而推算出心率值。

有益效果：本发明与现有技术相比，本发明的的心率测量系统能够很好的解决接触式测量方法中的专用性、成本昂贵等缺点，对卫生保健(譬如：婴儿生理监测、心血管疾病预防、司机生理参数的监测等)、情感计算(压力检测、情绪推断等)、对影像资料任务分析等领域有着很大的辅助价值。本发明同时支持对离线视频流进行分析，对实时视频流进行生理参数分析，具有移植性强、成本低等优点。本发明大大降低非接触式生理参数的测量成本，实现对离线视频人物生理参数分析，为生理参数测量提供一种新的测量方案。

附图说明

图1为本发明的流程图；

图2为三个原始信号示意图；

图3为对图2中的三个信号去噪后得到信号R_b，G_b，B_b的示意图；

图4为对图2中的三个信号应用盲源分离算法得到的结果示意图；

图5为波峰调整效果示意图；

图6为本发明使用流程图；

图7为测量结果和脉搏计数对比图。

具体实施方式

下面结合附图和实施例进一步阐述本发明。

本发明的一种基于视觉的嵌入式心率测量方法，包括以下步骤：

步骤1：采集视频帧，将实时采集人脸数据信号作为数据源，通过预先指定面部区域，得到视频帧中面部数据；摄像头采集帧率设置为10帧/秒，对采集到的视频帧进行判断。视频帧如果不正常，则对该次错误进行计数，并立即重新采集视频帧。当错误计数达到指定值，则判定本次采集无效并重启摄像头。如果正常，则显示屏上指定位置绘制视频帧，然后判断用户是否按下开始，如果没有，则继续上述过程；否则，进入视频帧的前期处理，按如下公式，

R＝1.164*(Y-16)+1.156*(V-128)

G＝1.164*(Y-16)-0.380*(U-128)+0.813*(V-128) (3)

B＝1.164*(Y-16)+2.018*(U-128)

将视频帧转换为RGB三基色空间，将指定区域的R、G、B分量分别求和得到r_i，g_i，b_i；累计采集300个视频帧，得到三个300维的向量，记为R_a，G_a，B_a；

步骤4、采用0.75～3Hz的32点汉明窗口滤波器对对R_c，G_c，B_c进行滤波，分离得到新的三个结果信号R_d，G_d，B_d；

步骤5、采用傅立叶变换对R_d，G_d，B_d；进行频谱分析，挑选出最大振幅的信号作为下一步的处理信号，记作S_a；

步骤6：波峰确定：记作S_a进行256Hz的三次样条插值，S_a拓展为76800个数据点，记为S_b；

步骤7：对S_b寻找波峰，设立一个窗口大小为WS＝48的滑动窗口，从第1+WS个数据点开始，WS+1～2*WS作为当前的窗口，1～WS作为前一个窗口，2*WS+1～3*WS作为后一个窗口，分别找出这三个窗口的最大值，如果当前窗口的最大值比前一个窗口和后一个窗口的最大值都要大，那么保留这个最大值以及它的位置于Y和X中,否则滑动窗口后移WS。重复上述操作，遍历整个S，最终得到的Y、X即为所有的波峰值以及波峰位置，X的长度记作k；

步骤8：根据拉以达准则，对Y、X进行滤波，排除坏值；首先计算波峰间隔均值和方差：

步骤9：计数波峰的个数，得到相应的心率值：

心率值＝波峰个数*2。

本发明的心率测量系统通过将YUYV格式的视频帧转化到RGB三基色空间，将指定区域的R、G、B分量分别求和得到r_i，g_i，b_i，并保存至数组循环队列中，用矩阵进行存放记作：

本发明要求使用者静息状态保持至少30秒，30秒的视频对应着300帧，开始30秒之后，每隔5秒，就启动一次数据处理线程。当有效帧累积数量首次达到300个或者之后每更新48个，就将数组循环队列中的300个数据按队头至队尾的顺序拷贝到数据处理子线程中，并启动子线程。对采集的源数据进行降噪、主成分分析、盲源信号分离、频谱分析、信号选择，进一步降噪以及最终计算心率值。子线程结束后通知主线程，主线程更新心率值显示。

具体的，本发明的初步去噪：去除由环境光不稳定，或者其他原因造成光源不稳定而导致数据呈现一定的漂移噪声，对此，采用Mika P.Tarvainen提出的用于HRV(HeartRate Variability,心率变异性)方面的去趋势方法，并且设置λ＝2000，在MATLAB平台下设置好参数，并执行计算得到矩阵M，并进行保存。本发明直接计算出用于去除漂移的300*300规格的矩阵M，

X＝MD^T

其中，X对应于R_b，G_b，B_b，D对应R_a,G_a，B_a。

本发明的独立成分分析算法，是采用J.F Cardoso提出的盲源分离算法JADE，从R_b，G_b，B_b这三个去噪后的信号中恢复出主要信号，当采集的是人的面部数据，主要信号即为心率信号。该算法是一种基于四阶累积量的特征矩阵联合近似对角化的用于实信号的分离算法，运用PCA(Principle Component Analysis,主成分分析)算法，对R,G,B源数据进行降维，分离出的信号分量和源信号样本数量有关，分离获得的信号分量是源信号的随机近似信号，每次的结果的顺序是随机的。

摄像头采集到的R、G、B三个分量归属于图2阶段，借助盲源分离，挖掘出隐藏在R、G、B三个分量中的心率信号。然后再使用32点的汉明窗口滤波器对三个结果信号进行滤波，分离出新的三个结果信号。借助傅立叶变换对新的三个结果信号进行频谱分析，图4为盲源分离结果，相较于图2所示的原始信号，细节上多出了很多小的尖峰，总体形态没有发生变化，频率信息很好的保存了下来。挑选出最大振幅的信号作为下一步的处理信号，记作S。

波峰确定：对S进行256Hz的三次样条插值，S拓展为76800个数据点。然后对新的S寻找波峰，我们设立一个窗口大小为WS＝48(即0.1875秒)的滑动窗口，从第1+WS个数据点开始，WS+1～2*WS作为当前的窗口，1～WS作为前一个窗口，2*WS+1～3*WS作为后一个窗口，分别找出这三个窗口的最大值，如果当前窗口的最大值比前一个窗口和后一个窗口的最大值都要大，那么保留这个最大值以及它的位置于Y和X中,否则滑动窗口后移WS。重复上述操作，遍历整个S，最终得到的Y、X即为所有的波峰值以及波峰位置，X的长度记作k。

对Y、X进一步处理，实际中发现，Y、X中可能会出现少量坏值，需要去除这些坏值。由于波峰间隔近似服从正态分布，我们根据拉以达准则，对Y、X进行滤波，排除坏值。实际调整效果如图5所示。

最后，我们计数波峰的个数，相应的心率值即为：心率值＝波峰个数*2。

图6为实际使用流程图，使用者静坐在光线较为充足的环境中，正对着摄像头，根据显示触摸屏画面调整以使得眼睛以下的面部(如果处于闭眼状态，可以包括眼部以及头部分)进入显示屏中指定方框。点击显示屏的开始按钮启动测量程序。要求使用者静息状态保持至少30秒。然后，显示屏上计时器变为红色，此时可以读取心率值。如果想要停止测量，则点击停止按钮。

本发明的心率测量系统降低成本，程序执行效率高，可以在嵌入式设备运行，可移植性强，测量心率准确度提升，支持对离线视频流进行分析，对实时视频流进行生理参数分析。

在搭建好的本发明的实际设备上，经过多次试验，得下表1中的多组试验记录：

表1：实验数据结果表

编号	脉搏计数	波峰计数	编号	脉搏计数	波峰计数
						1	42	42	13	36.5	37
2	41	37	14	38	37
						3	46	41	15	36.5	36
4	43	42	16	35.5	34
						5	45	43	17	35.5	36
6	36.5	37	18	51	44
						7	33	36	19	46	41
8	38	36	20	35.5	36
						9	41	39	21	36	37
10	37	33	22	38.5	37
						11	37.5	36	23	36	36
12	42.5	41	24	41	41

从表1和图7可以看出，当环境光充足，而且环境光波动较弱的时候，脉搏计数和测量结果的皮尔逊相关系数值为0.876，当系统容忍误差设置为2，测量准确率达到75％。当环境光不充足或者环境光波动比较厉害时，心跳信号不够明显，信噪比降低，测量准确率不足60％。可以看出，大部分(本例中为75％)情况下，测量结果小于等于脉搏计数。另外，在没有人脸的时候，该装置也会呈现一定的值，这个值来源于噪声。当有人的时候，噪声便再次化为弱信号，信噪比上升。

Claims

1.基于视觉的嵌入式心率测量方法，其特征在于：包括以下步骤：

步骤9：计数波峰的个数，得到相应的心率值：

心率值＝波峰个数*2。

2.根据权利要求1所述的基于视觉的嵌入式心率测量方法，其特征在于：所述步骤2中采用用于HRV方面的去趋势方法进行去噪，参数λ＝2000。

3.根据权利要求1所述的基于视觉的嵌入式心率测量方法，其特征在于：所述步骤1中还包括对采集到的视频帧进行判断，视频帧捕捉失败，则对该次错误进行计数，并立即重新采集视频帧，当错误计数达到指定值时，则判定本次采集无效并重启摄像头；如果正常，则显示屏上指定位置绘制视频帧，然后判断用户是否按下开始，如果没有，则继续上述过程；否则，进入视频帧的前期处理，按如下公式(3)将视频帧转换到RGB三基色空间。

R＝1.164*(Y-16)+1.156*(V-128)

G＝1.164*(Y-16)-0.380*(U-128)+0.813*(V-128) (3)

B＝1.164*(Y-16)+2.018*(U-128)

4.基于视觉的嵌入式心率测量系统，其特征在于：包括基于单进程多线程的嵌入式处理器，所述嵌入式处理器包括负责视频帧采集及数据更新的主线程和对信号进行核心算法运算得到心率值的子线程，所述核心算法基于权利要求1至3任意一项所述的基于视觉的嵌入式心率测量方法。

5.根据权利要求4所述的基于视觉的嵌入式心率测量系统，其特征在于：主线程向子线程提供数据是通过从主线程中数组A向子线程中数组B拷贝完成，所述数组A引入队头head、队尾tail两个标志，将新数据放置在队尾，并将队尾更新tail＝(tail+1)％300；根据head、tail值，从数组A的队头开始直至队尾，将数组A数据按序拷贝给子线程中数组B，并更新head值。