CN112232256A - 一种无接触式运动及体测数据采集系统 - Google Patents

Abstract

本发明提出了一种无接触式运动及体测数据采集系统，旨在解决现有技术中无接触式的心率、呼吸率测量方法准确度不高、使用场景有限的技术问题。系统包括：人脸智能步道装置和心率柱装置，所述心率柱装置通过分析语音数据中的频谱谱峰计算待测试者心率数据，通过多元线性回归方法处理面部图像数据计算待测试者心率数据，通过选择性集成聚合方法处理肺部图像数据计算待测试者呼吸率数据。本发明能够高效、稳定的通过无接触的方式采集人员的运动数据和体侧数据，准确率高，具有良好的应用前景。

Description

一种无接触式运动及体测数据采集系统

技术领域

本发明涉及一种无接触式运动及体测数据采集系统，属于无接触式的心率测量、呼吸率测量技术领域。

背景技术

随着计算机技术普及，大多数人们的生活和工作习惯发生了改变，亚健康人群越来越多，相应的心脏病患者也越来越多，在不适当的运动中猝死的人数也有所增加，心脏的异常会直接影响到人体的各个部位，为了保护人身安全，研究人员需要开发出更高效可靠的运动数据监测方法。

在运动数据中，最关键的两个数据是心率和呼吸率。从医学的角度来看，心率的测量方法多种多样，从调查自主状态的中枢调节，到研究心理过程和生理功能之间的基本联系，再到评估认知发展和临床风险等等。传统上，心电图(ECG)是评估人体心脏状况的一种常见的、重要的非侵入性诊断工具，通过检测动脉搏动来测量心率，每个搏动由一系列波组成：P波、QRS波群、T波，偶尔还有U波。此外，人们还提出了许多利用支持向量机、自组织映射等方法对心电信号进行分析的算法，心电特征提取方法大多是以心电信号为基础的，均是记录人体皮肤表面生物电位信号变化的非侵入性接触方法，不过这类非接触心率测量方法的准确度都不算太高。

除了上述技术以外，经研究还发现，人体心率与声带参数的变化是动态相关的，心脏活动与人类语音的声学特性直接相关，因此，可以通过语音的分析检测来获取人体心率变化。此外，血管中的血容量随着心脏每一次心跳的增加和减少，使人们能够测量由于可见光光谱中不同的血红蛋白吸收率差异而引起的反射强度的周期性变化，从而评估连续的心率变化。但是目前针对这两种特性的心率测量方法还比较少，而且使用效果并不理想。

呼吸运动是一种基本的生理活动，它与生物体内的一些肌肉，神经和化学过程有关。由于诸如慢性阻塞性肺疾病，哮喘，肺结核，睡眠呼吸暂停和呼吸道感染等呼吸系统疾病致死人数约占全世界人类死亡的18％，因此评估多种呼吸系统参数对于诊断和监测至关重要。一些重要的呼吸参数(如呼吸频率(RR)，呼吸模式(RP))通常只会在临床和主要医疗机构中进行测量，且其测量需要用到专用工具，目前还没有比较便捷的无接触式呼吸率测量方法或装置。

发明内容

针对现有技术中无接触式的心率、呼吸率测量方法准确度都不太高、使用场景有限的问题，本发明一种无接触式运动及体测数据采集系统，将心率、呼吸率计算方法整合到步道技术中，让在步道上运动的人能实时监测自己的心率、呼吸率情况，提高运动安全性，本发明采用无接触采集技术，使用更方便，相比于现有技术，准确度也更高。

为解决上述技术问题，本发明采用了如下技术手段：

本发明提供了一种无接触式运动及体测数据采集系统，包括：

人脸智能步道装置，用于采集并分析人脸数据，一方面根据预设光强，控制步道摄像补光灯，另一方面根据本地人脸库识别出人员身份，并将人员身份信息上传至服务端；

心率柱装置，用于采集待测试者的语音、图像或视频数据，计算待测试者的心率数据和呼吸率数据，进行SOS转拨，与SOS服务关联配置。

进一步的，所述心率柱装置通过分析语音数据中的频谱谱峰计算待测试者心率数据，通过多元线性回归方法处理面部图像数据计算待测试者心率数据，通过选择性集成聚合方法处理肺部图像数据计算待测试者呼吸率数据。

进一步的，所述通过分析语音数据中的频谱谱峰计算待测试者心率数据的方法包括以下步骤：

S1、对采集到的语音信号进行短时傅里叶变换，得到短时傅立叶变换谱图；

S2、从原始语音信号的顶部到底部对短时傅立叶变换谱图进行水平扫描，获得一维信号；

S3、对一维信号进行滤波和离散傅立叶变换处理，获得心率数据。

进一步的，所述步骤S1中的短时傅里叶变换的具体公式如下：

其中，

表示短时傅里叶变换频谱，x(m)表示人类语音信号，w(n)表示有限大小的FIR滤波器，x(m)w(n-m)表示加窗信号，m是语音信号时间维度，m＝1…M，M为语音信号总时长，n是滤波器宽度大小，n＝1…N，N为滤波器最大宽度。

进一步的，步骤S3的具体操作如下：

S31、通过5阶FIR低通滤波器处理一维信号，获得滤波后的一维信号x(a)，a＝0…A，A为滤波后的一维信号x(a)的长度；

S32、对滤波后的每个一维信号进行离散傅里叶变换，具体公式如下：

其中，X(k)为经离散傅里叶变换后的向量，k＝0…A/2，A为滤波后的一维信号x(a)的长度；

S33、利用短时傅里叶变换频谱的阶数统计滤波器从多个向量中提取心率数据，阶数统计滤波器的具体公式如下：

R＝k→max{X_k|k＝1,2,…,A/2} (3)

其中，R表示心率数据，→为求取索引运算符。

进一步的，所述通过多元线性回归方法处理面部图像数据计算待测试者心率数据的方法包括以下步骤：

S1、通过RGB摄像头拍摄人体面部图像，生成图像信号；

S2、基于集成经验模态分解方法处理图像信号，获得IMF分量；

S3、利用泊松分布的最大似然估计计算每个IMF分量的期望值；

S4、根据多元回归模型和期望值计算心率估计值。

进一步的，所述步骤S2的具体操作如下：

S21、将白噪声w(t)添加到图像信号中，获得待处理信号x(t)；

S22、识别x(t)中的所有局部极值，通过2条三次样条线分别连接所有局部极大值和所有局部极小值，获得上下包络；

S23、从x(t)中任选一个信号点，定义该信号点的原始数据与上下包络均值之差为：

h_b＝x(t)-m_b (4)

其中，h_b表示信号点b的原始数据与上下包络均值之差，m_b为信号点b处的上下包络均值，b＝1,2,…,B，B为待处理信号x(t)的信号点总数；

S24、基于h_b进行迭代筛选，并在每次筛选后，计算该次筛选对应的标准偏差，筛选公式如下：

h_bc＝h_b(c-1)-m_bc (5)

其中，h_bc为h_b经过c次筛选后的数据，h_b(c-1)为h_b经过c-1次筛选后的数据，m_bc为经过c次筛选后信号点b处的上下包络均值，c为正整数，

标准偏差公式如下：

其中，SD_c表示第c次筛选对应的标准偏差，h_b(c-1)(t_o)表示t_o时刻h_b经过c-1次筛选后的数据，h_bc(t_o)表示t_o时刻h_b经过c次筛选后的数据，t_o∈[0,T]，T为预先指定的时间段；

S25、当SD_c小于预定值时，停止数据筛选，获得第b个IMF分量H_b＝h_bc；

S26、重复步骤S23～S25，直到处理完所有信号点，获得B个IMF分量。

进一步的，心率估计值的计算公式如下：

H_γ＝γ₀+γ₁η₁+γ₂η₂+…γ_bη_b+…+γ_Bη_B+ε (7)

其中，H_γ表示心率估计值，γ₀为权值因子，γ_b为第b个IMF分量对应的权值因子，η_b＝t_b/λ_b，t_b表示第b个IMF分量的停止点，λ_b表示第b个IMF分量的期望值，ε表示随机高斯白噪声项。

进一步的，所述通过选择性集成聚合方法处理肺部图像数据计算待测试者呼吸率数据的方法包括如下步骤：

S1、利用摄像头获取人体肺部视频；

S2、将肺部视频中的每个像素建模为LTI通道的响应，获得LTI通道模型；

S3、根据LTI通道模型获取选择成员集合X⁺，并在X⁺上计算集合平均值以获得生成信号的估计；

S4、根据生成信号的估计和代理信号估计呼吸率，并进行相位补偿，其中，所述代理信号如下：

其中，q(s)表示肺部视频的第s帧像素强度向量和第一帧像素强度向量之间夹角的余弦，z(s)表示肺部视频的第s帧中所有像素平铺后获得的一个列向量。

进一步的，所述步骤S1的具体操作如下：

S11、通过摄像头获取肺部视频，肺部视频中共有T帧肺部图像，每一帧图像有包含P×Q个像素；

S12、建立LTI通道模型，具体公式如下：

其中，x_p(s)表示第s帧第p个像素点处的强度，h_p(s)表示第s帧第p个像素点对应的LTI通道的传递函数，g(s)表示生成信号，即空气流入和流出呼吸系统引起的肺部区域的周期性物理运动，

表示卷积运算符，n_p(s)表示第s帧第p个像素点对应的LTI通道的噪声，p＝1,…,PQ，s＝1,…,S。

采用以上技术手段后可以获得以下优势：

本发明提出了一种无接触式运动及体测数据采集系统，本发明系统主要运用在智能步道上，通过设置在步道上的人脸采集点识别运动人员的身份信息，并计算其运动速度、运动轨迹、能耗等，帮助运动人员了解自身运动情况，协助指导运动人员科学运动。通过心率柱装置计算运动人员的心率、呼吸率，帮助运动人员实时观察个人体侧数据，可以有效提高运动安全性。

本发明根据语音数据的频谱谱峰来计算待测试者心率数据，实现了无接触式的心率测量，操作简单快捷，测量结果准确性较高。本发明还通过多元线性回归方法处理面部图像数据计算待测试者心率数据，同样可以实现无接触式心率测量，相比于现有技术，测量结果的准确性更高，运用效果更好。本发明可以结合语音数据和面部数据共同计算心率，进一步提高心率计算准确性。

本发明还通过选择性集成聚合方法处理肺部图像数据计算待测试者呼吸率数据，实现了无接触式的呼吸率测量，相比于现有技术，本发明系统不受环境、工具限制，运用场景更广泛，且测量结果准确。

本发明能够高效、稳定的通过无接触的方式采集人员的运动数据和体侧数据，具有良好的应用前景。

附图说明

图1为本发明一种无接触式运动及体测数据采集系统的结构示意图。

图2为本发明中通过分析语音数据中的频谱谱峰计算待测试者心率数据的方法的步骤流程图。

图3为本发明实施例中不包含噪声的理想语音信号的频谱图。

图4为本发明中通过多元线性回归方法处理面部图像数据计算待测试者心率数据的方法的步骤流程图。

图5为本发明中通过多元线性回归方法处理面部图像数据计算待测试者心率数据的方法的的流程框图。

图6为本发明中通过选择性集成聚合方法处理肺部图像数据计算待测试者呼吸率数据的方法的步骤流程图。

图7为本发明实施例中LTI通道模型系统的结构示意图。

图中，1是人脸智能步道装置，101是人脸采集点，102是前端人脸分析主控模块，103是步道大屏模块，104是云端服务模块，2是心率柱装置，201是前端采集交互模块，202是云端计算模块，203是SOS服务模块。

具体实施方式

下面结合附图对本发明的技术方案作进一步说明：

如图1所示，本发明提出了一种无接触式运动及体测数据采集系统，包括人脸智能步道装置1和心率柱装置2，人脸智能步道装置主要用于采集并分析人脸数据，一方面根据预设光强，控制步道摄像补光灯，另一方面根据本地人脸库识别出人员身份，并将人员身份信息上传至服务端；心率柱装置主要用于采集待测试者的语音、图像或视频数据，计算待测试者的心率数据和呼吸率数据，进行SOS转拨，与SOS服务关联配置。

人脸智能步道装置包括设置在步道上的多个人脸采集点101、前端人脸分析主控模块102、步道大屏模块103和云端服务模块104。人脸智能步道装置利用人脸采集点实时采集在步道上运动的人脸数据，每个人脸采集点包括2个摄像机，摄像机全天24小时工作，获取客流视频。

前端人脸分析主控模块能够分析客流视频，提炼视频中运动人脸，通过人脸识别算法，将提取人脸与本地人脸库对比，识别人员身份，如果比对不成功，将该人脸信息自动注册生成临时账号，将识别后的人员身份、人员到达的采集点、人员在采集画面中的位置、时间等上传到云端服务模块，如果某条人员身份记录上传失败，前端人脸分析主控模块会临时保存该记录，等待服务恢复正常后补传，本发明中前端人脸分析主控模块可以留存10000条最新记录，超过次数后会按顺序删除时间靠前的记录。前端人脸分析主控模块由供电开机后TCP连接云端服务模块，其工作时间通常由云端服务模块下发，若云端服务模块无下发，前端人脸分析主控模块根据内嵌默认工作时间段工作。

此外，前端人脸分析主控模块的本地人脸库数据也会与云端服务模块同步。云端服务模块主动推送新注册用户至本地人脸库，若有推送异常，后端服务记录异常数据，待连接正常后再次推送；前端人脸分析主控模块可选择定期或者空闲时段同步周期内的本地人脸库(上一同步成功时间点至当前时间内新更新用户，包括新注册和人脸照片更新)，可设置成询问服务端是否有更新，有则更新，无则不更新。

云端服务模块具有人脸注册服务、人脸同步服务、运动数据接收服务、运动数据查询服务等功能。用户可以利用App或者小程序注册、修改人脸数据，云端服务模块将人脸数据实例化至本地人脸库，并将人脸照片推送至步道大屏模块。用户注册时，手机端可以依据注册人员所在位置距离100米以内步道判定人员归属步道。云端服务模块根据前端人脸分析主控模块上传的记录描绘运动者的运动轨迹，计算运动速度、里程、能耗等信息，协助相关平台指导用户科学运动。本发明系统的用户可以通过登录云端服务模块查询个人运动数据。

步道大屏模块可以提供运动人员注册、运动数据显示、运动排名统公园数据计分析、吃动平衡分析以及播放宣传视频等功能。步道大屏模块接收并展示云端服务模块的数据，展示数据包括用户ID、运动时长、运动速度、运动时间等，步道大屏模块还能实时调取数据并在屏幕上显示公园内历史人流量、男女比例、年龄层次等数据。

心率柱装置通过前端带有麦克风的摄像头采集待测试者的语音、面部图像和肺部图像数据，并反馈给云端，云端通过计算得出待测试者的心率和呼吸率，然后返回到前端显示。心率柱装置包括三个模块：前端采集交互模块201、云端计算模块202和SOS服务模块203。

前端采集交互模块通过带有麦克风和喇叭的摄像头采集待测试者的语音、图像、视频数据并上传到云端计算模块，具体的是人体面部图像和肺部视频。前端采集交互模块具有交互屏幕，交互屏幕上设置有“开始”和“SOS”按键，交互屏幕可以托传“开始”和“SOS”键的按键信号至云端计算模块，从云端计算模块获取心率和呼吸率数据，利用喇叭进行播报。当按下“开始”按键之后，交互屏幕显示以下文字“开始测试，请注视前方摄像头”，同时摄像头内置的喇叭朗读出该段文字，该摄像头检测到人脸之后开始对人脸进行定位，识别出眉毛周围的区域，并开启麦克风，交互屏幕上显示出需要待测试者朗读的包含元音的词组，如email等，并提示测试者开始朗读。摄像头开始录制待测试者的图像、视频和语音数据。前端采集交互模块将采集到的数据通过有线网络或者5G无线网络上传到云端计算模块。

SOS服务模块需要通过账号密码登录，其与云端计算模块保持TCP连接，可以接受云端呼叫指令。用户点接听后，则控制前端的摄像头进行视频通话，视频通话结束后需要将通话结束状态传送至云端，此时云端计算模块具备接听心率柱的开始测试功能。

云端计算模块负责根据采集的语音、人脸、肺部数据计算待测试者的心率和呼吸率数据，具体的，通过分析语音数据中的频谱谱峰计算待测试者心率数据，通过多元线性回归方法处理面部图像数据计算待测试者心率数据，通过选择性集成聚合方法处理肺部图像数据计算待测试者呼吸率数据。云端计算模块还可以进行SOS转拨，与SOS服务关联配置，当云端计算模块接收到SOS信号后，寻找该心率柱所在步道的SOS服务，并对服务呼叫，服务接听后，云端将该心率柱摄像头的所有控制权授权给SOS服务，直至SOS服务挂断后，重新持有摄像头的所有控制权。

人类语音信号包含语言、表达功能并且可以传达有机和生物信息。“语音产生的源过滤器理论”认为输出语音是声源(例如喉部)经由上咽喉声道形状确定的传递函数(滤波器)调制后的输出，其谱图上具有宽带能量峰。上咽喉声道由口腔和鼻腔两部分组成，是一个时变的声学过滤器，可以抑制某些频率的声能通过，而允许其在其他频率通过。共振峰是由上咽喉声道维持局部能量峰所对应的频率，其由声道的整体形状、长度和体积决定。本发明方法考虑到喉部的肌肉被许多与人体循环系统相连的血管覆盖，因此得出结论：人体心率与声带参数的变化是动态相关的，因此心率与人类语音的声学特性直接相关，因此通过获得元音语音信号的频率特性和同一人的原始ECG数据可以来检测与人体心脏活动相关的语音属性的变化。

本发明还提出了一种基于语音信号的无接触式心率计算方法，即通过分析语音数据中的频谱谱峰计算待测试者心率数据的方法，该方法可以用在本发明系统的云端计算模块中，如图2所示，具体包括以下步骤：

S1、对采集到的语音信号进行短时傅里叶变换(STFT)，得到短时傅立叶变换谱图，本发明的语音信号主要是元音语音信号，具体公式如下：

其中，

表示短时傅里叶变换频谱，x(m)表示人类语音信号，w(n)表示有限大小的FIR滤波器，x(m)w(n-m)表示加窗信号，m是语音信号时间维度，m＝1…M，M为语音信号总时长，n是滤波器宽度大小，n＝1…N，N为滤波器最大宽度，w_i为频域第i阶谐波分量。

如果w(n)的大小相对于语音信号周期较大，则

具有良好的频率分辨率；反之，

频率分辨率较差。为了从元音语音信号中提取心率，w(n)的大小应该小于同一患者的ECG信号的RR间隔(即ECG信号的两个连续R波之间的时间间隔)。

S2、从语音信号的顶部到底部对短时傅立叶变换谱图进行水平扫描，获得一维信号。

在理想情况下，无噪声的语音信号的短时傅立叶变换谱图包含共振峰，但实际上，心脏活动会导致本发明采集到的语音信号的所有共振峰失真，失真持续时间大约等于0.2秒，幅度为100Hz。图3为不包含噪声的理想语音信号的频谱图，为了从本发明的短时傅立叶变换谱图中提取相关的心率信息，本发明提出了一种从原始语音信号的顶部(奈奎斯特频率)到底部(DC)水平扫描短时傅立叶变换谱图的搜索算法，该算法每次水平扫描语音信号的谱图时，都获得一个一维(1-D)信号。如图3所示，水平扫描有两种可能的情况：

1)当扫描线穿过共振峰边界之外的部分谱图时，它只包含背景信息，不能提取有用的一维信号，如图3中的扫描线a；

2)当扫描线通过共振峰的任何部分时，它能够提取有用的一维信号，如图3中扫描线b，c。

S3、对一维信号进行滤波和离散傅立叶变换处理，获得心率数据，具体操作如下：

S31、通过5阶FIR低通滤波器处理一维信号，为每个提取的一维信号(有用的一维信号)抑制高频分量，获得滤波后的一维信号x(a)，a＝0…A，A为滤波后的一维信号x(a)的长度。

S32、对滤波后的每个一维信号进行离散傅里叶变换(DFT)，具体公式如下：

其中，X(k)为经离散傅里叶变换后的向量，k为单边频谱的谐波数，k＝0…A/2。

S33、利用短时傅里叶变换频谱的阶数统计滤波器从多个向量中提取心率数据。变换之后四次谐波的幅度是最大的，根据傅立叶变换特性，一段6秒语音信号的四次谐波对应于0.67Hz频率和40bmp的心率，这恰好是语音发出者的心率，因此可以使用多个幅度最大的谐波来提取心率。

阶数统计滤波器的具体公式如下：

R＝k→max{X_k|k＝1,2,…,A/2} (12)

其中，R表示心率数据，→为求取索引运算符。

对L个经由长度为N的汉明窗作用后的语音信号x(m)进行STFT，可以得到L/2个系数，这些系数对应频率范围从0频(DC)到f_s/2的二维频谱的“y”轴，其中，f_s为原始语音信号的采样率。另外，对二维频谱的“x”轴上进行DFT，产生t_s/2L个对应着从0频(DC)到f_s/2L的频率范围谐波，其中，t_s表示x(m)的持续时间。本发明使用两个关系来计算心率：t_r/2L:f_s/2L和x_p:f_hr，其中，t_r为输入语音信号的记录周期，x_p表示二维频谱中候选心率频率的位置，f_hr是估计心率，运算符“：”表示某种关系。求解上述关于f_hr的关系，便可以计算出心率，心率＝60(x_p/t_s)。

一般来说，心率范围在40到200bpm之间，人类元音语音的共振峰从1到6KHz不等，因此，本发明搜索区域是：二维频谱“x”轴上从40到200bpm的范围和“y”轴上从1到6KHz的范围。通常心率以bmp为单位，而以谐波频率以HZ为单位，两者可通过bmp＝60/f_hr关系转化。

为了验证本发明基于语音信号的无接触式心率计算方法的准确度，本发明实施例中选择了来自不同年龄的21名志愿者，按照要求朗读包含元音的词组，每人朗读的时间均超过6s，志愿者在朗读的同时通过接触式脉搏血氧仪测量他们的心率，同时使用本发明方法处理语音数据，计算心率，具体结果如表1所示：

表1

通过表1可以看出，本发明方法的平均计算错误率为4.92％，小于5％，最高测量准确率为97.82％。

本发明还提出了一种基于人脸识别的无接触式心率计算方法，即通过多元线性回归方法处理面部图像数据计算待测试者心率数据的方法，该方法可以用在本发明系统的云端计算模块中，如图4、5所示，具体包括以下步骤：

S1、通过RGB摄像头拍摄人体面部图像，生成图像信号。通过RGB摄像头获取的面部图像中包括来自环境光源的照明和来自捕获目标的反射，为了提供稳定的可靠的心率监测，首先应该对面部反射进行分解。

为采集到的人体面部图像建立x-y坐标系，则人体面部图像可以表示为：

I(x,y)＝R(x,y)L(x,y) (13)

其中，I(x,y)表示人体面部图像，R(x,y)表示对象的反射信号，L(x,y)表示照明信号。

由于人类在阴影和明亮区域中都能感知到反射细节，但他们也能意识到阴影的存在，所以在物理意义上R(x,y)和L(x,y)可能不是完全分离的。根据韦伯定理，微小变化的敏感度阈值与信号电平成比例增加，该定律源于亮度感知实验，其中观察者暴露在强度为I的均匀场中，其中刺激的亮度增加一个量ΔI，观察者从其中观察到相对于背景存在的量被称为亮度辨别阈值。韦伯定律为从输入刺激到感知的对数映射提供了理论依据。然而用这种方法估计R(x,y)和L(x,y)并不合适，需要加入约束。人体面部图像中的每个像素的权值ω与局部外观变化的绝对值和实际平均外观的比率关系为：

其中，

和

分别是人体面部图像中x和y方向的边缘滤波器，J为平均滤波器，复数j用于分隔开x坐标梯度和y坐标梯度。接下来使用乘法器的交替方向法(ADMM)优化目标函数。

S2、基于集成经验模态分解方法处理图像信号，获得IMF分量。

Hilbert-Huang变换(HHT)是一种将信号分解为固有模态函数(IMF)并获取瞬时频率数据的方法。对于非线性非平稳数据，例如连续帧的反射信号，使用经验模式分解(EMD)或集成经验模态分解(EEMD)方法从IMF中提取特征比FFT更合适。使用EMD，可以将任何复杂的数据集分解为有限且少量的组成成分，这是IMF的集合。EMD没有指定的“基础”，它的“基础”是根据信号本身自适应生成的，不仅具有很高的分解效率，而且具有很强的频率和时间局部性。

IMF代表一种简单的振荡模式，与简单的谐波函数相对应，但是它更为笼统：除了在简单的谐波分量中具有恒定的幅度和频率之外，IMF在时间上有可变的幅度和频率。IMF被定义为满足以下要求的函数：1、在整个数据集中，极值的数目和过零率的数目必须相等或最多相差一个；2、在任何时候，由局部最大值定义的包络和由局部最小值定义的包络的平均值为零。

步骤S2的具体操作如下：

S21、将白噪声w(t)添加到图像信号中，白噪声w(t)为反射率信号的方差，该方差是零均值正态分布，获得待处理信号x(t)。

S22、识别x(t)中的所有局部极值，通过2条三次样条线分别连接所有局部极大值和所有局部极小值，获得上下包络，上下包络一起覆盖所有数据。

S23、从x(t)中任选一个信号点，定义该信号点的原始数据与上下包络均值之差为：

h_b＝x(t)-m_b (15)

其中，h_b表示信号点b的原始数据与上下包络均值之差，m_b为信号点b处的上下包络均值，b＝1,2,…,B，B为待处理信号x(t)的信号点总数。

分解后的h_b可以是一个IMF，但是，本发明的原始数据通常包含很大的变化，因此仅靠单次迭代不足以形成基本的IMF。在此过程中，可能会产生或移动新的极值，因为上下包络是通过三次样条线连接所有局部极值而形成的，另外，非线性数据还存在一些问题，例如，平均包络可能与实际的局部平均包络不同，这将导致非对称信号，与筛选过程的迭代次数无关。尽管存在这些问题，但仍可以从筛选过程中提取关键成分。

本发明方法将h_b视为数据，进行后续迭代筛选。

S24、基于h_b进行迭代筛选，并在每次筛选后，计算该次筛选对应的标准偏差，筛选公式如下：

h_bc＝h_b(c-1)-m_bc (16)

其中，h_bc为h_b经过c次筛选后的数据，h_b(c-1)为h_b经过c-1次筛选后的数据，m_bc为经过c次筛选后信号点b处的上下包络均值，c为正整数。从公式(16)可以看出，每次筛选的结果都与上次筛选结果有关。

标准偏差公式如下：

其中，SD_c表示第c次筛选对应的标准偏差，h_b(c-1)(t_o)表示t_o时刻h_b经过c-1次筛选后的数据，h_bc(t_o)表示t_o时刻h_b经过c次筛选后的数据，t_o∈[0,T]，T为预先指定的时间段。

S25、如果对信号过度筛选将导致分解后的IMF具有固定的幅度，为了使IMF符合HHT属性(即振幅和频率的变化具有其物理意义)，需要为筛选过程定义停止迭代标准：当SD_c小于预定值时，停止数据筛选，获得第b个IMF分量H_b＝h_bc。H_b应该包含信号的最佳比例或最短周期。

S26、重复步骤S23～S25，直到处理完所有信号点，获得B个IMF分量。

在每次获得IMF分量后都可以将获取的IMF分量与其余数据分开，r_b＝r_b-1-H_b，当残差r_b数据中仍然包含较长的周期变化时，可以将r_b视为新数据并经历上述相同的筛选过程，当残差成为单调函数时，无法从中提取其他IMF，筛选过程最终停止。由上述过程可知：

通过上述筛选过程，实现了将数据分解为B个经验模态。尽管EEMD可以解决混合模态问题，但由于EEMD过程包括对IMF求和和平均，因此分解后的分量可能不是真正的IMF，为了解决这个问题，将EMD作为EEMD的后续处理步骤。

S3、利用泊松分布的最大似然估计计算每个IMF分量的期望值。

为了检测IMF每个周期的峰值，需要计算局部最大值的位置，与帧号相对应的峰和峰的位置分别表示为Φ_v和Φ_vf。G代表具有泊松分布特性的时间间隔T中检测到多少个峰值。为了在每个IMF中获得更精确的峰周期以与下一步的多元回归模型结合，必须修正每个IMF中的峰周期。

假设单次观测到的泊松分布的概率密度函数为：

G_b～P₀(λ_b) E[G_b]＝λ_b (19)

其中，G_b表示来自IMF的H_b分量，λ_b为一个周期内的参数，P₀为概率密度函数表示符。

G_b＝{g₁,…,g_u,…,g_d}，其联合概率密度函数是各个pdf的乘积：

其中，P(g|λ)表示联合概率密度，λ为泊松分布的参数。

利用最大似然估计通过先取似然对数然后关于λ求导，可得：

总帧数F_v可通过下式计算：

F_v＝v×λ_v (22)

其中，v为峰值数的索引，v的大小不得超过所采集到的信号的最大帧数目，λ_v是从Φ_1f到Φ_vf的期望，Φ_1f表示第1帧对应的周期峰值的位置，Φ_vf表示第v帧对应的周期峰值的位置。

在已知IMF的每个分量的每个峰-峰周期的情况下，构建集合{S₁,S₂,…,S_u,…,S_d}，可以从该集合构造直方图，然后连续地检查峰峰周期时间，并检验参数分布，以搜索停止点t_v。采用停止点的主要原因是想用较少帧的数据来求出相对稳定的峰值周期。

通过Shapiro-Wilk零假设原理检查集合{S₁,S₂,…,S_u,…,S_d}是否来自同一正态分布，进而确定停止点的位置。统计检测的方法如下：

其中，W为统计检验参数，s_u是统计样本的第u阶统计量，

是样本平均值，常数a_u的计算公式如下：

其中，z＝{z₁,…,z_u,…,z_n}，是从标准正态分布抽样的随机变量的顺序统计量的期望，V是这些顺序统计量的协方差矩阵。

当通过上述条件确认本发明IMF分量的所有停止点t_b后，可以利用泊松分布的最大似然估计找到每个IMF分量H_b对应的期望λ_b。

S4、根据多元回归模型和期望值计算心率估计值，心率估计值的计算公式如下：

H_γ＝γ₀+γ₁η₁+γ₂η₂+…γ_bη_b+…+γ_Bη_B+ε (25)

其中，H_γ表示心率估计值，γ₀为权值因子，γ_b为第b个IMF分量对应的权值因子，η_b＝t_b/λ_b，t_b表示第b个IMF分量的停止点，λ_b表示第b个IMF分量的期望值，ε表示随机高斯白噪声项。

本发明利用多元回归模型计算可用因子，并通过假设检验(H₀:γ_b＝0,H₁:γ_b≠0)验证所选因子的可靠性，依次确定适合评价心率因子。本发明使用t检验方法

根据线性回归模型的自由度来计算因子的p值。在统计显着性检验中，p值小于预定的显着性水平(0.05)时拒绝假设，即当因子值接近0(H₀:γ_b＝0)的概率小于5％时，充分表面在多元回归模型中存在该因子的参数，从而拒绝了原假设。

通过验证因子的合理性，优化公式(25)，得到最佳模型：

H_r＝γ₀+γ₃η₃+γ₄η₄ (26)

为了验证本发明基于人脸识别的无接触式心率计算方法的效果，将本发明方法与现有技术中最优的无接触式心率测量方法比较，结果如表2所示：

表2

评价指标	ICA	IMF4	本发明所提出的方法
				SDE	7.033	4.170	2.912
Acc-t	43.3％	79.1％	91.4％
				Acc-r	48.4％	76.6％	89.6％

其中，ICA表示Poh提出的使用视频成像和盲源分离的无接触式自动心脏脉搏测量，IMF4表示Chen提出的基于图像传感器的基于Hilbert–Huang变换的人脸反射心率估计方法，SDE为标准差错误率，Acc-t和Acc-r分别为理论计算准确率和实际测量准确率。从表2可以看出本发明方法的错误率更小，准确度更高。

本发明还提出了一种无接触式呼吸率呼吸模式测量方法，该方法可以用在本发明系统的云端计算模块中，如图6所示，具体包括如下步骤：

S1、利用摄像头获取人体肺部视频。

S2、将肺部视频中的每个像素建模为LTI通道的响应，获得LTI通道模型；具体操作如下：

S11、设肺部视频中共有S帧肺部图像，每一帧图像有包含P×Q个像素。

S12、将肺部图像中的每个像素都建模为具有未知动态的、最小相位LTI通道的响应，假设每个LTI通道均含有未知分布的加性噪声。因为噪声的频谱特征是特定于场景的，所以本发明没有对其分布作出假设。

建立LTI通道模型，具体公式如下：

其中，x_p(s)表示第s帧第p个像素点处的强度，h_p(s)表示第s帧第p个像素点对应的LTI通道的传递函数，g(s)表示生成信号，即空气流入和流出呼吸系统引起的肺部区域的周期性物理运动，

表示卷积运算符，n_p(s)表示第s帧第p个像素点对应的LTI通道的噪声，其均值为0，p＝1,…,PQ，s＝1,…,S。

设|H_p(w)|和∠H_p(w)分别表示第p个LTI信道的幅值和相位响应，∠H_p(w)是从满足[-π,π]范围的均匀分布中抽样得到的。将|H_p(w)|建模为变量w的随机过程，在每个频率w处的采样|H_p(w)|产生由p索引的独立同分布随机变量。

S3、根据LTI通道模型获取选择成员集合X⁺，并在X⁺上计算集合平均值以获得生成信号的估计。

本发明通过LTI通道模型构建的模型系统是一个单输入多输出系统，即多个LTI通道的联合的输出由相同的呼吸信号驱动，如图7所示，在该模型系统下，可以抽象出一个数学问题：给定x₁(s),x₂(s),…,x_p(s),…,x_PQ(s)，并且h₁(s),h₂(s),…,h_p(s),…,h_PQ(s)未知，需要获得g(s)的估计

其等于g(s)乘以一个幅度缩放因子，即

其中ι是任意常数。此问题是难以求解的，因为没有关于系统传递函数h_p(s)的相关信息，然而，如果对g(s)的特性做出一定的假设，则

的估计是有可能的。

在本发明实施例中给出两种对g(s)的特性的假设：

1)假设激励为单频正弦信号

g(s)＝δsin(w₀s+θ) (28)

根据LTI系统理论，每个LTI通道的输出响应f_p(s)具有以下形式：

f_p(s)＝δF_psin(w₀s+φ_p+θ) (29)

其中，δ为0～1区间内抽取出的随机值，F_p＝|H_p(w₀)|、φ_p＝∠H_p(w₀)，它们对于每个LTI信道都是唯一且未知的。

根据公式(27)可知：

x_p(s)＝δF_psin(w₀s+φ_p+θ)+n_p(s) (30)

可通过如下引理证明

是存在的：

引理1：如果g(s)是单频正弦信号，则LTI输出响应的总体平均值属于集合X⁺，具体的：

其会渐进收敛到生成信号的l倍，即：

将公式(30)代入公式(32)可得：

设

为集合X⁺的基数，当

趋于无穷大时，根据大数定律，公式(33)中的求和运算变为求期望：

假设φ、F和噪声之间独立，则公式(34)可以被拆分为：

其中，E_F、E_φ和E_n分别表示集合X⁺中随机变量F、φ和噪声的期望。

由X⁺的定义可知：

由于噪声是满足零均值的分布，所以综合公式(35)和(36)后可得：

因此，当

时，

ι＝2δE_F[F_p]/π。

通过上述论证可知，当本发明模型系统的输入是单频信号时，属于集合X⁺的一组LTI的输出响应的总体平均会收敛到输入信号的一定倍数。虽然不能保证每个问题都存在这样一个集合，但可以从经验上论证，对于当前呼吸率计算问题，很可能存在这样一个集合。

通过蛮力法(根据其定义)来查找X⁺是不可行的，因为计算被噪声破坏的两个信号之间的相位差并不容易，这是由于每个LTI通道引入的相位滞后及其相关的噪声是未知的。因此，本发明提出了一种有效的方法，该方法不仅可以通过选择X⁺来估计g(s)，而且可以降低噪声的影响。

随机LTI通道对单频激励信号的响应会是一组随机缩放和相移的正弦波，它们具有两个自由度，即幅度缩放尺度和相移；这样的一组随机正弦曲线可以同构地映射到一个二维空间，在该二维空间中可以更好地表示任意幅度和相位滞后。本发明使用从标准二阶多项式派生的基础集来表示每个LTI通道的响应，令o(t)和y(t)代表希尔伯特空间(

)中的两个有限能量信号，且o(t)具有周期性并用w₀表示其主频，则o(t)和y(t)的内积如下：

将信号o(t)的范数定义为‖o(t)‖²＝<o(t),o(t)>，内积和范数的值与频率相关。

通过使用Gram Schmidt对标准多项式基Ω＝{1,t,t²}进行正交化，得出一组正交基Ψ{ψ₁(t,w₀),ψ₂(t,w₀),ψ₃(t,w₀)}，其中，Ψ的各分量如下定义：

ψ₃(t,w₀)＝1 (41)

设Q(t)表示基Ψ下，具体公式为：

其中α，β和σ是实数。

设信号s(t)＝sin(w₀t+φ+θ)，则信号s(t)在基Ψ下的最佳拟合的最优系数{α^*,β^*,σ^*}可通过下式计算：

{α^*,β^*,σ^*}＝argmin_{α,β,σ}‖Q(t)-s(t)‖² (43)

将误差函数表示为

通过同时求解

和

可得：

α^*＝<s(t),ψ₁(t,w₀)> (44)

β^*＝<s(t),ψ₂(t,w₀)> (45)

σ^*＝<s(t),ψ₃(t,w₀)> (46)

通过上式可以看出，σ^*是信号s(t)的平均值，如果所有信号都被强制为零均值，则σ^*为0，可以忽略。进一步的，设s_i(t)＝sin(w₀t+φ_i+θ)，{α^*,β^*}表示公式(43)中优化问题的解，通过求解可得：

2)假设激励为周期信号

当激励信号为一般的周期信号：

其中，μ是谐波阶次的序号，δ_μ是第μ次谐波的振幅，w_μ是频域上第μ次谐波。

为了简化分析，假设g(s)的傅里叶变换中共包含ζ个谐波分量，由公式(30)可得：

其中，F_p(w_μ)＝|H_p(w_μ)|，φ_p(w_μ)＝∠H_p(w_μ)。

当

且E_F[F_p(w_μ)]为常数时，

会收敛到g(s)；当输入为周期信号时，第p个LTI通道的输出响应f_p(s)为：

其中，φ_p满足[-π,π]区间的均匀分布，f_p(s)二次拟合系数的系综{α^*,β^*}在系数空间的可行解区域是一个椭圆盘。

综合上述2种假设可知，X⁺的选择有以下几个标准：1、为了使用求和来近似代替期望，在X⁺中需要有足够的通道；2、为了精确估计g(s)，E_F[F_p(w_μ)]需要为常数，因此，每种类型的LTI通道幅度响应在X⁺中应该具有相等的权重；3、X⁺中每个LTI通道引入的相位滞后必须在生成信号θ的相位的π/2以内。

在已知{α^*,β^*}在系数空间的可行解区域是一个椭圆盘的前提下，设{α_p,β_p}表示解空间椭圆上的一点，p∈{1,…,PQ}，该椭圆内的每一个点都对应着一个LTI通道。设

定义两个集合D_O和D_I来对应于解空间的某些区域：

其中，r_e表示排除半径，0<r_e≤1。

X⁺的选取范围为：

X⁺＝D_O-D_I (54)

S4、根据生成信号的估计和代理信号估计呼吸率，并进行相位补偿。

对于接收到的肺部视频信号，在给定持续时间内每个空间位置的像素强度的单个时间序列(称为像素时间序列，PTS)是LTI通道的响应，RP就是待估计的生成信号，其基频(w₀)即为待计算的呼吸率。二次基(χ)是基频的函数，因此求解每个PTS的最佳拟合系数需要基频的先验知识，但是w₀的初始选择并不影响RP的估计。此外，在本发明方法中，视频开始录制时待测试者的确切呼吸状态是未知的，这导致估计信号和真实的生成信号之间可能存在相位差。

为了解决相位差问题，本发明方法定义了一个代理信号，它可以估计w₀同时补偿相位差。代理信号是时间序列，其在给定时间的值取决于该时间点视频帧所有像素的强度和第一个视频帧所有像素的强度的逐元素点积的值，代理信号的表达式如下：

其中，q(s)表示肺部视频的第s帧像素强度向量和第一帧像素强度向量之间夹角的余弦，q(s)是周期性的，并且其基频即为生成信号的基频w₀，z(s)表示肺部视频的第s帧中所有像素平铺后获得的一个列向量。

本发明通过将代理信号的一个周期投影到解空间的椭圆上来校正相位差，求解出q(s)信号，进而确定集合X⁺之后，便可以对生成信号进行估计，得到呼吸模式和呼吸率。

本发明能够高效、稳定的通过无接触的方式采集人员的运动数据和体侧数据，具有良好的应用前景。将本发明运用在智能步道上，可以实时监测运动人员的运动数据(运动速度、运动轨迹、能耗等)和体侧数据(心率、呼吸率)，帮助运动人员合理运动，提高运动安全性。本发明方法提供了2种无接触式心率计算方法和1种无接触式呼吸率计算方法，在心率计算领域，本发明方法的操作简单快捷，计算结果比现有技术更准确可靠，在呼吸率计算领域，本发明通过对肺部视频的分析直接计算呼吸率数据，相比现有技术不受环境、工具限制，运用场景更广泛，且测量结果准确。

上面结合附图对本发明的实施方式作了详细地说明，但是本发明并不局限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下做出各种变化。

Claims (10)

1.一种无接触式运动及体测数据采集系统，其特征在于，包括：

人脸智能步道装置，用于采集并分析人脸数据，一方面根据预设光强，控制步道摄像补光灯，另一方面根据本地人脸库识别出人员身份，并将人员身份信息上传至服务端；

心率柱装置，用于采集待测试者的语音、图像或视频数据，计算待测试者的心率数据和呼吸率数据，进行SOS转拨，与SOS服务关联配置。

2.根据权利要求1所述的一种无接触式运动及体测数据采集系统，其特征在于，所述心率柱装置通过分析语音数据中的频谱谱峰计算待测试者心率数据，通过多元线性回归方法处理面部图像数据计算待测试者心率数据，通过选择性集成聚合方法处理肺部图像数据计算待测试者呼吸率数据。

3.根据权利要求2所述的一种无接触式运动及体测数据采集系统，其特征在于，所述通过分析语音数据中的频谱谱峰计算待测试者心率数据的方法包括以下步骤：

S1、对采集到的语音信号进行短时傅里叶变换，得到短时傅立叶变换谱图；

S2、从原始语音信号的顶部到底部对短时傅立叶变换谱图进行水平扫描，获得一维信号；

S3、对一维信号进行滤波和离散傅立叶变换处理，获得心率数据。

4.根据权利要求3所述的一种无接触式运动及体测数据采集系统，其特征在于，所述步骤S1中的短时傅里叶变换的具体公式如下：

其中，

表示短时傅里叶变换频谱，x(m)表示人类语音信号，w(n)表示有限大小的FIR滤波器，x(m)w(n-m)表示加窗信号，m是语音信号时间维度，m＝1...M，M为语音信号总时长，n是滤波器宽度大小，n＝1...N，N为滤波器最大宽度。

5.根据权利要求4所述的一种无接触式运动及体测数据采集系统，其特征在于，步骤S3的具体操作如下：

S31、通过5阶FIR低通滤波器处理一维信号，获得滤波后的一维信号x(a)，a＝0...A，A为滤波后的一维信号x(a)的长度；

S32、对滤波后的每个一维信号进行离散傅里叶变换，具体公式如下：

其中，X(k)为经离散傅里叶变换后的向量，k＝0...A/2，A为滤波后的一维信号x(a)的长度；

S33、利用短时傅里叶变换频谱的阶数统计滤波器从多个向量中提取心率数据，阶数统计滤波器的具体公式如下：

R＝k→max{X_k|k＝1，2，...，A/2}

其中，R表示心率数据，→为求取索引运算符。

6.根据权利要求2所述的一种无接触式运动及体测数据采集系统，其特征在于，所述通过多元线性回归方法处理面部图像数据计算待测试者心率数据的方法包括以下步骤：

S1、通过RGB摄像头拍摄人体面部图像，生成图像信号；

S2、基于集成经验模态分解方法处理图像信号，获得IMF分量；

S3、利用泊松分布的最大似然估计计算每个IMF分量的期望值；

S4、根据多元回归模型和期望值计算心率估计值。

7.根据权利要求6所述的一种无接触式运动及体测数据采集系统，其特征在于，所述步骤S2的具体操作如下：

S21、将白噪声w(t)添加到图像信号中，获得待处理信号x(t)；

S22、识别x(t)中的所有局部极值，通过2条三次样条线分别连接所有局部极大值和所有局部极小值，获得上下包络；

S23、从x(t)中任选一个信号点，定义该信号点的原始数据与上下包络均值之差为：

h_b＝x(t)-m_b

其中，h_b表示信号点b的原始数据与上下包络均值之差，m_b为信号点b处的上下包络均值，b＝1，2，...，B，B为待处理信号x(t)的信号点总数；

S24、基于h_b进行迭代筛选，并在每次筛选后，计算该次筛选对应的标准偏差，筛选公式如下：

h_bc＝h_b(c-1)-m_bc

其中，h_bc为h_b经过c次筛选后的数据，h_b(c-1)为h_b经过c-1次筛选后的数据，m_bc为经过c次筛选后信号点b处的上下包络均值，c为正整数，

标准偏差公式如下：

其中，SD_c表示第c次筛选对应的标准偏差，h_b(c-1)(t_o)表示t_o时刻h_b经过c-1次筛选后的数据，h_bc(t_o)表示t_o时刻h_b经过c次筛选后的数据，t_o∈[0，T]，T为预先指定的时间段；

S25、当SD_c小于预定值时，停止数据筛选，获得第b个IMF分量H_b＝h_bc；

S26、重复步骤S23～S25，直到处理完所有信号点，获得B个IMF分量。

8.根据权利要求7所述的一种无接触式运动及体测数据采集系统，其特征在于，心率估计值的计算公式如下：

H_γ＝γ₀+Y₁η₁+γ₂η₂+…Y_bη_b+…+γ_Bη_B+ε

其中，H_γ表示心率估计值，γ₀为权值因子，γ_b为第b个IMF分量对应的权值因子，η_b＝t_b/λ_b，t_b表示第b个IMF分量的停止点，λ_b表示第b个IMF分量的期望值，ε表示随机高斯白噪声项。

9.根据权利要求2所述的一种无接触式运动及体测数据采集系统，其特征在于，所述通过选择性集成聚合方法处理肺部图像数据计算待测试者呼吸率数据的方法包括如下步骤：

S1、利用摄像头获取人体肺部视频；

S2、将肺部视频中的每个像素建模为LTI通道的响应，获得LTI通道模型；

S3、根据LTI通道模型获取选择成员集合X⁺，并在X⁺上计算集合平均值以获得生成信号的估计；

S4、根据生成信号的估计和代理信号估计呼吸率，并进行相位补偿，其中，所述代理信号如下：

其中，q(s)表示肺部视频的第s帧像素强度向量和第一帧像素强度向量之间夹角的余弦，z(s)表示肺部视频的第s帧中所有像素平铺后获得的一个列向量。

10.根据权利要求9所述的一种无接触式运动及体测数据采集系统，其特征在于，所述步骤S1的具体操作如下：

S11、通过摄像头获取肺部视频，肺部视频中共有T帧肺部图像，每一帧图像有包含P×Q个像素；

S12、建立LTI通道模型，具体公式如下：

其中，x_p(s)表示第s帧第p个像素点处的强度，h_p(s)表示第s帧第p个像素点对应的LTI通道的传递函数，g(s)表示生成信号，即空气流入和流出呼吸系统引起的肺部区域的周期性物理运动，

表示卷积运算符，n_p(s)表示第s帧第p个像素点对应的LTI通道的噪声，p＝1，...，PQ，s＝1，...，S。

Images