CN108720825B - 一种基于多摄像头的非接触式生命体征参数的无缝检测方法 - Google Patents

Abstract

本发明为一种基于多摄像头的非接触式生命体征参数检测方法，其特征是利用P台摄像头设备同时采集人体上半身视频信号，选取P台摄像头中包含感兴趣区域像素个数最多的颜色通道数据，构成像素均值优选集合。之后采用总体平均经验模态分解法分解，通过设定生命体征参数范围，确定最佳本征模式分量。最后对所述最佳本征模式分量采用峰值检测算法获得生命体征参数检测结果。本发明提供了一种基于多摄像头的非接触式生命体征参数无缝检测方法，能够克服现有单个摄像头进行非接触式生命体征参数检测技术的不足，从而为临床疾病诊疗、日常健康监护实现非接触式的、连续的和准确的生命体征参数检测。

Description

一种基于多摄像头的非接触式生命体征参数的无缝检测方法

技术领域

本发明属于医学信息检测技术领域，尤其涉及一种基于多摄像头的非接触式生命体征参数的无缝检测方法。

背景技术

生命体征参数，例如心率、呼吸率等，是临床常规诊断的生理指标，对慢性疾病的诊断、治疗和监护等具有重要意义。

常规的生命体征参数检测设备一般需要与人体进行直接接触，由于准确率高，广泛应用于医学临床、急救和社区医疗等场合。但是，有些接触式的测量方式需要使用导电凝胶或者酒精擦拭，有些需要采用胸带进行捆绑，或使用吸附电极作用于人体，或使用弹簧夹夹在耳垂或手指等部位。这些电极接触方式长期作用时可能会引起皮肤刺激或者疼痛等不适。近些年来，非接触式生命体征检测方法引起了广泛的关注，它克服了传统接触式方法的不足，能够满足一些特殊情况的使用要求，例如，重症监护室、长期连续监测、家庭医疗、航天医疗等环境。其中，新近兴起的基于视频的非接触式生命体征参数检测技术，由于其设备要求较低，成本不高，并且能够做到随时随地舒适方便的监测，引起了国内外学术界的广泛关注。基于视频的非接触式生命体征参数检测技术实质上是通过摄像头获取连续人体视频图像信号，由于器官(心脏或肺部)的周期性收缩和舒张会引起体表血管容积/呼吸气体温度等发生周期性改变，引起反射光强度产生相应变化，这种变化能够反映生命体征参数的活动的规律，通过视频图像来捕捉这些细微的变化，经过人脸识别和盲源分离技术，可以得到生命体征参数，例如心率、呼吸率等。已有研究一般采用单个摄像头进行个体脸部视频采集，但是当个体在测试环境中运动时，可能导致单个摄像头检测不到人脸，从而无法实现基于摄像头的非接触式生命体征参数检测，导致生命体征参数检测的非连续性。

发明内容

本发明为克服现有单个摄像头进行非接触式生命体征参数检测技术的不足之处，提供了一种基于多摄像头的非接触式生命体征参数的无缝检测方法，以期实现生命体征参数的无缝检测，从而为临床疾病诊疗、日常健康监护实现非接触式的、连续的和准确的生命体征参数检测。

本发明为解决技术问题采用如下技术方案：

本发明一种基于多摄像头的非接触式生命体征参数的无缝检测方法的特点是按如下步骤

进行：

步骤1：利用P台摄像头设备分别获取I帧人体上半身图像，记任意第p台摄像头获取的I帧人体上半身图像为F^(p)＝[f₁ ^(p),f₂ ^(p),…,f_i ^(p),…,f_I ^(p)]，f_i ^(p)表示第p台摄像头获取的第i帧人体上半身图像，i＝1,2,...,I，p＝1,2,…,P且P≥2；

步骤2：对所述第i帧人体上半身图像f_i ^(p)进行感兴趣区域检测，得到第p台摄像头第i帧人体上半身图像f_i ^(p)的感兴趣区域所包含的像素个数a_i ^(p)，从而得到第p台摄像头I帧人体上半身图像F^(p)的感兴趣区域所包含的像素个数集合A^(p)＝[a₁ ^(p),a₂ ^(p),…,a_i ^(p),…,a_I ^(p)]，进而得到P台摄像头I帧人体上半身图像的感兴趣区域所包含的像素个数集合A＝[A⁽¹⁾,A⁽²⁾,…,A^(p),…,A^(P)]^T；

步骤3：计算第p台摄像头第i帧人体上半身图像f_i ^(p)感兴趣区域的第n个颜色通道的像素均值x_i,n ^(p)，从而得到第p台摄像头I帧人体上半身图像F^(p)感兴趣区域的第n个颜色通道的像素均值集合

进而得到第p台摄像头I帧人体上半身图像F^(p)感兴趣区域的N个颜色通道的像素均值集合

最终得到P台摄像头I帧人体上半身图像感兴趣区域的N个颜色通道的像素均值集合X＝[X⁽¹⁾,X⁽²⁾,…,X^(p),…,X^(P)]^T；n＝1,2,…,N；

步骤4：初始化i＝1；

步骤5、选取P台摄像头第i帧人体上半身图像的感兴趣区域所包含的像素个数集合A_i＝[a_i ⁽¹⁾,a_i ⁽²⁾,…,a_i ^(p),…,a_i ^(P)]^T中的最大值所对应的摄像头编号记为max_i，并将第max_i台摄像头第i帧人体上半身图像感兴趣区域的N个颜色通道的像素均值集合

放入N个颜色通道像素的均值优选集合X^(max)中；

表示第max_i台摄像头第i帧人体上半身图像感兴趣区域的第n个颜色通道的像素均值；

步骤6、将i+1赋值给i，并返回步骤5执行，直到i＞I为止，从而得到I帧人体上半身图像感兴趣区域的N个颜色通道的像素均值优选集合

步骤7、选择所述N个颜色通道的像素均值优选集合X^(max)中最大氧合血红蛋白吸收率所对应的颜色通道，记为best，从而得到第i帧人体上半身图像的第best个颜色通道的像素均值

进而得到I帧人体上半身图像的第best个颜色通道的像素均值集合

步骤8、利用总体平均经验模态分解法对所述I帧人体上半身图像的第best个颜色通道的像素均值集合

进行分解，得到用于反映生命体征参数的L个本征模式分量S＝[S₁,S₂,…,S_l,…,S_L]^T；S_l表示第l个本征模式分量；

步骤9：定义候选本征模式分量集S_cad，并初始化S_cad为空；初始化l＝1；

步骤10、计算第l个本征模式分量S_l的频谱图，判断第l个频谱图中最大幅值所对应的频率是否处于所设定的生命体征参数的频率范围内，若处于，则将第l个本征模式分量S_l加入候选本征模式分量集S_cad中；否则直接执行步骤11；

步骤11、将l+1赋值给l；并返回步骤10，直到l＞L为止，从而得到候选本征模式分量集S_cad；

步骤12、比较所述候选本征模式分量集S_cad中每个本征模式分量频率所对应的最大幅值，并选取最大值所对应的本征模式分量作为最佳本征模式分量，对所述最佳本征模式分量采用峰值检测算法获得生命体征参数的检测结果。

与现有技术相比，本发明的有益效果在于：

1、本发明能够解决由于个体移动等导致单个摄像头无法检测到人脸时，通过利用多摄像头策略恢复出相当于“同一”摄像头采集的生命体征信号，从而实现了生命体征参数连续的和准确的检测，为临床疾病诊疗和日常健康监护提供非接触式检测手段。

2、本发明通过判断同一时刻能够提供最大感兴趣区域的摄像头，确定其为最佳生命体征信号，且将具有最大氧合血红蛋白吸收率的颜色通道确定为最佳颜色通道，通过这两个策略进一步保证了视频检测心率的准确性。

3、本发明总体平均经验模态分解法具有将非平稳的时间序列分解为有限个数的本征模式分量，从而进一步消除了其他噪声和可能的环境光变化残留噪声的影响，得到了准确的视频心率检测结果。

综上所述，本发明充分利用了多个摄像头采集不同角度生命体征信号的优势，解决了由于个体运动或移动造成单个摄像头无法检测到感兴趣区域而造成的生命体征参数无法连续检测的缺点，提供一种基于多摄像头策略的无缝生命体征参数检测方法，能够准确地、连续地非接触式生命体征参数检测，在临床疾病诊断和日常健康监护方面具有重要的应用前景。

附图说明

图1为本发明方法的流程图；

图2为本发明摄像头安放示意图；

图3-1为本发明R颜色通道的像素均值优选时间序列；

图3-2为本发明G颜色通道的像素均值优选时间序列；

图3-3为本发明B颜色通道的像素均值优选时间序列；

图4为本发明对绿色通道进行EEMD后生成的本征模式分量S₁至S₉；

图5为本发明对每一个本征模式分量进行FFT变换，得到的频谱图，从上到下分别对应于本征模式分量S₁至S₉的频谱图；

图6为本发明对最佳本征模式分量进行峰值检测得到的峰值示意图。

具体实施方式

本实施例中，以4个海康威视萤石C6H云台网络监控摄像头配合海康威视萤石N1W硬盘录像主机(1TB，可同时支持8个网络监控摄像头)进行视频拍摄，以半圈4个摄像头为例(等同于一圈8个摄像头)以心率检测为例，结合附图和具体实施来对本发明做进一步说明。

如图1所示，一种基于多摄像头的非接触式生命体征参数的无缝检测方法按如下步骤进行：

步骤1：利用P台摄像头设备分别获取I帧人体上半身图像，记任意第p台摄像头获取的I帧人体上半身图像为F^(p)＝[f₁ ^(p),f₂ ^(p),…,f_i ^(p),…,f_I ^(p)]，f_i ^(p)表示第p台摄像头获取的第i帧人体上半身图像，i＝1,2,,I，p＝1,2,,P且P≥2；本实施例中，P＝4。摄像头的具体安放位置如图2所示，每个摄像头与人体中心的距离为1.5m，每两个摄像头之间的夹角为45度。从右往左摄像头的编号分别为1-4，其中1号和4号摄像头与水平方向的夹角为22.5度和157.5度。这4个摄像头通过硬盘录像主机控制，同时采集一段时间的视频数据，本实施例中，视频数据采集速度为24帧/秒。为且人站在匀速转盘上匀速转动，转盘的转速为32秒/圈。这样视频数据处理的窗长为15秒。

步骤2：对所述第i帧人体上半身图像f_i ^(p)进行感兴趣区域检测，得到第p台摄像头第i帧人体上半身图像f_i ^(p)的感兴趣区域所包含的像素个数a_i ^(p)，从而得到第p台摄像头I帧人体上半身图像F^(p)的感兴趣区域所包含的像素个数集合A^(p)＝[a₁ ^(p),a₂ ^(p),…,a_i ^(p),…,a_I ^(p)]，进而得到P台摄像头I帧人体上半身图像的感兴趣区域所包含的像素个数集合A＝[A⁽¹⁾,A⁽²⁾,…,A^(p),…,A^(P)]^T；

步骤3：计算第p台摄像头第i帧人体上半身图像f_i ^(p)感兴趣区域的第n个颜色通道的像素均值x_i,n ^(p)，从而得到第p台摄像头I帧人体上半身图像F^(p)感兴趣区域的第n个颜色通道的像素均值集合

进而得到第p台摄像头I帧人体上半身图像F^(p)感兴趣区域的N个颜色通道的像素均值集合

最终得到P台摄像头I帧人体上半身图像感兴趣区域的N个颜色通道的像素均值集合X＝[X⁽¹⁾,X⁽²⁾,…,X^(p),…,X^(P)]^T；n＝1,2,…,N；

步骤4：初始化i＝1；

步骤5、选取P台摄像头第i帧人体上半身图像的感兴趣区域所包含的像素个数集合A_i＝[a_i ⁽¹⁾,a_i ⁽²⁾,…,a_i ^(p),…,a_i ^(P)]^T中的最大值所对应的摄像头编号记为max_i，并将第max_i台摄像头第i帧人体上半身图像感兴趣区域的N个颜色通道的像素均值集合

放入N个颜色通道像素的均值优选集合X^(max)中；

表示第max_i台摄像头第i帧人体上半身图像感兴趣区域的第n个颜色通道的像素均值；本实施例中得到的RGB颜色通道优选的像素均值时间序列如图3-1至图3-3所示，分别对应于R、G和B颜色通道优选的像素均值时间序列。

步骤6、将i+1赋值给i，并返回步骤5执行，直到i＞I为止，从而得到I帧人体上半身图像感兴趣区域的N个颜色通道的像素均值优选集合

步骤7、选择所述N个颜色通道的像素均值优选集合X^(max)中最大氧合血红蛋白吸收率所对应的颜色通道，记为best，从而得到第i帧人体上半身图像的第best个颜色通道的像素均值

进而得到I帧人体上半身图像的第best个颜色通道的像素均值集合

考虑到RGB颜色通道中绿色通道具有最大的氧合血红蛋白吸收率，在本实施例中，选择第2个颜色通道的像素均值集合进行后续处理。

步骤8、利用总体平均经验模态分解法对所述I帧人体上半身图像的第best个颜色通道的像素均值集合

进行分解，得到用于反映生命体征参数的L个本征模式分量S＝[S₁,S₂,,S_l,,S_L]^T；S_l表示第l个本征模式分量；本实施例中，根据信号的长度，得到本征模式分量的个数为9，每个分量的具体形态如图4所示。

步骤9：定义候选本征模式分量集S_cad，并初始化S_cad为空；初始化l＝1；

步骤10、计算第l个本征模式分量S_l的频谱图，判断第l个频谱图中最大幅值所对应的频率是否处于所设定的生命体征参数的频率范围内，若处于，则将第l个本征模式分量S_l加入候选本征模式分量集S_cad中；否则直接执行步骤11；

步骤11、将l+1赋值给l；并返回步骤10，直到l＞L为止，从而得到候选本征模式分量集S_cad；在本实施例中，以心率检测为例，设定正常的心率范围为[0.4,3]Hz，对应心率为24bpm到180bpm。从图5中不难发现，本征模式分量S₁、S₄和S₅的最大幅值所对应的频率处于正常的心率范围内，构成候选本征模式分量集S_cad。

步骤12、比较所述候选本征模式分量集S_cad中每个本征模式分量频率所对应的最大幅值，并选取最大值所对应的本征模式分量作为最佳本征模式分量，在本实施例中，S₄为最佳本征模式分量，对所述最佳本征模式分量采用峰值检测算法获得生命体征参数的检测结果，对S₄进行峰值检测，得到15s内心率值为96次/分钟，如图6所示。而该受试者的参考心率值为93次/分钟。

综上所述，本发明方法提供了解决由于人体移动等因素造成的单个摄像头无法捕捉到人脸感兴趣区域从而导致无法检测到生命体征参数的问题，为非接触式生命体征参数检测提供了无缝解决方案，在临床疾病诊断和日常健康监护方面具有重要的应用前景。

Claims (1)

1.一种基于多摄像头的非接触式生命体征参数的无缝检测方法，其特征按如下步骤进行：

步骤1：利用P台摄像头设备分别获取I帧人体上半身图像，记任意第p台摄像头获取的I帧人体上半身图像为F^(p)＝[f₁ ^(p),f₂ ^(p),…,f_i ^(p),…,f_I ^(p)]，f_i ^(p)表示第p台摄像头获取的第i帧人体上半身图像，i＝1,2,...,I，p＝1,2,…,P且P≥2；

步骤2：对所述第i帧人体上半身图像f_i ^(p)进行感兴趣区域检测，得到第p台摄像头第i帧人体上半身图像f_i ^(p)的感兴趣区域所包含的像素个数a_i ^(p)，从而得到第p台摄像头I帧人体上半身图像F^(p)的感兴趣区域所包含的像素个数集合A^(p)＝[a₁ ^(p),a₂ ^(p),…,a_i ^(p),…,a_I ^(p)]，进而得到P台摄像头I帧人体上半身图像的感兴趣区域所包含的像素个数集合A＝[A⁽¹⁾,A⁽²⁾,…,A^(p),…,A^(P)]^T；

步骤3：计算第p台摄像头第i帧人体上半身图像f_i ^(p)感兴趣区域的第n个颜色通道的像素均值x_i,n ^(p)，从而得到第p台摄像头I帧人体上半身图像F^(p)感兴趣区域的第n个颜色通道的像素均值集合

进而得到第p台摄像头I帧人体上半身图像F^(p)感兴趣区域的N个颜色通道的像素均值集合

最终得到P台摄像头I帧人体上半身图像感兴趣区域的N个颜色通道的像素均值集合X＝[X⁽¹⁾,X⁽²⁾,…,X^(p),…,X^(P)]^T；n＝1,2,…,N；

步骤4：初始化i＝1；

步骤5、选取P台摄像头第i帧人体上半身图像的感兴趣区域所包含的像素个数集合A_i＝[a_i ⁽¹⁾,a_i ⁽²⁾,…,a_i ^(p),…,a_i ^(P)]^T中的最大值所对应的摄像头编号记为max_i，并将第max_i台摄像头第i帧人体上半身图像感兴趣区域的N个颜色通道的像素均值集合

放入N个颜色通道像素的均值优选集合X^(max)中；

表示第max_i台摄像头第i帧人体上半身图像感兴趣区域的第n个颜色通道的像素均值；

步骤6、将i+1赋值给i，并返回步骤5执行，直到i＞I为止，从而得到I帧人体上半身图像感兴趣区域的N个颜色通道的像素均值优选集合

步骤7、选择所述N个颜色通道的像素均值优选集合X^(max)中最大氧合血红蛋白吸收率所对应的颜色通道，记为best，从而得到第i帧人体上半身图像的第best个颜色通道的像素均值

进而得到I帧人体上半身图像的第best个颜色通道的像素均值集合

步骤8、利用总体平均经验模态分解法对所述I帧人体上半身图像的第best个颜色通道的像素均值集合

进行分解，得到用于反映生命体征参数的L个本征模式分量S＝[S₁,S₂,…,S_l,…,S_L]^T；S_l表示第l个本征模式分量；

步骤9：定义候选本征模式分量集S_cad，并初始化S_cad为空；初始化l＝1；

步骤10、计算第l个本征模式分量S_l的频谱图，判断第l个频谱图中最大幅值所对应的频率是否处于所设定的生命体征参数的频率范围内，若处于，则将第l个本征模式分量S_l加入候选本征模式分量集S_cad中；否则直接执行步骤11；

步骤11、将l+1赋值给l；并返回步骤10，直到l＞L为止，从而得到候选本征模式分量集S_cad；

步骤12、比较所述候选本征模式分量集S_cad中每个本征模式分量频率所对应的最大幅值，并选取最大值所对应的本征模式分量作为最佳本征模式分量，对所述最佳本征模式分量采用峰值检测算法获得生命体征参数的检测结果。

Images