CN113361526B - 一种融合肩部和胸部区域信息的非接触式呼吸率监测方法 - Google Patents

一种融合肩部和胸部区域信息的非接触式呼吸率监测方法 Download PDF

Info

Publication number
CN113361526B
CN113361526B CN202110805379.3A CN202110805379A CN113361526B CN 113361526 B CN113361526 B CN 113361526B CN 202110805379 A CN202110805379 A CN 202110805379A CN 113361526 B CN113361526 B CN 113361526B
Authority
CN
China
Prior art keywords
region
shoulder
interest
motion
chest
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110805379.3A
Other languages
English (en)
Other versions
CN113361526A (zh
Inventor
成娟
刘润青
宋仁成
刘羽
李畅
刘爱萍
陈勋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei University of Technology
Original Assignee
Hefei University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei University of Technology filed Critical Hefei University of Technology
Priority to CN202110805379.3A priority Critical patent/CN113361526B/zh
Publication of CN113361526A publication Critical patent/CN113361526A/zh
Application granted granted Critical
Publication of CN113361526B publication Critical patent/CN113361526B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/08—Detecting, measuring or recording devices for evaluating the respiratory organs
    • A61B5/0816—Measuring devices for examining respiratory frequency
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices

Abstract

本发明公开了一种融合肩部和胸部区域信息的非接触式呼吸率监测方法，包括：第一步，提取肩部特征点运动轨迹和胸部像素均值时间序列，具体步骤包括：感兴趣区域的定位、追踪和肩部感兴趣区域特征点运动轨迹和胸部感兴趣区域像素均值时间序列的提取；第二步，含运动噪声判断及运动噪声去除，具体步骤包括：信号预处理、含运动噪声的判断、运动噪声去除和信号重构；第三步，呼吸率估算，得到最终估测的呼吸率。本发明从视频图像中提取与呼吸相关的信号，并进行必要的运动噪声去除，最终采用多模态融合的方法提升呼吸率估算的准确性，从而提高运动场景下呼吸率监测的准确性，进而推动非接触式移动健康监测技术的发展。

Description

一种融合肩部和胸部区域信息的非接触式呼吸率监测方法
技术领域
本发明涉及无创可持续生理信号分析及采集技术领域，具体涉及一种融合肩部和胸部区域信号的非接触式呼吸率监测方法。
背景技术
近年来，利用计算机视觉技术进行非接触式生理参数测量已经成为一种新的发展趋势，其中基于摄像机的远程呼吸率监测已经成为一大研究热点。呼吸率是一个重要的生命体征，是严重疾病的强有力的预测因子之一，对于评估个体的健康状况至关重要。健康成年人的正常呼吸率范围是12-24次/分钟。这一范围之外的呼吸率与特定的不良事件密切相关，如充血性心力衰竭和心力骤停，而监测相关呼吸疾病患者的呼吸率时，患者并非是静止不动的，这对非接触式呼吸率监测是一个大的挑战，同时也说明了在被测者运动时非接触式测量呼吸率的重要性。此外，有越来越多的证据表明，呼吸率是人体处于运动期间需要监测的一个基本生理参数；例如，过度的运动可能会诱发一些疾病，而运动的“剂量”(即达到有益训练效果所需的强度、持续时间和训练频率)正是训练中所需要特别关注的。因此，运动员和相关呼吸疾病患者都应注意训练或运动过程中的呼吸率监测。
目前，监测呼吸率的方法主要分为接触式和非接触式测量方法。接触式的呼吸率监测方法通常采用接触式的测量仪器如呼吸带、呼吸背心等来监测呼吸信号。接触式的测量方法具有准确性高的优势，但是长时间佩戴容易引起被测者的不适。并且，一般接触式的呼吸率测量设备容易受到运动噪声的影响，使得呼吸率监测性能下降。
基于视频的呼吸率监测是一种典型的非接触式呼吸率测量方法，由于其无需揭穿、成本低、使用广泛等优势，引起了研究学者的广泛关注。基于视频的呼吸率测量方法主要分为三种，基于呼吸热气流、基于远程光学体积描记术和基于呼吸引起的运动。基于呼吸热气流一般采用热敏相机，其成本一般较为昂贵。基于远程光学体积描记术从面部皮肤区域中进行呼吸率连续监测，往往需要持续跟踪面部以减少与呼吸无关的身体运动，与此同时，该项技术还容易受到光照变化的干扰，从而影响呼吸率检测的性能。
基于呼吸引起的运动的方法具有低成本、无需追踪面部和不易受光照变化干扰等优势。呼吸引起的运动是由肺的体积变化而产生的。在吸气过程中，横膈膜向内外移动，外部肋间肌肉向上拉动肋骨，从而扩大胸腔。在呼气期间，横膈肌和肋间外肌放松，胸腔恢复到原来的体积。这些运动导致了躯干的周期性运动。
目前，基于呼吸引起的运动原理估计呼吸率的方法主要分为5种：基于标记的运动捕获系统、深度传感器、激光振动测量，射频传感器和可见光相机。基于标记的运动捕获系统和深度传感器受限于时间、设备和计算成本；激光振动测量是在恶劣条件下使用而射频传感器则需要大量的准备工作。相比之下，基于可见光相机的方法具有成本较低、适应性相对较高的优点。在可见光视频中，由于呼吸引起的运动可以反映到像素的强度变化和像素的运动。因此，跟踪由于呼吸引起的特征点运动和像素颜色变化能够有效检测呼吸率。然而，在真实环境中，个体的刚体运动、环境光的变化仍然会对呼吸率监测结果造成影响，极大地影响了这项技术在运动场景下的适用性。
发明内容
本发明是为避免上述现有技术的不足，提供一种融合肩部和胸部区域信号的非接触式呼吸率监测方法，以期能利用多个模态信号进行呼吸率监测，以提高运动场景下呼吸率检测的准确性和鲁棒性。
本发明为解决技术问题采用如下方案：
本发明一种融合肩部和胸部区域信息的非接触式呼吸率监测方法的特点包括以下步骤：
步骤一、从受试者的I帧视频图像中提取肩部感兴趣区域的特征点运动轨迹和胸部感兴趣区域的像素均值时间序列，且所述特征点运动轨迹和像素均值时间序列均包含与呼吸相关的信息；
步骤1.1、感兴趣区域的定位；
步骤1.1.1、人脸检测：
利用人脸特征点检测算法获得第一帧视频图像中多个面部特征点，并选择其中的几个关键特征点构成多边形来确定面部感兴趣区域，并定位出所述面部感兴趣区域的外接矩形，并将所述外接矩形的上、下、左、右四个顶点记为P1,P2,P3,P4，外接矩形的宽和高分别记为w,h；
步骤1.1.2、区域定位：
根据人体面部、肩部和胸部的几何关系、受试者与相机的距离以及视频的分辨率，定位出第一帧视频图像中肩部感兴趣区域和胸部感兴趣区域，并分别确定肩部感兴趣区域中的N个特征点和胸部感兴趣区域中的M个特征点，从而获得肩部感兴趣区域的N个特征点的坐标信息
Figure BDA0003166311790000021
以及胸部感兴趣区域ROI(1)；其中，
Figure BDA0003166311790000022
表示第一帧视频图像中肩部感兴趣区域的第n个特征点的坐标信息，n∈[1,N]；
步骤1.2、感兴趣区域的追踪；
分别采用特征点追踪算法分别对第二帧至第I帧的视频图像肩部感兴趣区域的N个特征点和胸部感兴趣区域中的M个特征点进行特征点追踪，从而获得第i帧肩部感兴趣区域的N个特征点的坐标信息
Figure BDA0003166311790000031
以及第i帧胸部感兴趣区域ROI(i)；其中，
Figure BDA0003166311790000032
表示第i帧视频图像中肩部感兴趣区域的第n个特征点的坐标信息，2≤i≤I；
步骤1.3、肩部感兴趣区域特征点运动轨迹和胸部感兴趣区域像素均值时间序列的提取；
获得I帧视频图像中肩部感兴趣区域的N个特征点x方向的运动轨迹X＝[X1,X2,...,Xn,...,XN]T，其中，Xn表示第n个特征点x方向的运动轨迹，且
Figure BDA0003166311790000033
表示第i帧视频图像中第n个特征点x方向的坐标；
获得I帧视频图像中肩部感兴趣区域的N个特征点y方向的运动轨迹信号Y＝[Y1,Y2,...,Yn,...,YN]T，其中，Yn表示第n个特征点y方向的运动轨迹，且
Figure BDA0003166311790000034
表示第i帧视频图像中第n个特征点y方向的坐标；
获得I帧视频图像中胸部感兴趣区域的U个通道的像素均值时间序列PM＝[PM1,PM2,...,PMu,...,PMU]T，其中，PMu表示第u个颜色通道的像素均值时间序列，且
Figure BDA0003166311790000035
表示第i帧视频图像中第u个颜色通道的像素均值，u∈[1,U]；
步骤二、含运动噪声的判断及运动噪声的去除；
步骤2.1、信号预处理；
分别对肩部感兴趣区域特征点x方向的运动轨迹信号X、肩部感兴趣区域特征点y方向的运动轨迹信号Y、胸部感兴趣区域的U个通道的像素均值时间序列PM进行滤波、去趋势和归一化的预处理，从而得到预处理后的肩部感兴趣区域特征点x方向的运动轨迹信号X′＝[X′1,X′2,…,X′n,…,X′N]T、预处理后的肩部感兴趣区域特征点y方向的运动轨迹Y′＝[Y′1,Y′2,...,Y′n,...,Y′N]T、预处理后的胸部感兴趣区域像素均值时间序列PM′＝[PM′1,PM′2,...,PM′u,...,PM′U]T，其中，Xn′表示预处理后的第n个特征点x方向的运动轨迹；Y′n表示预处理后的第n个特征点y方向的运动轨迹；PM′u表示预处理后的第u个颜色通道的像素均值时间序列；
步骤2.2、含运动噪声的判断；
选定预处理后的肩部感兴趣区域的某一个特征点x方向的运动轨迹信号X′*，并对所述运动轨迹信号X′*进行傅里叶变换，得到运动轨迹信号X′*主频的频率值F0和功率值P0，从而利用式(1)得到含运动噪声的水平系数Wm：
Figure BDA0003166311790000041
式(1)中，δ为感兴趣呼吸频带的上限，α和β为经验系数；当含运动噪声的水平系数Wm高于ε，则判断y方向的运动轨迹Y′和胸部感兴趣区域像素均值时间序列PM′含运动噪声，并执行步骤2.3，否则表示不含运动噪声，执行步骤2.4；
步骤2.3、运动噪声去除；
步骤2.3.1、采用傅里叶变换对预处理后的肩部感兴趣区域特征点x方向的运动轨迹信号X′进行处理，得到肩部感兴趣区域特征点x方向的运动轨迹频谱
Figure BDA0003166311790000042
其中，
Figure BDA0003166311790000043
表示预处理后的第n个特征点的x方向的运动轨迹频谱；
采用傅里叶变换对预处理后的肩部感兴趣区域特征点y方向的运动轨迹信号Y′进行处理得到肩部感兴趣区域特征点y方向的运动轨迹频谱
Figure BDA0003166311790000044
其中，
Figure BDA0003166311790000045
表示预处理后的肩部感兴趣区域的第n个特征点y方向的运动轨迹频谱；
采用傅里叶变换对预处理后的胸部感兴趣区域像素均值时间序列信号PM′进行处理，得到胸部感兴趣区域像素均值时间序列频谱
Figure BDA0003166311790000046
其中，
Figure BDA0003166311790000047
表示预处理后的第u个颜色通道的胸部感兴趣区域像素均值时间序列频谱；
步骤2.3.2、利用肩部感兴趣区域特征点x方向的运动轨迹频谱fX′和肩部感兴趣区域特征点y方向的运动轨迹频谱fY′关于运动噪声在频域的相关性，采用式(2)对肩部感兴趣区域第n个特征点y方向的运动轨迹频谱进行运动噪声频谱相减处理，从而得到消除运动噪声频谱的肩部感兴趣区域的第n个特征点y方向的运动轨迹频谱
Figure BDA0003166311790000048
Figure BDA0003166311790000049
将运动轨迹频谱
Figure BDA0003166311790000051
的负值归零后，再使用傅里叶逆变换进行处理，得到运动噪声去除后的肩部感兴趣区域的第n个特征点y方向的运动轨迹Y″n，从而获得运动噪声去除后的肩部感兴趣区域特征点y方向的运动轨迹信号Y″＝[Y″1,Y″2,...,Y″n,...,Y″N]T；
步骤2.3.3、利用胸部感兴趣区域像素均值时间序列频谱fPM′和U个肩部感兴趣区域特征点x方向的运动轨迹频谱fX′关于运动噪声在频域的相关性，采用式(3)对胸部感兴趣区域第u个颜色通道像素均值时间序列进行运动噪声频谱相减处理，从而得到消除运动噪声频谱的胸部感兴趣区域第u个像素均值时间序列的频谱
Figure BDA0003166311790000052
Figure BDA0003166311790000053
将频谱
Figure BDA0003166311790000054
的负值归零后，再使用傅里叶逆变换进行处理，得到运动噪声去除后的胸部感兴趣区域第u个像素均值时间序列PM″n，从而获得运动噪声去除后的胸部感兴趣区域像素均值时间序列信号PM″＝[PM″1,PM″2,...,PM″u,...,PM″U]；
步骤2.4、噪声消除后的肩部感兴趣区域和胸部感兴趣区域包含呼吸成分的信号重构；
步骤2.4.1采用主成分分析法提取噪声消除后的肩部感兴趣区域内特征点y方向的运动轨迹Y″或预处理后的肩部感兴趣区域特征点y方向的运动轨迹Y′的N个主成分分量，并根据每个主成分分量的特征值λ＝[λ1,λ2,...,λn,...,λN]的大小关系，按照降序对N个主成分分量进行排序，生成排序后的主成分分量集
Figure BDA0003166311790000055
表示排序后的第n个主成分分量；
步骤2.4.2、采用集合经验模态分解法对噪声消除后的胸部感兴趣区域像素均值时间序列PM″或预处理后的胸部感兴趣区域像素均值时间序列PM′进行本征模式分量分解，得到L个本征模式分量集PMIMF＝[IMF1,IMF2,...,IMFl,...,IMFL]，L≥U，其中，IMFl表示第l个本征模式分量，l∈[1,L]；
步骤2.4.2.1、定义候选本征模式分量集PMcandi，并初始化为空；初始化l＝1；
步骤2.4.2.2、计算第l个本征模式分量IMFl的频谱图，判断第l个频谱图中的最大幅值所对应的频率分量是否处于所设定的感兴趣呼吸频带内，若处于，则将第l个本征模式分量IMFl加入候选本征模式分量集PMcandi；否则直接执行步骤2.4.2.4；
步骤2.4.2.3、将l+1赋值给l；若l＜L，返回步骤2.4.2.2；否则，表示获得候选本征模式分量集PMcandi＝[IMF′1,IMF′2,...,IMF′k,...,IMF′K]，K≤L，其中，IMF′k表示第k个最大幅值所对应的频率分量处于所设定的感兴趣呼吸频带内的本征模式分量；
步骤2.4.2.4、令J＝min(K,N)，分别保留YPCA和PMcandi的前J个分量，得到保留的肩部感兴趣区域特征点运动轨迹
Figure BDA0003166311790000061
以及保留的胸部感兴趣区域像素均值时间序列PMpre＝[IMF′1,IMF′2,...,IMF′j,...,IMF′J]，其中，
Figure BDA0003166311790000062
表示保留后的第j个主成分分量；IMF′j表示保留后的第j个本征模式分量；
步骤2.4.3、使用典型相关分析法对保留的肩部感兴趣区域特征点运动轨迹Ypre和保留的胸部感兴趣区域像素均值时间序列PMpre进行处理，获得混合矩阵
Figure BDA0003166311790000063
解混矩阵
Figure BDA0003166311790000064
肩部感兴趣区域的典型相关变量集
Figure BDA0003166311790000065
和胸部感兴趣区域的典型相关变量集
Figure BDA0003166311790000066
其中，
Figure BDA0003166311790000067
表示肩部感兴趣区域的第p个典型相关变量，且
Figure BDA0003166311790000068
表示第I帧视频图像中肩部感兴趣区域的第p个典型相关变量值；
Figure BDA0003166311790000069
表示胸部感兴趣区域的第p个典型相关变量，且
Figure BDA00031663117900000610
表示第I帧视频图像中胸部感兴趣区域的第p个典型相关变量值；P表示典型相关变量的个数；且肩部感兴趣区域的典型相关变量集和胸部感兴趣区域的典型相关变量集中的P个典型相关变量均是按两者的相关系数大小进行降序排列；Ypre＝AZY；PMpre＝AZPM；p∈[1,P]；
步骤2.4.4、保留相关性高于所设定的相关性阈值
Figure BDA00031663117900000611
的典型相关变量对，并将其余变量对置零，从而得到共同存在于肩部和胸部感兴趣区域的包含呼吸成分的典型相关变量集
Figure BDA00031663117900000612
以及仅包含肩部和胸部感兴趣区域共同呼吸成分的胸部感兴趣区域的典型相关变量集
Figure BDA00031663117900000613
其中，
Figure BDA00031663117900000614
表示来自肩部感兴趣区域的第p个典型相关变量，
Figure BDA00031663117900000615
表示来自胸部感兴趣区域的第p个典型相关变量；
步骤2.4.5、利用式(4)重构噪声消除后的肩部感兴趣区域中包含呼吸成分的信号集
Figure BDA0003166311790000071
其中，
Figure BDA0003166311790000072
表示第j个仅包含呼吸成分的特征点y坐标方向的运动轨迹：
Figure BDA0003166311790000073
利用式(5)重构噪声消除后的胸口感兴趣区域中包含呼吸成分的信号集
Figure BDA0003166311790000074
其中，
Figure BDA0003166311790000075
表示第j个仅包含呼吸成分的像素均值时间序列：
Figure BDA0003166311790000076
步骤2.4.6、分别对信号集
Figure BDA0003166311790000077
和
Figure BDA0003166311790000078
的J个分量求和取平均，得到噪声消除后的单通道肩部特征点运动轨迹Yfusion和噪声消除后的单通道胸口感兴趣区域像素均值时间序列PMfusion；
步骤三、呼吸率的估算：
分别从噪声消除后的单通道肩部特征点运动轨迹Yfusion、噪声消除后的单通道胸口感兴趣区域像素均值时间序列PMfusion、保留的肩部感兴趣区域特征点运动轨迹Ypre、保留的胸部感兴趣区域像素均值时间序列PMpre中估算各自的呼吸率并计算各自的信噪比，根据各自的信噪比对相应估算的呼吸率进行加权平均，从而得到最终的呼吸率。
与已有技术相比，本发明的有益效果体现在：
1、本发明通过多模态数据融合，并利用呼吸运动会同时引起肩部区域主要特征点的上下移动和胸部区域的前后起伏，这种运动可以通过视频图像提供的肩部区域主要特征点的运动坐标信息和胸口区域的像素强度变化来体现。与此同时，由于呼吸运动引起胸部区域像素强度变化这一信息容易受到光照变化的影响，而一般性的运动伪迹，例如面部表情等不会引起影响肩部和胸口区域；而头部转动之类的运动伪迹一般仅会影响部分区域的信号，例如肩部区域主要特征点的运动。故通过融合肩部和胸口区域的信号提取这两组信号中潜在的共同呼吸成分，相比于基于单区域信号的方法，对现实中多种类型的运动干扰具有抗干扰能力，故基于多模态数据融合的方法有助于大幅提升了呼吸率检测的准确性。具体地，肩部感兴趣区域的特征点运动轨迹对与呼吸无关的运动噪声更敏感，而胸部感兴趣区域的像素均值对环境光变化更敏感，两个感兴趣区域却因为呼吸运动，会同时引起肩部竖直方向的运动轨迹以及胸部前后方向的起伏，使用本方明方法，可以有效地挖掘这一共同变化的呼吸成分，消除了噪声干扰，提高了非接触式呼吸率检测的准确性。
2、本发明充分考虑到肩部和胸口区域存在共同运动噪声时，会影响呼吸率的检测性能，故判断为共同运动噪声存在时，采用频谱相减的方法消除运动噪声成分，且不改变目标信号中所包含的呼吸成分。相比于该领域传统的预处理技术(滤波、去趋势、归一化等处理)，一般只能消除目标信号频带之外的高频和低频成分之外，本发明方法对于落在感兴趣目标信号频带范围内的运动噪声，亦能很好地消除，故本发明方法消除了运动噪声信号的同时保留了高质量的共同呼吸成分，进而提升了呼吸率监测的准确性和鲁棒性。
3、本发明除了利用肩部区域主要运动特征点运动轨迹和胸口区域像素均值时间序列包含共同的呼吸成分这一特点，同时，利用单个区域在某些场景下的呼吸率检测优势，从4个信号维度进行信噪比计算，利用通过每个信号计算得到的呼吸率值，根据各自信号的信噪比加权平均，获得最终的呼吸率值，进一步提升了基于视频的非接触式呼吸率监测的准确性和鲁棒性，大大拓宽了该技术的应用场景。
附图说明
图1为本发明方法流程图；
图2为本发明提取肩部特征点运动轨迹和胸部像素均值时间序列示意图；
图3为本发明含运动噪声判断及运动噪声去除示意图；
图4为本发明噪声消除后的肩部感兴趣区域和胸部感兴趣区域包含呼吸成分的信号重构示意图；
图5为本发明呼吸率估算示意图。
具体实施方式
本实施例中，一种融合肩部和胸部区域信息的非接触式呼吸率监测方法，如图1所示，包括以下步骤：
步骤一、提取肩部特征点运动轨迹和胸部像素均值时间序列。从受试者的I帧视频图像中提取肩部感兴趣区域(Region of Interest,ROI)的特征点运动轨迹和胸部感兴趣区域的像素均值时间序列，特征点运动轨迹和像素均值时间序列均包含与呼吸相关的信息，具体步骤包括：感兴趣区域定位、感兴趣区域追踪，以及运动轨迹和像素均值时间序列的提取；
在具体实施中，提取肩部特征点运动轨迹和胸部像素均值时间序列示意图如图2所示；
步骤1.1、感兴趣区域的定位；
步骤1.1.1、人脸检测：
利用人脸特征点检测算法获得第一帧视频图像中多个面部特征点，并选择其中的几个关键特征点构成多边形来确定面部感兴趣区域，并定位出所述面部感兴趣区域的外接矩形，并将所述外接矩形的上、下、左、右四个顶点记为P1,P2,P3,P4，外接矩形的宽和高分别记为w,h；
步骤1.1.2、区域定位：
根据人体面部、肩部和胸部的几何关系、受试者与相机的距离以及视频的分辨率，定位出第一帧视频图像中肩部感兴趣区域和胸部感兴趣区域，并分别确定肩部感兴趣区域中的N个特征点和胸部感兴趣区域中的M个特征点，从而获得肩部感兴趣区域的N个特征点的坐标信息
Figure BDA0003166311790000091
以及胸部感兴趣区域ROI(1)；其中，
Figure BDA0003166311790000092
表示第一帧视频图像中肩部感兴趣区域的第n个特征点的坐标信息，n∈[1,N]；
步骤1.2、感兴趣区域的追踪；
分别采用特征点追踪算法分别对第二帧至第I帧的视频图像肩部感兴趣区域的N个特征点和胸部感兴趣区域中的M个特征点进行特征点追踪，从而获得第i帧肩部感兴趣区域的N个特征点的坐标信息
Figure BDA0003166311790000093
以及第i帧胸部感兴趣区域ROI(i)；其中，
Figure BDA0003166311790000094
表示第i帧视频图像中肩部感兴趣区域的第n个特征点的坐标信息，2≤i≤I；
在本实例中，视频的第一帧要求被测者面部和躯干正对相机，保证正确的检测到面部以定位肩部和胸部，后续帧仅要求躯干正对相机，以保证感兴趣区域的追踪；
步骤1.3、肩部感兴趣区域特征点运动轨迹和胸部感兴趣区域像素均值时间序列提取；
获得I帧视频图像中肩部感兴趣区域的N个特征点x方向的运动轨迹X＝[X1,X2,...,Xn,...,XN]T，其中，Xn表示第n个特征点x方向的运动轨迹，且
Figure BDA0003166311790000095
表示第i帧视频图像中第n个特征点x方向的坐标；
获得I帧视频图像中肩部感兴趣区域的N个特征点y方向的运动轨迹信号Y＝[Y1,Y2,...,Yn,...,YN]T，其中，Yn表示第n个特征点y方向的运动轨迹，且
Figure BDA0003166311790000096
表示第i帧视频图像中第n个特征点y方向的坐标；
获得I帧视频图像中胸部感兴趣区域的U个通道的像素均值时间序列PM＝[PM1,PM2,…,PMu,...,PMU]T，其中，PMu表示第u个颜色通道的像素均值时间序列，且
Figure BDA0003166311790000097
表示第i帧视频图像中第u个颜色通道的像素均值，u∈[1,U]；
在本实施例中，呼吸不会引起肩部特征点产生水平方向的运动轨迹，而与呼吸无关的运动会引起肩部特征点产生水平方向的运动轨迹，所以可以选用肩部感兴趣区域内特征点x方向的运动轨迹信号作为运动噪声参考信号用于去噪。
步骤二、含运动噪声判断及运动噪声去除，包括：信号预处理、含运动噪声判断、运动噪声去除，以及噪声消除后的肩部感兴趣区域和胸部感兴趣区域包含呼吸成分的信号重构；
步骤2.1、信号预处理；
分别对肩部感兴趣区域特征点x方向的运动轨迹信号X、肩部感兴趣区域特征点y方向的运动轨迹信号Y、胸部感兴趣区域的U个通道的像素均值时间序列PM进行滤波、去趋势和归一化的预处理，从而得到预处理后的肩部感兴趣区域特征点x方向的运动轨迹信号X′＝[X′1,X′2,...,X′n,...,X′N]T、预处理后的肩部感兴趣区域特征点y方向的运动轨迹Y′＝[Y′1,Y′2,...,Y′n,...,Y′N]T、预处理后的胸部感兴趣区域像素均值时间序列PM′＝[PM′1,PM′2,...,PM′u,...,PM′U]T，其中，X′n表示预处理后的第n个特征点x方向的运动轨迹；Y′n表示预处理后的第n个特征点y方向的运动轨迹；PM′u表示预处理后的第u个颜色通道的像素均值时间序列；
步骤2.2、含运动噪声判断；
在具体实施例中，含运动噪声判断及运动噪声去除示意图如图3所示；
选定预处理后的肩部感兴趣区域的某一个特征点x方向的运动轨迹信号X*'，对其进行傅里叶变换，得到其主频的频率值F0和功率值P0，根据式(1)定义含运动噪声水平系数Wm：
Figure BDA0003166311790000101
式(1)中，δ为感兴趣呼吸频带的上限，α和β为经验系数。当运动噪声水平系数Wm高于ε，则判断y方向的运动轨迹Y′和胸部感兴趣区域像素均值时间序列PM′含运动噪声，并执行步骤2.3，否则表示不含运动噪声，执行步骤2.4；
在本实施例中，设定δ为0.75，设定α和β的值为2和1，阈值ε设为1.5。设置运动状态判别是因为，当被测者处于休息状态时，X*'中并不包含高能的运动噪声成分，此时其主频往往反映的是被测者轻微的晃动，而这一噪声的主频常常与呼吸的主频接近或相同。如果不加辨别的进行运动噪声去除，会误消除信号中的呼吸成分，导致结果产生较大的偏差；
步骤2.3、运动噪声去除；
步骤2.3.1、采用傅里叶变换对预处理后的肩部感兴趣区域特征点x方向的运动轨迹信号X′进行处理，得到肩部感兴趣区域特征点x方向的运动轨迹频谱
Figure BDA0003166311790000111
其中，
Figure BDA0003166311790000112
表示预处理后的第n个特征点的x方向的运动轨迹频谱；
采用傅里叶变换对预处理后的肩部感兴趣区域特征点y方向的运动轨迹信号Y′进行处理得到肩部感兴趣区域特征点y方向的运动轨迹频谱
Figure BDA0003166311790000113
其中，
Figure BDA0003166311790000114
表示预处理后的肩部感兴趣区域的第n个特征点y方向的运动轨迹频谱；
采用傅里叶变换对预处理后的胸部感兴趣区域像素均值时间序列信号PM′进行处理，得到胸部感兴趣区域像素均值时间序列频谱
Figure BDA0003166311790000115
其中，
Figure BDA0003166311790000116
表示预处理后的第u个颜色通道的胸部感兴趣区域像素均值时间序列频谱；
步骤2.3.2、利用肩部感兴趣区域特征点x方向的运动轨迹频谱fX′和肩部感兴趣区域特征点y方向的运动轨迹频谱fY′关于运动噪声在频域的相关性，采用式(2)对肩部感兴趣区域第n个特征点y方向的运动轨迹频谱进行运动噪声频谱相减处理，从而得到消除运动噪声频谱的肩部感兴趣区域的第n个特征点y方向的运动轨迹频谱
Figure BDA0003166311790000117
Figure BDA0003166311790000118
将运动轨迹频谱
Figure BDA0003166311790000119
的负值归零后，再使用傅里叶逆变换进行处理，得到运动噪声去除后的肩部感兴趣区域的第n个特征点y方向的运动轨迹Y″n，从而获得运动噪声去除后的肩部感兴趣区域特征点y方向的运动轨迹信号Y″＝[Y″1,Y″2,...,Y″n,...,Y″N]T；
步骤2.3.3、利用胸部感兴趣区域像素均值时间序列频谱fPM′和U个肩部感兴趣区域特征点x方向的运动轨迹频谱fX′关于运动噪声在频域的相关性，采用式(3)对胸部感兴趣区域第u个颜色通道像素均值时间序列进行运动噪声频谱相减处理，从而得到消除运动噪声频谱的胸部感兴趣区域第u个像素均值时间序列的频谱
Figure BDA00031663117900001110
Figure BDA0003166311790000121
将频谱
Figure BDA0003166311790000122
的负值归零后，再使用傅里叶逆变换进行处理，得到运动噪声去除后的胸部感兴趣区域第u个像素均值时间序列PM″n，从而获得运动噪声去除后的胸部感兴趣区域像素均值时间序列信号PM″＝[PM″1,PM″2,...,PM″u,...,PM″U]；
步骤2.4、噪声消除后的肩部感兴趣区域和胸部感兴趣区域包含呼吸成分的信号重构
在具体实施例中，噪声消除后的肩部感兴趣区域和胸部感兴趣区域包含呼吸成分的信号重构示意图如图4所示；
步骤2.4.1、采用主成分分析法提取噪声消除后的肩部感兴趣区域内特征点y方向的运动轨迹Y″或预处理后的肩部感兴趣区域特征点y方向的运动轨迹Y′的N个主成分分量，并根据每个主成分分量的特征值λ＝[λ1,λ2,...,λn,...,λN]的大小关系，按照降序对N个主成分分量进行排序，生成排序后的主成分分量集
Figure BDA0003166311790000123
表示排序后的第n个主成分分量；
步骤2.4.2、采用集合经验模态分解法对噪声消除后的胸部感兴趣区域像素均值时间序列PM″或预处理后的胸部感兴趣区域像素均值时间序列PM′进行本征模式分量分解，得到L个本征模式分量集PMIMF＝[IMF1,IMF2,...,IMFl,...,IMFL]，L≥U，其中，IMFl表示第l个本征模式分量，l∈[1,L]；
步骤2.4.2.1、定义候选本征模式分量集PMcandi，并初始化为空；初始化l＝1；
步骤2.4.2.2、计算第l个本征模式分量IMFl的频谱图，判断第l个频谱图中的最大幅值所对应的频率分量是否处于所设定的感兴趣的呼吸率范围内，若处于，则将第l个本征模式分量IMFl加入候选本征模式分量集PMcandi；否则直接执行步骤2.4.2.4；
步骤2.4.2.3、将l+1赋值给l；若l＜L，返回步骤2.4.2.2；否则，表示获得候选本征模式分量集PMcandi＝[IMF′1,IMF′2,...,IMF′k,...,IMF′K]，K≤L，其中，IMF′k表示第k个最大幅值所对应的频率分量处于所设定的感兴趣呼吸频带内的本征模式分量；
步骤2.4.2.4、令J＝min(K,N)，分别保留YPCA和PMcandi的前J个分量，得到保留的肩部感兴趣区域特征点运动轨迹
Figure BDA0003166311790000124
以及保留的胸部感兴趣区域像素均值时间序列PMpre＝[IMF′1,IMF′2,...,IMF′j,...,IMF′J]，其中，
Figure BDA0003166311790000131
表示保留后的第j个主成分分量；IMF′j表示保留后的第j个本征模式分量；
步骤2.4.3、使用典型相关分析法对保留的肩部感兴趣区域特征点运动轨迹Ypre和保留的胸部感兴趣区域像素均值时间序列PMpre进行处理，获得混合矩阵
Figure BDA0003166311790000132
解混矩阵
Figure BDA0003166311790000133
肩部感兴趣区域的典型相关变量集
Figure BDA0003166311790000134
和胸部感兴趣区域的典型相关变量集
Figure BDA0003166311790000135
其中，
Figure BDA0003166311790000136
表示肩部感兴趣区域的第p个典型相关变量，且
Figure BDA0003166311790000137
表示第I帧视频图像中肩部感兴趣区域的第p个典型相关变量值；
Figure BDA0003166311790000138
表示胸部感兴趣区域的第p个典型相关变量，且
Figure BDA0003166311790000139
表示第I帧视频图像中胸部感兴趣区域的第p个典型相关变量值；P表示典型相关变量的个数；且肩部感兴趣区域的典型相关变量集和胸部感兴趣区域的典型相关变量集中的P个典型相关变量均是按两者的相关系数大小进行降序排列；Ypre＝AZY；PMpre＝AZPM；p∈[1,P]；
步骤2.4.4、设定相关性阈值
Figure BDA00031663117900001310
保留相关性高于
Figure BDA00031663117900001311
的典型相关变量对并将其余变量对置零，保留共同存在于肩部和胸部区域的包含呼吸成分的典型相关变量集
Figure BDA00031663117900001312
和仅包含肩部和胸部区域共同呼吸成分的胸部感兴趣区域的典型相关变量集
Figure BDA00031663117900001313
保留相关性高于所设定的相关性阈值
Figure BDA00031663117900001314
的典型相关变量对，并将其余变量对置零，从而得到共同存在于肩部和胸部感兴趣区域的包含呼吸成分的典型相关变量集
Figure BDA00031663117900001315
以及仅包含肩部和胸部感兴趣区域共同呼吸成分的胸部感兴趣区域的典型相关变量集
Figure BDA00031663117900001316
其中，
Figure BDA00031663117900001317
表示来自肩部感兴趣区域的第p个典型相关变量，
Figure BDA00031663117900001318
表示来自胸部感兴趣区域的第p个典型相关变量；
步骤2.4.5、利用式(4)重构噪声消除后的肩部感兴趣区域中包含呼吸成分的信号集
Figure BDA00031663117900001319
表示第j个仅包含呼吸成分的特征点y坐标方向的运动轨迹：
Figure BDA0003166311790000141
利用式(5)重构噪声消除后的胸口感兴趣区域中包含呼吸成分的信号集
Figure BDA0003166311790000142
表示第j个仅包含呼吸成分的像素均值时间序列：
Figure BDA0003166311790000143
步骤2.4.6、分别对信号
Figure BDA0003166311790000144
的J个分量求和取平均，得到噪声消除后的单通道肩部特征点运动轨迹Yfusion和噪声消除后的单通道胸口感兴趣区域像素均值时间序列PMfusion；
步骤三、呼吸率(RespiratoryRate，RR)估算，分别从噪声消除后的单通道肩部特征点运动轨迹Yfusion、噪声消除后的单通道胸口感兴趣区域像素均值时间序列PMfusion、保留的肩部感兴趣区域特征点运动轨迹Ypre、保留的胸部感兴趣区域像素均值时间序列PMpre中估算各自的呼吸率并计算各自的信噪比，根据各自的信噪比对相应估算的呼吸率进行加权平均，从而得到最终的呼吸率。
步骤3.1、多个信号分别进行呼吸率估算；
在具体实施例中，呼吸率估算示意图如图5所示；
首先分别对信号Ypre、PMpre的多通道求和取平均，得到原始预处理后的单通道肩部特征点运动轨迹
Figure BDA0003166311790000145
和原始预处理后的单通道胸口感兴趣区域像素均值时间序列
Figure BDA0003166311790000146
采用傅里叶变化，分别对
Figure BDA0003166311790000147
Yfusion和PMfusion进行频谱分析，并分别获得其对应的主频
Figure BDA0003166311790000148
Figure BDA0003166311790000149
和
Figure BDA00031663117900001410
并由式(6)计算对应的呼吸率：
RRi＝fpeak,i×60 (6)
式(6)中，RRi表示从第i个信号中计算得到的呼吸率值，fpeak,i表示第i个信号的主频；
步骤3.2、基于信噪比加权平均的呼吸率估算；
根据式(7)分别计算信号
Figure BDA00031663117900001411
Yfusion和PMfusion的信噪比：
Figure BDA00031663117900001412
式(7)中，SNRi表示第i个信号的信噪比，P(f)表示信号的功率谱密度，λ表示边距参数；接着再根据式(8)和式(9)对得到RRi进行基于信噪比的加权平均，得到最终的呼吸率值RRfusion：
Figure BDA0003166311790000151
Figure BDA0003166311790000152
式(8)中，wi表示信号i加权系数；
式(9)中，RRfusion表示基于信噪比加权平均的最终呼吸率值。

Claims (1)

1.一种融合肩部和胸部区域信息的非接触式呼吸率监测方法，其特征包括以下步骤：
步骤一、从受试者的I帧视频图像中提取肩部感兴趣区域的特征点运动轨迹和胸部感兴趣区域的像素均值时间序列，且所述特征点运动轨迹和像素均值时间序列均包含与呼吸相关的信息；
步骤1.1、感兴趣区域的定位；
步骤1.1.1、人脸检测：
利用人脸特征点检测算法获得第一帧视频图像中多个面部特征点，并选择其中的几个关键特征点构成多边形来确定面部感兴趣区域，并定位出所述面部感兴趣区域的外接矩形，并将所述外接矩形的上、下、左、右四个顶点记为P1,P2,P3,P4，外接矩形的宽和高分别记为w,h；
步骤1.1.2、区域定位：
根据人体面部、肩部和胸部的几何关系、受试者与相机的距离以及视频的分辨率，定位出第一帧视频图像中肩部感兴趣区域和胸部感兴趣区域，并分别确定肩部感兴趣区域中的N个特征点和胸部感兴趣区域中的M个特征点，从而获得肩部感兴趣区域的N个特征点的坐标信息
Figure FDA0003789678310000011
以及胸部感兴趣区域ROI(1)；其中，
Figure FDA0003789678310000012
表示第一帧视频图像中肩部感兴趣区域的第n个特征点的坐标信息，n∈[1,N]；
步骤1.2、感兴趣区域的追踪；
分别采用特征点追踪算法分别对第二帧至第I帧的视频图像肩部感兴趣区域的N个特征点和胸部感兴趣区域中的M个特征点进行特征点追踪，从而获得第i帧肩部感兴趣区域的N个特征点的坐标信息
Figure FDA0003789678310000013
以及第i帧胸部感兴趣区域ROI(i)；其中，
Figure FDA0003789678310000014
表示第i帧视频图像中肩部感兴趣区域的第n个特征点的坐标信息，2≤i≤I；
步骤1.3、肩部感兴趣区域特征点运动轨迹和胸部感兴趣区域像素均值时间序列的提取；
获得I帧视频图像中肩部感兴趣区域的N个特征点x方向的运动轨迹X＝[X1,X2,...,Xn,...,XN]T，其中，Xn表示第n个特征点x方向的运动轨迹，且
Figure FDA0003789678310000015
Figure FDA0003789678310000016
表示第i帧视频图像中第n个特征点x方向的坐标；
获得I帧视频图像中肩部感兴趣区域的N个特征点y方向的运动轨迹信号Y＝[Y1,Y2,...,Yn,...,YN]T，其中，Yn表示第n个特征点y方向的运动轨迹，且
Figure FDA0003789678310000021
Figure FDA0003789678310000022
表示第i帧视频图像中第n个特征点y方向的坐标；
获得I帧视频图像中胸部感兴趣区域的U个通道的像素均值时间序列PM＝[PM1,PM2,...,PMu,...,PMU]T，其中，PMu表示第u个颜色通道的像素均值时间序列，且
Figure FDA0003789678310000023
Figure FDA0003789678310000024
表示第i帧视频图像中第u个颜色通道的像素均值，u∈[1,U]；
步骤二、含运动噪声的判断及运动噪声的去除；
步骤2.1、信号预处理；
分别对肩部感兴趣区域特征点x方向的运动轨迹信号X、肩部感兴趣区域特征点y方向的运动轨迹信号Y、胸部感兴趣区域的U个通道的像素均值时间序列PM进行滤波、去趋势和归一化的预处理，从而得到预处理后的肩部感兴趣区域特征点x方向的运动轨迹信号X ′＝[X ′ 1 ,X ′ 2 ,...,X ′ n ,...,X ′ N ]T 、 预处理后的肩部感兴趣区域特征点y方向的运动轨迹Y ′＝ [Y1 ′ ,Y ′ 2 ,...,Y ′ n ,...,Y ′ N ]T 、 预处理后的胸部感兴趣区域像素均值时间序列PM′＝[PM1′,PM2′,...,PMu′,...,PM′U]T，其中，Xn′表示预处理后的第n个特征点x方向的运动轨迹；Yn′表示预处理后的第n个特征点y方向的运动轨迹；PMu′表示预处理后的第u个颜色通道的像素均值时间序列；
步骤2.2、含运动噪声的判断；
选定预处理后的肩部感兴趣区域的某一个特征点x方向的运动轨迹信号X*′，并对所述运动轨迹信号X*′进行傅里叶变换，得到运动轨迹信号X*′主频的频率值F0和功率值P0，从而利用式(1)得到含运动噪声的水平系数Wm：
Figure FDA0003789678310000025
式(1)中，δ为感兴趣呼吸频带的上限，α和β为经验系数；当含运动噪声的水平系数Wm高于ε，则判断y方向的运动轨迹Y′和胸部感兴趣区域像素均值时间序列PM′含运动噪声，并执行步骤2.3，否则表示不含运动噪声，执行步骤2.4；
步骤2.3、运动噪声去除；
步骤2.3.1、采用傅里叶变换对预处理后的肩部感兴趣区域特征点x方向的运动轨迹信号X′进行处理，得到肩部感兴趣区域特征点x方向的运动轨迹频谱
Figure FDA0003789678310000031
其中，
Figure FDA0003789678310000032
表示预处理后的第n个特征点的x方向的运动轨迹频谱；
采用傅里叶变换对预处理后的肩部感兴趣区域特征点y方向的运动轨迹信号Y′进行处理得到肩部感兴趣区域特征点y方向的运动轨迹频谱
Figure FDA0003789678310000033
其中，
Figure FDA0003789678310000034
表示预处理后的肩部感兴趣区域的第n个特征点y方向的运动轨迹频谱；
采用傅里叶变换对预处理后的胸部感兴趣区域像素均值时间序列信号PM′进行处理，得到胸部感兴趣区域像素均值时间序列频谱
Figure FDA0003789678310000035
其中，
Figure FDA0003789678310000036
表示预处理后的第u个颜色通道的胸部感兴趣区域像素均值时间序列频谱；
步骤2.3.2、利用肩部感兴趣区域特征点x方向的运动轨迹频谱fX′和肩部感兴趣区域特征点y方向的运动轨迹频谱fY′关于运动噪声在频域的相关性，采用式(2)对肩部感兴趣区域第n个特征点y方向的运动轨迹频谱进行运动噪声频谱相减处理，从而得到消除运动噪声频谱的肩部感兴趣区域的第n个特征点y方向的运动轨迹频谱
Figure FDA0003789678310000037
Figure FDA0003789678310000038
将运动轨迹频谱
Figure FDA0003789678310000039
的负值归零后，再使用傅里叶逆变换进行处理，得到运动噪声去除后的肩部感兴趣区域的第n个特征点y方向的运动轨迹Yn″，从而获得运动噪声去除后的肩部感兴趣区域特征点y方向的运动轨迹信号Y″＝[Y1″,Y2″,...,Yn″,...,YN″]T；
步骤2.3.3、利用胸部感兴趣区域像素均值时间序列频谱fPM′和N个肩部感兴趣区域特征点x方向的运动轨迹频谱fX′关于运动噪声在频域的相关性，采用式(3)对胸部感兴趣区域第u个颜色通道像素均值时间序列进行运动噪声频谱相减处理，从而得到消除运动噪声频谱的胸部感兴趣区域第u个像素均值时间序列的频谱
Figure FDA00037896783100000310
Figure FDA00037896783100000311
将频谱
Figure FDA00037896783100000312
的负值归零后，再使用傅里叶逆变换进行处理，得到运动噪声去除后的胸部感兴趣区域第u个像素均值时间序列PM″u，从而获得运动噪声去除后的胸部感兴趣区域像素均值时间序列信号PM″＝[PM1″,PM2″,...,PMu″,...,PM″U]；
步骤2.4、噪声消除后的肩部感兴趣区域和胸部感兴趣区域包含呼吸成分的信号重构；
步骤2.4.1采用主成分分析法提取噪声消除后的肩部感兴趣区域内特征点y方向的运动轨迹Y″或预处理后的肩部感兴趣区域特征点y方向的运动轨迹Y′的N个主成分分量，并根据每个主成分分量的特征值λ＝[λ1,λ2,...,λn,...,λN]的大小关系，按照降序对N个主成分分量进行排序，生成排序后的主成分分量集YPCA＝[YPCA1,YPCA2,...,YPCAn,...,YPCAN]，YPCAn表示排序后的第n个主成分分量；
步骤2.4.2、采用集合经验模态分解法对噪声消除后的胸部感兴趣区域像素均值时间序列PM″或预处理后的胸部感兴趣区域像素均值时间序列PM′进行本征模式分量分解，得到L个本征模式分量集PMIMF＝[IMF1,IMF2,…,IMFl,…,IMFL]，L≥U，其中，IMFl表示第l个本征模式分量，l∈[1,L]；
步骤2.4.2.1、定义候选本征模式分量集PMcandi，并初始化为空；初始化l＝1；
步骤2.4.2.2、计算第l个本征模式分量IMFl的频谱图，判断第l个频谱图中的最大幅值所对应的频率分量是否处于所设定的感兴趣呼吸频带内，若处于，则将第l个本征模式分量IMFl加入候选本征模式分量集PMcandi；否则直接执行步骤2.4.2.4；
步骤2.4.2.3、将l+1赋值给l；若l＜L，返回步骤2.4.2.2；否则，表示获得候选本征模式分量集PMcandi＝[IMF1′,IMF2′,…,IMFk′,…,IMFK′]，K≤L，其中，IMFk′表示第k个最大幅值所对应的频率分量处于所设定的感兴趣呼吸频带内的本征模式分量；
步骤2.4.2.4、令J＝min(K,N)，分别保留YPCA和PMcandi的前J个分量，得到保留的肩部感兴趣区域特征点运动轨迹Ypre＝[YPCA1,YPCA2,…,YPCAj,…,YPCAJ]以及保留的胸部感兴趣区域像素均值时间序列PMpre＝[IMF1′,IMF2′,...,IMFj′,...,IMFJ′]，其中，YPCAj表示保留后的第j个主成分分量；IMFj′表示保留后的第j个本征模式分量；
步骤2.4.3、使用典型相关分析法对保留的肩部感兴趣区域特征点运动轨迹Ypre和保留的胸部感兴趣区域像素均值时间序列PMpre进行处理，获得混合矩阵
Figure FDA0003789678310000041
解混矩阵
Figure FDA0003789678310000051
肩部感兴趣区域的典型相关变量集
Figure FDA0003789678310000052
和胸部感兴趣区域的典型相关变量集
Figure FDA0003789678310000053
其中，
Figure FDA0003789678310000054
表示肩部感兴趣区域的第p个典型相关变量，且
Figure FDA0003789678310000055
Figure FDA0003789678310000056
表示第I帧视频图像中肩部感兴趣区域的第p个典型相关变量值；
Figure FDA0003789678310000057
表示胸部感兴趣区域的第p个典型相关变量，且
Figure FDA0003789678310000058
Figure FDA0003789678310000059
表示第I帧视频图像中胸部感兴趣区域的第p个典型相关变量值；P表示典型相关变量的个数；且肩部感兴趣区域的典型相关变量集和胸部感兴趣区域的典型相关变量集中的P个典型相关变量均是按两者的相关系数大小进行降序排列；Ypre＝AZY；PMpre＝AZPM；p∈[1,P]；
步骤2.4.4、保留相关性高于所设定的相关性阈值
Figure FDA00037896783100000510
的典型相关变量对，并将其余变量对置零，从而得到共同存在于肩部和胸部感兴趣区域的包含呼吸成分的典型相关变量集
Figure FDA00037896783100000511
以及仅包含肩部和胸部感兴趣区域共同呼吸成分的胸部感兴趣区域的典型相关变量集
Figure FDA00037896783100000512
其中，
Figure FDA00037896783100000513
表示来自肩部感兴趣区域的第p个典型相关变量，
Figure FDA00037896783100000514
表示来自胸部感兴趣区域的第p个典型相关变量；
步骤2.4.5、利用式(4)重构噪声消除后的肩部感兴趣区域中包含呼吸成分的信号集
Figure FDA00037896783100000515
其中，
Figure FDA00037896783100000516
表示第j个仅包含呼吸成分的特征点y坐标方向的运动轨迹：
Figure FDA00037896783100000517
利用式(5)重构噪声消除后的胸口感兴趣区域中包含呼吸成分的信号集
Figure FDA00037896783100000518
其中，
Figure FDA00037896783100000519
表示第j个仅包含呼吸成分的像素均值时间序列：
Figure FDA00037896783100000520
步骤2.4.6、分别对信号集
Figure FDA00037896783100000521
和
Figure FDA00037896783100000522
的J个分量求和取平均，得到噪声消除后的单通道肩部特征点运动轨迹Yfusion和噪声消除后的单通道胸口感兴趣区域像素均值时间序列PMfusion；
步骤三、呼吸率的估算：
分别从噪声消除后的单通道肩部特征点运动轨迹Yfusion、噪声消除后的单通道胸口感兴趣区域像素均值时间序列PMfusion、保留的肩部感兴趣区域特征点运动轨迹Ypre、保留的胸部感兴趣区域像素均值时间序列PMpre中估算各自的呼吸率并计算各自的信噪比，根据各自的信噪比对相应估算的呼吸率进行加权平均，从而得到最终的呼吸率。
CN202110805379.3A 2021-07-16 2021-07-16 一种融合肩部和胸部区域信息的非接触式呼吸率监测方法 Active CN113361526B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110805379.3A CN113361526B (zh) 2021-07-16 2021-07-16 一种融合肩部和胸部区域信息的非接触式呼吸率监测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110805379.3A CN113361526B (zh) 2021-07-16 2021-07-16 一种融合肩部和胸部区域信息的非接触式呼吸率监测方法

Publications (2)

Publication Number Publication Date
CN113361526A CN113361526A (zh) 2021-09-07
CN113361526B true CN113361526B (zh) 2022-09-27

Family

ID=77539822

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110805379.3A Active CN113361526B (zh) 2021-07-16 2021-07-16 一种融合肩部和胸部区域信息的非接触式呼吸率监测方法

Country Status (1)

Country Link
CN (1) CN113361526B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114170201B (zh) * 2021-12-08 2024-04-26 山东大学 基于边缘光流信息的非接触式呼吸率检测方法及系统

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013081707A (ja) * 2011-10-12 2013-05-09 Aisin Seiki Co Ltd 睡眠状態判別装置および睡眠状態判別方法
CN104769596A (zh) * 2012-12-07 2015-07-08 英特尔公司 生理线索处理
CN105678780A (zh) * 2016-01-14 2016-06-15 合肥工业大学智能制造技术研究院 一种去除环境光变化干扰的视频心率检测方法
CN105962915A (zh) * 2016-06-02 2016-09-28 安徽大学 非接触式人体呼吸率与心率同步测量方法及系统
CN106063702A (zh) * 2016-05-23 2016-11-02 南昌大学 一种基于人脸视频图像的心率检测系统及检测方法
CN106798556A (zh) * 2017-03-21 2017-06-06 成都柔电云科科技有限公司 一种基于电子表皮的便携式心电检测装置
CN106901741A (zh) * 2017-03-13 2017-06-30 合肥工业大学 一种适用于昼夜环境的呼吸率检测方法
CN107550509A (zh) * 2017-10-16 2018-01-09 合肥工业大学 一种基于非接触式呼吸模式检测的x光机成像触发方法
CN108272448A (zh) * 2018-03-29 2018-07-13 合肥工业大学 一种非接触式的婴儿生理参数昼夜监护方法
CN111513701A (zh) * 2020-05-26 2020-08-11 上海眼控科技股份有限公司 心率检测方法、装置、计算机设备和可读存储介质
CN112001862A (zh) * 2020-08-26 2020-11-27 合肥工业大学 消除视频心冲击信号运动噪声的非接触式视心率检测方法
CN112043257A (zh) * 2020-09-18 2020-12-08 合肥工业大学 一种运动鲁棒的非接触式视频心率检测方法
CN112741611A (zh) * 2020-12-25 2021-05-04 上海交通大学 基于毫米波感知的多人体生命体征同步监测系统及方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB201509809D0 (en) * 2015-06-05 2015-07-22 Isis Innovation Method and apparatus for vital signs measurement

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013081707A (ja) * 2011-10-12 2013-05-09 Aisin Seiki Co Ltd 睡眠状態判別装置および睡眠状態判別方法
CN104769596A (zh) * 2012-12-07 2015-07-08 英特尔公司 生理线索处理
CN105678780A (zh) * 2016-01-14 2016-06-15 合肥工业大学智能制造技术研究院 一种去除环境光变化干扰的视频心率检测方法
CN106063702A (zh) * 2016-05-23 2016-11-02 南昌大学 一种基于人脸视频图像的心率检测系统及检测方法
CN105962915A (zh) * 2016-06-02 2016-09-28 安徽大学 非接触式人体呼吸率与心率同步测量方法及系统
CN106901741A (zh) * 2017-03-13 2017-06-30 合肥工业大学 一种适用于昼夜环境的呼吸率检测方法
CN106798556A (zh) * 2017-03-21 2017-06-06 成都柔电云科科技有限公司 一种基于电子表皮的便携式心电检测装置
CN107550509A (zh) * 2017-10-16 2018-01-09 合肥工业大学 一种基于非接触式呼吸模式检测的x光机成像触发方法
CN108272448A (zh) * 2018-03-29 2018-07-13 合肥工业大学 一种非接触式的婴儿生理参数昼夜监护方法
CN111513701A (zh) * 2020-05-26 2020-08-11 上海眼控科技股份有限公司 心率检测方法、装置、计算机设备和可读存储介质
CN112001862A (zh) * 2020-08-26 2020-11-27 合肥工业大学 消除视频心冲击信号运动噪声的非接触式视心率检测方法
CN112043257A (zh) * 2020-09-18 2020-12-08 合肥工业大学 一种运动鲁棒的非接触式视频心率检测方法
CN112741611A (zh) * 2020-12-25 2021-05-04 上海交通大学 基于毫米波感知的多人体生命体征同步监测系统及方法

Non-Patent Citations (7)

* Cited by examiner, † Cited by third party
Title
Photoplethysmography-Based Heart Rate Monitoring Using Asymmetric Least Squares Spectrum Subtraction and Bayesian Decision Theory;Biao Sun 等;《IEEE SENSORS JOURNAL》;20151231;第15卷(第12期);第7161-7168页 *
Respiration Rate Estimation with Depth Cameras: An Evaluation of Parameters;Jochen Kempfle 等;《2018 Association for Computing Machinery》;20181231;第1-12页 *
信号平均心电图频谱时间标测——心室晚电位的最新检查法;齐洪涛 等;《心血管病学进展》;19961231;第17卷(第3期);第166-170页 *
基于压缩采样脉搏信号的抗运动干扰心率提取算法;张爱华 等;《计算机工程》;20190430;第45卷(第4期);第302-310页 *
基于多区域分析的非接触式热红外视频心率检测方法;陆磊 等;《生物医学工程研究》;20210331;第40卷(第1期);第21-27页 *
抗运动伪影下基于PPG的心率估计方法研究与应用;徐海津;《中国优秀博硕士学位论文全文数据库（硕士） 医药卫生科技辑》;20180915;第2018年卷(第09期);第E062-10页 *
运动状态下基于脉搏波的心率检测技术研究;宋旭晖;《中国优秀博硕士学位论文全文数据库（硕士） 医药卫生科技辑》;20190815;第2019年卷(第08期);第E062-33页 *

Also Published As

Publication number Publication date
CN113361526A (zh) 2021-09-07

Similar Documents

Publication Publication Date Title
Bobbia et al. Unsupervised skin tissue segmentation for remote photoplethysmography
Song et al. New insights on super-high resolution for video-based heart rate estimation with a semi-blind source separation method
Feng et al. Motion-resistant remote imaging photoplethysmography based on the optical properties of skin
Yang et al. Estimating heart rate and rhythm via 3D motion tracking in depth video
US10016166B2 (en) Contactless detection method with noise limination for information of physiological and physical activities
Liu et al. Motion-robust multimodal heart rate estimation using BCG fused remote-PPG with deep facial ROI tracker and pose constrained Kalman filter
Basu et al. Infrared imaging based hyperventilation monitoring through respiration rate estimation
CN111275018B (zh) 一种基于环形感兴趣区域加权的非接触式心率信号提取方法
US20230233091A1 (en) Systems and Methods for Measuring Vital Signs Using Multimodal Health Sensing Platforms
CN111281367A (zh) 一种基于人脸视频的抗干扰非接触式心率检测方法
CN111938622B (zh) 心率检测方法、装置及系统、可读存储介质
Zhao et al. Performance evaluation of visual object detection and tracking algorithms used in remote photoplethysmography
CN114170201A (zh) 基于边缘光流信息的非接触式呼吸率检测方法及系统
CN113361526B (zh) 一种融合肩部和胸部区域信息的非接触式呼吸率监测方法
Gwak et al. Motion-based respiratory rate estimation with motion artifact removal using video of face and upper body
Cheng et al. Motion-robust respiratory rate estimation from camera videos via fusing pixel movement and pixel intensity information
Yang et al. Graph-based denoising for respiration and heart rate estimation during sleep in thermal video
KR102150635B1 (ko) 비전 기반 심박수 측정 방법
Wei et al. Remote photoplethysmography and heart rate estimation by dynamic region of interest tracking
Tan et al. Lightweight video-based respiration rate detection algorithm: An application case on intensive care
CN114569101A (zh) 非接触式心率检测方法、装置和电子设备
CN114140496A (zh) 一种非接触式呼吸检测方法和装置
Lin et al. Step count and pulse rate detection based on the contactless image measurement method
Guo et al. Remote estimation of respiration rate by optical flow using convolutional neural networks
CN113693573B (zh) 一种基于视频的非接触式多生理参数监测的系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant