CN113693573B - 一种基于视频的非接触式多生理参数监测的系统及方法 - Google Patents

一种基于视频的非接触式多生理参数监测的系统及方法 Download PDF

Info

Publication number
CN113693573B
CN113693573B CN202110995529.1A CN202110995529A CN113693573B CN 113693573 B CN113693573 B CN 113693573B CN 202110995529 A CN202110995529 A CN 202110995529A CN 113693573 B CN113693573 B CN 113693573B
Authority
CN
China
Prior art keywords
signal
signals
module
physiological
roi
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110995529.1A
Other languages
English (en)
Other versions
CN113693573A (zh
Inventor
杨刚
经力
姚璐
张富强
朱威利
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN202110995529.1A priority Critical patent/CN113693573B/zh
Publication of CN113693573A publication Critical patent/CN113693573A/zh
Application granted granted Critical
Publication of CN113693573B publication Critical patent/CN113693573B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/0205—Simultaneously evaluating both cardiovascular conditions and different types of body conditions, e.g. heart and respiratory condition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/145—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
    • A61B5/14542—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue for measuring blood gases
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7203—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7225—Details of analog processing, e.g. isolation amplifier, gain or sensitivity adjustment, filtering, baseline or drift compensation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7253—Details of waveform analysis characterised by using transforms
    • A61B5/7257—Details of waveform analysis characterised by using transforms using Fourier transforms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7253—Details of waveform analysis characterised by using transforms
    • A61B5/726—Details of waveform analysis characterised by using transforms using Wavelet transforms

Abstract

一种基于视频的非接触式多生理参数监测的系统及方法，系统包括，特征点检测模块、ROI区域定位模块、信号提取模块、信号处理模块，生理参数计算模块。方法的步骤为：初始化相机、读取图像、特征点检测、计算头部偏角、人脸矫正、ROI区域定位、提取原始生理信号、处理原始生理信号、计算生理参数。本发明的系统从人脸视频中提取出一维的原始生理信号并进行处理，信号处理算法高效，实时性较高。本发明的方法充分利用人脸视频中含有的生理信息，可同时测量呼吸率、心率和血氧饱和度，并通过对信号进行分段标准化，有效去除照明光变化的影响，鲁棒性较强。

Description

一种基于视频的非接触式多生理参数监测的系统及方法
技术领域
本发明属于物理技术领域，尤其涉及图像处理技术领域的一种从人脸视频中实时的提取呼吸率、心率以及血氧饱和度的系统及方法。
背景技术
心血管病已经成为致死数最多的疾病。考虑到心血管病如果能早发现，早救治，就可以大大降低发病率和死亡率，因此研制一种能够有效监测心率、呼吸率以及血氧饱和度等与心血管病密切相关的生理参数的监测系统具有很高的实用价值和社会意义。上述各项生理参数的检测主要有接触式和非接触式两种，因为非接触式检测方法具有舒适度高、适应性强、便于长时间监测等诸多优点，所以受到了研究人员的广泛关注。当前，已经出现了一些非接触式生理参数测量方法。
深圳大学在其申请的专利文献“一种基于面部视频的非接触式新生儿心率监测方法及系统”(专利申请专利号：202010064242.2，公开号：CN 111248890 A)中公开了一种采集新生儿面部视频并从中提取心率的方法。该方法通过对新生儿面不进行检测，进而获取基于眼部特征的新生儿面部感兴趣区域(Region Of Interest,ROI)，然后对ROI区域的图像进行收集并合成指定帧率的视频，进而使用欧拉放大算法对合成的视频进行放大，最终通过处理放大后视频的绿色通道信号得到新生儿的心率。虽然该方法采用欧拉放大算法可以有效提升视频中所含心率信号的信噪比，测量精度较高，但该方法仍然存在的不足之处是：该方法需要先积累ROI区域的图像并合成视频，计算复杂度较高，实时性较低。
天津点康科技有限公司在其申请的专利文献“非接触式自动心率测量系统及测量方法”(专利申请专利号：201310172275.9，公开号：CN 104138254 A)中公开了一种非接触式心率测量系统，系统中的各模块分别为视频采集、分帧提取ROI、基色分量分离、时域信号生成、盲源分离、信号筛选、心率分析。该系统使用盲源分离模块处理时域信号生成模块生成的三路时域信号，并通过信号筛选模块对分离后信号进行筛选，进而得到处理后的心率信号，最终通过心率分析模块算得心率值。虽然该系统能够实现自动的非接触式远程心率检测，且盲源分离算法的引入使得该系统有一定的抗运动干扰特性，但该系统仍然存在的不足之处是：盲源分离方法对光照较为敏感，在光照较弱或光照变化的场景下，测量结果的误差会增加。
此外，上述两项公开的专利文献所述的系统及方法未能充分利用视频中所含的信息，具体表现为仅能够实现非接触式的心率测量，而对于呼吸率、血氧饱和度等心血管参数则无法测量。
发明内容
本发明的目的在于针对上述现有技术的不足，提出一种基于视频的非接触式多生理参数监测的系统及方法。本发明可用于从彩色相机采集的人脸视频中实时的估计呼吸率、心率以及血氧饱和度，进而提供被检测者的呼吸率、心率以及血氧饱和度的监测数据。通过捕获视频中人体脸部的反射光强度随时间的变化，可以提取出含有心血管参数的原始生理信号。原始生理信号中的变化主要来源于三个方面：呼吸运动导致的人脸、相机以及光源三者之间的角度变化；脸部的血容量变化导致的皮肤组织吸光度的变化；包括照明光变化以及人体面部动作在内的一些噪声。由于原始信号含有干扰，因此需要对原始信号进行处理。本发明在信号处理时，通过对信号进行分段标准化，降低了测试过程中光照变化的影响，且所用算法从当前帧提取当前时刻的信号，无需累计图像并合成视频，提高了监测的实时性。
为了实现上述目的，本发明采用的技术方案是：
一种基于视频的非接触式多生理参数监测的系统，其特征在于，包括特征点检测模块、信号提取模块，生理参数计算模块，ROI区域定位模块、信号处理模块；其中：
所述特征点检测模块，用于检测相机捕获的含有人脸的图像中的68个特征点，具体过程为从相机读取一帧图像作为当前帧图像，然后进行人脸检测，若检测到人脸则进行特征点对齐，并将得到的脸部68个特征点发送给ROI区域定位模块；否则，继续从相机读取下一帧图像；
所述ROI区域定位模块，用于利用特征点提供的位置信息定位出脸部适合进行生理参数检测的区域。根据人体的生理特性，面部的额头以及两侧脸颊含有丰富的血管，且包含了呼吸上颌，能够较好的反应呼吸运动和血容量变化。因此分别在额头、左脸颊以及右脸颊确定ROI，并将定位出的ROI区域发送给信号提取模块；
所述信号提取模块，用于从ROI区域中提取原始的生理信号，具体过程为对ROI区域内的像素值求平均，将均值作为当前时刻的原始生理信号，并发送给信号处理模块；
所述信号处理模块，用于去除原始生理信号中的噪声；对于呼吸率，通过长度为5.5秒的分段窗口进行分段标准化；使用通带为0.2Hz到0.8Hz的2阶巴特沃斯滤波器对标准化后信号进行零相位滤波；应用主成分分析对三个ROI区域的滤波后信号进行分离；从分离后的信号中选择出去噪后呼吸信号。对于心率，通过长度为1.5秒的分段窗口进行分段标准化；使用线性组合的方式对标准化后的信号进行增强；使用通带为0.7Hz到4.0Hz的3阶巴特沃斯滤波器对增强后信号进行零相位滤波；对滤波后信号进行加权，并将加权后信号作为去噪后心率信号；对于血氧饱和度，通过长度为1.5秒的分段窗口对红色和蓝色通道的原始生理信号进行分段标准化；对标准化后的信号进行小波去噪；将小波去噪后信号头尾各半个分段长度的信号去除，并对剩余的信号按分段长度进行分段，将标准差最大和最小的分段确定为高噪时段；将去除高噪时段的信号作为红色和蓝色通道的去噪后信号，用于计算血氧饱和度。将经过处理的信号发送给生理参数计算模块。
所述生理参数计算模块，用于从经过处理的生理信号中计算出呼吸率、心率以及血氧饱和度。对于呼吸率，使用快速傅里叶变换(Fast Fourier Transform,FFT)计算出去噪后呼吸信号的频谱，在0.2Hz到0.8Hz的频带范围内搜索频谱的最大值，最大值对应的频率即为当前测得的呼吸频率，在此基础上结合历史值对当前值进行约束，进而得到最终的呼吸率。对于心率，使用FFT计算出去噪后心率信号的频谱，在0.7Hz到4.0Hz的频带范围内搜索频谱的最大值，最大值对应的频率即为当前测得的心率，在此基础上结合历史值对当前值进行约束，进而得到最终的心率。对于血氧饱和度，计算红色和蓝色通道去噪后信号的标准差的比值；对三个ROI区域算得的三个比值进行加权，将加权后的比值代入血氧饱和度计算模型算出当前血氧饱和度的测量值，在此基础上结合历史值对当前值进行约束，进而得到最终的血氧饱和度。
一种基于视频的非接触式多生理参数监测的方法，其特征在于，充分利用人脸视频中的生理信息，可同时计算呼吸率、心率和血氧饱和度；根据人体生理特性，为呼吸率、心率以及血氧饱和度分别定位出合适的ROI区域；使用分段标准化、零相位带通滤波、信号质量评价、信号加权等算法处理信号，该方法的具体步骤包括如下：
(1)初始化相机：
对相机的帧率、分辨率、输出图像格式等参数进行设置；
(2)读取图像：
通过相机的访问接口以软件触发的方式从相机获取一帧图像；
(3)特征点检测模块判断是否检测到脸部的68个特征点，若是，则执行步骤(4)，否则，执行步骤(2)；
(4)计算头部偏角：
ROI区域定位模块根据检测到的特征点的位置计算出头部和竖直方向的偏角；
(5)ROI区域定位模块判断偏角是否大于设定的阈值，若是则执行步骤(6)，否则，执行步骤(7)；
(6)人脸矫正：
ROI区域定位模块根据头部和竖直方向的偏角，将图像向相反的方向旋转相同的角度；
(7)ROI区域定位
(7a)ROI区域定位模块利用特征点提供的位置信息，在额头、左脸颊以及右脸颊三个部位定位出适合于心率以及血氧饱和度检测的ROI区域。
(7b)ROI区域定位模块利用特征点提供的位置信息，在额头、左脸颊以及右脸颊三个部位定位出适合于呼吸率检测的ROI区域，所定位的ROI区域的边长为20像素，且与步骤(7a)定位出的三个ROI共用几何中心；
(8)提取原始生理信号：
(8a)ROI区域定位模块将定位的结果发送给信号提取模块；
(8b)信号提取模块对步骤(7a)定位出的三个ROI区域内的红色、蓝色以及绿色通道的像素值取平均，共可获得9路均值，将算得的9路均值作为当前时刻的原始生理信号，用于计算心率，其中红色和蓝色通道的6路原始生理信号用于计算血氧饱和度。
(8c)信号提取模块对步骤(7b)定位出的三个ROI区域内的蓝色通道的像素值取平均，共可获得3路均值，将算得的3路均值作为当前时刻的原始生理信号，用于计算呼吸率。
(9)处理用于计算呼吸率的原始生理信号：
(9a)信号提取模块将提取的用于计算呼吸率的3路原始生理信号发送给信号处理模块；
(9b)信号处理模块使用长度为5.5秒的分段窗口对每路原始生理信号进行分段，同时分段窗口以分段长度的一半为步长进行移动。对于每个分段，使用标准化公式进行标准化，对标准化后的各分段加汉宁窗后叠加，得到标准化后的信号；
(9c)信号处理模块使用通带为0.2Hz到0.8Hz的2阶巴特沃斯滤波器对每路标准化后信号进行零相位滤波，得到滤波后信号；
(9d)信号处理模块使用主成分分析对3路滤波后信号进行分离，得到3路相互独立的分离后信号；
(9e)信号处理模块根据信号质量评价公式对3路分离后信号进行评价，选择其中质量最高的信号作为去噪后呼吸信号；
(10)处理用于计算心率的原始生理信号：
(10a)信号提取模块将提取的用于计算心率的9路原始生理信号发送给信号处理模块；
(10b)信号处理模块使用长度为1.5秒的分段窗口对每路原始生理信号进行分段，同时分段窗口以分段长度的一半为步长进行移动。对于每个分段，使用标准化公式进行标准化，对标准化后的各分段加汉宁窗后叠加，得到标准化后的信号；
(10c)信号处理模块使用信号增强公式对每个ROI的3路标准化后信号以线性组合的方式进行增强，可从9路标准化后信号得到3路增强后信号；
(10d)信号处理模块使用通带为0.7Hz到4.0Hz的3阶巴特沃斯滤波器对每路增强后信号进行零相位滤波，得到滤波后信号；
(10e)信号处理模块使用加权公式对3路滤波后信号进行加权，得到去噪后心率信号；
(11)处理用于计算血氧饱和度的原始生理信号：
(11a)信号提取模块将提取的用于计算血氧饱和度的6路原始生理信号发送给信号处理模块；
(11b)信号处理模块使用长度为1.5秒的分段窗口对每路原始生理信号进行分段，同时分段窗口以分段长度的一半为步长进行移动。对于每个分段，使用标准化公式进行标准化，对标准化后的各分段加汉宁窗后叠加，得到标准化后的信号；
(11c)信号处理模块对每路标准化后的信号进行5层小波包分解，使用阈值函数处理分解后的小波包系数，并将处理后的系数重构，得到小波去噪后信号；
(11d)信号处理模块将小波去噪后信号的头部半个分段长度及尾部半个分段长度去除，并对剩下的信号按照分段长度进行分段。将标准差最大和最小的分段作为高噪时段并去除，得到红色和蓝色通道的去噪后信号；
(12)计算生理参数：
(12a)信号处理模块将去噪后呼吸信号、去噪后心率信号以及红色和蓝色通道的去噪后信号发送给生理参数计算模块；
(12b)生理参数计算模块通过FFT计算去噪后呼吸信号的频谱，并在0.2Hz到0.8Hz的频带范围内搜索频谱的最大值，最大值对应的频率即为呼吸率的本次测量值；
(12c)生理参数计算模块通过FFT计算去噪后心率信号的频谱，并在0.7Hz到4.0Hz的频带范围内搜索频谱的最大值，最大值对应的频率即为心率的本次测量值；
(12d)生理参数计算模块计算红色和蓝色通道去噪后信号的标准差的比值，并使用加权公式对三个ROI区域算得的三个比值进行加权，将加权后的比值代入血氧饱和度计算模型算出血氧饱和度的本次测量值；
(12e)生理参数计算模块将呼吸率、心率以及血氧饱和度的本次测量值与上一次测量值相比较，若两者的差超过设定的阈值，则不会采用本次测量值，此时，最终的测量结果由上一次测量值加上或减去阈值得到。
进一步，步骤(9e)中所述信号质量评价公式如下：
Figure BDA0003233951710000091
p1和p2分别表示待评价信号的频谱在设定频带内的最高峰和次高峰，对于呼吸率检测，频带设定为0.2到0.8Hz；对于心率检测，频带设定为0.7到4.0Hz。
进一步，步骤(10e)中所述加权公式如下：
Figure BDA0003233951710000092
Figure BDA0003233951710000093
式中Wi表示第i个ROI的滤波后心率信号
Figure BDA0003233951710000094
的权重，Qi表示
Figure BDA0003233951710000095
的信号质量，由信号质量评价公式算得，HR(t)表示加权后得到的心率信号，即去噪后心率信号。
本发明与现有的技术相比具有以下优点：
第一，由于本发明的系统中的ROI区域定位模块和信号提取模块可以从人脸图像中提取质量较高的一维原始生理信号，信号后续处理的计算量较小，克服了现有技术的系统需要合成视频以应用欧拉视频放大算法，导致计算量大和实时性低的缺点，使得本发明的系统实时性更高。
第二，由于本发明的方法对原始生理信号进行分段标准化，有效去除了信号中的低频趋势项和突变，克服了现有技术的方法使用图像颜色放大提取心率对照明光的变化敏感的缺点，使得本发明的方法在光照强度变化的场景下生理参数的测量误差较小。
第三，由于本发明的方法充分利用了人脸视频中含有的生理信息，可同时测量呼吸率、心率和血氧饱和度，克服了现有技术的方法只能测量心率的缺点，使得本发明在实际应用中能够提供更多的生理参数测量值，因而具有更高的实用性。
附图说明
图1是本发明系统的硬件框架图；
图2是本发明系统的软件模块框图；
图3是本发明方法的流程图；
图4是脸部68个特征点的位置示意图；
图5是本发明方法的用于心率和血氧饱和度监测的ROI区域示意图；
图6是本发明方法的用于呼吸率监测的ROI区域示意图；
具体实施方式
下面结合附图对本发明做进一步的描述。
参照图1，本发明的一种硬件实施可由触摸屏、计算平台、相机、机械结构四部分组成。所述触摸屏用于人机交互，用户可通过图形界面控制生理参数监测的过程；所述计算平台用于运行生理参数检测的算法，可以是手机、嵌入式设备或个人电脑；所述相机用于采集视频，相机的图像传感器为彩色图像传感器，可以捕获红绿蓝三个通道的视频；所述机械结构用于连接其它硬件组成部分，使设备便于使用和移动。
参照图2，本发明的系统包括特征点检测模块、ROI区域定位模块、信号提取模块、信号处理模块，生理参数计算模块。所述特征点检测模块用于检测脸部的68个特征点，并将检测结果发送给ROI区域定位模块；所述ROI区域定位模块利用特征点提供的位置信息在额头及两侧脸颊定位出适合进行生理参数检测的区域，并将定位结果发送给信号提取模块；所述信号提取模块用于从ROI区域中提取原始的生理信号，并将提取的信号发送给信号处理模块。所述信号处理模块用于去除原始生理信号中的噪声，并将去噪后信号发送给生理参数计算模块；所述生理参数计算模块根据去噪后信号和历史测量结果计算出呼吸率、心率以及血氧饱和度。
下面结合图3、图4以及图5，对本发明的方法做进一步的描述。
步骤1，初始化相机。
通过开源计算机视觉库OpenCV中的相机访问接口对相机的帧率、分辨率以及输出图像格式等参数进行设置，帧率设置为30fps，分辨率设置为640*480，输出图像格式设置为YUV格式。
步骤2，读取图像。
通过OpenCV中的相机访问接口以软件触发的方式从相机获取一帧图像。
步骤3，特征点检测模块判断是否检测到脸部的68个特征点，若是，则执行步骤4，否则，执行步骤2。
步骤4，计算头部偏角。
ROI区域定位模块根据检测到的特征点的位置计算出头部和竖直方向的偏角。脸部的68个特征点的位置如图4所示，计算偏角时，连接第27号和30号特征点，两者连线与竖直方向的夹角即为头部偏角。
步骤5，ROI区域定位模块判断偏角是否大于设定的阈值，若是，则执行步骤6，否则，执行步骤7；
步骤6，人脸矫正。
ROI区域定位模块根据头部和竖直方向的偏角，将图像向相反的方向旋转相同的角度；
步骤7，ROI区域定位
ROI区域定位模块利用特征点提供的位置信息，在额头、左脸颊以及右脸颊三个部位定位出适合于心率以及血氧饱和度检测的ROI区域。位于额头的ROI左边界由过19号特征点的垂线确定，右边界由过24号特征点的垂线确定。将19号和33号特征点的垂直距离记为L，则下边界由过19号特征点的水平线上移L的10％确定，上边界由下边界上移L的40％确定；位于左脸颊的ROI左边界由过17号特征点的垂线确定，右边界由过40号特征点的垂线确定，下边界由过33号特征点的水平线确定，上边界由过28号和29号特征点的中点的水平线确定；位于额头的ROI左边界由过47号特征点的垂线确定，右边界由过26号特征点的垂线确定，上下边界则与左脸颊ROI的上下边界相同。定位结果可由图5描述。
ROI区域定位模块利用特征点提供的位置信息，在额头、左脸颊以及右脸颊三个部位定位出适合于呼吸率检测的ROI区域，所定位的ROI区域的边长为20像素，且与用于心率和血氧饱和度检测的ROI共用几何中心。定位结果可由图6描述。
步骤8，提取原始生理信号。
ROI区域定位模块将定位的结果发送给信号提取模块；
信号提取模块对用于心率和血氧饱和度检测的三个ROI区域内的红色、蓝色以及绿色通道的像素值取平均，共可获得9路均值，将算得的9路均值作为当前时刻的原始生理信号用于计算心率，其中红色和蓝色通道的6路原始生理信号用于计算血氧饱和度。
信号提取模块对用于呼吸率检测的三个ROI区域内的蓝色通道的像素值取平均，共可获得3路均值，将算得的3路均值作为当前时刻的原始生理信号，用于计算呼吸率。
为了便于表述，将原始生理信号记为
Figure BDA0003233951710000131
式中的下标c表示颜色通道，取值为R、G、B三者之一，上标i则表示ROI的编号，取值为1～3。
步骤9，处理用于计算呼吸率的原始生理信号：
信号提取模块将提取的用于计算呼吸率的3路原始生理信号
Figure BDA0003233951710000141
发送给信号处理模块；
信号处理模块使用长度为5.5秒的分段窗口对
Figure BDA0003233951710000142
进行分段，同时分段窗口以分段长度的一半为步长进行移动。对于每个分段，使用标准化公式进行标准化，得到每个分段的标准化信号，记为
Figure BDA0003233951710000143
式中w1和w2分别表示分段的左右边界。对标准化后的各分段加汉宁窗后叠加，得到标准化后的信号，记为
Figure BDA0003233951710000144
所述标准化公式如下：
Figure BDA0003233951710000145
式中的符号μ表示取均值。
信号处理模块使用通带为0.2Hz到0.8Hz的2阶巴特沃斯滤波器对每路标准化后信号进行零相位滤波，得到滤波后信号；
信号处理模块使用主成分分析对3路滤波后信号进行分离，得到3路相互独立的分离后信号；
信号处理模块根据信号质量评价公式对3路分离后信号进行评价，选择其中质量最高的信号作为去噪后呼吸信号；
所述信号质量评价公式如下：
Figure BDA0003233951710000146
式中的下标i表示第i个主成分，
Figure BDA0003233951710000147
和
Figure BDA0003233951710000148
分别表示0.2到0.8Hz频带内第i个主成分频谱的最高峰和次高峰。
步骤10，处理用于计算心率的原始生理信号：
信号提取模块将提取的用于计算心率的9路原始生理信号
Figure BDA0003233951710000151
发送给信号处理模块；
信号处理模块使用长度为1.5秒的分段窗口对
Figure BDA0003233951710000152
进行分段，同时分段窗口以分段长度的一半为步长进行移动。对于每个分段，使用标准化公式进行标准化，对标准化后的各分段加汉宁窗后叠加，得到标准化后的信号；
信号处理模块使用信号增强公式对每个ROI的3路标准化后信号以线性组合的方式进行增强，可从9路标准化后信号得到3路增强后信号，记为HRi(t)，上标i表示ROI的编号。
所述信号增强公式如下：
Figure BDA0003233951710000153
Figure BDA0003233951710000154
Figure BDA0003233951710000155
Figure BDA0003233951710000156
分别表示第i个ROI中红色、绿色和蓝色通道的标准化后信号，符号σ表示取方差。
信号处理模块使用通带为0.7Hz到4.0Hz的3阶巴特沃斯滤波器对每路增强后信号进行零相位滤波，得到滤波后信号，记为
Figure BDA0003233951710000157
信号处理模块使用加权公式对3路滤波后信号进行加权，得到去噪后心率信号，记为HR(t)。
所述加权公式如下：
Figure BDA0003233951710000161
Figure BDA0003233951710000162
式中Wi表示第i个ROI的滤波后信号的权重，Qi表示
Figure BDA0003233951710000163
的信号质量，由信号质量评价公式算得，与步骤9中所述的信号质量评价公式稍有不同的是，搜索
Figure BDA0003233951710000164
的频谱的最高峰和次高峰所选的频带变为0.7Hz到4.0Hz。
步骤11，处理用于计算血氧饱和度的原始生理信号：
信号提取模块将提取的用于计算血氧饱和度的6路原始生理信号
Figure BDA0003233951710000166
发送给信号处理模块，其中下标c的取值为R或B。
信号处理模块使用长度为1.5秒的分段窗口对
Figure BDA0003233951710000167
进行分段，同时分段窗口以分段长度的一半为步长进行移动。对于每个分段，使用标准化公式进行标准化，对标准化后的各分段加汉宁窗后叠加，得到标准化后的信号。
信号处理模块对每路标准化后的信号进行5层小波包分解，使用阈值函数处理分解后的小波包系数，并将处理后的系数重构，得到小波去噪后信号。
所述阈值函数如下：
Figure BDA0003233951710000165
式中med表示取中值，wi,j表示小波包系数。
信号处理模块将小波去噪后信号的头部半个分段长度及尾部半个分段长度去除，并对剩下的信号按照分段长度进行分段。将标准差最大和最小的分段作为高噪时段并去除，得到红色和蓝色通道的去噪后信号。
步骤12，计算生理参数：
信号处理模块将去噪后呼吸信号、去噪后心率信号以及红色和蓝色通道的去噪后信号发送给生理参数计算模块。
生理参数计算模块通过FFT计算去噪后呼吸信号的频谱，并在0.2Hz到0.8Hz的频带范围内搜索频谱的最大值，最大值对应的频率即为呼吸率的本次测量值。
生理参数计算模块通过FFT计算去噪后心率信号的频谱，并在0.7Hz到4.0Hz的频带范围内搜索频谱的最大值，最大值对应的频率即为心率的本次测量值。
生理参数计算模块计算红色和蓝色通道去噪后信号的标准差的比值，并使用步骤10中所述的加权公式对三个ROI区域算得的三个比值进行加权。将加权后的比值记为K，将K代入血氧饱和度计算模型算出血氧饱和度的本次测量值。
所述血氧饱和度计算模型如下：
SPO2＝A·K+B
式中的A和B为血氧饱和度计算模型的系数，取值由标准仪器标定。
生理参数计算模块将呼吸率、心率以及血氧饱和度的本次测量值与上一次测量值相比较，若两者的差超过设定的阈值，则不会采用本次测量值。此时，最终的测量结果由上一次测量值加上或减去阈值得到。
本发明的效果可通过以下仿真进一步说明。
1.仿真条件：
本发明的仿真试验是在计算平台硬件配置为RK3399、4.0GB RAM的硬件环境和计算平台软件配置为Linux的软件环境下进行的。
2.仿真内容：
本发明仿真实验主要是对比本发明的系统和参考仪器的测量值，呼吸率所用参考仪器为合肥华科电子技术研究所生产的压阻呼吸传感器HKH-11G，心率和血氧饱和度所用参考仪器为鱼跃医疗生产的指夹式脉搏血氧仪YX303。
本发明仿真实验选用30秒的滑动窗口测量呼吸率，选用15秒的滑动窗口测量心率和血氧饱和度。在实验的参与者穿戴完参考仪器后，使用本发明的系统和参考仪器对参与者进行连续的生理参数测量，待测量结果稳定，分别记录发明的系统的测量值和参考仪器的测量值。
实验的参与者为发明人募集的10名年龄在23到50岁之间的健康成年人，其中男性7人，女性3人。
3.仿真效果分析：
将本发明的系统的生理参数测量值与参考仪器的生理参数测量值进行对比，结果如表1所示。
表1.本发明的系统与参考仪器测量结果对比表
Figure BDA0003233951710000191
根据实验结果，本发明的系统与参考仪器的测量结果基本一致，呼吸率、心率和血氧饱和度的均方根误差分别为1.76、2.07和1.30。以上结果表明：本发明的系统测量准确性较高，是一种能有效检测呼吸率、心率和血氧饱和度的系统。

Claims (3)

1.一种基于视频的非接触式多生理参数监测的方法，包括特征点检测模块、信号提取模块，生理参数计算模块，ROI区域定位模块、信号处理模块；其中：
所述特征点检测模块，用于检测相机捕获的含有人脸的图像中的68个特征点；
所述ROI区域定位模块用于利用特征点提供的位置信息定位出脸部适合进行生理参数检测的区域；
所述信号提取模块用于从ROI区域中提取原始的生理信号；
所述信号处理模块用于去除原始生理信号中的噪声；
所述生理参数计算模块用于从经过处理的生理信号中计算出呼吸率、心率以及血氧饱和度；
其特征在于，充分利用人脸视频中的生理信息，可同时计算呼吸率、心率和血氧饱和度；根据人体生理特性，为呼吸率、心率以及血氧饱和度分别定位出合适的ROI区域；使用分段标准化、零相位带通滤波、信号质量评价、信号加权算法处理信号，该方法的具体步骤包括如下：
(1)初始化相机：
对相机的帧率、分辨率、输出图像格式参数进行设置；
(2)读取图像：
通过相机的访问接口以软件触发的方式从相机获取一帧图像；
(3)特征点检测模块判断是否检测到脸部的68个特征点，若是，则执行步骤(4)，否则，执行步骤(2)；
(4)计算头部偏角：
ROI区域定位模块根据检测到的特征点的位置计算出头部和竖直方向的偏角；
(5)ROI区域定位模块判断偏角是否大于设定的阈值，若是则执行步骤(6)，否则，执行步骤(7)；
(6)人脸矫正：
ROI区域定位模块根据头部和竖直方向的偏角，将图像向相反的方向旋转相同的角度；
(7)ROI区域定位
(7a)ROI区域定位模块利用特征点提供的位置信息，在额头、左脸颊以及右脸颊三个部位定位出适合于心率以及血氧饱和度检测的ROI区域；
(7b)ROI区域定位模块利用特征点提供的位置信息，在额头、左脸颊以及右脸颊三个部位定位出适合于呼吸率检测的ROI区域，所定位的ROI区域的边长为20像素，且与步骤(7a)定位出的三个ROI共用几何中心；
(8)提取原始生理信号：
(8a)ROI区域定位模块将定位的结果发送给信号提取模块；
(8b)信号提取模块对步骤(7a)定位出的三个ROI区域内的红色、蓝色以及绿色通道的像素值取平均，共可获得9路均值，将算得的9路均值作为当前时刻的原始生理信号，用于计算心率，其中红色和蓝色通道的6路原始生理信号用于计算血氧饱和度；
(8c)信号提取模块对步骤(7b)定位出的三个ROI区域内的蓝色通道的像素值取平均，共可获得3路均值，将算得的3路均值作为当前时刻的原始生理信号，用于计算呼吸率；
(9)处理用于计算呼吸率的原始生理信号：
(9a)信号提取模块将提取的用于计算呼吸率的3路原始生理信号发送给信号处理模块；
(9b)信号处理模块使用长度为5.5秒的分段窗口对每路原始生理信号进行分段，同时分段窗口以分段长度的一半为步长进行移动；对于每个分段，使用标准化公式进行标准化，对标准化后的各分段加汉宁窗后叠加，得到标准化后的信号；
(9c)信号处理模块使用通带为0.2Hz到0.8Hz的2阶巴特沃斯滤波器对每路标准化后信号进行零相位滤波，得到滤波后信号；
(9d)信号处理模块使用主成分分析对3路滤波后信号进行分离，得到3路相互独立的分离后信号；
(9e)信号处理模块根据信号质量评价公式对3路分离后信号进行评价，选择其中质量最高的信号作为去噪后呼吸信号；
(10)处理用于计算心率的原始生理信号：
(10a)信号提取模块将提取的用于计算心率的9路原始生理信号发送给信号处理模块；
(10b)信号处理模块使用长度为1.5秒的分段窗口对每路原始生理信号进行分段，同时分段窗口以分段长度的一半为步长进行移动；对于每个分段，使用标准化公式进行标准化，对标准化后的各分段加汉宁窗后叠加，得到标准化后的信号；
(10c)信号处理模块使用信号增强公式对每个ROI的3路标准化后信号以线性组合的方式进行增强，可从9路标准化后信号得到3路增强后信号；
(10d)信号处理模块使用通带为0.7Hz到4.0Hz的3阶巴特沃斯滤波器对每路增强后信号进行零相位滤波，得到滤波后信号；
(10e)信号处理模块使用加权公式对3路滤波后信号进行加权，得到去噪后心率信号；
(11)处理用于计算血氧饱和度的原始生理信号：
(11a)信号提取模块将提取的用于计算血氧饱和度的6路原始生理信号发送给信号处理模块；
(11b)信号处理模块使用长度为1.5秒的分段窗口对每路原始生理信号进行分段，同时分段窗口以分段长度的一半为步长进行移动；对于每个分段，使用标准化公式进行标准化，对标准化后的各分段加汉宁窗后叠加，得到标准化后的信号；
(11c)信号处理模块对每路标准化后的信号进行5层小波包分解，使用阈值函数处理分解后的小波包系数，并将处理后的系数重构，得到小波去噪后信号；
(11d)信号处理模块将小波去噪后信号的头部半个分段长度及尾部半个分段长度去除，并对剩下的信号按照分段长度进行分段；将标准差最大和最小的分段作为高噪时段并去除，得到红色和蓝色通道的去噪后信号；
(12)计算生理参数：
(12a)信号处理模块将去噪后呼吸信号、去噪后心率信号以及红色和蓝色通道的去噪后信号发送给生理参数计算模块；
(12b)生理参数计算模块通过FFT计算去噪后呼吸信号的频谱，并在0.2Hz到0.8Hz的频带范围内搜索频谱的最大值，最大值对应的频率即为呼吸率的本次测量值；
(12c)生理参数计算模块通过FFT计算去噪后心率信号的频谱，并在0.7Hz到4.0Hz的频带范围内搜索频谱的最大值，最大值对应的频率即为心率的本次测量值；
(12d)生理参数计算模块计算红色和蓝色通道去噪后信号的标准差的比值，并使用加权公式对三个ROI区域算得的三个比值进行加权，将加权后的比值代入血氧饱和度计算模型算出血氧饱和度的本次测量值；
(12e)生理参数计算模块将呼吸率、心率以及血氧饱和度的本次测量值与上一次测量值相比较，若两者的差超过设定的阈值，则不会采用本次测量值，此时，最终的测量结果由上一次测量值加上或减去阈值得到。
2.根据权利要求1所述的基于视频的非接触式多生理参数监测的方法，其特征在于，步骤(9e)中所述信号质量评价公式如下：
Figure FDA0003765528890000051
p1和p2分别表示待评价信号的频谱在设定频带内的最高峰和次高峰，对于呼吸率检测，频带设定为0.2到0.8Hz；对于心率检测，频带设定为0.7到4.0Hz。
3.根据权利要求1所述的基于视频的非接触式多生理参数监测的方法，其特征在于，步骤(10e)中所述加权公式如下：
Figure FDA0003765528890000061
Figure FDA0003765528890000062
式中Wi表示第i个ROI的滤波后心率信号
Figure FDA0003765528890000063
的权重，Qi表示
Figure FDA0003765528890000064
的信号质量，由信号质量评价公式算得，HR(t)表示加权后得到的心率信号，即去噪后心率信号。
CN202110995529.1A 2021-08-27 2021-08-27 一种基于视频的非接触式多生理参数监测的系统及方法 Active CN113693573B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110995529.1A CN113693573B (zh) 2021-08-27 2021-08-27 一种基于视频的非接触式多生理参数监测的系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110995529.1A CN113693573B (zh) 2021-08-27 2021-08-27 一种基于视频的非接触式多生理参数监测的系统及方法

Publications (2)

Publication Number Publication Date
CN113693573A CN113693573A (zh) 2021-11-26
CN113693573B true CN113693573B (zh) 2022-09-13

Family

ID=78655922

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110995529.1A Active CN113693573B (zh) 2021-08-27 2021-08-27 一种基于视频的非接触式多生理参数监测的系统及方法

Country Status (1)

Country Link
CN (1) CN113693573B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023184832A1 (zh) * 2022-03-31 2023-10-05 上海商汤智能科技有限公司 生理状态检测方法、装置、电子设备、存储介质及程序

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104173051A (zh) * 2013-05-28 2014-12-03 天津点康科技有限公司 非接触式自动呼吸测量系统及测量方法
US11771375B2 (en) * 2014-09-26 2023-10-03 Pixart Imaging Inc. Respiration rate detection device and breath detection device adopting motion denoising
GB201421785D0 (en) * 2014-12-08 2015-01-21 Oxehealth Ltd Method and apparatus for physiological monitoring
CN105962915B (zh) * 2016-06-02 2019-04-05 安徽大学 非接触式人体呼吸率与心率同步测量方法及系统
CN109700449B (zh) * 2018-08-09 2021-08-20 阳光学院 一种可抗头部自然运动的有效心率量测系统
CN109589101B (zh) * 2019-01-16 2020-08-21 四川大学 一种基于视频的非接触式生理参数获取方法与装置
CN111839489B (zh) * 2020-05-26 2021-04-13 合肥工业大学 非接触式生理心理健康检测系统

Also Published As

Publication number Publication date
CN113693573A (zh) 2021-11-26

Similar Documents

Publication Publication Date Title
CN106778695B (zh) 一种基于视频的多人快速心率检测方法
CN109977858B (zh) 一种基于图像分析的心率检测方法及装置
CN109820499B (zh) 基于视频的高抗干扰心率检测方法、电子设备及存储介质
Feng et al. Dynamic ROI based on K-means for remote photoplethysmography
KR101738278B1 (ko) 영상을 이용한 감정 인식 방법
Feng et al. Motion artifacts suppression for remote imaging photoplethysmography
Bobbia et al. Remote photoplethysmography based on implicit living skin tissue segmentation
CN111387959A (zh) 一种基于ippg的非接触式生理参数检测方法
Park et al. Remote pulse rate measurement from near-infrared videos
Huang et al. A motion-robust contactless photoplethysmography using chrominance and adaptive filtering
CN111938622B (zh) 心率检测方法、装置及系统、可读存储介质
CN111839492B (zh) 一种基于面部视频序列的心率非接触式测量方法
CN112200099A (zh) 一种基于视频的动态心率检测方法
CN113693573B (zh) 一种基于视频的非接触式多生理参数监测的系统及方法
CN113591769B (zh) 基于光电容积脉搏描记法的非接触式心率检测方法
Panigrahi et al. Non-contact HR extraction from different color spaces using RGB camera
CN113456042A (zh) 一种基于3d cnn的无接触面部血压测量方法
CN114246570B (zh) 峰值信噪比和皮尔森相关系数融合的近红外心率检测方法
CN113361526B (zh) 一种融合肩部和胸部区域信息的非接触式呼吸率监测方法
CN108090410B (zh) 一种非接触式面部心率监测动感单车及监测方法
Karmuse et al. A robust rppg approach for continuous heart rate measurement based on face
Ben Salah et al. Contactless heart rate estimation from facial video using skin detection and multi-resolution analysis
Hu et al. Study on Real-Time Heart Rate Detection Based on Multi-People.
Wang et al. KLT algorithm for non-contact heart rate detection based on image photoplethysmography
CN113317766A (zh) 一种基于a311d的嵌入式非接触式生理参数监测系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant