CN111248890A - 一种基于面部视频的非接触式新生儿心率监测方法及系统 - Google Patents

一种基于面部视频的非接触式新生儿心率监测方法及系统 Download PDF

Info

Publication number
CN111248890A
CN111248890A CN202010064242.2A CN202010064242A CN111248890A CN 111248890 A CN111248890 A CN 111248890A CN 202010064242 A CN202010064242 A CN 202010064242A CN 111248890 A CN111248890 A CN 111248890A
Authority
CN
China
Prior art keywords
heart rate
video
newborn
face
facial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010064242.2A
Other languages
English (en)
Inventor
但果
李含笑
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen University
Original Assignee
Shenzhen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen University filed Critical Shenzhen University
Priority to CN202010064242.2A priority Critical patent/CN111248890A/zh
Publication of CN111248890A publication Critical patent/CN111248890A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024Detecting, measuring or recording pulse rate or heart rate
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7203Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/725Details of waveform analysis using specific filters therefor, e.g. Kalman or adaptive filters
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/74Details of notification to user or communication with user or patient ; user input means
    • A61B5/746Alarms related to a physiological condition, e.g. details of setting alarm thresholds or avoiding false alarms
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2503/00Evaluating a particular growth phase or type of persons or animals
    • A61B2503/04Babies, e.g. for SIDS detection
    • A61B2503/045Newborns, e.g. premature baby monitoring

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Physiology (AREA)
  • Surgery (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Signal Processing (AREA)
  • Cardiology (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)

Abstract

本发明提供一种基于面部视频的非接触式新生儿心率监测方法及系统,其中方法包括:获取新生儿面部视频;使用新生儿面部局部检测算法进行人脸检测,获取基于眼部特征的新生儿面部感兴趣区域;以面部感兴趣区域作为蒙版并持续收集蒙版下预定时间的视频,合成指定帧率视频;将蒙版下预定时间的视频输入欧拉放大算法模块,放大2‑2.4Hz频带的像素值的变化幅度;对放大后视频的绿色通道分离,并对绿色通道处理得到较为平滑的心率信号曲线;对心率信号曲线进行有效峰值检测,计算得到录制视频中新生儿的平均心率值。本发明很大程度上减少接触式方法带来的身体上的不适,同时可以实时获取心率信息,并做出心率状态判断。

Description

一种基于面部视频的非接触式新生儿心率监测方法及系统
技术领域
本发明涉及非接触式测量心率领域,尤其涉及的是一种基于面部视频的非接触式新生儿心率监测方法及系统。
背景技术
心率是指正常人安静状态下每分钟心跳的次数。心率信号是具有重要生理意义与参考价值的生理信号,可以反映人当前的心脏健康状况与心理状态。婴儿猝死综合征是一种原因不明的现象,是造成婴儿早期死亡的第三大因素,需要使用必要手段及时预警明显危及新生儿生命的事件,因此需要新的技术对婴儿进行心率实时监控。
心率信号的有效采集在医疗监护、刑侦测谎等领域具有重要价值。传统的心率信号采集装置都为接触式装置,例如心电仪、指夹式脉搏血氧仪等。由于这些接触式设备其与人体贴合,长时间佩戴容易引起不适,且限制了被监测人的自由活动。在新生儿重症监护室中,常常会长时间使用接触式心率监测的方法,粘合剂、电极片以及其他接触式的监护设备会对新生儿皮肤造成伤害。因此,需要采用非接触式测量方法针对新生儿进行非接触式的心率监测。
因此,现有技术还有待于改进和发展。
发明内容
本发明提供了一种基于面部视频的非接触式新生儿心率监测方法及系统,通过方法通过拍摄婴儿面部视频并对视频进行感兴趣区域识别,欧拉放大算法对特定频带的脉搏信号进行放大,搭建非接触式脉搏测量环境,具有方便易用、隐蔽性强、成本低廉的优势。尤其对于新生儿,可以很大程度上减少接触式方法带来的身体上的不适,同时可以实时获取心率信息,并做出心率状态判断。
本发明提供一种基于面部视频的非接触式新生儿心率监测方法,包括步骤:
获取新生儿面部视频;
使用新生儿面部局部检测算法进行人脸检测,获取基于眼部特征的新生儿面部感兴趣区域;
以面部感兴趣区域作为蒙版并持续收集蒙版下预定时间的视频,合成指定帧率视频;
将蒙版下预定时间的视频输入欧拉放大算法模块,放大2-2.4Hz频带的像素值的变化幅度;
对放大后视频的绿色通道分离,并对绿色通道处理得到较为平滑的心率信号曲线;
对心率信号曲线进行有效峰值检测,计算得到录制视频中新生儿的平均心率值。
进一步,所述使用新生儿面部局部检测算法进行人脸检测,获取基于眼部特征的新生儿面部感兴趣区域的具体步骤为:
获取面部视频中第一帧中的眼部识别区域;
计算左眼宽k1和右眼宽分别k2,k1与k2计算公式如下:
Figure BDA0002375464170000021
其中,左眼外眼角像素点坐标记为LL(a1,b1),右眼外眼角像素点坐标记为RR(a4,b4),左眼内眼角像素点坐标记为LR(a2,b2)和右眼内眼角像素点坐标记为RL(a3,b3);
设定分别距左眼宽中点k1长度的特定形状区域和/或距右眼宽中点k2长度的特定形状区域为感兴趣区域。
进一步,所述设定分别距左眼宽中点k1长度的特定形状区域和/或距右眼宽中点k2长度的特定形状区域为感兴趣区域的步骤之后还包括步骤:
提取面部感兴趣区域,当新生儿是正面受测状态时,提取左右两侧感兴趣区域为面部感兴趣区域;当新生儿是侧身受测状态,提取与侧身相对应的单侧感兴趣区域。
进一步,所述获取面部视频中第一帧中的眼部识别区域的具体步骤为:
检测面部视频中第一帧中新生儿在静息状态下的面部图像的像素点二值化后的所有连通区域;
检测所有区域横纵比,将横纵比范围在2.4~10之间的区域标记;
匹配其中有线性相关关系的两个连通区域,则认定这两处连通区域为新生儿眼部区域。
进一步,所述步骤将蒙版下预定时间的视频输入欧拉放大算法模块,放大2-2.4Hz频带的像素值的变化幅度的具体步骤为:
采用多尺度的图像高斯金字塔分解方法对采集到的视频信号进行空间塔式分解;
利用理想的带通滤波器对分解后的每一层金字塔频带进行滤波,通频带为2~2.4Hz,提取出微弱的脉搏信号;
通过放大因子对提取的脉搏信号进行放大,
放大后的信号与未放大的原信号相加;
沿拉普拉斯金字塔分解的反方向对视频序列进行重构得到输出序列;
得到可看到被放大的心率信号起伏变化的输出视频。
进一步,对放大后视频的绿色通道分离,并对绿色通道处理得到较为平滑的心率信号曲线的具体过程为:
将放大后视频的绿色通道进行分离;
对绿色通道的每帧图像取平均像素值,得到像素值数组;
对像素值数组进行归一化及滤波处理,去除基线漂移和运动噪声,得到较为平滑的信号曲线。
进一步,对心率信号曲线进行有效峰值检测,计算得到录制视频中新生儿的平均心率值的具体步骤为:
进行有效峰值检测,获取视频中监测到x个有效峰值点;
计算获取到(x-1)个峰峰间距值y并获取(x-1)个y值的平均值d;
计算得到录制视频中受测者的平均心率值HR,计算公式为:
HR=(60*f)/d,
其中,f表示视频帧率。
进一步,所述对心率信号曲线进行有效峰值检测,计算得到录制视频中新生儿的平均心率值的步骤之后还包括:
若平均心率值属于新生儿正常心率值范围,则显示心率数值,若平均心率值未在正常范围内,则显示心率数值并发出警报提示。
进一步,所述使用新生儿面部局部检测算法进行人脸检测,获取基于眼部特征的新生儿面部感兴趣区域的具体步骤之后还包括:
如果新生儿面部感兴趣区域识别提示错误,暂停监测;
提示调节受测者与摄像头相对位置;或
提示操作者选择手动剪切感兴趣区域。
一种基于面部视频的非接触式新生儿心率监测系统,其中,包括摄像头、处理器、存储器,所述处理器、存储器和所述摄像头通过通讯总线实现通讯连接;
所述存储器存储有基于面部视频的非接触式新生儿心率监测的程序,所述基于面部视频的非接触式新生儿心率监测程序被所述处理器执行时实现如上所述的基于面部视频的非接触式新生儿心率监测方法。
有益效果:本发明中的一种基于面部视频的非接触式新生儿心率监测方法及系统,本发明可以实现非接触地获取新生儿实时心率,无需使用传统监护仪的电极贴片及绕线,这样避免了传统监护仪器对婴儿的身体伤害。使用计算机连接摄像头,可自动控制摄像头非接触地采集新生儿面部数据。本发明提出使用新生儿专用的面部感兴趣区域识别算法,针对面部特征发育不成熟的新生儿进行待检测区域识别,也可对面部被呼吸机或奶嘴遮挡的新生儿进行面部识别,具有面部区域判断合理,识别准确的特点;本发明针对新生儿开发逻辑流程和算法,特别适用于在新生儿重症监护室或普通居家护理中,通用性强。本方法可以达到快速及不间断识别,并做出是否在正常心率范围的判断;由于新生儿不能主动配合监测,可能出现侧躺或部分面部区域被遮挡的情况,故面部识别模块可能出现差错。本发明提出的方法另加入手动确定感兴趣区域的方式,可以手动标定感兴趣的封闭区域,替换录制视频第一帧中应该识别到的感兴趣区域作为蒙版,适用于婴幼儿的监护过程中;提出的心率监测方法,以正常新生儿的实时监护仪数据作为标准,误差在±5%内的数据记为可信数据,经过多次试验后,得到数据可信率约为93%。此方法仅依靠常规数码摄像头和计算机运算就能搭建非接触式脉搏测量环境,具有方便易用、隐蔽性强、成本低廉的优势,尤其对于新生儿,很大程度上减少接触式方法带来的身体上的不适,同时可以实时获取心率信息并做出心率状态判断,无需操作者手动控制录制视频,解决了传统监护设备会对新生儿皮肤造成伤害的缺点。
附图说明
图1为本发明一种基于面部视频的非接触式新生儿心率监测方法的实施例的流程图。
图2为本发明一种基于面部视频的非接触式新生儿心率监测方法的感兴趣区域示意图。
图3为本发明一种基于面部视频的非接触式新生儿心率监测方法中欧拉放大模型的原理流程图。
图4为本发明一种基于面部视频的非接触式新生儿心率监测系统的原理框图。
图中:10、摄像头;20、处理器;30、存储器;40、显示器;50通讯总线。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚、明确,以下参照附图并举实施例对本发明进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
目前应用的人脸识别数据库数据多为成人面部数据,识别方法多针对于成人受测群体。新生儿早起发育不成熟,面部特征与成人的相差较大。另外新生儿面部可能会有呼吸机或奶嘴遮挡,导致部分面部特征点未能被识别。直至无法运用到婴幼儿的面部检测中,因为现有方法很少特别地针对新生儿受测群体的心率特点进行研究。因为成年人正常心率范围与新生儿正常心率范围不同,不能使用成年人心率数据推算或训练心率模型。应开发针对于新生儿心率特点的心率监测算法。
本实施例提供一种基于面部视频的非接触式新生儿心率监测方法,如图1所示,包括有以下步骤:
步骤S100、获取新生儿面部视频。
具体过程中,灯光条件下、距离新生儿面部50cm,通过电脑摄像头连续获取新生儿实时的面部视频,电脑摄像头参数设置为10fps以上,分辨率500*500以上,光线控制在自然光或灯光等稳定灯源,设备稳定条件下对准新生儿面部进行拍摄。将视频流中按帧顺序提取5秒视频,该5秒视频为所需的新生儿面部视频。
步骤S200、使用新生儿面部局部检测算法进行人脸检测,获取基于眼部特征的新生儿面部感兴趣区域。
通过新生儿面部局部检测算法对视频中的人脸进行检测,获取到特定的区域,再对特定区域进行分析。
所述步骤S200具体包括:
步骤S210、获取面部视频中第一帧中的眼部识别区域。
具体过程中,以上述5秒视频为例,将该5秒视频的第一帧提取出来,通过对第一帧图像进行眼部识别。
眼部识别的具体方法为:
步骤S211、检测面部视频中第一帧中新生儿在静息状态下的面部图像的像素点二值化后的所有连通区域。
截取出视频图像中的第一帧图像,进行二值化处理,图像的二值化是将图像上的像素点的灰度值设置为0或255,将256个亮度等级的灰度图像通过适当的阀值选取而获得仍然可以反映图像整体和局部特征的二值化图像,也就是将整个图像呈现出明显的黑白效果,使图像进行简单化处理,而且数据量减小,能凸显出感兴趣的目标的轮廓。要进行二值图像的处理与分析,首先要把灰度图像二值化,得到二值化图像,便于后续处理过程。
步骤S212、检测所有区域横纵比,将横纵比范围在2.4~10之间的区域标记。
步骤S213、匹配其中有线性相关关系的两个连通区域,则认定这两处连通区域为新生儿眼部区域。
及识别纵比范围在2.4~10之间的区域,该区域中匹配到有线性相关关系的两个连通区域,则认定这两处连通区域为新生儿眼部区域。眼睛区域特征明显,便于识别。
步骤S220、计算左眼宽k1和右眼宽分别k2,k1与k2计算公式如下:
Figure BDA0002375464170000081
其中,左眼外眼角像素点坐标记为LL(a1,b1),右眼外眼角像素点坐标记为RR(a4,b4),左眼内眼角像素点坐标记为LR(a2,b2)和右眼内眼角像素点坐标记为RL(a3,b3)。
如图2所示,该过程中采用平面坐标的方法来确认两眼宽度,先在面部图像上建立坐标系,识别出左眼外眼角像素点,并确定左眼外眼角像素点在建立的坐标系中的坐标LL(a1,b1),对应的确定出图像上的右眼外眼角像素点坐标记为RR(a4,b4),左眼内眼角像素点坐标记为LR(a2,b2)和右眼内眼角像素点坐标记为RL(a3,b3),这样再通过两点之间的计算公式确定出左眼宽k1和右眼宽分别k2,这样左眼和右眼形成了一个参考标准。
步骤S230、设定中心分别距左眼宽中点k1长度的特定形状区域和/或距右眼宽中点k2长度的特定形状区域为感兴趣区域。
在面部选定一个特定形状区域,特定形状区域位于眼部下方的脸部,该特定形状区域可为任意形状,本实施例中特定形状区域为方形,所述方形区域的中心距左眼宽中点k1长度;该特定形状区域的中心也可是距右眼宽中点k2长度;还可以选定两个特定形状区域,且两个特定形状区域的中点分别距左眼宽中点k1长度,距右眼宽中点k2长度,特定形状区域为感兴趣区。新生儿面部皮肤薄,双侧脸颊毛细血管分布相对密集,采用该特定形状,可以更好地反应面部由于心脏搏动而引起的颜色变化。根据新生儿五官分布特点,将感兴趣区域选择为两个大致轴对称于新生儿鼻部的正方形区域,可采集颜色变化最剧烈的视频信号,且方便后续滤波操作。
采用眼睛作为参考标准,可以避免新生儿面部发育不成熟,如眉毛稀疏、双眼常闭、鼻梁较低、嘴部宽度窄且易微张的因数对感兴趣区域识别准确性的影响。同时也避免新生儿嘴部可能被奶嘴或呼吸机遮挡等外部干涉物对感兴趣区域识别准确性的影响。故本发明提出使用基于眼部特征进行新生儿面部感兴趣区域识别的思路。
步骤240、提取面部感兴趣区域,当新生儿是正面受测状态时,提取左右两侧感兴趣区域为面部感兴趣区域;当新生儿是侧身受测状态,提取与侧身相对应的单侧感兴趣区域。
这样在新生儿侧躺时,也能通过侧面进行面部感兴趣区域的获取,适用于新生儿不同的状态。
步骤250、如果新生儿面部感兴趣区域识别提示错误,暂停监测,提示调节受测者与摄像头相对位置,或提示操作者选择手动剪切感兴趣区域。
使用手动模式剪切视频的第一帧图像,剪切范围应为双侧或单侧脸颊,该剪切范围作为感兴趣区域。
通过手手动标定感兴趣区域,替换录制视频第一帧中应该识别到的感兴趣区域,婴儿头部乱动,或器材干啥图像时,通过手动剪切标定感兴趣区域,可以直观获取婴幼儿的监护的面部特征。
步骤S300、以面部感兴趣区域作为蒙版并持续收集蒙版下预定时间的视频,合成指定帧率视频。
具体过程中,将感兴趣区域作为蒙版,持续收集蒙版下5秒钟视频并合成为指定帧率的视频,存储为“ROI.avi”文件。
步骤S400、将蒙版下预定时间的视频输入欧拉放大算法模块,放大2-2.4Hz频带的像素值的变化幅度。
具体过程中,通过使用欧拉放大算法模块的方法处理视频,揭示视频序列中人眼很难发现或发现不到的颜色变化,使得通过拍摄一段新生儿面部视频并获取血液在其面部流动的方式成为可能。
如图3所示,所述步骤S400具体包括:
步骤S410、采用多尺度的图像高斯金字塔分解方法对采集到的视频信号进行空间塔式分解。
步骤S420、利用理想的带通滤波器对分解后的每一层金字塔频带进行滤波,通频带为2~2.4Hz,提取出微弱的脉搏信号;
步骤S430、通过放大因子对提取的脉搏信号进行放大,
步骤S440、放大后的信号与未放大的原信号相加;
步骤S450、沿拉普拉斯金字塔分解的反方向对视频序列进行重构得到输出序列;
步骤S460、得到可看到被放大的心率信号起伏变化的输出视频。
具体过程中,由于心脏跳动引起皮下毛细血管充血量周期性变化,导致皮肤对入射光谱的吸收作用及反射作用出现周期性波动,摄像头可以捕捉皮肤反射光谱强度的微弱波动,从而经过处理、计算得到相应的脉搏信号。将“ROI.avi”视频文件输入欧拉放大算法模块,放大指定频带2至2.4Hz的像素值变化幅度,该频率段对应婴儿的脉搏频率。欧拉放大算法是独立处理每个像素的颜色值的时间序列,通过对每个时间序列应用标准的1D时间信号处理来放大感兴趣区域的时间频率带。在每个像素处产生的新时间序列生成输出视频,其中在输入视频中不可能观察到或很难观察到的微小颜色变化会被放大并变得清晰可见。将输出视频保存为“result.avi”文件。
步骤S500、对放大后视频的绿色通道分离,并对绿色通道处理得到较为平滑的心率信号曲线。
经过视频放大处理后的视频颜色变化明显。由于血液对绿光或黄光的吸收能力强,所以采集的三种基色信号中绿色信号最能反应心脏搏动的信息,即绿色通道可以显示出最干净的PPG信号,因此将它提取出来进行下一步处理。故将“result.avi”视频的绿色通道分离,并对绿色通道的每帧图像取平均像素值,得到一系列像素值数组。将该数组进行归一化及滤波处理,去除基线漂移和运动噪声,得到较为平滑的信号曲线。
步骤S500具体包括:
步骤S510、将放大后视频的绿色通道进行分离;
步骤S520、对绿色通道的每帧图像取平均像素值,得到像素值数组;
步骤S530、对像素值数组进行归一化及滤波处理,去除基线漂移和运动噪声,得到较为平滑的信号曲线。
归一化是为了统一信号波动幅度,控制在0到1之间,滤波器选择理想带通滤波器,截止频率比较陡峭且贷款比较窄,这样可以降低其他噪声信号的影响,更好地提取带通滤波出的信号。相比于带宽较宽的滤波器,有更好的滤波效果。
步骤S600、对心率信号曲线进行有效峰值检测,计算得到录制视频中新生儿的平均心率值。
步骤S600的具体步骤包括:
步骤S610、进行有效峰值检测,获取视频中监测到x个有效峰值点。
使用MATLAB中的findpeaks函数,可以限制峰值的最小高度以及峰值间的最小间隔距离,在本方案中,可以根据实际录制视频长度去限制峰值间最小间隔距离。比如以30fps的镜头拍摄5秒视频,设置可以测得的新生儿心率上限是140,最小平均间隔设为dmin。dmin/5=140/60,按比例求得dmin=11.67,将findpeaks函数中两峰值间的最小间隔数设置为11或10,则可以有效提取合理峰值,其他峰峰间隔低于10的峰值则被判断为无效峰值,不将其视为心率峰值信号。
步骤S620、计算获取到(x-1)个峰峰间距值y并获取(x-1)个y值的平均值d;
步骤S630、计算得到录制视频中受测者的平均心率值HR,计算公式为:
HR=(60*f)/d,
其中,f表示视频帧率。
通过上述过程,由此得到心率值HR即5秒视频记录到的新生儿平均心率值。
步骤S700、若平均心率值属于新生儿正常心率值范围,则显示心率数值,若平均心率值未在正常范围内,则显示心率数值并发出警报提示。
若HR值属于新生儿正常心率值范围,即120至140bpm,则显示心率数值;若HR值未在该范围内,则显示心率数值并发出警报提示,提示操作者此时新生儿心率过缓或心率过快,提示操作者及时采取相关措施。
如图4所示,本方案还包括一种基于面部视频的非接触式新生儿心率监测系统,其中,包括摄像头10、处理器20、存储器30,所述处理器、存储器和所述摄像头通过通讯总线50实现通讯连接。
所述存储器存储有基于面部视频的非接触式新生儿心率监测的程序,所述基于面部视频的非接触式新生儿心率监测程序被所述处理器执行时实现如上所述的基于面部视频的非接触式新生儿心率监测方法。本系统中只要计算机连接到摄像头并开启相应的监测程序,即可持续录制视频,并做实时分析,几秒后便可生成心率信号,程序自动刷新数据。若摄像头拍摄范围内检测不到新生儿面部则自动暂停监测,提示操作者调节受测者与摄像头相对位置,或提示操作者选择手动剪切感兴趣区域的模式。还可设置显示屏40,用于显示新生儿的实时心率,及相关提示信息。
综上所述,本发明中的一种基于面部视频的非接触式新生儿心率监测方法及系统,本发明可以实现非接触地获取新生儿实时心率,无需使用传统监护仪的电极贴片及绕线,这样避免了传统监护仪器对婴儿的身体伤害。使用计算机连接摄像头,可自动控制摄像头非接触地采集新生儿面部数据。本发明提出使用新生儿专用的面部感兴趣区域识别算法,针对面部特征发育不成熟的新生儿进行待检测区域识别,也可对面部被呼吸机或奶嘴遮挡的新生儿进行面部识别,具有面部区域判断合理,识别准确的特点;本发明针对新生儿开发逻辑流程和算法,特别适用于在新生儿重症监护室或普通居家护理中,通用性强。本方法可以达到快速及不间断识别,并做出是否在正常心率范围的判断;由于新生儿不能主动配合监测,可能出现侧躺或部分面部区域被遮挡的情况,故面部识别模块可能出现差错。本发明提出的方法另加入手动确定感兴趣区域的方式,可以手动标定感兴趣的封闭区域,替换录制视频第一帧中应该识别到的感兴趣区域作为蒙版,适用于婴幼儿的监护过程中;提出的心率监测方法,以正常新生儿的实时监护仪数据作为标准,误差在±5%内的数据记为可信数据,经过多次试验后,得到数据可信率约为93%。此方法仅依靠常规数码摄像头和计算机运算就能搭建非接触式脉搏测量环境,具有方便易用、隐蔽性强、成本低廉的优势,尤其对于新生儿,很大程度上减少接触式方法带来的身体上的不适,同时可以实时获取心率信息并做出心率状态判断,无需操作者手动控制录制视频,解决了传统监护设备会对新生儿皮肤造成伤害的缺点。
以上所述,以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种基于面部视频的非接触式新生儿心率监测方法,其特征在于,包括:
获取新生儿面部视频;
使用新生儿面部局部检测算法进行人脸检测,获取基于眼部特征的新生儿面部感兴趣区域;
以面部感兴趣区域作为蒙版并持续收集蒙版下预定时间的视频,合成指定帧率视频;
将蒙版下预定时间的视频输入欧拉放大算法模块,放大2-2.4Hz频带的像素值的变化幅度;
对放大后视频的绿色通道分离,并对绿色通道处理得到较为平滑的心率信号曲线;
对心率信号曲线进行有效峰值检测,计算得到录制视频中新生儿的平均心率值。
2.根据权利要求1所述的基于面部视频的非接触式新生儿心率监测方法,其特征在于,所述使用新生儿面部局部检测算法进行人脸检测,获取基于眼部特征的新生儿面部感兴趣区域的具体步骤为:
获取面部视频中第一帧中的眼部识别区域;
计算左眼宽k1和右眼宽分别k2,k1与k2计算公式如下:
Figure FDA0002375464160000011
其中,左眼外眼角像素点坐标记为LL(a1,b1),右眼外眼角像素点坐标记为RR(a4,b4),左眼内眼角像素点坐标记为LR(a2,b2)和右眼内眼角像素点坐标记为RL(a3,b3);
设定中心分别距左眼宽中点k1长度的特定形状区域和/或距右眼宽中点k2长度的特定形状区域为感兴趣区域。
3.根据权利要求2所述的基于面部视频的非接触式新生儿心率监测方法,其特征在于,所述设定分别距左眼宽中点k1长度的特定形状区域和/或距右眼宽中点k2长度的特定形状区域为感兴趣区域的步骤之后还包括步骤:
提取面部感兴趣区域,当新生儿是正面受测状态时,提取左右两侧感兴趣区域为面部感兴趣区域;当新生儿是侧身受测状态,提取与侧身相对应的单侧感兴趣区域。
4.根据权利要求2所述的基于面部视频的非接触式新生儿心率监测方法,其特征在于,所述获取面部视频中第一帧中的眼部识别区域的具体步骤为:
检测面部视频中第一帧中新生儿在静息状态下的面部图像的像素点二值化后的所有连通区域;
检测所有区域横纵比,将横纵比范围在2.4~10之间的区域标记;
匹配其中有线性相关关系的两个连通区域,则认定这两处连通区域为新生儿眼部区域。
5.根据权利要求1所述的基于面部视频的非接触式新生儿心率监测方法,其特征在于,所述步骤将蒙版下预定时间的视频输入欧拉放大算法模块,放大2-2.4Hz频带的像素值的变化幅度的具体步骤为:
采用多尺度的图像高斯金字塔分解方法对采集到的视频信号进行空间塔式分解;
利用理想的带通滤波器对分解后的每一层金字塔频带进行滤波,通频带为2~2.4Hz,提取出微弱的脉搏信号;
通过放大因子对提取的脉搏信号进行放大,
放大后的信号与未放大的原信号相加;
沿拉普拉斯金字塔分解的反方向对视频序列进行重构得到输出序列;
得到可看到被放大的心率信号起伏变化的输出视频。
6.根据权利要求1所述的基于面部视频的非接触式新生儿心率监测方法,其特征在于,对放大后视频的绿色通道分离,并对绿色通道处理得到较为平滑的心率信号曲线的具体过程为:
将放大后视频的绿色通道进行分离;
对绿色通道的每帧图像取平均像素值,得到像素值数组;
对像素值数组进行归一化及滤波处理,去除基线漂移和运动噪声,得到较为平滑的信号曲线。
7.根据权利要求1所述的基于面部视频的非接触式新生儿心率监测方法,其特征在于,对心率信号曲线进行有效峰值检测,计算得到录制视频中新生儿的平均心率值的具体步骤为:
进行有效峰值检测,获取视频中监测到x个有效峰值点;
计算获取到(x-1)个峰峰间距值y并获取(x-1)个y值的平均值d;
计算得到录制视频中受测者的平均心率值HR,计算公式为:
HR=(60*f)/d,
其中,f表示视频帧率。
8.根据权利要求1所述的基于面部视频的非接触式新生儿心率监测方法,其特征在于,所述对心率信号曲线进行有效峰值检测,计算得到录制视频中新生儿的平均心率值的步骤之后还包括:
若平均心率值属于新生儿正常心率值范围,则显示心率数值,若平均心率值未在正常范围内,则显示心率数值并发出警报提示。
9.根据权利要求1所述的基于面部视频的非接触式新生儿心率监测方法,其特征在于,所述使用新生儿面部局部检测算法进行人脸检测,获取基于眼部特征的新生儿面部感兴趣区域的具体步骤之后还包括:
如果新生儿面部感兴趣区域识别提示错误,暂停监测;
提示调节受测者与摄像头相对位置;或
提示操作者选择手动剪切感兴趣区域。
10.一种基于面部视频的非接触式新生儿心率监测系统,其特征在于,包括摄像头、处理器、存储器,所述处理器、存储器和所述摄像头通过通讯总线实现通讯连接;
所述存储器存储有基于面部视频的非接触式新生儿心率监测的程序,所述基于面部视频的非接触式新生儿心率监测程序被所述处理器执行时实现如权利要求1-9任一所述的基于面部视频的非接触式新生儿心率监测方法。
CN202010064242.2A 2020-01-20 2020-01-20 一种基于面部视频的非接触式新生儿心率监测方法及系统 Pending CN111248890A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010064242.2A CN111248890A (zh) 2020-01-20 2020-01-20 一种基于面部视频的非接触式新生儿心率监测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010064242.2A CN111248890A (zh) 2020-01-20 2020-01-20 一种基于面部视频的非接触式新生儿心率监测方法及系统

Publications (1)

Publication Number Publication Date
CN111248890A true CN111248890A (zh) 2020-06-09

Family

ID=70924054

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010064242.2A Pending CN111248890A (zh) 2020-01-20 2020-01-20 一种基于面部视频的非接触式新生儿心率监测方法及系统

Country Status (1)

Country Link
CN (1) CN111248890A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111797735A (zh) * 2020-06-22 2020-10-20 深圳壹账通智能科技有限公司 人脸视频识别方法、装置、设备及存储介质
CN112022131A (zh) * 2020-09-16 2020-12-04 合肥工业大学 长时间连续性的非接触式心率测量方法和系统
CN112819790A (zh) * 2021-02-02 2021-05-18 南京邮电大学 一种心率检测方法及装置
CN114469036A (zh) * 2022-01-27 2022-05-13 无锡博奥玛雅医学科技有限公司 一种基于视频图像的远程心率监测方法及系统
WO2022121913A1 (en) * 2020-12-08 2022-06-16 Actywell Digital Ltd Contactless baby monitor
CN116458864A (zh) * 2023-06-19 2023-07-21 深圳大学 一种智能胎儿健康预警系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130296660A1 (en) * 2012-05-02 2013-11-07 Georgia Health Sciences University Methods and systems for measuring dynamic changes in the physiological parameters of a subject
KR20150030796A (ko) * 2013-09-12 2015-03-23 주식회사 제론헬스케어 지능형 신생아바구니
CN105283130A (zh) * 2013-06-11 2016-01-27 皇家飞利浦有限公司 用于监测光和声音对人的影响的系统、方法和设备
KR20170010641A (ko) * 2015-07-20 2017-02-01 주식회사 제론헬스케어 영상기반의 심박수 측정방법 및 이를 이용한 신생아 영상 시스템
US9750420B1 (en) * 2014-12-10 2017-09-05 Amazon Technologies, Inc. Facial feature selection for heart rate detection
US20180042486A1 (en) * 2015-03-30 2018-02-15 Tohoku University Biological information measuring apparatus and biological information measuring method
CN108697386A (zh) * 2016-02-17 2018-10-23 纽洛斯公司 用于检测生理状态的系统和方法
CN110197169A (zh) * 2019-06-05 2019-09-03 南京邮电大学 一种非接触式的学习状态监测系统及学习状态检测方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130296660A1 (en) * 2012-05-02 2013-11-07 Georgia Health Sciences University Methods and systems for measuring dynamic changes in the physiological parameters of a subject
CN105283130A (zh) * 2013-06-11 2016-01-27 皇家飞利浦有限公司 用于监测光和声音对人的影响的系统、方法和设备
KR20150030796A (ko) * 2013-09-12 2015-03-23 주식회사 제론헬스케어 지능형 신생아바구니
US9750420B1 (en) * 2014-12-10 2017-09-05 Amazon Technologies, Inc. Facial feature selection for heart rate detection
US20180042486A1 (en) * 2015-03-30 2018-02-15 Tohoku University Biological information measuring apparatus and biological information measuring method
KR20170010641A (ko) * 2015-07-20 2017-02-01 주식회사 제론헬스케어 영상기반의 심박수 측정방법 및 이를 이용한 신생아 영상 시스템
CN108697386A (zh) * 2016-02-17 2018-10-23 纽洛斯公司 用于检测生理状态的系统和方法
CN110197169A (zh) * 2019-06-05 2019-09-03 南京邮电大学 一种非接触式的学习状态监测系统及学习状态检测方法

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111797735A (zh) * 2020-06-22 2020-10-20 深圳壹账通智能科技有限公司 人脸视频识别方法、装置、设备及存储介质
CN112022131A (zh) * 2020-09-16 2020-12-04 合肥工业大学 长时间连续性的非接触式心率测量方法和系统
CN112022131B (zh) * 2020-09-16 2023-06-09 合肥工业大学 长时间连续性的非接触式心率测量方法和系统
WO2022121913A1 (en) * 2020-12-08 2022-06-16 Actywell Digital Ltd Contactless baby monitor
CN112819790A (zh) * 2021-02-02 2021-05-18 南京邮电大学 一种心率检测方法及装置
CN112819790B (zh) * 2021-02-02 2022-09-16 南京邮电大学 一种心率检测方法及装置
CN114469036A (zh) * 2022-01-27 2022-05-13 无锡博奥玛雅医学科技有限公司 一种基于视频图像的远程心率监测方法及系统
CN116458864A (zh) * 2023-06-19 2023-07-21 深圳大学 一种智能胎儿健康预警系统
CN116458864B (zh) * 2023-06-19 2023-08-11 深圳大学 一种智能胎儿健康预警系统

Similar Documents

Publication Publication Date Title
CN111248890A (zh) 一种基于面部视频的非接触式新生儿心率监测方法及系统
Li et al. The obf database: A large face video database for remote physiological signal measurement and atrial fibrillation detection
US10070796B2 (en) Systems and methods for quantitative microcirculation state monitoring
US10143377B2 (en) Single channel imaging measurement of dynamic changes in heart or respiration rate
CN106999116B (zh) 用于皮肤检测的设备和方法
Zhang et al. Heart rate extraction based on near-infrared camera: Towards driver state monitoring
CN106413533B (zh) 用于检测对象的呼吸暂停的设备、系统和方法
CN108272448B (zh) 一种非接触式的婴儿生理参数昼夜监护方法
Feng et al. Motion artifacts suppression for remote imaging photoplethysmography
CN110647815A (zh) 一种基于人脸视频图像的非接触式心率测量方法及系统
CN112806966B (zh) 一种非干扰式睡眠中呼吸暂停预警系统
JP2017093760A (ja) 心拍に連動する周期的変動の計測装置及び計測方法
Chen et al. Non-contact heart rate monitoring in neonatal intensive care unit using RGB camera
KR20180101816A (ko) 적외선 카메라를 이용한 비디오 안진 검사 장치 및 방법
CN113693573B (zh) 一种基于视频的非接触式多生理参数监测的系统及方法
Gwak et al. Motion-based respiratory rate estimation with motion artifact removal using video of face and upper body
Kado et al. Spatial-spectral-temporal fusion for remote heart rate estimation
Würtenberger et al. Optimum wavelengths in the near infrared for imaging photoplethysmography
Mehta et al. Heart rate estimation from RGB facial videos using robust face demarcation and VMD
Wiede et al. Signal fusion based on intensity and motion variations for remote heart rate determination
CN117064356A (zh) 利用空间冗余性强化鲁棒性的非接触血压监测装置、方法及系统
CN116509359A (zh) 一种工地作业的多目标心率监测方法及装置
US20230082016A1 (en) Mask for non-contact respiratory monitoring
KR20200087540A (ko) 비전 기반 심박수 측정 방법
CN115245318A (zh) 一种基于深度学习的有效ippg信号的自动识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200609