CN115512178A - 一种基于深度学习的低成本体征监测方法与系统 - Google Patents
一种基于深度学习的低成本体征监测方法与系统 Download PDFInfo
- Publication number
- CN115512178A CN115512178A CN202211126407.XA CN202211126407A CN115512178A CN 115512178 A CN115512178 A CN 115512178A CN 202211126407 A CN202211126407 A CN 202211126407A CN 115512178 A CN115512178 A CN 115512178A
- Authority
- CN
- China
- Prior art keywords
- image
- irt
- chest
- monitored object
- detection model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0075—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by spectroscopy, i.e. measuring spectra, e.g. Raman spectroscopy, infrared absorption spectroscopy
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/01—Measuring temperature of body parts ; Diagnostic temperature sensing, e.g. for malignant or inflamed tissue
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/08—Detecting, measuring or recording devices for evaluating the respiratory organs
- A61B5/0816—Measuring devices for examining respiratory frequency
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7203—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7242—Details of waveform analysis using integration
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/725—Details of waveform analysis using specific filters therefor, e.g. Kalman or adaptive filters
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
- A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7271—Specific aspects of physiological measurement analysis
- A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Animal Behavior & Ethology (AREA)
- Veterinary Medicine (AREA)
- Public Health (AREA)
- Surgery (AREA)
- Molecular Biology (AREA)
- Heart & Thoracic Surgery (AREA)
- Biomedical Technology (AREA)
- Pathology (AREA)
- Biophysics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physiology (AREA)
- Signal Processing (AREA)
- Psychiatry (AREA)
- Theoretical Computer Science (AREA)
- Evolutionary Computation (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Computing Systems (AREA)
- Pulmonology (AREA)
- Mathematical Physics (AREA)
- Databases & Information Systems (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Fuzzy Systems (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
本发明公开了一种基于深度学习的低成本体征监测方法与系统。包括：使用红外摄像机对监测对象的活动进行拍摄，获取其一段时间内的IRT图像；对IRT图像帧进行标记和预处理，获得具有监测对象头部和胸部这两类目标边界框标注的数据集；使用所述数据集，训练和验证目标检测模型；使用所述目标检测模型定位监测对象头部，估计温度变化趋势；对获得的监测对象IRT图像使用时间滤波算法和光流算法，估计呼吸频率。本发明使用低分辨率的红外相机拍摄监测对象的IRT图像，基于深度学习的对象检测模型，应用成本更低，可以保证监测对象的舒适性，使用的约束条件较少，有利于实际应用中推广。同时，本发明使用端到端的方法，能够完成呼吸频率的实时估算。
Description
技术领域
本发明涉及深度学习，体征监测，对象检测领域，具体涉及一种基于深度学习的低成本体征监测方法与系统。
背景技术
近年来，人民群众对先进的、优质的医疗科技技术的需求日益增长。在这一背景下，如何高效利用医疗资源和如何及时监测患者的生命体征成为了亟需解决的问题。
持续监测患者的生命体征能够及时发现其健康状况的急性恶化情况，常用的监测内容有心率、血压、呼吸频率和体温。其中，很大部分重症监护病房的患者都出现过体温失调的现象，体温被认为是患者出现死亡风险的重要预测指标。此外，观察呼吸频率的变化可以及时发现呼吸衰竭病症，呼吸衰竭病症是造成死亡的重要因素。当前，呼吸频率是医院中最难以准确记录的生命体征，专业的监测器往往需要直接接触监测对象身体，可能导致对监测对象的额外伤害。同时，这些监测设备通常昂贵且学习成本极高。
随着计算机的发展，越来越强大的计算能力为使用计算机解决现实问题创造了条件。深度学习的发展使得计算机模型能够从海量数据中挖掘出潜在信息，完成了很多人类难以高效解决的问题。同时，深度学习的方法在应用中是低成本的，本发明基于深度学习，提出了一种低成本的体征监测方法。
目前的现有技术之一，发明专利“一种头戴式一体化生命体征检测设备”，该方案需要穿戴者直接面对被检测人员时，利用雷达快速获取被检测人员的呼吸、心率、体温基本生理参数，检测迅速、方便，无接触。该发明的缺点是需要被检测人员全程佩戴专业头盔形检测设备，每次只能服务一名受检测人员，为一对一的面对面检测，需要额外的专业人员协助。因此，该发明仅适用于每日常规检测，无法完成全天实时监测，不适用于大型医院对危重症监测对象的24小时实时生命体征监测。
目前的现有技术之二，论文“Non-contact diagnostic system for sleepapnea–hypopnea syndrome based on amplitude and phase analysis of thoracic andabdominal Doppler radars”中的基于多普勒雷达的非接触式睡眠呼吸暂停低通气综合征诊断技术，该技术可以在不对监测个体造成精神压力的情况下监测呼吸暂停事件。该技术通过安装在床垫下方的两个多普勒雷达，分别测量胸部和腹部的振动。当雷达输出的振动幅度分别较正常幅度降低20％或70％时，系统判定出现呼吸暂停或呼吸不足事件。此外，该技术通过胸部和腹部运动之间的相位差来识别三种类型的睡眠呼吸暂停：阻塞性、中枢性和混合型。该技术的缺点是需要专业的多普勒雷达设备，成本较高，监测效果高度依赖于多普勒雷达的工作效率。此外，监测对象必须以固定的睡姿平躺在固定的区域内，不利于该技术在现实场景下的应用推广。
目前的现有技术之三，论文“Remote monitoring of breathing dynamics usinginfrared thermography”中的红外热成像远程呼吸监测技术，该技术使用高清晰度热成像相机从鼻孔中估计呼吸频率。与需要手动选择感兴趣区域的其他方法相比，该技术允许在第一帧中自动检测鼻子。同时，该技术设计一种灵活的算法，用于根据红外热成像(IRT)波形稳健估计局部呼吸间隔。该技术的缺点是需要使用非常昂贵的相机硬件，并且需要对鼻孔保持一致的视线，这限制了相机的位置和角度。此外，在实际记录后，必须离线应用跟踪算法，无法实时监测对象的生命体征。
发明内容
本发明的目的是克服现有方法的不足，提出了一种基于深度学习的低成本体征监测方法与系统。本发明解决的主要问题是，现有的生命体征监测方法，主要分为两类，一类基于生物信息传感器，如压力传感器、微波雷达、气垫或高分子压电薄膜；另一类基于红外热成像对监测对象面部温度和动作进行分析。这些方法存在的问题在于成本往往较高，难以大规模使用，使用时的约束条件过多。同时，当前基于红外热成像的技术无法做到实时的体征监测。即如何实现可用于临床，具有无接触、低成本、易使用和实时监测等特点的生命体征监测方案的问题。
为了解决上述问题，本发明提出了一种基于深度学习的低成本体征监测方法，所述方法包括：
确定红外摄像机的热敏感度和拍摄记录速度，使用所述红外摄像机对监测对象的活动进行拍摄，获得监测对象在一段时间内的IRT(infrared thermography，红外热成像)图像，并将其随机划分为训练集、验证集和测试集；
对所述IRT图像的图像帧进行标记和预处理，获得具有监测对象头部和胸部这两类目标边界框标注的数据集；
使用所述数据集，完成目标检测器的训练和验证，获得能够检测出图像帧中监测对象头部和胸部的目标检测模型；
使用所述红外摄像机对监测对象的生命活动进行监测和记录，获得监测对象IRT图像，使用所述目标检测模型定位监测对象头部，估计温度变化趋势；
对所述获得的监测对象IRT图像使用时间滤波算法和光流算法，估计呼吸频率。
优选地，对所述IRT图像的图像帧进行标记和预处理，获得具有监测对象头部和胸部这两类目标边界框标注的数据集，具体为：
对所述IRT图像的所有图像帧都根据最小温度值和最大温度值进行归一化处理；
使用“Yolo_mark”工具对所述归一化后的图像帧执行真实标签标记，分别用边界框标记监测对象头部和胸部在图像帧中的位置，获得带标注的图像帧。
优选地，使用所述数据集，完成目标检测器的训练和验证，获得能够检测出图像帧中监测对象头部和胸部的目标检测模型，具体为：
以所述带标注的图像帧作为数据集，使用YOLOv4算法进行目标检测模型的训练；
在一个GPU上训练模型权重，进行多次迭代，通过评估验证集上的推理结果，使用早期停止来防止过拟合；
采用10倍交叉验证来评估模型的性能，并在训练步骤中获得泛化过程的估计值，获得训练后的目标检测模型。
优选地，使用所述红外摄像机对监测对象的生命活动进行监测和记录，获得监测对象IRT图像，使用所述目标检测模型定位监测对象头部，估计温度变化趋势，具体为：
将所述监测对象IRT图像的图像帧输入到所述目标检测模型中，用边界框定位监测对象的头部区域；
使用所述边界框裁剪面部部位，选择边界框中的最大温度值作为面部温度，进而在连续的图像帧中生成温度变化趋势。
优选地，对所述获得的监测对象IRT图像使用时间滤波算法和光流算法，估计呼吸频率，具体为：
将所述监测对象IRT图像的图像帧输入到所述目标检测模型中，用边界框定位并裁剪监测对象的胸部区域；
使用时间滤波算法，对获得的所述胸部裁剪区域降噪，对前三帧(t-2,t-1,t)使用像素平均操作，作为“上一帧”，对后三帧(t-1,t,t+1)使用像素平均操作，作为“当前帧”；
将生成的所述“上一帧”和“当前帧”输入到由OpenCV实现的光流算法中，获得位移场，即胸部区域每个像素的运动；
对生成的所有位移向量进行空间平均，以提取胸部的平均运动；
使用二阶巴特沃斯带通滤波器对生成的胸部运动信号进行滤波，与呼吸相关的截止频率分别为0.15Hz和0.44Hz，然后计算滤波信号的自相关来量化信号的自相似性，最后选择呼吸频率范围内的最大峰值来计算呼吸频率。
相应地，本发明还提供了一种基于深度学习的低成本体征监测系统，包括：
IRT图像记录单元，用于确定红外摄像机的热敏感度和拍摄记录速度，使用所述红外摄像机对监测对象的活动进行拍摄，获得监测对象在一段时间内的IRT图像，并将其随机划分为训练集、验证集和测试集；
数据集采集单元，用于对所述IRT图像的图像帧进行标记和预处理，获得具有监测对象头部和胸部这两类目标边界框标注的数据集；
目标检测模型训练单元，用于使用所述数据集，完成目标检测器的训练和验证，获得能够检测出图像帧中监测对象头部和胸部的目标检测模型；
温度变化趋势生成单元，用于使用所述红外摄像机对监测对象的生命活动进行监测和记录，获得监测对象IRT图像，使用所述目标检测模型定位监测对象头部，估计温度变化趋势；
呼吸频率计算单元，对所述获得的监测对象IRT图像使用时间滤波算法和光流算法，估计呼吸频率。
实施本发明，具有如下有益效果：
本发明使用低分辨率的红外相机拍摄监测对象的IRT图像，相比专业的接触式生物体征监测设备，本发明的应用成本低。同时，非接触的监测方式能够保证监测对象的舒适性，有效缓解监测对象的精神压力；本发明基于深度学习的对象检测模型，自动裁剪每个图像帧中的监测对象头部和胸部区域。相比一般的基于红外相机的方法，本发明使用的约束条件较少，对相机布置角度和监测对象空间位置的限制较低，有利于在实际应用中推广；本发明使用端到端的方法，在每次记录IRT图像后使用光流算法识别监测对象胸部的细微变化，能够完成呼吸频率的实时估算。
附图说明
图1是本发明实施例的基于深度学习的低成本体征监测方法的流程图；
图2是本发明实施例的基于时间滤波算法和光流算法估算呼吸频率流程图；
图3是本发明实施例的基于深度学习的低成本体征监测系统的结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1是本发明实施例的基于深度学习的低成本体征监测方法的流程图，如图1所示，该方法包括：
S1，确定红外摄像机的热敏感度和拍摄记录速度，本实施例中选择热敏感度为40mK的红外摄像机，拍摄记录速度选择每秒4帧，使用所述红外摄像机对监测对象的活动进行拍摄，获得监测对象在一段时间内的IRT图像，并将其随机划分为训练集、验证集和测试集；
S2，对所述IRT图像的图像帧进行标记和预处理，获得具有监测对象头部和胸部这两类目标边界框标注的数据集；
S3，使用所述数据集，完成目标检测器的训练和验证，获得能够检测出图像帧中监测对象头部和胸部的目标检测模型；
S4，使用所述红外摄像机对监测对象的生命活动进行监测和记录，获得监测对象IRT图像，使用所述目标检测模型定位监测对象头部，估计温度变化趋势；
S5，对所述获得的监测对象IRT图像使用时间滤波算法和光流算法，估计呼吸频率。
步骤S2，具体如下：
S2-1，对所述IRT图像的所有图像帧都根据最小温度值和最大温度值进行归一化处理；
S2-2，使用“Yolo_mark”工具对所述归一化后的图像帧执行真实标签标记，分别用边界框标记监测对象头部和胸部在图像帧中的位置，获得带标注的图像帧。
步骤S3，具体如下：
S3-1，以所述带标注的图像帧作为数据集，使用YOLOv4算法进行目标检测模型的训练；
S3-2，在一个GPU上训练模型权重，进行多次迭代，本实施例选择迭代1000次，图像大小为416×416px，通过评估验证集上的推理结果，使用早期停止来防止过拟合；
S3-3，采用10倍交叉验证来评估模型的性能，并在训练步骤中获得泛化过程的估计值，获得训练后的目标检测模型。
步骤S4，具体如下：
S4-1，将所述监测对象IRT图像的图像帧输入到所述目标检测模型中，用边界框定位监测对象的头部区域；
S4-2，使用所述边界框裁剪面部部位，选择边界框中的最大温度值作为面部温度，进而在连续的图像帧中生成温度变化趋势。
步骤S5，如图2所示，具体如下：
S5-1，将所述监测对象IRT图像的图像帧输入到所述目标检测模型中，用边界框定位并裁剪监测对象的胸部区域；
S5-2，使用时间滤波算法，对获得的所述胸部裁剪区域降噪，对前三帧(t-2,t-1,t)使用像素平均操作，作为“上一帧”，对后三帧(t-1,t,t+1)使用像素平均操作，作为“当前帧”；
S5-3，将生成的所述“上一帧”和“当前帧”输入到由OpenCV实现的光流算法中，获得位移场，即胸部区域每个像素的运动；
S5-4，对生成的所有位移向量进行空间平均，以提取胸部的平均运动；
S5-5，使用二阶巴特沃斯带通滤波器对生成的胸部运动信号进行滤波，与呼吸相关的截止频率分别为0.15Hz和0.44Hz，然后计算滤波信号的自相关来量化信号的自相似性，最后选择呼吸频率范围内的最大峰值来计算呼吸频率。
相应地，本发明还提供了一种基于深度学习的低成本体征监测系统，如图3所示，包括：
IRT图像记录单元1，用于确定红外摄像机的热敏感度和拍摄记录速度，本实施例中选择热敏感度为40mK的红外摄像机，拍摄记录速度选择每秒4帧，使用所述红外摄像机对监测对象的活动进行拍摄，获得监测对象在一段时间内的IRT图像，并将其随机划分为训练集、验证集和测试集；
数据集采集单元2，用于对所述IRT图像的图像帧进行标记和预处理，获得具有监测对象头部和胸部这两类目标边界框标注的数据集；
具体地，对所述IRT图像的所有图像帧都根据最小温度值和最大温度值进行归一化处理；使用“Yolo_mark”工具对所述归一化后的图像帧执行真实标签标记，分别用边界框标记监测对象头部和胸部在图像帧中的位置，获得带标注的图像帧。
目标检测模型训练单元3，用于使用所述数据集，完成目标检测器的训练和验证，获得能够检测出图像帧中监测对象头部和胸部的目标检测模型；
具体地，以所述带标注的图像帧作为数据集，使用YOLOv4算法进行目标检测模型的训练；在一个GPU上训练模型权重，进行多次迭代，本实施例选择迭代1000次，图像大小为416×416px，通过评估验证集上的推理结果，使用早期停止来防止过拟合；采用10倍交叉验证来评估模型的性能，并在训练步骤中获得泛化过程的估计值，获得训练后的目标检测模型。
温度变化趋势生成单元4，用于使用所述红外摄像机对监测对象的生命活动进行监测和记录，获得监测对象IRT图像，使用所述目标检测模型定位监测对象头部，估计温度变化趋势；
具体地，将所述监测对象IRT图像的图像帧输入到所述目标检测模型中，用边界框定位监测对象的头部区域；使用所述边界框裁剪面部部位，选择边界框中的最大温度值作为面部温度，进而在连续的图像帧中生成温度变化趋势。
呼吸频率计算单元5，对所述获得的监测对象IRT图像使用时间滤波算法和光流算法，估计呼吸频率。
具体地，将所述监测对象IRT图像的图像帧输入到所述目标检测模型中，用边界框定位并裁剪监测对象的胸部区域；使用时间滤波算法，对获得的所述胸部裁剪区域降噪，对前三帧(t-2,t-1,t)使用像素平均操作，作为“上一帧”，对后三帧(t-1,t,t+1)使用像素平均操作，作为“当前帧”；将生成的所述“上一帧”和“当前帧”输入到由OpenCV实现的光流算法中，获得位移场，即胸部区域每个像素的运动；对生成的所有位移向量进行空间平均，以提取胸部的平均运动；使用二阶巴特沃斯带通滤波器对生成的胸部运动信号进行滤波，与呼吸相关的截止频率分别为0.15Hz和0.44Hz，然后计算滤波信号的自相关来量化信号的自相似性，最后选择呼吸频率范围内的最大峰值来计算呼吸频率。
因此，本发明使用低分辨率的红外相机拍摄监测对象的IRT图像，相比专业的接触式生物体征监测设备的应用成本更低。同时，非接触的监测方式能够保证监测对象的舒适性，有效缓解其精神压力；本发明基于深度学习的对象检测模型，自动裁剪每个图像帧中的监测对象头部和胸部区域。相比一般的基于红外相机的方法，本发明使用的约束条件较少，对相机布置角度和检测对象空间位置的限制较低，有利于在实际应用中推广；本发明使用端到端的方法，在每次记录IRT图像后使用光流算法识别检测对象胸部的细微变化，能够完成呼吸频率的实时估算。
以上对本发明实施例所提供的基于深度学习的低成本体征监测方法与系统进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
Claims (10)
1.一种基于深度学习的低成本体征监测方法，其特征在于，所述方法包括：
确定红外摄像机的热敏感度和拍摄记录速度，使用所述红外摄像机对监测对象的活动进行拍摄，获得监测对象在一段时间内的红外热成像IRT图像，并将其随机划分为训练集、验证集和测试集；
对所述IRT图像的图像帧进行标记和预处理，获得具有监测对象头部和胸部这两类目标边界框标注的数据集；
使用所述数据集，完成目标检测器的训练和验证，获得能够检测出图像帧中监测对象头部和胸部的目标检测模型；
使用所述红外摄像机对监测对象的生命活动进行监测和记录，获得监测对象IRT图像，使用所述目标检测模型定位监测对象头部，估计温度变化趋势；
对所述获得的监测对象IRT图像使用时间滤波算法和光流算法，估计呼吸频率。
2.如权利要求1所述的基于深度学习的低成本体征监测方法，其特征在于，所述对所述IRT图像的图像帧进行标记和预处理，获得具有监测对象头部和胸部这两类目标边界框标注的数据集，具体为：
对所述IRT图像的所有图像帧都根据最小温度值和最大温度值进行归一化处理；
使用“Yolo_mark”工具对所述归一化后的图像帧执行真实标签标记，分别用边界框标记监测对象头部和胸部在图像帧中的位置，获得带标注的图像帧。
3.如权利要求1所述的基于深度学习的低成本体征监测方法，其特征在于，所述使用所述数据集，完成目标检测器的训练和验证，获得能够检测出图像帧中监测对象头部和胸部的目标检测模型，具体为：
以所述带标注的图像帧作为数据集，使用YOLOv4算法进行目标检测模型的训练；
在一个GPU上训练模型权重，进行多次迭代，通过评估验证集上的推理结果，使用早期停止来防止过拟合；
采用10倍交叉验证来评估模型的性能，并在训练步骤中获得泛化过程的估计值，获得训练后的目标检测模型。
4.如权利要求1所述的基于深度学习的低成本体征监测方法，其特征在于，所述使用所述红外摄像机对监测对象的生命活动进行监测和记录，获得监测对象IRT图像，使用所述目标检测模型定位监测对象头部，估计温度变化趋势，具体为：
将所述监测对象IRT图像的图像帧输入到所述目标检测模型中，用边界框定位监测对象的头部区域；
使用所述边界框裁剪面部部位，选择边界框中的最大温度值作为面部温度，进而在连续的图像帧中生成温度变化趋势。
5.如权利要求1所述的基于深度学习的低成本体征监测方法，其特征在于，所述对所述获得的监测对象IRT图像使用时间滤波算法和光流算法，估计呼吸频率，具体为：
将所述监测对象IRT图像的图像帧输入到所述目标检测模型中，用边界框定位并裁剪监测对象的胸部区域；
使用时间滤波算法，对获得的所述胸部裁剪区域降噪，对前三帧(t-2,t-1,t)使用像素平均操作，作为“上一帧”，对后三帧(t-1,t,t+1)使用像素平均操作，作为“当前帧”；
将生成的所述“上一帧”和“当前帧”输入到由OpenCV实现的光流算法中，获得位移场，即胸部区域每个像素的运动；
对生成的所有位移向量进行空间平均，以提取胸部的平均运动；
使用二阶巴特沃斯带通滤波器对生成的胸部运动信号进行滤波，与呼吸相关的截止频率分别为0.15Hz和0.44Hz，然后计算滤波信号的自相关来量化信号的自相似性，最后选择呼吸频率范围内的最大峰值来计算呼吸频率。
6.一种基于深度学习的低成本体征监测系统，其特征在于，所述系统包括：
IRT图像记录单元，用于确定红外摄像机的热敏感度和拍摄记录速度，使用所述红外摄像机对监测对象的活动进行拍摄，获得监测对象在一段时间内的IRT图像，并将其随机划分为训练集、验证集和测试集；
数据集采集单元，用于对所述IRT图像的图像帧进行标记和预处理，获得具有监测对象头部和胸部这两类目标边界框标注的数据集；
目标检测模型训练单元，用于使用所述数据集，完成目标检测器的训练和验证，获得能够检测出图像帧中监测对象头部和胸部的目标检测模型；
温度变化趋势生成单元，用于使用所述红外摄像机对监测对象的生命活动进行监测和记录，获得监测对象IRT图像，使用所述目标检测模型定位监测对象头部，估计温度变化趋势；
呼吸频率计算单元，对所述获得的监测对象IRT图像使用时间滤波算法和光流算法，估计呼吸频率。
7.如权利要求6所述的基于深度学习的低成本体征监测系统，其特征在于，所述数据集采集单元，需要对所述IRT图像的所有图像帧都根据最小温度值和最大温度值进行归一化处理；使用“Yolo_mark”工具对所述归一化后的图像帧执行真实标签标记，分别用边界框标记监测对象头部和胸部在图像帧中的位置，获得带标注的图像帧。
8.如权利要求6所述的基于深度学习的低成本体征监测系统，其特征在于，所述目标检测模型训练单元，需要以所述带标注的图像帧作为数据集，使用YOLOv4算法进行目标检测模型的训练；在一个GPU上训练模型权重，进行多次迭代，通过评估验证集上的推理结果，使用早期停止来防止过拟合；采用10倍交叉验证来评估模型的性能，并在训练步骤中获得泛化过程的估计值，获得训练后的目标检测模型。
9.如权利要求6所述的基于深度学习的低成本体征监测系统，其特征在于，所述温度变化趋势生成单元，需要将所述监测对象IRT图像的图像帧输入到所述目标检测模型中，用边界框定位监测对象的头部区域；使用所述边界框裁剪面部部位，选择边界框中的最大温度值作为面部温度，进而在连续的图像帧中生成温度变化趋势。
10.如权利要求6所述的一种基于深度学习的低成本体征监测系统，其特征在于，所述呼吸频率计算单元，需要将所述监测对象IRT图像的图像帧输入到所述目标检测模型中，用边界框定位并裁剪监测对象的胸部区域；使用时间滤波算法，对获得的所述胸部裁剪区域降噪，对前三帧(t-2,t-1,t)使用像素平均操作，作为“上一帧”，对后三帧(t-1,t,t+1)使用像素平均操作，作为“当前帧”；将生成的所述“上一帧”和“当前帧”输入到由OpenCV实现的光流算法中，获得位移场，即胸部区域每个像素的运动；对生成的所有位移向量进行空间平均，以提取胸部的平均运动；使用二阶巴特沃斯带通滤波器对生成的胸部运动信号进行滤波，与呼吸相关的截止频率分别为0.15Hz和0.44Hz，然后计算滤波信号的自相关来量化信号的自相似性，最后选择呼吸频率范围内的最大峰值来计算呼吸频率。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211126407.XA CN115512178A (zh) | 2022-09-16 | 2022-09-16 | 一种基于深度学习的低成本体征监测方法与系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211126407.XA CN115512178A (zh) | 2022-09-16 | 2022-09-16 | 一种基于深度学习的低成本体征监测方法与系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115512178A true CN115512178A (zh) | 2022-12-23 |
Family
ID=84504383
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211126407.XA Pending CN115512178A (zh) | 2022-09-16 | 2022-09-16 | 一种基于深度学习的低成本体征监测方法与系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115512178A (zh) |
-
2022
- 2022-09-16 CN CN202211126407.XA patent/CN115512178A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10506952B2 (en) | Motion monitor | |
| Nicolò et al. | The importance of respiratory rate monitoring: From healthcare to sport and exercise | |
| Murthy et al. | Touchless monitoring of breathing function | |
| Deng et al. | Design and implementation of a noncontact sleep monitoring system using infrared cameras and motion sensor | |
| US11612338B2 (en) | Body motion monitor | |
| Li et al. | Noncontact vision-based cardiopulmonary monitoring in different sleeping positions | |
| Liu et al. | Breathsens: A continuous on-bed respiratory monitoring system with torso localization using an unobtrusive pressure sensing array | |
| WO2019173237A1 (en) | Systems, devices, and methods for tracking and analyzing subject motion during a medical imaging scan and/or therapeutic procedure | |
| CN102973273A (zh) | 一种基于红外辐射检测的睡眠呼吸功能监测系统 | |
| WO2019140155A1 (en) | Systems, devices, and methods for tracking and/or analyzing subject images and/or videos | |
| Basu et al. | Infrared imaging based hyperventilation monitoring through respiration rate estimation | |
| Alkali et al. | Facial tracking in thermal images for real-time noncontact respiration rate monitoring | |
| Ganfure | Using video stream for continuous monitoring of breathing rate for general setting | |
| Martinez et al. | Breathing rate monitoring during sleep from a depth camera under real-life conditions | |
| CN110811547A (zh) | 一种多导睡眠监测仪及睡眠监测方法 | |
| Maurya et al. | Non-contact respiratory rate monitoring using thermal and visible imaging: A pilot study on neonates | |
| Wang et al. | Contactless patient care using hospital iot: Cctv camera based physiological monitoring in icu | |
| Wiede et al. | Signal fusion based on intensity and motion variations for remote heart rate determination | |
| Wang et al. | Vision analysis in detecting abnormal breathing activity in application to diagnosis of obstructive sleep apnoea | |
| CN202942113U (zh) | 一种基于红外辐射检测的睡眠呼吸功能监测系统 | |
| CN115512178A (zh) | 一种基于深度学习的低成本体征监测方法与系统 | |
| Nesar et al. | Improving touchless respiratory monitoring via lidar orientation and thermal imaging | |
| Farah et al. | Respiratory rate measurement in children using a thermal imaging camera | |
| Fei et al. | Thermal vision for sleep apnea monitoring | |
| Al-Kalidi et al. | Respiratory rate measurement in children using a thermal camera |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |