CN112545455A - 多通道一体化非接触式生命体征监测系统 - Google Patents
多通道一体化非接触式生命体征监测系统 Download PDFInfo
- Publication number
- CN112545455A CN112545455A CN202011297691.8A CN202011297691A CN112545455A CN 112545455 A CN112545455 A CN 112545455A CN 202011297691 A CN202011297691 A CN 202011297691A CN 112545455 A CN112545455 A CN 112545455A
- Authority
- CN
- China
- Prior art keywords
- target
- module
- infrared
- image
- distance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 23
- 230000029058 respiratory gaseous exchange Effects 0.000 claims abstract description 13
- 238000009529 body temperature measurement Methods 0.000 claims abstract description 8
- 230000036760 body temperature Effects 0.000 claims abstract description 7
- 238000001514 detection method Methods 0.000 claims description 14
- 230000004927 fusion Effects 0.000 claims description 11
- 238000000034 method Methods 0.000 claims description 9
- 238000007781 pre-processing Methods 0.000 claims description 7
- 238000000354 decomposition reaction Methods 0.000 claims description 6
- 238000012549 training Methods 0.000 claims description 4
- 230000000241 respiratory effect Effects 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 claims description 3
- 238000013528 artificial neural network Methods 0.000 claims description 2
- 230000010354 integration Effects 0.000 claims 1
- 230000002159 abnormal effect Effects 0.000 abstract description 2
- 238000011161 development Methods 0.000 description 3
- 230000007547 defect Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000003862 health status Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/01—Measuring temperature of body parts ; Diagnostic temperature sensing, e.g. for malignant or inflamed tissue
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/0205—Simultaneously evaluating both cardiovascular conditions and different types of body conditions, e.g. heart and respiratory condition
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Surgery (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Physics & Mathematics (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Cardiology (AREA)
- Physiology (AREA)
- Pulmonology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Radiation Pyrometers (AREA)
Abstract
本发明公开了一种多通道一体化非接触式生命体征监测系统，包括视觉部分、超宽带雷达部分、红外测温部分。本发明通过对多目标的多种生命体征(包括心率、呼吸、体温)的无线监测，实时显示每个目标的生命体征信息，实现对目标的实时监护功能，并且在目标生命体征出现异常时及时发出警告。
Description
技术领域
本发明属于基于多传感器融合监护的医学技术/电子信息技术领域，尤其涉及一种非接触式生命体征监测系统。
背景技术
近年来，国家出台了一系列的政策来支持医疗健康事业的发展。智能化监护和智慧医疗的发展也随之成为发展的一个重要趋势。随着智慧医疗的深入推进，实时获取尽可能多的生命体征信息，综合分析健康状况的需求越发迫切。
传统的生命体征监测方式以接触式为主，通常采用压力、电、磁场等传感器，通过测量电容、电阻等物理量的变化来计算人体呼吸率、心率等信息。这种方法在使用中因为其接触式的局限性会使被测者行动不便，而且部署繁琐，很难满足实时性的需要，而且对于一些特殊人群，如婴幼儿、烧伤病人等群体，或者有障碍物的救援场合，不能对目标进行有效的监测，限制了其使用范围。
超宽带(Ultra-WideBand,UWB)雷达具有低功耗、高分辨率的特性，提供一种非接触、一表测多人的监测方式，能够对多目标心率、呼吸的生命体征进行无接触监测，但是受限于其目标识别度低，易受干扰等缺点，难以实际应用；红外成像仪可以准确测得被检测目标的体温信息，但是同样存在目标识别度低的问题；双目摄像头有很好的目标识别度，但是无法获取生命体征信号。
发明内容
发明目的：针对上述现有存在的问题和不足，本发明将超宽带雷达、红外热成像仪和双目摄像头结合起来，发扬各自优势，形成能够实时监测心率、呼吸、体温信号的多通道一体化非接触式生命体征监测系统。实现多目标、全天监测，大大降低了监护成本，同时可以实现更方便，更精确长时监测的目的。
技术方案：为实现上述发明目的，本发明采用以下技术方案：一种基于多传感器融合的实时监护系统，包括视觉部分、超宽带雷达部分、红外测温部分，其中：所述的视觉部分包括人脸检测模块，双目测距模块和姿态识别模块，其中，所述的人脸检测模块，使用多任务神经网络(Multi-Task Convolutional Neural Network, MTCNN)，筛选视频中人脸并实现相邻帧目标关联；所述的双目测距模块，使用基于OpenCV的双目测距实现；所述的姿态识别模块基于GitHub开源项目OpenPose实现；所述的超宽带雷达部分，包括信号预处理模块和信号分解模块，其中预处理模块对信号进行预处理；信号分解模块使用VMD分解算法对信号进行分解；所述的红外测温模块，通过使用DenseFuse训练得到的可见光、红外融合模型获取目标体温信息。进一步的，所述视觉部分中，人脸检测模块负责快速识别检测目标；双目测距模块负责检测点和目标间距离的确定；姿态识别模块负责目标姿态的识别；超宽带雷达部分负责目标呼吸心跳的检测和目标和监测点距离的确定；红外测温部分负责可见光和红外的融合以及目标体温的获取。
将获取到的信息集中展现在视频中直观呈现给用户。
附图说明
图1为本发明所述多通道一体化非接触式生命体征监测系统的拓扑结构图；
图2为本发明所述视频部分的工作流程图；
图3为本发明所述脉冲超宽带雷达部分工作流程图；
图4为红外热成像仪部分工作流程图。
具体实施方式
下面结合附图和具体实施例，进一步阐明本发明，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。
本部分内容详细介绍本发明所述的一种基于多传感器融合的实时监护系统的实时工作流程：
1.按照图2所示，视频信号经过MTCNN的处理实现人脸检测功能，之后使用opencv实现双目测距，同时使用openpose算法实现姿态识别。
1.1.视频信号依次通过P-Net，R-Net和O-Net。P-Net为全卷积网络，能快速筛选疑似人脸区域并通过极大值抑制初步输出备选区域，R-Net多了全连接层，进一步筛选。O-Net筛选出人脸区域的同时通过回归输出每张人脸的五个特征点(双眼，鼻尖，嘴角)，同时使用MTCNN检测左右两帧中的人脸及对应的五个特征点，依据相似度实现目标关联；
1.2.双目测距模块直接调用了opencv的功能，其原理为
其中Z为目标距离，f为相机焦距，B 为两相机中心距，XR-XT为视差
1.3.姿态识别模块通过提取出视频帧中人体的18个关键节点以确认当前目标人体的姿态(如站立，坐，躺等)；
2.按照图3所示，使用超宽带雷达获取目标呼吸心跳体征；
2.1.将接收到的信号进行预处理，主要包括去直流，去杂波和通过带通滤波器三个步骤；
2.2.对预处理后的信号使用VMD算法分解；
2.3.将VMD分解后的信号使用快速傅里叶变换，挑选其中呼吸心跳分别对应的频谱，从而得到目标呼吸心跳信息；
3.可见光和红外视频的融合是使用训练好的DenseFuse模型来实现的，按照图4所示，使用DenseFuse 来训练模型；
3.1.首先将可见光图像和红外图像标准对齐，用作训练数据；
3.2.对齐的数据通过编码器进行特征提取，其中，编码器包含两个部分，第一层包含3*3的滤波器以提取粗糙特征，而密集块包含三个级联的卷积层和3*3的滤波器，用于探测深度特征；
3.3.融合层使用加法策略进行叠加，其原理为
其中фm表示输入图像经过编码器得到的特征图，fm表示经过融合后的特征图；
3.4.解码器由四个卷积层(3×3卷积)组成，用于重建输入图像，通过最小化损失函数来训练编码器和解码器；为了更精确地重建输入图像，我们最小化损失函数L来训练我们的编码器和解码器，L＝λLssim+ LP这是像素损失LP和结构相似性(SSIM)损失Lssim与权重λ的加权组合。像素损失LP计算为。Lp＝∣∣O-I∣∣2其中O和I分别表示输出和输入图像。它是输出O和输入I之间的欧几里德距离。SSIM损失Lssim由方程3获得，Lssim＝1-SSIM(O,I)其中SSIM(.)表示结构相似性操作，它表示两个图像的结构相似性；
4.将测得的各种生命体征信号和视频部分检测到的目标相对应；
4.1.将超宽带雷达获取到的目标呼吸心跳信息通过距离映射对应双目测距测得的距离信息，从而获得视频部分获取到的目标的呼吸心跳体征；
4.2.将视频模块和红外热成像仪共同标定，得到对应的生成矩阵；
4.3.通过生成矩阵将视频中的检测目标对应到融合后的图像中，从而获取到目标的体温信息；
5.长时监控，当目标身体健康状况出现异常时及时报警；
6.将测得的数据与健康标准数据相比较，根据比较结果对目标身体健康状況进行初步诊断。
Claims (6)
1.一种基于多传感器相融合的实时监护系统，其特征在于：包括视觉部分、超宽带雷达部分、红外测温模块，其中：
所述的视觉部分，负责目标的识别，将多个模块整合工作；
所述的超宽带雷达部分，负责目标呼吸心跳的检测和目标与检测点距离的测量；
所述的红外测温模块，负责目标体温的测量。
2.根据权利要求1所述视觉部分，其特征在于：主要包括人脸检测模块，双目测距模块和姿态识别模块，其中：
所述人脸检测模块，利用多任务神经网络筛选视频中人脸并实现相邻帧目标关联；
所述双目测距模块，使用基于OpenCV的双目测距实现；
所述姿态识别模块，使用openpose算法，通过提取出视频帧中人体的18个关键节点以确认当前目标人体的姿态。
3.根据权利要求1所述超宽带雷达部分，其特征在于：包括预处理模块、信号分解模块，其中：
预处理模块，利用预处理算法对信号进行去直流，去杂波和通过带通滤波器；
所述信号分解模块，使用VMD算法对信号进行分解并进行傅立叶变换选取呼吸心跳对应频率的信号,。
4.根据权利要求1所述红外测温部分，其特征在于：包括红外测温模块、红外可见光融合模块，其中：
所述红外测温模块，使用红外热成像仪探测目标区域红外信息；
所述红外可见光融合模块，使用DenseFuse生成红外和可见图像融合模型。
5.根据权利要求3所述呼吸心跳和检测目标对应方法，其特征在于：所述的对应目标和呼吸心跳的方法如下：
使用超宽带雷达测量目标与检测点的距离，将该距离与在本距离测得的呼吸心跳信息相对应；
使用双目测距测得各检测目标与检测点的距离；
通过将测到的两个距离相对应，获取目标所对应的呼吸心跳信息。
6.根据权利要求4所述红外和可见图像的融合方法DenseFuse，其特征在于：所述的红外和可见图像融合的方法如下：
将可见光图像和红外图像标准对齐，用作训练数据，使用编码器进行特征提取，通过损失函数来描述两者图像的差异性，由像素损失函数LP和结构相似性损失函数Lssin加权得到：
损失函数为：
Lssim＝1-SSIM(O,I)
Lp＝∣∣O-I∣∣2
L＝λLssim+LP
其中O和I分别表示输出图像和输入图像；LP是输出O和输入I之间的欧几里得距离，SSIM(.)表示两个图像的结构相似性；融合层使用加法策略进行叠加，使用解码器重建输入图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011297691.8A CN112545455A (zh) | 2020-11-18 | 2020-11-18 | 多通道一体化非接触式生命体征监测系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011297691.8A CN112545455A (zh) | 2020-11-18 | 2020-11-18 | 多通道一体化非接触式生命体征监测系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112545455A true CN112545455A (zh) | 2021-03-26 |
Family
ID=75043887
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011297691.8A Pending CN112545455A (zh) | 2020-11-18 | 2020-11-18 | 多通道一体化非接触式生命体征监测系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112545455A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113837089A (zh) * | 2021-09-24 | 2021-12-24 | 泉州装备制造研究所 | 一种有身份识别功能的非接触式生命体征检测系统及方法 |
| CN114305355A (zh) * | 2022-01-05 | 2022-04-12 | 北京科技大学 | 基于毫米波雷达的呼吸心跳检测方法、系统及装置 |
-
2020
- 2020-11-18 CN CN202011297691.8A patent/CN112545455A/zh active Pending
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113837089A (zh) * | 2021-09-24 | 2021-12-24 | 泉州装备制造研究所 | 一种有身份识别功能的非接触式生命体征检测系统及方法 |
| CN113837089B (zh) * | 2021-09-24 | 2024-03-01 | 泉州装备制造研究所 | 一种有身份识别功能的非接触式生命体征检测系统及方法 |
| CN114305355A (zh) * | 2022-01-05 | 2022-04-12 | 北京科技大学 | 基于毫米波雷达的呼吸心跳检测方法、系统及装置 |
| CN114305355B (zh) * | 2022-01-05 | 2023-08-22 | 北京科技大学 | 基于毫米波雷达的呼吸心跳检测方法、系统及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106580294B (zh) | 基于多模态成像技术的生理信号远程监控系统及应用 | |
| Hsu et al. | Deep learning with time-frequency representation for pulse estimation from facial videos | |
| CN108701357B (zh) | 用于皮肤检测的设备、系统和方法 | |
| CN113420624B (zh) | 一种非接触式疲劳检测方法及系统 | |
| EP3057487B1 (en) | Device and method for obtaining a vital sign of a subject | |
| CN105190691B (zh) | 用于获得对象的生命体征的设备 | |
| US11850026B2 (en) | Remote portable vital signs monitoring | |
| Zhang et al. | Heart rate extraction based on near-infrared camera: Towards driver state monitoring | |
| CN102499664A (zh) | 基于视频图像的非接触式生命体征的检测方法及检测系统 | |
| CN106236049A (zh) | 基于视频图像的血压测量方法 | |
| CN102309318A (zh) | 基于红外序列图像的人体生理参数检测的方法 | |
| CN108937905B (zh) | 一种基于信号拟合的非接触式心率检测方法 | |
| CN110236515A (zh) | 一种基于近红外视频的非接触式心率检测方法 | |
| CN104173051A (zh) | 非接触式自动呼吸测量系统及测量方法 | |
| CN112545455A (zh) | 多通道一体化非接触式生命体征监测系统 | |
| Yang et al. | Graph-based depth video denoising and event detection for sleep monitoring | |
| Bella et al. | Review and evaluation of heart rate monitoring based vital signs, a case study: Covid-19 pandemic | |
| CN111938604A (zh) | 一种基于多模态技术的呼吸系统疾病远程监控系统 | |
| Moya-Albor et al. | Heart rate estimation using Hermite transform video magnification and deep learning | |
| Andreotti et al. | Improved heart rate detection for camera-based photoplethysmography by means of Kalman filtering | |
| CN112716468A (zh) | 基于三维卷积网络的非接触心率测量方法及装置 | |
| Queiroz et al. | Video-based breathing rate monitoring in sleeping subjects | |
| Gilakjani et al. | Improved sensor selection method during movement for breathing rate estimation with unobtrusive pressure sensor arrays | |
| Ben Salah et al. | Contactless heart rate estimation from facial video using skin detection and multi-resolution analysis | |
| Medina-Quero et al. | Computer vision-based gait velocity from non-obtrusive thermal vision sensors |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20210326 |