CN115187507A - 一种基于热成像技术的心率和呼吸率检测系统及方法 - Google Patents

一种基于热成像技术的心率和呼吸率检测系统及方法 Download PDF

Info

Publication number
CN115187507A
CN115187507A CN202210570552.0A CN202210570552A CN115187507A CN 115187507 A CN115187507 A CN 115187507A CN 202210570552 A CN202210570552 A CN 202210570552A CN 115187507 A CN115187507 A CN 115187507A
Authority
CN
China
Prior art keywords
heart rate
image
waveform
respiratory
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210570552.0A
Other languages
English (en)
Inventor
李可
赵芮
胡咏梅
陈玉国
徐峰
王甲莉
庞佼佼
潘畅
李贻斌
边圆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong University
Qilu Hospital of Shandong University
Original Assignee
Shandong University
Qilu Hospital of Shandong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong University, Qilu Hospital of Shandong University filed Critical Shandong University
Priority to CN202210570552.0A priority Critical patent/CN115187507A/zh
Publication of CN115187507A publication Critical patent/CN115187507A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0075—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by spectroscopy, i.e. measuring spectra, e.g. Raman spectroscopy, infrared absorption spectroscopy
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/0205—Simultaneously evaluating both cardiovascular conditions and different types of body conditions, e.g. heart and respiratory condition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/08—Detecting, measuring or recording devices for evaluating the respiratory organs
    • A61B5/0816—Measuring devices for examining respiratory frequency
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/155—Segmentation; Edge detection involving morphological operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20032—Median filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20152—Watershed segmentation

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • Cardiology (AREA)
  • Physiology (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Surgery (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Pulmonology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Multimedia (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

本公开公开的一种基于热成像技术的心率和呼吸率检测系统及方法，包括：图像获取模块，用于获取人的热红外序列图像；预处理模块，用于对热红外序列图像进行预处理，获取预处理后图像；感兴趣区域提取模块，用于从预处理后图像中提取鼻孔区域和额头区域；初始动态波形获取模块，用于采用光流法，分别计算鼻孔区域和额头区域的灰度平均值，获得基于时间序列的初始动态呼吸波形和心率波形；结果获取模块，用于根据初始动态呼吸波形和心率波形，获取呼吸率和心率。通过获取热红外序列图像，将热红外图像的温度变化转换为灰度值的周期性变化，进而获得心率和呼吸率，实现心率和呼吸率的测量不受恶劣环境及光线强度的影响，实现全天时全天候测量。

Description

一种基于热成像技术的心率和呼吸率检测系统及方法
技术领域
本发明涉及信号处理技术领域，尤其涉及一种基于热成像技术的心率和呼吸率检测系统及方法。
背景技术
本部分的陈述仅仅是提供了与本公开相关的背景技术信息，不必然构成在先技术。
当前的心率和呼吸率信息的提取多采用接触式方法，该方法虽然可靠准确率高，但需要参与者的接触式配合，效率偏低且不适应于公共安全领域。在此基础上，出现了非接触式检测技术，而非接触式检测技术大多基于RGB相机进行，主要是将自然环境光和皮肤组织反射光的混合信号变换为点信号，然后量化成图像，即人脸视频记录了一段时间内的皮肤吸收光照强度的波动，再进行信号特征的呼吸频率和心率的估计来获取其中蕴含的呼吸信号和心跳信号，但其缺点也较为明显，那就是在黑暗环境下无法进行检测，需要借助外界光源或者自主补光的方法来进行检测。
发明内容
本公开为了解决上述问题，提出了一种基于热成像技术的心率和呼吸率检测系统及方法，通过获取热红外序列图像，将热红外图像的温度变化转换为灰度值的周期性变化，进而获得心率和呼吸率，实现心率和呼吸率的测量不受恶劣环境及光线强度的影响，实现全天时全天候测量。
为实现上述目的，本公开采用如下技术方案：
第一方面，提出了一种基于热成像技术的心率和呼吸率检测系统，包括：
图像获取模块，用于获取人的热红外序列图像；
预处理模块，用于对热红外序列图像进行预处理，获取预处理后图像；
感兴趣区域提取模块，用于从预处理后图像中提取鼻孔区域和额头区域；
初始动态波形获取模块，用于采用光流法，分别计算鼻孔区域和额头区域的灰度平均值，获得基于时间序列的初始动态呼吸波形和心率波形；
结果获取模块，用于根据初始动态呼吸波形和心率波形，获取呼吸率和心率。
第二方面，提出了一种基于热成像技术的心率和呼吸率检测方法，包括：
获取人的热红外序列图像；
对热红外序列图像进行预处理，获取预处理后图像；
从预处理后图像中提取鼻孔区域和额头区域；
采用光流法，分别计算鼻孔区域和额头区域的灰度平均值，获得基于时间序列的初始动态呼吸波形和心率波形；
根据初始动态呼吸波形和心率波形，获取呼吸率和心率。
第三方面，提出了一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成一种基于热成像技术的心率和呼吸率检测方法所述的步骤。
第四方面，提出了一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成一种基于热成像技术的心率和呼吸率检测方法所述的步骤。
与现有技术相比，本公开的有益效果为：
1、本公开系统使用热红外成像技术获得待识别的人的热红外序列图像，并将热红外序列图像中感兴趣区域的温度变化转换为灰度值的周期性变化，获得时间序列信号，进行获得心率和呼吸率，实现了无接触情况下，心率和呼吸率的准确测量，并不受恶劣环境及光线强度的影响，能够实现全天时全天候测量。
2、本公开系统在通过光流法获取基于时间序列的初始动态呼吸波形和心率波形时，将金字塔分层与Lucas-Kanade法相结合，即采用粗细分层策略将预处理后图像分解成不同层次，并将粗尺度下的结果作为下一个尺度的初始值，以不同分辨率计算图像序列，能够准确识别和跟踪每个热成像视频帧中的鼻孔区域和额头区域，具有很高的算法效率。
3、本公开系统通过提取鼻孔区域和额头区域，进而通过鼻孔区域和额头区域识别出呼吸率和心率，其中，鼻孔区域和额头区域在部分特征点被遮挡的情况下，仍能被识别出来，从而解决了关键点的抖动，导致有效特征无法获取的问题，有效保证呼吸率和心率识别的效率和准确率。
本发明附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
构成本申请的一部分的说明书附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。
图1为本公开实施例1公开系统获取呼吸率和心率流程图；
图2为本公开实施例1公开系统从图像背景中检测出的主体边界；
图3为本公开实施例1获取的呼吸信号；
图4为本公开实施例1对心率信号进行EEMD分解。
具体实施方式：
下面结合附图与实施例对本公开作进一步说明。
应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
实施例1
在获取心率和呼吸率时，由于现有的接触式检测方法存在效率偏低且不适应于公共安全领域，基于RGB相机进行的视频图像检测无法克服外界光线带来的噪声影响，本实施例提出了一种基于热成像技术的心率和呼吸率检测系统，使用热红外成像技术，主要是以人体测量区域温度变化为基础的，不受光线强弱的影响，同时为了避免热成像技术获取的的图像分辨率差，噪声多，导致热成像技术测量生命体征的结果极不稳定、且准确率低的问题，从获取的热红外序列图像中提取了面部感兴趣区域，将面部感兴趣区域的温度变化转换为灰度值的周期性变化并显示成时间序列信号，以此来获取心率和呼吸率。
一种基于热成像技术的心率和呼吸率检测系统，包括：
图像获取模块，用于获取人的热红外序列图像；
预处理模块，用于对热红外序列图像进行预处理，获取预处理后图像；
感兴趣区域提取模块，用于从预处理后图像中提取鼻孔区域和额头区域；
初始动态波形获取模块，用于采用光流法，分别计算鼻孔区域和额头区域的灰度平均值，获得基于时间序列的初始动态呼吸波形和心率波形；
结果获取模块，用于根据初始动态呼吸波形和心率波形，获取呼吸率和心率。
进一步的，感兴趣区域提取模块从预处理后图像中提取鼻孔区域和额头区域的具体过程为：
从预处理后图像中获取脸的轮廓；
识别脸的轮廓的中心区域；
计算中心区域的最低像素值，该最低像素值处为鼻尖位置，根据鼻尖位置，获得鼻孔区域；
距离鼻孔区域设定距离处为额头区域。
进一步的，感兴趣区域提取模块采用分水岭分割算法从预处理后图像中获取脸的轮廓。
进一步的，预处理模块对热红外序列图像进行预处理的过程为：
对热红外序列图像进行降噪，获得降噪后图像；
对降噪后图像进行锐化，获得锐化后图像；
对锐化后图像进行边缘检测，获得预处理后图像。
进一步的，初始动态波形获取模块在基于光流法获得基于时间序列的初始动态呼吸波形和心率波形时，将金字塔分层与Lucas-Kanade法相结合，即采用粗细分层策略将鼻孔区域和额头区域分解成不同层次，并将粗尺度下的结果作为下一个尺度的初始值，以不同分辨率计算图像序列。
进一步的，结果获取模块根据初始动态呼吸波形和心率波形，获取呼吸率和心率值的具体过程为：
对初始动态呼吸波形和心率波形进行滤波处理，获取呼吸信号和心率信号；
分别根据呼吸信号和心率信号，获得呼吸率和心率。
进一步的，结果获取模块对初始动态呼吸波形和心率波形进行滤波处理，获取呼吸信号和心率信号的具体过程为：
对初始动态呼吸波形和心率波形进行去噪，获得对应的去噪后波形；
采用集合经验模态分别算法将去噪后波形分解为多个IMF函数的组合；
从多个IMF函数的组合中去除与噪声相关的IMF函数，获得降噪后IMF组合；
对降噪后IMF组合中的IMF函数进行正交变换，获得相应的呼吸信号和心率信号。
对本实施例公开的一种基于热成像技术的心率和呼吸率检测系统进行详细说明。
一种基于热成像技术的心率和呼吸率检测系统，如图1所示，包括：
S1：图像获取模块，用于获取热红外序列图像。
其中，图像获取模块采用红外热像仪来获取热红外序列图像，红外热像仪是一种无源被动式接收的设备，不主动发射信号，只接收信号，对人体无害，可成像，尤其可以夜间成像，具有提取目标特征，及可得到温度信息等独特优势，且相对于可见光成像模糊了人体面部的具体特征，保护隐私，同时不受恶劣环境及光线强度的影响，能够实现全天时全天候测量。
S2：预处理模块，用于对热红外序列图像进行预处理，获取预处理后图像，具体为：
S21：对热红外序列图像进行降噪，获得降噪后图像。
针对人脸热红外图像对比度差、分辨率低的特点，对热红外图像进行降噪，去除会影响图像精度的噪声影响。在具体实施时，可采用高斯滤波和中值滤波结合的方式对热红外图像进行降噪处理。对于高斯滤波来说，由图像本身像素点的值和邻域内其他的像素点的值经过加权平均后得到图像上的每一个像素点的值。其具体操作是，用一个核(又称为卷积核、掩模、矩阵)扫描图像中每一个像素点，将邻域内各个像素值与对应位置的权值相乘并求和。中值滤波降噪的原理为使用噪点的某一个邻域内的中值代替该噪点，邻域范围越大则边缘保留效果越差，从视觉上来看，即更加模糊，但降噪效果明显。
S22：对降噪后图像进行锐化，获得锐化后图像。
经过S21对热红外图像的降噪处理以后，已经对目标图像进行了平滑化处理，去掉了图像中的噪声，并使图像灰度级变得足够平整。然而，也引入了新的问题，即使图像中图像的轮廓变得模糊了些。图像的锐化可以增强图像中灰度变换的地方来提高图像的显示，突出图像中物体的边缘部分和某些线性特征，因此又可以被称为图像的边缘增强。图像进行锐化增强的方法有很多种，在这此设计的过程中建议采用的是拉普拉斯(Laplace)锐化法。拉普拉斯算子具有各向同性，在一般的图像锐化增强过程中，可以有效地检测出图像中的对象的边缘。假设图像为f(x，y)的话，则拉普拉斯算子对图像的作用为：
Figure BDA0003660101710000091
则图像的拉普拉斯锐化公式为：
g(m,n)＝(1+4α)f(m,n)-α[f(m+1,n)]+f[(m-1),n]+f(m,n+1)+f(m,n-1) (2)
其中，α为锐化的强度系数，一般为正值，且α与锐化的强度成正比，f(x,y)代表未锐化的图像其中x,y代表横纵坐标，g(m,n)为锐化后的图像m,n代表横纵坐标。
S23：对锐化后图像进行边缘检测，获得预处理后图像，如图2所示。
采用边缘检测算法对图像中物体边缘进行描述。此处以canny算法为例，采用canny算法来计算图像中每个像素点的梯度强度和方向。应用非极大值(Non-MaximumSuppression)抑制，以消除边缘检测带来的杂散响应。非极大值抑制则可以帮助将局部最大值之外的所有梯度值抑制为0。将当前像素的梯度强度与沿正负梯度方向上的两个像素进行比较。如果当前像素的梯度强度与另外两个像素相比最大，则该像素点保留为边缘点，否则该像素点将被抑制。通常为了更加精确的计算，在跨越梯度方向的两个相邻像素之间使用线性插值来得到要比较的像素梯度。应用双阈值(Double-Threshold)检测来确定真实的和潜在的边缘。通过抑制孤立的弱边缘最终完成边缘检测。
S3：感兴趣区域提取模块，用于从预处理后图像中提取鼻孔区域和额头区域，具体为：
S31：从预处理后图像后获取脸的轮廓。
除去身体等非人脸区域对检测结果的影响，满足实时显示当前视频中受试者的动态心率与呼吸信息，需要在连续的热红外序列图像(视频图像)中的人脸区域中选择感兴趣区域，且在实际测量过程中不宜采用算法复杂、耗时严重而导致测量结果延迟的测试方式，基于此，因热像仪获取的人脸边缘、眼睛等特征较为模糊，而人脸检测使用的基于特征点方法易丢失检测目标，因此在本实施例中提出了一种算法简单、耗时较低不会造成检测结果延迟的方法，即通过分水岭分割算法从预处理后图像中提取出脸的轮廓，实现对人脸的分割，首先计算预处理后图像的梯度图像，把梯度图像中的所有像素按照灰度值进行分类，并设定一个测地距离；其次，找到灰度值最小的像素点，该像素点默认标记为灰度值最低点，让阈值从最小值开始增长，这些灰度值最低点为起点；第三步水平面在增长的过程中，会碰到周围的邻域像素到这些起始点(灰度值最低点)的测地距离，如果小于设定阈值，则将这些像素淹没，否则这些像素上设置大坝，这样就对这些领域像素进行分类。
S32：识别脸的轮廓的中心区域。
一旦从预处理后图像背景中提取到脸的轮廓，就识别得到图像的中心(Xc，Yc)，用矩形表示该区域。
S33：计算中心区域的最低像素值，该最低像素值处为鼻尖位置，根据鼻尖位置，获得鼻孔区域。
计算脸的轮廓中心的矩形区域内的像素，获得该矩形区域内的最低像素值，最低像素值处的位置代表了鼻尖；以鼻尖为矩形区域的上边界的中间坐标，向下十个点的像素值为矩形的宽，矩形的长度为2倍的矩形宽度，矩形区域即为获得鼻孔区域；通过鼻孔区域这个感兴趣区域(Region of interest，ROI)用来估计呼吸率。
S34：距离鼻孔区域设定距离处为额头区域。
根据人体解剖学和生理学的事实在鼻尖区域上方7cm处为额头区域，当人脸部分特征点被遮挡时仍可识别出感兴趣区域，使用此方法更好的解决关键点的抖动问题的优点。
S4：初始动态波形获取模块，用于采用光流法，分别计算鼻孔区域和额头区域的灰度平均值，获得基于时间序列的初始动态呼吸波形和心率波形。
在通过步骤S3获得了鼻孔区域和额头区域这两个感兴趣区域(ROI)后，采用光流法跟踪时序图像中鼻孔和额头区域的位置，利用图像序列中像素在时间域上的变化以及相邻帧之间的相关性来找到上一帧跟当前帧之间存在的对应关系，从而计算出相邻帧之间物体的运动信息。该算法的原理和过程如下：
第一个图像帧中的目标位于像素点(x,y)处，并且瞬间的灰度为I(x,y,t)；如果在下一个图像帧中，即在t+Δt时，目标(x+Δx,y+Δy)被移动到I(x+Δx,y+Δy,t+Δt)，则其灰度值相应地变化。假设目标灰度值在移位过程中保持不变，并且满足以下条件。
Figure BDA0003660101710000111
定义u和v作为光流矢量的两个分量，分别沿x和y方向。
Figure BDA0003660101710000112
通过泰勒公式扩展产生I(x,y,t)
Figure BDA0003660101710000121
忽略二阶以上的高阶项，图像采集速率远高于目标运动速度，Δt→0，可以进一步简化为：
Ixu+Iyv+It＝0 (6)
定义u和v作为光流矢量的两个分量，其中u和v可以在某些约束下唯一地解决。
在本实施例中，采用卢卡斯-卡纳德(Lucas-Kanad)方法用于局部约束。其原理是，假设在以ROI为中心的小区域中每个点处的光流相等，并为该区域中的不同点分配不同的权重值，计算过程可以简化为线性方程解。在Lucas-Kanade算法中，约束区域选择为大小为3×3，约束方程得到如下：
Figure BDA0003660101710000122
用矩阵形式表示：
Figure BDA0003660101710000123
A为
Figure BDA0003660101710000124
Figure BDA0003660101710000125
为
Figure BDA0003660101710000126
Figure BDA0003660101710000127
光流矢量可以使用最小二乘法求解，得到计算方程，公式为：
Figure BDA0003660101710000128
为了提高光流法的效率，本实施例将金字塔分层与Lucas-Kanade法相结合，采用粗细分层策略将感兴趣区域(鼻孔区域和额头区域)分解成不同层次，粗尺度下的结果作为下一个尺度的初始值，以不同分辨率计算图像序列。使用该方法，可以准确跟踪每个热成像视频帧中的鼻孔区域和额头区域，具有很高的算法效率。
基于该光流法，通过对鼻孔区域像素点的灰度值进行平均来获得基于时间序列的初始动态呼吸波形，如图3所示，对额头区域像素点的灰度值进行平均来获得基于时间序列的初始动态心率波形。
S5：结果获取模块，用于根据初始动态呼吸波形和心率波形，获取呼吸率和心率。具体包括：
S51：对初始动态呼吸波形和心率波形进行滤波处理，获取呼吸信号和心率信号。
在采集热红外图像的过程中，由于检测对象、工作环境、数据采集硬件的影响，图像数据中的噪声是不可避免的，故先对初始动态呼吸波形和心率波形进行去噪处理，获得对应的去噪后波形。
在对初始动态心率波形进行去噪时，首先通过小波去噪消除噪声，同时很好地保留有用的信号，之后对小波去噪信号进行带通滤波。
根据人体的正常的心率范围为48～180次/分，对应频域的范围为0.8～3Hz，故，正常人类心率范围为0.8～3Hz，该波段之外的信号分量被认为是噪声。因此，将此0.8～3Hz波段用作通带，并对小波去噪信号进行带通滤波，以消除信号中的噪声分量，同时保留心率信号。
对初始动态呼吸波形进行去噪的过程为：根据人体的正常的呼吸率范围为6～30次/分，对应频域的范围为0.1～0.5Hz。因此，将0.1～0.5Hz波段用作通带，并进行带通滤波，保留呼吸率信号。
为了避免经验模态分解法(Empirical Mode Decomposition,EMD)算法的模态混合问题，本实施例采用集合经验模态分解(Ensemble Empirical Mode Decomposition,EEMD)算法将去噪后波形分解为真实的多个IMF函数组合，如图4所示。
根据EEMD算法原理，对初始动态呼吸波形和心率波形x(t)进行分解的步骤如下：
第一步在原始信号x(t)中加入均值为0、标准差为原始信号标准差0.2倍的高斯白噪声ω(j)，即x(j)＝x(t)+aω(j)(j＝1,2,...,N)，其中的白噪声的幅度大小为a＝0.2。
第二步计算x(j)(j＝1,2,...,N)的EMD算法得到本征模态
Figure BDA0003660101710000141
其中k＝1，2，…，K为模态。
第三步将
Figure BDA0003660101710000142
作为x(t)的第k阶模态均值，通过将相应的
Figure BDA0003660101710000143
求平均得到。
Figure BDA0003660101710000144
当得到所有的IMF函数后，舍去与噪声相关的IMF函数。由人体血流循环可知，初始信号主要受心肺频率的调制，心率成分频率范围为0.8～3Hz。为了去除伪影，计算各IMF函数的频谱并确定其主频率，即获得最大幅度的频率。根据各IMF函数的主频率将其归入对应的心肺信号频率范围。为最终从初始信号中得到准确的心率生命体征的估计，将IMF函数通过正交变换，将存在相关性的IMF函数转换为一些线性不相关的变量，第一主成分含有所选IMF函数中存在的大部分变化。因此，在心率组中的IMF函数上得到的第一主成分对应着心率信号。
运用同样的方法从去噪后的呼吸波形中获取到呼吸信号。
S52：分别根据呼吸信号和心率信号，获得呼吸率和心率。
计算心率和呼吸率值一般分为两种方法：时域计算法与频域计算法。
时域计算：通过计算单位时间内的波峰数，例如：时间t内由n个波峰，则此段时间内的心率为[(n-1)/t]*60，其原理是一个心脏跳动周期(伸张收缩)产生一个波峰，计算60s内的波峰数目便可获取心率值。
频域计算：通过获取的功率谱分析心率，即寻找功率谱中功率峰值，其对应的频率f，心率为f*60。
本实施例公开的一种基于热成像技术的心率和呼吸率检测系统，利用热成像技术进行非接触式检测，并提取热红外图像中的感兴趣区域，并将感兴趣区域的温度变化转换为灰度值的周期性变化，进而形成时间序列信号，从时间序列信号中提取出心率和呼吸率，该方法不受环境亮度的影响可以在全黑暗的环境下进行检测，且不受恶劣环境的影响，能够实现全天时全天候测量，可操作性及实用性很强。
实施例2
在该实施例中提出了一种基于热成像技术的心率和呼吸率检测方法，包括：
获取人的热红外序列图像；
对热红外序列图像进行预处理，获取预处理后图像；
从预处理后图像中提取鼻孔区域和额头区域；
采用光流法，分别计算鼻孔区域和额头区域的灰度平均值，获得基于时间序列的初始动态呼吸波形和心率波形；
根据初始动态呼吸波形和心率波形，获取呼吸率和心率。
实施例3
在该实施例中，公开了一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成实施例2公开的一种基于热成像技术的心率和呼吸率检测方法所述的步骤。
实施例4
在该实施例中，公开了一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成实施例2公开的一种基于热成像技术的心率和呼吸率检测方法所述的步骤。
最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。

Claims (10)

1.一种基于热成像技术的心率和呼吸率检测系统，其特征在于，包括：
图像获取模块，用于获取人的热红外序列图像；
预处理模块，用于对热红外序列图像进行预处理，获取预处理后图像；
感兴趣区域提取模块，用于从预处理后图像中提取鼻孔区域和额头区域；
初始动态波形获取模块，用于采用光流法，分别计算鼻孔区域和额头区域的灰度平均值，获得基于时间序列的初始动态呼吸波形和心率波形；
结果获取模块，用于根据初始动态呼吸波形和心率波形，获取呼吸率和心率。
2.如权利要求1所述的一种基于热成像技术的心率和呼吸率检测方法，其特征在于，感兴趣区域提取模块从预处理后图像中提取鼻孔区域和额头区域的具体过程为：
从预处理后图像中获取脸的轮廓；
识别脸的轮廓的中心区域；
计算中心区域的最低像素值，该最低像素值处为鼻尖位置，根据鼻尖位置，获得鼻孔区域；
距离鼻孔区域设定距离处为额头区域。
3.如权利要求2所述的一种基于热成像技术的心率和呼吸率检测方法，其特征在于，感兴趣区域提取模块采用分水岭分割算法从预处理后图像中获取脸的轮廓。
4.如权利要求1所述的一种基于热成像技术的心率和呼吸率检测方法，其特征在于，预处理模块对热红外序列图像进行预处理的过程为：
对热红外序列图像进行降噪，获得降噪后图像；
对降噪后图像进行锐化，获得锐化后图像；
对锐化后图像进行边缘检测，获得预处理后图像。
5.如权利要求1所述的一种基于热成像技术的心率和呼吸率检测方法，其特征在于，初始动态波形获取模块在基于光流法获得基于时间序列的初始动态呼吸波形和心率波形时，将金字塔分层与Lucas-Kanade法相结合，即采用粗细分层策略将鼻孔区域和额头区域分解成不同层次，并将粗尺度下的结果作为下一个尺度的初始值，以不同分辨率计算图像序列。
6.如权利要求1所述的一种基于热成像技术的心率和呼吸率检测方法，其特征在于，结果获取模块根据初始动态呼吸波形和心率波形，获取呼吸率和心率值的具体过程为：
对初始动态呼吸波形和心率波形进行滤波处理，获取呼吸信号和心率信号；
分别根据呼吸信号和心率信号，获得呼吸率和心率。
7.如权利要求6所述的一种基于热成像技术的心率和呼吸率检测方法，其特征在于，结果获取模块对初始动态呼吸波形和心率波形进行滤波处理，获取呼吸信号和心率信号的具体过程为：
对初始动态呼吸波形和心率波形进行去噪，获得对应的去噪后波形；
采用集合经验模态分别算法将去噪后波形分解为多个IMF函数的组合；
从多个IMF函数的组合中去除与噪声相关的IMF函数，获得降噪后IMF组合；
对降噪后IMF组合中的IMF函数进行正交变换，获得相应的呼吸信号和心率信号。
8.一种基于热成像技术的心率和呼吸率检测方法，其特征在于，包括：
获取人的热红外序列图像；
对热红外序列图像进行预处理，获取预处理后图像；
从预处理后图像中提取鼻孔区域和额头区域；
采用光流法，分别计算鼻孔区域和额头区域的灰度平均值，获得基于时间序列的初始动态呼吸波形和心率波形；
根据初始动态呼吸波形和心率波形，获取呼吸率和心率。
9.一种电子设备，其特征在于，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成权利要求8所述的一种基于热成像技术的心率和呼吸率检测方法的步骤。
10.一种计算机可读存储介质，其特征在于，用于存储计算机指令，所述计算机指令被处理器执行时，完成权利要求8所述的一种基于热成像技术的心率和呼吸率检测方法的步骤。
CN202210570552.0A 2022-05-24 2022-05-24 一种基于热成像技术的心率和呼吸率检测系统及方法 Pending CN115187507A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210570552.0A CN115187507A (zh) 2022-05-24 2022-05-24 一种基于热成像技术的心率和呼吸率检测系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210570552.0A CN115187507A (zh) 2022-05-24 2022-05-24 一种基于热成像技术的心率和呼吸率检测系统及方法

Publications (1)

Publication Number Publication Date
CN115187507A true CN115187507A (zh) 2022-10-14

Family

ID=83513801

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210570552.0A Pending CN115187507A (zh) 2022-05-24 2022-05-24 一种基于热成像技术的心率和呼吸率检测系统及方法

Country Status (1)

Country Link
CN (1) CN115187507A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116077062A (zh) * 2023-04-10 2023-05-09 中国科学院自动化研究所 心理状态感知方法及系统、可读存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116077062A (zh) * 2023-04-10 2023-05-09 中国科学院自动化研究所 心理状态感知方法及系统、可读存储介质
CN116077062B (zh) * 2023-04-10 2023-06-30 中国科学院自动化研究所 心理状态感知方法及系统、可读存储介质

Similar Documents

Publication Publication Date Title
Dey Uneven illumination correction of digital images: A survey of the state-of-the-art
EP2486543B1 (en) Formation of a time-varying signal representative of at least variations in a value based on pixel values
CN106778695B (zh) 一种基于视频的多人快速心率检测方法
CN110772286B (zh) 一种基于超声造影识别肝脏局灶性病变的系统
Bousefsaf et al. Automatic selection of webcam photoplethysmographic pixels based on lightness criteria
CN109886195B (zh) 基于深度相机近红外单色灰度图的皮肤识别方法
CN110136161A (zh) 图像特征提取分析方法、系统及装置
CN111223110B (zh) 一种显微图像增强方法、装置及计算机设备
Bhairannawar Efficient medical image enhancement technique using transform HSV space and adaptive histogram equalization
Zhang et al. A new multifocus image fusion based on spectrum comparison
JP7076168B1 (ja) リアルタイム映像における画像の物体輪郭を強調する方法
CN117036310A (zh) 一种dicom影像外围轮廓的识别提取方法
CN111938622A (zh) 心率检测方法、装置及系统、可读存储介质
Al-Naji et al. Contactless cardiac activity detection based on head motion magnification
CN115187507A (zh) 一种基于热成像技术的心率和呼吸率检测系统及方法
Nowara et al. Combining magnification and measurement for non-contact cardiac monitoring
CN113920119B (zh) 一种基于热成像技术的心率呼吸分析处理方法
Cho et al. Reduction of motion artifacts from remote photoplethysmography using adaptive noise cancellation and modified HSI model
Trongtirakul et al. Unsupervised and optimized thermal image quality enhancement and visual surveillance applications
CN112162629A (zh) 基于外接矩形的实时瞳孔定位方法
Zheng et al. Near-infrared Image Enhancement Method in IRFPA Based on Steerable Pyramid.
Zhang A selection of image processing techniques: from fundamentals to research front
CN114246570B (zh) 峰值信噪比和皮尔森相关系数融合的近红外心率检测方法
Tie-Rui et al. The research of X-ray bone fracture image enhancement algorithms
CN114387479A (zh) 一种基于人脸视频的非接触式心率测量方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination