CN112924035B - 基于热成像传感器的体温和呼吸率提取方法及应用 - Google Patents
基于热成像传感器的体温和呼吸率提取方法及应用 Download PDFInfo
- Publication number
- CN112924035B CN112924035B CN202110111208.0A CN202110111208A CN112924035B CN 112924035 B CN112924035 B CN 112924035B CN 202110111208 A CN202110111208 A CN 202110111208A CN 112924035 B CN112924035 B CN 112924035B
- Authority
- CN
- China
- Prior art keywords
- thermal imaging
- body temperature
- picture
- region
- subject
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001931 thermography Methods 0.000 title claims abstract description 49
- 230000029058 respiratory gaseous exchange Effects 0.000 title claims abstract description 36
- 230000036760 body temperature Effects 0.000 title claims abstract description 32
- 238000000605 extraction Methods 0.000 title claims abstract description 15
- 238000012544 monitoring process Methods 0.000 claims abstract description 16
- 230000036541 health Effects 0.000 claims abstract description 10
- 238000000034 method Methods 0.000 claims description 17
- 230000008859 change Effects 0.000 claims description 7
- 230000036387 respiratory rate Effects 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 3
- 230000000241 respiratory effect Effects 0.000 abstract description 13
- 238000013459 approach Methods 0.000 abstract description 3
- 238000013186 photoplethysmography Methods 0.000 description 6
- 206010035664 Pneumonia Diseases 0.000 description 2
- 206010037660 Pyrexia Diseases 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 210000001061 forehead Anatomy 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 208000025721 COVID-19 Diseases 0.000 description 1
- 208000035473 Communicable disease Diseases 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000010247 heart contraction Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 208000015181 infectious disease Diseases 0.000 description 1
- 230000002458 infectious effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 208000023504 respiratory system disease Diseases 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
- G01J5/0022—Radiation pyrometry, e.g. infrared or optical thermometry for sensing the radiation of moving bodies
- G01J5/0025—Living bodies
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/08—Detecting, measuring or recording devices for evaluating the respiratory organs
- A61B5/0816—Measuring devices for examining respiratory frequency
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
- G01J5/10—Radiation pyrometry, e.g. infrared or optical thermometry using electric radiation detectors
- G01J5/12—Radiation pyrometry, e.g. infrared or optical thermometry using electric radiation detectors using thermoelectric elements, e.g. thermocouples
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Pulmonology (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Pathology (AREA)
- Engineering & Computer Science (AREA)
- Physiology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Biophysics (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
本发明提供了一种基于热成像传感器的体温和呼吸率提取方法。本发明提供的基于热成像传感器或热电堆传感器的体温和呼吸率提取方法具有如下三大优点：(1)比基于运动的方案能够更精确地监测处于站立状态下受试者的呼吸信号；(2)比基于PPG的方案能够监测戴口罩的受试者的呼吸信号；(3)能够同时监测体温和呼吸率，更准确的识别受试者的健康状况。
Description
技术领域
本发明涉及一种非接触式测量体温及呼吸率的方法。
背景技术
目前较为成熟的非接触式呼吸信号监测方法多为两类：(1)基于胸部运动的呼吸信号提取，该方法采用RGB相机追踪胸部运动提取呼吸信号。由于受试者处于站立姿势下身体会有不自主的颤动，导致该方法无法准确提取受试者在站立姿势下的呼吸信号。(2)基于光电容积脉搏波(Photo Plethsmography，PPG)的呼吸信号提取，该方法采用RGB相机或近红外相机监测心脏搏动而导致的皮肤区域光强的变化来提取呼吸信号。由于受试者佩戴口罩等特殊情况下，该方法无法从有限的皮肤区域提取呼吸信号。此外上述两种方法的使用需要光源，因此测量准确度容易受环境光干扰。
发明内容
本发明的目的是：使用热成像传感器或热电堆传感器对处于站立姿势下的受试者(包括戴或不戴口罩者)进行体温和呼吸率提取。
为了达到上述目的，本发明的一个技术方案是提供了一种基于热成像传感器的体温和呼吸率提取方法，其特征在于，包括以下步骤：
步骤1、在目标位置设置热成像单元，由热成像单元获取位于目标位置的受试者的热成像图片；
步骤2、获取当前帧热成像图片中每个像素点的温度信号；
步骤3、基于步骤2获得的所有像素点的温度信号，判断各像素点属于前景区域还是属于背景区域，基于判断得到的结论对热成像图片进行前景区域与背景区域的分割，提取当前帧的前景区域图片；
步骤4、获取下一帧的热成像图片，从下一帧的热成像图片中提取与当前帧的前景区域位置相当的区域作为下一帧的前景区域图片；
步骤5、重复步骤4获得连续N个下一帧的前景区域图片后，N≥5，进入步骤6或进入步骤7；
步骤6、对N+1帧的前景区域图片的相应位置像素点的温度信号进行处理，依据同一位置像素点的温度信号变化获得受试者的呼吸率，同时，利用任意前景区域图片各像素点的温度信号获得受试者的体温，进入步骤8；
步骤7、获得N+1帧的前景区域图片中与受试者胸部区域相对应的N+1帧的区域图片，基于N+1帧的区域图片测量得到胸部区域的运动，进而获得受试者的呼吸率，同时，利用任意前景区域图片各像素点的温度信号获得受试者的体温，进入步骤8；
步骤8、通过同一受试者的呼吸率及对应的体温对受试者的健康状况进行识别。
优选地，步骤1中，所述热成像单元为高分辨率热成像传感器或低分辨率热电堆传感器；若所述热成像单元为低分辨率热电堆传感器，则通过加载镜头聚焦的方式缩小监测区域，增加距离。
优选地，步骤3中，设置温度信号阈值，若当前像素点的温度信号大于温度信号阈值，则将当前像素点判定为属于前景区域，否则将当前像素点判定为属于背景区域。
本发明的另一个技术方案是提供了一种上述的基于热成像传感器的体温和呼吸率提取方法的应用，其特征在于，应用在闸机或者安检门上，用于同时监测受试者的体温和呼吸率，对受试者的健康状况进行识别；或应用在医院监护科室内，用于连续非接触的体温和呼吸监测。
本发明结合创新的信号提取算法，在公共场所的入口，对处于站立姿势的受试者(包括戴或不戴口罩者)进行非接触式的体温和呼吸率提取，并对受试者的健康状况进行评估，用于发热与呼吸异常个体的识别及传染性呼吸疾病的预防(如新冠肺炎(COVID-19))。
与基于运动、基于PPG的方法相比，本发明的创新体现在通过检测呼吸气流导致的温度变化来提取受试者的呼吸信号。本发明提供的方案不仅能够提取呼吸率还能提取受试者的体温，从而将提取的生理特征结合，对受试者的健康状况进行评估。
本发明提供的基于热成像传感器或热电堆传感器的体温和呼吸率提取方法具有如下三大优点：(1)比基于运动的方案能够更精确地监测处于站立状态下受试者的呼吸信号；(2)比基于PPG的方案能够监测戴口罩的受试者的呼吸信号；(3)能够同时监测体温和呼吸率，更准确的识别受试者的健康状况。
附图说明
图1为提取受试者正面的前景区域图片示意图；
图2为提取受试者侧面的前景区域图片示意图；
图3为采用高分辨率热成像传感器获得的热成像图片示意图；
图4为采用高分辨率热成像传感器获得的一维信号示意图；
图5为采用低分辨率热电堆传感器获得的热成像图片示意图；
图6为采用低分辨率热电堆传感器获得的一维信号示意图；
图7为通过热电堆传感器获取的呼吸信号实例。
具体实施方式
下面结合具体实施例，进一步阐述本发明。应理解，这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定的范围。
基于运动和基于光电容积脉搏波(Photoplethsmography，PPG)已用于非接触式的呼吸信号提取。本发明采用一种基于热成像传感器(Thermal sensor)的方式来非接触式地提取温度及呼吸率，具体包括以下步骤：
步骤1、在目标位置设置热成像单元，由热成像单元获取位于目标位置的受试者的热成像图片。本实施例中，热成像单元可以采用高分辨率热成像传感器，也可以采用低分辨率热电堆传感器。若将本发明应用在公共场合入口，用于提取处于站立姿势下戴口罩或未戴口罩的受试者的体温和呼吸率，监测受试者的健康状况时，可以采用高分辨率热成像传感器，此时，受试者和传感器的距离可以相对较远(如5米以内)。若将本发明应用在医院的监护室(如睡眠监护、重症监护、婴儿孵化器)，用于非接触地测量体温和呼吸信号时，可以采用低分辨率热电堆传感器，受试者和传感器的距离需要更近(如1.5米以内)。将本发明应用在医院的监护室时，受试者的监测位置固定，如病床、婴幼儿孵化器等，低分辨率热电堆可以通过加载镜头聚焦的方式缩小监测区域，增加距离。
热成像传感器或热电堆传感器能在一定温度范围内检测所有物体发出的红外辐射，从而获得相应物体的温度信息。此外，呼吸过程中(吸气与呼吸)会在口、鼻区域附近产生热量的变化。通过热成像传感器或热电堆传感器监测热交换区域的热量变化，可以准确的提取受试者的呼吸信号。在戴口罩的特殊情况下，口罩的佩戴会增加热交换区域的面积，成像传感器或热电堆传感器同样能通过监测热交换区域的热量变化，从而准确提前戴口罩受试者的呼吸信号。
步骤2、获取当前帧热成像图片中每个像素点的温度信号。
步骤3、基于步骤2获得的所有像素点的温度信号，判断各像素点属于前景区域还是属于背景区域，基于判断得到的结论对热成像图片进行前景区域与背景区域的分割，提取当前帧的前景区域图片。
可以通过设置温度信号阈值的方式来判断各像素点是属于前景区域还是属于背景区域，也可以通过其他方式进行判断，其为本领域技术人员的常识，此处不再赘述。本实施例中，提取受试者正面的前景区域图片如图1所示，图1中，background表示背景、forehead表示额头、face表示面部、body表示身体，提取受试者侧面的前景区域图片如图2所示，图2中，subject表示前景。
步骤4、获取下一帧的热成像图片，从下一帧的热成像图片中提取与当前帧的前景区域位置相当的区域作为下一帧的前景区域图片。
步骤5、重复步骤4获得连续N个下一帧的前景区域图片后，N≥5，进入步骤6或进入步骤7。
步骤6、对N+1帧的前景区域图片的相应位置像素点的温度信号进行处理，依据同一位置像素点的温度信号变化获得受试者的呼吸率，同时，利用任意前景区域图片各像素点的温度信号获得受试者的体温，进入步骤8。
本步骤中，采用均值法、信噪比法、温度变化幅度法等方法对N+1帧的前景区域图片的相应位置像素点的温度信号进行处理，获得一维信号(如图4及图6所示，图中，AVG表示平均值(Average)、STD表示标准差(Standard deviation)、VAR表示方差(Variance)、Frames表示视频帧，并从一维信号中提取呼吸率。
步骤7、获得N+1帧的前景区域图片中与受试者胸部区域相对应的N+1帧的区域图片，基于N+1帧的区域图片测量得到胸部区域的运动，进而获得受试者的呼吸率，同时，利用任意前景区域图片各像素点的温度信号获得受试者的体温，进入步骤8。
步骤8、通过同一受试者的呼吸率及对应的体温对受试者的健康状况进行识别。
本发明所提及的热成像传感器也可通过热电堆(Thermopile Array Sensor)实现，分辨率更低对受试者的距离要求更高，但是价格更低廉。本发明提出的方法可用于专业的检测设备，用于及早发现发热或呼吸异常个体，防止传染性疾病(如新冠肺炎)的传播。
Claims (4)
1.一种基于热成像传感器的体温和呼吸率提取方法，其特征在于，包括以下步骤：
步骤1、在口、鼻区域设置热成像单元，由热成像单元获取位于口、鼻区域的受试者的热成像图片；
步骤2、获取当前帧热成像图片中每个像素点的温度信号；
步骤3、基于步骤2获得的所有像素点的温度信号，判断各像素点属于前景区域还是属于背景区域，基于判断得到的结论对热成像图片进行前景区域与背景区域的分割，提取当前帧的前景区域图片；
步骤4、获取下一帧的热成像图片，从下一帧的热成像图片中提取与当前帧的前景区域位置相当的区域作为下一帧的前景区域图片；
步骤5、重复步骤4获得连续N个下一帧的前景区域图片后，N≥5，进入步骤6或进入步骤7；
步骤6、对N+1帧的前景区域图片的相应位置像素点的温度信号进行处理，依据同一位置像素点的温度信号变化获得受试者的呼吸率，同时，利用任意前景区域图片各像素点的温度信号获得受试者的体温，进入步骤8；
步骤7、获得N+1帧的前景区域图片中与受试者胸部区域相对应的N+1帧的区域图片，基于N+1帧的区域图片测量得到胸部区域的运动，进而获得受试者的呼吸率，同时，利用任意前景区域图片各像素点的温度信号获得受试者的体温，进入步骤8；
步骤8、通过同一受试者的呼吸率及对应的体温对受试者的健康状况进行识别。
2.如权利要求1所述的一种基于热成像传感器的体温和呼吸率提取方法，其特征在于，步骤1中，所述热成像单元为高分辨率热成像传感器或低分辨率热电堆传感器；若所述热成像单元为低分辨率热电堆传感器，则通过加载镜头聚焦的方式缩小监测区域，增加距离。
3.如权利要求1所述的一种基于热成像传感器的体温和呼吸率提取方法，其特征在于，步骤3中，设置温度信号阈值，若当前像素点的温度信号大于温度信号阈值，则将当前像素点判定为属于前景区域，否则将当前像素点判定为属于背景区域。
4.一种如权利要求1所述的基于热成像传感器的体温和呼吸率提取方法的应用，其特征在于，应用在闸机或者安检门上，用于同时监测受试者的体温和呼吸率，对受试者的健康状况进行识别；或应用在医院监护科室内，用于连续非接触的体温和呼吸监测。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110111208.0A CN112924035B (zh) | 2021-01-27 | 2021-01-27 | 基于热成像传感器的体温和呼吸率提取方法及应用 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110111208.0A CN112924035B (zh) | 2021-01-27 | 2021-01-27 | 基于热成像传感器的体温和呼吸率提取方法及应用 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112924035A CN112924035A (zh) | 2021-06-08 |
| CN112924035B true CN112924035B (zh) | 2022-06-21 |
Family
ID=76167028
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110111208.0A Active CN112924035B (zh) | 2021-01-27 | 2021-01-27 | 基于热成像传感器的体温和呼吸率提取方法及应用 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112924035B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113576451A (zh) * | 2021-07-30 | 2021-11-02 | 深圳市商汤科技有限公司 | 呼吸率检测方法、装置、存储介质及电子设备 |
| CN113576452A (zh) * | 2021-07-30 | 2021-11-02 | 深圳市商汤科技有限公司 | 基于热成像的呼吸率检测方法、装置及电子设备 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20040254472A1 (en) * | 2003-05-27 | 2004-12-16 | Cardiowave, Inc. | Methods and apparatus for a remote, noninvasive technique to detect core body temperature in a subject via thermal imaging |
| CN103250037A (zh) * | 2010-11-17 | 2013-08-14 | 株式会社伊西特姆 | 用于使用红外阵列传感器测量温度的装置和方法 |
| US20170245765A1 (en) * | 2016-02-26 | 2017-08-31 | Nelsen YEN | Device for measuring human heartbeat rate, respiration rate and body temperature |
| US20200138292A1 (en) * | 2018-11-06 | 2020-05-07 | The Regents Of The University Of Colorado, A Body Corporate | Non-Contact Breathing Activity Monitoring And Analyzing Through Thermal And CO2 Imaging |
| CN111242946A (zh) * | 2020-03-03 | 2020-06-05 | 广州紫川电子科技有限公司 | 一种基于红外热成像的人体体温异常检测方法及装置 |
| CN111387957A (zh) * | 2020-03-13 | 2020-07-10 | 智方达(天津)科技有限公司 | 一种非接触式的体温与呼吸率联合检测方法 |
| CN112037176A (zh) * | 2020-08-06 | 2020-12-04 | 深圳数联天下智能科技有限公司 | 人体存在检测装置 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103824057B (zh) * | 2014-02-18 | 2017-06-27 | 江苏大学 | 一种基于面积特征算子的猪的呼吸频率检测方法 |
| CN108135487A (zh) * | 2015-10-08 | 2018-06-08 | 皇家飞利浦有限公司 | 用于获得对象的生命体征信息的设备、系统和方法 |
-
2021
- 2021-01-27 CN CN202110111208.0A patent/CN112924035B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20040254472A1 (en) * | 2003-05-27 | 2004-12-16 | Cardiowave, Inc. | Methods and apparatus for a remote, noninvasive technique to detect core body temperature in a subject via thermal imaging |
| CN103250037A (zh) * | 2010-11-17 | 2013-08-14 | 株式会社伊西特姆 | 用于使用红外阵列传感器测量温度的装置和方法 |
| US20130230074A1 (en) * | 2010-11-17 | 2013-09-05 | Easytem Co., Ltd. | Device and method for measuring temperature using infrared array sensors |
| US20170245765A1 (en) * | 2016-02-26 | 2017-08-31 | Nelsen YEN | Device for measuring human heartbeat rate, respiration rate and body temperature |
| US20200138292A1 (en) * | 2018-11-06 | 2020-05-07 | The Regents Of The University Of Colorado, A Body Corporate | Non-Contact Breathing Activity Monitoring And Analyzing Through Thermal And CO2 Imaging |
| CN111242946A (zh) * | 2020-03-03 | 2020-06-05 | 广州紫川电子科技有限公司 | 一种基于红外热成像的人体体温异常检测方法及装置 |
| CN111387957A (zh) * | 2020-03-13 | 2020-07-10 | 智方达(天津)科技有限公司 | 一种非接触式的体温与呼吸率联合检测方法 |
| CN112037176A (zh) * | 2020-08-06 | 2020-12-04 | 深圳数联天下智能科技有限公司 | 人体存在检测装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112924035A (zh) | 2021-06-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3057487B1 (en) | Device and method for obtaining a vital sign of a subject | |
| US10143377B2 (en) | Single channel imaging measurement of dynamic changes in heart or respiration rate | |
| US20170367625A1 (en) | Motion monitor | |
| JP6615197B2 (ja) | 皮膚検出に関するデバイス及び方法 | |
| CN107595254B (zh) | 一种红外线健康监测方法及系统 | |
| CN108272448B (zh) | 一种非接触式的婴儿生理参数昼夜监护方法 | |
| JP2018510669A (ja) | 皮膚検出に関するデバイス、システム、及び方法 | |
| CN112924035B (zh) | 基于热成像传感器的体温和呼吸率提取方法及应用 | |
| JP6616331B2 (ja) | 対象の無呼吸を検出するための装置、システム及び方法 | |
| Basu et al. | Infrared imaging based hyperventilation monitoring through respiration rate estimation | |
| Alkali et al. | Facial tracking in thermal images for real-time noncontact respiration rate monitoring | |
| Pereira et al. | Robust remote monitoring of breathing function by using infrared thermography | |
| JP2010194005A (ja) | 呼吸計測方法及び呼吸計測装置 | |
| Chatterjee et al. | Real-time respiration rate measurement from thoracoabdominal movement with a consumer grade camera | |
| CN111387957B (zh) | 一种非接触式的体温与呼吸率联合检测方法 | |
| Gwak et al. | Motion-based respiratory rate estimation with motion artifact removal using video of face and upper body | |
| CN112022096A (zh) | 一种睡眠状态监测方法及装置 | |
| Huang et al. | Agile mobile robotic platform for contactless vital signs monitoring | |
| Zhan et al. | Revisiting motion-based respiration measurement from videos | |
| Wang et al. | Contactless Patient Care Using Hospital IoT: CCTV Camera Based Physiological Monitoring in ICU | |
| Lin et al. | Step count and pulse rate detection based on the contactless image measurement method | |
| Kumar et al. | A study on various thermographic methods for the detection of diseases | |
| Wuerich et al. | Contactless Optical Respiration Rate Measurement for a Fast Triage of SARS-CoV-2 Patients in Hospitals. | |
| Huang et al. | Research Article Mobile Robotic Platform for Contactless Vital Sign Monitoring | |
| CN213821386U (zh) | 体征数据采集装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |