CN111898580B - 针对戴口罩人群的体温和呼吸数据采集系统、方法及设备 - Google Patents
针对戴口罩人群的体温和呼吸数据采集系统、方法及设备 Download PDFInfo
- Publication number
- CN111898580B CN111898580B CN202010809733.5A CN202010809733A CN111898580B CN 111898580 B CN111898580 B CN 111898580B CN 202010809733 A CN202010809733 A CN 202010809733A CN 111898580 B CN111898580 B CN 111898580B
- Authority
- CN
- China
- Prior art keywords
- data
- area
- body temperature
- video
- thermal imaging
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000029058 respiratory gaseous exchange Effects 0.000 title claims abstract description 117
- 230000036760 body temperature Effects 0.000 title claims abstract description 91
- 238000000034 method Methods 0.000 title claims abstract description 73
- 230000000241 respiratory effect Effects 0.000 claims abstract description 88
- 238000001931 thermography Methods 0.000 claims abstract description 86
- 210000001061 forehead Anatomy 0.000 claims abstract description 59
- 230000036541 health Effects 0.000 claims abstract description 48
- 238000004364 calculation method Methods 0.000 claims abstract description 32
- 238000011157 data evaluation Methods 0.000 claims abstract description 28
- 230000002159 abnormal effect Effects 0.000 claims abstract description 17
- 238000011156 evaluation Methods 0.000 claims abstract description 13
- 230000008569 process Effects 0.000 claims abstract description 8
- 238000013135 deep learning Methods 0.000 claims description 28
- 238000013528 artificial neural network Methods 0.000 claims description 24
- 238000013507 mapping Methods 0.000 claims description 23
- 238000004422 calculation algorithm Methods 0.000 claims description 22
- 230000009466 transformation Effects 0.000 claims description 16
- 230000002457 bidirectional effect Effects 0.000 claims description 12
- 230000036391 respiratory frequency Effects 0.000 claims description 11
- 239000011159 matrix material Substances 0.000 claims description 10
- 230000008859 change Effects 0.000 claims description 9
- 238000005516 engineering process Methods 0.000 claims description 8
- 238000007405 data analysis Methods 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 6
- 210000000887 face Anatomy 0.000 claims description 5
- 230000035565 breathing frequency Effects 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 3
- 208000023504 respiratory system disease Diseases 0.000 abstract description 9
- 208000015181 infectious disease Diseases 0.000 abstract description 2
- 230000002458 infectious effect Effects 0.000 abstract description 2
- 238000012216 screening Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 239000000284 extract Substances 0.000 description 5
- 208000025721 COVID-19 Diseases 0.000 description 4
- 230000000737 periodic effect Effects 0.000 description 4
- 230000001815 facial effect Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 208000008203 tachypnea Diseases 0.000 description 3
- 206010043089 tachypnoea Diseases 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 206010003497 Asphyxia Diseases 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 208000008784 apnea Diseases 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 208000024891 symptom Diseases 0.000 description 2
- 206010006102 Bradypnoea Diseases 0.000 description 1
- 206010020843 Hyperthermia Diseases 0.000 description 1
- 206010035664 Pneumonia Diseases 0.000 description 1
- 206010037660 Pyrexia Diseases 0.000 description 1
- 208000036142 Viral infection Diseases 0.000 description 1
- 241000700605 Viruses Species 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000009529 body temperature measurement Methods 0.000 description 1
- 208000024336 bradypnea Diseases 0.000 description 1
- 239000000969 carrier Substances 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000003862 health status Effects 0.000 description 1
- 230000036031 hyperthermia Effects 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 208000024584 respiratory abnormality Diseases 0.000 description 1
- 230000036387 respiratory rate Effects 0.000 description 1
- 238000009531 respiratory rate measurement Methods 0.000 description 1
- 210000002345 respiratory system Anatomy 0.000 description 1
- 238000004861 thermometry Methods 0.000 description 1
- 230000009385 viral infection Effects 0.000 description 1
- 230000003612 virological effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
- G01J5/0022—Radiation pyrometry, e.g. infrared or optical thermometry for sensing the radiation of moving bodies
- G01J5/0025—Living bodies
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
- G01J2005/0077—Imaging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Geometry (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
Abstract
本发明提供了一种针对戴口罩人群的体温和呼吸数据采集系统、方法和设备，其中：图像采集子系统采用双模态相机，获得人脸的RGB视频和红外热成像视频；健康指标计算子系统的区域获取模块从人脸的RGB视频和红外热成像视频中获取额头区域和呼吸区域；健康指标计算子系统的数据计算模块从额头区域和呼吸区域计算相应的体温和呼吸数据，并传递给健康评估子系统；健康评估子系统对体温和呼吸数据进行处理，得到相应的数据评估结果。本发明能够在检测体温的同时进行呼吸的检测和筛查，将异常的呼吸状况纳入健康评估的考量，及时的识别出呼吸异常的人群，这能够在一定程度上阻止传染性呼吸疾病在公共场所的传播。
Description
技术领域
本发明涉及健康检查技术领域，具体地，涉及一种针对戴口罩人群的体温和呼吸数据采集系统、方法及设备。
背景技术
COVID-19在过去几个月中已成为严重的全球流行病，给全世界人类社会造成巨大损失。对于如此大规模的流行病，潜在的病毒携带者的早期发现和隔离对于遏制流行病的传播至关重要。为了遏制该流行病的二次传播，许多公共场所都配备了红外测温设备以检查人体温度。但是，最近的研究表明COVID-19肺炎具有隐蔽的症状：第一个症状可能不是发烧，而是由病毒感染引起的异常呼吸状态。而现有的红外测温设备只能检测体温无法对呼吸异常进行判断。在病毒流行期间，许多人倾向于戴口罩以减少患病的风险。
也就是说，现有的基于热成像的设备，通过获取人体的红外图像数据进行测温，仅仅提供体温监测功能，但无法测量呼吸的状态，从而无法达到对呼吸疾病筛查的目的，因此只能检测是否存在体温异常，没有起到在公共场所筛查呼吸疾病的作用，而大部分呼吸疾病患者通常表现为体温过高或呼吸异常，比如2019新型冠状病毒(2019-nCoV)。
综上所述，本领域亟需提出一种非接触式的检测设备，通过分析体温和呼吸特性来筛选戴着口罩的人的健康状况。这可以帮助在实际情况下，例如在学校，火车站和机场等人流密集场所，识别出潜在的呼吸疾病如COVID-19的患者。
发明内容
本发明针对现有技术中存在的上述不足，提供了一种针对戴口罩人群的体温和呼吸数据采集系统、方法及设备。
本发明是通过以下技术方案实现的。
根据本发明的一个方面，提供了一种针对戴口罩人群的体温和呼吸数据采集系统，包括：
图像采集子系统，所述图像采集子系统采用双模态相机，获得人脸的RGB视频和红外热成像视频；
健康指标计算子系统，所述健康指标计算子系统包括：
区域获取模块，所述区域获取模块从人脸的RGB视频和红外热成像视频中获取额头区域和呼吸区域；
数据计算模块，所述数据计算模块从额头区域和呼吸区域计算相应的体温和呼吸数据，并传递给健康评估子系统；
健康评估子系统，所述健康评估子系统对体温和呼吸数据进行处理，得到相应的数据评估结果。
优选地，所述图像采集子系统还包括存储载体，所述存储载体对双模态相机获得的视频数据进行存储。
优选地，所述双模态相机采用FLIR one便携式双模态相机。
优选地，所述区域获取模块从人脸的RGB视频和红外热成像视频中获取额头区域的方法为：采用基于深度学习的人脸识别技术从RGB视频中识别人脸并对应提取额头区域，之后采用线性变换算法将该额头区域从RGB视频映射到红外热成像视频中，获得红外热成像视频下的额头区域。
优选地，所述区域获取模块从人脸的RGB视频和红外热成像视频中获取呼吸区域的方法为：采用基于深度学习的pyramidbox model模型获取完整的人脸区域，提取被口罩遮盖的脸部区域并采用线性变换的映射算法将该口罩区域从RGB视频映射到红外热成像视频中，获得红外热成像视频下的口罩区域；遍历红外热成像图像中的口罩区域，并找到在时序上温度变化最大的块作为选定的呼吸区域。
优选地，所述数据计算模块计算红外热成像视频中时序上每一帧中呼吸区域的平均温度作为那一个帧内的温度数据，最后得到的温度数据作为在时序上的一串一维呼吸数据；根据得到的呼吸数据，提取呼吸的周期曲线，并计算呼吸频率和吸呼比。
优选地，所述数据计算模块，采用提取额头区域温度矩阵最大温度的方法获取额头区域的温度数据作为体温。
优选地，所述健康评估子系统包括数据分析模块，所述数据分析模块采用基于深度学习的BiGRU-AT神经网络，对呼吸数据进行处理，并结合体温数据，得到相应的数据评估结果。
优选地，所述BiGRU-AT神经网络采用双向注意层的门递归单元(GRU)网络，
其中：
网络的输入为呼吸数据，网络的输出为呼吸状况结果；
将呼吸状况结果结合体温数据，得出最后的数据评估结果。
优选地，所述健康评估子系统还包括异常警报模块，所述异常警报模块设置相应的阈值，当数据评估结果超出设定的阈值时，判断为数据异常并提供警报。
根据本发明的另一个方面，提供了一种针对戴口罩人群的体温和呼吸数据采集方法，包括：
获取人脸的RGB视频和红外热成像视频；
从人脸的RGB视频和红外热成像视频中获取额头区域和呼吸区域；
从额头区域和呼吸区域计算相应的体温和呼吸数据；
对体温和呼吸数据进行处理，得到相应的数据评估结果。
优选地，采用双模态相机获取人脸的RGB视频和红外热成像视频。
优选地，从人脸的RGB视频和红外热成像视频中获取额头区域的方法包括：采用基于深度学习的人脸识别技术从RGB视频中识别人脸并对应提取额头区域，之后采用线性变换算法将该额头区域从RGB视频映射到红外热成像视频中，获得红外热成像视频下的额头区域。
优选地，从人脸的RGB视频和红外热成像视频中获取呼吸区域的方法包括：
采用基于深度学习的pyramidbox model模型获取完整的人脸区域，提取被口罩遮盖的脸部区域并采用线性变换的映射算法将该口罩区域从RGB视频映射到红外热成像视频中，获得红外热成像视频下的口罩区域；遍历红外热成像图像中的口罩区域，并找到在时序上温度变化最大的块作为选定的呼吸区域。
优选地，采用基于深度学习的pyramidbox model模型获取完整的人脸区域；提取被口罩遮盖的脸部区域并采用线性变换的映射算法将该口罩区域从RGB视频映射到红外热成像视频。
优选地，提取被口罩遮盖的脸部区域的方法为：获得人脸的位置坐标，按坐标等比例缩小来获得被口罩遮盖的脸部区域。
优选地，从额头区域计算相应的体温的方法包括：根据已获得的红外热成像视频中的额头区域，采用提取额头区域温度矩阵最大温度的方法获取额头区域的温度数据作为体温。
优选地，从呼吸区域计算相应的呼吸数据的方法包括：
计算时序上每一帧中表征呼吸的区域的平均温度作为那一个帧内的温度数据，最后得到的温度数据作为在时序上的一串一维呼吸数据；
根据得到的呼吸数据，提取呼吸的周期曲线，并计算呼吸频率和吸呼比。
优选地，采用从ROI区域的红外图像温度矩阵获取平均温度的方法计算温度数据。
优选地，基于深度学习的BiGRU-AT神经网络对呼吸数据中的呼吸频率和呼吸比进行分析，得到呼吸状况结果；将呼吸状况结果结合体温数据，得出最后的数据评估结果。
优选地，所述BiGRU-AT神经网络采用双向注意层的门递归单元(GRU)网络，
其中：
所述BiGRU-AT神经网络的输入为呼吸数据；所述BiGRU-AT神经网络的输出为呼吸状况结果。
将呼吸状况结果结合体温数据，得出最后的数据评估结果。
优选地，所述方法还包括：
将得出的数据评估结果与预设的阈值进行比较，当数据评估结果超出预设的阈值时，判断为数据异常并提供警报。
根据本发明的第三个方面，提供了一种设备，包括移动终端以及上述任一项所述的针对戴口罩人群的体温和呼吸数据采集系统；其中：
所述针对戴口罩人群的体温和呼吸数据采集系统的图像采集子系统与所述移动终端数据连接或集成于移动终端上；
所述针对戴口罩人群的体温和呼吸数据采集系统的区域获取模块和数据计算模块分别安装于移动终端上；
所述移动终端包括存储器、处理器及存储在存储器上并能够在处理器上运行的计算机程序，所述处理器执行所述计算机程序时至少能够能够用于运行健康指标计算子系统和健康评估子系统。
优选地，所述移动终端采用智能手机。
由于采用了上述技术防范，本发明具有如下至少一项有益效果：
本发明提供的针对戴口罩人群的体温和呼吸数据采集系统、方法及设备，可以在检测温度的同时测量戴口罩的人的呼吸状态，通过测量呼吸频率、吸呼比等数据得出测试者的呼吸模式，并结合体温进行数据异常告警。
本发明提供的针对戴口罩人群的体温和呼吸数据采集系统、方法及设备，实现了针对戴口罩人群的体温和呼吸数据采集，通过便携式设备对戴口罩的人群进行非接触式的体温、呼吸测量，并给出相应的数据结果分析，实现了在公共场所对人群进行呼吸数据采集，并能够通过数据异常告警提醒相关人员进行进一步的呼吸疾病筛查。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为本发明一优选实施例中针对戴口罩人群的体温和呼吸数据采集系统的结构示意框图；
图2为本发明一优选实施例中安装有针对戴口罩人群的体温和呼吸数据采集系统的设备结构示意图；
图3为本发明实施例中一具体应用示意图；其中，(a)为真实设备示意图，(b)为采用该真实设备得到的健康检查结果展示示意图；
图4为本发明一优选实施例中针对戴口罩人群的体温和呼吸数据采集方法流程图。
图中：1为图像采集子系统，11为双模态相机，12为存储载体，2为健康指标计算子系统，21为区域获取模块，22为数据计算模块，3为健康评估子系统，4为移动终端，5为TypeC连接口，A为移动终端，B为移动终端上的测试界面，C为双模态相机。
具体实施方式
下面对本发明的实施例作详细说明：本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。
本发明一实施例提供了一种针对戴口罩人群的体温和呼吸数据采集系统，该系统能够在检测体温的同时进行呼吸的检测和筛查，将异常的呼吸状况纳入健康评估的考量，及时的识别出呼吸异常的人群，这能够在一定程度上阻止传染性呼吸疾病在公共场所的传播。
如图1所示，本实施例中的针对戴口罩人群的体温和呼吸数据采集系统，包括：图像采集子系统、健康指标计算子系统和健康评估子系统；
其中：
图像采集子系统包括：
双模态相机，用于获得人脸的RGB视频和红外热成像视频；
健康指标计算子系统包括：
区域获取模块，用于从人脸的RGB视频和红外热成像视频中获取额头区域和呼吸区域；
数据计算模块，用于从额头区域和呼吸区域计算相应的体温和呼吸数据，并传递给健康评估子系统；
健康评估子系统对呼吸和体温数据进行处理，得到相应的数据评估结果。
该数据评估结果可以作为一中间结果，辅助对健康状况进行评估，并将健康状况评估结果作为辅助数据对呼吸疾病进行筛查判断。
作为优选实施例，下面对每个子系统进一步说明：
1)图像采集子系统：该子系统主要由硬件设备组成，包括双模态相机，其中，双模态相机包括并行定位的RGB相机和红外相机；在使用过程中，双模态相机对准戴着口罩的测试者的脸部，即可通过获取相应的面部的红外热成像视频和RGB视频数据，并将视频数据传递给后续的健康指标计算子系统。
作为一优选实施例，图像采集子系统还可以包括存储载体，存储载体用于存储双模态相机获得的视频数据。
作为一优选实施例，图像采集子系统采用FLIR one便携式双模态相机。
2)健康指标计算子系统：该子系统主要负责从面部的红外热成像视频和RGB视频中提取温度和呼吸数据。当人体进行连续的周期性呼吸活动时，鼻孔和空气之间会发生持续的热交换，并且呼吸道中会出现周期性的温度波动。因此，可以通过分析鼻孔周围温度的周期性变化来获得呼吸数据。在该系统中，通过深度学习等算法获取额头区域和口罩下的呼吸区域，根据获得的呼吸区域红外信号提取呼吸的周期曲线，并计算呼吸频率和吸呼比。体温是通过额头区域的红外图像温度来获取的。
作为一优选实施例，下面对健康指标计算子系统所包含的两个模块进一步说明：
2.1)区域获取模块
当人们戴着口罩时，许多面部特征因此而被阻塞。仅通过红外热成像图像识别面部会丢失很多几何和纹理面部细节，从而导致面部和口罩部分的识别错误。为了解决这个问题，图像采集子系统采用了基于并行定位的RGB和红外相机的方法来识别人脸和口罩区域，获得红外热成像视频和RGB视频。
该区域获取模块从人脸的RGB视频和红外热成像视频中获取额头区域的方法为：
采用基于深度学习的人脸识别技术从RGB视频中识别人脸并对应提取额头区域，之后采用线性变换算法将该额头区域从RGB视频映射到红外热成像视频中，获得红外热成像视频下的额头区域。
该区域获取模块从人脸的RGB视频和红外热成像视频中获取呼吸区域的方法为：
S1，获取在RGB相机中捕获的被口罩遮盖的脸部区域，使用线性变换的映射算法将该区域映射到红外热成像视频中，获得红外热成像视频下的口罩区域；
作为一优选实施例，采用基于深度学习的pyramidbox model模型获取完整的人脸区域；提取被口罩遮盖的脸部区域并采用线性变换的映射算法将该口罩区域从RGB视频映射到红外热成像视频。
作为一优选实施例，提取被口罩遮盖的脸部区域的方法为：由于口罩在人脸上的位置是固定的，因此在获得人脸的位置坐标后，可以按坐标等比例缩小来获得被口罩遮盖的脸部区域。
S2，表征呼吸特征的区域(ROI)在S1中得到的口罩区域中选取。由于呼吸在口罩区域中表现为温度的周期化波动，区域获取模块基于最大化时序上红外热成像图像序列的方差实现ROI区域的选取，以提取红外热成像视频口罩区域上最代表呼吸信号的特定区域。该方法为：遍历红外热成像图像中的口罩区域，并找到在时序上温度变化最大的小块作为选定的ROI，进而实现从人脸的RGB视频和红外热成像视频中获取呼吸区域。由于鼻孔区域(呼吸区域)固定在面部区域上，因此特定小块的位置在所有帧中的口罩区域中是固定的。该方法不需要考虑块的移动，因为口罩区域提取算法可以检测每帧红外热成像图像中的口罩位置。
2.2)数据计算模块
通过区域获取模块的工作，在红外热成像视频时序上每一帧中都获取了一块区域作为表征呼吸的区域，即呼吸区域。根据获取的ROI区域温度矩阵，计算时序上每一帧中表征呼吸的区域的平均温度作为那一个帧内的温度数据，最后得到的温度数据作为在时序上的一串一维呼吸数据；
根据得到的呼吸数据，提取呼吸的周期曲线，并计算呼吸频率和吸呼比；
通过区域获取模块获取的额头区域，采用提取额头区域温度矩阵最大温度的方法获取体温。
3)健康评估子系统：该子系统包括数据分析模块和异常警报模块。数据分析模块通过对体温、呼吸频率和呼吸模式的综合分析来完成。针对呼吸数据的特点，健康评估子系统基于深度学习的BiGRU-AT神经网络来执行分类任务，以判断呼吸状况。
呼吸模式主要通过呼吸频率和呼吸的温度变化来判定，目前该算法对四种呼吸模式进行了判定：Eupnea(正常),Bradypnea(呼吸缓慢),Tachypnea(呼吸急促)和Apnea(窒息)。其中正常呼吸缓慢，呼吸急促由呼吸频率进行判定，小于10次/min为呼吸缓慢，大于20次/min为呼吸急促，中间为正常区间。窒息则由温度的变化来判断，若一段时间内温度曲线的方差小于一个基准值，则判定为窒息。
作为一优选实施例，BiGRU-AT神经网络采用双向注意层的门递归单元(GRU)网络，其中：
BiGRU-AT神经网络的输入为呼吸数据；BiGRU-AT神经网络的输出为呼吸状况结果。
将呼吸状况结果结合体温数据，得出最后的数据评估结果。
进一步地，BiGRU-AT神经网络采用双向注意层的门递归单元(GRU)网络，包括：一层输入层，一层双向GRU网络层和一层attention层。
其中：
网络的输入为呼吸数据；根据呼吸数据是时间序列的特性，BiGRU-AT神经网络将呼吸数据视为时间序列分类问题。具有双向注意层的门递归单元(GRU)网络来执行序列预测任务；网络的输出为呼吸状况结果。
将呼吸状况结果结合体温数据，得出最后的数据评估结果。
作为一优选实施例，异常警报模块设置相应的阈值，当数据评估结果超出设定的阈值时，判断为数据异常并提供警报。
在该系统中，首先图像采集子系统获取人脸的红外热成像视频和RGB视频。然后，健康指标计算子系统结合人工智能和人脸识别技术从视频中提取体温和呼吸状态的数据，并将其导入到健康评估模块中。最终，健康评估子系统通过深度学习技术从体温和呼吸状态得到健康评估和呼吸疾病筛选结果。实验结果表明，该系统可以在15秒内给出准确的筛选结果。
本发明另一实施例提供了一种针对戴口罩人群的体温和呼吸数据采集方法，如图4所示，包括：
获取人脸的RGB视频和红外热成像视频；
从人脸的RGB视频和红外热成像视频中获取额头区域和呼吸区域；
从额头区域和呼吸区域计算相应的体温和呼吸数据；
对体温和呼吸数据进行处理，得到相应的数据评估结果。
作为一优选实施例，采用双模态相机获取人脸的RGB视频和红外热成像视频。
作为一优选实施例，从人脸的RGB视频和红外热成像视频中获取额头区域的方法包括：采用基于深度学习的人脸识别技术从RGB视频中识别人脸并对应提取额头区域，之后采用线性变换算法将该额头区域从RGB视频映射到红外热成像视频中，获得红外热成像视频下的额头区域。
作为一优选实施例，从人脸的RGB视频和红外热成像视频中获取呼吸区域的方法包括：
获取在RGB相机中捕获的被口罩遮盖的脸部区域；
使用相关的映射算法将该区域映射到红外热成像视频中，获得红外热成像视频下的口罩区域；
在口罩区域中选取表征呼吸特征的呼吸区域，包括：
遍历红外热成像图像中的口罩区域，并找到在时序上温度变化最大的块作为选定的呼吸区。
进一步地，采用基于深度学习的pyramidbox model模型获取完整的人脸区域，提取被口罩遮盖的脸部区域并采用线性变换的映射算法将该口罩区域从RGB视频映射到红外热成像视频中，获得红外热成像视频下的口罩区域；遍历红外热成像图像中的口罩区域，并找到在时序上温度变化最大的块作为选定的呼吸区域。
作为一优选实施例，采用基于深度学习的pyramidbox model模型获取完整的人脸区域；提取被口罩遮盖的脸部区域并采用线性变换的映射算法将该口罩区域从RGB视频映射到红外热成像视频。
作为一优选实施例，提取被口罩遮盖的脸部区域的方法为：获得人脸的位置坐标，按坐标等比例缩小来获得被口罩遮盖的脸部区域。
作为一优选实施例，从额头区域计算相应的体温的方法包括：根据已获得的红外热成像视频中的额头区域，采用提取额头区域温度矩阵最大温度的方法获取额头区域的温度数据作为体温。
作为一优选实施例，从呼吸区域计算相应的呼吸数据的方法包括：
计算时序上每一帧中表征呼吸的呼吸区域的平均温度作为那一个帧内的温度数据，最后得到的温度数据作为在时序上的一串一维呼吸数据；
根据得到的呼吸数据，提取呼吸的周期曲线，并计算呼吸频率和吸呼比。
作为一优选实施例，采用从ROI区域的红外图像温度矩阵获取平均温度的方法计算温度数据。
作为一优选实施例，基于深度学习的BiGRU-AT神经网络对呼吸数据中的呼吸频率和呼吸比进行分析，得到呼吸状况结果；将呼吸状况结果结合体温数据，得出最后的数据评估结果。
作为一优选实施例，BiGRU-AT神经网络采用双向注意层的门递归单元(GRU)网络，其中：
BiGRU-AT神经网络的输入为呼吸数据；BiGRU-AT神经网络的输出为呼吸状况结果。
将呼吸状况结果结合体温数据，得出最后的数据评估结果。
进一步地，，BiGRU-AT神经网络采用双向注意层的门递归单元(GRU)网络，包括：一层输入层，一层双向GRU网络层和一层attent ion层；
其中：
网络的输入为呼吸数据；根据呼吸数据是时间序列的特性，BiGRU-AT神经网络将呼吸数据视为时间序列分类问题。具有双向注意层的门递归单元(GRU)网络来执行序列预测任务；网络的输出为呼吸状况结果。
将呼吸状况结果结合体温数据，得出最后的数据评估结果。
作为一优选实施例，方法还包括：
将得出的数据评估结果与预设的阈值进行比较，当数据评估结果超出预设的阈值时，判断为数据异常并提供警报。
本发明的第三个实施例，提供了一种设备，如图2和图3所示，包括移动终端以及上述任一项的针对戴口罩人群的体温和呼吸数据采集系统；其中：
针对戴口罩人群的体温和呼吸数据采集系统的图像采集子系统与移动终端数据连接(例如可通过TypeC连接口连接)或集成于移动终端上；
针对戴口罩人群的体温和呼吸数据采集系统的区域获取模块和数据计算模块分别安装于移动终端上；
移动终端包括存储器、处理器及存储在存储器上并能够在处理器上运行的计算机程序，处理器执行计算机程序时至少能够能够用于运行健康指标计算子系统和健康评估子系统。
作为一优选实施例，移动终端采用智能手机。
作为一优选实施例，图像采集子系统采用FLIR one便携式双模态相机。
在部分实施例中，本实施例提供的设备，在工作时，首先通过程序调用双模态相机，采集测试者的面部视频，时长约为15秒，该步骤由图像采集子系统完成。之后，通过部署在移动终端上的健康指标计算子系统和健康评估子系统处理视频数据并即时的给出呼吸疾病的筛查结果，如图3(a)和(b)所示。
本发明上述实施例提供的针对戴口罩人群的体温和呼吸数据采集系统、方法及设备，通过便携式双模态相机(红外相机和正常RGB相机)，获取戴口罩的人群的面部视频，通过人脸识别、深度学习等技术从对应的视频中挖掘体温数据和呼吸数据，再通过深度学习算法对数据进行分析，得到数据分析结果。
本发明上述实施例提供的针对戴口罩人群的体温和呼吸数据采集系统、方法及设备，通过基于深度学习的人脸识别方法，从戴口罩的人的红外热成像视频中选取最能表征呼吸特征的呼吸区域，并提取呼吸数据。
本发明上述实施例提供的针对戴口罩人群的体温和呼吸数据采集系统、方法及设备，通过基于深度学习的分类方法，采用获取的呼吸数据对呼吸数据中的呼吸频率和呼吸比进行分析，得到呼吸状况结果，结合体温数据，从而得到数据评估结果。
将本发明上述实施例提供的针对戴口罩人群的体温和呼吸数据采集系统集成到便携式的设备中，通过移动终端、便携式双模态相机和相应的功能模块完成便携且实时的数据采集和检测。
本发明上述实施例提供的针对戴口罩人群的体温和呼吸数据采集系统、方法及设备，结合便携式双模态相机(红外相机和正常RGB相机)，对戴口罩的人群进行实时的体温和呼吸数据采集，实现了针对戴口罩的人的便携实时数据评估；结合深度学习人脸识别算法，实现了在红外热成像视频中对戴口罩时呼吸区域的实时获取；结合深度学习分类算法，实现了从红外热成像数据对戴口罩的人的呼吸数据分析。
需要说明的是，本发明提供的方法中的步骤，可以利用系统中对应的模块、装置、单元等予以实现，本领域技术人员可以参照系统的技术方案实现方法的步骤流程，即，系统中的实施例可理解为实现方法的优选例，在此不予赘述。
本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统及其各个装置以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统及其各个装置以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同功能。所以，本发明提供的系统及其各项装置可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构；也可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。
Claims (8)
1.一种针对戴口罩人群的体温和呼吸数据采集系统，其特征在于，包括：
图像采集子系统，所述图像采集子系统采用双模态相机，获得人脸的RGB视频和红外热成像视频；
健康指标计算子系统，所述健康指标计算子系统包括：
区域获取模块，所述区域获取模块从人脸的RGB视频和红外热成像视频中获取额头区域和呼吸区域；
数据计算模块，所述数据计算模块从额头区域和呼吸区域计算相应的体温和呼吸数据，并传递给健康评估子系统；
健康评估子系统，所述健康评估子系统对体温和呼吸数据进行处理，得到相应的数据评估结果；
所述区域获取模块从人脸的RGB视频和红外热成像视频中获取额头区域的方法为：采用基于深度学习的人脸识别技术从RGB视频中识别人脸并对应提取额头区域，之后采用线性变换算法将该额头区域从RGB视频映射到红外热成像视频中，获得红外热成像视频下的额头区域；
所述区域获取模块从人脸的RGB视频和红外热成像视频中获取呼吸区域的方法为：采用基于深度学习的pyramidbox model模型获取完整的人脸区域，提取被口罩遮盖的脸部区域并采用线性变换的映射算法将该口罩区域从RGB视频映射到红外热成像视频中，获得红外热成像视频下的口罩区域；区域获取模块基于最大化时序上红外热成像图像序列的方差实现ROI区域的选取，以提取红外热成像视频口罩区域上最代表呼吸信号的特定区域，具体为：遍历红外热成像图像中的口罩区域，并找到在时序上温度变化最大的块作为选定的呼吸区域；
所述数据计算模块计算红外热成像视频中时序上每一帧中呼吸区域的平均温度作为那一个帧内的温度数据，最后得到的温度数据作为在时序上的一串一维呼吸数据；根据得到的呼吸数据，提取呼吸的周期曲线，并计算呼吸频率和吸呼比；
所述数据计算模块，根据已获得的红外热成像视频中的额头区域，采用提取额头区域温度矩阵最大温度的方法获取额头区域的温度数据作为体温。
2.根据权利要求1所述的针对戴口罩人群的体温和呼吸数据采集系统，其特征在于，所述图像采集子系统还包括存储载体，所述存储载体对双模态相机获得的视频数据进行存储；和/或
所述双模态相机采用FLIR one便携式双模态相机。
3.根据权利要求1所述的针对戴口罩人群的体温和呼吸数据采集系统，其特征在于，所述健康评估子系统包括数据分析模块，所述数据分析模块采用基于深度学习的BiGRU-AT神经网络，对呼吸数据进行处理，并结合体温数据，得到相应的数据评估结果；其中：
所述BiGRU-AT神经网络采用双向注意层的门递归单元网络网络的输入为呼吸数据，网络的输出为呼吸状况结果；将呼吸状况结果结合体温数据，得出最后的数据评估结果。
4.根据权利要求1所述的针对戴口罩人群的体温和呼吸数据采集系统，其特征在于，所述健康评估子系统还包括异常警报模块，所述异常警报模块设置相应的阈值，当数据评估结果超出设定的阈值时，判断为数据异常并提供警报。
5.一种针对戴口罩人群的体温和呼吸数据采集方法，其特征在于，包括：
获取人脸的RGB视频和红外热成像视频；
从人脸的RGB视频和红外热成像视频中获取额头区域和呼吸区域；
从额头区域和呼吸区域计算相应的体温和呼吸数据；
对体温和呼吸数据进行处理，得到相应的数据评估结果；
所述方法还包括：
-采用双模态相机获取人脸的RGB视频和红外热成像视频；
-从人脸的RGB视频和红外热成像视频中获取额头区域的方法包括：采用基于深度学习的人脸识别技术从RGB视频中识别人脸并对应提取额头区域，之后采用线性变换算法将该额头区域从RGB视频映射到红外热成像视频中，获得红外热成像视频下的额头区域；
-从人脸的RGB视频和红外热成像视频中获取呼吸区域的方法包括：
采用基于深度学习的pyramidbox model模型获取完整的人脸区域，提取被口罩遮盖的脸部区域并采用线性变换的映射算法将该口罩区域从RGB视频映射到红外热成像视频中，获得红外热成像视频下的口罩区域；遍历红外热成像图像中的口罩区域，并找到在时序上温度变化最大的块作为选定的呼吸区域；
-采用基于深度学习的pyramidbox model模型获取完整的人脸区域；提取被口罩遮盖的脸部区域并采用线性变换的映射算法将该口罩区域从RGB视频映射到红外热成像视频；
-提取被口罩遮盖的脸部区域的方法为：获得人脸的位置坐标，按坐标等比例缩小来获得被口罩遮盖的脸部区域；
-从额头区域计算相应的体温的方法包括：根据已获得的红外热成像视频中的额头区域，采用提取额头区域温度矩阵最大温度的方法获取额头区域的温度数据作为体温；
-从呼吸区域计算相应的呼吸数据的方法包括：
计算时序上每一帧中表征呼吸的区域的平均温度作为那一个帧内的温度数据，最后得到的温度数据作为在时序上的一串一维呼吸数据；
根据得到的呼吸数据，提取呼吸的周期曲线，并计算呼吸频率和吸呼比；
-采用从ROI区域的红外图像温度矩阵获取平均温度的方法计算温度数据；
-基于深度学习的BiGRU-AT神经网络对呼吸数据中的呼吸频率和呼吸比进行分析，得到呼吸状况结果；将呼吸状况结果结合体温数据，得出最后的数据评估结果；其中：
所述BiGRU-AT神经网络采用双向注意层的门递归单元网络，所述BiGRU-AT神经网络的输入为呼吸数据；所述BiGRU-AT神经网络的输出为呼吸状况结果；
将呼吸状况结果结合体温数据，得出最后的数据评估结果。
6.根据权利要求5所述的针对戴口罩人群的体温和呼吸数据采集方法，其特征在于，所述方法还包括：
将得出的数据评估结果与预设的阈值进行比较，当数据评估结果超出预设的阈值时，判断为数据异常并提供警报。
7.一种设备，其特征在于，包括移动终端以及权利要求1-4任一项所述的针对戴口罩人群的体温和呼吸数据采集系统；其中：
所述针对戴口罩人群的体温和呼吸数据采集系统的图像采集子系统与所述移动终端数据连接或集成于移动终端上；
所述针对戴口罩人群的体温和呼吸数据采集系统的区域获取模块和数据计算模块分别安装于移动终端上；
所述移动终端包括存储器、处理器及存储在存储器上并能够在处理器上运行的计算机程序，所述处理器执行所述计算机程序时至少能够能够用于运行健康指标计算子系统和健康评估子系统。
8.根据权利要求7所述的设备，其特征在于，所述移动终端采用智能手机。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010809733.5A CN111898580B (zh) | 2020-08-13 | 2020-08-13 | 针对戴口罩人群的体温和呼吸数据采集系统、方法及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010809733.5A CN111898580B (zh) | 2020-08-13 | 2020-08-13 | 针对戴口罩人群的体温和呼吸数据采集系统、方法及设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111898580A CN111898580A (zh) | 2020-11-06 |
| CN111898580B true CN111898580B (zh) | 2022-12-20 |
Family
ID=73229283
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010809733.5A Active CN111898580B (zh) | 2020-08-13 | 2020-08-13 | 针对戴口罩人群的体温和呼吸数据采集系统、方法及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111898580B (zh) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112493991A (zh) * | 2020-11-10 | 2021-03-16 | 博恒科技（杭州）有限公司 | 一种针对睡眠呼吸暂停的红外摄像检测系统 |
| CN112488647B (zh) * | 2020-11-25 | 2024-09-06 | 京东方科技集团股份有限公司 | 考勤系统及方法、存储介质及电子设备 |
| US11816934B2 (en) * | 2020-12-16 | 2023-11-14 | The Boeing Company | Smart airport and cabin system to avoid touch points and maintain social distancing |
| KR102563695B1 (ko) * | 2021-05-11 | 2023-08-04 | 국민대학교산학협력단 | 개인의 냉온감 정도를 추정하는 장치 및 방법 |
| CN113591701A (zh) * | 2021-07-30 | 2021-11-02 | 深圳市商汤科技有限公司 | 呼吸检测区域确定方法、装置、存储介质及电子设备 |
| CN113576452A (zh) * | 2021-07-30 | 2021-11-02 | 深圳市商汤科技有限公司 | 基于热成像的呼吸率检测方法、装置及电子设备 |
| CN113576451A (zh) * | 2021-07-30 | 2021-11-02 | 深圳市商汤科技有限公司 | 呼吸率检测方法、装置、存储介质及电子设备 |
| CN115005782A (zh) * | 2022-06-06 | 2022-09-06 | 杭州新瀚光电科技有限公司 | 一种人体健康的评估方法、系统、终端设备及存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104173051A (zh) * | 2013-05-28 | 2014-12-03 | 天津点康科技有限公司 | 非接触式自动呼吸测量系统及测量方法 |
| CN109998496A (zh) * | 2019-01-31 | 2019-07-12 | 中国人民解放军海军工程大学 | 一种自主式人体体温自动采集及呼吸监测系统和方法 |
| CN111310717A (zh) * | 2020-03-09 | 2020-06-19 | 上海通金信息科技开发有限公司 | 运动人群无感体温智能筛查与身份识别装置 |
| CN111374644A (zh) * | 2020-03-02 | 2020-07-07 | 广州富港万嘉智能科技有限公司 | 体温检测方法、为检测体温而对人工神经网络的训练方法、计算机可读存储介质及口罩 |
| CN111387957A (zh) * | 2020-03-13 | 2020-07-10 | 智方达(天津)科技有限公司 | 一种非接触式的体温与呼吸率联合检测方法 |
| CN111429652A (zh) * | 2020-04-21 | 2020-07-17 | 华东师范大学 | 一种具有呼吸疾病筛查功能的智能售货机 |
-
2020
- 2020-08-13 CN CN202010809733.5A patent/CN111898580B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104173051A (zh) * | 2013-05-28 | 2014-12-03 | 天津点康科技有限公司 | 非接触式自动呼吸测量系统及测量方法 |
| CN109998496A (zh) * | 2019-01-31 | 2019-07-12 | 中国人民解放军海军工程大学 | 一种自主式人体体温自动采集及呼吸监测系统和方法 |
| CN111374644A (zh) * | 2020-03-02 | 2020-07-07 | 广州富港万嘉智能科技有限公司 | 体温检测方法、为检测体温而对人工神经网络的训练方法、计算机可读存储介质及口罩 |
| CN111310717A (zh) * | 2020-03-09 | 2020-06-19 | 上海通金信息科技开发有限公司 | 运动人群无感体温智能筛查与身份识别装置 |
| CN111387957A (zh) * | 2020-03-13 | 2020-07-10 | 智方达(天津)科技有限公司 | 一种非接触式的体温与呼吸率联合检测方法 |
| CN111429652A (zh) * | 2020-04-21 | 2020-07-17 | 华东师范大学 | 一种具有呼吸疾病筛查功能的智能售货机 |
Non-Patent Citations (1)
| Title |
|---|
| 基于BERT-BiGRU-Attention的在线健康社区用户意图识别方法;汪磊;《河北科技大学学报》;20200630;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111898580A (zh) | 2020-11-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111898580B (zh) | 针对戴口罩人群的体温和呼吸数据采集系统、方法及设备 | |
| Jiang et al. | Detection of respiratory infections using RGB-infrared sensors on portable device | |
| CN110458101B (zh) | 基于视频与设备结合的服刑人员体征监测方法及设备 | |
| Jiang et al. | Combining visible light and infrared imaging for efficient detection of respiratory infections such as COVID-19 on portable device | |
| Tzeng et al. | Design of fall detection system with floor pressure and infrared image | |
| CN110263686A (zh) | 一种基于深度学习的施工工地图像安全帽检测方法 | |
| CN104091408B (zh) | 一种基于热红外成像的婴幼儿睡姿智能识别方法及装置 | |
| US11864860B2 (en) | Biometric imaging and biotelemetry system | |
| CN110321780A (zh) | 基于时空运动特性的异常摔倒行为检测方法 | |
| CN111564224A (zh) | 一种具有健康监测的智能监控系统及其实现方法 | |
| KR100822476B1 (ko) | 원격 응급상황 모니터링 시스템 및 방법 | |
| CN114469076B (zh) | 一种融合身份特征的独居老人跌倒识别方法及系统 | |
| KR20220166368A (ko) | 온도 측정 방법, 장치, 전자 기기 및 컴퓨터 판독 가능 저장 매체 | |
| CN111783702A (zh) | 一种基于图像增强算法和人体关键点定位的高效行人摔倒检测方法 | |
| Inoue et al. | Bed-exit prediction applying neural network combining bed position detection and patient posture estimation | |
| US20240135579A1 (en) | Method for human fall detection and method for obtaining feature extraction model, and terminal device | |
| CN113314230A (zh) | 基于大数据的智能防疫方法、装置、设备及存储介质 | |
| Al Maashri et al. | A novel drone-based system for accurate human temperature measurement and disease symptoms detection using thermography and AI | |
| Khan et al. | Video analytic for fall detection from shape features and motion gradients | |
| TWI796786B (zh) | 基於熱影像的追蹤辨識監護系統及方法 | |
| Chen et al. | Drinking gesture spotting and identification using single wrist-worn inertial sensor | |
| Avuthu et al. | A Deep Learning approach for detection and analysis of respiratory infections in covid-19 patients using RGB and infrared images. | |
| Inoue et al. | Bed exit action detection based on patient posture with long short-term memory | |
| CN209734011U (zh) | 一种非接触式人体状态监测系统 | |
| Maxwell et al. | Non-Contact Breathing Rate Detection Using Optical Flow |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |