CN116509359A - 一种工地作业的多目标心率监测方法及装置 - Google Patents
一种工地作业的多目标心率监测方法及装置 Download PDFInfo
- Publication number
- CN116509359A CN116509359A CN202310075521.2A CN202310075521A CN116509359A CN 116509359 A CN116509359 A CN 116509359A CN 202310075521 A CN202310075521 A CN 202310075521A CN 116509359 A CN116509359 A CN 116509359A
- Authority
- CN
- China
- Prior art keywords
- heart rate
- signal
- absorption intensity
- operators
- frequency domain
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 27
- 238000012544 monitoring process Methods 0.000 title claims description 14
- 238000010276 construction Methods 0.000 title claims description 6
- 238000001514 detection method Methods 0.000 claims abstract description 50
- 238000010521 absorption reaction Methods 0.000 claims abstract description 36
- 230000001815 facial effect Effects 0.000 claims abstract description 28
- 210000004369 blood Anatomy 0.000 claims abstract description 26
- 239000008280 blood Substances 0.000 claims abstract description 26
- 238000006073 displacement reaction Methods 0.000 claims abstract description 26
- 238000012545 processing Methods 0.000 claims abstract description 24
- 238000000605 extraction Methods 0.000 claims abstract description 22
- 230000031700 light absorption Effects 0.000 claims abstract description 11
- 238000001914 filtration Methods 0.000 claims description 10
- 230000002159 abnormal effect Effects 0.000 claims description 8
- 238000012806 monitoring device Methods 0.000 claims description 3
- 230000010349 pulsation Effects 0.000 claims description 3
- 238000007689 inspection Methods 0.000 claims 1
- 210000003743 erythrocyte Anatomy 0.000 abstract description 11
- 206010007559 Cardiac failure congestive Diseases 0.000 abstract description 2
- 238000002474 experimental method Methods 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 8
- 230000006872 improvement Effects 0.000 description 7
- 210000001061 forehead Anatomy 0.000 description 5
- 239000002245 particle Substances 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 230000000737 periodic effect Effects 0.000 description 4
- 230000000284 resting effect Effects 0.000 description 4
- 230000017531 blood circulation Effects 0.000 description 3
- 238000009532 heart rate measurement Methods 0.000 description 3
- 230000033001 locomotion Effects 0.000 description 3
- 206010008479 Chest Pain Diseases 0.000 description 2
- 102000001554 Hemoglobins Human genes 0.000 description 2
- 108010054147 Hemoglobins Proteins 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 208000002173 dizziness Diseases 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000036541 health Effects 0.000 description 2
- 230000000004 hemodynamic effect Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 208000019901 Anxiety disease Diseases 0.000 description 1
- 206010013954 Dysphoria Diseases 0.000 description 1
- 208000013016 Hypoglycemia Diseases 0.000 description 1
- 208000006083 Hypokinesia Diseases 0.000 description 1
- 208000002193 Pain Diseases 0.000 description 1
- 206010042434 Sudden death Diseases 0.000 description 1
- 238000002835 absorbance Methods 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000036506 anxiety Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000036770 blood supply Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 230000000747 cardiac effect Effects 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 206010016256 fatigue Diseases 0.000 description 1
- 239000012530 fluid Substances 0.000 description 1
- 230000002218 hypoglycaemic effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 230000037368 penetrate the skin Effects 0.000 description 1
- 230000001766 physiological effect Effects 0.000 description 1
- 238000000513 principal component analysis Methods 0.000 description 1
- 230000009323 psychological health Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000029058 respiratory gaseous exchange Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 239000000725 suspension Substances 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 206010042772 syncope Diseases 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/024—Detecting, measuring or recording pulse rate or heart rate
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/024—Detecting, measuring or recording pulse rate or heart rate
- A61B5/02416—Detecting, measuring or recording pulse rate or heart rate using photoplethysmograph signals, e.g. generated by infrared radiation
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Cardiology (AREA)
- Biomedical Technology (AREA)
- Medical Informatics (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Engineering & Computer Science (AREA)
- Physiology (AREA)
- Heart & Thoracic Surgery (AREA)
- Physics & Mathematics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
Abstract
本发明公开了一种工地作业的多目标心率检测方法及装置，方法包括步骤：采集作业人员的面部视频，从所述面部视频的图像序列中自动选取待测皮肤区域，并提取所述待测皮肤区域的血液吸收强度信号；根基于光吸收强度脉搏调制，根据血液吸收强度信号计算频域心率调制深度信号；采用平均位移直方图算法处理所述频域心率调制深度信号，得到心率值；根据作业人员的心率值情况，安排作业人员的作业岗位。本申请通过将所提取的信号直接与血红细胞浓度这一物理量相关，从而能够体现心跳引起的周期性，实现对心率信号的准确提取；通过利用平均位移直方图(ASH)算法进一步提高心率信号提取的信噪比，实现从复杂的背景信号中微弱的心跳信号的提取。
Description
技术领域
本申请涉及心率监测技术领域，具体涉及一种工地作业的多目标心率检测方法及装置。
背景技术
现广泛应用的心率检测设备主要包括可穿戴式和成像式两种，可穿戴式的心率检测技术虽然能够实时获得人体健康数据，但是这类接触式的设备使用过程不够舒适，通用性不高，多人使用成本高难以普及。非接触成像式的心率检测技术主要应用了小波分解、包括盲源分离、主成分分析、时域频域联合、卷积神经网络等心率信号提取算法。
然而，现有的心率监测技术中，无论可穿戴式心率检测技术和成像式心率检测技术，其中心率检是心率提取算法大都侧重于利用信号处理操作来提取心率信号，对于心率信号的来源与心率信号的提取缺乏物理理论支撑，所提取到的心率信号不能代表明确的物理量，因此所提取信号的准确性难以保证。另一方面，从嘈杂背景信号中提取具有高信噪比的微弱脉搏信号仍然存在挑战，在更复杂的环境下，心率信号提取的灵敏度和信噪比需要足够高，才能保证心率检测结果的准确性；
因此，现有的心率检测方法在实际使用中存在局限性。例如，对于生产车间或者施工现场，特别是特种、高空、悬空、勘探等高危作业领域，均要求上岗人员身心健康状态正常且严禁酒后上岗、醉酒24小时内不得上岗。在这些场所中均缺少一种高效、准确检测心率的设备。
发明内容
为了克现上述技术缺陷，本发明提供一种工地作业的多目标心率检测方法及装置，其能提高非接触式心率测量准确度。
为了解决上述问题，本发明按以下技术方案予以实现：
第一方面，本发明提供一种工地作业的多目标心率监测方法，包括步骤：
采集作业人员的面部视频，从所述面部视频的图像序列中自动选取待测皮肤区域，并提取所述待测皮肤区域的血液吸收强度信号；
基于光吸收强度脉搏调制，根据血液吸收强度信号计算频域心率调制深度信号；
采用平均位移直方图算法处理所述频域心率调制信号，得到心率值；
根据作业人员的心率值情况，安排作业人员的作业岗位。
作为上述方案的改进，所述采集作业人员的面部视频，从所述面部视频的图像序列中自动选取待测皮肤区域，并提取所述待测皮肤区域的血液吸收强度信号包括步骤：
采集作业人员的视频序列，采用MTCNN算法对每一帧图像进行多目标的人脸识别，得到作业人员的人脸图像；
根据人脸图像，用检测框对每个人脸不同部位区域进行分割，提取特定的脸部区域的血液吸收强度信号。
作为上述方案的改进，不同帧图像的人脸不同部位区域的检测框尺寸一致。
作为上述方案的改进，所述特定的脸部区域为嘴唇区域。
作为上述方案的改进，在得到作业人员的人脸图像后，还包括步骤：
采用DeepSort算法，根据所述检测框的位置坐标信息，对人脸不同部位区域进行实时追踪。
作为上述方案的改进，所述基于光吸收强度脉搏调制，根据血液吸收强度信号计算频域心率调制深度信号包括步骤：
根据所述血液吸收强度信号，提取绿色通道信号；
对所述绿色通道信号进行低通滤波和带通滤波得到背景信号和脉动信号；
基于所述背景信号和脉动信号，计算瞬时心率调制深度；
根据瞬时心率调制深度计算频域心率调制深度。
作为上述方案的改进，所述采用平均位移直方图算法处理所述频域心率调制信号，得到心率值包括：
利用平均位移直方图算法对各个像素点的频域信号峰进行频率提取，并计算平均位移直方图，心率值对应平均位移直方图中频数最高的区间的中心。
作为上述方案的改进，所述采用平均位移直方图算法处理所述频域心率调制信号，得到心率值还包括步骤：
增加处理帧数，并在平均位移直方图算法中进行降采样处理。
作为上述方案的改进，所述根据作业人员的心率值情况，安排作业人员的作业岗位包括步骤：
根据检测心率值是否在心率值正常区间，将作业人员划分为心率值正常的第一类作业人员和心率值异常的第二类作业人员，并将第一类作业人员按预先安排的岗位进行作业；
根据第二类作业人员的心率值划分人员疲劳等级，包括轻度疲劳和重度疲劳；对轻度疲劳的作业人员的岗位进行调整后安排上岗，对重度疲劳的作业人员发出安全警报，并安排管理人员开展救援。
第二方面，本发明提供一种工地作业的多目标心率监测装置，应用于第一方面所述的工地作业的多目标心率监测方法，所述装置包括：
图像采集模块，用于采集作业人员的面部视频；
信号提取模块，用于从面部视频中自动选取待测皮肤区域，提取待测皮肤区域的血液吸收强度信号；
信号调制模块，用于基于光吸收强度脉搏调制，根据血液吸收强度信号计算频域心率调制深度信号；；
信号处理模块，用于采用平均位移直方图算法处理所述频域心率调制信号，得到心率值；
人员调度模块，用于根据作业人员的心率值情况，安排作业人员的作业岗位。
与现有技术相比，本发明具有以下有益效果：
本申请通过将所提取的信号直接与血红细胞浓度这一物理量相关，从而能够体现心跳引起的周期性，实现对心率信号的准确提取；通过利用平均位移直方图(ASH)算法进一步提高心率信号提取的信噪比，实现从复杂的背景信号中微弱的心跳信号的提取。
附图说明
下面结合附图对本发明的具体实施方式作进一步详细的说明，其中：
图1为本申请一个实施例中工地作业的多目标心率监测方法的流程示意图；
图2为本申请一个实施例中所述步骤S1的流程示意图；
图3为本申请另一个实施例中所述步骤S1的流程示意图；
图4为本申请一个实施例中所述步骤S2的流程示意图；
图5为本申请一个实施例中所述步骤S4的流程示意图；
图6为本申请一个实施例中的心率检测系统流程示意图；
图7为本申请实施例所述实验的原始视频图；
图8为本申请实施例所述实验的嘴唇的绿色通道的平均原始I(t)信号图；
图9为本申请实施例所述实验的嘴唇的绿色通道的平均IMDHR(t)信号图；
图10为本申请实施例所述实验的嘴唇的绿色通道的平均MDHR(f)信号图；
图11为本申请实施例所述实验的脸颊的绿色通道的平均MDHR(f)信号图；
图12为本申请实施例所述实验的额头的绿色通道的平均MDHR(f)信号图；
图13为本申请实施例所述实验的嘴唇的红、绿、蓝通道的ASH结果图；
图14为本申请实施例所述实验的脸颊的红、绿、蓝通道的ASH结果图；
图15为本申请实施例所述实验的额头的红、绿、蓝通道的ASH结果图；
图16为本申请一个实施例中工地作业的多目标心率监测装置的结构框图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
需要注意的是，本文中所提及的序号，如S1、S2……，该些序号仅仅是作为步骤与步骤之间的区分，并不代表该些步骤必须要按照序号的顺序严格执行。
本发明提出一种工地作业的多目标心率监测方法,应用于公共通用场所的多目标心率测量，能够实现高灵敏度、高信噪比的心率信号提取，旨在解决高危作业领域等通用场所的心率信号检测，并提高检测结果的准确性，能够为人体健康状态评估和早期疾病诊断提供参考指标。
在一个实施例中，如图1所示，一种工地作业的多目标心率监测方法，包括步骤：
S1：采集作业人员的面部视频，从所述面部视频的图像序列中自动选取待测皮肤区域，并提取所述待测皮肤区域的血液吸收强度信号；
在心跳进行时，局部红细胞浓度随心跳过程发生周期性变化，这还导致局部红细胞产生散射光时的吸收强度以同样频率变化，该吸收强度信号被RGB相机捕捉到。人体心率范围为40～200bpm(即0.7～3.3Hz)左右，RGB视频的采集速度在30Hz左右；因此可以从普通RGB彩色视频图像序列中提取心率信息。因此，可以从商业相机的图像序列中提取心率信息。
其中，如图2所示，所述步骤S1包括如下步骤：
S11：采集作业人员的视频序列，采用MTCNN算法对每一帧图像进行多目标的人脸识别，得到作业人员的人脸图像；
具体的，受测者在环境光线的照射下自然面对彩色相机(例如：TTQ，JW-02，中国)，相机拍摄视频。环境光均匀照射人脸，经过人脸漫反射后的光信号被相机接收。相机采集参数可设置采样率为30fps。采集的图像序列传输到计算机，生成视频。
采用基于多任务卷积神经网络(multi-task cascaded CNN，MTCNN)的人脸检测和人脸特征点定位方法，从面部视频的图像中准确地自动获取眼睛中心、鼻尖和嘴角这些关键面部特征点的空间位置信息，并以关键特征点作为标记。一方面，通过人体面部特征点定位有助于减轻人体面部运动的干扰，另一方面随着该项技术的发展，即便是人体运动幅度较大时，也能精确定位面部ROI，保证RGB时序信号的有效获取。由于该算法的计算效率高，可以直接采用MTCNN对每一帧视频图像进行人脸检测和特征点定位以获取准确的ROI信息，提高ROI分割的准确性。
S12：根据人脸图像，用检测框对每个人脸不同部位区域进行分割，提取特定的脸部区域的血液吸收强度信号。
具体的，MTCNN算法根据人脸图像的人脸特征点，用定位框从面部视频的图像中准确地自动获取眼睛中心、鼻尖和嘴角这些关键面部特征点的空间位置信息，其中，不同帧图像的人脸不同部位区域的检测框尺寸一致，以获取特定脸部区域(包括脸颊、额头及嘴唇部位等)的血液吸收强度信号。
在其中一个实施例中，所述特定的脸部区域为嘴唇区域，以提取嘴唇区域的血液吸收强度信号。
在其中一个实施例中，如图3所示，所述步骤S1还包括步骤：
S13：采用DeepSort算法，根据所述检测框的位置坐标信息，对人脸不同部位区域进行实时追踪。
具体的，采用DeepSort算法与MTCNN检测部分结合，实现多目标的人脸追踪。(DeepSort是SORT算法的升级版，提升了算法对多目标跟踪的准确性。SORT算法的思路是将目标检测算法得到的检测框与预测的跟踪框的iou(交并比)输入到匈牙利算法中进行线性分配来关联帧间Id。而DeepSort算法则是将目标的外观信息加入到帧间匹配的计算中，这样在目标被遮挡但后续再次出现的情况下，还能正确匹配Id，从而减少Id Switch。)通过将每一帧图像中MTCNN人脸检测获取到的人脸中不同部位区域的定位框信息，也就是检测框位置坐标信息输入DeepSort算法中，然后根据坐标信息去预测下一个时刻的状态，从而实现不同人脸中不同部位区域的跟踪。该算法与MTCNN结合，能够达到理想的实时追踪效果。
S2：基于光吸收强度脉搏调制，根据血液吸收强度信号计算频域心率调制深度信号；
具体的，如图4所示，所述步骤S2包括如下步骤：
S21：根据所述血液吸收强度信号，提取绿色通道信号；
S22：对所述绿色通道信号进行低通滤波和带通滤波得到背景信号和脉动信号；
S23：基于所述背景信号和脉动信号，计算瞬时心率调制深度；
S24：根据瞬时心率调制深度计算频域心率调制深度。
具体的，由于绿色光谱(480～560nm)相比于红色、蓝色光谱，在对于血红蛋白的高吸收系数和穿透皮肤的能力之间有最佳的权衡，因此本发明从人脸毛细血管丰富的位置的RGB视频序列的绿色通道中提取心率信息。
摄像机采集到的绿色通道信号I(x，y，t)可以描述为：
其中，Υ(x，y，t)为绿色通道下与红细胞和背景组织(如水、脂肪)的吸收有关的吸收率。这一项表示血流强度的信号，其中fi是红细胞运动产生的调制频率，可以间接呈现心跳引起的红细胞浓度周期性瞬时变化。由于血管内红细胞与红细胞周围的间隙组织液之间的吸收差异，血流产生周期性信号Iac(t)。相反，没有任何周期吸收差异的背景组织对应于Idc(t)。脉搏信号可以看作是心脏收缩期对应的高吸收信号和心脏舒张期对应的低吸收信号的交替序列信号。心脏脉搏引入的调制频率心率分布在频域动态信号Iac(f)中。为了得到背景信号Idc(t)和脉动信号[Iac]HR(t)，对I(t)的频率信号进行低通滤波和带通滤波：
其中，LPF[]和BPF[]分别表示低通滤波和带通滤波。f1～f2包含了人类心率的范围。定义瞬时心率调制深度(Instantaneous heart rate modulation depth)IMDHR(t)：
为了得到心率值，频域心率调制深度MDHR(f)可以表示为：
MDHR(x，y，f)＝FTt→f[IMDHR(x，y，t)].(4)
系统记录的信号强度I可以认为与散射粒子的数量成正比关系。考虑式(3)的物理定义，运动散射粒子浓度cHR的周期性心跳分量可以表示为：
其中，nac为运动散射粒子的数量，[nac]HR为nac的一个源于心跳的组成成分，ndc是源于背景组织的静态散射粒子数量。当nac＜＜ndc时，式(5)的等号成立。由于背景信号的强度显著高于血流信号的强度，该近似条件能够满足。因此瞬时调制深度IMD可以反映红细胞局部浓度。因此，MDHR(f)可以代表调制频率的分布，从而可以通过提取调制频率，准确测量心率。此外，提取IMDHR的操作消除了非均匀背景噪音，从而获得一个高信噪比的心跳信号。将上述过程称为光吸收强度脉搏调制，利用心跳产生的吸收强度涨落信号来提取心率。
S3：采用平均位移直方图算法处理所述频域心率调制深度信号，得到心率值；
具体的，为了进一步提高提取的脉搏信号的信噪比，本发明采用平均位移直方图(Averaged shifted histogram，ASH)算法进行进一步处理。在ASH算法中，利用M个直方图统计MDHR(f)在不同像素点的fPeak。每个直方图/>部有相同的宽度h，但是这些直方图区间的起始点不同，为：
平均位移直方图通过以下方式获得：
当M为偶数时，获得的直方图的区间宽度为/>当M为奇数时，获得的直方图/>的区间宽度为/>平均位移直方图/>中频数最高的区间的中心即为检测的心率读数。这个过程的物理意义是重新计算以直方图中分布最高的频率为中心的一定频率范围内的fPeak的综合分布强度。
在其中一个实施例中，所述步骤S3还包括增加处理帧数，并在平均位移直方图算法中进行降采样处理。
具体的，在ASH算法中使ASH结果产生适当程度的降采样，能够提高直方图中频数分布的对比度，获得更高信噪比的结果。降采样通过减少式(6)和(7)中直方图的数量M来实现。M越小，最终的平均位移直方图的区间宽度越宽，区间之间的高度变化平滑性越低，最高区间与背景区间的对比度越高，因此信噪比增大。然而，降采样也会导致心率分辨率下降。如果是增加处理帧数，并通过降采样来抵消增加处理张数所增加的信号频率分辨率，会得到比原来的ASH结果更高的信噪比，同时采集时间也增加了。因此，在保证准确检测心率(心率分辨率足够)的前提下，可根据实际需求选择合适的实验条件，包括处理帧数和降采样程度：如果需要更高的信噪比来获得更高的检测精度，则可以增加处理帧数，并在ASH算法中进行降采样；如果需要更快速的检测，则不进行降采样。
S4：根据作业人员的心率值情况，安排作业人员的作业岗位。
如图5所示，所述步骤S4包括如下步骤：
S41：根据检测心率值是否在心率值正常区间，将作业人员划分为心率值正常的第一类作业人员和心率值异常的第二类作业人员，并将第一类作业人员按预先安排的岗位进行作业；
S42：根据第二类作业人员的心率值划分人员疲劳等级，包括轻度疲劳和重度疲劳；对轻度疲劳的作业人员的岗位进行调整后安排上岗，对重度疲劳的作业人员发出安全警报，并安排管理人员开展救援。
具体的，如图6所示，作业人员上班时，到达检测点面对摄像头，系统对所拍摄到的人员同时进行多目标识别、考勤和静息心率监测。系统捕捉作业人员的面部视频，并从中自动选取待测皮肤区域，计算心率。根据判断作业人员的检测心率值是否在心率值正常区间，将作业人员划分为心率值正常的第一类作业人员和心率值异常的第二类作业人员。对于大多数人，心率小于50bpm的情况为病理性，需要治疗。一般人的心率若在40～50bpm之间，就会出现胸闷、乏力、头晕等症状，若其心率降至35～40bpm则会发生血流动力学改变，使心脑器官的供血受到影响，从而出现胸部闷痛、头晕、晕厥甚至猝死。将静息心率与个人心率数据库中的静息心率对比。如果静息心率较平时增加5～10bpm以上，则认为有疲劳累积现象。对于如疲劳、焦虑烦躁、低血糖、酒后上岗导致的心率不稳定者输出“状态不佳”的安全预警。如果心率连续几天持续增加，则说明疲劳恢复不充分。若计算出连续监测几天的静息心率持续增高不下，且与之前有很大差别，则另外输出该人员需要体检的提示。在心率值异常的第二类作业人员中，对于状态不佳的人员，管理人员可上前让其先休息和观察一段时间后再测心率，对于心率异常但不严重者可以安排更换相对轻松的工作任务。当作业人员由于生理疲劳、疾病发作等原因，出现到达警戒心率范围的过高或过低的异常心率时，或心率低于50bpm或高于170bpm时，发出重度安全预警，管理人员对其进行心理疏导、安抚或开展救援。
完成检测后，检测通过的第一类作业人员前往作业岗位开始工作。中途休息、换岗时，对即将开始工作的作业人员再次进行上述检测操作。
下班时间到时，系统关闭，保存各作业人员心率数据、安全预警等级和次数至心率数据库。
如图7至图15所示，为试验条件是帧率：30fps，处理张数：2000帧的心率提取实验分析结果，其中，图7为原始视频图像；图8至图10分别为图7中绿色矩形框(嘴唇)的绿色通道的平均原始I(t)信号，IMDHR(t)信号和MDHR(f)信号；图11为图7中蓝色矩形框(脸颊)的绿色通道的平均MDHR(f)信号；图12为图7中绿色矩形框(额头)的绿色通道的平均MDHR(f)信号，图13至图15分别为为图7中嘴唇、脸颊、额头的红、绿、蓝通道的ASH结果。从图7至图9可知，嘴唇的绿色通道的平均原始I(t)信号杂乱无章，IMDHR(t)信号则显示了一定的周期性，但仍伴有噪声，频域的MDHR(f)信号中显示了一个明显的信号峰，在此基础上使用ASH算法，从图13获得的结果可以看出绿色通道的结果信噪比比图9更高。并且，图13的结果证明了绿色通道是三通道中最佳的提取通道。图10至图12和图13至图15的结果都证明了嘴唇是心率提取的最佳信号源。
本发明实现了高信噪比的心率信号检测。从RGB视频中提取血红细胞与背景组织吸收差异最大的绿色通道信号进行处理。基于光吸收强度脉搏调制效应，提取参数瞬时调制深度(IMD)为运动散射粒子所对应动态信号沿时间方向的均值除以背景光强信号沿时间方向的均值。瞬时调制深度作为提取参量，可以用来表征血红蛋白的局部浓度，减少来自水和脂肪等本底组织信号。所以本方法是利用心跳产生的吸收强度波动信号提取心率。该方法可以消除由于被测样品呼吸所产生的噪声，这在一定程度上能够对信号实现放大。最后，利用平均位移直方图(ASH)算法对所选ROI区域中各个像素点的频域信号峰进行频率提取，进一步提高心率提取的信噪比，比传统的对所选ROI区域中各个像素点的心率信号进行的空间平均算法更能够抑制噪声信号成分，提高测量准确度。从而，实现从复杂的背景信号中微弱的心跳信号的提取，保证了淹没在包括静态背景组织和其他动态生理活动信号在内的复杂背景中的微弱动态脉搏信号能够得到有效的增强。
本发明利用成像式检测的优势，采用人脸识别和人脸追踪算法，实现多目标的心率检测区域自动选区，因此也适用于各种公共场所的心率检测。满足了现实环境下的需求，其具有广阔的经济效益与市场前景。克服了接触式心率检测的技术局限性，不仅实现非接触无创的心率检测，还一定程度提高了心率信号提取的灵敏度；适用于诊断和量化人类心脏行为的血流动力学。
如图16所示，在一个实施例中，提供了一种工地作业的多目标心率监测装置100，具有实现上述适用于各个实施例的多目标心率监测方法的功能模块，包括：图像采集模块101、信号提取模块102、心率测量模块103、信号处理模块104及人员调度模块105。
图像采集模块101，用于采集作业人员的面部视频；
信号提取模块102，用于从面部视频中自动选取待测皮肤区域，提取待测皮肤区域的血液吸收强度信号；
信号调制模块103，用于基于光吸收强度脉搏调制，根据血液吸收强度信号计算频域心率调制深度信号；
信号处理模块104，用于采用平均位移直方图算法处理所述频域心率调制深度信号，得到心率值；
人员调度模块105，用于根据作业人员的心率值情况，安排作业人员的作业岗位。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种工地作业的多目标心率监测方法，其特征在于，包括步骤：
采集作业人员的面部视频，从所述面部视频的图像序列中自动选取待测皮肤区域，并提取所述待测皮肤区域的血液吸收强度信号；
基于光吸收强度脉搏调制，根据血液吸收强度信号计算频域心率调制深度信号；
采用平均位移直方图算法处理所述频域心率调制深度信号，得到心率值；
根据作业人员的心率值情况，安排作业人员的作业岗位。
2.根据权利要求1所述的工地作业的多目标心率监测方法，其特征在于，所述采集作业人员的面部视频，从所述面部视频的图像序列中自动选取待测皮肤区域，并提取所述待测皮肤区域的血液吸收强度信号包括步骤：
采集作业人员的视频序列，采用MTCNN算法对每一帧图像进行多目标的人脸识别，得到作业人员的人脸图像；
根据人脸图像，用检测框对每个人脸不同部位区域进行分割，提取特定的脸部区域的血液吸收强度信号。
3.根据权利要求2所述的工地作业的多目标心率检测方法，其特征在于，不同帧图像的人脸不同部位区域的检测框尺寸一致。
4.根据权利要求2所述的工地作业的多目标心率检测方法，其特征在于，所述特定的脸部区域为嘴唇区域。
5.根据权利要求2至4任一项所述的工地作业的多目标检测方法，其特征在于，在得到作业人员的人脸图像后，还包括步骤：
采用DeepSort算法，根据所述检测框的位置坐标信息，对人脸不同部位区域进行实时追踪。
6.根据权利要求1所述的工地作业的多目标心率监测方法，其特征在于，所述基于光吸收强度脉搏调制，根据血液吸收强度信号计算频域心率调制深度信号包括步骤：
根据所述血液吸收强度信号，提取绿色通道信号；
对所述绿色通道信号进行低通滤波和带通滤波得到背景信号和脉动信号；
基于所述背景信号和脉动信号，计算瞬时心率调制深度；
根据瞬时心率调制深度计算频域心率调制深度。
7.根据权利要求1所述的工地作业的多目标心率检测方法，其特征在于，所述采用平均位移直方图算法处理所述频域心率调制深度信号，得到心率值包括：
利用平均位移直方图算法对各个像素点的频域信号峰进行频率提取，并计算平均位移直方图，心率值对应平均位移直方图中频数最高的区间的中心。
8.根据权利要求7所述的工地作业的多目标心率检测方法，其特征在于，所述采用平均位移直方图算法处理所述频域心率调制深度信号，得到心率值还包括步骤：
增加处理帧数，并在平均位移直方图算法中进行降采样处理。
9.根据权利要求1所述的工地作业的多目标心率检测方法，其特征在于，所述根据作业人员的心率值情况，安排作业人员的作业岗位包括步骤：
根据检测心率值是否在心率值正常区间，将作业人员划分为心率值正常的第一类作业人员和心率值异常的第二类作业人员，并将第一类作业人员按预先安排的岗位进行作业；
根据第二类作业人员的心率值划分人员疲劳等级，包括轻度疲劳和重度疲劳；对轻度疲劳的作业人员的岗位进行调整后安排上岗，对重度疲劳的作业人员发出安全警报，并安排管理人员开展救援。
10.一种工地作业的多目标心率监测装置，其特征在于，所述装置包括：
图像采集模块，用于采集作业人员的面部视频；
信号提取模块，用于从面部视频中自动选取待测皮肤区域，提取待测皮肤区域的血液吸收强度信号；
信号调制模块，用于基于光吸收强度脉搏调制，根据血液吸收强度信号计算频域心率调制深度信号；
信号处理模块，用于采用平均位移直方图算法处理所述频域心率调制信号，得到心率值；
人员调度模块，用于根据作业人员的心率值情况，安排作业人员的作业岗位。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310075521.2A CN116509359A (zh) | 2023-02-01 | 2023-02-01 | 一种工地作业的多目标心率监测方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310075521.2A CN116509359A (zh) | 2023-02-01 | 2023-02-01 | 一种工地作业的多目标心率监测方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116509359A true CN116509359A (zh) | 2023-08-01 |
Family
ID=87391047
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310075521.2A Pending CN116509359A (zh) | 2023-02-01 | 2023-02-01 | 一种工地作业的多目标心率监测方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116509359A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117653066A (zh) * | 2023-11-02 | 2024-03-08 | 中国消防救援学院 | 基于训练伤解析的训练质量预测方法及系统 |
-
2023
- 2023-02-01 CN CN202310075521.2A patent/CN116509359A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117653066A (zh) * | 2023-11-02 | 2024-03-08 | 中国消防救援学院 | 基于训练伤解析的训练质量预测方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102499664B (zh) | 基于视频图像的非接触式生命体征的检测方法及检测系统 | |
| Zhang et al. | Heart rate extraction based on near-infrared camera: Towards driver state monitoring | |
| Blöcher et al. | An online PPGI approach for camera based heart rate monitoring using beat-to-beat detection | |
| CN111386068B (zh) | 基于摄像机的压力测量系统与方法 | |
| CN111345803B (zh) | 一种基于移动设备摄像头的心率变异性测量方法 | |
| Feng et al. | Motion artifacts suppression for remote imaging photoplethysmography | |
| CN106236049A (zh) | 基于视频图像的血压测量方法 | |
| LV14514B (lv) | Iekārta un metode sirdsdarbības parametru optiskai bezkontakta kontrolei | |
| JP2017093760A (ja) | 心拍に連動する周期的変動の計測装置及び計測方法 | |
| CN112233813A (zh) | 一种基于ppg的非接触式无创心率呼吸测量方法及系统 | |
| CN111248890A (zh) | 一种基于面部视频的非接触式新生儿心率监测方法及系统 | |
| CN111839492B (zh) | 一种基于面部视频序列的心率非接触式测量方法 | |
| Przybyło | A deep learning approach for remote heart rate estimation | |
| Mitsuhashi et al. | Video-based stress level measurement using imaging photoplethysmography | |
| CN116509359A (zh) | 一种工地作业的多目标心率监测方法及装置 | |
| Zeng et al. | Infrared video based non-invasive heart rate measurement | |
| Sugita et al. | Noise reduction technique for single-color video plethysmography using singular spectrum analysis | |
| Sahin et al. | Non-Contact Heart Rate Monitoring from Face Video Utilizing Color Intensity | |
| CN114246570B (zh) | 峰值信噪比和皮尔森相关系数融合的近红外心率检测方法 | |
| Wang et al. | KLT algorithm for non-contact heart rate detection based on image photoplethysmography | |
| CN113693573B (zh) | 一种基于视频的非接触式多生理参数监测的系统及方法 | |
| US20240138692A1 (en) | Method and system for heart rate extraction from rgb images | |
| CN104688199A (zh) | 一种基于皮肤色素浓度差分的非接触式脉搏测量方法 | |
| CN114387479A (zh) | 一种基于人脸视频的非接触式心率测量方法及系统 | |
| Suriani et al. | Non-contact Facial based Vital Sign Estimation using Convolutional Neural Network Approach |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |