CN114723934A - 基于视频的血流特征测定及疲劳度判定 - Google Patents
基于视频的血流特征测定及疲劳度判定 Download PDFInfo
- Publication number
- CN114723934A CN114723934A CN202011513300.1A CN202011513300A CN114723934A CN 114723934 A CN114723934 A CN 114723934A CN 202011513300 A CN202011513300 A CN 202011513300A CN 114723934 A CN114723934 A CN 114723934A
- Authority
- CN
- China
- Prior art keywords
- blood flow
- video
- fatigue
- time delay
- flow characteristic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000017531 blood circulation Effects 0.000 title claims abstract description 54
- 238000005259 measurement Methods 0.000 title claims description 5
- 230000000747 cardiac effect Effects 0.000 claims abstract description 22
- 238000012549 training Methods 0.000 claims abstract description 6
- 238000003384 imaging method Methods 0.000 claims abstract description 4
- 238000013186 photoplethysmography Methods 0.000 claims abstract description 4
- 238000000034 method Methods 0.000 claims description 23
- 238000005516 engineering process Methods 0.000 claims description 4
- 238000012512 characterization method Methods 0.000 claims 1
- 238000013527 convolutional neural network Methods 0.000 claims 1
- 238000000605 extraction Methods 0.000 abstract description 15
- 238000001914 filtration Methods 0.000 abstract description 7
- 230000004927 fusion Effects 0.000 abstract description 7
- 238000001514 detection method Methods 0.000 abstract description 5
- 238000013528 artificial neural network Methods 0.000 abstract description 4
- 238000004364 calculation method Methods 0.000 abstract description 3
- 238000013135 deep learning Methods 0.000 abstract description 2
- 206010016256 fatigue Diseases 0.000 description 24
- 238000010586 diagram Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000011160 research Methods 0.000 description 3
- 230000000630 rising effect Effects 0.000 description 3
- 230000001934 delay Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000004424 eye movement Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 206010008874 Chronic Fatigue Syndrome Diseases 0.000 description 1
- 241001282135 Poromitra oscitans Species 0.000 description 1
- 108010076504 Protein Sorting Signals Proteins 0.000 description 1
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 206010048232 Yawning Diseases 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000002790 cross-validation Methods 0.000 description 1
- 238000005265 energy consumption Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000009532 heart rate measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 208000029766 myalgic encephalomeyelitis/chronic fatigue syndrome Diseases 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30101—Blood vessel; Artery; Vein; Vascular
- G06T2207/30104—Vascular flow; Blood flow; Perfusion
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Molecular Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明公布了一种非接触式测定疲劳度的途径，分为两个部分。第一部分通过分析视频中人皮肤区域的像素值随时间变化的序列，经成像光电容积描记法(ImagePhotoplethysmography，IPPG)信号提取、心动窗口提取、血流信号特征提取、特征时延计算和噪声过滤五个步骤得到有效像素位置的血流特征时延。第二部分对有效像素点的血流特征时延与原始视频帧进行数据融合，将视频转化为一张带有血流信息的人皮肤图片，将该图片作为训练对象利用神经网络进行深度学习，得到具有判别疲劳程度能力的网络模型，同时再对血流特征提取和数据融合的算法进行优化，从而形成从视频到人体疲劳程度检测结果的非接触式检测系统。
Description
技术领域
本发明涉及数字图像处理、数字信号处理、深度学习、卷积神经网络在微小信号放大、图像分类等方面的应用。
背景技术
随着科学发展与社会进步，人们的生活水平不断提高，高强度的生产生活与丰富的娱乐方式在不断支配人们消耗精力的同时，让疲劳这一生理现象开始流行于人群当中，很多人不知道何时就患上了慢性疲劳综合症，无法高效的工作学习与娱乐，甚至无法正常的生活。此外，每年因疲劳驾驶导致的交通事故不计其数，人们的生命财产安全受到严重威胁。因此，我们需要一种手段去实时监测并告知人们的疲劳状况，并尽可能使监测的过程不影响人们的生产生活。
疲劳作为一种生理表现，已有研究表明它的产生和某些生理信号有所关联，例如脑电信号、心率、眼动信号、血流信号等，这些生理信号相比于疲劳时人们表现出的行为如打哈欠、闭眼等，可能更接近疲劳的本质，而随着计算机视觉领域的发展，依靠视频画面中的像素级变化，非接触式的提取心率、眼动信号甚至血流场已经成为现实，本发明就是从血流信号与疲劳具有一定的相关性为出发点，依靠数字信号分析、数字图像处理从视频中提取血流相关信息，再建立血流信息到人体疲劳度判定的神经网络模型，搭建起由视频，到血流信息再到疲劳度这三者的桥梁。
发明内容
本发明目的在于帮助人们在日常生活中能够方便的检测自己的疲劳状态，建立一套非接触式测定疲劳度的系统，以血流信号为媒介建立了一条由视频到血流信息再到人体疲劳程度的新型疲劳度测定途径。
本发明解决问题所采用的方案分为两个部分：第一部分，从视频中提取能够反映血流速的特征信息。我们可以从视频的帧序列中锁定人体皮肤的像素区域，从而得到这些像素点的像素值关于时间变化的序列，利用成像光电容积描记法等处理后确定视频中的每一个心动窗口，再从原序列设定条件过滤提取血流特征序列，这些特征记录了一个心动周期中血流信号上升或下降沿时刻，将血流特征序列与心动窗口进行匹配，计算出每一心动窗口血流特征出现的时延，由该时延可以推测血流流经目标像素点的速度，并设计了针对该时延的噪声点过滤方法。第二部分数据融合和模型训练优化。我们通过将第一部分的方法应用于一个已知疲劳度的视频组，将计算出的有效时延根据像素点的位置绘制成图，并在空间上计算梯度得到时延梯度图，该梯度图可反映血流在对应像素位置的血流相对速度大小，我将它与原图像融合相当于从视频中提炼出带有血流信息的关键帧，将该关键帧与视频疲劳度一起构成数据集在神经网络模型上进行训练，同时根据结果优化改进第一部分的算法，并得到具有较高准确率的判决模型，形成完整可靠的疲劳检测系统。
附图说明
图1为IPPG信号基本过程
图2为提取出的IPPG信号样例
图3为提取出的心动窗口示意图
图4为血流变化特征时刻点提取结果样图
图5从左到右依次是视频原帧、时延梯度图、带有血流信息的融合图像
图6为疲劳检测系统框架图
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面结合附图和具体实例对本发明进行详细的描述。
首先是关于第一部分从视频中提取能够反映血流速度的特征信息，该部分可分为成像光电容积描记信号提取(Image Photoplethysmography，IPPG)、心动窗口提取、血流信号特征提取、特征时延计算、噪声过滤五个过程，以下用人脸皮肤数据集为例做具体描述，这里的数据集是从UTA-RLDD视频数据集做进一步处理得到，每段视频都有对应的人员疲劳程度标签并且视频中的人脸几乎保持静止状态。
IPPG信号提取：IPPG是一种用于远程非接触式脉搏率测量的技术，其基本过程如图1所示。在进行IPPG信号提取前，需要先确定感兴趣区域(ROI)，因为IPPG的作用对象应为皮肤区域，我们需要去排除面部器官的影响，同时对得到的皮肤区域像素按(1)式：
进行筛选，其中
为视频第k帧ROI区域(i，j)位置的RGB通道值，mk、σk分别为视频第k 帧ROI区域对应通道的像素值均值和标准差，β为待定参数，根据以往研究建议取1.5。然后，对ROI区域在R、G、B三通道上求均值，得到rk、gk、bk(以下用ck统称)，我需要对ck进行居中和缩放，使其独立于光源：
其中mk，M是ck的取相邻帧M点的均值：
经过上述操作我们可以得到进行居中缩放后的r′k、g′k、b′k，为了使IPPG信号提取更加简单有效，我们基于绿色信号携带最大量的搏动信息，而红色信息包含的相关信息很少，但允许补偿两个颜色通道共有的那些伪像这一假设，采用”绿-红差”法通过(4)式：
p′k＝g′k-r′k (4)
将三通道三组时域变化信号转化一组信号p′k，再进行IPPG信号提取。我们使用带通滤波器将心率带宽0.8-2Hz之外的频率分量抑制，通过裁剪窄高峰幅度来抑制IPPG信号中的离群值，应用小波滤波抑制次级频率分量，得到质量较好的IPPG信号，如图2。
心动窗口提取：在获取IPPG信号之后，我们可以通过选取参考点来划分心动窗口，即心脏完成一个跳动周期的时间段。例如，我们选择将IPPG信号的波谷定为参考点，可得到t1、 t2、...、tN+1个由小到大的参考点时刻，由相邻的两个波谷就能确定一个心动窗口，则可确定N个心动窗口，容易到的第n个心动窗口的起始和结束时刻分别为tn和tn+1，如图3，t3、t4为第三个心动窗口的起始和结束时刻。提取IPPG信号和提取心动窗口的目的在于对血流在视频中上升回落的每一个周期过程有一个整体性把握，便于我们接下来的血流特征提取。
血流信号特征提取：回到最开始得视频帧序列，这次我们需要从视频帧的像素值变化序列中提取和血流相关的特征，图4为血流特征提取结果的样图，有研究表明，由血流流动引起的皮肤颜色变化主要反映在像素的绿色通道上，因此我们选定绿色通道像素值变化序列为研究对象，设视频第T帧在位置(x，y)处的像素绿色通道像素值为g(x，y，T)，则我们跟帧数为t的帧序列，在经过去基线与平滑操作后，可以到一个一维信号序列g(x，y，t)。根据血流速度和人体疲劳的相关研究结论，我们这里采用基于下降沿映射(Down EdgeMapping，DEM) 的血流信号特征提取策略，这里的下降沿代表g(x，y，t)下降最快的时刻，我们期望g(x，y，t) 下降最快的位置能够映射血流显著回落的时刻，而血流从上升到开始回落的时延和人体疲劳又有强相关性，这样我们就可以建立从g(x，y，t)到人体疲劳的一个桥梁。令反映g(x，y，t) 中下降沿位置的特征向量dv(x，y，t)：
dv(x，y，t)＝[dv1，dv2，...，dvn]，dvi∈{0，1} (5)
对于g(x，y，t)在T时刻的信号值g(x，y，T)，若满足以下条件：
(1)g(x，y，T)的一阶导数为负。
(2)g(x，y，T)的一阶导数在T邻近的τ个点内最小。
(3)g(x，y，t)在t∈[T-τ，T+τ]区间内存在一个极大值和极小值。
(4)g(x，y，T)在t∈[T-τ，T+τ]区间的最大值和最小值差值大于一个给定阈值。
则dv(x，y，T)＝1，即该点为我们要标定的下降沿，否则为0。上述τ是人为设定的值，用于筛除一部分噪音点。
特征时延计算：在确定血流下降沿特征时刻后，我们需要结合心动窗口提取的结果，在每一个心动窗口内计算血流下降特征时延。我们通过将心动窗口和下降沿位置特征向量进行匹配，即若tD∈[tn，tn+1]且满足dv(x，y，tD)＝1，则称tD是和第n个心动窗口匹配的下降沿特征时刻，通常情况下，每个心动窗口可能匹配多个下降沿特征时刻tD1、tD2、...、tDm，这是由于血流的回落只是一种大致趋势，在其中可能伴随着几次小幅回升再下落，因此我们选取最早出现的下降沿特征时刻，用公式(6)计算第n个心动窗口的相对时延dn，该时延反映血流从上升到开始回落的时间。
dn＝tn-min(tD1，tD2，...，tDm) (6)
噪声过滤：本技术使用的噪声过滤方法分为时间阈值法和能量阈值法两部分。首先使用时间阈值法，对于位置(x，y)，我通过上述过程计算出其N个心动窗口的N个相对时延求平均值
若有
则判定该点为噪音点，其中τ1为设定阈值，用于保证相对时延在时间上的稳定性。之后再用能量阈值法，选定位置(x，y)的一包含M个像素点的领域P，满足对
有
通过公式(8)计算我们定义的空间能量
若
其中τ2为设定阈值，用于保证相对时延在空间上的稳定性。
关于第二部分数据融合和模型训练，为了能够充分利用上述提取到的血流特征信息并结合深度神经网络进行训练，本技术将原视频信息与提取到的血流特征信息进行了融合，形成了包含时间和空间信息的血流信息融合图像，再使用深度神经网络进行训练、验证和预测。
由第一部分所介绍方法，我们得到了视频中人脸多个有效位置的相对时延，可以用来构成一张图片，其大小与原视频帧相同，我们称为基于下降沿特征时延映射图DTmap，
其中Q为有效位置区域，即通过第一部分方法筛选出的非噪音点区域。之后，我们利用Sobel 算子计算DTmap的梯度图G，
通过计算DTmap各点时延的大致梯度，我们可以得到各点血流在空间上速度大小的一个映射值图谱G，如图5，将G乘以经验因子α叠加在视频的第一帧的每一个通道上，就可以得到最终的融合图像，该图像既包含人脸本身的空间信息，又包含部分有效位置对应的血流信息在时间上的变化过程。
最后，我们使用深度卷积网络，将图片和其对应的疲劳程度标签作为数据集进行训练，这里我们选用的是Resnet-50网络，在10次交叉验证后可达到81.1％的准确率，训练结果可以帮助我们优化血流信息提取算法，也可以为我们提供一个由血流信息融合图像到疲劳程度的预测模型，形成一套完整的非接触式疲劳程度检测系统，如图6。
应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施方式中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。
上文所列出的一系列的详细说明仅仅是针对本发明的可行性实施方式的具体说明，它们并非用以限制本发明的保护范围，凡未脱离本发明技艺精神所作的等效实施方式或变更均应包含在本发明的保护范围之内。
Claims (4)
1.本发明公开了一种基于视频的血流特征测定及疲劳度判定技术，其特征在于将视频转化为融合了血流信息的人皮肤图像，通过卷积神经网络进行训练，利用得到的网络模型进行疲劳度分类。
2.根据权利要求1所述的一种基于视频的血流特征测定及疲劳度判定技术，其特征在于根据成像光电容积描记法提取的信号划分心动窗口，匹配选取的血流特征并在每一心动窗口计算血流特征出现的相对时延。
3.根据权利要求1所述的一种基于视频的血流特征测定及疲劳度判定技术，其特征在于利用计算出的相对时延生成可映射有效像素点血流速度大小的图谱，将该图谱和原视频的某一帧进行融合得到人皮肤图像和血流信息的融合图像。
4.根据权利要求1所述的一种基于视频的血流特征测定及疲劳度判定技术，其特征在于能够通过较静止的人体皮肤视频判定人体的疲劳程度等级。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011513300.1A CN114723934A (zh) | 2020-12-18 | 2020-12-18 | 基于视频的血流特征测定及疲劳度判定 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011513300.1A CN114723934A (zh) | 2020-12-18 | 2020-12-18 | 基于视频的血流特征测定及疲劳度判定 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114723934A true CN114723934A (zh) | 2022-07-08 |
Family
ID=82230135
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011513300.1A Pending CN114723934A (zh) | 2020-12-18 | 2020-12-18 | 基于视频的血流特征测定及疲劳度判定 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114723934A (zh) |
-
2020
- 2020-12-18 CN CN202011513300.1A patent/CN114723934A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Fernandes et al. | Predicting heart rate variations of deepfake videos using neural ode | |
| Chen et al. | Deepphys: Video-based physiological measurement using convolutional attention networks | |
| US9025826B2 (en) | Formation of a time-varying signal representative of at least variations in a value based on pixel values | |
| CN109846469B (zh) | 一种基于卷积神经网络的非接触式心率测量方法 | |
| JP6521845B2 (ja) | 心拍に連動する周期的変動の計測装置及び計測方法 | |
| McDuff | Deep super resolution for recovering physiological information from videos | |
| CN105147274A (zh) | 一种从可见光谱段人脸视频信号中提取心率的方法 | |
| Gibert et al. | Face detection method based on photoplethysmography | |
| Guo et al. | Physiological parameter monitoring of drivers based on video data and independent vector analysis | |
| CN114612885A (zh) | 基于计算机视觉的驾驶员疲劳状态检测方法 | |
| Xie et al. | Non-contact heart rate monitoring for intensive exercise based on singular spectrum analysis | |
| Gupta et al. | Serial fusion of Eulerian and Lagrangian approaches for accurate heart-rate estimation using face videos | |
| Jaiswal et al. | Heart rate estimation network from facial videos using spatiotemporal feature image | |
| Wang et al. | TransPhys: Transformer-based unsupervised contrastive learning for remote heart rate measurement | |
| US20240138692A1 (en) | Method and system for heart rate extraction from rgb images | |
| Ren et al. | Improving video-based heart rate and respiratory rate estimation via pulse-respiration quotient | |
| EP3378387B1 (en) | Heart rate estimation from face videos using quality based fusion | |
| Lee et al. | Video analytic based health monitoring for driver in moving vehicle by extracting effective heart rate inducing features | |
| CN114220152A (zh) | 一种基于rgb-nir摄像头的非接触式实时心率检测方法 | |
| Ibrahim et al. | Non-contact heart rate monitoring analysis from various distances with different face regions | |
| Zheng et al. | Shielding facial physiological information in video | |
| Hu et al. | Illumination robust heart-rate extraction from single-wavelength infrared camera using spatial-channel expansion | |
| CN114723934A (zh) | 基于视频的血流特征测定及疲劳度判定 | |
| Comas et al. | Turnip: Time-series U-Net with recurrence for NIR imaging PPG | |
| KR102468654B1 (ko) | 보정된 이미지 기반 심박 추정 방법 및 그 장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |