CN116350198A - 一种远距离移动目标心率实时监测方法 - Google Patents

一种远距离移动目标心率实时监测方法 Download PDF

Info

Publication number
CN116350198A
CN116350198A CN202310387963.0A CN202310387963A CN116350198A CN 116350198 A CN116350198 A CN 116350198A CN 202310387963 A CN202310387963 A CN 202310387963A CN 116350198 A CN116350198 A CN 116350198A
Authority
CN
China
Prior art keywords
heart rate
signal
image
moving target
detection module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310387963.0A
Other languages
English (en)
Inventor
王力超
程清扬
董家辉
尚永健
耿树巧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui Polytechnic University
Original Assignee
Anhui Polytechnic University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui Polytechnic University filed Critical Anhui Polytechnic University
Priority to CN202310387963.0A priority Critical patent/CN116350198A/zh
Publication of CN116350198A publication Critical patent/CN116350198A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A61B5/02416—Detecting, measuring or recording pulse rate or heart rate using photoplethysmograph signals, e.g. generated by infrared radiation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/725—Details of waveform analysis using specific filters therefor, e.g. Kalman or adaptive filters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7253—Details of waveform analysis characterised by using transforms
    • A61B5/7257—Details of waveform analysis characterised by using transforms using Fourier transforms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0475—Generative networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Physiology (AREA)
  • Surgery (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Pathology (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Psychiatry (AREA)
  • Mathematical Physics (AREA)
  • Cardiology (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Fuzzy Systems (AREA)
  • Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)

Abstract

本发明公开了一种远距离移动目标心率实时监测方法，首先构建行人检测模块，并将采集到的视频放入至行人检测模块，接着由行人检测模块识别并提取移动中的目标，并缩小感兴趣区域，随后基于缩小后的感兴趣区域构建人脸图像优化模型，并恢复部分丢失的rPPG信号，再输出优化后的图像，然后根据优化后的图像构建基于PSD加权的脉搏波信号处理模块，并提取脉搏波，最后基于提取到的脉搏波对面部各个区域进行加权融合，并得到心率值；本发明实现了具有远距离对移动目标心率进行实时监测的功能，且区域分辨率较高，人脸关键点容易被捕获，还在实际应用中不受成像器较远和目标移动的限制，提高了心率监测的准确性，适合被广泛推广和使用。

Description

一种远距离移动目标心率实时监测方法
技术领域
本发明涉及心率监测技术领域，具体涉及一种远距离移动目标心率实时监测方法。
背景技术
远光体积描技术(rPPG)可以通过扫描皮肤表面，从连续视频序列实现心率(HR)的非接触测量。
目前，在真实场景下实际应用rPPG仍受到与成像器距离较远和目标移动因素的限制，还存在人脸感兴趣区域占比较小、区域分辨率较低和人脸关键点不易被捕捉的问题，这对心率监测的准确性产生不利影响；因此，需要设计一种远距离移动目标心率实时监测方法。
发明内容
本发明的目的是克服现有技术的不足，为更好的解决实际应用rPPG仍受到与成像器距离较远和目标移动因素的限制，还存在人脸感兴趣区域占比较小、区域分辨率较低和人脸关键点不易被捕捉的问题，提供了一种远距离移动目标心率实时监测方法，其实现了具有远距离对移动目标心率进行实时监测的功能，且区域分辨率较高，人脸关键点容易被捕获，还在实际应用中不受成像器较远和目标移动的限制，提高了心率监测的准确性。
为了达到上述目的，本发明所采用的技术方案是：
一种远距离移动目标心率实时监测方法，包括以下步骤，
步骤(A)，构建行人检测模块，并将采集到的视频放入至行人检测模块；
步骤(B)，由行人检测模块识别并提取移动中的目标，并缩小感兴趣区域；
步骤(C)，基于缩小后的感兴趣区域构建人脸图像优化模型，并恢复部分丢失的rPPG信号，再输出优化后的图像；
步骤(D)，根据优化后的图像构建基于PSD加权的脉搏波信号处理模块，并提取脉搏波；
步骤(E)，基于提取到的脉搏波对面部各个区域进行加权融合，并得到心率值，完成对移动目标的心率实时监测作业。
前述的一种远距离移动目标心率实时监测方法，步骤(A)，构建行人检测模块，并将采集到的视频放入至行人检测模块，其中行人检测模块采用YOLOv4为原始模型，并将原始模型的骨干网络替换成GhostNet网络，所述GhostNet网络用于保持相似性的识别性能并降低卷积运算复杂度，且在提取到有效特征层后添加ECANet模块，所述ECANet模块用于对SE模块中维度缩减和跨通道信息交互进行优化。
前述的一种远距离移动目标心率实时监测方法，步骤(B)，由行人检测模块识别并提取移动中的目标，并缩小感兴趣区域，其具体是将提取到的目标框裁剪，并将感兴趣区域提取，再去除无用背景。
前述的一种远距离移动目标心率实时监测方法，步骤(C)，基于缩小后的感兴趣区域构建人脸图像优化模型，并恢复部分丢失的rPPG信号，再输出优化后的图像，其中人脸图像优化模型采用Real-ESRGAN模型，且模型生成器使用充分利用原始低分辨率图像所有层特征的SRRes Net结构体系，具体步骤如下，
步骤(C1)，在生成器中去除所有的BN层，并使用残差密集快替换SRRes Net网络中的基本块；
步骤(C2)，判别器采用结构—带谱归一化的U-Net，且所述U-Net用于增大网络容量并稳定训练过程，再使用高阶退化过程模拟实际退化过程，并利用sinc滤波器模拟振铃和超调伪影。
前述的一种远距离移动目标心率实时监测方法，步骤(D)，根据优化后的图像构建基于PSD加权的脉搏波信号处理模块，并提取脉搏波，其具体步骤如下，
步骤(D1)，将人脸ROI分割成k×k个网格块，设网格块Qi中的空间光照强度I(x,y)恒定，并记作Ii，则Ai(t)的模型公式如公式(1)所示，
Ai(t)＝Ii(αi·p(t)+bi)+qi(t) (1)
其中，Q为网格图像块集合；Ai(t)为第t帧视频图像块Qi中所有像素的空间平均强度，且i∈{1,2,...,n}，n＝k×k；Ii为图像块Ri中的入射光强度，p(t)为血液容积脉动变化信号，bi为图像块Ri的表皮反射，qi(t)为摄像机量化噪声，αi为血容脉动调制参数，αi·p(t)为图像块Ri的皮下反射；
步骤(D2)，设人脸视频的强度信号为S(x,y,t)，并计算ROI区域中每个图像块Qi的色度特征ui(t)，再对ui(t)使用[0.5，5.0]Hz的带通滤波器去除表皮反射光中通带之外的部分以及噪声，且滤波后的信号为
Figure BDA0004174758930000031
而不同图像块的滤波后信号如公式(2)所示，
Figure BDA0004174758930000032
其中，i∈{1,2,...,n}为ROI区域中的图像块编号，Bi为图像块Qi中潜在的PPG信号强度，αi为血容脉动调制参数，Ii为入射光强度，p(t)为血容脉动变化信号，ni(t)为由摄像机量化、表面反射和运动伪影导致的噪声成分。
前述的一种远距离移动目标心率实时监测方法，步骤(E)，基于提取到的脉搏波对面部各个区域进行加权融合，并得到心率值，完成对移动目标的心率实时监测作业，其具体步骤如下，
步骤(E1)，滤波后的信号为
Figure BDA0004174758930000041
由血容脉动变化信号p(t)经过不同通道接收后的信号，再将通道加权平均如公式(3)所示，而权重公式如公式(4)所示，
Figure BDA0004174758930000042
Figure BDA0004174758930000043
其中，ni(t)为ui(t)中的噪声，wi为各通道权重，
Figure BDA0004174758930000044
为血容脉动变化信号，/>
Figure BDA0004174758930000045
为滤波后的信号，Ai为图像块中潜在的PPG信号强度；
步骤(E2)，
Figure BDA0004174758930000046
在脉搏率PR附近的谱能量和通带内噪声的谱能量的比值为wi，设
Figure BDA0004174758930000047
为/>
Figure BDA0004174758930000048
在[0，T]内的功率谱密度PSD，则wi如公式(5)所示，
Figure BDA0004174758930000049
其中，[PR+h，PR-h]为脉搏率PR附近的一个小区域，[B1，B2]为带通滤波器[0.5，5.0]Hz的通带范围；
步骤(E3)，由公式(5)可得，信噪比高的图像块分配的频域权重大，而信噪比低的图像块分配的频域权重小，这样最终PPG信号如公式(6)所示，
Figure BDA00041747589300000410
其中，S(t)为最终PPG信号；
步骤(E4)，对最终PPG信号使用快速傅里叶变FFT分析功率谱，设最大功率对应的频率为fHR，则心率值HR如公式(7)所示，
HR＝60fHR (7)。
本发明的有益效果是：本发明的一种远距离移动目标心率实时监测方法，首先将采集到的视频放入行人检测模块，该模块检测器识别并提取移动中的目标，并缩小感兴趣区域，提高了监测精度，接着由于距离成像器较远，且感兴趣区域缩小，此时空间分辨率较低不利于后续心率监测，随后在心率监测模块中使用超分辨率算法，并恢复部分丢失的rPPG信号，这就使得感兴趣区域包含更多的可利用的特征信息，然后进入心率监测算法，且由于人体运动产生运动伪影，当在进行原始脉搏波的提取处理步骤时，选择对运动更有鲁棒性的色度特征，并引入PSD频域权重，最后对面部各区域加权融合，最终得到精确的心率值，有效的实现了该监测方法具有远距离对移动目标心率进行实时监测的功能，且区域分辨率较高，人脸关键点容易被捕获，还在实际应用中不受成像器较远和目标移动的限制，提高了心率监测的准确性。
附图说明
图1是本发明的整体流程示意图；
图2是本发明的行人监测模块结构示意图；
图3是本发明的基于PSD加权的脉搏波信号处理模块工作流程示意图；
图4是本发明的快速傅里叶变FFT分析功率谱示意图；
图5是本发明的实施例实验测试示意图；
图6是本发明的实时例测试者面对摄像头进行刚性运动示意图；
图7是本发明的实施例行人检测模块实验结果图；
图8是本发明的实施例心率监测验证结果图；
图9是本发明的实施例心率实时监测结果图。
具体实施方式
下面将结合说明书附图，对本发明作进一步的说明。
如图1所示，本发明的一种远距离移动目标心率实时监测方法，包括以下步骤，
如图2所示，步骤(A)，构建行人检测模块，并将采集到的视频放入至行人检测模块，其中行人检测模块采用YOLOv4为原始模型，并将原始模型的骨干网络替换成GhostNet网络，所述GhostNet网络用于保持相似性的识别性能并降低卷积运算复杂度，且在提取到有效特征层后添加ECANet模块，所述ECANet模块用于对SE模块中维度缩减和跨通道信息交互进行优化。
步骤(B)，由行人检测模块识别并提取移动中的目标，并缩小感兴趣区域，其具体是将提取到的目标框裁剪，并将感兴趣区域提取，再去除无用背景。
步骤(C)，基于缩小后的感兴趣区域构建人脸图像优化模型，并恢复部分丢失的rPPG信号，再输出优化后的图像，其中人脸图像优化模型采用Real-ESRGAN模型，且模型生成器使用充分利用原始低分辨率图像所有层特征的SRRes Net结构体系，具体步骤如下，
步骤(C1)，在生成器中去除所有的BN层，并使用残差密集快替换SRRes Net网络中的基本块；
步骤(C2)，判别器采用结构—带谱归一化的U-Net，且所述U-Net用于增大网络容量并稳定训练过程，再使用高阶退化过程模拟实际退化过程，并利用sinc滤波器模拟振铃和超调伪影。
如图3所示，步骤(D)，根据优化后的图像构建基于PSD加权的脉搏波信号处理模块，并提取脉搏波，其具体步骤如下，
步骤(D1)，将人脸ROI分割成k×k个网格块，设网格块Qi中的空间光照强度I(x,y)恒定，并记作Ii，则Ai(t)的模型公式如公式(1)所示，
Ai(t)＝Ii(αi·p(t)+bi)+qi(t) (1)
其中，Q为网格图像块集合；Ai(t)为第t帧视频图像块Qi中所有像素的空间平均强度，且i∈{1,2,...,n}，n＝k×k；Ii为图像块Ri中的入射光强度，p(t)为血液容积脉动变化信号，bi为图像块Ri的表皮反射，qi(t)为摄像机量化噪声，αi为血容脉动调制参数，αi·p(t)为图像块Ri的皮下反射；
步骤(D2)，设人脸视频的强度信号为S(x,y,t)，并计算ROI区域中每个图像块Qi的色度特征ui(t)，再对ui(t)使用[0.5，5.0]Hz的带通滤波器去除表皮反射光中通带之外的部分以及噪声，且滤波后的信号为
Figure BDA0004174758930000071
而不同图像块的滤波后信号如公式(2)所示，
Figure BDA0004174758930000072
其中，i∈{1,2,...,n}为ROI区域中的图像块编号，Bi为图像块Qi中潜在的PPG信号强度，αi为血容脉动调制参数，Ii为入射光强度，p(t)为血容脉动变化信号，ni(t)为由摄像机量化、表面反射和运动伪影导致的噪声成分。
步骤(E)，基于提取到的脉搏波对面部各个区域进行加权融合，并得到心率值，完成对移动目标的心率实时监测作业，其具体步骤如下，
步骤(E1)，滤波后的信号为
Figure BDA0004174758930000073
由血容脉动变化信号p(t)经过不同通道接收后的信号，再将通道加权平均如公式(3)所示，而权重公式如公式(4)所示，
Figure BDA0004174758930000074
Figure BDA0004174758930000075
其中，ni(t)为ui(t)中的噪声，wi为各通道权重，
Figure BDA0004174758930000076
为血容脉动变化信号，/>
Figure BDA0004174758930000077
为滤波后的信号，Ai为图像块中潜在的PPG信号强度；
步骤(E2)，
Figure BDA0004174758930000081
在脉搏率PR附近的谱能量和通带内噪声的谱能量的比值为wi，设
Figure BDA0004174758930000082
为/>
Figure BDA0004174758930000083
在[0，T]内的功率谱密度PSD，则wi如公式(5)所示，
Figure BDA0004174758930000084
其中，[PR+h，PR-h]为脉搏率PR附近的一个小区域，[B1，B2]为带通滤波器[0.5，5.0]Hz的通带范围；
步骤(E3)，由公式(5)可得，信噪比高的图像块分配的频域权重大，而信噪比低的图像块分配的频域权重小，这样最终PPG信号如公式(6)所示，
Figure BDA0004174758930000085
其中，S(t)为最终PPG信号；
如图4所示，步骤(E4)，对最终PPG信号使用快速傅里叶变FFT分析功率谱，设最大功率对应的频率为fHR，则心率值HR如公式(7)所示，
HR＝60fHR (7)。
为了更好的阐述本发明的使用效果，下面介绍本发明的一个具体实施例：
如图5所示，S1，本实施例的实验数据采集采用在白色LED照明环境中进行，并使用普通彩色摄像头进行视频采集，且捕捉装置位于距离受试者大约0.5-2米远；每个视频片段的长度为20-50秒，且捕捉到的视频帧率为30fps，分辨率为1280×720，保存为MP4格式；在左手食指上佩戴脉搏血氧计(中科优瑞UR-60型)，以测量数据作为真实HR；
如图6所示，S2，本实施例有5名测试者，且每个测试者的视频片段如下，(1)测试者直立面对摄像头0.5m、1m、1.5m和2m，没有动作或面部表情的变化；(2)测试者面对摄像头0.5m、1m、1.5m和2m，进行刚性运动；
S3，行人检测模块验证实验，行人检测模块实验过程采用Python在NVIDIARTX3090GPU上使用Pytorch实现，并使用VOC2007数据集进行训练测试，要研究行人检测，因此将总训练数据经过数据清洗，只保留Person类；实验中，设置Batch size(一次批量训练的数据样本数量)为16，Image size(图像大小)为416×416，Epochs(整个数据集的训练次数)为200，选择的优化器为sgd，模型的最大学习率为1e-2。
如图7所示，为本实施例的实验结果，GhostNet主干提取网络为轻量级模型，并在于减少模型参数，所以精度相比YOLOv4本身有所下降，而使用了ECANet注意力机制后，比起原始模型，精度提升0.95％，而参数量大幅度降低；如表1所示，比较了本发明方法和原始检测器的总体参数，可以看出，YOLOv4的参数为64363101，而本发明方法的总参数约为11428679，占YOLOv4的17.7％，明显小于原始检测器；这可以证明我们提出的轻量级方法可以在保持精度的同时显著减少原始模型的参数总数；
表1模型参数量
Figure BDA0004174758930000091
S4，为了验证心率监测模块算法的性能，将本发明方法与其他方法在准确率和速度上进行比较，验证数据集使用MAHNOB-HCI；MAHNOB-HCI数据集是远程人力资源测量评估中最广泛使用的基准测试之一，它包括来自27个受试者的527个面部视频和相应的生理信号；视频以61fps录制，分辨率为780×580，压缩频率为AVC/H.264，平均比特率为4200kb/s；本实施例在实验评估中使用EXG2信号作为地面真实心电图；
如图8所示，Sakthi Kumar et.al的准确率在比较算法中具有较强的优势，但是速度仅有9.7FPS，达不到实时要求，本发明方法在准确率与速度方面有较强的优势；
如图9所示，S5，超分辨率验证实验，(a)为输入视频，(b)为提取出的目标框视频，(c)为使用超分辨率算法恢复后的视频图，(d)为增强视频前得到的PPG信号，(e)为增强视频后得到的PPG信号，其中图(d)的PPG信号视频帧内会形成不规律的脉冲尖峰，是由于面部包含的生理信号较少。
S6，本发明在特定场景下对算法进行评估，如表2所示，为被测者在与成像器距离不同，且自身所处状态不同的场景下，使用本发明提出的方法与ICA和Sakthi Kumar et.al得到的结果比较。
表2不同场景下的性能比较
Figure BDA0004174758930000101
如表2所示，当目标处于静止状态的结果明显好于运动状态下的结果，且随着目标与成像器的距离的增加，误差不断变大，并当目标距离成像器1.5m时结果明显大幅度变差；Sakthi Kumar et.al通过改进运动估计和特征跟踪的有界卡尔曼滤波技术，来最小化由头部运动引起的模糊和噪声等运动伪影，在一定程度上解决了目标移动带来的问题，但是无法很好的解决目标距离成像器较远问题；在距离成像器2m且目标运动的场景下，ICA表现较差，而发明方法在该场景下效果最好。
综上所述，一些传统的算法应用在远距离移动目标场景中得到较差的结果，而专门对抗运动干扰的方法Sakthi Kumar et.al在对抗运动上有较好的表现，但是在距离较远时仍表现较差，本实施例实验证明本发明方法在较远距离以及运动状态下有较好的表现。
以上显示和描述了本发明的基本原理、主要特征及优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (6)

1.一种远距离移动目标心率实时监测方法，其特征在于：包括以下步骤，
步骤(A)，构建行人检测模块，并将采集到的视频放入至行人检测模块；
步骤(B)，由行人检测模块识别并提取移动中的目标，并缩小感兴趣区域；
步骤(C)，基于缩小后的感兴趣区域构建人脸图像优化模型，并恢复部分丢失的rPPG信号，再输出优化后的图像；
步骤(D)，根据优化后的图像构建基于PSD加权的脉搏波信号处理模块，并提取脉搏波；
步骤(E)，基于提取到的脉搏波对面部各个区域进行加权融合，并得到心率值，完成对移动目标的心率实时监测作业。
2.根据权利要求1所述的一种远距离移动目标心率实时监测方法，其特征在于：步骤(A)，构建行人检测模块，并将采集到的视频放入至行人检测模块，其中行人检测模块采用YOLOv4为原始模型，并将原始模型的骨干网络替换成GhostNet网络，所述GhostNet网络用于保持相似性的识别性能并降低卷积运算复杂度，且在提取到有效特征层后添加ECANet模块，所述ECANet模块用于对SE模块中维度缩减和跨通道信息交互进行优化。
3.根据权利要求1所述的一种远距离移动目标心率实时监测方法，其特征在于：步骤(B)，由行人检测模块识别并提取移动中的目标，并缩小感兴趣区域，其具体是将提取到的目标框裁剪，并将感兴趣区域提取，再去除无用背景。
4.根据权利要求3所述的一种远距离移动目标心率实时监测方法，其特征在于：步骤(C)，基于缩小后的感兴趣区域构建人脸图像优化模型，并恢复部分丢失的rPPG信号，再输出优化后的图像，其中人脸图像优化模型采用Real-ESRGAN模型，且模型生成器使用充分利用原始低分辨率图像所有层特征的SRRes Net结构体系，具体步骤如下，
步骤(C1)，在生成器中去除所有的BN层，并使用残差密集快替换SRRes Net网络中的基本块；
步骤(C2)，判别器采用结构—带谱归一化的U-Net，且所述U-Net用于增大网络容量并稳定训练过程，再使用高阶退化过程模拟实际退化过程，并利用sinc滤波器模拟振铃和超调伪影。
5.根据权利要求4所述的一种远距离移动目标心率实时监测方法，其特征在于：步骤(D)，根据优化后的图像构建基于PSD加权的脉搏波信号处理模块，并提取脉搏波，其具体步骤如下，
步骤(D1)，将人脸ROI分割成k×k个网格块，设网格块Qi中的空间光照强度I(x,y)恒定，并记作Ii，则Ai(t)的模型公式如公式(1)所示，
Ai(t)＝Ii(αi·p(t)+bi)+qi(t)(1)
其中，Q为网格图像块集合；Ai(t)为第t帧视频图像块Qi中所有像素的空间平均强度，且i∈{1,2,...,n}，n＝k×k；Ii为图像块Ri中的入射光强度，p(t)为血液容积脉动变化信号，bi为图像块Ri的表皮反射，qi(t)为摄像机量化噪声，αi为血容脉动调制参数，αi·p(t)为图像块Ri的皮下反射；
步骤(D2)，设人脸视频的强度信号为S(x,y,t)，并计算ROI区域中每个图像块Qi的色度特征ui(t)，再对ui(t)使用[0.5，5.0]Hz的带通滤波器去除表皮反射光中通带之外的部分以及噪声，且滤波后的信号为
Figure FDA0004174758920000021
而不同图像块的滤波后信号如公式(2)所示，
Figure FDA0004174758920000031
其中，i∈{1,2,...,n}为ROI区域中的图像块编号，Bi为图像块Qi中潜在的PPG信号强度，αi为血容脉动调制参数，Ii为入射光强度，p(t)为血容脉动变化信号，ni(t)为由摄像机量化、表面反射和运动伪影导致的噪声成分。
6.根据权利要求5所述的一种远距离移动目标心率实时监测方法，其特征在于：步骤(E)，基于提取到的脉搏波对面部各个区域进行加权融合，并得到心率值，完成对移动目标的心率实时监测作业，其具体步骤如下，
步骤(E1)，滤波后的信号为
Figure FDA00041747589200000310
由血容脉动变化信号p(t)经过不同通道接收后的信号，再将通道加权平均如公式(3)所示，而权重公式如公式(4)所示，
Figure FDA0004174758920000032
Figure FDA0004174758920000033
其中，ni(t)为ui(t)中的噪声，wi为各通道权重，
Figure FDA0004174758920000034
为血容脉动变化信号，/>
Figure FDA0004174758920000035
为滤波后的信号，Ai为图像块中潜在的PPG信号强度；
步骤(E2)，
Figure FDA0004174758920000036
在脉搏率PR附近的谱能量和通带内噪声的谱能量的比值为wi，设/>
Figure FDA0004174758920000037
为
Figure FDA0004174758920000038
在[0，T]内的功率谱密度PSD，则wi如公式(5)所示，
Figure FDA0004174758920000039
其中，[PR+h，PR-h]为脉搏率PR附近的一个小区域，[B1，B2]为带通滤波器[0.5，5.0]Hz的通带范围；
步骤(E3)，由公式(5)可得，信噪比高的图像块分配的频域权重大，而信噪比低的图像块分配的频域权重小，这样最终PPG信号如公式(6)所示，
Figure FDA0004174758920000041
其中，S(t)为最终PPG信号；
步骤(E4)，对最终PPG信号使用快速傅里叶变FFT分析功率谱，设最大功率对应的频率为fHR，则心率值HR如公式(7)所示，HR＝60fHR(7)。
CN202310387963.0A 2023-04-12 2023-04-12 一种远距离移动目标心率实时监测方法 Pending CN116350198A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310387963.0A CN116350198A (zh) 2023-04-12 2023-04-12 一种远距离移动目标心率实时监测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310387963.0A CN116350198A (zh) 2023-04-12 2023-04-12 一种远距离移动目标心率实时监测方法

Publications (1)

Publication Number Publication Date
CN116350198A true CN116350198A (zh) 2023-06-30

Family

ID=86933047

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310387963.0A Pending CN116350198A (zh) 2023-04-12 2023-04-12 一种远距离移动目标心率实时监测方法

Country Status (1)

Country Link
CN (1) CN116350198A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117694845A (zh) * 2024-02-06 2024-03-15 北京科技大学 基于融合特征增强的非接触式生理信号检测方法及装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117694845A (zh) * 2024-02-06 2024-03-15 北京科技大学 基于融合特征增强的非接触式生理信号检测方法及装置
CN117694845B (zh) * 2024-02-06 2024-04-26 北京科技大学 基于融合特征增强的非接触式生理信号检测方法及装置

Similar Documents

Publication Publication Date Title
RU2568776C2 (ru) Способы и системы для предоставления комбинации медиаданных и метаданных
US20230137333A1 (en) Blood pressure prediction method and device using multiple data sources
CN109242888A (zh) 一种结合图像显著性和非下采样轮廓波变换的红外与可见光图像融合方法
CN112587153B (zh) 一种基于vPPG信号的端到端的非接触房颤自动检测系统和方法
EP2486543A1 (en) Formation of a time-varying signal representative of at least variations in a value based on pixel values
CN107123091A (zh) 一种基于深度学习的近红外人脸图像超分辨率重建方法
US20220218218A1 (en) Video-based method and system for accurately estimating human body heart rate and facial blood volume distribution
CN116350198A (zh) 一种远距离移动目标心率实时监测方法
CN117274759A (zh) 一种基于蒸馏-融合-语义联合驱动的红外与可见光图像融合系统
CN107220945A (zh) 多重退化的极模糊图像的复原方法
CN113011399A (zh) 基于生成协同判别网络的视频异常事件检测方法及系统
Avanzato et al. A cnn-based differential image processing approach for rainfall classification
CN110321781B (zh) 一种用于无接触式测量的信号处理方法及装置
JP6167849B2 (ja) 脈波検出装置、脈波検出方法及び脈波検出プログラム
TWI381735B (zh) 影像監視設備之影像處理系統及其影像解析自動調適之方法
CN113693573B (zh) 一种基于视频的非接触式多生理参数监测的系统及方法
CN110197487A (zh) 一种基于皮肤图像检测色斑的方法
CN110830734B (zh) 一种突变和渐变镜头切换识别方法及系统
Zhang et al. Analysis of factors on bvp signal extraction based on imaging principle
CN109886942A (zh) 一种基于图像峭度的聚焦测度实现方法
CN109405970A (zh) 一种用于编码孔径快照成像光谱仪的系统响应标定方法
Raja et al. Evaluation of fusion approaches for face recognition using light field cameras
Uggla Lingvall Remote heart rate estimation by evaluating measurements from multiple signals
Sheng et al. An Improved Approach to the Performance of Remote Photoplethysmography
CN116828189A (zh) 嵌入双重注意力机制的深度学习视频微小运动放大方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination