CN113456042A - 一种基于3d cnn的无接触面部血压测量方法 - Google Patents
一种基于3d cnn的无接触面部血压测量方法 Download PDFInfo
- Publication number
- CN113456042A CN113456042A CN202110731002.8A CN202110731002A CN113456042A CN 113456042 A CN113456042 A CN 113456042A CN 202110731002 A CN202110731002 A CN 202110731002A CN 113456042 A CN113456042 A CN 113456042A
- Authority
- CN
- China
- Prior art keywords
- face
- blood pressure
- cnn
- measuring method
- video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000036772 blood pressure Effects 0.000 title claims abstract description 66
- 238000000034 method Methods 0.000 title claims abstract description 31
- 230000001815 facial effect Effects 0.000 title claims abstract description 21
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 40
- 238000013528 artificial neural network Methods 0.000 claims abstract description 4
- 230000009466 transformation Effects 0.000 claims description 7
- 230000035487 diastolic blood pressure Effects 0.000 claims description 4
- 238000007781 pre-processing Methods 0.000 claims description 4
- 230000035488 systolic blood pressure Effects 0.000 claims description 4
- 238000000354 decomposition reaction Methods 0.000 claims description 3
- 210000001061 forehead Anatomy 0.000 claims description 3
- 210000003128 head Anatomy 0.000 claims description 3
- 238000013139 quantization Methods 0.000 claims description 3
- NOQGZXFMHARMLW-UHFFFAOYSA-N Daminozide Chemical group CN(C)NC(=O)CCC(O)=O NOQGZXFMHARMLW-UHFFFAOYSA-N 0.000 claims description 2
- 238000009530 blood pressure measurement Methods 0.000 abstract description 14
- 238000013186 photoplethysmography Methods 0.000 description 7
- 230000033001 locomotion Effects 0.000 description 6
- 208000024172 Cardiovascular disease Diseases 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 201000010099 disease Diseases 0.000 description 3
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 206010020772 Hypertension Diseases 0.000 description 2
- 210000004204 blood vessel Anatomy 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 206010028980 Neoplasm Diseases 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000017531 blood circulation Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000009084 cardiovascular function Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000009532 heart rate measurement Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000002627 tracheal intubation Methods 0.000 description 1
- 210000000707 wrist Anatomy 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/021—Measuring pressure in heart or blood vessels
- A61B5/02108—Measuring pressure in heart or blood vessels from analysis of pulse wave characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/021—Measuring pressure in heart or blood vessels
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/021—Measuring pressure in heart or blood vessels
- A61B5/022—Measuring pressure in heart or blood vessels by applying pressure to close blood vessels, e.g. against the skin; Ophthalmodynamometers
- A61B5/02208—Measuring pressure in heart or blood vessels by applying pressure to close blood vessels, e.g. against the skin; Ophthalmodynamometers using the Korotkoff method
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7221—Determining signal validity, reliability or quality
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7253—Details of waveform analysis characterised by using transforms
- A61B5/726—Details of waveform analysis characterised by using transforms using Wavelet transforms
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
- A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/74—Details of notification to user or communication with user or patient ; user input means
- A61B5/7475—User input or interface means, e.g. keyboard, pointing device, joystick
- A61B5/748—Selection of a region of interest, e.g. using a graphics tablet
- A61B5/7485—Automatic selection of region of interest
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Medical Informatics (AREA)
- Surgery (AREA)
- Molecular Biology (AREA)
- Public Health (AREA)
- Biophysics (AREA)
- Veterinary Medicine (AREA)
- Heart & Thoracic Surgery (AREA)
- Biomedical Technology (AREA)
- Animal Behavior & Ethology (AREA)
- Pathology (AREA)
- Cardiology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physiology (AREA)
- Artificial Intelligence (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Theoretical Computer Science (AREA)
- Vascular Medicine (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Psychiatry (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Data Mining & Analysis (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Computational Biology (AREA)
- Software Systems (AREA)
- Fuzzy Systems (AREA)
- Mathematical Physics (AREA)
Abstract
本发明公开了一种基于3D CNN的无接触面部血压测量方法，属于计算机视觉技术领域。一种基于3D CNN的无接触面部血压测量方法，包括如下步骤：S110：采集实际的人脸视频样本，利用3D CNN神经网络训练一个血压预测模型；S120：通过高清摄像头实时获取人脸视频；S130：通过dlib人脸识别模型识别S120中获取的人脸视频中的人脸关键点，选取面部感兴趣区域，从该区域中提取人脸图像；S140：对S130中提取得到的人脸图像进行小波变换操作，从而去除噪声；S150：将连续7帧的人脸图像输入到S110中训练好的3D CNN血压预测模型中，获取被测人的血压值；本发明实现了捕捉空间和时间维度特征的非接触的面部血压测量并且提高了血压测量精度。
Description
技术领域
本发明属于计算机视觉技术领域，尤其涉及一种基于3D CNN的无接触面部血压测量方法。
背景技术
据2018年中国心血管病报告显示，中国心血管病患病率和死亡率仍处于上升阶段；报告推算心血管病现患病人数2.9亿，其中高血压占2.45亿；也有相关调查显示心血管病的死亡率居首位，高于肿瘤及其他疾病，占居民疾病死亡构成的40％以上；血压(Bloodpressure)是指血液在血管内流动时作用于单位面积血管壁的侧压力，其在每个心跳周期内均连续变化；血压最大值称为收缩压，正常范围为90～140mmHg；血压最小值称为舒张压，正常范围为60～90mmHg，血压值的准确实时性对高血压相关疾病的诊断、治疗具有极其重要的作用。
传统侵入式血压测量虽然测量结果精确，且其中动脉插管法被誉为“金标准”，但因对患者伤害大、操作复杂等原因逐渐被无创方式取代；无创测量也分为间歇式和连续式，以扁平张力法为原理的产品，虽然可测得较长时间连续的人体血压，结果较准确，但在使用中需长时间定位在一个位置，压力传感器难以保证位置不会有偏差，同时长时间压迫手腕使受试者感觉不舒适；而以恒定容积法为原理的袖带式测量则不便于长时间观测血压，且会压迫大臂，同样产生不适。
近年来，光电容积脉搏波描记法(photoplethysmography，简称PPG)的出现为血压测量提供了新的方向，脉搏波可以反映出被测者心血管功能方面的许多信息，而且理论上脉搏的形成与血压是密切相关的；由于低成本、简单和便携技术的需求，小半导体元件的广泛应用，非接触式血压测量收到了广泛的关注；
基于CNN网络强大的特征提取能力，通过采集连续的人脸图像，对图像预处理后直接实现血压测量的还非常的少，尤其是针对面部区域时间维度特征的血压测量；例如公开号为CN110706826A的(一种基于视频图像的非接触式的实时多人心率和血压测量方法)，该方法利用全脸的肤色图像PPG信号的二阶微分作为特征来计算血压，没有考虑到血压在时间维度上的特征信息；以及公开号为CN111728602A的(一种基于PPG的无接触血压测量装置)中，通过在多个面部区域提取PPG信号，然后将信号输入训练好的LSTM模型中得到血压值，该方法虽然有利用时序数据信息，但没有考虑到面部空间维度的特征，并且需要提取脉搏波信号并进行处理，操作较为繁琐；再例如公开号为CN110090010A的(一种非接触式血压测量方法及系统)，该方法中提取两个感兴趣区域的三基色视频迹曲线，并通过盲源分离法提取脉搏波信号，该方法选取的感兴趣区域较少，同时对计算方法中参数的要求非常高，易受视频帧率、盲源分离效果等的影响。
由于人脸视频包含了丰富的时间和空间维度提取特征，因此提出一个捕捉空间和时间维度特征的非接触的面部血压测量方法在提高血压测量精度上有着很大的必要性；为了解决上述问题，提出了一种基于3D CNN的无接触面部血压测量方法。
发明内容
本发明的目的是通过摄像头获取人脸的视频图像，使用dlib人脸识别模型检测人脸关键点，然后通过人脸关键点确定感兴趣区域，从感兴趣区域中提取人脸图像，将得到的信号进行小波变换预处理，再将连续帧的人脸图像输入训练好的3D CNN血压预测模型中，获取被测人的血压值，以解决背景技术中提出的问题。
为了实现上述目的，本发明采用了如下技术方案：
一种基于3D CNN的无接触面部血压测量方法，包括如下步骤：
S110：采集实际的人脸视频样本，利用3D CNN神经网络训练一个基于PPG的血压预测模型；
S120：通过高清摄像头实时获取人脸视频；
S130：通过dlib人脸识别模型识别S120中获取的人脸视频中的人脸关键点，选取面部感兴趣区域，从该区域中提取人脸图像；
S140：对S130中提取得到的人脸图像进行小波变换操作，从而去除噪声；
S150：将连续7帧的人脸图像输入到S110中训练好的3D CNN血压预测模型中，获取被测人的血压值。
优选的，所述S110中训练3D CNN血压预测模型，包括如下步骤：
A1：通过高清摄像头录制人脸视频；
A2：通过袖带式电子血压计获取实时血压值；
A3：在A1中获取的人脸视频中检测人脸关键点，选取感兴趣区域，提取感兴趣区域的人脸图像；
A4：对信号进行预处理，即对A3中提取的人脸图像进行小波变换操作，去除噪声，将连续7帧的时域信号和连续7帧的人脸图像，以及对应的真实血压值输入到构建好的3DCNN模型中进行训练，使用均方差损失函数，训练模型，最终得到3D CNN血压预测模型。
优选的，所述S120中，通过高清摄像头录制被测人员的人脸视频时，被测人员面部需完全无遮挡，人脸视频录制需在光线明亮、稳定的环境下进行，同时使人脸均匀的接收到光照，面部没有明显的暗光线区域；在人脸视频录制期间，被测人员要保持身体稳定，头部不可晃动或抖动，面部保持正对摄像头，直至达到设定的采集时间，若出现大幅度的晃动则重新采集。
优选的，所述S130中提取人脸图像，包括如下步骤：
B1：通过dlib人脸识别模型检测人脸图像中每帧图像的人脸四个坐标极值，以确定人脸的位置；
B2：再检测人脸的68个关键点，关键点所在位置包括下巴、眼睛、鼻子、嘴巴等区域，通过关键点画出人脸的整体轮廓；
B3：通过人脸关键点确定感兴趣区域，包括左右脸颊、额头、人中、下巴、鼻翼区域，在每个感兴趣区域提取大小为50X50的图像并保存。
优选的，所述S140中对人脸图像进行小波变换操作，包括如下步骤：
C1：对图像进行小波变换；
C2：再对经过层次分解后的高频系数进行阈值量化；
C3：利用二维小波重构图像信号。
优选的，所述S150中获取的被测人的血压值，包括收缩压和舒张压，将得到的血压值和正常的血压范围进行对比，判断被测人的血压值是否处于正常范围。
与现有技术相比，本发明提供了一种基于3D CNN的无接触面部血压测量方法，具备以下有益效果：
(1)本发明使用dlib人脸识别模型对面部视频的每一帧图像进行关键点检测，防止了因为人脸运动或身体晃动导致的感兴趣区域位置移动。
(2)本发明充分利用了3D卷积运算从视频数据中提取空间和时间特征以进行动作识别的功能，使用3D特征提取器在空间和时间维度上操作，从而捕获人脸视频流中多个连续帧的运动信息。
(3)本发明设置了基于3D卷积特征提取的3D卷积神经网络架构，该3D CNN架构从相邻视频帧生成多个信息通道，并在每个通道中分别执行卷积和下采样，通过组合来自所有通道的信息获得最终的特征表示。
附图说明
图1为本发明提出的一种基于3D CNN的无接触面部血压测量方法的流程图；
图2为本发明提出的一种基于3D CNN的无接触面部血压测量方法的人脸关键点检测示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。
实施例1：
请参阅图1-2，一种基于3D CNN的无接触面部血压测量方法，包括如下步骤：
S110：采集实际的人脸视频样本，利用3D CNN神经网络训练一个基于PPG的血压预测模型；
S120：通过高清摄像头实时获取人脸视频；
S130：通过dlib人脸识别模型识别S120中获取的人脸视频中的人脸关键点，选取面部感兴趣区域，从该区域中提取人脸图像；
S140：对S130中提取得到的人脸图像进行小波变换操作，从而去除噪声；
S150：将连续7帧的人脸图像输入到S110中训练好的3D CNN血压预测模型中，获取被测人的血压值；
所述S120中，通过高清摄像头录制被测人员的人脸视频时，被测人员面部需完全无遮挡，人脸视频录制需在光线明亮、稳定的环境下进行，同时使人脸均匀的接收到光照，面部没有明显的暗光线区域；在人脸视频录制期间，被测人员要保持身体稳定，头部不可晃动或抖动，面部保持正对摄像头，直至达到设定的采集时间，若出现大幅度的晃动则重新采集；
所述S150中获取的被测人的血压值，包括收缩压和舒张压，将得到的血压值和正常的血压范围进行对比，判断被测人的血压值是否处于正常范围。
实施例2：
基于实施例1但又有所不同之处在于：
所述S110中训练3D CNN血压预测模型，包括如下步骤：
A1：通过高清摄像头录制人脸视频；
A2：通过袖带式电子血压计获取实时血压值；
A3：在A1中获取的人脸视频中检测人脸关键点，选取感兴趣区域，提取感兴趣区域的人脸图像；
A4：对信号进行预处理，即对A3中提取的人脸图像进行小波变换操作，去除噪声，将连续7帧的时域信号和连续7帧的人脸图像，以及对应的真实血压值输入到构建好的3DCNN模型中进行训练，使用均方差损失函数，训练模型，最终得到3D CNN血压预测模型；
具体的，3D CNN架构第一层为硬连线(hardwired)层，该层对原始的帧进行处理，产生多个通道的信号，然后对多个通道分别进行处理，最后再将所有通道的信息组合起来得到最终的特征；
每帧提取三个通道的信息，分别是：灰度、x和y方向的梯度；灰度、x和y方向的梯度三个通道可以每帧计算，使用设定好的卷积核对每一个通道进行卷积，提取不同的特征；
本发明充分利用了3D卷积运算从视频数据中提取空间和时间特征以进行动作识别的功能；通过使用3D特征提取器在空间和时间维度上操作，从而捕获人脸视频流中多个连续帧的运动信息；
本发明通过基于3D卷积特征提取的3D卷积神经网络架构，该3D CNN架构从相邻视频帧生成多个信息通道，并在每个通道中分别执行卷积和下采样，通过组合来自所有通道的信息获得最终的特征表示。
实施例3：
基于实施例1-2又有所不同之处在于：
所述S130中提取人脸图像，包括如下步骤：
B1：通过dlib人脸识别模型检测人脸图像中每帧图像的人脸四个坐标极值，以确定人脸的位置；
B2：再检测人脸的68个关键点，关键点所在位置包括下巴、眼睛、鼻子、嘴巴等区域，通过关键点画出人脸的整体轮廓；
B3：通过人脸关键点确定感兴趣区域，包括左右脸颊、额头、人中、下巴、鼻翼区域，在每个感兴趣区域提取大小为50X50的图像并保存；
本发明通过使用dlib人脸识别模型对面部视频的每一帧图像进行关键点检测，防止了因为人脸运动或身体晃动导致的感兴趣区域位置移动。
实施例4：
基于实施例1-3又有所不同之处在于：
所述S140中对人脸图像进行小波变换操作，包括如下步骤：
C1：对图像进行小波变换；
C2：再对经过层次分解后的高频系数进行阈值量化；
C3：利用二维小波重构图像信号。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。
Claims (6)
1.一种基于3D CNN的无接触面部血压测量方法，其特征在于：包括如下步骤：
S110：采集实际的人脸视频样本，利用3D CNN神经网络训练一个基于PPG的血压预测模型；
S120：通过高清摄像头实时获取人脸视频；
S130：通过dlib人脸识别模型识别S120中获取的人脸视频中的人脸关键点，选取面部感兴趣区域，从该区域中提取人脸图像；
S140：对S130中提取得到的人脸图像进行小波变换操作，从而去除噪声；
S150：将连续7帧的人脸图像输入到S110中训练好的3D CNN血压预测模型中，获取被测人的血压值。
2.根据权利要求1所述的一种基于3D CNN的无接触面部血压测量方法，其特征在于：所述S110中训练3D CNN血压预测模型，包括如下步骤：
A1：通过高清摄像头录制人脸视频；
A2：通过袖带式电子血压计获取实时血压值；
A3：在A1中获取的人脸视频中检测人脸关键点，选取感兴趣区域，提取感兴趣区域的人脸图像；
A4：对信号进行预处理，即对A3中提取的人脸图像进行小波变换操作，去除噪声，将连续7帧的时域信号和连续7帧的人脸图像，以及对应的真实血压值输入到构建好的3D CNN模型中进行训练，使用均方差损失函数，训练模型，最终得到3D CNN血压预测模型。
3.根据权利要求1所述的一种基于3D CNN的无接触面部血压测量方法，其特征在于：所述S120中，通过高清摄像头录制被测人员的人脸视频时，被测人员面部需完全无遮挡，人脸视频录制需在光线明亮、稳定的环境下进行，同时使人脸均匀的接收到光照，面部没有明显的暗光线区域；在人脸视频录制期间，被测人员要保持身体稳定，头部不可晃动或抖动，面部保持正对摄像头，直至达到设定的采集时间，若出现大幅度的晃动则重新采集。
4.根据权利要求1所述的一种基于3D CNN的无接触面部血压测量方法，其特征在于：所述S130中提取人脸图像，包括如下步骤：
B1：通过dlib人脸识别模型检测人脸图像中每帧图像的人脸四个坐标极值，以确定人脸的位置；
B2：再检测人脸的68个关键点，关键点所在位置包括下巴、眼睛、鼻子、嘴巴等区域，通过关键点画出人脸的整体轮廓；
B3：通过人脸关键点确定感兴趣区域，包括左右脸颊、额头、人中、下巴、鼻翼区域，在每个感兴趣区域提取大小为50X50的图像并保存。
5.根据权利要求1所述的一种基于3D CNN的无接触面部血压测量方法，其特征在于：所述S140中对人脸图像进行小波变换操作，包括如下步骤：
C1：对图像进行小波变换；
C2：再对经过层次分解后的高频系数进行阈值量化；
C3：利用二维小波重构图像信号。
6.根据权利要求1所述的一种基于3D CNN的无接触面部血压测量方法，其特征在于：所述S150中获取的被测人的血压值，包括收缩压和舒张压，将得到的血压值和正常的血压范围进行对比，判断被测人的血压值是否处于正常范围。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110731002.8A CN113456042A (zh) | 2021-06-30 | 2021-06-30 | 一种基于3d cnn的无接触面部血压测量方法 |
| PCT/CN2021/134326 WO2023273141A2 (zh) | 2021-06-30 | 2021-11-30 | 一种基于3d cnn的无接触面部血压测量方法 |
| US17/838,205 US20230005295A1 (en) | 2021-06-30 | 2022-06-11 | Non-contact facial blood pressure measurement method based on 3d cnn |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110731002.8A CN113456042A (zh) | 2021-06-30 | 2021-06-30 | 一种基于3d cnn的无接触面部血压测量方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113456042A true CN113456042A (zh) | 2021-10-01 |
Family
ID=77874130
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110731002.8A Pending CN113456042A (zh) | 2021-06-30 | 2021-06-30 | 一种基于3d cnn的无接触面部血压测量方法 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US20230005295A1 (zh) |
| CN (1) | CN113456042A (zh) |
| WO (1) | WO2023273141A2 (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115736863A (zh) * | 2022-11-04 | 2023-03-07 | 北京小凡科技有限公司 | 基于计算机视觉和深度学习的非接触式血压检测系统 |
| DE102022125918A1 (de) | 2022-10-07 | 2024-04-18 | Deutsches Zentrum für Luft- und Raumfahrt e.V. | Verfahren zum Erstellen und/oder Einlernen eines künstlichen neuronalen Netzes, Verfahren zur kontaktlosen Ermittlung von Betriebsparametern eines Triebwerkes, Computerprogramm und computerlesbares Medium |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20200146568A1 (en) * | 2018-11-12 | 2020-05-14 | Samsung Electronics Co., Ltd. | Blood pressure measuring apparatus and blood pressure measuring method |
| CN111493850A (zh) * | 2020-04-13 | 2020-08-07 | 中国科学院深圳先进技术研究院 | 一种基于深度神经网络的血压测量方法及装置 |
| CN111728602A (zh) * | 2020-08-21 | 2020-10-02 | 之江实验室 | 基于ppg的无接触血压测量装置 |
| CN112022125A (zh) * | 2020-09-28 | 2020-12-04 | 无锡博智芯科技有限公司 | 一种基于CNN-BiGRU模型和PPG的智能血压预测方法 |
| CN112315437A (zh) * | 2020-10-12 | 2021-02-05 | 乐普（北京）医疗器械股份有限公司 | 一种基于视频数据进行血压预测的系统 |
| CN112716468A (zh) * | 2020-12-14 | 2021-04-30 | 首都医科大学 | 基于三维卷积网络的非接触心率测量方法及装置 |
-
2021
- 2021-06-30 CN CN202110731002.8A patent/CN113456042A/zh active Pending
- 2021-11-30 WO PCT/CN2021/134326 patent/WO2023273141A2/zh unknown
-
2022
- 2022-06-11 US US17/838,205 patent/US20230005295A1/en active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20200146568A1 (en) * | 2018-11-12 | 2020-05-14 | Samsung Electronics Co., Ltd. | Blood pressure measuring apparatus and blood pressure measuring method |
| CN111493850A (zh) * | 2020-04-13 | 2020-08-07 | 中国科学院深圳先进技术研究院 | 一种基于深度神经网络的血压测量方法及装置 |
| CN111728602A (zh) * | 2020-08-21 | 2020-10-02 | 之江实验室 | 基于ppg的无接触血压测量装置 |
| CN112022125A (zh) * | 2020-09-28 | 2020-12-04 | 无锡博智芯科技有限公司 | 一种基于CNN-BiGRU模型和PPG的智能血压预测方法 |
| CN112315437A (zh) * | 2020-10-12 | 2021-02-05 | 乐普（北京）医疗器械股份有限公司 | 一种基于视频数据进行血压预测的系统 |
| CN112716468A (zh) * | 2020-12-14 | 2021-04-30 | 首都医科大学 | 基于三维卷积网络的非接触心率测量方法及装置 |
Non-Patent Citations (1)
| Title |
|---|
| FRÉDÉRIC BOUSEFSAF 等: "3D Convolutional Neural Networks for Remote Pulse Rate Measurement and Mapping from Facial Video", 《APPLIED SCIENCES》 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102022125918A1 (de) | 2022-10-07 | 2024-04-18 | Deutsches Zentrum für Luft- und Raumfahrt e.V. | Verfahren zum Erstellen und/oder Einlernen eines künstlichen neuronalen Netzes, Verfahren zur kontaktlosen Ermittlung von Betriebsparametern eines Triebwerkes, Computerprogramm und computerlesbares Medium |
| CN115736863A (zh) * | 2022-11-04 | 2023-03-07 | 北京小凡科技有限公司 | 基于计算机视觉和深度学习的非接触式血压检测系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2023273141A2 (zh) | 2023-01-05 |
| US20230005295A1 (en) | 2023-01-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103908236B (zh) | 一种自动血压测量系统 | |
| CN111728602A (zh) | 基于ppg的无接触血压测量装置 | |
| CA2934659A1 (en) | System and methods for measuring physiological parameters | |
| Fan et al. | Non-contact remote estimation of cardiovascular parameters | |
| McDuff et al. | Fusing partial camera signals for noncontact pulse rate variability measurement | |
| Casado et al. | Face2PPG: An unsupervised pipeline for blood volume pulse extraction from faces | |
| WO2011127487A2 (en) | Method and system for measurement of physiological parameters | |
| Gudi et al. | Efficient real-time camera based estimation of heart rate and its variability | |
| CN110647815A (zh) | 一种基于人脸视频图像的非接触式心率测量方法及系统 | |
| US20230005295A1 (en) | Non-contact facial blood pressure measurement method based on 3d cnn | |
| Przybyło | A deep learning approach for remote heart rate estimation | |
| Zhang et al. | Recent progress of optical imaging approaches for noncontact physiological signal measurement: A review | |
| Cho et al. | Reduction of motion artifacts from remote photoplethysmography using adaptive noise cancellation and modified HSI model | |
| CN114246570B (zh) | 峰值信噪比和皮尔森相关系数融合的近红外心率检测方法 | |
| Suriani et al. | Non-contact Facial based Vital Sign Estimation using Convolutional Neural Network Approach | |
| Ben Salah et al. | Contactless heart rate estimation from facial video using skin detection and multi-resolution analysis | |
| CN114387479A (zh) | 一种基于人脸视频的非接触式心率测量方法及系统 | |
| CN113317766A (zh) | 一种基于a311d的嵌入式非接触式生理参数监测系统 | |
| Sinhal et al. | Color intensity: a study of RPPG algorithm for heart rate estimation | |
| Nakonechnyi et al. | Estimation of Heart Rate and its Variability Based on Wavelet Analysis of Photoplethysmographic Signals in Real Time | |
| Kalkhaire et al. | Remote detection of photoplethysmographic signal and SVM based classification | |
| AV et al. | Non-contact heart rate monitoring using machine learning | |
| Ansari et al. | ChPOS: A Contactless and Continuous Method for Estimation of Heart Rate from Face | |
| CN116994310B (zh) | 一种基于rPPG信号的远程心率检测方法 | |
| Wang et al. | Estimate Heart Rate from Recovered Facial Signal |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information | ||
| CB02 | Change of applicant information |
Address after: 321004 building 41, old family area, Zhejiang Normal University, Jinhua City, Zhejiang Province Applicant after: ZHEJIANG NORMAL University Address before: 321004 building 41, laojiashu District, Jiang Normal University, Jinhua City, Zhejiang Province Applicant before: ZHEJIANG NORMAL University |
|
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20211001 |