CN113576475B - 一种基于深度学习的无接触血糖测量方法 - Google Patents
一种基于深度学习的无接触血糖测量方法 Download PDFInfo
- Publication number
- CN113576475B CN113576475B CN202110878989.6A CN202110878989A CN113576475B CN 113576475 B CN113576475 B CN 113576475B CN 202110878989 A CN202110878989 A CN 202110878989A CN 113576475 B CN113576475 B CN 113576475B
- Authority
- CN
- China
- Prior art keywords
- blood glucose
- prediction model
- cnn
- pulse wave
- blood sugar
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 239000008280 blood Substances 0.000 title claims abstract description 153
- 210000004369 blood Anatomy 0.000 title claims abstract description 153
- WQZGKKKJIJFFOK-GASJEMHNSA-N Glucose Natural products OC[C@H]1OC(O)[C@H](O)[C@@H](O)[C@@H]1O WQZGKKKJIJFFOK-GASJEMHNSA-N 0.000 title claims abstract description 100
- 239000008103 glucose Substances 0.000 title claims abstract description 100
- 238000013135 deep learning Methods 0.000 title claims abstract description 17
- 238000000691 measurement method Methods 0.000 title claims abstract description 16
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 56
- 238000013528 artificial neural network Methods 0.000 claims abstract description 20
- 238000000034 method Methods 0.000 claims abstract description 11
- 238000012549 training Methods 0.000 claims description 20
- 238000007781 pre-processing Methods 0.000 claims description 12
- 238000000354 decomposition reaction Methods 0.000 claims description 11
- 238000001914 filtration Methods 0.000 claims description 9
- 230000006870 function Effects 0.000 claims description 7
- 239000013598 vector Substances 0.000 claims description 7
- 238000010606 normalization Methods 0.000 claims description 6
- 210000001061 forehead Anatomy 0.000 claims description 5
- 238000013186 photoplethysmography Methods 0.000 claims description 4
- 238000005259 measurement Methods 0.000 abstract description 8
- 206010012601 diabetes mellitus Diseases 0.000 description 7
- 238000001514 detection method Methods 0.000 description 4
- 201000010099 disease Diseases 0.000 description 4
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 4
- 230000008901 benefit Effects 0.000 description 2
- 230000006378 damage Effects 0.000 description 2
- NOESYZHRGYRDHS-UHFFFAOYSA-N insulin Chemical compound N1C(=O)C(NC(=O)C(CCC(N)=O)NC(=O)C(CCC(O)=O)NC(=O)C(C(C)C)NC(=O)C(NC(=O)CN)C(C)CC)CSSCC(C(NC(CO)C(=O)NC(CC(C)C)C(=O)NC(CC=2C=CC(O)=CC=2)C(=O)NC(CCC(N)=O)C(=O)NC(CC(C)C)C(=O)NC(CCC(O)=O)C(=O)NC(CC(N)=O)C(=O)NC(CC=2C=CC(O)=CC=2)C(=O)NC(CSSCC(NC(=O)C(C(C)C)NC(=O)C(CC(C)C)NC(=O)C(CC=2C=CC(O)=CC=2)NC(=O)C(CC(C)C)NC(=O)C(C)NC(=O)C(CCC(O)=O)NC(=O)C(C(C)C)NC(=O)C(CC(C)C)NC(=O)C(CC=2NC=NC=2)NC(=O)C(CO)NC(=O)CNC2=O)C(=O)NCC(=O)NC(CCC(O)=O)C(=O)NC(CCCNC(N)=N)C(=O)NCC(=O)NC(CC=3C=CC=CC=3)C(=O)NC(CC=3C=CC=CC=3)C(=O)NC(CC=3C=CC(O)=CC=3)C(=O)NC(C(C)O)C(=O)N3C(CCC3)C(=O)NC(CCCCN)C(=O)NC(C)C(O)=O)C(=O)NC(CC(N)=O)C(O)=O)=O)NC(=O)C(C(C)CC)NC(=O)C(CO)NC(=O)C(C(C)O)NC(=O)C1CSSCC2NC(=O)C(CC(C)C)NC(=O)C(NC(=O)C(CCC(N)=O)NC(=O)C(CC(N)=O)NC(=O)C(NC(=O)C(N)CC=1C=CC=CC=1)C(C)C)CC1=CN=CN1 NOESYZHRGYRDHS-UHFFFAOYSA-N 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 102000004877 Insulin Human genes 0.000 description 1
- 108090001061 Insulin Proteins 0.000 description 1
- 206010028980 Neoplasm Diseases 0.000 description 1
- 230000001154 acute effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010241 blood sampling Methods 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 150000001720 carbohydrates Chemical class 0.000 description 1
- 235000014633 carbohydrates Nutrition 0.000 description 1
- 230000009084 cardiovascular function Effects 0.000 description 1
- 230000001684 chronic effect Effects 0.000 description 1
- 230000001627 detrimental effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 238000002848 electrochemical method Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 239000003925 fat Substances 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 229940125396 insulin Drugs 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 208000030159 metabolic disease Diseases 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 102000004169 proteins and genes Human genes 0.000 description 1
- 108090000623 proteins and genes Proteins 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000000638 stimulation Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/145—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
- A61B5/1455—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/024—Detecting, measuring or recording pulse rate or heart rate
- A61B5/02416—Detecting, measuring or recording pulse rate or heart rate using photoplethysmograph signals, e.g. generated by infrared radiation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/145—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
- A61B5/14532—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue for measuring glucose, e.g. by tissue impedance measurement
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
- A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Public Health (AREA)
- Molecular Biology (AREA)
- Veterinary Medicine (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Animal Behavior & Ethology (AREA)
- Surgery (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Physiology (AREA)
- Evolutionary Computation (AREA)
- Mathematical Physics (AREA)
- Signal Processing (AREA)
- Psychiatry (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Fuzzy Systems (AREA)
- Optics & Photonics (AREA)
- Cardiology (AREA)
- Emergency Medicine (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
Abstract
本发明公开了一种基于深度学习的无接触血糖测量方法，该方法包括：包括人脸信息采集，使用高清摄像头定时录制人脸视频，用于获取原始人脸的图像；关键点区域选取模块，在视频的每一帧中标记人脸关键点，选取关键点区域，得到关键点区域的脉搏波时域信号；信号处理，对视频中得到光电容积脉搏波信号进行预处理，便于后续的血糖预测；血糖预测，将预处理后的脉搏波信号输入训练好的CNN血糖预测模型，得到被测人员的初步血糖值，再将脉搏波信号和CNN血糖预测模型预测的血糖值输入LSTM神经网络训练的LSTM血糖预测模型中，得到最终的血糖值。本发明利用CNN神经网络和LSTM神经网络对光电容积脉搏波信号进行预测，该方法可实现无接触的血糖测量。
Description
技术领域
本发明涉及计算机视觉技术领域，尤其涉及一种基于深度学习的无接触血糖测量方法。
背景技术
糖尿病是危害人类健康的四大疾病之一。是一种由于人体体内胰岛素不足引起的糖类、蛋白质和脂肪出现代谢紊乱现象的疾病。糖尿病会造成多种急性和慢性并发症。目前全世界范围内的糖尿病患者人数已达4.15亿，预测至2040年患病人数将达6.42亿。糖尿病对人体的危害仅次于癌症，是现代疾病中的第二大杀手。更值得引起所有人注意的是糖尿病有向年轻人发展的趋势，也就是说，糖尿病不再是中老年疾病。糖尿病不仅给患者及其家庭带来了痛苦，而且逐年增长的糖尿病人群也给国家和社会带来了沉重的负担。
对于糖尿病患者来说，在治疗过程中必须准确实时的监测体内血糖浓度，并以此为依据及时地调整药物的用量。目前，最常用的测量血糖的手段是采集人体血液后通过电化学的方法进行测量。但传统采血测量会给患者带来疼痛，操作也不便捷，且长期使用会对患者身心带来伤害，因此，一种无接触的血糖测量方法对于糖尿病患者来说是非常有必要的。光电容积脉搏波描记法（photoplethysmography，简称脉搏波）的出现为血糖测量提供了新的方向，脉搏波可以反映出被测者心血管功能方面的许多信息，其中就包括血液中的葡糖糖成分信息，从而可以通过脉搏波来测得患者的血糖。
然而目前市面上无接触的血糖测量还非常少，特别是基于面部脉搏波信号来预测血糖。例如公开号CN110680342A（一种多光谱收发集成传感器及非接触式无损血糖仪），该方法通过多光谱收发集成传感器实现无接触的血糖测量。公开号CN205667551U（一种新型无创伤性血糖监测仪），该方法设计了一种通过两个测量电极来测量患者血糖的血糖检测仪，该方法结构简单，使用方便，但多次测量仍会对被测人员的身体造成刺激，不适合长时间使用。
因此设计一种基于深度学习的无接触血糖测量方法。
发明内容
本发明的目的是为了解决上述背景技术中涉及的问题而提出的一种基于深度学习的无接触血糖测量方法。
为了实现上述目的，本发明采用了如下技术方案：
一种基于深度学习的无接触血糖测量方法，用于通过人脸视频来确定被测人员的血糖值，包括以下步骤：
S1、收集脉搏波信号样本，利用CNN神经网络训练一个基于PPG的CNN血糖预测模型；
S2、利用LSTM神经网络训练一个基于脉搏波和CNN预测血糖值以及特征向量的LSTM血糖预测模型；
S3、利用高清摄像头对人脸视频进行实时录制；
S4、使用DLIB库检测人脸关键点，得到人脸区域，然后选取感兴趣区域，通过光电容积脉搏波描记法得到PPG信号；
S5、使用小波分解去除PPG信号的基线漂移现象，并用带通滤波器对信号进行滤波，去除高频噪声，最后对数据进行归一化操作；
S6、将处理后的PPG信号输入训练好的CNN血糖预测模型中，得到被测人员的初步血糖值；
S7、再将PPG信号和CNN血糖预测模型预测的血糖值输入到训练好的LSTM血糖预测模型中，得到被测人员的最终血糖值。
优选的，使用DLIB人脸识别模型检测人脸关键点，并通过人脸关键点感兴趣区域，再从感兴趣区域中提取PPG信号，包括：
在每一帧图像上运用人脸检测模型定位到人脸的位置；
检测定位好的人脸的多个关键点，包括下巴、眼睛、鼻子、嘴巴等共68个关键点，通过连接关键点画出人脸的整体轮廓；
标记全部关键点后，选取若干个便于提取光电容积脉搏波信号的关键区域，区域为左右脸颊、额头、下巴、左右鼻翼。
优选的，使用小波分解来去除信号中的基线漂移现象，包括：
选取Sym8小波函数作为小波基对脉搏波信号进行八层分解；
提取0—0.1Hz的基线信号，从脉搏波信号中扣除，获得滤除基线漂移的脉搏波信号。
优选的，对信号进行合适的预处理，包括：
使用巴特沃兹带通滤波器对信号进行滤波，去除高频噪声；
对数据进行归一化操作，方便后续的血糖预测。
优选的，利用CNN神经网络训练一个初步血糖预测模型，包括：
对数据库的脉搏波信号进行预处理；
将处理后的脉搏波信号和对应的血糖值输入搭建好的CNN网络中；
训练并得到一个初步的CNN血糖预测模型。
优选的，利用LSTM神经网络训练一个最终血糖预测模型，包括：将数据库中的脉搏波信号进行预处理；
进处理后的信号以及对应的患者血糖值输入权利5所述的CNN血糖预测模型中，预测得到一个初步的血糖值；
将处理后的信号，对应的血糖值，CNN血糖预测模型预测得到的血糖值，以及CNN血糖预测模型最后一层卷积层提取提到的脉搏波特征输入搭建好的LSTM网络模型中；
训练并得到一个最终的LSTM血糖预测模型。
优选的，将视频中提取不同区域的脉搏波信号，对信号进行预处理，将处理后的信号输入训练好的CNN血糖预测模型中，从而得到被测人员的初步血糖值，再将信号和初步血糖值，以及CNN血糖预测模型最后一层卷积层提取提到的脉搏波特征输入到训练好的LSTM血糖预测模型中，得到最终的血糖值。
本发明所述的一种基于深度学习的无接触血糖测量方法，通过摄像头获取人脸的视频图像，使用人脸识别模型标记人脸关键点，然后通过人脸关键点确定关键区域，从选取的关键区域中提取光电容积脉搏波信号，将得到的信号进行去除基线漂移、滤波、归一化等预处理，再处理后的脉搏波信号输入训练好的CNN神经网络模型中，得到被测人员的初步血糖值，最后，将处理后的脉搏波信号、初步血糖值以及CNN模型第四层卷积层提取的特征向量输入到训练好的LSTM模型中，预测得到最终的血糖值
与现有技术相比，本发明提供了一种基于深度学习的无接触血糖测量方法，具备以下有益效果：
1、本发明使用从脸部视频提取得到的光电容积脉搏波信号进行血糖预测，该方法是无接触的血糖测量方法，长时间使用也不会对被测者造成身心上的伤害，并且操作简便，测量准确率较高。
2、本发明充分利用了CNN神经网络提取图像特征的优势，首先使用CNN网络对脉搏波信号提取特征，确保了脉搏波信号中丰富的信息不会丢失，从而提高了血糖预测的准确度。
3、本发明充分利用了LSTM可以更好的处理时序信息的优势，利用了脉搏波信号中时间维度的特征，从而使血糖测量更加准确。
附图说明
图1为本发明一种基于深度学习的非接触血糖测量方法的流程图。
图2为本发明的人脸关键点检测示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。
一种基于深度学习的无接触血糖测量方法，用于通过人脸视频来确定被测人员的血糖值，包括以下步骤：
S1、收集脉搏波信号样本，利用CNN神经网络训练一个基于PPG的CNN血糖预测模型；
S2、利用LSTM神经网络训练一个基于脉搏波和CNN预测血糖值以及特征向量的LSTM血糖预测模型；
S3、利用高清摄像头对人脸视频进行实时录制；
S4、使用DLIB库检测人脸关键点，得到人脸区域，然后选取感兴趣区域，通过光电容积脉搏波描记法得到PPG信号；
S5、使用小波分解去除PPG信号的基线漂移现象，并用带通滤波器对信号进行滤波，去除高频噪声，最后对数据进行归一化操作；
S6、将处理后的PPG信号输入训练好的CNN血糖预测模型中，得到被测人员的初步血糖值；
S7、再将PPG信号和CNN血糖预测模型预测的血糖值输入到训练好的LSTM血糖预测模型中，得到被测人员的最终血糖值。
使用DLIB人脸识别模型检测人脸关键点，并通过人脸关键点感兴趣区域，再从感兴趣区域中提取PPG信号，包括：
在每一帧图像上运用人脸检测模型定位到人脸的位置；
检测定位好的人脸的多个关键点，包括下巴、眼睛、鼻子、嘴巴等共68个关键点，通过连接关键点画出人脸的整体轮廓；
标记全部关键点后，选取若干个便于提取光电容积脉搏波信号的关键区域，区域为左右脸颊、额头、下巴、左右鼻翼。
使用小波分解来去除信号中的基线漂移现象，包括：
选取Sym8小波函数作为小波基对脉搏波信号进行八层分解；
提取0—0.1Hz的基线信号，从脉搏波信号中扣除，获得滤除基线漂移的脉搏波信号。
对信号进行合适的预处理，包括：
使用巴特沃兹带通滤波器对信号进行滤波，去除高频噪声；
对数据进行归一化操作，方便后续的血糖预测。
利用CNN神经网络训练一个初步血糖预测模型，包括：
对数据库的脉搏波信号进行预处理；
将处理后的脉搏波信号和对应的血糖值输入搭建好的CNN网络中；
训练并得到一个初步的CNN血糖预测模型。
利用LSTM神经网络训练一个最终血糖预测模型，包括：将数据库中的脉搏波信号进行预处理；
进处理后的信号以及对应的患者血糖值输入权利5所述的CNN血糖预测模型中，预测得到一个初步的血糖值；
将处理后的信号，对应的血糖值，CNN血糖预测模型预测得到的血糖值，以及CNN血糖预测模型最后一层卷积层提取提到的脉搏波特征输入搭建好的LSTM网络模型中；
训练并得到一个最终的LSTM血糖预测模型。
将视频中提取不同区域的脉搏波信号，对信号进行预处理，将处理后的信号输入训练好的CNN血糖预测模型中，从而得到被测人员的初步血糖值，再将信号和初步血糖值，以及CNN血糖预测模型最后一层卷积层提取提到的脉搏波特征输入到训练好的LSTM血糖预测模型中，得到最终的血糖值。
实施例：
步骤S110，使用数据库中的脉搏波数据，利用CNN神经网络训练一个CNN血糖预测模型；
具体地，从多参数重症监护智能监测（MIMIC-II）在线波形数据库选取200名不同患者的脉搏波数据记录，以及对应的患者的血糖值，脉搏波信号使用脉搏血氧仪从手指获取。对选取的信号进行去除基线漂移、滤波、归一化等预处理，每条选取的数据被分为训练、验证、测试三个部分，分别占每个记录长度的70%、10%和20%，然后将处理后的信号以及对应的真实血糖值输入到构建好的CNN神经网络中进行训练，该CNN主要由四个隐藏的卷积层，两个平均池化层以及一个全连接层组成，其中具有60个卷积核的第四层卷积层的输出向量为被提取的特征向量，使用均方差损失函数，训练模型，最终得到CNN血糖预测模型；
步骤S110，使用数据库中的数据，以及训练好的CNN血糖预测模型，利用LSTM网络搭建一个LSTM最终血糖预测模型；
具体地，将之前数据库中处理好的脉搏波信号，对应的血糖值，CNN血糖预测模型预测得到对应初步血糖值，以及CNN血糖预测模型第四层卷积层输出的特征向量输入到搭建好的LSTM神经网络中，该LSTM网络主要由两层LSTM层，以及两层全连接层组成，第一层LSTM层由64个单元组成，第二层则为32个单元，使用带动量的梯度下降法来优化模型，最终得到LSTM最终血糖预测模型；
步骤S120，通过高清摄像头实时获取人脸视频；
具体地，使用高清摄像头进行脸部视频的录制，被测人员应提前了解测试的内容，并做到符合测试要求，不佩戴会遮挡面部关键区域的物体，比如口罩、墨镜、围巾等。视频录制时，要保持环境光线明亮，同时保证被测人员在录制时，脸部可以均匀的接收到光照，不同区域间光强差异不大。在录制期间，被测人员应尽可能的保持身体稳定，避免头部晃动或抖动，保持自己的面部始终正对摄像头，直到达到设定好的采集时间，若出现大幅度的晃动则应重新采集。
步骤S130，使用DLIB人脸识别模型识别人脸关键点，选取面部感兴趣区域，从区域中提取人脸图像；
具体地，在每一帧图像上运用人脸检测模型定位到人脸的位置
标记人脸的68个关键点，包括下巴、眼睛、鼻子、嘴巴等，通过连接相应的关键点画出人脸的整体轮廓；
标记全部关键点后，选取若干个便于提取光电容积脉搏波信号的关键区域，区域为左右脸颊、额头、下巴、左右鼻翼；
在每个区域截取尺寸为的图像，对每个图像的光电容积脉搏波信号取均值，得到不同区域的脉搏波时域信号。
步骤S140，对提取得到的脉搏波信号进行预处理操作；
具体的，首先对信号使用小波分解来去除信号中的基线漂移现象，由于在各种小波基函数中，Sym8小波函数和原始脉搏波信号更为相似，所以选取Sym8小波函数作为小波基对脉搏波信号进行八层分解，其中脉搏波信号能量主要分布在0.5—10Hz范围内，而基线信号的频率一般小于0.5Hz，不存在与脉搏信号频谱重叠的区域，因此提取0—0.1Hz的基线信号，从脉搏波信号中扣除，即可获得滤除基线漂移的脉搏波信号；再使用巴特沃兹带通滤波器对信号进行滤波，带通频率为0.5—10Hz，去除高频噪声；最后对脉搏波信号进行归一化操作，方便后续的血糖预测。
步骤S150，将处理后的脉搏波信号先输入到训练好的CNN血糖预测模型中，得到被测人的初步血糖值，再提取CNN血糖预测模型最后一层卷积层从信号中提取的特征，将脉搏波信号、初步血糖值以及提取的特征输入训练好的LSTM网络中，预测得到最终的血糖值，将血糖值和正常的血糖范围进行对比，判断被测人员的血糖值是否处于正常范围。
以上，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。
Claims (6)
1.一种基于深度学习的无接触血糖测量方法，用于通过人脸视频来确定被测人员的血糖值，其特征在于，包括以下步骤：
S1、利用高清摄像头对人脸视频进行实时录制；
S2、使用DLIB库检测人脸关键点，得到人脸区域，然后选取关键点区域，通过光电容积脉搏波描记法得到PPG信号；
使用DLIB人脸识别模型检测人脸关键点，并通过人脸关键点区域中提取PPG信号，包括：
在每一帧图像上运用DLIB人脸识别模型定位到人脸的位置；
检测定位好的人脸的多个关键点，人脸共68个关键点，通过连接关键点画出人脸的整体轮廓；
标记全部关键点后，选取若干个便于提取光电容积脉搏波信号的关键点区域，区域为左右脸颊、额头、下巴、左右鼻翼；
选取左右脸颊、额头、下巴、左右鼻翼中任一脸部区域，从选取区域中提取PPG信号；
S3、使用小波分解去除PPG信号的基线漂移现象，并用带通滤波器对PPG信号进行滤波，去除高频噪声，最后对数据进行归一化操作；
S4、将处理后的PPG信号输入训练好的CNN血糖预测模型中，得到被测人员的初步血糖值；所述CNN血糖预测模型为通过收集脉搏波信号样本，利用CNN神经网络训练基于PPG的CNN血糖预测模型；
S5、再将PPG信号和CNN血糖预测模型预测的血糖值输入到训练好的LSTM血糖预测模型中，得到被测人员的最终血糖值；所述LSTM血糖预测模型为利用LSTM神经网络训练基于脉搏波和CNN预测血糖值以及特征向量的LSTM血糖预测模型。
2.根据权利要求1所述的一种基于深度学习的无接触血糖测量方法，其特征在于：使用小波分解去除PPG信号中的基线漂移现象，具体步骤包括：
选取Sym8小波函数作为小波基对脉搏波信号进行八层分解；
提取0—0.1Hz的基线信号，从脉搏波信号中扣除，获得滤除基线漂移的PPG信号。
3.根据权利要求2所述的一种基于深度学习的无接触血糖测量方法，其特征在于：对PPG信号进行预处理，包括：
使用巴特沃兹带通滤波器对信号进行滤波，去除高频噪声；
对数据进行归一化操作，方便后续的血糖预测。
4.根据权利要求1所述的一种基于深度学习的无接触血糖测量方法，其特征在于：利用CNN神经网络训练血糖预测模型，包括：
对数据库的脉搏波信号进行预处理；
将处理后的脉搏波信号和对应的血糖值输入搭建好的CNN网络中；
训练并得到CNN血糖预测模型。
5.根据权利要求4所述的一种基于深度学习的无接触血糖测量方法，其特征在于：利用LSTM神经网络训练血糖预测模型，包括：将数据库中的脉搏波信号进行预处理；
将处理后的信号以及对应的血糖值输入所述的CNN血糖预测模型中，预测得到一个初步的血糖值；
将处理后的信号、对应的血糖值、CNN血糖预测模型预测得到的血糖值、以及CNN血糖预测模型最后一层卷积层提取提到的脉搏波特征输入搭建好的LSTM网络模型中；
训练并得到最终的LSTM血糖预测模型。
6.根据权利要求5所述的一种基于深度学习的无接触血糖测量方法，其特征在于：在视频中提取不同区域的PPG信号，对PPG信号进行预处理，将处理后的PPG信号输入训练好的CNN血糖预测模型中，从而得到被测人员的初步血糖值，再将信号和初步血糖值，以及CNN血糖预测模型最后一层卷积层提取提到的脉搏波特征输入到训练好的LSTM血糖预测模型中，得到最终的血糖值。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110878989.6A CN113576475B (zh) | 2021-08-02 | 2021-08-02 | 一种基于深度学习的无接触血糖测量方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110878989.6A CN113576475B (zh) | 2021-08-02 | 2021-08-02 | 一种基于深度学习的无接触血糖测量方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113576475A CN113576475A (zh) | 2021-11-02 |
| CN113576475B true CN113576475B (zh) | 2023-04-21 |
Family
ID=78253638
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110878989.6A Active CN113576475B (zh) | 2021-08-02 | 2021-08-02 | 一种基于深度学习的无接触血糖测量方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113576475B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114239658B (zh) * | 2021-12-20 | 2024-05-10 | 桂林电子科技大学 | 一种基于小波分解与gru神经网络的血糖预测方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN203365324U (zh) * | 2013-04-22 | 2013-12-25 | 浙江师范大学 | 一种基于腔衰荡光谱技术的糖尿病检测装置 |
| CN107157492A (zh) * | 2017-05-19 | 2017-09-15 | 国家电网公司 | 一种嵌入式人体生理信息无创检测系统及数据处理方法 |
| CN109872821A (zh) * | 2019-04-24 | 2019-06-11 | 北京信息科技大学 | 一种构建血糖预测模型的方法及装置 |
| WO2019161411A1 (en) * | 2018-02-17 | 2019-08-22 | Sanmina Corporation | System and method for obtaining health data using a neural network |
| CN110403611A (zh) * | 2018-04-28 | 2019-11-05 | 张世平 | 血液成分值预测方法、装置、计算机设备和存储介质 |
| WO2020099218A1 (en) * | 2018-11-15 | 2020-05-22 | My-Vitality Sàrl | Self-monitoring and care assistant for achieving glycemic goals |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11103140B2 (en) * | 2015-06-14 | 2021-08-31 | Facense Ltd. | Monitoring blood sugar level with a comfortable head-mounted device |
| US20200187793A1 (en) * | 2018-12-18 | 2020-06-18 | Movano Inc. | Systems for radio wave based health monitoring that utilize data derived from amplitude and/or phase data |
-
2021
- 2021-08-02 CN CN202110878989.6A patent/CN113576475B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN203365324U (zh) * | 2013-04-22 | 2013-12-25 | 浙江师范大学 | 一种基于腔衰荡光谱技术的糖尿病检测装置 |
| CN107157492A (zh) * | 2017-05-19 | 2017-09-15 | 国家电网公司 | 一种嵌入式人体生理信息无创检测系统及数据处理方法 |
| WO2019161411A1 (en) * | 2018-02-17 | 2019-08-22 | Sanmina Corporation | System and method for obtaining health data using a neural network |
| CN110403611A (zh) * | 2018-04-28 | 2019-11-05 | 张世平 | 血液成分值预测方法、装置、计算机设备和存储介质 |
| WO2020099218A1 (en) * | 2018-11-15 | 2020-05-22 | My-Vitality Sàrl | Self-monitoring and care assistant for achieving glycemic goals |
| CN109872821A (zh) * | 2019-04-24 | 2019-06-11 | 北京信息科技大学 | 一种构建血糖预测模型的方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113576475A (zh) | 2021-11-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Zhang et al. | A noninvasive blood glucose monitoring system based on smartphone PPG signal processing and machine learning | |
| Fernandes et al. | A novel nonintrusive decision support approach for heart rate measurement | |
| Sanyal et al. | Algorithms for monitoring heart rate and respiratory rate from the video of a user’s face | |
| WO2018107915A1 (zh) | 一种基于时序分析的通用无创血糖预测方法 | |
| US20220151504A1 (en) | Smart windowing to reduce power consumption of a head-mounted camera used for iPPG | |
| KR101738278B1 (ko) | 영상을 이용한 감정 인식 방법 | |
| CN111466876B (zh) | 一种基于fNIRS和图神经网络的阿尔兹海默症辅助诊断系统 | |
| CN102973253A (zh) | 一种利用视觉信息监测人体生理指标的方法和系统 | |
| CN114781465B (zh) | 一种基于rPPG的非接触式疲劳检测系统及方法 | |
| CN103263271A (zh) | 非接触式自动血氧饱和度测量系统及测量方法 | |
| CN111275018B (zh) | 一种基于环形感兴趣区域加权的非接触式心率信号提取方法 | |
| CN112294282A (zh) | 基于rppg的情绪检测装置的自标定方法 | |
| CN113576475B (zh) | 一种基于深度学习的无接触血糖测量方法 | |
| CN106974660B (zh) | 基于脑功能活动检测中的血氧特征实现性别判定的方法 | |
| CN113456042A (zh) | 一种基于3d cnn的无接触面部血压测量方法 | |
| Hu et al. | Study on Real-Time Heart Rate Detection Based on Multi-People. | |
| KR20200001911A (ko) | 사용자의 신원 파악이 가능한 혈압 모니터링 방법 및 시스템 | |
| AV et al. | Non-contact heart rate monitoring using machine learning | |
| Sinhal et al. | Color intensity: a study of RPPG algorithm for heart rate estimation | |
| CN114271800B (zh) | 一种办公环境下的非侵扰式连续血压监测方法及应用 | |
| Cruz et al. | Non-contact heart rate and respiratory rate monitoring system using histogram of oriented gradients | |
| Li et al. | Non-contact real-time monitoring of driver’s physiological parameters under ambient light condition | |
| KR102132959B1 (ko) | 사용자의 신원 파악이 가능한 심박동수 모니터링 방법 및 시스템 | |
| CN113397516B (zh) | 一种面向新生儿的视觉心率估计方法、装置及系统 | |
| Raju et al. | Real-Time Hemoglobin Measurement Using Smartphone Video and Artificial Neural Network |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information |
Address after: 321004 building 41, old family area, Zhejiang Normal University, Jinhua City, Zhejiang Province Applicant after: ZHEJIANG NORMAL University Address before: 321004 building 41, laojiashu District, Jiang Normal University, Jinhua City, Zhejiang Province Applicant before: ZHEJIANG NORMAL University |
|
| CB02 | Change of applicant information | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |