CN113576475A - 一种基于深度学习的无接触血糖测量方法 - Google Patents
一种基于深度学习的无接触血糖测量方法 Download PDFInfo
- Publication number
- CN113576475A CN113576475A CN202110878989.6A CN202110878989A CN113576475A CN 113576475 A CN113576475 A CN 113576475A CN 202110878989 A CN202110878989 A CN 202110878989A CN 113576475 A CN113576475 A CN 113576475A
- Authority
- CN
- China
- Prior art keywords
- blood sugar
- prediction model
- cnn
- face
- pulse wave
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 239000008280 blood Substances 0.000 title claims abstract description 189
- 210000004369 blood Anatomy 0.000 title claims abstract description 189
- 238000013135 deep learning Methods 0.000 title claims abstract description 19
- WQZGKKKJIJFFOK-GASJEMHNSA-N Glucose Natural products OC[C@H]1OC(O)[C@H](O)[C@@H](O)[C@@H]1O WQZGKKKJIJFFOK-GASJEMHNSA-N 0.000 title claims description 33
- 239000008103 glucose Substances 0.000 title claims description 33
- 238000000691 measurement method Methods 0.000 title description 4
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 67
- 238000000034 method Methods 0.000 claims abstract description 35
- 238000013528 artificial neural network Methods 0.000 claims abstract description 21
- 238000007781 pre-processing Methods 0.000 claims abstract description 15
- 238000013186 photoplethysmography Methods 0.000 claims abstract description 12
- 238000012549 training Methods 0.000 claims description 18
- 238000000354 decomposition reaction Methods 0.000 claims description 14
- 238000001914 filtration Methods 0.000 claims description 14
- 210000001061 forehead Anatomy 0.000 claims description 8
- 230000006870 function Effects 0.000 claims description 7
- 239000013598 vector Substances 0.000 claims description 7
- 238000010606 normalization Methods 0.000 claims description 6
- 238000005259 measurement Methods 0.000 abstract description 6
- 206010012601 diabetes mellitus Diseases 0.000 description 8
- 201000010099 disease Diseases 0.000 description 4
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000001815 facial effect Effects 0.000 description 2
- NOESYZHRGYRDHS-UHFFFAOYSA-N insulin Chemical compound N1C(=O)C(NC(=O)C(CCC(N)=O)NC(=O)C(CCC(O)=O)NC(=O)C(C(C)C)NC(=O)C(NC(=O)CN)C(C)CC)CSSCC(C(NC(CO)C(=O)NC(CC(C)C)C(=O)NC(CC=2C=CC(O)=CC=2)C(=O)NC(CCC(N)=O)C(=O)NC(CC(C)C)C(=O)NC(CCC(O)=O)C(=O)NC(CC(N)=O)C(=O)NC(CC=2C=CC(O)=CC=2)C(=O)NC(CSSCC(NC(=O)C(C(C)C)NC(=O)C(CC(C)C)NC(=O)C(CC=2C=CC(O)=CC=2)NC(=O)C(CC(C)C)NC(=O)C(C)NC(=O)C(CCC(O)=O)NC(=O)C(C(C)C)NC(=O)C(CC(C)C)NC(=O)C(CC=2NC=NC=2)NC(=O)C(CO)NC(=O)CNC2=O)C(=O)NCC(=O)NC(CCC(O)=O)C(=O)NC(CCCNC(N)=N)C(=O)NCC(=O)NC(CC=3C=CC=CC=3)C(=O)NC(CC=3C=CC=CC=3)C(=O)NC(CC=3C=CC(O)=CC=3)C(=O)NC(C(C)O)C(=O)N3C(CCC3)C(=O)NC(CCCCN)C(=O)NC(C)C(O)=O)C(=O)NC(CC(N)=O)C(O)=O)=O)NC(=O)C(C(C)CC)NC(=O)C(CO)NC(=O)C(C(C)O)NC(=O)C1CSSCC2NC(=O)C(CC(C)C)NC(=O)C(NC(=O)C(CCC(N)=O)NC(=O)C(CC(N)=O)NC(=O)C(NC(=O)C(N)CC=1C=CC=CC=1)C(C)C)CC1=CN=CN1 NOESYZHRGYRDHS-UHFFFAOYSA-N 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 102000004877 Insulin Human genes 0.000 description 1
- 108090001061 Insulin Proteins 0.000 description 1
- 206010028980 Neoplasm Diseases 0.000 description 1
- 230000001154 acute effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010241 blood sampling Methods 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 150000001720 carbohydrates Chemical class 0.000 description 1
- 235000014633 carbohydrates Nutrition 0.000 description 1
- 230000009084 cardiovascular function Effects 0.000 description 1
- 230000001684 chronic effect Effects 0.000 description 1
- 230000001066 destructive effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 238000002848 electrochemical method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 229940125396 insulin Drugs 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 230000003340 mental effect Effects 0.000 description 1
- 230000002503 metabolic effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 102000004169 proteins and genes Human genes 0.000 description 1
- 108090000623 proteins and genes Proteins 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/145—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
- A61B5/1455—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/024—Detecting, measuring or recording pulse rate or heart rate
- A61B5/02416—Detecting, measuring or recording pulse rate or heart rate using photoplethysmograph signals, e.g. generated by infrared radiation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/145—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
- A61B5/14532—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue for measuring glucose, e.g. by tissue impedance measurement
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
- A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Public Health (AREA)
- Molecular Biology (AREA)
- Veterinary Medicine (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Animal Behavior & Ethology (AREA)
- Surgery (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Physiology (AREA)
- Evolutionary Computation (AREA)
- Mathematical Physics (AREA)
- Signal Processing (AREA)
- Psychiatry (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Fuzzy Systems (AREA)
- Optics & Photonics (AREA)
- Cardiology (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Emergency Medicine (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
Abstract
本发明公开了一种基于深度学习的无接触血糖测量方法，该方法包括：包括人脸信息采集，使用高清摄像头定时录制人脸视频，用于获取原始人脸的图像；关键点区域选取模块，在视频的每一帧中标记人脸关键点，选取关键点区域，得到关键点区域的脉搏波时域信号；信号处理，对视频中得到光电容积脉搏波信号进行预处理，便于后续的血糖预测；血糖预测，将预处理后的脉搏波信号输入训练好的CNN血糖预测模型，得到被测人员的初步血糖值，再将脉搏波信号和CNN血糖预测模型预测的血糖值输入LSTM神经网络训练的LSTM血糖预测模型中，得到最终的血糖值。本发明利用CNN神经网络和LSTM神经网络对光电容积脉搏波信号进行预测，该方法可实现无接触的血糖测量。
Description
技术领域
本发明涉及计算机视觉技术领域，尤其涉及一种基于深度学习的 无接触血糖测量方法。
背景技术
糖尿病是危害人类健康的四大疾病之一。是一种由于人体体内胰岛素不足引起的糖类、蛋白质和脂肪出现代谢紊乱现象的疾病。糖尿病会造成多种急性和慢性并发症。目前全世界范围内的糖尿病患者人数已达4.15亿，预测至2040年患病人数将达6.42亿。糖尿病对人体的危害仅次于癌症，是现代疾病中的第二大杀手。更值得引起所有人注意的是糖尿病有向年轻人发展的趋势，也就是说，糖尿病不再是中老年疾病。糖尿病不仅给患者及其家庭带来了痛苦，而且逐年增长的糖尿病人群也给国家和社会带来了沉重的负担。
对于糖尿病患者来说，在治疗过程中必须准确实时的监测体内血 糖浓度，并以此为依据及时地调整药物的用量。目前，最常用的测量 血糖的手段是采集人体血液后通过电化学的方法进行测量。但传统采 血测量会给患者带来疼痛，操作也不便捷，且长期使用会对患者身心 带来伤害，因此，一种无接触的血糖测量方法对于糖尿病患者来说是 非常有必要的。光电容积脉搏波描记法(photoplethysmography，简 称脉搏波)的出现为血糖测量提供了新的方向，脉搏波可以反映出被 测者心血管功能方面的许多信息，其中就包括血液中的葡糖糖成分信 息，从而可以通过脉搏波来测得患者的血糖。
然而目前市面上无接触的血糖测量还非常少，特别是基于面部脉 搏波信号来预测血糖。例如公开号CN110680342A(一种多光谱收发 集成传感器及非接触式无损血糖仪)，该方法通过多光谱收发集成传 感器实现无接触的血糖测量。公开号CN205667551U(一种新型无创 伤性血糖监测仪)，该方法设计了一种通过两个测量电极来测量患者 血糖的血糖检测仪，该方法结构简单，使用方便，但多次测量仍会对 被测人员的身体造成刺激，不适合长时间使用。
因此设计一种基于深度学习的无接触血糖测量方法。
发明内容
本发明的目的是为了解决上述背景技术中涉及的问题而提出的 一种基于深度学习的无接触血糖测量方法。
为了实现上述目的，本发明采用了如下技术方案：
一种基于深度学习的无接触血糖测量方法，用于通过人脸视频来 确定被测人员的血糖值，包括以下步骤：
S1、利用高清摄像头对人脸视频进行实时录制；
S2、使用DLIB库检测人脸关键点，得到人脸区域，然后选取关 键点区域，通过光电容积脉搏波描记法得到PPG信号；
S3、使用小波分解去除PPG信号的基线漂移现象，并用带通滤波 器对PPG信号进行滤波，去除高频噪声，最后对数据进行归一化操作；
S4、将处理后的PPG信号输入训练好的CNN血糖预测模型中，得 到被测人员的初步血糖值；所述CNN血糖预测模型为通过收集脉搏波 信号样本，利用CNN神经网络训练基于PPG的CNN血糖预测模型；
S5、再将PPG信号和CNN血糖预测模型预测的血糖值输入到训练 好的LSTM血糖预测模型中，得到被测人员的最终血糖值；所述LSTM 血糖预测模型为利用LSTM神经网络训练基于脉搏波和CNN预测血糖 值以及特征向量的LSTM血糖预测模型。
优选的，使用DLIB人脸识别模型检测人脸关键点，并通过人脸 关键点区域中提取PPG信号，包括：
在每一帧图像上运用DLIB人脸识别模型定位到人脸的位置；
检测定位好的人脸的多个关键点，人脸共68个关键点，通过连 接关键点画出人脸的整体轮廓；
标记全部关键点后，选取若干个便于提取光电容积脉搏波信号的 关键点区域，区域为左右脸颊、额头、下巴、左右鼻翼；
选取左右脸颊、额头、下巴、左右鼻翼中任一脸部区域，从选取 区域中提取PPG信号。
优选的，使用小波分解去除PPG信号中的基线漂移现象，具体步 骤包括：
选取Sym8小波函数作为小波基对脉搏波信号进行八层分解；
提取0—0.1Hz的基线信号，从脉搏波信号中扣除，获得滤除基 线漂移的PPG信号。
优选的，对PP信号进行预处理，包括：
使用巴特沃兹带通滤波器对信号进行滤波，去除高频噪声；
对数据进行归一化操作，方便后续的血糖预测。
优选的，利用CNN神经网络训练血糖预测模型，包括：
对数据库的脉搏波信号进行预处理；
将处理后的脉搏波信号和对应的血糖值输入搭建好的CNN网络 中；
训练并得到CNN血糖预测模型。
优选的，利用LSTM神经网络训练血糖预测模型，包括：将数据 库中的脉搏波信号进行预处理；
将处理后的信号以及对应的血糖值输入所述的CNN血糖预测模 型中，预测得到一个初步的血糖值；
将处理后的信号、对应的血糖值、CNN血糖预测模型预测得到的 血糖值、以及CNN血糖预测模型最后一层卷积层提取提到的脉搏波特 征输入搭建好的LSTM网络模型中；
训练并得到最终的LSTM血糖预测模型。
优选的，在视频中提取不同区域的PPG信号，对PPG信号进行预 处理，将处理后的PPG信号输入训练好的CNN血糖预测模型中，从而 得到被测人员的初步血糖值，再将信号和初步血糖值，以及CNN血糖 预测模型最后一层卷积层提取提到的脉搏波特征输入到训练好的LST M血糖预测模型中，得到最终的血糖值。
本发明所述的一种基于深度学习的无接触血糖测量方法，通过摄 像头获取人脸的视频图像，使用人脸识别模型标记人脸关键点，然后 通过人脸关键点确定关键区域，从选取的关键区域中提取光电容积脉 搏波信号，将得到的信号进行去除基线漂移、滤波、归一化等预处理， 再处理后的脉搏波信号输入训练好的CNN神经网络模型中，得到被测 人员的初步血糖值，最后，将处理后的脉搏波信号、初步血糖值以及 CNN模型第四层卷积层提取的特征向量输入到训练好的LSTM模型中， 预测得到最终的血糖值
与现有技术相比，本发明提供了一种基于深度学习的无接触血糖 测量方法，具备以下有益效果：
1、本发明使用从脸部视频提取得到的光电容积脉搏波信号进行 血糖预测，该方法是无接触的血糖测量方法，长时间使用也不会对被 测者造成身心上的伤害，并且操作简便，测量准确率较高。
2、本发明充分利用了CNN神经网络提取图像特征的优势，首先 使用CNN网络对脉搏波信号提取特征，确保了脉搏波信号中丰富的信 息不会丢失，从而提高了血糖预测的准确度。
3、本发明充分利用了LSTM可以更好的处理时序信息的优势，利 用了脉搏波信号中时间维度的特征，从而使血糖测量更加准确。
附图说明
图1为本发明一种基于深度学习的非接触血糖测量方法的流程 图。
图2为本发明的人脸关键点检测示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方 案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部 分实施例，而不是全部的实施例。
一种基于深度学习的无接触血糖测量方法，用于通过人脸视频来 确定被测人员的血糖值，包括以下步骤：
S1、收集脉搏波信号样本，利用CNN神经网络训练一个基于PPG 的CNN血糖预测模型；
S2、利用LSTM神经网络训练一个基于脉搏波和CNN预测血糖值 以及特征向量的LSTM血糖预测模型；
S3、利用高清摄像头对人脸视频进行实时录制；
S4、使用DLIB库检测人脸关键点，得到人脸区域，然后选取关 键点区域，通过光电容积脉搏波描记法得到PPG信号；
S5、使用小波分解去除PPG信号的基线漂移现象，并用带通滤波 器对信号进行滤波，去除高频噪声，最后对数据进行归一化操作；
S6、将处理后的PPG信号输入训练好的CNN血糖预测模型中，得 到被测人员的初步血糖值；
S7、再将PPG信号和CNN血糖预测模型预测的血糖值输入到训练 好的LSTM血糖预测模型中，得到被测人员的最终血糖值。
使用DLIB人脸识别模型检测人脸关键点，并通过人脸关键点关 键点区域，再从关键点区域中提取PPG信号，包括：
在每一帧图像上运用人脸检测模型定位到人脸的位置；
检测定位好的人脸的多个关键点，包括下巴、眼睛、鼻子、嘴巴 等共68个关键点，通过连接关键点画出人脸的整体轮廓；
标记全部关键点后，选取若干个便于提取光电容积脉搏波信号的 关键区域，区域为左右脸颊、额头、下巴、左右鼻翼。
使用小波分解来去除信号中的基线漂移现象，包括：
选取Sym8小波函数作为小波基对脉搏波信号进行八层分解；
提取0—0.1Hz的基线信号，从脉搏波信号中扣除，获得滤除基 线漂移的脉搏波信号。
对信号进行合适的预处理，包括：
使用巴特沃兹带通滤波器对信号进行滤波，去除高频噪声；
对数据进行归一化操作，方便后续的血糖预测。
利用CNN神经网络训练一个初步血糖预测模型，包括：
对数据库的脉搏波信号进行预处理；
将处理后的脉搏波信号和对应的血糖值输入搭建好的CNN网络 中；
训练并得到一个初步的CNN血糖预测模型。
利用LSTM神经网络训练一个最终血糖预测模型，包括：将数据 库中的脉搏波信号进行预处理；
进处理后的信号以及对应的患者血糖值输入权利5所述的CNN血 糖预测模型中，预测得到一个初步的血糖值；
将处理后的信号，对应的血糖值，CNN血糖预测模型预测得到的 血糖值，以及CNN血糖预测模型最后一层卷积层提取提到的脉搏波特 征输入搭建好的LSTM网络模型中；
训练并得到一个最终的LSTM血糖预测模型。
将视频中提取不同区域的脉搏波信号，对信号进行预处理，将处 理后的信号输入训练好的CNN血糖预测模型中，从而得到被测人员的 初步血糖值，再将信号和初步血糖值，以及CNN血糖预测模型最后一 层卷积层提取提到的脉搏波特征输入到训练好的LSTM血糖预测模型 中，得到最终的血糖值。
实施例：
一种基于深度学习的无接触血糖测量方法，用于通过人脸视频来 确定被测人员的血糖值，包括以下步骤：
S1、利用高清摄像头对人脸视频进行实时录制；
S2、使用DLIB库检测人脸关键点，得到人脸区域，然后选取关 键点区域，通过光电容积脉搏波描记法得到PPG信号；
S3、使用小波分解去除PPG信号的基线漂移现象，并用带通滤波 器对PPG信号进行滤波，去除高频噪声，最后对数据进行归一化操作；
S4、将处理后的PPG信号输入训练好的CNN血糖预测模型中，得 到被测人员的初步血糖值；所述CNN血糖预测模型为通过收集脉搏波 信号样本，利用CNN神经网络训练基于PPG的CNN血糖预测模型；
S5、再将PPG信号和CNN血糖预测模型预测的血糖值输入到训练 好的LSTM血糖预测模型中，得到被测人员的最终血糖值；所述LSTM 血糖预测模型为利用LSTM神经网络训练基于脉搏波和CNN预测血糖 值以及特征向量的LSTM血糖预测模型。
使用DLIB人脸识别模型检测人脸关键点，并通过人脸关键点区 域中提取PPG信号，包括：
在每一帧图像上运用DLIB人脸识别模型定位到人脸的位置；
检测定位好的人脸的多个关键点，人脸共68个关键点，通过连 接关键点画出人脸的整体轮廓；
标记全部关键点后，选取若干个便于提取光电容积脉搏波信号的 关键点区域，区域为左右脸颊、额头、下巴、左右鼻翼；
选取左右脸颊、额头、下巴、左右鼻翼中任一脸部区域，从选取 区域中提取PPG信号。
使用小波分解去除PPG信号中的基线漂移现象，具体步骤包括：
选取Sym8小波函数作为小波基对脉搏波信号进行八层分解；
提取0—0.1Hz的基线信号，从脉搏波信号中扣除，获得滤除基 线漂移的PPG信号。
对PPG信号进行预处理，包括：
使用巴特沃兹带通滤波器对信号进行滤波，去除高频噪声；
对数据进行归一化操作，方便后续的血糖预测。
利用CNN神经网络训练血糖预测模型，包括：
对数据库的脉搏波信号进行预处理；
将处理后的脉搏波信号和对应的血糖值输入搭建好的CNN网络 中；
训练并得到CNN血糖预测模型。
利用LSTM神经网络训练血糖预测模型，包括：将数据库中的脉 搏波信号进行预处理；
将处理后的信号以及对应的血糖值输入所述的CNN血糖预测模 型中，预测得到一个初步的血糖值；
将处理后的信号、对应的血糖值、CNN血糖预测模型预测得到的 血糖值、以及CNN血糖预测模型最后一层卷积层提取提到的脉搏波特 征输入搭建好的LSTM网络模型中；
训练并得到最终的LSTM血糖预测模型。
在视频中提取不同区域的PPG信号，对PPG信号进行预处理，将 处理后的PPG信号输入训练好的CNN血糖预测模型中，从而得到被测 人员的初步血糖值，再将信号和初步血糖值，以及CNN血糖预测模型 最后一层卷积层提取提到的脉搏波特征输入到训练好的LSTM血糖预 测模型中，得到最终的血糖值。
本发明中通过高清摄像头实时获取人脸视频；
具体地，使用高清摄像头进行脸部视频的录制，被测人员应提前 了解测试的内容，并做到符合测试要求，不佩戴会遮挡面部关键区域 的物体，比如口罩、墨镜、围巾等。视频录制时，要保持环境光线明 亮，同时保证被测人员在录制时，脸部可以均匀的接收到光照，不同 区域间光强差异不大。在录制期间，被测人员应尽可能的保持身体稳 定，避免头部晃动或抖动，保持自己的面部始终正对摄像头，直到达 到设定好的采集时间，若出现大幅度的晃动则应重新采集。
本发明中使用DLIB人脸识别模型识别人脸关键点，选取面部关 键点区域，从区域中提取人脸图像；
具体地，在每一帧图像上运用人脸检测模型定位到人脸的位置
标记人脸的68个关键点，包括下巴、眼睛、鼻子、嘴巴等，通 过连接相应的关键点画出人脸的整体轮廓；
标记全部关键点后，选取若干个便于提取光电容积脉搏波信号的 关键区域，区域为左右脸颊、额头、下巴、左右鼻翼；
在每个区域截取尺寸为50×50的图像，对每个图像的光电容积脉 搏波信号取均值，得到不同区域的脉搏波时域信号。
本发明中对提取得到的脉搏波信号进行预处理操作；
具体的，首先对信号使用小波分解来去除信号中的基线漂移现 象，由于在各种小波基函数中，Sym8小波函数和原始脉搏波信号更 为相似，所以选取Sym8小波函数作为小波基对脉搏波信号进行八层 分解，其中脉搏波信号能量主要分布在0.5—10Hz范围内，而基线信 号的频率一般小于0.5Hz，不存在与脉搏信号频谱重叠的区域，因此 提取0—0.1Hz的基线信号，从脉搏波信号中扣除，即可获得滤除基 线漂移的脉搏波信号；再使用巴特沃兹带通滤波器对信号进行滤波， 带通频率为0.5—10Hz，去除高频噪声；最后对脉搏波信号进行归一 化操作，方便后续的血糖预测。
本发明中使用数据库中的数据，以及训练好的CNN血糖预测模 型，利用LSTM网络搭建LSTM血糖预测模型；
具体地，将之前数据库中处理好的脉搏波信号，对应的血糖值， CNN血糖预测模型预测得到对应初步血糖值，以及CNN血糖预测模型 第四层卷积层输出的特征向量输入到搭建好的LSTM神经网络中，该 LSTM网络主要由两层LSTM层，以及两层全连接层组成，第一层LSTM 层由64个单元组成，第二层则为32个单元，使用带动量的梯度下降 法来优化模型，最终得到LSTM最终血糖预测模型；
将处理后的脉搏波信号先输入到训练好的CNN血糖预测模型中， 得到被测人的初步血糖值，再提取CNN血糖预测模型最后一层卷积层 从信号中提取的特征，将脉搏波信号、初步血糖值以及提取的特征输 入训练好的LSTM网络中，预测得到最终的血糖值，将血糖值和正常 的血糖范围进行对比，判断被测人员的血糖值是否处于正常范围。
以上，仅为本发明较佳的具体实施方式，但本发明的保护范围并 不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范 围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都 应涵盖在本发明的保护范围之内。
Claims (7)
1.一种基于深度学习的无接触血糖测量方法，用于通过人脸视频来确定被测人员的血糖值，其特征在于，包括以下步骤：
S1、利用高清摄像头对人脸视频进行实时录制；
S2、使用DLIB库检测人脸关键点，得到人脸区域，然后选取关键点区域，通过光电容积脉搏波描记法得到PPG信号；
S3、使用小波分解去除PPG信号的基线漂移现象，并用带通滤波器对PPG信号进行滤波，去除高频噪声，最后对数据进行归一化操作；
S4、将处理后的PPG信号输入训练好的CNN血糖预测模型中，得到被测人员的初步血糖值；所述CNN血糖预测模型为通过收集脉搏波信号样本，利用CNN神经网络训练基于PPG的CNN血糖预测模型；
S5、再将PPG信号和CNN血糖预测模型预测的血糖值输入到训练好的LSTM血糖预测模型中，得到被测人员的最终血糖值；所述LSTM血糖预测模型为利用LSTM神经网络训练基于脉搏波和CNN预测血糖值以及特征向量的LSTM血糖预测模型。
2.根据权利要求1所述的一种基于深度学习的无接触血糖测量方法，其特征在于：使用DLIB人脸识别模型检测人脸关键点，并通过人脸关键点区域中提取PPG信号，包括：
在每一帧图像上运用DLIB人脸识别模型定位到人脸的位置；
检测定位好的人脸的多个关键点，人脸共68个关键点，通过连接关键点画出人脸的整体轮廓；
标记全部关键点后，选取若干个便于提取光电容积脉搏波信号的关键点区域，区域为左右脸颊、额头、下巴、左右鼻翼；
选取左右脸颊、额头、下巴、左右鼻翼中任一脸部区域，从选取区域中提取PPG信号。
3.根据权利要求2所述的一种基于深度学习的无接触血糖测量方法，其特征在于：使用小波分解去除PPG信号中的基线漂移现象，具体步骤包括：
选取Sym8小波函数作为小波基对脉搏波信号进行八层分解；
提取0—0.1Hz的基线信号，从脉搏波信号中扣除，获得滤除基线漂移的PPG信号。
4.根据权利要求3所述的一种基于深度学习的无接触血糖测量方法，其特征在于：对PPG信号进行预处理，包括：
使用巴特沃兹带通滤波器对信号进行滤波，去除高频噪声；
对数据进行归一化操作，方便后续的血糖预测。
5.根据权利要求1所述的一种基于深度学习的无接触血糖测量方法，其特征在于：利用CNN神经网络训练血糖预测模型，包括：
对数据库的脉搏波信号进行预处理；
将处理后的脉搏波信号和对应的血糖值输入搭建好的CNN网络中；
训练并得到CNN血糖预测模型。
6.根据权利要求5所述的一种基于深度学习的无接触血糖测量方法，其特征在于：利用LSTM神经网络训练血糖预测模型，包括：将数据库中的脉搏波信号进行预处理；
将处理后的信号以及对应的血糖值输入所述的CNN血糖预测模型中，预测得到一个初步的血糖值；
将处理后的信号、对应的血糖值、CNN血糖预测模型预测得到的血糖值、以及CNN血糖预测模型最后一层卷积层提取提到的脉搏波特征输入搭建好的LSTM网络模型中；
训练并得到最终的LSTM血糖预测模型。
7.根据权利要求6所述的一种基于深度学习的无接触血糖测量方法，其特征在于：在视频中提取不同区域的PPG信号，对PPG信号进行预处理，将处理后的PPG信号输入训练好的CNN血糖预测模型中，从而得到被测人员的初步血糖值，再将信号和初步血糖值，以及CNN血糖预测模型最后一层卷积层提取提到的脉搏波特征输入到训练好的LSTM血糖预测模型中，得到最终的血糖值。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110878989.6A CN113576475B (zh) | 2021-08-02 | 2021-08-02 | 一种基于深度学习的无接触血糖测量方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110878989.6A CN113576475B (zh) | 2021-08-02 | 2021-08-02 | 一种基于深度学习的无接触血糖测量方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113576475A true CN113576475A (zh) | 2021-11-02 |
| CN113576475B CN113576475B (zh) | 2023-04-21 |
Family
ID=78253638
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110878989.6A Active CN113576475B (zh) | 2021-08-02 | 2021-08-02 | 一种基于深度学习的无接触血糖测量方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113576475B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114239658A (zh) * | 2021-12-20 | 2022-03-25 | 桂林电子科技大学 | 一种基于小波分解与gru神经网络的血糖预测方法 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN203365324U (zh) * | 2013-04-22 | 2013-12-25 | 浙江师范大学 | 一种基于腔衰荡光谱技术的糖尿病检测装置 |
| CN107157492A (zh) * | 2017-05-19 | 2017-09-15 | 国家电网公司 | 一种嵌入式人体生理信息无创检测系统及数据处理方法 |
| CN109872821A (zh) * | 2019-04-24 | 2019-06-11 | 北京信息科技大学 | 一种构建血糖预测模型的方法及装置 |
| WO2019161411A1 (en) * | 2018-02-17 | 2019-08-22 | Sanmina Corporation | System and method for obtaining health data using a neural network |
| CN110403611A (zh) * | 2018-04-28 | 2019-11-05 | 张世平 | 血液成分值预测方法、装置、计算机设备和存储介质 |
| WO2020099218A1 (en) * | 2018-11-15 | 2020-05-22 | My-Vitality Sàrl | Self-monitoring and care assistant for achieving glycemic goals |
| US20200193326A1 (en) * | 2018-12-18 | 2020-06-18 | Movano Inc. | Methods for training a model for use in radio wave based health monitoring |
| US20210007607A1 (en) * | 2015-06-14 | 2021-01-14 | Facense Ltd. | Monitoring blood sugar level with a comfortable head-mounted device |
-
2021
- 2021-08-02 CN CN202110878989.6A patent/CN113576475B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN203365324U (zh) * | 2013-04-22 | 2013-12-25 | 浙江师范大学 | 一种基于腔衰荡光谱技术的糖尿病检测装置 |
| US20210007607A1 (en) * | 2015-06-14 | 2021-01-14 | Facense Ltd. | Monitoring blood sugar level with a comfortable head-mounted device |
| CN107157492A (zh) * | 2017-05-19 | 2017-09-15 | 国家电网公司 | 一种嵌入式人体生理信息无创检测系统及数据处理方法 |
| WO2019161411A1 (en) * | 2018-02-17 | 2019-08-22 | Sanmina Corporation | System and method for obtaining health data using a neural network |
| CN110403611A (zh) * | 2018-04-28 | 2019-11-05 | 张世平 | 血液成分值预测方法、装置、计算机设备和存储介质 |
| WO2020099218A1 (en) * | 2018-11-15 | 2020-05-22 | My-Vitality Sàrl | Self-monitoring and care assistant for achieving glycemic goals |
| US20200193326A1 (en) * | 2018-12-18 | 2020-06-18 | Movano Inc. | Methods for training a model for use in radio wave based health monitoring |
| CN109872821A (zh) * | 2019-04-24 | 2019-06-11 | 北京信息科技大学 | 一种构建血糖预测模型的方法及装置 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114239658A (zh) * | 2021-12-20 | 2022-03-25 | 桂林电子科技大学 | 一种基于小波分解与gru神经网络的血糖预测方法 |
| CN114239658B (zh) * | 2021-12-20 | 2024-05-10 | 桂林电子科技大学 | 一种基于小波分解与gru神经网络的血糖预测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113576475B (zh) | 2023-04-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Zhang et al. | A noninvasive blood glucose monitoring system based on smartphone PPG signal processing and machine learning | |
| ES2959570T3 (es) | Sistema y método para la determinación de la presión arterial sin contacto | |
| CN106845395A (zh) | 一种基于人脸识别进行活体检测的方法 | |
| WO2018107915A1 (zh) | 一种基于时序分析的通用无创血糖预测方法 | |
| CN107374646B (zh) | 基于近红外技术的血糖检测装置及方法、电子装置 | |
| CN103263271A (zh) | 非接触式自动血氧饱和度测量系统及测量方法 | |
| CN107505268A (zh) | 血糖检测方法及系统 | |
| CN112294282A (zh) | 基于rppg的情绪检测装置的自标定方法 | |
| CN109346164A (zh) | 一种中医临床案例的自动采集设备及方法 | |
| CN109523545A (zh) | 一种非接触式心率检测方法及系统 | |
| US20220270344A1 (en) | Multimodal diagnosis system, method and apparatus | |
| CN113576475A (zh) | 一种基于深度学习的无接触血糖测量方法 | |
| Li et al. | Hybrid D1DCnet using forehead iPPG for continuous and noncontact blood pressure measurement | |
| Hu et al. | Study on Real-Time Heart Rate Detection Based on Multi-People. | |
| CN115439920B (zh) | 基于情绪视听刺激和面部表情的意识状态检测系统、设备 | |
| CN116186502A (zh) | 一种多模态视觉神经功能检测方法及其系统 | |
| CN115736920A (zh) | 基于双模态融合的抑郁状态识别方法及系统 | |
| Kerr et al. | Measurement of capillary refill time (crt) in healthy subjects using a robotic hand | |
| CN115245318A (zh) | 一种基于深度学习的有效ippg信号的自动识别方法 | |
| CN115089145A (zh) | 基于多尺度残差网络和ppg信号的智能血压预测方法 | |
| CN208985716U (zh) | 一种中医临床案例的自动采集设备 | |
| CN113397519A (zh) | 心血管健康状态的检测装置 | |
| CN113397516B (zh) | 一种面向新生儿的视觉心率估计方法、装置及系统 | |
| CN114209299B (zh) | 一种基于ippg技术的人体生理参数检测通道选择的方法 | |
| Sturekova et al. | Non-Contact Detection of Vital Parameters with Optoelectronic Measurements under Stress in Education Process |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information | ||
| CB02 | Change of applicant information |
Address after: 321004 building 41, old family area, Zhejiang Normal University, Jinhua City, Zhejiang Province Applicant after: ZHEJIANG NORMAL University Address before: 321004 building 41, laojiashu District, Jiang Normal University, Jinhua City, Zhejiang Province Applicant before: ZHEJIANG NORMAL University |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |