CN112057059B - 基于多模态生理数据的心理压力智能采集测试分析系统 - Google Patents
基于多模态生理数据的心理压力智能采集测试分析系统 Download PDFInfo
- Publication number
- CN112057059B CN112057059B CN202010959534.2A CN202010959534A CN112057059B CN 112057059 B CN112057059 B CN 112057059B CN 202010959534 A CN202010959534 A CN 202010959534A CN 112057059 B CN112057059 B CN 112057059B
- Authority
- CN
- China
- Prior art keywords
- acquisition module
- data
- light
- blood oxygen
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000004458 analytical method Methods 0.000 title claims abstract description 13
- 238000012360 testing method Methods 0.000 title claims abstract description 9
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 claims abstract description 40
- 239000008280 blood Substances 0.000 claims abstract description 40
- 210000004369 blood Anatomy 0.000 claims abstract description 40
- 229910052760 oxygen Inorganic materials 0.000 claims abstract description 40
- 239000001301 oxygen Substances 0.000 claims abstract description 40
- 238000001514 detection method Methods 0.000 claims abstract description 21
- 238000012545 processing Methods 0.000 claims abstract description 20
- 230000036760 body temperature Effects 0.000 claims abstract description 19
- 238000000034 method Methods 0.000 claims abstract description 16
- 238000012544 monitoring process Methods 0.000 claims abstract description 15
- 230000008569 process Effects 0.000 claims abstract description 8
- 210000004204 blood vessel Anatomy 0.000 claims abstract description 7
- 230000003287 optical effect Effects 0.000 claims abstract description 3
- 238000004422 calculation algorithm Methods 0.000 claims description 25
- 238000013527 convolutional neural network Methods 0.000 claims description 23
- 230000006870 function Effects 0.000 claims description 23
- 230000001133 acceleration Effects 0.000 claims description 18
- 238000012706 support-vector machine Methods 0.000 claims description 18
- 239000013598 vector Substances 0.000 claims description 16
- 230000008859 change Effects 0.000 claims description 10
- 238000000926 separation method Methods 0.000 claims description 10
- 230000005540 biological transmission Effects 0.000 claims description 9
- 230000000007 visual effect Effects 0.000 claims description 9
- 238000012800 visualization Methods 0.000 claims description 9
- 238000005457 optimization Methods 0.000 claims description 7
- 238000012549 training Methods 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000005516 engineering process Methods 0.000 claims description 5
- 238000010801 machine learning Methods 0.000 claims description 5
- 102000001554 Hemoglobins Human genes 0.000 claims description 4
- 108010054147 Hemoglobins Proteins 0.000 claims description 4
- 238000002835 absorbance Methods 0.000 claims description 4
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 4
- 230000003993 interaction Effects 0.000 claims description 4
- 230000000737 periodic effect Effects 0.000 claims description 4
- 230000011218 segmentation Effects 0.000 claims description 4
- 210000000707 wrist Anatomy 0.000 claims description 4
- 230000002159 abnormal effect Effects 0.000 claims description 3
- 230000004913 activation Effects 0.000 claims description 3
- 230000000694 effects Effects 0.000 claims description 3
- 229910021607 Silver chloride Inorganic materials 0.000 claims description 2
- 230000017531 blood circulation Effects 0.000 claims description 2
- 230000000747 cardiac effect Effects 0.000 claims description 2
- 238000001914 filtration Methods 0.000 claims description 2
- 210000002837 heart atrium Anatomy 0.000 claims description 2
- WABPQHHGFIMREM-UHFFFAOYSA-N lead(0) Chemical compound [Pb] WABPQHHGFIMREM-UHFFFAOYSA-N 0.000 claims description 2
- 238000005259 measurement Methods 0.000 claims description 2
- 230000028161 membrane depolarization Effects 0.000 claims description 2
- 230000002107 myocardial effect Effects 0.000 claims description 2
- 230000005622 photoelectricity Effects 0.000 claims description 2
- 238000012805 post-processing Methods 0.000 claims description 2
- 230000010349 pulsation Effects 0.000 claims description 2
- 230000033764 rhythmic process Effects 0.000 claims description 2
- 229920006395 saturated elastomer Polymers 0.000 claims description 2
- HKZLPVFGJNLROG-UHFFFAOYSA-M silver monochloride Chemical compound [Cl-].[Ag+] HKZLPVFGJNLROG-UHFFFAOYSA-M 0.000 claims description 2
- 210000001013 sinoatrial node Anatomy 0.000 claims description 2
- 238000007920 subcutaneous administration Methods 0.000 claims description 2
- 238000003745 diagnosis Methods 0.000 claims 1
- 230000009977 dual effect Effects 0.000 claims 1
- 238000001228 spectrum Methods 0.000 claims 1
- 230000005693 optoelectronics Effects 0.000 abstract description 2
- 238000013079 data visualisation Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 230000001360 synchronised effect Effects 0.000 description 2
- WHXSMMKQMYFTQS-UHFFFAOYSA-N Lithium Chemical compound [Li] WHXSMMKQMYFTQS-UHFFFAOYSA-N 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000008094 contradictory effect Effects 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 229910052744 lithium Inorganic materials 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/0205—Simultaneously evaluating both cardiovascular conditions and different types of body conditions, e.g. heart and respiratory condition
- A61B5/02055—Simultaneously evaluating both cardiovascular condition and temperature
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/01—Measuring temperature of body parts ; Diagnostic temperature sensing, e.g. for malignant or inflamed tissue
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/145—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
- A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
- A61B5/6802—Sensor mounted on worn items
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
- A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/74—Details of notification to user or communication with user or patient ; user input means
- A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Public Health (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Veterinary Medicine (AREA)
- Medical Informatics (AREA)
- Heart & Thoracic Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Animal Behavior & Ethology (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Surgery (AREA)
- Physiology (AREA)
- Artificial Intelligence (AREA)
- Cardiology (AREA)
- Evolutionary Computation (AREA)
- Mathematical Physics (AREA)
- Signal Processing (AREA)
- Psychiatry (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Fuzzy Systems (AREA)
- Dentistry (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Pulmonology (AREA)
- Optics & Photonics (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
本发明是一种基于多模态生理数据的心理压力智能采集测试分析系统,智能采集模块包括心率和血氧采集模块、心电采集模块、脉搏波采集模块和体温和湿度采集模块;心率和血氧采集模块包括发光管、光电接收管和光电数据处理单元,将通过血管的光信号转化为电信号并进一步的处理以得到心率和血氧数据;血氧监测通常为无创的、利用光电的动态光谱检测方法;采用反射式血氧检测法,其原理来自朗伯‑比尔定律;即当某种单一波长的光照射某种透光介质时,可穿过介质的光的比例只与介质的厚度与浓度相关,而与照射光的强度无关。将心电、血氧、心率、脉搏、体温等多模态生理数据进行集成采集,用户易携带,易使用。
Description
技术领域
本发明属于医疗健康领域,具体涉及到一种基于多模态生理数据的心理压力智能采集测试分析系统。
背景技术
生理信号监护系统可以全面、准确的检测出受测者的各项生理信号。临床上通常使用生理信号监护仪来对患者的身体状况进行评估。然而普通的生理信号监护仪体积庞大,接线冗杂、操作繁琐。完全不能随身携带,极大程度得影响了受监护者的生活质量。增加了用户的抵触情绪。不利于医疗器械的普及。
另外,大多数医疗监护仪面向医院,需要专业的医学知识和复杂的操作技巧,一些医疗监护仪的数据只能通过医院中心的监护机房主机查看。个人用户无法通过简单的设备将自身的生理信号进行导出。种种迹象表明,医疗监护仪虽然历史悠久,技术成熟,但并不能胜任居家和日常工作过程中的监护任务。
发明内容
针对能够实时监测受测者的生理信号数据,本发明提供基于多模态生理数据的心理压力智能采集测试分析系统,可以实现心电、心率、血氧饱和度、体温、脉搏、三轴加速度的生理数据和物理数据的同步采集;采用支持向量机和决策树等机器学习算法对数据进行分类和回归;采用深度神经网络对生理数据进行预测;采用可视化技术对数据进行可视化处理,实现受测者的健康生理数据的实时采集、分析处理、以及可视化。
本发明的技术方案如下:
本发明的优点是:
1、将心电、血氧、心率、脉搏、体温等多模态生理数据进行集成采集,用户易携带,易使用。
2、采用state-of-the-art神经网络模型对数据进行特征提取,代替传统手工提取特征。
3、采用稳定有效的分类器对数据进行分类,对用户生理数据进行诊断。对生理数据进行可视化处理,便于户监测生理数据。采用轻量化的网络模型,优化了卷积神经网络,系统前向推理时更迅速。
附图说明
图1为系统的组织架构示意图。
具体实施方式
下面结合附图和实施例,对本发明的具体实施方式作进一步详细描述。以下示意性实施方式及其说明用于解释本发明,但不用来限制本发明的范围。术语“包括、包含、具有”在本文使用时指特征、要素、步骤或组件的存在,但并不排除一个或多个其他特征、要素、步骤或组件的存在和附加。同时,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互结合。
本发明提供一种可穿戴的人体多生理信号采集、数据分析与处理、数据可视化系统。
信号采集其中包括:
心率和血氧采集模块,包括发光管、光电接收管和光电数据处理单元,其将通过血管的光信号转化为电信号并进行进一步的处理以得到心率和血氧数据;血氧监测通常为无创的、利用光电的动态光谱检测方法。而利用光电检测血氧的技术又可分为两大分支:投射式与反射式。本发明采用反射式血氧检测方法,其原理来自朗伯-比尔定律。即当某种单一波长的光照射某种透光介质时,可穿过介质的光的比例只与介质的厚度与浓度相关,而与照射光的强度无关。
I为入射光强度,I0为穿过介质后的光强。当入射光的波长为λ时,由朗伯-比尔(Lambert-Beer)定律可得:
其中,Aλ为吸光度,ελ为介质吸光系数,D为透光介质的厚度,C为透光介质的浓度。依照动脉搏动的周期变化对反射光的影响,即可求出血液中氧饱和的血红蛋白(Hb)占总血红蛋白(HbO2)的比例。计算血氧饱和度公式如下:
反射式血氧饱和度检测方法无需在受测部位的两测设置发光管和接收光电管。而是利用光的反射,将发射管与接收管置于同一侧。因此不但反射式血氧饱和度检测方法可以兼容所有透射法的组织区域。一些组织密度大、不透光、但动脉血管分布密集的区域也可以被检测。光子在人体组织中传播时,部分光会因为散射偏离入射角度,达到人体组织内部的动脉血管,探测皮下血管中透光介质的浓度变化。再经过散射后射出皮肤,被光电探测器捕捉。
心电采集模块,采用典型的单导联有线式心电监测,包括导联线、医用电极和放大器滤波器等后续数据处理电路。在一次完整的心跳过程中,心肌细胞去极化的时候会在皮肤表面形成微弱的电学改变,当电学改变被心电图记录装置捕获放大并加以记录后,就得到了熟悉的心电图形状。在正常的心动周期中,窦房结细胞优先产生去极化波,并依次扩散至心房和心室。勘探这种规律的电位变化是测量和诊断异常心脏节律的最好方法。本发明采用三片Ag/AgCl一次性电极进行心电采集,将采集到的心电信号通过模数转换得到心电数据,数据传输类型为串口传输。可以在静止时准确的采集心电信号。
脉搏波采集模块,包括发光管、光电接收器和光电数据处理单元。类似于血氧检测模块,脉搏波采集模块同样使用反射式反应血流的周期性变化。其选用波长为515nm的绿光,降低制造成本的同时也避免环境光和环境温度的变化对脉搏信号造成信号漂移。可以更好的反应皮肤浅层的微动脉信息,较好的凸显脉搏波的变化程度。此外,脉搏波的频带一般在0.05~200Hz间,信号幅度一般为毫伏级水平。在光电接收器后使用了低通滤波器和由MCP6001构成的放大器,将信号放大了330倍,使单片机可以清晰的采集脉搏波数据。
体温和湿度采集模块,通过获取体表温度信号进而得到体温数据。
三轴加速度、角速度和磁场采集模块,通过陀螺仪获取三轴角速度、加速度和磁场的对应信号,配合动态卡尔曼滤波算法,能够在动态环境下准确输出模块的当前姿态。并通过模数转换后得到加速度、角速度和磁场数据。
单片机,分别于上述六种传感器相连接,负责接收各生理信号的数据并进行后处理。最后将各生理数据按顺序输出至便携式显示终端与蓝牙模块。
便携式显示终端,包括触摸屏和单独的MCU,可通过编写ui文件、植入数字和图表控件等操作实现生理数据的可视化和一定程度的人机交互。便携式显示终端可以在脱离上位机的情况下实现心率、血氧、体温的数值显示和心电、脉搏、加速度、角速度的波形显示。
蓝牙传输模块,采用蓝牙4.2协议标准,工作频段为2.4GHz,通过串口将生理数据发送至上位机。
上述的可穿戴的人体多生理信号采集系统,其中,还包括:
GPS定位和气压模块,本发明采用mini GPS模块,内置GPS与北斗双模卫星定位,与气压模块检测的海拔高度相结合,即可定位至确定坐标点。
上述的可穿戴的人体多生理信号采集系统,其中,还包括:
可穿戴规划设计,基于芯片检测特点和人性化的穿着体验。整体系统依附于一件长袖夹克衫内部。其中心率和血氧检测模块与脉搏检测模块安置于左袖口靠体内一侧,模块缝制于一条黑色的魔术贴上。体温传感器缝制在左手腕内靠体内一侧。便携式可视终端置于左手腕靠体外一侧。系统主体安放在塑料壳体内,置于夹克衫的内兜中。壳体内包含单片机、心电采集模块、加速度角速度采集模块和mini GPS模块。壳体正面标有箭头,当手持壳体,正面向上、面朝箭头方向时,可根据便携式显示终端的示数变化指引南北极方向。
上述的可穿戴的人体多生理信号采集系统,其中,还包括:
电源,本发明可采用多种供电模式。为方便随身穿戴的特性,可采用充电宝或电池盒供电。电池选用可充电的18650锂电池。
本发明除了对多生理参数进行同步采集外,另可针对可能出现的导联脱落或芯片接触异常情况进行反馈和报警:当系统无法检测到心电和血氧实数时,会输出“-99”或“--”进行预警。在多生理信号同步采集时可以保证数据的有效性。
数据处理与分析其中包括:
数据处理与分析模块结合了传统的机器学习算法和卷积神经网络的方法构建了卷积神经网络和支持向量机的混合模型,特征提取器我们使用了mobileNetv3和残差网络的思想,分类器使用的支持向量机算法,我们称之为Mobile-ResNet-SVM model(模型架构见附图),该模型能够对多模态数据进行处理,首先使用卷积神经网络对ECG等数据进行特征提取,提取出的特征送入支持向量机等分类器中,再对采集到的健康生理数据进行分类。卷积神经网络能够更好的自动提取特征,而支持向量机分类效果稳定,在数据集上不易产生过拟合,两者构建的混合模型在生理数据集上能够达到鲁棒性。
本专利的算法创新之处,我们使用深度可分离卷积神经网络代替传统的卷积神经网络进行自动提取特征,采用的轻量化的卷积模型能够加速算法的收敛速度,和最终算法落地的可行性。传统的CNN采用的是卷积操作、批归一化处理、池化操作、使用优化器进行快速反向传播、最后接全连接层进行特征向量的分类,而我们的工作是CNN的础上提出全新的特征提取器,构建一个轻量化的网络模型,加快数据的前向推理时间,方便算法落地部署。首先特征提取部分,传统的卷积操作本质是大量的权重向量进行乘积累加操作,产生大量的冗余运算,并且随着网络层数增强,浅层的特征会逐渐减少,因为在前向推理过程中耗费大量的运算资源以及需要大量的训练样本,为此本专利使用的改进的CNN模型采用了轻量化的卷积模块,将传统的卷积操作替换成深度可分离卷积,其运算参数数量、运算成本较低。同时,在传统的卷积神经网络模型中往往加入Relu激活函数加速模型收敛,而我们采用了h-swish激活函数,并且使用Dropblock代替Dropout防止模型过拟合。
深度可分离卷积包含Pointwise和Pointwise两个过程,Depthwise分组卷积是指将输入信号分成若干组,每组做3x3的卷积操作,其作用相当于收集了每个Channel的空间特征,即Depthwise特征。Pointwise逐点卷积是指对输入信号做若干个普通的1x1卷积操作,这样相当于收集了每个点的特征。
h-swish激活函数,这种非线性在保持精度的情况下带了了很多优势,首先在众多软硬件框架中都可以实现,其次量化时避免了数值精度的损失,运行快。这一非线性改变将模型的延时增加了15%。但它带来的网络效应对于精度和延时具有正向促进,剩下的开销可以通过融合非线性与先前层来消除。
SVM支持向量机算法,被认为机器学习中近十年来最成功,表现最好的算法,SVM是一种二分类模型,它的基本模型是定义在特征空间上的间隔最大的线性分类器,包括核技巧,这使得它成为本质上的非线性分类器,支持向量机的学习策略是间隔最大化,形式上转化为一个求解凸二次规划的问题。
算法:
给定数据集T={(x1,y1),(x2,y2),...(xN,yN)},xi∈X∈Rn,i=1,2,...N,其中
线性可分支持向量机
输入:线性可分训练数据集T={(x1,y1),(x2,y2),...(xN,yN)}
输出:最大几何间隔的分离超平面和分类决策函数
算法步骤如下:
构造并且求解约束最优化问题:
αi≥0,i=1,2,...,N,αi为拉格朗日乘子向量,xi为第i个特征向量,xj为第j个特征向量,yi为第i个特征向量的类标签,yj第j个特征向量的类标签;
求解最优解
计算
同时选择a*的一个正的分量aj *>0,计算其中b为分离超平面的截距向量;
由此得到最大几何分割分离超平面:以及分类决策函数其中b*为分离超平面的截距向量;
(1)线性支持向量机;
输入:线性可分训练数据集T={(x1,y1),(x2,y2),...(xN,yN)}和惩罚参数C>0
输出:软间隔的分离超平面和分类决策函数;
算法步骤如下:
构造并且求解约束最优化问题;
C≥αi≥0,i=1,2,...,N
求解最优解
计算
同时选择a*的一个正的分量aj *>0,计算
由此得到最大几何分割分离超平面:以及分类决策函数
非线性支持向量机;
输入:线性可分训练数据集T={(x1,y1),(x2,y2),...,(xn,yn)}和惩罚参数C>0。
输出:分类决策函数;
算法步骤如下:
选择适当的核函数K(x,z)并且求解约束最优化问题:
C≥αi≥0,i=1,2,...,N
计算
同时选择a*的一个正的分量aj *>0,计算
构造分类决策函数
可视化技术我们采用了PyEchats,对心电、脑电、体温、脉搏信号进行可视化处理和展示。
PyEcharts是百度开源的数据可视化,凭借着良好的交互性,精巧的图表设计,得到众多开发者的认可,其API简洁,支持链式调用,囊括了30+种常见图表,支持主流Notebook环境,Jupyter Notebook和Jupyterlab,可以轻松集成Flask,Django等主流Web,高度灵活的配置项,可轻松搭配出精美的图案,为数据可视化提供强有力的支持。本专利采用PyEcharts对心电、脑电、体温、脉搏信息进行可视化。
使用本发明的穿戴式人体多生理信号采集系统:使用者接好电源之后,各个生理信号检测模块会自动开始进行工作。将各自采集到的生理信号传输至单片机内,经过单片机处理后同步输出至便携式可视终端和蓝牙传输模块。将电脑蓝牙与系统配对并打开对应的上位机程序,即可通过便携式可视终端和上位机界面查看目前的生理信号数值和波形。
人机交互界面分为主界面、各生理信号监测界面和人性化的多功能界面。主界面包含心率、血氧实数,和跳转到其他监测生理信号界面及辅助功能界面的图标。监测生理信号界面共有四类:心电检测界面、脉搏波监测界面、心率和血氧检测界面与速度,加速度检测界面。心率和血氧均以示数进行输出,因此被放置在主界面。当芯片无法正常检测到心率和血氧时,指定区域会显示-99而非由单片机计算得出的生理信号。
心电监测界面与脉搏波监测界面类似,为折线图显示,当心电与脉搏波芯片正常工作时,心电数据和脉搏波数据经单片机处理和计算后会通过串口传输至显示终端特定的折线图。折线图将根据数字信号绘制对应的波动图像,当心电芯片无法接受正常生理信号时,(如导联发生脱落)心电监测界面会将折线图输出为一条直线进行预警。
类似的,角速度与加速度界面在人机交互界面通常不需要极高的显示精度,角速度与加速度的波形可以显示出xyz三轴的变化趋势。同时,精确的角速度与加速度数据将被同步更新。以供有更高需求的用户查看。
上位机界面接收来自串口的数据,自动捕获特定的字符串后,将特定字符串后的数字提取、绘制成折线图。目前上位机界面可以显示血氧、心率、心电和脉搏波四种曲线图。
本发明有四大功能:多生理信号同步采集;辅助功能设计;生理数据蓝牙无线传输;生理信号可视化,直观展示部分生理数据的波形图;并可针对采集到的生理数据进行后续的机器学习算法处理,生产评估报告。
实施例一:
本发明在测量心率和血氧饱和度时,需要在穿戴好本系统后,连接电源,将左手食指和中指指腹放置于采集模块的光电管表面,同时将黑色魔术贴贴在手指上,防止环境光对测量结果的影响。将上位机与系统进行蓝牙配对,打开便携式可视终端的主界面或上位机界面,即可看到心率和血氧饱和度的示数。
实施例二:
本发明在测量心电时,与实施例一类似的,在穿戴好本系统后,将三个导联线连接一次性电极贴,贴至美国标准三导联位置,将上位机与系统进行蓝牙配对,打开便携式可视终端的心电波形界面或上位机界面,即可看到心电的波形示数。
实施例三:
本发明在测量角速度或加速度时,在穿戴好本系统后,将壳体标准地放置在夹克内兜中,打开便携式可视终端的角速度或加速度波形界面,即可看到受测者的角速度及加速度波形示数。
本发明的优势在于:本套系统可以脱离在上位机的情况下进行实时的生理信号检测,通过便携式可视终端,可以查看受测者的生理信号示数和波形。将系统融入可穿戴的夹克衫中,实现了便携式与长时间离线检测功能。最大程度的满足了受监护人的活动自由、提高了生活质量。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明权利要求所限定的范围。
Claims (4)
1.一种基于多模态生理数据的心理压力智能采集测试分析系统,其特征在于,
智能采集模块包括心率和血氧采集模块、心电采集模块、脉搏波采集模块和体温和湿度采集模块;
心率和血氧采集模块包括发光管、光电接收管和光电数据处理单元,将通过血管的光信号转化为电信号并进一步的处理以得到心率和血氧数据;血氧监测为无创的、利用光电的动态光谱检测方法;采用反射式血氧检测法,其原理来自朗伯-比尔定律;即当某种单一波长的光照射某种透光介质时,可穿过介质的光的比例只与介质的厚度与浓度相关,而与照射光的强度无关;
I为入射光强度,I0为穿过介质后的光强;当入射光的波长为λ时,由朗伯-比尔定律可得:
其中,Aλ为吸光度,ελ为介质吸光系数,D为透光介质的厚度,C为透光介质的浓度;依照动脉搏动的周期变化对反射光的影响,即可求出血液中氧饱和的血红蛋白Hb占总血红蛋白HbO2的比例;
计算血氧饱和度公式如下:
反射式血氧饱和度检测方法无需在受测部位的两测设置发光管和接收光电管;而是利用光的反射,将发射管与接收管置于同一侧;光子在人体组织中传播时,部分光会因为散射偏离入射角度,散射到人体组织内部的动脉血管,探测皮下血管中透光介质的浓度变化;再经过散射后射出皮肤,被光电探测器捕捉;
心电采集模块采用单导联有线式心电监测,包括导联线、医用电极和放大器滤波器后续数据处理电路;在一次完整的心跳过程中,心肌细胞去极化的时候会在皮肤表面形成微弱的电学改变,当电学改变被心电图记录装置捕获放大并加以记录后,就得到心电图形状;在正常的心动周期中,窦房结细胞优先产生去极化波,并依次扩散至心房和心室;勘探这种规律的电位变化测量和诊断异常心脏节律;采用三片Ag/AgCl一次性电极进行心电采集,将采集到的心电信号通过模数转换得到心电数据,数据传输类型为串口传输;在静止时准确的采集心电信号;
脉搏波采集模块包括发光管、光电接收器和光电数据处理单元;脉搏波采集模块使用反射式反应血流的周期性变化;其选用波长为515nm的绿光;脉搏波的频带在0.05~200Hz间,信号幅度为毫伏级水平;在光电接收器后使用低通滤波器和由MCP6001构成的放大器,将信号放大330倍,使单片机可以清晰的采集脉搏波数据;
体温和湿度采集模块通过获取体表温度信号进而得到体温数据;采用三轴加速度、角速度和磁场采集模块,通过陀螺仪获取三轴角速度、加速度和磁场的对应信号,配合动态卡尔曼滤波算法,能够在动态环境下准确输出模块的当前姿态;并通过模数转换后得到加速度、角速度和磁场数据信息;
制作成可穿戴设备,基于芯片检测特点和人性化的穿着体验;将系统依附于一件长袖夹克衫内部;其中心率和血氧检测模块与脉搏检测模块安置于左袖口靠体内一侧,模块缝制于一条黑色的魔术贴上;体温传感器缝制在左手腕内靠体内一侧;便携式可视终端置于左手腕靠体外一侧;主体安放置于夹克衫的内兜中;主体内包含单片机、心电采集模块、加速度角速度采集模块和mini GPS模块;壳体正面标有箭头,当手持壳体,正面向上、面朝箭头方向时,根据便携式显示终端的示数变化指引南北极方向。
2.根据权利要求1所述的一种基于多模态生理数据的心理压力智能采集测试分析系统,其特征在于,
还包括单片机,单片机与心率和血氧采集模块、心电采集模块、脉搏波采集模块和体温和湿度采集模块相连接,负责接收生理信号的数据并进行后处理;最后将各生理数据按顺序输出至便携式显示终端与蓝牙模块;
便携式显示终端包括触摸屏和单独的MCU,通过编写ui文件、植入数字和图表控件操作实现生理数据的可视化和人机交互;便携式显示终端可以在脱离上位机的情况下实现心率、血氧、体温的数值显示和心电、脉搏、加速度、角速度的波形显示;
蓝牙传输模块采用蓝牙4.2协议标准,工作频段为2.4GHz,通过串口将生理数据发送至上位机。
3.根据权利要求1所述的一种基于多模态生理数据的心理压力智能采集测试分析系统,其特征在于,
还包括GPS定位和气压模块,采用mini GPS模块,内置GPS与北斗双模卫星定位,与气压模块检测的海拔高度相结合,定位至确定坐标点。
4.根据权利要求1所述的一种基于多模态生理数据的心理压力智能采集测试分析系统,其特征在于,
数据处理与分析其中包括:
数据处理与分析结合传统的机器学习算法和卷积神经网络的方法构建了卷积神经网络和支持向量机的混合模型,特征提取器使用mobileNetv3和残差网络的思想,分类器使用的支持向量机算法模型架构,该模型能够对多模态数据进行处理,首先使用卷积神经网络对ECG数据进行特征提取,提取出的特征送入支持向量机分类器中,再对采集到的健康生理数据进行分类;卷积神经网络能够更好的自动提取特征,而支持向量机分类效果稳定,在数据集上不易产生过拟合,两者构建的混合模型在生理数据集上能够达到鲁棒性;
使用深度可分离卷积神经网络代替传统的卷积神经网络进行自动提取特征,采用的轻量化的卷积模型能够加速算法的收敛速度和最终算法落地的可行性;本系统工作是CNN的础上提出全新的特征提取器,构建一个轻量化的网络模型,加快数据的前向推理时间,方便算法落地部署;
首先特征提取部分使用改进的CNN模型采用轻量化的卷积模块,将传统的卷积操作替换成深度可分离卷积,其运算参数数量、运算成本较低;同时,在传统的卷积神经网络模型中往往加入Relu激活函数加速模型收敛;采用h-swish激活函数,并且使用Dropblock代替Dropout防止模型过拟合;
深度可分离卷积包含Pointwise和Depthwise两个过程,Depthwise是指将输入信号分成若干组,每组做3x3的卷积操作,收集每个Channel的空间特征,即Depthwise特征;Pointwise是指对输入信号做若干个普通的1x1卷积操作,收集每个点的特征;
使用SVM算法进行心电、脉搏、血氧生理参数分类;
SVM支持向量机算法:
给定数据集T={(x1,y1),(x2,y2),...(xN,yN)},xi∈X∈Rn,i=1,2,...N,其中
其中xN表示第N个样本,N代表样本总数;
线性可分支持向量机;
输入:线性可分训练数据集T={(x1,y1),(x2,y2),...(xN,yN)};
输出:最大几何间隔的分离超平面和分类决策函数;
算法步骤如下:
构造并且求解约束最优化问题:
αi≥0,i=1,2,...,N,αi为拉格朗日乘子向量,xi为第i个特征向量,xj为第j个特征向量,yi为第i个特征向量的类标签,yj第j个特征向量的类标签;
求解最优解
计算
同时选择a*的一个正的分量aj *>0,计算
由此得到最大几何分割分离超平面:以及分类决策函数/>其中b为分离超平面的截距向量;
线性支持向量机;
输入:线性可分训练数据集T={(x1,y1),(x2,y2),...(xN,yN)}和惩罚参数C>0
输出:软间隔的分离超平面和分类决策函数;
算法步骤如下:
(1)构造并且求解约束最优化问题;
支持向量机对偶最优化
C≥αi≥0,i=1,2,...,N
求解最优解为拉格朗日乘子向量,xi为第i个特征向量,xj为第j个特征向量,yi为第i个特征向量的类标签,yj第j个特征向量的类标签;
(2)计算
同时选择a*的一个正的分量aj *>0,计算
由此得到最大几何分割分离超平面:以及分类决策函数;其中b*为分离超平面的截距向量;
非线性支持向量机;
输入:线性可分训练数据集T={(x1,y1),(x2,y2),...,(xn,yn)}和惩罚参数C>0;
输出:分类决策函数;
算法步骤如下:
选择适当的核函数K(x,z)并且求解约束最优化问题:
C≥αi≥0,i=1,2,...,N
计算
同时选择a*的一个正的分量aj *>0,计算
构造分类决策函数
采用PyEchats可视化技术对心电、脑电、体温、脉搏信号进行可视化处理和展示。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010959534.2A CN112057059B (zh) | 2020-09-14 | 2020-09-14 | 基于多模态生理数据的心理压力智能采集测试分析系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010959534.2A CN112057059B (zh) | 2020-09-14 | 2020-09-14 | 基于多模态生理数据的心理压力智能采集测试分析系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112057059A CN112057059A (zh) | 2020-12-11 |
CN112057059B true CN112057059B (zh) | 2024-06-25 |
Family
ID=73695418
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010959534.2A Active CN112057059B (zh) | 2020-09-14 | 2020-09-14 | 基于多模态生理数据的心理压力智能采集测试分析系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112057059B (zh) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112716465A (zh) * | 2021-02-05 | 2021-04-30 | 山西新华防化装备研究院有限公司 | 一种基于多生理信息数据的防化装备生理评价系统及方法 |
CN113255635B (zh) * | 2021-07-19 | 2021-10-15 | 中国科学院自动化研究所 | 多模态融合的心理压力分析方法 |
CN113298196A (zh) * | 2021-07-28 | 2021-08-24 | 深兰盛视科技(苏州)有限公司 | 健康监测方法、装置、设备及计算机可读存储介质 |
CN114694211B (zh) * | 2022-02-24 | 2024-04-19 | 合肥工业大学 | 非接触式多生理参数的同步检测方法和系统 |
CN115090610B (zh) * | 2022-06-22 | 2024-06-18 | 合肥工业大学 | 一种用于义齿加工的去静电式除尘装置及其加工系统 |
CN115040095B (zh) * | 2022-08-15 | 2023-01-24 | 北京九叁有方物联网科技有限公司 | 适老化多功能自主非侵入式动态生理信号监测分析系统 |
CN116211298A (zh) * | 2023-01-16 | 2023-06-06 | 杭州沃维医疗科技有限公司 | 一种集成血液氧含量与电信号采集的系统、方法及传感器 |
CN117351680B (zh) * | 2023-12-05 | 2024-02-09 | 福建泉州泉顺通讯科技有限公司 | 一种具有gps定位对讲机的报警系统 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104622445A (zh) * | 2015-01-30 | 2015-05-20 | 中国科学院电子学研究所 | 一种无线智能的多生理参数健康监护腕式设备 |
CN111528813A (zh) * | 2020-04-24 | 2020-08-14 | 中国人民解放军总医院第四医学中心 | 一种便携腕式多生理信息实时检测无线系统 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102016006196A1 (de) * | 2016-05-19 | 2017-11-23 | Biomedatronik UG (haftungsbeschränkt) | Innovatives verfahren und multisensor-plattform zum nichtinvasiven monitoring von physiologischen parameter und blutinhaltstoffe sowie frühdiagnose der pathologischen änderungen und gesundheits-management und ihre anwendung mit smartphone |
-
2020
- 2020-09-14 CN CN202010959534.2A patent/CN112057059B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104622445A (zh) * | 2015-01-30 | 2015-05-20 | 中国科学院电子学研究所 | 一种无线智能的多生理参数健康监护腕式设备 |
CN111528813A (zh) * | 2020-04-24 | 2020-08-14 | 中国人民解放军总医院第四医学中心 | 一种便携腕式多生理信息实时检测无线系统 |
Also Published As
Publication number | Publication date |
---|---|
CN112057059A (zh) | 2020-12-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112057059B (zh) | 基于多模态生理数据的心理压力智能采集测试分析系统 | |
CN104622445B (zh) | 一种无线智能的多生理参数健康监护腕式设备 | |
CN104873186B (zh) | 一种可穿戴的动脉检测装置及其数据处理方法 | |
CN104055499B (zh) | 连续监控人体生理体征的可穿戴式智能手环及方法 | |
CN204351814U (zh) | 智能检测一体机 | |
US8801621B2 (en) | Method, system and program product for analyzing pulse wave data | |
US20150057506A1 (en) | Arrayed electrodes in a wearable device for determining physiological characteristics | |
CN106163387A (zh) | 用于检测用户的心率的变化的系统和方法 | |
AU2016234986A1 (en) | Biosignal measurement apparatus utilizing a plurality of electrodes for biosignal measurements as touch sensors | |
CN104000571A (zh) | 一种能采集多参数健康指标的手环 | |
CN104382602A (zh) | 多参数智能生理检测手套 | |
CN203914894U (zh) | 连续监控人体生理体征的可穿戴式智能手环 | |
Chowdhury et al. | Machine learning in wearable biomedical systems | |
US20220005601A1 (en) | Diagnostic device for remote consultations and telemedicine | |
CN115500800A (zh) | 一种穿戴式生理参数检测系统 | |
US20230337957A1 (en) | Multi-sensor patch | |
CN110013246A (zh) | 一种高压氧舱生命体征监测方法及系统 | |
CN201870634U (zh) | 人体健康检测一体机 | |
CN108364690A (zh) | 一种多功能生命体征检测系统及其工作方法 | |
CN114903445A (zh) | 一种心脑血管疾病智能监测预警系统 | |
CN107595267A (zh) | 一种新型无袖带血压监测系统 | |
Shabnam et al. | IoT based health monitoring using smart devices for medical emergency services | |
WO2021148921A1 (en) | A medical system and method using a pair of gloves equipped with physiological sensors | |
CN207851520U (zh) | 一种用于生理参数测量的手表的表壳 | |
CN107174220A (zh) | 基于智能处理器平台的多模式生物电传感器 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant |