CN112057059A - 基于多模态生理数据的心理压力智能采集测试分析系统 - Google Patents

基于多模态生理数据的心理压力智能采集测试分析系统 Download PDF

Info

Publication number
CN112057059A
CN112057059A CN202010959534.2A CN202010959534A CN112057059A CN 112057059 A CN112057059 A CN 112057059A CN 202010959534 A CN202010959534 A CN 202010959534A CN 112057059 A CN112057059 A CN 112057059A
Authority
CN
China
Prior art keywords
acquisition module
light
data
blood oxygen
electrocardio
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010959534.2A
Other languages
English (en)
Inventor
杨洪臣
姜囡
王华朋
何芳州
邵冬梅
王溢
郭卉
任杰
孙悦洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Criminal Police University
Original Assignee
China Criminal Police University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Criminal Police University filed Critical China Criminal Police University
Priority to CN202010959534.2A priority Critical patent/CN112057059A/zh
Publication of CN112057059A publication Critical patent/CN112057059A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/0205Simultaneously evaluating both cardiovascular conditions and different types of body conditions, e.g. heart and respiratory condition
    • A61B5/02055Simultaneously evaluating both cardiovascular condition and temperature
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/01Measuring temperature of body parts ; Diagnostic temperature sensing, e.g. for malignant or inflamed tissue
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/145Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/68Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6802Sensor mounted on worn items
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/7264Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/7264Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/74Details of notification to user or communication with user or patient ; user input means
    • A61B5/742Details of notification to user or communication with user or patient ; user input means using visual displays

Abstract

本发明是一种基于多模态生理数据的心理压力智能采集测试分析系统,智能采集模块包括心率和血氧采集模块、心电采集模块、脉搏波采集模块和体温和湿度采集模块;心率和血氧采集模块包括发光管、光电接收管和光电数据处理单元,将通过血管的光信号转化为电信号并进一步的处理以得到心率和血氧数据;血氧监测通常为无创的、利用光电的动态光谱检测方法;采用反射式血氧检测法,其原理来自朗伯‑比尔定律;即当某种单一波长的光照射某种透光介质时,可穿过介质的光的比例只与介质的厚度与浓度相关,而与照射光的强度无关。将心电、血氧、心率、脉搏、体温等多模态生理数据进行集成采集,用户易携带,易使用。

Description

基于多模态生理数据的心理压力智能采集测试分析系统
技术领域
本发明属于医疗健康领域,具体涉及到一种基于多模态生理数据的心理压力智能采集测试分析系统。
背景技术
生理信号监护系统可以全面、准确的检测出受测者的各项生理信号。临床上通常使用生理信号监护仪来对患者的身体状况进行评估。然而普通的生理信号监护仪体积庞大,接线冗杂、操作繁琐。完全不能随身携带,极大程度得影响了受监护者的生活质量。增加了用户的抵触情绪。不利于医疗器械的普及。
另外,大多数医疗监护仪面向医院,需要专业的医学知识和复杂的操作技巧,一些医疗监护仪的数据只能通过医院中心的监护机房主机查看。个人用户无法通过简单的设备将自身的生理信号进行导出。种种迹象表明,医疗监护仪虽然历史悠久,技术成熟,但并不能胜任居家和日常工作过程中的监护任务。
发明内容
针对能够实时监测受测者的生理信号数据,本发明提供基于多模态生理数据的心理压力智能采集测试分析系统,可以实现心电、心率、血氧饱和度、体温、脉搏、三轴加速度的生理数据和物理数据的同步采集;采用支持向量机和决策树等机器学习算法对数据进行分类和回归;采用深度神经网络对生理数据进行预测;采用可视化技术对数据进行可视化处理,实现受测者的健康生理数据的实时采集、分析处理、以及可视化。
本发明的技术方案如下:
本发明的优点是:
1、将心电、血氧、心率、脉搏、体温等多模态生理数据进行集成采集,用户易携带,易使用。
2、采用state-of-the-art神经网络模型对数据进行特征提取,代替传统手工提取特征。
3、采用稳定有效的分类器对数据进行分类,对用户生理数据进行诊断。对生理数据进行可视化处理,便于户监测生理数据。采用轻量化的网络模型,优化了卷积神经网络,系统前向推理时更迅速。
附图说明
图1为系统的组织架构示意图。
具体实施方式
下面结合附图和实施例,对本发明的具体实施方式作进一步详细描述。以下示意性实施方式及其说明用于解释本发明,但不用来限制本发明的范围。术语“包括、包含、具有”在本文使用时指特征、要素、步骤或组件的存在,但并不排除一个或多个其他特征、要素、步骤或组件的存在和附加。同时,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互结合。
本发明提供一种可穿戴的人体多生理信号采集、数据分析与处理、数据可视化系统。
信号采集其中包括:
心率和血氧采集模块,包括发光管、光电接收管和光电数据处理单元,其将通过血管的光信号转化为电信号并进行进一步的处理以得到心率和血氧数据;血氧监测通常为无创的、利用光电的动态光谱检测方法。而利用光电检测血氧的技术又可分为两大分支:投射式与反射式。本发明采用反射式血氧检测方法,其原理来自朗伯-比尔定律。即当某种单一波长的光照射某种透光介质时,可穿过介质的光的比例只与介质的厚度与浓度相关,而与照射光的强度无关。
I为入射光强度,I0为穿过介质后的光强。当入射光的波长为λ时,由朗伯-比尔(Lambert-Beer)定律可得:
Figure BDA0002679978300000031
其中,Aλ为吸光度,ελ为介质吸光系数,D为透光介质的厚度,C为透光介质的浓度。依照动脉搏动的周期变化对反射光的影响,即可求出血液中氧饱和的血红蛋白(Hb)占总血红蛋白(HbO2)的比例。计算血氧饱和度公式如下:
Figure BDA0002679978300000032
反射式血氧饱和度检测方法无需在受测部位的两测设置发光管和接收光电管。而是利用光的反射,将发射管与接收管置于同一侧。因此不但反射式血氧饱和度检测方法可以兼容所有透射法的组织区域。一些组织密度大、不透光、但动脉血管分布密集的区域也可以被检测。光子在人体组织中传播时,部分光会因为散射偏离入射角度,达到人体组织内部的动脉血管,探测皮下血管中透光介质的浓度变化。再经过散射后射出皮肤,被光电探测器捕捉。
心电采集模块,采用典型的单导联有线式心电监测,包括导联线、医用电极和放大器滤波器等后续数据处理电路。在一次完整的心跳过程中,心肌细胞去极化的时候会在皮肤表面形成微弱的电学改变,当电学改变被心电图记录装置捕获放大并加以记录后,就得到了熟悉的心电图形状。在正常的心动周期中,窦房结细胞优先产生去极化波,并依次扩散至心房和心室。勘探这种规律的电位变化是测量和诊断异常心脏节律的最好方法。本发明采用三片Ag/AgCl一次性电极进行心电采集,将采集到的心电信号通过模数转换得到心电数据,数据传输类型为串口传输。可以在静止时准确的采集心电信号。
脉搏波采集模块,包括发光管、光电接收器和光电数据处理单元。类似于血氧检测模块,脉搏波采集模块同样使用反射式反应血流的周期性变化。其选用波长为515nm的绿光,降低制造成本的同时也避免环境光和环境温度的变化对脉搏信号造成信号漂移。可以更好的反应皮肤浅层的微动脉信息,较好的凸显脉搏波的变化程度。此外,脉搏波的频带一般在0.05~200Hz间,信号幅度一般为毫伏级水平。在光电接收器后使用了低通滤波器和由MCP6001构成的放大器,将信号放大了330倍,使单片机可以清晰的采集脉搏波数据。
体温和湿度采集模块,通过获取体表温度信号进而得到体温数据。
三轴加速度、角速度和磁场采集模块,通过陀螺仪获取三轴角速度、加速度和磁场的对应信号,配合动态卡尔曼滤波算法,能够在动态环境下准确输出模块的当前姿态。并通过模数转换后得到加速度、角速度和磁场数据。
单片机,分别于上述六种传感器相连接,负责接收各生理信号的数据并进行后处理。最后将各生理数据按顺序输出至便携式显示终端与蓝牙模块。
便携式显示终端,包括触摸屏和单独的MCU,可通过编写ui文件、植入数字和图表控件等操作实现生理数据的可视化和一定程度的人机交互。便携式显示终端可以在脱离上位机的情况下实现心率、血氧、体温的数值显示和心电、脉搏、加速度、角速度的波形显示。
蓝牙传输模块,采用蓝牙4.2协议标准,工作频段为2.4GHz,通过串口将生理数据发送至上位机。
上述的可穿戴的人体多生理信号采集系统,其中,还包括:
GPS定位和气压模块,本发明采用mini GPS模块,内置GPS与北斗双模卫星定位,与气压模块检测的海拔高度相结合,即可定位至确定坐标点。
上述的可穿戴的人体多生理信号采集系统,其中,还包括:
可穿戴规划设计,基于芯片检测特点和人性化的穿着体验。整体系统依附于一件长袖夹克衫内部。其中心率和血氧检测模块与脉搏检测模块安置于左袖口靠体内一侧,模块缝制于一条黑色的魔术贴上。体温传感器缝制在左手腕内靠体内一侧。便携式可视终端置于左手腕靠体外一侧。系统主体安放在塑料壳体内,置于夹克衫的内兜中。壳体内包含单片机、心电采集模块、加速度角速度采集模块和mini GPS模块。壳体正面标有箭头,当手持壳体,正面向上、面朝箭头方向时,可根据便携式显示终端的示数变化指引南北极方向。
上述的可穿戴的人体多生理信号采集系统,其中,还包括:
电源,本发明可采用多种供电模式。为方便随身穿戴的特性,可采用充电宝或电池盒供电。电池选用可充电的18650锂电池。
本发明除了对多生理参数进行同步采集外,另可针对可能出现的导联脱落或芯片接触异常情况进行反馈和报警:当系统无法检测到心电和血氧实数时,会输出“-99”或“--”进行预警。在多生理信号同步采集时可以保证数据的有效性。
数据处理与分析其中包括:
数据处理与分析模块结合了传统的机器学习算法和卷积神经网络的方法构建了卷积神经网络和支持向量机的混合模型,特征提取器我们使用了mobileNetv3和残差网络的思想,分类器使用的支持向量机算法,我们称之为Mobile-ResNet-SVM model(模型架构见附图),该模型能够对多模态数据进行处理,首先使用卷积神经网络对ECG等数据进行特征提取,提取出的特征送入支持向量机等分类器中,再对采集到的健康生理数据进行分类。卷积神经网络能够更好的自动提取特征,而支持向量机分类效果稳定,在数据集上不易产生过拟合,两者构建的混合模型在生理数据集上能够达到鲁棒性。
本专利的算法创新之处,我们使用深度可分离卷积神经网络代替传统的卷积神经网络进行自动提取特征,采用的轻量化的卷积模型能够加速算法的收敛速度,和最终算法落地的可行性。传统的CNN采用的是卷积操作、批归一化处理、池化操作、使用优化器进行快速反向传播、最后接全连接层进行特征向量的分类,而我们的工作是CNN的础上提出全新的特征提取器,构建一个轻量化的网络模型,加快数据的前向推理时间,方便算法落地部署。首先特征提取部分,传统的卷积操作本质是大量的权重向量进行乘积累加操作,产生大量的冗余运算,并且随着网络层数增强,浅层的特征会逐渐减少,因为在前向推理过程中耗费大量的运算资源以及需要大量的训练样本,为此本专利使用的改进的CNN模型采用了轻量化的卷积模块,将传统的卷积操作替换成深度可分离卷积,其运算参数数量、运算成本较低。同时,在传统的卷积神经网络模型中往往加入Relu激活函数加速模型收敛,而我们采用了h-swish激活函数,并且使用Dropblock代替Dropout防止模型过拟合。
深度可分离卷积包含Pointwise和Pointwise两个过程,Depthwise分组卷积是指将输入信号分成若干组,每组做3x3的卷积操作,其作用相当于收集了每个Channel的空间特征,即Depthwise特征。Pointwise逐点卷积是指对输入信号做若干个普通的1x1卷积操作,这样相当于收集了每个点的特征。
h-swish激活函数,这种非线性在保持精度的情况下带了了很多优势,首先在众多软硬件框架中都可以实现,其次量化时避免了数值精度的损失,运行快。这一非线性改变将模型的延时增加了15%。但它带来的网络效应对于精度和延时具有正向促进,剩下的开销可以通过融合非线性与先前层来消除。
Figure BDA0002679978300000061
SVM支持向量机算法,被认为机器学习中近十年来最成功,表现最好的算法,SVM是一种二分类模型,它的基本模型是定义在特征空间上的间隔最大的线性分类器,包括核技巧,这使得它成为本质上的非线性分类器,支持向量机的学习策略是间隔最大化,形式上转化为一个求解凸二次规划的问题。
算法:
给定数据集T={(x1,y1),(x2,y2),...(xN,yN)},xi∈X∈Rn,i=1,2,...N,其中
Figure BDA0002679978300000062
线性可分支持向量机
输入:线性可分训练数据集T={(x1,y1),(x2,y2),...(xN,yN)}
输出:最大几何间隔的分离超平面和分类决策函数
算法步骤如下:
构造并且求解约束最优化问题:
Figure BDA0002679978300000071
Figure BDA0002679978300000072
αi≥0,i=1,2,...,N,αi为拉格朗日乘子向量,xi为第i个特征向量,xj为第j个特征向量,yi为第i个特征向量的类标签,yj第j个特征向量的类标签;
求解最优解
Figure BDA0002679978300000073
计算
Figure BDA0002679978300000074
同时选择a*的一个正的分量aj *>0,计算
Figure BDA0002679978300000075
其中b为分离超平面的截距向量;
由此得到最大几何分割分离超平面:
Figure BDA0002679978300000076
以及分类决策函数
Figure BDA0002679978300000077
其中b*为分离超平面的截距向量;
(1)线性支持向量机;
输入:线性可分训练数据集T={(x1,y1),(x2,y2),...(xN,yN)}和惩罚参数C>0
输出:软间隔的分离超平面和分类决策函数;
算法步骤如下:
构造并且求解约束最优化问题;
Figure BDA0002679978300000078
Figure BDA0002679978300000079
C≥αi≥0,i=1,2,...,N
求解最优解
Figure BDA00026799783000000710
计算
Figure BDA00026799783000000711
同时选择a*的一个正的分量aj *>0,计算
Figure BDA0002679978300000081
由此得到最大几何分割分离超平面:
Figure BDA0002679978300000082
以及分类决策函数
Figure BDA0002679978300000083
非线性支持向量机;
输入:线性可分训练数据集T={(x1,y1),(x2,y2),...,(xn,yn)}和惩罚参数C>0。
输出:分类决策函数;
算法步骤如下:
选择适当的核函数K(x,z)并且求解约束最优化问题:
Figure BDA0002679978300000084
Figure BDA0002679978300000085
C≥αi≥0,i=1,2,...,N
计算
Figure BDA0002679978300000086
同时选择a*的一个正的分量aj *>0,计算
Figure BDA0002679978300000087
构造分类决策函数
Figure BDA0002679978300000088
可视化技术我们采用了PyEchats,对心电、脑电、体温、脉搏信号进行可视化处理和展示。
PyEcharts是百度开源的数据可视化,凭借着良好的交互性,精巧的图表设计,得到众多开发者的认可,其API简洁,支持链式调用,囊括了30+种常见图表,支持主流Notebook环境,Jupyter Notebook和Jupyterlab,可以轻松集成Flask,Django等主流Web,高度灵活的配置项,可轻松搭配出精美的图案,为数据可视化提供强有力的支持。本专利采用PyEcharts对心电、脑电、体温、脉搏信息进行可视化。
使用本发明的穿戴式人体多生理信号采集系统:使用者接好电源之后,各个生理信号检测模块会自动开始进行工作。将各自采集到的生理信号传输至单片机内,经过单片机处理后同步输出至便携式可视终端和蓝牙传输模块。将电脑蓝牙与系统配对并打开对应的上位机程序,即可通过便携式可视终端和上位机界面查看目前的生理信号数值和波形。
人机交互界面分为主界面、各生理信号监测界面和人性化的多功能界面。主界面包含心率、血氧实数,和跳转到其他监测生理信号界面及辅助功能界面的图标。监测生理信号界面共有四类:心电检测界面、脉搏波监测界面、心率和血氧检测界面与速度,加速度检测界面。心率和血氧均以示数进行输出,因此被放置在主界面。当芯片无法正常检测到心率和血氧时,指定区域会显示-99而非由单片机计算得出的生理信号。
心电监测界面与脉搏波监测界面类似,为折线图显示,当心电与脉搏波芯片正常工作时,心电数据和脉搏波数据经单片机处理和计算后会通过串口传输至显示终端特定的折线图。折线图将根据数字信号绘制对应的波动图像,当心电芯片无法接受正常生理信号时,(如导联发生脱落)心电监测界面会将折线图输出为一条直线进行预警。
类似的,角速度与加速度界面在人机交互界面通常不需要极高的显示精度,角速度与加速度的波形可以显示出xyz三轴的变化趋势。同时,精确的角速度与加速度数据将被同步更新。以供有更高需求的用户查看。
上位机界面接收来自串口的数据,自动捕获特定的字符串后,将特定字符串后的数字提取、绘制成折线图。目前上位机界面可以显示血氧、心率、心电和脉搏波四种曲线图。
本发明有四大功能:多生理信号同步采集;辅助功能设计;生理数据蓝牙无线传输;生理信号可视化,直观展示部分生理数据的波形图;并可针对采集到的生理数据进行后续的机器学习算法处理,生产评估报告。
实施例一:
本发明在测量心率和血氧饱和度时,需要在穿戴好本系统后,连接电源,将左手食指和中指指腹放置于采集模块的光电管表面,同时将黑色魔术贴贴在手指上,防止环境光对测量结果的影响。将上位机与系统进行蓝牙配对,打开便携式可视终端的主界面或上位机界面,即可看到心率和血氧饱和度的示数。
实施例二:
本发明在测量心电时,与实施例一类似的,在穿戴好本系统后,将三个导联线连接一次性电极贴,贴至美国标准三导联位置,将上位机与系统进行蓝牙配对,打开便携式可视终端的心电波形界面或上位机界面,即可看到心电的波形示数。
实施例三:
本发明在测量角速度或加速度时,在穿戴好本系统后,将壳体标准地放置在夹克内兜中,打开便携式可视终端的角速度或加速度波形界面,即可看到受测者的角速度及加速度波形示数。
本发明的优势在于:本套系统可以脱离在上位机的情况下进行实时的生理信号检测,通过便携式可视终端,可以查看受测者的生理信号示数和波形。将系统融入可穿戴的夹克衫中,实现了便携式与长时间离线检测功能。最大程度的满足了受监护人的活动自由、提高了生活质量。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明权利要求所限定的范围。

Claims (5)

1.一种基于多模态生理数据的心理压力智能采集测试分析系统,其特征在于,
智能采集模块包括心率和血氧采集模块、心电采集模块、脉搏波采集模块和体温和湿度采集模块;
心率和血氧采集模块包括发光管、光电接收管和光电数据处理单元,将通过血管的光信号转化为电信号并进一步的处理以得到心率和血氧数据;血氧监测通常为无创的、利用光电的动态光谱检测方法;采用反射式血氧检测法,其原理来自朗伯-比尔定律;即当某种单一波长的光照射某种透光介质时,可穿过介质的光的比例只与介质的厚度与浓度相关,而与照射光的强度无关;
I为入射光强度,I0为穿过介质后的光强;当入射光的波长为λ时,由朗伯-比尔定律可得:
Figure FDA0002679978290000011
其中,Aλ为吸光度,ελ为介质吸光系数,D为透光介质的厚度,C为透光介质的浓度;依照动脉搏动的周期变化对反射光的影响,即可求出血液中氧饱和的血红蛋白Hb占总血红蛋白HbO2的比例;
计算血氧饱和度公式如下:
Figure FDA0002679978290000012
反射式血氧饱和度检测方法无需在受测部位的两测设置发光管和接收光电管;而是利用光的反射,将发射管与接收管置于同一侧;因此不但反射式血氧饱和度检测方法可以兼容所有透射法的组织区域;一些组织密度大、不透光、但动脉血管分布密集的区域也可以被检测;光子在人体组织中传播时,部分光会因为散射偏离入射角度,散射到人体组织内部的动脉血管,因此探测皮下血管中透光介质的浓度变化;再经过散射后射出皮肤,被光电探测器捕捉;
心电采集模块采用典型的单导联有线式心电监测,包括导联线、医用电极和放大器滤波器等后续数据处理电路;在一次完整的心跳过程中,心肌细胞去极化的时候会在皮肤表面形成微弱的电学改变,当电学改变被心电图记录装置捕获放大并加以记录后,就得到了熟悉的心电图形状;在正常的心动周期中,窦房结细胞优先产生去极化波,并依次扩散至心房和心室;勘探这种规律的电位变化是测量和诊断异常心脏节律的最好方法;采用三片Ag/AgCl一次性电极进行心电采集,将采集到的心电信号通过模数转换得到心电数据,数据传输类型为串口传输;可以在静止时准确的采集心电信号;
脉搏波采集模块包括发光管、光电接收器和光电数据处理单元;脉搏波采集模块同样使用反射式反应血流的周期性变化;其选用波长为515nm的绿光,避免环境光和环境温度的变化对脉搏信号造成信号漂移;更好的反应皮肤浅层的微动脉信息,较好的凸显脉搏波的变化程度;此外,脉搏波的频带一般在0.05~200Hz间,信号幅度一般为毫伏级水平;在光电接收器后使用了低通滤波器和由MCP6001构成的放大器,将信号放大330倍,使单片机可以清晰的采集脉搏波数据;
体温和湿度采集模块通过获取体表温度信号进而得到体温数据;采用三轴加速度、角速度和磁场采集模块,通过陀螺仪获取三轴角速度、加速度和磁场的对应信号,配合动态卡尔曼滤波算法,能够在动态环境下准确输出模块的当前姿态;并通过模数转换后得到加速度、角速度和磁场数据信息。
2.根据权利要求1所述的一种基于多模态生理数据的心理压力智能采集测试分析系统,其特征在于,
还包括单片机,单片机与心率和血氧采集模块、心电采集模块、脉搏波采集模块和体温和湿度采集模块相连接,负责接收生理信号的数据并进行后处理;最后将各生理数据按顺序输出至便携式显示终端与蓝牙模块;
便携式显示终端包括触摸屏和单独的MCU,可通过编写ui文件、植入数字和图表控件等操作实现生理数据的可视化和一定程度的人机交互;便携式显示终端可以在脱离上位机的情况下实现心率、血氧、体温的数值显示和心电、脉搏、加速度、角速度的波形显示;
蓝牙传输模块采用蓝牙4.2协议标准,工作频段为2.4GHz,通过串口将生理数据发送至上位机。
3.根据权利要求1所述的一种基于多模态生理数据的心理压力智能采集测试分析系统,其特征在于,
还包括GPS定位和气压模块,本发明采用mini GPS模块,内置GPS与北斗双模卫星定位,与气压模块检测的海拔高度相结合,即可定位至确定坐标点。
4.根据权利要求1所述的一种基于多模态生理数据的心理压力智能采集测试分析系统,其特征在于,
制作成可穿戴设备,基于芯片检测特点和人性化的穿着体验;将系统依附于一件长袖夹克衫内部;其中心率和血氧检测模块与脉搏检测模块安置于左袖口靠体内一侧,模块缝制于一条黑色的魔术贴上;体温传感器缝制在左手腕内靠体内一侧;便携式可视终端置于左手腕靠体外一侧;主体安放置于夹克衫的内兜中;主体内包含单片机、心电采集模块、加速度角速度采集模块和mini GPS模块;壳体正面标有箭头,当手持壳体,正面向上、面朝箭头方向时,可根据便携式显示终端的示数变化指引南北极方向。
5.根据权利要求1所述的一种基于多模态生理数据的心理压力智能采集测试分析系统,其特征在于,
数据处理与分析其中包括:
数据处理与分析结合传统的机器学习算法和卷积神经网络的方法构建了卷积神经网络和支持向量机的混合模型,特征提取器使用mobileNetv3和残差网络的思想,分类器使用的支持向量机算法模型架构,该模型能够对多模态数据进行处理,首先使用卷积神经网络对ECG数据进行特征提取,提取出的特征送入支持向量机等分类器中,再对采集到的健康生理数据进行分类;卷积神经网络能够更好的自动提取特征,而支持向量机分类效果稳定,在数据集上不易产生过拟合,两者构建的混合模型在生理数据集上能够达到鲁棒性;
使用深度可分离卷积神经网络代替传统的卷积神经网络进行自动提取特征,采用的轻量化的卷积模型能够加速算法的收敛速度和最终算法落地的可行性;本系统工作是CNN的础上提出全新的特征提取器,构建一个轻量化的网络模型,加快数据的前向推理时间,方便算法落地部署;
首先特征提取部分使用改进的CNN模型采用轻量化的卷积模块,将传统的卷积操作替换成深度可分离卷积,其运算参数数量、运算成本较低;同时,在传统的卷积神经网络模型中往往加入Relu激活函数加速模型收敛;采用h-swish激活函数,并且使用Dropblock代替Dropout防止模型过拟合;
深度可分离卷积包含Pointwise(逐点卷积)和Depthwise(分组卷积)两个过程,Depthwise是指将输入信号分成若干组,每组做3x3的卷积操作,其作用相当于收集了每个Channel的空间特征,即Depthwise特征;Pointwise逐点卷积是指对输入信号做若干个普通的1x1卷积操作,这样相当于收集了每个点的特征;
h-swish激活函数,这种非线性在保持精度的情况下很多优势,首先在众多软硬件框架中都可以实现,其次量化时避免数值精度的损失,运行快;这一非线性改变将模型的延时增加15%;带来的网络效应对于精度和延时具有正向促进,剩下的开销可以通过融合非线性与先前层来消除;
Figure FDA0002679978290000041
SVM支持向量机算法,SVM是一种二分类模型,基本模型是定义在特征空间上的间隔最大的线性分类器,包括核技巧,这使得它成为本质上的非线性分类器,支持向量机的学习策略是间隔最大化,形式上转化为一个求解凸二次规划的问题,使用SVM算法可以稳定的进行心电、脉搏、血氧等生理参数进行有效的分类;
SVM支持向量机算法:
给定数据集T={(x1,y1),(x2,y2),...(xN,yN)},xi∈X∈Rn,i=1,2,...N,其中
Figure FDA0002679978290000051
其中xN表示第N个样本,N代表样本总数;
线性可分支持向量机;
输入:线性可分训练数据集T={(x1,y1),(x2,y2),...(xN,yN)};
输出:最大几何间隔的分离超平面和分类决策函数;
算法步骤如下:
构造并且求解约束最优化问题:
Figure FDA0002679978290000052
Figure FDA0002679978290000053
αi≥0,i=1,2,...,N,αi为拉格朗日乘子向量,xi为第i个特征向量,xj为第j个特征向量,yi为第i个特征向量的类标签,yj第j个特征向量的类标签;
求解最优解
Figure FDA0002679978290000054
计算
Figure FDA0002679978290000055
同时选择a*的一个正的分量aj *>0,计算
Figure FDA0002679978290000056
由此得到最大几何分割分离超平面:
Figure FDA0002679978290000057
以及分类决策函数
Figure FDA0002679978290000058
其中b为分离超平面的截距向量;
线性支持向量机;
输入:线性可分训练数据集T={(x1,y1),(x2,y2),...(xN,yN)}和惩罚参数C>0
输出:软间隔的分离超平面和分类决策函数;
算法步骤如下:
(1)构造并且求解约束最优化问题;
Figure FDA0002679978290000061
支持向量机对偶最优化
Figure FDA0002679978290000062
C≥αi≥0,i=1,2,...,N
求解最优解
Figure FDA0002679978290000063
为拉格朗日乘子向量,xi为第i个特征向量,xj为第j个特征向量,yi为第i个特征向量的类标签,yj第j个特征向量的类标签;
(2)计算
Figure FDA0002679978290000064
同时选择a*的一个正的分量aj *>0,计算
Figure FDA0002679978290000065
由此得到最大几何分割分离超平面:
Figure FDA0002679978290000066
以及分类决策函数;其中b*为分离超平面的截距向量;
Figure FDA0002679978290000067
非线性支持向量机;
输入:线性可分训练数据集T={(x1,y1),(x2,y2),...,(xn,yn)}和惩罚参数C>0;
输出:分类决策函数;
算法步骤如下:
选择适当的核函数K(x,z)并且求解约束最优化问题:
Figure FDA0002679978290000068
Figure FDA0002679978290000069
C≥αi≥0,i=1,2,...,N
计算
Figure FDA00026799782900000610
同时选择a*的一个正的分量aj *>0,计算
Figure FDA0002679978290000071
构造分类决策函数
Figure FDA0002679978290000072
采用PyEchats可视化技术对心电、脑电、体温、脉搏信号进行可视化处理和展示。
CN202010959534.2A 2020-09-14 2020-09-14 基于多模态生理数据的心理压力智能采集测试分析系统 Pending CN112057059A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010959534.2A CN112057059A (zh) 2020-09-14 2020-09-14 基于多模态生理数据的心理压力智能采集测试分析系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010959534.2A CN112057059A (zh) 2020-09-14 2020-09-14 基于多模态生理数据的心理压力智能采集测试分析系统

Publications (1)

Publication Number Publication Date
CN112057059A true CN112057059A (zh) 2020-12-11

Family

ID=73695418

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010959534.2A Pending CN112057059A (zh) 2020-09-14 2020-09-14 基于多模态生理数据的心理压力智能采集测试分析系统

Country Status (1)

Country Link
CN (1) CN112057059A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112716465A (zh) * 2021-02-05 2021-04-30 山西新华防化装备研究院有限公司 一种基于多生理信息数据的防化装备生理评价系统及方法
CN113255635A (zh) * 2021-07-19 2021-08-13 中国科学院自动化研究所 多模态融合的心理压力分析方法
CN113298196A (zh) * 2021-07-28 2021-08-24 深兰盛视科技(苏州)有限公司 健康监测方法、装置、设备及计算机可读存储介质
CN114694211A (zh) * 2022-02-24 2022-07-01 合肥工业大学 非接触式多生理参数的同步检测方法和系统
CN115040095A (zh) * 2022-08-15 2022-09-13 北京九叁有方物联网科技有限公司 适老化多功能自主非侵入式动态生理信号监测分析系统
CN115090610A (zh) * 2022-06-22 2022-09-23 合肥工业大学 一种用于义齿加工的去静电式除尘装置及其加工系统
CN116211298A (zh) * 2023-01-16 2023-06-06 杭州沃维医疗科技有限公司 一种集成血液氧含量与电信号采集的系统、方法及传感器
CN117351680A (zh) * 2023-12-05 2024-01-05 福建泉州泉顺通讯科技有限公司 一种具有gps定位对讲机的报警系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104622445A (zh) * 2015-01-30 2015-05-20 中国科学院电子学研究所 一种无线智能的多生理参数健康监护腕式设备
DE102016006196A1 (de) * 2016-05-19 2017-11-23 Biomedatronik UG (haftungsbeschränkt) Innovatives verfahren und multisensor-plattform zum nichtinvasiven monitoring von physiologischen parameter und blutinhaltstoffe sowie frühdiagnose der pathologischen änderungen und gesundheits-management und ihre anwendung mit smartphone
CN111528813A (zh) * 2020-04-24 2020-08-14 中国人民解放军总医院第四医学中心 一种便携腕式多生理信息实时检测无线系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104622445A (zh) * 2015-01-30 2015-05-20 中国科学院电子学研究所 一种无线智能的多生理参数健康监护腕式设备
DE102016006196A1 (de) * 2016-05-19 2017-11-23 Biomedatronik UG (haftungsbeschränkt) Innovatives verfahren und multisensor-plattform zum nichtinvasiven monitoring von physiologischen parameter und blutinhaltstoffe sowie frühdiagnose der pathologischen änderungen und gesundheits-management und ihre anwendung mit smartphone
CN111528813A (zh) * 2020-04-24 2020-08-14 中国人民解放军总医院第四医学中心 一种便携腕式多生理信息实时检测无线系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
武灵芝;吴皓;李文涛;李亚娟;杜若瑜;王俊;: "基于安卓和蓝牙通信的智能生理监护仪的设计", 北京生物医学工程, no. 04 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112716465A (zh) * 2021-02-05 2021-04-30 山西新华防化装备研究院有限公司 一种基于多生理信息数据的防化装备生理评价系统及方法
CN113255635A (zh) * 2021-07-19 2021-08-13 中国科学院自动化研究所 多模态融合的心理压力分析方法
CN113298196A (zh) * 2021-07-28 2021-08-24 深兰盛视科技(苏州)有限公司 健康监测方法、装置、设备及计算机可读存储介质
CN114694211A (zh) * 2022-02-24 2022-07-01 合肥工业大学 非接触式多生理参数的同步检测方法和系统
CN114694211B (zh) * 2022-02-24 2024-04-19 合肥工业大学 非接触式多生理参数的同步检测方法和系统
CN115090610A (zh) * 2022-06-22 2022-09-23 合肥工业大学 一种用于义齿加工的去静电式除尘装置及其加工系统
CN115040095A (zh) * 2022-08-15 2022-09-13 北京九叁有方物联网科技有限公司 适老化多功能自主非侵入式动态生理信号监测分析系统
CN116211298A (zh) * 2023-01-16 2023-06-06 杭州沃维医疗科技有限公司 一种集成血液氧含量与电信号采集的系统、方法及传感器
CN117351680A (zh) * 2023-12-05 2024-01-05 福建泉州泉顺通讯科技有限公司 一种具有gps定位对讲机的报警系统
CN117351680B (zh) * 2023-12-05 2024-02-09 福建泉州泉顺通讯科技有限公司 一种具有gps定位对讲机的报警系统

Similar Documents

Publication Publication Date Title
CN112057059A (zh) 基于多模态生理数据的心理压力智能采集测试分析系统
CN104055499B (zh) 连续监控人体生理体征的可穿戴式智能手环及方法
CN109157202B (zh) 一种基于多生理信号深度融合的心血管疾病预警系统
CN104873186B (zh) 一种可穿戴的动脉检测装置及其数据处理方法
US8801621B2 (en) Method, system and program product for analyzing pulse wave data
US11317814B2 (en) Systems and methods for collecting physiological information of a user
Patel et al. A wearable multi-modal bio-sensing system towards real-world applications
US20150057506A1 (en) Arrayed electrodes in a wearable device for determining physiological characteristics
CN106163387A (zh) 用于检测用户的心率的变化的系统和方法
US20090024044A1 (en) Data recording for patient status analysis
CN203914894U (zh) 连续监控人体生理体征的可穿戴式智能手环
CN105997026A (zh) 一种智能健康便携式检测设备
CN115500800A (zh) 一种穿戴式生理参数检测系统
CN207370703U (zh) 生物信息检测装置和可穿戴设备
WO2019141869A1 (en) Optical response measurement from skin and tissue using spectroscopy.
CN111601548A (zh) 对来自远程便携式传感器装置的心电图数据进行分析
Mahmud et al. SensoRing: An integrated wearable system for continuous measurement of physiological biomarkers
CN107582040B (zh) 一种心律监测方法和装置
Mehrgardt et al. Deep learning fused wearable pressure and PPG data for accurate heart rate monitoring
CN110013246A (zh) 一种高压氧舱生命体征监测方法及系统
WO2023019467A1 (zh) 多项生理参数检测手套及高血压病症患病风险检测系统
CN114903445A (zh) 一种心脑血管疾病智能监测预警系统
CN214127218U (zh) 一种带有非损伤式生理数据检测功能的头盔装置
Shabnam et al. IoT based health monitoring using smart devices for medical emergency services
WO2021148921A1 (en) A medical system and method using a pair of gloves equipped with physiological sensors

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination