CN111862068B - 融合数据缺失数据和图像的三模型综合决策情绪预测方法 - Google Patents
融合数据缺失数据和图像的三模型综合决策情绪预测方法 Download PDFInfo
- Publication number
- CN111862068B CN111862068B CN202010739084.6A CN202010739084A CN111862068B CN 111862068 B CN111862068 B CN 111862068B CN 202010739084 A CN202010739084 A CN 202010739084A CN 111862068 B CN111862068 B CN 111862068B
- Authority
- CN
- China
- Prior art keywords
- data
- model
- electrocardiogram
- prediction
- emotion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000008451 emotion Effects 0.000 title claims abstract description 61
- 238000000034 method Methods 0.000 title claims abstract description 24
- 238000004458 analytical method Methods 0.000 claims abstract description 22
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 6
- 238000007781 pre-processing Methods 0.000 claims abstract description 3
- 238000012549 training Methods 0.000 claims description 21
- 230000002996 emotional effect Effects 0.000 claims description 18
- 230000006870 function Effects 0.000 claims description 14
- 238000012360 testing method Methods 0.000 claims description 10
- 238000006243 chemical reaction Methods 0.000 claims description 7
- 238000013528 artificial neural network Methods 0.000 claims description 5
- 101100243951 Caenorhabditis elegans pie-1 gene Proteins 0.000 claims description 4
- 238000005457 optimization Methods 0.000 claims description 4
- 238000000926 separation method Methods 0.000 claims description 4
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 3
- 230000004927 fusion Effects 0.000 claims 1
- 230000000694 effects Effects 0.000 description 9
- 230000006399 behavior Effects 0.000 description 7
- 238000001514 detection method Methods 0.000 description 7
- 238000001914 filtration Methods 0.000 description 7
- 238000005070 sampling Methods 0.000 description 6
- 239000013598 vector Substances 0.000 description 5
- 210000002569 neuron Anatomy 0.000 description 4
- 238000011176 pooling Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 3
- 101100083337 Schizosaccharomyces pombe (strain 972 / ATCC 24843) pic1 gene Proteins 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 238000012952 Resampling Methods 0.000 description 1
- 208000003443 Unconsciousness Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000000718 qrs complex Methods 0.000 description 1
- 210000000697 sensory organ Anatomy 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000009966 trimming Methods 0.000 description 1
- 230000002618 waking effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G06T5/70—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
Abstract
本发明涉及一种融合数据缺失数据和图像的三模型综合决策情绪预测方法，包括以下步骤：步骤S1:获取心电图文件并对其进行图像预处理，得到二值化心电图;步骤S2:根据得到的二值化心电图，以列扫描方式与前者基准结合转换图像信息为标准心电数据；步骤S3:将标准心电数据通过多维心电分析模型，提取心电特征；步骤S4:分别构建特征权重分析模型的情绪预测模型、卷积神经网络和Missing_Value_Model模型，并根据标准心电数据和心电特征，得到三个预测结果；步骤S5:根据得到的三个预测结果，采用比较权重方法确定最终的预测结果。本发明提出融合三种格式数据的情感类型预测模型，实现提高预测准确度。
Description
技术领域
本发明属于心电情绪状态预测领域，涉及一种融合数据缺失数据和图像的三模型综合决策情绪预测方法。
背景技术
人的行为活动由个人思想或欲望决定，行为的产生应首先受意识的影响，心理意识的思维影响着个人行为，而个人的行为又对个人心理产生一定的影响，改变心理的意识。可以说心理与意识是相互影响，相互转化的。人在清醒状态下，能够意识到作用于感官的外界环境；能够意识到自己的行为目标，对行为的控制；能够意识到自己的情绪体验；能够意识到自己的身心特点和行为特点，把“自我”与“非我”、“主体”与“客体”区分开来；还能意识到“自我”与“非我”、“主体”与“客体”的相互关系。除了意识活动，人还有无意识活动。无意识活动在人的心理中是很普遍的。无意识活动也是人反映外部世界的一种特殊形式。在大数据时代，可以通过各种传感设备实时感知人的活动状态，来综合分析人员情绪状况及心理活动。
发明内容
有鉴于此，本发明的目的在于提供一种融合数据缺失数据和图像的三模型综合决策情绪预测方法，实现融合图像、数据和缺失数据的信息进行情感预测，进而提高预测准确度。
为实现上述目的，本发明采用如下技术方案：
一种融合数据缺失数据和图像的三模型综合决策情绪预测方法，包括以下步骤：
步骤S1:获取心电图文件并对其进行图像预处理，得到二值化心电图；
步骤S2:根据得到的二值化心电图，以列扫描方式与前者基准结合转换图像信息为标准心电数据；
步骤S3:将标准心电数据通过多维心电分析模型，提取心电特征；
步骤S4:分别构建特征权重分析模型的情绪预测模型、卷积神经网络和Missing_Value_Model模型，并根据标准心电数据和心电特征，得到三个预测结果；
步骤S5:根据得到三个预测结果，采用比较权重方法确定最终的预测结果。
进一步的，所述步骤S1具体为：
步骤S11:将心电图文件进行图像转换，变成PNG格式；
步骤S12:在OTSU算法基础上进行改进，加入Gamma变换调节灰度分布从而实现心电曲线与背景网格分离；
步骤S13：将去网格后的ECG进行心电图像切割，保存为二值化图像，得图像集pic1。
进一步的，所述步骤S2具体为：
步骤S21:获取心电曲线所在行高的位置。
步骤S22：转换心电曲线幅值的信息，并将得到的行高序列信息转换为实际幅值信息，经计算可得图像转数据的ECG数据集D1。
进一步的，所述步骤S3具体为：
将步骤S2得出的标准心电数据集D1划分为训练集Train_set和测试集Test_set，所有Train_set的情绪状态的标签已知；
将训练集输入多维心电分析模型Multidimensional ECG analysis model提取特征，采用adam优化器，学习率设为逐渐衰减的形式，直到损失函数低于阈值时停止训练，取MD-ECG-AM输出层的输出作为数据特征。
进一步的，在所述步骤S4中构建特征权重分析模型的情绪预测模型，将心电特征为特征权重分析模型的输入，特征权重分析模型将CART树作为分类的工具，结合集成学习的思想，以误差作为迭代依据，同时考虑时序因素，在不同时间段对特征采用不同的权重，当优化结果小于阈值时停止迭代，最终输出情绪状态概率集P1。
进一步的，在所述步骤S4中，将步骤S2中得到的标准心电数据集D1使用ECG-DCTIM方法转换成二维图像，得到二维图像集pic2，将二维图像集pic2输入ECGCNN网络，在网络中加入注意力识别方法，最后网络输出一个情绪预测概率集P2。
进一步的，在所述步骤S4中，将步骤2中的每一笔标准心电数据重采样至相同长度，对每笔数据选取相同的长度段d用全零的数值替代，所有数据集替换完成得到心电数据集DATA1，将DATA1输入模型Missing_Value_Model，模型输出为预测的7种情绪所占概率P3。
进一步的，所述步骤S5具体为：结合图像预测情绪状态模型，数据预测情绪状态模型和缺失数据预测情绪状态模型，将步骤S4输出的三个预测结果概率集P1，P2和P3，输入权重分配系统，由神经网络学习出最佳分配权重：数据权重WE1、图像权重WE2、缺失数据权重WE3，比较三个权重值大小最后做出决策，得到最终的预测结果。
本发明与现有技术相比具有以下有益效果：
本发明考虑数据和图像以及缺失数据所包含的有效心电信息存在差异且三种信息可以相互辅助互为补充，提出融合三种格式数据的情感类型预测模型，提高预测准确度。
附图说明
图1是本发明的方法流程图；
图2是本发明一实施例中的图像坐标系图。
具体实施方式
下面结合附图及实施例对本发明做进一步说明。
请参照图1，本发明提供一种融合数据缺失数据和图像的三模型综合决策情绪预测方法，包括以下步骤：
步骤S1:将原始心电图文件转化为PNG格式的图像，使用改进的OTSU算法实现心电曲线与背景网格分离，将去网格后的ECG切割保存为二值化图像，得到图像集pic1；
步骤S2：将步骤S1所得的图像集pic1获取曲线行高位置并转换曲线幅值信息，计算得到图像转数据的标准心电数据集D1；
步骤S3：构建多维心电分析模型Multidimensional ECG analysis model(MD-ECG-AM)提取特征，模型输入采用步骤S2所得的数据集D1，数据集划分为训练集Train_set和测试集Test_set，MD-ECG-AM模型输出即为ECG数据特征集FEAT_SET；
步骤S4：构建特征权重分析模型的情感预测模型，将S3输出的特征集FEAT_SET输入此模型，模型经过训练最终输出情感类型概率集P1；
使用ECG-DCTIM算法将S2得到的标准心电数据D1转换成二维图像集pic2,构建ECGCNN网络，将pic2作为输入，训练得到一个情感类型概率集P2；
将步骤S2得到的标准心电数据集的每一笔心电数据重采样至相同长度，对每笔数据随机选取相同的长度段d用全零的数值替代，所有数据集替换完成得到心电数据集DATA1，将DATA1输入模型Missing_Value_Model，模型输出为预测的7种情绪所占概率P3；
步骤S5：将情感类型概率集P1、P2和P3，输入权重分配系统，由神经网络学习出最佳分配权重：数据权重WE1、图像权重WE2，缺失数据权重WE3，比较三个权重值大小最后做出决策。
在本实施例中，步骤S1具体为：
利用java语言编程实现将PDF文件进行图像转换，并综合考虑心电图像的失真情况，最终将归一化图像分辨率确定为6614*9354，通道为3通道，格式为PNG。每一笔PDF数据共有6页。其中第一页是患者信息故予以舍去，剩下5页每页包含8行心电曲线信息。
为了准确提取心电曲线信息，需要将冗杂的背景与前景曲线相分离以达到良好的数字化效果。
本实施例中，优选的，在OTSU算法基础上进行改进，加入非线性处理Gamma变换调节灰度直方图分布从而实现心电曲线与背景网格分离。在大津法前先对图像进行Gamma变换，从而大幅提高了曲线提取的成功率。去除网格后的图片仍然存在冗余信息，需要单独裁剪出图像所在的区域。由于每张图片均存在8行心电曲线，因而每张图片裁剪为8条，一笔数据共5张有效图片，故有40条心电曲线。其中，裁剪窗口的高度与数字化效果密切相关。若不加选择地裁剪，可能会导致每条曲线末尾处的电压值与下一条曲线初始处的电压值不连续，直接导致了数据的偏差。本实施例中，调节不同高度以分析曲线的连续情况，最终确定了用分辨率5601*901的窗口对曲线进行截取，保存为二值化图像集pic1。
在本实例中，步骤S2具体为：二值化的图像集pic1中，心电曲线为黑色，对应单通道8bit位深的灰度值是0，而背景白色的灰度值为255。心电曲线是一种连续的幅值信息，将该思想转换为图像领域，即灰度值为0的点所在的像素行高位置信息。图像坐标系如图2所示：
行高位置即为图中所示y轴位置。因此，采用逐列扫描的方式记录下灰度值为0的像素所在行高，组成一个y轴位置信息的序列。因坐标系y轴方向为垂直向下，实际幅值越高，则y轴坐标越小，故该序列与实际幅值信息呈现负相关。
将得到的行高序列信息转换为实际幅值信息，首先需要重新规定一个原点位置，该位置即为实际心电曲线电压幅值为0的所在行高，将y＝540的像素行作为电压基准点，与原像素点作减法
Ytrans＝540-Yorigin
所得Ytrans与实际电压幅值呈正相关，且具有相同基准原点。但该数据仍然与实际幅值存在像素与幅值之间比例β的倍数差异，该比例β可通过计算背景网格与像素点的比例来计算，两大格网格的高度为1mv，而测量知两大格的像素高度差为474像素，故
即可得到最终幅值信息
经以上转换和计算可得图像转数据的ECG数据集D1。
在本实例中，步骤S3具体为：根据S2得出的标准心电数据集D1划分为两部分：训练集和测试集，所有训练集的情感状态标签已知，根据训练集中情感类型标签分类数目情况，对少数类进行过抽样、对多数类进行下抽样、混合抽样，得到训练集Train_set。
优选的，在本实施例中。对训练集Train_set进行心电预处理，包括：
1.使用FIR滤波器对数据进行滤波，去除基线漂移现象与滤去高频噪声。FIR滤波器设置为带通滤波器，带通滤波器的滤波频带滤去0.015Hz～0.3Hz的基线漂移噪声与50Hz的工频干扰，优选的，本实施例中设置为5Hz～30Hz的带通滤波。
2.使用R波检测技术，检测II导联R波位置。将滤波后的心电信号进一步地，创新提出了同时检测II导联R波与V1导联S波，交叉对比。对II导联与V1导联带通滤波后经过“双斜率”处理识别QRS波群，再经过系统滤波准确定位R波与S波。设置检测出对应的R波与S波出现的时间若相差Xms，则视为误差将其剔除，提高准确率。将经过处理后的训练集Train_set输入多维心电分析模型Multidimensional ECG analysis model(MD ECGAM)，该模型由输入层、卷积层、池化层、全连接层和输出层组成，采用adam优化函数，学习率设为逐渐衰减的形式，直到损失函数低于阈值时停止训练，取MD-ECG-AM输出层的输出作为数据特征，包括n维QRS波群时域形态特征与m维RR间期特征。
在本实例中，步骤S4具体为：
1.构建特征权重分析模型的情感预测模型，从MD-ECG-AM提取出的特征有当前心拍的RR间期、下一个心拍的RR间期、当前时刻前10个心拍的平均RR间期、该心电数据的平均RR间期、该心电数据全部相邻RR间期的标准差、全部相邻RR间期序列差值的均方根值以及若干QRS波群时域形态的特征。将这些特征输入特征权重分析模型。特征权重分析模型是树集成模型，将K(树的总数为K)个树的每棵树对样本的预测值的和作为该样本在特征权重分析模型中的预测。每棵树的学习模型为f(x)，每棵树的目标函数为
具体的有：
目标函数可化简为由二阶泰勒展开的损失函数与正则项和一个常数之和。通过控制正则项控制树模型的复杂程度，防止过拟合。控制损失函数的一阶函数导数和二阶函数导数得到叶节点的取值。
特征权重模型基于集成学习的思想，树模型与树模型之间以迭代的方式进行优化学习，每棵树拟合上一颗树的负梯度值，综合了之前所有树模型进行学习，当优化数值达到设定的阈值时停止迭代，得到既定模型。最后将经去噪的测试集进行模型的情感类型测试，对每一个样本输出情感概率集P1。
2.先将标准心电数据D1根据R波位置切割成一个个单心拍的数据，再将所得单心拍数据使用ECG-DCTIM算法转换成二维图像集pic2。
其中检测R波位置采改进的动态阈值检测算法，该算法是将信号的波峰与设定的临界值比较，当波峰大于临界值时，即判断为R波，当波峰低于临界值时，则不判为R波。并且不断的调节临界值和噪声的标准值，做到动态调整，以此来增加R波检测的准确率和可靠性。在此基础上，结合实际使用中遇到的漏检与误检的问题，对PT算法进行了改进，当信号的信噪比过低时，容易出现漏检测点和误检测点，通过调整阈值或者直接删除此R波来改善此类情况。ECG-DCTIM算法根据心拍数据具有的时序特性，进行以下过程的处理：
1)将每一个单心拍的时间序列X＝{x1,x2,x3,...,xn}先缩放到[-1,+1]区间，得缩放后的序列表示：
2)将缩放后的序列转换到极坐标系中，其中角度用arccos(x)表示，范围是区间[0,π]，计算半径时则是将区间[0,1]分成N等份，得到N+1个分隔点{0,1，...,1}。丢弃0将这些点与时间序列关联起来。数学定义为：
arccos(x)函数为单调函数，所以从时间序列编码转换到极坐标系中是双射的，通过r坐标保持了时间的依赖性。接下来定义Gramian矩阵：
对角线由缩放后的时间序列的原始值构成，时间相关性是通过时间间隔的方向叠加，用相对相关性来解释的。矩阵大小为nxn，n过大时会造成G过大，使用均值核来降维。至此为止得到单心拍数据转图像的图像集pic2。构建ECGCNN网络将pic2作为模型输入。该网络是针对输入为心电数据转成的图像的特异性卷积神经网络，由输入层，多个卷积池化层，多个BN(Batch Normalization)层,两个全连接层以及两个softmax层组成，经过前面的多层卷积池化之后提取出了ECG的特征，设为Input Feature，将InputFeature再次经过多层卷积和BN层，设此时BN层的输出为Bset，Bset经过softmax层后与Input Feature相乘，想乘的结果经权重调整后与Bset相加得到Ouput Feature，这便是在CNN网络中引入的注意力识别方法，将OuputFeature经过全局平均池化和一个14个神经元的softmax，其输出为7种情感类型的概率集P2。
3.将步骤S2得到的标准心电数据集D1划分为两部分：训练集和测试集，所有训练集的情感状态标签已知，根据训练集中情感类型标签分类数目情况，对少数类进行过抽样、对多数类进行下抽样、混合抽样，得到训练集Train_set。对训练集Train_set进行心电预处理，预处理操作包括：使用FIR滤波器对数据进行滤波，去除基线漂移现象与滤去高频噪声。FIR滤波器设置为带通滤波器，带通滤波器的滤波频带滤去0.015Hz～0.3Hz的基线漂移噪声与50Hz的工频干扰，本发明设置为5Hz～30Hz的带通滤波。滤波之后的数据集为FilterdData1，将该数据集的每一笔心电数据重采样至相同长度L，对每笔数据随机选取相同的长度段d(d<L且d不应该太接近L)用全零的数值替代，所有数据集替换完成得到心电数据集DATA1，将DATA1输入模型Missing_Value_Model，Missing_Value_Model模型的构成为多层的CNN+ResNet网络，最后两层是全连接层和Softmax层，Softmax层的神经元个数是7，因为有7类情感状态需要被分类预测，最后模型输出为预测的7种情感所占概率P3。
在本实例中，步骤S5具体为：将情感概率集P1、P2和P3，输入权重分配系统，由神经网络学习出最佳分配权重：数据权重WE1、图像权重WE2和缺失数据权重WE3，比较3个权重值大小最后做出决策。
构建权重分配系统，该系统把三个情感类型概率集P1，P2和P3作为输入特征向量，由输入层，三个卷积层，一个全连接层，一个输出层组成，输入层是三个神经元组成，对应三个特征向量P1、P2与P3，输出层也由3个神经元组成，对应三个权重值WE1、WE2与WE3，该系统是有监督学习的，通过前馈神经网络，求得特征向量与真实标签向量之间的差值，再通过把差值反向传播来更新各层参数值，直到差值低于设定阈值停止训练，此时输出WE1、WE2与WE3，若WE1>WE2，WE3，将判断情感预测模型选择特征权重分析模型的情感预测模型，得出情感预测概率集P1，根据P1可分别对应7种情感类型(情感标签包括：愤怒、愉悦、恐惧、平静、厌恶、惊奇、悲伤，分别用数字0，1，2，3，4，5，6)，根据P1中值的大小可判断当前测试者的情感状态类型；若WE2>WE1,WE3,将判断情感预测模型选择ECGCNN网络，得出情感类型概率集P2，根据P2可分别对应7种情感类型，根据P2中值的大小可判断当前测试者的情感状态类型；若WE3>WE1,WE2,将判断情感预测模型选择Missing_Value_Model网络，得出情感类型概率集P3，根据P3可分别对应7种情感类型，根据P3中值的大小可判断当前测试者的情感状态类型；若有其中两个权重值相等且大于另一个权重值，则选择相等权重对应的网络，再选择两个网络中概率集标号小的网络，根据概率值的大小可判断当前测试者的情感状态类型；若WE1＝WE2＝WE3，有三种情况，第一种情况：P1＝P2＝P3，即是三个向量中的元素值对应相等，根据实际情况，发生这种可能的概率将非常低，不予考虑；第二种情况：其中两个概率相等，这种情况出现概率非低，也不予考虑；考虑第三种情况：P1不等于P2不等于P3，选择P1为最终预测结果判断情感类型。
以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本发明的涵盖范围。
Claims (5)
1.一种融合数据缺失数据和图像的三模型综合决策情绪预测方法，其特征在于，包括以下步骤：
步骤S1:获取心电图文件并对其进行图像预处理，得到二值化心电图;
步骤S2:根据得到的二值化心电图，以列扫描方式与前者基准结合转换图像信息为标准心电数据；
步骤S3:将标准心电数据通过多维心电分析模型，提取心电特征；
步骤S4:分别构建特征权重分析模型的情绪预测模型、卷积神经网络和Missing_Value_Model模型，并根据标准心电数据和心电特征，得到三个预测结果；
步骤S5:根据得到三个预测结果，采用比较权重方法确定最终的预测结果；
在所述步骤S4中构建特征权重分析模型的情绪预测模型，将心电特征为特征权重分析模型的输入，特征权重分析模型将CART树作为分类的工具，结合集成学习的思想，以误差作为迭代依据，同时考虑时序因素，在不同时间段对特征采用不同的权重，当优化结果小于阈值时停止迭代，最终输出情绪状态概率集P1；
在所述步骤S4中，将步骤S2中得到的标准心电数据集D1使用ECG-DCTIM方法转换成二维图像，得到二维图像集pic2，将二维图像集pic2输入ECGCNN网络，在网络中加入注意力识别方法，最后网络输出一个情绪预测概率集P2；
在所述步骤S4中，将步骤S2中的每一笔标准心电数据重采样至相同长度，对每笔数据选取相同的长度段d用全零的数值替代，所有数据集替换完成得到心电数据集DATA1，将DATA1输入模型Missing_Value_Model，模型输出为预测的7种情绪所占概率P3。
2.根据权利要求1所述的融合数据缺失数据和图像的三模型综合决策情绪预测方法，其特征在于，所述步骤S1具体为：
步骤S11:将心电图文件进行图像转换，变成PNG格式 ;
步骤S12:在OTSU算法基础上进行改进，加入Gamma变换调节灰度分布从而实现心电曲线与背景网格分离;
步骤S13：将去网格后的ECG进行心电图像切割，保存为二值化图像，得图像集pic1。
3.根据权利要求1所述的融合数据缺失数据和图像的三模型综合决策情绪预测方法，其特征在于，所述步骤S2具体为：
步骤S21:获取心电曲线所在行高的位置;
步骤S22：转换心电曲线幅值的信息，并将得到的行高序列信息转换为实际幅值信息，经计算可得图像转数据的ECG数据集D1。
4.根据权利要求1所述的融合数据缺失数据和图像的三模型综合决策情绪预测方法，其特征在于，所述步骤S3具体为：
将步骤S2得出的标准心电数据集D1划分为训练集Train_set和测试集Test_set，所有Train_set的情绪状态的标签已知；
将训练集输入多维心电分析模型Multidimensional ECG analysis model提取特征，采用adam优化器，学习率设为逐渐衰减的形式，直到损失函数低于阈值时停止训练，取MD-ECG -AM输出层的输出作为数据特征。
5.根据权利要求1所述的融合数据缺失数据和图像的三模型综合决策情绪预测方法，其特征在于，所述步骤S5具体为：结合图像预测情绪状态模型，数据预测情绪状态模型和缺失数据预测情绪状态模型，将步骤S4输出的三个预测结果概率集P1，P2和P3，输入权重分配系统，由神经网络学习出最佳分配权重：数据权重WE1、图像权重WE2、缺失数据权重WE3，比较三个权重值大小最后做出决策，得到最终的预测结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010739084.6A CN111862068B (zh) | 2020-07-28 | 2020-07-28 | 融合数据缺失数据和图像的三模型综合决策情绪预测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010739084.6A CN111862068B (zh) | 2020-07-28 | 2020-07-28 | 融合数据缺失数据和图像的三模型综合决策情绪预测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111862068A CN111862068A (zh) | 2020-10-30 |
| CN111862068B true CN111862068B (zh) | 2022-09-13 |
Family
ID=72948189
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010739084.6A Active CN111862068B (zh) | 2020-07-28 | 2020-07-28 | 融合数据缺失数据和图像的三模型综合决策情绪预测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111862068B (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107595243A (zh) * | 2017-07-28 | 2018-01-19 | 深圳和而泰智能控制股份有限公司 | 一种病症评估方法及终端设备 |
| CN107736894A (zh) * | 2017-09-24 | 2018-02-27 | 天津大学 | 一种基于深度学习的心电信号情绪识别方法 |
| CN108805089A (zh) * | 2018-06-14 | 2018-11-13 | 南京云思创智信息科技有限公司 | 基于多模态的情绪识别方法 |
| CN109409302A (zh) * | 2018-10-30 | 2019-03-01 | 辽宁工程技术大学 | 一种基于拓扑空间模型的表情识别方法 |
| CN109583419A (zh) * | 2018-12-13 | 2019-04-05 | 深圳市淘米科技有限公司 | 一种基于深度卷积网络的情绪预测系统 |
| WO2019071370A1 (en) * | 2017-10-09 | 2019-04-18 | Intel Corporation | FUSION OF MULTIMODAL AUTOMATIC LEARNING ANALYSIS CHARACTERISTICS |
| CN110472245A (zh) * | 2019-08-15 | 2019-11-19 | 东北大学 | 一种基于层次化卷积神经网络的多标记情绪强度预测方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160034814A1 (en) * | 2014-08-01 | 2016-02-04 | University Of Southern California | Noise-boosted back propagation and deep learning neural networks |
-
2020
- 2020-07-28 CN CN202010739084.6A patent/CN111862068B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107595243A (zh) * | 2017-07-28 | 2018-01-19 | 深圳和而泰智能控制股份有限公司 | 一种病症评估方法及终端设备 |
| CN107736894A (zh) * | 2017-09-24 | 2018-02-27 | 天津大学 | 一种基于深度学习的心电信号情绪识别方法 |
| WO2019071370A1 (en) * | 2017-10-09 | 2019-04-18 | Intel Corporation | FUSION OF MULTIMODAL AUTOMATIC LEARNING ANALYSIS CHARACTERISTICS |
| CN108805089A (zh) * | 2018-06-14 | 2018-11-13 | 南京云思创智信息科技有限公司 | 基于多模态的情绪识别方法 |
| CN109409302A (zh) * | 2018-10-30 | 2019-03-01 | 辽宁工程技术大学 | 一种基于拓扑空间模型的表情识别方法 |
| CN109583419A (zh) * | 2018-12-13 | 2019-04-05 | 深圳市淘米科技有限公司 | 一种基于深度卷积网络的情绪预测系统 |
| CN110472245A (zh) * | 2019-08-15 | 2019-11-19 | 东北大学 | 一种基于层次化卷积神经网络的多标记情绪强度预测方法 |
Non-Patent Citations (1)
| Title |
|---|
| "基于多模态融合的情感计算研究";周肖肖;《中国优秀硕士学位论文全文数据库 信息科技辑 I138-1023》;20190115;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111862068A (zh) | 2020-10-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109389059B (zh) | 一种基于cnn-lstm网络的p300检测方法 | |
| CN107844755B (zh) | 一种结合dae和cnn的脑电信号特征提取与分类方法 | |
| Guo et al. | Automatic feature extraction using genetic programming: An application to epileptic EEG classification | |
| Hosseini et al. | The comparison of different feed forward neural network architectures for ECG signal diagnosis | |
| CN110179453B (zh) | 基于卷积神经网络和长短期记忆网络的心电图分类方法 | |
| CN110403600B (zh) | 基于差值时间散点图的阵发性房颤智能分析方法及系统 | |
| CN108090509B (zh) | 一种数据长度自适应的心电图分类方法 | |
| Liu et al. | Research on medical data feature extraction and intelligent recognition technology based on convolutional neural network | |
| CN111709267A (zh) | 深度卷积神经网络的脑电信号情感识别方法 | |
| JP2023544242A (ja) | 心イベントを検出及び／又は予測するための、心電図処理システム | |
| CN111210415A (zh) | 一种帕金森患者面部表情低迷的检测方法 | |
| CN112932501A (zh) | 一种基于一维卷积神经网络自动识别失眠方法 | |
| Kanna et al. | Cognitive Disability Prediction & Analysis using Machine Learning Application | |
| George et al. | Epileptic seizure prediction using EEG images | |
| Golrizkhatami et al. | Multi-scale features for heartbeat classification using directed acyclic graph CNN | |
| CN114781441A (zh) | Eeg运动想象分类方法及多空间卷积神经网络模型 | |
| CN114129163A (zh) | 基于脑电信号的多视图深度学习的情绪分析方法和系统 | |
| CN114417836A (zh) | 一种基于深度学习的中文电子病历文本语义分割方法 | |
| CN111862068B (zh) | 融合数据缺失数据和图像的三模型综合决策情绪预测方法 | |
| CN113128384A (zh) | 一种基于深度学习的脑卒中康复系统脑机接口软件关键技术方法 | |
| Havugimana et al. | Predicting cognitive load using parameter-optimized cnn from spatial-spectral representation of eeg recordings | |
| CN114431873B (zh) | 一种基于图卷积的心电图心率多类型预测模型构建方法 | |
| CN116864128A (zh) | 基于身体活动行为模式监测的心理状态评估系统及其方法 | |
| CN116421200A (zh) | 一种基于并行训练的多任务混合模型的脑电情感分析方法 | |
| CN114366116A (zh) | 一种基于Mask R-CNN网络及心电图的参数获取方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |