CN115732080A - 一种基于多模态深度学习的数据处理预测系统及方法 - Google Patents

Abstract

本发明提出了一种基于多模态深度学习的数据处理预测系统及方法，涉及人工智能技术领域。其首先通过数据采集模块进行采集心室肥大患者脱敏数据，并根据采集的脱敏数据进行生成心电图数据和体检数据，接着就可以通过数据预处理模块根据相应的预设规则分别对心电图数据和体检数据进行处理，方便接下来送入预测模型训练模块进行训练卷积神经网络预测模型，用以得到预测模型。最后，将待预测的体检患者脱敏数据输入训练好的预测模型中，即可得到对应的数据预测结果。整个系统能够有效地针对心电图数据和体检数据进行数据处理及预测，从而可以提高两者数据的处理效率和准确度，便于相关的从业人员更好更准确的对两者数据之间的联系进行分析和理解。

Description

一种基于多模态深度学习的数据处理预测系统及方法

技术领域

本发明涉及人工智能技术领域，具体而言，涉及一种基于多模态深度学习的数据处理预测系统及方法。

背景技术

心电图数据和体检数据是病患的常见医学信息，是整个医疗系统内需要使用的重要数据。在传统的医疗系统中，往往采用人工的方式对心电图数据和体检数据进行处理，不仅需要专业的技术人员才能对其进行处理，而且处理效率低下，受相应的技术人员的从业经验影响较大。

近年来，人工智能技术在医学影像中的应用越来越广泛，尤其是随着深度学习的发展，深度学习模型作为一种对物体的高级表示，在医学图像识别领域取得了一定的成就。从而现有技术中也有利用人工智能技术对心电图数据和体检数据的处理的应用，但是其处理效率和准确度依然有待提高。因此，提出一种能够有效地针对心电图数据和体检数据进行数据处理及预测的系统具有一定的现实意义和社会意义。

发明内容

本发明的目的在于提供一种基于多模态深度学习的数据处理预测系统及方法，其能够有效地针对心电图数据和体检数据进行数据处理及预测，从而可以提高两者数据的处理效率和准确度，便于相关的从业人员更好更准确的对两者数据之间的联系进行分析和理解。

本发明的实施例是这样实现的：

第一方面，本申请实施例提供一种基于多模态深度学习的数据处理预测系统，包括：

数据采集模块，用于采集心室肥大患者脱敏数据，并基于心室肥大患者脱敏数据生成心电图数据和体检数据。数据预处理模块，用于根据第一预设规则对心电图数据进行处理，得到心电图识别特征数据，并根据第二预设规则对体检数据进行处理，得到体检文本数据。预测模型训练模块，用于将心电图识别特征数据和体检文本数据作为训练数据，训练卷积神经网络预测模型，训练过程中的损失函数采用交叉熵损失函数。预测模块，用于将待预测的体检患者脱敏数据输入预测模型训练模块训练好的预测模型中，得到对应的数据预测结果。

在本发明的一些实施例中，上述训练卷积神经网络预测模型具体包括：将心电图识别特征数据送入ResNet34的主干网络进行深层图像特征提取，得到深层图像特征提取结果信息，并将心电图识别特征数据送入卷积神经网络进行浅层图像特征提取，得到浅层图像特征提取结果信息。基于体检文本数据和浅层图像特征提取结果信息进行融合训练。将深层图像特征提取结果信息和融合训练得到的融合信息通过全连接层进行分类器分类。

在本发明的一些实施例中，上述数据采集模块进一步用于基于心室肥大患者脱敏数据分别与心电图数据和体检数据之间的逻辑关系进行录入、编辑和查看对应的标签数据。

在本发明的一些实施例中，上述第一预设规则包括利用预置的信号处理方法对心电图数据中的心电信号进行噪声剔除和伪差修正。

在本发明的一些实施例中，上述第二预设规则包括：利用XGBoost和LightGBM算法对体检数据进行预训练，并基于预训练获得的特征重要性排序进行选择特征，得到特征选择信息。基于特征选择信息建立体检文本数据。

在本发明的一些实施例中，上述第二预设规则包括对缺失值进行填充、进行异常值检测和对离群点进行单独处理。

在本发明的一些实施例中，上述对缺失值进行填充的方法包括平均值填充、中值填充、众数填充或回归填充中的至少一种，对离群点进行单独处理包括对离群点采用剔除或替换进行重构处理。

第二方面，本申请实施例提供一种基于多模态深度学习的数据处理预测方法，其包括以下步骤：

采集心室肥大患者脱敏数据，并基于心室肥大患者脱敏数据生成心电图数据和体检数据。根据第一预设规则对心电图数据进行处理，得到心电图识别特征数据，并根据第二预设规则对体检数据进行处理，得到体检文本数据。将心电图识别特征数据和体检文本数据作为训练数据，训练卷积神经网络预测模型，训练过程中的损失函数采用交叉熵损失函数。将待预测的体检患者脱敏数据输入预测模型训练模块训练好的预测模型中，得到对应的预测结果。

第三方面，本申请实施例提供一种电子设备，其包括存储器，用于存储一个或多个程序；处理器。当上述一个或多个程序被上述处理器执行时，实现如上述第二方面中任一项上述的方法。

第四方面，本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述第二方面中任一项上述的方法。

相对于现有技术，本发明的实施例至少具有如下优点或有益效果：

本发明的实施例提出了一种基于多模态深度学习的数据处理预测系统，其首先通过数据采集模块进行采集心室肥大患者脱敏数据，并根据采集的脱敏数据进行生成心电图数据和体检数据，接着就可以通过数据预处理模块根据相应的预设规则分别对心电图数据和体检数据进行处理，方便接下来送入预测模型训练模块进行训练卷积神经网络预测模型，用以得到预测模型。最后，将待预测的体检患者脱敏数据输入预测模型训练模块训练好的预测模型中，即可得到对应的数据预测结果。整个数据处理预测系统通过利用心电图数据和体检数据作为原始数据变量，建立对应的预测模型，可以在有效的挖掘和分析两者之间的联系的基础上，对心电图数据和体检数据进行更好的数据处理及预测，从而便于相关的从业人员更好更准确的对两者数据之间的联系进行分析和理解。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本发明一种基于多模态深度学习的数据处理预测系统一实施例的结构框图；

图2为本发明实施例中卷积神经网络预测模型一实施的结构框图；

图3为本发明实施例中训练卷积神经网络预测模型的一实施例的流程图；

图4为本发明一种基于多模态深度学习的数据处理预测方法一实施例的流程图；

图5为本发明实施例提供的一种电子设备的结构框图。

图标：1、数据采集模块；2、数据预处理模块；3、预测模型训练模块；4、预测模块；5、处理器；6、存储器；7、数据总线。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，若出现术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

在本申请的描述中，需要说明的是，若出现术语“上”、“下”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该申请产品使用时惯常摆放的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。

在本申请的描述中，还需要说明的是，除非另有明确的规定和限定，若出现术语“设置”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本申请中的具体含义。

下面结合附图，对本申请的一些实施方式作详细说明。在不冲突的情况下，下述的各个实施例及实施例中的各个特征可以相互组合。

实施例1

请参阅图1-3，本申请实施例提供了一种基于多模态深度学习的数据处理预测系统，其能够有效地针对心电图数据和体检数据进行数据处理及预测，从而可以提高两者数据的处理效率和准确度，便于相关的从业人员更好更准确的对两者数据之间的联系进行分析和理解。该一种基于多模态深度学习的数据处理预测系统包括：

数据采集模块1，用于采集心室肥大患者脱敏数据，并基于上述心室肥大患者脱敏数据生成心电图数据和体检数据。数据预处理模块2，用于根据第一预设规则对心电图数据进行处理，得到心电图识别特征数据，并根据第二预设规则对体检数据进行处理，得到体检文本数据。预测模型训练模块3，用于将心电图识别特征数据和体检文本数据作为训练数据，训练卷积神经网络预测模型，训练过程中的损失函数采用交叉熵损失函数。预测模块4，用于将待预测的体检患者脱敏数据输入预测模型训练模块3训练好的预测模型中，得到对应的数据预测结果。

随着人工智能技术在医学影像中的应用越来越广泛，在医疗系统内存在心电图数据和体检数据经常需要对其进行数据处理，甚至有可能会希望根据现有的心电图数据和体检数据进行数据处理后对其进行数据预测，以便更好的对其进行分析或处理。然而在现有技术中，其数据处理效率和准确度依然有待提高，例如在申请号为CN202110175595.4的现有技术中，其仅仅是将心电图数据按照导联方式进行分组划分后输入到不同的预测模型进行预测处理，数据处理方式过于单一，从而导致处理效率和准确度依然有待提高。

而在上述实施例中，通过利用数据采集模块1进行采集心室肥大患者脱敏数据，从而后续可以根据采集的心室肥大患者脱敏数据进行生成心电图数据和体检数据，为后续数据处理提供原始数据支撑。示例性地，其中心室肥大患者脱敏数据可以是根据对应患者的静息标准12导联心电图采集数据进行获取。接着，就可以根据对应的预设规则(即第一预设规则和第二预设规则)分别对心电图数据和体检数据进行针对性地预处理，即可以对心电图数据和体检数据按照对应的预设规则进行包括数据清洗等预处理方式进行数据处理，使得后续预测模型训练模块3能够对心电图数据和体检数据进行更好的数据分析处理。在预测模型训练模块3中，其利用深度学习算法将数据预处理模块2处理得到的心电图识别特征数据和体检文本数据作为训练数据，训练卷积神经网络预测模型，训练过程中的损失函数采用交叉熵损失函数，从而用以得到对应的预测模型，后续即可将待预测的体检患者脱敏数据输入到预测模型中，用以得到对应的数据预测结果。整个数据处理预测系统通过利用心电图数据和体检数据作为原始数据变量，建立对应的预测模型，可以在有效的挖掘和分析两者之间的联系的基础上，从而对心电图数据和体检数据进行更好的数据处理及预测。

其中，体检文本数据可以包括尿常规、血常规、心肌酶谱测定、内科检查数据、血清胃功能检测、肝肾糖脂、人体成份分析、微量元素六项、C13呼气试验数据等可能对心室肥大有潜在影响的因素，对数据尽可能的发掘利用，从而可以提高后续预测模型的准确度。更进一步，体检文本数据可以包括尿常规检查(尿胆原、尿酮体、尿蛋白、亚硝酸盐、尿白细胞、颜色、酸碱度、尿葡萄糖、尿潜血试验、镜下红细胞、尿胆红素、比重、镜下白细胞)；血常规检查(血红蛋白、平均红细胞血红蛋白含量、平均红细胞体积、血小板压积、血小板分布宽度、白细胞计数(WBC)、嗜碱性粒细胞、嗜碱性粒细胞百分率、嗜酸性粒细胞、嗜酸性粒细胞百分率、淋巴细胞、淋巴细胞百分率、平均红细胞血红蛋白浓度、单核细胞、单核细胞百分率、平均血小板体积、中性粒细胞、中性粒细胞百分率、血小板、红细胞、红细胞分布宽度、红细胞压积)；心肌酶谱测定(肌酸激酶、肌酸激酶同功酶、乳酸脱氢酶、α-羟丁酸脱氢酶)；内科检查数据(心脏、肺部、腹部、肝、脾、甲状腺、淋巴结)；血清胃功能检测(胃蛋白酶原I、胃蛋白酶原II、PG I/PG II、胃泌素-17)；肝肾糖脂(甘油三脂、总胆固醇、白球比值、丙氨酸氨基转移酶、天门冬氨酸氨基转移酶、尿素氮、肌酐、直接胆红素、间接胆红素、r谷氨酰转肽酶、尿酸、白蛋白、低密度脂蛋白、高密度脂蛋白、碱性磷酸酶、AST/ALT、球蛋白、葡萄糖、总胆红素、总蛋白)；人体成份分析(体重、BMI、身高、蛋白质、无机盐、体脂肪、肌肉量、腰臀比、体脂百分比)；微量元素六项(微量元素钙、微量元素镁、微量元素铁、微量元素锌、微量元素铜、铅)、C13呼气试验数据(HP呼气试验、C13 dpm值)。

具体地，请参阅图2-3，在本发明的一些实施例中，上述训练卷积神经网络预测模型具体包括：

步骤S101：将心电图识别特征数据送入ResNet34的主干网络进行深层图像特征提取，得到深层图像特征提取结果信息，并将心电图识别特征数据送入卷积神经网络进行浅层图像特征提取，得到浅层图像特征提取结果信息。步骤S102：基于体检文本数据和浅层图像特征提取结果信息进行融合训练。步骤S103：将深层图像特征提取结果信息和融合训练得到的融合信息通过全连接层进行分类器分类。

ResNet创新性地加入了跨层连接的设计，使用恒等映射较好地解决了模型退化的问题。在解空间的角度来看，跨层连接和残差块设计为解空间施加了先验知识的约束；在优化的视角来看，深度网络的非线性提高的训练模型的难度，造成了模型退化问题，非凸优化和局部非监督学习规则具有巨大的潜力。也就是说，上述步骤中通过利用心电图识别特征数据和体检文本数据在ResNet34中进行训练，可以得到较为精准的预测模型，从而后续能够针对待预测的体检患者脱敏数据进行预测得到精准有效地数据预测结果。其中，整个预测模型的框架如图2所示，该预测模型是一个多层次组合神经网络，其主要框架是基于ResNet34的卷积神经网络，训练过程中的损失函数采用交叉熵损失函数。其首先对心电图识别特征数据进行训练，心电图识别特征数据经过两条支路的训练，一条支路通过ResNet34的主干网络进行深层图像特征提取；另一条支路通过一个8层的卷积神经网络进行浅层图像特征提取，其包括了3个卷积层，3个池化层和2个全连接层，在提取完浅层图像特征后，该支路在第二个全连接层前加入体检文本数据，进行融合训练。最后，在经历深层特征训练和浅层特征训练两条支路后，预测模型还会通过一个全连接层进行分类器分类。这样的融合可以有效地避免由于体检文本数据大体表达都是浅层的数据关系，加入深层的图像特征训练会造成语义表达被深层信息所掩盖的现象发生。

在本发明的一些实施例中，上述数据采集模块1进一步用于基于上述心室肥大患者脱敏数据分别与上述心电图数据和体检数据之间的逻辑关系进行录入、编辑和查看对应的标签数据。

考虑心电图数据和体检数据两者之间存在着一定的逻辑关系，从而在上述实施例中，通过基于上述心室肥大患者脱敏数据分别与上述心电图数据和体检数据之间的逻辑关系进行录入、编辑和查看对应的标签数据，从而可以方便根据标签数据对心电图数据和体检数据进行处理分析，并且可以使得其具有更好的医疗信息表达能力和医疗业务支持能力。

具体地，其中的标签数据还可以是医生的标记数据，即医生标注的心室肥大的标签数据，可以作为后续训练卷积神经网络预测模型的金标准，提高其训练的可靠性。若最终的预测模块4根据待预测的体检患者脱敏数据获得的数据预测结果中包括左心室肥大的预测，则其预测依据可以提前定义如下：(1)具有引起左心室肥大的病因；(2)QRS时限略增宽(100～120ms)；(3)QRS心电轴左偏(+30°～-30°)；(4)符合左心室肥大的标准越多，诊断准确率越高；(5)在没有相关病史时RV5或RV6≥2.5mV、RV5+SV1≥4.0mV(女性≥3.5mV)或RⅠ+SⅢ≥2.5mV时；(6)如同时出现ST段、T波改变时建议诊断为伴ST段、T波改变，不直接诊断伴劳损。而右心室肥大的诊断依据为：(1)具有引起右心室肥大的病因；(2)具有心电图的相关特征：①V1呈R型、Rs型、qR型、rsR′型(R′波不粗钝)，RV1≥1.0mV或RV1+SV5≥1.5mV；②顺钟向转位合并QRS心电轴≥+110°；③aVR R/Q＞1或R波振幅≥0.5mV；(3)右心室肥大时,仅出现V1、V2 T波倒置不要诊断合并ST段、T波改变，只有同时合并其它导联ST段压低、T波改变时方作诊断；(4)单纯顺钟向转位合并QRS心电轴右偏，在无确切引起右心室肥大疾病史时，如要考虑右心室肥大，需先作描述性诊断，再作提示性诊断。

在本发明的一些实施例中，上述第一预设规则包括利用预置的信号处理方法对心电图数据中的心电信号进行噪声剔除和伪差修正。

上述实施例中，为了提高对心电信号的处理，从而可以对其进行噪声剔除和伪差修正处理，用以去除掉心电信号中的无用信号，并对有用信号进行一定的修正。具体地，主要是需要去除包括35Hz的肌电干扰信号，50Hz外界交流电信号干扰，肌肉震颤导致的细小芒刺，导联线牵拉过紧或电极与皮肤接触不充分导致的基线偏移以及由于电极连接线接触不良、电极接触不良、性能不良导致的伪差信号等信号干扰问题。

示例性地，噪声剔除的方法可以采用时频域分析法中的小波变换法。小波变换是指用有限长或快速衰减的“小波基”的震荡波形来表示信号。小波变换克服了傅里叶变换对于非平稳过程处理的局限性，以及不包含时域信息的缺点。通过使用特定的“小波基”，可以对一段信号做时频转换，抽取相应时域和频域的特征。对于心电信号来说，P波、QRS波、T波具有不同的频率特征；并且波形之间的时间关系对于心电图诊断也至关重要，因此需要做到一个能同时抽取频域特征和时域特征的工具，小波变换就非常合适。因此，利用小波变换法，不仅对数据进行了噪声剔除、以及基线修正以及伪差剔除，还可以直接进行心电信号关键点的检测定位。其中，实际ECG信号会被50Hz的工频干扰，肌电信号干扰，需要提高信噪比来获取更加干净的ECG信号。基线漂移是低频干扰信号,频率范围为0.05～2.00Hz。本发明中选择使用小波变换基函数中的db小波基函数，将ECG信号分解为5层，利用分解系数中的第5层的近似系数和细节系数，通过选用minimax阈值以及软阈值函数来优化去燥后的心电信号。同样利用db小基波信号将ECG信号分解到第7层，通过实验，项目发现500hz的极限漂移主要集中在CA9信号通道上，利用第7次分解的近似分量进行重构信号，即可修整基线漂移和伪差。

为了更好的得到心电信号参数数据，还可以根据我国的心电图行业标准，确定P波起终点、QRS波起终点，以及T波终点的定位标准。按照标准，对定义的基础导联进行全心跳周期的平均波计算，通过全心跳周期信号的叠加，利用平滑平均，得到平均波。在此基础上进行心率、PR间期、PP间期、QRS时限、QT/QTc间期以及P/QRS/T电轴、RV5/SV1电压、RV5+SV1电压的信号特征。

在本发明的一些实施例中，上述第二预设规则包括：利用XGBoost和LightGBM算法对体检数据进行预训练，并基于预训练获得的特征重要性排序进行选择特征，得到特征选择信息；基于特征选择信息建立体检文本数据。

上述实施例中，通过利用XGBoost和LightGBM这两种机器学习树模型的特性，自动获取体检数据重要性排序；再通过利用特征重要性排序选取有效体检数据得到特征选择信息之后，将选取后的体检数据对应的特征选择信息加入浅层图像特征提取支路的最后一个全连接层，连同图像浅层数据进行一次全卷积训练。从而可以有效地提高获取的体检文本数据的有效性，其原理是这几种单模型可以通过不同思想的分类方式更准确的描述数据分类的关系，并且利用多种单模型各自的优势，组合模型可以进一步提升分类精度。。进一步地，随着数据样本的增加，还可以采用更多深层网络结构，例如ResNet/InceptionNet/DenseNet等。如此，采用更复杂的网络结构可以更好的学习到图像中隐藏的特征，更准确的描述图像细节信息。

在本发明的一些实施例中，上述第二预设规则包括对缺失值进行填充、进行异常值检测和对离群点进行单独处理。

上述实施例中，由于体检数据在获取过程中可能会存在一些格式上的问题，而在卷积神经网络预测模型中是可能不允许存在或者不方便处理体检数据中存在的缺失值、异常值和离群点。因此可以通过第二预设规则提前对其进行预处理，而不是简单的忽略体检数据中存在的这些问题，从而不仅可以用以解决上述问题，而且可以提高后续卷积神经网络预测模型的训练速度以及准确度。具体地，在本发明的一些实施例中，上述对缺失值进行填充的方法包括平均值填充、中值填充、众数填充或回归填充中的至少一种，上述对离群点进行单独处理包括对离群点采用剔除或替换进行重构处理。

实施例2

请参阅图4，本申请实施例提供了一种基于多模态深度学习的数据处理预测方法，其包括以下步骤：

步骤S201：采集心室肥大患者脱敏数据，并基于心室肥大患者脱敏数据生成心电图数据和体检数据。步骤S202：根据第一预设规则对心电图数据进行处理，得到心电图识别特征数据，并根据第二预设规则对体检数据进行处理，得到体检文本数据。步骤S203：将心电图识别特征数据和体检文本数据作为训练数据，训练卷积神经网络预测模型，训练过程中的损失函数采用交叉熵损失函数。步骤S204：将待预测的体检患者脱敏数据输入预测模型训练模块3训练好的预测模型中，得到对应的预测结果。

上述系统具体实现过程请参照实施例1中提供的一种基于多模态深度学习的数据处理预测系统，在此不再赘述。

实施例3

请参阅图5，本申请实施例提供了一种电子设备，该电子设备包括至少一个处理器5、至少一个存储器6和数据总线7；其中：处理器5与存储器6通过数据总线7完成相互间的通信；存储器6存储有可被处理器5执行的程序指令，处理器5调用程序指令以执行一种基于多模态深度学习的数据处理预测方法。例如实现：

步骤S201：采集心室肥大患者脱敏数据，并基于心室肥大患者脱敏数据生成心电图数据和体检数据。步骤S202：根据第一预设规则对心电图数据进行处理，得到心电图识别特征数据，并根据第二预设规则对体检数据进行处理，得到体检文本数据。步骤S203：将心电图识别特征数据和体检文本数据作为训练数据，训练卷积神经网络预测模型，训练过程中的损失函数采用交叉熵损失函数。步骤S204：将待预测的体检患者脱敏数据输入预测模型训练模块3训练好的预测模型中，得到对应的预测结果。

其中，存储器6可以是但不限于，随机存取存储器(Random Access Memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read-OnlyMemory，PROM)，可擦除只读存储器(Erasable Programmable Read-Only Memory，EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory，EEPROM)等。

处理器5可以是一种集成电路芯片，具有信号处理能力。该处理器5可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(NetworkProcessor，NP)等；还可以是数字信号处理器(Digital Signal Processing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

可以理解，图5所示的结构仅为示意，电子设备还可包括比图5中所示更多或者更少的组件，或者具有与图5所示不同的配置。图5中所示的各组件可以采用硬件、软件或其组合实现。

实施例4

本发明提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器5执行时实现一种基于多模态深度学习的数据处理预测方法。例如实现：

步骤S201：采集心室肥大患者脱敏数据，并基于心室肥大患者脱敏数据生成心电图数据和体检数据。步骤S202：根据第一预设规则对心电图数据进行处理，得到心电图识别特征数据，并根据第二预设规则对体检数据进行处理，得到体检文本数据。步骤S203：将心电图识别特征数据和体检文本数据作为训练数据，训练卷积神经网络预测模型，训练过程中的损失函数采用交叉熵损失函数。步骤S204：将待预测的体检患者脱敏数据输入预测模型训练模块3训练好的预测模型中，得到对应的预测结果。

在本申请所提供的实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

上述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

对于本领域技术人员而言，显然本申请不限于上述示范性实施例的细节，而且在不背离本申请的精神或基本特征的情况下，能够以其它的具体形式实现本申请。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本申请的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

Claims (10)

1.一种基于多模态深度学习的数据处理预测系统，其特征在于，包括：

数据采集模块，用于采集心室肥大患者脱敏数据，并基于所述心室肥大患者脱敏数据生成心电图数据和体检数据；

数据预处理模块，用于根据第一预设规则对心电图数据进行处理，得到心电图识别特征数据，并根据第二预设规则对体检数据进行处理，得到体检文本数据；

预测模型训练模块，用于将心电图识别特征数据和体检文本数据作为训练数据，训练卷积神经网络预测模型，训练过程中的损失函数采用交叉熵损失函数；

预测模块，用于将待预测的体检患者脱敏数据输入预测模型训练模块训练好的预测模型中，得到对应的数据预测结果。

2.如权利要求1所述的一种基于多模态深度学习的数据处理预测系统，其特征在于，所述训练卷积神经网络预测模型具体包括：

将心电图识别特征数据送入ResNet34的主干网络进行深层图像特征提取，得到深层图像特征提取结果信息，并将心电图识别特征数据送入卷积神经网络进行浅层图像特征提取，得到浅层图像特征提取结果信息；

基于体检文本数据和浅层图像特征提取结果信息进行融合训练；

将深层图像特征提取结果信息和融合训练得到的融合信息通过全连接层进行分类器分类。

3.如权利要求1所述的一种基于多模态深度学习的数据处理预测系统，其特征在于，所述数据采集模块进一步用于基于所述心室肥大患者脱敏数据分别与所述心电图数据和体检数据之间的逻辑关系进行录入、编辑和查看对应的标签数据。

4.如权利要求1所述的一种基于多模态深度学习的数据处理预测系统，其特征在于，所述第一预设规则包括利用预置的信号处理方法对心电图数据中的心电信号进行噪声剔除和伪差修正。

5.如权利要求1所述的一种基于多模态深度学习的数据处理预测系统，其特征在于，所述第二预设规则包括：

利用XGBoost和LightGBM算法对体检数据进行预训练，并基于预训练获得的特征重要性排序进行选择特征，得到特征选择信息；

基于特征选择信息建立体检文本数据。

6.如权利要求1所述的一种基于多模态深度学习的数据处理预测系统，其特征在于，所述第二预设规则包括对缺失值进行填充、进行异常值检测和对离群点进行单独处理。

7.如权利要求6所述的一种基于多模态深度学习的数据处理预测系统，其特征在于，所述对缺失值进行填充的方法包括平均值填充、中值填充、众数填充或回归填充中的至少一种，所述对离群点进行单独处理包括对离群点采用剔除或替换进行重构处理。

8.一种基于多模态深度学习的数据处理预测方法，其特征在于，包括以下步骤：

采集心室肥大患者脱敏数据，并基于所述心室肥大患者脱敏数据生成心电图数据和体检数据；

根据第一预设规则对心电图数据进行处理，得到心电图识别特征数据，并根据第二预设规则对体检数据进行处理，得到体检文本数据；

将心电图识别特征数据和体检文本数据作为训练数据，训练卷积神经网络预测模型，训练过程中的损失函数采用交叉熵损失函数；

将待预测的体检患者脱敏数据输入预测模型训练模块训练好的预测模型中，得到对应的预测结果。

9.一种电子设备，其特征在于，包括至少一个处理器、至少一个存储器和数据总线；其中：所述处理器与所述存储器通过所述数据总线完成相互间的通信；所述存储器存储有被所述处理器执行的程序指令，所述处理器调用所述程序指令以执行如权利要求8所述的方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求8所述的方法。

Images