CN108877948A - 多模态数据处理方法及系统 - Google Patents

Abstract

本发明提供的一种多模态数据处理方法及系统。其中，所述系统包括数据采集网络及数据服务器，所述数据采集网络与数据服务器通信连接，所述多模态数据处理方法包括：所述数据采集网络对冠心病例对应的多模态数据进行采集；所述数据采集网络依据采集到的所述多模态数据所属的预定类型，结合与该预定类型对应的数据清洗模型对所述多模态数据进行处理；所述数据采集网络将处理后的所述多模态数据发送至所述数据服务器；所述数据服务器根据接收到的所述多模态数据进行数据预处理，以获得融合数据；所述数据服务器对融合数据进行关联规则挖掘。从而获得精确的冠心病数据挖掘结果，对冠心病的研究提供便利。

Description

多模态数据处理方法及系统

技术领域

本发明涉及医学研究技术领域，具体而言，涉及一种多模态数据处理方法及系统。

背景技术

随着社会经济的发展，国民生活方式发生了深刻的变化。尤其是人口老龄化及城镇化进程的加速，中国心血管病危险因素流行趋势呈明显上升态势，导致了心血管病的发病人数持续增加。其中冠心病发病率、患病率和死亡率在中国人群中呈现出了逐年上升的趋势。近十年来，生物医学工程研究有了迅猛发展，测量技术的提高使得大量医学信息可以被精确地记录下来，同时也导致了医学数据资料爆炸性增长。

医学数据资料爆炸性增长为冠心病的研究提供了有利条件，但如何理解数据，让数据发挥出更大的作用，是摆在每一个研究者面前的课题。当前对冠心病的研究方法依然停留在访谈法、A型行为量表测试收集资料法、问卷调查，病历分析等人工统计、分析阶段。这样的研究方式既费时费力，还不够精确。

发明内容

本发明实施例提供一种多模态数据处理方法及系统，以应解决上述问题。

为了实现上述目的，本发明实施例采用的技术方案如下：

第一方面，本发明实施例提供的一种多模态数据处理方法，应用于所述多模态数据处理系统，所述系统包括数据采集网络及数据服务器，所述数据采集网络与数据服务器通信连接，所述多模态数据处理方法包括：所述数据采集网络对冠心病例对应的多模态数据进行采集；所述数据采集网络依据采集到的所述多模态数据所属的预定类型，结合与该预定类型对应的数据清洗模型对所述多模态数据进行处理；所述数据采集网络将处理后的所述多模态数据发送至所述数据服务器；所述数据服务器根据接收到的所述多模态数据进行数据预处理，以获得融合数据；所述数据服务器对所述融合数据进行关联规则挖掘，以获得数据挖掘结果。

第二方面，本发明实施例提供的一种多模态数据处理系统，所述系统包括数据采集网络及数据服务器，所述数据采集网络与数据服务器通信连接；所述数据采集网络，用于对冠心病例对应的多模态数据进行采集；所述数据采集网络，还用于依据采集到的所述多模态数据所属的预定类型，结合与该预定类型对应的数据清洗模型对所述多模态数据进行处理；所述数据采集网络，还用于将处理后的所述多模态数据发送至所述数据服务器；所述数据服务器，还用于根据接收到的所述多模态数据进行数据预处理，以获得融合数据；所述数据服务器，还用于对所述融合数据进行关联规则挖掘，以获得数据挖掘结果。

与现有技术相比，本发明实施例提供的一种多模态数据处理方法通过数据采集网络对冠心病例对应的多模态数据进行采集，采集的同时依据采集到的所述多模态数据所属的预定类型，结合与该预定类型对应的数据清洗模型对所述多模态数据进行处理，从而获取高可用的多模态数据。数据采集网络将处理后的多模态数据发送至所述数据服务器，即使数据采集网络与数据服务器之间存在带宽限制依然确保传递至数据服务器的多模态数据具有高可靠性。再由数据服务器进行数据预处理，以便于数据服务器对处理后的融合数据进行关联规则挖掘，从而获得精确的冠心病数据挖掘结果，对冠心病的研究提供便利。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本发明较佳实施例提供的多模态数据处理系统的方框示意图。

图2示出了本发明实施例提供的数据服务器的方框示意图。

图3示出了本发明实施例提供的一种多模态数据处理方法流程图。

图4示出了本发明实施例提供的应用于数据服务器的多模态数据处理装置的示意图。

图标：100-数据服务器；111-存储器；112-处理器；113-通信单元；200-数据采集网络；300-多模态数据处理系统；400-多模态数据处理装置；401-提取模块；402-获取模块；403-融合模块；404-分类模块；405-编码模块；406-挖掘模块。

具体实施方式

下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本发明的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

关联规则挖掘给如何理解数据，让数据发挥出更大的作用提供了方向。当前，关联规则挖掘已经取得了很大成果，但由于冠心病领域的实际需要，现有的关联规则挖掘依然存在以下问题：一，医学领域产生规则的要求是置信度较高，支持度相对较小。而现有关联规则挖掘算法产生大量关联规则，其中有很多是冗余的、无意义的。二，大多数频繁项集挖掘算法都利用Apriori性质“频繁项集的所有非空子集也必须是频繁的”来压缩搜索空间，使用这性质的前提是所有项目集的长度都必须用统一的支持度阈值。这样一来存在的问题是：若设定的支持度阈值较低，会产生海量的、冗余的、无用的规则；若设定的支持度阈值较高，会丢失许多有用的长模式集。三，关联规则的挖掘大多是基于支持度-置信度框架理论的，没有考虑到数据的时间因素以及规则前件与后件的相关性问题。目前国内对于冠心病数据进行分析和挖掘的相关研究相对比较少。从所采用的方法来看，主要是运用传统的数据挖掘方法，比如统计分析，并且主要针对小样本的数据资料来发现变量之间的相关关系。这样的方式获得的挖掘结果并不准确，因此，本发明实施例中提供一种多模态数据处理方法及系统以解决上述问题。

请参照图1，图1为本发明实施例中提供的一种多模态数据处理系统300。多模态数据处理系统300包括数据采集网络200及数据服务器100。数据采集网络200与数据服务器100通信连接。上述数据采集网络200由多种类的感知设备组成，例如，无线传感器网络、RFID设备、红外感应、全球定位系统等。

图2是本发明实施例提供的一种数据服务器100的方框示意图。所述数据服务器100包括多模态数据处理装置400、存储器111、处理器112及通信单元113。

所述存储器111、处理器112以及通信单元113各元件相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。所述多模态数据处理装置400包括至少一个可以软件或固件(Firmware)的形式存储于所述存储器111中或固化在所述数据服务器100的操作系统(Operating System，OS)中的软件功能模块。所述处理器112用于执行所述存储器111中存储的可执行模块，例如所述多模态数据处理装置400所包括的软件功能模块及计算机程序等。

其中，所述存储器111可以是，但不限于，随机存取存储器(Random AccessMemory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(ProgrammableRead-Only Memory，PROM)，可擦除只读存储器(Erasable Programmable Read-OnlyMemory，EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read-OnlyMemory，EEPROM)等。其中，存储器111用于存储程序或者数据。

所述通信单元113用于通过所述网络建立所述数据服务器100与数据采集网络200之间的通信连接，并用于通过所述网络收发数据。

应当理解的是，图2所示的结构仅为数据服务器100的结构示意图，所述数据服务器100还可包括比图2中所示更多或者更少的组件，或者具有与图2所示不同的配置。图2中所示的各组件可以采用硬件、软件或其组合实现。

第一实施例

请参考图3，图3为本发明较佳实施例提供的一种多模态数据处理方法的流程图。该多模态数据处理方法应用于上述多模态数据处理系统300。可选地，多模态数据处理方法包括以下步骤：

步骤S101，所述数据采集网络200对冠心病例对应的多模态数据进行采集。

在本发明实施例中，数据采集网络200对冠心病例对应的生物、生理、行为、心理等方面的多模态数据进行采集。上述每类模态数据均为其余的模态数据提供一定的信息，即模态数据之间存在这一定的关联性。进一步地，依据多模态数据对应的被采集方式，可以将其分为同构多源单模态数据、同构多源多模态数据及异构多源单模态数据这几个预定类型。具体地，同构多源数据是由单一类型的感知设备获取得到，如无线传感器网络、RFID设备、红外感应、全球定位系统等，它们产生的数据均来自同一类型的数据源。异构多源数据是指数据采集网络200中包含多种类型的感知设备，这些感知设备可对监测对象的相同属性进行度量，也可从不同维度对监测对象进行度量，从而得到更加全面的模态数据。

步骤S102，所述数据采集网络200依据采集到的所述多模态数据所属的预定类型，结合与该预定类型对应的数据清洗模型对所述多模态数据进行处理。

在本发明实施例中，感知设备的精度虽然越来越准确，但由于硬件设备固有的限制，系统组成及所处环境等因素的影响，感知设备不可避免的存在漏读、错读等现象，降低了数据的可用性。为了解决这一问题，在本发明实施例中，数据采集网络200在采集到的多模态数据属于同构多源多模态数据时，采用预先设定的第一数据清洗模型对所述多模态数据进行处理。具体地，上述第一数据清洗模型为基于预先定义的每类所述多模态数据对应的参考数列及各类所述多模态数据之间的共享关系构建的所述数据清洗模型。第一数据清洗模型可以利用采集到的多模态数据与其对应的参考数列之间的偏差评估该多模态数据是否符合预定的可靠性要求，第一数据清洗模型还需要利用预先设定的各类多模态数据之间的共享关系评估被采集的该多模态数据与其他在传输的多模态数据彼此之间是否符合预定的关联要求。从而实现基于数据质量，将多模态数据获取问题转化为一个最优化问题，该问题旨在带宽限制条件下使网络获取的传感数据的可靠性最大，同时传输的各类多模态数据间的共享性最小，并通过遗传算法对其进行求解。具体地，用于采集同构多源多模态数据的感知设备内可以预设第一数据清洗模型，用于采集同构多源多模态数据在采集对应的模态数据的同时采用第一数据清洗模型对其进行清洗处理，并将清洗后的数据发送至数据服务器100。

数据采集网络200采集到的多模态数据属于异构多源多模态数据时，采用预先设定的第二数据清洗模型对所述多模态数据进行处理。具体地，上述第二数据清洗模型包括基于预先设定的准确性条件、完整性条件及一致性条件构建的数据评估模型。将利用该评估模型评估将符合预先设定的准确性条件、完整性条件及一致性条件的多模态数据作为清洗处理后获得的多模态数据。具体地，用于采集异构多源多模态数据的感知设备内可以预设第二数据清洗模型，用于采集异构多源多模态数据在采集对应的多模态数据的同时采用第二数据清洗模型对其进行清洗处理，并将清洗后的数据发送至数据服务器100，从而使数据服务器100获得高可用的异构多源多模态数据。具体地，定义数据质量的三个方面的要求—准确性条件、完整性条件和一致性条件，并对其进行形式化的定义，进而利用D—S证据理论以及灰色关联分析方法对其进行求解。之后提出基于数据质量的数据源选择算法，根据用户给定的精度阈值，对数据源进行筛选，旨在保证数据可用性的同时尽量降低系统的开销，并通过实验验证算法的有效性。

需要说明的是，针对同构多源单模态数据可以通过以下任意一种RFID数据获取方法进行采集，由于RFID系统获取的数据只包括被采集对象的位置信息，由此对高可用RFID数据的获取其实质就是对RFID原始数据进行清洗，进而获得监测对象更加准确的位置信息。具体如下：RFID数据获取方法可以是FR-MT(Fixed Reader Mobile Tag)及MR-FT(Mobile Reader Fixed Tag)两种部署结构。在FR-MT模型下，以真实RFID应用场景为出发点，提出一种更贴近现实应用需求的数据清洗策略。综合考虑RFID系统的数据特性、阅读器及部署环境的先验知识以及具体应用中的约束条件这三方面，充分利用真实应用环境中普遍存在的数据冗余进行数据清洗，旨在为上层应用获取高可用的RFID数据。在MR-FT模型下，提出一种新的利用被动式标签对阅读器进行实时定位的RFID数据获取算法—ATOrientation。通过阅读器对标签的读取情况确定其所在可能位置，进而利用网格法对其进行精确定位。该算法适用于标签部署密集的大范围监测环境中。

步骤S103，数据采集网络200将处理后的所述多模态数据发送至所述数据服务器100。

在本发明实施例中，数据采集网络200中的每个感知设备分别对采集到的多模态数据进行清洗处理后，发送给数据服务器100。

步骤S104，数据服务器100根据接收到的所述多模态数据进行数据预处理，以获得融合数据。

在本发明实施例中，数据服务器100可以根据被融合的数据的抽象程度选择不同融合方式。具体地，当选择进行数据层的融合时，上述数据融合的方式可以包括基于接收到的多模态数据进行数据层的数据融合，以获得融合数据。需要说明的是，基于接收到的多模态数据融合是最底层上的融合，数据服务器100直接对数据采集回传的数据进行融合处理，然后根据融合结果对目标状态进行分析和判断。这样的数据层融合的优势有：由于是直接对原始数据进行处理，在融合前不会对数据进行大规模的操作，所以信息损失量小，能够注意到最细微的信息，所以精度最好。数据层上的多模态数据融合多用于多源图像融合以及各传感器波形的直接合成等。

当选择进行特征层的融合时，上述数据融合的方式还可以包括：所述数据服务器100从接收到的所述多模态数据中提取对应的多个特征信息数据。基于提取到的所述特征信息数据进行特征层数据融合，以获得所述融合数据。需要说明的是，特征层数据融合的优势在于完成了大量的数据压缩，大幅降低了通信量，有利于对数据进行实时处理，但很可能在提取特征的同进损失一些信息，使融合的准确率降低。可选地，特征层数据融合可以分为两类：(1)目标状态数据融合：目标状态数据融合方法先对多种感知设备传回的多模态数据进行配准，再进行关联和状态估量，最终得到想要的结果，该类处理方法主要用于目标追踪领域。(2)目标特征信息融合:目标特征信息融合又称为模式识别，是对数据特征进行分析，利用计算机对检测目标的身份及状态进行辨别和分类，主要被应用于人工智能领域中。

当选择进行决策层的融合时，上述数据融合的方式还可以包括：所述数据服务器100从接收到的所述多模态数据中提取对应的多个特征信息数据，所述数据服务器100基于提取到的所述特征信息数据获取多个决策信息数据。基于获取多个所述决策信息数据进行决策层数据融合，以获得所述融合数据。需要说明的是，决策层融合是最高层次的数据融合，先从各类感知设备传回的多模态数据中抽取特征信息数据(例如，特征向量)，再由此特征向量做出决策信息数据，最后进行数据融合处理。决策层融合是三个层次融合的最高层次，其融合性能会直接影响到最后结果的准确性和可靠性。决策层融合造成数据的损失非常大，因此相对来说精度很低，优点是数据量小，对通信带宽要求很低，对传感器精度的要求也不高。

需要说明的是，上述三个层次的融合算法各有其优缺点，数据层融合精度好，但通信量大；决策层融合精度低，但对感知设备的依赖小，可以优化融合中心的数据处理规则，以提高多模态数据融合系统的速度和精度。

步骤S105，所述数据服务器100对处理后的所述多模态数据进行关联规则挖掘，以获得数据挖掘结果。

在本发明实施例中，将通过上述三种数据融合方式获得的融合数据分为决策属性数据及非决策数据。分别对所述决策属性数据及非决策数据进行编码。利用预先设定的基于前后件约束的关联规则挖掘模型对编码后的所述融合数据进行挖掘。需要说明的是，与冠心病例对应的多模态数据是多值属性、多类标数据，因此，若直接挖掘其中存在的规则，效率较低。为此，结合冠心病例对应的多模态数据的特点，采用对决策属性数据和非决策属性数据进行分块编码，再通过前后件约束的关联规则挖掘算法，可有效挖掘出冠心病的发病规律。进一步地，该基于前后件约束的关联规则挖掘模型采用了基于时效支持度-时效匹配度的挖掘框架替代了传统的支持度-置信度挖掘框架。以时效匹配度取代传统的置信度，有效解决规则前件与后件的相关性问题。具体地，基于时效支持度-时效匹配度的挖掘框架是以传统的支持度-置信度挖掘框架为基础加入时间熵因子，使得生成的规则能够体现数据的时效意义，提出了新增数据库时的关联规则维护算法及实现思想。通过实例说明了该框架的可行性及优越性，并通过实验证明了该算法的有效性。

第二实施例

本发明实施例提供的一种多模态数据处理系统300与上述多模态数据处理方法相对应，下述系统中的细节方案可以参照第一实施例提供的多模态数据处理方法来实现，多模态数据处理系统300包括：

所述数据采集网络200，用于对冠心病例对应的多模态数据进行采集。

所述数据采集网络200，还用于依据采集到的所述多模态数据所属的预定类型，结合与该预定类型对应的数据清洗模型对所述多模态数据进行处理。

所述数据采集网络200，还用于将处理后的所述多模态数据发送至所述数据服务器100。

所述数据服务器100，还用于根据接收到的所述多模态数据进行数据预处理，以获得融合数据。

所述数据服务器100，还用于对所述融合数据进行关联规则挖掘，以获得数据挖掘结果。

进一步地，如图4所示，上述数据服务器100内设置一多模态数据处理装置400，该多模态数据处理装置400包括：

提取模块401，用于从接收到的所述多模态数据中提取对应的多个特征信息数据。

获取模块402，用于基于提取到的所述特征信息数据获取多个决策信息数据。

融合模块403，用于基于接收到的所述多模态数据进行数据层的数据融合，以获得融合数据、还用于基于提取到的所述特征信息数据进行特征层数据融合，以获得所述融合数据，以及还用于基于获取多个所述决策信息数据进行决策层数据融合，以获得所述融合数据。

分类模块404，用于将所述融合数据分为决策属性数据及非决策数据。

编码模块405，用于分别对所述决策属性数据及非决策数据进行编码。

挖掘模块，用于利用预先设定的基于前后件约束的关联规则挖掘模型对编码后的所述融合数据进行挖掘。

综上所述，本发明提供的一种多模态数据处理方法及系统。其中，该方法应用于多模态数据处理系统，所述系统包括数据采集网络及数据服务器，所述数据采集网络与数据服务器通信连接，所述多模态数据处理方法包括：所述数据采集网络对冠心病例对应的多模态数据进行采集；所述数据采集网络依据采集到的所述多模态数据所属的预定类型，结合与该预定类型对应的数据清洗模型对所述多模态数据进行处理；所述数据采集网络将处理后的所述多模态数据发送至所述数据服务器；所述数据服务器根据接收到的所述多模态数据进行数据预处理，以获得融合数据；所述数据服务器对融合数据进行关联规则挖掘。从而获得精确的冠心病数据挖掘结果，对冠心病的研究提供便利。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (10)

1.一种多模态数据处理方法，应用于多模态数据处理系统，所述系统包括数据采集网络及数据服务器，所述数据采集网络与数据服务器通信连接，其特征在于，所述多模态数据处理方法包括：

所述数据采集网络对冠心病例对应的多模态数据进行采集；

所述数据采集网络依据采集到的所述多模态数据所属的预定类型，结合与该预定类型对应的数据清洗模型对所述多模态数据进行处理；

所述数据采集网络将处理后的所述多模态数据发送至所述数据服务器；

所述数据服务器根据接收到的所述多模态数据进行数据预处理，以获得融合数据；

所述数据服务器对所述融合数据进行关联规则挖掘，以获得数据挖掘结果。

2.如权利要求1所述的多模态数据处理方法，其特征在于，所述预定类型包括：同构多源多模态数据及异构多源多模态数据，所述数据采集网络依据采集到的所述多模态数据所属的预定类型，结合与该预定类型对应的数据清洗模型对所述多模态数据进行处理的方式包括：

当采集到的所述多模态数据属于所述同构多源多模态数据时，采用预先设定的第一数据清洗模型对所述多模态数据进行处理，其中，所述第一数据清洗模型为基于预先定义的每类所述多模态数据对应的参考数列及各类所述多模态数据之间的共享关系构建的所述数据清洗模型；

当采集到的所述多模态数据属于所述异构多源多模态数据时，采用预先设定的第二数据清洗模型对所述多模态数据进行处理；其中，所述第二数据清洗模型包括基于预先设定的准确性条件、完整性条件及一致性条件构建的数据评估模型。

3.如权利要求1所述的多模态数据处理方法，其特征在于，所述数据服务器根据接收到的所述多模态数据进行数据预处理的步骤包括：

基于接收到的所述多模态数据进行数据层的数据融合，以获得融合数据。

4.如权利要求1所述的多模态数据处理方法，其特征在于，所述数据服务器根据接收到的所述多模态数据进行数据预处理的步骤还包括：

所述数据服务器从接收到的所述多模态数据中提取对应的多个特征信息数据；

基于提取到的所述特征信息数据进行特征层数据融合，以获得所述融合数据。

5.如权利要求1所述的多模态数据处理方法，其特征在于，所述数据服务器根据接收到的所述多模态数据进行数据预处理的步骤还包括：

所述数据服务器从接收到的所述多模态数据中提取对应的多个特征信息数据；

所述数据服务器基于提取到的所述特征信息数据获取多个决策信息数据；

基于获取多个所述决策信息数据进行决策层数据融合，以获得所述融合数据。

6.如权利要求1所述的多模态数据处理方法，其特征在于，所述数据服务器对处理后的所述多模态数据进行关联规则挖掘包括：

将所述融合数据分为决策属性数据及非决策数据；

分别对所述决策属性数据及非决策数据进行编码；

利用预先设定的基于前后件约束的关联规则挖掘模型对编码后的所述融合数据进行挖掘。

7.如权利要求6所述的多模态数据处理方法，其特征在于，所述关联规则挖掘模型包括时效支持度及时效匹配度。

8.一种多模态数据处理系统，其特征在于，所述系统包括数据采集网络及数据服务器，所述数据采集网络与数据服务器通信连接；

所述数据采集网络，用于对冠心病例对应的多模态数据进行采集；

所述数据采集网络，还用于依据采集到的所述多模态数据所属的预定类型，结合与该预定类型对应的数据清洗模型对所述多模态数据进行处理；

所述数据采集网络，还用于将处理后的所述多模态数据发送至所述数据服务器；

所述数据服务器，还用于根据接收到的所述多模态数据进行数据预处理，以获得融合数据；

所述数据服务器，还用于对所述融合数据进行关联规则挖掘，以获得数据挖掘结果。

9.如权利要求8所述的多模态数据处理系统，其特征在于，所述数据服务器包括：

提取模块，用于从接收到的所述多模态数据中提取对应的多个特征信息数据；

获取模块，用于基于提取到的所述特征信息数据获取多个决策信息数据。

10.如权利要求9所述的多模态数据处理系统，其特征在于，所述数据服务器还包括：

融合模块，用于基于接收到的所述多模态数据进行数据层的数据融合，以获得融合数据；

所述融合模块，还用于基于提取到的所述特征信息数据进行特征层数据融合，以获得所述融合数据；

所述融合模块，还用于基于获取多个所述决策信息数据进行决策层数据融合，以获得所述融合数据。