CN104933296A - 一种基于多维数据融合的大数据处理方法和设备 - Google Patents

Abstract

本发明公开了一种基于多维数据融合的大数据处理方法和设备，包括：获取不同用户输入的原始数据；基于用户输入的每一个原始数据，根据原始数据中包含的数据属性，确定原始数据所属的领域，以及根据原始数据中包含的数据属性对应的内容，确定原始数据中包含的内容的关键词；并为原始数据生成数据标签；根据原始数据的数据标签，将原始数据存储在数据资源池中。在获取大量病情数据时，按照病情数据所属领域以及包含的关键词将病情数据进行分类，为每一个病情数据增加数据标签，既有利用于实现多维数据的融合，又有利于从数据资源库中快速查找满足条件的病情数据，还能够高效地对数据资源库中存储的数据进行聚合分析，大大提升大数据的利用率。

Description

一种基于多维数据融合的大数据处理方法和设备

技术领域

本发明涉及数据处理技术领域，尤其涉及一种基于多维数据融合的大数据处理方法和设备。

背景技术

随着计算机技术的发展，各行各业产生的数据呈几何级快速增长。例如：网络日志数据、社交数据、医疗数据等等。这些数据的急剧膨胀，导致现实生活中所能使用的数据量越来越多。这标志着大数据时代的到来。

然而，在大数据时代，数据量的增长速度已经超过了传统数据管理系统的数据处理速度。尤其，在医疗卫生领域，针对某种类型的疾病，由于患者不同，那么采集到的有关该疾病的病情数据也不同，这样针对该疾病将获取大量的病情数据，其中，病情数据是指能够描述该疾病状态的数据，例如：血压数据、血液数据等等。

目前，各大医疗单位对于同一种疾病对应的病情数据的维护比较分散，使得对于该疾病对应的病情数据不能统一管理，这样导致在医学领域无法及时对该疾病的发展以及现状进行分析，使得病情数据的利用率相对比较低。

发明内容

有鉴于此，本发明实施例提供了一种基于多维数据融合的大数据处理方法和设备，用于解决目前医学领域中病情数据的利用率比较低的问题。

一种基于多维数据融合的大数据处理方法，包括：

获取不同用户输入的原始数据，其中，所述原始数据属于多维数据，所述原始数据中包含数据属性以及所述数据属性对应的内容；

基于所述用户输入的每一个所述原始数据，根据所述原始数据中包含的数据属性，确定所述原始数据所属的领域，以及根据所述原始数据中包含的所述数据属性对应的内容，确定所述原始数据中包含的所述内容的关键词；

根据所述原始数据所属的领域和所述原始数据中包含的内容的关键词，为所述原始数据生成数据标签，其中，所述数据标签中包含所述原始数据所属的领域和所述原始数据中包含的内容的关键词；

根据所述原始数据的数据标签，将所述原始数据存储在数据资源池中。

一种基于多维数据融合的大数据处理方法，包括：

接收数据查询请求消息，其中，所述数据查询请求消息中包含待查询数据所属的领域以及所述待查询数据的关键词；

根据所述数据查询请求消息中包含的待查询数据所属的领域以及所述待查询数据的关键词，确定所述待查询数据对应的数据标签；

利用所述数据标签，从数据资源池中查找出与所述数据标签对应的多维数据，并将查找到的所述多维数据输出。

一种基于多维数据融合的大数据处理设备，包括：

获取单元，用于获取不同用户输入的原始数据，其中，所述原始数据属于多维数据，所述原始数据中包含数据属性以及所述数据属性对应的内容；

确定单元，用于基于所述用户输入的每一个所述原始数据，根据所述原始数据中包含的数据属性，确定所述原始数据所属的领域，以及根据所述原始数据中包含的所述数据属性对应的内容，确定所述原始数据中包含的所述内容的关键词；

产生单元，用于根据所述原始数据所属的领域和所述原始数据中包含的内容的关键词，为所述原始数据生成数据标签，其中，所述数据标签中包含所述原始数据所属的领域和所述原始数据中包含的内容的关键词；

存储单元，用于根据所述原始数据的数据标签，将所述原始数据存储在数据资源池中。

一种基于多维数据融合的大数据处理设备，包括：

接收单元，用于接收数据查询请求消息，其中，所述数据查询请求消息中包含待查询数据所属的领域以及所述待查询数据的关键词；

确定单元，用于根据所述数据查询请求消息中包含的待查询数据所属的领域以及所述待查询数据的关键词，确定所述待查询数据对应的数据标签；

发送单元，用于利用所述数据标签，从数据资源池中查找出与所述数据标签对应的多维数据，并将查找到的所述多维数据输出。

本发明有益效果如下：

本发明实施例获取不同用户输入的原始数据，所述原始数据属于多维数据，所述原始数据中包含数据属性以及所述数据属性对应的内容；基于所述用户输入的每一个所述原始数据，根据所述原始数据中包含的数据属性，确定所述原始数据所属的领域，以及根据所述原始数据中包含的所述数据属性对应的内容，确定所述原始数据中包含的所述内容的关键词；并为所述原始数据生成数据标签，所述数据标签中包含所述原始数据所属的领域和所述原始数据中包含的内容的关键词；根据所述原始数据的数据标签，将所述原始数据存储在数据资源池中，这样，在获取大量病情数据时，按照病情数据所属领域以及包含的关键词将病情数据进行分类，并为该病情数据增加数据标签，既有利用于对大量数据的维护管理，实现多维数据的融合，又有利于从数据资源库中快速查找满足条件的病情数据，还能够高效地对数据资源库中存储的数据进行聚合分析，大大提升大数据的利用率。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种基于多维数据融合的大数据处理方法的流程示意图；

图2为本发明实施例提供的一种基于多维数据融合的大数据处理方法的流程示意图；

图3为本发明实施例提供的一种基于多维数据融合的大数据处理设备的结构示意图；

图4为本发明实施例提供的一种基于多维数据融合的大数据处理设备的结构示意图。

具体实施方式

为了实现本发明的目的，本发明实施例提供了一种基于多维数据融合的大数据处理方法和设备，获取不同用户输入的原始数据，所述原始数据属于多维数据，所述原始数据中包含数据属性以及所述数据属性对应的内容；基于所述用户输入的每一个所述原始数据，根据所述原始数据中包含的数据属性，确定所述原始数据所属的领域，以及根据所述原始数据中包含的所述数据属性对应的内容，确定所述原始数据中包含的所述内容的关键词；为所述原始数据生成数据标签，所述数据标签中包含所述原始数据所属的领域和所述原始数据中包含的内容的关键词；根据所述原始数据的数据标签，将所述原始数据存储在数据资源池中，这样，在获取大量病情数据时，按照病情数据所属领域以及包含的关键词将病情数据进行分类，并为该病情数据增加数据标签，既有利用于对大量数据的维护管理，实现多维数据的融合，又有利于从数据资源库中快速查找满足条件的病情数据，还能够高效地对数据资源库中存储的数据进行聚合分析，大大提升大数据的利用率。

下面结合说明书附图对本发明各个实施例作进一步地详细描述。显然，所描述的实施例仅仅是本发明一部份实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

图1为本发明实施例提供的一种基于多维数据融合的大数据处理方法的流程示意图。所述方法可以如下所述。

步骤101：获取不同用户输入的原始数据。

其中，所述原始数据属于多维数据，所述原始数据中包含数据属性以及所述数据属性对应的内容。

在步骤101中，通过外部接口获取不同用户输入的原始数据，这里的原始数据是指没有加工过的数据，例如：这里的数据是指患者的病情数据，那么这里的原始数据是指在对患者进行身体检查时测量得到的结果数据，例如：白细胞的个数、红细胞的个数等等。

需要说明的是，在步骤101中，获取原始数据的目的在于采集目标数据。

那么获取不同用户输入的原始数据的方式可以包括但不限于：

周期性获取不同用户输入的原始数据；

或实时性获取不同用户输入的原始数据。

即按照设定的时间周期，采集不同用户输入的原始数据。

或者，在用户输入原始数据时，将该原始数据获取到。

具体地，在获取到原始数据时，该原始数据中包含数据属性以及该数据属性对应的内容，此时在该原始数据中增加采集时间，这样可以避免在后续采集到相同数据属性且数据属性对应的内容也相同的原始数据时，已经存在的原始数据被新采集的原始数据所替换。

需要说明的是，原始数据还可以通过通信网络中不同的路由设备进行汇聚，使得获取的原始数据的数量比较大。

步骤102：基于所述用户输入的每一个所述原始数据，根据所述原始数据中包含的数据属性，确定所述原始数据所属的领域，以及根据所述原始数据中包含的所述数据属性对应的内容，确定所述原始数据中包含的所述内容的关键词。

在步骤102中，对于获取到的大量原始数据，首先需要区分不同原始数据所属领域。由于分类标准不同，那么对应的领域划分范围也不同。这里的领域可以根据需要进行确定，不限于一种划分方式。

例如：领域可以是指医疗卫生领域；也可以是指医疗卫生领域中临床医学领域；还可以是指医疗卫生领域中慢性病领域等等。

其次，确定不同原始数据的特征，即表征该原始数据内容的关键词。

例如：获取到的原始数据为心脏病患者的心电图数据，那么确定该原始数据所属领域可以为(医疗卫生+心脏病)领域；该原始数据内容的关键词为心电图。

步骤103：根据所述原始数据所属的领域和所述原始数据中包含的内容的关键词，为所述原始数据生成数据标签。

其中，所述数据标签中包含所述原始数据所属的领域和所述原始数据中包含的内容的关键词。

在步骤103中，在确定所述原始数据所属的领域以及所述原始数据中包含的内容的关键词之后，为该原始数据生成一个能够唯一标识该原始数据的数据标签。

该数据标签可以由确定的领域以及关键词组成。

这样，有了数据标签的原始数据，能够比较方便的进行管理，为后续高效地使用该原始数据奠定基础。

步骤104：根据所述原始数据的数据标签，将所述原始数据存储在数据资源池中。

在步骤104中，根据所述原始数据的数据标签中包含的所述原始数据所属的领域，将属于所述领域的多个原始数据合并为一个数据集；

以数据集为存储单元，将包含所述原始数据的数据集存储在数据资源池中。

可选地，根据所述原始数据的数据标签，按照分布式存储的方式，将所述原始数据存储在数据资源池中。

通过本发明实施例的方案，获取不同用户输入的原始数据，所述原始数据属于多维数据，所述原始数据中包含数据属性以及所述数据属性对应的内容；基于所述用户输入的每一个所述原始数据，根据所述原始数据中包含的数据属性，确定所述原始数据所属的领域，以及根据所述原始数据中包含的所述数据属性对应的内容，确定所述原始数据中包含的所述内容的关键词；为所述原始数据生成数据标签，所述数据标签中包含所述原始数据所属的领域和所述原始数据中包含的内容的关键词；根据所述原始数据的数据标签，将所述原始数据存储在数据资源池中，这样，在获取大量病情数据时，按照病情数据所属领域以及包含的关键词将病情数据进行分类，并为该病情数据增加数据标签，既有利用于对大量数据的维护管理，实现多维数据的融合，又有利于从数据资源库中快速查找满足条件的病情数据，还能够高效地对数据资源库中存储的数据进行聚合分析，大大提升大数据的利用率。

图2为本申请实施例提供的一种基于多维数据融合的大数据处理方法的流程示意图。所述方法可以如下所述。

步骤201：接收数据查询请求消息。

其中，所述数据查询请求消息中包含待查询数据所属的领域以及所述待查询数据的关键词。

步骤202：根据所述数据查询请求消息中包含的待查询数据所属的领域以及所述待查询数据的关键词，确定所述待查询数据对应的数据标签。

在步骤202中，在接收到查询请求消息时，根据领域和关键词的组合与数据标签之间的对应关系，确定所述数据查询请求消息中包含的待查询数据所属的领域以及所述待查询数据的关键词对应的数据标签。

具体地，若在查找的过程中，首先，查找所述数据查询请求消息中包含的待查询数据所属的领域对应的数据标签，其次，在查找到的数据标签中，确定所述待查询数据的关键词对应的数据标签。或者，首先，查找所述待查询数据的关键词对应的数据标签，其次，在查找到的数据标签中，确定所述数据查询请求消息中包含的待查询数据所属的领域对应的数据标签。

这里对于查找方式不做限定。

步骤203：利用所述数据标签，从数据资源池中查找出与所述数据标签对应的多维数据，并将查找到的所述多维数据输出。

在步骤203时，在利用所述数据标签从数据资源池中查找出与所述数据标签对应的多维数据的个数大于2时，将查找到的多个多维数据进行聚合分析，得到聚合结果，并将所述聚合结果输出。

需要说明的是，这里聚合分析的方式可以采用语义分析法，也可以采用其他聚合类算法，这里不做限定。

可选地，在将聚合结果输出时，可以将聚合结果转换成为直观、可读的图形、列表等形式输出，使得用户能够从输出的信息中快速得到结果。

图3为本发明实施例提供的一种基于多维数据融合的大数据处理设备的结构示意图。所述处理设备包括：获取单元31、确定单元32、产生单元33和存储单元34，其中：

获取单元31，用于获取不同用户输入的原始数据，其中，所述原始数据属于多维数据，所述原始数据中包含数据属性以及所述数据属性对应的内容；

确定单元32，用于基于所述用户输入的每一个所述原始数据，根据所述原始数据中包含的数据属性，确定所述原始数据所属的领域，以及根据所述原始数据中包含的所述数据属性对应的内容，确定所述原始数据中包含的所述内容的关键词；

产生单元33，用于根据所述原始数据所属的领域和所述原始数据中包含的内容的关键词，为所述原始数据生成数据标签，其中，所述数据标签中包含所述原始数据所属的领域和所述原始数据中包含的内容的关键词；

存储单元34，用于根据所述原始数据的数据标签，将所述原始数据存储在数据资源池中。

具体地，所述存储单元34根据所述原始数据的数据标签，将所述原始数据存储在数据资源池中，具体包括：

根据所述原始数据的数据标签中包含的所述原始数据所属的领域，将属于所述领域的多个原始数据合并为一个数据集；

以数据集为存储单元，将包含所述原始数据的数据集存储在数据资源池中。

具体地，所述获取单元31获取不同用户输入的原始数据，具体包括：

周期性或实时性获取不同用户输入的原始数据。

具体地，所述存储单元34根据所述原始数据的数据标签，将所述原始数据存储在数据资源池中，具体包括：

根据所述原始数据的数据标签，按照分布式存储的方式，将所述原始数据存储在数据资源池中。

需要说明的是，本发明实施例中所述的处理设备可以采用硬件方式实现，也可以采用软件方式实现，这里不做限定。

图4为本发明实施例提供的一种基于多维数据融合的大数据处理设备的结构示意图。所述处理设备包括：接收单元41、确定单元42和发送单元43，其中：

接收单元41，用于接收数据查询请求消息，其中，所述数据查询请求消息中包含待查询数据所属的领域以及所述待查询数据的关键词；

确定单元42，用于根据所述数据查询请求消息中包含的待查询数据所属的领域以及所述待查询数据的关键词，确定所述待查询数据对应的数据标签；

发送单元43，用于利用所述数据标签，从数据资源池中查找出与所述数据标签对应的多维数据，并将查找到的所述多维数据输出。

具体地，所述发送单元43将查找到的所述多维数据输出，具体包括：

在利用所述数据标签从数据资源池中查找出与所述数据标签对应的多维数据的个数大于2时，将查找到的多个多维数据进行聚合分析，得到聚合结果，并将所述聚合结果输出。

需要说明的是，本发明实施例中所述的处理设备可以采用硬件方式实现，也可以采用软件方式实现，这里不做限定。

本领域的技术人员应明白，本发明的实施例可提供为方法、装置(设备)、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、装置(设备)和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种基于多维数据融合的大数据处理方法，其特征在于，包括：

获取不同用户输入的原始数据，其中，所述原始数据属于多维数据，所述原始数据中包含数据属性以及所述数据属性对应的内容；

基于所述用户输入的每一个所述原始数据，根据所述原始数据中包含的数据属性，确定所述原始数据所属的领域，以及根据所述原始数据中包含的所述数据属性对应的内容，确定所述原始数据中包含的所述内容的关键词；

根据所述原始数据所属的领域和所述原始数据中包含的内容的关键词，为所述原始数据生成数据标签，其中，所述数据标签中包含所述原始数据所属的领域和所述原始数据中包含的内容的关键词；

根据所述原始数据的数据标签，将所述原始数据存储在数据资源池中。

2.如权利要求1所述的大数据处理方法，其特征在于，根据所述原始数据的数据标签，将所述原始数据存储在数据资源池中，包括：

根据所述原始数据的数据标签中包含的所述原始数据所属的领域，将属于所述领域的多个原始数据合并为一个数据集；

以数据集为存储单元，将包含所述原始数据的数据集存储在数据资源池中。

3.如权利要求1所述的大数据处理方法，其特征在于，获取不同用户输入的原始数据，包括：

周期性或实时性获取不同用户输入的原始数据。

4.如权利要求1所述的大数据处理方法，其特征在于，根据所述原始数据的数据标签，将所述原始数据存储在数据资源池中，包括：

根据所述原始数据的数据标签，按照分布式存储的方式，将所述原始数据存储在数据资源池中。

5.一种基于多维数据融合的大数据处理方法，其特征在于，包括：

接收数据查询请求消息，其中，所述数据查询请求消息中包含待查询数据所属的领域以及所述待查询数据的关键词；

根据所述数据查询请求消息中包含的待查询数据所属的领域以及所述待查询数据的关键词，确定所述待查询数据对应的数据标签；

利用所述数据标签，从数据资源池中查找出与所述数据标签对应的多维数据，并将查找到的所述多维数据输出。

6.如权利要求5所述的大数据处理方法，其特征在于，将查找到的所述多维数据输出，包括：

在利用所述数据标签从数据资源池中查找出与所述数据标签对应的多维数据的个数大于2时，将查找到的多个多维数据进行聚合分析，得到聚合结果，并将所述聚合结果输出。

7.一种基于多维数据融合的大数据处理设备，其特征在于，包括：

获取单元，用于获取不同用户输入的原始数据，其中，所述原始数据属于多维数据，所述原始数据中包含数据属性以及所述数据属性对应的内容；

确定单元，用于基于所述用户输入的每一个所述原始数据，根据所述原始数据中包含的数据属性，确定所述原始数据所属的领域，以及根据所述原始数据中包含的所述数据属性对应的内容，确定所述原始数据中包含的所述内容的关键词；

产生单元，用于根据所述原始数据所属的领域和所述原始数据中包含的内容的关键词，为所述原始数据生成数据标签，其中，所述数据标签中包含所述原始数据所属的领域和所述原始数据中包含的内容的关键词；

存储单元，用于根据所述原始数据的数据标签，将所述原始数据存储在数据资源池中。

8.如权利要求7所述的大数据处理设备，其特征在于，所述存储单元根据所述原始数据的数据标签，将所述原始数据存储在数据资源池中，具体包括：

根据所述原始数据的数据标签中包含的所述原始数据所属的领域，将属于所述领域的多个原始数据合并为一个数据集；

以数据集为存储单元，将包含所述原始数据的数据集存储在数据资源池中。

9.一种基于多维数据融合的大数据处理设备，其特征在于，包括：

接收单元，用于接收数据查询请求消息，其中，所述数据查询请求消息中包含待查询数据所属的领域以及所述待查询数据的关键词；

确定单元，用于根据所述数据查询请求消息中包含的待查询数据所属的领域以及所述待查询数据的关键词，确定所述待查询数据对应的数据标签；

发送单元，用于利用所述数据标签，从数据资源池中查找出与所述数据标签对应的多维数据，并将查找到的所述多维数据输出。

10.如权利要求9所述的大数据处理设备，其特征在于，所述发送单元将查找到的所述多维数据输出，具体包括：

在利用所述数据标签从数据资源池中查找出与所述数据标签对应的多维数据的个数大于2时，将查找到的多个多维数据进行聚合分析，得到聚合结果，并将所述聚合结果输出。