CN112667755B

CN112667755B - 基于Kudu的数据分析装置和方法

Info

Publication number: CN112667755B
Application number: CN202110006136.3A
Authority: CN
Inventors: 谢奥; 高娴; 王亚鹏
Original assignee: Inspur Communication Technology Co Ltd
Current assignee: Inspur Communication Technology Co Ltd
Priority date: 2021-01-05
Filing date: 2021-01-05
Publication date: 2022-09-13
Anticipated expiration: 2041-01-05
Also published as: CN112667755A

Abstract

本发明公开了基于Kudu的数据分析装置和方法，属于数据分析技术领域，本发明要解决的技术问题为如何提升Kudu的数据分析能力，满足大数据时代人们对于数据信息越来越高的需求，同时提升Kudu的索引定位精度，采用的技术方案为：该装置包括图谱数据导入模块、建模管理控制模块、图谱引擎模块及智能服务模块；图谱数据导入模块用于从Kudu系统中存储的数据获取，并根据建模管理控制模块中的对象、属性、关系为核心要素的本体数据模型定义实现外部结构化数据及非结构化数据的多源异构数据的融合；图谱引擎模块用于提供图谱数据存储引擎和索引数据存储引擎。本发明还公开了一种基于Kudu的数据分析方法。

Description

基于Kudu的数据分析装置和方法

技术领域

本发明涉及数据分析领域，具体地说是一种基于Kudu的数据分析装置和方法。

背景技术

随着计算机技术领域的不断发展，数字化几乎渗透了所有领域，如今的数据不仅有来自智能终端设备的数据，还有大量来自物联网智能硬件等各式各样的结构化或非结构化的海量数据，存储的数据量不断地加大，一般通过在数据中心部署Kudu分布式存储系统来解决海量数据的存储问题。

近年来，随着智慧城市、智慧医疗、智慧交通等的快速发展，人们不仅仅只关注数据本身，开始构建一个个庞大的数据网络，将各个数据信息联系起来，而Kudu分布式存储系统中的数据分析能力已经不能够满足日益增长的数据处理需求。

故如何提升Kudu的数据分析能力，满足大数据时代人们对于数据信息越来越高的需求，同时提升Kudu的索引定位精度是目前亟待解决的技术问题。

发明内容

本发明的技术任务是提供一种基于Kudu的数据分析装置和方法，来解决如何提升Kudu的数据分析能力，满足大数据时代人们对于数据信息越来越高的需求，同时提升Kudu的索引定位精度的问题。

本发明的技术任务是按以下方式实现的，一种基于Kudu的数据分析装置，该装置包括，

图谱数据导入模块，用于从Kudu系统中存储的数据获取，并根据建模管理控制模块中的对象、属性、关系为核心要素的本体数据模型定义实现外部结构化数据及非结构化数据的多源异构数据的融合，即完成对在Kudu系统中对象数据的获取与融合；

建模管理控制模块，用于以对象、属性、关系为核心要素建立统一的本体数据模型，从管理视角直观查看模型定义的模型视图，建立物理数据表到本体数据模型中对象、属性、关系映射的源数据建模以及高级搜索配置的管理功能；

图谱引擎模块，用于提供图谱数据存储引擎和索引数据存储引擎，将分析处理后的大数据根据对象、属性和关系的示例数据进行存储，并存储索引数据；

智能服务模块，用于为用户提供额外的智能功能。

作为优选，所述智能服务模块提供的额外的智能功能包括基于知识图谱技术的智能搜索、图谱展现、关联分析及图谱统计。

更优地，所述本体数据模型的功能包括定义对象类型、定义关系类型和定义属性类型；

其中，定义对象类型是指对一个对象详细信息的定义；对象详细信息包括对象名称、队形URI、对象属性和子对象的定义；

定义属性类型是指定义对象基本属性；对象的基本属性定义包括定义属性显示标题、URI、数据格式、数据格式、数值类型及同义词；

定义关系类型是指定义关系分类、关系类型以及关系的属性信息。

更优地，新建对象类型、关系类型和属性类型的配置入口有如下两种情况：

①、本体数据模型：通过本体数据模型管理中的对象类型、属性类型和关系类型，新建业务逻辑对象、属性及关系；

②、数据源：新建物理表到对象及关系的映射信息。

更优地，该装置的工作过程具体如下：

(1)、数据流从Kudu系统中导入图谱数据导入模块中；

(2)、图谱数据导入模块将数据导入建模管理控制模块中，对数据进行分析处理并建立数据关联；

(3)、通过智能服务模块进行赋能智能服务；

(4)、把处理好的数据通过图谱引擎模块传回Kudu数据库中。

一种基于Kudu的数据分析方法，该方法是将知识图谱技术应用于Kudu系统中，用于辅助及加深数据间关联的数据分析功能；具体如下：

以对象、属性、关系为核心要素进行本体数据模型的建立，同时从Kudu系统中获取原始信息数据库，通过图谱数据导入模块根据建模管理控制模块已定义的本体数据模型完成对Kudu系统中对象数据的获取与融合；

基于本体数据模型要素信息，从原始信息数据库中提取图谱数据：利用建模管理控制模块对经过初步处理后的对象数据进行数据分析，通过本体数据模型对数据本体定义属性类型、对象类型及关系类型；

进行物理数据表到本体数据模型中对象、属性及关系映射的源数据建模；

通过智能服务模块对本体数据模型进行智能服务赋能，基于本体数据模型和图谱关系模型提供交互式可视化的探索式关联分析；

通过图谱引擎模块将分析处理后的数据及关联关系存储于Kudu系统中。

作为优选，智能服务赋能是指根据不同用户的需求，让用户自行对图谱数据进行探索，结合已构建好的图谱知识及关联关系，根据业务需求进行额外增加关联关系及从其他维度对数据进行分析的数据分析服务。

定义属性类型是指定义对象基本属性；对象基本属性定义包括定义属性显示标题、URI、数据格式、数据格式、数值类型、同义词；

②、数据源：新建物理表到对象及关系的映射信息。

一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序可被处理器执行以实现如上述的基于Kudu的数据分析方法。

本发明的基于Kudu的数据分析装置和方法具有以下优点：

(一)本发明将知识图谱技术赋能Kudu系统，用于辅助及加深数据间关联的数据分析功能，提高了Kudu系统的数据分析能力，也提供了对于不同业务进行数据关联分析的自主服务，进一步的提高了Kudu的索引定位精度；

(二)本发明从Kudu的数据分析方法入手，综合考虑现有数据分析技术及其应用实现效果情况，提升了Kudu的数据分析能力，满足了大数据时代数据关联分析的需求，也进一步提高了Kudu的搜索精度；

(三)知识图谱技术是实现多源异构超媒体数据融合的一种关键技术；基于知识图谱技术的本体建模，本质上是为多源、异构、类型多样的大数据提供了一种高抽象概念层次的统一数据模型，可以把各种来源、异构、海量的大数据进行汇聚、融合和关联在一起进行存储，可以提高Kudu系统中的数据分析能力。

附图说明

下面结合附图对本发明进一步说明。

附图1为基于Kudu的数据分析装置的结构框图；

附图2为基于Kudu的数据分析方法的流程框图。

具体实施方式

参照说明书附图和具体实施例对本发明的基于Kudu的数据分析装置和方法作以下详细地说明。

实施例1：

如附图1所示，本发明的基于Kudu的数据分析装置，图谱数据导入模块，用于从Kudu系统中存储的数据获取，并根据建模管理控制模块中的对象、属性、关系为核心要素的本体数据模型定义实现外部结构化数据及非结构化数据的多源异构数据的融合，即完成对在Kudu系统中对象数据的获取与融合；

智能服务模块，用于为用户提供额外的智能功能，包括基于知识图谱技术的智能搜索、图谱展现、关联分析及图谱统计。

本实施例中的本体数据模型的功能包括定义对象类型、定义关系类型和定义属性类型；

本实施例中新建对象类型、关系类型和属性类型的配置入口有如下两种情况：

②、数据源：新建物理表到对象及关系的映射信息。

该装置的工作过程具体如下：

(1)、数据流从Kudu系统中导入到本发明中；

(2)、数据通过图谱数据导入模块导入建模管理控制模块中；

(3)、通过建模管理控制模块对数据的分析处理、建立数据关联以及赋能智能服务；

(4)、把处理好的数据通过图谱引擎模块传回Kudu数据库中。

实施例2：

如附图2所示，本发明的基于Kudu的数据分析方法，该方法是将知识图谱技术应用于Kudu系统中，用于辅助及加深数据间关联的数据分析功能；具体如下：

S1、以对象、属性、关系为核心要素进行本体数据模型的建立，同时从Kudu系统中获取原始信息数据库，通过图谱数据导入模块根据建模管理控制模块已定义的本体数据模型完成对Kudu系统中对象数据的获取与融合；

S2、基于本体数据模型要素信息，从原始信息数据库中提取图谱数据：利用建模管理控制模块对经过初步处理后的对象数据进行数据分析，通过本体数据模型对数据本体定义属性类型、对象类型及关系类型；

S3、进行物理数据表到本体数据模型中对象、属性及关系映射的源数据建模；

S4、通过智能服务模块对本体数据模型进行智能服务赋能，开发诸如智能搜索、图谱展现、关联分析等功能，基于本体数据模型和图谱关系模型提供交互式可视化的探索式关联分析；

本实施例中步骤S4中的智能服务赋能是指根据不同用户的需求，让用户自行对图谱数据进行探索，结合已构建好的图谱知识及关联关系，根据业务需求进行额外增加关联关系及从其他维度对数据进行分析的数据分析服务。

本实施例中的新建对象类型、关系类型和属性类型的配置入口有如下两种情况：

②、数据源：新建物理表到对象及关系的映射信息。

实施例3：

本发明实施例还提供了一种计算机可读存储介质，其中存储有多条指令，指令由处理器加载，使处理器执行本发明任一实施例中的A方法。具体地，可以提供配有存储介质的系统或者装置，在该存储介质上存储着实现上述实施例中任一实施例的功能的软件程序代码，且使该系统或者装置的计算机(或CPU或MPU)读出并执行存储在存储介质中的程序代码。

在这种情况下，从存储介质读取的程序代码本身可实现上述实施例中任何一项实施例的功能，因此程序代码和存储程序代码的存储介质构成了本发明的一部分。

用于提供程序代码的存储介质实施例包括软盘、硬盘、磁光盘、光盘(如CD-ROM、CD-R、CD-RW、DVD-ROM、DVD-RYM、DVD-RW、DVD+RW)、磁带、非易失性存储卡和ROM。可选择地，可以由通信网络从服务器计算机上下载程序代码。

此外，应该清楚的是，不仅可以通过执行计算机所读出的程序代码，而且可以通过基于程序代码的指令使计算机上操作的操作系统等来完成部分或者全部的实际操作，从而实现上述实施例中任意一项实施例的功能。

此外，可以理解的是，将由存储介质读出的程序代码写到插入计算机内的扩展板中所设置的存储器中或者写到与计算机相连接的扩展单元中设置的存储器中，随后基于程序代码的指令使安装在扩展板或者扩展单元上的CPU等来执行部分和全部实际操作，从而实现上述实施例中任一实施例的功能。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims

1.一种基于Kudu的数据分析装置，其特征在于，该装置包括，

图谱数据导入模块，用于从Kudu系统中存储的数据获取，并根据建模管理控制模块中的对象、属性、关系为核心要素的本体数据模型定义实现外部结构化数据及非结构化数据的多源异构数据的融合；

智能服务模块，用于为用户提供智能功能。

2.根据权利要求1所述的基于Kudu的数据分析装置，其特征在于，所述智能服务模块提供的额外的智能功能包括基于知识图谱技术的智能搜索、图谱展现、关联分析及图谱统计。

3.根据权利要求1或2所述的基于Kudu的数据分析装置，其特征在于，所述本体数据模型的功能包括定义对象类型、定义关系类型和定义属性类型；

其中，定义对象类型是指对一个对象详细信息的定义；对象详细信息包括对象名称、URI、对象属性和子对象的定义；

定义属性类型是指定义对象基本属性；对象的基本属性定义包括定义属性显示标题、URI、数据格式、数值类型及同义词；

4.根据权利要求3所述的基于Kudu的数据分析装置，其特征在于，新建对象类型、关系类型和属性类型的配置入口包括如下两种情况中的至少一种：

②、数据源：新建物理表到对象及关系的映射信息。

5.根据权利要求1所述的基于Kudu的数据分析装置，其特征在于，该装置的工作过程具体如下：

（1）、数据流从Kudu系统中导入图谱数据导入模块中；

（2）、图谱数据导入模块将数据导入建模管理控制模块中，对数据进行分析处理并建立数据关联；

（3）、通过智能服务模块进行赋能智能服务；

（4）、把处理好的数据通过图谱引擎模块传回Kudu数据库中。

6.一种基于Kudu的数据分析方法，其特征在于，该方法是将知识图谱技术应用于Kudu系统中，用于辅助及加深数据间关联的数据分析功能；具体如下：

基于本体数据模型要素信息，从原始信息数据库中提取图谱数据：利用建模管理控制模块对经过处理后的对象数据进行数据分析，通过本体数据模型对数据本体定义属性类型、对象类型及关系类型；

7.根据权利要求6所述的基于Kudu的数据分析方法，其特征在于，智能服务赋能是指根据不同用户的需求，让用户自行对图谱数据进行探索，结合已构建好的图谱知识及关联关系，根据业务需求进行额外增加关联关系及从其他维度对数据进行分析的数据分析服务。

8.根据权利要求6或7所述的基于Kudu的数据分析方法，其特征在于，所述本体数据模型的功能包括定义对象类型、定义关系类型和定义属性类型；

定义属性类型是指定义对象基本属性；对象基本属性定义包括定义属性显示标题、URI、数据格式、数值类型及同义词；

9.根据权利要求8所述的基于Kudu的数据分析方法，其特征在于，新建对象类型、关系类型和属性类型的配置入口包括如下两种情况中的至少一种：

②、数据源：新建物理表到对象及关系的映射信息。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，所述计算机程序可被处理器执行以实现如权利要求6至9中任一项所述的基于Kudu的数据分析方法。