CN110008306A - 一种数据关系分析方法、装置及数据服务系统 - Google Patents

Abstract

本发明公开了一种数据关系分析方法、装置及数据服务系统，该分析方法包括：获取原始数据，提取原始数据的元数据；根据不同的数据分析算法对原始数据进行多维度分析计算，得到分析结果；根据分析结果建立原始数据之间的数据关系；根据原始数据、元数据及数据关系构建数据库。通过实施本发明，可以获取不同行业、不同部门、不同组织的业务数据作为原始数据，根据不同的数据分析算法(如机器学习算法、深度学习算法)对原始数据进行多维度分析计算，为用户挖掘跨组织、跨部门、跨行业的不同数据集之间数据关系，将各种维度的关系统一在一个关系体系内，降低运营成本，提高数据分析准确率，提高数据利用率，实现数据价值的最大化。

Description

一种数据关系分析方法、装置及数据服务系统

技术领域

本发明涉及数据处理技术领域，具体涉及一种数据关系分析方法、装置及数据服务系统。

背景技术

经过几十年的计算机应用和市场积累，无论是政府机构还是商业单位都保存大量的原始的数据以及各种各样的业务数据，这些业务数据来源繁杂，真实地反映了商业企业主体和各种业务环境的经济动态，涉及到运营平台、客服咨询、商品数据等多维度数据，而且各个数据源的结构化程度差异较大。

然而，由于缺乏集中存储和统一的管理，现有技术无法将不同部门、不同行业的原数据联合起来加以利用。

发明内容

有鉴于此，本发明实施例提供了一种数据关系分析方法、装置及数据服务系统，以解决现有技术无法将不同部门、不同行业的原数据联合起来加以利用的问题。

本发明提出的技术方案如下：

本发明实施例第一方面提供一种数据关系分析方法，该分析方法包括：获取原始数据，提取所述原始数据的元数据；根据不同的数据分析算法对所述原始数据进行多维度分析计算，得到分析结果；根据所述分析结果建立所述原始数据之间的数据关系；根据所述原始数据、元数据及数据关系构建数据库。

可选地，根据不同的数据分析算法对所述原始数据进行多维度分析计算，得到分析结果，包括：根据所述原始数据得到所述原始数据类型；根据所述原始数据类型匹配不同的数据分析算法；根据不同的数据分析算法对相应类型原始数据进行多维度分析计算，得到分析结果。

可选地，根据不同的数据分析算法对相应类型原始数据进行多维度分析计算，得到分析结果，包括：当所述原始数据类型为二维表格式时，根据列名分析算法和关键列分析算法对所述原始数据进行分析计算，得到第一数据关系；当所述原始数据类型为图像格式时，根据图像特征提取算法对所述原始数据进行分析计算，得到第二数据关系；当所述原始数据类型为文本格式时，根据深度学习分类算法、聚类算法、Textrank算法及血缘分析算法对所述原始数据进行分析计算，得到第三数据关系；当所述原始数据类型为日志格式时，根据特征提取算法对所述原始数据进行分析计算，得到第四数据关系。

可选地，根据所述原始数据、元数据及数据关系构建数据库，包括：根据所述第一数据关系、第二数据关系、第三数据关系及第四数据关系构建数据关系库；根据所述原始数据的元数据构建元数据库；根据所述数据关系库和和所述元数据库构建数据库。

本发明实施例第二方面提供一种数据服务系统，该系统包括：数据库，所述数据库为根据本发明实施例第一方面及第一方面任一项所述的数据关系分析方法构建形成；数据关系图谱模块，用于根据所述数据库构建数据关系图谱并显示；全文检索模块，用于根据所述数据库对行业数据进行全文检索；数据关联检索模块，用于根据所述数据库对行业数据进行数据关联检索；图像查询模块，用于根据所述数据库对行业数据中的图像数据进行查询；数据推荐模块，用于根据所述数据库对用户进行数据推荐；数据标注模块，用于根据所述数据库对原始数据进行标注。

本发明实施例第三方面提供一种数据关系分析装置，该分析装置包括：数据获取模块，用于获取原始数据，提取所述原始数据的元数据；分析模块，用于根据不同的数据分析算法对所述原始数据进行多维度分析计算，得到分析结果；数据关系建立模块，用于根据所述分析结果建立所述原始数据之间的数据关系；数据库构建模块，用于根据所述原始数据、元数据及数据关系构建数据库。

本发明实施例第四方面提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使所述计算机执行如本发明实施例第一方面及第一方面任一项所述的数据关系分析方法。

本发明实施例第五方面提供一种数据关系分析设备，包括：存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行如本发明实施例第一方面及第一方面任一项所述的数据关系分析方法。

本发明提出的技术方案，具有如下优点：

本发明实施例提供的数据关系分析方法、装置及数据服务系统，通过获取不同行业、不同部门、不同组织的业务数据作为原始数据，根据不同的数据分析算法(如机器学习算法、深度学习算法)对原始数据进行多维度分析计算，为用户挖掘跨组织、跨部门、跨行业的不同数据集之间数据关系，将各种维度的关系统一在一个关系体系内，降低运营成本，提高数据分析准确率，提高数据利用率，实现数据价值的最大化。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据本发明实施例的数据关系分析方法的流程图；

图2是根据本发明另一实施例的数据关系分析方法的流程图；

图3是根据本发明实施例的数据服务系统的结构框图；

图4是根据本发明实施例的数据关系分析装置的结构框图；

图5是本发明实施例提供的数据关系分析终端的硬件结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例提供一种数据关系分析方法，如图1所示，该分析方法包括如下步骤：

步骤S101：获取原始数据，提取原始数据的元数据；具体地，该原始数据可以包含不同行业、不同部门、不同组织的业务数据，该原始数据可以从政府机构获取，也可以从商业单位获取，本发明对此不做限定；提取元数据时，可以通过调用原始数据数据集的API(Application Programming Interface，应用程序编程接口)，自动获得原始数据数据集的元数据，该元数据包括数据量、数据标签、数据表结构等信息。

步骤S102：根据不同的数据分析算法对原始数据进行多维度分析计算，得到分析结果；具体地，由于原始数据为来自不同同行业、不同部门、不同组织的业务数据，采用单一的数据分析算法无法实现对原始数据精确的分析计算，本发明采用多种数据分析算法对原始数据进行多维度分析计算，可以从多种角度深度挖掘数据的内在联系，得到原始数据的分析结果，其中数据分析算法可以采用机器学习、深度学习等算法。

步骤S103：根据分析结果建立原始数据之间的数据关系；具体地，分析得到分析结果后，可以从分析结果中获取原始数据之间的数据关系。

步骤S104：根据原始数据、元数据及数据关系构建数据库。具体地，根据不同的数据分析算法分析得到的数据关系构建数据库，可以将各种维度的数据关系统一在一个关系体系内。

通过上述步骤S101至步骤S104，本发明实施例提供的数据关系分析方法，通过获取不同行业、不同部门、不同组织的业务数据作为原始数据，根据不同的数据分析算法(如机器学习算法、深度学习算法)对原始数据进行多维度分析计算，为用户挖掘跨组织、跨部门、跨行业的不同数据集之间数据关系，将各种维度的关系统一在一个关系体系内，降低运营成本，提高数据分析准确率，提高数据利用率，实现数据价值的最大化。

作为本发明实施例的一种可选的实施方式，如图2所示，步骤S102根据不同的数据分析算法对原始数据进行多维度分析计算，得到分析结果，包括如下步骤：

步骤S201：根据原始数据得到原始数据类型；具体地，当获取原始数据后，可以提取原始数据文件的文件名类型、文件头特征和数据特征等文件特征，通过识别文件特征确定原始数据文件类型。

步骤S202：根据原始数据类型匹配不同的数据分析算法；具体地，当判断得到原始数据类型后，可以根据不同的原始数据类型匹配不同的数据分析算法，从而实现原始数据的精准分析，对于同一类型的原始数据，也可以采用不同的数据分析算法进行分析计算，从而实现对原始数据的多维度分析，多维度分析可以深度挖掘原始数据之间的数据关系，提高数据的利用率。

步骤S203：根据不同的数据分析算法对相应类型原始数据进行多维度分析计算，得到分析结果。

具体地，当原始数据类型为二维表格式时，根据列名分析算法和关键列分析算法对原始数据进行分析计算，得到第一数据关系；其中列名分析算法可以根据后台定时任务不断对原始数据进行字段匹配，可以去除简单字段(例如：id、time等)，从而找出两个原始数据数据集之间的相同字段并建立数据关系。

关键列分析算法可以根据各个行业的特点制定其对应的关键列，对原始数据采用关键列分析算法进行分析计算时，可以通过字段提取等获取原始数据中的关键列，根据该关键列可以形成原始数据与行业之间的匹配关系。

具体地，当原始数据类型为图像或视频格式时，根据图像特征提取算法对原始数据进行分析计算，得到第二数据关系；图像特征提取算法可以对原始数据进行物体检测，并将检测到的物体特征进行向量化保存，在保存时，可以选择将向量进行网格化存储，也可以选择其他存储格式，本发明对此不做限定。

具体地，当原始数据类型为文本格式时，根据深度学习分类算法、聚类算法、Textrank算法及血缘分析算法对原始数据进行分析计算，得到第三数据关系。

其中，可以通过现有公开的数据集或进行标注的数据集作为训练集对深度学习分类模型进行训练，得到深度学习分类算法。根据深度学习分类算法对原始数据进行分析计算时，可以将获取的原始数据映射到深度学习分类算法已有的类别中，当对应某一类别的概率值最大时，将该原始数据分到该类别中。

Textrank算法是将文本数据的每个句子看成图中的一个节点，若两个句子之间有相似性，认为对应的两个节点之间有一个无向有权边，权值是相似度。根据Textrank算法对原始数据进行分析计算时，可以先对原始数据文本进行分词及去停用词处理，分词可通过现有的多种分词模型实现，去停用词是指去除“的”、“了”以及一些没有用途的预设词语，之后构建词语之间关系图，从而获取每个词语的权重，将权重对应的词语倒序排列得到原始数据对应的关键词；接着可以采用聚类算法，将得到的关键词进行分类，从而完成原始数据类别的划分。

根据血缘分析算法对原始数据进行分析计算，可以得到原始数据之间的“血缘”关系，例如某两个数据都是从一个数据中经过复杂的变换得到，则可以通过血缘分析算法，将这三个数据分为同一类别。

具体地，当原始数据类型为日志格式时，根据特征提取算法对原始数据进行分析计算，得到第四数据关系。当原始数据中包含用户上传、下载、收藏、订阅、修改、删除等操作行为时，可以通过特征提取算法对原始数据进行特征提取，根据提取的特征分析用户对数据的使用偏好，得到分析结果；根据不同的分析结果可以判断不同数据是否是同一类别。

当原始数据类型为其他类型时，也可以根据类型匹配不同的数据分析算法，本发明并不限于上述数据分析算法。

作为本发明实施例的一种可选的实施方式，根据不同数据关系构建数据库，包括：根据第一数据关系、第二数据关系、第三数据关系及第四数据关系构建数据关系库；根据原始数据的元数据构建元数据库；根据数据关系库和和元数据库构建数据库。

本发明实施例还提供一种数据服务系统，如图3所示，该数据服务系统包括：

数据库10，该数据库为根据上述实施例任一项所述的数据关系分析方法构建形成；

数据关系图谱模块11，用于根据数据库构建数据关系图谱并显示；具体地，数据库中包括多种数据关系，根据该多种数据关系可以绘制数据关系图谱，用户可以从该图谱中快速浏览、查找需要的数据集。

全文检索模块12，用于根据数据库对行业数据进行全文检索；具体地，行业数据包括结构化数据和非结构化数据，对于非结构化数据，可以采用全文检索进行搜索，检索时将非结构化数据中的一部分信息提取出来，重新组织，使其变得有一定结构，然后对此有一定结构的数据进行搜索，可以实现非结构化数据搜索引擎功能。

数据关联检索模块13，用于根据数据库对行业数据进行数据关联检索；具体地，根据上述关键列分析算法进行分析计算后可以得到与行业的匹配关系，可以根据该匹配关系实现对数据的关联检索，检索到相关行业其他数据，也可以基于其他数据关系对数据进行关联检索。

图像查询模块14，用于根据数据库对行业数据中的图像数据进行查询；具体地，可以将需要查询的图像数据信息输入该模块，根据上述第二数据关系能够快速搜索到相同或相似特征的图像。

数据推荐模块15，用于根据数据库对用户进行数据推荐；具体地，通过对用户操作行为数据的分析，结合上述第四数据关系，可以对用户推荐相关的数据。此外，也可以根据上述聚类算法对原始数据的分类，当用户使用同一类别中的某一数据时，可以为用户推荐同一类别中的其他数据。

数据标注模块16，用于根据数据库对原始数据进行标注。具体地，根据数据库中的数据关系，可以对同一类别的数据进行标注，也可以对具有关系的数据进行标注，例如一个英文句子的数据集A，一个中文句子的翻译数据集B，可以对两个数据集A、B进行标注，标注后的数据可以作为训练算法模型时的训练集。该数据标注模块可以为需要训练集的平台用户提供所需的训练集。

本发明实施例提供的数据服务系统，可以采用上述跨组织、跨部门、跨行业的不同数据集之间数据关系，为用户提供数据检索、图像查询、数据推荐等各类精准化、智能化数据关系服务，充分利用数据之间的内在数据关系，实现数据价值的最大化。

本发明实施例还提供一种数据关系分析装置，如图4所示，该分析装置包括：

数据获取模块21，用于获取原始数据，提取原始数据的元数据；详细内容可参见上述方法实施例的步骤S101的相关描述。

分析模块22，用于根据不同的数据分析算法对原始数据进行多维度分析计算，得到分析结果；详细内容可参见上述方法实施例的步骤S102的相关描述。

数据关系建立模块23，用于根据分析结果建立原始数据之间的数据关系；详细内容可参见上述方法实施例的步骤S103的相关描述。

数据库构建模块24，用于根据原始数据、元数据及数据关系构建数据库。详细内容可参见上述方法实施例的步骤S104的相关描述。

通过上述模块间的互相协作，本发明实施例提供的数据关系分析方法，通过获取不同行业、不同部门、不同组织的业务数据作为原始数据，根据不同的数据分析算法(如机器学习算法、深度学习算法)对原始数据进行多维度分析计算，为用户挖掘跨组织、跨部门、跨行业的不同数据集之间数据关系，将各种维度的关系统一在一个关系体系内，降低运营成本，提高数据分析准确率，提高数据利用率，实现数据价值的最大化。

本发明实施例还提供了一种数据关系分析终端，如图5所示，该数据关系分析终端可以包括处理器51和存储器52，其中处理器51和存储器52可以通过总线或者其他方式连接，图5中以通过总线连接为例。

处理器51可以为中央处理器(Central Processing Unit，CPU)。处理器51还可以为其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。

存储器52作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块，如本发明实施例中的数据关系分析装置对应的程序指令/模块(例如，图4所示的数据获取模块21、分析模块22、数据关系建立模块23和数据库构建模块24)。处理器51通过运行存储在存储器52中的非暂态软件程序、指令以及模块，从而执行处理器的各种功能应用以及数据处理，即实现上述方法实施例中的数据关系分析方法。

存储器52可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储处理器51所创建的数据等。此外，存储器52可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器52可选包括相对于处理器51远程设置的存储器，这些远程存储器可以通过网络连接至处理器51。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

所述一个或者多个模块存储在所述存储器52中，当被所述处理器51执行时，执行如图1－2所示实施例中的数据关系分析方法。

上述数据关系分析终端具体细节可以对应参阅图1至图2所示的实施例中对应的相关描述和效果进行理解，此处不再赘述。

本领域技术人员可以理解，实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述存储介质可为磁碟、光盘、只读存储记忆体(Read－Only Memory，ROM)、随机存储记忆体(Random AccessMemory，RAM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive，缩写：HDD)或固态硬盘(Solid－State Drive，SSD)等；所述存储介质还可以包括上述种类的存储器的组合。

虽然结合附图描述了本发明的实施例，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下做出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。

Claims (8)

1.一种数据关系分析方法，其特征在于，包括：

获取原始数据，提取所述原始数据的元数据；

根据不同的数据分析算法对所述原始数据进行多维度分析计算，得到分析结果；

根据所述分析结果建立所述原始数据之间的数据关系；

根据所述原始数据、元数据及数据关系构建数据库。

2.根据权利要求1所述的数据关系分析方法，其特征在于，根据不同的数据分析算法对所述原始数据进行多维度分析计算，得到分析结果，包括：

根据所述原始数据得到所述原始数据类型；

根据所述原始数据类型匹配不同的数据分析算法；

根据不同的数据分析算法对相应类型原始数据进行多维度分析计算，得到分析结果。

3.根据权利要求2所述的数据关系分析方法，其特征在于，根据不同的数据分析算法对相应类型原始数据进行多维度分析计算，得到分析结果，包括：

当所述原始数据类型为二维表格式时，根据列名分析算法和关键列分析算法对所述原始数据进行分析计算，得到第一数据关系；

当所述原始数据类型为图像格式时，根据图像特征提取算法对所述原始数据进行分析计算，得到第二数据关系；

当所述原始数据类型为文本格式时，根据深度学习分类算法、聚类算法、Textrank算法及血缘分析算法对所述原始数据进行分析计算，得到第三数据关系；

当所述原始数据类型为日志格式时，根据特征提取算法对所述原始数据进行分析计算，得到第四数据关系。

4.根据权利要求3所述的数据关系分析方法，其特征在于，根据所述原始数据、元数据及数据关系构建数据库，包括：

根据所述第一数据关系、第二数据关系、第三数据关系及第四数据关系构建数据关系库；

根据所述原始数据的元数据构建元数据库；

根据所述数据关系库和和所述元数据库构建数据库。

5.一种数据服务系统，其特征在于，包括：

数据库，所述数据库为根据权利要求1－4任一项所述的数据关系分析方法构建形成；

数据关系图谱模块，用于根据所述数据库构建数据关系图谱并显示；

全文检索模块，用于根据所述数据库对行业数据进行全文检索；

数据关联检索模块，用于根据所述数据库对行业数据进行数据关联检索；

图像查询模块，用于根据所述数据库对行业数据中的图像数据进行查询；

数据推荐模块，用于根据所述数据库对用户进行数据推荐；

数据标注模块，用于根据所述数据库对原始数据进行标注。

6.一种数据关系分析装置，其特征在于，包括：

数据获取模块，用于获取原始数据，提取所述原始数据的元数据；

分析模块，用于根据不同的数据分析算法对所述原始数据进行多维度分析计算，得到分析结果；

数据关系建立模块，用于根据所述分析结果建立所述原始数据之间的数据关系；

数据库构建模块，用于根据所述原始数据、元数据及数据关系构建数据库。

7.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使所述计算机执行如权利要求1-4任一项所述的数据关系分析方法。

8.一种数据关系分析设备，其特征在于，包括：存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行如权利要求1-4任一项所述的数据关系分析方法。