CN112256695A - 可视化的图计算方法及其系统、存储介质以及电子设备 - Google Patents

Abstract

本发明实施例提供了可视化的图计算方法及其系统、存储介质以及电子设备，解决了现有技术中图计算过程中数据不安全的技术问题。本发明实施例提供的可视化的图计算方法，用户通过在可视化图计算平台上选择图的算子、算子之间的连接关系以及对算子的参数进行配置，大数据集群即可根据算子以及参数生成图的表数据文件，而图计算服务器则根据算子、算子之间的连接关系以及算子的配置参数，构建图实例，生成图的结构数据，大数据集群将图的结构数据转化为图的表数据，用户只能在图计算服务器上得到图的结构数据，在大数据集群中得到图的表数据，整个过程均是在后端的图计算服务器以及大数据集群之间传输，用户不可见任何数据，提高了数据的安全性。

Description

可视化的图计算方法及其系统、存储介质以及电子设备

【技术领域】

本发明涉及计算机技术领域，尤其涉及可视化的图计算方法及其系统、存储介质以及电子设备。

【背景技术】

随着大数据技术的快速发展，各大公司，尤其是联网企业，都在从各个角度采集数据、存储数据、处理数据、分享数据、检索数据、分析数据、展示数据和挖掘数据背后的商业价值。不同个体之间彼此交互而产生的数据以图的形式表现，在通信、互联网、电子商务、社交网络和物联网等领域都积累有大规模的图数据。

图由节点与边构成，具有图结构的数据为图数据。图计算是对图数据的处理技术，例如图数据库和图计算框架，无论是分布式还是单节点的方案，都是构建于物理机上，通过部署在物理机上的服务来满足用户需求，多个用户共享使用同一个服务。

相关技术中的图计算服务器往往需要将需要的图数据从数据库中导出来，然后手动输入图计算服务器中进行计算，对于存在敏感字段的数据，如果将数据导出来并手动输入图计算服务器，增加了数据泄露或者损失的概率，即存在数据不安全的问题。

【发明内容】

有鉴于此，本发明实施例提供了一种可视化的图计算方法及其系统、存储介质以及电子设备，解决了现有技术中图计算过程中数据不安全的技术问题。

作为本发明实施例的第一方面，本发明实施例提供了一种可视化的图计算方法，所述方法应用于可视化的图计算系统，所述可视化的图计算系统包括可视化图计算平台，大数据集群以及图计算服务器，其中，所述大数据集群中存储有图的原始表数据，所述图计算服务器中存储有图的原始结构化数据；所述可视化的图计算方法包括：

根据用户的第一输入，获取待处理图的原始表数据；

根据所述用户的第二输入，生成待处理图的任务工作流文件，所述任务工作流文件包括所述原始表数据、多个任务节点，其中所述多个任务节点包括至少一个第一任务节点以及至少一个第二任务节点；

根据所述至少一个第一任务节点生成执行所述第一任务节点的至少一个第一调令，并对所述原始表数据进行计算，生成表数据文件；

根据所述至少一个第一调令以及所述至少一个第二任务节点，生成待处理图实例，并根据所述待处理图实例对所述表数据文件进行计算，生成所述待处理图的结构化数据；以及

将所述待处理图的结构化数据转化为所述待处理图的表数据。

在本发明一实施例中，在所述获取待处理图的原始表数据之后，且在根据用户的第二输入指令，生成待处理图的任务工作流文件之前，所述可视化的图计算方法还包括：

对所述原始表数据进行预处理，获取所述待处理图的预处理表数据；

根据所述至少一个第一任务节点生成执行所述第一任务节点的至少一个第一调令，并对所述原始表数据进行计算，生成表数据文件，包括：

根据所述至少一个第一任务节点生成执行所述第一任务节点的至少一个第一调令，对所述预处理表数据进行计算，生成表数据文件。

在本发明一实施例中，根据所述用户的第二输入，生成待处理图的任务工作流文件，包括：

根据所述用户输入的数据导入算子，生成数据导入节点；

根据所述用户输入的所述待处理图创建算子，生成待处理图创建节点；

根据所述用户输入的待处理图的多个算法算子，生成待处理图计算节点；

根据所述用户输入的数据导出算子，生成数据导出节点；

根据所述用户输入的停止所述待处理图算子指令，生成停止节点；

根据所述用户输入的所述多个算法算子之间的连接关系，生成所述多个算法算子之间的关系；

根据所述用户输入的预设配置方式，对所述多个算法算子进行参数配置，生成每个所述算法算子的参数；以及

根据所述用户输入的提交指令，生成所述待处理图的任务工作流文件；

其中，所述至少一个第一任务节点包括：所述数据导入节点、待处理图计算节点、所述数据导出节点以及所述停止节点；

所述至少一个第二任务节点包括：所述待处理图创建节点。

在本发明一实施例中，根据所述至少一个第一任务节点生成执行所述第一任务节点的至少一个第一调令，对所述预处理表数据进行计算，生成表数据文件，包括：

根据所述数据导入节点、待处理图计算节点、所述数据导出节点以及所述停止节点，生成数据导入调令、图计算调令、数据导出调令以及停止调令；

对所述预处理表数据进行计算，生成表数据文件。

在本发明一实施例中，对所述预处理表数据进行计算，生成表数据文件，包括：

根据所述数据导入调令，计算所述预处理表数据中与所述待处理图的多个算法算子相对应的点数据，以及，与所述待处理图中的多个算法算子之间连接关系相对应的边数据；

根据所述算法算子的参数生成所述点数据与所述边数据的头文件；

其中，所述表数据文件包括：多个点数据、多个边数据以及头文件。

在本发明一实施例中，根据所述至少一个第一调令以及所述至少一个第二任务节点，生成待处理图实例，并根据所述待处理图实例对所述表数据文件进行计算，生成所述待处理图的结构化数据，包括：

根据所述待处理图创建节点以及所述数据导入调令，创建所述待处理图的原始实例；

修改所述待处理图的原始实例的配置文件，生成待处理图的实例；

根据所述图计算调令，根据所述待处理图的实例，对所述表数据文件、所述待处理图的多个算法算子以及每个所述算法算子的参数、所述多个算法算子的连接关系，进行计算，生成所述待处理图的结构化数据；

根据所述数据导出调令，将所述待处理图的结构化数据导出。

在本发明一实施例中，在根据所述数据导出调令，将所述待处理图的结构化数据导出之前，根据所述至少一个第一调令以及所述至少一个第二任务节点，生成待处理图实例，并根据所述待处理图实例对所述表数据文件进行计算，生成所述待处理图的结构化数据，还包括：

判断所述算法算子的参数与所述实例中的配置参数是否一致；

当所述算法算子的参数与所述实例中的配置参数不一致时，修改所述算法算子的参数。

在本发明一实施例中，在所述获取待处理图的原始表数据之前，所述可视化的图计算方法还包括：

根据所述用户输入的用户名和密码，生成第一验证信息，所述第一验证信息表示请求验证所述用户名和密码是否正确；

当收到第二验证信息时，生成第一签名，所述第一签名用于提示所述用户的用户名和密码正确，并根据所述用户的输入，获取待处理图的原始表数据，其中所述第二验证信息表示所述用户名和所述密码正确；

修改所述待处理图的原始实例的配置文件，生成待处理图的实例，包括：

获取所述用户的用户名，并根据所述用户名生成第三验证信息，所述第三验证信息表示请求获取所述用户名的密码；

根据所述用户输入的用户名以及所述用户名的密码，生成第四验证信息，所述第四验证信息表示请求验证所述用户名和所述密码是否正确；

当收到第五验证信息时，修改所述待处理图的原始实例的配置文件，生成待处理图的实例，其中所述第五验证信息表示所述用户名和所述密码正确。

作为本发明的第二方面，本发明实施例提供了一种可视化的图计算系统，包括：

可视化图计算平台，用于根据用户的第一输入，获取待处理图的原始表数据，并根据所述用户的第二输入，生成待处理图的任务工作流文件，所述任务工作流文件包括所述原始表数据、多个任务节点，其中所述多个任务节点包括至少一个第一任务节点以及至少一个第二任务节点；

大数据集群，用于存储图的原始表数据，根据所述至少一个第一任务节点生成执行所述第一任务节点的至少一个第一调令，并对所述原始表数据进行计算，生成表数据文件；

图计算服务器，用于存储图的原始结构化数据，根据所述至少一个第一调令以及所述至少一个第二任务节点，生成待处理图实例，并根据所述待处理图实例对所述表数据文件进行计算，生成所述待处理图的结构化数据。；

其中，所述大数据集群还用于将所述待处理图的结构化数据转化为所述待处理图的表数据。

在本发明一实施例中，所述可视化的图计算系统，还包括：

验证服务器，所述验证服务器用于根据所述用户的用户名以及密码验证所述用户名和所述密码是否正确；根据所述用户名查询与所述用户名对应的密码。

作为本发明的第三方面，本发明实施例提供了一种计算机可读存储介质，包括：

存储介质；所述存储介质存储有计算机程序，

其中，所述计算机程序用于执行上述所述的可视化的图计算方法。

作为本发明的第四方面，本发明实施例提供了一种电子设备，所述电子设备包括：

处理器；

用于存储所述处理器可执行指令的存储器；

其中，所述处理器，用于执行上述所述的可视化的图计算方法。

本发明实施例提供的一种可视化的图计算方法，应用于可视化的图计算系统，所述可视化的图计算系统包括可视化图计算平台，大数据集群以及图计算服务器，其中，所述大数据集群中存储有图的原始表数据，所述图计算服务器中存储有图的原始结构化数据；用户通过在可视化图计算平台上选择图的算子、算子之间的连接关系以及对算子的参数进行配置，大数据集群即可根据图的算子以及参数生成图的表数据文件，而图计算服务器则根据图的算子、算子之间的连接关系以及算子的配置参数，构建图实例，然后图计算服务器根据大数据集群中的表数据文件进行图计算，生成图的结构数据，然后大数据集群再将图的结构数据转化为图的表数据，用户只能在图计算服务器上得到图的结构以及图的结构数据，在大数据集群中得到图的表数据，整个过程中，无需用户下载图的表数据再导入图计算服务器中，且整个图计算过程中，无论是图的什么类型的数据均是在后端的图计算服务器以及大数据集群之间传输，用户均不可见任何数据，提高了数据的安全性；除此之外，用户在进行图计算时，用户的主要精力只需要放在图的逻辑上，通过一个个算子构成图的工作流，大大降低了用户对图计算中的专业知识点的学习成本，提高了图计算的效率。

【附图说明】

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1所示为本发明一实施例提供的可视化的图计算系统的结构示意图；

图2所示为本发明一实施例提供的可视化的图计算方法的流程示意图；

图3所示为本发明另一实施例提供的可视化的图计算方法的流程示意图；

图4所示为本发明另一实施例提供的可视化的图计算系统的结构示意图；

图5所示为本发明另一实施例提供的可视化的图计算系统的结构示意图。

【具体实施方式】

为了更好的理解本发明的技术方案，下面结合附图对本发明实施例进行详细描述。

应当明确，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。

应当理解，本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。

图1所示为本发明实施例提供的可视化的图的计算系统，包括：

可视化图计算平台，可视化原图计算平台包括客户端4和核心服务器1，客户端4上可以显示图计算操作界面，供用户在图计算操作界面上进行操作，例如登录系统网页、根据用户所需要计算的图拖拉拽各种算子等。核心服务器1即响应于用户在客户端4上对系统网页的操作，生成图计算的工作流；

大数据集群3，大数据集群3中存储有多个图的原始表数据，用户可以根据大数据集群3中查询多个图的表数据以及图中的点的表数据以及图的边的表数据；

图计算服务器2，图计算服务器2中存储有多个图的原始结构化数据，即存储有多个图的实例，用户可以根据图计算服务器2来查看一个图的结构，其中图计算服务器2和大数据集群3之间进行数据的导入和导出，大数据集群3中的表数据导入至图计算服务器2中，用户可以查看该表数据可以构成的图的结构；而图计算服务器2中的一个图的结构数据导出至大数据集群3中，用户可以根据大数据集群3去查询该图的表数据。

当用户需要计算一个待处理图时，用户可以基于可视化的图的计算系统对该待处理图进行可视化计算，如图2所示，具体的可视化图的计算方法包括如下步骤：

步骤S101：客户端4显示图计算系统网页，用户登录系统网页，输入第一请求，第一请求用于请求“查看待处理图的原始表数据”，其中，待处理图的原始表数据包括待处理图的各要素的原始表数据，例如待处理图的点的表数据、待处理图的边的表数据；

步骤S102：获取用户的第一请求，核心服务器1将该“查看待处理图的原始表数据”的第一请求发送至大数据集群3；

步骤S103：大数据集群3则根据该第一请求，查询该待处理图的各要素的原始表数据，并将待处理图的原始表数据发送至核心服务器1；

此时，用户可以在系统网页上看到待处理图的原始表数据。

步骤S104：根据待处理图，用户在网页上输入预设项目，例如提交与计算待处理图相关的请求或者操作，例如拖拉拽各种算子；

步骤S105：响应于用户的输入，核心服务器1根据用户的输入，生成待处理图的任务工作流文件，并将任务工作流文件传输至大数据集群3，其中，任务工作流文件包括待处理图的原始表数据以及多个任务节点，其中所述多个任务节点包括至少一个第一任务节点以及至少一个第二任务节点；

步骤S106：大数据集群3则根据接收到的任务工作流文件，根据至少一个第一任务节点生成执行所述第一任务节点的至少一个第一调令，并将至少一个第一调令传输至图计算服务器2；大数据集群3还根据多个第一任务节点，对待处理图的原始表数据进行计算，生成待处理图的表数据文件，并将待处理图的表数据文件发送至图计算服务器2，其中，待处理图的原始表数据文件包括：待处理图的各要素的原始表数据以及各要素的原始表数据的头文件；

步骤S107：图计算服务器2接收到至少第一调令以及待处理图的原始表数据文件，根据第二任务节点以及至少一个第一调令生成待处理图实例，并根据该待处理图实例对原始表数据进行计算，生成该待处理图的结构化数据，并将该处理图的结构化数据传输至大数据集群3；

此时，当图计算服务器2将该待处理图进行计算后，生成结构化数据后，可以将该结构化数据发送至核心服务器1中，用户可以在客户端4上即可查看该待处理图的结构。

步骤S108：大数据集群3接收到该待处理图的结构化数据时，将该待处理图的结构化数据转化为该待处理图的表数据，此时，大数据集群3可以将待处理图的表数据发送至核心服务器1中，用户可以在客户端4上查看该待处理图的表数据。另外，由于大数据集群3具有存储功能，该待处理图计算后的表数据则存储在大数据集群3，为以后其他相同图的计算提供直接的表数据，提高了图计算效率，并且当用户在其他应用场景需要该待处理图的表数据时，可以直接从大数据集群3中查看或者导出。

本发明实施例提供的一种可视化的图计算方法，应用于可视化的图计算系统，所述可视化的图计算系统包括可视化图计算平台，大数据集群3以及图计算服务器2，其中，所述大数据集群3中存储有图的原始表数据，所述图计算服务器2中存储有图的原始结构化数据；用户通过在可视化图计算平台上选择图的算子、算子之间的连接关系以及对算子的参数进行配置，大数据集群3即可根据图的算子以及参数生成图的表数据文件，而图计算服务器2则根据图的算子、算子之间的连接关系以及算子的配置参数，构建图实例，然后图计算服务器2根据大数据集群3中的表数据文件进行图计算，生成图的结构数据，然后大数据集群3再将图的结构数据转化为图的表数据，用户只能在图计算服务器2上得到图的结构以及图的结构数据，在大数据集群3中得到图的表数据，整个过程中，无需用户下载图的表数据再导入图计算服务器2中，且整个图计算过程中，无论是图的什么类型的数据均是在后端的图计算服务器2以及大数据集群3之间传输，用户均不可见任何数据，提高了数据的安全性；除此之外，用户在进行图计算时，用户的主要精力只需要放在图的逻辑上，通过一个个算子构成图的工作流，大大降低了用户对图计算中的专业知识点的学习成本，提高了图计算的效率。

在本发明一实施例中，在步骤S103中，大数据集群3则根据该第一请求，查询该待处理图的各要素的原始表数据后，这些原始表数据并不一定都是该待处理图能够用到的数据，因此，在步骤S104与步骤S103之间，如图3所示，可视化的图计算方法还包括：

步骤S1031：核心服务器1对原始表数据进行预处理，获取待处理图的预处理表数据；

步骤S106则为：大数据集群3则根据接收到的任务工作流文件，生成至少一个第一调令，并将至少一个第一调令传输至图计算服务器2；大数据集群3还根据至少一个第一任务节点调令，对待处理图的预处理表数据进行计算，生成待处理图的表数据文件，并将待处理图的表数据文件发送至图计算服务器2，其中，待处理图的原始表数据文件包括：待处理图的各要素的原始表数据以及各要素的原始表数据的头文件。

对待处理图的原始表数据进行预处理，在核心服务器1、图计算服务器2以及大数据集群3中的数据计算以及传输的过程中，减少了数据的计算量以及传输量，且整个计算过程中的原始数据均是与待处理图相关的原始表数据，提高了计算效率。

在本发明一实施例中，如图3所示，步骤S105：响应于用户的输入，核心服务器1根据用户的输入，生成待处理图的任务工作流文件，并将任务工作流文件传输至大数据集群3，其中，任务工作流文件包括待处理图的原始表数据、多个任务节点以及多个任务节点之间的执行顺序，具体可包括如下步骤：

步骤S1051:根据用户输入的数据导入算子，核心服务器1生成数据导入节点；即用户在客户端4的图计算界面上进行操作，拖拉拽数据导入类算子，然后核心服务器1响应于用户的输入，生成数据导入节点。

其中，数据导入类算子包括导入边文件算子和导入点文件算子。

步骤S1052：根据所用户输入的待处理图创建算子，生成待处理图创建节点；即用户在客户端4的图计算界面上进行操作，拖拉拽图创建算子，然后核心服务器1响应于用户的输入，生成图创建节点；

步骤S1053：根据所述用户输入的待处理图的多个算法算子，生成待处理图计算节点；即用户在客户端4的图计算界面上进行操作，拖拉拽图待处理图的多个算法算子，然后核心服务器1响应于用户的输入，生成待处理图计算节点；

其中，待处理图的多个算法算子则主要是用于将用户在客户端输入的算法算子参数拼接为图计算服务器所允许的语句。

步骤S1054：根据用户输入的数据导出算子，生成数据导出节点；即用户在客户端4的图计算界面上进行操作，拖拉拽图数据导出算子，然后核心服务器1响应于用户的输入，生成数据导出算子；

步骤S1055：根据所用户输入的停止待处理图算子，生成停止节点；即用户在客户端4的图计算界面上进行操作，拖拉拽停止待处理图算子，然后核心服务器1响应于用户的输入，生成停止节点，此时，用户已经将该待处理图的全部算法算子拖拉拽完毕，即待处理图的全部算法算子已经准备就绪；

步骤S1056：根据用户输入的所述多个算法算子之间的连接关系，生成算法算子的关系；即用户在客户端4的图计算的界面上进行操作，拖拉拽步骤S1056中已准备就绪的多个算法算子之间的连接关系，例如第一个算法算子与第二个算法算子以及第七个算法算子之间存在连接关系，那么用户在客户端4的图计算的界面上即可操作使得第一个算法算子与第二个算法算子以及第七个算法算子之间存在连接关系，那么核心服务器1则响应于用户的输入，生成多个算子的计算节点，即通过多个算法算子的连接关系可以实施计算该待处理图，从而获取相应的计算数据。

步骤S1057：根据用户输入的预设配置方式，对多个算法算子进行参数配置，生成每个算法算子的参数；即用户在客户端4的图计算界面上进行操作，拖拉拽算子参数配置，然后核心服务器1响应于用户的操作，生成每个算法算子的参数。

例如，在用户拖拉拽某一个算子时，只需要根据算子的参数名指定算子的值即可，例如加载点文件算子的参数说明如下：

用户填值示例如下：

步骤S1058：根据用户输入的提交指令，生成待处理图的任务工作流文件；

即当用户在客户端4的图计算界面上完成上述步骤S1051-步骤S1057的所有操作后，点击“提交任务”，核心服务器1则响应于该“提交任务”的指令，将步骤S1051-步骤S1057中所有执行的操作，生成任务工作流文件，其中任务流工作文件包括：预处理表数据、多个任务节点，其中，多个任务节点包括至少一个第一任务节点和至少一个第二任务节点，其中，至少一个第一任务节点包括：数据导入节点、待处理图计算节点、数据导出节点以及停止节点；至少一个第二任务节点包括：所述待处理图创建节点。

此时，核心服务器1完成了生成的任务工作流文件，虽然核心服务器1在步骤S1058中生成任务工作流，但是当用户在客户端4的图计算界面上进行操作时，核心服务器1后台则对应生成了相应的节点，即步骤S1051-步骤S1057，只是当用户在界面上点击提交任务时，如图3所示，步骤S1051至步骤S1057中所生成的任务节点均统一在了任务工作流文件中，而任务工作流文件包括步骤S1031得到的预处理表数据，以及步骤S1051-步骤S1057得到的多个任务节点。

当核心服务器1完成了任务工作流文件时，将任务工作流文件传输至大数据集群3以及图计算服务器2，而大数据集群3则需要根据任务工作流文件中的至少第一任务节点生成至少一个第一调令，其中，至少一个第一调令包括：数据导入调令、待处理图计算调令、数据导出调令以及停止调令。与此同时，大数据集群3则根据任务工作流文件中的预处理表数据进行计算，生成待处理图的表数据文件，即数据集群在收到任务工作流文件后执行步骤S106，而步骤S106具体包括以下步骤：

步骤S1061：根据数据导入节点，计算预处理表数据中与待处理图的多个算法算子相对应的点数据，以及，与待处理图中的多个算法算子之间连接关系相对应的边数据；

步骤S1062：根据算法算子的参数生成点数据与所述边数据的头文件，并将表数据文教发送至图计算服务器2中；

步骤S1063-步骤S1066：响应于调令，依次发送待数据导入调令、图计算调令、数据导出调令以及停止调令给图计算服务器2。

当用户在客户端4的图计算界面上进行操作时，核心服务器1根据操作形成第一任务节点和第二任务节点，大数据集群3根据第一节点生成第一调令，而图计算服务器2则根据第一任务节点以及第二任务节点启动将各任务节点所对应的算子转化为图计算服务器2所允许的语言，然后向大数据集群3索要第一调令，然后按照第一调令依次执行相应的操作。即图计算服务器2执行的步骤S107具体包括如下步骤：

步骤S1071：

根据所述待处理图创建节点以及所述数据导入调令，创建所述待处理图的原始实例；即当用户在客户端4的图计算界面上拖拉拽待处理图创建算子时，图计算服务器2则将该图创建算子转化为图计算器所允许的语言，并请求大数据集群3发送“数据导入调令”，然后当接收到大数据集群3发送的“数据导入调令”时，图计算服务器2则创建待处理图的原始实例，并修改待处理图的原始实例的配置文件，生成待处理图的实例。

步骤S1072：根据待处理图计算调令，根据待处理图的实例，对表数据文件、待处理图的多个算法算子以及每个算法算子的参数、多个算法算子的连接关系，进行计算，生成所述待处理图的结构化数据；即当用户在客户端4的图计算界面上拖拉拽待处理图的多个算法算子时，图计算服务器2则将多个图算法算子转化为图计算器所允许的语言，并请求大数据集群3发送“图计算调令”，然后当接收到大数据集群3发送的“图计算调令”时，图计算服务器2则根据步骤S1071中获取到的待处理图的实例，进行计算，生成待处理图的结构化数据。即用户可以在客户端4的图计算界面可以查询到待处理图的结构化数据，即待处理图的结构。

步骤S1073：根据数据导出调令，依据多个算法算子的参数，将结构化数据导出至大数据集群3中，功用户查询或者其他业务使用。即当用户在客户端4的图计算界面上拖拉拽数据导出算子时，图计算服务器2将数据导出算子转化为图计算所允许的语言，并请求大数据集群3发送“数据导出调令”，当收到大数据集群3发送的“数据导出调令”时，图计算服务器2依据算法算子的参数，将结构化数据导出至大数据集群3中，此时，大数据集群3将结构化数据进行转化为表数据，用户即可在客户端4的图计算界面上查看待处理图的表数据，供用户查询或者其他业务使用。

可选的，步骤S1073具体包括：判断算法算子的参数与实例中的配置参数是否一致；当算法算子的参数与实例中的配置参数不一致时，修改算法算子的参数。

步骤S1074：根据停止调令，停止计算待处理图的算法算子的拖拉拽，并停止对待处理的计算。即当用户将待处理图的所有算子执行成功之后，即获取到该爱处理图的结构图以及表数据后，当前的待处理图已经不再使用时，将该待处理图停止并删除该待处理图的实例，能够释放更多的资源。

在本发明另一实施例中，如图4所示，可视化的图计算系统还包括验证服务器6，其中验证服务器6用于根据用户的用户名以及密码验证所述用户名和密码是否正确；根据用户名查询与用户名对应的密码。基于该可视化的图计算系统，该可视化的图计算方法还包括：

步骤S100：根据用户输入的用户名和密码，生成第一验证信息，第一验证信息表示请求验证所述用户名和密码是否正确；

当收到第二验证信息时，生成第一签名，第一签名用于提示所述用户的用户名和密码正确，用户方成功登录客户端4的图计算界面，即执行步骤S101。

并且在图计算服务器2在根据图创建调令时，步骤S1071中，图计算服务器2根据待处理图创建调令，创建待处理图的原始实例后，图计算服务器2获取当前用户的用户名，当验证服务器6获取用户的用户名后，并根据用户名生成第三验证信息，第三验证信息表示请求获取用户名的密码，并将第三验证信息发送至验证服务器6，请求验证服务器6给与该用户名的密码，当图计算服务器2收到验证服务器6发送的该用户名的密码后，将该用户名以及密码输入图计算服务器2中，进行验证，当验证通过时，用户才可以修改原始实例的配置文件。本发明实施例提供的可视化的图计算方法，由于将用户名和密码写入图计算服务器2中的实例的配置文件中那么当用户启动图计算服务器2时，当用户访问自己创建的图计算实例时，便可以与可视化图计算的核心服务器1的用户名和密码一致，实现了整套应用系统的用户统一认证。

可选的，验证服务器6为LDAP服务器。

作为本发明的另一面，本发明一实施例提供了一种可视化的图计算系统，包括：

可视化图计算平台，用于根据用户的第一输入，获取待处理图的原始表数据，并根据所述用户的第二输入，生成待处理图的任务工作流文件，所述任务工作流文件包括所述原始表数据、多个任务节点，其中所述多个任务节点包括至少一个第一任务节点以及至少一个第二任务节点；

大数据集群3，用于存储图的原始表数据，用于存储图的原始表数据，根据所述至少一个第一任务节点生成执行所述第一任务节点的至少一个第一调令，并对所述原始表数据进行计算，生成表数据文件；将所述待处理图的结构化数据转化为所述待处理图的表数据；

图计算服务器2，用于存储图的原始结构化数据，根据所述至少一个第一调令以及所述至少一个第二任务节点，生成待处理图实例，并根据所述待处理图实例对所述表数据文件进行计算，生成所述待处理图的结构化数据。本发明实施例提供的一种可视化的图计算系统，包括可视化图计算平台，大数据集群3以及图计算服务器2，其中，所述大数据集群3中存储有图的原始表数据，所述图计算服务器2中存储有图的原始结构化数据；用户通过在可视化图计算平台上选择图的算子、算子之间的连接关系以及对算子的参数进行配置，大数据集群3即可根据图的算子以及参数生成图的表数据文件，而图计算服务器2则根据图的算子、算子之间的连接关系以及算子的配置参数，构建图实例，然后图计算服务器2根据大数据集群3中的表数据文件进行图计算，生成图的结构数据，然后大数据集群3再将图的结构数据转化为图的表数据，用户只能在图计算服务器2上得到图的结构以及图的结构数据，在大数据集群3中得到图的表数据，整个过程中，无需用户下载图的表数据再导入图计算服务器2中，且整个图计算过程中，无论是图的什么类型的数据均是在后端的图计算服务器2以及大数据集群3之间传输，用户均不可见任何数据，提高了数据的安全性；除此之外，用户在进行图计算时，用户的主要精力只需要放在图的逻辑上，通过一个个算子构成图的工作流，大大降低了用户对图计算中的专业知识点的学习成本，提高了图计算的效率。

在本发明一实施例中，如图5所示，图计算服务器2包括Neo4j服务器，Neo4j服务器是一个高性能的NOSQL图形数据库，它将结构化数据存储在网络上而不是表中。它是一个嵌入式的、基于磁盘的、具备完全的事务特性的Java持久化引擎，但是它将结构化数据存储在网络(从数学角度叫做图)上而不是表中。Neo4j也可以被看作是一个高性能的图引擎，该引擎具有成熟数据库的所有特性。本发明采用Neo4j作为图数据库，可以使得对于不同用户或者不同的业务场景，只需新建一个Neo4j实例，分配不同的端口，便可以实现图的数据隔离；Neo4j服务器通过Cypher语句进行一系列的图操作，语法灵活，参数易于配置，可以实现多种操作算子；Neo4j服务器可以通过Neo4j Brower可以查看图中的节点和边的情况，便于分析。

在本发明一实施例中，如图5所示。大数据集群3采用CDH作为大数据框架，CDH是Cloudera的100％开源平台发行版，包括Apache Hadoop，专为满足企业需求而构建。通过将Hadoop与十几个其他关键的开源项目集成，Cloudera创建了一个功能先进的系统，可帮助用户执行端到端的大数据工作流程。本发明采用CDH作为大数据框架，CDH基于稳定版Apache Hadoop，并修复了最新出现的Bug；CDH安装和升级方便；CDH支持丰富的组件。

可选的，本发明实施例中的大数据集群3的CDH包括以下组件：HDFS、Hive、Oozie和Spark等。

其中，HDFS是一个分布式文件存储系统,可以将大量的大文件进行存储,它和其他的分布式文件系统的主要区别是它是一个高容错的系统,适合部署在廉价的机器上,并且hdfs能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。即HDFS可以将图计算服务器2发送至大数据集群3中的结构化数据进行转化，将结构化的数据转化为表数据。

Hive是基于Hadoop的一个数据仓库工具，用来进行数据提取、转化、加载，这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。Hive数据仓库工具能将结构化的数据文件映射为一张数据库表，并提供SQL查询功能，能将SQL语句转变成MapReduce任务来执行。即Hive可以将HDFS转化后的表格数据，即HDFS将结构化的数据转化为表数据之后，可以将待处理图的表格数据存储在Hive中。

Oozie是一个基于工作流引擎的开源框架，由Cloudera公司贡献给Apache的，用在一个工作流内以一个特定顺序运行一组工作或流程。在集群中负责按照业务逻辑的顺序定时调度任务。即Oozie可以根据核心服务器1发送的任务节点转化为调令，并将调令发送至图计算服务器2中，即执行步骤S1061-步骤S1065，具体执行步骤如前述所述，再次不再做赘述。

Spark是专为大规模数据处理而设计的快速通用的计算引擎。Spark可以根据调令进行图计算。

示例性电子设备

作为本发明的第三方面，本发明实施例还提供了一种电子设备，包括一个或多个处理器和存储器。

处理器可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备中的其他组件以执行期望的功能。

存储器可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器可以运行上述所述程序指令，以实现上文所述的本申请的各个实施例的自有资金超额预测以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如输入信号、信号分量、噪声分量等各种内容。

示例性计算机程序产品和计算机可读存储介质

除了上述方法和设备以外，本申请的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请所述的实施例的可视化图的计算方法的步骤。

所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本申请实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。

此外，本申请的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的可视化图的计算方法的步骤。

所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的装置、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

以上结合具体实施例描述了本申请的基本原理，但是，需要指出的是，在本申请中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本申请为必须采用上述具体的细节来实现。

本申请中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。

还需要指出的是，在本申请的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。

提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此，本申请不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (12)

1.一种可视化的图计算方法，其特征在于，所述方法应用于可视化的图计算系统，所述可视化的图计算系统包括可视化图计算平台，大数据集群以及图计算服务器，其中，所述大数据集群中存储有图的原始表数据，所述图计算服务器中存储有图的原始结构化数据；所述可视化的图计算方法包括：

根据用户的第一输入，获取待处理图的原始表数据；

根据所述用户的第二输入，生成待处理图的任务工作流文件，所述任务工作流文件包括所述原始表数据、多个任务节点，其中所述多个任务节点包括至少一个第一任务节点以及至少一个第二任务节点；

根据所述至少一个第一任务节点生成执行所述第一任务节点的至少一个第一调令，并对所述原始表数据进行计算，生成表数据文件；

根据所述至少一个第一调令以及所述至少一个第二任务节点，生成待处理图实例，并根据所述待处理图实例对所述表数据文件进行计算，生成所述待处理图的结构化数据；以及

将所述待处理图的结构化数据转化为所述待处理图的表数据。

2.根据权利要求1所述的可视化的图计算方法，其特征在于，在所述获取待处理图的原始表数据之后，且在根据用户的第二输入指令，生成待处理图的任务工作流文件之前，所述可视化的图计算方法还包括：

对所述原始表数据进行预处理，获取所述待处理图的预处理表数据；

根据所述至少一个第一任务节点生成执行所述第一任务节点的至少一个第一调令，并对所述原始表数据进行计算，生成表数据文件，包括：

根据所述至少一个第一任务节点生成执行所述第一任务节点的至少一个第一调令，对所述预处理表数据进行计算，生成表数据文件。

3.根据权利要求2所述的可视化的图计算方法，其特征在于，

根据所述用户的第二输入，生成待处理图的任务工作流文件，包括：

根据所述用户输入的数据导入算子，生成数据导入节点；

根据所述用户输入的所述待处理图创建算子，生成待处理图创建节点；

根据所述用户输入的待处理图的多个算法算子，生成待处理图计算节点；

根据所述用户输入的数据导出算子，生成数据导出节点；

根据所述用户输入的停止所述待处理图算子指令，生成停止节点；

根据所述用户输入的所述多个算法算子之间的连接关系，生成所述多个算法算子之间的关系；

根据所述用户输入的预设配置方式，对所述多个算法算子进行参数配置，生成每个所述算法算子的参数；以及

根据所述用户输入的提交指令，生成所述待处理图的任务工作流文件；

其中，所述至少一个第一任务节点包括：所述数据导入节点、待处理图计算节点、所述数据导出节点以及所述停止节点；

所述至少一个第二任务节点包括：所述待处理图创建节点。

4.根据权利要求3所述的可视化的图计算方法，其特征在于，根据所述至少一个第一任务节点生成执行所述第一任务节点的至少一个第一调令，对所述预处理表数据进行计算，生成表数据文件，包括：

根据所述数据导入节点、待处理图计算节点、所述数据导出节点以及所述停止节点，生成数据导入调令、图计算调令、数据导出调令以及停止调令；

对所述预处理表数据进行计算，生成表数据文件。

5.根据权利要求4所述的可视化的图计算方法，其特征在于，对所述预处理表数据进行计算，生成表数据文件，包括：

根据所述数据导入调令，计算所述预处理表数据中与所述待处理图的多个算法算子相对应的点数据，以及，与所述待处理图中的多个算法算子之间连接关系相对应的边数据；

根据所述算法算子的参数生成所述点数据与所述边数据的头文件；

其中，所述表数据文件包括：多个点数据、多个边数据以及头文件。

6.根据权利要求5所述的可视化的图计算方法，其特征在于，

根据所述至少一个第一调令以及所述至少一个第二任务节点，生成待处理图实例，并根据所述待处理图实例对所述表数据文件进行计算，生成所述待处理图的结构化数据，包括：

根据所述待处理图创建节点以及所述数据导入调令，创建所述待处理图的原始实例；

修改所述待处理图的原始实例的配置文件，生成待处理图的实例；

根据所述图计算调令，根据所述待处理图的实例，对所述表数据文件、所述待处理图的多个算法算子以及每个所述算法算子的参数、所述多个算法算子的连接关系，进行计算，生成所述待处理图的结构化数据；

根据所述数据导出调令，将所述待处理图的结构化数据导出。

7.根据权利要求6所述的可视化的图计算方法，其特征在于，在根据所述数据导出调令，将所述待处理图的结构化数据导出之前，根据所述至少一个第一调令以及所述至少一个第二任务节点，生成待处理图实例，并根据所述待处理图实例对所述表数据文件进行计算，生成所述待处理图的结构化数据，还包括：

判断所述算法算子的参数与所述实例中的配置参数是否一致；

当所述算法算子的参数与所述实例中的配置参数不一致时，修改所述算法算子的参数。

8.根据权利要求6所述的可视化的图计算方法，其特征在于，

在所述获取待处理图的原始表数据之前，所述可视化的图计算方法还包括：

根据所述用户输入的用户名和密码，生成第一验证信息，所述第一验证信息表示请求验证所述用户名和密码是否正确；

当收到第二验证信息时，生成第一签名，所述第一签名用于提示所述用户的用户名和密码正确，并根据所述用户的输入，获取待处理图的原始表数据，其中所述第二验证信息表示所述用户名和所述密码正确；

修改所述待处理图的原始实例的配置文件，生成待处理图的实例，包括：

获取所述用户的用户名，并根据所述用户名生成第三验证信息，所述第三验证信息表示请求获取所述用户名的密码；

根据所述用户输入的用户名以及所述用户名的密码，生成第四验证信息，所述第四验证信息表示请求验证所述用户名和所述密码是否正确；

当收到第五验证信息时，修改所述待处理图的原始实例的配置文件，生成待处理图的实例，其中所述第五验证信息表示所述用户名和所述密码正确。

9.一种可视化的图计算系统，其特征在于，包括：

可视化图计算平台，用于根据用户的第一输入，获取待处理图的原始表数据，并根据所述用户的第二输入，生成待处理图的任务工作流文件，所述任务工作流文件包括所述原始表数据、多个任务节点，其中所述多个任务节点包括至少一个第一任务节点以及至少一个第二任务节点；

大数据集群，用于存储图的原始表数据，根据所述至少一个第一任务节点生成执行所述第一任务节点的至少一个第一调令，并对所述原始表数据进行计算，生成表数据文件；

图计算服务器，用于存储图的原始结构化数据，根据所述至少一个第一调令以及所述至少一个第二任务节点，生成待处理图实例，并根据所述待处理图实例对所述表数据文件进行计算，生成所述待处理图的结构化数据；

其中，所述大数据集群还用于将所述待处理图的结构化数据转化为所述待处理图的表数据。

10.根据权利要求9所述的可视化的图计算系统，其特征在于，还包括：

验证服务器，所述验证服务器用于根据所述用户的用户名以及密码验证所述用户名和所述密码是否正确；根据所述用户名查询与所述用户名对应的密码。

11.一种计算机可读存储介质，其特征在于，包括：

存储介质；所述存储介质存储有计算机程序，

其中，所述计算机程序用于执行上述权利要求1-8任一所述的可视化的图计算方法。

12.一种电子设备，其特征在于，所述电子设备包括：

处理器；

用于存储所述处理器可执行指令的存储器；

其中，所述处理器，用于执行上述权利要求1-8任一所述的可视化的图计算方法。

Images