CN112749194A - 可视化的数据处理方法、装置、电子设备及可读存储介质 - Google Patents

Abstract

本申请实施例提供了一种可视化的数据处理方法、装置、电子设备及可读存储介质。该方法包括获取业务数据处理模型，其中，业务数据处理模型中包括用户选择的源数据、算子、以及源数据和算子对应的拓扑关系；将业务数据处理模型转化为查询语句；基于查询语句在数据库中查询对应的数据，并将算子转换为可执行的数据库操作代码；通过执行可执行的数据库操作代码对数据进行相应的操作，得到业务数据处理模型对应的数据处理结果，并将数据处理结果发送给客户端，以通过客户端显示给用户。在本申请实施例中，通过可视化的方式快速搭建业务数据处理模型，可自定义构建业务数据处理模型得到数据处理结果，不需要关心代码实现。

Description

可视化的数据处理方法、装置、电子设备及可读存储介质

技术领域

本申请涉及计算机技术领域，具体而言，本申请涉及一种可视化的数据处理方法、装置、电子设备及可读存储介质。

背景技术

现有技术方案中在实现业务逻辑计算时主要通过编写来实现代码，通常需要开发人员先对业务场景描述转换为代码逻辑，然后编写相应的应用代码，再通过代码编译运行实现应用。

但是，在这个过程中主要由开发人员主导业务逻辑的技术转换工作，由于不同的业务逻辑是由不同的开发人员编写代码实现，因此实现的算法各有不同，此时对代码运算结果进行调试将会比较困难，并且在需要复用某个业务模型时需要从底层代码对配置参数进行调整，需要花费大量时间研读代码分辨需要修改哪个部分的参数，造成业务模型复用能力较低。

发明内容

本申请的目的旨在至少能解决上述的技术缺陷之一。

第一方面，本申请实施例提供了可视化的数据处理方法，该方法包括：

获取业务数据处理模型，其中，业务数据处理模型中包括用户选择的源数据、算子、以及源数据和算子对应的拓扑关系；

将业务数据处理模型转化为查询语句；

基于查询语句在数据库中查询对应的数据，并将算子转换为可执行的数据库操作代码；

通过执行可执行的数据库操作代码对数据进行相应的操作，得到业务数据处理模型对应的数据处理结果，并将数据处理结果发送给客户端，以通过客户端显示给用户。

第二方面，本申请实施例提供了一种可视化的数据处理装置，该装置包括：

信息获取模块，用于获取业务数据处理模型，其中，业务数据处理模型中包括用户选择的源数据、算子、以及源数据和算子对应的拓扑关系；

语句转换模块，用于将业务数据处理模型转化为查询语句；

代码转换模块，用于基于查询语句在数据库中查询对应的数据，并将算子转换为可执行的数据库操作代码；

数据执行模块，用于通过执行可执行的数据库操作代码对数据进行相应的操作，得到业务数据处理模型对应的数据处理结果，并将数据处理结果发送给客户端，以通过客户端显示给用户。

第三方面，本申请实施例提供了一种电子设备，包括处理器以及存储器：存储器被配置用于存储计算机程序，计算机程序在由处理器执行时，使得处理器执行第一方面中的方法。

第四方面，本申请实施例提供了一种计算机可读存储介质，计算机可读存储介质用于存储计算机程序，当计算机程序在计算机上运行时，使得计算机可以执行上述第一方面中的方法。

本申请实施例提供的技术方案带来的有益效果是：

在本申请实施例中，由于可以将获取的业务数据处理模型转化为查询语句在数据库中查询对应的数据，并将算子转换为执行的数据库操作代码，然后基于可执行的数据库操作代码进行相应的操作，得到该业务数据处理模型对应的数据处理结果。在此过程中，业务人员可通过可视化的方式快速搭建业务数据处理模型，按照自己的研判思路，通过加载数据库中的数据，自定义构建业务数据处理模型得到数据处理结果，在此过程中不需要关心代码实现，并且当业务逻辑变更时即可以根据显示的数据处理结果，对业务数据处理模型进行快速调整，提升了业务应变能力。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对本申请实施例描述中所需要使用的附图作简单地介绍。

图1为本申请实施例提供的一种可视化的数据处理方法的流程示意图；

图2本申请实施例提供的一种创建业务数据处理模型的显示界面的示意图；

图3本申请实施例提供的一种业务数据处理模型发布界面的示意图；

图4本申请实施例提供的一种模型市场的显示界面示意图；

图5本申请实施例提供的一种子目录的显示界面示意图；

图6本申请实施例提供的一种系统结构的示意图；

图7为本申请实施例提供的一种可视化的数据处理装置的结构示意图；

图8为本申请实施例提供的一种电子设备的结构示意图。

具体实施方式

下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本申请，而不能解释为对本申请的限制。

本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本申请的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。

下面以具体地实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本申请的实施例进行描述。

随着人工智能技术研究和进步，人工智能技术在多个领域展开研究和应用，例如常见的智能家居、智能穿戴设备、虚拟助理、智能音箱、智能营销、无人驾驶、自动驾驶、无人机、机器人、智能医疗、智能客服等，相信随着技术的发展，人工智能技术将在更多的领域得到应用，并发挥越来越重要的价值。

人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。

图1示出了本申请实施例中所提供的一种可视化的数据处理方法的流程示意图，该方法可以由存在通信连接的终端设备与服务器进行交互以执行本申请实施例所提供的方法，如终端设备在获取到用户选择的源数据、算子、以及源数据和算子对应的拓扑关系后，将该选择的源数据、算子、以及源数据和算子对应的拓扑关系发送给服务器，由服务器基于本申请实施例所提供的方法确定出业务数据处理模型对应的数据处理结果，并将业务数据处理模型对应的数据处理结果发送给终端设备，由终端设备展示给用户。其中，服务器包括但不限于物理服务器、云端服务器、或者服务器集群等。

如图1所示，本申请实施例中所提供的该方法可以包括：

步骤S101，获取业务数据处理模型，其中，业务数据处理模型中包括用户选择的源数据、算子、以及源数据和算子对应的拓扑关系。

其中，业务数据处理模型用于表达复杂的业务流程，其可以让使用者知道数据在不同计算环节的流转过程。源数据指的是业务数据处理模型中所需要用到的数据，拓扑关系指的是数据与算子之间的关系，或者算子与算子之间的关系。例如，假设需要对源数据1执行过滤操作，此时源数据1与执行过滤操作的过滤算子即存在拓扑关系。

步骤S102，将业务数据处理模型转化为查询语句。

其中，查询语句指的是在数据库中用于查询数据的语句，可选的，该查询语句可以为SQL(Structured Query Language，结构化查询语言)查询语句。

在本申请可选的实施例中，将业务数据处理模型转化为查询语句，包括：

获取算子对应的第一查询语句；

获取拓扑关系对应的第二查询语句；

基于第一查询语句和第二查询语句，得到业务数据处理模型对应的查询语句。

可选的，在将业务数据处理模型转化为查询语句时，可以根据业务数据处理模型所包括的信息类别转化为多个查询语句，然后根据多个查询语句，得到该业务数据处理模型最终对应的查询语句。如可以获取业务数据处理模型所包括的算子对应的第一查询语句、以及获取业务数据处理模型所包括的拓扑关系对应的第二查询语句，然后将第一查询语句和第二查询语句进行组合，得到该业务数据处理模型对应的查询语句。

步骤S103，基于查询语句在数据库中查询对应的数据，并将算子转换为可执行的数据库操作代码。

在实际应用中，可以配置数据库，该数据库中包括了业务数据处理模型中所需要的数据，该数据库可以通过识别该查询语句来确定业务数据处理模型对应的数据；可执行的数据库操作代码指的是可以运行业务数据处理模型对应的数据的代码。

步骤S104，通过执行可执行的数据库操作代码对数据进行相应的操作，得到业务数据处理模型对应的数据处理结果，并将数据处理结果发送给客户端，以通过客户端显示给用户。

可选的，当通过查询语句在数据库中查询到业务数据处理模型对应的数据，以及将业务数据处理模型中包括的算子转换为可执行的数据库操作代码后，可以运行该可执行的数据库操作代码，即将对应的数据基于业务数据处理模型所包含的计算流程进行流转，得到对应的数据处理结果。可选的，还可以将得到的数据处理结果发送给客户端，客户端在接收到该数据结果后将得到的数据处理结果显示给用户，以方便用户知晓业务数据处理模型的数据处理结果。

在实际应用中，为了方便用户知晓业务数据处理模型所包括的源数据、算子、以及源数据和算子对应的拓扑关系，也可以在客户端将业务数据处理模型所包括的源数据、算子、以及源数据和算子对应的拓扑关系显示给用户，如可以将模型创建界面中的特定区域作为画布，在该画布中显示业务数据处理模型。

在本申请实施例中，由于可以将获取的业务数据处理模型转化为查询语句在数据库中查询对应的数据，并将算子转换为执行的数据库操作代码，然后基于可执行的数据库操作代码进行相应的操作，得到该业务数据处理模型对应的数据处理结果。在此过程中，业务人员可通过可视化的方式快速搭建业务数据处理模型，按照自己的研判思路，通过加载数据库中的数据，自定义构建业务数据处理模型得到数据处理结果，在此过程中不需要关心代码实现，并且当业务逻辑变更时即可以根据显示的数据处理结果，对业务数据处理模型进行快速调整，提升了业务应变能力。

在本申请可选的实施例中，业务数据处理模型是通过以下任一方式得到的：

通过客户端的模型创建界面接收用户的模型选择操作；

将模型选择操作所对应的已创建的业务数据处理模型显示给用户；

基于已创建的业务数据处理模型，得到业务数据处理模型；

或者，

通过客户端的模型创建界面接收用户选择的模型创建信息，模型创建信息包括源数据、算子、以及拓扑关系；

基于模型创建信息得到业务数据处理模型。

在实际应用中，用户可以通过多种方式确定业务数据处理模型，如用户可以基于已创建的业务数据处理模型得到新的业务数据处理模型，此时可以在客户端显示模型创建界面，基于该模型创建界面用户可以触发模型选择操作，该模型选择操作中包括用户选择的已创建的业务数据处理模型，然后可以将用户选择的已创建的业务数据处理模型显示给用户，如显示在画布中。

其中，用户触发模型选择操作的方式，本申请实施例不限定。例如，可以在模型创建界面内设置用户触发模型选择触发操作的虚拟按钮，当用户点击该按钮时，可以显示业务数据处理模型的选择界面，该选择界面中包括已创建的数据模型的标识(如名称等)，以便用户知晓存在哪些已创建的业务数据处理模型；相应的，用户可以基于业务数据处理模型的选择界面触发模型选择操作，该模型选择操作中包括用户选择的已创建的业务数据处理模型，此时可以将用户选择的已创建的业务数据处理模型显示在模型创建界面内的画布中。

其中，在模型创建界面内显示已创建的业务数据处理模型的方式可以预先配置，本申请实施例不限定。如可以在模型创建界面的画布中将用户选择的已创建的业务数据处理模型所包括的源数据、算子以及源数据和算子对应的拓扑关系均显示，或者将包括的源数据、算子以列表的形式显示，以便用户知晓已创建的业务数据处理模型所包括的内容；相应的，用户可以基于所显示的该已创建的业务数据处理模型的具体内容，以及实际的业务需求对该已创建的业务数据处理模型进行修改以适应自己的业务需求，得到本次新创建的业务数据处理模型，实现对已创建的业务数据处理模型的复用。

可选的，在实际应用中用户还可以基于客户端所显示的模型创建界面逐一选择创建业务数据模型具体所包括的源数据、算子、以及拓扑关系，并基于用户所选择的源数据、算子、以及拓扑关系得到业务数据处理模型。

其中，接收用户选择的模型创建信息的方式可以预先配置，本申请示例不限定。可选的，可以在模型创建界面显示有选择模型创建信息类别的选项，如可以显示有“数据”和“算子”两个选项，当用户选择“数据”选项时，可以显示源数据选择界面，该选择界面中包括可选择的源数据的标识，以便用户知晓选择哪些源数据；相应的，用户可以基于源数据选择界面触发源数据选择指令，该源数据选择指令中包括用户选择的源数据，然后将用户选择的源数据显示在画布中；可选的，当用户选择有“算子”选项时，可以在模型创建界面内显示算子选择界面，该算子选择界面中包括可选择的算子的标识，以便用户知晓选择哪些算子，此时，用户可以基于算子选择界面触发算子选择指令，该算子选择指令中包括用户选择的算子，然后将用户选择的算子显示在画布中。其中，算子选择指令和源数据选择指令的触发方式、以及选择源数据和选择算子的执行顺序可以预先配置，本申请实施例不限定。例如，可以通过拖拽的方式作为触发算子选择指令和源数据选择指令的方式。

其中，用户可选择的源数据支持基于多种类型的数据库载入的数据，如支持Oracle(一种关系数据库管理系统)、MySQL(关系型数据库管理系统)、Greenplum(一种数据库)和PostgerSQL(对象关系型数据库管理系统)等类型的数据库载入的数据；用户可选择的算子包括单表算子、多表算子、AI算子、文件算子等；其中，单表算子具体可以包括：

过滤算子：可对上传的数据表中进行条件过滤，通过配置约束条件，算子会筛选出符合表达式的记录。

频次算子：可对上传的数据表中某字段进行频次统计或通过分组进行频次统计。

去重算子：可针对数据表中特定字段进行去重过滤，减少数据冗余，从而确保记录的唯一性。

聚合算子：依据不同时间为单位，对数据表的记录进行聚合统计，提供年、月、周、时、分的统计维度。

其中，多表算子具体可以包括：

碰撞算子：可选取多表中的若干个字段为依据，通过碰撞多表，过滤出两个表中相同的记录。

合并算子：将两张结构相同的数据表进行记录的追加与合并，可选择追加表的先后顺序。

关联算子：通过确定两张表中若干字段，将两张表进行横向关联，合并成一张结果表。

求差算子：可选取多表中的若干个共有字段，在一张数据表中找出其他不相同的记录。

其中，AI算子具体可以包括：

文本分词算子：可将上传的文本文件，依据引擎已有分词库进行结构化切分，输出易于理解的结构化信息。

人脸识别算子：可通过输入单个/多张人像，算子自动识别性别、年龄等特征属性，输出人脸特征表；此外，人脸识别算子可实现1:N的人像检索，通过输入未知身份人像，在特定人像库中进行检索，用户可自行设定输入相似度阈值以及返回的TOP N值；用户也可手动上传关联数据表，从而获得该人像更多信息。

车辆识别算子：可实现未知车辆的，识别车辆颜色、车型等属性特征，输出属性特征表。

语音识别算子：可将上传的音频文件，利用识别算子将语音转换文字，并输出相对应的结果表。

文字识别算子：可对上传的单张/多张照片，利用OCR(Optical CharacterRecognition，光学字符识别)文字识别技术，输出照片中携带的文字信息。

其中，读写算子具体可以包括：

写入文件算子：可将需要录入的数据，按照一定的格式写入到若干个文件。

写入新表算子：可将需要录入的数据，按照一定的格式写入到若干个数据表。

追加到表：可将需要录入的数据，按一定格式追加与合并到指定的数据表。

可选的，当用户选择源数据和算子后，可以触发拓扑关系确定指令，该拓扑关系确定指令中包括存在拓扑关系的数据和/或算子的标识，然后将存在拓扑关系的数据和/或算子之间建立拓扑关系。其中，触发拓扑关系确定指令的方式可以预先配置，本申请实施例不限定。例如，用户可以点击用于触发拓扑关系确定触发指令的虚拟按钮，然后依次点击存在拓扑关系的数据和/或算子，当用户点击用于表示完成选择的虚拟按钮后，即视为触发了拓扑关系确定指令。

其中，为了方便用户知晓模型创建信息中源数据和算子对应的拓扑关系，可以在画布中显示源数据和算子时，将对应的拓扑关系一并显示在画布中。例如，可以通过箭头的方式表征存在拓扑关系，当两个信息(数据和/或算子)之间存在箭头时，即表征该两个信息(数据和/或算子)在存拓扑关系，箭头的方向为两个信息(数据和/或算子)之间的输入方向，如信息A和信息B之间存在箭头、且箭头的方向从信息A指向信息B，此时即表示将信息A(或基于信息A得到的结果)输入信息B。

在本申请可选的实施例中，基于已创建的业务数据处理模型，得到业务数据处理模型，包括：

在接收到用户的模型执行操作时，将已创建的业务数据处理模型确定为业务数据处理模型；或者，

接收到用户针对已创建的业务数据处理模型的编辑操作，基于编辑操作对已创建的业务数据处理模型进行相应的处理，将处理后的已创建的业务数据处理模型确定为业务数据处理模型。

在实际应用中，在将已创建的业务数据处理模型显示给用户后，若已创建的业务数据处理模型中所包括的源数据、算子及拓扑关系符合用户的实际业务需求，此时用户可以触发模型执行操作，该模型执行操作表征了用户想将直接将该已创建的业务数据处理模型作为本次新创建的业务数据处理模型；相应的，在接收到该模型执行操作后，则可以直接将该已创建的业务数据处理模型确定为本次新创建的业务数据处理模型。

在实际应用中，在用户复用已创建的业务数据处理模型时，已创建的业务数据处理模型中所包括的数据和/或算子、拓扑关系等可能与实际的业务需求存在偏差，此时用户可以触发针对该已创建的业务数据处理模型的编辑操作，并将基于编辑操作对该已创建的业务数据处理模型进行相应处理后的已创建的业务数据处理模型确定为业务数据处理模型。

其中，对已创建的业务数据处理模型的编辑操作包括但不限于对已创建的业务数据处理模型中的源数据和/或算子进行的替换或删除操作、对算子的配置参数的修改操作、以及对源数据和算子对应的拓扑关系的修改操作等。例如，在接收到用户针对已创建的业务数据处理模型中某个源数据的替换操作时，此时可以对该已创建的业务数据处理模型中的该源数据替换为符合用户业务实际需求的源数据，并将替换源数据后的已创建的业务数据处理模型确定为业务数据处理模型。

在本申请可选的实施例中，通过客户端的模型创建界面接收用户选择的模型创建信息之后，还包括：

若接收到用户针对算子的参数配置操作，则显示算子的参数配置界面；

通过参数配置界面接收用户的参数配置操作；

基于源数据、参数配置后的算子、以及拓扑关系，得到业务数据处理模型。

在实际应用中，用户在通过客户端的模型创建界面选择算子后，某些算子中的参数可能并不符合实际的业务需求，此时用户还可以触发参数配置操作，并基于显示的该算子的参数配置界面触发参数配置操作，得到参数配置后的算子，此时的业务数据处理模型则是基于源数据、参数配置后的算子、以及拓扑关系组成的。

其中，触发参数配置操作的方式可以预先配置，本申请实施例不限定。例如，当用户点击显示在画中所显示的某一个算子时即视为触发了参数配置操作，此时用户点击的算子即为需要修改参数配置的算子；相应的，在接收到参数配置操作后，可以显示包含该算子的配置参数的参数配置界面，用户基于该参数配置界面对目标该算子的配置参数进行修改。

在本申请可选的实施例中，该方法还包括：

接收针对模型创建界面的大小调整指令；

根据大小调整指令对模型创建界面的尺寸进行调整，以实现对业务数据处理模型的大小进行调整。

在实际应用中，用户还可以触发针对模型创建界面的大小调整指令，当接收到大小调整指令后，根据大小调整指令对模型创建界面的尺寸进行调整；进一步的，由于业务数据处理模型可以显示在模型创建界面(如其所包括的画布)内，当模型创建界面的尺寸改变后，显示在内部的业务数据处理模型自然也会适应模型创建界面的尺寸进行适应调整，达到对可视化模型的大小调整的目的。

其中，触发大小调整指令的方式本申请实施例不限定。例如，可以显示模型创建界面尺寸的输入界面，当尺寸输入完成时即视为触发了大小调整指令；也可以触发大小调整触发指令，然后显示模型创建界面的边界线，用户可以通过调整模型创建界面的边界线对模型创建界面的尺寸进行调整。

在本申请可选的实施例中，该方法还包括：

基于设定周期对源数据信息进行更新，得到更新后的源数据；

基于更新后的源数据对业务数据处理模型对应的数据处理结果进行更新并显示。

在实际应用中，有些类型的源数据更新可能比较快，此时可以基于设定周期对源数据进行更新，得到更新后的源数据；相应的，当某些业务数据处理模型包括该源数据时，可以基于更新后的源数据对该业务数据处理模型对应的数据结果进行更新并显示，以便用户知晓该业务数据处理模型最新的数据结果。

其中，在本申请实施例中，由于可以定期的对源数据进行更新，可以有效的保证源数据的时效性，可以更好的适应于检测对象等实时性要求较高的应用场景。其中，设定周期的具体时长可以预先配置，本申请实施例不限定，如可以将设定周期设置为1星期或1个月等。

在本申请可选的实施例中，得到业务数据处理模型对应的数据处理结果之后，还包括：

获取针对业务数据处理模型的发布请求；

根据发布请求将业务数据处理模型发布。

在实际应用中，得到业务数据处理模型对应的数据结果后，用户还可以触发针对该业务数据处理模型的发布指令，终端设备在接收到发该布指令后，可以向对应的服务器发送针对该业务数据处理模型的发布请求，服务器在接收到发布请求后可以将该业务数据处理模型发布。其中，触发发布指令的方式可以预先配置，本申请实施例不限定。例如，可以设置用于触发发布指令的虚拟按钮，当用户点击该虚拟按钮时，即视为触发了发布指令。

在本申请可选的实施例中，得到业务数据处理模型对应的数据结果之后，还包括：

接收针对该业务数据处理模型的分享指令，分享指令中包括分享用户的标识；

根据分享用户的标识将该业务数据处理模型分享至分享用户。

其中，分享用户指的是需要将业务数据处理模型分享至的用户，如假设用户A想要将业务数据处理模型分享至用户B，此时用户B即为分享用户。

在实际应用中，当得到业务数据处理模型对应的数据结果后，若用户还想要向其他用户分享该业务数据处理模型，此时可以触发接收针对该业务数据处理模型的分享指令；进一步的，可以根据该分享指令中的用户标识确定对应的分享用户，然后将该业务数据处理模型分享至分享用户。其中，触发分享指令的方式可以预先配置，本申请实施例不限定。例如，可以设置用于触发分享触发指令的虚拟按钮，当用户点击该虚拟按钮时，可以显示可选择的分享用户的标识列表，用户基于该标识列表选择分享用户，而当用户选择某一分享用户的标识时，即视为用户触发了分享指令，此时用户选择的该用户标识即为分享用户的标识。

在实际应用中，在对业务数据处理模型进行分享时，还是可以在不同的应用程序之间进行分享，此时分享指令中还可以包括分享应用程序标识，而分享应用程序的标识也可以基于显示的可分享应用程序的标识列表来确定。其中，将业务数据处理模型分享至分享用户和/或分享应用程序的具体形式可以根据需求预先配置，本申请实施例不限定，如可以采用链接的形式将业务数据处理模型分享至分享用户和/或分享应用程序。

在本申请实施例中，用户在绘制业务数据处理模型时，可以提供便捷的模型画布编辑能力，使用户更关注业务逻辑而不是代码上如何实现，并且可按照自己的研判思路，通过加载数据库中的数据，自定义构建业务分析模型流程得到数据结果，在此过程中不需要关心代码实现，并且在发布、分享业务数据处理模型后，可以实现模型的大范围流转，进而提高了模型复用程度。

为了更好的理解本申请实施例所提供的可视化的数据处理方法，下面结合具体的实施例进行详细说明。

在本示例中，提供了一个用于管理业务数据处理模型的应用程序(下文中称之为模型管理中心)，该模型管理中心集成了本申请实施例中所提供的可视化的数据处理方法，下面结果模型管理中心对本申请实施例所提供的可视化的数据处理进行详细说明。

在该模型管理中心中，用户可以创建新的业务数据处理模型。如图2所示，当用户选择创建业务数据处理模型的功能后，可以在该模型管理中心的模型创建界面内显示画布，并在模型创建界面内显示有用于触发显示源数据选择界面的“数据”按钮、以及用于触发显示算子选择界面的“算子”按钮。如当用户点击“算子”按钮时，可以显示如图2中A区域所示的算子选择界面，该算子选择界面中显示有可选择的算子的名称；相应的，用户可以通过拖拽的方式从源数据选择界面选择源数据(图2中以选择名称为“纳税记录表”、“社保缴纳表”和“企业信息表”的三个源数据为例)并显示在画布中，以及通过拖拽的方式从算子选择界面选择算子(图2中以选择两个过滤算子、两个去重算子和一个求差算子为例)并显示在画布中。进一步的，可以建立所选择的源数据和算子之间的拓扑关系，如图2中采用连线的方式表示源数据和算子之间存在拓扑关系，并采用箭头的方式表示信息之间的传输方向，如图2中“纳税记录表”连接过滤算子、且箭头指向过滤算子，此时则表示将“纳税记录表”中的数据输入至过滤算子进行过滤计算。

可选的，该模型管理中心的模型创建界面内还显示有用于触发大小调整指令的虚拟按钮(如图2中B区域所示)，当用户点击“-”的按钮时，可以将模型创建界面内的画布调小，当用户点击“+”的按钮时，则可以将模型创建界面内的画布调大，而为了用户知晓当前模型创建界面内的画布的尺寸，还可以显示有当前模型创建界面内的画布的尺寸信息(如图2中的100％)。

可选的，当用户点击某个选择的算子(如图2中以“求差”和“去重”算子为例)时，即视为触发了针对该算子的参数配置操作，此时可以显示包含该算子的配置参数的参数配置界面，具体图2中的C区域所示，用户可以基于该参数配置界面对该算子的配置参数(如图2中的“输出字段选择”参数等配置参数)进行修改。进一步的，用户可以获取该业务数据处理模型对应数据处理结果，如点击图2中的D所示的按钮，该模型管理中心即可以将所业务数据处理模型转化为查询语句在数据库中查询对应的数据，并将算子转换为可执行的数据库操作代码，然后通过执行可执行的数据库操作代码对数据进行相应的操作，得到该业务数据处理模型对应的数据处理结果，并将数据处理结果显示给用户。

相应的，该模型管理中心还可以包括模型市场，该模型市场中包括可供用户下载、阅览的已创建的业务数据处理模型，当用户创建完业务数据处理模型后，还可以将创建的业务数据处理模型发布至该模型市场中，如可以点击图2中E所示的按钮即可对创建的业务数据处理模型进行发布。其中，在业务数据处理模型发布时，可视化模型的数据处理结果可以直接生成相应的数据服务接入API(Application Programming Interface，应用程序编程接口)网关中，形成模型编辑到服务接口发布的完整流程，从而实现了数据服务的定制化，而用户在将创建的业务数据处理模型发布时，可以填写服务接口地址等信息，如图3所示，可以填写模型的基本信息，如包括模型名称(图3为“科研项目状态报告模型”)、备注(图3为“我创建的模型”)等，设置发布信息，如包括可见范围(图3为“默认全部可见”)、是否可供下载(图3为“是”)、是否可供订阅(图3为“是”)、是否分布成服务(图3为“是”)、服务接口名和图片标识(图3为“是”)等，其中，该图片标识用于标识模型。

相应的，如图4所示，在将业务数据处理模型发布至模型市场后，用户可查看最新发布、热门下载以及综合排序后的业务数据处理模型(图4中以显示最新发布的业务数据处理模型为例)，或者通过关键字检索模型市场中包括的业务数据处理模型(如图4中的“请输入模型名称”区域所示)，例如用户可点击用于触发预览功能的虚拟按钮(图4中未示出)，查看业务数据处理模型，但是此时并不可以对该业务数据处理模型进行编辑，若需复用该业务数据处理模型，可触发下载功能，将业务数据处理模型先下载后再进行编辑。

在本示例中，在用户将其绘制的业务数据处理模型分享到模型市场后，其他业务人员可通过模型市场中加载该模型进行私有化编辑，根据自身的需要进行流程改造，从而实现不同部门之间的流程复用，提高工作效率，实现政务体系的“知识共享、信息共通”。

可选的，在该模型管理中心中，用户还可以根据业务需求对业务数据处理模型进行自由分组管理，如可以创建多个子目录，将业务数据处理模型划分至不同的子目录中，在每个子目录中可以显示已创建的业务数据处理模型的名称、创建时间、状态(即是否发布)和创建人等信息、以及对业务数据处理模型进行快捷操作的触发按钮，如“发布”、“删除”和“编辑”等虚拟按钮，并且各子目录中的业务数据处理模型可以进行移动。如图5所示显示了子目录“我创建的模型”内所包括的业务数据处理模型，其包括了名称为“财政厅收支分析模型”、“申诉原因分析模型”等可视化模型，用户还可以通过关键字检索子目录“我创建的模型”内包括的业务数据处理模型(如图5中的“请输入模型名称”区域所示)。

可选的，在该模型管理中心中，用户还可以根据业务需求触发订阅功能，即设定周期和频率对源数据进行更新，得到更新后的源数据，然后基于更新后的源数据对包括该源数据的业务数据处理模型对应的数据处理结果进行更新并显示给用户。

可选的，本申请实施例还提供了模型管理中心的系统架构的结构示意图，在该示例中用户通过可以浏览器使用模型管理中心并在云端实现数据保存。如图6所示，模型管理中心的系统架构包括WEB UI(Website User Interface，网络产品界面设计)、逻辑层(图6中未示出)和数据库模块(图6中未示出)。

其中，WEB UI(可以基于VUE(渐进式JavaScript框架)框架开发得到，WEB UI包括用于获取各种可选的模型创建信息的数据源管理模块(即图6中的数据源管理)、以及可视化建模画布模块(即图6中的可视化建模画布)；逻辑层可以基于Laravel(一种(PHP(Hypertext Preprocessor)Web Framework，超文本预处理器网页开发框架)开发得到，逻辑层可以包括Meta-encrypt-Layer(数据加密层)、ORM-Layer(Object RelationalMapping-Layer，对象关系映射层)、Rpc-Layer(Remote Procedure Call Protocol-Layer，远程过程调用协议层)、SQL-Template-Layer(sql模板引擎层，通过模板方法解决动态sql)、Graph-Analyze-Layer(图形分析层)、Mustache-Layer(模板引擎层)；数据库模块内包括DB Proxy Server Cluster(DB代理服务器集群)和载入的各种类型的数据库，其中，DBProxy Server Cluster中可以包括Rpc-layer(Remote Procedure Call Protocol，远程过程调用层)、Cache-Layer(高速缓冲存储层)、Thread Workers pool(线程池)和JDBC(JavaDataBase Connectivity java，数据库连接)，载入的数据库类型可以包括Meta DB(元数据库)、LOG DB(一种数据库)、Mysql DB(关系型数据库)、SQL SERVER(SQL类型的一种数据库)、Oracle和PostgreSQL(基础的对象关系型数据库管理系统)。

在实际应用中，WEB UI中的数据源管理模块可以对元数据库中所包括的算子、以及算子的配置参数等信息进行管理(即图6中的元数据服务)。当用户在创建业务数据处理模型时，若用户想要选择模型创建信息中的算子，WEB UI中的可视化建模画布模块可以基于数据源管理模块对应的逻辑层从元数据库中获取各种算子的信息，当用户对某个算子的属性(如名称等)或配置参数修改后，可以进行元数据同步处理(即图6中的元同步)。

进一步的，当用户选择模型创建信息后可以通过http-server(hyper texttransfer protocol-server，超文件传输协定服务)方式传递到逻辑层进行算子建模；具体的，逻辑层进行算子建模，即获取模型创建信息中各算子对应的第一查询语句(即包括图6中的“算子转化为SQL模板”)、拓扑关系对应的第二查询语句(即包括图6中的“构建模型图谱”)，然后基于第一查询语句和第二查询语句，得到业务数据处理模型对应的查询语句(即包括图6中的“模型模板替换为SQL”)发送至数据库模块(即图6中的查询服务)；进一步，数据库模块可以基于业务数据处理模型对应的查询语句在配置的各数据库中查询对应的数据，并将算子转换为可执行的数据库操作代码，然后数据库中的计算引擎通过执行可执行的数据库操作代码对查询到的数据进行相应的操作，得到业务数据处理模型对应的数据处理结果，并将数据处理结果发显示给用户。

可以理解的是，本示例中采用的是B/S(Browser/Server，浏览器-服务器)形式的技术方案，即用户通过浏览器使用该模型管理中心并在云端实现数据保存，在实际应用中，也可以通过C/S(Client/Server，客户端-服务器)或单机程序形式，此时用户可以通过安装模型管理中心的客户端使用该模型管理中心，最终得到的数据结果也可以保存在本地。

在本申请实施例中，可以让业务人员通过可视化方式快速搭建计算流程模型，可广泛运用于各个行业，包括但不限于在公共安全行业，可用于重警情研判和重点人员监控；在能源环保行业，可进行能耗模型分析和环境指标分析监测；在工商税务行业，可对企业风险进行防控以及改善营商环境；对于金融服务行业，可通过数据建模监控高频交易；在交通规划中，可对汇集的海量出行数据进行统计分析和公交线路优化；医疗健康行业中，可收集病人的历史诊断数据进行的病理分析和推荐性诊断；教育培训行业，可利用该平台合理的规划线上课程，并且对学生线下学习行为进行分析；对于数字政府，可通过监控城市运行指标，掌握城市安全态势等，并且也可结合政务服务网运营数据进行建模分析，对流程中各办事服务进行优化，并且可以将业务中的逻辑在数据层面形成可视化模型，当业务逻辑变更时可以快速进行调整，大大提升了业务应变能力。

本申请实施例提供了一种可视化的数据处理装置，如图7所示，该可视化的数据处理装置70可以包括：信息获取模块701、语句转换模块702、代码转换模块703以及数据执行模块704，其中：

信息获取模块701，用于获取业务数据处理模型，其中，业务数据处理模型中包括用户选择的源数据、算子、以及源数据和算子对应的拓扑关系；

语句转换模块702，用于将业务数据处理模型转化为查询语句；

代码转换模块703，用于基于查询语句在数据库中查询对应的数据，并将算子转换为可执行的数据库操作代码；

数据执行模块704，用于通过执行可执行的数据库操作代码对数据进行相应的操作，得到业务数据处理模型对应的数据处理结果，并将数据处理结果发送给客户端，以通过客户端显示给用户。

可选的，业务数据处理模型是信息获取模块通过以下任一方式得到的：

通过客户端的模型创建界面接收用户的模型选择操作；

将模型选择操作所对应的已创建的业务数据处理模型显示给用户；

基于已创建的业务数据处理模型，得到业务数据处理模型；

或者，

通过客户端的模型创建界面接收用户选择的模型创建信息，模型创建信息包括源数据、算子、以及拓扑关系；

基于模型创建信息得到业务数据处理模型。

可选的，信息获取模块在基于已创建的业务数据处理模型，得到业务数据处理模型时：

在接收到用户的模型执行操作时，将已创建的业务数据处理模型确定为业务数据处理模型；或者，

接收到用户针对已创建的业务数据处理模型的编辑操作，基于编辑操作对已创建的业务数据处理模型进行相应的处理，将处理后的已创建的业务数据处理模型确定为业务数据处理模型。

可选的，该装置该包括参数修改模块，具体用于：

在通过客户端的模型创建界面接收用户选择的模型创建信息之后，若接收到用户针对算子的参数配置操作，则显示算子的参数配置界面；

通过参数配置界面接收用户的参数配置操作；

基于源数据、参数配置后的算子、以及拓扑关系，得到业务数据处理模型。

可选的，语句转换模块在将业务数据处理模型转化为查询语句时，具体用于：

获取算子对应的第一查询语句；

获取拓扑关系对应的第二查询语句；

基于第一查询语句和第二查询语句，得到业务数据处理模型对应的查询语句。

可选的，该装置还包括更新模块，具体用于：

基于设定周期对源数据信息进行更新，得到更新后的源数据；

基于更新后的源数据对业务数据处理模型对应的数据处理结果进行更新并显示。

可选的，该装置还包括发布模块，具体用于：

在得到业务数据处理模型对应的数据处理结果之后，获取针对业务数据处理模型的发布请求；

根据发布请求将业务数据处理模型发布。

本申请实施例的可视化的数据处理装置可执行本申请实施例提供的一种可视化的数据处理方法，其实现原理相类似，此处不再赘述。

本申请实施例提供了一种电子设备，如图8所示，图8所示的电子设备2000包括：处理器2001和存储器2003。其中，处理器2001和存储器2003相连，如通过总线2002相连。可选地，电子设备2000还可以包括收发器2004。需要说明的是，实际应用中收发器2004不限于一个，该电子设备2000的结构并不构成对本申请实施例的限定。

其中，处理器2001应用于本申请实施例中，用于实现图7所示的各模块的功能。

处理器2001可以是CPU，通用处理器，DSP，ASIC，FPGA或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框，模块和电路。处理器2001也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，DSP和微处理器的组合等。

总线2002可包括一通路，在上述组件之间传送信息。总线2002可以是PCI总线或EISA总线等。总线2002可以分为地址总线、数据总线、控制总线等。为便于表示，图8中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

存储器2003可以是ROM或可存储静态信息和计算机程序的其他类型的静态存储设备，RAM或者可存储信息和计算机程序的其他类型的动态存储设备，也可以是EEPROM、CD-ROM或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储或以数据结构形式的期望的计算机程序并能够由计算机存取的任何其他介质，但不限于此。

存储器2003用于存储执行本申请方案的应用程序的计算机程序，并由处理器2001来控制执行。处理器2001用于执行存储器2003中存储的应用程序的计算机程序，以实现图7所示实施例提供的可视化的数据处理装置的动作。

本申请实施例提供了一种电子设备，包括处理器以及存储器：存储器被配置用于存储计算机程序，计算机程序在由处理器执行时，使得处理器上述实施例中的任一项方法。

本申请实施例提供了一种计算机可读存储介质，计算机可读存储介质用于存储计算机程序，当计算机程序在计算机上运行时，使得计算机可以执行上述实施例中的任一项方法。

本申请中的一种计算机可读存储介质所涉及的名词及实现原理具体可以参照本申请实施例中的一种可视化的数据处理方法，在此不再赘述。

应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

以上仅是本申请的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。

Claims (10)

1.一种可视化的数据处理方法，其特征在于，包括：

获取业务数据处理模型，其中，所述业务数据处理模型中包括用户选择的源数据、算子、以及所述源数据和所述算子对应的拓扑关系；

将所述业务数据处理模型转化为查询语句；

基于所述查询语句在数据库中查询对应的数据，并将所述算子转换为可执行的数据库操作代码；

通过执行所述可执行的数据库操作代码对所述数据进行相应的操作，得到所述业务数据处理模型对应的数据处理结果，并将所述数据处理结果发送给客户端，以通过所述客户端显示给用户。

2.根据权利要求1所述的方法，其特征在于，所述业务数据处理模型是通过以下任一方式得到的：

通过所述客户端的模型创建界面接收用户的模型选择操作；

将所述模型选择操作所对应的已创建的业务数据处理模型显示给用户；

基于所述已创建的业务数据处理模型，得到所述业务数据处理模型；

或者，

通过所述客户端的模型创建界面接收用户选择的模型创建信息，所述模型创建信息包括源数据、算子、以及所述拓扑关系；

基于所述模型创建信息得到所述业务数据处理模型。

3.根据权利要求2所述的方法，其特征在于，所述基于所述已创建的业务数据处理模型，得到所述业务数据处理模型，包括：

在接收到用户的模型执行操作时，将所述已创建的业务数据处理模型确定为所述业务数据处理模型；或者，

接收到用户针对所述已创建的业务数据处理模型的编辑操作，基于所述编辑操作对所述已创建的业务数据处理模型进行相应的处理，将处理后的已创建的业务数据处理模型确定为所述业务数据处理模型。

4.根据权利要求2所述的方法，其特征在于，所述通过所述客户端的模型创建界面接收用户选择的模型创建信息之后，还包括：

若接收到用户针对所述算子的参数配置操作，则显示所述算子的参数配置界面；

通过所述参数配置界面接收用户的参数配置操作；

基于所述源数据、参数配置后的算子、以及所述拓扑关系，得到所述业务数据处理模型。

5.根据权利要求1所述的方法，其特征在于，所述将所述业务数据处理模型转化为查询语句，包括：

获取所述算子对应的第一查询语句；

获取所述拓扑关系对应的第二查询语句；

基于所述第一查询语句和所述第二查询语句，得到所述业务数据处理模型对应的查询语句。

6.根据权利要求1所述的方法，其特征在于，所述方法还包括：

基于设定周期对所述源数据信息进行更新，得到更新后的源数据；

基于更新后的所述源数据对所述业务数据处理模型对应的数据处理结果进行更新并显示。

7.根据权利要求1所述的方法，其特征在于，所述得到所述业务数据处理模型对应的数据处理结果之后，还包括：

获取针对所述业务数据处理模型的发布请求；

根据所述发布请求将所述业务数据处理模型发布。

8.一种可视化的数据处理装置，其特征在于，包括：

信息获取模块，用于获取业务数据处理模型，其中，所述业务数据处理模型中包括用户选择的源数据、算子、以及所述源数据和所述算子对应的拓扑关系；

语句转换模块，用于将所述业务数据处理模型转化为查询语句；

代码转换模块，用于基于所述查询语句在数据库中查询对应的数据，并将所述算子转换为可执行的数据库操作代码；

数据执行模块，用于通过执行所述可执行的数据库操作代码对所述数据进行相应的操作，得到所述业务数据处理模型对应的数据处理结果，并将所述数据处理结果发送给客户端，以通过所述客户端显示给用户。

9.一种电子设备，其特征在于，包括处理器以及存储器：

所述存储器被配置用于存储计算机程序，所述计算机程序在由所述处理器执行时，使得所述处理器执行权利要求1-7任一项所述的方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储计算机程序，当所述计算机程序在计算机上运行时，使得计算机可以执行上述权利要求1-7中任一项所述的方法。

Images