CN117608556A - 一种数据处理方法、装置、设备及介质 - Google Patents

Abstract

本发明公开了一种数据处理方法、装置、设备及介质。本发明涉及大数据技术领域。该方法包括：响应于流程图编辑操作，于显示界面中编辑完成待编辑流程图；为待编辑流程图中至少一个流程节点配置节点属性，以更新待编辑流程图，其中，节点属性包括节点类型、节点名称以及访问数据源；基于每个流程节点的节点属性和节点内容，对待编辑流程图进行目标语言转换处理，得到与更新后的待编辑流程图相对应的目标执行程序；基于目标执行程序，执行目标任务。本发明的技术方案，能够达到在提高目标执行程序配置效率，减少成本的同时，提高任务处理效果。

Description

一种数据处理方法、装置、设备及介质

技术领域

本发明实施例涉及大数据技术领域，尤其涉及一种数据处理方法、装置、设备及介质。

背景技术

随着大数据技术的发展，现在的很多决策任务都是通过一些决策组件对相应数据进行处理来完成，提供决策结果。

现有的决策方式通常是依靠业务人员的业务经验基于不同的业务场景编写出大量的筛选规则对应的代码，来进行决策处理。但是，在实际应用中，用户的需求在不断变动，依靠配置规则的代码来进行决策，不仅成本高，也无法满足用户对决策的需求，存在决策效果差的问题。

发明内容

本发明实施例提供一种数据处理方法、装置、设备及介质，以实现在提高目标执行程序配置效率，减少成本的同时，达到提高对任务处理的效果。

第一方面，本发明实施例提供了一种数据处理方法，该方法包括：

响应于流程图编辑操作，于显示界面中编辑完成待编辑流程图；其中，所述待编辑流程图中包括至少一个待添加内容的流程节点和/或已添加内容的流程节点，以及相邻两个流程节点所对应的流程边；

为所述待编辑流程图中至少一个流程节点配置节点属性，以更新所述待编辑流程图，其中，所述节点属性包括节点类型、节点名称以及访问数据源；

基于每个流程节点的节点属性和节点内容，对所述待编辑流程图进行目标语言转换处理，得到与更新后的待编辑流程图相对应的目标执行程序；

基于所述目标执行程序，执行目标任务；其中，所述目标任务与更新后的待编辑流程图相对应。

第二方面，本发明实施例还提供了一种数据处理装置，该装置包括：

待编辑流程图确定模块，用于响应于流程图编辑操作，于显示界面中编辑完成待编辑流程图；其中，所述待编辑流程图中包括至少一个待添加内容的流程节点和/或已添加内容的流程节点，以及相邻两个流程节点所对应的流程边；

节点配置模块，用于为所述待编辑流程图中至少一个流程节点配置节点属性，以更新所述待编辑流程图，其中，所述节点属性包括节点类型、节点名称以及访问数据源；

目标执行程序确定模块，用于基于每个流程节点的节点属性和节点内容，对所述待编辑流程图进行目标语言转换处理，得到与更新后的待编辑流程图相对应的目标执行程序；

任务执行模块，用于基于所述目标执行程序，执行目标任务；其中，所述目标任务与更新后的待编辑流程图相对应。

第三方面，本发明实施例还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如本发明实施例中任一所述的数据处理方法。

第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明实施例中任一所述的数据处理方法。

第五方面，本发明实施例还提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现如本发明实施例中任一所述的数据处理方法。

本发明实施例中，通过响应于流程图编辑操作，于显示界面中编辑完成待编辑流程图，进而为待编辑流程图中至少一个流程节点配置节点属性，更新待编辑流程图，基于每个流程节点的节点属性和节点内容，对待编辑流程图进行目标语言转换处理，得到与更新后的待编辑流程图相对应的目标执行程序；基于目标执行程序，执行目标任务，解决了现有技术中通过编写规则代码的方式处理决策任务，导致任务处理效率低，效果差的问题，实现了通过在可视化的流程图编辑页面编辑完成待编辑流程图，进而为待编辑流程图中至少一个流程节点配置相应的节点属性，更新待编辑流程图，以流程图的形式将用户的需求表示出来，使得用户可以更直观、有效的进行配置，提高配置效率和灵活性，进一步的，通过每个流程节点的节点属性和节点内容，将待编辑流程图转换成目标语言下的目标执行程序，通过目标执行程序来执行目标任务，提高任务处理的效果。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1是根据本发明实施例提供的一种数据处理方法的流程图；

图2是根据本发明实施例提供的一种数据处理方法的流程图；

图3是根据本发明实施例提供的一种数据处理方法的流程图；

图4是根据本发明实施例提供的一种数据处理方法的流程图；

图5是根据本发明实施例提供的一种数据处理装置的结构示意图；

图6是实现本发明实施例的数据处理方法的电子设备的结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本发明的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。本申请技术方案中对数据的获取、存储、使用、处理等均符合国家法律法规的相关规定。

图1是根据本发明实施例提供的一种数据处理方法的流程图，本实施例可适用于进行决策的情况，该方法可以由数据处理装置来执行，该数据处理装置可以采用硬件和/或软件的形式实现。如图1所示，该方法包括：

S110、响应于流程图编辑操作，于显示界面中编辑完成待编辑流程图。

其中，待编辑流程图中包括至少一个待添加内容的流程节点和/或已添加内容的流程节点，以及相邻两个流程节点所对应的流程边。流程节点可以为多种类型的节点，如流程节点包含开始节点、结束节点、筛选节点和模型节点等多种类型的节点，通过不同类型的流程节点的组合实现流程逻辑。筛选节点可以对应于一定的判断条件，例如，可以通过筛选节点的节点内容对数据进行筛选和过滤，以确保只有符合条件的数据能够进入后续的处理环节。模型节点可以对应于算法模型，例如，算法模型可以是线性回归模型、逻辑回归模型、支持向量机、决策树与随机森林模型、K近邻算法、朴素贝叶斯分类器以及梯度提升模型等等，对具体的算法模型不做赘述，可以是基于TensorFlow、Keras、PyTorch等任意深度学习框架的模型。

在本实施例中，可以在支持流程图编辑功能的应用软件或应用程序中，预先开发用于触发流程图编辑的控件，当检测到用户触发该控件时，即可对编辑流程图的触发操作进行响应，基于用户触发的流程图编辑控件，在显示界面中显示流程图，将响应于流程图编辑操作时，所对应的流程图作为待编辑流程图，以通过流程图进行决策处理。

为了让用户能够更直观有效的表达自己相描述的想法，可以在编辑界面开发不同的流程节点以及流程边等流程图编辑控件，以通过用户对流程图编辑控件的触发操作，编辑得到待编辑流程图。

在本实施例中，响应于流程图编辑操作，于显示界面中编辑完成待编辑流程图，包括：响应于创建画布的操作，显示流程图编辑界面；于流程图编辑界面中编辑逻辑框以及逻辑框之间的连接线；将逻辑框作为待编辑流程图中的流程节点，将连接线作为待编辑流程图中的流程边。

具体的，可以预先开发用于创建画布的控件，当检测到用户触发该控件时，即可对创建画布的触发操作进行响应，创建画布。在创建画布的过程中，用户还可以根据实际需求自定义名称、宽度、高度、分辨率、颜色模式、背景等参数，完成画布创建后，显示流程图编辑界面。进一步的，用户可以根据决策需求，利用输入设备拖动界面上显示的各类流程节点对应的编辑框至画布山，并为逻辑框之间设置连接线，组合成流程图。此时可以将逻辑框作为待编辑流程图中的流程节点，将连接线作为待编辑流程图中的流程边，形成决策用的待编辑流程图。

示例性的，在用户编辑流程图时，可以在显示界面中显示多个流程节点以及流程边等编辑控件，流程节点对应的流程图编辑控件可以用编辑框形式进行展示，流程边对应的编辑控件可以用连接线形式进行展示。用户可以从多个流程图编辑控件中选择出所需要的编辑框，并用连接线将编辑框进行组合，于显示界面中编辑完成待编辑流程图。此种设置的好处在于，可以通过更加灵活、友好的决策规则编辑界面，让用户可以更直观、有效地表达自己想描述的规则。

在上述技术方案的基础上，还包括：为待编辑流程图的流程节点添加节点内容。

其中，节点内容与执行子任务相对应的文字描述或者目标函数。执行子任务可以是决策任务，例如，投资审批决策、风险决策、产品开发决策、分支行选点决策等等。文字描述是与执行子任务的相对应的，例如，投资审批决策，对应的节点内容可以为账户、信用、还款能力等等。通过为流程节点添加相应的文字描述，使得更适用于特定的决策任务场景，便于用户更直观、有效地绘制想要的规则。本实施例中，还可以为流程节点添加目标函数。目标函数可以是逻辑计算函数，如一些数学公式。目标函数也可以是用户自定义函数，如用于运行算法模型的函数。此种设置的好处在于，通过为流程节点添加自定义运行算法模型的目标函数，使得可以将算法模型融入到用户编辑的规则中参与决策，实现规则和算法模型协同处理决策，提高决策效果。

S120、为待编辑流程图中至少一个流程节点配置节点属性，以更新待编辑流程图。

其中，节点属性包括节点类型、节点名称以及访问数据源。节点类型包括筛选类型、查询类型、数据转发类型、模型调用类型中的至少一种。数据转发类型是指用于指示决策结果转发到哪、如何转发的节点类型，例如，该种类型可以对应于数据转发渠道，比如，卸数到A系统，以短信、邮件或小程序消息等发送至终端。模型调用类型的节点可以是指模型节点，对应于算法模型。可选的，节点属性中还可以包括节点大小、节点颜色、节点形状、节点标签等等，例如，为节点添加标签或注释，以便更清晰地说明节点的功能或目的。

在本技术方案中，用户可以根据自身的决策需求为待编辑流程图中至少一个流程节点配置相应的节点属性。例如，在筛选类型的年龄节点A中输入大于30岁；或，在数据转发类型的节点B中输入短信；或者，在模型调用类型的节点C中输入账户分类名称。在配置完流程节点的节点属性之后，更新待编辑流程图，以通过更新后的待编辑流程图中各流程节点的节点内容和节点属性执行决策任务。绘制流程图的好处在于，无需用户编写代码，即可实现决策规则的自定义配置，满足用户对决策的需求，同时，引入模型调用类型，使得将算法模型融入到筛选规则中参与决策，提高决策效果。

在本实施例中，为待编辑流程图中至少一个流程节点配置节点属性，以更新待编辑流程图，包括：当检测到触发流程节点时，显示属性编辑页面；基于属性编辑页面中各待编辑字段，编辑节点属性。

其中，不同的流程节点具有不同的节点属性，例如，筛选节点有条件属性，操作节点有操作属性等。节点属性中包括但不限于节点类型、节点名称、访问数据源的数据源标识。需要说明的是，节点属性可以是根据用户需求进行实时配置的，也可以是预先配置好的，配置好后，可以根据用户需求进行调整。

在本实施例中，显示界面上所显示的每个流程节点都可以是一个触发控件，控件的显示信息与流程节点的自身属性相对应。用户可以选择要编辑的流程节点，进而显示出与该流程节点相对应的属性编辑页面，例如，这个区域位于节点所在的行的右侧或下方。在属性编辑页面中可以通过编辑相应的待编辑字段，为该流程节点配置相应的节点属性。需要说明的是，还可以根据需要配置其他相关属性，例如节点的连接线样式、箭头样式等。也可以通过添加、删除或复制节点等来调整流程图的规模和结构。实现通过可视化的配置页面进行节点属性配置，满足用户对决策的需求。

为了提高对节点属性的查询性能，可以将节点属性存储在底层数据库中，底层数据库采用ClickHouse，ClickHouse是一个用于联机分析的列式数据库管理系统，其具有列式存储、数据压缩、并行处理、分区表、稀疏索引、延迟合并、向量化查询、优化器和分布式架构等多方面的优势，在处理大规模数据分析和联机分析处理工作时，支持线性扩展，可靠性高，容错性高。

S130、基于每个流程节点的节点属性和节点内容，对待编辑流程图进行目标语言转换处理，得到与更新后的待编辑流程图相对应的目标执行程序。

其中，节点内容所对应的目标函数用于表征节点类型为模型调用类型所调用的目标模型的处理步骤信息，例如，目标函数可以用于指示读取模型，数据送入模型，得到模型处理结果进行下一步等，以实现基于目标函数运行模型的功能。目标模型可以为访问数据源中的一种，目标模型也可以作为一个流程节点，目标模型即为算法模型。目标语言可以为SQL(Structured Query Language，结构化查询语言)。

具体的，在待编辑流程图中，每个流程节点都代表一个操作或判断。可以通过分析每个流程节点的节点属性和节点内容，以及根据流程图中的流程边分析流程节点之间的关系，如包括顺序、并行、条件等关系。根据待编辑流程图中的节点内容、节点属性和节点关系，用目标语言的形式描述待编辑流程图，编写得到的SQL语句可作为目标执行程序。例如，对于筛选节点，可以根据条件属性生成相应的条件判断规则的程序。

在本实施例中，为了确保目标执行程序的正确性和完整性，还可以对目标执行程序进行校验，校验通过后，再将目标执行程序实施到实际决策业务中，以实现决策的自动化和规范化。例如，可以使用数据库管理工具或编写测试用例来测试目标执行程序是否能够正确执行。需要说明的是，为了便于目标执行程序后续的使用，在确定目标执行程序之后，还可以对目标执行程序进行封装，以备在其他程序中调用。

S140、基于目标执行程序，执行目标任务。

其中，目标任务与更新后的待编辑流程图相对应。例如，目标任务是书籍推荐任务，那么待编辑流程图所表达的决策规则是与书籍推荐决策相对应的。

在本实施例中，可以将目标执行程序应用到目标任务中，执行目标任务，进行相应的决策处理，以提供与目标任务相对应的决策结果。例如，运行目标执行程序，会从节点中的访问数据源中读取所有符合条件的数据，并依据流程的运行逐步进行筛选。

本实施例通过响应于流程图编辑操作，于显示界面中编辑完成待编辑流程图，进而为待编辑流程图中至少一个流程节点配置节点属性，更新待编辑流程图，基于每个流程节点的节点属性和节点内容，对待编辑流程图进行目标语言转换处理，得到与更新后的待编辑流程图相对应的目标执行程序；基于目标执行程序，执行目标任务，解决了现有技术中通过编写规则代码的方式处理决策任务，导致任务处理效率低，效果差的问题，实现了通过在可视化的流程图编辑页面编辑完成待编辑流程图，进而为待编辑流程图中至少一个流程节点配置相应的节点属性，更新待编辑流程图，以流程图的形式将用户的需求表示出来，使得用户可以更直观、有效的进行配置，提高配置效率和灵活性，进一步的，通过每个流程节点的节点属性和节点内容，将待编辑流程图转换成目标语言下的目标执行程序，通过目标执行程序来执行目标任务，提高任务处理的效果。

在上述实施例的基础上，还可以预先配置目标模型以及与目标模型相对应的流程节点，以在节点类型为模型调用类型时，调取到目标模型，相应的，本发明提出如下实施例：图2是根据本发明实施例提供的一种数据处理方法的流程图。如图2所示，数据处理方法，包括如下步骤：

S210、确定多个待调用模型。

其中，待调用模型是基于深度学习框架的模型。例如，深度学习框架可以是TensorFlow、PyTorch、Caffe、MXNet等框架，对此不做限定。

在本实施例中，待调用模型可以是训练好的、可用的算法模型，以被决策时使用。

S220、对待调用模型封装为预设格式，得到待使用模型。

其中，预设格式为ONNX格式。

具体的，可以使用转换工具将待调用模型从原始框架转换为预设格式的目标框架，得到待使用模型。例如，如果是PyTorch框架的待调用模型，可以使用torch.ONNX.export()函数将模型转换为ONNX格式。利用ONNX格式的模型文件，可以将支持任何一种机器学习或者深度学习模型在JVM虚拟机上执行。

需要说明的是，为了提高模型的性能和精度，在得到ONNX格式的待使用模型之后，还可以对待使用模型进行调整和优化。例如，可以使用ONNX库中的函数对模型进行剪枝、量化等操作，得到调整和优化后的待使用模型。同时，为了确保转换后的ONNX格式的待使用模型与原始的待调用模型具有相同的功能和性能，还可以使用测试数据对待调用模型进行测试，以在测试通过的条件下将待使用模型进行部署。

S230、确定待使用模型所对应的数据源标识，并将待使用模型以及相应的数据源标识对应于存储至目标系统中，以备在节点类型为模型调用类型时，从目标系统中调取目标模型。

在本实施例中，可以为待使用模型配置用于标识其的唯一性的数据源标识。进一步的，可以将待使用模型以及相应的数据源标识对应存储至目标系统中，例如，目标系统可以为ClickHouse底层数据库。可以配置每个待使用模型对应的流程节点显示在显示界面，如用待使用模型的数据源标识进行节点显示，该流程节点的节点类型即为模型调用类型。这样，用户可以通过识别数据源标识来选取合适的模型节点编辑到流程图中。在基于目标执行程序，执行目标任务的过程中，如果目标执行程序对应的流程节点的节点类型为模型调用类型，可以从目标系统中调取该流程节点对应的待使用模型作为目标模型，通过与该流程节点相关联的目标函数控制目标模型执行目标任务。此种设置的好处在于，不仅能够通过目标函数实现目标模型协同其他的筛选规则，共同处理目标任务，还可以在使用一个框架的模型的同时，在另一个框架的模型中进行推断，提高模型的可移植性和灵活性，从而提高任务处理效率。

本实施例通过将多个基于深度学习框架的待调用模型封装为统一的预设格式，得到预设格式的待使用模型，并配置待使用模型所对应的数据源标识，进而将待使用模型以及相应的数据源标识对应于存储至目标系统中，以使在节点类型为模型调用类型时，可以从目标系统中调取不同框架下的目标模型，实现基于一个平台处理多框架下的目标模型，提高任务处理效率。

在上述实施例的基础上，基于每个流程节点的节点属性，对待编辑流程图进行目标语言转换处理，得到与更新后的待编辑流程图相对应的目标执行程序时，可以根据待编辑流程图中流程节点的执行顺序依次对每个流程节点的节点属性以及节点内容进行目标语言转换处理，以得到最终的目标执行程序，保证程序生成的准确性，相应的，本发明提出如下实施例：图3是根据本发明实施例提供的一种数据处理方法的流程图。如图3所示，数据处理方法，包括如下步骤：

S310、依据更新后的待编辑流程图的执行顺序依次对每个流程节点的节点属性以及节点内容进行目标语言转换处理，得到与每个流程节点所对应的待拼接程序。

在本实施例中，在得到更新后的待编辑流程图之后，可以基于该待编辑流程图中每个流程节点的执行顺序，依次对每个流程节点的节点属性以及节点内容进行目标语言转换处理，得到与每个流程节点所对应的待拼接程序。例如，如果流程节点是一个筛选类型的节点，待拼接程序可以为一个IF语句或CASE语句；如果流程节点是一个操作类型的节点，待拼接程序可以为一个INSERT、UPDATE或DELETE语句。

S320、基于各流程节点所对应的待拼接程序，确定目标执行程序。

在本实施例中，可以通过SQL语句拼接的方式，对各流程节点所对应的待拼接程序进行拼接，得到最终的目标执行程序。

需要说明的是，算法模型是无法SQL语句进行表示的，为了保证算法模型可以融入到SQL语句作决策用。可以使用目标函数来控制运行算法模型，将目标函数作为SQL语句的一部分嵌入其中，生成能够运行算法模型的目标执行程序。

在本实施例中，基于各流程节点所对应的待拼接程序，确定目标执行程序，包括：若流程节点的节点类型为模型调用类型，则将流程节点的节点内容所对应的目标函数嵌入流程节点的前一个流程节点和后一个流程节点的待拼接程序之间，以得到目标执行程序。

具体的，可以将目标函数预配置在为模型调用类型的流程节点的节点内容中。在拼接各流程节点所对应的待拼接程序，如果检测到流程节点的节点类型为模型调用类型，那么可以将流程节点的节点内容所对应的目标函数嵌入到该流程节点的前一个流程节点和后一个流程节点的待拼接程序之间，使得目标函数作目标执行程序的一部分，以使后续运行目标执行程序时，使用目标函数来控制运行算法模型，实现通过算法模型和筛选规则协同处理目标任务，提高任务处理效果。

本实施例通过依据更新后的待编辑流程图的执行顺序依次对每个流程节点的节点属性以及节点内容进行目标语言转换处理，得到与每个流程节点所对应的待拼接程序，进而基于各流程节点所对应的待拼接程序，确定目标执行程序，实现保证程序运行的正确性的效果。

在上述实施例的基础上，在执行目标执行程序时，如果执行到为模型调用类型的流程节点，可以依据流程节点的数据源标识调用目标模型参与决策计算，相应的，本发明提出如下实施例：图4是根据本发明实施例提供的一种数据处理方法的流程图。如图4所示，数据处理方法，包括如下步骤：

S410、若目标执行程序对应的流程节点的节点类型为模型调用类型，则依据目标执行程序中流程节点的数据源标识调用目标模型。

其中，数据源标识为节点内容中的一项。

在本实施例中，在基于目标执行程序处理目标任务的过程中，如果目标执行程序对应的流程节点的节点类型为筛选类型，则只需执行筛选节点对应的那部分筛选语句，从数据源中读取符合条件的数据，进行筛选；如果目标执行程序对应的流程节点的节点类型为模型调用类型，则可以通过该流程节点的数据源标识从目标系统中调取出与该数据源标识相匹配的目标模型，以通过目标模型执行目标任务中相应的子任务。需要说明的是，为了确保目标函数可以在SQL语句中像内置函数一样使用，可以在目标系统(即ClickHouse)上编写目标函数，同时利用ClickHouse还可以在进行大数据筛选时，快速计算出运行结果，提高任务处理的效率。

S420、基于节点内容中的目标函数控制目标模型执行目标任务中的一个任务步骤。

在本实施例中，可以通过为模型调用类型的流程节点配置的节点内容中的目标函数，控制运行目标模型的功能，如分类，识别等，执行目标任务中的一个任务步骤，该任务步骤是与目标模型的功能相对应的。

在本实施例中，基于节点内容中的目标函数控制目标模型执行目标任务中的一个任务步骤，包括：基于节点内容中的目标函数控制目标模型对前一流程节点处理得到的待处理数据进行处理，以完成目标任务中的一个任务步骤。

具体的，如果为模型调用类型的流程节点存在与之关联的前一流程节点，那么目标函数可以基于两个节点的连接关系控制目标模型对前一流程节点处理得到的待处理数据进行处理。例如，目标函数控制读取目标模型之后，将前一流程节点处理得到的待处理数据作为本流程节点的输入数据，送入目标模型，得到处理结果后，目标函数控制流程进行下一步，实现通过函数运行ONNX模型的功能，同时，实现算法模型和筛选规则协同处理目标任务，提高了任务处理效果。

本实施例通过在目标执行程序对应的流程节点的节点类型为模型调用类型时，依据目标执行程序中流程节点的数据源标识调用目标模型，进而基于节点内容中的目标函数控制目标模型执行目标任务中的一个任务步骤，实现通过将目标函数嵌入到执行程序，来达到运行目标模型的效果，从而实现算法模型和筛选规则协同处理目标任务，进而提高了任务处理效果。

作为上述实施例的一可选实施例，为了使本领域技术人员进一步清楚本发明实施例的技术方案，给出具体的应用场景实例。具体的，可以参见下述具体内容。

在本实施例中，以目标任务为决策任务进行介绍。可以预先开发流程图编辑页面，使得用户可以通过流程图编辑页面来编辑完成用于决策用的流程图。为了提高用户体验，可以根据用户对于决策任务的处理需求，在图编辑引擎的基础上，增设图编辑场景控件，如网格系统、对齐线、redo(重做)/undo(撤销)等操作控件。同时，在流程图中，提供数据筛选节点，该类节点中将从数据源中读取所有符合条件的数据，并依据流程的运行逐步进行筛选。存储节点信息的底层数据库可以采用clickhouse，ClickHouse通过其列式存储、数据压缩、并行处理、分区表、稀疏索引、延迟合并、向量化查询、优化器和分布式架构等多个方面的优势，提高查询性能。同时，本技术方案中还通过将多个深度学习框架(例如PyTorch、TensorFlow、Caffe、MXNet等)的算法模型转换成ONNX格式的模型文件，实现通过ONNX格式的模型文件在多个深度学习框架之间共享和转换，这样，可以使用一个框架训练模型，然后在另一个框架中进行推断，从而提高了模型的可移植性和灵活性。进一步的，为了将算法模型作为流程图的节点，在运行时与规则无缝衔接，本技术方案中通过在ClickHouse上允许用户创建自定义函数，这些函数即为目标函数，目标函数可以作为模型类节点的节点内容配置其中，使得目标函数可以在查询中像内置函数一样使用，提供了任务处理的灵活性和功能扩展。在实际创建流程图的过程中，用户可以通过创建画布、添加节点/边，更新节点/边，删除节点/边等操作，快速的完成整个流程图大致架构的编写；然后，用户可以针对不同的节点进行不同条件的设置，如为不同节点配置节点属性和/或节点内容，使得用户可以通过不同组合完成许多复杂逻辑的决策规则的编写。用户通过编辑页面，将自己的业务经验以流程图的方式表达出来，流程图编写完成之后，可以通过SQL语句拼接的方式，将自定义函数作为SQL语句的一部分嵌入其中，形成最终的筛选语句。实现通过编写ClickHouse上的自定义函数，实现函数运行ONNX模型的功能，并且还可以通过多线程、模型剪枝等方式，优化该功能的运行速度。最终，利用ClickHouse大数据筛选高速的特点，能够快速计算出运行结果，展示决策结果。

本实施例所提供的技术方案，通过配置决策规则编辑页面，让用户可以更直观地表达自己想描述的规则，同时融入算法模型进行智能决策，通过将算法模型作为决策中的一个组件，提高决策效果。

图5是根据本发明实施例提供的一种数据处理装置的结构示意图。如图5所示，该装置包括：待编辑流程图确定模块510、节点配置模块520、目标执行程序确定模块530和任务执行模块540。

其中，待编辑流程图确定模块510，用于响应于流程图编辑操作，于显示界面中编辑完成待编辑流程图；其中，所述待编辑流程图中包括至少一个待添加内容的流程节点和/或已添加内容的流程节点，以及相邻两个流程节点所对应的流程边；节点配置模块520，用于为所述待编辑流程图中至少一个流程节点配置节点属性，以更新所述待编辑流程图，其中，所述节点属性包括节点类型、节点名称以及访问数据源；目标执行程序确定模块530，用于基于每个流程节点的节点属性和节点内容，对所述待编辑流程图进行目标语言转换处理，得到与更新后的待编辑流程图相对应的目标执行程序；任务执行模块540，用于基于所述目标执行程序，执行目标任务；其中，所述目标任务与更新后的待编辑流程图相对应。

本实施例的技术方案，本实施例通过响应于流程图编辑操作，于显示界面中编辑完成待编辑流程图，进而为待编辑流程图中至少一个流程节点配置节点属性，更新待编辑流程图，基于每个流程节点的节点属性和节点内容，对待编辑流程图进行目标语言转换处理，得到与更新后的待编辑流程图相对应的目标执行程序；基于目标执行程序，执行目标任务，解决了现有技术中通过编写规则代码的方式处理决策任务，导致任务处理效率低，效果差的问题，实现了通过在可视化的流程图编辑页面编辑完成待编辑流程图，进而为待编辑流程图中至少一个流程节点配置相应的节点属性，更新待编辑流程图，以流程图的形式将用户的需求表示出来，使得用户可以更直观、有效的进行配置，提高配置效率和灵活性，进一步的，通过每个流程节点的节点属性和节点内容，将待编辑流程图转换成目标语言下的目标执行程序，通过目标执行程序来执行目标任务，提高任务处理的效果。

在上述装置的基础上，可选的，所述待编辑流程图确定模块510包括编辑界面显示单元、编辑单元和待编辑流程图确定单元。

编辑界面显示单元，用于响应于创建画布的操作，显示流程图编辑界面；

编辑单元，用于于所述流程图编辑界面中编辑逻辑框以及所述逻辑框之间的连接线；

待编辑流程图确定单元，用于将所述逻辑框作为所述待编辑流程图中的流程节点，将所述连接线作为所述待编辑流程图中的流程边。

在上述装置的基础上，可选的，所述装置还包括：节点内容添加模块，所述节点内容添加模块包括为所述待编辑流程图的流程节点添加节点内容；其中，所述节点内容与执行子任务相对应的文字描述或者目标函数。

在上述装置的基础上，可选的，节点配置模块520包括属性编辑页面显示单元和节点属性编辑单元。

属性编辑页面显示单元，用于当检测到触发流程节点时，显示属性编辑页面；

节点属性编辑单元，用于基于所述属性编辑页面中各待编辑字段，编辑节点属性；其中，所述节点属性包括节点类型、节点名称、访问数据源的数据源标识。

在上述装置的基础上，可选的，所述节点类型包括筛选类型、查询类型、数据转发类型、模型调用类型中的至少一种，节点内容所对应的目标函数用于表征节点类型为模型调用类型所调用的目标模型的处理步骤信息，所述目标模型为所述访问数据源中的一种。

在上述装置的基础上，可选的，所述装置还包括：模型配置模块，所述模型配置模块包括待调用模型确定单元、待使用模型确定单元和存储单元。

待调用模型确定单元，用于确定多个待调用模型，其中，所述待调用模型是基于深度学习框架的模型；

待使用模型确定单元，用于对所述待调用模型封装为预设格式，得到待使用模型；

存储单元，用于确定待使用模型所对应的数据源标识，并将所述待使用模型以及相应的数据源标识对应于存储至目标系统中，以备在节点类型为模型调用类型时，从所述目标系统中调取目标模型。

在上述装置的基础上，可选的，目标执行程序确定模块530包括待拼接程序确定单元和目标执行程序确定单元。

待拼接程序确定单元，用于依据更新后的待编辑流程图的执行顺序依次对每个流程节点的节点属性以及节点内容进行目标语言转换处理，得到与每个流程节点所对应的待拼接程序；

目标执行程序确定单元，用于基于各流程节点所对应的待拼接程序，确定所述目标执行程序。

在上述装置的基础上，可选的，目标执行程序确定单元，具体用于若所述流程节点的节点类型为模型调用类型，则将所述流程节点的节点内容所对应的目标函数嵌入所述流程节点的前一个流程节点和后一个流程节点的待拼接程序之间，以得到所述目标执行程序。

在上述装置的基础上，可选的，任务执行模块540包括目标模型调用单元和任务执行单元。

目标模型调用单元，用于若所述目标执行程序对应的流程节点的节点类型为模型调用类型，则依据所述目标执行程序中所述流程节点的数据源标识调用目标模型，其中，所述数据源标识为所述节点内容中的一项；

任务执行单元，用于基于所述节点内容中的目标函数控制所述目标模型执行所述目标任务中的一个任务步骤。

在上述装置的基础上，可选的，任务执行单元，具体用于基于所述节点内容中的目标函数控制所述目标模型对前一流程节点处理得到的待处理数据进行处理，以完成所述目标任务中的一个任务步骤。

在上述装置的基础上，可选的，所述预设格式为ONNX格式；所述目标系统为ClickHouse底层数据库。

本发明实施例所提供的数据处理装置可执行本发明任意实施例所提供的数据处理方法，具备执行方法相应的功能模块和有益效果。

图6为本发明实施例所提供的一种电子设备的结构示意图。图6示出了适于用来实现本发明实施例实施方式的示例性电子设备60的框图。图6显示的电子设备60仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图6所示，电子设备60以通用计算设备的形式表现。电子设备60的组件可以包括但不限于：一个或者多个处理器或者处理单元601，系统存储器602，连接不同系统组件(包括系统存储器602和处理单元601)的总线603。

总线603表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。

电子设备60典型地包括多种计算机系统可读介质。这些介质可以是任何能够被电子设备60访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。

系统存储器602可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)604和/或高速缓存存储器605。电子设备60可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统606可以用于读写不可移动的、非易失性磁介质(图6未显示，通常称为“硬盘驱动器”)。尽管图6中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM，DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线603相连。存储器602可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。

具有一组(至少一个)程序模块607的程序/实用工具608，可以存储在例如存储器602中，这样的程序模块607包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块607通常执行本发明所描述的实施例中的功能和/或方法。

电子设备60也可以与一个或多个外部设备609(例如键盘、指向设备、显示器610等)通信，还可与一个或者多个使得用户能与该电子设备60交互的设备通信，和/或与使得该电子设备60能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口611进行。并且，电子设备60还可以通过网络适配器612与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器612通过总线603与电子设备60的其它模块通信。应当明白，尽管图6中未示出，可以结合电子设备60使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。

处理单元601通过运行存储在系统存储器602中的程序，从而执行各种功能应用以及数据处理，例如实现本发明实施例所提供的数据处理方法。

本发明实施例还提供一种包含计算机可执行指令的存储介质，计算机可执行指令在由计算机处理器执行时用于执行一种数据处理方法，该方法包括：

响应于流程图编辑操作，于显示界面中编辑完成待编辑流程图；其中，所述待编辑流程图中包括至少一个待添加内容的流程节点和/或已添加内容的流程节点，以及相邻两个流程节点所对应的流程边；

为所述待编辑流程图中至少一个流程节点配置节点属性，以更新所述待编辑流程图，其中，所述节点属性包括节点类型、节点名称以及访问数据源；

基于每个流程节点的节点属性和节点内容，对所述待编辑流程图进行目标语言转换处理，得到与更新后的待编辑流程图相对应的目标执行程序；

基于所述目标执行程序，执行目标任务；其中，所述目标任务与更新后的待编辑流程图相对应。

本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言或其组合来编写用于执行本发明实施例操作的计算机程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言——诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

本发明实施例还提供了一种计算机程序产品，包括计算机程序，该计算机程序在被处理器执行时实现如本申请任一实施例所提供的数据处理方法。

计算机程序产品在实现的过程中，可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，程序设计语言包括面向对象的程序设计语言，诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (15)

1.一种数据处理方法，其特征在于，包括：

响应于流程图编辑操作，于显示界面中编辑完成待编辑流程图；其中，所述待编辑流程图中包括至少一个待添加内容的流程节点和/或已添加内容的流程节点，以及相邻两个流程节点所对应的流程边；

为所述待编辑流程图中至少一个流程节点配置节点属性，以更新所述待编辑流程图，其中，所述节点属性包括节点类型、节点名称以及访问数据源；

基于每个流程节点的节点属性和节点内容，对所述待编辑流程图进行目标语言转换处理，得到与更新后的待编辑流程图相对应的目标执行程序；

基于所述目标执行程序，执行目标任务；其中，所述目标任务与更新后的待编辑流程图相对应。

2.根据权利要求1所述的方法，其特征在于，所述响应于流程图编辑操作，于显示界面中编辑完成待编辑流程图，包括：

响应于创建画布的操作，显示流程图编辑界面；

于所述流程图编辑界面中编辑逻辑框以及所述逻辑框之间的连接线；

将所述逻辑框作为所述待编辑流程图中的流程节点，将所述连接线作为所述待编辑流程图中的流程边。

3.根据权利要求2所述的方法，其特征在于，还包括：

为所述待编辑流程图的流程节点添加节点内容；

其中，所述节点内容与执行子任务相对应的文字描述或者目标函数。

4.根据权利要求1所述的方法，其特征在于，所述为所述待编辑流程图中至少一个流程节点配置节点属性，以更新所述待编辑流程图，包括：

当检测到触发流程节点时，显示属性编辑页面；

基于所述属性编辑页面中各待编辑字段，编辑节点属性；

其中，所述节点属性包括节点类型、节点名称、访问数据源的数据源标识。

5.根据权利要求1或4所述的方法，其特征在于，所述节点类型包括筛选类型、查询类型、数据转发类型、模型调用类型中的至少一种，节点内容所对应的目标函数用于表征节点类型为模型调用类型所调用的目标模型的处理步骤信息，所述目标模型为所述访问数据源中的一种。

6.根据权利要求1所述的方法，其特征在于，还包括：

确定多个待调用模型，其中，所述待调用模型是基于深度学习框架的模型；

对所述待调用模型封装为预设格式，得到待使用模型；

确定待使用模型所对应的数据源标识，并将所述待使用模型以及相应的数据源标识对应于存储至目标系统中，以备在节点类型为模型调用类型时，从所述目标系统中调取目标模型。

7.根据权利要求1所述的方法，其特征在于，所述基于每个流程节点的节点属性，对所述待编辑流程图进行目标语言转换处理，得到与更新后的待编辑流程图相对应的目标执行程序，包括：

依据更新后的待编辑流程图的执行顺序依次对每个流程节点的节点属性以及节点内容进行目标语言转换处理，得到与每个流程节点所对应的待拼接程序；

基于各流程节点所对应的待拼接程序，确定所述目标执行程序。

8.根据权利要求7所述的方法，其特征在于，所述基于各流程节点所对应的待拼接程序，确定所述目标执行程序，包括：

若所述流程节点的节点类型为模型调用类型，则将所述流程节点的节点内容所对应的目标函数嵌入所述流程节点的前一个流程节点和后一个流程节点的待拼接程序之间，以得到所述目标执行程序。

9.根据权利要求1所述的方法，其特征在于，所述基于所述目标执行程序，执行目标任务，包括：

若所述目标执行程序对应的流程节点的节点类型为模型调用类型，则依据所述目标执行程序中所述流程节点的数据源标识调用目标模型，其中，所述数据源标识为所述节点内容中的一项；

基于所述节点内容中的目标函数控制所述目标模型执行所述目标任务中的一个任务步骤。

10.根据权利要求9所述的方法，其特征在于，所述基于所述节点内容中的目标函数控制所述目标模型执行所述目标任务中的一个任务步骤，包括：

基于所述节点内容中的目标函数控制所述目标模型对前一流程节点处理得到的待处理数据进行处理，以完成所述目标任务中的一个任务步骤。

11.根据权利要求6所述的方法，其特征在于，所述预设格式为ONNX格式；所述目标系统为ClickHouse底层数据库。

12.一种数据处理装置，其特征在于，包括：

待编辑流程图确定模块，用于响应于流程图编辑操作，于显示界面中编辑完成待编辑流程图；其中，所述待编辑流程图中包括至少一个待添加内容的流程节点和/或已添加内容的流程节点，以及相邻两个流程节点所对应的流程边；

节点配置模块，用于为所述待编辑流程图中至少一个流程节点配置节点属性，以更新所述待编辑流程图，其中，所述节点属性包括节点类型、节点名称以及访问数据源；

目标执行程序确定模块，用于基于每个流程节点的节点属性和节点内容，对所述待编辑流程图进行目标语言转换处理，得到与更新后的待编辑流程图相对应的目标执行程序；

任务执行模块，用于基于所述目标执行程序，执行目标任务；其中，所述目标任务与更新后的待编辑流程图相对应。

13.一种电子设备，其特征在于，包括存储器，处理器及存储在存储器上并可在处理器运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-11中任一项所述的数据处理方法。

14.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-11中任一所述的数据处理方法。

15.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序在被处理器执行时实现如权利要求1-11中任一项所述的数据处理方法。