CN115455035B - 数据查询模型构建方法和计算机可读存储介质 - Google Patents

Abstract

本申请提供一种数据查询模型构建方法和计算机可读存储介质，方法包括：根据选中的数据源模块生成对应的数据源节点；根据选中的若干个处理模块生成对应的若干个数据处理节点，将数据源节点的输出端与各个数据处理节点的输入端依序连接；数据处理节点加载数据处理规则；将依序连接的最后一个数据处理节点与数据输出节点连接；响应于模型执行指令，将处理后的节点数据输出到预设的数据表，根据目标数据源模块配置的源数据、各个目标处理模块加载的数据处理规则、各个模块的连接关系、目标处理模块与预设的数据表的连接关系，以及输出到预设的数据表的节点数据，生成数据查询模型。本发明可以简化数据查询操作。

Description

数据查询模型构建方法和计算机可读存储介质

技术领域

本申请涉及数据查询的技术领域，具体涉及一种数据查询模型构建方法和计算机可读存储介质。

背景技术

随着社会的发展，大数据越显重要，许多商业决定都会建立于大数据的数据分析基础。因此，如何从大数据中查询得到用户需要的数据，是非常关键的。而现有的数据查询方法，需要实时响应数据查询操作，但由于数据查询操作常常会涉及到不同数据处理规则的代码模块，因此数据查询操作的操作也十分繁琐复杂。

发明内容

本申请的目的在于克服现有技术中的缺点与不足，提供一种数据查询模型构建方法和计算机可读存储介质，可以简化数据查询操作。

本申请的一个实施例提供一种数据查询模型构建方法，包括：

获取数据查询模型构建指令，进入数据查询模块构建界面；所述数据查询模型构建界面包括模型构建区；所述模型构建区包括数据输出节点；

将选中的数据源模块确定为目标数据源模块，在所述模型构建区生成对应的数据源节点；获取对所述数据源节点配置的源数据；

将选中的若干个处理模块确定为目标处理模块，在所述模型构建区生成对应的若干个数据处理节点，且将所述数据源节点的输出端与各个所述数据处理节点的输入端依序连接；所述数据处理节点加载有所述目标处理模块的数据处理规则；

将依序连接的最后一个所述数据处理节点的输出端与所述数据输出节点的输入端连接，所述数据输出节点用于将接收到的节点数据输出到预设的数据表；

响应于模型执行指令，将所述数据源节点的节点数据输出给所述数据处理节点，以通过所述目标处理模块的数据处理规则对所述节点数据进行数据处理，得到处理后的节点数据；通过所述数据输出节点将处理后的节点数据输出到预设的数据表；

根据目标数据源模块配置的源数据、各个目标处理模块加载的数据处理规则、目标数据源模块与各个目标处理模块的连接关系、目标处理模块之间的连接关系、目标处理模块与预设的数据表的连接关系，以及输出到预设的数据表的节点数据，生成数据查询模型。

本申请的一个实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现如上所述的数据查询模型构建方法的步骤。

相对于现有技术，本申请可以根据目标数据源模块生成数据源节点，根据目标处理模块生成若干个数据处理节点，基于数据源节点、各个数据处理节点以及数据输出节点的连接关系，得到目标数据源模块与各个目标处理模块的连接关系、目标处理模块之间的连接关系以及目标处理模块与预设的数据表的连接关系，从而获得可以根据各个目标处理模块的处理规则，对目标数据源模块的源数据进行数据处理，并将处理结果输出到预设的数据表的数据查询模型。无需用户自行编辑查询代码，简化了数据查询操作，并且用户还可以随时直接调用数据查询模型，以得到数据查询模型的数据查询结果，提高了用户得到数据查询结果的效率。

为了能更清晰的理解本申请，以下将结合附图说明阐述本申请的具体实施方式。

附图说明

图1为本申请一个实施例的数据查询模型构建方法的流程图。

图2为本申请一个实施例的数据查询模型构建方法的步骤S201-S203的流程图。

图3为本申请一个实施例的数据查询模型构建方法的步骤S301-S303的流程图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施例方式作进一步地详细描述。

应当明确，所描述的实施例仅仅是本申请实施例一部分实施例，而不是全部的实施例。基于本申请实施例中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本申请实施例保护的范围。

下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。在本申请的描述中，需要理解的是，术语“第一”、“第二”、“第三”等仅用于区别类似的对象，而不必用于描述特定的顺序或先后次序，也不能理解为指示或暗示相对重要性。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本申请中的具体含义。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。在此所使用的词语“如果”/“若”可以被解释成为“在……时”或“当……时”或“响应于确定”。

此外，在本申请的描述中，除非另有说明，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A 和/或 B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。

请参阅图1，其是本申请一个实施例的数据查询模型构建方法的流程图，包括：

S1：获取数据查询模型构建指令，进入数据查询模块构建界面；所述数据查询模型构建界面包括模型构建区；所述模型构建区包括数据输出节点。

数据查询模型构建界面是指用于构建数据查询模型的界面，其构建的数据查询模型的内部模块，是以节点的形式显示于模型构建区，用户还可以对模型构建区的各个节点进行查看节点、编辑节点和执行节点等操作。数据查询模型构建界面还包括节点资源区，节点资源区相邻于模型构建区，节点资源区至少包括若干个数据源模块和若干个处理规则，方便用户直接从节点资源区中选择对象。

S2：将选中的数据源模块确定为目标数据源模块，在所述模型构建区生成对应的数据源节点；获取对所述数据源节点配置的源数据。

数据源模块是指支持从各种数据存储对象中读取存储源数据的模块，包括但不限于文本数据源模块、FTP（文件传输协议）数据源模块、Kafka（分布式发布订阅消息系统）数据源模块、关系数据源模块、示例数据源模块等。其中，文本数据源模块支持从hdfs（分布式文件系统）中读取Json、csv、parquet等类型的文件；FTP数据源模块支持通过FTP方式读取Excel、csv等文件；Kafka数据源支持从Kafka中读取数据json格式的数据和csv格式的数据；关系数据源支持从数据源中读取数据；示例数据源支持读取内置的示例数据源。

可选地，还可以将excel文件中的excel sheet确定为目标数据源模块。

选中数据源模块的方式可以是多样的，例如，通过将节点资源区内的数据源模型拖拽到模型构建区内、通过节点资源区的操作选项将选中的数据源模型添加到模型构建区等，以实现快速选中数据源模块并生成对应的数据源节点。

数据源节点配置的源数据来源于目标数据源模块。

S3：将选中的若干个处理模块确定为目标处理模块，在所述模型构建区生成对应的若干个数据处理节点，且将所述数据源节点的输出端与各个所述数据处理节点的输入端依序连接；所述数据处理节点加载有所述目标处理模块的数据处理规则。

处理模块包括但不限于过滤模块、空值处理模块、行选择模块、去重复值模块、值替换模块、数据清洗模块、列选择模块、派生列模块、拆分列模块、合并列模块、日期时间模块、组合查询模块、JOIN模块（连接模块）等。其中，过滤模块用于根据预编写的过滤表达式对数据进行过滤；控制处理模块用于将空值替换为均值、最大频数或者用户自定义的值等，实现空值的填充或者过滤；行选择模块用于根据不同的筛选或者删除条件，选择不同数量的行；去重复值模块用于删除数据集中的重复行；值替换模块通过值替换、字符替换或正则表达式替换取值或字符；数据清洗模块用于规范化字符串，可移除字符串中空格、标点符号、字母、数字等不必要的字符，或设置大小写方式；列选择模块用于从输入数据中选取指定列的数据字段；派生列模块用于在数据集中生成可行的新特征字段；拆分列模块用于根据特定的分隔符，将字符串字段的内容进行分割；合并列用于将两张表的数据按列合并，组成新表，行数不同时，缺失部分则自动填充空值；日期时间时刻，用于将数据转化为日期时间格式；组合查询模块支持选择字段、设置字段的聚合方式、调整字段顺序、数据去重等功能；JOIN模块是基于连接字段按照给定的连接方式进行两个表格的字段组合得到新的数据表，支持两个数据表的单个或多个字段为连接字段的连接操作，连接方式包括内连接、外连接、左连接、右连接。

数据源节点的输出端与一个数据处理节点的输入端，而数据处理节点的输出端与下一个数据处理节点的输入端连接，依次类推，以实现将所述数据源节点的输出端与各个所述数据处理节点的输入端依序连接的过程，其中，最后一个数据处理节点对应的输出结果为查询数据。

S4：将依序连接的最后一个所述数据处理节点的输出端与所述数据输出节点的输入端连接，所述数据输出节点用于将接收到的节点数据输出到预设的数据表。

具体地，数据输出节点用于将查询数据输出到高速缓存库的表。高速缓存库是列式数据库管理系统，它使用分布式的内存计算技术，在进行数据查询分析的时候，允许将原始库数据抽取到高速缓冲区域中，通过将将频繁访问的数据保存在相对能够快速存取的高速缓冲区域中，以避免在复杂的数据文件中寻找。

S5：响应于模型执行指令，将所述数据源节点的节点数据输出给所述数据处理节点，以通过所述目标处理模块的数据处理规则对所述节点数据进行数据处理，得到处理后的节点数据；通过所述数据输出节点将处理后的节点数据输出到预设的数据表。

其中，所述模型执行指令可以针对所有节点的一个总指令，也可以是多个针对节点的子执行指令，且所述子执行指令可以是单独执行。其中，所述节点包括数据源节点、数据处理节点和数据输出节点。

S6：根据目标数据源模块配置的源数据、各个目标处理模块加载的数据处理规则、目标数据源模块与各个目标处理模块的连接关系、目标处理模块之间的连接关系、目标处理模块与预设的数据表的连接关系，以及输出到预设的数据表的节点数据，生成数据查询模型。

相对于现有技术，本申请的数据查询模型构建方法，可以根据目标数据源模块生成数据源节点，根据目标处理模块生成若干个数据处理节点，基于数据源节点、各个数据处理节点以及数据输出节点的连接关系，得到目标数据源模块与各个目标处理模块的连接关系、目标处理模块之间的连接关系以及目标处理模块与预设的数据表的连接关系，从而获得可以根据各个目标处理模块的处理规则，对目标数据源模块的源数据进行数据处理，并将处理结果输出到预设的数据表的数据查询模型。无需用户自行编辑查询代码，简化了数据查询操作，并且用户还可以随时直接调用数据查询模型，以得到数据查询模型的数据查询结果，提高了用户得到数据查询结果的效率。

在一个可行的实施例中，所述数据查询模型构建指令包括查询模型转换指令；

所述获取数据查询模型构建指令，进入数据查询模块构建界面的步骤，包括：获取查询模型转换指令，进入数据查询模块构建界面，并将所述查询模型转换指令指向的查询模型的确定为所述目标数据源模块。

在本实施例中，用户可以将其他的查询模型作为目标数据源模块，将其他查询模型的查询结果作为数据源节点的源数据，从而拓展了数据查询模型的构建方式。其中，其他的查询模型包括但不限于sql（关系型数据库的标准语言）查询，即席查询等。sql查询是指基于sql查询语句生成查询条件的查询方法；即席查询是用户根据自己的需求，灵活的选择查询条件，系统能够根据用户的选择生成相应的统计报表的查询方式。

在一个可行的实施例中，所述数据源模块包括有若干个数据源对象；

请参阅图2，所述步骤S2：将选中的数据源模块确定为目标数据源模块，在所述模型构建区生成对应的数据源节点；获取对所述数据源节点配置的源数据的步骤，包括：

S201：将拖拽到所述模型构建区的数据源模块确定为目标数据源模块。

其中，步骤S201可以通过使用指针选定节点资源区的一个数据源模块，并将选中的数据源模块移动到模型构建区实现。

S202：从所述目标数据源模块的若干个数据源对象中，获取选中的数据源对象。

数据源对象是指存储有源数据的数据存储对象，可以是数据库，也可以是各种存储格式的文档。

S203：响应于数据源节点执行指令，将选中的数据源对象的数据加载到所述数据源节点，以作为所述数据源节点配置的源数据。

通过拖拽的方式可以快速建立与目标数据源模块对应的数据源节点，并通过选中数据源对象和数据源节点执行指令将数据源对象的数据配置到数据源节点中，简化了数据源节点的构建操作，可以提高数据源节点的构建效率。

在一个可行的实施例中，所述处理模块设有处理规则模板。处理规则模板是指只包括预设的处理规则，但缺乏待处理的数据对象的规则模板，处理规则模板与各项数据对象可以生成对应的处理规则选项。

请参阅图3，所述步骤S3：将选中的若干个处理模块确定为目标处理模块，在所述模型构建区生成对应的若干个数据处理节点，且将所述数据源节点的输出端与各个所述数据处理节点的输入端依序连接的步骤，包括：

S301：将拖拽到所述模型构建区的处理模块确定为目标处理模块。

其中，步骤S301可以通过使用指针选定节点资源区的一个处理模块，并将选中的处理模块移动到模型构建区实现。

S302：根据所述数据源节点的节点数据和所述目标处理模块对应的处理规则模板，生成处理规则选项。

例如，数据源节点对应的目标处理模块是列选择模块，结合数据源节点的节点数据中的各列数据，可以生成与各列数据对应的列选择选项，而这些列选择选项就是处理规则选项的一种。

S303：将选中的所述处理规则选项确定为目标处理规则，加载到所述数据处理节点。

通过拖拽的方式可以快速建立与目标处理模块对应的数据处理节点，并将用户选择的目标处理规则加载到数据处理节点，简化了数据处理节点的构建操作，可以提高数据处理节点的构建效率。

以下列举一个本实施例的例子：数据源节点对应的目标处理模块是列选择模块，数据源节点的节点数据包括有A-H列数据，生成的处理规则选项就包括A-H列数据对应的列选择选项，若选中的处理规则选项为B列数据和C列数据对应的列选择选项，加载到数据处理节点的目标处理规则就对应为B列数据和C列数据对应的列选择选项。当用户执行该数据处理节点时，数据处理节点输出的数据就是节点数据的B列数据和C列数据。

在一个可行的实施例中，所述步骤S3：将选中的若干个处理模块确定为目标处理模块，在所述模型构建区生成对应的若干个数据处理节点，且将所述数据源节点的输出端与各个所述数据处理节点的输入端依序连接；所述数据处理节点加载有所述目标处理模块的数据处理规则的步骤，包括；

S311：若所述数据处理节点的数量为1个，将所述数据源节点的输出端与所述数据处理节点的输入端连接，所述数据处理节点的输出端与所述数据输出节点的输入端连接。

当数据处理节点的数量为1个时，表示数据源节点配置的源数据只经由一个数据处理规则进行处理，以得到符合该数据处理规则进行处理的查询结果。

S312：若所述数据处理节点的数量超过1个，将所述数据源节点的输出端与一所述数据处理节点的输入端连接。

S313：以与所述数据源节点连接的数据处理节点为起始节点，根据各个所述数据处理节点的数据处理规则的顺序，将各个所述数据处理节点的输出端与下一所述数据处理节点的输入端连接。

S314：将最后一个所述数据处理节点的输出端与所述数据输出节点的输入端连接。

在本实施例中，根据数据处理节点的数量安排数据处理节点之间的连接关系、以及数据处理节点分别与数据源节点、数据处理节点之间的连接关系，可以得到各个数据处理规则之间的罗机关。

在一个可行的实施例中，所述数据查询模型构建界面设有缓存选项。

若勾选了所述缓存选项，执行目标节点时，将所述目标节点的节点数据存储到缓存空间，得到缓存数据；所述目标节点包括数据源节点、数据处理节点和数据输出节点。

下一次执行所述目标节点时，从所述缓存空间获取缓存数据作为执行得到的节点数据。

在本实施例中，通过从缓存空间获取前一次执行得到的节点数据，无需实时重复执行目标节点，可以提高获取节点数据的效率。其中，缓存空间的路径可以是云端服务器，也可以是本地服务器。

在一个可行的实施例中，所述数据查询模型构建界面设有小批量执行选项；

所述响应于数据源节点执行指令，将选中的数据源对象的数据加载到所述数据源节点，以作为所述数据源节点配置的源数据的步骤包括：

若选中了所述小批量执行选项，将选中的数据源对象的数据加载到所述数据源节点时，根据预设的数据获取量进行数据加载，以得到包含小批量数据的所述数据源节点；其中，所述小批量数据的数据量小于或等于选中的数据源对象的数据的数据量。

在本实施例中，通过选中小批量执行选项，可以降低数据源节点配置的源数据的数据量，同时降低处理节点和数据输出节点执行时需要处理的数据量，以提高数据查询模型的执行效率。小批量执行选项尤其应用于构建数据查询模型时的测试环节，通过选中小批量执行选项降低数据源节点配置的源数据的数据量，可以降低测试时耗费的时间，以尽快得到测试结果，以便于用户根据测试结果判断是否需要对数据查询模型的各个节点进行编辑修改。

例如，选中的小批量执行选项设定的数据量上限为1000，执行数据源节点时，数据源节点只从选中的数据源对象获取最多前1000条数据，具体表现为，当选中的数据源对象的数据大于或等于1000条时，只获取前1000条数据，当选中的数据源对象的数据小于1000条时，获取选中的数据源对象的所有数据。其中，1000条数据可以是指1000行数据或1000列数据。

在一个可行的实施例中，所述步骤S6：根据目标数据源模块配置的源数据、各个目标处理模块加载的数据处理规则、目标数据源模块与各个目标处理模块的连接关系、目标处理模块之间的连接关系、目标处理模块与预设的数据表的连接关系，以及输出到预设的数据表的节点数据，生成数据查询模型的步骤后，包括：

若所述数据查询模型设有更新周期，根据所述更新周期驱动所述数据查询模型重新执行所述数据源节点、所述数据处理节点和所述数据输出节点，以更新所述数据输出节点输出到预设的数据表的数据。

在本实施例中，可以根据更新周期驱动数据查询模型重新执行，以更新数据查询模型的查询结果，从而保持查询结果的准确性，也便于用户随时使用数据查询模型时，可以直接调用数据查询模型的查询结果。其中，更新周期可以是1天、2天、3天、7天等等。

在一个可行的实施例中，所述步骤S6：根据目标数据源模块配置的源数据、各个目标处理模块加载的数据处理规则、目标数据源模块与各个目标处理模块的连接关系、目标处理模块之间的连接关系、目标处理模块与预设的数据表的连接关系，以及输出到预设的数据表的节点数据，生成数据查询模型的步骤后，包括：

若所述数据源节点对应的数据源对象的数据发生改变，驱动所述数据查询模型重新执行所述数据源节点、所述数据处理节点和所述数据输出节点，以更新所述数据输出节点输出到预设的数据表的数据。

在本实施例中，可以在数据源对象的数据发生改变时，驱动数据查询模型重新执行，以更新数据查询模型的查询结果，从而保持查询结果的准确性。数据源对象的数据发生改变是指数据源对象的数据发生删减、增加或编辑的情况，可以在检测到数据源对象的数据被再次保存时，认为数据源对象的数据发生改变；也可以通过根据预设的对比周期，将数据源对象的数据与数据源节点配置的源数据进行对比，以判断数据源对象的数据是否发生改变。

在一个可行的实施例中，所述若所述数据源节点对应的数据源对象的数据发生改变，驱动所述数据查询模型重新执行所述数据源节点、所述数据处理节点和所述数据输出节点，以更新所述数据输出节点输出到预设的数据表的数据的步骤，包括：

获取所述数据输出节点输出到预设的数据表的节点数据的目标列属性和目标行属性。

根据所述目标列属性和所述目标行属性对所述数据源节点的源数据进行标记，得到源数据的第一标记列属性、第一标记行属性。

根据源数据的第一标记列属性和第一标记行属性，从数据源对象的数据获取对应的第二标记列属性和第二标记行属性。

将第一标记列属性和第一标记行属性的数据，与第二标记列属性和第二标记行属性的数据进行比对，若一致，确定数据源节点对应的数据源对象的数据没有发生改变，否则，确定数据源节点对应的数据源对象的数据发生了改变。

在本实施例中，可以根据数据输出节点输出到预设的数据表的节点数据，判断数据源对象的数据是否发生变化，从而提高是否需要驱动数据查询模型重新执行的判断要求，防止数据源对象的不影响查询结果的数据发生改变时，浪费数据查询模型重新执行的时间和系统资源。

本申请的一个实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现如上所述的数据查询模型构建方法的步骤。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中选定的功能的装置。这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中选定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中选定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD) 或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。

以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (7)

1.一种数据查询模型构建方法，其特征在于，包括：

获取数据查询模型构建指令，进入数据查询模块构建界面；所述数据查询模型构建界面包括模型构建区；所述模型构建区包括数据输出节点；

将选中的数据源模块确定为目标数据源模块，在所述模型构建区生成对应的数据源节点；获取对所述数据源节点配置的源数据；

将选中的若干个处理模块确定为目标处理模块，在所述模型构建区生成对应的若干个数据处理节点，且将所述数据源节点的输出端与各个所述数据处理节点的输入端依序连接；所述数据处理节点加载有所述目标处理模块的数据处理规则；

将依序连接的最后一个所述数据处理节点的输出端与所述数据输出节点的输入端连接，所述数据输出节点用于将接收到的节点数据输出到预设的数据表；

响应于模型执行指令，将所述数据源节点的节点数据输出给所述数据处理节点，以通过所述目标处理模块的数据处理规则对所述节点数据进行数据处理，得到处理后的节点数据；通过所述数据输出节点将处理后的节点数据输出到预设的数据表；

根据目标数据源模块配置的源数据、各个目标处理模块加载的数据处理规则、目标数据源模块与各个目标处理模块的连接关系、目标处理模块之间的连接关系、目标处理模块与预设的数据表的连接关系，以及输出到预设的数据表的节点数据，生成数据查询模型；

若所述数据源节点对应的数据源对象的数据发生改变，驱动所述数据查询模型重新执行所述数据源节点、所述数据处理节点和所述数据输出节点，以更新所述数据输出节点输出到预设的数据表的数据，包括：

获取所述数据输出节点输出到预设的数据表的节点数据的目标列属性和目标行属性；

根据所述目标列属性和所述目标行属性对所述数据源节点的源数据进行标记，得到源数据的第一标记列属性、第一标记行属性；

根据源数据的第一标记列属性和第一标记行属性，从数据源对象的数据获取对应的第二标记列属性和第二标记行属性；

将第一标记列属性和第一标记行属性的数据，与第二标记列属性和第二标记行属性的数据进行比对，若一致，确定数据源节点对应的数据源对象的数据没有发生改变，否则，确定数据源节点对应的数据源对象的数据发生了改变；

其中，所述将选中的数据源模块确定为目标数据源模块，在所述模型构建区生成对应的数据源节点；获取对所述数据源节点配置的源数据的步骤，包括：

将拖拽到所述模型构建区的数据源模块确定为目标数据源模块；

从所述目标数据源模块的若干个数据源对象中，获取选中的数据源对象；

响应于数据源节点执行指令，将选中的数据源对象的数据加载到所述数据源节点，以作为所述数据源节点配置的源数据；

所述数据查询模型构建界面设有小批量执行选项；

所述响应于数据源节点执行指令，将选中的数据源对象的数据加载到所述数据源节点，以作为所述数据源节点配置的源数据的步骤包括：

若选中了所述小批量执行选项，将选中的数据源对象的数据加载到所述数据源节点时，根据预设的数据获取量进行数据加载，以得到包含小批量数据的所述数据源节点；其中，所述小批量数据的数据量小于或等于选中的数据源对象的数据的数据量。

2.根据权利要求1所述的数据查询模型构建方法，其特征在于，所述处理模块设有处理规则模板；

所述将选中的若干个处理模块确定为目标处理模块，在所述模型构建区生成对应的若干个数据处理节点，且将所述数据源节点的输出端与各个所述数据处理节点的输入端依序连接的步骤，包括：

将拖拽到所述模型构建区的处理模块确定为目标处理模块；

根据所述数据源节点的节点数据和所述目标处理模块对应的处理规则模板，生成处理规则选项；

将选中的所述处理规则选项确定为目标处理规则，加载到所述数据处理节点。

3.根据权利要求2所述的数据查询模型构建方法，其特征在于，所述数据查询模型构建界面设有缓存选项；

若勾选了所述缓存选项，执行目标节点时，将所述目标节点的节点数据存储到缓存空间，得到缓存数据；所述目标节点包括数据源节点、数据处理节点和数据输出节点；

下一次执行所述目标节点时，从所述缓存空间获取缓存数据作为执行得到的节点数据。

4.根据权利要求1所述的数据查询模型构建方法，其特征在于，所述将选中的若干个处理模块确定为目标处理模块，在所述模型构建区生成对应的若干个数据处理节点，且将所述数据源节点的输出端与各个所述数据处理节点的输入端依序连接；所述数据处理节点加载有所述目标处理模块的数据处理规则的步骤，包括；

若所述数据处理节点的数量为1个，将所述数据源节点的输出端与所述数据处理节点的输入端连接，所述数据处理节点的输出端与所述数据输出节点的输入端连接；

若所述数据处理节点的数量超过1个，将所述数据源节点的输出端与一所述数据处理节点的输入端连接；

以与所述数据源节点连接的数据处理节点为起始节点，根据各个所述数据处理节点的数据处理规则的顺序，将各个所述数据处理节点的输出端与下一所述数据处理节点的输入端连接；

将最后一个所述数据处理节点的输出端与所述数据输出节点的输入端连接。

5.根据权利要求1所述的数据查询模型构建方法，其特征在于，所述数据查询模型构建指令包括查询模型转换指令；

所述获取数据查询模型构建指令，进入数据查询模块构建界面的步骤，包括：

获取查询模型转换指令，进入数据查询模块构建界面，并将所述查询模型转换指令指向的查询模型的确定为所述目标数据源模块。

6.根据权利要求1所述的数据查询模型构建方法，其特征在于，所述根据目标数据源模块配置的源数据、各个目标处理模块加载的数据处理规则、目标数据源模块与各个目标处理模块的连接关系、目标处理模块之间的连接关系、目标处理模块与预设的数据表的连接关系，以及输出到预设的数据表的节点数据，生成数据查询模型的步骤后，包括：

若所述数据查询模型设有更新周期，根据所述更新周期驱动所述数据查询模型重新执行所述数据源节点、所述数据处理节点和所述数据输出节点，以更新所述数据输出节点输出到预设的数据表的数据。

7.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现如权利要求1至6任一项所述的数据查询模型构建方法的步骤。

Images