CN118051224A - 数据处理方法、装置、计算机设备和存储介质 - Google Patents

Abstract

本申请涉及大数据领域，提供一种数据处理方法、装置、计算机设备、存储介质和计算机程序产品。所述方法包括：响应于终端发送的数据表选择指令，确定目标表和以及目标表对应的源表，获取目标表的第一元数据，以及源表的第二元数据，基于第一元数据和第二元数据进行数据关系预测和风险预测，生成、并推送数据候选项至终端，基于终端反馈的操作对象选择的数据候选项进行数据处理。采用本方法能够有效提高开发效率。

Description

数据处理方法、装置、计算机设备和存储介质

技术领域

本申请涉及大数据技术领域，特别是涉及一种数据处理方法、装置、计算机设备、存储介质和计算机程序产品。

背景技术

在大数据的处理和分析领域，SQL（Structured Query Language，结构化查询语言）作为一种经典且功能强大的工具，其在ETL（Extract，Transform，Load，数据提取、数据转换和数据加载）流程中的应用依旧占据着举足轻重的地位，其以其标准化的查询语法、成熟的系统集成能力、优化的性能以及广泛的技术人才基础，保持着在数据处理工作中不可或缺的核心角色。

目前，在源数据模型和目标数据模型属性众多、且相互关系错综复杂的环境下，SQL脚本编写通常是庞大且冗长的，开发人员需要繁复的脚本中探索逻辑实现的细节，拉长了开发周期，且脚本的业务逻辑深埋于代码之中，使得编写出的脚本的可维护性和可复用性很差。

由此可见，目前关于SQL脚本的开发存在效率低下的问题。

发明内容

基于此，有必要针对上述技术问题，提供一种能够提高开发效率的数据处理方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。

第一方面，本申请提供了一种数据处理方法。所述方法包括：

响应于终端发送的数据表选择指令，确定目标表和以及目标表对应的源表；

获取目标表的第一元数据，以及源表的第二元数据；

基于第一元数据和第二元数据进行数据关系预测和风险预测，生成、并推送数据候选项至终端；

基于终端反馈的操作对象选择的数据候选项进行数据处理。

在其中一个实施例中，基于第一元数据和第二元数据进行数据关系预测，生成、并推送数据候选项至终端，包括：

基于第一元数据和第二元数据进行主表预测，生成、并推送主表候选项至终端；

和/或，基于第一元数据和第二元数据进行表间关联关系预测，生成、并推送表间关联关系候选项至终端；

和/或，基于第一元数据和第二元数据进行输出字段预测，生成、并推送输出字段候选项至终端；

其中，数据候选项包括主表候选项、表间关联关系候选项和/或输出字段候选项。

在其中一个实施例中，基于第一元数据和第二元数据进行主表预测，生成、并推送主表候选项至终端，包括：

根据第一元数据中的主键信息和第二元数据中的字段信息，预测出可选主表，生成、并推送主表候选项至终端；

基于第一元数据和第二元数据进行表间关联关系字段预测，生成、并推送表间关联关系候选项至终端，包括：

根据第一元数据以及第二元数据中的字段名称、数据类型以及语义关系，预测表间关联方式和关联条件，生成、并推送表间关联关系候选项至终端；

基于第一元数据和第二元数据进行输出字段预测，生成、并推送输出字段候选项至终端，包括：

确定第一元数据和第二元数据中字段类型和字段名称的相似度，根据字段类型的相似度和字段名称的相似性度，生成、并推送输出字段候选项至终端。

在其中一个实施例中，基于第一元数据和第二元数据进行风险预测，生成、并推送数据候选项至终端，包括：

基于第一元数据和第二元数据进行内容超长预测、除零错误预测、填充值预测、数据重复预测以及值类型错误预测中的至少一种，得到数据风险预测结果；

在数据风险预测结果表征存在运行风险的情况下，生成、并推送数据修正候选项，数据候选项包括数据修正候选项。

在其中一个实施例中，得到数据风险预测结果之后，方法还包括：

基于数据风险预测结果，生成数据风险评估报告；

标记数据风险评估报告中的潜在风险点。

在其中一个实施例中，方法还包括：

在监测到使用频次超出预设频次阈值的数据操作规则的情况下，推送模板生成提示消息至终端；

在接收到终端反馈的模板消息的情况下，调用预设的规则模板生成器，生成与数据操作规则对应的数据操作模板；

其中，数据操作规则包括表间关联关系、字段加工规则以及过滤条件。

在其中一个实施例中，方法还包括：

响应于终端发送的图形数据块操作指令，获取输入数据，图形数据块操作指令是终端根据操作对象针对终端的界面中所显示的图形数据块的指定操作生成的，图形数据块包括函数数据块；

响应于函数数据块的操作指令，根据函数数据块中预设的数据加工规则对输入数据进行加工处理；

其中，函数数据块包括静态码值转换块以及动态码值转换块。

第二方面，本申请提供了一种数据处理装置。装置包括：

数据确定模块，用于响应于终端发送的数据表选择指令，确定目标表和以及目标表对应的源表；

数据获取模块，用于获取目标表的第一元数据，以及源表的第二元数据；

数据预测模块，用于基于第一元数据和第二元数据进行数据关系预测和风险预测，生成、并推送数据候选项至终端；

数据处理模块，用于基于终端反馈的操作对象选择的数据候选项进行数据处理。

第三方面，本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述任一数据处理方法实施例中的步骤。

第四方面，本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现任一数据处理方法实施例中的步骤。

第五方面，本申请还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现任一数据处理方法实施例中的步骤。

上述数据处理方法、装置、计算机设备、存储介质和计算机程序产品，为操作对象提供了可视化的数据处理操作方式，操作对象在终端的界面上选择相应的数据表后，终端发送数据表选择指令至服务器，服务器根据终端发送的数据表选择指令，确定目标表和对应的源表，获取目标表的第一元数据和源表的第二元数据，通过基于第一元数据和第二元数据进行数据关系预测和风险预测，能够识别数据之间的关系和潜在风险，在确定数据关系和风险预测结果之后，推送数据候选项至终端，终端于界面显示数据候选项，智能地为操作对象提供选择，有助于操作对象快速确定后续待操作的数据，提供数据处理效率，最后，根据终端反馈的操作对象选择的数据候选项，进行相应的数据处理，实现了与操作对象需求的实时匹配，提高了数据处理的适应性。综上所述，上述方案通过可视化的数据处理方式，为操作对象提供了更为智能便捷的数据处理方式，并且，结合数据关系预测、风险预测和实时反馈处理，准确地识别数据之间的关系和潜在风险，提供数据候选项，智能指导操作对象进行数据操作，使得操作对象能够直观地了解数据关系和风险，快速确定操作方向，提高操作效率，因此，采用上述方案能够有效提高开发效率。

附图说明

图1为一个实施例中数据处理方法的应用环境图；

图2为一个实施例中数据处理方法的流程示意图；

图3为一个实施例中数据关系预测步骤的流程示意图；

图4为另一个实施例中数据关系预测步骤的流程示意图；

图5为一个实施例中数据关系预测和数据风险预测步骤的流程示意图；

图6为一个实施例中数据处理方法的流程示意图；

图7为一个实施例中数据处理方法的详细流程示意图；

图8为一个实施例中数据处理装置的结构框图；

图9为另一个实施例中数据处理装置的结构框图；

图10为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

需要说明的是，本申请所涉及的数据（包括但不限于用于分析的数据如源表元数据和目标表元数据、存储的数据、展示的数据如图形数据块等），均为经用户授权或者经过各方充分授权的信息和数据，且相关数据的收集、存储、使用、处理和传输均符合相关国家和地区的相关法律法规和标准。在本申请的实施例中，可能提及某些软件、工具、组件、模型等业界已有方案，应当认为它们是示范性的，其目的仅仅是为了说明本申请技术方案实施中的可行性，但并不意味着申请人已经或者必然用到了该方案。

本申请实施例提供的数据处理方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与服务器104进行通信。数据存储系统可以存储服务器104需要处理的数据。数据存储系统可以集成在服务器104上，也可以放在云上或其他网络服务器上。具体地，可以是操作对象如开发人员在终端102的界面中显示的图形数据块进行操作，选择相应的目标表和源表，然后，通过终端102发送数据表选择指令至服务器104，服务器104响应于终端发送的数据表选择指令，解析数据表选择指令，确定开发人员所选择的目标表和以及目标表对应的源表，然后，获取目标表的第一元数据，以及源表的第二元数据，接着，基于第一元数据和第二元数据进行数据关系预测和风险预测，生成、并推送数据候选项至终端，之后，终端102于界面显示数据候选项供操作对象机进行选择，在操作对象选择了相应的数据候选项之后，终端102反馈操作对象选择的数据候选项，服务器104基于终端反馈的开发人员选择的数据候选项进行数据处理。

其中，终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑、物联网设备和便携式可穿戴设备，物联网设备可为智能音箱、智能电视、智能空调、智能车载设备等。便携式可穿戴设备可为智能手表、智能手环、头戴设备等。服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。

在一个实施例中，如图2所示，提供了一种数据处理方法，以该方法应用于图1中的服务器104为例进行说明，包括以下步骤：

S200，响应于终端发送的数据表选择指令，确定目标表和以及目标表对应的源表。

目标表是用户希望对其进行操作或者写入数据的表格。在数据操作中，用户通常会指定一个或多个目标表，以便执行特定的数据处理操作，比如插入新数据、更新现有数据、删除数据等。源表是提供数据的原始表格，通常作为目标表操作的数据来源。在数据处理过程中，通常会将数据从源表中提取、转换和加载到目标表中，以满足特定的需求。数据表选择指令是终端根据操作对象在终端的界面选择目标表和源表后生成的指令，用于指导服务器确定目标表和对应的源表。

在实际应用中，可以是开发人员吸收了Excel电子表格中的一系列用户交互方法和定义，例如函数、名称等元素，将这些直观且广为人知的概念应用于SQL脚本的开发中。同时，还借鉴了面向对象编程的思想，将SQL开发引向模块化的道路，通过模块化处理，每个SQL脚本都被视为一个独立的对象，拥有自己的属性和方法，这使得脚本的单独开发、测试、复用变得更加便捷。基于上述构思，涉及了一款可视化的数据处理工具，该工具将元数据管理和可视化操作结合起来，提供类似于BlocklySQL的拖拉式图形化界面，旨在实现无需编码即可进行数据处理和SQL查询等目的。

本实施例中，以操作对象为开发人员为例，可以是终端界面显示图形界面，开发人员通过图形界面上选择特定的一个或多个目标表和源表，指定数据表的操作方式，以及可能的数据处理要求，然后，终端响应于开发人员的数据表指定操作，生成、并推送携带目标表信息和源表信息的数据表选择指令至服务器，服务器解析该指令，提取出其中包含的目标表信息和源表信息，确定目标表和源表。

S400，获取目标表的第一元数据，以及源表的第二元数据。

元数据是描述数据的数据，通常用于描述表的结构、字段类型、约束条件等信息。

承接上述实施例，服务器在获取目标表和源表后，便分别获取目标表的元数据和源表的元数据，本实施例中，为便于区分，将目标表的元数据称为“第一元数据”，将源表的元数据称为“第二元数据”，可以理解的是，二者都是指表的元数据，包括但不限于字段名、数据类型、长度、约束条件等信息。

S600，基于第一元数据和第二元数据进行数据关系预测和风险预测，生成、并推送数据候选项至终端。

数据候选项是根据数据分析、预测或推断生成的可能性选项或建议，用于帮助用户做出决策或采取行动。在数据处理和分析领域，数据候选项通常是根据数据特征、关系或模式推断而来的潜在解决方案或建议。

具体实施时，基于第一元数据和第二元数据进行数据关系预测可以是：通过分析目标表的元数据和源表的元数据，可以预测数据之间的关系，比如主键-外键关系、关联关系等，通过字段之间的数据类型、约束条件等信息，可以推断数据之间的连接方式和关联性。基于第一元数据和第二元数据进行风险预测可以是：分析目标表和源表的元数据以及加工逻辑，提前识别并预防可能在数据处理过程中出现的各种风险。包括分析元数据中的约束条件、数据类型不匹配等信息，可以预测数据处理过程中可能存在的风险，如数据丢失、数据不一致等问题。然后，根据数据关系预测和风险预测的结果，系统生成数据候选项，包括可能的数据关系、数据连接方式、潜在风险等信息。接着，将生成的数据候选项推送至终端。

S800，基于终端反馈的操作对象选择的数据候选项进行数据处理。

终端在接收到服务器推送的数据候选项之后，于图形界面上显示一个或多个数据候选项，用户查看数据候选项，理解数据关系预测结果和风险预测结果，进而可根据实际需求选择相应的数据候选项，当用户选择相应的数据候选项之后，终端会将用户选择的数据候选项反馈给服务器，服务器基于终端反馈的数据候选项进行相应的数据处理，例如，若用户选择了数据表之间的关联关系，则服务器将相应的数据表进行关联。

上述数据处理方法中，为操作对象提供了可视化的数据处理操作方式，操作对象在终端的界面上选择相应的数据表后，终端发送数据表选择指令至服务器，服务器根据终端发送的数据表选择指令，确定目标表和对应的源表，获取目标表的第一元数据和源表的第二元数据，通过基于第一元数据和第二元数据进行数据关系预测和风险预测，能够识别数据之间的关系和潜在风险，在确定数据关系和风险预测结果之后，推送数据候选项至终端，终端于界面显示数据候选项，智能地为操作对象提供选择，有助于操作对象快速确定后续待操作的数据，提供数据处理效率，最后，根据终端反馈的操作对象选择的数据候选项，进行相应的数据处理，实现了与操作对象需求的实时匹配，提高了数据处理的适应性。综上所述，上述方案通过可视化的数据处理方式，为操作对象提供了更为智能便捷的数据处理方式，并且，结合数据关系预测、风险预测和实时反馈处理，准确地识别数据之间的关系和潜在风险，提供数据候选项，智能指导操作对象进行数据操作，使得操作对象能够直观地了解数据关系和风险，快速确定操作方向，提高操作效率，因此，采用上述方案有效提高了开发效率。如图3所示，在其中一个实施例中，S600包括：

S620，基于第一元数据和第二元数据进行主表预测，生成、并推送主表候选项至终端。

S640，基于第一元数据和第二元数据进行表间关联关系预测，生成、并推送表间关联关系候选项至终端。

S660，基于第一元数据和第二元数据进行输出字段预测，生成、并推送输出字段候选项至终端。

其中，数据候选项包括主表候选项、表间关联关系候选项和/或输出字段候选项。

具体实施时，服务器在获取第一元数据和第二元数据后，会进行一系列的数据关系猜测，包括：分析第一元数据和第二元数据的结构、字段类型等信息，预测可能的主表，并生成主表候选项，然后，推送主表候选项至终端，用户可以查看主表候选项并进行进一步的确认或调整。分析第一元数据和第二元数据的字段和数据类型等，预测表间关联关系，并生成表间关联关系候选项，然后，推送表间关联关系候选项至终端，用户可以查看表间关联关系候选项，进一步确认需要关联的数据表。分析第一元数据和第二元数据的字段含义、数据类型等信息，推断可能的输出字段，并生成输出字段候选项，用户可以查看输出字段候选项，并确认相应的输出字段。分析目标表的聚合需求，推测在查询中是否需要进行分组，需要输入Group By字段等其他分许字段，若需要分组，则生成分组候选项如Group By，推送分组候选项至终端，终端显示分组候选项，用户查看分组候选项，进一步确认是否需要分组。可以理解的是，上述数据关系预测仅作为示例性说明，在实际应用中，服务器可以进行上述至少一种数据关系分析，在其他实施例中，还可以有其他维度的预测分析过程，在此不一一列举。

本实施例中，通过数据关系预测，提供主表预测、表间关联关系预测和输出字段预测的数据候选项，能够帮助用户更好地理解数据关系、字段需求以及可能的数据处理方案，有效地支持用户在数据处理和分析过程中做出更好的决策。

如图4所示，在其中一个实施例中，S620，包括：S622，根据第一元数据中的主键信息和第二元数据中的字段信息，预测出可选主表，生成、并推送主表候选项至终端。

S640，包括：S642，根据第一元数据以及第二元数据中的字段名称、数据类型以及语义关系，预测表间关联方式和关联条件，生成、并推送表间关联关系候选项至终端。

S660，包括：S662，确定第一元数据和第二元数据中字段类型和字段名称的相似度，根据字段类型的相似度和字段名称的相似性度，生成、并推送输出字段候选项至终端。

本实施例是对上述实施例中的数据关系预测过程的进一步说明。具体地，主表预测过程可以是：根据目标表的主键信息，结合源表的字段信息，比较主键字段在源表中的关联性和唯一性，预测出可能的主表。表间关联关系预测过程可以是：根据第一元数据和第二元数据的字段名称、数据类型以及语义信息，包括字段含义和数据格式等，对第一元数据和第二元数据中的字段进行匹配，找出可能的关联字段，可以推测可能的表间关联关系，包括关联方式（内连接、外连接等）和关联条件。 如果两个数据表中的字段具有相同的值，并且在两个表中都存在，则关联方式可以是内连接，如果存在一个表中的值在另一个表中可能不存在，或者需要保留所有表中的数据，则表关联方式可能是外连接。如果两个字段的值相等，则可使用等值连接；如果需要基于范围进行连接，如日期范围，可使用范围连接；根据具体的业务需求和数据特征，还可能存在其他复杂的连接条件，如多字段连接等。通过上述关联关系分析，可以生成表间关联关系候选项，包括关联方式和可能的关联条件，将生成的表间关联关系候选项推送至终端，开发人员可以查看预测结果并进行确认或调整。

此外，还可以通过字符串相似度算法，计算第一元数据和第二元数据中字段名称的相似性，以及字段类型的相似度，然后，根据字段名称的相似度，匹配第一元数据和第二元数据中相似的字段名称，根据字段类型相似度，确定可能匹配的输出字段类型，最后，结合字段名称相似度和字段类型相似度，对匹配结果进行排序，生成输出字段候选项。

本实施例中，通过分析第一元数据和第二元数据中的字段类型、字段名称以及语义关系，预测可能的主表、可能的表间关联关系包括关联方式和关联条件，以及输出字段，能够帮助用户更好地理解数据之间的关系，为数据处理和分析提供指导。

如图5所示，在其中一个实施例中，基于第一元数据和第二元数据进行风险预测，生成、并推送数据候选项至终端，包括：S680，基于第一元数据和第二元数据进行内容超长预测、除零错误预测、填充值预测、数据重复预测以及值类型错误预测中的至少一种，得到数据风险预测结果；在数据风险预测结果表征存在运行风险的情况下，生成、并推送数据修正候选项至终端。

数据风险预测结果包括识别到的风险类型如内容超长、风险等级以及影响程度等。在实际应用中，当开发人员完成一个目标字段的开发后，服务器可以对该字段进行风险预测，对于整表保存后，可以是对全部字段和关联关系进行分析。可以是通过深入分析源表和目标表的元数据以及加工逻辑，提前识别并预测可能在数据处理过程中出现的各种风险，包括但不限于内容超长、除零错误、将空值插入非空字段、因关联产生的数据重复或笛卡尔积问题、以及类型不匹配等问题，得到数据风险预测结果。此外，服务器可以提供一个数据处理的预览执行功能，模拟实际的数据流转，当开发人员想要预览执行后的效果时，可以通过点击“执行预览”按钮，来模拟数据流程，识别出可能存在的风险和问题。

具体地，内容超长的预测可以是：比较源字段和目标字段的长度定义，预测在数据转换或加载过程中可能出现的内容超长问题。如果源字段的长度超过目标字段的最大长度限制，服务器将推送提醒消息或数据修正候选项，提醒开发人员可以采取如截断数据或重新设计目标字段的措施，降低内容超长的概率。关于除零预测可以是：在执行涉及除法的数据加工逻辑时，服务器检查所有的分母字段。如果存在分母为零的风险，将推送数据修正候选项，并建议加入逻辑来处理或避免这类错误，例如通过条件语句确保分母不为零，或者在计算前对数据进行预处理。关于填充值预测可以是：通过第一元数据和第二元数据中的约束定义，预测哪些字段是不允许空值的。在数据流设计时，如果检测到有空值可能被插入这些非空字段的可能性，则可以提供相应的数据修正候选项，并推送预警信息，并可能建议用户添加数据清洗的步骤，如使用默认值填充或者在数据源中进行修正。关于值类型错误预测可以是：分析数据流中各字段的数据类型，并将其与目标表的类型进行对比。如果发现类型不匹配，例如用户尝试将文本数据插入到整数类型的字段，则会立即识别出这一风险，并提供类型转换的建议或自动修正的候选项。关于因关联产生的数据重复和笛卡尔积问题可以是：预测数据关联操作可能导致数据重复或笛卡尔积问题，使得数据量过大或不符合预期。可以理解的是，上述风险预测仅是示例型说明，在实际应用中，还可以包括其他类型的风险预测。

本实施例中，通过对元数据进行多维度的风险预测，能够及时发现潜在风险和问题，提醒开发人员进行风险修正，提高了数据处理过程的安全性和准确性，减少了在生产环境中产生重大的错误和问题。此外，不仅节省了调试和修正问题的时间，也确保了数据质量和数据处理工作流的连贯性。

如图6所示，在其中一个实施例中，S800之后，方法还包括：S900，基于数据风险预测结果，生成数据风险评估报告，标记数据风险评估报告中的潜在风险点。

数据风险评估报告包括风险点描述、风险等级及说明、影响程度分析和建议措施等。其中，风险点描述包括具体问题和可能原因。风险等级包括高、中、低风险，以及每个潜在风险点被评定为高、中、低风险的原因，以及可能的影响范围。

承接上述实施例，在服务器得到数据风险预测结果之后，可以将识别出的潜在风险点，如内容超长、除零错误、空值插入、数据重复、笛卡尔积、类型不匹配等，按照类型进行分类，根据潜在风险点的影响程度和可能性，评定每个风险点的风险等级，如高、中、低，分析每个风险点可能对数据处理和分析结果的影响程度，针对每个潜在风险点，提供相应的建议措施。 然后，根据以上分析，生成数据风险评估报告，详细描述潜在风险点、风险等级、影响程度和建议措施。进一步地，为了便于开发人员直观了解潜在风险点，可以在数据风险评估报告中标记出潜在风险点。

本实施例中，数据风险评估报告可以帮助开发人员全面了解数据处理过程中可能存在的潜在风险，提供详细的分析和建议，帮助开发人员有效管理和降低数据处理风险，确保数据质量和分析结果的准确性。

如图6所示，在其中一个实施例中，方法还包括：S920，在监测到使用频次超出预设频次阈值的数据操作规则的情况下，推送模板生成提示消息至终端，在接收到终端反馈的模板生成消息的情况下，调用预设的规则模板生成器，生成与数据操作规则对应的数据操作模板。

其中，数据操作规则包括表间关联关系、字段加工规则以及过滤条件。

本申请提供的数据加工工具融合了多样化的复用特性，开发人员可以可视化的方式主动定义和保存模板，如特定的表间关联关系、字段加工规则以及过滤条件。具体地，开发人员可以定义一系列的字段转换规则，比如数据类型转换、字符串操作或日期格式化，并将这些规则保存为模板，以便在不同的数据转换任务中重用。开发人员还可以创建通用的过滤模板，这些模板可以包括各种逻辑条件，并可在多个查询语句构建过程中应用，以确保数据查询的一致性和准确性。例如，可以为特定的业务逻辑创建一个过滤模板，并在需要的时候将其应用于不同的数据集。

除上述支持用户创建模板之外，服务器还可自动从用户的历史操作记录中学习和识别常用的模式，分析用户已经执行过的数据处理方案，识别出频繁使用的数据关系和处理步骤，并将这些数据关系和步骤抽象成可复用的模板。例如，如果服务器检测到一个特定的表间关联关系在多个查询中被多次使用，那么，服务器会推送模板生成提示消息至终端，以提醒用户将这种关联关系保存为模板，以便在未来的查询构建中可以快速引用。同样地，对于过滤条件和字段加工规则也是如此，服务器会监测被频繁应用于相似的数据集的过滤条件，以及被频繁使用的字段加工，或者某些字段加工方法如何在不同的数据处理任务中起到关键作用。当监测到使用频次超出预设频次阈值的数据操作规则的情况下，服务器会推送模板生成提示消息至终端，以提示用户将这些规则保存为模板，甚至可以自动为用户生成模板。

除上述内容之外，本工具还可以支持协同工作，允许团队成员共享和编辑查询模型和转换规则。这种协作特性使得团队成员可以互相审查工作，共享最佳实践，并维护数据处理的标准。

本实施例中，通过监测数据操作规则的使用情况并自动化生成数据操作模板，可以提高工作效率、降低错误和风险，规范数据操作流程，并提升用户体验，从而带来更高的工作效率和数据处理质量。

如图6所示，在其中一个实施例中，方法还包括：S940，响应于终端发送的图形数据块操作指令，获取输入数据，图形数据块操作指令是终端根据操作对象针对终端的界面中所显示的图形数据块的指定操作生成的，图形数据块包括函数数据块。

S920，响应于函数数据块的操作指令，根据函数数据块中预设的数据加工规则对输入数据进行加工处理。

其中，函数数据块包括静态码值转换块以及动态码值转换块。

图形数据块也可称为图形化数据操作块（简称数据块），其是指用来呈现数据的图形元素或图形对象，每一个数据块都是对具有复用性的数据处理规则和元素的封装。例如，源字段、字符或数值常量、以及数据库函数都属于数据块。本实施例中，数据块包括函数数据块，该函数数据块内封装有复用性的数据处理逻辑，在最终渲染为SQL语句时会自动解构，从而不需要依赖数据库自定义方法，使得处理逻辑更加灵活和高效。具体地，函数数据块包括静态码值块和动态码值块。静态码值块是指在程序或系统中定义的固定数值或常量块，其数值在程序执行期间不会发生变化。静态码值块通常在程序中用来表示固定的参数、常量或配置信息，其值在程序运行时保持不变。动态码值块则是指在程序或系统中可以动态变化的数据块。这些数据块的值可能会随着程序的执行、用户输入或其他因素而发生变化。动态码值块通常用来存储需要在程序运行时根据不同情况动态更新的数据，比如用户输入、计算结果等。

本实施例中，用户可以通过拖拽图形数据块至工作区，并设置相应的参数，便能实现相应的自动化操作。

具体实施时，开发人员可以直接在图形界面上通过拖动和放置预定义的数据块来构建数据流和SQL查询语句，每当开发人员通过图形化界面选择和配置图形化数据操作块时，服务器都会自动读取该数据操作块关联的元数据，获取输入数据。当开发人员拖动函数数据块时，服务器会根据函数数据块中预设的数据加工规则对输入数据进行加工处理。例如，对输入数据进行静态码值转换、字符串复杂裁剪拼接、数值运算等，例如，将输入的数字序列1、2和3分别转换为对应的字母序列a、b和c。这种转换方式可以用于数据清洗、数据标准化或数据映射等场景。在定义时动态码值数据块需要接收一个数据块参数作为源码值来源，需要指定的码值转换表，转换表的原值字段、目标字段等。当开发人员使用动态码值转换字段时，不需要在选择来源表时选择码值转换表作为数据来源表，在渲染为SQL语句时将自动进行左关联，这种自动解构的方式可以减少重复劳动，降低出错的可能性，同时也方便了系统的维护和扩展。

此外，开发人员在选择和配置数据块时，服务器还能智能地指导用户完成查询语句的构建。例如，当用户需要过滤数据时，工具会根据元数据中定义的字段类型如（char和int）和约束条件，提供相应的过滤选项，示例性地，如果某字段是CHAR类型，工具会提供等于（=）、不等于（!=）、包含（like模糊查询）等过滤选项。如果字段是INT或NUM类型，系统可能会提供大于（>）、小于（<）、范围（between）、等于（=）等选项。然后，服务器根据用户的选择和配置，将用户选择的过滤条件、字段、表名等信息结合起来，生成符合SQL语法规范的查询语句。

本实施例中，通过预先定义支持可视化选择和配置的图形数据块，能够使得用户以可视化的方式创建SQL语句，并且，能够可以提高数据处理的灵活性和效率，尤其适用于需要频繁进行类似转换操作的场景。

为了对本申请提供的数据处理方法进行更为清楚的说明，下面结合一个具体实施例和附图7进行说明，该具体实施例包括以下步骤：

S200，响应于终端发送的数据表选择指令，确定目标表和以及目标表对应的源表。

S400，获取目标表的第一元数据，以及源表的第二元数据。

S622，根据第一元数据中的主键信息和第二元数据中的字段信息，预测出可选主表，生成、并推送主表候选项至终端。

S642，根据第一元数据以及第二元数据中的字段名称、数据类型以及语义关系，预测表间关联方式和关联条件，生成、并推送表间关联关系候选项至终端。

S662，确定第一元数据和第二元数据中字段类型和字段名称的相似度，根据字段类型的相似度和字段名称的相似性度，生成、并推送输出字段候选项至终端。

S680，基于第一元数据和第二元数据进行内容超长预测、除零错误预测、填充值预测、数据重复预测以及值类型错误预测中的至少一种，得到数据风险预测结果，在数据风险预测结果表征存在运行风险的情况下，生成、并推送数据修正候选项。

S800，基于终端反馈的操作对象选择的数据候选项进行数据处理。

S900，基于数据风险预测结果，生成数据风险评估报告，标记数据风险评估报告中的潜在风险点。

S920，响应于终端发送的图形数据块操作指令，获取输入数据，图形数据块操作指令是终端根据操作对象针对终端的界面中所显示的图形数据块的指定操作生成的，图形数据块包括函数数据块。

S940，响应于函数数据块的操作指令，根据函数数据块中预设的数据加工规则对输入数据进行加工处理。

应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的数据处理方法的数据处理装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个数据处理装置实施例中的具体限定可以参见上文中对于数据处理方法的限定，在此不再赘述。

在一个实施例中，如图8所示，提供了一种数据处理装置800，包括：数据确定模块810、数据获取模块820、数据预测模块830和数据处理模块840，其中：

数据确定模块810，用于响应于终端发送的数据表选择指令，确定目标表和以及目标表对应的源表。

数据获取模块820，用于获取目标表的第一元数据，以及源表的第二元数据。

数据预测模块830，用于基于第一元数据和第二元数据进行数据关系预测和风险预测，生成、并推送数据候选项至终端。

数据处理模块840，用于基于终端反馈的操作对象选择的数据候选项进行数据处理。

在其中一个实施例中，数据预测模块830，用于基于所述第一元数据和所述第二元数据进行主表预测，生成、并推送主表候选项至终端；基于第一元数据和第二元数据进行表间关联关系预测，生成、并推送表间关联关系候选项至终端；基于第一元数据和第二元数据进行输出字段预测，生成、并推送输出字段候选项至终端；其中，数据候选项包括主表候选项、表间关联关系候选项和/或输出字段候选项。

在其中一个实施例中，数据预测模块830，还用于根据第一元数据中的主键信息和第二元数据中的字段信息，预测出可选主表，生成、并推送主表候选项至终端；根据第一元数据以及第二元数据中的字段名称、数据类型以及语义关系，预测表间关联方式和关联条件，生成、并推送表间关联关系候选项至终端；确定第一元数据和第二元数据中字段类型和字段名称的相似度，根据字段类型的相似度和字段名称的相似性度，生成、并推送输出字段候选项至终端。

在其中一个实施例中，数据预测模块830，还用于基于第一元数据和第二元数据进行内容超长预测、除零错误预测、填充值预测、数据重复预测以及值类型错误预测中的至少一种，得到数据风险预测结果，在数据风险预测结果表征存在运行风险的情况下，生成、并推送数据修正候选项，数据候选项包括数据修正候选项。

在其中一个实施例中，数据预测模块830，还用于基于数据风险预测结果，生成数据风险评估报告，标记数据风险评估报告中的潜在风险点。

如图9所示，在其中一个实施例中，装置还包括规则模板生成模块850，用于在监测到使用频次超出预设频次阈值的数据操作规则的情况下，推送模板生成提示消息至终端，在接收到终端反馈的模板生成消息的情况下，调用预设的规则模板生成器，生成与数据操作规则对应的数据操作模板，其中，数据操作规则包括表间关联关系、字段加工规则以及过滤条件。

如图9所示，在其中一个实施例中，装置还包括：数据加工模块860，用于响应于终端发送的图形数据块操作指令，获取输入数据，图形数据块操作指令是终端根据操作对象针对终端的界面中所显示的图形数据块的指定操作生成的，响应于函数数据块的操作指令，根据函数数据块中预设的数据加工规则对输入数据进行加工处理，其中，函数数据块包括静态码值转换块以及动态码值转换块。

上述数据处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图10所示。该计算机设备包括处理器、存储器、输入/输出接口(Input/Output，简称I/O）和通信接口。其中，处理器、存储器和输入/输出接口通过系统总线连接，通信接口通过输入/输出接口连接到系统总线。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储目标表和源表中的元数据、以及图形数据块等数据。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种可视化处理方法。

本领域技术人员可以理解，图10中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述任一数据处理方法实施例中的步骤。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述任一数据处理方法实施例中的步骤。

在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述任一数据处理方法实施例中的步骤。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器（Read-OnlyMemory，ROM）、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器（ReRAM）、磁变存储器（Magnetoresistive Random Access Memory，MRAM）、铁电存储器（Ferroelectric Random Access Memory，FRAM）、相变存储器（Phase Change Memory，PCM）、石墨烯存储器等。易失性存储器可包括随机存取存储器（Random Access Memory，RAM）或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器（Static Random Access Memory，SRAM）或动态随机存取存储器（Dynamic RandomAccess Memory，DRAM）等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims (17)

1.一种数据处理方法，其特征在于，所述方法包括：

响应于终端发送的数据表选择指令，确定目标表和以及所述目标表对应的源表；

获取所述目标表的第一元数据，以及所述源表的第二元数据；

基于所述第一元数据和所述第二元数据进行数据关系预测和风险预测，生成、并推送数据候选项至所述终端；

基于所述终端反馈的操作对象选择的数据候选项进行数据处理。

2.根据权利要求1所述的方法，其特征在于，基于所述第一元数据和所述第二元数据进行数据关系预测，生成、并推送数据候选项至所述终端，包括：

基于所述第一元数据和所述第二元数据进行主表预测，生成、并推送主表候选项至所述终端；

和/或，基于所述第一元数据和所述第二元数据进行表间关联关系预测，生成、并推送表间关联关系候选项至所述终端；

和/或，基于所述第一元数据和所述第二元数据进行输出字段预测，生成、并推送输出字段候选项至所述终端；

其中，所述数据候选项包括主表候选项、表间关联关系候选项和/或输出字段候选项。

3.根据权利要求2所述的方法，其特征在于，所述基于所述第一元数据和所述第二元数据进行主表预测，生成、并推送主表候选项至所述终端，包括：

根据所述第一元数据中的主键信息和所述第二元数据中的字段信息，预测出可选主表，生成、并推送主表候选项至所述终端；

基于所述第一元数据和所述第二元数据进行表间关联关系字段预测，生成、并推送表间关联关系候选项至所述终端，包括：

根据所述第一元数据以及所述第二元数据中的字段名称、数据类型以及语义关系，预测表间关联方式和关联条件，生成、并推送表间关联关系候选项至所述终端；

基于所述第一元数据和所述第二元数据进行输出字段预测，生成、并推送输出字段候选项至所述终端，包括：

确定所述第一元数据和所述第二元数据中字段类型和字段名称的相似度，根据所述字段类型的相似度和所述字段名称的相似性度，生成、并推送输出字段候选项至所述终端。

4.根据权利要求1至3任意一项所述的方法，其特征在于，基于所述第一元数据和所述第二元数据进行风险预测，生成、并推送数据候选项至所述终端，包括：

基于所述第一元数据和所述第二元数据进行内容超长预测、除零错误预测、填充值预测、数据重复预测以及值类型错误预测中的至少一种，得到数据风险预测结果；

在所述数据风险预测结果表征存在运行风险的情况下，生成、并推送数据修正候选项，所述数据候选项包括数据修正候选项。

5.根据权利要求4所述的方法，其特征在于，所述得到数据风险预测结果之后，所述方法还包括：

基于所述数据风险预测结果，生成数据风险评估报告；

标记所述数据风险评估报告中的潜在风险点。

6.根据权利要求1至3任意一项所述的方法，其特征在于，所述方法还包括：

在监测到使用频次超出预设频次阈值的数据操作规则的情况下，推送模板生成提示消息至终端；

在接收到所述终端反馈的模板生成消息的情况下，调用预设的规则模板生成器，生成与所述数据操作规则对应的数据操作模板；

其中，所述数据操作规则包括表间关联关系、字段加工规则以及过滤条件。

7.根据权利要求1至3任意一项所述的方法，其特征在于，所述方法还包括：

响应于终端发送的图形数据块操作指令，获取输入数据，所述图形数据块操作指令是所述终端根据操作对象针对终端的界面中所显示的图形数据块的指定操作生成的，所述图形数据块包括函数数据块；

响应于所述函数数据块的操作指令，根据所述函数数据块中预设的数据加工规则对所述输入数据进行加工处理；

其中，所述函数数据块包括静态码值转换块以及动态码值转换块。

8.一种数据处理装置，其特征在于，所述装置包括：

数据确定模块，用于响应于终端发送的数据表选择指令，确定目标表和以及所述目标表对应的源表；

数据获取模块，用于获取所述目标表的第一元数据，以及所述源表的第二元数据；

数据预测模块，用于基于所述第一元数据和所述第二元数据进行数据关系预测和风险预测，生成、并推送数据候选项至所述终端；

数据处理模块，用于基于所述终端反馈的操作对象选择的数据候选项进行数据处理。

9.根据权利要求8所述的装置，其特征在于，所述数据预测模块，用于基于所述第一元数据和所述第二元数据进行主表预测，生成、并推送主表候选项至所述终端；

和/或，基于所述第一元数据和所述第二元数据进行表间关联关系预测，生成、并推送表间关联关系候选项至所述终端；

和/或，基于所述第一元数据和所述第二元数据进行输出字段预测，生成、并推送输出字段候选项至所述终端；

其中，所述数据候选项包括主表候选项、表间关联关系候选项和/或输出字段候选项。

10.根据权利要求9所述的装置，其特征在于，所述数据预测模块，还用于根据所述第一元数据中的主键信息和所述第二元数据中的字段信息，预测出可选主表，生成、并推送主表候选项至所述终端；

和/或，根据所述第一元数据以及所述第二元数据中的字段名称、数据类型以及语义关系，预测表间关联方式和关联条件，生成、并推送表间关联关系候选项至所述终端；

和/或，确定所述第一元数据和所述第二元数据中字段类型和字段名称的相似度，根据所述字段类型的相似度和所述字段名称的相似性度，生成、并推送输出字段候选项至所述终端。

11.根据权利要求8至10任意一项所述的装置，其特征在于，所述数据预测模块，用于基于所述第一元数据和所述第二元数据进行内容超长预测、除零错误预测、填充值预测、数据重复预测以及值类型错误预测中的至少一种，得到数据风险预测结果，在所述数据风险预测结果表征存在运行风险的情况下，生成、并推送数据修正候选项，所述数据候选项包括数据修正候选项。

12.根据权利要求11所述的装置，其特征在于，所述数据预测模块，还用于基于所述数据风险预测结果，生成数据风险评估报告，标记所述数据风险评估报告中的潜在风险点。

13.根据权利要求8至10任意一项所述的装置，其特征在于，所述装置还包括规则模板生成模块，用于在监测到使用频次超出预设频次阈值的数据操作规则的情况下，推送模板生成提示消息至终端，在接收到所述终端反馈的模板生成消息的情况下，调用预设的规则模板生成器，生成与所述数据操作规则对应的数据操作模板，其中，所述数据操作规则包括表间关联关系、字段加工规则以及过滤条件。

14.根据权利要求8至10任意一项所述的装置，其特征在于，所述图形数据块包括函数数据块；所述装置还包括：数据加工模块，用于响应于终端发送的图形数据块操作指令，获取输入数据，所述图形数据块操作指令是所述终端根据操作对象针对终端的界面中所显示的图形数据块的指定操作生成的，响应于所述函数数据块的操作指令，根据所述函数数据块中预设的数据加工规则对所述输入数据进行加工处理，其中，所述函数数据块包括静态码值转换块以及动态码值转换块。

15.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。

16.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。

17.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。