CN117762931A - 数据开发方法、装置、计算机设备和存储介质 - Google Patents
数据开发方法、装置、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN117762931A CN117762931A CN202311732236.XA CN202311732236A CN117762931A CN 117762931 A CN117762931 A CN 117762931A CN 202311732236 A CN202311732236 A CN 202311732236A CN 117762931 A CN117762931 A CN 117762931A
- Authority
- CN
- China
- Prior art keywords
- data
- demand
- target
- attribute information
- temporary
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 60
- 238000011161 development Methods 0.000 title claims abstract description 41
- 239000013077 target material Substances 0.000 claims abstract description 94
- 239000000463 material Substances 0.000 claims abstract description 49
- 238000004590 computer program Methods 0.000 claims abstract description 40
- 238000000889 atomisation Methods 0.000 claims abstract description 23
- 238000007405 data analysis Methods 0.000 claims abstract description 18
- 238000001914 filtration Methods 0.000 claims description 20
- 238000010276 construction Methods 0.000 claims description 8
- 230000010354 integration Effects 0.000 claims description 6
- 238000012545 processing Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 229910021389 graphene Inorganic materials 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请涉及一种数据开发方法、装置、计算机设备、存储介质和计算机程序产品。该方法包括：获取需求数据表。根据预设原子化拆分方法将需求数据表进行拆分，得到初始需求表。在预设素材库中确定每个初始需求表对应的目标素材，并根据目标素材构建每个初始需求表对应的临时表。将临时表进行集成，得到目标表。目标表包含用于数据分析的结构化语句。采用本方法能够提高数据开发效率。
Description
技术领域
本申请涉及自动化开发技术领域，特别是涉及一种数据开发方法、装置、计算机设备、存储介质和计算机程序产品。
背景技术
在现代商业环境中，数据被认为是最重要的资产之一，随着企业规模的扩大和业务量的增加，商务数据中的信息量也急剧增加。为了有效管理和分析这些海量数据，企业需要可靠的商务数据智能开发解决方案。
传统技术中，开发人员利用NL2SQL（Natural Language To Structured QueryLanguage，将用户自然语言转化成数据库可执行的SQL语句）技术，得到数据开发需求相对应的SQL语句，通过该SQL语句对大量数据进行访问和检索，实现数据开发。
然而，传统数据开发技术，由于NL2SQL技术难以生成复杂逻辑的SQL语句，且数据开发需要开发人员掌握大量业务知识，导致数据开发的效率较低。
发明内容
基于此，有必要针对上述技术问题，提供一种数据开发方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
第一方面，本申请提供了一种数据开发方法，包括：
获取需求数据表；
根据预设原子化拆分方法将所述需求数据表进行拆分，得到初始需求表；
在预设素材库中确定每个所述初始需求表对应的目标素材，并根据所述目标素材构建每个所述初始需求表对应的临时表；
将所述临时表进行集成，得到目标表；所述目标表包含用于数据分析的结构化语句。
在其中一个实施例中，所述根据预设原子化拆分方法将所述需求数据表进行拆分，得到初始需求表，包括：
将所述需求数据表中包含的每一列数据进行拆分，并将所述每一列数据作为需求属性信息；
根据数据字典和所述需求数据表中的每个需求属性信息，确定每个所述需求属性信息对应的初始需求表。
在其中一个实施例中，所述在预设素材库中确定每个所述初始需求表对应的目标素材，并根据所述目标素材构建每个所述初始需求表对应的临时表，包括：
针对所述需求数据表中的每一个需求属性信息，在预设素材库中确定所述需求属性信息对应的目标素材；
在已构建临时表中不包含所述目标素材的情况下，将所述目标素材与需求属性信息设置于同一表中，得到所述需求属性信息对应的临时表。
在其中一个实施例中，所述方法还包括：
在已构建临时表中包含所述目标素材的情况下，在所述已构建临时表中确定所述需求属性信息。
在其中一个实施例中，所述将所述临时表进行集成，得到目标表，包括：
将所述初始需求表与所述素材库进行匹配，得到所述临时表对应的标准化表头；
根据所述标准化表头将每个所述临时表包含的需求属性信息和所述目标素材组装，得到中间表，并将所述中间表包含的数据导入目标表，得到更新后的目标表。
在其中一个实施例中，所述将所述临时表进行集成，得到目标表之后，所述方法还包括：
将所述目标表连接至数据库，基于所述目标表包含的结构化语句进行数据过滤，得到数据过滤结果。
第二方面，本申请还提供了一种数据开发装置，包括：
获取模块，用于获取需求数据表；
拆分模块，用于根据预设原子化拆分方法将所述需求数据表进行拆分，得到初始需求表；
构建模块，用于在预设素材库中确定每个所述初始需求表对应的目标素材，并根据所述目标素材构建每个所述初始需求表对应的临时表；
集成模块，用于将所述临时表进行集成，得到目标表；所述目标表包含用于数据分析的结构化语句。
在其中一个实施例中，所述拆分模块具体用于将所述需求数据表中包含的每一列数据进行拆分，并将所述每一列数据作为需求属性信息；
根据数据字典和所述需求数据表中的每个需求属性信息，确定每个所述需求属性信息对应的初始需求表。
在其中一个实施例中，所述构建模块具体用于
针对所述需求数据表中的每一个需求属性信息，在预设素材库中确定所述需求属性信息对应的目标素材；
在已构建临时表中不包含所述目标素材的情况下，将所述目标素材与需求属性信息设置于同一表中，得到所述需求属性信息对应的临时表。
在其中一个实施例中，所述装置还包括：
确定模块，用于在已构建临时表中包含所述目标素材的情况下，在所述已构建临时表中确定所述需求属性信息。
在其中一个实施例中，所述集成模块具体用于将所述初始需求表与所述素材库进行匹配，得到所述临时表对应的标准化表头；
根据所述标准化表头将每个所述临时表包含的需求属性信息和所述目标素材组装，得到中间表，并将所述中间表包含的数据导入目标表，得到更新后的目标表。
在其中一个实施例中，所述装置还包括：
过滤模块，用于将所述目标表连接至数据库，基于所述目标表包含的结构化语句进行数据过滤，得到数据过滤结果。
第三方面，本申请还提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
获取需求数据表；
根据预设原子化拆分方法将所述需求数据表进行拆分，得到初始需求表；
在预设素材库中确定每个所述初始需求表对应的目标素材，并根据所述目标素材构建每个所述初始需求表对应的临时表；
将所述临时表进行集成，得到目标表；所述目标表包含用于数据分析的结构化语句。
第四方面，本申请还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
获取需求数据表；
根据预设原子化拆分方法将所述需求数据表进行拆分，得到初始需求表；
在预设素材库中确定每个所述初始需求表对应的目标素材，并根据所述目标素材构建每个所述初始需求表对应的临时表；
将所述临时表进行集成，得到目标表；所述目标表包含用于数据分析的结构化语句。
第五方面，本申请还提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：
获取需求数据表；
根据预设原子化拆分方法将所述需求数据表进行拆分，得到初始需求表；
在预设素材库中确定每个所述初始需求表对应的目标素材，并根据所述目标素材构建每个所述初始需求表对应的临时表；
将所述临时表进行集成，得到目标表；所述目标表包含用于数据分析的结构化语句。
上述数据开发方法、装置、计算机设备、存储介质和计算机程序产品，获取需求数据表；根据预设原子化拆分方法将所述需求数据表进行拆分，得到初始需求表；在预设素材库中确定每个所述初始需求表对应的目标素材，并根据所述目标素材构建每个所述初始需求表对应的临时表；将所述临时表进行集成，得到目标表；所述目标表包含用于数据分析的结构化语句。采用本方法，通过对需求数据表进行原子化拆分，可以降低构建临时表的结构维度，提高数据开发的准确率，并基于临时表构建用于数据分析的目标表，可以使得开发人员无需了解详细的业务知识，基于预设的素材库中直接进行数据开发，提高数据开发的效率。
附图说明
为了更清楚地说明本申请实施例或相关技术中的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为一个实施例中数据开发方法的应用环境图；
图2为一个实施例中确定初始需求表的流程示意图；
图3为一个实施例中构建临时表步骤的流程示意图；
图4为一个实施例中临时表组装为目标表的流程示意图；
图5为一个实施例中数据开发装置的结构框图；
图6为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
在一个实施例中，如图1所示，提供了一种数据开发方法，本实施例以该方法应用于终端进行举例说明，可以理解的是，该方法也可以应用于服务器，还可以应用于包括终端和服务器的系统，并通过终端和服务器的交互实现。本实施例中，该方法包括以下步骤：
步骤102，获取需求数据表。
本申请实施例中，需求数据表包括业务相关的统计数据的描述，该描述可以为针对重要业务事实的描述，以及统计数据描述对应的数据列名，数据列名可以为一些业务实体的抽象特征，例如，业务相关的统计数据的描述为“8090后组经理数量”“8090后处/部经理数量”“8090后总监数量”对应的数据列名为“confirm_agent_rank”。终端接收用户或运维人员上传的需求数据表，完成需求数据表的获取。
步骤104，根据预设原子化拆分方法将需求数据表进行拆分，得到初始需求表。
本申请实施例中，预设原子化拆分方法指将一个完整需求拆分至最小组成部分，例如，一个完整的数据需求可能是一张300列数据的数据表，经过原子化拆分后可能是60张5列的临时表，在取一张5列的临时表的数据时，需要考虑的因素变少，更容易取到正确的数据。终端根据预设原子化拆分方法将原始的需求数据表进行多维度拆分，其中，终端可以根据需求数据表的表头和需求数据表中包含的数据项确定拆分测略，例如，终端可以根据实体、范式化、功能或属性维度进行拆分。在终端完成对需求数据表的原子化拆分后，终端根据拆分后的需求数据表确定初始需求表，其中，初始需求表表征拆分后的需求数据表的数据位置。
步骤106，在预设素材库中确定每个初始需求表对应的目标素材，并根据目标素材构建每个初始需求表对应的临时表。
本申请实施例中，终端可以根据预设素材库中初始需求表对应的目标素材，创建相应的临时表，其中，预设素材库包含多种初始需求表对应的SQL查询语句的模板。在预设素材库中提供的SQL查询语句模板中，每个模板可能包含对应一个初始需求表的查询逻辑，终端根据每个初始需求表，在预设素材库中找到与之对应的SQL查询语句模板。然后，终端使用目标素材来构建每个初始需求表的临时表。终端可以执行模板中的查询语句，并使用查询结果的结构和字段来创建临时表。终端通过使用预设素材库中的查询语句模板，可以根据初始需求表中包含的需求构建具体的查询语句，并执行这些查询以获得所需的数据结果，并根据目标素材构建每个初始需求表对应的临时表，该临时表包含查询模板，可以快速生成针对具体的初始需求表的内容拼接为完整的查询语句，从而确定不同初始需求表中带检索数据的准确数据来源。
在一个可选的实施例中，终端可以根据自动化脚本来执行查询语句和创建临时表。终端可以使用脚本语言（例如，Python、Shell脚本等）编写脚本，以便自动化地执行查询和临时表的创建过程。其中，脚本可以读取预设素材库中的查询语句模板和目标素材信息，并根据需求参数化查询，并自动化创建对应的临时表。
步骤108，将临时表进行集成，得到目标表。
其中，目标表包含用于数据分析的结构化语句。
本申请实施例中，每个临时表中仅包含数据需求表中部分数据的数据查询逻辑，因此，终端可以将多个临时表进行集成，即将所有临时表中的数据进行合并和整合，并根据各临时表中包含的待查询字段以及该待查询字段对应的结构化查询语句，构建完整的目标表。具体地，终端根据数据需求表中的需求数据，确定目标表的结构，包括存储需求数据的字段（如需求名称、描述）、对应的查询语句字段（如SQL查询语句或结构化查询语句）以及其他相关信息的字段，然后，终端根据需求数据和对应的查询语句，设置数据类型和长度，并根据数据需求表中的需求数据和其对应的查询语句，将需求数据和该需求数据对应的查询语句的格式进行整合，插入到目标表的对应字段中，得到结构完整的目标表。
上述数据开发方法中，通过对需求数据表进行原子化拆分，可以降低构建临时表的结构维度，提高数据开发的准确率，并基于临时表构建用于数据分析的目标表，可以使得开发人员无需了解详细的业务知识，基于预设的素材库中直接进行数据开发，提高数据开发的效率。
在一个示例性的实施例中，如图2所示，步骤104包括步骤202至步骤204。其中：
步骤202，将需求数据表中包含的每一列数据进行拆分，并将每一列数据作为需求属性信息。
本申请实施例中，终端将需求数据表进行原子化拆分，首先，将原始的需求数据表中包含的每一列数据项进行拆分，并将每一列数据项作为独立的需求属性信息。
在一个可选的实施例中，终端可以预先保存有业务需求对应的需求属性信息和需求数据表中的需求数据之间的关联关系，可以通过唯一标识符进行关联。
步骤204，根据数据字典和需求数据表中的每个需求属性信息，确定每个需求属性信息对应的初始需求表。
本申请实施例中，终端将数据字典中的信息与需求数据表中的每个需求属性信息进行映射，确定每个需求属性信息的详细值的数据表或数据源，并根据需求属性信息的数据来源，确定每个需求属性信息的初始需求表。可选的，在该过程中，涉及多个数据表和数据源，终端可以对数据源进行整合，确定每个需求属性信息的最初数据来源，并对不同数据源获取的需求属性信息的值进行数据清洗、转换，确保数据一致性。
本实施例中，通过对需求数据表进行拆分，将原始的需求数据表分解为更加简单清晰的表，可以提高数据开发的准确率。
在一个示例性的实施例中，如图3所示，步骤106包括步骤302至步骤304。其中：
步骤302，针对每一个需求属性信息，在预设素材库中确定需求属性信息对应的目标素材。
本申请实施例中，终端通过对需求数据表中每一属性信息对应的需求属性信息进行搜索，得到需求数据表中所有属性信息唯一对应的目标素材。终端可以根据需求属性信息包含的关键词、描述或主题等，确定目标素材的特征，以及确定预设素材库中的各素材对应的特征，将需求属性信息中的需求属性信息的特征与预设素材库的各个素材进行匹配，得到与需求属性信息相匹配的结构化查询语句，即得到需求属性信息对应的目标素材。
步骤304，在已构建临时表中不包含目标素材的情况下，将目标素材与需求属性信息设置于同一表中，得到需求属性信息对应的临时表。
本申请实施例中，终端针对数据需求表中第一列需求数据的处理中，将每一列需求数据进行拆分，将每一列数据作为需求属性信息并得到需求属性信息对应的需求属性信息，即得到第一列需求数据对应的需求属性信息后，根据需求属性信息在预设素材库中确定目标素材，终端将第一列需求数据对应的需求属性信息与目标素材复制到同一表中，构成需求属性信息对应的临时表。
终端在完成数据需求表中第一列需求数据对应的处理后，对于第二列需求数据以及后续需求数据的处理，终端根据已构建临时表与目标素材的关系确定处理逻辑。具体地，在已构建临时表中不包含目标素材的情况下，终端构建临时表的逻辑与第一列需求数据对应的临时表的构建方法相同，本实施例对于该方法不再进行赘述。终端对每一需求属性信息构建临时表后，即完成了对每一列需求属性信息的数据获取，即获取通过需求属性信息获取需求属性信息的数据来源以及通过目标素材可以调用需求属性信息的数据来源，获得需求属性信息的值。
本实施例中，通过需求属性信息对应的目标素材构建临时表，可以将需求数据表中的需求属性信息进行拆分处理，将不同需求属性信息对应的目标素材构建为同一临时表，可以在查询语句中避免重复的计算和处理，从而提高数据开发的效率。
在一个示例性的实施例中，在已构建临时表中包含目标素材的情况下，该方法还包括其他处理逻辑，该方法还包括：
在已构建临时表中包含目标素材的情况下，在已构建临时表中确定需求属性信息。
本申请实施例中，终端完成第一列需求属性信息的临时表的构建后，在进行下一列需求属性信息的临时表构建前，终端可以在已构建的临时表中进行数据查询，确定已构建的临时表中是否包含需求属性信息对应的目标素材。在已构建的临时表中包含目标素材的情况下，说明目标素材中具有需求属性信息的属性值的来源，则终端可以根据目标素材中的历史需求属性信息确定该新的需求属性信息。
本实施例中，通过已构建临时表确定需求属性信息，无需重新构建相同的临时表，可以提高数据开发的效率。
在一个示例性的实施例中，如图4所示，步骤108包括步骤402至步骤404。其中：
步骤402，将初始需求表与素材库进行匹配，得到临时表对应的标准化表头。
本申请实施例中，由于不同的需求属性信息对应的临时表中所包含的数据维度可能不完全匹配，直接将原始的临时表进行关联可能会造成数据丢失。因此没终端根据初始需求表与素材库进行匹配，得到临时表对应的标准化表头，该标准化表头能够涵盖每个临时表中包含的数据维度。终端根据初始需求表和素材库中的字段，进行字段匹配和映射，通过比较字段名称、数据类型等信息，确定需求表中的字段与素材库中的字段的对应关系，当字段名称相同或有相似性，可以直接进行映射，已构建临时表对应的标准化表头，如果临时表中其他临时表中不存在的字段，可以通过添加默认值或规定的规则来补充这些缺失字段。
步骤404，根据标准化表头将每个临时表包含的需求属性信息和目标素材组装，得到中间表，并将中间表包含的数据导入目标表，得到更新后的目标表。
本申请实施例中，终端根据临时表的标准化表头，创建空的中间表，该中间表的字段能够包含临时表中所有数据维度的字段，然后，终端将每个临时表中包含的需求属性信息和目标素材组装起来，并插入到中间表中相应的字段中，确保需求属性信息与目标素材一一对应，并按照标准化的表头顺序进行组装。
终端完成临时表的组装并得到中间表后，终端可以根据数据导入工具将中间表包含的数据合并至目标表中，其中，目标表的字段与中间表的标准化表头同样保持一致。可选的，终端在进行数据组装之间，可以对数据进行检查和清洗，例如，根据数据质量工具来校验临时表中需求属性信息的数据类型或消除无效数据等。
本实施例中，终端通过标准化表头对临时表进行组装，得到中间表，并将中间表同时导入目标表，得到更新后的目标表，可以保证中间表中包含所有临时表中包含的需求数据信息的数据维度，可以防止数据丢失，进而提高数据开发的准确率。
在一个示例性的实施例中，步骤108之后，该方法还包括：
将目标表连接至数据库，基于目标表包含的结构化语句进行数据过滤，得到数据过滤结果。
本申请实施例中，终端根据预设数据库连接工具将目标表连接至目标数据库，目标表中包含需求数据表中各需求属性信息对应的结构化查询语句，例如，查询语句包括条件语句、函数调用、聚合操作等，终端可以根据需求属性信的数据类型确定结构化查询语句。进而，终端可以执行目标表中的结构化语句，针对需求数据信息进行数据过滤，得到数据过滤结果。
本实施例中，通过基于预设的素材库进行数据开发得到的目标库，基于目标表包含的结构化语句进行数据分析，可以提高数据分析的效率和准确性。
应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的数据开发方法的数据开发装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个数据开发装置实施例中的具体限定可以参见上文中对于数据开发方法的限定，在此不再赘述。
在一个示例性的实施例中，如图5所示，提供了一种数据开发装置500，包括：获取模块501、拆分模块502、构建模块503和集成模块504，其中：
获取模块501，用于获取需求数据表；
拆分模块502，用于根据预设原子化拆分方法将需求数据表进行拆分，得到初始需求表；
构建模块503，用于在预设素材库中确定每个初始需求表对应的目标素材，并根据目标素材构建每个初始需求表对应的临时表；
集成模块504，用于将临时表进行集成，得到目标表；目标表包含用于数据分析的结构化语句。
在其中一个实施例中，拆分模块502具体用于将需求数据表中包含的每一列数据进行拆分，并将每一列数据作为需求属性信息；
根据数据字典和需求数据表中的每个需求属性信息，确定每个需求属性信息对应的初始需求表。
在其中一个实施例中，构建模块503具体用于针对需求数据表中的每一个需求属性信息，在预设素材库中确定需求属性信息对应的目标素材；
在已构建临时表中不包含目标素材的情况下，将目标素材与需求属性信息设置于同一表中，得到需求属性信息对应的临时表。
在其中一个实施例中，该装置500还包括：
确定模块，用于在已构建临时表中包含目标素材的情况下，在已构建临时表中确定需求属性信息。
在其中一个实施例中，集成模块504具体用于将初始需求表与素材库进行匹配，得到临时表对应的标准化表头；
根据标准化表头将每个临时表包含的需求属性信息和目标素材组装，得到中间表，并将中间表包含的数据导入目标表，得到更新后的目标表。
在其中一个实施例中，该装置500还包括：
过滤模块，用于将目标表连接至数据库，基于目标表包含的结构化语句进行数据过滤，得到数据过滤结果。
上述数据开发装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个示例性的实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图6所示。该计算机设备包括处理器、存储器、输入/输出接口(Input/Output，简称I/O）和通信接口。其中，处理器、存储器和输入/输出接口通过系统总线连接，通信接口通过输入/输出接口连接到系统总线。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储临时表和目标表。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种数据开发方法。
本领域技术人员可以理解，图6中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个示例性的实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
获取需求数据表；
根据预设原子化拆分方法将所述需求数据表进行拆分，得到初始需求表；
在预设素材库中确定每个所述初始需求表对应的目标素材，并根据所述目标素材构建每个所述初始需求表对应的临时表；
将所述临时表进行集成，得到目标表；所述目标表包含用于数据分析的结构化语句。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
将所述需求数据表中包含的每一列数据进行拆分，并将所述每一列数据作为需求属性信息；
根据数据字典和所述需求数据表中的每个需求属性信息，确定每个所述需求属性信息对应的初始需求表。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
针对需求数据表中的每一个需求属性信息，在预设素材库中确定需求属性信息对应的目标素材；
在已构建临时表中不包含目标素材的情况下，将目标素材与需求属性信息设置于同一表中，得到需求属性信息对应的临时表。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：在已构建临时表中包含所述目标素材的情况下，在所述已构建临时表中确定所述需求属性信息。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
将所述初始需求表与所述素材库进行匹配，得到所述临时表对应的标准化表头；
根据所述标准化表头将每个所述临时表包含的需求属性信息和所述目标素材组装，得到中间表，并将所述中间表包含的数据导入目标表，得到更新后的目标表。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
将所述目标表连接至数据库，基于所述目标表包含的结构化语句进行数据过滤，得到数据过滤结果。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
获取需求数据表；
根据预设原子化拆分方法将所述需求数据表进行拆分，得到初始需求表；
在预设素材库中确定每个所述初始需求表对应的目标素材，并根据所述目标素材构建每个所述初始需求表对应的临时表；
将所述临时表进行集成，得到目标表；所述目标表包含用于数据分析的结构化语句。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
将所述需求数据表中包含的每一列数据进行拆分，并将所述每一列数据作为需求属性信息；
根据数据字典和所述需求数据表中的每个需求属性信息，确定每个所述需求属性信息对应的初始需求表。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
针对需求数据表中的每一个需求属性信息，在预设素材库中确定需求属性信息对应的目标素材；
在已构建临时表中不包含目标素材的情况下，将目标素材与需求属性信息设置于同一表中，得到需求属性信息对应的临时表。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：在已构建临时表中包含所述目标素材的情况下，在所述已构建临时表中确定所述需求属性信息。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
将所述初始需求表与所述素材库进行匹配，得到所述临时表对应的标准化表头；
根据所述标准化表头将每个所述临时表包含的需求属性信息和所述目标素材组装，得到中间表，并将所述中间表包含的数据导入目标表，得到更新后的目标表。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
将所述目标表连接至数据库，基于所述目标表包含的结构化语句进行数据过滤，得到数据过滤结果。
在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：
获取需求数据表；
根据预设原子化拆分方法将所述需求数据表进行拆分，得到初始需求表；
在预设素材库中确定每个所述初始需求表对应的目标素材，并根据所述目标素材构建每个所述初始需求表对应的临时表；
将所述临时表进行集成，得到目标表；所述目标表包含用于数据分析的结构化语句。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
将所述需求数据表中包含的每一列数据进行拆分，并将所述每一列数据作为需求属性信息；
根据数据字典和所述需求数据表中的每个需求属性信息，确定每个所述需求属性信息对应的初始需求表。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
针对需求数据表中的每一个需求属性信息，在预设素材库中确定需求属性信息对应的目标素材；
在已构建临时表中不包含目标素材的情况下，将目标素材与需求属性信息设置于同一表中，得到需求属性信息对应的临时表。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：在已构建临时表中包含所述目标素材的情况下，在所述已构建临时表中确定所述需求属性信息。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
将所述初始需求表与所述素材库进行匹配，得到所述临时表对应的标准化表头；
根据所述标准化表头将每个所述临时表包含的需求属性信息和所述目标素材组装，得到中间表，并将所述中间表包含的数据导入目标表，得到更新后的目标表。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
将所述目标表连接至数据库，基于所述目标表包含的结构化语句进行数据过滤，得到数据过滤结果。
需要说明的是，本申请所涉及的用户信息（包括但不限于用户设备信息、用户个人信息等）和数据（包括但不限于用于分析的数据、存储的数据、展示的数据等），均为经用户授权或者经过各方充分授权的信息和数据，且相关数据的收集、使用和处理需要符合相关规定。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器（Read-OnlyMemory，ROM）、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器（ReRAM）、磁变存储器（Magnetoresistive Random Access Memory，MRAM）、铁电存储器（Ferroelectric Random Access Memory，FRAM）、相变存储器（Phase Change Memory，PCM）、石墨烯存储器等。易失性存储器可包括随机存取存储器（Random Access Memory，RAM）或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器（Static Random Access Memory，SRAM）或动态随机存取存储器（Dynamic RandomAccess Memory，DRAM）等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。
Claims (10)
1.一种数据开发方法，其特征在于，所述方法包括：
获取需求数据表；
根据预设原子化拆分方法将所述需求数据表进行拆分，得到初始需求表；
在预设素材库中确定每个所述初始需求表对应的目标素材，并根据所述目标素材构建每个所述初始需求表对应的临时表；
将所述临时表进行集成，得到目标表；所述目标表包含用于数据分析的结构化语句。
2.根据权利要求1所述的方法，其特征在于，所述根据预设原子化拆分方法将所述需求数据表进行拆分，得到初始需求表，包括：
将所述需求数据表中包含的每一列数据进行拆分，并将所述每一列数据作为需求属性信息；
根据数据字典和所述需求数据表中的每个需求属性信息，确定每个所述需求属性信息对应的初始需求表。
3.根据权利要求1所述的方法，其特征在于，所述在预设素材库中确定每个所述初始需求表对应的目标素材，并根据所述目标素材构建每个所述初始需求表对应的临时表，包括：
针对所述需求数据表中的每一个需求属性信息，在预设素材库中确定所述需求属性信息对应的目标素材；
在已构建临时表中不包含所述目标素材的情况下，将所述目标素材与需求属性信息设置于同一表中，得到所述需求属性信息对应的临时表。
4.根据权利要求3所述的方法，其特征在于，所述方法还包括：
在已构建临时表中包含所述目标素材的情况下，在所述已构建临时表中确定所述需求属性信息。
5.根据权利要求1所述的方法，其特征在于，所述将所述临时表进行集成，得到目标表，包括：
将所述初始需求表与所述素材库进行匹配，得到所述临时表对应的标准化表头；
根据所述标准化表头将每个所述临时表包含的需求属性信息和所述目标素材组装，得到中间表，并将所述中间表包含的数据导入目标表，得到更新后的目标表。
6.根据权利要求1所述的方法，其特征在于，所述将所述临时表进行集成，得到目标表之后，所述方法还包括：
将所述目标表连接至数据库，基于所述目标表包含的结构化语句进行数据过滤，得到数据过滤结果。
7.一种数据开发装置，其特征在于，所述装置包括：
获取模块，用于获取需求数据表；
拆分模块，用于根据预设原子化拆分方法将所述需求数据表进行拆分，得到初始需求表；
构建模块，用于在预设素材库中确定每个所述初始需求表对应的目标素材，并根据所述目标素材构建每个所述初始需求表对应的临时表；
集成模块，用于将所述临时表进行集成，得到目标表；所述目标表包含用于数据分析的结构化语句。
8.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述的方法的步骤。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
10.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311732236.XA CN117762931A (zh) | 2023-12-16 | 2023-12-16 | 数据开发方法、装置、计算机设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311732236.XA CN117762931A (zh) | 2023-12-16 | 2023-12-16 | 数据开发方法、装置、计算机设备和存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117762931A true CN117762931A (zh) | 2024-03-26 |
Family
ID=90319220
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311732236.XA Pending CN117762931A (zh) | 2023-12-16 | 2023-12-16 | 数据开发方法、装置、计算机设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117762931A (zh) |
-
2023
- 2023-12-16 CN CN202311732236.XA patent/CN117762931A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11709827B2 (en) | Using stored execution plans for efficient execution of natural language questions | |
| US10963800B2 (en) | Service layer augmentation of response to semantically-informed query of arbitrary external data sources | |
| US7693857B2 (en) | Clinical genomics merged repository and partial episode support with support abstract and semantic meaning preserving data sniffers | |
| US20090138430A1 (en) | Method for assembly of personalized enterprise information integrators over conjunctive queries | |
| US11281721B2 (en) | Augmenting relational database engines with graph query capability | |
| CN111061733B (zh) | 数据处理方法、装置、电子设备和计算机可读存储介质 | |
| CN113918605A (zh) | 数据查询方法、装置、设备以及计算机存储介质 | |
| US20200012643A1 (en) | Method for managing and executing decoders and transformations using linked data and a service layer | |
| CN113626571B (zh) | 答句生成方法、装置、计算机设备和存储介质 | |
| CN114238085A (zh) | 接口测试方法、装置、计算机设备、存储介质 | |
| Chacko et al. | Capturing provenance for big data analytics done using SQL interface | |
| US20200175028A1 (en) | System and method for ingesting data | |
| CN117762931A (zh) | 数据开发方法、装置、计算机设备和存储介质 | |
| CN115658680A (zh) | 数据存储方法、数据查询方法和相关装置 | |
| US20230066110A1 (en) | Creating virtualized data assets using existing definitions of etl/elt jobs | |
| CN114564621A (zh) | 一种关联数据的方法、装置、设备及可读存储介质 | |
| Gür et al. | Multidimensional enrichment of spatial RDF data for SOLAP | |
| CN117370339A (zh) | 报表血缘关系处理方法、装置、计算机设备和存储介质 | |
| CN111221846B (zh) | 一种sql语句的自动翻译方法及装置 | |
| US20240176791A1 (en) | Automatic documentation enhancement using organization queries | |
| CN117827902A (zh) | 业务数据处理方法、装置、计算机设备以及存储介质 | |
| CN117609303A (zh) | 多表联合查询方法、装置、设备及存储介质 | |
| CN117891748A (zh) | 数据库的测试方法、装置、计算机设备和存储介质 | |
| CN114328965A (zh) | 知识图谱更新方法、装置及计算机设备 | |
| CN116910055A (zh) | 索引方法、装置、计算机设备、存储介质和程序产品 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |