CN112860725A - Sql自动生成方法和装置、存储介质及电子设备 - Google Patents
Sql自动生成方法和装置、存储介质及电子设备 Download PDFInfo
- Publication number
- CN112860725A CN112860725A CN202110143000.7A CN202110143000A CN112860725A CN 112860725 A CN112860725 A CN 112860725A CN 202110143000 A CN202110143000 A CN 202110143000A CN 112860725 A CN112860725 A CN 112860725A
- Authority
- CN
- China
- Prior art keywords
- data item
- data
- information
- standard
- database
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 60
- 230000004044 response Effects 0.000 claims abstract description 4
- 230000015654 memory Effects 0.000 claims description 18
- 238000004590 computer program Methods 0.000 claims description 13
- 239000013598 vector Substances 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 abstract description 13
- 238000010586 diagram Methods 0.000 description 11
- 238000004422 calculation algorithm Methods 0.000 description 10
- 238000001914 filtration Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 4
- 238000011161 development Methods 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000013523 data management Methods 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 230000004927 fusion Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000007635 classification algorithm Methods 0.000 description 2
- 238000005034 decoration Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/242—Query formulation
- G06F16/2433—Query languages
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/284—Lexical analysis, e.g. tokenisation or collocates
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Mathematical Physics (AREA)
- Databases & Information Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种SQL自动生成方法和装置、存储介质及电子设备。其中，该方法包括：通过在目标平台上显示第一界面，其中，第一界面用于获取目标操作对象的操作指令；基于第一界面获取目标操作对象第一操作指令，其中，第一操作指令用于选择数据源表中的数据项和调度信息，调度信息调节数据项的取值；响应第一操作指令，根据数据项和调度信息自动生成第一SQL语言信息，达到了基于目标平台，SQL代码可视化编辑，关键信息智能提示，流程上系统保证操作记录，使得治理过程有理有据，规范、简化、高效地达成目标的目的，进而解决了现有技术中，手动编写SQL效率低的技术问题。
Description
技术领域
本发明涉及数据治理领域，具体而言，涉及一种SQL自动生成方法和装置、存储介质及电子设备。
背景技术
数据治理中数据流转在底层表现为表到表的ETL过程，SQL作为最通用的开发语言，在这其中需要完成大量繁琐的工作。并且大部分是直接在开发平台进行开发，容错性、规范性均没法很好保证。
针对上述的问题，目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种SQL自动生成方法和装置、存储介质及电子设备，以至少解决现有技术中，手动编写SQL效率低的技术问题。
根据本发明实施例的一个方面，提供了一种SQL自动生成方法，包括：在目标平台上显示第一界面，其中，所述第一界面用于获取目标操作对象的操作指令；基于所述第一界面获取所述目标操作对象第一操作指令，其中，所述第一操作指令用于选择数据源表中的数据项和调度信息，所述调度信息调节所述数据项的取值；响应所述第一操作指令，根据所述数据项和所述调度信息自动生成第一SQL语言信息。
可选的，所述响应所述第一操作指令，根据所述数据项和所述调度信息自动生成第一SQL语言信息，包括：将所述数据项按照预设规则与数据库中的数据项进行匹配，得到对应所述数据项的标准数据项；根据所述标准数据项和所述调度信息自动生成所述第一SQL语言信息。
可选的，将所述数据项按照预设规则与数据库中的数据项进行匹配，得到对应所述数据项的标准数据项，包括：计算所述数据项与存储在所述数据库中的每个标准数据项至之间的相似度；在所述数据库中存在与所述数据项之间的相似度大于预定阈值的标注数据的情况下，将所述标注数据确定为所述数据项对应的标准数据项。
可选的，所述计算所述数据项与存储在所述数据库中的每个标准数据项至之间的相似度，包括：获取所述数据项对应的元信息；计算所述元信息与所述数据库中的每个标准数据项中对应的标准元信息之间的相似度。
可选的，所述计算所述元信息与所述数据库中的每个标准数据项中对应的标准元信息之间的相似度，包括：基于词向量计算所述元信息与所述数据库中的每个标准数据项中对应的标准元信息之间的相似度。
可选的，所述方法还包括：在所述数据库中不存在与所述数据项之间的相似度大于预定阈值的标注数据的情况下，将所述数据项添加至所述数据库中确定为标准数据项。
可选的，在所述数据项包括多项数据的情况下，根据所述数据项自动生成所述第一SQL语言信息，包括：对所述多项数据项进行如下操作自动生成所述第一SQL语言信息：交集操作、并集操作或差集的操作。
根据本发明实施例的另一方面，还提供了一种SQL自动生成装置，包括：显示单元，用于在目标平台上显示第一界面，其中，所述第一界面用于获取目标操作对象的操作指令；获取单元，用于基于所述第一界面获取所述目标操作对象第一操作指令，其中，所述第一操作指令用于选择数据源表中的数据项和调度信息，所述调度信息调节所述数据项的取值；生成单元，用于响应所述第一操作指令，根据所述数据项和所述调度信息自动生成第一SQL语言信息。
可选的，所述生成单元，包括：匹配模块，用于将所述数据项按照预设规则与数据库中的数据项进行匹配，得到对应所述数据项的标准数据项；生成模块，用于根据所述标准数据项自动生成所述第一SQL语言信息。
可选的，所述匹配模块，包括：计算子模块，用于计算所述数据项与存储在所述数据库中的每个标准数据项至之间的相似度；确定子模块，用于在所述数据库中存在与所述数据项之间的相似度大于预定阈值的标注数据的情况下，将所述标注数据确定为所述数据项对应的标准数据项。
可选的，所述计算子模块还用于执行如下操作：获取所述数据项对应的元信息；计算所述元信息与所述数据库中的每个标准数据项中对应的标准元信息之间的相似度。
可选的，所述计算子模块还用于执行如下操作：基于词向量计算所述元信息与所述数据库中的每个标准数据项中对应的标准元信息之间的相似度。
可选的，所述装置还包括：确定单元，用于在所述数据库中不存在与所述数据项之间的相似度大于预定阈值的标注数据的情况下，将所述数据项添加至所述数据库中，并确定为标准数据项。
可选的，在所述数据项包括多项数据的情况下，所述生成模块，包括：获取子模块，用于获取所述多项数据项对应的多个标准数据项；生成子模块，用于对所述多个标准数据项执行如下操作之一自动生成所述第一SQL语言信息：交集操作、并集操作或差集的操作。
根据本发明实施例的又一方面，还提供了一种计算机可读的存储介质，该计算机可读的存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述SQL自动生成方法。
根据本发明实施例的又一方面，还提供了一种电子设备，包括存储器和处理器，上述存储器中存储有计算机程序，上述处理器被设置为通过所述计算机程序执行上述的SQL自动生成方法。
在本发明实施例中，通过在目标平台上显示第一界面，其中，第一界面用于获取目标操作对象的操作指令；基于第一界面获取目标操作对象第一操作指令，其中，第一操作指令用于选择数据源表中的数据项和调度信息，调度信息调节数据项的取值；响应第一操作指令，根据数据项和调度信息自动生成第一SQL语言信息，达到了基于目标平台，SQL代码可视化编辑，关键信息智能提示，流程上系统保证操作记录，使得治理过程有理有据，规范、简化、高效地达成目标的目的，进而解决了现有技术中，SQL自动生成方式效率低的技术问题。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是根据本发明实施例的一种可选的SQL自动生成方法的应用环境的示意图；
图2是根据本发明实施例的一种可选的SQL自动生成方法的流程图；
图3是根据本发明实施例的一种可选的目标平台的第一界面示意图；
图4是根据本发明实施例的一种可选的自动生成SQL方法的流程图；
图5是根据本发明实施例的一种可选的标准化生成SQL结构图；
图6是根据本发明实施例的一种可选的SQL自动生成装置的结构示意图；
图7是根据本发明实施例的一种可选的电子设备的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
根据本发明实施例的一个方面，提供了一种SQL自动生成方法，可选地，作为一种可选的实施方式，上述SQL自动生成可以但不限于应用于如图1所示的环境中。终端设备102、网络104以及服务器106。其中，终端设备102上配置有目标平台。
终端设备102上的目标平台上显示第一界面，其中，第一界面用于获取目标操作对象的操作指令；基于第一界面获取目标操作对象第一操作指令，其中，第一操作指令用于选择数据源表中的数据项和调度信息，调度信息调节数据项的取值；响应第一操作指令，根据数据项和调度信息自动生成第一SQL语言信息，达到了基于目标平台，SQL代码可视化编辑，关键信息智能提示，流程上系统保证操作记录，使得治理过程有理有据，规范、简化、高效地达成目标的目的，进而解决了现有技术中，SQL自动生成方式效率低的技术问题。
需要说明的是，上述SQL自动生成方法可以包括但不限于由终端设备102执行，也可以由服务器106执行，还可以由终端设备102与服务器106执行。上述仅是一种示例，本实施例中对此不作任何限定。
可选地，在本实施例中，上述终端设备可以是配置有目标平台的终端设备，可以包括但不限于以下至少之一：手机(如Android手机、iOS手机等)、笔记本电脑、平板电脑、掌上电脑、MID(Mobile Internet Devices，移动互联网设备)、PAD、台式电脑、智能电视等。目标平台可以是数据处理客户端等。上述网络可以包括但不限于：有线网络，无线网络，其中，该有线网络包括：局域网、城域网和广域网，该无线网络包括：蓝牙、WIFI及其他实现无线通信的网络。上述服务器可以是单一服务器，也可以是由多个服务器组成的服务器集群，或者是云服务器。上述仅是一种示例，本实施例中对此不作任何限定。
可选地，作为一种可选的实施方式，如图2所示，上述SQL自动生成方法包括：
步骤S202，在目标平台上显示第一界面，其中，第一界面用于获取目标操作对象的操作指令。
步骤S204，基于第一界面获取目标操作对象第一操作指令，其中，第一操作指令用于选择数据源表中的数据项和调度信息，调度信息调节数据项的取值；
步骤S206，响应第一操作指令，根据数据项和调度信息自动生成第一SQL语言信息。
可选的，上述SQL自动生成方法可以包括但不限于数据治理、数据建模场景中，在数据治理建立数仓过程中需要大量基础性的SQL编码工作，在实施例中，利用目标平台和智能技术，对治理流程标准化和SQL编码工作简化提供了一种智能、高效的方法。
其中，在本实施例中，可以通过在目标平台中通过鼠标点击选择操作，进而简单、快速生成SQL。在保证SQL语法正确性的基础上，构建了自动化生成分层建模SQL代码，在对标时利用深度学习算法，充分利用语义信息。
如图3所示，目标平台的第一界面示意图，目标操作对象可以基于第一界面，在第一界面上选择需要的数据项，进而根据选择的数据项生成SQL。如在图3中进入如下选择，源表：renkou，采集模式选择：增量，增量字段：更新字段：xgsj_rqsj，过滤条件：WHERE xgsj_rqsj＝＄[yyyymmdd-1]AND is_deleted＝0，公共字段项中可以进行如下选择，主记录id：rybh，数据来源系统种类：，采集地行政区划代码：xxly_xzqhdm，调度配置中可以进行如下选择，调度周期：，触发时间：。需要说明的是，上述选择项可以理解为数据项，每个数据项可以具有下拉子菜单，通过自菜单选择不同的数据项。
在本实施例中，数据采集是数据治理的前置基础环节，涉及到A业务系统到B标准数据仓库，数据准备区帖源层(Operation Data Store，简称ODS)一般保持原始数据形式，表结构信息可以做同名映射，采集模式分为增量和全量，增量模式下需要有增量字段，过滤条件的填写根据一定的业务理解，情况的复杂性视具体治理内容。
其中，涉及几部分标准、规范化内容。源表中的业务标准化命名，在复杂多个源系统时，保证命名唯一、不重复、符合平台规范性等原则。采集模式的默认值使用智能算法推荐获取，其中根据源表中的元信息、数据量、实际业务内容等特征进行算法的构建。增量字段、更新时间字段与增量采集模式相关联，当模式为增量时会对增量字段和更新时间字段进行推荐。这个过程又可以与过滤条件连动起来，自动生成过滤条件SQL语句，例如，其中的WHERE xgsj_rqsj＝$[yyyymmdd-1]为智能填充。如果有特殊业务则可以直接在此基础上进行补充。最后，根据以上内容就可以自动生成同步至ODS层的SQL，下发至调度平台就完成实际的任务。
通过本申请提供的实施例，在目标平台上显示第一界面，其中，第一界面用于获取目标操作对象的操作指令；基于第一界面获取目标操作对象第一操作指令，其中，第一操作指令用于选择数据源表中的数据项和调度信息，调度信息调节数据项的取值；响应第一操作指令，根据数据项和调度信息自动生成第一SQL语言信息，达到了基于目标平台，SQL代码可视化编辑，关键信息智能提示，流程上系统保证操作记录，使得治理过程有理有据，规范、简化、高效地达成目标的目的，进而解决了现有技术中，SQL自动生成方式效率低的技术问题。
在本实施例中，上述调度信息可以包括但不限于用于调度不同时间段、不同周期的数据、触发不同数据的数据等。
可选的，响应第一操作指令，根据数据项和调度信息自动生成第一SQL语言信息，可以包括：将数据项按照预设规则与数据库中的数据项进行匹配，得到对应数据项的标准数据项；根据标准数据项自动生成第一SQL语言信息。
在本实施例中，获取ODS层表元信息，根据智能对标算法标准化，生成标准化SQL并生成任务。对元数据的标准化动作，是数据治理专业化程度的重要衡量尺度。本发明加载智能化对标算法，简化甚至消除开发工作。源字段英文名、中文名通过自动拉取ODS层表的元数据获取，启动自动对标后，会自动标准化。底层通过智能对标算子实现。
可选的，将数据项按照预设规则与数据库中的数据项进行匹配，得到对应数据项的标准数据项，可以包括：
S1，计算数据项与存储在数据库中的每个标准数据项至之间的相似度；
S2，在数据库中存在与数据项之间的相似度大于预定阈值的标注数据的情况下，将标注数据确定为数据项对应的标准数据项。
在本实施例中，计算与标准数据项的相似度，相似度大于阈值，如阈值取值为0.8，可选、可调，相当于符合标准数据项。此相似度有多种选择方案，基于统计的、基于词向量的。在本实施例中，选择翻译中的标准评测指标最优线性无偏差估计量(Best LinearUnbiased Evaluation，简称BLUE)。
可选的，计算数据项与存储在数据库中的每个标准数据项至之间的相似度，可以包括：获取数据项对应的元信息；计算元信息与数据库中的每个标准数据项中对应的标准元信息之间的相似度。
其中，计算元信息与数据库中的标准数据项中对应的标准元信息之间的相似度，可以包括：基于词向量计算元信息与数据库中的每个标准数据项中对应的标准元信息之间的相似度。
可选的，上述方法还可以包括：在数据库中不存在与数据项之间的相似度大于预定阈值的标注数据的情况下，将数据项添加至数据库中确定为标准数据项。
在本实施例中，新增标准数据项，划分原始数据项为对象类词、特性词、表示词、限定词，目标中文字段名称由限定词加特性词组成唯一标准数据项。在对象类词、特性词、表示词、限定词确定时，根据其不同的特点进行NLP不同的任务。对象类词和表示词是小量有限集合，因此采用分类算法。特性词时数据项的特性表示，因此采用问答中的抽取任务进行。
可选的，在数据项包括多项数据的情况下，根据数据项自动生成第一SQL语言信息，可以包括：对多项数据项进行如下操作自动生成第一SQL语言信息：交集操作、并集操作或差集的操作。
在本实施例中，自动生成ODS到数据仓库层(Data Warehouse简称DW)的标准化转换SQL语句。
DW/数据集市层(Data Mart，简称DM)的交并差等数据自动打标任务生成。在标准的明细数据层中，可以直接利用其中的数据进行交集、并集和差集的操作，无需任何代码的编写，完成对基础数据的融合与数据建模工作。产生1+1>2的效果，如：常口信息表+暂口信息表＝实有人口信息表，逻辑上做并集。这里还可以使用时间字段进行更多维度的打标任务，例如，常口信息表+暂口信息表+近一年时间＝近一年新增实有人口等。
可选的，在本申请中还提供了一种可选的自动化SQL生成方法。如图4所示，自动化SQL生成方法的流程图。在本实施例中，构建包含端到端数据探查方法以下。
S41，开始；
S42，获取数据源表采集、调度信息，生成采集sql并下发任务。
数据采集是数据治理的前置基础环节，涉及到A业务系统到B标准数据仓库，ODS层一般保持原始数据形式，表结构信息可以做同名映射，采集模式分为增量和全量，增量模式下需要有增量字段，过滤条件的填写根据一定的业务理解，情况的复杂性视具体治理内容。如图3所示。
其中，涉及几部分标准、规范化内容。源表中的业务标准化命名，在复杂多个源系统时，保证命名唯一、不重复、符合平台规范性等原则。采集模式的默认值使用智能算法推荐获取，其中根据源表中的元信息、数据量、实际业务内容等特征进行算法的构建。增量字段、更新时间字段与增量采集模式相关联，当模式为增量时会对增量字段和更新时间字段进行推荐。这个过程又可以与过滤条件连动起来，自动生成过滤条件SQL语句，例如其中的WHERE xgsj_rqsj＝$[yyyymmdd-1]为智能填充。如果有特殊业务则可以直接在此基础上进行补充。最后，根据以上内容就可以自动生成同步至ODS层的SQL，下发至调度平台就完成实际的任务。
S43，获取ODS层表元信息，根据智能对标算法标准化，生成标准化sql并生成任务。对元数据的标准化动作，是数据治理专业化程度的重要衡量尺度。本发明加载智能化对标算法，简化甚至消除开发工作。源字段英文名、中文名通过自动拉取ODS层表的元数据获取，启动自动对标后，会自动标准化。底层通过智能对标算子实现。具体方式如下：
方式一：计算与标准数据项的相似度，相似度大于阈值(0.8，可选、可调)直接返回，相当于符合标准数据项。此相似度有多种选择方案，基于统计的、基于词向量的。这里选择翻译中的标准评测指标BLUE(Best Linear Unbiased Evaluation最优线性无偏差估计量)，因为这里需要与标准数据项有很好的匹配度，语义上的信息帮助不大。
方式二：新增标准数据项，划分原始数据项为对象类词、特性词、表示词、限定词，目标中文字段名称由限定词加特性词组成唯一标准数据项。在对象类词、特性词、表示词、限定词确定时，根据其不同的特点进行NLP不同的任务。对象类词和表示词是小量有限集合，因此采用分类算法。特性词时数据项的特性表示，因此采用问答中的抽取任务进行。
根据方式一和方式二结果，如图5所示，标准化生成SQL结构图，在图5中可以自动生成ODS层到DW层的标准化转换SQL语句。
S44，DW/DM层的交并差等数据自动打标任务生成。
在标准的明细数据层中，可以直接利用其中的数据进行交集、并集和差集的操作，无需任何代码的编写，完成对基础数据的融合与数据建模工作。产生1+1>2的效果，如：常口信息表+暂口信息表＝实有人口信息表，逻辑上做并集。这里还可以使用时间字段进行更多维度的打标任务，例如常口信息表+暂口信息表+近一年时间＝近一年新增实有人口等。
S45，结束。
通过本申请提供的实施例，SQL代码可视化编辑，关键信息智能提示，流程上系统保证操作记录。使得治理过程有理有据，规范、简化、高效地达成目标；在规范化上利用智能化算法保证从语言层面理解源数据进而进行标准化，不单纯利用原始文本信息；DW/DM交并差等任务的自动生成，无需任何代码的编写，完成对基础数据的融合与数据建模工作。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。
根据本发明实施例的另一个方面，还提供了一种用于实施上述SQL自动生成方法的SQL自动生成装置。如图6所示，该SQL自动生成装置包括：显示单元61、获取单元63以及生成单元65。
显示单元61，用于在目标平台上显示第一界面，其中，第一界面用于获取目标操作对象的操作指令。
获取单元63，用于基于第一界面获取目标操作对象第一操作指令，其中，第一操作指令用于选择数据源表中的数据项和调度信息，调度信息调节数据项的取值。
生成单元65，用于响应第一操作指令，根据数据项和调度信息自动生成第一SQL语言信息。
通过本申请提供的实施例，显示单元61在目标平台上显示第一界面，其中，第一界面用于获取目标操作对象的操作指令；获取单元63基于第一界面获取目标操作对象第一操作指令，其中，第一操作指令用于选择数据源表中的数据项和调度信息，调度信息调节数据项的取值；生成单元65响应第一操作指令，根据数据项和调度信息自动生成第一SQL语言信息。达到了基于目标平台，SQL代码可视化编辑，关键信息智能提示，流程上系统保证操作记录，使得治理过程有理有据，规范、简化、高效地达成目标的目的，进而解决了现有技术中，SQL自动生成方式效率低的技术问题。
可选的，上述生成单元，可以包括：匹配模块，用于将数据项按照预设规则与数据库中的数据项进行匹配，得到对应数据项的标准数据项；生成模块，用于根据标准数据项自动生成第一SQL语言信息。
可选的，上述匹配模块，可以包括：计算子模块，用于计算数据项与存储在数据库中的每个标准数据项至之间的相似度；确定子模块，用于在数据库中存在与数据项之间的相似度大于预定阈值的标注数据的情况下，将标注数据确定为数据项对应的标准数据项。
可选的，计算子模块还用于执行如下操作：获取数据项对应的元信息；计算元信息与数据库中的每个标准数据项中对应的标准元信息之间的相似度。
可选的，上述计算子模块还用于执行如下操作：基于词向量计算元信息与数据库中的每个标准数据项中对应的标准元信息之间的相似度。
可选的，上述装置还可以包括：确定单元，用于在数据库中不存在与数据项之间的相似度大于预定阈值的标注数据的情况下，将数据项添加至数据库中，并确定为标准数据项。
可选的上述生成模块，可以包括：在数据项包括多项数据的情况下，获取子模块，用于获取多项数据项对应的多个标准数据项；生成子模块，用于对多个标准数据项执行如下操作之一自动生成第一SQL语言信息：交集操作、并集操作或差集的操作。
根据本发明实施例的又一个方面，还提供了一种用于实施上述SQL自动生成方法的电子设备，该电子设备可以是图1所示的终端设备或服务器。本实施例以该电子设备为服务器为例来说明。如图7所示，该电子设备包括存储器702和处理器704，该存储器702中存储有计算机程序，该处理器704被设置为通过计算机程序执行上述任一项方法实施例中的步骤。
可选地，在本实施例中，上述电子设备可以位于计算机网络的多个网络设备中的至少一个网络设备。
可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：
S1，在目标平台上显示第一界面，其中，第一界面用于获取目标操作对象的操作指令；
S2，基于第一界面获取目标操作对象第一操作指令，其中，第一操作指令用于选择数据源表中的数据项和调度信息，调度信息调节数据项的取值；
S3，响应第一操作指令，根据数据项和调度信息自动生成第一SQL语言信息。
可选地，本领域普通技术人员可以理解，图7所示的结构仅为示意，电子装置电子设备也可以是智能手机(如Android手机、iOS手机等)、平板电脑、掌上电脑以及移动互联网设备(Mobile Internet Devices，MID)、PAD等终端设备。图7其并不对上述电子装置电子设备的结构造成限定。例如，电子装置电子设备还可包括比图7中所示更多或者更少的组件(如网络接口等)，或者具有与图7所示不同的配置。
其中，存储器702可用于存储软件程序以及模块，如本发明实施例中的SQL自动生成方法和装置对应的程序指令/模块，处理器704通过运行存储在存储器702内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的SQL自动生成方法。存储器702可包括高速随机存储器，还可以包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器702可进一步包括相对于处理器704远程设置的存储器，这些远程存储器可以通过网络连接至终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。其中，存储器702具体可以但不限于用于存储数据项、SQL语言等信息。作为一种示例，如图7所示，上述存储器702中可以但不限于包括上述SQL自动生成装置中的显示单元61、获取单元63以及生成单元65。此外，还可以包括但不限于上述SQL自动生成装置中的其他模块单元，本示例中不再赘述。
可选地，上述的传输装置706用于经由一个网络接收或者发送数据。上述的网络具体实例可包括有线网络及无线网络。在一个实例中，传输装置706包括一个网络适配器(Network Interface Controller，NIC)，其可通过网线与其他网络设备与路由器相连从而可与互联网或局域网进行通讯。在一个实例中，传输装置706为射频(Radio Frequency，RF)模块，其用于通过无线方式与互联网进行通讯。
此外，上述电子设备还包括：显示器708，用于显示上述第一界面；和连接总线710，用于连接上述电子设备中的各个模块部件。
在其他实施例中，上述终端设备或者服务器可以是一个分布式系统中的一个节点，其中，该分布式系统可以为区块链系统，该区块链系统可以是由该多个节点通过网络通信的形式连接形成的分布式系统。其中，节点之间可以组成点对点(P2P，Peer To Peer)网络，任意形式的计算设备，比如服务器、终端等电子设备都可以通过加入该点对点网络而成为该区块链系统中的一个节点。
根据本申请的一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述SQL自动生成方面或者SQL自动生成方面的各种可选实现方式中提供的SQL自动生成方法。其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
可选地，在本实施例中，上述计算机可读的存储介质可以被设置为存储用于执行以下步骤的计算机程序：
S1，在目标平台上显示第一界面，其中，第一界面用于获取目标操作对象的操作指令；
S2，基于第一界面获取目标操作对象第一操作指令，其中，第一操作指令用于选择数据源表中的数据项和调度信息，调度信息调节数据项的取值；
S3，响应第一操作指令，根据数据项和调度信息自动生成第一SQL语言信息。
可选地，在本实施例中，本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：闪存盘、只读存储器(Read-Only Memory，ROM)、随机存取器(Random Access Memory，RAM)、磁盘或光盘等。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
上述实施例中的集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在上述计算机可读取的存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在存储介质中，包括若干指令用以使得一台或多台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。
在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的客户端，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (16)
1.一种SQL自动生成方法，其特征在于，包括：
在目标平台上显示第一界面，其中，所述第一界面用于获取目标操作对象的操作指令；
基于所述第一界面获取所述目标操作对象第一操作指令，其中，所述第一操作指令用于选择数据源表中的数据项和调度信息，所述调度信息调节所述数据项的取值；
响应所述第一操作指令，根据所述数据项和所述调度信息自动生成第一SQL语言信息。
2.根据权利要求1所述的方法，其特征在于，所述响应所述第一操作指令，根据所述数据项和所述调度信息自动生成第一SQL语言信息，包括：
将所述数据项按照预设规则与数据库中的数据项进行匹配，得到对应所述数据项的标准数据项；
根据所述标准数据项和所述调度信息自动生成所述第一SQL语言信息。
3.根据权利要求2所述的方法，其特征在于，将所述数据项按照预设规则与数据库中的数据项进行匹配，得到对应所述数据项的标准数据项，包括：
计算所述数据项与存储在所述数据库中的每个标准数据项至之间的相似度；
在所述数据库中存在与所述数据项之间的相似度大于预定阈值的标注数据的情况下，将所述标注数据确定为所述数据项对应的标准数据项。
4.根据权利要求3所述的方法，其特征在于，所述计算所述数据项与存储在所述数据库中的每个标准数据项至之间的相似度，包括：
获取所述数据项对应的元信息；
计算所述元信息与所述数据库中的每个标准数据项中对应的标准元信息之间的相似度。
5.根据权利要求4所述的方法，其特征在于，所述计算所述元信息与所述数据库中的每个标准数据项中对应的标准元信息之间的相似度，包括：
基于词向量计算所述元信息与所述数据库中的每个标准数据项中对应的标准元信息之间的相似度。
6.根据权利要求3所述的方法，其特征在于，所述方法还包括：
在所述数据库中不存在与所述数据项之间的相似度大于预定阈值的标注数据的情况下，将所述数据项添加至所述数据库中，并确定为标准数据项。
7.根据权利要求1所述的方法，其特征在于，在所述数据项包括多项数据的情况下，根据所述数据项和所述调度信息自动生成所述第一SQL语言信息，包括：
获取所述多项数据项对应的多个标准数据项；
对所述多个标准数据项执行如下操作之一，自动生成所述第一SQL语言信息：交集操作、并集操作或差集的操作。
8.一种SQL自动生成装置，其特征在于，包括：
显示单元，用于在目标平台上显示第一界面，其中，所述第一界面用于获取目标操作对象的操作指令；
获取单元，用于基于所述第一界面获取所述目标操作对象第一操作指令，其中，所述第一操作指令用于选择数据源表中的数据项和调度信息，所述调度信息调节所述数据项的取值；
生成单元，用于响应所述第一操作指令，根据所述数据项和所述调度信息自动生成第一SQL语言信息。
9.根据权利要求8所述的装置，其特征在于，所述生成单元，包括：
匹配模块，用于将所述数据项按照预设规则与数据库中的数据项进行匹配，得到对应所述数据项的标准数据项；
生成模块，用于根据所述标准数据项和所述调度信息自动生成所述第一SQL语言信息。
10.根据权利要求9所述的装置，其特征在于，所述匹配模块，包括：
计算子模块，用于计算所述数据项与存储在所述数据库中的每个标准数据项至之间的相似度；
确定子模块，用于在所述数据库中存在与所述数据项之间的相似度大于预定阈值的标注数据的情况下，将所述标注数据确定为所述数据项对应的标准数据项。
11.根据权利要求10所述的装置，其特征在于，所述计算子模块还用于执行如下操作：
获取所述数据项对应的元信息；
计算所述元信息与所述数据库中的每个标准数据项中对应的标准元信息之间的相似度。
12.根据权利要求11所述的装置，其特征在于，所述计算子模块还用于执行如下操作：
基于词向量计算所述元信息与所述数据库中的每个标准数据项中对应的标准元信息之间的相似度。
13.根据权利要求10所述的装置，其特征在于，所述装置还包括：
确定单元，用于在所述数据库中不存在与所述数据项之间的相似度大于预定阈值的标注数据的情况下，将所述数据项添加至所述数据库中，并确定为标准数据项。
14.根据权利要求8所述的装置，其特征在于，在所述数据项包括多项数据的情况下，所述生成模块，包括：
获取子模块，用于获取所述多项数据项对应的多个标准数据项；
生成子模块，用于对所述多个标准数据项执行如下操作之一自动生成所述第一SQL语言信息：交集操作、并集操作或差集的操作。
15.一种计算机可读的存储介质，其特征在于，所述计算机可读的存储介质包括存储的程序，其中，所述程序运行时执行所述权利要求1至7任一项中所述的方法。
16.一种电子设备，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为通过所述计算机程序执行所述权利要求1至7任一项中所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110143000.7A CN112860725A (zh) | 2021-02-02 | 2021-02-02 | Sql自动生成方法和装置、存储介质及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110143000.7A CN112860725A (zh) | 2021-02-02 | 2021-02-02 | Sql自动生成方法和装置、存储介质及电子设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112860725A true CN112860725A (zh) | 2021-05-28 |
Family
ID=75986274
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110143000.7A Pending CN112860725A (zh) | 2021-02-02 | 2021-02-02 | Sql自动生成方法和装置、存储介质及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112860725A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114661751A (zh) * | 2022-03-22 | 2022-06-24 | 医渡云（北京）技术有限公司 | 基于sql知识库的数据生产方法、装置、系统、设备及介质 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101004683A (zh) * | 2007-01-31 | 2007-07-25 | 华为技术有限公司 | 数据库访问方法和装置 |
| CN103093000A (zh) * | 2013-02-25 | 2013-05-08 | 用友软件股份有限公司 | 数据库查询建模系统和数据库查询建模方法 |
| WO2017120087A1 (en) * | 2016-01-08 | 2017-07-13 | Microsoft Technology Licensing, Llc | Database operation using metadata of data sources |
| CN108536342A (zh) * | 2017-03-02 | 2018-09-14 | 腾讯科技（深圳）有限公司 | 一种数据查询方法及装置 |
| CN109473178A (zh) * | 2018-11-12 | 2019-03-15 | 北京懿医云科技有限公司 | 医疗数据整合的方法、系统、设备及存储介质 |
| CN109710631A (zh) * | 2018-08-17 | 2019-05-03 | 深圳壹账通智能科技有限公司 | 辅助生成sql代码的方法、装置、设备及计算机存储介质 |
| CN109992589A (zh) * | 2019-04-11 | 2019-07-09 | 北京启迪区块链科技发展有限公司 | 基于可视化页面生成sql语句的方法、装置、服务器及介质 |
| CN111159227A (zh) * | 2019-12-20 | 2020-05-15 | 中国建设银行股份有限公司 | 数据查询方法、装置、设备及存储介质 |
| CN111177180A (zh) * | 2019-12-11 | 2020-05-19 | 北京百分点信息科技有限公司 | 一种数据查询方法、装置以及电子设备 |
-
2021
- 2021-02-02 CN CN202110143000.7A patent/CN112860725A/zh active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101004683A (zh) * | 2007-01-31 | 2007-07-25 | 华为技术有限公司 | 数据库访问方法和装置 |
| CN103093000A (zh) * | 2013-02-25 | 2013-05-08 | 用友软件股份有限公司 | 数据库查询建模系统和数据库查询建模方法 |
| WO2017120087A1 (en) * | 2016-01-08 | 2017-07-13 | Microsoft Technology Licensing, Llc | Database operation using metadata of data sources |
| CN108536342A (zh) * | 2017-03-02 | 2018-09-14 | 腾讯科技（深圳）有限公司 | 一种数据查询方法及装置 |
| CN109710631A (zh) * | 2018-08-17 | 2019-05-03 | 深圳壹账通智能科技有限公司 | 辅助生成sql代码的方法、装置、设备及计算机存储介质 |
| CN109473178A (zh) * | 2018-11-12 | 2019-03-15 | 北京懿医云科技有限公司 | 医疗数据整合的方法、系统、设备及存储介质 |
| CN109992589A (zh) * | 2019-04-11 | 2019-07-09 | 北京启迪区块链科技发展有限公司 | 基于可视化页面生成sql语句的方法、装置、服务器及介质 |
| CN111177180A (zh) * | 2019-12-11 | 2020-05-19 | 北京百分点信息科技有限公司 | 一种数据查询方法、装置以及电子设备 |
| CN111159227A (zh) * | 2019-12-20 | 2020-05-15 | 中国建设银行股份有限公司 | 数据查询方法、装置、设备及存储介质 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114661751A (zh) * | 2022-03-22 | 2022-06-24 | 医渡云（北京）技术有限公司 | 基于sql知识库的数据生产方法、装置、系统、设备及介质 |
| CN114661751B (zh) * | 2022-03-22 | 2023-01-31 | 医渡云（北京）技术有限公司 | 基于sql知识库的数据生产方法、装置、系统、设备及介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11645471B1 (en) | Determining a relationship recommendation for a natural language request | |
| CN108733713B (zh) | 数据仓库中的数据查询方法及装置 | |
| CN106067080B (zh) | 提供可配置工作流能力 | |
| US11288319B1 (en) | Generating trending natural language request recommendations | |
| CN109308284B (zh) | 报表菜单生成方法、装置、计算机设备及存储介质 | |
| US9753960B1 (en) | System, method, and computer program for dynamically generating a visual representation of a subset of a graph for display, based on search criteria | |
| US10635408B2 (en) | Method and apparatus for enabling agile development of services in cloud computing and traditional environments | |
| CN110309264A (zh) | 基于知识图谱获取地理产品数据的方法和装置 | |
| CN112084270A (zh) | 一种数据血缘处理方法、装置、存储介质及设备 | |
| CN113157947A (zh) | 知识图谱的构建方法、工具、装置和服务器 | |
| CN113032364B (zh) | 基于资源树的数据服务平台可视化管理工具、方法、应用 | |
| US9741065B2 (en) | Automated guidance for selecting components of an it solution | |
| CN116401407A (zh) | 思维导图的节点属性配置方法、装置、设备和存储介质 | |
| CN115017182A (zh) | 一种可视化的数据分析方法及设备 | |
| CN112860725A (zh) | Sql自动生成方法和装置、存储介质及电子设备 | |
| CN113722345A (zh) | 映射关系的展示方法和装置、电子设备、存储介质 | |
| CN116127047B (zh) | 企业信息库的建立方法与装置 | |
| US9542457B1 (en) | Methods for displaying object history information | |
| CN114296696A (zh) | 业务功能操作方法和装置、存储介质及电子设备 | |
| CN111949719B (zh) | 一种电力系统的组态工具实现方法、装置及相关组件 | |
| CN112182115A (zh) | 关系的展示方法和装置、存储介质、电子装置 | |
| CN111126961A (zh) | 一种复杂产品全生命周期数字主线服务系统 | |
| CN111143408B (zh) | 一种基于业务规则的事件处理方法和装置 | |
| CN113722341B (zh) | 一种运营数据处理方法及相关装置 | |
| CN110851618B (zh) | 表格数据的管理方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210528 |
|
| RJ01 | Rejection of invention patent application after publication |