CN117056416B - 可视化的数据集模型灵活构建和管理方法 - Google Patents

可视化的数据集模型灵活构建和管理方法 Download PDF

Info

Publication number
CN117056416B
CN117056416B CN202311029125.2A CN202311029125A CN117056416B CN 117056416 B CN117056416 B CN 117056416B CN 202311029125 A CN202311029125 A CN 202311029125A CN 117056416 B CN117056416 B CN 117056416B
Authority
CN
China
Prior art keywords
model
sql
association
data table
data set
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311029125.2A
Other languages
English (en)
Other versions
CN117056416A (zh
Inventor
严林刚
周翔
张进
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Guanyuan Data Co ltd
Original Assignee
Hangzhou Guanyuan Data Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Guanyuan Data Co ltd filed Critical Hangzhou Guanyuan Data Co ltd
Priority to CN202311029125.2A priority Critical patent/CN117056416B/zh
Publication of CN117056416A publication Critical patent/CN117056416A/zh
Application granted granted Critical
Publication of CN117056416B publication Critical patent/CN117056416B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/26—Visual data mining; Browsing structured data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2228—Indexing structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/248—Presentation of query results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/258—Data format conversion from or to a database
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0486—Drag-and-drop
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请涉及一种可视化的数据集模型灵活构建和管理方法，通过读取现有关系型数据库中已有的数据表信息，并可视化展示在前端；用户从所述数据表信息中选择若干目标数据表，建立目标数据表之间的关联关系，关联配置后得到关联数据表；为所述关联数据表配置对应的字段过滤条件，配置完毕，构建得到可视化的数据集模型；将可视化的所述数据集模型进行sql转换，得到对应的sql模型。能够首先从关系型数据库中获取到需要的数据表，然后提供可视化的操作界面让用户通过拖拽、选择的方式建立复杂的数据集模型，再进行数据集模型的sql转换，得到sql模型。因此，可以避免前期的sql建模，降低用户使用sql语言进行数据集建模的使用门槛。

Description

可视化的数据集模型灵活构建和管理方法
技术领域
本公开涉及技术领域，尤其涉及一种可视化的数据集模型灵活构建和管理方法、平台和电子设备。
背景技术
数据集，又称为资料集、数据集合或资料集合，是一种由数据所组成的集合。Dataset(或dataset)是一个数据的集合。
随着大数据技术的发展和数据可视化分析工具的普及，企业用户经常需要建立用于后续数据分析的数据集模型，但模型建立的过程往往需要用户具备一定的专业知识如sql语言等，这也就使得业务用户无法建立低门槛的数据集模型，必须让用户具备一定的sql语言等专业技术门槛，需要用户根据数据表关系自行编写sql并完成数据集建模。
因此，现有技术需要用户使用sql语言进行数据集建模，使用门槛较高。
发明内容
为了解决上述问题，本申请提出一种可视化的数据集模型灵活构建和管理方法、平台和电子设备。
本申请一方面，提出一种可视化的数据集模型灵活构建和管理方法，包括如下步骤：
读取现有关系型数据库中已有的数据表信息，并可视化展示在前端；
用户从所述数据表信息中选择若干目标数据表，建立目标数据表之间的关联关系，关联配置后得到关联数据表；
为所述关联数据表配置对应的字段过滤条件，配置完毕，构建得到可视化的数据集模型；
将可视化的所述数据集模型进行sql转换，得到对应的sql模型。
作为本申请的一可选实施方案，可选地，还包括如下步骤：
根据预设的模型预期条件，对所述sql模型进行审核：
若所述sql模型满足所述模型预期条件，则将所述sql模型保存在产品数据库中；
若所述sql模型不满足所述模型预期条件，则将所述sql模型返回至前端，通知用户调整所述sql模型，并在发出通知的同时，将所述模型预期条件同步发送并展示在前端上。
作为本申请的一可选实施方案，可选地，读取现有关系型数据库中已有的数据表信息，并可视化展示在前端，包括：
按照所需要的数据表信息，设定检索字段；
将所述检索字段输入至现有的所述关系型数据库中，进行数据表检索；
读取现有关系型数据库中已有的数据表信息，并按照所述检索字段筛选出匹配所述检索字段的数据表信息，将筛选出的数据表信息反馈至前端并可视化展示在前端的操作页面上。
作为本申请的一可选实施方案，可选地，用户从所述数据表信息中选择若干目标数据表，建立目标数据表之间的关联关系，关联配置后得到关联数据表，包括：
用户通过前端操作页面所展示的所述数据表信息中，拖曳本次建立数据集模型所需要的若干目标数据表；
为所需要的若干目标数据表进行关联配置：
从关联模块中选择列关联(join)及行关联(union)，并分别选择所述列关联(join)及所述行关联(union)中的具体关联选项；
按照所述列关联(join)及所述行关联(union)中的具体关联选项，在所目标数据表之间进行关联配置，得到所述关联数据表。
作为本申请的一可选实施方案，可选地，为所述关联数据表配置对应的字段过滤条件，配置完毕，构建得到可视化的数据集模型，包括：
根据所述关联数据表的表格内容，为所述关联数据表构建并配置对应的字段过滤条件：
从所述关联数据表中选择若干关联的列，作为目标列；
为所述目标列进行字段选择，按照选择的所需要的字段，构建所述目标列的字段过滤条件，并将所述字段过滤条件配置并保存在产品数据库中；
配置完毕，得到可视化的所述数据集模型。
作为本申请的一可选实施方案，可选地，为所述关联数据表配置对应的字段过滤条件，配置完毕，构建得到可视化的数据集模型，还包括：
从所述关联数据表中选择若干关联的行，作为目标行；
为所述目标行进行字段选择，按照选择的所需要的字段，构建所述目标行的字段过滤条件，并将所述字段过滤条件配置并保存在产品数据库中；
配置完毕，得到可视化的所述数据集模型。
作为本申请的一可选实施方案，可选地，将可视化的所述数据集模型进行sql转换，得到对应的sql模型，包括：
将可视化的所述数据集模型发送至sql转换模块；
在sql转换模块中，利用sql转换规则对所述数据集模型进行sql转换，将所述数据集模型转换得到对应的sql模型；
输出所述sql模型，并将所述sql模型发送至所述关系型数据库中。
作为本申请的一可选实施方案，可选地，利用sql转换规则对所述数据集模型进行sql转换，将所述数据集模型转换得到对应的sql模型，包括：
对所述数据集模型进行解析，得到所述数据集模型的数据集关联结构；
按照sql转换规则，对所述数据集模型的数据集关联结构进行sql编译，编译得到对应的sql数据集；
封装所述sql数据集，得到所述sql模型。
本申请另一方面，提出一种实现所述视化的数据集模型灵活构建和管理方法的平台，包括：
数据表读取模块，用于读取现有关系型数据库中已有的数据表信息，并可视化展示在前端；
关联模块，用于用户从所述数据表信息中选择若干目标数据表，建立目标数据表之间的关联关系，关联配置后得到关联数据表；
配置模块，用于为所述关联数据表配置对应的字段过滤条件，配置完毕，构建得到可视化的数据集模型；
sql转换模块，用于将可视化的所述数据集模型进行sql转换，得到对应的sql模型。
本申请另一方面，还提出一种电子设备，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述可执行指令时实现所述的一种可视化的数据集模型灵活构建和管理方法。
本发明的技术效果：
本申请通过读取现有关系型数据库中已有的数据表信息，并可视化展示在前端；用户从所述数据表信息中选择若干目标数据表，建立目标数据表之间的关联关系，关联配置后得到关联数据表；为所述关联数据表配置对应的字段过滤条件，配置完毕，构建得到可视化的数据集模型；将可视化的所述数据集模型进行sql转换，得到对应的sql模型。能够首先从关系型数据库中获取到需要的数据表，然后提供可视化的操作界面让用户通过拖拽、选择的方式建立复杂的数据集模型，再进行数据集模型的sql转换，得到sql模型。因此，可以避免前期的sql建模，降低用户使用sql语言进行数据集建模的使用门槛。
根据下面参考附图对示例性实施例的详细说明，本公开的其它特征及方面将变得清楚。
附图说明
包含在说明书中并且构成说明书的一部分的附图与说明书一起示出了本公开的示例性实施例、特征和方面，并且用于解释本公开的原理。
图1示出为本发明可视化的数据集模型灵活构建和管理方法的实施流程示意图；
图2示出为本发明的应用系统示意图；
图3示出为本发明关联配置的操作页面配置示意图；
图4示出为本发明子弹选择的示意图；
图5示出为本发明电子设备的应用示意图。
具体实施方式
以下将参考附图详细说明本公开的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。
在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。
另外，为了更好的说明本公开，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本公开同样可以实施。在一些实例中，对于本领域技术人员熟知的、手段、元件和电路未作详细描述，以便于凸显本公开的主旨。
实施例1
本实施例，用户操作的数据集处理平台(比如数据集成平台，可以参见现有的BI数据操作系统)，本实施例不作限定。由数据集处理平台提供的可视化操作系统，为用户提供具体的操作方案。
其中，在可视化操作系统，为用户提供了各种操作组件，比如拖曳、删除、添加等组件，可以让用户对前端页面上展示的元素进行操作。
如图1所示，本申请一方面，提出一种可视化的数据集模型灵活构建和管理方法，包括如下步骤：
S1、读取现有关系型数据库中已有的数据表信息，并可视化展示在前端；
S2、用户从所述数据表信息中选择若干目标数据表，建立目标数据表之间的关联关系，关联配置后得到关联数据表；
S3、为所述关联数据表配置对应的字段过滤条件，配置完毕，构建得到可视化的数据集模型；
S4、将可视化的所述数据集模型进行sql转换，得到对应的sql模型。
现有关系型数据库，可以提前将若干数据表信息保存在关系型数据库中，也可以由用户临时导入想要的数据表并保存在关系型数据库中。
关系型数据库，具备自己的检索功能，可以根据自己所保存的数据表二检索得到对应的关系型数据表。
用户可以从关系型数据库中读取所需要的数据表并展示在前端上，并利用系统的操作组件，来构建数据表之间的关联关系，经过关联配置和字段选择(多表关联)，完成多表关联配置，以此得到所构建的数据集(模型)。
具体的操作步骤如下：
步骤1：读取关系型数据库中数据表信息并展示；
步骤2：用户拖拽建模需要的相关数据表；
步骤3：根据表的关联关系，选择列关联(join)及行关联(union)并选择具体的关联选项；
步骤4：对关联后的数据选择相关的列(字段选择)；
步骤5：按需选择列的筛选条件，构建对应的数据库模型。
因此首先从关系型数据库中获取到需要的数据表，然后提供可视化的操作界面让用户通过拖拽、选择的方式建立复杂的数据集模型。
构建得到数据集模型之后，再进行sql转换，得到sql模型。前期可以避免因构建sql模型而需要一定的sql专业支撑，降低对用户构建数据集模型的门槛。
因此，本方案首先从关系型数据库中获取到需要的数据表，然后提供可视化的操作界面让用户通过拖拽、选择的方式建立复杂的数据集模型，再进行数据集模型的sql转换，得到sql模型。可以避免前期的sql建模，降低用户使用sql语言进行数据集建模的使用门槛。
在具体实施时，还需要对sql模型进行审核，判断sql模型是否符合期望。
作为本申请的一可选实施方案，可选地，还包括如下步骤：
根据预设的模型预期条件，对所述sql模型进行审核：
若所述sql模型满足所述模型预期条件，则将所述sql模型保存在产品数据库中；
若所述sql模型不满足所述模型预期条件，则将所述sql模型返回至前端，通知用户调整所述sql模型，并在发出通知的同时，将所述模型预期条件同步发送并展示在前端上。
如图2所示，在生成sql模型之后，需要判断该sql模型是否满足预期要求。可以将sql发到数据库预览，符合预期则保存相关模型，不符合预期则返回调整。
sql模型生成之后，可以将sql模型发送至数据库中进行执行，根据数据库执行sql模型的返回结果，让用户判断是否符合预期。返回的结果应该完全符合用户的预期，否则就需要返回调整sql模型。
用户对sql模型的预期，可以由用户自行决定，本实施例不作限定。
作为本申请的一可选实施方案，可选地，读取现有关系型数据库中已有的数据表信息，并可视化展示在前端，包括：
按照所需要的数据表信息，设定检索字段；
将所述检索字段输入至现有的所述关系型数据库中，进行数据表检索；
读取现有关系型数据库中已有的数据表信息，并按照所述检索字段筛选出匹配所述检索字段的数据表信息，将筛选出的数据表信息反馈至前端并可视化展示在前端的操作页面上。
在读取有关系型数据库中已有的数据表信息之时，可以通过字段检索，从数据库中读取得到用户想要的数据表。
具体的，如图2所示，用户可以在数据表读取模块中输入对应的检索字段，系统的检索系统，将检索字段输入关系型数据库中进行数据检索，从所储存的数据表信息中，筛选出匹配所述检索字段的数据表信息，将筛选出的数据表信息反馈至前端，并可视化展示在前端的操作页面上。
系统的检索引擎，由平台提供即可。
作为本申请的一可选实施方案，可选地，用户从所述数据表信息中选择若干目标数据表，建立目标数据表之间的关联关系，关联配置后得到关联数据表，包括：
用户通过前端操作页面所展示的所述数据表信息中，拖曳本次建立数据集模型所需要的若干目标数据表；
为所需要的若干目标数据表进行关联配置：
从关联模块中选择列关联(join)及行关联(union)，并分别选择所述列关联(join)及所述行关联(union)中的具体关联选项；
按照所述列关联(join)及所述行关联(union)中的具体关联选项，在所目标数据表之间进行关联配置，得到所述关联数据表。
在若干目标数据表进行关联配置之时，多表关联的方式支持join和union两种关联操作，join需要选择连接方式，有全连接、左外连接、内连接三种。union的拼接方式有选择所有列、选择共有列、选择来自某一数据表三种方式。
具体在多表关联时，可以支持串接式的多表串联，也可以支持并联或者交叉链接。
还可以支撑拖拽支持组合，比如A表先和B表行关联，整体再和C表进行列关联，或者A表同时和B、C、D等多表进行列关联(拖曳关联时，可以参见比如visio的数据流构建过程)。
如图3所示，关联选项包括：列关联(join)有全连接、左外连接、内连接三种。行关联(union)有选择所有列、选择共有列、选择来自某一数据表三种方式。
通过行和列的关联，可以实现多个数据表之间的关联绑定，后续形成的数据集模型，将按照这种关联模式执行对应的数据流驱动，实现对应的数据驱动计算。
作为本申请的一可选实施方案，可选地，为所述关联数据表配置对应的字段过滤条件，配置完毕，构建得到可视化的数据集模型，包括：
根据所述关联数据表的表格内容，为所述关联数据表构建并配置对应的字段过滤条件：
从所述关联数据表中选择若干关联的列，作为目标列；
为所述目标列进行字段选择，按照选择的所需要的字段，构建所述目标列的字段过滤条件，并将所述字段过滤条件配置并保存在产品数据库中；
配置完毕，得到可视化的所述数据集模型。
如图4所示，在图形建模中，可以进行字段选择，选择需要的字段并且指定相关字段的过滤条件。可以选择关联数据表的行字段、列字段，通过构建行、列的字段筛选条件，实现数据集模型的字段选择，后续可以利用该字段条件，实现关联数据表中点对行、列的数据集筛选操作。
用户所选择的行，为目标行，可以将关联的各个数据表，每个数据表中皆选择一个行，作为目标行。设定对这些目标行的字段过滤条件，后续可以在前端展示时，让用户输入对应的行过滤字段，以此对数据集模型中的关联数据表，进行行过滤、选择。行过滤字段，可以结合用户的dom-id和管理员的ad-id进行设定。
列过滤，同理。
作为本申请的一可选实施方案，可选地，为所述关联数据表配置对应的字段过滤条件，配置完毕，构建得到可视化的数据集模型，还包括：
从所述关联数据表中选择若干关联的行，作为目标行；
为所述目标行进行字段选择，按照选择的所需要的字段，构建所述目标行的字段过滤条件，并将所述字段过滤条件配置并保存在产品数据库中；
配置完毕，得到可视化的所述数据集模型。
参见上述行过滤的配置。
作为本申请的一可选实施方案，可选地，将可视化的所述数据集模型进行sql转换，得到对应的sql模型，包括：
将可视化的所述数据集模型发送至sql转换模块；
在sql转换模块中，利用sql转换规则对所述数据集模型进行sql转换，将所述数据集模型转换得到对应的sql模型；
输出所述sql模型，并将所述sql模型发送至所述关系型数据库中。
sql转换规则，即将数据集转换为sql编译数据的规则，可以结合sql语言编译技术进行理解。
本方案还需要将构建的sql模型中的关联数据集进行sql转换，将其转换为sql语言的数据集模型即可，至于sql模型中具体的sql转换过程，本实施例不做赘述。本处类似编译，因此采用sql语言进行sql编译的过程、程序，本实施例不做描述。
可视化操作系统上部署的sql转换模块，可以为具体的sql编译软件等等，只不过需要后台管理员前期对sql转换模块进行sql转换规则的设定即可。
作为本申请的一可选实施方案，可选地，利用sql转换规则对所述数据集模型进行sql转换，将所述数据集模型转换得到对应的sql模型，包括：
对所述数据集模型进行解析，得到所述数据集模型的数据集关联结构；
按照sql转换规则，对所述数据集模型的数据集关联结构进行sql编译，编译得到对应的sql数据集；
封装所述sql数据集，得到所述sql模型。
sql转换之时，首先需要解析数据集模型，得到sql模型中关联数据集的数据结构关系，后续将根据sql模型的数据集关系构建对应的sql编译任务。
因此，解析模块可以按照sql的编译格式，对sql模型进行解析。具体可以参见sql编译过程。
本方案得到sql模型之后，可以将sql模型部署在后台系统上，通过接入临时的数据，将其输入后台并利用部署的sql模型，对数据进行计算，判断sql模型的达标率。
采用本方案，将现有关系型数据库中已有的数据表信息展示给用户，同时支持让用户拖拽相关表进行建模，能够用于可视化的建立传统关系型数据库的数据集模型，尤其是需要对原始表做一些多表关联的场景，可以进行可视化在线配置。
显然，本领域的技术人员应该明白，实现上述实施例中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成的，程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各控制的实施例的流程。本领域技术人员可以理解，实现上述实施例中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成的，程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各控制的实施例的流程。其中，存储介质可为磁碟、光盘、只读存储记忆体(Read-OnlyMemory，ROM)、随机存储记忆体(RandomAccessMemory，RAM)、快闪存储器(FlashMemory)、硬盘(HardDiskDrive，缩写：HDD)或固态硬盘(Solid-StateDrive，SSD)等；存储介质还可以包括上述种类的存储器的组合。
实施例2
如图2所示，基于实施例1的实施原理，本申请另一方面，提出一种实现所述视化的数据集模型灵活构建和管理方法的平台，包括：
数据表读取模块，用于读取现有关系型数据库中已有的数据表信息，并可视化展示在前端；
关联模块，用于用户从所述数据表信息中选择若干目标数据表，建立目标数据表之间的关联关系，关联配置后得到关联数据表；
配置模块，用于为所述关联数据表配置对应的字段过滤条件，配置完毕，构建得到可视化的数据集模型；
sql转换模块，用于将可视化的所述数据集模型进行sql转换，得到对应的sql模型。
上述各个模块的功能和交互关系，具体参见实施例1的描述。
上述的本发明的各模块或各步骤可以用通用的计算平台来实现，它们可以集中在单个的计算平台上，或者分布在多个计算平台所组成的网络上，可选地，它们可以用计算平台可执行的程序代码来实现，从而，可以将它们存储在存储平台中由计算平台来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
实施例3
如图5所示，更进一步地，本申请另一方面，还提出一种电子设备，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述可执行指令时实现所述的一种可视化的数据集模型灵活构建和管理方法。
本公开实施例来电子设备包括处理器以及用于存储处理器可执行指令的存储器。其中，处理器被配置为执行可执行指令时实现前面任一所述的一种可视化的数据集模型灵活构建和管理方法。
此处，应当指出的是，处理器的个数可以为一个或多个。同时，在本公开实施例的电子设备中，还可以包括输入平台和输出平台。其中，处理器、存储器、输入平台和输出平台之间可以通过总线连接，也可以通过其他方式连接，此处不进行具体限定。
存储器作为一计算机可读存储介质，可用于存储软件程序、计算机可执行程序和各种模块，如：本公开实施例的一种可视化的数据集模型灵活构建和管理方法所对应的程序或模块。处理器通过运行存储在存储器中的软件程序或模块，从而执行电子设备的各种功能应用及数据处理。
输入平台可用于接收输入的数字或信号。其中，信号可以为产生与设备/终端/服务器的用户设置以及功能控制有关的键信号。输出平台可以包括显示屏等显示设备。
以上已经描述了本公开的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (9)

1.一种可视化的数据集模型灵活构建和管理方法，其特征在于，包括如下步骤：
读取现有关系型数据库中已有的数据表信息，并可视化展示在前端；
用户从所述数据表信息中选择若干目标数据表，建立目标数据表之间的关联关系，关联配置后得到关联数据表；
为所述关联数据表配置对应的字段过滤条件，配置完毕，构建得到可视化的数据集模型；
将可视化的所述数据集模型进行sql转换，得到对应的sql模型；
根据预设的模型预期条件，对所述sql模型进行审核：
若所述sql模型满足所述模型预期条件，则将所述sql模型保存在产品数据库中；
若所述sql模型不满足所述模型预期条件，则将所述sql模型返回至前端，通知用户调整所述sql模型，并在发出通知的同时，将所述模型预期条件同步发送并展示在前端上；
得到sql模型之后，将sql模型部署在后台系统上，通过接入临时的数据，将其输入后台并利用部署的sql模型，对数据进行计算，判断sql模型的达标率。
2.根据权利要求1所述的一种可视化的数据集模型灵活构建和管理方法，其特征在于，读取现有关系型数据库中已有的数据表信息，并可视化展示在前端，包括：
按照所需要的数据表信息，设定检索字段；
将所述检索字段输入至现有的所述关系型数据库中，进行数据表检索；
读取现有关系型数据库中已有的数据表信息，并按照所述检索字段筛选出匹配所述检索字段的数据表信息，将筛选出的数据表信息反馈至前端并可视化展示在前端的操作页面上。
3.根据权利要求1所述的一种可视化的数据集模型灵活构建和管理方法，其特征在于，用户从所述数据表信息中选择若干目标数据表，建立目标数据表之间的关联关系，关联配置后得到关联数据表，包括：
用户通过前端操作页面所展示的所述数据表信息中，拖曳本次建立数据集模型所需要的若干目标数据表；
为所需要的若干目标数据表进行关联配置：
从关联模块中选择列关联(join)及行关联(union)，并分别选择所述列关联(join)及所述行关联(union)中的具体关联选项；
按照所述列关联(join)及所述行关联(union)中的具体关联选项，在所目标数据表之间进行关联配置，得到所述关联数据表。
4.根据权利要求1所述的一种可视化的数据集模型灵活构建和管理方法，其特征在于，为所述关联数据表配置对应的字段过滤条件，配置完毕，构建得到可视化的数据集模型，包括：
根据所述关联数据表的表格内容，为所述关联数据表构建并配置对应的字段过滤条件：
从所述关联数据表中选择若干关联的列，作为目标列；
为所述目标列进行字段选择，按照选择的所需要的字段，构建所述目标列的字段过滤条件，并将所述字段过滤条件配置并保存在产品数据库中；
配置完毕，得到可视化的所述数据集模型。
5.根据权利要求4所述的一种可视化的数据集模型灵活构建和管理方法，其特征在于，为所述关联数据表配置对应的字段过滤条件，配置完毕，构建得到可视化的数据集模型，还包括：
从所述关联数据表中选择若干关联的行，作为目标行；
为所述目标行进行字段选择，按照选择的所需要的字段，构建所述目标行的字段过滤条件，并将所述字段过滤条件配置并保存在产品数据库中；
配置完毕，得到可视化的所述数据集模型。
6.根据权利要求1所述的一种可视化的数据集模型灵活构建和管理方法，其特征在于，将可视化的所述数据集模型进行sql转换，得到对应的sql模型，包括：
将可视化的所述数据集模型发送至sql转换模块；
在sql转换模块中，利用sql转换规则对所述数据集模型进行sql转换，将所述数据集模型转换得到对应的sql模型；
输出所述sql模型，并将所述sql模型发送至所述关系型数据库中。
7.根据权利要求6所述的一种可视化的数据集模型灵活构建和管理方法，其特征在于，利用sql转换规则对所述数据集模型进行sql转换，将所述数据集模型转换得到对应的sql模型，包括：
对所述数据集模型进行解析，得到所述数据集模型的数据集关联结构；
按照sql转换规则，对所述数据集模型的数据集关联结构进行sql编译，编译得到对应的sql数据集；
封装所述sql数据集，得到所述sql模型。
8.一种可实现权利要求1-7中任一项所述视化的数据集模型灵活构建和管理方法的平台，其特征在于，包括：
数据表读取模块，用于读取现有关系型数据库中已有的数据表信息，并可视化展示在前端；
关联模块，用于用户从所述数据表信息中选择若干目标数据表，建立目标数据表之间的关联关系，关联配置后得到关联数据表；
配置模块，用于为所述关联数据表配置对应的字段过滤条件，配置完毕，构建得到可视化的数据集模型；
sql转换模块，用于将可视化的所述数据集模型进行sql转换，得到对应的sql模型。
9.一种电子设备，其特征在于，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述可执行指令时实现权利要求1-7中任一项所述的一种可视化的数据集模型灵活构建和管理方法。
CN202311029125.2A 2023-08-16 2023-08-16 可视化的数据集模型灵活构建和管理方法 Active CN117056416B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311029125.2A CN117056416B (zh) 2023-08-16 2023-08-16 可视化的数据集模型灵活构建和管理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311029125.2A CN117056416B (zh) 2023-08-16 2023-08-16 可视化的数据集模型灵活构建和管理方法

Publications (2)

Publication Number Publication Date
CN117056416A CN117056416A (zh) 2023-11-14
CN117056416B true CN117056416B (zh) 2024-05-07

Family

ID=88662118

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311029125.2A Active CN117056416B (zh) 2023-08-16 2023-08-16 可视化的数据集模型灵活构建和管理方法

Country Status (1)

Country Link
CN (1) CN117056416B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108376176A (zh) * 2018-03-14 2018-08-07 深圳日彤大数据有限公司 可拖拽式大数据可视化分析工具系统
CN111581229A (zh) * 2020-03-25 2020-08-25 平安科技（深圳）有限公司 Sql语句的生成方法、装置、计算机设备及存储介质
CN112069243A (zh) * 2020-08-18 2020-12-11 福建博思软件股份有限公司 一种基于可视化页面生成指标分析模型的方法和存储设备
CN113296760A (zh) * 2021-05-25 2021-08-24 深信服科技股份有限公司 模型代码的生成方法、计算机设备及可读存储介质
CN114896248A (zh) * 2022-05-16 2022-08-12 翁秀萍 实现基于关联池数据表自动拼接生成sql的方法及装置
CN115268910A (zh) * 2022-07-27 2022-11-01 重庆忽米网络科技有限公司 基于多Excel子表的数据可视化模型构建方法
WO2023056934A1 (zh) * 2021-10-09 2023-04-13 北京字跳网络技术有限公司 数据处理方法、装置和电子设备

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7299223B2 (en) * 2003-07-16 2007-11-20 Oracle International Corporation Spreadsheet to SQL translation
US20210318851A1 (en) * 2020-04-09 2021-10-14 Virtualitics, Inc. Systems and Methods for Dataset Merging using Flow Structures

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108376176A (zh) * 2018-03-14 2018-08-07 深圳日彤大数据有限公司 可拖拽式大数据可视化分析工具系统
CN111581229A (zh) * 2020-03-25 2020-08-25 平安科技（深圳）有限公司 Sql语句的生成方法、装置、计算机设备及存储介质
CN112069243A (zh) * 2020-08-18 2020-12-11 福建博思软件股份有限公司 一种基于可视化页面生成指标分析模型的方法和存储设备
CN113296760A (zh) * 2021-05-25 2021-08-24 深信服科技股份有限公司 模型代码的生成方法、计算机设备及可读存储介质
WO2023056934A1 (zh) * 2021-10-09 2023-04-13 北京字跳网络技术有限公司 数据处理方法、装置和电子设备
CN114896248A (zh) * 2022-05-16 2022-08-12 翁秀萍 实现基于关联池数据表自动拼接生成sql的方法及装置
CN115268910A (zh) * 2022-07-27 2022-11-01 重庆忽米网络科技有限公司 基于多Excel子表的数据可视化模型构建方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
大型异构数据库数据迁移系统的研究与应用;熊华平;李莉娇;陈付平;荣海亮;;计算机应用与软件;20120715(07);全文 *

Also Published As

Publication number Publication date
CN117056416A (zh) 2023-11-14

Similar Documents

Publication Publication Date Title
CN111080170B (zh) 一种工作流建模方法、装置、电子设备及存储介质
CN106599039B (zh) 一种支持关系数据库数据自由组合嵌套的统计表述方法
US20060259891A1 (en) System and method of generating an auto-wiring script
US9195456B2 (en) Managing a catalog of scripts
CN116028653B (zh) 一种可视化配置多源异构数据构建图谱的方法及系统
CN115617338A (zh) 一种业务页面快速生成方法、装置及可读存储介质
CN113568614A (zh) 任务发布方法、电子设备及存储介质
CN117056416B (zh) 可视化的数据集模型灵活构建和管理方法
CN111797125A (zh) 报表的创建方法、装置、电子设备及计算机可读存储介质
US8302045B2 (en) Electronic device and method for inspecting electrical rules of circuit boards
CN112328149B (zh) 图片格式的设置方法、装置及电子设备
CN115048359A (zh) 一种多类型接入数据源的通用数据处理架构设计方法
CN114936152A (zh) 应用测试方法及设备
CN113506099A (zh) 申报业务的配置系统、方法、计算机设备和存储介质
CN112861060A (zh) 页面创建方法、装置、计算机设备和存储介质
CN112989769A (zh) 一种基于表单引擎构建多数据源表单的方法、装置及平台
CN112527747A (zh) 一种日志模板配置、展示方法及装置
CN104243201A (zh) 网络设备测试用例对应拓扑图的存储方法及系统
CN113706209B (zh) 运营数据处理方法及相关装置
CN111240970B (zh) 一种测试用例生成方法及装置
CN109901989B (zh) Json对比方法和装置以及电子设备
CN116226788B (zh) 一种融合多种数据类型的建模方法及相关设备
US11842229B2 (en) System and method for designing and developing application programming interface
EP4155944A1 (en) Database troubleshooting with automated functionality
CN111124548B (zh) 一种基于yaml文件的规则解析方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant