CN116955414A - 低代码平台的数据查询方法及相关系统 - Google Patents
低代码平台的数据查询方法及相关系统 Download PDFInfo
- Publication number
- CN116955414A CN116955414A CN202311048138.4A CN202311048138A CN116955414A CN 116955414 A CN116955414 A CN 116955414A CN 202311048138 A CN202311048138 A CN 202311048138A CN 116955414 A CN116955414 A CN 116955414A
- Authority
- CN
- China
- Prior art keywords
- data
- query
- model
- acceleration
- service
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 118
- 230000001133 acceleration Effects 0.000 claims abstract description 141
- 230000008569 process Effects 0.000 claims abstract description 65
- 238000013461 design Methods 0.000 claims abstract description 56
- 238000004590 computer program Methods 0.000 claims abstract description 21
- 238000011156 evaluation Methods 0.000 claims description 42
- 230000004044 response Effects 0.000 claims description 27
- 230000000007 visual effect Effects 0.000 claims description 4
- 238000012549 training Methods 0.000 description 44
- 238000007726 management method Methods 0.000 description 19
- 238000013145 classification model Methods 0.000 description 16
- 238000013136 deep learning model Methods 0.000 description 16
- 238000004364 calculation method Methods 0.000 description 15
- 238000012545 processing Methods 0.000 description 15
- 230000009286 beneficial effect Effects 0.000 description 11
- 238000005457 optimization Methods 0.000 description 11
- 230000001360 synchronised effect Effects 0.000 description 11
- 238000013210 evaluation model Methods 0.000 description 9
- 230000000694 effects Effects 0.000 description 8
- 238000011161 development Methods 0.000 description 7
- 230000006872 improvement Effects 0.000 description 7
- 238000002372 labelling Methods 0.000 description 7
- 238000012544 monitoring process Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000012423 maintenance Methods 0.000 description 6
- 230000006399 behavior Effects 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 5
- 238000013507 mapping Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 238000013439 planning Methods 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 230000007115 recruitment Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013499 data model Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000012384 transportation and delivery Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2453—Query optimisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2282—Tablespace storage structures; Management thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/248—Presentation of query results
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F8/00—Arrangements for software engineering
- G06F8/70—Software maintenance or management
- G06F8/71—Version control; Configuration management
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Computer Security & Cryptography (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请提供了低代码平台的数据查询方法、系统、计算机可读存储介质及计算机程序产品。所述方法包括:在设计态下,获取目标业务模型集和模型加速策略,所述目标业务模型集包括多个目标业务模型;在运行态下,根据所述模型加速策略调用模型加速服务,将所述目标业务模型集中的数据同步到运行态数据库;响应于数据查询操作,调用加速数据服务从所述运行态数据库中获取与所述数据查询操作相对应的目标数据并展示。本申请依托低代码平台的模型能力和表单配置化能力,实现了高效的数据查询过程,进而提升了低代码平台下的数据查询性能。
Description
技术领域
本申请涉及低代码平台的技术领域,尤其涉及低代码平台的数据查询方法、系统、计算机可读存储介质及计算机程序产品。
背景技术
传统开发模式形成了一套复杂的系统,需要专业的IT技术人员按照流程及任务分工进行开发应用。而低代码应用开发系统,可以让用户在没有专业的IT技术人员的帮助下,自主地搭建业务应用。
当前低代码应用开发系统,侧重专注于如何让用户能够简单进行业务开发,开发完直接发布使用即可。但当平台使用的比较深、数据量积累的也比较多时,数据查询的服务响应时间过长,性能很难得到保障。
因此,亟需提供一种低代码平台的数据查询方法、系统、计算机可读存储介质及计算机程序产品,以改进现有技术存在的问题。
发明内容
本申请的目的在于提供低代码平台的数据查询方法、系统、计算机可读存储介质及计算机程序产品,解决数据查询的服务响应时间过长的技术问题。
本申请的目的采用以下技术方案实现:
第一方面,本申请提供了一种低代码平台的数据查询方法,所述方法包括:
在设计态下,获取目标业务模型集和模型加速策略,所述目标业务模型集包括多个目标业务模型;
在运行态下,根据所述模型加速策略调用模型加速服务,将所述目标业务模型集中的数据同步到运行态数据库;响应于数据查询操作,调用加速数据服务从所述运行态数据库中获取与所述数据查询操作相对应的目标数据并展示。
该技术方案的有益效果在于:在设计态阶段,可以定义和配置多个目标业务模型,还可以定义模型加速策略以用于对每个目标业务模型的加速。可以根据预先定义的模型加速策略,调用模型加速服务来实现目标业务模型的同步操作。当接收到数据查询操作时调用加速数据服务,根据数据查询操作从运行态数据库中快速获取与数据查询操作对应的查询条件相匹配的目标数据,并将目标数据展示给用户。
综上所述,本方法可以实现低代码平台中的快速数据查询功能,提升用户体验。模型加速策略和加速数据服务的应用可以减少数据查询的响应时间,提高数据的吞吐量,并且降低了对底层数据库的直接访问和负载。此外,通过将数据查询和展示的逻辑与模型加速策略和服务进行集成,可以减少开发人员的工作量,加快应用程序的开发和部署速度。
在一些可能的实现方式中,所述响应于数据查询操作,调用加速数据服务从所述运行态数据库中获取与所述数据查询操作相对应的目标数据并展示,包括:
获取表单配置信息并生成表单;
通过所述表单接收用户的数据查询操作,以获取数据查询指令;
根据所述数据查询指令调用加速数据服务,利用上述加速数据服务从所述运行态数据库中获取所述数据查询指令所对应的数据并作为目标数据并展示。
该技术方案的有益效果在于:根据业务需求可以获取表单配置信息,表单配置信息例如包含了数据查询所需的字段、条件和展示方式等。基于表单配置信息生成相应的表单,以便用户在表单的显示界面上进行数据查询操作(例如输入查询条件)。数据查询操作后解析表单中填写的字段和条件,生成相应的数据查询指令,可以认为数据查询指令描述了从运行态数据库中获取数据的方式。同时,根据数据查询指令调用加速数据服务,利用加速数据服务从运行态数据库中获取与查询指令相对应的目标数据。本实施例对将目标数据展示给用户的方式不进行限制,其例如可以通过界面上的数据表格、图表或其他可视化方式来呈现。
一方面,通过使用加速数据服务和数据查询指令,可以加快从运行态数据库中获取数据的速度,进而提高用户的查询效率,使其能够更快地获取到所需的数据结果,解决数据查询的服务响应时间过长的技术问题。另一方面,通过生成表单和解析用户的数据查询操作,可以将复杂的查询过程简化为填写表单和选择条件的操作,使得用户无需具备复杂的数据库查询知识轻松地进行数据查询。又一方面,由于从运行态数据库中获取的数据是实时的,有助于用户根据最新数据做出相应的调整和决策。
综上所述,通过获取表单配置信息、接收用户的数据查询操作、调用加速数据服务和目标数据的展示,依托低代码平台的模型能力和表单配置化能力,实现了高效、简化和实时的数据查询过程,进而提升了低代码平台下的数据查询性能。
在一些可能的实现方式中,在所述设计态下,获取所述表单配置信息的过程包括:
利用表单设计器生成表单配置信息,所述表单配置信息包括所述目标业务场景对应的表单配置项以及加速数据策略,所述加速数据策略用于所述加速数据服务的设置。
该技术方案的有益效果在于:一方面,通过表单设计器和配置信息,用户可以根据业务需求自定义表单的外观、布局和行为,使其与特定的业务场景相匹配。另一方面,通过配置加速数据服务,可以针对表单配置信息进行性能优化,加快数据查询和呈现的速度,可以认为优化的查询逻辑和数据存储方式可以提高用户在运行态数据库中进行数据查询的效率。又一方面,优化的表单设计和配置的加速数据服务可以提升用户在低代码平台上使用表单的体验,更快的响应时间和高效的数据检索能够提高用户的工作效率和更好的用户体验。
在一些可能的实现方式中,所述根据所述模型加速策略调用模型加速服务,将所述目标业务模型集中的数据同步到运行态数据库,包括:
获取多个所述目标业务模型之间的关联查询信息;
当执行所述模型加速策略时,根据所述关联查询信息获取数据同步规则,所述数据同步规则用于指示所述多个目标业务模型的字段之间的关联引用关系;
根据所述数据同步规则,将所述目标业务模型集同步到运行态数据库。
该技术方案的有益效果在于:通过分析目标业务模型之间的关联关系,可以获取字段之间的关联查询信息。这些信息描述了不同业务模型之间的关联关系,可以包括外键关联、一对一关联、一对多关联等。关联查询信息可以帮助确定数据在不同模型之间的流动路径和依赖关系。基于所获取的关联查询信息,根据模型加速策略,生成数据同步规则。数据同步规则用于指示目标业务模型之间的字段关联引用关系,即确定了数据在不同模型之间的传递和映射规则,上述规则可以包括不同目标业务模型的表之间的关联关系、字段映射规则、数据转换规则等。根据数据同步规则,执行数据同步操作,将目标业务模型集中的数据同步到运行态数据库中,即将数据从源模型抽取出来并根据规则进行转换、映射和加载到运行态数据库中,确保了运行态数据库中的数据与源模型(即目标业务模型集)保持同步,以支持后续的高性能数据查询。
一方面,通过关联查询信息生成数据同步规则,确保了不同目标业务模型之间在数据同步时的一致性,有助于消除数据冗余和不一致性的问题,提高数据的准确性和可信度。另一方面,将目标业务模型同步到运行态数据库后,可以利用运行态数据库的高性能特性进行数据查询和操作。又一方面,通过模型加速策略和数据同步规则进一步提升数据查询性能,加快数据检索的速度。
综上所述,上述数据同步过程具有自动化的优势,减少了手动处理数据的工作量和错误率,同时通过定义清晰的关联引用关系和数据转换规则,简化了数据操作的复杂性。通过获取关联查询信息、生成数据同步规则,并将目标业务模型同步到运行态数据库中,达到了数据同步与一致性、提升数据查询性能和简化数据操作的效果。
在一些可能的实现方式中,所述方法还包括:
获取所述数据查询操作对应的查询过程信息,所述查询过程信息分别包括以下至少一种信息:查询响应时间信息、资源占用信息和并发性能信息;
根据所述查询过程信息,获取所述数据查询操作的评价等级;
若所述评价等级低于预设等级时,向用户设备发送提示信息。
该技术方案的有益效果在于:通过获取查询过程信息和评价等级计算,可以使用户得到有关数据查询操作性能的客反馈,有助于用户了解查询操作的执行情况,识别性能瓶颈以进一步采取相应的改进措施。当查询操作的评价等级低于预设等级时,能够及时向用户发送提示信息,提醒其存在的性能问题,使用户能够快速了解查询操作的性能状况,并针对问题进行优化。
在一些可能的实现方式中,所述根据所述查询过程信息,获取所述数据查询操作的评价等级,包括:
将所述查询过程信息输入评价模型,得到所述数据查询操作对应的评价等级。
其中,所述评价模型的训练过程包括:
获取训练集,所述训练集包括多个训练数据,每个所述训练数据包括一个样本过程信息以及所述样本过程信息的预测评价等级的标注数据;
针对所述训练集中的每个训练数据,执行以下处理:
将所述训练数据中的样本过程信息输入预设的深度学习模型,得到所述样本过程信息的预测评价等级的预测数据;
基于预测数据和标注数据,对所述深度学习模型的模型参数进行更新;
检测是否满足预设的训练结束条件;如果是,则将训练出的深度学习模型作为所述预测模型;如果否,则利用下一个所述训练数据继续训练所述深度学习模型。
该技术方案的有益效果在于:通过设计,建立适量的神经元计算节点和多层运算层次结构,选择合适的输入层和输出层,就可以得到预设的深度学习模型,通过该预设的深度学习模型的学习和调优,建立起从输入到输出的函数关系,虽然不能100%找到输入与输出的函数关系,但是可以尽可能地逼近现实的关联关系,由此训练得到的预测模型,可以基于过程信息得到预测的评价等级,且计算结果准确性高、可靠性高。
在一些可能的实现方式中,当所述评价等级低于预设等级时,所述向用户设备发送提示信息包括:
获取历史查询操作集,所述历史查询操作集包括多个历史查询操作信息及每个所述历史查询操作信息对应的操作质量等级;
根据所述历史查询操作集,获取所述数据查询操作对应的操作质量等级;
向所述用户设备发送包含所述操作质量等级和所述查询过程信息的提示信息。
该技术方案的有益效果在于:获取历史查询操作集,并根据历史查询操作集中的信息对当前的数据查询操作进行实时评估,以确定其对应的操作质量等级。如果当前数据查询操作的评价等级低于预设等级,向用户设备发送包含操作质量等级和查询过程信息的提示信息。由此,一方面,通过对数据查询操作的评价等级进行监控和反馈,可及时发现性能低下或异常的查询操作,并向用户提供相应的提示信息,这有助于用户了解查询操作的执行情况。另一方面,通过收集和分析历史查询操作的信息,可以较为可观地识别出性能较差的查询操作模式或问题,从而帮助用户(开发人员或管理员)进行性能优化。又一方面,通过记录和分析历史查询操作的操作质量等级和查询过程信息,系统可以为开发人员、管理员或决策者提供有价值的参考。例如,可以根据操作质量等级对查询操作进行分类,分析常见的低效操作模式,并制定相应的优化策略。同时,在出现问题时,查询过程信息也能提供有关性能瓶颈、资源占用等方面的线索,帮助快速定位和解决问题。
综上所述,通过监控、评估和反馈数据查询操作的性能,为用户提供提示信息,同时帮助用户对数据查询进行优化,提高用户体验和查询的整体效率。
在一些可能的实现方式中,所述根据所述历史查询操作集,获取所述数据查询操作对应的操作质量等级,包括:
基于所述历史查询操作集,获所述数据查询操作与所述历史查询操作集对应的每个历史数据查询操作的相似度;
当获取的所述相似度至少有一个大于所述预设相似度阈值时,将数值最大的所述相似度对应的历史查询操作信息的操作质量等级作为所述数据查询操作对应的操作质量等级;
当获取的所述相似度均不大于预设相似度阈值时,将所述数据查询操作对应的数据查询操作信息输入等级分类模型,得到所述数据查询操作对应的操作质量等级;利用所述数据查询操作信息及其对应的提示信息对所述历史查询操作集进行更新。
该技术方案的有益效果在于:一方面,通过基于历史查询操作的相似度计算,可以根据过去的已知经验为当前的数据查询操作提供客观的操作质量等级,有助于用户了解当前操作与历史操作的相似程度,提供更有针对性的建议和改进方案,从而提升查询操作的效率和性能。另一方面,相似度计算和等级分类模型的使用可以提高操作质量等级的准确性。通过考虑查询操作的特征和历史数据,可以更准确地判断当前操作的优劣并给出相应的操作质量等级,有助于用户更好地理解查询操作的质量和性能,并采取相应的优化措施。又一方面,通过更新历史查询操作集可以不断积累更多的数据和经验,从而改善相似度计算的准确性。又一方面,先进行相似度计算,如果相似度已经能够准确获取操作质量等级,则无需使用等级分类模型,从而节省了相关的资源消耗。这种灵活的设计可以根据实际情况自动选择最优的方式来评估和预测数据查询操作的操作质量等级。
综上所述,通过相似度计算和等级分类模型的应用,结合了相似度计算和等级分类模型各自的优势,既能根据历史查询操作的相似度给出操作质量等级,又能通过分类模型处理那些与历史操作不太相似的查询操作,实现了个性化的提示和动态的适应性,进而可以提高用户的查询体验,优化数据查询操作的效果,并节省相关资源的消耗。
第二方面,本申请还提供了一种低代码平台的数据查询系统,所述系统包括:
设计态模块,用于获取目标业务模型集及对应的模型加速策略,所述目标业务模型集包括多个目标业务模型;
运行态模块,用于根据所述模型加速策略调用模型加速服务,将所述目标业务模型集中的数据同步到运行态数据库;响应于数据查询操作,调用加速数据服务从所述运行态数据库中获取与所述数据查询操作相对应的目标数据并展示。
在一些可能的实现方式中,所述设计态模块包括:
设计态管控台,用于在低代码平台的设计阶段提供管理和控制界面,以实现所述模型加速策略的配置和多个所述目标业务模型之间的关联查询信息的配置;
模型设计器,用于分别配置所述多个目标业务模型,并根据所述多个目标业务模型之间的关联查询信息生成数据同步规则;
表单设计器,用于提供可视化的表单配置页面,并绑定所述数据查询操作所对应的加速数据服务。
在一些可能的实现方式中,所述运行态模块包括:
运行态管控台,用于在所述低代码平台的运行阶段提供管理和控制界面;
数据加速引擎,用于执行所述加速数据服务;
数据服务引擎,用于执行对所述运行态数据库的数据调用;
表单运行引擎,用于根据所述数据查询操作,依据表单配置信息加载表单中的组件内容,并同时调用所述加速数据服务。
第三方面,本申请还提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被至少一个处理器执行时实现第一方面任一项方法的步骤。
第四方面,本申请还提供了一种计算机程序产品,所述计算机程序产品包括计算机程序,所述计算机程序被至少一个处理器执行时实现第一方面任一项方法的步骤。
附图说明
下面结合说明书附图和具体实施方式进一步说明本申请。
图1是本申请实施例提供的一种数据查询方法的流程示意图。
图2是本申请实施例提供的一种获取目标数据的流程示意图。
图3是本申请实施例提供的一种同步目标业务模型的流程示意图。
图4是本申请实施例提供的一种发送提示信息的流程示意图。
图5是本申请实施例提供的一种配置模型加速服务的界面示意图。
图6是本申请实施例提供的一种数据查询方法的架构图。
图7是本申请实施例提供的一种数据查询系统的结构框图。
图8本申请实施例提供的一种计算机程序产品的结构示意图。
实施方式
下面将结合本申请的说明书附图以及具体实施方式,对本申请中的技术方案进行描述,需要说明的是,在不相冲突的前提下,以下描述的各实施方式之间或各技术特征之间可以任意组合形成新的实施方式。
本申请实施例中,“示例性的”或者“例如”等词用于表示作例子、例证或说明。本申请实施例中被描述为“示例性的”或者“例如”的任何实施方式或设计方案不应被解释为比其他实施方式或设计方案更优选或更具优势。确切而言,使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。
本申请实施例中出现的第一、第二等描述,仅作示意与区分描述对象之用,没有次序之分,也不表示本申请实施例中对数量的特别限定,不能构成对本申请实施例的任何限制。
下面对本申请实施例技术领域和相关术语进行简单说明。
低代码平台:是一个由设计人员在云端,通过拖拉拽的方式快速的进行业务逻辑设计,然后将设计成果发布到用户端,供用户应用的一个SaaS云平台,这个平台可以是多租户可共用,并且数据完全隔离的平台。
SaaS云平台:是一种基于云计算技术的软件交付模式,它将软件作为一种服务提供给客户,客户可以通过互联网访问该服务。这种模式为用户提供SaaS(Software as aService)云服务,帮助企业降低成本,提高效率,更好地满足客户需求。SaaS云技术指的是一种云计算服务模型,其中软件应用程序以服务的形式交付给用户。在SaaS模型中,软件提供商负责开发、维护和托管应用程序,而用户通过互联网进行访问和使用,无需安装和管理软件在本地的基础设施。SaaS应用程序通常采用多租户架构,即多个用户共享同一个应用程序实例。每个用户的数据和配置是隔离的,保证了安全性和隐私。作为服务交付模型,SaaS应用程序无需在用户本地进行软件安装和配置。用户只需通过支持的设备和网络访问应用程序,即可开始使用。在SaaS云技术领域,有许多不同类型的应用程序可供选择,涵盖了各种业务需求,例如企业资源规划(ERP)、客户关系管理(CRM)、人力资源管理(HRM)、项目管理、协同办公等。SaaS模型为用户提供了便利和灵活性,并减轻了软件部署和管理的负担,因此在各个行业和组织中得到广泛应用。
业务模型:是应用内用于构建底层数据表模型,存储业务数据的基本单位,可以理解为数据表定义,并进行模型化存储。在软件开发和数据库设计中,业务模型通常用于表示应用程序所涉及的实体、关系和业务规则。它描述了实体之间的关系、属性和约束,以及它们在应用程序中的行为和逻辑。通过建立业务模型,开发人员能够更好地理解和组织应用程序的数据结构,并根据业务需求进行设计和优化。目标业务模型指的是被选定的业务模型。
数据服务:指面向实体模型的数据处理服务,提供了对实体模型的操作和访问能力,使用户能够方便地进行数据的存取、查询、修改和删除等操作。
现有的低代码平台,在面向客户大数据量业务数据的场景下,往往会产生性能不足问题。
为此,相关技术中通过数据库管理员(Database Administrator)参与调优数据库的索引配置;或者替换数据库为oracle数据库、云数据库以提升数据库的能力:或者拆分业务,通过分库分表,减少数据量来提升性能。但是,调优数据库的索引配置的方式,一方面需要占用较多人工,效率也不理想;另一方面,索引的创建和维护需要消耗一定的时间和资源。不正确的索引配置可能导致性能下降或增加存储空间的占用。提升数据库的能力的方式,需要进行硬件设备的升级或更换,成本和资源投入较大。拆分业务的方式需要充分考虑数据一致性、跨库查询的复杂性以及后续的扩展和维护工作,增加开发和维护的复杂性。
基于此,为了解决了大数据量数据查询的性能问题,本申请提出一种低代码平台的数据查询方法、系统、计算机可读存储介质及计算机程序产品,减少专业技术人员的介入,尽可能地依托低代码平台的模型能力和表单配置化能力提升数据查询的性能,下面将结合附图以及具体实施方式,具体地对本申请实施例的技术方案以及本申请实施例的技术方案如何解决上述技术问题进行详细说明,需要说明的是,以下描述的各实施例之间或各技术特征之间可以任意组合形成新的实施例,对于相同或相似的概念或过程可能在某些实施例中不再赘述。显然,所描述的实施例是本申请实施例一部分实施例,而不是全部的实施例。
实施例
参见图1,图1是本申请实施例提供的一种数据查询方法的流程示意图。
本申请实施例提供了一种数据查询方法,用于低代码平台,所述方法包括:
步骤S101:在设计态下,获取目标业务模型集和模型加速策略,所述目标业务模型集包括多个目标业务模型;
步骤S102:在运行态下,根据所述模型加速策略调用模型加速服务,将所述目标业务模型集中的数据同步到运行态数据库;
步骤S103:响应于数据查询操作,调用加速数据服务从所述运行态数据库中获取与所述数据查询操作相对应的目标数据并展示。
本实施例的数据查询方法,在设计态阶段,可以定义和配置多个目标业务模型,还可以定义模型加速策略以用于对每个目标业务模型的加速。可以根据预先定义的模型加速策略,调用模型加速服务来实现目标业务模型的同步操作。当接收到数据查询操作时调用加速数据服务,根据数据查询操作从运行态数据库中快速获取与数据查询操作对应的查询条件相匹配的目标数据,并将目标数据展示给用户。
综上所述,本方法可以实现低代码平台中的快速数据查询功能,提升用户体验。模型加速策略和加速数据服务的应用可以减少数据查询的响应时间,提高数据的吞吐量,并且降低了对底层数据库的直接访问和负载。此外,通过将数据查询和展示的逻辑与模型加速策略和服务进行集成,可以减少开发人员的工作量,加快应用程序的开发和部署速度。
作为一个示例,针对一种基于低代码平台的在线商城进行数据查询。
在设计态下,配置订单模型(OrderModel)和产品模型(ProductModel),并将配置好的订单模型和产品模型分别作为目标业务模型。在配置模型的过程中,可以进行高性能数据库配置,即指定订单模型和产品模型使用的数据库系统,其例如是ElasticSearch、Doris或Clickhouse中的任一种。配置同一种数据库系统可以省却不同数据库系统之间的中间件运维成本,降低维护难度。
其中,订单模型包含字段:order_id(订单编号)、customer_id(客户编号)、order_date(订单日期)和total_amount(订单总金额)。产品模型包含字段:product_id(产品编号)、product_name(产品名称)和price(产品价格)。同时设置模型加速策略以用于将订单模型和产品模型同步到运行态数据库时的加速。
在运行态下,根据模型加速策略,调用模型加速服务将订单模型和产品模型同步到运行态数据库。同步过程可以包括创建相应的数据库表、插入初始数据,并建立索引以支持快速数据查询。模型加速策略例如是通过开源的数据同步组件DataX实现数据同步过程中的加速,还例如是数据同步组件Flume,本申请不对选用其进行限制。
用户可以在应用程序界面上发起一个数据查询操作,例如查询在指定日期下购买了指定产品的订单数据。可以调用加速数据服务,传递查询条件和参数,查询条件可以是订单日期为'2020-01-01',产品名称为'ABC产品'。加速数据服务根据查询条件在运行态数据库中执行查询操作,利用预先建立的索引和优化的数据结构,定位符合条件的订单数据和产品数据。
获取到与查询条件相匹配的目标数据,例如订单编号、客户编号、订单日期、产品名称和订单金额,并将查询结果展示给用户。可以在应用程序界面上以表格、图表或其他形式展示目标数据,让用户能够查看和分析订单数据。
本申请实施例中,用户可以是软件开发人员、系统架构师、数据工程师、业务分析师等技术人员,可以是最终进行数据查询的使用者。
举例说明,面向设计态的用户可以是开发人员/程序员,负责在设计态下创建和配置应用程序的业务逻辑、界面和数据模型。他们使用低代码平台的工具和功能来设计和定义应用程序的各个方面。还可以是系统架构师,负责在设计态下规划整个应用程序的架构和组织结构,并定义应用程序的模块、组件和集成方式,并确保设计的可扩展性和可维护性。
举例说明,面向运行态的用户可以是业务用户,即最终的数据查询服务的使用者,通过运行态的界面与应用程序进行交互,执行业务操作、查询数据、提交表单等,无需关注应用程序的内部实现细节。
在一些实施例中,运行态数据库可以是高性能存储(high performance storage,HPS),可以理解为将数据从设计态环境转移到运行态环境,以进行高性能的查询操作,特别是对于大数据量的场景和复杂的业务应用可以实现高性能的数据查询。
参见图2,图2是本申请实施例提供的一种获取目标数据的流程示意图。
在一些实施例中,所述响应于数据查询操作,调用加速数据服务从所述运行态数据库中获取与所述数据查询操作相对应的目标数据并展示,包括:
步骤S201:获取表单配置信息并生成表单;
步骤S202:通过所述表单接收用户的数据查询操作,以获取数据查询指令;
步骤S203:根据所述数据查询指令调用加速数据服务,利用上述加速数据服务从所述运行态数据库中获取所述数据查询指令所对应的数据并作为目标数据并展示。
在具体应用中,根据业务需求可以获取表单配置信息,表单配置信息例如包含了数据查询所需的字段、条件和展示方式等。基于表单配置信息生成相应的表单,以便用户在表单的显示界面上进行数据查询操作(例如输入查询条件)。数据查询操作后解析表单中填写的字段和条件,生成相应的数据查询指令,可以认为数据查询指令描述了从运行态数据库中获取数据的方式。同时,根据数据查询指令调用加速数据服务,利用加速数据服务从运行态数据库中获取与查询指令相对应的目标数据。本实施例对将目标数据展示给用户的方式不进行限制,其例如可以通过界面上的数据表格、图表或其他可视化方式来呈现。可以是通过运行态的数据服务引擎,执行对所述运行态数据库的数据调用。
一方面,通过使用加速数据服务和数据查询指令,可以加快从运行态数据库中获取数据的速度,进而提高用户的查询效率,使其能够更快地获取到所需的数据结果,解决数据查询的服务响应时间过长的技术问题。另一方面,通过生成表单和解析用户的数据查询操作,可以将复杂的查询过程简化为填写表单和选择条件的操作,使得用户无需具备复杂的数据库查询知识轻松地进行数据查询。又一方面,由于从运行态数据库中获取的数据是实时的,有助于用户根据最新数据做出相应的调整和决策。
综上所述,通过获取表单配置信息、接收用户的数据查询操作、调用加速数据服务和目标数据的展示,依托低代码平台的模型能力和表单配置化能力,实现了高效、简化和实时的数据查询过程,进而提升了低代码平台下的数据查询性能。
作为一个示例,业务系统包含一个订单模型(OrderModel)和一个产品模型(ProductModel)。订单模型包括字段:order_id(订单ID,数字类型)、product_id(产品ID,数字类型)、order_date(订单日期,日期类型)和quantity(数量,数字类型)。产品模型包括字段:product_id(产品ID,数字类型)、product_name(产品名称,文本类型)和price(价格,数字类型)。
根据业务需求生成包含订单日期、产品名称和订单数量的表单配置信息,根据表单配置信息生成一个包含订单日期、产品名称和订单数量输入字段的表单。用户在生成的表单中进行数据查询操作,填写订单日期为2000-01-01、产品名称为"ABC产品"、订单数量大于等于10的数据查询条件。解析用户的数据查询操作,提取出订单日期为2000-01-01、产品名称为"ABC产品"、订单数量大于等于10的查询条件并生成数据查询指令,数据查询指令可以是SQL语句的指令,其例如是:
SELECT *
FROM OrderModel
LEFT JOIN ProductModel ON OrderModel.product_id =ProductModel.product_id
WHERE OrderModel.order_date = '2023-06-01'
AND ProductModel.product_name = 'ABC产品'
AND OrderModel.quantity >=10
上述数据查询指令用于指示:从"OrderModel"表和"ProductModel"表中查询数据,并返回满足订单日期为2000年1月1日、产品名称为"ABC产品"以及订单数量大于等于10的记录。使用LEFT JOIN保证了即使没有匹配的记录,仍然返回"OrderModel"表中记录的数据。
同时,根据生成的数据查询指令,调用加速数据服务并执行对应的加速操作,例如使用索引、缓存等技术加快数据查询速度。加速数据服务利用数据查询指令从运行态数据库中获取与查询条件相对应的目标数据,即订单日期为2000-01-01、产品名称为"ABC产品"、订单数量大于等于10的订单数据,将获取到的目标数据以表格形式展示。
上述示例中,利用表单配置信息确定查询表单的字段和条件,用户通过填写查询表单触发数据查询操作,根据填写的表单生成数据查询指令,并调用加速数据服务从运行态数据库中获取与数据查询指令相对应的目标数据。最后,将目标数据展示给用户,以满足其数据查询需求。
在一些实施例中,在所述设计态下,获取所述表单配置信息的过程包括:
利用表单设计器生成表单配置信息,所述表单配置信息包括所述目标业务场景对应的表单配置项以及加速数据策略,所述加速数据策略用于所述加速数据服务的设置。
表单设计器是用于创建和设计表单配置信息的工具。一般而言,由表单设计器生成的表单,可以利用运行态中的表单运行引擎进行运行。用户可以通过表单设计器定义表单的外观、布局、字段和行为,以满足特定的业务需求。通过表单设计器生成的表单配置信息,包含了描述目标业务场景对应的表单配置项的表单配置信息,以及配置的加速数据服务。表单配置信息是用于描述目标业务场景所需的表单配置项的数据,以组成表单。这些配置项包括字段的名称、数据类型、验证规则、显示格式等。表单配置信息定义了表单的结构、样式和行为,以使其适应特定的业务场景。加速数据服务是为了提高表单的数据查询性能而配置的服务。它可以采用各种技术手段,如数据缓存、索引优化、查询优化等,来加速数据的检索和呈现过程,提高用户的查询效率和响应速度。
由此,一方面,通过表单设计器和配置信息,用户可以根据业务需求自定义表单的外观、布局和行为,使其与特定的业务场景相匹配。另一方面,通过配置加速数据服务,可以针对表单配置信息进行性能优化,加快数据查询和呈现的速度,可以认为优化的查询逻辑和数据存储方式可以提高用户在运行态数据库中进行数据查询的效率。又一方面,优化的表单设计和配置的加速数据服务可以提升用户在低代码平台上使用表单的体验,更快的响应时间和高效的数据检索能够提高用户的工作效率和更好的用户体验。
本实施例对目标业务场景不进行限制,具体的场景将取决于低代码平台的应用领域和用户需求。作为一个示例,人力资源管理的目标业务场景下,可能涉及员工招聘、培训管理、绩效评估等方面的需求。对应的表单配置信息可以包括员工基本信息、招聘申请表、培训记录表等。配置的加速数据服务可以提高人力资源管理数据的查询效率,如快速搜索特定岗位的候选人,评估员工的绩效等。作为另一个示例,采购管理的目标业务场景下,可能涉及采购申请、供应商管理、采购订单处理等方面的需求,对应的表单配置信息可以包括采购申请表、供应商信息表、采购订单表等。配置的加速数据服务可以提高采购数据的查询和处理效率,如快速审批采购申请、查询供应商的供货情况等。
参见图3,图3是本申请实施例提供的一种同步目标业务模型的流程示意图。
在一些实施例中,所述根据所述模型加速策略调用模型加速服务,将所述目标业务模型集中的数据同步到运行态数据库,包括:
步骤S301:获取多个所述目标业务模型之间的关联查询信息;
步骤S302:当执行所述模型加速策略时,根据所述关联查询信息获取数据同步规则;所述数据同步规则用于指示所述多个目标业务模型的字段之间的关联引用关系;
步骤S303:根据所述数据同步规则,将所述目标业务模型集同步到运行态数据库。
在具体应用中,设计态完成目标业务模型集和模型加速策略的设计后可以接收用户对发布按钮的触发操作,将设计好的内容发布到运行态数据库内。这是因为低代码平台的运行机制是将设计态与运行态分离,有效地保证其各尽其职,并且可以针对性的提升并发能力,提升性能和稳定性等。
通过分析目标业务模型之间的关联关系,可以获取字段之间的关联查询信息。这些信息描述了不同业务模型之间的关联关系,可以包括外键关联、一对一关联、一对多关联等。关联查询信息可以帮助确定数据在不同模型之间的流动路径和依赖关系。基于所获取的关联查询信息,根据模型加速策略,生成数据同步规则。数据同步规则用于指示目标业务模型之间的字段关联引用关系,即确定了数据在不同模型之间的传递和映射规则,上述规则可以包括不同目标业务模型的表之间的关联关系、字段映射规则、数据转换规则等。根据数据同步规则,执行数据同步操作,将目标业务模型集中的数据同步到运行态数据库中,即将数据从源模型抽取出来并根据规则进行转换、映射和加载到运行态数据库中,确保了运行态数据库中的数据与源模型(即目标业务模型集)保持同步,以支持后续的高性能数据查询。
由此,一方面,通过关联查询信息生成数据同步规则,确保了不同目标业务模型之间在数据同步时的一致性,有助于消除数据冗余和不一致性的问题,提高数据的准确性和可信度。另一方面,将目标业务模型同步到运行态数据库后,可以利用运行态数据库的高性能特性进行数据查询和操作。又一方面,通过模型加速策略和数据同步规则进一步提升数据查询性能,加快数据检索的速度。
综上所述,上述数据同步过程具有自动化的优势,减少了手动处理数据的工作量和错误率,同时通过定义清晰的关联引用关系和数据转换规则,简化了数据操作的复杂性。通过获取关联查询信息、生成数据同步规则,并将目标业务模型同步到运行态数据库中,达到了数据同步与一致性、提升数据查询性能和简化数据操作的效果。
在具体应用中,可以解析关联查询信息,即通过解析查询SQL语句或其他形式的查询配置信息得到查询的表之间的关联关系和字段间的依赖关系。根据关联查询信息的解析结果,确定数据同步的目标,即确定哪些表的数据需要同步到高性能数据库中,还可以包括数据同步的方式和频率的确定。根据关联查询信息和同步目标(高性能数据库),设计数据同步的具体的数据同步策略,数据同步策略可能包括选择合适的同步方式(如增量同步或全量同步)、设置同步的时间间隔和触发条件等。根据数据同步策略,创建相应的数据同步任务,将源数据从原始数据库中抽取出来,并根据关联查询信息进行必要的转换和处理,然后将数据同步到高性能数据库中。
作为一个示例,有两个存在关联关系的目标业务模型:订单模型(OrderModel)和客户模型(CustomerModel)。
首先获取关联查询信息:订单模型中的字段"customer_id"关联到客户模型中的字段"customer_id",用于表示订单所属的客户。
然后生成数据同步规则:基于关联查询信息生成数据同步规则,指示订单模型和客户模型之间的关联引用关系。订单模型中的字段"customer_id"对应的数据同步规则例如是根据字段"customer_id"进行关联查询,从客户模型中获取相应的客户信息,并将查询结果映射到订单模型的字段"customer”。
当执行所述模型加速策略时获取上述数据同步规则,当进入数据同步过程时,根据获取的数据同步规则,执行数据同步操作,将订单模型和客户模型的数据同步到运行态数据库中。
假设具体数据和参数值如下:
订单模型(OrderModel):order_id=1,customer_id=1001。客户模型(CustomerModel):customer_id=1001,customer_name="AAA",customer_phone="123-456-7890”。根据数据同步规则进行数据同步,根据订单模型的customer_id字段,从客户模型中查询customer_id为1001的客户数据。将查询结果映射到订单模型的customer字段,更新订单数据中的customer字段查询到的客户数据,将更新后的订单数据存储到运行态数据库中。
数据同步后的订单数据示例:订单数据:order_id=1,customer_id=1001,customer={customer_id=1001,customer_phone="123-456-7890"}。
通过以上的技术方案,可以实现将订单模型和客户模型的数据同步到运行态数据库中,并确保订单模型中的customer_id字段与客户模型中的customer_id字段的关联引用关系的正确性和完整性。这样,在后续的数据查询操作中,可以直接从运行态数据库中获取订单数据及其关联的客户数据,提高数据查询的效率和性能。
在一些实施例中,所述关联查询信息可以是用户在设计态下,针对目标业务模型集中的目标业务模型进行了关联查询配置后得到的,也可以是从预设的关联查询信息中获取的。
当所述关联查询信息是用户在设计态下配置后得到的时,在设计态下用户可以对目标业务模型集中的目标业务模型进行关联查询配置。这意味着用户可以定义模型之间的关联关系,例如字段之间的引用关系或通过JOIN操作关联多个表。这些配置信息存储在设计态中。运行态模块在执行期间获取设计态中的关联查询配置信息并进行解析,以了解模型之间存在关联关系以及如何进行关联查询。通过将关联查询的逻辑转化为数据同步规则,可以避免在每次查询时执行复杂的关联查询操作。相反,只需直接查询运行态数据库中的数据即可,从而提高查询效率和响应时间。通过将关联查询转移到运行态数据库中,可以减轻业务系统的负担。在运行态数据库中执行数据同步操作,可以减少在每次查询时对多个数据源进行关联查询的需要,从而减少系统资源的消耗。
参见图4,图4是本申请实施例提供的一种发送提示信息的流程示意图。
在一些实施例中,所述方法还包括:
步骤S104:获取所述数据查询操作对应的查询过程信息,所述查询过程信息分别包括以下至少一种信息:查询响应时间信息、资源占用信息和并发性能信息;
步骤S105:根据所述查询过程信息,获取所述数据查询操作的评价等级;
步骤S106:若所述评价等级低于预设等级时,向用户设备发送提示信息。
其中,查询响应时间信息可用于指示从用户发起查询请求到系统返回结果所花费的时间。通过监测和记录每个查询请求的开始时间和结束时间,可以计算出平均响应时间、最大响应时间、最小响应时间等指标,以评估查询处理速度。
资源占用信息例如包括内存消耗、数据读写速度、网络传输速度等。通过监控和收集这些资源使用情况的数据,可以评估在处理查询时的资源利用效率和性能瓶颈。
并发性能信息可用于评估在面对多个并发查询请求时的处理能力,可以包括查询请求量、最大并发连接数、响应时间分布即错误率等。通过监控并分析上述数据,可以了解在不同负载下的表现,识别数据查询的瓶颈和瓶颈原因,并采取相应的措施来提高并发性能。
本实施例对评价等级的表示形式不进行限制,其例如是A级、B级、C级、第一级、高级等。预设等级例如是B级、第二级或中级等。当评价等级的表现形式是A级、B级、C级……F级时,可以认为等级从F级向A级逐级增高,例如预设等级是C级,则评价等级为F级时认为其低于预设等级,向用户设备发送提示信息。
查询响应时间信息指示了查询操作所花费的时间,资源占用信息反映了查询操作期间系统资源的使用情况,而并发性能信息则表示了系统在处理并发请求时的表现。基于查询过程信息,根据预设的评价等级标准对数据查询操作进行评估,通过设定阈值或定义评价规则来判断查询性能的好坏。例如,如果查询响应时间超过预设的最大响应时间阈值,资源占用超过预设的资源限制,或者并发性能低于预设的标准,会相应地将评价等级降低。数据查询操作的评价等级低于预设等级时向用户设备发送提示信息。可以认为提示信息是对用户的警示或建议,指示用户数据查询的性能问题或提供改进建议。用户设备例如是笔记本电脑、手机、平板等智能设备,提示信息可以包括查询性能的具体问题描述,例如响应时间过长、资源占用过高或并发性能不佳,以便用户能够了解存在的问题,提示信息可以以APP弹窗、语音提示或短信等形式向用户展示。
由此,通过获取查询过程信息和评价等级计算,可以使用户得到有关数据查询操作性能的客反馈,有助于用户了解查询操作的执行情况,识别性能瓶颈以进一步采取相应的改进措施。当查询操作的评价等级低于预设等级时,能够及时向用户发送提示信息,提醒其存在的性能问题,使用户能够快速了解查询操作的性能状况,并针对问题进行优化。
在一些实施例中,所述根据所述查询过程信息,获取所述数据查询操作的评价等级,包括:
将所述查询过程信息输入评价模型,得到所述数据查询操作对应的评价等级。
其中,所述评价模型的训练过程包括:
获取训练集,所述训练集包括多个训练数据,每个所述训练数据包括一个样本过程信息以及所述样本过程信息的预测评价等级的标注数据;
针对所述训练集中的每个训练数据,执行以下处理:
将所述训练数据中的样本过程信息输入预设的深度学习模型,得到所述样本过程信息的预测评价等级的预测数据;
基于预测数据和标注数据,对所述深度学习模型的模型参数进行更新;
检测是否满足预设的训练结束条件;如果是,则将训练出的深度学习模型作为所述预测模型;如果否,则利用下一个所述训练数据继续训练所述深度学习模型。
由此,通过设计,建立适量的神经元计算节点和多层运算层次结构,选择合适的输入层和输出层,就可以得到预设的深度学习模型,通过该预设的深度学习模型的学习和调优,建立起从输入到输出的函数关系,虽然不能100%找到输入与输出的函数关系,但是可以尽可能地逼近现实的关联关系,由此训练得到的预测模型,可以基于过程信息得到预测的评价等级,且计算结果准确性高、可靠性高。
本实施例对预测评价等级的标注数据的获取方式不作限定,例如可以采用人工标注的方式,也可以采用自动标注或者半自动标注的方式。
本实施例对预测模型的训练过程不作限定,其例如可以采用上述监督学习的训练方式,或者可以采用半监督学习的训练方式,或者可以采用无监督学习的训练方式。
本实施例对预设的训练结束条件不作限定,其例如可以是训练次数达到预设次数(预设次数例如是1次、3次、10次、100次、1000次、10000次等),或者可以是训练集中的训练数据都完成一次或多次训练,或者可以是本次训练得到的总损失值不大于预设损失值。
下文提及的相似度模型及等级分类模型与评价模型的训练过程相类似,不再赘述。
在一些可选的实施方式中,本申请可以采用上述训练过程训练得到评价模型,在另一些可选的实施方式中,本申请可以采用预先训练好的评价模型及下文提及的相似度模型、等级分类模型。
在一些实施例中,当所述评价等级低于预设等级时,所述向用户设备发送提示信息包括:
获取历史查询操作集,所述历史查询操作集包括多个历史查询操作信息及每个所述历史查询操作信息对应的操作质量等级;每个所述历史查询操作信息用于指示当评价等级低于预设等级的一个历史数据查询操作,所述操作质量等级用于评价数据查询操作的质量;
根据所述历史查询操作集,获取所述数据查询操作对应的操作质量等级;
向所述用户设备发送包含所述操作质量等级和所述查询过程信息的提示信息。
获取历史查询操作集,并根据历史查询操作集中的信息对当前的数据查询操作进行实时评估,以确定其对应的操作质量等级。如果当前数据查询操作的评价等级低于预设等级,向用户设备发送包含操作质量等级和查询过程信息的提示信息。
由此,一方面,通过对数据查询操作的评价等级进行监控和反馈,可及时发现性能低下或异常的查询操作,并向用户提供相应的提示信息,这有助于用户了解查询操作的执行情况。
另一方面,通过收集和分析历史查询操作的信息,可以较为可观地识别出性能较差的查询操作模式或问题,从而帮助用户(开发人员或管理员)进行性能优化。
又一方面,通过记录和分析历史查询操作的操作质量等级和查询过程信息,系统可以为开发人员、管理员或决策者提供有价值的参考。例如,可以根据操作质量等级对查询操作进行分类,分析常见的低效操作模式,并制定相应的优化策略。同时,在出现问题时,查询过程信息也能提供有关性能瓶颈、资源占用等方面的线索,帮助快速定位和解决问题。
综上所述,通过监控、评估和反馈数据查询操作的性能,为用户提供提示信息,同时帮助用户对数据查询进行优化,提高用户体验和查询的整体效率。
同时,操作质量等级可以作为评价数据查询操作质量的指标,从而判断评价等级的客观性。通过获取历史查询操作集并对其进行实时评估,可以将历史查询操作的操作质量等级与当前的数据查询操作进行比较。如果当前数据查询操作的操作质量等级较低,表明评价等级低的原因可能是用户查询操作不当造成的。
使用操作质量等级评价数据查询操作,通过历史查询操作的反馈和评级,可以根据已有的数据和经验,对当前的查询操作进行评估,并将评价结果以操作质量等级的形式反馈给用户,帮助用户更好地了解和评估查询操作的质量。
因此,使用操作质量等级来评价数据查询操作的质量,可以增强评价等级的客观性,提供更有价值的提示信息给用户,进而促进数据查询操作的不断优化。
在一些实施例中,所述根据所述历史查询操作集,获取所述数据查询操作对应的操作质量等级,包括:
基于所述历史查询操作集,获所述数据查询操作与所述历史查询操作集对应的每个历史数据查询操作的相似度;
当获取的所述相似度至少有一个大于所述预设相似度阈值时,将数值最大的所述相似度对应的历史查询操作信息的操作质量等级作为所述数据查询操作对应的操作质量等级;
当获取的所述相似度均不大于预设相似度阈值时,将所述数据查询操作对应的数据查询操作信息输入等级分类模型,得到所述数据查询操作对应的操作质量等级;利用所述数据查询操作信息及其对应的提示信息对所述历史查询操作集进行更新。本实施例对预设相似度阈值的选用不进行限制,其例如是89%、90%或0.95。
可以比较当前数据查询操作与历史查询操作集中的每个历史查询操作的相似度。相似度可以根据不同的指标和算法进行计算,本申请不进行限制。检查计算得到的相似度是否至少有一个大于预设相似度阈值,如果存在相似度大于阈值的历史查询操作,则选择具有最大相似度的历史查询操作的操作质量等级作为当前数据查询操作的操作质量等级。如果所有计算得到的相似度均不大于预设相似度阈值,则将当前数据查询操作的信息输入等级分类模型。该模型可以基于机器学习算法或规则引擎,根据查询操作的特征和历史数据,预测当前数据查询操作的操作质量等级。
如果所有计算得到的相似度均不大于预设相似度阈值,根据当前数据查询操作的信息和对应的操作质量等级,对历史查询操作集进行更新,有助于积累更多的历史数据和经验,并提升相似度计算的准确性和效果
由此,一方面,通过基于历史查询操作的相似度计算,可以根据过去的已知经验为当前的数据查询操作提供客观的操作质量等级,有助于用户了解当前操作与历史操作的相似程度,提供更有针对性的建议和改进方案,从而提升查询操作的效率和性能。另一方面,相似度计算和等级分类模型的使用可以提高操作质量等级的准确性。通过考虑查询操作的特征和历史数据,可以更准确地判断当前操作的优劣并给出相应的操作质量等级,有助于用户更好地理解查询操作的质量和性能,并采取相应的优化措施。又一方面,通过更新历史查询操作集可以不断积累更多的数据和经验,从而改善相似度计算的准确性。又一方面,先进行相似度计算,如果相似度已经能够准确获取操作质量等级,则无需使用等级分类模型,从而节省了相关的资源消耗。这种灵活的设计可以根据实际情况自动选择最优的方式来评估和预测数据查询操作的操作质量等级。
综上所述,通过相似度计算和等级分类模型的应用,结合了相似度计算和等级分类模型各自的优势,既能根据历史查询操作的相似度给出操作质量等级,又能通过分类模型处理那些与历史操作不太相似的查询操作,实现了个性化的提示和动态的适应性,进而可以提高用户的查询体验,优化数据查询操作的效果,并节省相关资源的消耗。
例如,一个历史查询操作集包含了多个历史查询操作信息和每个历史查询操作信息对应的操作质量等级。作为一个示例,历史查询操作集中包含以下两个历史查询操作信息:
第一查询操作信息:查询关键词为"B2",查询时间为"2000-01-01",操作质量等级为"中级"。
第二查询操作信息:查询关键词为"B1",查询时间为"2000-01-18",操作质量等级为"高级"。
当有一个新的数据查询操作时,新的数据查询操作的查询关键词为"A1",查询时间为"2000-02-01"。
计算新的数据查询操作与历史查询操作集中每个历史查询操作的相似度,得到相似度一和相似度二,其表示形式如下:
相似度一:当前数据查询操作"A1"与查询操作1"B2"的相似度为0.4。
相似度二:当前数据查询操作"A1"与查询操作2"B1"的相似度为0.6。
假设预设相似度阈值为0.5,显然相似度二大于预设相似度阈值,所以选择相似度最大的第二历史查询操作的操作质量等级作为当前数据查询操作的操作质量等级。并向用户设备发送包含操作质量等级和查询过程信息的提示信息,提示信息以弹窗的形式利用用户的手机屏幕展示在用户面前,提示信息的内容为:操作质量等级"高级",查询过程信息包括查询关键词"A1"和查询时间"2000-02-01"。
通过以上步骤,根据历史查询操作集中的信息对当前的数据查询操作进行实时评估,发现其评价等级低于预设等级时向用户设备发送包含操作质量等级和查询过程信息的提示信息。上述示例由于当前数据查询操作与第二历史查询操作的相似度较高且大于预设相似度阈值,因此选择第二历史查询操作的操作质量等级"高级"作为当前数据查询操作的操作质量等级,并将操作质量等级和查询过程信息发送给用户设备。
在一个具体应用场景中,提供了一种低代码平台的数据查询方法,所述方法包括:
在设计态下,获取目标业务模型集和模型加速策略,所述目标业务模型集包括多个目标业务模型。
利用表单设计器生成表单配置信息,所述表单配置信息包括所述目标业务场景对应的表单配置项以及加速数据策略,所述加速数据策略用于所述加速数据服务的设置。
在运行态下,获取多个所述目标业务模型之间的关联查询信息;
当执行所述模型加速策略时,根据所述关联查询信息获取数据同步规则,所述数据同步规则用于指示所述多个目标业务模型的字段之间的关联引用关系;
根据所述数据同步规则,将所述目标业务模型集同步到运行态数据库;
获取设计态下生成的表单配置信息并生成表单;
通过所述表单接收用户的数据查询操作,以获取数据查询指令;
根据所述数据查询指令调用加速数据服务,利用上述加速数据服务从所述运行态数据库中获取所述数据查询指令所对应的数据并作为目标数据并展示。
所述方法还包括,获取所述数据查询操作对应的查询过程信息,所述查询过程信息分别包括以下至少一种信息:查询响应时间信息、资源占用信息和并发性能信息;
将所述查询过程信息输入评价模型,得到所述数据查询操作对应的评价等级;
若所述评价等级低于预设等级时,获取历史查询操作集,所述历史查询操作集包括多个历史查询操作信息及每个所述历史查询操作信息对应的操作质量等级;
基于所述历史查询操作集,获所述数据查询操作与所述历史查询操作集对应的每个历史数据查询操作的相似度;
当获取的所述相似度至少有一个大于所述预设相似度阈值时,将数值最大的所述相似度对应的历史查询操作信息的操作质量等级作为所述数据查询操作对应的操作质量等级;
当获取的所述相似度均不大于预设相似度阈值时,将所述数据查询操作对应的数据查询操作信息输入等级分类模型,得到所述数据查询操作对应的操作质量等级;利用所述数据查询操作信息及其对应的提示信息对所述历史查询操作集进行更新;
向所述用户设备发送包含所述操作质量等级和所述查询过程信息的提示信息。
其中,所述评价模型的训练过程包括:
获取训练集,所述训练集包括多个训练数据,每个所述训练数据包括一个样本过程信息以及所述样本过程信息的预测评价等级的标注数据;
针对所述训练集中的每个训练数据,执行以下处理:
将所述训练数据中的样本过程信息输入预设的深度学习模型,得到所述样本过程信息的预测评价等级的预测数据;
基于预测数据和标注数据,对所述深度学习模型的模型参数进行更新;
检测是否满足预设的训练结束条件;如果是,则将训练出的深度学习模型作为所述预测模型;如果否,则利用下一个所述训练数据继续训练所述深度学习模型。
结合图5所示,作为一个示例,一种低代码平台的数据查询方法包括以下步骤:
高性能数据库配置步骤:利用设计态管控台进行高性能数据库配置,指定数据加速所对应的数据库,数据库可以选择ElasticSearch、Doris、Clickhouse中的任一种,且整个租户统一一种数据库,以减少维护成本。可以认为,高性能存储本身具备大数据量的高性能查询处理能力,可用于将业务模型的数据及关联字段全量同步过来。不同类型的高性能存储会有不同能力的增强,比如ElasticSearch除了性能提升外还可以提升模糊查询的能力。
业务模型配置步骤:针对要加速的业务模型1和业务模型2,开启模型加速选项。加速配置可以作为业务模型对应的一个属性。可以通过设计态模块中的模型设计器生成加速数据服务,以用于后期调用。参见图6,在对业务模型1(newmodel)配置时,可以点选加速选择控件以配置模型加速服务。
业务模型关联查询配置步骤:当用户在业务模型中进行了关联查询配置后,模型设计引擎会自动生成一个用于查询的SQL指令并在运行态使用(即定义数据同步SQL)。通过SQL指令实现多表关联,多表关联可以通过left join来支持。当开启模型加速后,模型设计器基于SQL指令自动生成数据同步规则(即定义数据同步规则),模型加速引擎可以依据数据同步规则师业务模型1和业务模型2中的数据通过接口适配器同步到高性能数据库(即运行态数据库)中,以使高性能数据库中就不再需要进行过多的关联查询。模型加速引擎还用于定时同步日志。
高性能表单配置步骤:当配置加速数据服务后定义高性能表单,利用设计态的表单设计器配置高性能表单,以及将加速数据服务绑定至表单的数据查询服务。
设计态发布步骤:当上述内容在设计态设计完成后,通过发布按钮接收发送指令,将设计好的内容(配置好的模型和表单)发布到运行态数据库内。
数据同步步骤:当设计态发布时,运行态的模型加速引擎会接收到请求并开启加速操作,读取模型的定义并基于模型的定义在高性能存储中定义要加速的表结构。然后自动启动一次数据全量同步操作。同时,后期对设计态的数据源进行数据的增删改操作时,可以实时同步运行态数据库的数据。利用管控台可以查看有关数据同步的同步日志。
数据服务调用步骤:在运行态加载表单使用表单运行引擎并依据表单的配置,执行对所述运行态数据库的数据调用并加载表单中的组件内容,并且调用配置好的数据服务。
加速数据服务步骤:当用户进行数据查询操作时,解析模型的定义并采用策略模式,依据租户定义的高性能数据库,动态生成SQL语句,并且定义好入参和出参。
上述图5为示例,本实施例中对此不做任何限定。同时参见下表一,为分别在默认查多服务和利用上述示例的加速查多服务下的平均响应时间对比表。
表一:
总数据量(万) | 每页显示数据量(条) | 默认查多服务平均响应时间(ms) | 加速查多服务平均响应时间(ms) |
100万 | 20 | 121 | 115 |
100万 | 500 | 103 | 117 |
500万 | 20 | 5344 | 114 |
500万 | 500 | 60334 | 890 |
1000万 | 20 | 失败 | 118 |
1000万 | 500 | 失败 | 1150 |
在具体应用中,数据的同步包括实时同步和定时同步,实时同步是在表单运行时,对表单的增、删、改操作,同时会同步触发到对应的高速存储运算引擎进行处理。而定时同步则是通过模型加速引擎的任务配置,定时同步数据,其一般用于数据初始化,或者数据修复。
实施例
参见图7,图7是本申请实施例提供的一种数据查询系统的结构框图。
本申请实施例提供了一种低代码平台的数据查询系统,其具体实施例与上述方法实施例中记载的实施例、所达到的技术效果一致,部分内容不再赘述。所述系统包括:
设计态模块10,用于获取目标业务模型集及对应的模型加速策略,所述目标业务模型集包括多个目标业务模型;
运行态模块20,用于根据所述模型加速策略调用模型加速服务,将所述目标业务模型集中的数据同步到运行态数据库;响应于数据查询操作,调用加速数据服务从所述运行态数据库中获取与所述数据查询操作相对应的目标数据并展示。
在一些实施例中,所述设计态模块10包括:
设计态管控台11,用于在低代码平台的设计阶段提供管理和控制界面,以实现所述模型加速策略的配置和多个所述目标业务模型之间的关联查询信息的配置;
模型设计器12,用于分别配置所述多个目标业务模型,并根据所述多个目标业务模型之间的关联查询信息生成数据同步规则;
表单设计器13,用于提供可视化的表单配置页面,并绑定所述数据查询操作所对应的加速数据服务。
在一些实施例中,所述运行态模块20包括:
运行态管控台21,用于在所述低代码平台的运行阶段提供管理和控制界面;
数据加速引擎22,用于执行所述加速数据服务;
数据服务引擎23,用于执行对所述运行态数据库的数据调用;
表单运行引擎24,用于根据所述数据查询操作,依据表单配置信息加载表单中的组件内容,并同时调用所述加速数据服务。
存储介质实施例
本申请实施例提供了一种计算机可读存储介质,其具体实施例与上述方法实施例中记载的实施例、所达到的技术效果一致,部分内容不再赘述。
所述计算机可读存储介质存储有计算机程序,所述计算机程序被至少一个处理器执行时实现上述任一项方法的步骤。
计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。在本申请实施例中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。计算机可读存储介质例如可以为但不限于电、磁、光、电磁、红外线,或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件,或者上述的任意合适的组合。
计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了可读程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读存储介质还可以是任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读存储介质上包含的程序代码可以用任何适当的介质传输,包括但不限于无线、有线、光缆、RF等,或者上述的任意合适的组合。可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码,程序设计语言包括面向对象的程序设计语言诸如Java、C++等,还包括常规的过程式程序设计语言诸如C语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行,或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中,远程计算设备可以通过任意种类的网络,包括局域网(LAN)或广域网(WAN),连接到用户计算设备,或者,可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
程序产品实施例
本申请实施例提供了一种计算机程序产品,其具体实施例与上述方法实施例中记载的实施例、所达到的技术效果一致,部分内容不再赘述。
所述计算机程序产品包括计算机程序,所述计算机程序被至少一个处理器执行时实现上述任一项方法的步骤。
参见图8,图8本申请实施例提供的一种计算机程序产品的结构示意图。
所述计算机程序产品用于实现上述任一项方法的步骤。计算机程序产品可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码,并可以在终端设备,例如个人电脑上运行。然而,本发明的计算机程序产品不限于此,计算机程序产品可以采用一个或多个计算机可读介质的任意组合。
本申请从使用目的上,效能上,进步及新颖性等观点进行阐述,已符合专利法所强调的功能增进及使用要件,本申请以上的说明书及说明书附图,仅为本申请的较佳实施例而已,并非以此局限本申请,因此,凡一切与本申请构造,装置,特征等近似、雷同的,即凡依本申请专利申请范围所作的等同替换或修饰等,皆应属本申请的专利申请保护的范围之内。
Claims (10)
1.一种低代码平台的数据查询方法,其特征在于,所述方法包括:
在设计态下,获取目标业务模型集和模型加速策略,所述目标业务模型集包括多个目标业务模型;
在运行态下,根据所述模型加速策略调用模型加速服务,将所述目标业务模型集中的数据同步到运行态数据库;
响应于数据查询操作,调用加速数据服务从所述运行态数据库中获取与所述数据查询操作相对应的目标数据并展示。
2.根据权利要求1所述的数据查询方法,其特征在于,所述响应于数据查询操作,调用加速数据服务从所述运行态数据库中获取与所述数据查询操作相对应的目标数据并展示,包括:
获取表单配置信息并生成表单;
通过所述表单接收用户的数据查询操作,以获取数据查询指令;
根据所述数据查询指令调用加速数据服务,利用上述加速数据服务从所述运行态数据库中获取所述数据查询指令所对应的数据并作为目标数据并展示。
3.根据权利要求2所述的数据查询方法,其特征在于,在所述设计态下,获取所述表单配置信息的过程包括:
利用表单设计器生成表单配置信息,所述表单配置信息包括所述目标业务场景对应的表单配置项以及加速数据策略,所述加速数据策略用于所述加速数据服务的设置。
4.根据权利要求1所述的数据查询方法,其特征在于,所述根据所述模型加速策略调用模型加速服务,将所述目标业务模型集中的数据同步到运行态数据库,包括:
获取多个所述目标业务模型之间的关联查询信息;
当执行所述模型加速策略时,根据所述关联查询信息获取数据同步规则,所述数据同步规则用于指示所述多个目标业务模型的字段之间的关联引用关系;
根据所述数据同步规则,将所述目标业务模型集同步到运行态数据库。
5.根据权利要求1所述的数据查询方法,其特征在于,所述方法还包括:
获取所述数据查询操作对应的查询过程信息,所述查询过程信息分别包括以下至少一种信息:查询响应时间信息、资源占用信息和并发性能信息;
根据所述查询过程信息,获取所述数据查询操作的评价等级;
若所述评价等级低于预设等级时,向用户设备发送提示信息。
6.一种低代码平台的数据查询系统,其特征在于,所述系统包括:
设计态模块,用于获取目标业务模型集及对应的模型加速策略,所述目标业务模型集包括多个目标业务模型;
运行态模块,用于根据所述模型加速策略调用模型加速服务,将所述目标业务模型集中的数据同步到运行态数据库;响应于数据查询操作,调用加速数据服务从所述运行态数据库中获取与所述数据查询操作相对应的目标数据并展示。
7.根据权利要求6所述的数据查询系统,其特征在于,所述设计态模块包括:
设计态管控台,用于在低代码平台的设计阶段提供管理和控制界面,以实现所述模型加速策略的配置和多个所述目标业务模型之间的关联查询信息的配置;
模型设计器,用于分别配置所述多个目标业务模型,并根据所述多个目标业务模型之间的关联查询信息生成数据同步规则;
表单设计器,用于提供可视化的表单配置页面,并绑定所述数据查询操作所对应的加速数据服务。
8.根据权利要求6所述的数据查询系统,其特征在于,所述运行态模块包括:
运行态管控台,用于在所述低代码平台的运行阶段提供管理和控制界面;
数据加速引擎,用于执行所述加速数据服务;
数据服务引擎,用于执行对所述运行态数据库的数据调用;
表单运行引擎,用于根据所述数据查询操作,依据表单配置信息加载表单中的组件内容,并同时调用所述加速数据服务。
9.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,所述计算机程序被至少一个处理器执行时实现权利要求1至7任一项方法的步骤。
10.一种计算机程序产品,其特征在于,所述计算机程序产品包括计算机程序,所述计算机程序被至少一个处理器执行时实现权利要求1至7任一项方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311048138.4A CN116955414A (zh) | 2023-08-21 | 2023-08-21 | 低代码平台的数据查询方法及相关系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311048138.4A CN116955414A (zh) | 2023-08-21 | 2023-08-21 | 低代码平台的数据查询方法及相关系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116955414A true CN116955414A (zh) | 2023-10-27 |
Family
ID=88449285
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311048138.4A Pending CN116955414A (zh) | 2023-08-21 | 2023-08-21 | 低代码平台的数据查询方法及相关系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116955414A (zh) |
-
2023
- 2023-08-21 CN CN202311048138.4A patent/CN116955414A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10372492B2 (en) | Job-processing systems and methods with inferred dependencies between jobs | |
US8340995B2 (en) | Method and system of using artifacts to identify elements of a component business model | |
US7886028B2 (en) | Method and system for system migration | |
US8285660B2 (en) | Semi-automatic evaluation and prioritization of architectural alternatives for data integration | |
US20140082013A1 (en) | Query templates for queries in data stream management systems | |
US11615076B2 (en) | Monolith database to distributed database transformation | |
US20130166602A1 (en) | Cloud-enabled business object modeling | |
CN102542382A (zh) | 业务规则的管理方法和装置 | |
US9930113B2 (en) | Data retrieval via a telecommunication network | |
US20150081744A1 (en) | Metadata model repository | |
EP2199905A1 (en) | Lifecycle management and consistency checking of object models using application platform tools | |
Afsarmanesh et al. | Semi-automated software service integration in virtual organisations | |
US20150310390A1 (en) | Aggregation and workflow engines for managing project information | |
US8494886B2 (en) | Embedding planning components in transactional applications | |
CN115329011A (zh) | 数据模型的构建方法、数据查询的方法、装置及存储介质 | |
US20200356885A1 (en) | Service management in a dbms | |
US20230185817A1 (en) | Multi-model and clustering database system | |
CN114707961A (zh) | 基于审批流配置的待审批任务执行方法、装置、设备、介质和程序产品 | |
US20140149186A1 (en) | Method and system of using artifacts to identify elements of a component business model | |
CN116955414A (zh) | 低代码平台的数据查询方法及相关系统 | |
CN114328965A (zh) | 知识图谱更新方法、装置及计算机设备 | |
Karabey Aksakallı et al. | Micro‐IDE: A tool platform for generating efficient deployment alternatives based on microservices | |
EP2990960A1 (en) | Data retrieval via a telecommunication network | |
US12072857B2 (en) | Automation of master data processes with user-centric management of derivation rules | |
KR101975998B1 (ko) | Sql 구문 기반의 데이터 이관 장치 및 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |