CN109324905A - 数据库操作方法、装置、电子设备及存储介质 - Google Patents
数据库操作方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN109324905A CN109324905A CN201811160965.1A CN201811160965A CN109324905A CN 109324905 A CN109324905 A CN 109324905A CN 201811160965 A CN201811160965 A CN 201811160965A CN 109324905 A CN109324905 A CN 109324905A
- Authority
- CN
- China
- Prior art keywords
- preset
- statement
- database
- output
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 57
- 238000003860 storage Methods 0.000 title claims abstract description 24
- 238000012549 training Methods 0.000 claims description 29
- 230000008859 change Effects 0.000 claims description 9
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 10
- 238000004590 computer program Methods 0.000 description 9
- 238000004891 communication Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 238000011017 operating method Methods 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 230000015556 catabolic process Effects 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000000712 assembly Effects 0.000 description 1
- 238000000429 assembly Methods 0.000 description 1
- 238000005094 computer simulation Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2209/00—Indexing scheme relating to G06F9/00
- G06F2209/50—Indexing scheme relating to G06F9/50
- G06F2209/5014—Reservation
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本公开实施例公开了一种数据库操作方法、装置、电子设备及存储介质。其中，该方法包括：接收数据库的操作任务；根据预设的预测模型预测所述操作任务的输出所占用的预设资源；为所述操作任务分配所述预设资源。
Description
技术领域
本公开涉及数据库技术领域，具体涉及一种数据库操作方法、装置、电子设备及存储介质。
背景技术
互联网大数据企业正在越来越多的依赖海量的数据作为服务和决策的依据，这意味着大量的数据存储和查询工作。使用关系型数据库并通过执行结构化查询语言(Structured Query Language，SQL)是常用的方法。一般而言，对于一个操作任务，需要消耗一定的资源，例如磁盘I/O，存储资源，计算资源等。随着数据量的增大，这种操作任务变得越来越庞大，尤其是由于场景不同或隶属的业务部门不同，数据往往采用不同的存储和查询方式，例如MySQL、HBase、ElasticSearch等。不同的存储方式和查询方式存在不同的差异，因此完成操作任务所需要的各种资源也不尽相同。这意味着每一次任务所带来的各种资源的消耗量存在不可预测的波动。更为严重的是，随着数据量的指数级增长以及在一些关键领域，例如金融系统中对可靠性的需求的提升，不同任务之间带来的计算资源需求波动越来越大，这种波动在大并发、海量数据下可能会带来不可控的系统延迟，进而可能导致系统崩溃。本质上，这种资源需求的波动来源于两个方面，一方面是数据库存储数据量增大带来的，另外一个是不同操作任务本身结果之间天然存在差异，而系统无法预估在当前数据存储下不同操作任务对资源的需求。
然而，发明人在实现本公开实施例相关技术方案的过程中发现，现有技术至少存在以下问题：尽管单个数据库都带有一定程度的优化方法，例如CN104820663中给出了基于SQL语句执行成本评估的低效SQL语句识别方法，该方法通过不断计算每条SQL语句的执行成本，进而找到低效的语句，并避免这些低效语句对整个系统带来不稳定因素。CN10243649中给出了基于实践检验的执行计划优化方法，该方法通过反馈的方式，不断检验优化器的准则或任务安排方法，使得优化器能够更好的与实际运行情况吻合。然而，这些方法仅能针对已知的SQL语句进行优化，并且优化的方法仅为数据库查询的方式或路径，例如选择通过索引表查询或是通过全表查询。这种方法无法对内部存储数据和外部发起的操作任务特征进行分析，因此优化程度有限。
发明内容
针对现有技术中的上述技术问题，本公开实施例提出了一种数据库操作方法、装置、电子设备及计算机可读存储介质，以解决如何让数据库和查询方法变得更为智能，能够在收到操作任务之时，就对任务可能带来的各种资源的需求进行预测，进而提前分配资源，避免资源冲突导致性能衰退。
本公开实施例的第一方面提供了一种数据库操作方法，包括：
接收数据库的操作任务；
根据预设的预测模型预测所述操作任务的输出所占用的预设资源；
为所述操作任务分配所述预设资源。
在一些实施例中，根据预设的预测模型预测所述操作任务的输出所占用的预设资源，包括：
确定所述操作任务中的操作语句的预设类型；其中，所述预设类型与所述操作语句的操作对象和语法结构相关；
根据所述操作语句的操作对象和所述预设类型对应的预测模型预测所述操作任务的输出所占用的预设资源。
在一些实施例中，确定所述操作任务对应的操作语句的预设类型，包括：
将所述操作语句的语法结构与所述预设类型下的样本操作语句的语法结构进行匹配，得到第一匹配度；
当第一匹配度大于第一预设阈值，将所述操作语句的操作对象与所述预设类型下的样本操作语句的操作对象进行匹配，得到第二匹配度；
当第二匹配度大于第二预设阈值，确定所述操作语句属于所述预设类型。
在一些实施例中，将所述操作语句的操作对象与所述预设类型下的样本操作语句的操作对象进行匹配，包括：
将所述操作语句的操作对象与所述预设类型下的样本操作语句的相同或相似位置的操作对象进行匹配。
在一些实施例中，所述方法还包括：
按照语法结构和操作对象的匹配度，将多个样本操作语句分为若干组，每个组对应一个预设类型；
对于每一个预设类型，根据其样本操作语句的操作对象与输出所实际占用的资源的关系，建立所述预设类型的预测模型。
在一些实施例中，根据预设的预测模型预测所述操作任务的输出所占用的预设资源，包括：
将所述操作任务对应的操作语句转化为标准数据；
将所述标准数据输入至预先训练好的机器自学习模型中，得到所述操作语句的输出所占用的预设资源。
在一些实施例中，所述方法还包括：
收集多个样本操作语句，并将所述样本操作语句转化为标准数据；
确定所述样本操作语句的输出所实际占用的资源；
将所述样本操作语句对应的标准数据及其输出所实际占用的资源作为训练样本，对所述机器自学习模型进行训练。
在一些实施例中，所述方法还包括：
周期性地对训练好的所述机器自学习模型进行更新训练；或者，
在监测到所述数据库的变化达到预设程度时，对训练好的所述机器自学习模型进行更新训练。
在一些实施例中，所述标准数据为词向量数据。
本公开实施例的第二方面提供了一种数据库操作装置，包括：
接收模块，被配置为接收数据库的操作任务；
预测模块，被配置为根据预设的预测模型预测所述操作任务的输出所占用的预设资源；
分配模块，被配置为为所述操作任务分配所述预设资源。
在一些实施例中，所述预测模块，包括：
第一确定子模块，被配置为确定所述操作任务中的操作语句的预设类型；其中，所述预设类型与所述操作语句的操作对象和语法结构相关；
第一预测子模块，被配置为根据所述操作语句的操作对象和所述预设类型对应的预测模型预测所述操作任务的输出所占用的预设资源。
在一些实施例中，所述第一确定子模块，包括：
第一匹配子模块，被配置为将所述操作语句的语法结构与所述预设类型下的样本操作语句的语法结构进行匹配，得到第一匹配度；
第二匹配子模块，被配置为当第一匹配度大于第一预设阈值，将所述操作语句的操作对象与所述预设类型下的样本操作语句的操作对象进行匹配，得到第二匹配度；
第二确定子模块，被配置为当第二匹配度大于第二预设阈值，确定所述操作语句属于所述预设类型。
在一些实施例中，所述第二匹配子模块，包括：
第三匹配子模块，被配置为将所述操作语句的操作对象与所述预设类型下的样本操作语句的相同或相似位置的操作对象进行匹配。
在一些实施例中，所述装置还包括：
分组模块，被配置为按照语法结构和操作对象的匹配度，将多个样本操作语句分为若干组，每个组对应一个预设类型；
建立模块，被配置为对于每一个预设类型，根据其样本操作语句的操作对象与输出所实际占用的资源的关系，建立所述预设类型的预测模型。
在一些实施例中，所述预测模块，包括：
转化子模块，被配置为将所述操作任务对应的操作语句转化为标准数据；
第二预测子模块，被配置为将所述标准数据输入至预先训练好的机器自学习模型中，得到所述操作语句的输出所占用的预设资源。
在一些实施例中，所述装置还包括：
收集模块，被配置为收集多个样本操作语句，并将所述样本操作语句转化为标准数据；
确定模块，被配置为确定所述样本操作语句的输出所实际占用的资源；
训练模块，被配置为将所述样本操作语句对应的标准数据及其输出所实际占用的资源作为训练样本，对所述机器自学习模型进行训练。
在一些实施例中，所述装置还包括：
第一更新训练模块，被配置为周期性地对训练好的所述机器自学习模型进行更新训练；或者，
第二更新训练模块，被配置为在监测到所述数据库的变化达到预设程度时，对训练好的所述机器自学习模型进行更新训练。
在一些实施例中，所述标准数据为词向量数据。
本公开实施例的第三方面提供了一种电子设备，包括：
存储器以及一个或多个处理器；
其中，所述存储器与所述一个或多个处理器通信连接，所述存储器中存储有可被所述一个或多个处理器执行的指令，所述指令被所述一个或多个处理器执行时，所述电子设备用于实现如前述各实施例所述的方法。
本公开实施例的第四方面提供了一种计算机可读存储介质，其上存储有计算机可执行指令，当所述计算机可执行指令被计算装置执行时，可用来实现如前述各实施例所述的方法。
本公开实施例的第五方面提供了一种计算机程序产品，所述计算机程序产品包括存储在计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，可用来实现如前述各实施例所述的方法。
本公开实施例，通过操作任务接收数据库的操作任务，并根据预设的预测模型预测所述操作任务的输出所要占用的预设资源，进而为所述操作任务预留预设资源，从而能够智能地预先为操作任务分配资源，避免由于资源不足而导致操作任务输出失败。
附图说明
通过参考附图会更加清楚的理解本公开的特征和优点，附图是示意性的而不应理解为对本公开进行任何限制，在附图中：
图1是根据本公开的一些实施例所示的一种数据库操作方法的流程示意图；
图2是根据图1所示的步骤S102的流程示意图；
图3是根据图2所示的步骤S201的流程示意图；
图4是根据图1所示的步骤S102的又一流程示意图；
图5是根据本公开的一些实施例所示的一种数据库操作装置的结构框图；
图6是适于用来实现根据本公开实施方式的数据库操作方法的电子设备的结构示意图。
具体实施方式
在下面的详细描述中，通过示例阐述了本公开的许多具体细节，以便提供对相关披露的透彻理解。然而，对于本领域的普通技术人员来讲，本公开显而易见的可以在没有这些细节的情况下实施。应当理解的是，本公开中使用“系统”、“装置”、“单元”和/或“模块”术语，是用于区分在顺序排列中不同级别的不同部件、元件、部分或组件的一种方法。然而，如果其他表达式可以实现相同的目的，这些术语可以被其他表达式替换。
应当理解的是，当设备、单元或模块被称为“在……上”、“连接到”或“耦合到”另一设备、单元或模块时，其可以直接在另一设备、单元或模块上，连接或耦合到或与其他设备、单元或模块通信，或者可以存在中间设备、单元或模块，除非上下文明确提示例外情形。例如，本公开所使用的术语“和/或”包括一个或多个相关所列条目的任何一个和所有组合。
本公开所用术语仅为了描述特定实施例，而非限制本公开范围。如本公开说明书和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的特征、整体、步骤、操作、元素和/或组件，而该类表述并不构成一个排它性的罗列，其他特征、整体、步骤、操作、元素和/或组件也可以包含在内。
参看下面的说明以及附图，本公开的这些或其他特征和特点、操作方法、结构的相关元素的功能、部分的结合以及制造的经济性可以被更好地理解，其中说明和附图形成了说明书的一部分。然而，可以清楚地理解，附图仅用作说明和描述的目的，并不意在限定本公开的保护范围。可以理解的是，附图并非按比例绘制。
本公开中使用了多种结构图用来说明根据本公开的实施例的各种变形。应当理解的是，前面或下面的结构并不是用来限定本公开。本公开的保护范围以权利要求为准。
图1是根据本公开的一些实施例所示的数据库操作方法的流程示意图。在一些实施例中，所述数据库操作方法由服务器或客户端来执行。如图1所示，所述数据库操作方法包括以下步骤：
S101，接收数据库的操作任务。
具体地，数据库的操作任务可以是由一个或多个数据库操作语句构成，最终能够通过执行该一个或多个数据库操作语句来实现相应任务。在一些实施例中，数据库操作语句可以是SQL语句。
S102，根据预设的预测模型预测所述操作任务的输出所占用的预设资源。
具体地，随着大数据应用的发展，数据库中存储的数据量在不断的增长。并且，数据的采集也越来越自动化，这使得数据系统无法预测数据库中数据类型和结构的变化。除此之外，数据库的操作任务也随着大数据行业的发展变得越来越多样化，这导致了数据系统对操作任务带来的资源需求变动的响应质量也失去保障。例如如果查询返回的结果量巨大，导致I/O资源和存储资源的大量消耗，同时其他任务占用了当前的资源，使得结果返回的时延变大，系统可能超时而拒绝服务。这种对不同操作任务响应的差异也取决于数据库中存储的数据类型和结构。
然而，虽然数据库的设计是针对任意数据类型、结构以及任意操作任务而开发的，但真实发生的查询需求则是与提供的服务高度关联的，这意味着操作任务之间存在着结构化和规律性，同时由于存储的数据也类似的拥有某种结构化，这意味着操作任务与所需求的各种计算资源之间存在着统计对应关系。例如，一个金融清结算系统一般安排在凌晨完成商户与银行之间的清算和结算任务，此时任务类型多为同质化的与清结算相关的数据库操作，而对应的消费级的支付相关的数据库操作则数量非常小。再例如，用于进行商业推广、大数据分析的查询带来的计算资源开销一般较大，其中查询的操作符往往比较多并且包含商户类型、商户位置等多维度数据，而一个支付业务带来的数据库查询则意味着对数据库中付款方和收款方的数据库条目更新，对各类计算资源需求较小。
基于以上观察，不同操作任务的输出对资源的需求存在着内部关联，并且这种关联在一定程度上会周期性的出现，例如日常的清结算或单次的网络支付请求都会长时间存在。然而，通过人工设定规则的方式来预估各个查询请求的输出可能占用的资源则不实际，因为应对的操作任务类型太繁多，并且对资源消耗的预判也无法人为设定。因此，通过计算机来建立预测模型则是一种可行的方法，因为每一次的操作任务和其输出占用的资源均可以被计算机记录，这种大量记录的数据可以通过计算机建模的方法来自动生成一个可靠的预测模型。
在建立了预测模型之后，可以针对接收到的数据库的操作任务预测其输出可能要占用的预设资源，并为该操作任务预先分配该预设资源。预设资源可以包括但不限于操作任务的输出所占用的存储资源、计算资源、通信资源、I/O资源等。在一些实施例中，预测模型所预测出来的预设资源可以包括预设资源的类型、每种类型的预设资源的量化数据等。
S103，为所述操作任务分配所述预设资源。
具体地，在预测出了接收到的操作任务的输出可能占用的预设资源后，为了能够提供更好的服务，可以为该操作任务预先分配该预设资源，并进一步利用所分配的预设资源执行操作任务。
在一实施例中，当企业大数据系统采用本公开所提出的数据库操作方法时，其大数据中心可以根据自身服务的需求，对特定的外部服务接口开放资源预留功能。例如，对于用户优先级较高，或对反馈时间要求较高的服务，系统会首先判断需要调用资源预留方法，一个操作任务生成的一个或多个SQL语句被送入预测模型，快速得到其输出所需的预设资源，例如计算资源、分布式系统的通信资源，或存储资源等同时被预留等待数据库生成结果。通过这种方法，系统响应外部不同服务的稳定性就大大提升了。相反，如果不使用本公开所提出的上述方法，由于用户并不了解自己所发起的操作任务对数据库产生的资源的差异，在特定的操作任务时，由于系统并没有预留这部分资源，虽然可以在SQL返回结果时可以动态分配，但会造成较大的延迟甚至服务无响应。
本公开实施例，通过操作任务接收数据库的操作任务，并根据预设的预测模型预测所述操作任务的输出所要占用的预设资源，进而为所述操作任务预留预设资源，从而能够智能地预先为操作任务分配资源，避免由于资源不足而导致操作任务输出失败
在一些可选的实施例中，如图2所示，步骤S102可以包括：
步骤S201，确定所述操作任务中的操作语句的预设类型；其中，所述预设类型与所述操作语句的操作对象和语法结构相关；
步骤S202，根据所述操作语句的操作对象和所述预设类型对应的预测模型预测所述操作任务的输出所占用的预设资源。
该可选的实施例中，数据库的操作任务可以是由一个或多个操作语句构成的，本公开实施例可以通过对每个操作语句的预设类型以及该操作语句的操作对象预测得到该操作语句的输出所要占用的资源，操作任务的所有操作语句的输出所要占用的资源之和就可以认为是操作任务的输出所要占用的预设资源。操作语句的预设类型可以根据操作语句的操作对象和语法结构来确定，在两个操作语句的操作对象相似、语法结构也相似的情况下，可以认为两个操作语句的输出所占用的资源差不多。此外，语法结构相似，而两个操作语句的操作对象中的数据源之间具有一定的关系，例如比例关系因此可以预先建立不同预设类型对应的预测模型，在确定了操作语句的预设类型后，可以基于预设类型以及操作对象预测操作语句的输出所要占用的预设资源。
在一些实施例中，操作对象包括但不限于操作语句中涉及的数据源(即用于表明该操作语句对哪个数据库、哪个表、哪个字段进行操作)和查询条件(例如SQL语句中where限定的查询条件)。操作语句的语法结构可以基于已有的抽象语法树构建方法得到，根节点代表操作语句的操作类型，而中间节点为操作语句的语法，叶节点为操作语句的操作对象。
在一些可选的实施例中，如图3所示，步骤S201可以包括：
步骤S301，将所述操作语句的语法结构与所述预设类型下的样本操作语句的语法结构进行匹配，得到第一匹配度；
步骤S302，当第一匹配度大于第一预设阈值，将所述操作语句的操作对象与所述预设类型下的样本操作语句的操作对象进行匹配，得到第二匹配度；
步骤S303，当第二匹配度大于第二预设阈值，确定所述操作语句属于所述预设类型。
在该可选的实现方式中，每个预设类型下都可以设置属于该预设类型的一个或多个样本操作语句，这样可以将后续接收到的操作语句与该样本操作语句进行匹配，在语法结构的第一匹配度大于第一预设阈值时，也即两者的匹配度达到目标值时，再匹配操作语句和样本操作语句的操作对象，如果操作对象的第二匹配度大于第二预设阈值时，则可以确定操作语句属于该预设类型。在一些实施例中，操作对象1和操作对象2之前的匹配可以基于它们对数据库的查询所涉及到的数据类型有关，例如操作对象1为数据表1，而操作对象2为数据表2，数据表1和数据表2所存储的数据类似，但是数据量不同的情况下，也可以认为两者匹配，这是因为针对它们的输出之间所占用的资源之间具有一定的比例关系，且该比例关系与数据表1和数据表2的数据量之间的比例有关，因此可以在预测模型设置这种比例关系，也能够基于操作语句的操作对象预测得到其输出所占用的资源。
在一些可选的实施例中，步骤S302可以包括：
将所述操作语句的操作对象与所述预设类型下的样本操作语句的相同或相似位置的操作对象进行匹配。
该可选的实施例中，由于一个操作语句可以包括多个操作对象，因此在匹配操作语句之间的操作对象时，可以将操作语句中位置相同或者相似的操作对象进行匹配。例如：
SQL语句1：Select amountToClear from UnionPay where area＝'Beijing'andBusinessType＝'Small'
SQL语句2：Select amountToClear from UnionPay where area＝'Shenzhen'andBusinessType＝'Small'
在匹配操作对象时，可以匹配SQL语句1中的“amountToClear”与SQL语句2中的“amountToClear”，匹配SQL语句1中的“UnionPay”与SQL语句2中的“UnionPay”，，SQL语句1中的“area＝'Beijing'”与SQL语句2中的“area＝'Shenzhen'”；当然，对于语法结构相似的操作语句来说，还可以匹配位置相似的操作对象。
在一些可选的实施例中，所述方法还包括：
按照语法结构和操作对象的匹配度，将多个样本操作语句分为若干组，每个组对应一个预设类型；
对于每一个预设类型，根据其样本操作语句的操作对象与输出所实际占用的资源的关系，建立所述预设类型的预测模型。
该可选的实现方式中，通过收集多个样本操作语句，并通过建立多个样本操作语句的语法树，进而通过比较两个样本操作语句之间的语法结构以及操作对象来确定两者是否相似，并将相似的多个样本操作语句作为一组，最终得到多个预设类型。而每个预设类型下至少包括一个样本操作语句，通过历史操作得到该至少一个样本操作语句执行数据库操作后得到的输出所占用的资源，并建立操作对象与输出所占用资源之间的关系，得到预设类型的预测模型。如前所述，语法结构相似的情况下，如果操作对象不同，操作语句的输出所占用的资源可能也会不同；如果操作对象完全相同，操作语句的输出所占用的资源也会相同；如果操作对象相似，操作语句的输出所占用的资源可能会相近或者具有一定的比例关系。例如所存储的数据类型相同的两张表，其数据量不一样，则语法结构相同或相似的两个操作语句分别针对该两张表进行操作，则其输出所占用的资源之间的关系与两张表的数据量之间的关系相关，再例如两个操作语句的语法结构相同，所操作的数据分别为两个地区涉及的同类型的数据，那么其输出所占用的资源与该两个地区之间得关系有关，例如所操作的数据为与人口有关的数据，那么可以基于两个地区的人口数量关系确定输出所占资源的关系，因此可以基于操作对象与输出实际占用的资源的关系建立预设类型的预测模型。
在一些可选的实施例中，如图4所示，步骤S102可以包括：
步骤S401，将所述操作任务对应的操作语句转化为标准数据；
步骤S402，将所述标准数据输入至预先训练好的机器自学习模型中，得到所述操作语句的输出所占用的预设资源。
该可选的实现方式中，可以预先训练好机器自学习模型，并由机器自学习模型来预测操作语句的输出所占用的预设资源。机器自学习模型可以使用不同的模型，例如线性回归或深度神经网络等进行训练。
在一些实施例中，标准数据可以为词向量数据，例如利用word2vector转换得到的词向量。由于词向量是数字向量，针对整个操作语句输出的是词向量矩阵，也即数字矩阵，可以直接输入至机器自学习模型中进行预测，且由于词向量不但能表示词本身的含义，还能够表达上下文的含义，因此通过将操作语句转化成词向量能够使得机器自学习模型更加有效地预测出操作语句的输出所占用的资源。
在一些可选的实施例中，所述方法还可以包括：
收集多个样本操作语句，并将所述样本操作语句转化为标准数据；
确定所述样本操作语句的输出所实际占用的资源；
将所述样本操作语句对应的标准数据及其输出所实际占用的资源作为训练样本，对所述机器自学习模型进行训练。
该可选的实施例中，可以通过预先收集多个样本操作语句，选定机器自学习模型，进而对机器自学习模型进训练。在训练过程中，样本操作语句也先转换成标准数据，例如词向量数据，并通过执行样本操作语句或者从历史记录中得到样本操作语句的输出所实际占用的资源，将样本操作语句对应的标准数据和实际占用的资源作为训练样本，对机器自学习模型进行训练，其中标准数据作为输入，实际占用的资源作为标注结果，最终经过大量训练样本的训练，可以得到能够预测操作语句的输出所占用的资源的预测模型。如果训练样本能够遍历各种操作语句的操作类型、数据类型、数据结构以及数据分布等，则机器自学习模型就能够提取在当前数据库下不同操作语句的输出所占用资源的需求特征。
在一些实施例中，样本操作语句可以通过数据库的访问历史记录得到。这些访问历史数据体现了大量真实的查询需求，因此记录的数据中本身也包含了大量的数据分布特征。在另一些实施例中，还可以通过仿真的方式，生成大量模拟的SQL语句，进而增加样本的多样性。
在一些可选的实施例中，所述方法还可以包括：
周期性地对训练好的所述机器自学习模型进行更新训练；或者，
在监测到所述数据库的变化达到预设程度时，对训练好的所述机器自学习模型进行更新训练。
在该可选的实现方式中，机器自学习模型在训练时，由于操作语句的特征以及当前数据库内存储的数据决定了其输出占用的资源，例如如果一个没有任何数据记录的数据库，任何操作语句得到的输出所占用的资源均为0。反之，当数据库存储的数据发生大量改变后，相同的操作语句的输出所占用的资源也会改变。因此，在使用本公开所提出的方法时，也可以考虑数据库存储数据的变化。在一些实施例中，可以周期性的对预测模型进行更新训练。在另一些实施例中，可以不停的侦测当前数据库的数据变化，当数据变化达到一定程度后，则更训练新预测模型。
以上是本公开提供的数据库操作方法的具体实施方式。
图5根据本公开的一些实施例所示的数据库操作装置示意图。如图5所示，数据库操作装置500包括接收模块501、预测模块502和分配模块503。所述数据库操作装置500的功能可以由服务器或客户端执行。其中：
接收模块501，被配置为接收数据库的操作任务；
预测模块502，被配置为根据预设的预测模型预测所述操作任务的输出所占用的预设资源；
分配模块503，被配置为为所述操作任务分配所述预设资源。
在一些可选的实施例中，所述预测模块502，包括：
第一确定子模块，被配置为确定所述操作任务中的操作语句的预设类型；其中，所述预设类型与所述操作语句的操作对象和语法结构相关；
第一预测子模块，被配置为根据所述操作语句的操作对象和所述预设类型对应的预测模型预测所述操作任务的输出所占用的预设资源。
在一些可选的实施例中，所述第一确定子模块，包括：
第一匹配子模块，被配置为将所述操作语句的语法结构与所述预设类型下的样本操作语句的语法结构进行匹配，得到第一匹配度；
第二匹配子模块，被配置为当第一匹配度大于第一预设阈值，将所述操作语句的操作对象与所述预设类型下的样本操作语句的操作对象进行匹配，得到第二匹配度；
第二确定子模块，被配置为当第二匹配度大于第二预设阈值，确定所述操作语句属于所述预设类型。
在一些可选的实施例中，所述第二匹配子模块，包括：
第三匹配子模块，被配置为将所述操作语句的操作对象与所述预设类型下的样本操作语句的相同或相似位置的操作对象进行匹配。
在一些可选的实施例中，所述装置还包括：
分组模块，被配置为按照语法结构和操作对象的匹配度，将多个样本操作语句分为若干组，每个组对应一个预设类型；
建立模块，被配置为对于每一个预设类型，根据其样本操作语句的操作对象与输出所实际占用的资源的关系，建立所述预设类型的预测模型。
在一些可选的实施例中，所述预测模块502，包括：
转化子模块，被配置为将所述操作任务对应的操作语句转化为标准数据；
第二预测子模块，被配置为将所述标准数据输入至预先训练好的机器自学习模型中，得到所述操作语句的输出所占用的预设资源。
在一些可选的实施例中，所述装置还包括：
收集模块，被配置为收集多个样本操作语句，并将所述样本操作语句转化为标准数据；
确定模块，被配置为确定所述样本操作语句的输出所实际占用的资源；
训练模块，被配置为将所述样本操作语句对应的标准数据及其输出所实际占用的资源作为训练样本，对所述机器自学习模型进行训练。
在一些可选的实施例中，所述装置还包括：
第一更新训练模块，被配置为周期性地对训练好的所述机器自学习模型进行更新训练；或者，
第二更新训练模块，被配置为在监测到所述数据库的变化达到预设程度时，对训练好的所述机器自学习模型进行更新训练。
在一些可选的实施例中，所述标准数据为词向量数据。
本公开上述数据库操作装置与上述数据库操作方法对应已知，具体细节可参见上述对数据库操作装置的描述，在此不再赘述。
图6是适于用来实现根据本公开实施方式的信息流推送方法的电子设备的结构示意图。
如图6所示，电子设备600包括中央处理单元(CPU)601，其可以根据存储在只读存储器(ROM)602中的程序或者从存储部分608加载到随机访问存储器(RAM)603中的程序而执行上述图1所示的实施方式中的各种处理。在RAM603中，还存储有电子设备600操作所需的各种程序和数据。CPU601、ROM602以及RAM603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。
以下部件连接至I/O接口605：包括键盘、鼠标等的输入部分606；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分607；包括硬盘等的存储部分608；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分609。通信部分609经由诸如因特网的网络执行通信处理。驱动器610也根据需要连接至I/O接口605。可拆卸介质611，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器610上，以便于从其上读出的计算机程序根据需要被安装入存储部分608。
特别地，根据本公开的实施方式，上文参考图1描述的方法可以被实现为计算机软件程序。例如，本公开的实施方式包括一种计算机程序产品，其包括有形地包含在及其可读介质上的计算机程序，所述计算机程序包含用于执行图1的方法的程序代码。在这样的实施方式中，该计算机程序可以通过通信部分609从网络上被下载和安装，和/或从可拆卸介质611被安装。
附图中的流程图和框图，图示了按照本公开各种实施方式的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，路程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施方式中所涉及到的单元或模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元或模块也可以设置在处理器中，这些单元或模块的名称在某种情况下并不构成对该单元或模块本身的限定。
作为另一方面，本公开还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施方式中所述装置中所包含的计算机可读存储介质；也可以是单独存在，未装配入设备中的计算机可读存储介质。计算机可读存储介质存储有一个或者一个以上程序，所述程序被一个或者一个以上的处理器用来执行描述于本公开的方法。
综上所述，本公开提出了一种数据库操作方法、装置、电子设备及其计算机可读存储介质。本公开实施例，通过操作任务接收数据库的操作任务，并根据预设的预测模型预测所述操作任务的输出所要占用的预设资源，进而为所述操作任务预留预设资源，从而能够智能地预先为操作任务分配资源，避免由于资源不足而导致操作任务输出失败
应当理解的是，本公开的上述具体实施方式仅仅用于示例性说明或解释本公开的原理，而不构成对本公开的限制。因此，在不偏离本公开的精神和范围的情况下所做的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。此外，本公开所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。
Claims (20)
1.一种数据库操作方法，其特征在于，包括：
接收数据库的操作任务；
根据预设的预测模型预测所述操作任务的输出所占用的预设资源；
为所述操作任务分配所述预设资源。
2.根据权利要求1所述的数据库操作方法，其特征在于，根据预设的预测模型预测所述操作任务的输出所占用的预设资源，包括：
确定所述操作任务中的操作语句的预设类型；其中，所述预设类型与所述操作语句的操作对象和语法结构相关；
根据所述操作语句的操作对象和所述预设类型对应的预测模型预测所述操作任务的输出所占用的预设资源。
3.根据权利要求2所述的数据库操作方法，其特征在于，确定所述操作任务对应的操作语句的预设类型，包括：
将所述操作语句的语法结构与所述预设类型下的样本操作语句的语法结构进行匹配，得到第一匹配度；
当第一匹配度大于第一预设阈值，将所述操作语句的操作对象与所述预设类型下的样本操作语句的操作对象进行匹配，得到第二匹配度；
当第二匹配度大于第二预设阈值，确定所述操作语句属于所述预设类型。
4.根据权利要求3所述的数据库操作方法，其特征在于，将所述操作语句的操作对象与所述预设类型下的样本操作语句的操作对象进行匹配，包括：
将所述操作语句的操作对象与所述预设类型下的样本操作语句的相同或相似位置的操作对象进行匹配。
5.根据权利要求2-4中任一项所述的数据库操作方法，其特征在于，还包括：
按照语法结构和操作对象的匹配度，将多个样本操作语句分为若干组，每个组对应一个预设类型；
对于每一个预设类型，根据其样本操作语句的操作对象与输出所实际占用的资源的关系，建立所述预设类型的预测模型。
6.根据权利要求1所述的数据库操作方法，其特征在于，根据预设的预测模型预测所述操作任务的输出所占用的预设资源，包括：
将所述操作任务对应的操作语句转化为标准数据；
将所述标准数据输入至预先训练好的机器自学习模型中，得到所述操作语句的输出所占用的预设资源。
7.根据权利要求6所述的数据库操作方法，其特征在于，还包括：
收集多个样本操作语句，并将所述样本操作语句转化为标准数据；
确定所述样本操作语句的输出所实际占用的资源；
将所述样本操作语句对应的标准数据及其输出所实际占用的资源作为训练样本，对所述机器自学习模型进行训练。
8.根据权利要求7所述的数据库操作方法，其特征在于，还包括：
周期性地对训练好的所述机器自学习模型进行更新训练；或者，
在监测到所述数据库的变化达到预设程度时，对训练好的所述机器自学习模型进行更新训练。
9.根据权利要求6-8任一项所述的数据库操作方法，其特征在于，所述标准数据为词向量数据。
10.一种数据库操作装置，其特征在于，包括：
接收模块，被配置为接收数据库的操作任务；
预测模块，被配置为根据预设的预测模型预测所述操作任务的输出所占用的预设资源；
分配模块，被配置为为所述操作任务分配所述预设资源。
11.根据权利要求10所述的数据库操作装置，其特征在于，所述预测模块，包括：
第一确定子模块，被配置为确定所述操作任务中的操作语句的预设类型；其中，所述预设类型与所述操作语句的操作对象和语法结构相关；
第一预测子模块，被配置为根据所述操作语句的操作对象和所述预设类型对应的预测模型预测所述操作任务的输出所占用的预设资源。
12.根据权利要求11所述的数据库操作装置，其特征在于，所述第一确定子模块，包括：
第一匹配子模块，被配置为将所述操作语句的语法结构与所述预设类型下的样本操作语句的语法结构进行匹配，得到第一匹配度；
第二匹配子模块，被配置为当第一匹配度大于第一预设阈值，将所述操作语句的操作对象与所述预设类型下的样本操作语句的操作对象进行匹配，得到第二匹配度；
第二确定子模块，被配置为当第二匹配度大于第二预设阈值，确定所述操作语句属于所述预设类型。
13.根据权利要求12所述的数据库操作装置，其特征在于，所述第二匹配子模块，包括：
第三匹配子模块，被配置为将所述操作语句的操作对象与所述预设类型下的样本操作语句的相同或相似位置的操作对象进行匹配。
14.根据权利要求11-13中任一项所述的数据库操作装置，其特征在于，还包括：
分组模块，被配置为按照语法结构和操作对象的匹配度，将多个样本操作语句分为若干组，每个组对应一个预设类型；
建立模块，被配置为对于每一个预设类型，根据其样本操作语句的操作对象与输出所实际占用的资源的关系，建立所述预设类型的预测模型。
15.根据权利要求10所述的数据库操作装置，其特征在于，所述预测模块，包括：
转化子模块，被配置为将所述操作任务对应的操作语句转化为标准数据；
第二预测子模块，被配置为将所述标准数据输入至预先训练好的机器自学习模型中，得到所述操作语句的输出所占用的预设资源。
16.根据权利要求15所述的数据库操作装置，其特征在于，还包括：
收集模块，被配置为收集多个样本操作语句，并将所述样本操作语句转化为标准数据；
确定模块，被配置为确定所述样本操作语句的输出所实际占用的资源；
训练模块，被配置为将所述样本操作语句对应的标准数据及其输出所实际占用的资源作为训练样本，对所述机器自学习模型进行训练。
17.根据权利要求16所述的数据库操作装置，其特征在于，还包括：
第一更新训练模块，被配置为周期性地对训练好的所述机器自学习模型进行更新训练；或者，
第二更新训练模块，被配置为在监测到所述数据库的变化达到预设程度时，对训练好的所述机器自学习模型进行更新训练。
18.根据权利要求15-17任一项所述的数据库操作装置，其特征在于，所述标准数据为词向量数据。
19.一种电子设备，其特征在于，包括：
存储器以及一个或多个处理器；
其中，所述存储器与所述一个或多个处理器通信连接，所述存储器中存储有可被所述一个或多个处理器执行的指令，所述指令被所述一个或多个处理器执行时，所述电子设备用于实现如权利要求1-9任一项所述的方法。
20.一种计算机可读存储介质，其上存储有计算机可执行指令，当所述计算机可执行指令被计算装置执行时，可用来实现如权利要求1-9任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811160965.1A CN109324905B (zh) | 2018-09-30 | 2018-09-30 | 数据库操作方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811160965.1A CN109324905B (zh) | 2018-09-30 | 2018-09-30 | 数据库操作方法、装置、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109324905A true CN109324905A (zh) | 2019-02-12 |
| CN109324905B CN109324905B (zh) | 2021-03-30 |
Family
ID=65266655
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811160965.1A Active CN109324905B (zh) | 2018-09-30 | 2018-09-30 | 数据库操作方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109324905B (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110119403A (zh) * | 2019-04-03 | 2019-08-13 | 北京三快在线科技有限公司 | Sql优化方法、装置、电子设备及可读存储介质 |
| CN110362611A (zh) * | 2019-07-12 | 2019-10-22 | 拉卡拉支付股份有限公司 | 一种数据库查询方法、装置、电子设备及存储介质 |
| CN110362404A (zh) * | 2019-06-28 | 2019-10-22 | 北京淇瑀信息科技有限公司 | 一种基于sql的资源分配方法、装置和电子设备 |
| CN110659288A (zh) * | 2019-09-17 | 2020-01-07 | 中国南方电网有限责任公司 | 案例出清计算方法、系统、装置、计算机设备和存储介质 |
| CN111767316A (zh) * | 2019-11-18 | 2020-10-13 | 第四范式（北京）技术有限公司 | 目标任务处理方法、装置及电子设备 |
| CN112667726A (zh) * | 2021-01-04 | 2021-04-16 | 拉卡拉支付股份有限公司 | 数据抽取方法、装置、电子设备、存储介质及程序产品 |
| CN112765196A (zh) * | 2019-10-21 | 2021-05-07 | 拉扎斯网络科技（上海）有限公司 | 数据处理及数据识别方法、装置、电子设备及存储介质 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060224576A1 (en) * | 2005-04-04 | 2006-10-05 | Oracle International Corporation | Effectively and efficiently supporting XML sequence type and XQuery sequence natively in a SQL system |
| CN101158975A (zh) * | 2007-11-21 | 2008-04-09 | 金蝶软件（中国）有限公司 | 一种访问不同类型数据库的方法和系统 |
| CN103778474A (zh) * | 2012-10-18 | 2014-05-07 | 华为技术有限公司 | 资源负载量预测方法、分析预测系统及业务运营监控系统 |
| WO2016078423A1 (zh) * | 2014-11-17 | 2016-05-26 | 中兴通讯股份有限公司 | 分布式数据库系统的事务处理方法及装置 |
| US9582328B1 (en) * | 2015-06-19 | 2017-02-28 | EMC IP Holding Company LLC | Allocation of resources in computing environments |
| CN106844380A (zh) * | 2015-12-04 | 2017-06-13 | 阿里巴巴集团控股有限公司 | 一种数据库操作方法、信息处理方法和相应装置 |
| CN107918676A (zh) * | 2017-12-15 | 2018-04-17 | 联想(北京)有限公司 | 结构化查询的资源优化方法及数据库查询系统 |
| CN108052394A (zh) * | 2017-12-27 | 2018-05-18 | 福建星瑞格软件有限公司 | 基于sql语句运行时间的资源分配的方法及计算机设备 |
| US20180152487A1 (en) * | 2016-11-28 | 2018-05-31 | Cisco Technology, Inc. | Predicting utilization of a shared collaboration resource |
| CN108280230A (zh) * | 2018-02-27 | 2018-07-13 | 北京中关村科金技术有限公司 | 一种分析数据的方法、装置、设备及存储介质 |
| CN110019298A (zh) * | 2017-10-31 | 2019-07-16 | 北京国双科技有限公司 | 数据处理方法和装置 |
-
2018
- 2018-09-30 CN CN201811160965.1A patent/CN109324905B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060224576A1 (en) * | 2005-04-04 | 2006-10-05 | Oracle International Corporation | Effectively and efficiently supporting XML sequence type and XQuery sequence natively in a SQL system |
| CN101158975A (zh) * | 2007-11-21 | 2008-04-09 | 金蝶软件（中国）有限公司 | 一种访问不同类型数据库的方法和系统 |
| CN103778474A (zh) * | 2012-10-18 | 2014-05-07 | 华为技术有限公司 | 资源负载量预测方法、分析预测系统及业务运营监控系统 |
| WO2016078423A1 (zh) * | 2014-11-17 | 2016-05-26 | 中兴通讯股份有限公司 | 分布式数据库系统的事务处理方法及装置 |
| US9582328B1 (en) * | 2015-06-19 | 2017-02-28 | EMC IP Holding Company LLC | Allocation of resources in computing environments |
| CN106844380A (zh) * | 2015-12-04 | 2017-06-13 | 阿里巴巴集团控股有限公司 | 一种数据库操作方法、信息处理方法和相应装置 |
| US20180152487A1 (en) * | 2016-11-28 | 2018-05-31 | Cisco Technology, Inc. | Predicting utilization of a shared collaboration resource |
| CN110019298A (zh) * | 2017-10-31 | 2019-07-16 | 北京国双科技有限公司 | 数据处理方法和装置 |
| CN107918676A (zh) * | 2017-12-15 | 2018-04-17 | 联想(北京)有限公司 | 结构化查询的资源优化方法及数据库查询系统 |
| CN108052394A (zh) * | 2017-12-27 | 2018-05-18 | 福建星瑞格软件有限公司 | 基于sql语句运行时间的资源分配的方法及计算机设备 |
| CN108280230A (zh) * | 2018-02-27 | 2018-07-13 | 北京中关村科金技术有限公司 | 一种分析数据的方法、装置、设备及存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| W. NG ET AL.: "《An extension of SQL to support ordered domains in relational databases》", 《PROCEEDINGS OF THE 1997 INTERNATIONAL DATABASE ENGINEERING AND APPLICATIONS SYMPOSIUM (CAT. NO.97TB100166)》 * |
| 刘飞: "《 嵌入式数据库技术的研究与实现》", 《中国优秀硕士学位论文全文数据库（信息科技辑）电子期刊》 * |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110119403A (zh) * | 2019-04-03 | 2019-08-13 | 北京三快在线科技有限公司 | Sql优化方法、装置、电子设备及可读存储介质 |
| CN110362404A (zh) * | 2019-06-28 | 2019-10-22 | 北京淇瑀信息科技有限公司 | 一种基于sql的资源分配方法、装置和电子设备 |
| CN110362611A (zh) * | 2019-07-12 | 2019-10-22 | 拉卡拉支付股份有限公司 | 一种数据库查询方法、装置、电子设备及存储介质 |
| CN110362611B (zh) * | 2019-07-12 | 2021-07-09 | 拉卡拉支付股份有限公司 | 一种数据库查询方法、装置、电子设备及存储介质 |
| CN110659288A (zh) * | 2019-09-17 | 2020-01-07 | 中国南方电网有限责任公司 | 案例出清计算方法、系统、装置、计算机设备和存储介质 |
| CN112765196A (zh) * | 2019-10-21 | 2021-05-07 | 拉扎斯网络科技（上海）有限公司 | 数据处理及数据识别方法、装置、电子设备及存储介质 |
| CN112765196B (zh) * | 2019-10-21 | 2023-01-31 | 拉扎斯网络科技（上海）有限公司 | 数据处理及数据识别方法、装置、电子设备及存储介质 |
| CN111767316A (zh) * | 2019-11-18 | 2020-10-13 | 第四范式（北京）技术有限公司 | 目标任务处理方法、装置及电子设备 |
| CN112667726A (zh) * | 2021-01-04 | 2021-04-16 | 拉卡拉支付股份有限公司 | 数据抽取方法、装置、电子设备、存储介质及程序产品 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109324905B (zh) | 2021-03-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109324905B (zh) | 数据库操作方法、装置、电子设备及存储介质 | |
| CN111061833B (zh) | 数据处理方法、装置、电子设备和计算机可读存储介质 | |
| CN110443657B (zh) | 客户流量数据处理方法、装置、电子设备及可读介质 | |
| CN109753356A (zh) | 一种容器资源调度方法、装置及计算机可读存储介质 | |
| US8645966B2 (en) | Managing resource allocation and configuration of model building components of data analysis applications | |
| CN113037877B (zh) | 云边端架构下时空数据及资源调度的优化方法 | |
| Mohammad et al. | Customer churn prediction in telecommunication industry using machine learning classifiers | |
| US20120011139A1 (en) | Unified numerical and semantic analytics system for decision support | |
| CN115335821B (zh) | 卸载统计收集 | |
| CN107301466A (zh) | 对业务负载及资源配置与性能关系的预测方法及预测系统 | |
| CN112017042A (zh) | 基于tweedie分布的资源配额确定方法、装置和电子设备 | |
| CN116057518A (zh) | 使用机器学习模型的自动查询谓词选择性预测 | |
| CN114997414A (zh) | 数据处理方法、装置、电子设备和存储介质 | |
| CN114185941A (zh) | 报表数据查询的方法、装置、电子设备和存储介质 | |
| CN112488865A (zh) | 基于金融时间节点的金融风险预测方法、装置和电子设备 | |
| CN116820767A (zh) | 一种云资源管理方法、装置、电子设备及存储介质 | |
| CN113298120B (zh) | 基于融合模型的用户风险预测方法、系统和计算机设备 | |
| CN113780675B (zh) | 一种消耗预测方法、装置、存储介质及电子设备 | |
| CN112131257B (zh) | 数据查询方法和装置 | |
| CN114219208A (zh) | 小微企业的授信处理方法、装置及电子设备 | |
| CN114564292A (zh) | 一种数据的分布式网格化处理方法、装置、设备及介质 | |
| CN112906723A (zh) | 一种特征选择的方法和装置 | |
| Zhu et al. | Customer Churn Prediction Based on HMM in Telecommunication Industry | |
| CN118096354A (zh) | 资源额度推荐方法及装置、电子设备、存储介质和计算机程序产品 | |
| Li et al. | Cloud Manufacturing Service Composition Optimization Based on Improved Chaos Sparrow Search Algorithm with Time-Varying Reliability and Credibility Evaluation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |