CN108897776A - 一种数据信息的运算处理方法、装置及计算机存储介质 - Google Patents
一种数据信息的运算处理方法、装置及计算机存储介质 Download PDFInfo
- Publication number
- CN108897776A CN108897776A CN201810557868.XA CN201810557868A CN108897776A CN 108897776 A CN108897776 A CN 108897776A CN 201810557868 A CN201810557868 A CN 201810557868A CN 108897776 A CN108897776 A CN 108897776A
- Authority
- CN
- China
- Prior art keywords
- task
- instant
- arithmetic processing
- logical relation
- successive logical
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
一种数据信息的运算处理方法、装置及计算机存储介质，包括：为各结构化查询语言(SQL)语句分别在后台创建相应的即时任务；将不存在先后逻辑关系的即时任务添加至预设的一个或一个以上任务集中；对不存在先后逻辑关系的任务集，将任务集内的即时任务在后台进行并行的运算处理。本发明实施例为SQL语句在后台创建即时任务后，将不存在先后逻辑关系的即时任务添加到任务集中，进行并行的运算处理，提升了SQL语句的运算效率。
Description
技术领域
本文涉及但不限于数据库技术，尤指一种数据信息的运算处理方法、装置及计算机存储介质。
背景技术
在甲骨文(Oracle)数据库中，对于执行时间较长的结构化查询语言(SQL)语句优先策略是开启并行执行，可开启并行执行的SQL语句包括数据查询语言(DQL)、数据操作语言(DML)、数据定义语言(DDL)等语句。并行执行的实现过程包括：Oracle通过一个进程协调并行服务进程之间的信息传递；这个并行协调进程将需要操作的数据集(比如表的数据块)分割成很多部分，称为并行处理单元；并行协调进程给每个并行服务进程分配一个数据单元；并行服务进程同时处理分配给自身的数据单元；当一个并行服务进程处理完毕后，并行协调进程给它们继续分配其他的数据单元；表上的数据都处理完毕时，并行协调进程合并各并行服务进程的处理结果，并返回给用户。这种数据并行处理方式在联机分析处理(OLAP)中非常有用，OLAP场景的表一般都是非常大，让更多的中央处理器(CPU)对数据进行并行处理，效果比串行执行要高得多。而对于联机事务处理(OLTP)场景，SQL自身的并行并不太合适，原因是OLTP场景中，数据访问路径基本上以索引访问为主，并且返回结果集较小，操作的处理速度一般非常快，不需要启用并行；在OLTP场景中，不同SQL语句存在并行需求。
随着服务器性能提升，SQL语句的并行执行对硬件资源的相对利用率不断降低，在一个或一个以上交互会话管理过程中，往往打开多个交互会话执行用时长的SQL语句；对于OLTP场景，无论开启的SQL语句是否并行，在一个交互会话中不同的SQL语句间均为串行执行，特别是多个DQL、DML、DDL等语句混合的序列中，虽然SQL语句间无前后逻辑关系，不同的SQL语句间依然不能并行执行，累计执行时间依然较长，影响数据库的运行效率。
发明内容
以下是对本文详细描述的主题的概述。本概述并非是为了限制权利要求的保护范围。
本发明实施例提供一种数据信息的运算处理方法、装置及计算机存储介质，能够提升了SQL语句的运算效率；提高系统的数据处理速度。
本发明实施例提供了一种数据信息的运算处理方法，包括：
为各结构化查询语言SQL语句分别在后台创建相应的即时任务；
将不存在先后逻辑关系的即时任务添加至预设的一个或一个以上任务集中；
对不存在先后逻辑关系的任务集，将任务集内的即时任务在后台进行并行的运算处理。
可选的，所述方法还包括：
任务集之间存在先后逻辑关系时，按照任务集的先后逻辑关系，在前台逐个进行各任务集内的即时任务的并行的运算处理。
可选的，所述运算处理方法还包括：
根据接收到的第一外部指令，确定即时任务之间是否存在先后逻辑关系；
根据接收到的第二外部指令，确定任务集之间是否存在先后逻辑关系。
可选的，所述将任务集内的即时任务在后台进行并行的运算处理时，所述运算处理方法还包括：
通过预先创建的主控任务执行以下部分或全部处理：
监测所述任务集中各即时任务的完成状态；
记录各即时任务的运行状态信息；
根据监测到的各即时任务的完成状态，确定所述任务集中的所有即时任务均完成时，保存各即时任务的运行状态信息。
可选的，所述在前台逐个进行各任务集内的即时任务的并行的运算处理时，所述运算处理方法还包括：
通过前台主程序执行以下部分或全部处理：
监测所述任务集中各即时任务的完成状态；
记录各即时任务的运行状态信息；
根据监测到的各即时任务的完成状态，确定所述任务集中的所有即时任务均完成时，保存各即时任务的运行状态信息。
可选的，所述运算处理方法还包括：
所述即时任务发生中断时，确定是否对发生中断的即时任务继续进行运算处理；
确定对发生中断的即时任务继续进行运算处理时，从记录的运行状态信息获取未完成运算的SQL语句；
为获取的各未完成的SQL语句，分别在后台创建相应的即时任务；
将不存在先后逻辑关系的即时任务添加至预设的一个或一个以上任务集中；
对不存在先后逻辑关系的任务集，将任务集内的即时任务在后台进行并行的运算处理；
对存在先后逻辑关系的任务集，按照任务集的先后逻辑关系，在前台逐个进行各任务集内的即时任务的并行的运算处理。
可选的，所述运算处理方法还包括：
接收到管道信息；
确定接收到的管道信息包含对任务集内的即时任务进行强制停止处理的停止指令时，根据停止指令停止任务集内的即时任务，并记录停止的各所述即时任务的运算状态信息。
另一方面，本发明实施例还提供一种数据信息的运算处理装置，包括：创建单元、添加单元和后台处理单元；其中，
创建单元用于：为各SQL语句分别在后台创建相应的即时任务；
添加单元用于：将不存在先后逻辑关系的即时任务添加至预设的一个或一个以上任务集中；
后台处理单元用于：对不存在先后逻辑关系的任务集，将任务集内的即时任务在后台进行并行的运算处理。
可选的，所述运算处理装置还包括前台处理单元，用于：
任务集之间存在先后逻辑关系时，按照任务集的先后逻辑关系，在前台逐个进行各任务集内的即时任务的并行的运算处理。
可选的，所述运算处理装置还包括第一确定单元和第二确定单元；其中，
第一确定单元用于：根据接收到的第一外部指令，确定即时任务之间是否存在先后逻辑关系；
第二确定单元用于：根据接收到的第二外部指令，确定任务集之间是否存在先后逻辑关系。11、根据权利要求8所述的运算处理装置，其特征在于，所述后台处理单元还用于：通过预先创建的主控任务执行以下部分或全部处理：
监测所述任务集中各即时任务的完成状态；
记录各即时任务的运行状态信息；
根据监测到的各即时任务的完成状态，确定所述任务集中的所有即时任务均完成时，保存各即时任务的运行状态信息。
可选的，所述前台处理单元还用于：通过前台主程序执行以下部分或全部处理：
监测所述任务集中各即时任务的完成状态；
记录各即时任务的运行状态信息；
根据监测到的各即时任务的完成状态，确定所述任务集中的所有即时任务均完成时，保存各即时任务的运行状态信息。
可选的，所述运算处理装置还包括续作单元，用于：
所述即时任务发生中断时，确定是否对发生中断的即时任务继续进行运算处理；
确定对发生中断的即时任务继续进行运算处理时，从记录的运行状态信息获取未完成运算的SQL语句；
为获取的各未完成的SQL语句，分别在后台创建相应的即时任务；
将不存在先后逻辑关系的即时任务添加至预设的一个或一个以上任务集中；
对不存在先后逻辑关系的任务集，将任务集内的即时任务在后台进行并行的运算处理；
对存在先后逻辑关系的任务集，按照任务集的先后逻辑关系，在前台逐个进行各任务集内的即时任务的并行的运算处理。
可选的，所述运算处理装置还包括停止单元，用于：
接收到管道信息；
确定接收到的管道信息包含对任务集内的即时任务进行强制停止处理的停止指令时，根据停止指令停止任务集内的即时任务，并记录停止的各所述即时任务的运算状态信息。
再一方面，本发明实施例还提供一种计算机存储介质，所述计算机存储介质中存储有计算机可执行指令，所述计算机可执行指令用于执行上述数据信息的运算处理方法。
与相关技术相比，本申请技术方案包括：为各结构化查询语言(SQL)语句分别在后台创建相应的即时任务；将不存在先后逻辑关系的即时任务添加至预设的一个或一个以上任务集中；对不存在先后逻辑关系的任务集，将任务集内的即时任务在后台进行并行的运算处理。本发明实施例为SQL语句在后台创建即时任务后，将不存在先后逻辑关系的即时任务添加到任务集中，进行并行的运算处理，提升了SQL语句的运算效率。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
附图说明
附图用来提供对本发明技术方案的进一步理解，并且构成说明书的一部分，与本申请的实施例一起用于解释本发明的技术方案，并不构成对本发明技术方案的限制。
图1为本发明实施例数据信息的运算处理方法的流程图；
图2为本发明实施例数据信息的运算处理装置的结构框图；
图3为本发明应用示例的方法流程图；
图4为本发明另一应用示例的方法流程图；
图5为本发明再一应用示例的方法流程图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，下文中将结合附图对本发明的实施例进行详细说明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。
在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行。并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
图1为本发明实施例数据信息的运算处理方法的流程图，如图1所示，包括：
步骤101、为各结构化查询语言(SQL)语句分别在后台创建相应的即时任务；
需要说明的是，本发明实施例采用任务(Job)或的清单任务(Schedule Job)的方式为SQL语句在后台创建即时任务；
步骤102、将不存在先后逻辑关系的即时任务添加至预设的一个或一个以上任务集中；这里，即时任务间是否存在先后逻辑关系可以根据SQL语句间是否存在先后逻辑关系进行判断，SQL语句间是否存在先后逻辑关系，可以根据SQL语句本身的相关参数，采用相关技术进行分析确定；
步骤103、对不存在先后逻辑关系的任务集，将任务集内的即时任务在后台进行并行的运算处理。可选的，本发明实施例
所述方法还包括：
任务集之间存在先后逻辑关系时，按照任务集的先后逻辑关系，在前台逐个进行各任务集内的即时任务的并行的运算处理。
可选的，本发明实施例运算处理方法还包括：
根据接收到的第一外部指令，确定即时任务之间是否存在先后逻辑关系；
根据接收到的第二外部指令，确定任务集之间是否存在先后逻辑关系。
可选的，将任务集内的即时任务在后台进行并行的运算处理时，本发明实施例运算处理方法还包括：
通过预先创建的主控任务执行以下部分或全部处理：
监测所述任务集中各即时任务的完成状态；
记录各即时任务的运行状态信息；
根据监测到的各即时任务的完成状态，确定所述任务集中的所有即时任务均完成时，保存各即时任务的运行状态信息。
这里，运行状态信息可以包括：即时任务运算时，各个阶段的时间信息、运算处理涉及的SQL语句等信息。
可选的，所述在前台逐个进行各任务集内的即时任务的并行的运算处理时，本发明实施例运算处理方法还包括：
通过前台主程序执行以下部分或全部处理：
监测所述任务集中各即时任务的完成状态；
记录各即时任务的运行状态信息；
根据监测到的各即时任务的完成状态，确定所述任务集中的所有即时任务均完成时，保存各即时任务的运行状态信息。
可选的，本发明实施例运算处理方法还包括：
所述即时任务发生中断时，确定是否对发生中断的即时任务继续进行运算处理；
确定对发生中断的即时任务继续进行运算处理时，从记录的运行状态信息获取未完成运算的SQL语句；
为获取的各未完成的SQL语句，分别在后台创建相应的即时任务；
将不存在先后逻辑关系的即时任务添加至预设的一个或一个以上任务集中；
对不存在先后逻辑关系的任务集，将任务集内的即时任务在后台进行并行的运算处理；
对存在先后逻辑关系的任务集，按照任务集的先后逻辑关系，在前台逐个进行各任务集内的即时任务的并行的运算处理。
需要说明的是，上述运算处理过程可以在任务集完成一个阶段的运算处理时实施，即阶段运算过程中存在即时任务的中断状态时，采用上述方法进行处理。另外，即时任务是否中断可以根据运行状态信息确定，也可以基于相关技术中已有的分析方法分析确定；另外，上述对中断的任务进行继续运算处理的过程，可以基于过程化(PL)SQL中已有的工具包进行编程实现；
可选的，本发明实施例运算处理方法还包括：
接收到管道信息；
确定接收到的管道信息包含对任务集内的即时任务进行强制停止处理的停止指令时，根据停止指令停止任务集内的即时任务，并记录停止的各所述即时任务的运算状态信息。
这里，管道信息可以由前台主程序接收，也可以由后台主控任务接收。
需要说明的是，本发明实施例上述停止即时任务的处理过程，可以基于过程化(PL)SQL中已有的工具包进行编程实现；即时任务的停止处理可以在进行即时任务的运行时进行。
与相关技术相比，本申请技术方案包括：为各结构化查询语言(SQL)语句分别在后台创建相应的即时任务；将不存在先后逻辑关系的即时任务添加至预设的一个或一个以上任务集中；对不存在先后逻辑关系的任务集，将任务集内的即时任务在后台进行并行的运算处理。本发明实施例为SQL语句在后台创建即时任务后，将不存在先后逻辑关系的即时任务添加到任务集中，进行并行的运算处理，提升了SQL语句的运算效率。
图2为本发明实施例数据信息的运算处理装置的结构框图，如图2所示，包括：
创建单元、添加单元和后台处理单元；其中，
创建单元用于：为各SQL语句分别在后台创建相应的即时任务；
添加单元用于：将不存在先后逻辑关系的即时任务添加至预设的一个或一个以上任务集中；
后台处理单元用于：对不存在先后逻辑关系的任务集，将任务集内的即时任务在后台进行并行的运算处理。
可选的，所述运算处理装置还包括前台处理单元，用于：
任务集之间存在先后逻辑关系时，按照任务集的先后逻辑关系，在前台逐个进行各任务集内的即时任务的并行的运算处理。
可选的，所述运算处理装置还包括第一确定单元和第二确定单元；其中，
第一确定单元用于：根据接收到的第一外部指令，确定即时任务之间是否存在先后逻辑关系；
第二确定单元用于：根据接收到的第二外部指令，确定任务集之间是否存在先后逻辑关系。11、根据权利要求8所述的运算处理装置，其特征在于，所述后台处理单元还用于：通过预先创建的主控任务执行以下部分或全部处理：
监测所述任务集中各即时任务的完成状态；
记录各即时任务的运行状态信息；
根据监测到的各即时任务的完成状态，确定所述任务集中的所有即时任务均完成时，保存各即时任务的运行状态信息。
可选的，所述前台处理单元还用于：通过前台主程序执行以下部分或全部处理：
监测所述任务集中各即时任务的完成状态；
记录各即时任务的运行状态信息；
根据监测到的各即时任务的完成状态，确定所述任务集中的所有即时任务均完成时，保存各即时任务的运行状态信息。
可选的，所述运算处理装置还包括续作单元，用于：
所述即时任务发生中断时，确定是否对发生中断的即时任务继续进行运算处理；
确定对发生中断的即时任务继续进行运算处理时，从记录的运行状态信息获取未完成运算的SQL语句；
为获取的各未完成的SQL语句，分别在后台创建相应的即时任务；
将不存在先后逻辑关系的即时任务添加至预设的一个或一个以上任务集中；
对不存在先后逻辑关系的任务集，将任务集内的即时任务在后台进行并行的运算处理；
对存在先后逻辑关系的任务集，按照任务集的先后逻辑关系，在前台逐个进行各任务集内的即时任务的并行的运算处理。
需要说明的是，续作单元的部分功能可以剥离到前台处理单元和后台处理单元中进行处理。并行运算处理时，本发明实施例还可以分别通过前台主程序和后台主控任务，分别进行以下处理：
监测所述任务集中各即时任务的完成状态；
记录各即时任务的运行状态信息；
根据监测到的各即时任务的完成状态，确定所述任务集中的所有即时任务均完成时，保存各即时任务的运行状态信息。
可选的，所述运算处理装置还包括停止单元，用于：
接收到管道信息；
确定接收到的管道信息包含对任务集内的即时任务进行强制停止处理的停止指令时，根据停止指令停止任务集内的即时任务，并记录停止的各所述即时任务的运算状态信息。
以下通过应用示例对本发明实施例方法进行清楚详细的说明，应用示例仅用于陈述本发明，并不用于限定本发明的保护范围。
应用示例
本发明应用示例采用Job或Schedule Job将不同SQL语句分别添加到后台的即时任务(Job)中，当前主控会话以同步方式或创建主控任务以异步方式轮询并记录各即时任务的完成情况。即时任务组成的集合因为系统运行异常或接收到外部指令而发生中断未能完成时，本发明应用示例对中断的即时任务进行续做处理；基于服务器资源的调配情况、外部指令和/或优先调整等需求，在管道信息中添加任务停止指令时，根据接收到的管道信息对运算处理中的即时任务进行强制停止处理；本发明应用示例实现了不同SQL语句间的并行处理，提高了服务器资源的应用，提升了SQL运算处理的效率。
本发明应用示例，对不同SQL语句采用并行运算处理时，在服务器资源允许的情况下，能有效的提高OLAP、OLTP中SQL集的执行性能；与此同时，本发明应用示例上述处理方式还能作为SQL异步执行的途径，将执行过程放到后台，无需开启独立会话，在当前会话下可以继续处理其它事项，有效的提高了系统工作效能。
本发明应用示例，运用Oracle数据库的Job或Schedule Job将SQL语句添加到后台即时任务中，实现SQL语句的任务化，并根据同步模式(在前台进行任务集内即时任务的并行运算，并任务集按照逻辑先后关系逐个完成的模式)、异步模式(在后台进行任务集内即时任务的并行运算处理的模式)选择决定是否创建主控任务，同时进行即时任务的运行状态信息的记录。记录即时任务的运行状态信息后，本发明应用示例逐一启动各即时任务；异步模式的主程序返回交互界面；本发明应用示例，异步模式包括：即时任务全部在后台运行，当前会话可以继续其他任务的处理的模式；同步模式包括：等待全部即时任务完成的模式；异步模式的主控任务负责执行包括以下内容的处理：确定即时任务的完成状态、接收并执行管道信息、记录即时任务的运行状态信息；本发明应用示例将即时任务以任务集的方式进行处理时，可以通过设置的轮询模块，对各任务集内的即时任务的完成状态进行确定，确认到任务集中所有即时任务均完成时，可以更新任务集的状态；异步模式下退出主控任务，同步模式返回主程序；本发明应用示例根据SQL语句的需求、变化及服务器资源等信息，可以确定是否停止即时任务的运行，假设需要停止的即时任务在一个集合中，则可以通过预先设置的强制结束指令结束结合内的所有即时任务。
图3为本发明应用示例的方法流程图，如图3所示，包括：
步骤301、确定是否采用异步模式进行SQL语句的运算处理；本发明实施例不采用异步模式进行SQL语句的运算处理时，可以采用同步模式执行SQL语句的运算。
步骤302、确定采用异步模式进行SQL语句的运算处理时，在异步模式下创建主控任务；本发明应用示例可以根据实际需求判断确定：批量跑即时任务，即时任务间有前后依赖，选择同步模式；即时任务在后台运算处理，当前会话立即返回，执行异步模式。
步骤303、运用Job或Schedule Job为每个SQL语句创建一个即时任务，并按照预设策略确定唯一编码号，异步模式程序返回；由主控任务负责后续事项；本发明应用示例后续事项包括但不限于：
步骤304、主控任务将即时任务添加到设定的任务集中；
步骤305、主控任务轮询添加到任务集的各即时任务的完成状态；
步骤306、主控任务当添加到任务集内的所有即时任务均完成时，保存即时任务的运行状态信息，异步模式退出主控任务，同步模式返回主程序。
本发明实施例对接收到外部指令而停止运算处理的即时任务、意外终止的即时任务，如果需要继续执行即时任务，可以执行任务续作功能。图4为本发明另一应用示例的方法流程图，如图4所示，包括：
步骤401、接收外部指令，确定执行即时任务的续作；
步骤402、根据记录的即时任务的运行状态信息，获取未完成运算处理的SQL语句；
步骤403、在异步模式下创建主控任务；
步骤404、运用Job或ScheduleJob为获取的未完成运算处理的SQL语句创建一个即时任务，并按照预设策略确定唯一编码号，异步模式程序返回，由主控任务负责后续事项；后续事项包括但不限于：轮询添加到集合中的各即时任务的完成状态；当添加到结合内的所有即时任务均完成时，保存即时任务的运行状态信息，异步模式退出主控任务，同步模式返回主程序。
假设服务器资源超负荷、即时任务被认定无需运算，或需要做前置事项、为高优先级任务腾资源等，本发明应用示例可以结束未完成即时任务。图5为本发明再一应用示例的方法流程图，如图5所示，可以包括：
步骤501、接收管道信息；
步骤502、接收到的管道信息为强制结束命令时，结束未完成的即时任务；
可选的，结束未完成的即时任务时，本发明实施例还可以执行以下处理：
步骤503、记录各即时任务的运行状态信息，退出运算处理程序。
本发明应用示例，运用Job或Schedule Job为SQL集创建即时任务，能够快速方便的将串行的SQL集进行不同语句间并行化，提高SQL语句执行的吞吐性能，进而提高服务器资源的利用。与SQL自身的并行相比，本发明应用示例提供了不同SQL语句间的并行执行方法，对OLAP、OLTP场景均能提高吞吐和性能；同时附加了SQL语句的异步执行功能，使用异步执行方式，主程序无需等待就可以继续其它操作，提高操作效率。
本发明应用示例实现了不同SQL语句间的并行执行；进一步的对SQL语句还进行了包括中断和/或续做处理，中断和/或续做处理可以基于SQL语句的异步模式实现，提高了SQL系统的吞吐和性能，提升了服务器资源的应用效率。
本发明应用示例提供的Oracle中并行执行多个SQL语句的方法。通过运用Job或Schedule Job将DQL、DML、DDL等SQL语句添加到后台即时任务，实现SQL语句的任务化，实现了不同SQL语句间的并行处理，可对任务集强行中断、以及中断续做，同时还能达到SQL异步执行的功能，提高了SQL系统的吞吐和性能，提升了服务器资源的应用效率。
本领域普通技术人员可以理解上述方法中的全部或部分步骤可通过程序来指令相关硬件(例如处理器)完成，所述程序可以存储于计算机可读存储介质中，如只读存储器、磁盘或光盘等。可选地，上述实施例的全部或部分步骤也可以使用一个或多个集成电路来实现。相应地，上述实施例中的每个模块/单元可以采用硬件的形式实现，例如通过集成电路来实现其相应功能，也可以采用软件功能模块的形式实现，例如通过处理器执行存储于存储器中的程序/指令来实现其相应功能。本发明不限制于任何特定形式的硬件和软件的结合。
虽然本发明所揭露的实施方式如上，但所述的内容仅为便于理解本发明而采用的实施方式，并非用以限定本发明。任何本发明所属领域内的技术人员，在不脱离本发明所揭露的精神和范围的前提下，可以在实施的形式及细节上进行任何的修改与变化，但本发明的专利保护范围，仍须以所附的权利要求书所界定的范围为准。
Claims (15)
1.一种数据信息的运算处理方法，其特征在于，包括：
为各结构化查询语言SQL语句分别在后台创建相应的即时任务；
将不存在先后逻辑关系的即时任务添加至预设的一个或一个以上任务集中；
对不存在先后逻辑关系的任务集，将任务集内的即时任务在后台进行并行的运算处理。
2.根据权利要求1所述的运算处理方法，其特征在于，所述运算处理方法还包括：
所述任务集之间存在先后逻辑关系时，按照任务集的先后逻辑关系，在前台逐个进行各任务集内的即时任务的并行的运算处理。
3.根据权利要求1所述的运算处理方法，其特征在于，所述运算处理方法还包括：
根据接收到的第一外部指令，确定即时任务之间是否存在先后逻辑关系；
根据接收到的第二外部指令，确定所述任务集之间是否存在先后逻辑关系。
4.根据权利要求1所述的运算处理方法，其特征在于，所述将所述任务集内的即时任务在后台进行并行的运算处理时，所述运算处理方法还包括：
通过预先创建的主控任务执行以下部分或全部处理：
监测所述任务集中各即时任务的完成状态；
记录各即时任务的运行状态信息；
根据监测到的各即时任务的完成状态，确定所述任务集中的所有即时任务均完成时，保存各即时任务的运行状态信息。
5.根据权利要求2所述的运算处理方法，其特征在于，所述在前台逐个进行各任务集内的即时任务的并行的运算处理时，所述运算处理方法还包括：
通过前台主程序执行以下部分或全部处理：
监测所述任务集中各即时任务的完成状态；
记录各即时任务的运行状态信息；
根据监测到的各即时任务的完成状态，确定所述任务集中的所有即时任务均完成时，保存各即时任务的运行状态信息。
6.根据权利要求4或5所述的运算处理方法，其特征在于，所述运算处理方法还包括：
所述即时任务发生中断时，确定是否对发生中断的即时任务继续进行运算处理；
确定对发生中断的即时任务继续进行运算处理时，从记录的运行状态信息获取未完成运算的SQL语句；
为获取的各未完成的SQL语句，分别在后台创建相应的即时任务；
将不存在先后逻辑关系的即时任务添加至预设的一个或一个以上任务集中；
对不存在先后逻辑关系的任务集，将任务集内的即时任务在后台进行并行的运算处理；
对存在先后逻辑关系的任务集，按照任务集的先后逻辑关系，在前台逐个进行各任务集内的即时任务的并行的运算处理。
7.根据权利要求4或5所述的运算处理方法，其特征在于，所述运算处理方法还包括：
接收到管道信息；
确定接收到的管道信息包含对任务集内的即时任务进行强制停止处理的停止指令时，根据停止指令停止任务集内的即时任务，并记录停止的各所述即时任务的运算状态信息。
8.一种数据信息的运算处理装置，其特征在于，包括：创建单元、添加单元和后台处理单元；其中，
创建单元用于：为各SQL语句分别在后台创建相应的即时任务；
添加单元用于：将不存在先后逻辑关系的即时任务添加至预设的一个或一个以上任务集中；
后台处理单元用于：对不存在先后逻辑关系的任务集，将任务集内的即时任务在后台进行并行的运算处理。
9.根据权利要求8所述的运算处理装置，其特征在于，所述运算处理装置还包括前台处理单元，用于：
任务集之间存在先后逻辑关系时，按照任务集的先后逻辑关系，在前台逐个进行各任务集内的即时任务的并行的运算处理。
10.根据权利要求8所述的运算处理装置，其特征在于，所述运算处理装置还包括第一确定单元和第二确定单元；其中，
第一确定单元用于：根据接收到的第一外部指令，确定即时任务之间是否存在先后逻辑关系；
第二确定单元用于：根据接收到的第二外部指令，确定任务集之间是否存在先后逻辑关系。
11.根据权利要求8所述的运算处理装置，其特征在于，所述后台处理单元还用于：通过预先创建的主控任务执行以下部分或全部处理：
监测所述任务集中各即时任务的完成状态；
记录各即时任务的运行状态信息；
根据监测到的各即时任务的完成状态，确定所述任务集中的所有即时任务均完成时，保存各即时任务的运行状态信息。
12.根据权利要求9所述的运算处理装置，其特征在于，所述前台处理单元还用于：通过前台主程序执行以下部分或全部处理：
监测所述任务集中各即时任务的完成状态；
记录各即时任务的运行状态信息；
根据监测到的各即时任务的完成状态，确定所述任务集中的所有即时任务均完成时，保存各即时任务的运行状态信息。
13.根据权利要求11或12所述的运算处理装置，其特征在于，所述运算处理装置还包括续作单元，用于：
所述即时任务发生中断时，确定是否对发生中断的即时任务继续进行运算处理；
确定对发生中断的即时任务继续进行运算处理时，从记录的运行状态信息获取未完成运算的SQL语句；
为获取的各未完成的SQL语句，分别在后台创建相应的即时任务；
将不存在先后逻辑关系的即时任务添加至预设的一个或一个以上任务集中；
对不存在先后逻辑关系的任务集，将任务集内的即时任务在后台进行并行的运算处理；
对存在先后逻辑关系的任务集，按照任务集的先后逻辑关系，在前台逐个进行各任务集内的即时任务的并行的运算处理。
14.根据权利要求11或12所述的运算处理装置，其特征在于，所述运算处理装置还包括停止单元，用于：
接收到管道信息；
确定接收到的管道信息包含对任务集内的即时任务进行强制停止处理的停止指令时，根据停止指令停止任务集内的即时任务，并记录停止的各所述即时任务的运算状态信息。
15.一种计算机存储介质，所述计算机存储介质中存储有计算机可执行指令，所述计算机可执行指令用于执行权利要求1～7中任一项所述的数据信息的运算处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810557868.XA CN108897776A (zh) | 2018-06-01 | 2018-06-01 | 一种数据信息的运算处理方法、装置及计算机存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810557868.XA CN108897776A (zh) | 2018-06-01 | 2018-06-01 | 一种数据信息的运算处理方法、装置及计算机存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN108897776A true CN108897776A (zh) | 2018-11-27 |
Family
ID=64343826
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810557868.XA Withdrawn CN108897776A (zh) | 2018-06-01 | 2018-06-01 | 一种数据信息的运算处理方法、装置及计算机存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108897776A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111324434A (zh) * | 2020-02-04 | 2020-06-23 | 支付宝(杭州)信息技术有限公司 | 计算任务的配置方法、装置及执行系统 |
| WO2021031583A1 (zh) * | 2019-08-16 | 2021-02-25 | 华为技术有限公司 | 执行语句的方法、装置、服务器及存储介质 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102968374A (zh) * | 2012-11-29 | 2013-03-13 | 中国移动（深圳）有限公司 | 一种数据仓库测试方法 |
| CN103412897A (zh) * | 2013-07-25 | 2013-11-27 | 中国科学院软件研究所 | 一种基于分布式结构的并行数据处理方法 |
| CN103678619A (zh) * | 2013-12-17 | 2014-03-26 | 北京国双科技有限公司 | 数据库索引处理方法和装置 |
| CN104268234A (zh) * | 2014-09-26 | 2015-01-07 | 东软集团股份有限公司 | 一种基于sql语句的数据同步方法和装置 |
| CN105389251A (zh) * | 2014-08-28 | 2016-03-09 | Sap欧洲公司 | 结构化查询语言调试器 |
| CN107122443A (zh) * | 2017-04-24 | 2017-09-01 | 中国科学院软件研究所 | 一种基于Spark SQL的分布式全文检索系统及方法 |
| CN107169033A (zh) * | 2017-04-17 | 2017-09-15 | 东北大学 | 基于数据模式转换和并行框架的关系数据查询优化方法 |
-
2018
- 2018-06-01 CN CN201810557868.XA patent/CN108897776A/zh not_active Withdrawn
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102968374A (zh) * | 2012-11-29 | 2013-03-13 | 中国移动（深圳）有限公司 | 一种数据仓库测试方法 |
| CN103412897A (zh) * | 2013-07-25 | 2013-11-27 | 中国科学院软件研究所 | 一种基于分布式结构的并行数据处理方法 |
| CN103678619A (zh) * | 2013-12-17 | 2014-03-26 | 北京国双科技有限公司 | 数据库索引处理方法和装置 |
| CN105389251A (zh) * | 2014-08-28 | 2016-03-09 | Sap欧洲公司 | 结构化查询语言调试器 |
| CN104268234A (zh) * | 2014-09-26 | 2015-01-07 | 东软集团股份有限公司 | 一种基于sql语句的数据同步方法和装置 |
| CN107169033A (zh) * | 2017-04-17 | 2017-09-15 | 东北大学 | 基于数据模式转换和并行框架的关系数据查询优化方法 |
| CN107122443A (zh) * | 2017-04-24 | 2017-09-01 | 中国科学院软件研究所 | 一种基于Spark SQL的分布式全文检索系统及方法 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021031583A1 (zh) * | 2019-08-16 | 2021-02-25 | 华为技术有限公司 | 执行语句的方法、装置、服务器及存储介质 |
| CN111324434A (zh) * | 2020-02-04 | 2020-06-23 | 支付宝(杭州)信息技术有限公司 | 计算任务的配置方法、装置及执行系统 |
| CN111324434B (zh) * | 2020-02-04 | 2023-03-21 | 支付宝(杭州)信息技术有限公司 | 计算任务的配置方法、装置及执行系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10402225B2 (en) | Tuning resources based on queuing network model | |
| US8224845B2 (en) | Transaction prediction modeling method | |
| CN108027751A (zh) | 对多版本任务的高效调度 | |
| CN104243617B (zh) | 一种异构集群中面向混合负载的任务调度方法及系统 | |
| CN106354729A (zh) | 一种图数据处理方法、装置和系统 | |
| CN111400011B (zh) | 一种实时任务调度方法、系统、设备及可读存储介质 | |
| CN108415776A (zh) | 一种分布式数据处理系统中的内存预估与配置优化的方法 | |
| CN109637592A (zh) | 分子力场参数生成的计算任务管理分析系统及其运行方法 | |
| CN107918558A (zh) | 基于状态机的业务流程控制方法、装置及设备 | |
| CN108897776A (zh) | 一种数据信息的运算处理方法、装置及计算机存储介质 | |
| Chéramy et al. | Simulation of real-time multiprocessor scheduling with overheads | |
| EP2840513B1 (en) | Dynamic task prioritization for in-memory databases | |
| Shi et al. | Performance models of data parallel DAG workflows for large scale data analytics | |
| CN107256167A (zh) | 应用于应用系统迁移的升级控制方法及升级控制设备 | |
| Schwartz et al. | The SDC time-sharing system revisited | |
| CN115033374A (zh) | 一种多核可编程控制器的任务到线程匹配方法 | |
| CN111506407B (zh) | Pull模式与Push模式相结合的资源管理与作业调度方法、系统 | |
| CN111274667B (zh) | 一种跨尺度材料计算软件集成计算系统及方法 | |
| Seibold et al. | Strict SLAs for operational business intelligence | |
| CN107784032A (zh) | 一种数据查询结果的渐进式输出方法、装置及系统 | |
| US20020099716A1 (en) | Technique and apparatus to process data | |
| CN107479945A (zh) | 一种虚拟机资源调度方法及装置 | |
| CN113792051B (zh) | 基于多模态锁的数据处理方法、系统、设备和存储介质 | |
| Du et al. | Stargazer: Toward efficient data analytics scheduling via task completion time inference | |
| CN109388596A (zh) | 一种数据操作方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20181127 |
|
| WW01 | Invention patent application withdrawn after publication |