CN110532084A - 平台任务的调度方法、装置、设备及存储介质 - Google Patents
平台任务的调度方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN110532084A CN110532084A CN201910835361.0A CN201910835361A CN110532084A CN 110532084 A CN110532084 A CN 110532084A CN 201910835361 A CN201910835361 A CN 201910835361A CN 110532084 A CN110532084 A CN 110532084A
- Authority
- CN
- China
- Prior art keywords
- task
- scheduler
- incidence relation
- dependence
- log information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 49
- 230000006798 recombination Effects 0.000 claims abstract description 18
- 238000005215 recombination Methods 0.000 claims abstract description 18
- 238000004458 analytical method Methods 0.000 claims description 20
- 238000000605 extraction Methods 0.000 claims description 18
- 239000000284 extract Substances 0.000 claims description 15
- 230000008859 change Effects 0.000 claims description 8
- 238000001514 detection method Methods 0.000 claims description 8
- 238000005194 fractionation Methods 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 abstract description 4
- 230000002068 genetic effect Effects 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 4
- 238000005498 polishing Methods 0.000 description 2
- 238000012098 association analyses Methods 0.000 description 1
- 238000005314 correlation function Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/1805—Append-only file systems, e.g. using logs or journals to store data
- G06F16/1815—Journaling file systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2291—User-Defined Types; Storage management thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/242—Query formulation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/48—Program initiating; Program switching, e.g. by interrupt
- G06F9/4806—Task transfer initiation or dispatching
- G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
- G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
- G06Q40/02—Banking, e.g. interest calculation or account maintenance
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Business, Economics & Management (AREA)
- Software Systems (AREA)
- Accounting & Taxation (AREA)
- Finance (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Development Economics (AREA)
- Economics (AREA)
- Marketing (AREA)
- Strategic Management (AREA)
- Technology Law (AREA)
- General Business, Economics & Management (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种平台任务的调度方法、装置、设备及存储介质,该方法通过获取待调度任务对应的相关日志信息,并在所述相关日志信息中提取出各待调度任务对应的关联关系;将对应的关联关系进行拆分,生成各任务节点的对应关联关系;根据所述各任务节点的对应关联关系,将所述各任务节点进行匹配重组,生成任务依赖关系,以便基于所述任务依赖关系进行任务调度。本发明通过获取到各待调度任务的关联关系,并将对应的关联关系进行拆解成任务节点的对应关联关系,然后组合生成各任务之间的任务依赖关系,通过该任务依赖关系进行任务调度,减小了任务调度时的计算量,提高了任务调度的调度速率,提升了任务调度效率。
Description
技术领域
本发明涉及金融科技(Fintech)技术领域,尤其涉及平台任务的调度方法、装置、设备及计算机可读存储介质。
背景技术
随着计算机技术的发展,越来越多的技术(大数据、分布式、区块链Blockchain、人工智能等)应用在金融领域,传统金融业正在逐步向金融科技(Fintech)转变,但由于金融行业的安全性、实时性要求,也对技术提出了更高的要求。对于银行的业务系统,调度平台中的知识体系是零碎的,大都是通过数据库中的字段来展示调度平台任务的信息。调度平台中的任务可以看作为一个实体,该实体在数据库中以表的形式存储,该表在数据库中通过字段来描述对应任务的属性,而任务与任务之间的关系则需要通过一定的计算才能得知。因此,任务与任务之间的关系不仅难以获取,而且难以关联分析,导致了调度平台的调度效率低下。
发明内容
本发明的主要目的在于提出一种平台任务的调度方法、装置、设备及计算机可读存储介质,旨在解决现有调度平台的调度效率低下的技术问题。
为实现上述目的,本发明提供一种平台任务的调度方法,所述平台任务的调度方法包括如下步骤:
获取待调度任务对应的相关日志信息,并根据预设规则,在所述相关日志信息中提取出各待调度任务对应的关联关系;
将所述各待调度任务以及与其对应的关联关系进行拆分,生成所述各待调度任务中的各任务节点的对应关联关系;
根据所述各任务节点的对应关联关系,将所述各任务节点进行匹配重组,生成所述各待调度任务对应的任务依赖关系,以便基于所述任务依赖关系进行任务调度。
可选地,所述获取待调度任务对应的相关日志信息,并根据预设规则,在所述相关日志信息中提取出各待调度任务对应的关联关系的步骤具体包括:
获取待调度任务对应的相关日志信息,并根据正则匹配规则,在所述相关日志信息中提取出所述各待调度任务对应的HQL语句;
将所述各待调度任务对应的HQL语句输入至预设分析器,以输出所述各待调度任务对应的关联关系,并将所述各待调度任务对应的关联关系存储至图形数据库。
可选地,所述获取待调度任务对应的相关日志信息,并根据正则匹配规则,在所述相关日志信息中提取出所述各待调度任务对应的HQL语句的步骤具体包括:
在检测到日志信息的首次加载指令时,启用日志分析模块,以获取待调度任务对应的相关日志信息,并根据正则匹配规则,在所述相关日志信息中提取出所述各待调度任务对应的HQL语句。
可选地,所述将所述各待调度任务对应的HQL语句输入至预设分析器,以输出所述各待调度任务对应的关联关系,并将所述各待调度任务对应的关联关系存储至图形数据库的步骤之后,还包括:
根据预设时间间隔,检测待调度任务和/或相关日志信息是否发生变化;
若所述待调度任务和/或相关日志信息发生变化,则批量获取当前待调度任务对应的当前日志信息,并在所述当前日志信息中提取出所述当前待调度任务对应的关联关系,以更新所述图形数据库中存储的所述各待调度任务对应的关联关系。
可选地,所述将所述各待调度任务以及与其对应的关联关系进行拆分,生成所述各待调度任务中的各任务节点的对应关联关系的步骤具体包括:
将所述各待调度任务以及与其对应的关联关系进行左级拆分,生成所述各待调度任务中的各任务左节点的对应关联关系;
将所述各待调度任务以及与其对应的关联关系进行右级拆分,生成所述各待调度任务中的各任务右节点的对应关联关系。
可选地,所述根据所述各任务节点的对应关联关系,将所述各任务节点进行匹配重组,生成所述各待调度任务对应的任务依赖关系,以便基于所述任务依赖关系进行任务调度的步骤具体包括:
根据各任务左节点的对应关联关系以及各任务右节点的对应关联关系存储至图形数据库,以基于所述图形数据库将所述各任务左节点与所述各任务右节点进行匹配重组;
基于所述图形数据库,将对应关联关系相同的任务左节点与任务右节点之间建立对应的节点依赖关系,作为待调度任务对应的依赖关系,以获取所述各待调度任务对应的任务依赖关系;
将所述各待调度任务对应的任务依赖关系存储至图形数据库,以便基于所述任务依赖关系进行任务调度。
可选地,所述根据所述各任务节点的对应关联关系,将所述各任务节点进行匹配重组,生成所述各待调度任务对应的任务依赖关系,以便基于所述任务依赖关系进行任务调度的步骤之后,还包括:
在接收到任务调度指令时,获取所述任务调度指令中的待调度目标任务,并根据所述任务依赖关系,判断是否存在所述待调度目标任务对应的相关依赖任务,其中,所述相关依赖任务为所述待调度目标任务执行之前需要执行完成的任务;
若不存在所述相关依赖任务,则执行所述待调度目标任务。
可选地,所述在接收到任务调度指令时,获取所述任务调度指令中的待调度目标任务,并根据所述任务依赖关系,判断是否存在所述待调度目标任务对应的相关依赖任务的步骤之后,还包括:
若存在所述相关依赖任务,则在执行所述相关依赖任务后,执行所述待调度目标任务。
此外,为实现上述目的,本发明还提供一种平台任务的调度装置,所述平台任务的调度装置包括:
任务关系提取模块,用于获取待调度任务对应的相关日志信息,并根据预设规则,在所述相关日志信息中提取出各待调度任务对应的关联关系;
节点关系生成模块,用于将所述各待调度任务以及与其对应的关联关系进行拆分,生成所述各待调度任务中的各任务节点的对应关联关系;
依赖关系生成模块,用于根据所述各任务节点的对应关联关系,将所述各任务节点进行匹配重组,生成所述各待调度任务对应的任务依赖关系,以便基于所述任务依赖关系进行任务调度。
可选地,所述任务关系提取模块具体包括:
关系语句提取单元,用于获取待调度任务对应的相关日志信息,并根据正则匹配规则,在所述相关日志信息中提取出所述各待调度任务对应的HQL语句;
任务关系存储单元,用于将所述各待调度任务对应的HQL语句输入至预设分析器,以输出所述各待调度任务对应的关联关系,并将所述各待调度任务对应的关联关系存储至图形数据库。
可选地,所述关系语句提取单元还用于:
在检测到日志信息的首次加载指令时,启用日志分析模块,以获取待调度任务对应的相关日志信息,并根据正则匹配规则,在所述相关日志信息中提取出所述各待调度任务对应的HQL语句。
可选地,所述平台任务的调度装置还包括二次关系提取模块,所述二次关系提取模块用于:
根据预设时间间隔,检测待调度任务和/或相关日志信息是否发生变化;
若所述待调度任务和/或相关日志信息发生变化,则批量获取当前待调度任务对应的当前日志信息,并在所述当前日志信息中提取出所述当前待调度任务对应的关联关系,以更新所述图形数据库中存储的所述各待调度任务对应的关联关系。
可选地,所述节点关系生成模块具体包括:
左节点关系生成单元,用于将所述各待调度任务以及与其对应的关联关系进行左级拆分,生成所述各待调度任务中的各任务左节点的对应关联关系;
右节点关系生成单元,用于将所述各待调度任务以及与其对应的关联关系进行右级拆分,生成所述各待调度任务中的各任务右节点的对应关联关系。
可选地,所述依赖关系生成模块具体包括:
节点关系匹配单元,用于根据各任务左节点的对应关联关系以及各任务右节点的对应关联关系存储至图形数据库,以基于所述图形数据库将所述各任务左节点与所述各任务右节点进行匹配重组;
依赖关系建立单元,用于基于所述图形数据库,将对应关联关系相同的任务左节点与任务右节点之间建立对应的节点依赖关系,作为待调度任务对应的依赖关系,以获取所述各待调度任务对应的任务依赖关系;
依赖关系存储单元,用于将所述各待调度任务对应的任务依赖关系存储至图形数据库,以便基于所述任务依赖关系进行任务调度。
此外,为实现上述目的,本发明还提供一种平台任务的调度设备,所述平台任务的调度设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的平台任务的调度程序,所述平台任务的调度程序被所述处理器执行时实现如上所述的平台任务的调度方法的步骤。
此外,为实现上述目的,本发明还提供一种计算机可读存储介质,所述计算机可读存储介质上存储有平台任务的调度程序,所述平台任务的调度程序被处理器执行时实现如上所述的平台任务的调度方法的步骤。
本发明提供一种平台任务的调度方法,通过获取待调度任务对应的相关日志信息,并根据预设规则,在所述相关日志信息中提取出各待调度任务对应的关联关系;将所述各待调度任务以及与其对应的关联关系进行拆分,生成所述各待调度任务中的各任务节点的对应关联关系;根据所述各任务节点的对应关联关系,将所述各任务节点进行匹配重组,生成所述各待调度任务对应的任务依赖关系,以便基于所述任务依赖关系进行任务调度。通过上述方式,本发明通过对调度平台中每个待调度任务的相关日志信息进行分析,获取到以各待调度任务为核心的关联关系,并将各待调度任务对应的关联关系进行拆解成各任务中任务节点的对应关联关系,然后根据任务节点对应的关联关系组合生成各任务之间的任务依赖关系,通过该任务依赖关系进行任务调度,减小了任务调度时的计算量,提高了任务调度的调度速率,提升了任务调度效率,解决了现有调度平台的调度效率低下的技术问题。
附图说明
图1是本发明实施例方案涉及的硬件运行环境的设备结构示意图;
图2为本发明平台任务的调度方法第一实施例的流程示意图。
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
如图1所示,图1是本发明实施例方案涉及的硬件运行环境的设备结构示意图。
本发明实施例平台任务的调度设备可以是PC机或服务器设备,其上运行有Java虚拟机。
如图1所示,该平台任务的调度设备可以包括:处理器1001,例如CPU,网络接口1004,用户接口1003,存储器1005,通信总线1002。其中,通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard),可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器,也可以是稳定的存储器(non-volatile memory),例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解,图1中示出的设备结构并不构成对设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
如图1所示,作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及平台任务的调度程序。
在图1所示的设备中,网络接口1004主要用于连接后台服务器,与后台服务器进行数据通信;用户接口1003主要用于连接客户端(用户端),与客户端进行数据通信;而处理器1001可以用于调用存储器1005中存储的平台任务的调度程序,并执行下述平台任务的调度方法中的操作。
基于上述硬件结构,提出本发明平台任务的调度方法实施例。
参照图2,图2为本发明平台任务的调度方法第一实施例的流程示意图,所述平台任务的调度方法包括:
步骤S10,获取待调度任务对应的相关日志信息,并根据预设规则,在所述相关日志信息中提取出各待调度任务对应的关联关系;
目前,调度平台中的知识体系是零碎的,大都是通过数据库中的字段来展示调度平台任务的信息。调度平台中的任务可以看作为一个实体,该实体在数据库中以表的形式存储,该表在数据库中通过字段来描述对应任务的属性,而任务与任务之间的关系则需要通过一定的计算才能得知。因此,任务与任务之间的关系不仅难以获取,而且难以关联分析,特别是间隔多个任务的关系,任务属性的描述存储到数据库的字段中,不方便与其他的任务进行关联分析和呈现,由此导致了调度平台的调度效率低下。本实施例中,为了解决上述问题,通过对调度平台中每个待调度任务的相关日志信息进行分析,获取到以各待调度任务为核心的关联关系,并将各待调度任务对应的关联关系进行拆解成各任务中任务节点的对应关联关系,然后根据任务节点对应的关联关系组合生成各任务之间的任务依赖关系,通过该任务依赖关系进行任务调度,减小了任务调度时的计算量,提高了任务调度的调度速率,从而提升了任务调度效率。具体地,所述平台任务的调度方法应用于调度平台,所述调度平台获取平台中各个待调度任务对应的相关日志信息,通过正则匹配在所述相关日志信息中获得包括关联关系的HQL语句,再将HQL语句通过hive-exec分析器获得各待调度任务对应的关联关系,即表级血缘关系,或者是根据数据库中各任务对应的字段,在所述相关日志信息中提取分析出所述各待调度任务对应的关联关系。该关联关系最终形式为(源库、源表)-[关系:任务]->(目标库、目标表),再将这种关联关系按照图形数据库的实体-关系形式进行存储。
步骤S20,将所述各待调度任务以及与其对应的关联关系进行拆分,生成所述各待调度任务中的各任务节点的对应关联关系;
本实施例中,获得(源库、源表)-[关系:任务]->(目标库、目标表)的关联关系后,按照(任务)-[关系:库、表]-(任务)形式拆解合并表级关系,最终通过两两合并可以获得两个任务级别的关联关系。具体地,(源库、源表)-[关系:任务]->(目标库、目标表)按照左级拆分的思路,可以获得(源库、源表)-[关系:任务]的不成熟关系结构,将“关系”转换为“节点”(即任务转换为右节点),将“节点”转换为“关系”(源表、源库变成节点之间的关系),再通过虚拟的形式补齐左节点,而后可以获得关联关系为()-[关系:源库、源表]->(任务)和(任务)-[关系:目标库、目标表]->(),其中()表示待定的实体,节点为一个任务中的多个节点任务。该待定实体会根据图形数据库的唯一性机制进行替换,即,如果当前的图形数据库中存在该实体则按照实际实体存储,至此,左级节点的拆解过程完成,相同的机制,可以将表级血缘关系拆出右级关联关系。由此,生成所述各待调度任务中的各任务节点的对应关联关系。
步骤S30,根据所述各任务节点的对应关联关系,将所述各任务节点进行匹配重组,生成所述各待调度任务对应的任务依赖关系,以便基于所述任务依赖关系进行任务调度。
本实施例中,在生成上述各任务节点的对应关联关系之后,根据所述各任务节点的对应关联关系,将所述各任务节点进行匹配重组,即通过合并替换的思路完成另一个任务级血缘关系的生成。即将具有相同关联关系的任务节点进行合并关联,也就是将具有相同资源的节点任务进行合并,如表名相同或者库名相同,并在两个合并的节点任务之间建立依赖关系,以便平台进行任务调度时基于所述任务依赖关系进行任务调度。这种拆解再合并的思路有利于快速完成血缘关系的梳理,相比于传统的直接通过表级关系游走遍历获得任务级血缘关系,大大地降低了时间复杂度。具体实施例中,还可以将关联关系存储到关系型数据库(如MySQL)中,利用MySQL中的任务到任务之间的关系信息再做依赖关系的获取,或者直接按照依赖关系的形式存储到关系型数据库中。因此其分析方式大致还可以分成以下两种形式来存储:
1、源实体:任务1,目标实体:任务2,关系:库、表;
2、检测实体:任务1,检测任务依赖:任务2、任务3。
进一步地,所述步骤S30之后,还包括:
在接收到任务调度指令时,获取所述任务调度指令中的待调度目标任务,并根据所述任务依赖关系,判断是否存在所述待调度目标任务对应的相关依赖任务,其中,所述相关依赖任务为所述待调度目标任务执行之前需要执行完成的任务;
若不存在所述相关依赖任务,则执行所述待调度目标任务。
若存在所述相关依赖任务,则在执行所述相关依赖任务后,执行所述待调度目标任务。
本实施例中,在建立各任务之间的任务依赖关系之后,后续接收到任务调度指令时,获取所述任务调度指令汇总的待调度目标任务,根据所述待调度目标任务的任务标识,如任务名称或者任务字段,在所述任务依赖关系中确定查找是否存在所述待调度目标任务对应的依赖关系,即判断是否存在所述待调度目标任务对应的相关依赖任务,也就是需要在执行所述待调度目标任务之前执行完成的任务。若不存在所述相关依赖任务,则执行所述待调度目标任务即可。若存在所述相关依赖任务,则在执行所述相关依赖任务后,再执行所述待调度目标任务。如(任务2)-[关系:库A、表B]-(任务1),即任务1执行之前,需要先执行任务2,在执行任务2产生[关系:库A、表B],基于[关系:库A、表B],执行任务1。
本实施例提供一种平台任务的调度方法,通过获取待调度任务对应的相关日志信息,并根据预设规则,在所述相关日志信息中提取出各待调度任务对应的关联关系;将所述各待调度任务以及与其对应的关联关系进行拆分,生成所述各待调度任务中的各任务节点的对应关联关系;根据所述各任务节点的对应关联关系,将所述各任务节点进行匹配重组,生成所述各待调度任务对应的任务依赖关系,以便基于所述任务依赖关系进行任务调度。通过上述方式,本发明通过对调度平台中每个待调度任务的相关日志信息进行分析,获取到以各待调度任务为核心的关联关系,并将各待调度任务对应的关联关系进行拆解成各任务中任务节点的对应关联关系,然后根据任务节点对应的关联关系组合生成各任务之间的任务依赖关系,通过该任务依赖关系进行任务调度,减小了任务调度时的计算量,提高了任务调度的调度速率,提升了任务调度效率,解决了现有调度平台的调度效率低下的技术问题。
进一步地,基于本发明平台任务的调度方法第一实施例,提出本发明平台任务的调度方法第二实施例。
在本实施例中,所述步骤S10具体包括:
获取待调度任务对应的相关日志信息,并根据正则匹配规则,在所述相关日志信息中提取出所述各待调度任务对应的HQL语句;
将所述各待调度任务对应的HQL语句输入至预设分析器,以输出所述各待调度任务对应的关联关系,并将所述各待调度任务对应的关联关系存储至图形数据库。
本实施例中,在检测到日志信息的首次加载指令时,启用日志分析模块,以获取待调度任务对应的相关日志信息,并根据正则匹配规则,在所述相关日志信息中提取出所述各待调度任务对应的HQL语句。即在平台第一次加载时,会触发首次分析程序,这次分析将完成对关系型数据库中数据的抽取,在所述相关日志信息中通过正则匹配抽取获得hql语句,再将hql语句通过hive-exec分析器获得表级血缘关系,即各待调度任务对应的关联关系,最后将血缘关系存储到图形数据库中。
进一步地,所述步骤S30之后,还包括:
根据预设时间间隔,检测待调度任务和/或相关日志信息是否发生变化;
若所述待调度任务和/或相关日志信息发生变化,则批量获取当前待调度任务对应的当前日志信息,并在所述当前日志信息中提取出所述当前待调度任务对应的关联关系,以更新所述图形数据库中存储的所述各待调度任务对应的关联关系。
本实施例中,为了减轻应用读取db的负担和丰富数据批量运行的灵活性。随着任务的新增和变更,日志信息也将变化,可以采用批量日志分析的策略来纠正每天的表级依赖关系,即根据预设时间间隔,检测平台中待调度任务和/或待调度任务对应的相关日志信息是否发生变化,如新增或者变更,若发变化,则批量获取当前待调度任务对应的当前日志信息,并在所述当前日志信息中提取出所述当前待调度任务对应的关联关系,以更新所述图形数据库中存储的所述各待调度任务对应的关联关系。
进一步地,基于本发明平台任务的调度方法第二实施例,提出本发明平台任务的调度方法第三实施例。
在本实施例中,所述步骤S20具体包括:
将所述各待调度任务以及与其对应的关联关系进行左级拆分,生成所述各待调度任务中的各任务左节点的对应关联关系;
将所述各待调度任务以及与其对应的关联关系进行右级拆分,生成所述各待调度任务中的各任务右节点的对应关联关系。
本实施例中,(源库、源表)-[关系:任务]->(目标库、目标表)按照左级拆分的思路,可以获得(源库、源表)-[关系:任务]的不成熟关系结构,将“关系”转换为“节点”(即任务转换为右节点),将“节点”转换为“关系”(源表、源库变成节点之间的关系),再通过虚拟的形式补齐左节点,而后可以获得关联关系为()-[关系:源库、源表]->(任务)和(任务)-[关系:目标库、目标表]->(),其中()表示待定的实体。该待定实体会根据图数据库的唯一性机制进行替换,即,如果当前的图数据库中存在该实体则按照实际实体存储,至此,左级节点的拆解过程完成,生成所述各待调度任务中的各任务左节点的对应关联关系。基于相同的机制,可以将表级血缘关系拆出右级关联关系,即生成所述各待调度任务中的各任务右节点的对应关联关系。后续通过合并替换的思路完成另一个任务级血缘关系的生成。
进一步地,所述步骤S30具体包括:
根据各任务左节点的对应关联关系以及各任务右节点的对应关联关系存储至图形数据库,以基于所述图形数据库将所述各任务左节点与所述各任务右节点进行匹配重组;
基于所述图形数据库,将对应关联关系相同的任务左节点与任务右节点之间建立对应的节点依赖关系,作为待调度任务对应的依赖关系,以获取所述各待调度任务对应的任务依赖关系;
将所述各待调度任务对应的任务依赖关系存储至图形数据库,以便基于所述任务依赖关系进行任务调度。
本实施例中,获得了任务与任务之间的关联关系,基于图形数据库利用任务与任务之间的关联信息进行任务匹配重组,即图形数据库中的相关函数会将对应关联关系相同的任务左节点与任务右节点进行融合,由此将对应关联关系相同的任务左节点与任务右节点之间建立对应的节点依赖关系,如(任务1)-[关系:源库A、源表B]->()与()-[关系:源库A、源表B]->(任务2)合并为(任务1)-[关系:源库A、源表B]->(任务2),将任务1作为任务2的依赖,即任务2需要任务1完成后才开始,利用这样的数据形式即可获得各个不同任务其可能存在的多个依赖任务。
本发明还提供一种平台任务的调度装置,所述平台任务的调度装置包括:
任务关系提取模块,用于获取待调度任务对应的相关日志信息,并根据预设规则,在所述相关日志信息中提取出各待调度任务对应的关联关系;
节点关系生成模块,用于将所述各待调度任务以及与其对应的关联关系进行拆分,生成所述各待调度任务中的各任务节点的对应关联关系;
依赖关系生成模块,用于根据所述各任务节点的对应关联关系,将所述各任务节点进行匹配重组,生成所述各待调度任务对应的任务依赖关系,以便基于所述任务依赖关系进行任务调度。
进一步地,所述任务关系提取模块具体包括:
关系语句提取单元,用于获取待调度任务对应的相关日志信息,并根据正则匹配规则,在所述相关日志信息中提取出所述各待调度任务对应的HQL语句;
任务关系存储单元,用于将所述各待调度任务对应的HQL语句输入至预设分析器,以输出所述各待调度任务对应的关联关系,并将所述各待调度任务对应的关联关系存储至图形数据库。
进一步地,所述关系语句提取单元还用于:
在检测到日志信息的首次加载指令时,启用日志分析模块,以获取待调度任务对应的相关日志信息,并根据正则匹配规则,在所述相关日志信息中提取出所述各待调度任务对应的HQL语句。
进一步地,所述平台任务的调度装置还包括二次关系提取模块,所述二次关系提取模块用于:
根据预设时间间隔,检测待调度任务和/或相关日志信息是否发生变化;
若所述待调度任务和/或相关日志信息发生变化,则批量获取当前待调度任务对应的当前日志信息,并在所述当前日志信息中提取出所述当前待调度任务对应的关联关系,以更新所述图形数据库中存储的所述各待调度任务对应的关联关系。
进一步地,所述节点关系生成模块具体包括:
左节点关系生成单元,用于将所述各待调度任务以及与其对应的关联关系进行左级拆分,生成所述各待调度任务中的各任务左节点的对应关联关系;
右节点关系生成单元,用于将所述各待调度任务以及与其对应的关联关系进行右级拆分,生成所述各待调度任务中的各任务右节点的对应关联关系。
进一步地,所述依赖关系生成模块具体包括:
节点关系匹配单元,用于根据各任务左节点的对应关联关系以及各任务右节点的对应关联关系存储至图形数据库,以基于所述图形数据库将所述各任务左节点与所述各任务右节点进行匹配重组;
依赖关系建立单元,用于基于所述图形数据库,将对应关联关系相同的任务左节点与任务右节点之间建立对应的节点依赖关系,作为待调度任务对应的依赖关系,以获取所述各待调度任务对应的任务依赖关系;
依赖关系存储单元,用于将所述各待调度任务对应的任务依赖关系存储至图形数据库,以便基于所述任务依赖关系进行任务调度。
进一步地,所述平台任务的调度装置还包括任务调度模块,所述任务调度模块用于:
在接收到任务调度指令时,获取所述任务调度指令中的待调度目标任务,并根据所述任务依赖关系,判断是否存在所述待调度目标任务对应的相关依赖任务,其中,所述相关依赖任务为所述待调度目标任务执行之前需要执行完成的任务;
若不存在所述相关依赖任务,则执行所述待调度目标任务。
若存在所述相关依赖任务,则在执行所述相关依赖任务后,执行所述待调度目标任务。
上述各程序模块所执行的方法可参照本发明平台任务的调度方法各个实施例,此处不再赘述。
本发明还提供一种计算机可读存储介质。
本发明计算机可读存储介质上存储有平台任务的调度程序,所述平台任务的调度程序被处理器执行时实现如上所述的平台任务的调度方法的步骤。
其中,在所述处理器上运行的平台任务的调度程序被执行时所实现的方法可参照本发明平台任务的调度方法各个实施例,此处不再赘述。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。
Claims (16)
1.一种平台任务的调度方法,其特征在于,所述平台任务的调度方法包括如下步骤:
获取待调度任务对应的相关日志信息,并根据预设规则,在所述相关日志信息中提取出各待调度任务对应的关联关系;
将所述各待调度任务以及与其对应的关联关系进行拆分,生成所述各待调度任务中的各任务节点的对应关联关系;
根据所述各任务节点的对应关联关系,将所述各任务节点进行匹配重组,生成所述各待调度任务对应的任务依赖关系,以便基于所述任务依赖关系进行任务调度。
2.如权利要求1所述的平台任务的调度方法,其特征在于,所述获取待调度任务对应的相关日志信息,并根据预设规则,在所述相关日志信息中提取出各待调度任务对应的关联关系的步骤具体包括:
获取待调度任务对应的相关日志信息,并根据正则匹配规则,在所述相关日志信息中提取出所述各待调度任务对应的HQL语句;
将所述各待调度任务对应的HQL语句输入至预设分析器,以输出所述各待调度任务对应的关联关系,并将所述各待调度任务对应的关联关系存储至图形数据库。
3.如权利要求2所述的平台任务的调度方法,其特征在于,所述获取待调度任务对应的相关日志信息,并根据正则匹配规则,在所述相关日志信息中提取出所述各待调度任务对应的HQL语句的步骤具体包括:
在检测到日志信息的首次加载指令时,启用日志分析模块,以获取待调度任务对应的相关日志信息,并根据正则匹配规则,在所述相关日志信息中提取出所述各待调度任务对应的HQL语句。
4.如权利要求2所述的平台任务的调度方法,其特征在于,所述将所述各待调度任务对应的HQL语句输入至预设分析器,以输出所述各待调度任务对应的关联关系,并将所述各待调度任务对应的关联关系存储至图形数据库的步骤之后,还包括:
根据预设时间间隔,检测待调度任务和/或相关日志信息是否发生变化;
若所述待调度任务和/或相关日志信息发生变化,则批量获取当前待调度任务对应的当前日志信息,并在所述当前日志信息中提取出所述当前待调度任务对应的关联关系,以更新所述图形数据库中存储的所述各待调度任务对应的关联关系。
5.如权利要求1所述的平台任务的调度方法,其特征在于,所述将所述各待调度任务以及与其对应的关联关系进行拆分,生成所述各待调度任务中的各任务节点的对应关联关系的步骤具体包括:
将所述各待调度任务以及与其对应的关联关系进行左级拆分,生成所述各待调度任务中的各任务左节点的对应关联关系;
将所述各待调度任务以及与其对应的关联关系进行右级拆分,生成所述各待调度任务中的各任务右节点的对应关联关系。
6.如权利要求5所述的平台任务的调度方法,其特征在于,所述根据所述各任务节点的对应关联关系,将所述各任务节点进行匹配重组,生成所述各待调度任务对应的任务依赖关系,以便基于所述任务依赖关系进行任务调度的步骤具体包括:
根据各任务左节点的对应关联关系以及各任务右节点的对应关联关系存储至图形数据库,以基于所述图形数据库将所述各任务左节点与所述各任务右节点进行匹配重组;
基于所述图形数据库,将对应关联关系相同的任务左节点与任务右节点之间建立对应的节点依赖关系,作为待调度任务对应的依赖关系,以获取所述各待调度任务对应的任务依赖关系;
将所述各待调度任务对应的任务依赖关系存储至图形数据库,以便基于所述任务依赖关系进行任务调度。
7.如权利要1-6中任一项所述的平台任务的调度方法,其特征在于,所述根据所述各任务节点的对应关联关系,将所述各任务节点进行匹配重组,生成所述各待调度任务对应的任务依赖关系,以便基于所述任务依赖关系进行任务调度的步骤之后,还包括:
在接收到任务调度指令时,获取所述任务调度指令中的待调度目标任务,并根据所述任务依赖关系,判断是否存在所述待调度目标任务对应的相关依赖任务,其中,所述相关依赖任务为所述待调度目标任务执行之前需要执行完成的任务;
若不存在所述相关依赖任务,则执行所述待调度目标任务。
8.如权利要求7所述的平台任务的调度方法,其特征在于,所述在接收到任务调度指令时,获取所述任务调度指令中的待调度目标任务,并根据所述任务依赖关系,判断是否存在所述待调度目标任务对应的相关依赖任务的步骤之后,还包括:
若存在所述相关依赖任务,则在执行所述相关依赖任务后,执行所述待调度目标任务。
9.一种平台任务的调度装置,其特征在于,所述平台任务的调度装置包括:
任务关系提取模块,用于获取待调度任务对应的相关日志信息,并根据预设规则,在所述相关日志信息中提取出各待调度任务对应的关联关系;
节点关系生成模块,用于将所述各待调度任务以及与其对应的关联关系进行拆分,生成所述各待调度任务中的各任务节点的对应关联关系;
依赖关系生成模块,用于根据所述各任务节点的对应关联关系,将所述各任务节点进行匹配重组,生成所述各待调度任务对应的任务依赖关系,以便基于所述任务依赖关系进行任务调度。
10.如权利要求9所述的平台任务的调度装置,其特征在于,所述任务关系提取模块具体包括:
关系语句提取单元,用于获取待调度任务对应的相关日志信息,并根据正则匹配规则,在所述相关日志信息中提取出所述各待调度任务对应的HQL语句;
任务关系存储单元,用于将所述各待调度任务对应的HQL语句输入至预设分析器,以输出所述各待调度任务对应的关联关系,并将所述各待调度任务对应的关联关系存储至图形数据库。
11.如权利要求10所述的平台任务的调度装置,其特征在于,所述关系语句提取单元还用于:
在检测到日志信息的首次加载指令时,启用日志分析模块,以获取待调度任务对应的相关日志信息,并根据正则匹配规则,在所述相关日志信息中提取出所述各待调度任务对应的HQL语句。
12.如权利要求10所述的平台任务的调度装置,其特征在于,所述平台任务的调度装置还包括二次关系提取模块,所述二次关系提取模块用于:
根据预设时间间隔,检测待调度任务和/或相关日志信息是否发生变化;
若所述待调度任务和/或相关日志信息发生变化,则批量获取当前待调度任务对应的当前日志信息,并在所述当前日志信息中提取出所述当前待调度任务对应的关联关系,以更新所述图形数据库中存储的所述各待调度任务对应的关联关系。
13.如权利要求9所述的平台任务的调度装置,其特征在于,所述节点关系生成模块具体包括:
左节点关系生成单元,用于将所述各待调度任务以及与其对应的关联关系进行左级拆分,生成所述各待调度任务中的各任务左节点的对应关联关系;
右节点关系生成单元,用于将所述各待调度任务以及与其对应的关联关系进行右级拆分,生成所述各待调度任务中的各任务右节点的对应关联关系。
14.如权利要求13所述的平台任务的调度装置,其特征在于,所述依赖关系生成模块具体包括:
节点关系匹配单元,用于根据各任务左节点的对应关联关系以及各任务右节点的对应关联关系存储至图形数据库,以基于所述图形数据库将所述各任务左节点与所述各任务右节点进行匹配重组;
依赖关系建立单元,用于基于所述图形数据库,将对应关联关系相同的任务左节点与任务右节点之间建立对应的节点依赖关系,作为待调度任务对应的依赖关系,以获取所述各待调度任务对应的任务依赖关系;
依赖关系存储单元,用于将所述各待调度任务对应的任务依赖关系存储至图形数据库,以便基于所述任务依赖关系进行任务调度。
15.一种平台任务的调度设备,其特征在于,所述平台任务的调度设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的平台任务的调度程序,所述平台任务的调度程序被所述处理器执行时实现如权利要求1至8中任一项所述的平台任务的调度方法的步骤。
16.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有平台任务的调度程序,所述平台任务的调度程序被处理器执行时实现如权利要求1至8中任一项所述的平台任务的调度方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910835361.0A CN110532084B (zh) | 2019-09-04 | 2019-09-04 | 平台任务的调度方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910835361.0A CN110532084B (zh) | 2019-09-04 | 2019-09-04 | 平台任务的调度方法、装置、设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110532084A true CN110532084A (zh) | 2019-12-03 |
CN110532084B CN110532084B (zh) | 2024-05-31 |
Family
ID=68667225
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910835361.0A Active CN110532084B (zh) | 2019-09-04 | 2019-09-04 | 平台任务的调度方法、装置、设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110532084B (zh) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111352712A (zh) * | 2020-02-25 | 2020-06-30 | 程瑞萍 | 云计算任务跟踪处理方法、装置、云计算系统及服务器 |
CN111371856A (zh) * | 2020-02-25 | 2020-07-03 | 程瑞萍 | 云计算任务调度方法、装置、云计算系统及服务器 |
CN111737323A (zh) * | 2020-08-14 | 2020-10-02 | 支付宝(杭州)信息技术有限公司 | 基于区块链的信息查询方法、装置及电子设备 |
CN111913986A (zh) * | 2020-08-03 | 2020-11-10 | 支付宝(杭州)信息技术有限公司 | 一种查询优化方法及装置 |
CN111984630A (zh) * | 2020-09-01 | 2020-11-24 | 深圳壹账通智能科技有限公司 | 日志关联方法、装置和计算机设备 |
CN112286664A (zh) * | 2020-10-30 | 2021-01-29 | 中国平安财产保险股份有限公司 | 任务调度方法、装置、计算机设备及可读存储介质 |
CN113094162A (zh) * | 2021-04-09 | 2021-07-09 | 中国工商银行股份有限公司 | 一种任务依赖关系更新方法、装置及存储介质 |
CN116244324A (zh) * | 2023-03-15 | 2023-06-09 | 上海擎创信息技术有限公司 | 任务数据关系挖掘方法、装置、电子设备及存储介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010277475A (ja) * | 2009-05-29 | 2010-12-09 | Ricoh Co Ltd | ワークフロー管理システム |
CN102332125A (zh) * | 2011-11-08 | 2012-01-25 | 南京大学 | 基于后继任务的工作流挖掘方法 |
CN108694195A (zh) * | 2017-04-10 | 2018-10-23 | 腾讯科技(深圳)有限公司 | 一种分布式数据仓库的管理方法及系统 |
CN109086986A (zh) * | 2018-07-20 | 2018-12-25 | 中国邮政储蓄银行股份有限公司 | 作业调度方法及装置 |
CN109144695A (zh) * | 2018-08-30 | 2019-01-04 | 百度在线网络技术(北京)有限公司 | 一种任务拓扑关系的处理方法、装置、设备和介质 |
CN109582660A (zh) * | 2018-12-06 | 2019-04-05 | 深圳前海微众银行股份有限公司 | 数据血缘分析方法、装置、设备、系统及可读存储介质 |
-
2019
- 2019-09-04 CN CN201910835361.0A patent/CN110532084B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010277475A (ja) * | 2009-05-29 | 2010-12-09 | Ricoh Co Ltd | ワークフロー管理システム |
CN102332125A (zh) * | 2011-11-08 | 2012-01-25 | 南京大学 | 基于后继任务的工作流挖掘方法 |
CN108694195A (zh) * | 2017-04-10 | 2018-10-23 | 腾讯科技(深圳)有限公司 | 一种分布式数据仓库的管理方法及系统 |
CN109086986A (zh) * | 2018-07-20 | 2018-12-25 | 中国邮政储蓄银行股份有限公司 | 作业调度方法及装置 |
CN109144695A (zh) * | 2018-08-30 | 2019-01-04 | 百度在线网络技术(北京)有限公司 | 一种任务拓扑关系的处理方法、装置、设备和介质 |
CN109582660A (zh) * | 2018-12-06 | 2019-04-05 | 深圳前海微众银行股份有限公司 | 数据血缘分析方法、装置、设备、系统及可读存储介质 |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111352712A (zh) * | 2020-02-25 | 2020-06-30 | 程瑞萍 | 云计算任务跟踪处理方法、装置、云计算系统及服务器 |
CN111371856A (zh) * | 2020-02-25 | 2020-07-03 | 程瑞萍 | 云计算任务调度方法、装置、云计算系统及服务器 |
CN111913986A (zh) * | 2020-08-03 | 2020-11-10 | 支付宝(杭州)信息技术有限公司 | 一种查询优化方法及装置 |
CN111913986B (zh) * | 2020-08-03 | 2024-04-16 | 支付宝(杭州)信息技术有限公司 | 一种查询优化方法及装置 |
CN111737323A (zh) * | 2020-08-14 | 2020-10-02 | 支付宝(杭州)信息技术有限公司 | 基于区块链的信息查询方法、装置及电子设备 |
CN111984630A (zh) * | 2020-09-01 | 2020-11-24 | 深圳壹账通智能科技有限公司 | 日志关联方法、装置和计算机设备 |
CN112286664A (zh) * | 2020-10-30 | 2021-01-29 | 中国平安财产保险股份有限公司 | 任务调度方法、装置、计算机设备及可读存储介质 |
CN112286664B (zh) * | 2020-10-30 | 2024-05-28 | 中国平安财产保险股份有限公司 | 任务调度方法、装置、计算机设备及可读存储介质 |
CN113094162A (zh) * | 2021-04-09 | 2021-07-09 | 中国工商银行股份有限公司 | 一种任务依赖关系更新方法、装置及存储介质 |
CN113094162B (zh) * | 2021-04-09 | 2024-04-26 | 中国工商银行股份有限公司 | 一种任务依赖关系更新方法、装置及存储介质 |
CN116244324A (zh) * | 2023-03-15 | 2023-06-09 | 上海擎创信息技术有限公司 | 任务数据关系挖掘方法、装置、电子设备及存储介质 |
CN116244324B (zh) * | 2023-03-15 | 2023-12-08 | 上海擎创信息技术有限公司 | 任务数据关系挖掘方法、装置、电子设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN110532084B (zh) | 2024-05-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110532084A (zh) | 平台任务的调度方法、装置、设备及存储介质 | |
CN1897025B (zh) | 海量数据处理中多线程工作包并行的etl技术 | |
CN110389898A (zh) | 测试策略的获取方法、装置、终端及计算机可读存储介质 | |
CN106354729A (zh) | 一种图数据处理方法、装置和系统 | |
CN110189220A (zh) | 一种风险分析决策方法、装置、系统及存储介质 | |
CN109324905A (zh) | 数据库操作方法、装置、电子设备及存储介质 | |
CN107832291A (zh) | 人机协作的客服方法、电子装置及存储介质 | |
CN109389418A (zh) | 基于lda模型的供电服务客户诉求识别方法 | |
CN112365157A (zh) | 智能派工方法、装置、设备及存储介质 | |
CN106251094A (zh) | 一种10kV业扩报装工单异动分析装置及分析方法 | |
CN109903034A (zh) | 规则匹配方法、装置、计算机可读存储介质和计算机设备 | |
CN104765787B (zh) | 软件系统内要素文件关联关系分析方法及系统 | |
CN110321144A (zh) | 下线源代码的识别方法、装置、设备及存储介质 | |
CN111046059A (zh) | 基于分布式数据库集群的低效sql语句分析方法及系统 | |
CN117235527A (zh) | 端到端容器化的大数据模型构建方法、装置、设备及介质 | |
CN116777568A (zh) | 金融市场交易事前智能对话下单方法、装置及存储介质 | |
CN110348669A (zh) | 智能规则生成方法、装置、计算机设备及存储介质 | |
CN114925674A (zh) | 文件合规性检查方法、装置、电子设备及存储介质 | |
CN108959309A (zh) | 数据分析的方法和装置 | |
CN108304219A (zh) | 二次开发平台及方法 | |
CN112364226A (zh) | 一种基于动态内容解析的交互式信息采集方法及系统 | |
CN112612841A (zh) | 一种知识抽取构建方法、装置、设备及存储介质 | |
CN109284097A (zh) | 实现复杂数据分析的方法、设备、系统及存储介质 | |
CN109614656A (zh) | 一种用于OpenGL显示列表调用的TLM模型 | |
CN109189881A (zh) | 人机交互方法及智能机器人 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |