CN111274032A - 任务处理系统及方法、存储介质 - Google Patents
任务处理系统及方法、存储介质 Download PDFInfo
- Publication number
- CN111274032A CN111274032A CN202010053341.0A CN202010053341A CN111274032A CN 111274032 A CN111274032 A CN 111274032A CN 202010053341 A CN202010053341 A CN 202010053341A CN 111274032 A CN111274032 A CN 111274032A
- Authority
- CN
- China
- Prior art keywords
- task
- module
- information
- plug
- request
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 89
- 238000000034 method Methods 0.000 title claims abstract description 23
- 238000003860 storage Methods 0.000 title claims abstract description 19
- 230000002452 interceptive effect Effects 0.000 claims abstract description 13
- 238000004891 communication Methods 0.000 claims abstract description 10
- 238000012544 monitoring process Methods 0.000 claims description 19
- 238000003672 processing method Methods 0.000 claims description 13
- 230000008569 process Effects 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 9
- 238000010586 diagram Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 8
- 230000008859 change Effects 0.000 description 4
- 238000007726 management method Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 240000007087 Apium graveolens Species 0.000 description 2
- 235000015849 Apium graveolens Dulce Group Nutrition 0.000 description 2
- 235000010591 Appio Nutrition 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 241000700605 Viruses Species 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 230000009193 crawling Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/54—Interprogram communication
- G06F9/546—Message passing systems or structures, e.g. queues
Abstract
本公开实施例是关于一种任务处理系统及方法、存储介质,涉及计算机技术领域,该系统包括:业务处理模块,其中配置有开源分布式任务队列,用于通过所述开源分布式任务队列对任务关联信息进行动态扩展,并结合扩展结果对从所述开源分布式任务队列中获取的任务请求进行任务处理,以得到与所述任务请求对应的任务信息;交互接口,与所述业务处理模块通信连接,用于接收所述任务信息并将所述任务信息发送至前端展示模块;所述前端展示模块,与所述交互接口通信连接,用于对与所述任务请求对应的任务信息进行展示。本公开的技术方案能够提高任务处理的效率和准确性。
Description
技术领域
本公开涉及计算机技术领域,具体而言,涉及一种任务处理系统、任务处理方法以及计算机可读存储介质。
背景技术
为了准确及时地获取到情报,可以通过建立相应的系统来实现。相关技术中,一般通过固定的方式来对任务请求进行处理,并通过一个指定的终端来显示处理结果。上述方式中,系统是固定不变的,局限性较大,无法满足平台的快速变化,从而影响情报获取任务的处理效率和准确性。
需要说明的是,在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解,因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
本公开的目的在于提供一种任务处理系统、任务处理方法及计算机可读存储介质,进而至少在一定程度上克服由于相关技术的限制和缺陷而导致的任务处理效率较低的问题。
本公开的其他特性和优点将通过下面的详细描述变得显然,或部分地通过本公开的实践而习得。
根据本公开的一个方面,提供一种任务处理系统,包括:业务处理模块,其中配置有开源分布式任务队列,用于通过所述开源分布式任务队列对任务关联信息进行动态扩展,并结合扩展结果对从所述开源分布式任务队列中获取的任务请求进行任务处理,以得到与所述任务请求对应的任务信息;交互接口,与所述业务处理模块通信连接,用于接收所述任务信息并将所述任务信息发送至前端展示模块;所述前端展示模块,与所述交互接口通信连接,用于对与所述任务请求对应的任务信息进行展示。
根据本公开的一个方面,提供一种任务处理方法,包括:通过开源分布式任务队列对任务关联信息进行动态扩展;结合扩展结果对从所述开源分布式任务队列中获取的任务请求进行任务处理,以得到与所述任务请求对应的任务信息;存储所述任务信息,并对所述任务信息进行展示。
根据本公开的一个方面,提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现如上述所述的任务处理方法。
本公开实施例中提供的任务处理系统、任务处理方法以及计算机可读存储介质,由于通过开源分布式任务队列对任务关联信息进行动态扩展,并根据扩展结果来对任务请求进行任务处理,通过动态扩展操作避免了相关技术中由于平台和系统限制而导致的任务处理过程中的局限性,使得系统能够满足平台的快速变化,通过动态扩展能够增加任务请求处理的参与性,使得获取到的任务信息更加符合实际情况和业务需求,提高任务请求处理的效率和准确性。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理。显而易见地,下面描述中的附图仅仅是本公开的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1示意性示出本公开实施例任务处理系统的框图。
图2示意性示出本公开实施例中任务处理系统的具体结构的示意图。
图3示意性示出本公开实施例中任务处理方法的示意图。
图4示意性示出本公开实施例中任务处理方法中数据传输的流程示意图。
图5示意性示出本公开实施例中用于执行任务处理方法的计算机系统的框图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而,示例实施方式能够以多种形式实施,且不应被理解为限于在此阐述的范例;相反,提供这些实施方式使得本公开将更加全面和完整,并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中,提供许多具体细节从而给出对本公开的实施方式的充分理解。然而,本领域技术人员将意识到,可以实践本公开的技术方案而省略所述特定细节中的一个或更多,或者可以采用其它的方法、组元、装置、步骤等。此外,附图仅为本公开的示意性图解,图中相同的附图标记表示相同或类似的部分,因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体,不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体,或在一个或多个硬件模块或集成电路中实现这些功能实体,或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
本公开实施例中提供了一种任务处理系统。图1示意性示出了该任务处理系统的结构框图,可以应用于任何类型的任务处理的应用场景中。参照图1所示,该任务处理系统100至少包括以下模块,详细介绍如下:
业务处理模块110,其中配置有开源分布式任务队列,用于通过所述开源分布式任务队列对任务关联信息进行动态扩展,并结合扩展结果对从所述开源分布式任务队列中获取的任务请求进行任务处理,以得到与所述任务请求对应的任务信息。
本公开实施例中,开源分布式任务队列可以为各种合适的分布式队列,例如Celery。Celery开源分布式任务队列是一个基于python开发的分布式异步消息任务队列,通过该开源分布式任务队列可以轻松地实现任务的异步处理。开源分布式任务队列在执行任务时需要通过一个消息中间件来接收和发送任务消息,以及存储任务结果,该消息中间件一般使用rabbitMQ或者是Redis缓存。
本公开实施例中,业务处理模块可以包括动态扩展模块,该动态扩展模块用于通过开源分布式任务队列对用于执行任务的设备、用于展示任务信息的终端以及任务请求中的至少一个进行扩展。具体地,可以通过开源分布式任务队列来对任务关联信息进行动态扩展。任务关联信息可以包括用于执行任务的设备、用于展示任务信息的终端以及任务请求中的至少一个。用于执行任务的设备可以为服务器或者是服务器集群。例如,可以扩展执行任务的设备的数量;也可以扩展用来展示任务信息的终端,例如将终端的数量从一个增加至多个,具体可以根据实际需要而增加;还可以扩展要处理的任务请求的数量,增加的任务请求可以与已经存在的任务请求相同,也可以不同,此处不做限定。在动态扩展任务关联信息时,可以根据任务请求的参考信息以及实际需求来进行扩展。参考信息可以为数量或者是处理程度等信息。例如,在实际需求为可扩展时,若任务请求的数量较多,可扩展执行任务的服务器以及展示任务信息的终端;若任务请求的数量较少,可以扩展任务请求的数量。并且,可以根据不同级别进行不同程度的扩展,级别可以根据处理程度而确定,处理任务数量越多,处理任务时间越长,级别越高。级别越高,扩展程度越大。当然也可以根据实际需求进行扩展,而不限制于上述条件。扩展结果指的是进行动态扩展之后得到的任务关联信息,例如终端资源或者是任务请求等等。通过对任务关联信息进行动态扩展,能够通过动态扩展结果实现分布式任务处理,从而能够实现任务并行处理,提高任务处理效率,也能够增加展示渠道,可以适应多平台展示,提高实时处理效率。由于卡伊响应于用户操作,在开源分分布式任务队列完成动态扩展,能够使业务人员直接参与到任务处理过程来,使得获取的任务信息更满足业务需求且更准确。
在对任务关联信息进行动态扩展之后,若任务处理情况满足预设条件,可以结合扩展结果来进行任务处理。预设条件例如可以为任务请求的数量大于某一阈值,或者是任务处理完成。在结合扩展结果进行任务处理时,可以基于扩展的任务关联信息,对从开源分布式任务队列中获取的任务请求进行任务处理,以得到与任务请求对应的任务信息。在从开源分布式任务队列中获取任务请求时,可以按照队列先进先出的原则只获取一个任务请求,也可以同时获取多个任务请求,以便于控制多个任务请求并行执行。此处的任务请求可以对某一平台的情报获取请求,例如获取A网站的情报或者是获取B公司的情报等等。
需要说明的是,业务处理模块还可以支持动态加载和动态配置,即对于不同的获取请求,其获取规则是不同的。例如,通过规则1获取A网站的情报,通过规则2获取B公司的情报等等。通过为每个任务请求分别配置获取规则,能够针对性地对每一个任务请求提供更准确的规则,并且可以及时调整和修改获取规则,从而快速准确地获取到有效情报信息,或者是订阅业务人员关注的内容,并且能够实时变更获取规则,满足情报平台的快速变化,实现信息地有效获取。
业务处理模块可以包括定时执行模块,以用于响应于定时指令,定时执行所述任务请求,以得到任务信息。例如定时导入导出数据报表、定时发送通知等等。开源分布式任务队列可以提供管理接口和丰富的接口来根据设定的时间执行定时任务处理。业务处理模块还可以实现异步任务处理模式,为了充分提高网站性能,对于请求和响应之外的那些不要求必须同步完成的附加工作都可以异步完成,比如发送短信/邮件、推送消息、清理/设置缓存等。并且也可以通过扩展的终端异步处理不同的任务请求。
参考图2中所示的系统架构图,业务处理模块110具体可以包括业务处理层240和执行层250。其中,业务处理层用于将所有的任务请求存储至任务库,并将所述任务库作为可执行插件,其主要包括基础模块241、任务模块242、情报监控模块243、其他模块244以及开源分布式任务队列245、可执行插件246。基础模块包括登陆模块、权限控制模块以及可视化模块;任务模块包括任务管理模块、任务分发模块以及任务查询模块;情报监控模块包括对不同交互平台的监控,例如可以包括但不限于微信群监控、QQ群监控、telegram群监控、公众号监控、论坛监控、暗网监控、github监控、CVE监控以及其他监控。其他模块可以扩展。可执行插件用于表示所有的任务请求,具体可以用于表示存储所有任务请求的一个任务库,并且可以将该任务库作为可执行插件。
业务处理层还可以包括任务分类模块,用于确定所述任务请求中包含的监控对象所属的类别,并按照所述类别将所述任务请求存储至所述任务库中。监控对象可以为爬取目标,例如公众号。所有监控对象与类别之间可以存在对应关系,类别可以为情报监控模块中的类别。在接收到从开源分布式任务队列中获取的任务请求时,可以将任务请求与情报监控模块进行匹配,以便于执行层在可执行插件中获取符合该任务请求的信息从而生成目标插件。目标插件用于被调用从而执行任务请求对应的操作。具体地,可以将任务请求中监控对象的字段与情报监控模块中的字段进行关键字或者是标识匹配,以确定任务请求中监控对象属于情报监控模块中的哪一种类别。在得到类别之后,可以按照类别将任务请求存储至任务库中形成可执行插件。
执行层用于具体执行任务处理。参考图2中所示,业务处理模块还包括执行层,从所述可执行插件中获取目标插件,并根据所述目标插件执行所述任务请求,以得到任务信息。执行层是用于被业务处理层调用,以实现任务处理过程。执行层包括插件判断模块以及任务执行模块。其中,插件判断模块用于判断本地插件是否需要更新,具体可以通过用于根据所述本地插件的文件标识,判断所述本地插件是否需要更新的插件判断模块来执行。任务执行模块用于根据判断结果确定目标插件并基于所述目标插件执行所述任务请求。
基于上述模块,执行层中的处理流程主要包括以下步骤:在步骤S251中,检查任务请求。此处的任务请求即为从开源分布式任务队列获取的任务请求。在步骤S252中,判断本地插件收需要更新;若是,则转至步骤S253按照第一执行模块来进行任务处理;若否,则转至步骤S254来进行任务处理。具体地,可以根据本地插件的插件标识来判断,若插件标识发生变化,则说明需要更新本地插件;若插件标识未发生变化,则可以认为不需要更新本地插件。本地插件指的是已经存在的或者是下载好的用于执行任务请求的插件。插件标识具体可以为本地插件对应的插件文件的md5(Message-Digest Algorithm 5,信息摘要算法)值,md5值可以产生出一个128位(16字节)的散列值,用于确保信息传输完整一致。其作用是可以用md5测定是否是原文件,以保证文件不曾被恶意更改。md5值等同于文件的ID,它的值是唯一的。如果文件已被修改(例如嵌入式病毒等),其md5值将发生变化。本公开实施例中,通过检测本地插件的文件标识,能够准确地判断是否需要更新插件,从而避免风险,提高安全性以及确定任务请求对应的目标插件的准确性。如果插件需要更新,则从可执行插件中获取与任务请求匹配的插件作为目标插件,以代替本地插件即可,进一步可以根据目标插件来执行任务请求。在步骤S253中,若检测到需要更新,则从可执行插件中获取信息形成目标插件。在步骤S254中,根据本地插件或者是更新后的目标插件执行任务请求,即将本地插件作为目标插件,或者是将更新后的插件作为目标插件来执行任务请求。在步骤S255中,将通过获取规则得到的符合任务请求的任务信息,通过邮件或者是其它方式发送至用户,以执行规则告警。
业务处理模块还可以包括数据层260,其中包括缓存和数据库,数据库还可与规则告警通信连接,以用于存储生成的任务信息。
继续参考图1中所示,交互接口120,与所述业务处理模块通信连接,用于接收所述任务信息并将所述任务信息发送至前端展示模块。
本公开实施例中,交互接口可以为统一的特定风格的交互接口。参考图2中所示,交互接口230与业务处理模块以及前端展示模块通信连接。通过交互接口实现了整体架构的前后端分离的效果,从而有利于通过多个渠道来进行展示。
前端展示模块130,与所述交互接口通信连接,用于对与所述任务请求对应的任务信息进行展示。
本公开实施例中,前端展示模块可以包括展示层220以及用户层210。其中,用户层指的是用于展示任务信息的终端,例如可以为电脑或者是各种移动设备,且用户层可以基于开源分布式任务队列而进行动态扩展。展示层包括用于呈现任务信息的渠道或平台,例如管理后台、公众号或者是小程序等。交互接口通过将业务处理层调用执行层所得到的任务请求对应的任务信息发送至展示层,以使展示层进行展示,从而便于通过多个渠道来展示任务信息,避免了任务信息只存在电脑端上,无法适应多平台展示,避免了对实时处理的影响,提高了情报实时处理效率,也提高了准确性,并且能够及时发现异常问题,以便于及时解决,避免不必要的损失,提高安全性。
基于上述系统架构,本公开实施例中还提供了一种任务处理方法,参考图3中所示,该任务处理方法可以包括以下步骤:
在步骤S310中,通过开源分布式任务队列对任务关联信息进行动态扩展;
在步骤S320中,结合扩展结果对从所述开源分布式任务队列中获取的任务请求进行任务处理,以得到与所述任务请求对应的任务信息;
在步骤S330中,存储所述任务信息,并对所述任务信息进行展示。
本公开实施例中,首先通过开源分布式任务队列,根据任务请求的执行情况对与执行任务相关的任务关联信息进行动态扩展,以得到扩展结果。进一步地,可以在任务处理情况满足预设条件的情况下,结合扩展结果来对从开源分布式任务队列中获取的任务请求进行处理以得到任务信息,从而对任务信息进行此展示。由于实现了任务关联信息的动态扩展,因此可以提高任务处理的效率和准确率。
参考图4中所示的数据传输示意图所示,主要包括以下步骤:在步骤S410中,用于表示用户层的客户端向应用程序发送数据;在步骤S420中,用于表示展示层的应用程序将任务请求发送至开源分布式任务队列中的消息中间件,消息中间件即可以用于代表业务处理层;在步骤S430中,消息中间件执行任务请求并将其发送至用于表示执行层的节点。如果开源分布式任务队列没有空闲的执行单元则等待,如果这时开源分布式任务队列有空闲的执行单元,则获取任务请求并执行。在步骤S440中,节点从应用程序获取任务。在步骤S450中,节点执行完任务请求后将执行结果(任务信息)存储至用于表示数据层的数据库中,客户端可以定时轮询查询执行结果。在步骤S460中,数据库从节点得到用于爬取任务请求的获取规则。
本公开实施例的技术方案,能够实现爬虫任务分布式运行管理;简化爬虫配置部署流程,动态分配服务器资源;业务人员可以自由调整与修改爬虫脚本规则,或者选择订阅自己感兴趣的内容,并选择多种渠道进行通知与展示。任务处理架构采用前后端分离方式,可动态扩展任务处理平台的能力,让业务人员参与到情报收集生产过程,充分满足业务情报需求。得到的任务信息是通过获取规则得到的,因此可以避免无法直接使用的问题,增加了应用范围。
需要说明的是,上述任务处理方法中各步骤的具体细节已经在对应的任务处理系统中进行了详细描述,因此此处不再赘述。
应当注意,尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元,但是这种划分并非强制性的。实际上,根据本公开的实施方式,上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之,上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
此外,尽管在附图中以特定顺序描述了本公开中方法的各个步骤,但是,这并非要求或者暗示必须按照该特定顺序来执行这些步骤,或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的,可以省略某些步骤,将多个步骤合并为一个步骤执行,以及/或者将一个步骤分解为多个步骤执行等。
需要说明的是,图5示出的电子设备的计算机系统500仅是一个示例,不应对本公开实施例的功能和使用范围带来任何限制。
如图5所示,计算机系统500包括中央处理单元(Central Processing Unit,CPU)501,其可以根据存储在只读存储器(Read-Only Memory,ROM)502中的程序或者从储存部分508加载到随机访问存储器(Random Access Memory,RAM)503中的程序而执行各种适当的动作和处理。在RAM 503中,还存储有系统操作所需的各种程序和数据。CPU 501、ROM502以及RAM 503通过总线504彼此相连。输入/输出(Input/Output,I/O)接口505也连接至总线504。
以下部件连接至I/O接口505:包括键盘、鼠标等的输入部分506;包括诸如阴极射线管(Cathode Ray Tube,CRT)、液晶显示器(Liquid Crystal Display,LCD)等以及扬声器等的输出部分507;包括硬盘等的储存部分508;以及包括诸如LAN(Local Area Network,局域网)卡、调制解调器等的网络接口卡的通信部分509。通信部分509经由诸如因特网的网络执行通信处理。驱动器510也根据需要连接至I/O接口505。可拆卸介质511,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器510上,以便于从其上读出的计算机程序根据需要被安装入存储部分508。
特别地,根据本公开的实施例,下文参考流程图描述的过程可以被实现为计算机软件程序。例如,本公开的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信部分509从网络上被下载和安装,和/或从可拆卸介质511被安装。在该计算机程序被中央处理单元(CPU)501执行时,执行本申请的系统中限定的各种功能。
需要说明的是,本公开实施例所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(Erasable Programmable Read Only Memory,EPROM)、闪存、光纤、便携式紧凑磁盘只读存储器(Compact Disc Read-Only Memory,CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中,计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:无线、有线等等,或者上述的任意合适的组合。
附图中的流程图和框图,图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图或流程图中的每个方框、以及框图或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的单元可以通过软件的方式实现,也可以通过硬件的方式来实现,所描述的单元也可以设置在处理器中。其中,这些单元的名称在某种情况下并不构成对该单元本身的限定。
作为另一方面,本公开还提供了一种计算机可读介质,该计算机可读介质可以是上述实施例中描述的电子设备中所包含的;也可以是单独存在,而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被一个该电子设备执行时,使得该电子设备实现上述实施例中所述的方法。
应当注意,尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元,但是这种划分并非强制性的。实际上,根据本公开的实施方式,上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之,上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
通过以上的实施方式的描述,本领域的技术人员易于理解,这里描述的示例实施方式可以通过软件实现,也可以通过软件结合必要的硬件的方式来实现。因此,根据本公开实施方式的技术方案可以以软件产品的形式体现出来,该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM,U盘,移动硬盘等)中或网络上,包括若干指令以使得一台计算设备(可以是个人计算机、服务器、触控终端、或者网络设备等)执行根据本公开实施方式的方法。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。
应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。
Claims (10)
1.一种任务处理系统,其特征在于,包括:
业务处理模块,其中配置有开源分布式任务队列,用于通过所述开源分布式任务队列对任务关联信息进行动态扩展,并结合扩展结果对从所述开源分布式任务队列中获取的任务请求进行任务处理,以得到与所述任务请求对应的任务信息;
交互接口,与所述业务处理模块通信连接,用于接收所述任务信息并将所述任务信息发送至前端展示模块;
所述前端展示模块,与所述交互接口通信连接,用于对与所述任务请求对应的任务信息进行展示。
2.根据权利要求1所述的任务处理系统,其特征在于,所述业务处理模块包括:
动态扩展模块,用于通过所述开源分布式任务队列对用于执行任务的设备、用于展示任务信息的终端以及任务请求中的至少一个进行扩展。
3.根据权利要求1所述的任务处理系统,其特征在于,所述业务处理模块还包括:
业务处理层,用于将所有任务请求存储至任务库,并将所述任务库作为可执行插件;
执行层,用于从所述可执行插件中获取目标插件,并根据所述目标插件执行所述任务请求,以得到任务信息;
数据层,用于存储所述任务信息。
4.根据权利要求3所述的任务处理系统,其特征在于,所述业务处理层包括:
任务分类模块,用于确定所述任务请求中包含的监控对象所属的类别,并按照所述类别将所述任务请求存储至所述任务库中。
5.根据权利要求3所述的任务处理系统,其特征在于,所述执行层包括:
插件判断模块,用于判断本地插件是否需要更新;
任务执行模块,用于根据判断结果确定目标插件并基于所述目标插件执行所述任务请求。
6.根据权利要求5所述的任务处理系统,其特征在于,所述插件判断模块包括:
标识判断模块,用于根据所述本地插件的文件标识,判断所述本地插件是否需要更新。
7.根据权利要求5所述的任务处理系统,其特征在于,所述任务执行模块包括:
第一执行模块,用于若所述判断结果为不需要更新,则直接根据所述本地插件执行所述任务请求;
第二执行模块,用于若所述判断结果为需要更新,则根据更新后的目标插件执行所述任务请求。
8.根据权利要求1所述的任务处理系统,其特征在于,所述系统还包括:
定时执行模块,用于响应于定时指令,定时执行所述任务请求,以得到任务信息。
9.一种任务处理方法,其特征在于,包括:
通过开源分布式任务队列对任务关联信息进行动态扩展;
结合扩展结果对从所述开源分布式任务队列中获取的任务请求进行任务处理,以得到与所述任务请求对应的任务信息;
存储所述任务信息,并对所述任务信息进行展示。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求9所述的任务处理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010053341.0A CN111274032B (zh) | 2020-01-17 | 任务处理系统及方法、存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010053341.0A CN111274032B (zh) | 2020-01-17 | 任务处理系统及方法、存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111274032A true CN111274032A (zh) | 2020-06-12 |
CN111274032B CN111274032B (zh) | 2024-04-30 |
Family
ID=
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111400574A (zh) * | 2020-03-12 | 2020-07-10 | 郑州悉知信息科技股份有限公司 | 一种异步爬虫系统及数据爬取方法 |
CN113722075A (zh) * | 2021-10-29 | 2021-11-30 | 苏州浪潮智能科技有限公司 | 一种任务管理方法、系统、设备及存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107766129A (zh) * | 2016-08-17 | 2018-03-06 | 北京金山云网络技术有限公司 | 一种任务处理方法、装置及系统 |
CN109284430A (zh) * | 2018-09-07 | 2019-01-29 | 杭州艾塔科技有限公司 | 基于分布式架构的可视化主题网页内容爬取系统及方法 |
WO2019100991A1 (zh) * | 2017-11-27 | 2019-05-31 | 北京京东金融科技控股有限公司 | 信息处理方法、装置及系统、存储介质、电子设备 |
CN109976902A (zh) * | 2017-12-28 | 2019-07-05 | 北京京东尚科信息技术有限公司 | 任务处理方法、系统、电子设备及计算机可读介质 |
CN110058930A (zh) * | 2019-04-18 | 2019-07-26 | 中国联合网络通信集团有限公司 | 任务调度方法及设备 |
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107766129A (zh) * | 2016-08-17 | 2018-03-06 | 北京金山云网络技术有限公司 | 一种任务处理方法、装置及系统 |
WO2019100991A1 (zh) * | 2017-11-27 | 2019-05-31 | 北京京东金融科技控股有限公司 | 信息处理方法、装置及系统、存储介质、电子设备 |
CN109976902A (zh) * | 2017-12-28 | 2019-07-05 | 北京京东尚科信息技术有限公司 | 任务处理方法、系统、电子设备及计算机可读介质 |
CN109284430A (zh) * | 2018-09-07 | 2019-01-29 | 杭州艾塔科技有限公司 | 基于分布式架构的可视化主题网页内容爬取系统及方法 |
CN110058930A (zh) * | 2019-04-18 | 2019-07-26 | 中国联合网络通信集团有限公司 | 任务调度方法及设备 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111400574A (zh) * | 2020-03-12 | 2020-07-10 | 郑州悉知信息科技股份有限公司 | 一种异步爬虫系统及数据爬取方法 |
CN113722075A (zh) * | 2021-10-29 | 2021-11-30 | 苏州浪潮智能科技有限公司 | 一种任务管理方法、系统、设备及存储介质 |
CN113722075B (zh) * | 2021-10-29 | 2022-02-18 | 苏州浪潮智能科技有限公司 | 一种任务管理方法、系统、设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10394693B2 (en) | Quantization of data streams of instrumented software | |
US11956137B1 (en) | Analyzing servers based on data streams generated by instrumented software executing on the servers | |
CN105573824B (zh) | 分布式计算系统的监控方法及系统 | |
CN111049705A (zh) | 一种监控分布式存储系统的方法及装置 | |
CN112527848B (zh) | 基于多数据源的报表数据查询方法、装置、系统及存储介质 | |
CN113645287B (zh) | 汽车报文存储方法及装置、汽车报文存储系统 | |
CN109409419B (zh) | 用于处理数据的方法和装置 | |
CN112817562A (zh) | 业务处理的方法和装置 | |
CN113220342A (zh) | 中心化配置方法、装置、电子设备及存储介质 | |
CN110737655B (zh) | 用于上报数据的方法和装置 | |
CN111382058B (zh) | 一种服务的测试方法、装置,服务器及存储介质 | |
CN111274032B (zh) | 任务处理系统及方法、存储介质 | |
CN111274032A (zh) | 任务处理系统及方法、存储介质 | |
CN115220131A (zh) | 气象数据质检方法及系统 | |
CN111010449B (zh) | 图像信息输出方法、系统、装置、介质及电子设备 | |
CN114691684A (zh) | 一种数据展示的方法、装置和系统 | |
CN109766238B (zh) | 基于session数的运维平台性能监控方法、装置及相关设备 | |
CN109614137B (zh) | 软件版本控制方法、装置、设备和介质 | |
CN111274104B (zh) | 数据处理方法、装置、电子设备及计算机可读存储介质 | |
CN113114612B (zh) | 分布式系统调用链的确定方法和装置 | |
US11636004B1 (en) | Method, electronic device, and computer program product for training failure analysis model | |
CN113568936B (zh) | 实时流数据存储方法、装置、终端设备 | |
US20220391808A1 (en) | Data processing method, electronic device and storage medium | |
CN113778842A (zh) | 容错测试的方法、装置、电子设备和存储介质 | |
CN117608985A (zh) | 实时任务管理方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant |