CN112306818A - 一种流式作业处理方法及装置 - Google Patents
一种流式作业处理方法及装置 Download PDFInfo
- Publication number
- CN112306818A CN112306818A CN202011314803.6A CN202011314803A CN112306818A CN 112306818 A CN112306818 A CN 112306818A CN 202011314803 A CN202011314803 A CN 202011314803A CN 112306818 A CN112306818 A CN 112306818A
- Authority
- CN
- China
- Prior art keywords
- job
- streaming
- monitoring
- page
- url
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
- G06F11/3006—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system is distributed, e.g. networked systems, clusters, multiprocessor systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/955—Retrieval from the web using information identifiers, e.g. uniform resource locators [URL]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/451—Execution arrangements for user interfaces
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- Data Mining & Analysis (AREA)
- Human Computer Interaction (AREA)
- Mathematical Physics (AREA)
- Quality & Reliability (AREA)
- Information Transfer Between Computers (AREA)
Abstract
本申请实施例提供了一种流式作业处理方法及装置,应用于可视化设备,方法包括:在前端页面中显示多个流式作业的作业名和URL,以使用户基于前端页面中显示的多个流式作业的作业名,向可视化设备输入针对第一流式作业的第一URL的选择操作,每一流式作业的作业名与该流式作业的URL关联,每一流式作业的URL包括该流式作业的作业标识;当接收到选择操作时,从监控报警系统中,获取第一URL包括的作业标识对应的第一监控数据,监控报警系统中存储了作业标识与监控数据的对应关系;在监控页面中展示第一监控数据。应用本申请实施例提供的技术方案,便于区分不同流式作业的数据,提供一个清晰、友好的界面。
Description
技术领域
本申请涉及大数据技术领域,特别是涉及一种流式作业处理方法及装置。
背景技术
流式处理系统是大数据分析与机器学习系统的重要支撑组件,在智能应用中越来越重要。流式处理框架(如Flink)以低延迟、强一致性和适用于乱序的优势,被越来越多的企业使用。然而,由于Flink自带的监控系统存在一些缺陷,所以使用Prometheus(监控报警系统)和Grafana(可视化设备)对Flink作业进行监控成为更好的选择。
虽然该方案中,通过简单的配置,就可以使用Prometheus和Grafana监控到流式作业(即Flink作业)的运行状况,但是该方案中,所有Flink作业的监控数据均在一个界面展示。随着被监控Flink作业的越来越多,该方案提供的界面中展示的数据越来越多,不便于区分不同Flink作业的数据,进而该方案无法提供一个清晰、友好的界面。
发明内容
本申请实施例的目的在于提供一种流式作业处理方法及装置,以便于区分不同流式作业的数据,提供一个清晰、友好的界面。具体技术方案如下:
第一方面,本申请实施例提供了一种流式作业处理方法,应用于可视化设备,所述方法包括:
在前端页面中显示多个流式作业的作业名,以及所述多个流式作业的URL(uniform resource locator,统一资源定位系统),以使用户基于所述前端页面中显示的多个流式作业的作业名,向所述可视化设备输入针对第一流式作业的第一URL的选择操作,每一流式作业的URL包括该流式作业的作业标识;
当接收到所述选择操作时,从监控报警系统中,获取所述第一URL包括的作业标识对应的第一监控数据,所述监控报警系统中存储了作业标识与监控数据的对应关系;
在监控页面中展示所述第一监控数据。
第二方面,本申请实施例提供了一种流式作业处理装置,应用于可视化设备,所述装置包括:
显示单元,用于在前端页面中显示多个流式作业的作业名,以及所述多个流式作业的URL,以使用户基于所述前端页面中显示的多个流式作业的作业名,向所述可视化设备输入针对第一流式作业的第一URL的选择操作,每一流式作业的URL包括该流式作业的作业标识;
第一获取单元,用于当接收到所述选择操作时,从监控报警系统中,获取所述第一URL包括的作业标识对应的第一监控数据,所述监控报警系统中存储了作业标识与监控数据的对应关系;
展示单元,用于在监控页面中展示所述第一监控数据。
第三方面,本申请实施例提供了一种可视化设备,包括处理器和机器可读存储介质,所述机器可读存储介质存储有能够被所述处理器执行的机器可执行程序,所述处理器被所述机器可执行程序促使:实现上述任一所述的方法步骤。
第四方面,本申请实施例提供了一种机器可读存储介质,所述机器可读存储介质存储有能够被处理器执行的机器可执行程序,所述处理器被所述机器可执行程序促使:实现上述任一所述的方法步骤。
本申请实施例提供的技术方案中,前端页面显示所有流式作业的作业名和URL,用户基于前端页面显示的作业名,可以直观选择相应的流式作业的URL,进而在一个监控页面中显示选择的流式作业的监控数据。这样,一个监控页面中显示一个流式作业的监控数据,减少了一个监控页面需要显示的数据对应的流式作业的数量,而通过前端页面可以显示所有流式作业的作业名,可以保证通过多个监控页面分别显示各个流式作业的监控数据。这在保证通过监控页面显示所有流式作业的监控数据的同时,使得一个监控页面中显示一个流式作业的监控数据,便于区分不同流式作业的数据,提供了一个清晰、友好的界面。
当然,实施本申请的任一产品或方法必不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为相关技术中流式作业处理系统的示意图;
图2为本申请实施例提供的一种流式作业处理系统的示意图;
图3为本申请实施例提供的前端页面的一种示意图;
图4为本申请实施例提供的一种流式作业处理方法的一种示意图;
图5为本申请实施例提供的一种流式作业处理方法的另一种示意图;
图6为本申请实施例提供的监控页面的一种示意图;
图7为本申请实施例提供的一种流式作业处理方法的再一种示意图;
图8为本申请实施例提供的一种流式作业处理装置的一种示意图
图9为本申请实施例提供的一种可视化设备的一种示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
目前的流式作业处理系统如图1所示,包括流式作业集群11、监控报警系统12和可视化设备13。
其中,流式作业集群11可以为Flink集群。Flink集群执行流式作业。流式作业是指:将数据转换成流,并按照流来执行筛选、转换等操作的作业。
监控报警系统12可以包括Prometheus数据库。Prometheus是一个开源的服务监控系统和时间序列数据库。
可视化设备13可以包括Grafana。Grafana是一个跨平台的开源的度量分析和可视化工具。
监控报警系统12在配置文件(如Flink-conf.yaml)中配置相应的项,监控报警系统12基于配置文件,从流式作业集群11获取各个流式作业的监控数据,并将获取的监控数据存储至监控报警系统12中。
可视化设备13的数据源为监控报警系统12。可视化设备13从监控报警系统12中获取到各个流式作业的监控数据,在监控页面中显示获取到的所有流式作业的监控数据。监控页面可以为web(网络)页面。
随着被监控Flink作业的越来越多,上述流式作业方案提供的界面中展示的数据越来越多,不便于区分不同Flink作业的数据,进而该方案无法提供一个清晰、友好的界面。
为解决上述问题,本申请实施例提供了一种流式作业处理系统,如图2所示,包括流式作业集群21、监控报警系统22、可视化设备23和预设作业数据库24。其中,流式作业集群21可参考上述流式作业集群11中的介绍,此处不再赘述。
监控报警系统22从流式作业集群21获取各个流式作业的监控数据,并将获取的流式作业的监控数据与流式作业的jobID对应存储至监控报警系统22中。
本申请实施例中,预设作业数据库24可以为关系型数据库。预设作业数据库24中存储了流式作业的作业名、作业标识和URL的对应关系,如下表1所示。
表1
表示1,jobID表示流式作业的作业标识,jobID与流式作业为一一对应关系。jobName表示流式作业的作业名。URL包括固定前缀、固定后缀和流式作业的作业标识,即jobID。例如,URL为http://ip:port/固定前缀/jobID/固定后缀。URL包括的固定前缀和固定后缀指向相应的监控页面。各个流式作业的监控页面的URL前缀和后缀相同,唯一有差异的地方就是jobID。
预设作业数据库24可以通过Yarn接口,定时从流式作业集群21中获取流式作业的jobID和jobName,并基于流式作业的jobID生成流式作业的URL,并存储。预设作业数据库24的该功能,可以通过简单的编写Java代码实现。
可视化设备23提供了两个页面,一个是前端页面和一个是监控页面。监控页面可以通过Grafana实现,前端页面可以通过编写Java代码实现。可视化设备23获取预设作业数据库24中存储的流式作业的jobName和URL,在前端页面中显示多个流式作业的jobName,以及每个jobName绑定的该流式作业的URL。可以理解的,在前端页面中以列表的形式显示从预设作业数据库24中获取的流式作业的jobName和URL,如图3所示。
图3中,左侧显示的是流式作业的jobName,如DataAnalyze服务、dataCore服务、LogForward服务和业务告警服务等。右侧显示的是超链接,该超链接与左侧显示的jobName关联,该超链接即表示与左侧显示的jobName绑定的URL。
当用户基于前端页面中显示的jobName,点击右侧显示的超链接时,可视化设备23基于该超链接所表示的URL,从监控报警系统22中,获取该超链接绑定的URL包括的jobID对应的监控数据,并在监控页面中展示获取的监控数据。
本申请实施例提供的技术方案中,通过前端页面显示所有流式作业的作业名和URL,用户基于前端页面显示的作业名,可以直观选择相应的流式作业的URL,一个监控页面中显示选择的流式作业的监控数据。这样,一个监控页面中显示一个流式作业的监控数据,减少了一个监控页面需要显示的数据对应的流式作业的数量,而通过前端页面可以显示所有流式作业的作业名,可以保证通过多个监控页面分别显示各个流式作业的监控数据。这在保证通过监控页面显示所有流式作业的监控数据的同时,使得一个监控页面中显示一个流式作业的监控数据,便于区分不同流式作业的数据,提供了一个清晰、友好的界面。
下面通过具体实施例,对本申请实施例提供了一种流式作业处理方法进行详细说明。
参见图4,图4为本申请实施例提供的一种流式作业处理方法的一种示意图,该方法应用于可视化设备,包括如下步骤:
步骤S41,在前端页面中显示多个流式作业的作业名,以及多个流式作业的URL,以使用户基于前端页面中显示的多个流式作业的作业名,向可视化设备输入针对第一流式作业的第一URL的选择操作,每一流式作业的URL包括该流式作业的作业标识。
上述流式作业可以为Flink作业。在处理流式作业时,可视化设备在前端页面中显示多个流式作业的作业名,以及多个流式作业的URL,每一流式作业的作业名与该流式作业的URL关联。
这多个流式作业的作业名和URL可以为可视化设备预先从预设作业数据库中获取并存储在该可视化设备中的,也可以为在接收到展示监控页面的指令后才从预设作业数据库中获取的。本申请实施例对可视化设备获取流式作业的作业名和URL的方式不做具体限定。
步骤S42,当接收到上述选择操作时,从监控报警系统中,获取第一URL包括的作业标识对应的第一监控数据,监控报警系统中存储了作业标识与监控数据的对应关系。
在前端页面中显示了多个流式作业的作业名以及URL的情况下,用户可以基于前端页面展示的作业名,获知具有由哪些流式作业的监控数据,进而点击选中前端页面中需要在监控页面中显示的流式作业的URL。为便于理解,这里以用户点击选中前端页面中的第一流式作业的第一URL为例进行说明。
可视化设备在接收到针对第一流式作业的第一URL的选择操作时,可以获取到第一URL包括的作业标识,进而从监控报警系统中,获取第一URL包括的作业标识对应的监控数据,即第一监控数据。
步骤S43,在监控页面中展示第一监控数据。
本申请实施例中,可视化设备在获取到第一监控数据后,在监控页面中展示第一监控数据。
本申请实施例提供的技术方案中,前端页面显示所有流式作业的作业名和URL,用户基于前端页面显示的作业名,可以直观选择相应的流式作业的URL,进而在一个监控页面中显示选择的流式作业的监控数据。这样,一个监控页面中显示一个流式作业的监控数据,减少了一个监控页面需要显示的数据对应的流式作业的数量,而通过前端页面可以显示所有流式作业的作业名,可以保证通过多个监控页面分别显示各个流式作业的监控数据。这在保证通过监控页面显示所有流式作业的监控数据的同时,使得一个监控页面中显示一个流式作业的监控数据,便于区分不同流式作业的数据,提供了一个清晰、友好的界面。
此外,本申请实施例中,将所有的流式作业以作业名加URL的形式展示在一个前端页面中。一方面可以做到见名知义,另一方面前端页面由用户实现,灵活性更大,即使在大量流式作业需要监控的情况下也可以以简单、清晰的方式呈现。
在本申请的一个实施例中,每一流式作业的URL还可以包括展示该流式作业的监控页面所对应的固定前缀和固定后缀。这种情况下,参见图5,上述步骤S43可以细化为如下步骤:
步骤S431,根据第一URL包括的固定前缀和固定后缀,确定展示第一流式作业的监控页面。
本申请实施例中,可视化设备可以提供多种监控页面,每种监控页面具有与其对应的固定前缀和固定后缀。针对每个流式作业,在确定展示该流式作业的监控页面时,基于确定该流式作业的监控页面的固定前缀和固定后缀,生成该流式作业的URL。这里,生成URL的流程可以在可视化设备上实现,也可以在预设作业数据库上实现,对此不做限定。
可视化设备当接收到点击所述前端页面中的第一流式作业的作业名的操作时,根据第一URL包括的固定前缀和固定后缀,可唯一的确定展示第一流式作业的监控页面。
步骤S432,在所确定的监控页面中展示第一监控数据。
在确定展示第一流式作业的监控页面后,可视化设备在所确定的监控页面中展示第一监控数据。
本申请实施例中,基于URL包括的固定前缀和固定后缀,确定监控页面,并在该监控页面展示监控数据。这种情况下,基于不同的需求,可以设定不同的监控页面,并通过URL找到该监控页面,并用于显示监控数据。这实现了监控数据显示的灵活性。
在本申请的一个实施例中,监控页面中多个图表展示区域,可视化设备中预先记录了每个图表展示区域对应的展示类型、以及每个图表展示区域对应的监控指标。其中,展示类型可以包括但不限于折线图、柱状图和饼状图等。监控指标可以包括但不限于CPU(Central Processing Unit,中央处理器)占用情况、内存占用情况和运行速率等。
这种情况下,上述步骤S43可以为:针对监控页面中每个图表展示区域,按照该图表展示区域对应的展示类型,在该图表展示区域中展示第一监控数据中该图表展示区域对应的监控指标的数据。
例如,如图6所示的监控页面a,包括2个图表展示区域,分别为图表展示区域a1和图表展示区域a2。图表展示区域a1对应的展示类型为折线图,图表展示区域a1对应的监控指标为CPU占用情况;图表展示区域a2对应的展示类型为柱状图,图表展示区域a2对应的监控指标为内存占用情况。
可视化设备确定展示流式作业s的监控数据s的监控页面为监控页面a,则在图表展示区域a1中,以折线图的形式展示监控数据s中CPU占用情况的数据,在图表展示区域a2中,以折线图的形式展示监控数据s中内存占用情况的数据。
在本申请的一个实施例中,若生成URL的流程在预设作业数据库上实现,也就是,预设作业数据库定时从流式作业集群中获取流式作业的作业名和作业标识,并基于流式作业的作业标识生成流式作业的URL,预设作业数据库中存储了流式作业的作业名、作业标识和URL的对应关系。
这种情况下,在前端页面中显示多个流式作业的作业名,以及多个流式作业的URL之前,可视化设备获取预设作业数据库中存储的多个流式作业的作业名和多个流式作业的URL,进而在前端页面中显示多个流式作业的作业名,以及多个流式作业的URL,每一流式作业的作业名与该流式作业的URL关联。
本申请实施例中,生成URL的流程在预设作业数据库上实现,减轻了可视化设备的负担。
上述提供的各个实施例可以相互结合,对此不做限定。下面结合图7所示的流式作业处理系统的信令图,对本申请实施例提供的流式作业处理方法进行说明。
步骤S71,监控报警系统定时从流式作业集群获取流式作业的监控数据以及流式作业的作业标识,并在监控报警系统的数据库中存储流式作业的作业标识与监控数据的对应关系。
步骤S72,预设作业数据库定时从流式作业集群中获取流式作业的作业名和作业标识,基于流式作业的作业标识生成流式作业的URL,并将流式作业的作业名、作业标识和URL对应存储在预设作业数据库中。
步骤S73,可视化设备获取预设作业数据库中存储的流式作业的作业名和URL。
步骤S74,可视化设备在前端页面中显示获取的流式作业的作业名和URL,每一流式作业的作业名与该流式作业的URL关联。
步骤S75,可视化设备接收点针对第一流式作业的第一URL的选择操作。
该选择操作可以为用户直接输入可视化设备的,也可以为用户通过其他设备(如键盘、鼠标等)输入可视化设备的,对此不做限定。
步骤S76,可视化设备根据上述选择操作,从监控报警系统中,获取第一流式作业的第一URL包括的作业标识对应的第一监控数据。
步骤S77,可视化设备根据第一URL包括的固定前缀和固定后缀,确定展示第一流式作业的监控页面。
步骤S78,针对所确定的监控页面中每个图表展示区域,可视化设备按照该图表展示区域对应的展示类型,在该图表展示区域中展示第一监控数据中该图表展示区域对应的监控指标的数据。
上述步骤S71-S78部分描述相对简单,具体参见上述图2-6部分的描述。
与上述流式作业处理方法对应,本申请实施例还提供了一种流式作业处理装置。参见图8,图8为本申请实施例提供的一种流式作业处理装置的一种示意图,应用于可视化设备,该装置包括:
显示单元81,用于在前端页面中显示多个流式作业的作业名,以及多个流式作业的URL,以使用户基于前端页面中显示的多个流式作业的作业名,向可视化设备输入针对第一流式作业的第一URL的选择操作,每一流式作业的URL包括该流式作业的作业标识;
第一获取单元82,用于当接收到上述选择操作时,从监控报警系统中,获取第第一URL包括的作业标识对应的第一监控数据,监控报警系统中存储了作业标识与监控数据的对应关系;
展示单元83,用于在监控页面中展示第一监控数据。
在本申请的一个实施例中,每一流式作业的URL还包括展示该流式作业的监控页面所对应的固定前缀和固定后缀;
展示单元83,具体可以用于根据第一URL包括的固定前缀和固定后缀,确定展示第一流式作业的监控页面;在所确定的监控页面中展示第一监控数据。
在本申请的一个实施例中,监控页面中多个图表展示区域,可视化设备中预先记录了每个图表展示区域对应的展示类型、以及每个图表展示区域对应的监控指标;
展示单元83,具体可以用于针对监控页面中每个图表展示区域,按照该图表展示区域对应的展示类型,在该图表展示区域中展示第一监控数据中该图表展示区域对应的监控指标的数据。
在本申请的一个实施例中,上述流式作业处理装置还可以包括:
第二获取单元,用于在前端页面中显示多个流式作业的作业名之前,获取预设作业数据库中存储的多个流式作业的作业名和多个流式作业的URL,预设作业数据库用于定时从流式作业集群中获取流式作业的作业名和作业标识,并基于流式作业的作业标识生成流式作业的URL。
本申请实施例提供的技术方案中,前端页面显示所有流式作业的作业名和URL,用户基于前端页面显示的作业名,可以直观选择相应的流式作业的URL,进而在一个监控页面中显示选择的流式作业的监控数据。这样,一个监控页面中显示一个流式作业的监控数据,减少了一个监控页面需要显示的数据对应的流式作业的数量,而通过前端页面可以显示所有流式作业的作业名,可以保证通过多个监控页面分别显示各个流式作业的监控数据。这在保证通过监控页面显示所有流式作业的监控数据的同时,使得一个监控页面中显示一个流式作业的监控数据,便于区分不同流式作业的数据,提供了一个清晰、友好的界面。
与上述流式作业处理方法对应,本申请实施例还提供了一种可视化设备,如图9所示,包括处理器91和机器可读存储介质92,机器可读存储介质92存储有能够被处理器91执行的机器可执行程序。处理器91被机器可执行程序促使实现上述图2-图7所示的任一步骤。
与上述流式作业处理方法对应,本申请实施例还提供了一种机器可读存储介质,机器可读存储介质存储有能够被处理器执行的机器可执行程序。处理器被机器可执行程序促使实现上述图2-图7所示的任一步骤。
上述机器可读存储介质可以包括RAM(Random Access Memory,随机存取存储器),也可以包括NVM(Non-Volatile Memory,非易失性存储器),例如至少一个磁盘存储器。另外,机器可读存储介质还可以是至少一个位于远离前述处理器的存储装置。
上述处理器可以是通用处理器,包括CPU(Central Processing Unit,中央处理器)、NP(Network Processor,网络处理器)等;还可以是DSP(Digital Signal Processing,数字信号处理器)、ASIC(Application Specific Integrated Circuit,专用集成电路)、FPGA(Field-Programmable Gate Array,现场可编程门阵列)或其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于流式作业处理装置、可视化设备和机器可读存储介质实施例而言,由于其基本相似于流式作业处理方法实施例,所以描述的比较简单,相关之处参见流式作业处理方法实施例的部分说明即可。
以上所述仅为本申请的较佳实施例而已,并非用于限定本申请的保护范围。凡在本申请的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本申请的保护范围内。
Claims (10)
1.一种流式作业处理方法,其特征在于,应用于可视化设备,所述方法包括:
在前端页面中显示多个流式作业的作业名,以及所述多个流式作业的统一资源定位系统URL,以使用户基于所述前端页面中显示的多个流式作业的作业名,向所述可视化设备输入针对第一流式作业的第一URL的选择操作,每一流式作业的URL包括该流式作业的作业标识;
当接收到所述选择操作时,从监控报警系统中,获取所述第一URL包括的作业标识对应的第一监控数据,所述监控报警系统中存储了作业标识与监控数据的对应关系;
在监控页面中展示所述第一监控数据。
2.根据权利要求1所述的方法,其特征在于,每一流式作业的URL还包括展示该流式作业的监控页面所对应的固定前缀和固定后缀;
所述在监控页面展示所述第一监控数据的步骤,包括:
根据所述第一URL包括的固定前缀和固定后缀,确定展示所述第一流式作业的监控页面;
在所确定的监控页面中展示所述第一监控数据。
3.根据权利要求1所述的方法,其特征在于,所述监控页面中多个图表展示区域,所述可视化设备中预先记录了每个图表展示区域对应的展示类型、以及每个图表展示区域对应的监控指标;
所述在监控页面中展示所述第一监控数据的步骤,包括:
针对监控页面中每个图表展示区域,按照该图表展示区域对应的展示类型,在该图表展示区域中展示所述第一监控数据中该图表展示区域对应的监控指标的数据。
4.根据权利要求1所述的方法,其特征在于,在前端页面中显示多个流式作业的作业名之前,所述方法还包括:
获取预设作业数据库中存储的所述多个流式作业的作业名和所述多个流式作业的URL,所述预设作业数据库中存储了流式作业的作业名、作业标识和URL的对应关系,所述预设作业数据库用于定时从流式作业集群中获取流式作业的作业名和作业标识,并基于流式作业的作业标识生成流式作业的URL。
5.一种流式作业处理装置,其特征在于,应用于可视化设备,所述装置包括:
显示单元,用于在前端页面中显示多个流式作业的作业名,以及所述多个流式作业的统一资源定位系统URL,以使用户基于所述前端页面中显示的多个流式作业的作业名,向所述可视化设备输入针对第一流式作业的第一URL的选择操作,每一流式作业的URL包括该流式作业的作业标识;
第一获取单元,用于当接收到所述选择操作时,从监控报警系统中,获取所述第一URL包括的作业标识对应的第一监控数据,所述监控报警系统中存储了作业标识与监控数据的对应关系;
展示单元,用于在监控页面中展示所述第一监控数据。
6.根据权利要求5所述的装置,其特征在于,每一流式作业的URL还包括展示该流式作业的监控页面所对应的固定前缀和固定后缀;
所述展示单元,具体用于根据所述第一URL包括的固定前缀和固定后缀,确定展示所述第一流式作业的监控页面;在所确定的监控页面中展示所述第一监控数据。
7.根据权利要求5所述的装置,其特征在于,所述监控页面中多个图表展示区域,所述可视化设备中预先记录了每个图表展示区域对应的展示类型、以及每个图表展示区域对应的监控指标;
所述展示单元,具体用于针对监控页面中每个图表展示区域,按照该图表展示区域对应的展示类型,在该图表展示区域中展示所述第一监控数据中该图表展示区域对应的监控指标的数据。
8.根据权利要求5所述的装置,其特征在于,所述装置还包括:
第二获取单元,用于在前端页面中显示多个流式作业的作业名之前,获取预设作业数据库中存储的所述多个流式作业的作业名和所述多个流式作业的URL,所述预设作业数据库用于定时从流式作业集群中获取流式作业的作业名和作业标识,并基于流式作业的作业标识生成流式作业的URL。
9.一种可视化设备,其特征在于,包括处理器和机器可读存储介质,所述机器可读存储介质存储有能够被所述处理器执行的机器可执行程序,所述处理器被所述机器可执行程序促使:实现权利要求1-4任一所述的方法步骤。
10.一种机器可读存储介质,其特征在于,所述机器可读存储介质存储有能够被处理器执行的机器可执行程序,所述处理器被所述机器可执行程序促使:实现权利要求1-4任一所述的方法步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011314803.6A CN112306818B (zh) | 2020-11-20 | 2020-11-20 | 一种流式作业处理方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011314803.6A CN112306818B (zh) | 2020-11-20 | 2020-11-20 | 一种流式作业处理方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112306818A true CN112306818A (zh) | 2021-02-02 |
CN112306818B CN112306818B (zh) | 2022-03-22 |
Family
ID=74335080
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011314803.6A Active CN112306818B (zh) | 2020-11-20 | 2020-11-20 | 一种流式作业处理方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112306818B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113626285A (zh) * | 2021-07-30 | 2021-11-09 | 平安普惠企业管理有限公司 | 基于模型的作业监控方法、装置、计算机设备和存储介质 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102664749A (zh) * | 2012-04-09 | 2012-09-12 | 北京航空航天大学 | 一种可配置遥测数据的监控系统 |
US8312075B1 (en) * | 2006-11-29 | 2012-11-13 | Mcafee, Inc. | System, method and computer program product for reconstructing data received by a computer in a manner that is independent of the computer |
US20140222721A1 (en) * | 2013-02-05 | 2014-08-07 | scenarioDNA | System and method for culture mapping |
US8832176B1 (en) * | 2012-05-09 | 2014-09-09 | Google Inc. | Method and system for processing a large collection of documents |
CN104615526A (zh) * | 2014-12-05 | 2015-05-13 | 北京航空航天大学 | 一种大数据平台的监控系统 |
CN106874342A (zh) * | 2016-12-23 | 2017-06-20 | 新华三技术有限公司 | 一种页面显示方法及装置 |
CN108876279A (zh) * | 2018-04-19 | 2018-11-23 | 广州南方卫星导航仪器有限公司 | 一种疏浚施工监控方法、系统、电子设备及存储介质 |
CN110427232A (zh) * | 2019-06-18 | 2019-11-08 | 平安科技(深圳)有限公司 | 页面管理方法、装置、计算机设备及存储介质 |
-
2020
- 2020-11-20 CN CN202011314803.6A patent/CN112306818B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8312075B1 (en) * | 2006-11-29 | 2012-11-13 | Mcafee, Inc. | System, method and computer program product for reconstructing data received by a computer in a manner that is independent of the computer |
CN102664749A (zh) * | 2012-04-09 | 2012-09-12 | 北京航空航天大学 | 一种可配置遥测数据的监控系统 |
US8832176B1 (en) * | 2012-05-09 | 2014-09-09 | Google Inc. | Method and system for processing a large collection of documents |
US20140222721A1 (en) * | 2013-02-05 | 2014-08-07 | scenarioDNA | System and method for culture mapping |
CN104615526A (zh) * | 2014-12-05 | 2015-05-13 | 北京航空航天大学 | 一种大数据平台的监控系统 |
CN106874342A (zh) * | 2016-12-23 | 2017-06-20 | 新华三技术有限公司 | 一种页面显示方法及装置 |
CN108876279A (zh) * | 2018-04-19 | 2018-11-23 | 广州南方卫星导航仪器有限公司 | 一种疏浚施工监控方法、系统、电子设备及存储介质 |
CN110427232A (zh) * | 2019-06-18 | 2019-11-08 | 平安科技(深圳)有限公司 | 页面管理方法、装置、计算机设备及存储介质 |
Non-Patent Citations (2)
Title |
---|
APARNA DATT ET AL: "Monitoring List for Compute Infrastructure in Eucalyptus Cloud", < 2015 IEEE 24TH INTERNATIONAL CONFERENCE ON ENABLING TECHNOLOGIES: INFRASTRUCTURE FOR COLLABORATIVE ENTERPRISES> * |
张彦: "基于metrics的性能监测系统的设计与实现", 《中国硕士学位论文全文数据库》 * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113626285A (zh) * | 2021-07-30 | 2021-11-09 | 平安普惠企业管理有限公司 | 基于模型的作业监控方法、装置、计算机设备和存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN112306818B (zh) | 2022-03-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10831649B2 (en) | Trace management | |
CN106649063B (zh) | 用于监测程序运行时耗时数据的方法及系统 | |
US11860717B1 (en) | Graphical user interface for presenting crash data | |
CN110830311B (zh) | 网络质量探测方法、装置、设备和存储介质 | |
JP2005346414A (ja) | トレース処理プログラム、方法及び装置 | |
CN105119783B (zh) | 网络请求数据的检测方法及装置 | |
CN109002334B (zh) | 一种运维平台及其数据处理方法 | |
CN109388791B (zh) | 图表动态展示方法、装置、计算机设备及存储介质 | |
KR20120115477A (ko) | 트랜잭션을 논리적 서브시스템들의 맵을 통하는 흐름들로서 시각화하는 방법 | |
KR20120115478A (ko) | 트랜잭션 트레이스 그래프와 논리적 서브시스템들의 맵 사이의 관계들을 시각화하는 방법 | |
CN110263070B (zh) | 事件上报方法及装置 | |
US20130046779A1 (en) | Efficiently Collecting Transaction-Separated Metrics In A Distributed Environment | |
US20130047169A1 (en) | Efficient Data Structure To Gather And Distribute Transaction Events | |
CN114785690B (zh) | 基于服务网格的监控方法及相关设备 | |
Agrawal et al. | Log-based cloud monitoring system for OpenStack | |
CN112306818B (zh) | 一种流式作业处理方法及装置 | |
US10289520B2 (en) | Adaptive application performance analysis | |
CN107330031B (zh) | 一种数据存储的方法、装置及电子设备 | |
JP4778092B2 (ja) | トレース処理方法、プログラム及び装置 | |
CN107451056B (zh) | 监听接口测试结果的方法及装置 | |
CN110943887B (zh) | 探针调度方法、装置、设备和存储介质 | |
CN104951920B (zh) | 服务界面处理装置和方法 | |
US11758021B2 (en) | System for processing coherent data | |
US9485132B2 (en) | Automated SAN network topological diagram and point-to-point cabling creation for customers environments | |
CN115102845B (zh) | 一种api网关故障定位方法、装置、系统和介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |