CN116467346A - 基于数据仓库的任务展示方法、装置、终端设备及介质 - Google Patents
基于数据仓库的任务展示方法、装置、终端设备及介质 Download PDFInfo
- Publication number
- CN116467346A CN116467346A CN202310281260.XA CN202310281260A CN116467346A CN 116467346 A CN116467346 A CN 116467346A CN 202310281260 A CN202310281260 A CN 202310281260A CN 116467346 A CN116467346 A CN 116467346A
- Authority
- CN
- China
- Prior art keywords
- task
- parameter information
- state
- displayed
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 46
- 238000011144 upstream manufacturing Methods 0.000 claims abstract description 76
- 238000005070 sampling Methods 0.000 claims description 29
- 238000004590 computer program Methods 0.000 claims description 17
- 230000008439 repair process Effects 0.000 abstract description 6
- 230000002159 abnormal effect Effects 0.000 abstract description 4
- 238000013500 data storage Methods 0.000 abstract description 3
- 230000011218 segmentation Effects 0.000 description 8
- 238000001514 detection method Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 5
- 238000009877 rendering Methods 0.000 description 5
- 239000013598 vector Substances 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000000178 monomer Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000002035 prolonged effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2455—Query execution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/23—Updating
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/248—Presentation of query results
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/283—Multi-dimensional databases or data warehouses, e.g. MOLAP or ROLAP
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Debugging And Monitoring (AREA)
Abstract
本申请适用于数据存储技术领域,尤其涉及一种基于数据仓库的任务展示方法、装置、终端设备及介质。本申请在所有任务执行时,调用所有任务的两个调用接口进行采集,得到第一参数信息和第二参数信息,则根据任务的第一参数信息和第二参数信息中的当前任务状态,确定任务的目标任务状态,根据每个任务的目标任务状态,展示对应的任务,针对任一展示的任务,根据展示的任务对应的上游任务名称,在所有展示的任务中确定对应的目标任务,将展示的任务连接在目标任务的后端。本申请中,根据不同任务的展示结果确定任务的执行状态,可以精确定位出现异常的任务位置,从而快速修复该任务中的数据,提高数据修复效率。
Description
技术领域
本申请适用于数据存储技术领域,尤其涉及一种基于数据仓库的任务展示方法、装置、终端设备及介质。
背景技术
随着大数据时代的兴起,数据仓库从原始的单体关系型数据库,转换成了基于大数据平台的数据库。很多公司在大数据仓库上所运行的程序基本都是超过1千个。虽然大数据平台调度工具比较多,但基本有一个致命缺陷,在任务的依赖只能看到本身的上线和下线时,无法知道该任务对应的最上游任务和最下游任务,当任务出现异常时,无法整体且快速找到核心问题点,最终导致大数据平台的数据库中数据修复效率较低,因此,如何提高大数据平台数据库中数据修复效率成为亟需解决的问题。
发明内容
有鉴于此,本申请实施例提供了一种基于数据仓库的任务展示方法、装置、终端设备及介质,以解决大数据平台的数据库中数据修复效率较低的问题。
第一方面,本申请实施例提供一种基于数据仓库的任务展示方法,在所述数据仓库中任一任务的开始部分和结束部分均配置一调用接口,所述任务展示方法包括:
在所有任务执行时,调用所有任务的两个调用接口进行采集,得到第一参数信息和第二参数信息,每个参数信息均包括当前任务名称、上游任务名称和当前任务状态;
针对任一任务,若所述任务的第一参数信息和第二参数信息中当前任务名称相同,且上游任务名称相同,则根据所述任务的第一参数信息和第二参数信息中的当前任务状态,确定所述任务的目标任务状态;
根据每个任务的目标任务状态,展示对应的任务,其中,不同的目标任务状态对应展示的展示结果不相同;
针对任一展示的任务,根据所述展示的任务对应的上游任务名称,在所有展示的任务中确定对应的目标任务,将所述展示的任务连接在所述目标任务的后端。
第二方面,本申请实施例提供一种基于数据仓库的任务展示装置,在所述数据仓库中任一任务的开始部分和结束部分均配置一调用接口,所述任务展示装置包括:
信息采集模块,用于在所有任务执行时,调用所有任务的两个调用接口进行采集,得到第一参数信息和第二参数信息,每个参数信息均包括当前任务名称、上游任务名称和当前任务状态;
状态确定模块,用于针对任一任务,若所述任务的第一参数信息和第二参数信息中当前任务名称相同,且上游任务名称相同,则根据所述任务的第一参数信息和第二参数信息中的当前任务状态,确定所述任务的目标任务状态;
任务展示模块,用于根据每个任务的目标任务状态,展示对应的任务,其中,不同的目标任务状态对应展示的展示结果不相同;
任务关系展示模块,用于针对任一展示的任务,根据所述展示的任务对应的上游任务名称,在所有展示的任务中确定对应的目标任务,将所述展示的任务连接在所述目标任务的后端。
第三方面,本申请实施例提供一种终端设备,所述终端设备包括处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如第一方面所述的基于数据仓库的任务展示方法。
第四方面,本申请实施例提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现如第一方面所述的基于数据仓库的任务展示方法。
本申请实施例与现有技术相比存在的有益效果是:
本申请在所有任务执行时,调用所有任务的两个调用接口进行采集,得到第一参数信息和第二参数信息,每个参数信息均包括当前任务名称、上游任务名称和当前任务状态,针对任一任务,若任务的第一参数信息和第二参数信息中当前任务名称相同,且上游任务名称相同,则根据任务的第一参数信息和第二参数信息中的当前任务状态,确定任务的目标任务状态,根据每个任务的目标任务状态,展示对应的任务,其中,不同的目标任务状态对应展示的展示结果不相同,针对任一展示的任务,根据展示的任务对应的上游任务名称,在所有展示的任务中确定对应的目标任务,将展示的任务连接在目标任务的后端。本申请中,根据不同任务的展示结果确定任务的执行状态,可以精确定位出现异常的任务位置,从而快速修复该任务中的数据,提高数据修复效率。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例一提供的一种基于数据仓库的任务展示方法的一应用环境示意图;
图2是本申请实施例二提供的一种基于数据仓库的任务展示方法的流程示意图;
图3是本申请实施例三提供的一种基于数据仓库的任务展示装置的结构示意图;
图4是本申请实施例四提供的一种终端设备的结构示意图。
具体实施方式
以下描述中,为了说明而不是为了限定,提出了诸如特定系统结构、技术之类的具体细节,以便透彻理解本申请实施例。然而,本领域的技术人员应当清楚,在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中,省略对众所周知的系统、装置、电路以及方法的详细说明,以免不必要的细节妨碍本申请的描述。
应当理解,当在本申请说明书和所附权利要求书中使用时,术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在,但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解,在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合,并且包括这些组合。
如在本申请说明书和所附权利要求书中所使用的那样,术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地,短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
另外,在本申请说明书和所附权利要求书的描述中,术语“第一”、“第二”、“第三”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此,在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例,而是意味着“一个或多个但不是所有的实施例”,除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”,除非是以其他方式另外特别强调。
应理解,以下实施例中各步骤的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成任何限定。
为了说明本申请的技术方案,下面通过具体实施例来进行说明。
本申请实施例一提供的一种基于数据仓库的任务展示方法,可应用在如图1的应用环境中,其中,客户端与服务端进行通信。其中,客户端包括但不限于智能电视、掌上电脑、桌上型计算机、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer,UMPC)、上网本、云端终端设备、个人数字助理(personal digital assistant,PDA)等设备。服务端可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
参见图2,是本申请实施例二提供的一种基于数据仓库的任务展示方法的流程示意图,上述任务展示方法应用于上述服务端,用户通过在客户端将任务数据上传至服务端,服务端获取对应的任务数据展示对应任务状态,并将任务数据存储于与其连接数据库中,数据库可以为一个或者多个。如图2所示,该任务展示方法可以包括以下步骤:
步骤S201,在所有任务执行时,调用所有任务的两个调用接口进行采集,得到第一参数信息和第二参数信息。
在步骤S201中,数据仓库中任一任务的开始部分和结束部分均配置一调用接口,调用所有任务的两个调用接口进行采集,得到第一参数信息和第二参数信息,每个参数信息均包括当前任务名称、上游任务名称和当前任务状态。
本实施例中,对任一任务的开始部分和结束部分均配置一调用接口时,可以根据数据仓库中每个任务进行配置,对调用接口进行参数配置,当不同任务的调用接口进行参数配置后,将调用接口封装后储存至数据库中,调用接口在存储至数据库之前进行数据清洗及格式的标准化处理,将汇总后的调用接口进行存储,基于各个调用接口在数据库中所对应数据存储地址,从数据库中提取对应的调用接口执行调用任务。配置完成后,确定各个任务对应的调用接口以及调用接口的调用顺序。
需要对各个调用接口之间进行入参、出参的配置,使不同的调用接口之间具备设定的调用顺序,实现对应的调用任务。以此类推,对数据仓库任务中所有调用接口的出参与入参进行设置。
需要说明的是,在对调用接口进行参数配置时,可以根据数据仓库中的各个任务的描述文档进行配置,各个任务的描述文档用于记载不同任务的任务名称、任务内容、任务流程等数据。提取描述文档的核心语义,提取核心语义时,由于每个描述文档中可能包含大量的语句,且每个语句的长度可能较长,若直接对描述文档进行分析,会占用大量的计算资源,因此,可对描述文档进行分词处理,将描述文档划分为文档分词,以提高后续对描述文档进行分析的效率。
具体地,可将描述文档按照不同的数据长度在预设的词典中进行检索,汇集从词典中检索到的与描述文档中相同的词语为描述文档的文档分词。其中,词典为预先构建的包含多个标准分词的词典,可将描述文档,按照不同的数据长度在词典中进行检索,当检索到与描述文档中相同的词语时,则确认检索到的词语为描述文档的文档分词。本实施例中,可利用预设的word2vec算法、bert算法、one-hot算法将文档分词中每一个分词转换为分词向量。由于文档分词中包含多个分词,且每一个分词转换得到的分词向量的长度不一定相同,因此,为了后续对分词进行分析时的便捷性,可利用预设参数将分词向量中每一个向量的向量长度延长为统一的长度。
根据提取的描述文档的核心语义,为调用接口配置对应的调用参数。
当数据仓库中任一任务的开始部分和结束部分均配置一调用接口后,执行对应的任务时,调用对应的调用接口,采集对应任务的第一参数信息与第二参数信息,每个参数信息均包括当前任务名称、上游任务名称和当前任务状态。
需要说明时,当执行对应任务时,向对应调用接口发送对应的调用请求,根据调用请求调用对应的调用接口,通过调用接口采集调用接口对应任务的参数信息,每个任务的开始部分对应的调用接口与结束部分对应的接口分别记录任务名称、任务类名称、时间、状态、上游任务名称、上游类任务名称参数,将记录到的任务名称、任务类名称、时间、状态、上游任务名称、上游类任务名称参数储存至数据仓库中。
例如,任一任务中,任务名称可以为启播观影记录时长,任务类名称可以为urationOfOpeningViewing,时间可以为2023-01-01 02:00:00,状态可以为开始,上游任务名称可以为启播观影记录,上游类名称可以为OpenBroadcastVie wingRecord。另一任务中,任务名称可以为启播观影记录时长,任务类名称可以为urationOfOpeningViewing,时间可以为2023-01-01 02:00:00,状态可以为结束,上游任务名称可以为启播观影记录,上游类名称可以为OpenBroadcastV iewingRecord。另一任务中,任务名称可以为启播报表,任务类名称可以为Sta rtbroadcastreport,时间可以为2023-01-01 02:00:00,状态可以为结束,上游任务名称可以为启播观影记录时长,上游类名称可以为OpenBroadcastViewingRe cord。
需要说明的是,上游任务与下游任务之间是一对多的对应关系,即下游任务对应一个上游任务,一个上游任务可以对应多个下游任务,例如,上游任务为启播观影记录时长时,可以对应下游任务启播报表与下游任务启播指标等,上游任务启播观影记录时长对应多个下游任务,但下游任务启播报表或者下游任务启播指标只对应一个上游任务为启播观影记录时长。
步骤S202,针对任一任务,若任务的第一参数信息和第二参数信息中当前任务名称相同,且上游任务名称相同,则根据任务的第一参数信息和第二参数信息中的当前任务状态,确定任务的目标任务状态。
在步骤S202中,根据第一参数信息与第二参数信息中的任务名称,以及上游任务名称确定对应任务是否为同一个任务,当任务的第一参数信息和第二参数信息中当前任务名称相同,且上游任务名称相同时,当第一参数信息和第二参数信息为同一个任务中的信息参数,当确定第一参数信息和第二参数信息对应为同一个任务时,根据任务的第一参数信息和第二参数信息中的当前任务状态,确定任务的目标任务状态。
本实施例中,针对任一任务,判断任务的任务名称是否相等,当任务的任务名称相等时,判断任务的上游任务名称是否也相等,当任务对应的上游任务名称也相等时,则根据任务的第一参数信息和第二参数信息中的当前任务状态,确定任务的目标任务状态。
例如,任务中的第一参数信息的当前任务名称为启播指标,第二参数信息中的当前任务名称也为启播指标时,第一参数信息中的上游任务名称为启播观影记录时长,第二参数信息中的上游任务名称也为启播观影记录时长时,可以确定执行中的任务为同一个任务,调用的调用接口为同一个任务中的开始部分的调用接口与结束部分的调用接口。
当第一参数信息与第二参数信息对应的当前任务为同一任务时,则根据任务的第一参数信息和第二参数信息中的当前任务状态,确定任务的目标任务状态。
可选地,每个参数信息均还包括采集时间,在根据任务的第一参数信息和第二参数信息中的当前任务状态,确定任务的目标任务状态之前,还包括:
检测任务的第一参数信息和第二参数信息中的采样时间的差异是否小于时间阈值;
若检测到任务的第一参数信息和第二参数信息中的采样时间的差异小于时间阈值,则确定任务的第一参数信息和第二参数信息为真,执行根据任务的第一参数信息和第二参数信息中的当前任务状态,确定任务的目标任务状态的步骤。
本实施例中,对当前任务中开始时的第一参数信息中的采样时间与当前任务结束时的第二参数信息中的采样时间之间的时间间隔进行检测,根据检测结果,判断第一参数与第二参数是否为真实参数。当检测到当前任务的第一参数信息和第二参数信息中的采样时间的差异小于时间阈值,则确定任务的第一参数信息和第二参数信息为真,根据真实数据第一参数信息与第二参数信息确定任务的目标任务状态的步骤,提高确定任务的目标任务状态的准确性,其中时间阈值可以根据具体情况而定,当执行任务需要较长时间时,可以将时间阈值设置为较大数值,当执行任务需要时间较短时,可以将时间阈值设置为较小数值。
例如,设置时间阈值为k,当任务名称为启播观影记录时长时,采样到的第一参数信息中对应的采样时间为2023-01-01 02:00:00,第二参数信息中的采样时间为2023-01-01 02:03:00,第一参数信息中的采样时间与第二参数信息中的采样时间之间的时间差异为3分钟,当k大于3时,认为采样到的第一参数信息与第二参数信息为真,否则,认为采样到的第一参数与第二参数为假,第一参数信息与第二参数信息不能用于确定对应任务的目标任务状态。
另一实施例中,确定对应任务中的第一参数信息与第二参数信息是否为真时,还可以根据第一参数信息与第二参数信息中的采样状态确定,采样状态包括开始与结束,第一参数信息为任务中开始部分的调用接口采集到的参数,第一参数信息中的采样状态为开始,第二参数信息为任务中结束部分调用接口采集到的参数,第二参数信息的采样状态为结束,检测第一参数信息中的采样状态与第二参数信息中的采样状态是否为对应的开始状态与结束状态,当第一参数信息中的采样状态为开始状态,且第二参数信息中的采样状态为结束状态时,认为第一参数信息与第二参数信息为真。第一参数信息与第二参数信息中的采样状态为其余的采样状态时,认为第一参数信息与第二参数信息为假。例如,第一参数信息中的采样状态为开始状态,且第二参数信息中的采样状态也为开始状态时,认为第一参数信息与第二参数信息为假。第一参数信息中的采样状态为结束状态,且第二参数信息中的采样状态也为结束状态时,认为第一参数信息与第二参数信息为假。第一参数信息中的采样状态为结束状态,且第二参数信息中的采样状态也为开始状态时,认为第一参数信息与第二参数信息为假。
确定任务的第一参数信息和第二参数信息为真后,执行根据任务的第一参数信息和第二参数信息中的当前任务状态,确定任务的目标任务状态的步骤。
可选地,根据任务的第一参数信息和第二参数信息中的当前任务状态,确定任务的目标任务状态包括:
若任务的第一参数信息和第二参数信息中的当前任务状态均为完成,则确定执行成功状态为任务的目标任务状态。
本实施例中,根据第一参数信息和第二参数信息中的当前任务状态,确定对应任务的目标任务状态,当前任务状态包括完成状态、未完成状态与执行失败状态,若任务的第一参数信息和第二参数信息中的当前任务状态均为完成,则确定执行成功状态为任务的目标任务状态。
例如,当任务启播观影记录时长为当前任务时,第一参数信息中的当前任务状态为完成,第二参数信息中的当前任务状态也为完成,则认为执行启播观影记录时长任务时,执行成功。目标任务状态为执行成功状态。当数据库仓库中存在任务执行失败状态时,对任务执行失败状态的数据进行修复时,可以省略对启播观影记录时长任务中数据的检测与定位,提高对待修复数据的修复效率。
需要说明的是,目标任务状态包括执行成功状态、未执行状态与执行失败状态。
可选地,根据任务的第一参数信息和第二参数信息中的当前任务状态,确定任务的目标任务状态包括:
若任务的第一参数信息和第二参数信息中的当前任务状态包括至少一个未完成,则确定未执行状态为任务的目标任务状态。
本实施例中,根据第一参数信息和第二参数信息中的当前任务状态,确定对应任务的目标任务状态,当前任务状态包括完成状态、未完成状态与执行失败状态,若任务的第一参数信息和第二参数信息中的当前任务状态包括至少一个未完成,则确定未执行状态为任务的目标任务状态。
例如,当任务启播观影记录时长为当前任务时,第一参数信息中的当前任务状态为完成,第二参数信息中的当前任务状态为未完成,启播观影记录时长任务为未执行任务,目标任务状态为未执行状态。当数据仓库中存在任务执行失败状态时,对任务执行失败状态的数据进行修复时,可以省略对启播观影记录时长任务中数据的检测与定位,提高对待修复数据的修复效率。
可选地,根据任务的第一参数信息和第二参数信息中的当前任务状态,确定任务的目标任务状态包括:
若任务的第一参数信息和第二参数信息中的当前任务状态包括至少一个执行失败,则确定执行失败状态为任务的目标任务状态。
本实施例中,根据第一参数信息和第二参数信息中的当前任务状态,确定对应任务的目标任务状态,当前任务状态包括完成状态、未完成状态与执行失败状态,若任务的第一参数信息和第二参数信息中的当前任务状态包括至少一个执行失败,则确定执行失败状态为任务的目标任务状态。
例如,当任务启播观影记录时长为当前任务时,第一参数信息中的当前任务状态为完成,第二参数信息中的当前任务状态为未完成,启播观影记录时长任务为未执行任务,目标任务状态为未执行状态。当数据仓库中存在任务执行失败状态时,对任务执行失败状态的数据进行修复时,可以快速定位到该任务,提高对待修复数据的定位效率,从而提高待修复数据的修复效率。
步骤S203:根据每个任务的目标任务状态,展示对应的任务。
在步骤S203中,不同的目标任务状态对应展示的展示结果不相同,不同的目标任务状态对应展示的展示结果可以体现在展示方式上,即通过不同的展示方式区别对应展示结果。
本实施例中,根据每个任务的目标任务状态,展示对应的任务,不同的目标任务状态对应展示的展示结果不相同,以便于根据不同展示结果确定对应的目标任务状态。
可选地,根据每个任务的目标任务状态,展示对应的任务包括:
针对任一任务,若任务的目标任务状态为执行失败状态,则以第一展示方式展示任务,若任务的目标任务状态为执行成功状态,则以第二展示方式展示任务,若任务的目标任务状态为未执行状态,则以第三展示方式展示任务。
本实施例中,根据每个任务的目标任务状态,展示对应的任务时,目标任务状态不同时,对应的展示方式不同,目标任务状态包括对应的执行失败状态,执行成功状态与未执行状态,若任务的目标任务状态为执行失败状态,则以第一展示方式展示任务,若任务的目标任务状态为执行成功状态,则以第二展示方式展示任务,若任务的目标任务状态为未执行状态,则以第三展示方式展示任务。
例如,不同的展示方式可以体现在任务展示时对应的不同渲染颜色,例如,若任务的目标任务状态为执行失败状态,则以第一展示方式展示任务,其中,第一展示方式为将对应任务渲染为红色。若任务的目标任务状态为执行成功状态,则以第二展示方式展示任务,其中,第二展示方式为将对应任务渲染为绿色。若任务的目标任务状态为未执行状态,则以第三展示方式展示任务,其中,第三展示方式为将对应任务渲染为灰色。不同的渲染颜色代表不同的目标任务状态,以便于可以直观确定对应任务的执行状态。
例如,启播观影记录时长任务中对应的目标任务状态为执行失败状态,则展示启播观影记录任务时,将启播观影记录任务节点渲染为对应的红色。启播报表任务中对应的目标任务状态为执行成功状态,则展示启播报表任务时,将启播指标任务节点渲染为对应的绿色。启播指标任务中对应的目标任务状态为未执行状态,则展示启播指标任务时,将启播指标任务节点渲染为对应的灰色。
另一实施例中,不同的展示方式可以体现在任务展示时对应的不同标识,例如,若任务的目标任务状态为执行失败状态,则以第一展示方式展示任务,其中,第一展示方式为对应任务添加标识符号1。若任务的目标任务状态为执行成功状态,则以第二展示方式展示任务,其中,第二展示方式为对应任务添加标识符号2。若任务的目标任务状态为未执行状态,则以第三展示方式展示任务,其中,第三展示方式为对应任务添加标识符号3。
步骤S204:针对任一展示的任务,根据展示的任务对应的上游任务名称,在所有展示的任务中确定对应的目标任务,将展示的任务连接在目标任务的后端。
在步骤S204中,在对任务进行展示时,展示在与当前任务相关联的上游任务名称的节点后,以便于可以在展示的任务中找到对应任务的最上游任务。
本实施例中,根据与当前任务相关联的上游任务名称,在所有展示的任务中确定对应的目标任务,根据目标任务对应的位置,确定当前任务中的定位,以便于当前任务可以展示在正确的任务位置中。例如,启播观影记录时长任务中的上游任务名称都启播观影记录,对应的目标任务为启播观影记录,查找启播观影记录任务的展示链条,然后将启播观影记录时长任务展示在启播观影记录任务后端,启播报表与启播指标任务的上游任务名称为启播观影记录时长任务,将启播观影记录时长任务展示在启播观影记录时长任务后端。
可选地,每个参数信息均还包括任务类名称和上游类名称,在根据每个任务的目标任务状态,展示对应的任务之后,还包括:
将每个展示的任务与对应的任务类名称和上游类名称形成关联关系;
确定属于同一个上游类名称的展示的任务为一类;
针对任一展示的任务,根据展示的任务对应的上游任务名称,在所有展示的任务中确定对应的目标任务,将展示的任务连接在目标任务的后端包括:
针对任一类中的任一展示的任务,根据展示的任务对应的上游任务名称,在所有展示的任务中确定对应的目标任务,将展示的任务连接在目标任务的后端。
本实施例中,在对任务进行展示时,展示在与当前任务相关联的上游任务的节点后,以便于可以在展示的任务中找到对应任务的最上游任务,首先,将每个展示的任务与对应的任务类名称和上游类名称形成关联关系,例如,启播观影记录时长任务中的上游类名称为OpenBroadcastViewingRecord,启播报表任务中的上游类名称为OpenBroadcastViewingRecord,启播指标任务中的上游类名称为OpenBroadcastViewingRecord,启播观影记录时长、启播报表与启播指标任务中的上游类名称都为OpenBroadcastViewingRecord,启播观影记录时长、启播报表与启播指标任务存在对应的关联关系,可以将启播观影记录时长、启播报表与启播指标任务确定为一类任务,可以根据任务上下游的关系进行展示,展示在一个任务链条中。例如,启播观影记录时长的上游任务为启播观影记录,启播报表与启播指标任务的上游任务为启播观影记录时长任务,展示时,依次串联为启播观影记录,启播观影记录时长和并联的启播报表与启播指标,其中启播报表与启播指标为并联,启播观影记录时长任务连接在启播观影记录后端,启播报表与启播指标连接在启播观影记录时长任务的后端。
本申请在所有任务执行时,调用所有任务的两个调用接口进行采集,得到第一参数信息和第二参数信息,每个参数信息均包括当前任务名称、上游任务名称和当前任务状态,针对任一任务,若任务的第一参数信息和第二参数信息中当前任务名称相同,且上游任务名称相同,则根据任务的第一参数信息和第二参数信息中的当前任务状态,确定任务的目标任务状态,根据每个任务的目标任务状态,展示对应的任务,其中,不同的目标任务状态对应展示的展示结果不相同,针对任一展示的任务,根据展示的任务对应的上游任务名称,在所有展示的任务中确定对应的目标任务,将展示的任务连接在目标任务的后端。本申请中,根据不同任务的展示结果确定任务的执行状态,可以精确定位出现异常的任务位置,从而快速修复该任务中的数据,提高数据修复效率。
对应于上文实施例的基于数据仓库的任务展示方法,图3示出了本申请实施例提供的基于数据仓库的任务展示装置的结构框图,上述基于数据仓库的任务展示装置应用于上述服务端,用户通过在客户端将任务数据上传至服务端,服务端获取对应的任务数据展示对应任务状态,并将任务数据存储于与其连接数据库中,数据库可以为一个或者多个。为了便于说明,仅示出了与本申请实施例相关的部分。
参见图3,该任务展示装置30包括:
信息采集模块31,用于在所有任务执行时,调用所有任务的两个调用接口进行采集,得到第一参数信息和第二参数信息,每个参数信息均包括当前任务名称、上游任务名称和当前任务状态。
状态确定模块32,用于针对任一任务,若任务的第一参数信息和第二参数信息中当前任务名称相同,且上游任务名称相同,则根据任务的第一参数信息和第二参数信息中的当前任务状态,确定任务的目标任务状态。
任务展示模块33,用于根据每个任务的目标任务状态,展示对应的任务,其中,不同的目标任务状态对应展示的展示结果不相同。
任务关系展示模块34,用于针对任一展示的任务,根据展示的任务对应的上游任务名称,在所有展示的任务中确定对应的目标任务,将展示的任务连接在目标任务的后端。
可选地,任务展示装置30还包括:
检测模块,用于检测任务的第一参数信息和第二参数信息中的采样时间的差异是否小于时间阈值。
执行模块,用于若检测到任务的第一参数信息和第二参数信息中的采样时间的差异小于时间阈值,则确定任务的第一参数信息和第二参数信息为真,执行根据任务的第一参数信息和第二参数信息中的当前任务状态,确定任务的目标任务状态的步骤。
可选地,任务展示装置30还包括:
关联模块,用于将每个展示的任务与对应的任务类名称和上游类名称形成关联关系。
确定模块,用于确定属于同一个上游类名称的展示的任务为一类。
可选地,状态确定模块32包括:
连接单元,用于针对任一类中的任一展示的任务,根据展示的任务对应的上游任务名称,在所有展示的任务中确定对应的目标任务,将展示的任务连接在目标任务的后端。
可选地,状态确定模块32包括:
第一判断单元,用于若任务的第一参数信息和第二参数信息中的当前任务状态均为完成,则确定执行成功状态为任务的目标任务状态。
可选地,状态确定模块32包括:
第二判断单元,用于若任务的第一参数信息和第二参数信息中的当前任务状态包括至少一个未完成,则确定未执行状态为任务的目标任务状态。
可选地,状态确定模块32包括:
第三判断单元,用于若任务的第一参数信息和第二参数信息中的当前任务状态包括至少一个执行失败,则确定执行失败状态为任务的目标任务状态。
可选地,任务展示模块33包括:
展示单元,用于针对任一任务,若任务的目标任务状态为执行失败状态,则以第一展示方式展示任务,若任务的目标任务状态为执行成功状态,则以第二展示方式展示任务,若任务的目标任务状态为未执行状态,则以第三展示方式展示任务。
需要说明的是,上述模块之间的信息交互、执行过程等内容,由于与本申请方法实施例基于同一构思,其具体功能及带来的技术效果,具体可参见方法实施例部分,此处不再赘述。
图4为本申请实施例四提供的一种终端设备的结构示意图。如图4所示,该实施例的终端设备包括:至少一个处理器(图4中仅示出一个)、存储器以及存储在存储器中并可在至少一个处理器上运行的计算机程序,处理器执行计算机程序时实现上述任意各个基于数据仓库的任务展示方法实施例中的步骤。
该终端设备可包括,但不仅限于,处理器、存储器。本领域技术人员可以理解,图4仅仅是终端设备的举例,并不构成对终端设备的限定,终端设备可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件,例如还可以包括网络接口、显示屏和输入装置等。
所称处理器可以是CPU,该处理器还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific IntegratedCircuit,ASIC)、现成可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器包括可读存储介质、内存储器等,其中,内存储器可以是终端设备的内存,内存储器为可读存储介质中的操作系统和计算机可读指令的运行提供环境。可读存储介质可以是终端设备的硬盘,在另一些实施例中也可以是终端设备的外部存储设备,例如,终端设备上配备的插接式硬盘、智能存储卡(Smart Media Card,SMC)、安全数字(SecureDigital,SD)卡、闪存卡(Flash Card)等。进一步地,存储器还可以既包括终端设备的内部存储单元也包括外部存储设备。存储器用于存储操作系统、应用程序、引导装载程序(BootLoader)、数据以及其他程序等,该其他程序如计算机程序的程序代码等。存储器还可以用于暂时地存储已经输出或者将要输出的数据。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各功能单元、模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元、模块完成,即将装置的内部结构划分成不同的功能单元或模块,以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中,上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。另外,各功能单元、模块的具体名称也只是为了便于相互区分,并不用于限制本申请的保护范围。上述装置中单元、模块的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请实现上述实施例方法中的全部或部分流程,可以通过计算机程序来指令相关的硬件来完成,计算机程序可存储于一计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述方法实施例的步骤。其中,计算机程序包括计算机程序代码,计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质至少可以包括:能够携带计算机程序代码的任何实体或装置、记录介质、计算机存储器、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。在某些司法管辖区,根据立法和专利实践,计算机可读介质不可以是电载波信号和电信信号。
本申请实现上述实施例方法中的全部或部分流程,也可以通过一种计算机程序产品来完成,当计算机程序产品在终端设备上运行时,使得终端设备执行时实现可实现上述方法实施例中的步骤。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述或记载的部分,可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中,应该理解到,所揭露的装置/终端设备和方法,可以通过其它的方式实现。例如,以上所描述的装置/终端设备实施例仅仅是示意性的,例如,模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口,装置或单元的间接耦合或通讯连接,可以是电性,机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围,均应包含在本申请的保护范围之内。
Claims (10)
1.一种基于数据仓库的任务展示方法,其特征在于,在所述数据仓库中任一任务的开始部分和结束部分均配置一调用接口,所述任务展示方法包括:
在所有任务执行时,调用所有任务的两个调用接口进行采集,得到第一参数信息和第二参数信息,每个参数信息均包括当前任务名称、上游任务名称和当前任务状态;
针对任一任务,若所述任务的第一参数信息和第二参数信息中当前任务名称相同,且上游任务名称相同,则根据所述任务的第一参数信息和第二参数信息中的当前任务状态,确定所述任务的目标任务状态;
根据每个任务的目标任务状态,展示对应的任务,其中,不同的目标任务状态对应展示的展示结果不相同;
针对任一展示的任务,根据所述展示的任务对应的上游任务名称,在所有展示的任务中确定对应的目标任务,将所述展示的任务连接在所述目标任务的后端。
2.根据权利要求1所述的任务展示方法,其特征在于,每个参数信息均还包括采集时间,在根据所述任务的第一参数信息和第二参数信息中的当前任务状态,确定所述任务的目标任务状态之前,还包括:
检测所述任务的第一参数信息和第二参数信息中的采样时间的差异是否小于时间阈值;
若检测到所述任务的第一参数信息和第二参数信息中的采样时间的差异小于时间阈值,则确定所述任务的第一参数信息和第二参数信息为真,执行根据所述任务的第一参数信息和第二参数信息中的当前任务状态,确定所述任务的目标任务状态的步骤。
3.根据权利要求1所述的任务展示方法,其特征在于,每个参数信息均还包括任务类名称和上游类名称,在根据每个任务的目标任务状态,展示对应的任务之后,还包括:
将每个展示的任务与对应的任务类名称和上游类名称形成关联关系;
确定属于同一个上游类名称的展示的任务为一类;
针对任一展示的任务,根据所述展示的任务对应的上游任务名称,在所有展示的任务中确定对应的目标任务,将所述展示的任务连接在所述目标任务的后端包括:
针对任一类中的任一展示的任务,根据所述展示的任务对应的上游任务名称,在所有展示的任务中确定对应的目标任务,将所述展示的任务连接在所述目标任务的后端。
4.根据权利要求1所述的任务展示方法,其特征在于,根据所述任务的第一参数信息和第二参数信息中的当前任务状态,确定所述任务的目标任务状态包括:
若所述任务的第一参数信息和第二参数信息中的当前任务状态均为完成,则确定执行成功状态为所述任务的目标任务状态。
5.根据权利要求1所述的任务展示方法,其特征在于,根据所述任务的第一参数信息和第二参数信息中的当前任务状态,确定所述任务的目标任务状态包括:
若所述任务的第一参数信息和第二参数信息中的当前任务状态包括至少一个未完成,则确定未执行状态为所述任务的目标任务状态。
6.根据权利要求1所述的任务展示方法,其特征在于,根据所述任务的第一参数信息和第二参数信息中的当前任务状态,确定所述任务的目标任务状态包括:
若所述任务的第一参数信息和第二参数信息中的当前任务状态包括至少一个执行失败,则确定执行失败状态为所述任务的目标任务状态。
7.根据权利要求4至6任一项所述的任务展示方法,其特征在于,根据每个任务的目标任务状态,展示对应的任务包括:
针对任一任务,若所述任务的目标任务状态为执行失败状态,则以第一展示方式展示所述任务,若所述任务的目标任务状态为执行成功状态,则以第二展示方式展示所述任务,若所述任务的目标任务状态为未执行状态,则以第三展示方式展示所述任务。
8.一种基于数据仓库的任务展示装置,其特征在于,在所述数据仓库中任一任务的开始部分和结束部分均配置一调用接口,所述任务展示装置包括:
信息采集模块,用于在所有任务执行时,调用所有任务的两个调用接口进行采集,得到第一参数信息和第二参数信息,每个参数信息均包括当前任务名称、上游任务名称和当前任务状态;
状态确定模块,用于针对任一任务,若所述任务的第一参数信息和第二参数信息中当前任务名称相同,且上游任务名称相同,则根据所述任务的第一参数信息和第二参数信息中的当前任务状态,确定所述任务的目标任务状态;
任务展示模块,用于根据每个任务的目标任务状态,展示对应的任务,其中,不同的目标任务状态对应展示的展示结果不相同;
任务关系展示模块,用于针对任一展示的任务,根据所述展示的任务对应的上游任务名称,在所有展示的任务中确定对应的目标任务,将所述展示的任务连接在所述目标任务的后端。
9.一种终端设备,其特征在于,所述终端设备包括处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述的任务展示方法。
10.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的任务展示方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310281260.XA CN116467346A (zh) | 2023-03-14 | 2023-03-14 | 基于数据仓库的任务展示方法、装置、终端设备及介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310281260.XA CN116467346A (zh) | 2023-03-14 | 2023-03-14 | 基于数据仓库的任务展示方法、装置、终端设备及介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116467346A true CN116467346A (zh) | 2023-07-21 |
Family
ID=87181537
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310281260.XA Pending CN116467346A (zh) | 2023-03-14 | 2023-03-14 | 基于数据仓库的任务展示方法、装置、终端设备及介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116467346A (zh) |
-
2023
- 2023-03-14 CN CN202310281260.XA patent/CN116467346A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111552633A (zh) | 接口的异常调用测试方法、装置、计算机设备及存储介质 | |
CN109271315B (zh) | 脚本代码检测方法、装置、计算机设备及存储介质 | |
CN111273891A (zh) | 基于规则引擎的业务决策方法、装置及终端设备 | |
CN112306495A (zh) | 图片校验方法、装置、计算机设备及计算机可读存储介质 | |
CN112100070A (zh) | 版本缺陷的检测方法、装置、服务器及存储介质 | |
CN109240916B (zh) | 信息输出控制方法、装置及计算机可读存储介质 | |
CN110888791A (zh) | 一种日志处理方法、装置、设备和存储介质 | |
CN110827049A (zh) | 一种数据推送方法及装置 | |
CN116738091A (zh) | 页面监控方法、装置、电子设备及存储介质 | |
CN116467346A (zh) | 基于数据仓库的任务展示方法、装置、终端设备及介质 | |
CN107071553B (zh) | 一种修改视频语音的方法、装置和计算机可读存储介质 | |
CN113138974B (zh) | 数据库合规检测的方法和装置 | |
CN112612817B (zh) | 数据处理方法、装置、终端设备及计算机可读存储介质 | |
CN114996080A (zh) | 数据处理方法、装置、设备及存储介质 | |
CN113342430A (zh) | 故障码的处理方法、装置、终端设备及可读存储介质 | |
CN112612866A (zh) | 知识库文本同步方法、装置、电子设备及存储介质 | |
CN112527655A (zh) | 软件版本质量异常检测方法、装置、电子设备及存储介质 | |
CN114818645B (zh) | 基于数据主体的自动化报告生成方法、装置、设备及介质 | |
CN113033832B (zh) | 一种汽修数据录入方法、装置、终端设备及可读存储介质 | |
CN111552959B (zh) | 一种程序特征序列生成方法和装置 | |
CN117931635B (zh) | 数据库测试用例执行结果的分析方法、装置、设备及介质 | |
CN114253593A (zh) | 应用程序的信息反馈方法、装置、终端设备及存储介质 | |
CN116795684A (zh) | 接口的自动化测试方法、装置、终端设备及介质 | |
CN114185707A (zh) | 车辆故障诊断方法、装置、终端设备及存储介质 | |
CN116738062A (zh) | 流量推荐方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |