CN112015623A - 报表数据处理的方法、装置、设备及可读存储介质 - Google Patents
报表数据处理的方法、装置、设备及可读存储介质 Download PDFInfo
- Publication number
- CN112015623A CN112015623A CN202010876752.XA CN202010876752A CN112015623A CN 112015623 A CN112015623 A CN 112015623A CN 202010876752 A CN202010876752 A CN 202010876752A CN 112015623 A CN112015623 A CN 112015623A
- Authority
- CN
- China
- Prior art keywords
- report
- data
- access
- offline
- determining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 55
- 238000003860 storage Methods 0.000 title claims abstract description 31
- 238000000034 method Methods 0.000 title claims description 48
- 238000004364 calculation method Methods 0.000 claims abstract description 113
- 230000001419 dependent effect Effects 0.000 claims abstract description 32
- 238000004458 analytical method Methods 0.000 claims abstract description 27
- 230000006399 behavior Effects 0.000 claims description 80
- 230000015654 memory Effects 0.000 claims description 19
- 238000005516 engineering process Methods 0.000 claims description 11
- 238000010276 construction Methods 0.000 claims description 5
- 239000000126 substance Substances 0.000 claims description 2
- 238000003672 processing method Methods 0.000 abstract description 11
- 238000007405 data analysis Methods 0.000 abstract description 10
- 238000010586 diagram Methods 0.000 description 12
- 230000008569 process Effects 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 238000013515 script Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 4
- 238000004590 computer program Methods 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000004140 cleaning Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 239000002699 waste material Substances 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 1
- 230000002860 competitive effect Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
- 238000011144 upstream manufacturing Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3051—Monitoring arrangements for monitoring the configuration of the computing system or of the computing system component, e.g. monitoring the presence of processing resources, peripherals, I/O links, software programs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3065—Monitoring arrangements determined by the means or processing involved in reporting the monitored data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
- G06F11/3452—Performance evaluation by statistical analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/48—Program initiating; Program switching, e.g. by interrupt
- G06F9/4806—Task transfer initiation or dispatching
- G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
- G06F9/485—Task life-cycle, e.g. stopping, restarting, resuming execution
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Quality & Reliability (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Probability & Statistics with Applications (AREA)
- Computer Hardware Design (AREA)
- Debugging And Monitoring (AREA)
Abstract
本申请公开了一种报表数据处理的方法、装置、设备及可读存储介质，涉及大数据、数据分析领域，具体应用于用户行为分析、用户画像、浏览器应用场景的数据分析。具体实现方案为：通过根据各报表的访问数据，确定待下线的目标表，自动识别和发现待下线的报表；通过根据所述目标表的依赖链路信息，确定所述目标表所依赖的计算任务，自动识别出待下线的报表所依赖的计算任务；通过对所述目标表及其所依赖的计算任务进行下线处理，在下线报表时自动进行下线报表所依赖的计算任务的下线，能够节省大量的存储资源和计算资源，提高资源利用率。
Description
技术领域
本申请涉及数据处理中的大数据、数据分析领域，尤其涉及一种报表数据处理的方法、装置、设备及可读存储介质。
背景技术
在各种业务系统中，很多场景需要有专门的报表结果产出，比如活跃作者监控、竞对指标监控等，报表分析承担着非常重要的内容运营决策任务。报表的产出通常依赖于许多大数据分析的计算任务，会占用一定的存储和计算资源。
随着时间的推移与业务的调整，有很多报表不再被需要，这些报表依赖的计算任务仍然在生产环境定时运行着，对存储和计算资源都会是一种浪费。目前通过人工确定下线报表，只能人工分析代码确定报表依赖的计算任务，费时费力，并且会有遗漏，仍然存在存储和计算资源的浪费。
发明内容
本申请提供了一种报表数据处理的方法、装置、设备及可读存储介质。
根据本申请的一方面，提供了一种报表数据处理的方法，包括：
根据各报表的访问数据，确定待下线的目标表；
根据所述目标表的依赖链路信息，确定所述目标表所依赖的计算任务；
对所述目标表及其所依赖的计算任务进行下线处理。
根据本申请的另一方面，提供了一种报表数据处理的装置，包括：
下线分析模块，用于根据各报表的访问数据，确定待下线的目标表；
所述下线分析模块还用于根据所述目标表的依赖链路信息，确定所述目标表所依赖的计算任务；
下线处理模块，用于对所述目标表及其所依赖的计算任务进行下线处理。
根据本申请的另一方面，提供了一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述所述的方法。
根据本申请的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行上述所述的方法。
根据本申请的另一方面，提供了一种报表数据处理的方法，包括：
根据各报表的访问数据，确定待下线的目标报表；
确定所述目标报表所依赖的计算任务；
下线所述目标报表及所依赖的计算任务。
根据本申请的技术节省了存储资源和计算资源，提高了资源利用率。
应当理解，本部分所描述的内容并非旨在标识本申请的实施例的关键或重要特征，也不用于限制本申请的范围。本申请的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本申请的限定。其中：
图1是本申请实施例提供的报表访问的人工评估与下线流程的示意图；
图2是本申请第一实施例提供的报表数据处理的方法流程图；
图3是本申请第二实施例提供的报表数据处理的方法流程图；
图4是本申请第二实施例提供的日志预处理的流程的示意图；
图5是本申请第二实施例提供的依赖链路信息的确定流程示意图；
图6是本申请第二实施例提供的数据分析的流程示意图；
图7为本申请第二实施例提供的报表数据处理的系统框图；
图8是本申请第三实施例提供的报表数据处理的装置示意图；
图9是本申请第四实施例提供的报表数据处理的装置示意图；
图10是用来实现本申请实施例的报表数据处理的方法的电子设备的框图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
本申请提供一种报表数据处理的方法、装置、设备及可读存储介质与应用于数据处理领域中的大数据、数据分析领域，具体可以应用于用户行为分析、用户画像、浏览器应用场景的数据分析，以达到自动识别和发现需要下线的报表，自动下线报表及其依赖的计算任务，释放无用的计算任务，节约存储和计算资源的技术效果。
本申请实施例的具体应用场景如下：
在各种业务系统中，存在很多访问频率很低甚至零访问的报表，需要及时下线。图1是本申请实施例提供的报表访问的人工评估与下线流程的示意图。如图1所示，下线报表可以由报表负责人(一般为报表开发人员)人工评估、主动提出下线某些报表的计算任务，并经相关产品和运营人员确认之后，将报表对应的计算任务下线，但是对应报表不一定被主动下线，会导致报表访问出错，系统可用性差。因此，在业务系统运营过程中，通常由产品和运营人员进行人工评估，看哪些报表是已经不再需要维护的，然后由相关产品负责人发送邮件通知给报表负责人，报表负责人确认后，直接将对应报表删除或者移入回收站。通过人工评估的方式费时费力，报表数量众多的时候，会有遗漏；无法直接快速的定位在过去某段时间内哪些报表访问低频，如果想了解具体信息，只能给相关人员提需求进行分析，一般需要几天的时间才能出来结果，效率很低；已下线的报表所依赖的计算任务并没有下线，仍然在不断地执行，占用很多的存储资源和计算资源。
本申请实施例提供的报表数据处理的方法，旨在解决上述技术问题，通过大数据技术，将用户访问报表的行为日志进行综合分析，系统化的快速定位哪些是近期访问低频的报表，然后通过分析报表与计算任务之间的依赖关系，进一步构建出报表的依赖链路信息，从而能够智能化识别哪些计算任务是可以下线的，可以迅速缩短低频访问报表的下线周期，节省人工与时间成本，同时可以节省存储资源和计算组员，为资源的合理化利用给出可靠的决策建议。
下面以具体地实施例对本申请实施例的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本申请实施例的实施例进行描述。
图2是本申请第一实施例提供的报表数据处理的方法流程图。本实施例的执行主体可以应用于大数据平台，例如spark计算集群等。本实施例中以大数据平台为例进行示例性地说明，在其他实施例中，还可以由其他设备执行，本实施例此处不做具体限定。
如图2所示，该方法具体步骤如下：
步骤S101、根据各报表的访问数据，确定待下线的目标表。
本实施例中，可以获取各个报表的访问数据，根据各个报表的访问数据可以获知一个时间段内各个报表的访问路径、访问频次等信息，并可以进一步确定哪些报表是需要下线的目标表，实现待下线的报表的自动识别和发现。
其中，一个时间段内报表的访问路径包括该段时间内哪些用户访问了哪些报表的信息。例如，该段时间内被访问的报表及其访问用户；或者，该段时间内访问了报表的用户及每个用户所访问的报表。另外，访问路径也可以包括被访问报表的访问频次信息或其他相关统计信息，本实施例此处不做具体限定。
访问频次信息包括以下至少一种：访问量(Page View，简称PV)、独立访客数(Unique Visitor，简称UV)。
该步骤中，确定的待下线的目标表可以是近期访问低频的报表，例如目标表可以是最近一段时间内访问量小于第一阈值，或最近一段时间内独立访客数小于第二阈值的报表。其中第一阈值和第二阈值可以根据实际应用场景和需要进行配置和调整，本实施例此处不做具体限定。
步骤S102、根据目标表的依赖链路信息，确定目标表所依赖的计算任务。
其中，报表的依赖链路信息包含报表与计算任务依赖关系信息，能够用于确定报表所依赖的计算任务。
例如，报表的依赖链路信息可以包括报表所依赖的计算任务；或者，报表所依赖的数据表，数据表所依赖的计算任务。
本实施例中，可以根据各个报表的生成模型，各计算任务对应脚本或代码等程序代码，解析出各个报表的依赖链路信息。
步骤S103、对目标表及其所依赖的计算任务进行下线处理。
在确定待下线的目标表以及目标表所依赖的计算任务之后，对目标表及其所依赖的计算任务都进行下线处理，从而可以实现自动识别出待下线报表依赖的计算任务，也即待下线的计算任务，并进行报表下线及所依赖计算任务的下线。
本申请实施例通过根据各报表的访问数据，确定待下线的目标表，自动识别和发现待下线的报表；通过根据目标表的依赖链路信息，确定目标表所依赖的计算任务，自动识别出待下线的报表所依赖的计算任务；通过对目标表及其所依赖的计算任务进行下线处理，在下线报表时自动进行下线报表所依赖的计算任务的下线，能够节省大量的存储资源和计算资源，提高资源利用率。
图3是本申请第二实施例提供的报表数据处理的方法流程图。在上述实施例一的基础上，本实施例中，根据各报表的访问数据，确定待下线的目标表之前，还包括：获取各报表的访问行为日志；根据各报表的访问行为日志，确定各报表的访问数据。根据目标表的依赖链路信息，确定目标表所依赖的计算任务之前，根据各报表对应的报表生成模型，确定各报表的依赖链路信息。
如图3所示，该方法具体步骤如下：
步骤S201、获取各报表的访问行为日志。
示例性地，获取各报表的访问行为日志，具体可以采用如下方式实现：
通过埋点技术获取将各报表的访问行为日志写入到日志文件；定时地从日志文件中拉取访问行为日志。
利用埋点技术可以通过在报表的访问页面埋点，将各报表的访问行为日志写入到业务系统所在设备上的日志文件中。大数据平台可以定时地从日志文件中拉取访问行为日志，这样可以获取到所需的访问报表的关键信息，减少无用信息，便于后续进行数据清洗，提高效率。
其中，报表的访问行为日志至少包括访问时间、访问的报表的标识、访问用户的标识。其中报表的标识可以是报表ID等能够唯一标识一个报表的信息，访问用户的标识可以是用户账号或用户名等能够唯一标识一个用户的信息。
可选地，报表的访问行为日志还可以包括报表的名称，用户的名称等技术人员容易理解和识别的其他信息，本实施例此处不做具体限定。
可选地，为了能迅速、及时的处理报表的访问日志，可以通过启动分布式计算任务来定时监听日志文件，并拉取日志文件中新增的访问行为日志。其中分布式计算任务可以是spark任务、MapReduce任务等，本实施例此处不做具体限定。
另外，当业务系统中有多个项目时，可以根据报表所属的项目组进行分组，也就是有多个报表组，每个报表都属于一个报表组，以便于为项目的相关人员赋予访问本项目对应报表组中报表的权限，而访问其他项目对应报表组中的报表时，需要获取访问权限才可以，可以提高报表数据的安全性。这种情况下，报表的访问行为日志中还可以包括访问的报表所属报表组的标识。报表组的标识可以是报表组的ID等能够唯一标识一个报表组的信息。
可选地，报表的访问行为日志中还可以包括访问的报表所属报表组的名称等技术人员容易理解和识别的其他信息，本实施例此处不做具体限定。
另外，获取各报表的访问行为日志，可以通过从业务系统的日志中抽取出报表的访问日志的方式实现，或者还可以通过现有技术中任意一种获取用户访问报表的行为日志的方式来实现，例如，从本实施例此处不做具体限定。
步骤S202根据各报表的访问行为日志，确定各报表的访问数据。
其中，报表的访问数据包括每次访问报表的行为中的访问用户的信息、访问的报表信息、访问时间等，根据各个报表的访问数据可以获知一个时间段内各个报表的访问路径、访问频次等信息，并可以进一步确定哪些报表是需要下线的目标表，实现待下线的报表的自动识别和发现。
示例性地，通过对各报表的访问行为日志进行数据分析，可以得到各报表的访问数据。
示例性地，根据各报表的访问行为日志，确定各报表的访问数据，具体地可以采用如下方式实现：
根据访问行为日志，将每条访问行为日志转换为弹性分布式数据集(ResilientDistributed Data Set，简称RDD)中一个数据元素，得到RDD；将RDD存储到数据仓库中，得到各报表的访问数据。
其中，一条访问行为日志对应的数据元素至少包括：用户标识，报表标识和访问时间。
示例性地，可以将RDD存储到数据仓库中，形成行为数仓表，行为数仓表用于存储各报表的访问数据。
这样，基于大数据技术进行访问行为日志的数据处理，得到各报表的访问数据，能够提高数据处理的效率。
该步骤中，可以先对访问行为日志进行预处理，以去除脏数据，并形成一个用于分析处理的初始数据源。具体地，根据访问行为日志的数据特征，对于每行访问日志数据，过滤掉脏数据、抽取出有效的数据，并将有效数据进一步转化为可进行分布式计算的RDD；将RDD转换为一个临时数据表。该临时数据表存储在内存中，记录了报表每次访问的用户的信息与访问的报表的信息的映射明细，是后续行为分析的基础数据来源。
另外，通过数仓建模，将临时数据表进行建模入仓，储到行为数仓表中，得到各报表的访问数据，以提高读取报表访问数据的效率。
可选地，可以将访问行为日志按行转换为RDD。
其中，访问行为日志可以是带有关键字的日志，不同的关键字分别对应报表ID、用户名等的数据信息。
脏数据可以是关键信息有缺失的数据，或者存在明显错误的信息，等等，本实施例此处不做具体限定。
例如，基于spark技术的日志预处理的核心流程如图4所示，首先对原始的日志文件根据数据特征进行特征提取、转换，得到可进行分布式计算的spark RDD；然后再将sparkRDD进行dataframe转换，转换为dataframe类型的数据，得到spark临时表；通过将spark临时表进行建模入仓，储到行为数仓表中。
示例性地，行为数仓表中可以包括每次报表访问的用户标识、报表标识、报表组标识、访问时间。
本实施中通过上述步骤S201-S202获取各报表的访问行为日志，根据各报表的访问行为日志，确定各报表的访问数据，得到每次报表访问的访问用户信息、访问报表信息的映射明细信息，通过对访问数据的分析可以快速地识别和发现需要下线的报表。
步骤S203、根据各报表对应的报表生成模型，确定各报表的依赖链路信息。
其中，报表的依赖链路信息包含报表与计算任务依赖关系信息，能够用于确定报表所依赖的计算任务。
例如，报表的依赖链路信息可以包括报表所依赖的计算任务；或者，报表所依赖的数据表，数据表所依赖的计算任务。
本实施例中，根据各报表对应的报表生成模型，确定各报表的依赖链路信息，可以采用如下方式实现：
通过解析报表对应的报表生成模型，确定报表生成模型所依赖的数据表，得到报表所依赖的数据表；通过解析各计算任务对应程序代码中包含的数据表信息，确定各数据表所依赖的计算任务，其中数据表所依赖的计算任务是指对应程序代码中包含该数据表的计算任务。
这样，可以实现自动地识别出各报表所依赖的计算任务，便于将已下线报表所依赖的计算任务释放，回收对应的存储资源和计算资源。
示例性地，报表生成模型可以SQL模型语句。具体地，每一个报表都会对应一个SQL模型语句来生成报表数据，通过构建一个SQL解析器，实现报表到数据表的反解，对报表对应的SQL模型语句进行解析，解析出报表依赖了哪些数据表(例如palo表等关系型数据库的数据表)。
例如，一个报表(对应于一个报表页面)对应一个报表ID，一个报表ID可以对应一个或者多个子报表，每个子报表可以对应一个SQL模型语句。根据一个报表的报表ID，可以获取到对应的一个或者多个SQL模型语句，每个SQL模型语句中所涉及的数据表都是该报表所依赖的数据表。
示例性地，在报表数据链路上，数据表的上游是计算任务写入的数据，这些计算任务的调用脚本中包含了数据表信息。若某一计算任务对应程序代码中包含某一数据表的信息，那么可以确定该数据表依赖于该计算任务。通过构建脚本解析器，可以解析出数据表依赖了哪些计算任务。
可选地，为了便于理解，报表的依赖链路信息可以包括如下依赖关系：报表ID→依赖的数据表标识→依赖的计算任务标识，形成体现报表、数据表、计算任务之间依赖关系的链路信息。
可选地，为了便于相关人员可以直观地查看报表、数据表、计算任务之间依赖关系，报表的依赖链路信息中还可以包含报表名、计算任务名称等信息。
例如，确定报表的依赖链路信息的核心流程如图5所示，针对每个报表，通过SQL解析器，对报表对应的SQL模型语句进行解析，得到报表依赖的palo表，通过脚本解析器，对各个计算任务的调用脚本进行特征解析，确定各个palo表依赖的计算任务，可以建立如下的报表的依赖链路信息：报表名→palo表名→计算任务名。
进一步地，根据各报表所依赖的数据表，各数据表所依赖的计算任务，即可确定各报表所依赖的计算任务。
可选地，可以将各报表的依赖链路信息存储到报表元信息数仓表中，以便于查询报表所依赖的计算任务，提高数据处理效率。
本实施例中，预先根据各报表对应的报表生成模型，确定各报表的依赖链路信息，可以在下线报表时，及时地确定下线的报表所依赖的计算任务，为释放对应的存储资源和计算资源提供数据基础。
本实施例通过对报表依赖计算任务的代码和脚本进行特征分析，自动构建出报表到计算任务的依赖链路信息，从而可以快速定位到报表所依赖的计算任务与对应资源。
另外，该步骤S203可以与步骤S210-S202并行地进行。
步骤S204、根据各报表的访问数据，确定待下线的目标表。
本实施例中，通过上述步骤S210-S202实时地获得各报表的访问数据，并存储到数据仓库中的行为数仓表中。
本实施例中，根据各个报表的访问数据可以获知一个时间段内各个报表的访问路径、访问频次等信息，并可以进一步确定哪些报表是需要下线的目标表，实现待下线的报表的自动识别和发现。
其中，一个时间段内报表的访问路径包括该段时间内哪些用户访问了哪些报表的信息。例如，该段时间内被访问的报表及其访问用户；或者，该段时间内访问了报表的用户及每个用户所访问的报表。另外，访问路径也可以包括被访问报表的访问频次信息或其他相关统计信息，本实施例此处不做具体限定。
访问频次信息包括以下至少一种：访问量(Page View，简称PV)、独立访客数(Unique Visitor，简称UV)。
该步骤中，根据各报表的访问数据，确定待下线的目标表，具体可以采用如下方式实现：
根据访问数据，确定各报表的访问指标数据；确定访问指标数据满足下线条件的报表，作为目标表。
其中，访问指标数据可以包括以下至少一种：访问量(Page View，简称PV)、独立访客数(Unique Visitor，简称UV)。
示例性地，可以通过spark sql查询数据仓库，以获取过去某段时间内报表的访问量PV，或者，可以通过spqrk sql查询查询数据仓库，以获取过去某段时间内报表的访问人次UV，等。
其中，需要下线的报表的访问指标数据所需满足下线条件，可以包括各访问指标数据对应的下线阈值，若报表的至少一种访问指标数据小于对应的下线阈值，则可以确定报表的访问指标数据满足下线条件；或者，若报表的至少第一数量的访问指标数据小于对应的下线阈值，则将确定报表的访问指标数据满足下线条件；或者，若报表的所有访问指标数据均小于对应的下线阈值，则将确定报表的访问指标数据满足下线条件；下线条件可以根据实际应用场景和需要进行配置和调整，本实施例此处不做具体限定。
示例性地，如图6所示，该步骤中，可以通过对数据仓库中行为数仓表和报表元信息数仓表进行分析，来实现基于spark分析用户的访问行为，获得包含用户访问报表路径、用户访问报表频次、报表访问PV/UV等的访问分析报告，并将访问分析报告提供给相关人员，以使相关人员依次作为确定待下线的报表的数据基础。如图6所示，行为数仓表中存储有用户访问报表的明细数据，包括每次报表访问的访问用户、访问报表、访问时间等信息。如图6所示，报表元信息数仓表中用于存储报表元信息，包括报表ID、报表名、所属报表组，另外，在确定报表的依赖链路信息之后，还可以将报表的依赖链路信息存储到报表元信息数仓表中。
步骤S205、根据目标表的依赖链路信息，确定目标表所依赖的计算任务。
本实施例中，通过步骤S203预先生成各报表的依赖链路信息，并存储到数据仓库中的报表元信息数仓表中。
该步骤中，可以直接从数据仓库中查询得到待下线的目标表的依赖链路信息，并确定目标表所依赖的计算任务。
步骤S206、对目标表及其所依赖的计算任务进行下线处理。
本实施例中，可以自动地对待下线的目标表进行下线处理。
可选地，在确定待下线的目标表之后，还可以发出通告信息，以通知相关人员目标表即将下线；或者请相关人员确认是否可以将目标表下线，在相关人员确认下线后再将目标表下线。
进一步地，针对待下线的目标表所依赖的计算任务，若依赖该计算任务的所有报表均已下线，那么可以确定该计算任务需要下线；若依赖该计算任务的报表中存在未下线的报表，则该计算任务不能下线。
也就是说，如果多个报表依赖同一个计算任务，则需要在依赖该计算任务的所有报表下线之后，才可以下线该计算任务。
可选地，在确定待下线的报表和计算任务之后，还可以对报表和计算任务进行下线处理后能够释放的资源进行估算，并将估算结果提供给相关人员，以供其参考。
示例性地，图7为本申请第二实施例提供的报表数据处理的系统框图，如图7所示，本申请实施例中，首先通过访问埋点将报表的访问行为日志写入到日志文件，通过日志监听在确定有新增访问行为日志时，从日志人家拉取新增日志，完成日志采集；然后通过对访问行为日志进行预处理，根据访问行为日志的数据特征，进行特征解析，过滤掉脏数据、抽取出有效的数据，完成日志清洗，并将有效数据转换为临时数据表；通过进行行为分析，将分析的数据结果通过行为数仓建模写入数据仓库，基于数据仓库中的访问数据，进行访问路径和访问指标数据(如PV/UV)的分析，根据分析结果通过反解palo依赖，反解计算任务依赖，建立报表、数据表、计算任务之间的依赖关系，确定待下线的低频报表、依赖任务，并可以估算可以释放的资源。
本申请实施例通过基于大数据技术，采集报表的访问行为日志，对报表的访问行为日志进行数据分析，确定各报表的访问数据，从而可以根据各报表的访问数据，自动识别和发现待下线的目标表；进一步地，通过解析报表对应的报表生成模型，确定报表生成模型所依赖的数据表，得到报表所依赖的数据表；通过解析各计算任务对应程序代码中包含的数据表信息，确定各数据表所依赖的计算任务，并自动确定各报表的依赖链路信息；根据目标表的依赖链路信息，确定目标表所依赖的计算任务，从而可以进一步识别出待下线的计算任务，对目标表及其所依赖的计算任务进行下线处理，能够节省大量的存储资源和计算资源，提高资源利用率。
图8是本申请第三实施例提供的报表数据处理的装置示意图。本申请实施例提供的报表数据处理的装置可以执行报表数据处理的方法实施例提供的处理流程。如图8所示，该报表数据处理的装置30包括：下线分析模块301和下线处理模块302。
具体地，下线分析模块301，用于根据各报表的访问数据，确定待下线的目标表。
下线分析模块301还用于根据目标表的依赖链路信息，确定目标表所依赖的计算任务。
下线处理模块302，用于对目标表及其所依赖的计算任务进行下线处理。
本申请实施例提供的装置可以具体用于执行上述第一实施例提供的方法实施例，具体功能此处不再赘述。
本申请实施例通过根据各报表的访问数据，确定待下线的目标表，自动识别和发现待下线的报表；通过根据目标表的依赖链路信息，确定目标表所依赖的计算任务，自动识别出待下线的报表所依赖的计算任务；通过对目标表及其所依赖的计算任务进行下线处理，在下线报表时自动进行下线报表所依赖的计算任务的下线，能够节省大量的存储资源和计算资源，提高资源利用率。
图9是本申请第四实施例提供的报表数据处理的装置示意图。在上述第三实施例的基础上，本实施例中，如图9所示，该报表数据处理的装置30还包括：依赖关系构建模块303，用于：根据各报表对应的报表生成模型，确定各报表的依赖链路信息，其中报表的依赖链路信息包含报表与计算任务依赖关系信息。
在一种可能的实现方式中，依赖关系构建模块303还用于：
通过解析报表对应的报表生成模型，确定报表生成模型所依赖的数据表，得到报表所依赖的数据表；通过解析各计算任务对应程序代码中包含的数据表信息，确定各数据表所依赖的计算任务，其中数据表所依赖的计算任务是指对应程序代码中包含该数据表的计算任务。
在一种可能的实现方式中，依赖关系构建模块303还用于：
将各报表的依赖链路信息存储到报表元信息数仓表中。
在一种可能的实现方式中，如图9所示，该报表数据处理的装置30还包括：行为分析模块304，用于：获取各报表的访问行为日志；根据各报表的访问行为日志，确定各报表的访问数据。
在一种可能的实现方式中，行为分析模块304还用于：
通过埋点技术获取将各报表的访问行为日志写入到日志文件；定时地从日志文件中拉取访问行为日志。
在一种可能的实现方式中，行为分析模块304还用于：
根据访问行为日志，将每条访问行为日志转换为弹性分布式数据集RDD中一个数据元素，得到RDD；将RDD存储到数据仓库中，得到各报表的访问数据。
其中，一条访问行为日志对应的数据元素至少包括：用户标识，报表标识和访问时间。
在一种可能的实现方式中，下线处理模块还用于：
根据访问数据，确定各报表的访问指标数据；确定访问指标数据满足下线条件的报表，作为目标表。
本申请实施例提供的装置可以具体用于执行上述第二实施例提供的方法实施例，具体功能此处不再赘述。
本申请实施例通过基于大数据技术，采集报表的访问行为日志，对报表的访问行为日志进行数据分析，确定各报表的访问数据，从而可以根据各报表的访问数据，自动识别和发现待下线的目标表；进一步地，通过解析报表对应的报表生成模型，确定报表生成模型所依赖的数据表，得到报表所依赖的数据表；通过解析各计算任务对应程序代码中包含的数据表信息，确定各数据表所依赖的计算任务，并自动确定各报表的依赖链路信息；根据目标表的依赖链路信息，确定目标表所依赖的计算任务，从而可以进一步识别出待下线的计算任务，对目标表及其所依赖的计算任务进行下线处理，能够节省大量的存储资源和计算资源，提高资源利用率。
根据本申请的实施例，本申请还提供了一种电子设备和一种可读存储介质。
如图10所示，是根据本申请实施例的报表数据处理的方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。
如图10所示，该电子设备包括：一个或多个处理器Y01、存储器Y02，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图10中以一个处理器Y01为例。
存储器Y02即为本申请所提供的非瞬时计算机可读存储介质。其中，存储器存储有可由至少一个处理器执行的指令，以使至少一个处理器执行本申请所提供的报表数据处理的方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的报表数据处理的方法。
存储器Y02作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的报表数据处理的方法对应的程序指令/模块(例如，附图8所示的下线分析模块301和下线处理模块302)。处理器Y01通过运行存储在存储器Y02中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的报表数据处理的方法。
存储器Y02可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据报表数据处理的电子设备的使用所创建的数据等。此外，存储器Y02可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器Y02可选包括相对于处理器Y01远程设置的存储器，这些远程存储器可以通过网络连接至报表数据处理的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
报表数据处理的方法的电子设备还可以包括：输入装置Y03和输出装置Y04。处理器Y01、存储器Y02、输入装置Y03和输出装置Y04可以通过总线或者其他方式连接，图10中以通过总线连接为例。
输入装置Y03可接收输入的数字或字符信息，以及产生与报表数据处理的电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置Y04可以包括显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。
此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
这些计算机程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算机程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。
Claims (21)
1.一种报表数据处理的方法，包括：
根据各报表的访问数据，确定待下线的目标表；
根据所述目标表的依赖链路信息，确定所述目标表所依赖的计算任务；
对所述目标表及其所依赖的计算任务进行下线处理。
2.根据权利要求1所述的方法，其中，所述根据所述目标表的依赖链路信息，确定所述目标表所依赖的计算任务之前，还包括：
根据各报表对应的报表生成模型，确定各报表的依赖链路信息，其中报表的依赖链路信息包含报表与计算任务依赖关系信息。
3.根据权利要求2所述的方法，其中，所述根据各报表对应的报表生成模型，确定各报表的依赖链路信息，包括：
通过解析所述报表对应的报表生成模型，确定所述报表生成模型所依赖的数据表，得到所述报表所依赖的数据表；
通过解析各计算任务对应程序代码中包含的数据表信息，确定各数据表所依赖的计算任务，其中数据表所依赖的计算任务是指对应程序代码中包含该数据表的计算任务。
4.根据权利要求2所述的方法，其中，所述根据各报表对应的报表生成模型，确定各报表的依赖链路信息之后，还包括：
将所述各报表的依赖链路信息存储到报表元信息数仓表中。
5.根据权利要求1所述的方法，其中，所述根据各报表的访问数据，确定待下线的目标表之前，还包括：
获取各报表的访问行为日志；
根据所述各报表的访问行为日志，确定所述各报表的访问数据。
6.根据权利要求5所述的方法，其中，所述获取各报表的访问行为日志，包括：
通过埋点技术获取将各报表的访问行为日志写入到日志文件；
定时地从所述日志文件中拉取所述访问行为日志。
7.根据权利要求5所述的方法，其中，所述根据所述各报表的访问行为日志，确定所述各报表的访问数据，包括：
根据所述访问行为日志，将每条所述访问行为日志转换为弹性分布式数据集RDD中一个数据元素，得到RDD；
将所述RDD存储到数据仓库中，得到所述各报表的访问数据。
8.根据权利要求7所述的方法，其中，一条访问行为日志对应的数据元素至少包括：用户标识，报表标识和访问时间。
9.根据权利要求1-8中任一项所述的方法，其中，所述根据各报表的访问数据，确定待下线的目标表，包括：
根据所述访问数据，确定所述各报表的访问指标数据；
确定访问指标数据满足下线条件的报表，作为目标表。
10.一种报表数据处理的装置，包括：
下线分析模块，用于根据各报表的访问数据，确定待下线的目标表；
所述下线分析模块还用于根据所述目标表的依赖链路信息，确定所述目标表所依赖的计算任务；
下线处理模块，用于对所述目标表及其所依赖的计算任务进行下线处理。
11.根据权利要求10所述的装置，还包括：依赖关系构建模块，用于：
根据各报表对应的报表生成模型，确定各报表的依赖链路信息，其中报表的依赖链路信息包含报表与计算任务依赖关系信息。
12.根据权利要求11所述的装置，其中，所述依赖关系构建模块还用于：
通过解析所述报表对应的报表生成模型，确定所述报表生成模型所依赖的数据表，得到所述报表所依赖的数据表；
通过解析各计算任务对应程序代码中包含的数据表信息，确定各数据表所依赖的计算任务，其中数据表所依赖的计算任务是指对应程序代码中包含该数据表的计算任务。
13.根据权利要求11所述的装置，其中，所述依赖关系构建模块还用于：
将所述各报表的依赖链路信息存储到报表元信息数仓表中。
14.根据权利要求10所述的装置，还包括：行为分析模块，用于：
获取各报表的访问行为日志；
根据所述各报表的访问行为日志，确定所述各报表的访问数据。
15.根据权利要求14所述的装置，其中，所述行为分析模块还用于：
通过埋点技术获取将各报表的访问行为日志写入到日志文件；
定时地从所述日志文件中拉取所述访问行为日志。
16.根据权利要求14所述的装置，其中，所述行为分析模块还用于：
根据所述访问行为日志，将每条所述访问行为日志转换为弹性分布式数据集RDD中一个数据元素，得到RDD；
将所述RDD存储到数据仓库中，得到所述各报表的访问数据。
17.根据权利要求16所述的装置，其中，一条访问行为日志对应的数据元素至少包括：用户标识，报表标识和访问时间。
18.根据权利要求10-17中任一项所述的装置，其中，所述下线处理模块还用于：
根据所述访问数据，确定所述各报表的访问指标数据；
确定访问指标数据满足下线条件的报表，作为目标表。
19.一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-9中任一项所述的方法。
20.一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行权利要求1-9中任一项所述的方法。
21.一种报表数据处理的方法，包括：
根据各报表的访问数据，确定待下线的目标报表；
确定所述目标报表所依赖的计算任务；
下线所述目标报表及所依赖的计算任务。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010876752.XA CN112015623B (zh) | 2020-08-27 | 2020-08-27 | 报表数据处理的方法、装置、设备及可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010876752.XA CN112015623B (zh) | 2020-08-27 | 2020-08-27 | 报表数据处理的方法、装置、设备及可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112015623A true CN112015623A (zh) | 2020-12-01 |
| CN112015623B CN112015623B (zh) | 2024-04-12 |
Family
ID=73503608
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010876752.XA Active CN112015623B (zh) | 2020-08-27 | 2020-08-27 | 报表数据处理的方法、装置、设备及可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112015623B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113779026A (zh) * | 2021-08-18 | 2021-12-10 | 北京健康之家科技有限公司 | 业务数据表的处理方法和装置 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101046825A (zh) * | 2007-04-18 | 2007-10-03 | 北京润乾信息系统技术有限公司 | 一种报表填写后数据入库的方法 |
| CN101226542A (zh) * | 2008-02-01 | 2008-07-23 | 中国建设银行股份有限公司 | 一种报表缓存的方法 |
| US20130007106A1 (en) * | 2011-07-01 | 2013-01-03 | Salesforce. Com Inc. | Asynchronous interaction in the report generator |
| CN103729385A (zh) * | 2012-10-16 | 2014-04-16 | 阿里巴巴集团控股有限公司 | 一种报表自动更新的方法和装置 |
| CN106599260A (zh) * | 2016-12-21 | 2017-04-26 | 深圳市易特科信息技术有限公司 | 医疗信息化重复医疗文件删除系统及方法 |
-
2020
- 2020-08-27 CN CN202010876752.XA patent/CN112015623B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101046825A (zh) * | 2007-04-18 | 2007-10-03 | 北京润乾信息系统技术有限公司 | 一种报表填写后数据入库的方法 |
| CN101226542A (zh) * | 2008-02-01 | 2008-07-23 | 中国建设银行股份有限公司 | 一种报表缓存的方法 |
| US20130007106A1 (en) * | 2011-07-01 | 2013-01-03 | Salesforce. Com Inc. | Asynchronous interaction in the report generator |
| CN103729385A (zh) * | 2012-10-16 | 2014-04-16 | 阿里巴巴集团控股有限公司 | 一种报表自动更新的方法和装置 |
| CN106599260A (zh) * | 2016-12-21 | 2017-04-26 | 深圳市易特科信息技术有限公司 | 医疗信息化重复医疗文件删除系统及方法 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113779026A (zh) * | 2021-08-18 | 2021-12-10 | 北京健康之家科技有限公司 | 业务数据表的处理方法和装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112015623B (zh) | 2024-04-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111309550A (zh) | 应用程序的数据采集方法、系统、设备和存储介质 | |
| US20110314138A1 (en) | Method and apparatus for cause analysis configuration change | |
| EP4006731A1 (en) | Method, apparatus, device, storage medium and computer program product for testing code | |
| CN109543891B (zh) | 容量预测模型的建立方法、设备及计算机可读存储介质 | |
| CN115335821B (zh) | 卸载统计收集 | |
| EP4134877A1 (en) | Training method and apparatus for fault recognition model, fault recognition method and apparatus, and electronic device | |
| CN113760677A (zh) | 异常链路分析方法、装置、设备及存储介质 | |
| CN112491617A (zh) | 一种链路跟踪方法、装置、电子设备和介质 | |
| CN112561332A (zh) | 模型管理方法、装置、电子设备、存储介质和程序产品 | |
| US11568344B2 (en) | Systems and methods for automated pattern detection in service tickets | |
| CN112015623B (zh) | 报表数据处理的方法、装置、设备及可读存储介质 | |
| CN113836237A (zh) | 对数据库的数据操作进行审计的方法及装置 | |
| CN112395333A (zh) | 用于排查数据异常的方法、装置、电子设备及存储介质 | |
| CN116450723A (zh) | 数据提取方法、装置、计算机设备及存储介质 | |
| CN115794545A (zh) | 运维数据的自动化处理方法及其相关设备 | |
| CN115408236A (zh) | 一种日志数据审计系统、方法、设备及介质 | |
| CN115221337A (zh) | 数据编织处理方法、装置、电子设备及可读存储介质 | |
| CN113918577A (zh) | 数据表识别方法、装置、电子设备及存储介质 | |
| CN113760568A (zh) | 数据处理的方法和装置 | |
| CN113779117A (zh) | 一种数据监控方法、装置、存储介质和电子设备 | |
| CN115269879B (zh) | 知识结构数据的生成方法、数据搜索方法和风险告警方法 | |
| CN117389908B (zh) | 接口自动化测试用例的依赖关系分析方法、系统及介质 | |
| CN111416744B (zh) | 互联网线上监控报警的方法及装置 | |
| CN116521664A (zh) | 数据仓库的数据监控方法及装置、计算设备、存储介质 | |
| CN116910352A (zh) | 基于人工智能的报表推荐方法、装置、设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |