CN112667469A - 一种多元化大数据统计报告自动生成方法、系统及可读介质 - Google Patents
一种多元化大数据统计报告自动生成方法、系统及可读介质 Download PDFInfo
- Publication number
- CN112667469A CN112667469A CN202011557896.5A CN202011557896A CN112667469A CN 112667469 A CN112667469 A CN 112667469A CN 202011557896 A CN202011557896 A CN 202011557896A CN 112667469 A CN112667469 A CN 112667469A
- Authority
- CN
- China
- Prior art keywords
- data
- key
- target database
- automatically generating
- statistical report
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 39
- 238000012545 processing Methods 0.000 claims abstract description 35
- 230000008569 process Effects 0.000 claims abstract description 16
- 238000012544 monitoring process Methods 0.000 claims abstract description 11
- 230000002159 abnormal effect Effects 0.000 claims abstract description 8
- 238000004590 computer program Methods 0.000 claims description 12
- 238000007405 data analysis Methods 0.000 claims description 6
- 238000004458 analytical method Methods 0.000 claims description 5
- 230000008859 change Effects 0.000 claims description 5
- 238000012986 modification Methods 0.000 claims description 4
- 230000004048 modification Effects 0.000 claims description 4
- 230000000737 periodic effect Effects 0.000 claims description 4
- 230000006835 compression Effects 0.000 claims description 3
- 238000007906 compression Methods 0.000 claims description 3
- 230000014759 maintenance of location Effects 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 230000001960 triggered effect Effects 0.000 claims 1
- 238000004364 calculation method Methods 0.000 abstract description 7
- 238000010586 diagram Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 10
- 230000006399 behavior Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000007619 statistical method Methods 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000000969 carrier Substances 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及一种多元化大数据统计报告自动生成方法、系统及可读介质,包括以下步骤:S1对数据源中的数据进行扫描,并根据数据重要性将数据分为关键数据和非关键数据,对于关键数据生成日志,对于非关键数据进行物理化备份;S2对数据源中的数据进行实时监控或周期性监控,若发现数据异常则向用户发出警报,同时暂停数据处理过程,并将经过步骤S1处理的数据存储至目标数据库;S3提取目标数据库中的数据,并对其进行分类,根据不同的数据类别对数据进行分析处理;S4将经过步骤S3分析处理的数据填入统计报告模板中的对应项,从而生成统计报告。其操作简单,成本较低,计算量较小,能够快速准确的生成统计报告。
Description
技术领域
本发明涉及一种多元化大数据统计报告自动生成方法、系统及可读介质,属于数据处理技术领域。
背景技术
很多企业、机构或个人经常会在做辅助公司或领导决策的统计报告,因为整体业务不熟,不知道一个统计报告需由哪些统计内容构成,以及如何安排统计要素之间的关系、计算公式、报告样式。传统企业完成这项工作,通常会使用Excel表写出复杂的运算公式,来进行数据统计工作。在面对小数据的情况下,虽然可能过程繁琐,但还能基本胜任。而如果是基于大数据的复杂运算统计报告,那么使用传统的Excel表将无法完成繁重的数据处理任务。
这些事务在大型企业里可以通过购买昂贵的BI展示服务来获得,但是BI展示服务价格昂贵,其功能虽然很全面,但是很多功能并不是每次统计都需要的,从而造成一定程度的浪费。
发明内容
针对上述问题,本发明的目的是提供了一种多元化大数据统计报告自动生成方法、系统和可读介质,其操作简单,成本较低,计算量相对较小,可以快速、准确、个性化的生成统计报告。
为实现上述目的,本发明采取以下技术方案:一种多元化大数据统计报告自动生成方法,包括以下步骤:S1对数据源中的数据进行扫描,并根据数据重要性将数据分为关键数据和非关键数据,对于关键数据生成日志,对于非关键数据进行物理化备份;S2对数据源中的数据进行实时监控或周期性监控,若发现数据异常则向用户发出警报,同时暂停数据处理过程,并将经过步骤S1处理的数据存储至目标数据库;S3提取目标数据库中的数据,并对其进行分类,根据不同的数据类别对数据进行分析处理;S4将经过步骤S3分析处理的数据填入统计报告模板中的对应项,从而生成统计报告。
进一步,步骤S2中存储至目标数据库中的数据包括:业务数据、日志数据和文件数据。
进一步,步骤S3中将目标数据库的数据分为关系型数据、非关系数据和附件型数据三类。
进一步,对于关系型数据在分析时直接通过经过训练的结构化查询语句进行查询,并将查询的结果进行提取。
进一步,对于非关系型数据在分析时,将其进一步分为需要计算的数据和不需要计算的数据两类,对于不需要计算的数据直接从Hbase数据库的调用接口查询并提取数据;对于需要计算的数据采用spark进行分布式计算。
进一步,步骤S1中对数据源中的数据进行扫描,采用非触发周期性扫描方式,依据数据源端的修改时间、数据大小、日志记录或操作记录变化标识确认数据发生变化继而进行操作。
进一步,步骤S1中生成的日志采用数据作业日志映射即时文本录入和数据表概括描述两种方式,并且将数据源中生成的日志与数据在分析处理过程中产生的日志分开,物理化备份采用增量数据留存和定期数据文件压缩两种方式。
进一步,步骤S3中采用数据增量采集、全量加载和数据拉链线性历史记录三种方式提取目标数据库中的数据。
本发明公开了一种多元化大数据统计报告自动生成系统,包括:数据处理模块,用于对数据源中的数据进行扫描,并根据数据重要性将数据分为关键数据和非关键数据,对于关键数据生成日志,对于非关键数据进行物理化备份;监测模块,用于对数据源中的数据进行实时监控或周期性监控,若发现数据异常则向用户发出警报,同时暂停数据处理过程,并将经过数据处理模块处理的数据存储至目标数据库;数据分析模块,用于提取目标数据库中的数据,并对其进行分类,根据不同的数据类别对数据进行分析处理;报告生成模块,用于将经过分析处理的数据填入统计报告模板中的对应项,从而生成统计报告。
本发明还公开了一种计算机可读存储介质,计算机可读存储介质上存储有计算机程序,计算机程序被处理器执行以实现上述任一项的多元化大数据统计报告自动生成方法。
本发明由于采取以上技术方案,其具有以下优点:1、本方案中数据发现自主化,脱离以往的数据推送模式或手动传输模式,而是以数据源的变化为标识主动搜集数据。2、本方案中异常信息自动化,是以每个数据处理环节为基础,当异常发生时主动推送错误环节和错误内容给运维人员以便及时处理。3、数据信息配置化,不再以独立的作业脚本为运行模式,而是完整地配置出数据关系,以便整理数据链和了解数据当前状态。4、本方案中是以规范化的命名和存放地址指向已开发的数据脚本,更便于后期运维、统计和管理。
附图说明
图1是本发明一实施例中多元化大数据统计报告自动生成方法的示意图;
图2是本发明一实施例中对数据源中数据进行处理过程的示意图;
图3是本发明一实施例中步骤S3中对数据进行分析处理过程的示意图。
具体实施方式
为了使本领域技术人员更好的理解本发明的技术方向,通过具体实施例对本发明进行详细的描绘。然而应当理解,具体实施方式的提供仅为了更好地理解本发明,它们不应该理解成对本发明的限制。在本发明的描述中,需要理解的是,所用到的术语仅仅是用于描述的目的,而不能理解为指示或暗示相对重要性。
本发明采用数据一体化结构,关键性信息采用面向使用人员配置的方式,数据由生产出至处理结束,全程有监控和警报,关键信息会生成日志,并对某些非落地设定的数据可完成物理化备份,整体程序采用复合开发语言完成。该结构释放工作人员的定检工作,保证数据的可追溯性和可靠性,日志与系统警报作为一个整体贯穿数据处理的各个环节,数据加工环节多采用配置式的增益性开发,即在不满足现有功能对数据处理的情况下,仅需要修改其中的工具文件和增加相应配置文件即可完成工作。下面通过具体实施例对本发明中方案进行进一步阐述。
实施例一
本实施例公开了一种多元化大数据统计报告自动生成方法,如图1、2所示,包括以下步骤:
S1对数据源中的数据进行扫描,并根据数据重要性将数据分为关键数据和非关键数据,对于关键数据生成日志,对于非关键数据进行物理化备份。
对数据源中的数据进行扫描,采用非触发周期性扫描方式,依据数据源端的修改时间、数据大小、日志记录或操作记录变化标识确认数据发生变化继而进行操作。
生成的日志采用数据作业日志映射即时文本录入和数据表概括描述两种方式,并且将数据源中生成的日志与数据在分析处理过程中产生的日志分开,物理化备份采用增量数据留存和定期数据文件压缩两种方式。
S2对数据源中的数据采用Linux或Window端系统执行计划配置方式,进行实时监控或周期性监控,若发现数据异常则向用户发出警报,同时暂停数据处理过程,并将经过步骤S1处理的数据存储至目标数据库;
其中,如图3所示,存储至目标数据库中的数据包括:业务数据、日志数据和文件数据。将数据源的数据规范化、模板化,将步骤S1处理完的数据存入到目标数据库。数据源和目标数据库的区别在于前者是原始数据,后者是处理规范化之后的数据,后者为后续功能提供数据服务。
S3提取目标数据库中的数据,并对其进行分类,根据不同的数据类别对数据进行分析处理;
步骤S3中采用数据增量采集、全量加载和数据拉链线性历史记录三种方式分别从业务数据、日志数据和文件数据对应的目标数据库中提取数据,并将目标数据库的数据分为关系型数据、非关系数据和附件型数据三类。
关系型数据中构成关系数据的主要载体为用户数据、系统数据、配置数据、各种初始化数据及在使用过程中构成的关联数据,这部分数据主要存储在关系数据库里,特征主要体现为数据增长的速度较慢但关联数据较多较复杂,比如用户数据从开始仅仅注册到慢慢使用各功能开始进行各个模块的数据关联和应用,这类数据数据量不会过高,但却构成了数据分析的主要载体。对于关系型数据在分析时直接通过经过训练的结构化查询语句进行查询,并将查询的结果进行提取分析。该类统计数据直接通过优化好的结构化查询语句直接进行查询并得出结果,查询和运算时间相对较快。
非关系型数据主要体现在用户的行为数据上,简单来讲就是谁在什么时间干了什么,比如张三注册之后,他每天都会在晚上19点左右登陆app,然后点到健康模块进行应用。这类数据被称为用户行为数据,其特点是与其他数据关联较少,数据增长速度较快,在高峰时段造成的系统并发较高,这类数据被存入到了HDFS里,其为统计分析的主要面向数据。对于非关系型数据在分析时,将其进一步分为需要计算的数据和不需要计算的数据两类,对于不需要计算的数据直接从Hbase数据库的调用接口查询并提取数据,进行统计;对于需要计算的数据采用spark进行分布式计算。比如想统计用户评论功能十年以来总共有多少汉字,占用了多少空间,占了服务器的资源比例是多少,类似这类庞大的数据计算问题均采用分布式计算,得到相应结果所需要的的时间取决于服务器的数量及数据量。
附件型数据主要为一些上传的文件数据,比如用户上传的头像、上传的证件、其他附件,或办公人员上传的txt及excel等办公文档。该类数据作为上两种数据的补充数据进行统计分析。
S4将经过步骤S3分析处理的数据填入统计报告模板中的对应项,从而生成统计报告。
前面的数据分类和数据分析最终都是要为了产生结论性的结果而服务,数据分类是为了解决数据存储的问题,数据分析和计算是定制化的功能实现方法,是直接服务于统计报告,统计报告是基于用户的客观需求。比如用户需要一个PDF格式的大数据报告,里面有10个统计项,那么这10个统计项实际对应的就是后端的10个统计接口。统计报告最终采用什么格式的文件,都统计什么内容全部来源于使用者的需求。
实施例二
基于相同的发明构思,本实施例公开了一种多元化大数据统计报告自动生成系统,包括:
数据处理模块,用于对数据源中的数据进行扫描,并根据数据重要性将数据分为关键数据和非关键数据,对于关键数据生成日志,对于非关键数据进行物理化备份;
监测模块,用于对数据源中的数据进行实时监控或周期性监控,若发现数据异常则向用户发出警报,同时暂停数据处理过程,并将经过数据处理模块处理的数据存储至目标数据库;
数据分析模块,用于提取目标数据库中的数据,并对其进行分类,根据不同的数据类别对数据进行分析处理;
报告生成模块,用于将经过分析处理的数据填入统计报告模板中的对应项,从而生成统计报告。
实施例三
基于相同的发明构思,本实施例公开了一种计算机可读存储介质,计算机可读存储介质上存储有计算机程序,计算机程序被处理器执行以实现上述任一项的多元化大数据统计报告自动生成方法。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
最后应当说明的是:以上实施例仅用以说明本发明的技术方案而非对其限制,尽管参照上述实施例对本发明进行了详细的说明,所属领域的普通技术人员应当理解:依然可以对本发明的具体实施方式进行修改或者等同替换,而未脱离本发明精神和范围的任何修改或者等同替换,其均应涵盖在本发明的权利要求保护范围之内。上述内容仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以权利要求的保护范围。
Claims (10)
1.一种多元化大数据统计报告自动生成方法,其特征在于,包括以下步骤:
S1对数据源中的数据进行扫描,并根据数据重要性将数据分为关键数据和非关键数据,对于所述关键数据生成日志,对于所述非关键数据进行物理化备份;
S2对所述数据源中的数据进行实时监控或周期性监控,若发现数据异常则向用户发出警报,同时暂停数据处理过程,并将经过步骤S1处理的数据存储至目标数据库;
S3提取所述目标数据库中的数据,并对其进行分类,根据不同的数据类别对数据进行分析处理;
S4将经过步骤S3分析处理的数据填入统计报告模板中的对应项,从而生成统计报告。
2.如权利要求1所述的多元化大数据统计报告自动生成方法,其特征在于,所述步骤S2中存储至目标数据库中的数据包括:业务数据、日志数据和文件数据。
3.如权利要求1所述的多元化大数据统计报告自动生成方法,其特征在于,所述步骤S3中将目标数据库的数据分为关系型数据、非关系数据和附件型数据三类。
4.如权利要求3所述的多元化大数据统计报告自动生成方法,其特征在于,对于所述关系型数据在分析时直接通过经过训练的结构化查询语句进行查询,并将查询的结果进行提取。
5.如权利要求3所述的多元化大数据统计报告自动生成方法,其特征在于,对于所述非关系型数据在分析时,将其进一步分为需要计算的数据和不需要计算的数据两类,对于不需要计算的数据直接从Hbase数据库的调用接口查询并提取数据;对于需要计算的数据采用spark进行分布式计算。
6.如权利要求1-5任一项所述的多元化大数据统计报告自动生成方法,其特征在于,所述步骤S1中对数据源中的数据进行扫描,采用非触发周期性扫描方式,依据数据源端的修改时间、数据大小、日志记录或操作记录变化标识确认数据发生变化继而进行操作。
7.如权利要求1-5任一项所述的多元化大数据统计报告自动生成方法,其特征在于,所述步骤S1中生成的日志采用数据作业日志映射即时文本录入和数据表概括描述两种方式,并且将数据源中生成的日志与数据在分析处理过程中产生的日志分开,所述物理化备份采用增量数据留存和定期数据文件压缩两种方式。
8.如权利要求1-5任一项所述的多元化大数据统计报告自动生成方法,其特征在于,所述步骤S3中采用数据增量采集、全量加载和数据拉链线性历史记录三种方式提取所述目标数据库中的数据。
9.一种多元化大数据统计报告自动生成系统,其特征在于,包括:
数据处理模块,用于对数据源中的数据进行扫描,并根据数据重要性将数据分为关键数据和非关键数据,对于所述关键数据生成日志,对于所述非关键数据进行物理化备份;
监测模块,用于对所述数据源中的数据进行实时监控或周期性监控,若发现数据异常则向用户发出警报,同时暂停数据处理过程,并将经过数据处理模块处理的数据存储至目标数据库;
数据分析模块,用于提取所述目标数据库中的数据,并对其进行分类,根据不同的数据类别对数据进行分析处理;
报告生成模块,用于将经过分析处理的数据填入统计报告模板中的对应项,从而生成统计报告。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行以实现如权利要求1-8任一项所述的多元化大数据统计报告自动生成方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011557896.5A CN112667469A (zh) | 2020-12-25 | 2020-12-25 | 一种多元化大数据统计报告自动生成方法、系统及可读介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011557896.5A CN112667469A (zh) | 2020-12-25 | 2020-12-25 | 一种多元化大数据统计报告自动生成方法、系统及可读介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112667469A true CN112667469A (zh) | 2021-04-16 |
Family
ID=75408807
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011557896.5A Pending CN112667469A (zh) | 2020-12-25 | 2020-12-25 | 一种多元化大数据统计报告自动生成方法、系统及可读介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112667469A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115080586A (zh) * | 2022-05-10 | 2022-09-20 | 兴业银行股份有限公司 | 由数据自动生成报告文档的方法及系统 |
CN115357469A (zh) * | 2022-10-21 | 2022-11-18 | 北京国电通网络技术有限公司 | 异常报警日志解析方法、装置、电子设备和计算机介质 |
Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105208098A (zh) * | 2015-08-24 | 2015-12-30 | 用友网络科技股份有限公司 | 云监控系统的实现装置和方法 |
CN105677622A (zh) * | 2016-03-11 | 2016-06-15 | 郑州师范学院 | 大数据分析报告自动生成系统 |
US20160350102A1 (en) * | 2014-09-26 | 2016-12-01 | Oracle International Corporation | Multivariate metadata based cloud deployment monitoring for lifecycle operations |
CN107870909A (zh) * | 2016-09-22 | 2018-04-03 | 北京航天长峰科技工业集团有限公司 | 一种网络信息定题采集与分析方法 |
CN109446344A (zh) * | 2018-11-14 | 2019-03-08 | 同方知网(北京)技术有限公司 | 一种基于大数据的智能分析报告自动生成系统 |
CN109634818A (zh) * | 2018-10-24 | 2019-04-16 | 中国平安人寿保险股份有限公司 | 日志分析方法、系统、终端及计算机可读存储介质 |
CN109902020A (zh) * | 2019-03-13 | 2019-06-18 | 中南大学 | 一种用于持续监控自动化测试生成日志文件的可视化方法和系统 |
CN110866383A (zh) * | 2019-10-15 | 2020-03-06 | 中国直升机设计研究所 | 一种交互式电子数据清单生成方法及系统 |
CN111078506A (zh) * | 2019-12-27 | 2020-04-28 | 中国银行股份有限公司 | 业务数据跑批任务监控方法及装置 |
CN111177134A (zh) * | 2019-12-26 | 2020-05-19 | 上海科技发展有限公司 | 适用于海量数据的数据质量分析方法、装置、终端及介质 |
WO2020238130A1 (zh) * | 2019-05-24 | 2020-12-03 | 深圳壹账通智能科技有限公司 | 一种大数据日志监控方法及装置、存储介质和计算机设备 |
CN116089212A (zh) * | 2022-12-30 | 2023-05-09 | 天翼物联科技有限公司 | 数据库运行监控方法、系统、装置及存储介质 |
-
2020
- 2020-12-25 CN CN202011557896.5A patent/CN112667469A/zh active Pending
Patent Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160350102A1 (en) * | 2014-09-26 | 2016-12-01 | Oracle International Corporation | Multivariate metadata based cloud deployment monitoring for lifecycle operations |
CN105208098A (zh) * | 2015-08-24 | 2015-12-30 | 用友网络科技股份有限公司 | 云监控系统的实现装置和方法 |
CN105677622A (zh) * | 2016-03-11 | 2016-06-15 | 郑州师范学院 | 大数据分析报告自动生成系统 |
CN107870909A (zh) * | 2016-09-22 | 2018-04-03 | 北京航天长峰科技工业集团有限公司 | 一种网络信息定题采集与分析方法 |
CN109634818A (zh) * | 2018-10-24 | 2019-04-16 | 中国平安人寿保险股份有限公司 | 日志分析方法、系统、终端及计算机可读存储介质 |
CN109446344A (zh) * | 2018-11-14 | 2019-03-08 | 同方知网(北京)技术有限公司 | 一种基于大数据的智能分析报告自动生成系统 |
CN109902020A (zh) * | 2019-03-13 | 2019-06-18 | 中南大学 | 一种用于持续监控自动化测试生成日志文件的可视化方法和系统 |
WO2020238130A1 (zh) * | 2019-05-24 | 2020-12-03 | 深圳壹账通智能科技有限公司 | 一种大数据日志监控方法及装置、存储介质和计算机设备 |
CN110866383A (zh) * | 2019-10-15 | 2020-03-06 | 中国直升机设计研究所 | 一种交互式电子数据清单生成方法及系统 |
CN111177134A (zh) * | 2019-12-26 | 2020-05-19 | 上海科技发展有限公司 | 适用于海量数据的数据质量分析方法、装置、终端及介质 |
CN111078506A (zh) * | 2019-12-27 | 2020-04-28 | 中国银行股份有限公司 | 业务数据跑批任务监控方法及装置 |
CN116089212A (zh) * | 2022-12-30 | 2023-05-09 | 天翼物联科技有限公司 | 数据库运行监控方法、系统、装置及存储介质 |
Non-Patent Citations (4)
Title |
---|
李丹;肖炳甲;季振山;王勇;刘少清;: "基于Web的电机实时状态监测与显示系统", 计算机系统应用, no. 12 * |
李峰;: "动态网络运维监控系统的研究与应用", 现代营销(学苑版) * |
李德泉;何文春;阮宇智;刘一鸣;: "气象实时数据库服务监控系统设计与实现", 成都信息工程学院学报, no. 02 * |
王静;吴庆龙;: "基于数据中心的电力营销管控系统设计与应用", 内蒙古电力技术, no. 06 * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115080586A (zh) * | 2022-05-10 | 2022-09-20 | 兴业银行股份有限公司 | 由数据自动生成报告文档的方法及系统 |
CN115357469A (zh) * | 2022-10-21 | 2022-11-18 | 北京国电通网络技术有限公司 | 异常报警日志解析方法、装置、电子设备和计算机介质 |
CN115357469B (zh) * | 2022-10-21 | 2022-12-30 | 北京国电通网络技术有限公司 | 异常报警日志解析方法、装置、电子设备和计算机介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112347071B (zh) | 一种配电网云平台数据融合方法及配电网云平台 | |
CN111966868B (zh) | 基于标识解析的数据治理方法及相关设备 | |
US9123006B2 (en) | Techniques for parallel business intelligence evaluation and management | |
CN104537015A (zh) | 一种日志分析的计算机实现的方法、计算机和系统 | |
CN111339375A (zh) | 一种通用的大数据模型配置和分析方法 | |
CN112667469A (zh) | 一种多元化大数据统计报告自动生成方法、系统及可读介质 | |
CN113190426B (zh) | 一种大数据评分系统稳定性监控方法 | |
CN115237857A (zh) | 日志处理方法、装置、计算机设备及存储介质 | |
CN111859479A (zh) | Pdm系统中工程变更全生命周期管理方法及系统 | |
CN113868498A (zh) | 数据存储方法、电子装置、装置及可读存储介质 | |
CN113947468B (zh) | 一种数据管理方法及平台 | |
AU1591201A (en) | Systems and methods for collecting, storing, and analyzing database statistics | |
US7844601B2 (en) | Quality of service feedback for technology-neutral data reporting | |
CN117501275A (zh) | 用于分析由大量单独消息组成的数据的方法、计算机程序产品和计算机系统 | |
CN114416489A (zh) | 系统运行状态的监控方法、装置、计算机设备及存储介质 | |
CN109697602B (zh) | 一种用于规费征稽的数据处理系统 | |
CN111435466A (zh) | 一种一体化机房运维管理系统 | |
CN111428949A (zh) | 一种车间制造管理系统及方法 | |
CN111581200B (zh) | 一种基于mes的生产管理系统 | |
CN116976984A (zh) | 基于MetaAPI的广告报告获取方法、装置及其相关介质 | |
CN117909359A (zh) | 一种关于房卡生产管理的方法及系统 | |
CN117974051A (zh) | 一种基于工业大数据平台的数据治理方法 | |
CN117828515A (zh) | 一种基于低代码平台的智能日志异常诊断系统及方法 | |
CN117196523A (zh) | 一种机器人流程自动化方法及装置 | |
CN113821320A (zh) | 一种分布式的数据仓库工作流调度方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |