CN112579394A - 应用于互联网金融的日志处理系统、方法及计算机设备 - Google Patents
应用于互联网金融的日志处理系统、方法及计算机设备 Download PDFInfo
- Publication number
- CN112579394A CN112579394A CN202011554266.2A CN202011554266A CN112579394A CN 112579394 A CN112579394 A CN 112579394A CN 202011554266 A CN202011554266 A CN 202011554266A CN 112579394 A CN112579394 A CN 112579394A
- Authority
- CN
- China
- Prior art keywords
- log
- module
- service
- monitoring
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 21
- 238000000034 method Methods 0.000 title claims abstract description 13
- 238000012544 monitoring process Methods 0.000 claims description 36
- 238000004590 computer program Methods 0.000 claims description 6
- 238000003672 processing method Methods 0.000 claims description 6
- 238000004458 analytical method Methods 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 3
- 239000000126 substance Substances 0.000 claims description 3
- 230000005856 abnormality Effects 0.000 claims description 2
- 230000002159 abnormal effect Effects 0.000 abstract description 7
- 238000004891 communication Methods 0.000 description 4
- 238000007405 data analysis Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
- G06F11/3006—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system is distributed, e.g. networked systems, clusters, multiprocessor systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3051—Monitoring arrangements for monitoring the configuration of the computing system or of the computing system component, e.g. monitoring the presence of processing resources, peripherals, I/O links, software programs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3089—Monitoring arrangements determined by the means or processing involved in sensing the monitored data, e.g. interfaces, connectors, sensors, probes, agents
- G06F11/3093—Configuration details thereof, e.g. installation, enabling, spatial arrangement of the probes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/32—Monitoring with visual or acoustical indication of the functioning of the machine
- G06F11/324—Display of status information
- G06F11/327—Alarm or error message display
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2471—Distributed queries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/252—Integrating or interfacing systems involving database management systems between a Database Management System and a front-end application
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Quality & Reliability (AREA)
- Computing Systems (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Fuzzy Systems (AREA)
- Probability & Statistics with Applications (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Debugging And Monitoring (AREA)
Abstract
本发明公开了应用于互联网金融的日志处理系统、方法及计算机设备,涉及互联网金融技术领域,系统包括依次连接的日志采集模块、日志转发模块、日志标识模块、存储模块和日志获取模块,日志获取模块与日志采集模块连接,日志采集模块用于实时采集业务日志,日志转发模块用于接收采集的所述业务日志并对业务日志进行转发,日志标识模块用于对转发的业务日志添加位置标识符和自增长ID,存储模块包括备用库单元,用于将添加了位置标识符和自增长ID的业务日志进行存储,日志获取模块,用于在日志丢失时从备用库单元根据最新的位置标识符和自增长ID获取日志,本发明具有即使在采集工具异常时也能保证日志采集连续性的优点。
Description
技术领域
本发明涉及互联网金融技术领域,具体涉及应用于互联网金融的日志处理系统、方法及计算机设备。
背景技术
日志是记录各种系统中问题信息的关键,是一种常见的海量数据,目前可以通过系统的日志对系统的运行状态进行分析。目前银行等组织机构都有多种系统,这些系统基于分布式的应用服务器集群日复一日地运,产生海量的日志。核心银行系统拥有的运维数据,既包括系统层面有关资源消耗的性能特征日志,还包括业务层面事关客户、账户的交易明细日志。使用数据分析工具,结合数据分析方法,深入挖掘海量数据背后所蕴藏的价值,不仅可以提高信息系统支持能力,还能够不断增强金融服务效能,最终达成提升客户体验的运营目标。
现有的日志处理系统对日志进行采集时,采集工具异常时容易出现日志不连续的问题,因此缺少一种能保证日志采集连续性的日志处理系统。
发明内容
针对现有技术中的缺陷,本发明提供应用于互联网金融的日志处理系统、方法及计算机设备,以解决现有日志处理系统对日志进行采集时,采集工具异常时容易出现日志不连续的技术问题。
为解决上述的技术问题,本发明采用以下技术方案:
应用于互联网金融的日志处理系统,包括依次连接的日志采集模块、日志转发模块、日志标识模块、存储模块和日志获取模块,所述日志获取模块与日志采集模块连接;其中,
所述日志采集模块,用于实时采集业务日志;
所述日志转发模块,用于接收采集的所述业务日志并对业务日志进行转发;
所述日志标识模块,用于对转发的业务日志添加位置标识符和自增长ID;
所述存储模块包括备用库单元,备用库单元用于将添加了位置标识符和自增长ID的业务日志进行存储;
所述日志获取模块,用于在业务日志丢失时从备用库单元根据最新的位置标识符和自增长ID获取业务日志。
优选地,日志采集模块连接有应用服务器,并利用flume实时收集业务日志。
优选地,存储模块还包括redis存储单元和MySQL存储单元,redis存储单元用于存储统计数据,MySQL存储单元用于存储规则数据。
优选地,日志转发模块连接有监测统计模块,监测统计模块用于根据预设的各系统类型对应的监测统计任务从各系统类型对应的业务日志中提取数据,得到各监测统计任务的监测数据。
优选地,监测统计模块连接有web展示模块,web展示模块实时动态展示所述监控数据。
优选地,web展示模块包括监控规则管理单元、报警渠道管理单元、性能参数动态展示单元、报警对象管理单元、报警历史展示单元、业务异常动态展示单元和关键词内容检索单元。
优选地,监测统计模块连接有报警控制模块,报警控制模块用于根据实时计算和分析的结果生成报警反馈。
应用于互联网金融的日志处理方法,包括以下步骤:
S1:日志采集:实时采集业务日志;
S2:日志转发:接收采集的所述业务日志并对业务日志进行转发;
S3:日志标识及存储:对转发的业务日志添加位置标识符和自增长ID,并存储到备用库;
S4:日志获取:在业务日志丢失时从备用库根据最新的位置标识符和自增长ID获取业务日志。
计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行计算机程序时实现上述的应用于互联网金融的日志处理方法。
本发明的有益效果体现在:
1、本发明可通过增设的日志标识模块对转发过程中的业务日志添加位置标识符和自增长ID,再将业务日志存储在备用库单元内,当遇到采集工具异常时,可通过日志获取模块从备用库单元根据最新的位置标识符和自增长ID获取业务日志,并将该业务日志匹配到日志采集模块,从而保证日志采集的连续性。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍。在所有附图中,类似的元件或部分一般由类似的附图标记标识。附图中,各元件或部分并不一定按照实际的比例绘制。
图1为本发明提供的应用于互联网金融的日志处理系统的结构框图;
图2为本发明提供的应用于互联网金融的日志处理方法的流程示意图;
图3为本发明提供的计算机设备的结构示意图。
附图标记:
110-日志采集模块,120-日志转发模块,130-日志标识模块,140-存储模块,141-备用库单元,142-redis存储单元,143-MySQL存储单元,150-日志获取模块,160-监测统计模块,170-web展示模块,171-监控规则管理单元,172-报警渠道管理单元,173-性能参数动态展示单元,174-报警对象管理单元,175-报警历史展示单元,176-业务异常动态展示单元,177-关键词内容检索单元,180-报警控制模块,210-存储器,220-处理器,230-通信总线,240-通信接口。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。通常在此处附图中描述和出示的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
实施例1
如图1所示,本实施例提供应用于互联网金融的日志处理系统,包括依次连接的日志采集模块110、日志转发模块120、日志标识模块130、存储模块140和日志获取模块150,所述日志获取模块150与日志采集模块110连接;其中,
所述日志采集模块110,用于实时采集业务日志;
所述日志转发模块120,用于接收采集的所述业务日志并对业务日志进行转发;
所述日志标识模块130,用于对转发的业务日志添加位置标识符和自增长ID;
所述存储模块140包括备用库单元141,备用库单元141用于将添加了位置标识符和自增长ID的业务日志进行存储;
所述日志获取模块150,用于在业务日志丢失时从备用库单元141根据最新的位置标识符和自增长ID获取业务日志。
本实施例中,通过增设的日志标识模块130对转发过程中的业务日志添加位置标识符和自增长ID,再将业务日志存储在备用库单元141内,当遇到采集工具异常时,可通过日志获取模块150从备用库单元141根据最新的位置标识符和自增长ID获取业务日志,并将该业务日志匹配到日志采集模块110,从而保证日志采集的连续性。
具体地,日志采集模块110连接有应用服务器,并利用flume实时收集业务日志。通过在各应用服务器中设置日志采集插件,该日志采集插件可以定时或实时将应用服务器中产生的业务日志发送到日志采集模块110。应用服务器集群中部署有多种系统,例如Redis缓存系统、Kafka等,每个系统可以部署在一个或多个应用服务器中,各系统产生的业务日志将存储在部署的应用服务器中。flume是一个分布式、可靠的高性能工具,可用于从不同数据源收集、聚合、传输大量日志数据至一个中央数据源。
具体地,存储模块140还包括redis存储单元142和MySQL存储单元143,redis存储单元142用于存储统计数据,MySQL存储单元143用于存储规则数据。
具体地,日志转发模块120连接有监测统计模块160,监测统计模块160用于根据预设的各系统类型对应的监测统计任务从各系统类型对应的业务日志中提取数据,利用storm得到各监测统计任务的监测数据。针对各系统设置监测统计任务,例如针对Redis缓存系统设置监测命令进程数量、内存使用数量、网络输入/输出数量等监测统计任务。在本发明实施例中,监测统计根据监测统计任务访问任务对应的业务日志获取数据,进而得到监测统计任务的监测统计结果。
需要说明的是,上述storm可以是storm实时计算集群,通过采用storm集群能够实时采集数据、并实时分析数据。
具体地,监测统计模块160连接有web展示模块170,web展示模块170实时动态展示所述监控数据。
具体地,web展示模块170包括监控规则管理单元171、报警渠道管理单元172、性能参数动态展示单元173、报警对象管理单元174、报警历史展示单元175、业务异常动态展示单元176和关键词内容检索单元177。从而能够通过网站web进行相应的功能管理和内容展示。
具体地,监测统计模块160连接有报警控制模块180,报警控制模块180用于根据实时计算和分析的结果生成报警反馈。通过利用storm的流式数据处理优势,能够实时处理刚产生的日志,并及时反馈线上应用系统的运行状态,对线上出现的问题能够及时生成报警反馈。即本发明的系统能够对线上出现的问题实时给出报警反馈,进而方便及时有效的对线上故障进行处理。
实施例2
如图2所示,本实施例提供应用于互联网金融的日志处理方法,包括以下步骤:
S1:日志采集:实时采集业务日志;
S2:日志转发:接收采集的所述业务日志并对业务日志进行转发;
S3:日志标识及存储:对转发的业务日志添加位置标识符和自增长ID,并存储到备用库;
S4:日志获取:在业务日志丢失时从备用库根据最新的位置标识符和自增长ID获取业务日志。
在本实施例中,将实时采集的业务日志进行转发时,通过对转发的业务日志添加位置标识符和自增长ID,并存储到备用库,当遇到采集工具异常时,可从备用库根据最新的位置标识符和自增长ID获取业务日志,并将该业务日志进行匹配,从而保证日志采集的连续性。
实施例3
如图2和3所示,本实施例提供计算机设备,包括存储器210、处理器220、通信接口240以及通信总线230,在存储器210上存储有可在处理器220上运行的计算机程序,处理器220执行所述计算机程序时实现上述实施例2方法中的步骤。
处理器220可以为中央处理器,处理器220还可以为其他通用处理器、数字信号处理器、专用集成电路、现场可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片,或者上述各类芯片的组合。
存储器210作为一种非暂态计算机可读存储介质,可用于存储非暂态软件程序、非暂态计算机可执行程序以及单元,如本发明上述实施2中方法对应的程序单元。处理器220通过运行存储在存储器210中的非暂态软件程序、指令以及模块,从而执行处理器220的各种功能应用以及作品数据处理,即实现上述实施例2中的方法。
存储器210可以包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需要的应用程序;存储数据区可存储处理器所创建的数据等。此外,存储器210可以包括高速随机存取存储器,还可以包括非暂态存储器,例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中,存储器210可选包括相对于处理器220远程设置的存储器,这些远程存储器可以通过网络连接至处理器220。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围,其均应涵盖在本发明的权利要求和说明书的范围当中。
Claims (9)
1.应用于互联网金融的日志处理系统,其特征在于,包括依次连接的日志采集模块、日志转发模块、日志标识模块、存储模块和日志获取模块,所述日志获取模块与日志采集模块连接;其中,
所述日志采集模块,用于实时采集业务日志;
所述日志转发模块,用于接收采集的所述业务日志并对业务日志进行转发;
所述日志标识模块,用于对转发的业务日志添加位置标识符和自增长ID;
所述存储模块包括备用库单元,备用库单元用于将添加了位置标识符和自增长ID的业务日志进行存储;
所述日志获取模块,用于在日志丢失时从备用库单元根据最新的位置标识符和自增长ID获取日志。
2.根据权利要求1所述的应用于互联网金融的日志处理系统,其特征在于,所述日志采集模块连接有若干应用服务器,并利用flume实时收集业务日志。
3.根据权利要求1所述的应用于互联网金融的日志处理系统,其特征在于,所述存储模块还包括redis存储单元和MySQL存储单元,所述redis存储单元用于存储统计数据,所述MySQL存储单元用于存储规则数据。
4.根据权利要求3所述的应用于互联网金融的日志处理系统,其特征在于,所述日志转发模块连接有监测统计模块,所述监测统计模块用于根据预设的各系统类型对应的监测统计任务从各系统类型对应的业务日志中提取数据,得到各监测统计任务的监测数据。
5.根据权利要求4所述的应用于互联网金融的日志处理系统,其特征在于,所述监测统计模块连接有web展示模块,所述web展示模块实时动态展示所述监控数据。
6.根据权利要求5所述的应用于互联网金融的日志处理系统,其特征在于,所述web展示模块包括监控规则管理单元、报警渠道管理单元、性能参数动态展示单元、报警对象管理单元、报警历史展示单元、业务异常动态展示单元和关键词内容检索单元。
7.根据权利要求3所述的应用于互联网金融的日志处理系统,其特征在于,所述监测统计模块连接有报警控制模块,所述报警控制模块用于根据实时计算和分析的结果生成报警反馈。
8.应用于互联网金融的日志处理方法,其特征在于,包括以下步骤:
S1:日志采集:实时采集业务日志;
S2:日志转发:接收采集的所述业务日志并对业务日志进行转发;
S3:日志标识及存储:对转发的业务日志添加位置标识符和自增长ID,并存储到备用库;
S4:日志获取:在业务日志丢失时从备用库根据最新的位置标识符和自增长ID获取业务日志。
9.计算机设备,其特征在于,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求8所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011554266.2A CN112579394A (zh) | 2020-12-24 | 2020-12-24 | 应用于互联网金融的日志处理系统、方法及计算机设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011554266.2A CN112579394A (zh) | 2020-12-24 | 2020-12-24 | 应用于互联网金融的日志处理系统、方法及计算机设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112579394A true CN112579394A (zh) | 2021-03-30 |
Family
ID=75139683
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011554266.2A Pending CN112579394A (zh) | 2020-12-24 | 2020-12-24 | 应用于互联网金融的日志处理系统、方法及计算机设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112579394A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113316190A (zh) * | 2021-05-10 | 2021-08-27 | 上海仝心电子科技有限公司 | 一种智慧云盒及系统 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105468475A (zh) * | 2015-11-16 | 2016-04-06 | 北京奇虎科技有限公司 | 数据库的备份方法及备份装置 |
US20170220289A1 (en) * | 2016-01-29 | 2017-08-03 | Netapp, Inc. | Techniques for remediating non-conforming storage system configurations |
US9767111B1 (en) * | 2011-03-28 | 2017-09-19 | EMC IP Holding Company LLC | Method and apparatus for managing a dynamic journal using the punch command |
CN107357804A (zh) * | 2017-05-24 | 2017-11-17 | 上海你我贷互联网金融信息服务有限公司 | 互联网金融海量日志的分析系统及方法 |
CN108804523A (zh) * | 2018-04-27 | 2018-11-13 | 腾讯科技(深圳)有限公司 | 数据同步方法、系统及计算机可读存储介质 |
CN111177098A (zh) * | 2019-12-27 | 2020-05-19 | 中信百信银行股份有限公司 | 查看系统日志上下文的方法及系统 |
-
2020
- 2020-12-24 CN CN202011554266.2A patent/CN112579394A/zh active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9767111B1 (en) * | 2011-03-28 | 2017-09-19 | EMC IP Holding Company LLC | Method and apparatus for managing a dynamic journal using the punch command |
CN105468475A (zh) * | 2015-11-16 | 2016-04-06 | 北京奇虎科技有限公司 | 数据库的备份方法及备份装置 |
US20170220289A1 (en) * | 2016-01-29 | 2017-08-03 | Netapp, Inc. | Techniques for remediating non-conforming storage system configurations |
CN107357804A (zh) * | 2017-05-24 | 2017-11-17 | 上海你我贷互联网金融信息服务有限公司 | 互联网金融海量日志的分析系统及方法 |
CN108804523A (zh) * | 2018-04-27 | 2018-11-13 | 腾讯科技(深圳)有限公司 | 数据同步方法、系统及计算机可读存储介质 |
CN111177098A (zh) * | 2019-12-27 | 2020-05-19 | 中信百信银行股份有限公司 | 查看系统日志上下文的方法及系统 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113316190A (zh) * | 2021-05-10 | 2021-08-27 | 上海仝心电子科技有限公司 | 一种智慧云盒及系统 |
CN113316190B (zh) * | 2021-05-10 | 2023-08-01 | 上海仝心电子科技有限公司 | 一种智慧云盒及系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111984499B (zh) | 一种大数据集群的故障检测方法和装置 | |
US11010223B2 (en) | Method and system of automatic event and error correlation from log data | |
US10409650B2 (en) | Efficient access scheduling for super scaled stream processing systems | |
US10262032B2 (en) | Cache based efficient access scheduling for super scaled stream processing systems | |
CN113360554B (zh) | 一种数据抽取、转换和加载etl的方法和设备 | |
CN103838867A (zh) | 日志处理方法和装置 | |
CN112236761B (zh) | 数据立方体的动态增量更新 | |
CN106789251B (zh) | 网银运行状态监控系统及方法 | |
CN111339073A (zh) | 实时数据处理方法、装置、电子设备及可读存储介质 | |
US10110419B2 (en) | Alarm to event tracing | |
CN112181931A (zh) | 一种大数据系统链路追踪方法及电子设备 | |
CN112395333B (zh) | 用于排查数据异常的方法、装置、电子设备及存储介质 | |
CN111008109A (zh) | 一种监控数据处理方法、装置、电子设备及存储介质 | |
CN110888985A (zh) | 一种报警信息处理方法、装置、电子设备及存储介质 | |
CN114091704A (zh) | 一种告警压制方法和装置 | |
CN112579394A (zh) | 应用于互联网金融的日志处理系统、方法及计算机设备 | |
CN116701525A (zh) | 一种基于实时数据分析的预警方法、系统和电子设备 | |
CN106789335B (zh) | 一种用于处理信息的方法和系统 | |
CN110309206B (zh) | 订单信息采集方法及系统 | |
CN112417050A (zh) | 数据同步方法和装置、系统、存储介质及电子装置 | |
CN111274215A (zh) | 一种基于分布式的日志统一管理方法 | |
CN112651840B (zh) | 基于区块链和数字金融的业务数据日志处理方法及系统 | |
CN115794744A (zh) | 一种日志展示方法、装置、设备和存储介质 | |
CN113220530B (zh) | 数据质量监控方法及平台 | |
CN115408236A (zh) | 一种日志数据审计系统、方法、设备及介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |