CN111611320A - 一种基于日志服务包统计数据的方法及存储介质 - Google Patents

一种基于日志服务包统计数据的方法及存储介质 Download PDF

Info

Publication number
CN111611320A
CN111611320A CN202010556712.7A CN202010556712A CN111611320A CN 111611320 A CN111611320 A CN 111611320A CN 202010556712 A CN202010556712 A CN 202010556712A CN 111611320 A CN111611320 A CN 111611320A
Authority
CN
China
Prior art keywords
log
data
sdk
statements
sql
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010556712.7A
Other languages
English (en)
Inventor
孙朋朋
邹旭东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin Yixiang Haoju Network Technology Co ltd
Original Assignee
Tianjin Yixiang Haoju Network Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin Yixiang Haoju Network Technology Co ltd filed Critical Tianjin Yixiang Haoju Network Technology Co ltd
Priority to CN202010556712.7A priority Critical patent/CN111611320A/zh
Publication of CN111611320A publication Critical patent/CN111611320A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/3006—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system is distributed, e.g. networked systems, clusters, multiprocessor systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/302—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system component is a software system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3065—Monitoring arrangements determined by the means or processing involved in reporting the monitored data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/32—Monitoring with visual or acoustical indication of the functioning of the machine
    • G06F11/324—Display of status information
    • G06F11/327—Alarm or error message display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/1734—Details of monitoring file system events, e.g. by the use of hooks, filter drivers, logs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/242—Query formulation
    • G06F16/2433—Query languages
    • G06F16/2445—Data retrieval commands; View definitions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G06Q10/107—Computer-aided management of electronic mailing [e-mailing]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Mathematical Physics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Strategic Management (AREA)
  • Computer Hardware Design (AREA)
  • Computational Linguistics (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Debugging And Monitoring (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及数据读取技术领域，公开了一种基于日志服务包统计数据的方法及存储介质，其中方法包括步骤，S1、用户请求报表，根据报表配置的SQL语句，进入步骤S2；S2、验证是否有日志服务SDK，若有进入S3，若没有则安装日志服务SDK；S3、根据语句、筛选条件重新组合语句，然后调用SDK获取日志列表，进入步骤S4；S4、返回数据传递给用户。1、本方法中直接读取日志文件无须脚本与定时任务的处理，从时间与成本上节省了很多资源等。2、通过引用该技术解决日志数据返回响应快，并且数据多样化，便于其他人员操作，给工作上带来很多方便，同时也为其他同事调研上减少时间，提高统计数据的过程的工作效率。

Description

一种基于日志服务包统计数据的方法及存储介质
技术领域
本发明涉及数据读取技术领域，具体而言，涉及一种基于日志服务包统计数据的方法及存储介质。
背景技术
数据的存储与管理作为信息系统的一大基础，其安全性及分布的灵活性可以通过数据同步来实现。目前主要的数据库同步方式分为数据库主备系统和基于日志分析的数据库实时同步系统，两种方式各有其优缺点。
数据库主备系统和数据库实时同步系统中主要涉及到的数据库日志分为在线日志和归档日志：
1.Online Redo Log：联机在线重做日志，简称在线日志。指在数据库中添加、删除、修改对象，或者改变数据，数据库管理系统都会按照特定的格式，将这些操作执行的结果写入到当前的在线日志文件中。由于在线日志容量有限，数据库管理系统会根据设置的容量大小清空一部分在线日志。
2.Archived Redo Log：归档重做日志，简称归档日志。数据库可以在归档模式和非归档模式下运行。只有当数据库处于归档模式下，才将在线日志文件中的内容保存到硬盘中，形成归档日志文件。归档日志延长了重做日志的保存时间，有利于一定时间内的数据恢复。
现有技术中的日志服务中统计数据，获取统计数据的过程中发现响应慢、一些MYSQL常用的函数不能使用(是ES版本的问题)、有些数据需要二次处理、有时超过服务器执行时间等比较麻烦。
发明内容
本发明的主要目的在于提供一种基于日志服务包统计数据的方法及存储介质，以解决目前从日志中得到了相应的统计数据，获取统计数据的过程中发现响应慢、有些数据需要二次处理、有时超过服务器执行时间的问题。
为了实现上述目的，本发明提供了如下技术：
一种基于日志服务包统计数据的方法，包括步骤：
S1、用户请求报表，根据报表配置的SQL语句，进入步骤S2；
S2、验证是否有日志服务SDK，若有进入S3，若没有则安装日志服务SDK；
S3、根据语句、筛选条件重新组合语句，然后调用SDK获取日志列表，进入步骤S4；
S4、返回数据传递给用户。
进一步地，还包括步骤S5，在安装日志服务SDK后，配置env参数，并进行查询验证是否正确，若正确进入步骤S3，否则直接返回空数据给用户。
进一步地，在步骤S3中，根据SQL查询相应日志库，筛选条件重新组合SQL语句的过程中，同时查询过程中出现监控报错的情况下会发邮件给相关人员。
进一步地，步骤S2的验证过程仅在第一次过程中需要验证。
进一步地，第一次进行验证完成后会将是否安装SDK的结果记录到redis缓存中，下次直接从缓存中验证。
进一步地，在步骤S2中，通过composer引入日志服务SDK包。
进一步地，在步骤S3中，使用SQL方式查询能控制显示记录的条数，同时也能条件筛选，根据所选参数自动重新组装SQL语句。
进一步地，在步骤S3中，能查询指定的日志库。
进一步地，在步骤S3中，查询数据过程中，同时增加项目日志监控，若返回数据异常，则发送报警邮件。
进一步地，存储有可执行指令，用于引起处理器执行时，实现所述的基于日志服务包统计数据的方法。
与现有技术相比较，本发明能够带来如下技术效果：
以解决目前从日志中得到了相应的统计数据，获取统计数据的过程中发现响应慢、有些数据需要二次处理、有时超过服务器执行时间的问题。
1、本方法中直接读取日志文件无须脚本与定时任务的处理，从时间与成本上节省了很多资源等。
2、通过引用该技术解决日志数据返回响应快，并且数据多样化，便于其他人员操作，给工作上带来很多方便，同时也为其他同事调研上减少时间，提高统计数据的过程的工作效率。
附图说明
构成本发明的一部分的附图用来提供对本发明的进一步理解，使得本发明的其它特征、目的和优点变得更明显。本发明的示意性实施例附图及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是本发明一种基于日志服务包统计数据的方法的流程图；
图2是本发明一种基于日志服务包统计数据的方法的详细流程图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
在本发明中，术语“上”、“下”、“左”、“右”、“前”、“后”、“顶”、“底”、“内”、“外”、“中”、“竖直”、“水平”、“横向”、“纵向”等指示的方位或位置关系为基于附图所示的方位或位置关系。这些术语主要是为了更好地描述本发明及其实施例，并非用于限定所指示的装置、元件或组成部分必须具有特定方位，或以特定方位进行构造和操作。
并且，上述部分术语除了可以用于表示方位或位置关系以外，还可能用于表示其他含义，例如术语“上”在某些情况下也可能用于表示某种依附关系或连接关系。对于本领域普通技术人员而言，可以根据具体情况理解这些术语在本发明中的具体含义。
另外，术语“多个”的含义应为两个以及两个以上。
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。
实施例1
如图1和2所示，一种基于日志服务包统计数据的方法，包括步骤：
S1、用户请求报表，根据报表配置的SQL语句，进入步骤S2；
S2、验证是否有日志服务SDK，若有进入S3，若没有则安装日志服务SDK；步骤S2的验证过程仅在第一次过程中验证。并不是每次都进行验证(第一次进行验证完成后会将是否安装SDK的结果记录到redis缓存中，下次可以直接从缓存中验证)，操作的第一步都加有日志方便后续查询问题等。
在步骤S2中，通过composer引入日志服务SDK包。
S3、根据语句、筛选条件重新组合语句，然后调用SDK获取日志列表，进入步骤S4；根据SQL查询相应日志库，筛选条件重新组合SQL语句的过程中，同时查询过程中出现监控报错的情况下会发邮件给相关人员。在步骤S3中，使用SQL方式查询能控制显示记录的条数，同时也能条件筛选，根据所选参数自动重新组装SQL语句。
S4、返回数据传递给用户。
还包括步骤S5，在安装日志服务SDK后，配置env参数，并进行查询验证是否正确，若正确进入步骤S3，否则直接返回空数据给用户。
进一步地，在步骤S3中，能查询指定的日志库。
进一步地，在步骤S3中，查询数据过程中，同时增加项目日志监控，若返回数据异常，则发送报警邮件。
进一步地，存储有可执行指令，用于引起处理器执行时，实现所述的基于日志服务包统计数据的方法。
例如：利用ElasticSearch从日志中读取数据时依然使用SQL进行统计数据；
select
DAY_OF_YEAR(ts_time)AS days,
count(distinct(device_id))as num
from
bi_stat
where
ts_time>＝'2020-03-01'
andts_time<＝'2020-03-31'
andevent_name＝'UH_00003'
group by
DAY_OF_YEAR(ts_time)
语句说明：统计请求时间在2020-03-01与2020-03-31范围内并且事件名称为UH_00003并按请求时间分组统计每天的点击量。SQL中一些常用的函数在ES中并不支持(很多不一一举例)，导致统计数据需要二次处理如上述语句中日期时间格式化只能转成一年当中的第多少天，而不是我们常见的日期格式。
现引用SLS语句如下：
selectdate_format(time,'％Y-％m-％d')as days,
COUNT(*)as num
whereevent_name＝'UH_00003'
anddate_format(time,'％Y-％m-％d')>＝'2020-03-01'
anddate_format(time,'％Y-％m-％d')<＝'2020-03-31'
group by date_format(time,'％Y-％m-％d')order by days desc
语句说明：统计请求时间在2020-03-01与2020-03-31范围内并且事件名称为UH_00003并按请求时间分组时间倒序统计每天的点击量。
实施例2
如图1和2所示，一种基于日志服务包统计数据的方法，包括步骤：
S1、用户请求报表，根据报表配置的SQL语句，进入步骤S2；
S2、验证是否有日志服务SDK，若有进入S3，若没有则安装日志服务SDK；步骤S2的验证过程仅在第一次过程中验证。并不是每次都进行验证(第一次进行验证完成后会将是否安装SDK的结果记录到redis缓存中，下次可以直接从缓存中验证)，操作的第一步都加有日志方便后续查询问题等。
在步骤S2中，通过composer引入日志服务SDK包。
S3、根据语句、筛选条件重新组合语句，然后调用SDK获取日志列表，进入步骤S4；根据SQL查询相应日志库，筛选条件重新组合SQL语句的过程中，同时查询过程中出现监控报错的情况下会发邮件给相关人员。在步骤S3中，使用SQL方式查询能控制显示记录的条数，同时也能条件筛选，根据所选参数自动重新组装SQL语句。
S4、返回数据传递给用户。
还包括步骤S5，在安装日志服务SDK后，配置env参数，并进行查询验证是否正确，若正确进入步骤S3，否则直接返回空数据给用户。
进一步地，在步骤S3中，能查询指定的日志库。
进一步地，在步骤S3中，查询数据过程中，同时增加项目日志监控，若返回数据异常，则发送报警邮件。
进一步地，存储有可执行指令，用于引起处理器执行时，实现所述的基于日志服务包统计数据的方法。
现引用SLS语句如下：
selectdate_format(time,'％Y-％m-％d')as days,
COUNT(*)as num
whereevent_name＝'KW_00001'
anddate_format(time,'％Y-％m-％d')>＝'2020-03-01'
anddate_format(time,'％Y-％m-％d')<＝'2020-03-31'
group by date_format(time,'％Y-％m-％d')order by days desc
语句说明：统计请求时间在2020-03-01与2020-03-31范围内并且事件名称为KW_00001并按请求时间分组时间倒序统计每天的点击量。
实施例3
如图1和2所示，一种基于日志服务包统计数据的方法，包括步骤：
S1、用户请求报表，根据报表配置的SQL语句，进入步骤S2；
S2、验证是否有日志服务SDK，若有进入S3，若没有则安装日志服务SDK；步骤S2的验证过程仅在第一次过程中验证。并不是每次都进行验证(第一次进行验证完成后会将是否安装SDK的结果记录到redis缓存中，下次可以直接从缓存中验证)，操作的第一步都加有日志方便后续查询问题等。
在步骤S2中，通过composer引入日志服务SDK包。
S3、根据语句、筛选条件重新组合语句，然后调用SDK获取日志列表，进入步骤S4；根据SQL查询相应日志库，筛选条件重新组合SQL语句的过程中，同时查询过程中出现监控报错的情况下会发邮件给相关人员。在步骤S3中，使用SQL方式查询能控制显示记录的条数，同时也能条件筛选，根据所选参数自动重新组装SQL语句。
S4、返回数据传递给用户。
还包括步骤S5，在安装日志服务SDK后，配置env参数，并进行查询验证是否正确，若正确进入步骤S3，否则直接返回空数据给用户。
进一步地，在步骤S3中，能查询指定的日志库。
进一步地，在步骤S3中，查询数据过程中，同时增加项目日志监控，若返回数据异常，则发送报警邮件。
进一步地，存储有可执行指令，用于引起处理器执行时，实现所述的基于日志服务包统计数据的方法。
现引用SLS语句如下：
selectdate_format(time,'％Y-％m-％d')as days,
COUNT(*)as num
whereevent_name＝'AK_00010'
anddate_format(time,'％Y-％m-％d')>＝'2020-03-01'
anddate_format(time,'％Y-％m-％d')<＝'2020-03-31'
group by date_format(time,'％Y-％m-％d')order by days desc
语句说明：统计请求时间在2020-03-01与2020-03-31范围内并且事件名称为AK_00010并按请求时间分组时间倒序统计每天的点击量。
现有技术实现方案，如将日志数据写到数据库中，然后根据语句实现。
操作如下：
1、通过脚本读取日志文件，进行日志清洗；
2、按一定规则将日志数据写到数据库某一表中；
3、根据语句从表中查询数据；
此操作多了一个脚本并且还需要定时任务的支持(每天的清洗，数据写入数据库)，同时大量的日志数据也会给数据库带来一定的压力，而本发明方法中直接读取日志文件无须脚本与定时任务的处理，从时间与成本上节省了很多资源等。
与现有技术相比较，本发明能够带来如下技术效果：
以解决目前从日志中得到了相应的统计数据，获取统计数据的过程中发现响应慢、有些数据需要二次处理、有时超过服务器执行时间的问题。
1、本方法中直接读取日志文件无须脚本与定时任务的处理，从时间与成本上节省了很多资源等。
2、通过引用该技术解决日志数据返回响应快，并且数据多样化，便于其他人员操作，给工作上带来很多方便，同时也为其他同事调研上减少时间，提高统计数据的过程的工作效率。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于日志服务包统计数据的方法，其特征在于，包括步骤：
S1、用户请求报表，根据报表配置的SQL语句，进入步骤S2；
S2、验证是否有日志服务SDK，若有进入S3，若没有则安装日志服务SDK；
S3、根据语句、筛选条件重新组合语句，然后调用SDK获取日志列表，进入步骤S4；
S4、返回数据传递给用户。
2.如权利要求1所述的一种基于日志服务包统计数据的方法，其特征在于，还包括步骤S5，在安装日志服务SDK后，配置env参数，并进行查询验证是否正确，若正确进入步骤S3，否则直接返回空数据给用户。
3.如权利要求1或2所述的一种基于日志服务包统计数据的方法，其特征在于，在步骤S3中，根据SQL查询相应日志库，筛选条件重新组合SQL语句的过程中，同时查询过程中出现监控报错的情况下会发邮件给相关人员。
4.如权利要求3所述的一种基于日志服务包统计数据的方法，其特征在于，步骤S2的验证过程仅在第一次过程中需要验证。
5.如权利要求4所述的一种基于日志服务包统计数据的方法，其特征在于，第一次进行验证完成后会将是否安装SDK的结果记录到redis缓存中，下次直接从缓存中验证。
6.如权利要求5所述的一种基于日志服务包统计数据的方法，其特征在于，在步骤S2中，通过composer引入日志服务SDK包。
7.如权利要求1或6所述的一种基于日志服务包统计数据的方法，其特征在于，在步骤S3中，使用SQL方式查询能控制显示记录的条数，同时也能条件筛选，根据所选参数自动重新组装SQL语句。
8.如权利要求1所述的一种基于日志服务包统计数据的方法，其特征在于，在步骤S3中，能查询指定的日志库。
9.如权利要求3或6或8所述的一种基于日志服务包统计数据的方法，其特征在于，在步骤S3中，查询数据过程中，同时增加项目日志监控，若返回数据异常，则发送报警邮件。
10.如权利要求1-9任意所述的一种基于日志服务包统计数据的存储介质，其特征在于，存储有可执行指令，用于引起处理器执行时，实现权利要求1至9中任一项所述的基于日志服务包统计数据的方法。
CN202010556712.7A 2020-06-17 2020-06-17 一种基于日志服务包统计数据的方法及存储介质 Pending CN111611320A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010556712.7A CN111611320A (zh) 2020-06-17 2020-06-17 一种基于日志服务包统计数据的方法及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010556712.7A CN111611320A (zh) 2020-06-17 2020-06-17 一种基于日志服务包统计数据的方法及存储介质

Publications (1)

Publication Number Publication Date
CN111611320A true CN111611320A (zh) 2020-09-01

Family

ID=72200679

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010556712.7A Pending CN111611320A (zh) 2020-06-17 2020-06-17 一种基于日志服务包统计数据的方法及存储介质

Country Status (1)

Country Link
CN (1) CN111611320A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112328568A (zh) * 2020-11-03 2021-02-05 杭州天宽科技有限公司 基于sdk包的业务系统日志记录方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103399887A (zh) * 2013-07-19 2013-11-20 蓝盾信息安全技术股份有限公司 一种海量日志的查询与统计分析系统
CN105119752A (zh) * 2015-09-08 2015-12-02 北京京东尚科信息技术有限公司 一种分布式日志采集方法、装置及系统
CN108874926A (zh) * 2018-05-31 2018-11-23 康键信息技术（深圳）有限公司 海量数据查询方法、装置、计算机设备和存储介质
CN110716910A (zh) * 2019-10-14 2020-01-21 中国建设银行股份有限公司 一种日志管理方法、装置、设备和存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103399887A (zh) * 2013-07-19 2013-11-20 蓝盾信息安全技术股份有限公司 一种海量日志的查询与统计分析系统
CN105119752A (zh) * 2015-09-08 2015-12-02 北京京东尚科信息技术有限公司 一种分布式日志采集方法、装置及系统
CN108874926A (zh) * 2018-05-31 2018-11-23 康键信息技术（深圳）有限公司 海量数据查询方法、装置、计算机设备和存储介质
CN110716910A (zh) * 2019-10-14 2020-01-21 中国建设银行股份有限公司 一种日志管理方法、装置、设备和存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112328568A (zh) * 2020-11-03 2021-02-05 杭州天宽科技有限公司 基于sdk包的业务系统日志记录方法及系统
CN112328568B (zh) * 2020-11-03 2023-06-02 杭州天宽科技有限公司 基于sdk包的业务系统日志记录方法及系统

Similar Documents

Publication Publication Date Title
CN109947746B (zh) 一种基于etl流程的数据质量管控方法和系统
CN107506451B (zh) 用于数据交互的异常信息监控方法及装置
WO2019006654A1 (zh) 金融自助设备维修派单生成方法、手持终端及电子设备
CN112035415B (zh) 针对用户访问数据的处理系统、方法、设备及存储介质
CN111399909B (zh) 业务系统数据分发处理方法、装置及存储介质
CN112199394A (zh) 告警信息推送方法、系统、智能终端及存储介质
CN110297746A (zh) 一种数据处理方法及系统
CN113722277A (zh) 一种数据导入方法、装置、服务平台及存储介质
CN113791586A (zh) 一种新型的工业app与标识注册解析集成方法
CN113704790A (zh) 一种异常日志信息汇总方法及计算机设备
CN108228432A (zh) 一种分布式链路跟踪、分析方法及服务器、全局调度器
CN111611320A (zh) 一种基于日志服务包统计数据的方法及存储介质
CN111367982A (zh) 导入tririga基础数据的方法、装置、计算机设备及存储介质
US5826104A (en) Batch program status via tape data set information for dynamically determining the real time status of a batch program running in a main frame computer system
CN106709016B (zh) 一种基于服务总线的数据交换方法
CN109670952B (zh) 一种代收付交易平台
CN111741080A (zh) 网络文件分发方法及装置
CN116011972A (zh) 一种数据处理系统、方法、电子设备及计算机存储介质
CN113472881B (zh) 在线终端设备的统计方法和装置
CN114936150A (zh) 大数据数据流同步及监控测试方法、装置及存储介质
CN111382068B (zh) 一种大批量数据的层次测试方法及装置
CN111708802B (zh) 网络请求防重处理方法及装置
CN114780378A (zh) 基于业务接口的系统稳定性检测溯源方法及相关设备
CN114218173A (zh) 传帐类交易文件的批处理系统、处理方法、介质和设备
CN113128848A (zh) 全业务指标的数据质量监控方法、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200901

RJ01 Rejection of invention patent application after publication