CN106294672A - 一种日志实时展现和查询的方法与系统 - Google Patents

一种日志实时展现和查询的方法与系统 Download PDF

Info

Publication number
CN106294672A
CN106294672A CN201610637391.7A CN201610637391A CN106294672A CN 106294672 A CN106294672 A CN 106294672A CN 201610637391 A CN201610637391 A CN 201610637391A CN 106294672 A CN106294672 A CN 106294672A
Authority
CN
China
Prior art keywords
log information
log
server
information
daily record
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610637391.7A
Other languages
English (en)
Inventor
唐云飞
宁海元
张新铭
杨思枢
阚海明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Number Of Hangzhou Dai Technology Co Ltd
Original Assignee
Number Of Hangzhou Dai Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Number Of Hangzhou Dai Technology Co Ltd filed Critical Number Of Hangzhou Dai Technology Co Ltd
Priority to CN201610637391.7A priority Critical patent/CN106294672A/zh
Publication of CN106294672A publication Critical patent/CN106294672A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/14—Details of searching files based on file metadata
    • G06F16/156—Query results presentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/16—File or folder operations, e.g. details of user interfaces specifically adapted to file systems
    • G06F16/168—Details of user interfaces specifically adapted to file systems, e.g. browsing and visualisation, 2d or 3d GUIs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/1805—Append-only file systems, e.g. using logs or journals to store data
    • G06F16/1815—Journaling file systems

Abstract

本发明涉及一种日志实时展示和查询的方法与系统，包括：通过LOG收集服务器Logstash采集日志信息，并采用消息模式发送给消息系统服务器Kafka；Tornado服务器通过多线程并发读取模式从消息系统Kafka读取日志消息记录，并提供过滤服务；Tornado服务器采用高性能的Websocket长链接快速将日志消息发送到前台终端Livetail；前台终端Livetail通过特定方式实时显示日志消息，并提供过滤和搜索功能。本发明中，采集到的日志信息直接写入存储管理系统Kafka，然后由Tornado并发读出，采用高效WebSocket发送到具备数据过滤与查询功能的前端服务器Livetail，不仅降低了信息时延、大大提高日志信息的实时性，而且在服务器端提供过滤机制，有效推送信息并保证了日志信息安全性，极大的改善了现有系统的缺陷，提高了用户体验。

Description

一种日志实时展现和查询的方法与系统
技术领域
本发明涉及一种日志实时展现和查询的方法与系统，尤其涉及一种大数据处理领域的日志实时展现和查询的方法与系统。
背景技术
在大数据时代背景下，如何对实时日志数据进行快速分类和高效精准的查找渐渐成为影响实施日志管理生产力的重要因素。若能在管理海量实时日志数据的同时，按照客户的需求对数据进行细化分类进而精准推送，不仅可以减少用户等待时间，提高生产效率，同时还可以有效保证用户数据的安全性。
实时日志ELK包括日志采集和日志实时展示与查询。传统的ELK采用Logstash完成日志采集并写入Elasticsearch中，然后再从Elasticsearch中获取数据并通过Kibana展现，而Kibana偏重于日志分析和统计，在日志实时展现与过滤查询等功能上一直是短板，不能很好满足实时日志所需的时效性的需求。
发明内容
针对目前ELK系统中存在的缺陷，本发明提出了一种新的低延时、可过滤与查找的实时日志展现与查询系统。该系统基于Logstash+ Kafka+ Tornado的构架模式，通过传统的Logstash采集到日志信息，并将该信息通过插件的方式写入Kafka，利用Tornado服务器采用多线程模式读取日志信息，根据用户设定的过滤规则对原数据进行过滤归并，然后采用高效的WebSocket将归整的数据精准推送到显示前端Livetail，该系统通过一个或者多个客户端采用backbone.js、CCS和HTML等方式将日志信息显示给用户。由于该方式中日志信息不在经过Elasticsearch而是直接进入Kafka，有效降低了信息时延；同时利用Tornado的异步非阻塞性，在保证高并发的同时可以获得良好性能；通过服务器端对信息进行过滤，从源头上保证了日志信息的安全性；前台服务器通过保存一段时间的日志数据，展现实时日志消息的同时还能提供根据日志过滤功能，用户可选择展现不同主机、应用名、日志类型的日志，除此，提供以正则表达式搜索日志、同时查看多种日志来源等功能，给用户提供了很大的查询灵活度，提供了丰富的操作选择，极大的提高了用户体验。
本发明解决其技术问题所采用的技术方案是：
日志信息采集步骤，通过LOG采集服务器Logstash对特定的日志信息进行收集。
优选的，所述的日志采集步骤是指通过日志采集服务器Logstash对ssh_log、apache_access_log、nginx_access_log、mysql_log和other_log等log信息进行实时收集。
日志信息存储步骤，通过消息存储服务器Kafka将采集到的日志信息归整形成记录数据供读取之用。
优选的，所述的日志信息存储步骤是指所述日志采集服务器Logstash将采集到的日志信息通过插件的方式写进消息存储管理服务器Kafka。
日志信息读取步骤，通过消息管理服务器Tornado从消息存储服务器Kafka中读出特定实时日志信息。
优选的，所述的日志信息读取步骤指的是消息管理服务器Tornado采用多线程并发读取的方式从存储管理服务器Kafka读取所需日志信息。
日志信息过滤步骤，消息管理服务器Tornado在读取到日志信息后，对信息按照特定要求进行过滤处理得到目标信息。
优选的，所述的日志信息过滤步骤是指消息管理服务器Tornado根据用户配置，采用日志所属用户或者消息长度限制等过滤条件实现对原信息过滤，从而提供用户需求的日志信息，实现准确的信息推送，同时保证了日志信息的安全性。
前端显示步骤，消息管理服务器Tornado通过高效的WebSocket将过滤后得到的信息发送给前端服务器Livetail，有前端服务器进行显示。
优选的，所述的前端显示步骤是指前端服务器Livetail通过一台或者多台客户端将从消息管理服务器Tornado接收到的日志信息展示给用户。
优选的，所述的客户端除具备显示功能外，还提供多窗口管理、过滤与查找、性能管理、可视化操作界面显示、记录显示停止与恢复、性能管理和Backbone.js等服务与功能，采用Backbone.js、CCS和HTML等方式展现日志信息。
本发明还公开了一种日志实时展现和查询的系统，该系统包括以下子系统：
日志采集系统，用于采集日志信息；
日志信息存储系统，用于处理采集到的日志信息，形成记录并进行存储管理；
日志管理系统，用于按照设定规则对输出日志信息进行过滤操作，并提供日志信息高效实时推送；
前端系统，用于对读取到的日志信息进行显示，并提供过滤查找功能及其可视化操作界面。
优选的，所述的日志管理服系统Tornado采用socket通道模式进行多线程日志信息读取，并同时对一个或者多个前端服务器提供日志数据输送服务。
优选的，所述的前端系统是指包含一个或者多个客户端的前端显示客户端群，每个客户端为用户提供多窗口显示、日志信息过滤与查找、可视化操作界面显示、性能管理、日志显示停止与恢复和backbone.js等功能与服务。
采用上述技术方案，本发明具有以下优点：
本发明所述的日志实时展现与查询的方法与系统，基于Logstash+ Kafka+ Tornado的构架模式，通过传统的Logstash采集到日志信息，并将该信息通过插件的方式写入Kafka，利用Tornado服务器采用多线程模式读取日志信息，根据用户设定的过滤规则对原数据进行过滤归并，然后采用高效的WebSocket将归整的数据精准推送到显示前端Livetail，该系统通过一个或者多个客户端采用backbone.js、CCS和HTML等方式将日志信息显示给用户。由于该方式中日志信息不在经过Elasticsearch而是直接进入Kafka，有效降低了信息时延；同时利用Tornado的异步非阻塞性，在保证高并发的同时可以获得良好性能；通过服务器端对信息进行过滤，从源头上保证了日志信息的安全性；前台服务器通过保存一段时间的日志数据，展现实时日志消息的同时还能提供根据日志过滤功能，用户可选择展现不同主机、应用名、日志类型的日志，除此，提供以正则表达式搜索日志、同时查看多种日志来源等功能，给用户提供了很大的查询灵活度，提供了丰富的操作选择，极大的提高了用户体验。
附图说明
图1为本发明较佳实施方式的一种日志实时展现和查询方法与系统的流程图。
图2为本发明较佳实施方式的一种日志实时展现和查询方法与系统的子系统图
图3为本发明较佳实施方式的一种日志实时展现和查询方法与系统的方法与系统的流程图。
图4位为本发明较佳实施方式的一种日志实时展现和查询方法与系统的方法与系统的前端客户端功能模块图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅仅是本发明的一个实施例，而不是全部实施例。基于本发明中的实施例，本领域的一般技术人员在没有做出创造性劳动的前提下所获得的其他实施例，都属于本发明保护的范围。
本发明公开了一种日志实时展现和查询的方法，参见图1所示，该方法包含以下步骤：
步骤S1：通过LOG采集服务器Logstash对特定的日志信息进行收集；
步骤S2：Tornado服务器通过多线程并发读取模式从消息系统Kafka读取日志消息记录，并提供过滤服务；
步骤S3：Tornado服务器采用高性能的Websocket长链接快速将日志消息发送到前台终端Livetail；
日志信息过滤步骤，消息管理服务器Tornado在读取到日志信息后，对信息按照特定要求进行过滤处理得到目标信息；
步骤S4：前台终端Livetail通过特定方式实时显示日志消息，并提供过滤和搜索功能。
本发明实施例中，通过Logstash服务器对日志信息进行采集，然后通过插件的方式将所述日志信息写入消息存储服务器Kafka，采用多线程并发访问的方式，利用消息管理服务器Tornado通过socket访问方式读取Kafka中的日志消息。服务器Tornado根据用户设置的过滤规则，对消息进行过滤限制并采用高效的WebSocket模式将日志消息推送个前端服务器Livetail进行显示。前端服务器Livetail对接收到的日志信息提供过滤、查找、性能管理、多窗口管理、日志显示停止与恢复和Backbone.js的功能性服务，并采用Backbone.js、CSS、HTML对日志信息进行实时展示。
可见，在本实施例中，Logstash采集到的日志信息不再按照传统思路写入Elasticsearch，而是通过插件的方式写入Kafka，这样大大降低了数据的传输时延，同时采用并发非阻塞式的多线程访问方式，利用Tornado从Kafka服务器中读取日志信息，并按照用户设置的规则对数据进行过滤匹配，不仅从源头上保证了日志数据的安全性，也大大提高了日志信息的针对性，提高了数据传输的顺畅性和实时性；前台服务器通过保存一段时间的日志数据，展现实时日志消息的同时还能提供根据日志过滤功能，用户可选择展现不同主机、应用名、日志类型的日志，除此，提供以正则表达式搜索日志、同时查看多种日志来源等功能，给用户提供了很大的查询灵活度，提供了丰富的操作选择，极大的提高了用户体验。
本发明实施例公开了一种日志实时展现和查询具体的系统，参见图3、4，相对上一实施例，本实施例对技术方案作了进一步的说明和优化。具体的，本实施例中日志实时展现与查询的系统包含以下模块和技术方式。
M1：日志信息采集模块。
具体的，通过日志采集服务器Logstash采集包括ssh_log、apache_access_log、nginx_access_log、mysql_log和other_log等log信息。
M2：日志消息存储管理模块。
具体的，该模块为日志消息存储服务器Kafka，通过插件写入的方式将所述日志采集服务器M1采集到的日志信息写入存储设备并形成记录信息。
E1：并发读取通道。
具体的，该读取通道采取的技术方案是socket模式，为日志消息管理服务器Tornado并发读取提供服务通道支持。
M3：信息管理服务器Tornado。
具体的，该服务器采用多线程并发非阻塞是访问的模式，通过所述E1通道快速读取所述日志存储服务器M2中的日志信息，并根据用户设置，提供包括日志信息所属主机信息、消息长度限制等过滤条件对日志信息进行过滤匹配，形成用户日志信息。
E2:快速传送通道。
具体的，该通道为高性能的WebSocket模式，为所述信息管理服务器M3将过滤后的日志信息快速向外输送提供高效通道支持。
M4：前端显示系统Livetail。
具体的，该系统通过一个或者多个客户端对从所述日志消息管理服务器M3传送的日志信息进行显示，参见图4，所述客户端包括，多窗口管理模块、过滤模块、日志显示停止与恢复模块、可视化模块、性能优化模块和Backbone.js模块。
进一步的，过滤模块包括正则表达式过滤模块，和原数据过滤模块。
再进一步的，所述正则表达式过滤模块给用户提供正则表达式过滤与查询功能，所述原数据过滤模块包括主机名过滤、应用名称过滤和日志类型过滤。
进一步的，可视化模块实现了命令模拟器的可视化界面操作，给用户使用提供便利。
进一步的，Backbone.js包括集合、视图和模型。通过该模块实现对日志信息的实时显示与更新。
根据本发明的另一方面，参见图2，所述日志实时展现与查询的系统包括以下子系统：
日志采集系统M1，用于采集日志信息；
日志信息存储系统M2，用于处理采集到的日志信息，形成记录并进行存储管理；
日志管理系统M3，用于按照设定规则对输出日志信息进行过滤操作，并提供日志信息高效实时推送；
前端系统M4，用于对读取到的日志信息进行显示，并提供过滤查找功能及其可视化操作界面。
本实施例中，日志采集系统通过插件的方式将采集到的日志数据信息写入信息存储系统M2形成消息记录，日志管理子系统M3采用并发访问的方式从信息存储系统M2中读取日志信息并按照用户设置规则对原数据进行过滤，将过滤的数据通过高效的WebSocket推送给前端系统M4进行显示，前端系统M4根据用户需求提供过滤、查找、日志查看终端与恢复等服务，通过Backbone.js、CCS和HTML的方式进行日志实时显示。
综上所述，通过传统的Logstash采集到日志信息，并将该信息通过插件的方式写入Kafka，利用Tornado服务器采用多线程模式读取日志信息，根据用户设定的过滤规则对原数据进行过滤归并，然后采用高效的WebSocket将归整的数据精准推送到显示前端Livetail，该系统通过一个或者多个客户端采用backbone.js、CCS和HTML等方式将日志信息显示给用户。由于该方式中日志信息不在经过Elasticsearch而是直接进入Kafka，有效降低了信息时延；同时利用Tornado的异步非阻塞性，在保证高并发的同时可以获得良好性能；通过服务器端对信息进行过滤，从源头上保证了日志信息的安全性；前台服务器通过保存一段时间的日志数据，展现实时日志消息的同时还能提供根据日志过滤功能，用户可选择展现不同主机、应用名、日志类型的日志，除此，提供以正则表达式搜索日志、同时查看多种日志来源等功能，给用户提供了很大的查询灵活度，提供了丰富的操作选择，极大的提高了用户体验。
以上所述仅为举例性，而非为限制性。本领域的技术人员可以对发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包括这些改动和变型在内。

Claims (10)

1.一种日志实时展现和查询的方法，其特征在于，该方法包含以下步骤：
日志信息采集步骤，通过LOG采集服务器Logstash对特定的日志信息进行收集；
日志信息存储步骤，通过消息存储服务器Kafka将采集到的日志信息归整形成记录数据供读取之用；
日志信息读取步骤，通过消息管理服务器Tornado从消息存储服务器Kafka中读出特定实时日志信息；
日志信息过滤步骤，消息管理服务器Tornado在读取到日志信息后，对信息按照特定要求进行过滤处理得到目标信息；
前端显示步骤，消息管理服务器Tornado通过高效的WebSocket将过滤后得到的信息发送给前端服务器Livetail，有前端服务器进行显示。
2.如权利要求1所述的一种日志实时展现和查询的方法，其特征在于，所述的日志采集步骤是指通过日志采集服务器Logstash对ssh_log、apache_access_log、nginx_access_log、mysql_log和other_log等log信息进行实时收集。
3.如权利要求1所述的一种日志实时展现和查询的方法，其特征在于，所述的日志信息存储步骤是指所述日志采集服务器Logstash将采集到的日志信息通过插件的方式写进消息存储管理服务器Kafka。
4.如权利要求1所述的一种日志实时展现和查询的方法，其特征在于，所述的日志信息读取步骤指的是消息管理服务器Tornado采用多线程并发读取的方式从存储管理服务器Kafka读取所需日志信息。
5.如权利要求1所述的一种日志实时展现和查询的方法，其特征在于，所述的日志信息过滤步骤是指消息管理服务器Tornado根据用户配置，采用日志所属用户或者消息长度限制等过滤条件实现对原信息过滤，从而提供用户需求的日志信息，实现准确的信息推送，同时保证了日志信息的安全性。
6.如权利要求1所述的一种日志实时展现和查询的方法，其特征在于，所述的前端显示步骤是指前端服务器Livetail通过一台或者多台客户端将从消息管理服务器Tornado接收到的日志信息展示给用户。
7.如权利要求6所述的一种日志实时展现和查询的方法，其特征在于，所述的客户端除具备显示功能外，还提供多窗口管理、过滤与查找、性能管理、可视化操作界面显示、记录显示停止与恢复、性能管理和Backbone.js等服务与功能，采用Backbone.js、CCS和HTML等方式展现日志信息。
8.一种日志实时展现和查询的系统，其特征在于，该系统包含以下子系统：
日志采集系统，用于采集日志信息；
日志信息存储系统，用于处理采集到的日志信息，形成记录并进行存储管理；
日志管理系统，用于按照设定规则对输出日志信息进行过滤操作，并提供日志信息高效实时推送；
前端系统，用于对读取到的日志信息进行显示，并提供过滤查找功能及其可视化操作界面。
9.如权利要求8所述的一种日志实时展现和查询的系统，其特征在于，所述的日志管理服系统Tornado采用socket通道模式进行多线程日志信息读取，并同时对一个或者多个前端服务器提供日志数据输送服务。
10.如权利要求8所述的一种日志实时展现和查询的系统，其特征在于，所述的前端系统是指包含一个或者多个客户端的前端显示客户端群，每个客户端为用户提供多窗口显示、日志信息过滤与查找、可视化操作界面显示、性能管理、日志显示停止与恢复和backbone.js等功能与服务。
CN201610637391.7A 2016-08-08 2016-08-08 一种日志实时展现和查询的方法与系统 Pending CN106294672A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610637391.7A CN106294672A (zh) 2016-08-08 2016-08-08 一种日志实时展现和查询的方法与系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610637391.7A CN106294672A (zh) 2016-08-08 2016-08-08 一种日志实时展现和查询的方法与系统

Publications (1)

Publication Number Publication Date
CN106294672A true CN106294672A (zh) 2017-01-04

Family

ID=57665508

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610637391.7A Pending CN106294672A (zh) 2016-08-08 2016-08-08 一种日志实时展现和查询的方法与系统

Country Status (1)

Country Link
CN (1) CN106294672A (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108052452A (zh) * 2017-12-29 2018-05-18 北京酷我科技有限公司 一种日志验收的可视优化方法
CN109104487A (zh) * 2018-08-20 2018-12-28 浪潮软件股份有限公司 一种基于logstash+kafka数据传输方法
CN109271412A (zh) * 2018-09-28 2019-01-25 中国-东盟信息港股份有限公司 智慧城市的实时流数据处理方法及系统
CN109783754A (zh) * 2018-12-17 2019-05-21 杭州玳数科技有限公司 一种基于web技术实现的日志展示方法及系统
CN110019310A (zh) * 2017-12-29 2019-07-16 北京京东尚科信息技术有限公司 数据处理方法及系统、计算机系统、计算机可读存储介质
CN110377509A (zh) * 2019-06-29 2019-10-25 苏州浪潮智能科技有限公司 一种web页面实时查看插件脚本调试日志的方法
CN110784519A (zh) * 2019-09-27 2020-02-11 深圳点猫科技有限公司 将后端程序日志显示于前端页面的方法与装置
CN110881030A (zh) * 2019-10-25 2020-03-13 北京明朝万达科技股份有限公司 基于logstash的记录web服务管理员操作日志的方法及装置
CN111078648A (zh) * 2019-11-29 2020-04-28 珠海金山网络游戏科技有限公司 实时获取GoCD执行任务的方法及系统
CN111158995A (zh) * 2019-11-29 2020-05-15 武汉物易云通网络科技有限公司 基于skywalking、ELK平台实现跨系统日志跟踪查询的方法及系统
CN111447252A (zh) * 2020-02-19 2020-07-24 深圳点猫科技有限公司 一种基于websocket实现交互式输入的方法及系统
CN112115112A (zh) * 2020-08-10 2020-12-22 上海金仕达软件科技有限公司 日志信息处理方法、装置及电子设备
CN112632348A (zh) * 2020-12-01 2021-04-09 北京博瑞彤芸科技股份有限公司 一种监控数据的方法、系统和电子设备
CN113032252A (zh) * 2021-03-15 2021-06-25 深圳市麦谷科技有限公司 埋点数据的收集方法、装置、客户端设备和存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101668155A (zh) * 2009-09-10 2010-03-10 中兴通讯股份有限公司 一种iptv系统日志消息跟踪方法及系统
CN102411533A (zh) * 2011-08-08 2012-04-11 浪潮电子信息产业股份有限公司 一种集群存储系统的日志管理优化方法
CN102780726A (zh) * 2011-05-13 2012-11-14 中兴通讯股份有限公司 一种基于web平台的日志分析方法及系统
CN102880541A (zh) * 2012-09-28 2013-01-16 用友软件股份有限公司 日志信息的获取系统和获取方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101668155A (zh) * 2009-09-10 2010-03-10 中兴通讯股份有限公司 一种iptv系统日志消息跟踪方法及系统
CN102780726A (zh) * 2011-05-13 2012-11-14 中兴通讯股份有限公司 一种基于web平台的日志分析方法及系统
CN102411533A (zh) * 2011-08-08 2012-04-11 浪潮电子信息产业股份有限公司 一种集群存储系统的日志管理优化方法
CN102880541A (zh) * 2012-09-28 2013-01-16 用友软件股份有限公司 日志信息的获取系统和获取方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
LAURA CASSELL. ET AL: "《Python项目开发实战》", 31 October 2015 *
李祥池: "《基于ELK和Spark Streaming的日志分析系统设计与实现》", 《电子科学技术》 *

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108052452A (zh) * 2017-12-29 2018-05-18 北京酷我科技有限公司 一种日志验收的可视优化方法
CN110019310A (zh) * 2017-12-29 2019-07-16 北京京东尚科信息技术有限公司 数据处理方法及系统、计算机系统、计算机可读存储介质
CN109104487A (zh) * 2018-08-20 2018-12-28 浪潮软件股份有限公司 一种基于logstash+kafka数据传输方法
CN109271412A (zh) * 2018-09-28 2019-01-25 中国-东盟信息港股份有限公司 智慧城市的实时流数据处理方法及系统
CN109783754A (zh) * 2018-12-17 2019-05-21 杭州玳数科技有限公司 一种基于web技术实现的日志展示方法及系统
CN110377509A (zh) * 2019-06-29 2019-10-25 苏州浪潮智能科技有限公司 一种web页面实时查看插件脚本调试日志的方法
CN110784519A (zh) * 2019-09-27 2020-02-11 深圳点猫科技有限公司 将后端程序日志显示于前端页面的方法与装置
CN110881030A (zh) * 2019-10-25 2020-03-13 北京明朝万达科技股份有限公司 基于logstash的记录web服务管理员操作日志的方法及装置
CN111078648A (zh) * 2019-11-29 2020-04-28 珠海金山网络游戏科技有限公司 实时获取GoCD执行任务的方法及系统
CN111158995A (zh) * 2019-11-29 2020-05-15 武汉物易云通网络科技有限公司 基于skywalking、ELK平台实现跨系统日志跟踪查询的方法及系统
CN111158995B (zh) * 2019-11-29 2020-12-29 武汉物易云通网络科技有限公司 基于skywalking、ELK平台实现跨系统日志跟踪查询的方法及系统
CN111447252A (zh) * 2020-02-19 2020-07-24 深圳点猫科技有限公司 一种基于websocket实现交互式输入的方法及系统
CN111447252B (zh) * 2020-02-19 2023-09-26 深圳点猫科技有限公司 一种基于websocket实现交互式输入的方法及系统
CN112115112A (zh) * 2020-08-10 2020-12-22 上海金仕达软件科技有限公司 日志信息处理方法、装置及电子设备
CN112632348A (zh) * 2020-12-01 2021-04-09 北京博瑞彤芸科技股份有限公司 一种监控数据的方法、系统和电子设备
CN113032252A (zh) * 2021-03-15 2021-06-25 深圳市麦谷科技有限公司 埋点数据的收集方法、装置、客户端设备和存储介质

Similar Documents

Publication Publication Date Title
CN106294672A (zh) 一种日志实时展现和查询的方法与系统
CN104239617B (zh) 热力图的展现方法及装置
CN107395669A (zh) 一种基于流式实时分布式大数据的数据采集方法及系统
CN106156350A (zh) 一种可视化大数据分析方法及系统
CN103577594A (zh) 一种锁屏界面信息推送系统及方法
CN102609460A (zh) 微博客数据采集方法及系统
CN103366020A (zh) 用户行为分析系统及方法
CN104346458B (zh) 数据存储方法和存储设备
CN106802947B (zh) 实体关系图的数据处理系统及方法
CN104143124B (zh) 会议预定方法及项目管理系统
CN105654255A (zh) 一种基于互联网的智能业务管理系统
CN108846072A (zh) 一种基于可视化分析的数据实现封装技术
CN104765823A (zh) 一种网站数据采集的方法及装置
CN109038816A (zh) 一种输电线路巡检管理系统
CN102752158B (zh) 业务流量监控方法及装置
CN106789286A (zh) 一种网络拓扑图的显示方法和装置
CN103023944B (zh) 一种sns网络中推送关联用户的方法及系统
CN108876182A (zh) 基于热力图的智慧园区系统及工作方法
CN104463694B (zh) 一种数据在信息系统中流转分布展现的方法及系统
CN107391929A (zh) 一种基于用户行为数据的虚拟平台系统
CN103856336A (zh) 一种游戏地图分时广播的方法
CN106599113A (zh) 用于网管系统海量性能数据的数据库读写方法
CN212112557U (zh) 一种制造管理综合信息系统
CN203882180U (zh) 一种基于物联网的物品监控系统
CN106559345A (zh) 基于网络拓扑的分级数据采集算法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20170104

RJ01 Rejection of invention patent application after publication