CN112783842A - 一种日志收集方法和装置 - Google Patents
一种日志收集方法和装置 Download PDFInfo
- Publication number
- CN112783842A CN112783842A CN201911082019.4A CN201911082019A CN112783842A CN 112783842 A CN112783842 A CN 112783842A CN 201911082019 A CN201911082019 A CN 201911082019A CN 112783842 A CN112783842 A CN 112783842A
- Authority
- CN
- China
- Prior art keywords
- node
- service
- request
- identification code
- log
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 52
- 238000012545 processing Methods 0.000 claims description 22
- 230000005540 biological transmission Effects 0.000 claims description 12
- 238000004422 calculation algorithm Methods 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 9
- 230000004044 response Effects 0.000 claims description 8
- 238000013075 data extraction Methods 0.000 claims description 6
- 238000010586 diagram Methods 0.000 description 14
- 230000006870 function Effects 0.000 description 9
- 230000008569 process Effects 0.000 description 8
- 238000004891 communication Methods 0.000 description 7
- 238000004458 analytical method Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 4
- 239000000284 extract Substances 0.000 description 3
- 238000007726 management method Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 239000000835 fiber Substances 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/17—Details of further file system functions
- G06F16/1734—Details of monitoring file system events, e.g. by the use of hooks, filter drivers, logs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/182—Distributed file systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Debugging And Monitoring (AREA)
Abstract
本发明公开了一种日志收集方法和装置，涉及计算机技术领域。该方法的一具体实施方式包括：响应于日志查询请求，根据所述日志查询请求中的用户名，查询与所述用户名对应的浏览访问请求；获取与所述用户名和所述浏览访问请求对应的请求识别码，确定传递所述请求识别码的业务节点；根据所述用户名、所述请求识别码和所述业务节点的节点识别码，获取元数据，提取与所述元数据对应的日志数据并显示。该实施方式利用请求SID将同一个请求中多个业务Server进行标记和聚合，注册中心仅记录各个业务Server的meta信息，较之现有需要记录完整log数据的方式，具有轻量级的特点，且降低了网络带宽传输压力。
Description
技术领域
本发明涉及计算机技术领域，尤其涉及一种日志收集方法和装置。
背景技术
现有的广告业务平台在日常开发中，需要收集广告处理全流程中内部Debug(调试错误)记录的log数据，以对业务逻辑及代码进行分析以定位bad case(问题案例/不符合预期案例)。而这些log数据通常散落在adserver及不同的业务平台上，因此收集过程即为在分布的各个业务节点上收集log数据。
目前针对分布式节点收集log数据的方法主要分为两种：
1、实时收集：通过filebeat或logstash，将各个业务节点上实时产生的log数据发送至中心服务器Elasticsearch集群上。后续在请求获取log数据时，通过请求此中心服务器对应的接口，以将所有相关log数据组织聚合后返回给请求方；
2、离线收集：通过flume(日志收集系统)将各个业务节点上的log数据按照天/小时等粒度批量写入到中心服务器hadoop集群上。后续在请求获取log数据时，同样需要访问中心服务器将HDFS(Hadoop分布式文件系统)上的log数据返回给请求方。
在实现本发明的过程中，发明人发现现有技术至少存在如下问题：
1、实时收集方式中，中心服务器需要实时收集log数据，负载压力和对网络传输的带宽压力较大，且实时情况下难以处理较大规模数据量的传输；
2、离线收集方式虽可以处理大规模的数据量，但只能查询历史log数据，实时性较差。而且大规模数据量情况下，HDFS写入和查询响应较慢；
3、中心化严重，中心服务器需要同时负责log数据的收集和响应查询，对网络带宽造成较大的压力，可靠性较差。
发明内容
有鉴于此，本发明实施例提供一种日志收集方法和装置，至少能够解决现有技术中日志管理中心化严重的问题。
为实现上述目的，根据本发明实施例的一个方面，提供了一种日志收集方法，包括：
响应于日志查询请求，根据所述日志查询请求中的用户名，查询与所述用户名对应的浏览访问请求；
获取与所述用户名和所述浏览访问请求对应的请求识别码，确定传递所述请求识别码的业务节点；
根据所述用户名、所述请求识别码和所述业务节点的节点识别码，获取元数据，提取与所述元数据对应的日志数据并显示。
可选的，在所述根据所述用户名、所述请求识别码和所述业务节点的节点识别码，获取元数据之前，还包括：
在所述业务节点启动时，利用信息摘要算法对所述业务节点的命令行参数值进行处理，以处理得到的字符串为文件名，创建所述业务节点的微服务实例文件；以及
根据所述业务节点的初始化时间戳，生成所述节点识别码，并将所述节点识别码写入所述微服务实例文件中。
可选的，还包括：若在文件名目录中查询存在所述字符串，则提取与所述字符串对应的微服务实例文件，并将所述微服务实例文件中的节点识别码作为所述业务节点的节点识别码。
可选的，所述提取与所述元数据对应的日志数据并显示，包括：
根据所述业务节点的节点识别码，获取所述业务节点的注册信息；其中，所述注册信息包括IP地址；
确定与所述IP地址对应的日志服务器，以从所述日志服务器中提取与所述元数据对应的日志数据并显示。
可选的，在所述提取与所述元数据对应的日志数据并显示之前，还包括：
确定与所述业务节点对应的日志服务器的IP地址，将所述IP地址和所述节点识别码传输至注册中心进行注册，得到所述业务节点的注册信息。
可选的，在所述获取元数据之后，还包括：
根据所述请求识别码在各个业务节点之间的传递顺序，确定元数据之间的层级关系，进而生成树形结构；
所述提取与所述元数据对应的日志数据并显示，还包括：
添加所述日志数据至所述树形结构中，以对所述树形结构进行结构更新。
为实现上述目的，根据本发明实施例的另一方面，提供了一种日志收集装置，包括：
请求响应模块，用于响应于日志查询请求，根据所述日志查询请求中的用户名，查询与所述用户名对应的浏览访问请求；
节点确定模块，用于获取与所述用户名和所述浏览访问请求对应的请求识别码，确定传递所述请求识别码的业务节点；
数据提取模块，用于根据所述用户名、所述请求识别码和所述业务节点的节点识别码，获取元数据，提取与所述元数据对应的日志数据并显示。
可选的，还包括文件名生成模块，用于：
在所述业务节点启动时，利用信息摘要算法对所述业务节点的命令行参数值进行处理，以处理得到的字符串为文件名，创建所述业务节点的微服务实例文件；以及
根据所述业务节点的初始化时间戳，生成所述节点识别码，并将所述节点识别码写入所述微服务实例文件中。
可选的，所述文件名生成模块，还用于：
若在文件名目录中查询存在所述字符串，则提取与所述字符串对应的微服务实例文件，并将所述微服务实例文件中的节点识别码作为所述业务节点的节点识别码。
可选的，所述数据提取模块，用于：
根据所述业务节点的节点识别码，获取所述业务节点的注册信息；其中，所述注册信息包括IP地址；
确定与所述IP地址对应的日志服务器，以从所述日志服务器中提取与所述元数据对应的日志数据并显示。
可选的，所述数据提取模块，还用于：
确定与所述业务节点对应的日志服务器的IP地址，将所述IP地址和所述节点识别码传输至注册中心进行注册，得到所述业务节点的注册信息。
可选的，所述数据提取模块，还用于：
根据所述请求识别码在各个业务节点之间的传递顺序，确定元数据之间的层级关系，进而生成树形结构；以及
添加所述日志数据至所述树形结构中，以对所述树形结构进行结构更新。
为实现上述目的，根据本发明实施例的再一方面，提供了一种日志收集电子设备。
本发明实施例的电子设备包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现上述任一所述的日志收集方法。
为实现上述目的，根据本发明实施例的再一方面，提供了一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现上述任一所述的日志收集方法。
根据本发明所述提供的方案，上述发明中的一个实施例具有如下优点或有益效果：实现了一种轻量级的去中心化的日志收集与分析方法，解决了集中所有log数据到同一台设备上对中心服务器以及对网络带宽的压力问题，并且保证了元数据和log数据的高效查询和获取；相比传统的中心化实现模式，节点处理压力小、容错性强、具有较高的可靠性和实时性。
上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。
附图说明
附图用于更好地理解本发明，不构成对本发明的不当限定。其中：
图1是根据本发明实施例的一种日志收集方法的主要流程示意图；
图2是根据本发明实施例的一种可选的日志收集方法的流程示意图；
图3是根据本发明实施例的另一种可选的日志收集方法的流程示意图；
图4是根据本发明实施例的又一种可选的日志收集方法的流程示意图；
图5是本发明实施例的一种日志收集的系统架构示意图；
图6是根据本发明实施例的一种日志收集装置的主要模块示意图；
图7是本发明实施例可以应用于其中的示例性系统架构图；
图8是适于用来实现本发明实施例的移动设备或服务器的计算机系统的结构示意图。
具体实施方式
以下结合附图对本发明的示范性实施例做出说明，其中包括本发明实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本发明的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
需要说明的是，本发明实施例适用于各种分布式系统收集log的情况。假设一个完整的处理流程需要经过互相独立分布的AB…N个业务server，而这些业务server可能被部署在不同的设备上，并且处理过程所得log数据也分别存储在AB…N各自对应的日志服务器中。通过本发明实施方式，可以轻量级的将一次完整流程中的各分布式log数据整体收集后反馈给log请求方。
参见图1，示出的是本发明实施例提供的一种日志收集方法的主要流程图，包括如下步骤：
S101：响应于日志查询请求，根据所述日志查询请求中的用户名，查询与所述用户名对应的浏览访问请求；
S102：获取与所述用户名和所述浏览访问请求对应的请求识别码，确定传递所述请求识别码的业务节点；
S103：根据所述用户名、所述请求识别码和所述业务节点的节点识别码，获取元数据，提取与所述元数据对应的日志数据并显示。
上述实施方式中，对于步骤S101，预先设置白名单，用以记录需提取log数据的用户名userpin。在日志查询界面中输入userpin并点击日志查询按钮，Web前端响应该操作，发送userpin查询请求至Web后端；其中，userpin为用户名唯一标识，也可以视为用户登录名。
Web后端接收该userpin查询请求，以根据用户名userpin查询与该用户关联的浏览访问请求。进一步的，用户可能操作次数较多，因此在该日志查询界面中还可以设置有时间显示栏，以通过起止时间进行浏览访问请求过滤，例如2019.10.01～2019.10.22，用以减少后续所提取的日志数据量。
对于步骤S102，同一用户可能浏览访问有多个页面，而不同用户可能浏览访问有同一页面。为实现请求以及log数据的区分，本发明中的每一条浏览访问请求都对应于一个SID(Security Identifiers，安全标识符)；其中，SID是标识用户、组和计算机帐户的唯一的号码，在第一次创建该帐户时，将给网络上的每一个帐户发布一个唯一的SID。
页面响应于用户的浏览访问请求，会将相关联的文字、图片、视频等按照预定格式进行显示，因此一次请求又会经过多个不同的业务Server(每个业务Server代表请求所经过的每一个业务服务)。而完整的流程可能需要按一定顺序经过多个业务server处理，设置处理过程由一个请求SID唯一标识此次过程，因此整体可视为请求SID分发至多个业务Server。
对于步骤S103，每当请求经过一个业务Server，该业务Server都会调用Debug服务(Worker)，向注册中心(Center)服务发送请求meta信息进行记录。其中，meta信息提供相关页面的元信息(meta-information)，类似于数据库的索引，具体包括请求SID、instance id(参见图2所示描述)、request time、userpin、节点ip:port信息以及其他自定义信息等。
一个userpin对应于多个请求SID，一个请求SID经过多个业务Server，因而一个请求SID对应于多个业务Server的meta信息。注册中心中仅记录有meta信息，而对于具体的log数据，仍存储于日志服务器中，需要根据业务Server的ip:port信息从中提取(具体参见图3所示描述)。
需要说明的是，注册中心本身属于Web后端服务，对外提供Restful接口(Representational State Transfer，描述了一个架构样式的网络系统，通过特定URI(Uniform Resource Identifier，统一资源标识符)访问获取指定资源)，需通过http根据预定义的API接口(Application Programming Interface，应用程序编程接口)，按照预定的请求url和body格式发送请求和得到结果。
Web前端功能更灵活丰富，可以提供多个userpin的log数据进行diff对比(比较文本文件。它能比较单个文件或者目录内容)、针对某个log数据进行脚本分析等功能，具有较高的可扩展性。
上述实施例所提供的方法，每个用户userpin访问流程中的多个业务Server由同一个请求SID进行标记和聚合，注册中心仅记录各个业务Server的meta信息，较之现有需要记录完整log数据的方式，具有轻量级的特点，方便返回结果的整体分析，且降低了网络带宽传输压力。
参见图2，示出了根据本发明实施例的一种可选的日志收集方法流程示意图，包括如下步骤：
S201：在业务节点启动时，利用信息摘要算法对所述业务节点的命令行参数值进行处理，以处理得到的字符串为文件名，创建所述业务节点的微服务实例文件；
S202：根据所述业务节点的初始化时间戳，生成所述节点识别码，并将所述节点识别码写入所述微服务实例文件中；
S203：响应于日志查询请求，根据所述日志查询请求中的用户名，查询与所述用户名对应的浏览访问请求；
S204：获取与所述用户名和所述浏览访问请求对应的请求识别码，确定传递所述请求识别码的业务节点；
S205：根据所述用户名、所述请求识别码和所述业务节点的节点识别码，获取元数据，提取与所述元数据对应的日志数据并显示。
上述实施方式中，对于步骤S203～S205可参见图1所示步骤S101～S103的描述，在此不再赘述。
上述实施方式中，对于步骤S201，业务Server在启动后，会根据一定规则生成针对此业务Server的instance_id文件生成文件名；其中，instance_id用于唯一标识注册到业务Server上的微服务实例。
Instance_id文件的文件名生成规则：根据业务Server对应的gflag配置中的data路径信息，进行MD5(Message-Digest Algorithm 5，信息-摘要算法5)处理以生成字符串，并将该字符串作为此业务Server唯一的instance_id文件的文件名，从而保证了同一业务Server所对应instance_id文件的唯一性。
其中，gflag是一种命令行编码参数解析工具，用于读取命令行参数，也可以从文件内读取多个命令行参数；且针对不同的业务Server，其gflag参数是不一样的。另外，MD5用于确保信息传输完整一致，在本发明主要用于字符串校验，且相同的字符串每次MD5处理结果一致。
对于步骤S202，Instance_id文件中的内容即为该业务Server的节点标识码，本发明中的节点标识码为UUID(Universally Unique Identifier，通用唯一识别码)。
UUID是指在一台设备上所生成的数字，用以保证对在同一时空中的所有机器都是唯一的。UUID由以下几部分组成：
1)当前日期和时间，UUID的第一部分与时间有关，若系统在生成一个UUID之后，过几秒又生成一个UUID，则第一部分不同，其余部分相同；本发明中业务Server虽可以启动多次，但仅仅考虑其初始化的时间戳；
2)时钟序列或随机数字序列，例如随机四位数字；
3)全局唯一的IEEE机器识别号，如果有网卡，从网卡MAC地址(Media AccessControl或Medium Access Control，媒体访问控制或物理地址)获得，没有网卡则以其他方式获得。
需要说明的是，对于UUID字符串，仅仅是在业务Server初次启动时生成的，后续重启无需再生成。且不同的业务Server都有其唯一对应的UUID即instance_id，instance_id作为业务Server的索引以及业务Server记录的数据的索引。
另外，每当业务Server启动时，均需根据该业务Server的gflag参数和MD5方法生成唯一的文件名，但在依据该文件名创建Instance_id文件之前，需要在该业务Server所处节点的文件名目录中进行查询：
1)查询已存在，表明该业务Server为非首次启动，则继续使用原instance_id信息(且文件内容为UUID字符串)；
2)查询不存在，表明该业务Server为首次启动，需创建以此文件名命名的instance_id文件，再生成UUID写入该instance_id文件中。
进一步的，业务Server只会在第一次初始化时生成instance_id文件并写入节点识别码，后续只要其gflag参数的data路径不变，所生成的文件名就不会改变，从而文件内容也不会改变，即使业务Server重启也会重新复用此文件及文件内容。
更进一步的，即使该业务Server后续移动到其他节点中，只要同步移动对应的instance_id文件到新节点的指定目录，便可继续复用原instance_id信息和注册中心的注册信息(参见后续图3所示描述)。而对于移动前该业务Server产生的log数据，可继续依据该业务Server的UUID查找和使用(因为业务Server的数据索引也是文件中的instance_id信息)。
上述实施例所提供的方法，各个业务Server通过Debug服务生成唯一且可重用的instance_id文件，即使业务Server重启或移动至其他节点，其instance_id文件也不会改变，维护了log数据与业务Server之间的对应关系。
参见图3，示出了根据本发明实施例的另一种可选的日志收集方法流程示意图，包括如下步骤：
S301：在业务节点启动时，利用信息摘要算法对所述业务节点的命令行参数值进行处理，以处理得到的字符串为文件名，创建所述业务节点的微服务实例文件；
S302：根据所述业务节点的初始化时间戳，生成节点识别码，并将所述节点识别码写入所述微服务实例文件中；
S303：确定与所述业务节点对应的日志服务器的IP地址，将所述IP地址和所述节点识别码传输至注册中心进行注册，得到所述业务节点的注册信息；
S304：响应于日志查询请求，根据所述日志查询请求中的用户名，查询与所述用户名对应的浏览访问请求；
S305：获取与所述用户名和所述浏览访问请求对应的请求识别码，确定传递所述请求识别码的业务节点；
S306：根据所述用户名、所述请求识别码和所述业务节点的节点识别码，获取元数据；
S307：根据所述业务节点的节点识别码，获取所述业务节点的注册信息；其中，所述注册信息包括IP地址；
S308：确定与所述IP地址对应的日志服务器，以从所述日志服务器中提取与所述元数据对应的日志数据并显示。
上述实施方式中，对于步骤S301～S302可参见图2所示步骤S201和S202的描述，步骤S304～S306可参见图1所示步骤S101～S103的描述，在此不再赘述。
上述实施方式中，对于步骤S303，在业务Server启动并生成instance_id文件的文件名和文件内容后，Debug服务(Worker)会将注册信息，一同发送至注册中心(Center)进行注册。注册信息可以包括：
1)业务Server一般是分布式在多台物理机上或者同一台物理机上可能也有不同的业务Server。各业务Server生成不同的instance_id，相当于是代表这个业务Server的唯一标识，需要将这个标识写入到注册中心，即注册其instance_id信息；
2)业务Server的log数据仅存储于日志服务器中，需根据节点ip:port信息进行确定。因此除了上述instance_id信息外，对于业务Server的注册信息，还包括其节点ip:port信息；
3)各业务Server向注册中心注册时可写入自定义属性信息，例如service_name以及业务Server自定义的信息如attrs，以增加数据灵活性和标记性。
另外，注册中心还记录有相关配置管理，主要包括黑白名单、百分比等参数，用于判断是否需要记录数据或者直接drop掉。
对于步骤S307，对于一个完整的请求处理流程，会涉及多个业务Server(可以理解为流水线)。因此一个请求SID会经过多个业务Server，并在各个业务Server中产生log数据分散在不同日志服务器上。而一个业务Server上可以记录所有userpin的所有请求数据，因此整体构成关系：用户名-请求ID-业务Server的节点标识-元数据-log数据。
业务Server的log数据存储在日志服务器中，而日志服务器数量众多，需根据节点ip:port信息确定。该节点ip:port信息存储于业务Server的注册信息中，需通过该业务Server的节点识别码，在注册中心中获取。
另外，除了从注册中心获取节点ip:port信息外，还可以从meta信息中获取，具体参见图1所示步骤S103描述。
对于步骤S308，对于每一次请求SID，Debug服务生成两类数据：请求meta信息、业务Server此次请求log中kv的具体数据。当请求SID经过某业务Server处理并调用Debug服务写log数据时，Debug服务会生成请求meta信息发送给注册中心，然后再将log的具体数据以kv方式写入kv数据库中，以方便注册中心快速查询请求SID与业务Server之间的关联信息。
由于用户的每次请求都会由adserver生成唯一请求SID，此次请求在经过多个业务Server处理时，业务Server调用Debug服务api接口写入debuglog数据。如果是第一次处理此请求SID数据，则首先向中心服务发送本业务Server此次请求的meta信息，随后观星Debug服务会调用注册中心api接口查询相关配置信息判断是否需要写入(根据白名单、千分比等设置)，如果True则将debuglog数据写入kv数据库中。
需要说明的是，对于第一次发送的请求meta信息(包含请求SID、instance_id)会在中心服务中保存下来。因为每次请求SID+instance_id唯一，如果是同一请求，发现中心服务中已记录有此次SID+instance_id，则不需要再重复记录meta信息。
日志服务器通常仅设置有一个数据库，用以存储一个或多个业务Server的log数据。Web后端通过节点ip:port信息确定与业务Server对应的日志服务器，日志服务器接收查询信息请求后查询kv数据库，确定与元数据对应的key列表，然后通过http返回与key列表中各key对应的具体value值，最终Web前端将返回的value信息展示在页面上。
上述实施例所提供的方法，轻量化的注册中心节点只负责各业务Server的信息注册以及meta信息记录，后续进行日志收集时，可根据节点ip:port信息直接访问日志服务器进行日志收集。相比发送完整的log数据，业务Server仅发送请求meta信息更加轻量，便于高效查询以及减轻带宽传输压力。
参见图4，示出了根据本发明实施例的又一种可选的日志收集方法流程示意图，包括如下步骤：
S401：响应于日志查询请求，根据所述日志查询请求中的用户名，查询与所述用户名对应的浏览访问请求；
S402：获取与所述用户名和所述浏览访问请求对应的请求识别码，确定传递所述请求识别码的业务节点；
S403：根据所述用户名、所述请求识别码和所述业务节点的节点识别码，获取元数据；
S404：根据所述请求识别码在各个业务节点之间的传递顺序，确定元数据之间的层级关系，进而生成树形结构；
S405：提取与所述元数据对应的日志数据，添加所述日志数据至所述树形结构中，以对所述树形结构进行结构更新。
上述实施方式中，对于步骤S401～S403可参见图1所示步骤S101～S103的描述，在此不再赘述。
上述实施方式中，对于步骤S404，注册中心在获取各个业务Server的meta信息后，Web后端会将这些信息返回给Web前端，并根据SID请求粒度，生成树形结构。
1)所生成的树数量与浏览访问请求的数量对应，若只有一个浏览访问请求，则只生成一个树形结构；
2)以请求SID所经过的多个业务Server作为子级别，确定请求SID在这些业务Server中的传递顺序，例如Server A—Server B—Server C；
3)根据所得传递顺序，对元数据进行排列(层级关系)，进而生成树形结构。
Web前端所显示树状结构会分为三层：第一层——用户所有请求SID列表；第二层——某个请求SID的下一层，此次请求所经过的业务Server列表；第三层——某个业务Server的下一层，此业务Server的log数据中的key列表；其中，log中记录的数据也是kv对格式。
对于步骤S405，Web前端展开树形结构，用户可以对其进行点击操作。响应于点击查询某一请求下某个业务Server记录log数据，传输log数据查询请求至Web后端。Web后端根据该业务Server的节点ip:port信息，确定相应日志服务器，进而从日志服务器中提取log数据并返回给Web前端。
Web前端将Web后端所返回的业务Server的key列表添加到树形结构中，若用户点击key列表中的某个key，则基于该key获取具体value信息，以对树形结构中的数据进行更新。
上述实施例所提供的方法，Web前端提供树形菜单展示，以此实现了分级获取key列表以及value信息的逻辑，减轻了网络传输压力，缩短了页面响应时间并避免OOM(Out OfMemory，内存溢出)。
参见图5，示出了本发明实施例的一种架构示意图，包括：
1、注册中心服务节点，用于注册Debug服务节点，发送Debug服务节点的update配置信息，对外提供meta信息读取接口以及配置信息读写接口；
2、Debug服务节点，用于对外提供log数据读写接口，处理注册中心的update配置信息请求等；
3、Web前端/Debug中心模块，作为Web前端提供searchlog查询、diff两组userpin数据、log数据在线脚本分析、管理中心服务配置参数等功能；
4、Web后端，用于接收Web前端的查询请求，并根据http接口向注册中心及业务Server请求某用户某次请求所产生的所有log数据。
本发明实施例所提供的方法，实现了一种轻量级的去中心化的日志收集与分析方法，解决了集中所有log数据到同一台设备上对中心服务器以及对网络带宽的压力问题，并且保证了元数据和log数据的高效查询和获取；相比传统的中心化实现模式，节点处理压力小、容错性强、具有较高的可靠性和实时性。
其中，去中心化(Decentralization)表示在一个分布式的具有众多节点的系统中，每个节点地位平等且具有高度自治的特征。相比中心化(Centralization)由中心节点统一提供服务和数据处理，去中心化的所有节点均可以作为服务方直接对外提供服务。
参见图6，示出了本发明实施例提供的一种日志收集装置600的主要模块示意图，包括：
请求响应模块601，用于响应于日志查询请求，根据所述日志查询请求中的用户名，查询与所述用户名对应的浏览访问请求；
节点确定模块602，用于获取与所述用户名和所述浏览访问请求对应的请求识别码，确定传递所述请求识别码的业务节点；
数据提取模块603，用于根据所述用户名、所述请求识别码和所述业务节点的节点识别码，获取元数据，提取与所述元数据对应的日志数据并显示。
本发明实施装置还包括文件名生成模块604(图中未标出)，用于：
在所述业务节点启动时，利用信息摘要算法对所述业务节点的命令行参数值进行处理，以处理得到的字符串为文件名，创建所述业务节点的微服务实例文件；以及
根据所述业务节点的初始化时间戳，生成所述节点识别码，并将所述节点识别码写入所述微服务实例文件中。
本发明实施装置中，所述文件名生成模块604，还用于：
若在文件名目录中查询存在所述字符串，则提取与所述字符串对应的微服务实例文件，并将所述微服务实例文件中的节点识别码作为所述业务节点的节点识别码。
本发明实施装置中，所述数据提取模块603，用于：
根据所述业务节点的节点识别码，获取所述业务节点的注册信息；其中，所述注册信息包括IP地址；
确定与所述IP地址对应的日志服务器，以从所述日志服务器中提取与所述元数据对应的日志数据并显示。
本发明实施装置中，所述数据提取模块603，还用于：
确定与所述业务节点对应的日志服务器的IP地址，将所述IP地址和所述节点识别码传输至注册中心进行注册，得到所述业务节点的注册信息。
本发明实施装置中，所述数据提取模块603，还用于：
根据所述请求识别码在各个业务节点之间的传递顺序，确定元数据之间的层级关系，进而生成树形结构；以及
添加所述日志数据至所述树形结构中，以对所述树形结构进行结构更新。
另外，在本发明实施例中所述装置的具体实施内容，在上面所述方法中已经详细说明了，故在此重复内容不再说明。
图7示出了可以应用本发明实施例的示例性系统架构700。
如图7所示，系统架构700可以包括终端设备701、702、703，网络704和服务器705(仅仅是示例)。网络704用以在终端设备701、702、703和服务器705之间提供通信链路的介质。网络704可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备701、702、703通过网络704与服务器705交互，以接收或发送消息等。终端设备701、702、703上可以安装有各种通讯客户端应用。
终端设备701、702、703可以是具有显示屏并且支持页面浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。
服务器705可以是提供各种服务的服务器，例如对用户利用终端设备701、702、703所浏览的购物类网站提供支持的后台管理服务器(仅为示例)。
需要说明的是，本发明实施例所提供的方法一般由服务器705执行，相应地，装置一般设置于服务器705中。
应该理解，图7中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
下面参考图8，其示出了适于用来实现本发明实施例的终端设备的计算机系统800的结构示意图。图8示出的终端设备仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图8所示，计算机系统800包括中央处理单元(CPU)801，其可以根据存储在只读存储器(ROM)802中的程序或者从存储部分808加载到随机访问存储器(RAM)803中的程序而执行各种适当的动作和处理。在RAM 803中，还存储有系统800操作所需的各种程序和数据。CPU 801、ROM 802以及RAM 803通过总线804彼此相连。输入/输出(I/O)接口805也连接至总线804。
以下部件连接至I/O接口805：包括键盘、鼠标等的输入部分806；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分807；包括硬盘等的存储部分808；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分809。通信部分809经由诸如因特网的网络执行通信处理。驱动器810也根据需要连接至I/O接口805。可拆卸介质811，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器810上，以便于从其上读出的计算机程序根据需要被安装入存储部分808。
特别地，根据本发明公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分809从网络上被下载和安装，和/或从可拆卸介质811被安装。在该计算机程序被中央处理单元(CPU)801执行时，执行本发明的系统中限定的上述功能。
需要说明的是，本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本发明实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中，例如，可以描述为：一种处理器包括请求响应模块、节点确定模块以及数据提取模块。其中，这些模块的名称在某种情况下并不构成对该模块本身的限定，例如，数据提取模块还可以被描述为“提取元数据和日志数据的模块”。
作为另一方面，本发明还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该设备包括：
响应于日志查询请求，根据所述日志查询请求中的用户名，查询与所述用户名对应的浏览访问请求；
获取与所述用户名和所述浏览访问请求对应的请求识别码，确定传递所述请求识别码的业务节点；
根据所述用户名、所述请求识别码和所述业务节点的节点识别码，获取元数据，提取与所述元数据对应的日志数据并显示。
根据本发明实施例的技术方案，实现了一种轻量级的去中心化的日志收集与分析方法，解决了集中所有log数据到同一台设备上对中心服务器以及对网络带宽的压力问题，并且保证了元数据和log数据的高效查询和获取；相比传统的中心化实现模式，节点处理压力小、容错性强、具有较高的可靠性和实时性。
上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。
Claims (10)
1.一种日志收集方法，其特征在于，包括：
响应于日志查询请求，根据所述日志查询请求中的用户名，查询与所述用户名对应的浏览访问请求；
获取与所述用户名和所述浏览访问请求对应的请求识别码，确定传递所述请求识别码的业务节点；
根据所述用户名、所述请求识别码和所述业务节点的节点识别码，获取元数据，提取与所述元数据对应的日志数据并显示。
2.根据权利要求1所述的方法，其特征在于，在所述根据所述用户名、所述请求识别码和所述业务节点的节点识别码，获取元数据之前，还包括：
在所述业务节点启动时，利用信息摘要算法对所述业务节点的命令行参数值进行处理，以处理得到的字符串为文件名，创建所述业务节点的微服务实例文件；以及
根据所述业务节点的初始化时间戳，生成所述节点识别码，并将所述节点识别码写入所述微服务实例文件中。
3.根据权利要求2所述的方法，其特征在于，还包括：
若在文件名目录中查询存在所述字符串，则提取与所述字符串对应的微服务实例文件，并将所述微服务实例文件中的节点识别码作为所述业务节点的节点识别码。
4.根据权利要求1所述的方法，其特征在于，所述提取与所述元数据对应的日志数据并显示，包括：
根据所述业务节点的节点识别码，获取所述业务节点的注册信息；其中，所述注册信息包括IP地址；
确定与所述IP地址对应的日志服务器，以从所述日志服务器中提取与所述元数据对应的日志数据并显示。
5.根据权利要求2或4所述的方法，在所述提取与所述元数据对应的日志数据并显示之前，还包括：
确定与所述业务节点对应的日志服务器的IP地址，将所述IP地址和所述节点识别码传输至注册中心进行注册，得到所述业务节点的注册信息。
6.根据权利要求1所述的方法，其特征在于，在所述获取元数据之后，还包括：
根据所述请求识别码在各个业务节点之间的传递顺序，确定元数据之间的层级关系，进而生成树形结构；
所述提取与所述元数据对应的日志数据并显示，还包括：
添加所述日志数据至所述树形结构中，以对所述树形结构进行结构更新。
7.一种日志收集装置，其特征在于，包括：
请求响应模块，用于响应于日志查询请求，根据所述日志查询请求中的用户名，查询与所述用户名对应的浏览访问请求；
节点确定模块，用于获取与所述用户名和所述浏览访问请求对应的请求识别码，确定传递所述请求识别码的业务节点；
数据提取模块，用于根据所述用户名、所述请求识别码和所述业务节点的节点识别码，获取元数据，提取与所述元数据对应的日志数据并显示。
8.根据权利要求7所述的装置，其特征在于，还包括文件名生成模块，用于：
在所述业务节点启动时，利用信息摘要算法对所述业务节点的命令行参数值进行处理，以处理得到的字符串为文件名，创建所述业务节点的微服务实例文件；以及
根据所述业务节点的初始化时间戳，生成所述节点识别码，并将所述节点识别码写入所述微服务实例文件中。
9.一种电子设备，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-6中任一所述的方法。
10.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-6中任一所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911082019.4A CN112783842B (zh) | 2019-11-07 | 2019-11-07 | 一种日志收集方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911082019.4A CN112783842B (zh) | 2019-11-07 | 2019-11-07 | 一种日志收集方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112783842A true CN112783842A (zh) | 2021-05-11 |
| CN112783842B CN112783842B (zh) | 2024-03-01 |
Family
ID=75747898
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911082019.4A Active CN112783842B (zh) | 2019-11-07 | 2019-11-07 | 一种日志收集方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112783842B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116204543A (zh) * | 2023-05-04 | 2023-06-02 | 天津金城银行股份有限公司 | 一种票据保活的方法、系统、计算机和可读存储介质 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102521232A (zh) * | 2011-11-09 | 2012-06-27 | Ut斯达康通讯有限公司 | 一种互联网元数据的分布式采集处理系统及方法 |
| CN105577445A (zh) * | 2015-12-30 | 2016-05-11 | 北京京东尚科信息技术有限公司 | 一种日志收集和上报的方法和装置 |
| US20170075922A1 (en) * | 2015-09-11 | 2017-03-16 | Salesforce.Com, Inc. | Derived fields in log file processing |
| CN108427619A (zh) * | 2018-03-13 | 2018-08-21 | 腾讯科技（深圳）有限公司 | 日志管理方法、装置、计算设备及存储介质 |
| CN108737467A (zh) * | 2017-04-19 | 2018-11-02 | 腾讯科技（深圳）有限公司 | 一种服务器日志查看方法、装置和系统 |
| CN108809725A (zh) * | 2018-06-15 | 2018-11-13 | 郑州云海信息技术有限公司 | 一种日志文件的收集方法及装置 |
| CN109033280A (zh) * | 2018-07-11 | 2018-12-18 | 平安科技（深圳）有限公司 | 日志搜索方法、系统、计算机设备和存储介质 |
| CN110413870A (zh) * | 2018-12-18 | 2019-11-05 | 北京沃东天骏信息技术有限公司 | 商品推荐方法、装置及服务器 |
-
2019
- 2019-11-07 CN CN201911082019.4A patent/CN112783842B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102521232A (zh) * | 2011-11-09 | 2012-06-27 | Ut斯达康通讯有限公司 | 一种互联网元数据的分布式采集处理系统及方法 |
| US20170075922A1 (en) * | 2015-09-11 | 2017-03-16 | Salesforce.Com, Inc. | Derived fields in log file processing |
| CN105577445A (zh) * | 2015-12-30 | 2016-05-11 | 北京京东尚科信息技术有限公司 | 一种日志收集和上报的方法和装置 |
| CN108737467A (zh) * | 2017-04-19 | 2018-11-02 | 腾讯科技（深圳）有限公司 | 一种服务器日志查看方法、装置和系统 |
| CN108427619A (zh) * | 2018-03-13 | 2018-08-21 | 腾讯科技（深圳）有限公司 | 日志管理方法、装置、计算设备及存储介质 |
| CN108809725A (zh) * | 2018-06-15 | 2018-11-13 | 郑州云海信息技术有限公司 | 一种日志文件的收集方法及装置 |
| CN109033280A (zh) * | 2018-07-11 | 2018-12-18 | 平安科技（深圳）有限公司 | 日志搜索方法、系统、计算机设备和存储介质 |
| CN110413870A (zh) * | 2018-12-18 | 2019-11-05 | 北京沃东天骏信息技术有限公司 | 商品推荐方法、装置及服务器 |
Non-Patent Citations (1)
| Title |
|---|
| 王宇飞;刘丹;吴嘉生;: "基于OSGi的分布式系统集中日志管理方案", 计算机系统应用, no. 06 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116204543A (zh) * | 2023-05-04 | 2023-06-02 | 天津金城银行股份有限公司 | 一种票据保活的方法、系统、计算机和可读存储介质 |
| CN116204543B (zh) * | 2023-05-04 | 2023-08-08 | 天津金城银行股份有限公司 | 一种票据保活的方法、系统、计算机和可读存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112783842B (zh) | 2024-03-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110019350B (zh) | 基于配置信息的数据查询方法和装置 | |
| CN109683998B (zh) | 国际化实现方法、装置和系统 | |
| US11886430B1 (en) | Intent-based natural language processing system | |
| US9559992B2 (en) | System and method for updating information in an instant messaging application | |
| US20140365523A1 (en) | Push subscriptions | |
| CN109033406B (zh) | 用于搜索区块链数据的方法、装置及存储介质 | |
| US11657582B1 (en) | Precise plane detection and placement of virtual objects in an augmented reality environment | |
| US10262066B2 (en) | Crowd-sourced native application crawling | |
| US11544911B1 (en) | Manipulation of virtual object position within a plane of an extended reality environment | |
| US20190332972A1 (en) | Dynamic query response with metadata | |
| CN111460129B (zh) | 标识生成的方法、装置、电子设备和存储介质 | |
| CN107103011B (zh) | 终端数据搜索的实现方法和装置 | |
| US11269808B1 (en) | Event collector with stateless data ingestion | |
| US10182104B1 (en) | Automatic propagation of resource attributes in a provider network according to propagation criteria | |
| US10671686B2 (en) | Processing webpage data | |
| CN105808642B (zh) | 推荐方法及装置 | |
| KR102009020B1 (ko) | 검색 엔진으로 웹 사이트 인증 데이터를 제공하기 위한 방법 및 장치 | |
| US11461408B1 (en) | Location-based object identification and data visualization | |
| US11714980B1 (en) | Techniques for using tag placement to determine 3D object orientation | |
| CN109086414B (zh) | 用于搜索区块链数据的方法、装置及存储介质 | |
| WO2022057525A1 (zh) | 一种数据找回方法、装置、电子设备及存储介质 | |
| US11676345B1 (en) | Automated adaptive workflows in an extended reality environment | |
| CN112783842B (zh) | 一种日志收集方法和装置 | |
| CN111488386B (zh) | 数据查询方法和装置 | |
| CN112948733B (zh) | 接口维护方法、装置、计算设备以及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |