CN110968478B - 日志采集方法、服务器及计算机存储介质 - Google Patents
日志采集方法、服务器及计算机存储介质 Download PDFInfo
- Publication number
- CN110968478B CN110968478B CN201911148988.5A CN201911148988A CN110968478B CN 110968478 B CN110968478 B CN 110968478B CN 201911148988 A CN201911148988 A CN 201911148988A CN 110968478 B CN110968478 B CN 110968478B
- Authority
- CN
- China
- Prior art keywords
- log acquisition
- information
- log
- configuration
- server
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3065—Monitoring arrangements determined by the means or processing involved in reporting the monitored data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/16—File or folder operations, e.g. details of user interfaces specifically adapted to file systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/1805—Append-only file systems, e.g. using logs or journals to store data
- G06F16/1815—Journaling file systems
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Quality & Reliability (AREA)
- Human Computer Interaction (AREA)
- Debugging And Monitoring (AREA)
Abstract
本发明公开了一种日志采集方法、服务器及计算机存储介质，该方法基于在服务器中预先部署的守护进程而实现，其中守护进程与服务器中的日志采集代理一一对应，包括：以预设时间间隔向配置中心发送日志采集配置信息的轮询请求；根据配置中心响应于轮询请求而分发的日志采集配置信息，判断服务器存储的日志采集配置文件是否需要更新，若是，则对日志采集配置文件进行更新渲染处理；向日志采集代理发送重启指令，以供日志采集代理加载更新渲染处理后的日志采集配置文件并进行日志采集。由此可见，本发明方案，通过服务器上部署的守护进程对服务器上的日志采集配置文件进行更新渲染处理，可完成配置信息的自动更新并用于进行日志采集。
Description
技术领域
本发明涉及互联网技术领域，具体涉及一种日志采集方法、服务器及计算机存储介质。
背景技术
随着互联网技术的不断发展，人们对互联网服务的依赖也越来越强，与此同时，这些互联网服务通常会产生大量的日志数据，而这些日志数据对用户查询、服务提供商的数据分析等都具有极其重要的价值，因此，对服务产生的日志数据的采集显得尤为重要。
在现有技术中，通过在服务器上部署日志采集代理，以及在服务器中写入日志采集配置文件，日志采集代理依据该日志采集配置文件进行日志采集。而在实际中，每台服务器上承载的服务会发生改变，此时只能对日志采集配置文件进行手动修改，使得修改后的日志采集配置文件能够适应更新后的服务。例如，服务器上新增了服务后，则需在日志采集配置文件中新增采集该服务对应的日志数据的配置信息。
上述现有技术中的日志采集方式中，日志采集配置文件的修改效率低，尤其随着服务器数量的增多，则会严重影响日志数据的正常采集，无法灵活适应服务发生改变的情况。
发明内容
鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的日志采集方法、服务器及计算机存储介质。
根据本发明的一个方面，提供了一种日志采集方法，所述方法基于在服务器中预先部署的守护进程而实现，其中守护进程与服务器中的日志采集代理一一对应，所述方法包括：
以预设时间间隔向配置中心发送日志采集配置信息的轮询请求；
接收所述配置中心响应于所述轮询请求而分发的日志采集配置信息；
根据所述配置中心分发的日志采集配置信息，判断所述服务器存储的日志采集配置文件是否需要更新，若是，则对所述日志采集配置文件进行更新渲染处理；
向所述日志采集代理发送重启指令，以供所述日志采集代理根据重启指令加载更新渲染处理后的日志采集配置文件，以进行日志采集。
根据本发明的另一方面，提供了一种服务器，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；
所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行以下操作：
以预设时间间隔向配置中心发送日志采集配置信息的轮询请求；
接收所述配置中心响应于所述轮询请求而分发的日志采集配置信息；
根据所述配置中心分发的日志采集配置信息，判断所述服务器存储的日志采集配置文件是否需要更新，若是，则对所述日志采集配置文件进行更新渲染处理；
向所述日志采集代理发送重启指令，以供所述日志采集代理根据重启指令加载更新渲染处理后的日志采集配置文件，以进行日志采集。
根据本发明的又一方面，提供了一种计算机存储介质，所述存储介质中存储有至少一可执行指令，所述可执行指令使处理器执行以下操作：
以预设时间间隔向配置中心发送日志采集配置信息的轮询请求；
接收所述配置中心响应于所述轮询请求而分发的日志采集配置信息；
根据所述配置中心分发的日志采集配置信息，判断所述服务器存储的日志采集配置文件是否需要更新，若是，则对所述日志采集配置文件进行更新渲染处理；
向所述日志采集代理发送重启指令，以供所述日志采集代理根据重启指令加载更新渲染处理后的日志采集配置文件，以进行日志采集。
根据本发明的日志采集方法、服务器及计算机存储介质，在服务器上部署与日志采集代理相对应的守护进程，通过守护进程向配置中心轮询获得最新的日志采集配置信息；守护进程根据配置中心分发的日志采集配置信息判断其所在服务器上的日志采集配置文件是否需要更新，若需要，则根据配置中心分发的日志采集配置信息对日志采集配置文件进行更新渲染处理，并向渲染处理完成后向日志采集代理发送重启指令以重新加载更新后的日志采集配置文件。由此可见，本实施例方案，通过守护进程可自动对服务器中的日志采集配置文件进行更新渲染处理，实现日志采集配置文件的准确、快速修改；以及，向日志采集代理发送重启指令以使日志采集代理加载更新后的日志采集配置文件，使得更新后的配置可及时用于日志采集，进而适应更新后的采集需求。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1示出了本发明日志采集方法实施例的流程图；
图2示出了本发明日志采集方法另一个实施例的流程图；
图3示出了本发明服务器实施例的结构示意图。
具体实施方式
下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。
图1示出了本发明日志采集方法实施例的流程图。该方法基于在服务器中预先部署的守护进程而实现，其中守护进程与服务器中的日志采集代理一一对应。如图1所示，该方法包括以下步骤：
步骤S110：以预设时间间隔向配置中心发送日志采集配置信息的轮询请求；接收该配置中心响应于该轮询请求而分发的日志采集配置信息。
在本发明实施例中，配置中心中存储有最新的日志采集配置信息，服务器上部署有用于日志采集的日志采集代理以及与该日志采集代理对应的守护进程，该守护进程可与配置中心进行通信以轮询得到配置中心中最新的日志采集配置信息。其中，日志采集配置信息是指日志采集所需的信息，例如，采集路径等。
步骤S120：根据该配置中心分发的日志采集配置信息，判断该服务器存储的日志采集配置文件是否需要更新，若是，则对该日志采集配置文件进行更新渲染处理。
其中，日志采集配置文件中包含历史写入的日志采集配置信息。
具体地，守护进程通过轮询获取到配置中心分发的日志采集配置信息后，通过将该日志采集配置信息与日志采集配置文件中的日志采集配置信息进行匹配，根据匹配结果判断日志采集配置文件是否需要更新。例如，匹配发现新增了采集路径，则判定需要对日志采集配置文件进行更新。以及，若需要进行更新，守护进程则根据配置中心分发的日志采集配置信息对日志采集配置文件中相应的信息项进行修改，例如，在日志采集配置文件中新增采集路径。
步骤S130：向该日志采集代理发送重启指令，以供该日志采集代理根据重启指令加载更新渲染处理后的日志采集配置文件，以进行日志采集。
守护进程在完成更新渲染处理后，向其所在服务器上的日志采集代理发送重启指令；该日志采集代理依据重启指令重新加载日志采集配置文件，将最新的日志采集配置信息加载到配置中，进而可以适应更新后的采集需求。
根据本实施例提供的日志采集方法，在服务器上部署与日志采集代理相对应的守护进程，通过守护进程向配置中心轮询获得最新的日志采集配置信息；守护进程根据配置中心分发的日志采集配置信息判断其所在服务器上的日志采集配置文件是否需要更新，若需要，则根据配置中心分发的日志采集配置信息对日志采集配置文件进行更新渲染处理，并向渲染处理完成后向日志采集代理发送重启指令以重新加载更新后的日志采集配置文件。由此可见，本实施例方案，通过守护进程可自动对服务器中的日志采集配置文件进行更新渲染处理，实现日志采集配置文件的准确、快速修改；以及，向日志采集代理发送重启指令以使日志采集代理加载更新后的日志采集配置文件，使得更新后的配置可及时用于日志采集，进而适应更新后的采集需求。
图2示出了本发明日志采集方法另一个实施例的流程图。该方法基于在服务器中预先部署的守护进程而实现，其中守护进程与服务器中的日志采集代理一一对应。如图2所示，该方法包括以下步骤：
步骤S210：通过前端配置页面提交的表单数据得到该日志采集配置信息，并提交至配置中心。
具体地，前端配置页面可接收用户输入的各配置项的配置值，在接收到提交请求后生成包含配置项及其配置值的表单数据，并根据表单数据转化得到日志采集配置信息，然后提交给配置中心。其中，配置项包括日志采集中所需的各个信息项，可选的，配置项包括但不限于以下至少一种：采集项目、适用主机、采集路径、存储标签、存储位置、备份数量、和缓冲区，与之对应的日志采集配置信息包括采集项目信息、适用主机信息、采集路径信息、存储标签信息、存储位置信息、备份数量信息、和/或缓冲区信息。其中，采集项目信息为日志采集的内容描述；适用主机信息是指适用的服务器，即哪些服务器适用此次提交的配置；采集路径信息是指日志数据所在路径；存储标签是指采集的日志数据存储时的标签值，该标签值主要便于查询时使用；存储位置是指在采集的日志数据在存储集群中的存放位置；备份数量信息是指采集的日志数据需要存储的分份数；缓冲区信息是指存储采集的日志数据的数据量阈值，例如，日志数据的数据量超过预设阈值，则进行一次存储，该预设阈值即为缓冲区信息。
通过上述方式，每当需要更新日志采集配置信息时，业务人员可通过前端配置页面填入各配置项的配置值，而后得到最新的日志采集配置信息提交给配置中心，实现配置项的灵活配置。
步骤S220：以预设时间间隔向配置中心发送日志采集配置信息的轮询请求；接收该配置中心响应于该轮询请求而分发的日志采集配置信息。
守护进程以预设时间间隔向配置中心发送日志采集配置信息的轮询请求，以请求配置中心分发最新的日志采集配置信息。配置中心将最新的日志采集配置信息分发给守护进程。
步骤S230：根据该配置中心分发的日志采集配置信息，判断该服务器存储的日志采集配置文件是否需要更新，若是，则对该日志采集配置文件进行更新渲染处理。
具体地，守护进程将配置中心分发的日志采集配置信息与日志采集配置文件中的日志采集配置信息进行匹配，若匹配结果一致，则判定日志采集配置文件无需更新，则忽略此次轮询的日志采集配置信息，无需执行对日志采集配置文件的更新渲染处理，可以继续根据日志采集配置文件中的日志采集配置信息进行日志采集；若匹配结果不一致，则判定日志采集配置文件需要进行更新，此时则需根据该日志采集配置信息对日志采集配置文件进行更新渲染处理，以使更新后的日志采集配置文件可以适应新的采集需求。其中，匹配结果不一致包括：日志采集配置文件中不包含新增的日志采集配置信息，日志采集配置文件中包含删除的日志采集配置信息，和/或，日志采集配置信息中针对某一日志数据的日志采集配置信息不同于配置中心分发的该某一日志数据的日志采集配置信息。
进一步的，在本发明的一些可选的实施例中，在前端配置页面中提供更新类型输入入口，以接收用户输入的更新类型，该更新类型包括新增类型、删除类型和/或修改类型，该更新类型也会提交给配置中心并随日志采集配置信息分发给守护进程。守护进程根据更新类型判定日志采集配置文件是否需要更新，当为新增类型时，日志采集配置文件中不包含该新增的日志采集配置信息，则判定匹配结果不一致，需要进行更新；当为删除类型时，日志采集配置文件中包含该删除的日志采集配置信息，则判定匹配结果不一致，需要进行更新；当为修改类型时，配置中心分发的某一日志项的日志采集配置信息与日志采集配置文件中该同一日志项的日志采集配置信息不同时，则判定匹配结果不一致，需要进行更新。通过上述方式进行更新需求的判定，可以有针对性采取不同的标准进行判定，提高判定的效率和准确性，进一步高效准确的对日志采集配置文件进行更新。
在判定出需要对日志采集配置文件进行更新之后，对日志采集配置文件中的日志采集配置信息进行更新，包括新增配置信息、删除配置信息和/或修改配置信息。
在本发明的一些可选的实施例中，可以按组进行日志采集配置文件的更新。当在服务器上部署与日志采集代理对应的守护进程后，获取该服务器的业务服务信息，根据该业务服务信息确定该服务器所属业务部门的业务部门标识，其中，每台服务器所属的业务部门是预先分配的，并通过服务器的系统中的业务服务信息来记录，在该服务器上部署的守护进程可以通过获取服务器的业务服务信息来确定所属业务部门的业务部门标识；同时，在通过前端配置页面输入配置项时，还包括输入业务部门标识，该业务部门标识也会提交给配置中心并随日志采集配置信息分发给守护进程。守护进程在接收到配置中心分发的日志采集配置信息后，将该日志采集配置信息携带的业务部门标识和该服务器所属业务部门的业务部门标识进行比对，确定是否一致，若该日志采集配置信息携带的业务部门标识和该服务器所属业务部门的业务部门标识一致，则表明该服务器属于日志采集配置信息携带的业务部门标识对应的业务部门，该服务器中的日志采集配置文件与配置中心分发的日志采集配置信息存在关联，则判断该服务器存储的日志采集配置文件是否需要更新；若该日志采集配置信息携带的业务部门标识和该服务器所属业务部门的业务部门标识不一致，则表明配置中心分发的日志采集配置信息与该服务器上的日志采集配置文件没有关联，默认无需进行更新。通过这种方式，根据业务部门标识的比对，可以准确确定守护进程所在的服务器中的日志采集配置文件与配置中心分发的日志采集配置信息是否存在关联，并且仅在存在关联时才执行对日志采集配置文件是否需要更新进行判断的步骤及其后续步骤，这样可以提高日志配置文件更新的准确性，避免对没有关联的日志采集配置文件进行了更新，导致后续日志采集发生错误。
步骤S240：向该日志采集代理发送重启指令，以供该日志采集代理根据重启指令加载更新渲染处理后的日志采集配置文件，以进行日志采集。
守护进程在完成日志采集配置文件的更新后，向其所在服务器上的日志采集代理发送重启指令；该日志采集代理依据重启指令重新加载日志采集配置文件，将最新的日志采集配置信息加载到配置中，进而可以适应更新后的采集需求。
在前文中仅说明了可以通过守护进程轮询日志采集配置信息并对日志采集配置文件进行更新渲染处理，而在本发明的一些可选的实施方式中，该守护进程集成有服务发现功能，配置中心包含服务发现模块，服务发现模块监听日志采集输出集群目录信息是否发生变更，若是，则将变更后的日志采集输出集群目录信息同步到共享内存中，守护进程读取共享内存中的变更后的日志采集输出集群目录信息，对该日志采集配置文件进行更新渲染处理。其中，配置中心的服务发现模块和守护进程之间通过共享内存进行日志采集输出集群目录信息的传递，守护进程也可以以轮序的方式从共享内存中获取日志采集输出集群目录信息，并将该日志采集输出集群目录信息与日志采集配置文件中的日志采集输出集群目录信息进行比对，若两者不相同，则修改日志采集配置文件中的日志采集输出集群目录信息，使其与变更后的日志采集输出集群目录信息相同，进而可将采集的日志数据输出到正确的集群目录下。通过在守护进程中集成服务发现功能，无需进行业务部门标识的比对，也无需进行更新需求的判断，可以快速对各个服务器的日志采集配置文件中的日志采集输出集群目录信息进行修改，使得每个服务器采集的日志均能输出到正确的集群目录下。
根据本实施例提供的日志采集方法，可通过前端配置页面提交的表单数据得到该日志采集配置信息，并提交至配置中心，实现日志采集配置信息的灵活配置；在服务器上部署与日志采集代理相对应的守护进程，通过守护进程向配置中心轮询获得最新的日志采集配置信息；在配置中心分发的日志采集配置信息中携带业务部门标识，守护进程可据此准确确定守护进程所在的服务器中的日志采集配置文件与配置中心分发的日志采集配置信息是否存在关联，并且仅在存在关联时才执行对日志采集配置文件是否需要更新进行判断的步骤及其后续步骤，这样可以提高日志配置文件更新的准确性，避免对没有关联的日志采集配置文件进行了更新，导致后续日志采集发生错误；以及，守护进程不仅可以根据配置中心分发的日志采集配置信息并对日志采集配置文件进行更新渲染处理，守护进程中还集成有服务发现功能，利用该服务发现功能可以快速对各个服务器的日志采集配置文件中的日志采集输出集群目录信息进行修改，使得每个服务器采集的日志均能输出到正确的集群目录下。
本发明实施例提供了一种非易失性计算机存储介质，所述计算机存储介质存储有至少一可执行指令，该计算机可执行指令可执行上述任意方法实施例中的日志采集方法。
可执行指令具体可以用于使得处理器执行以下操作：
以预设时间间隔向配置中心发送日志采集配置信息的轮询请求；
接收所述配置中心响应于所述轮询请求而分发的日志采集配置信息；
根据所述配置中心分发的日志采集配置信息，判断所述服务器存储的日志采集配置文件是否需要更新，若是，则对所述日志采集配置文件进行更新渲染处理；
向所述日志采集代理发送重启指令，以供所述日志采集代理根据重启指令加载更新渲染处理后的日志采集配置文件，以进行日志采集。
在一种可选的方式中，所述可执行指令进一步使所述处理器执行以下操作：
通过前端配置页面提交的表单数据得到所述日志采集配置信息，并提交至配置中心。
在一种可选的方式中，所述可执行指令进一步使所述处理器执行以下操作：
获取所述服务器的业务服务信息，根据所述业务服务信息确定所述服务器所属业务部门的业务部门标识；
将所述日志采集配置信息携带的业务部门标识和所述服务器所属业务部门的业务部门标识进行比对，确定是否一致；
若所述日志采集配置信息携带的业务部门标识和所述服务器所属业务部门的业务部门标识一致，则判断所述服务器存储的日志采集配置文件是否需要更新。
在一种可选的方式中，所述日志采集配置信息包括以下至少一种：采集项目信息、适用主机信息、采集路径信息、存储标签信息、存储位置信息、备份数量信息和缓冲区信息。
在一种可选的方式中，所述守护进程集成有服务发现功能，所述配置中心包含服务发现模块；
所述可执行指令进一步使所述处理器执行以下操作：所述服务发现模块监听日志采集输出集群目录信息是否发生变更，若是，则将变更后的日志采集输出集群目录信息同步到共享内存中；
所述守护进程读取共享内存中的变更后的日志采集输出集群目录信息，对所述日志采集配置文件进行更新渲染处理。
图3示出了本发明服务器实施例的结构示意图，本发明具体实施例并不对服务器的具体实现做限定。
如图3所示，该服务器可以包括：处理器(processor)302、通信接口(Communications Interface)304、存储器(memory)306、以及通信总线308。
其中：处理器302、通信接口304、以及存储器306通过通信总线308完成相互间的通信。通信接口304，用于与其它设备比如客户端或其它服务器等的网元通信。处理器302，用于执行程序310，具体可以执行上述用于服务器的日志采集方法实施例中的相关步骤。
具体地，程序310可以包括程序代码，该程序代码包括计算机操作指令。
处理器302可能是中央处理器CPU，或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit)，或者是被配置成实施本发明实施例的一个或多个集成电路。服务器包括的一个或多个处理器，可以是同一类型的处理器，如一个或多个CPU；也可以是不同类型的处理器，如一个或多个CPU以及一个或多个ASIC。
存储器306，用于存放程序310。存储器306可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
程序310具体可以用于使得处理器302执行以下操作：
以预设时间间隔向配置中心发送日志采集配置信息的轮询请求；
接收所述配置中心响应于所述轮询请求而分发的日志采集配置信息；
根据所述配置中心分发的日志采集配置信息，判断所述服务器存储的日志采集配置文件是否需要更新，若是，则对所述日志采集配置文件进行更新渲染处理；
向所述日志采集代理发送重启指令，以供所述日志采集代理根据重启指令加载更新渲染处理后的日志采集配置文件，以进行日志采集。
在一种可选的方式中，所述程序310使所述处理器执行以下操作：
通过前端配置页面提交的表单数据得到所述日志采集配置信息，并提交至配置中心。
在一种可选的方式中，所述程序310使所述处理器执行以下操作：
获取所述服务器的业务服务信息，根据所述业务服务信息确定所述服务器所属业务部门的业务部门标识；
将所述日志采集配置信息携带的业务部门标识和所述服务器所属业务部门的业务部门标识进行比对，确定是否一致；
若所述日志采集配置信息携带的业务部门标识和所述服务器所属业务部门的业务部门标识一致，则判断所述服务器存储的日志采集配置文件是否需要更新。
在一种可选的方式中，所述日志采集配置信息包括以下至少一种：采集项目信息、适用主机信息、采集路径信息、存储标签信息、存储位置信息、备份数量信息和缓冲区信息。
在一种可选的方式中，所述守护进程集成有服务发现功能，所述配置中心包含服务发现模块；
所述程序310使所述处理器执行以下操作：所述服务发现模块监听日志采集输出集群目录信息是否发生变更，若是，则将变更后的日志采集输出集群目录信息同步到共享内存中；
所述守护进程读取共享内存中的变更后的日志采集输出集群目录信息，对所述日志采集配置文件进行更新渲染处理。
在此提供的算法或显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本发明实施例也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
类似地，应当理解，为了精简本发明并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明实施例的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外，本领域的技术人员能够理解，尽管在此的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。上述实施例中的步骤，除有特殊说明外，不应理解为对执行顺序的限定。
Claims (12)
1.一种日志采集方法，所述方法基于在服务器中预先部署的守护进程而实现，其中守护进程与服务器中的日志采集代理一一对应，所述方法包括：
以预设时间间隔向配置中心发送日志采集配置信息的轮询请求；
接收所述配置中心响应于所述轮询请求而分发的日志采集配置信息；
根据所述配置中心分发的日志采集配置信息，判断所述服务器存储的日志采集配置文件是否需要更新，若是，则对所述日志采集配置文件进行更新渲染处理；
向所述日志采集代理发送重启指令，以供所述日志采集代理根据重启指令加载更新渲染处理后的日志采集配置文件，以进行日志采集；
其中，所述守护进程集成有服务发现功能，所述配置中心包含服务发现模块；
所述方法还包括：所述服务发现模块监听日志采集输出集群目录信息是否发生变更，若是，则将变更后的日志采集输出集群目录信息同步到共享内存中；
所述守护进程读取共享内存中的变更后的日志采集输出集群目录信息，对所述日志采集配置文件进行更新渲染处理。
2.根据权利要求1所述的方法，其中，所述方法还包括：通过前端配置页面提交的表单数据得到所述日志采集配置信息，并提交至配置中心。
3.根据权利要求1或2所述的方法，其中，所述方法还包括：获取所述服务器的业务服务信息，根据所述业务服务信息确定所述服务器所属业务部门的业务部门标识；
在所述接收所述配置中心响应于所述轮询请求而分发的日志采集配置信息之后，所述方法还包括：将所述日志采集配置信息携带的业务部门标识和所述服务器所属业务部门的业务部门标识进行比对,确定是否一致；
所述判断所述服务器存储的日志采集配置文件是否需要更新包括：若所述日志采集配置信息携带的业务部门标识和所述服务器所属业务部门的业务部门标识一致，则判断所述服务器存储的日志采集配置文件是否需要更新。
4.根据权利要求1-2任一项所述的方法，其中，所述日志采集配置信息包括以下至少一种:采集项目信息、适用主机信息、采集路径信息、存储标签信息、存储位置信息、备份数量信息和缓冲区信息。
5.一种服务器，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；
所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行以下操作，所述操作基于在服务器中预先部署的守护进程而实现，其中守护进程与服务器中的日志采集代理一一对应：
以预设时间间隔向配置中心发送日志采集配置信息的轮询请求；
接收所述配置中心响应于所述轮询请求而分发的日志采集配置信息；
根据所述配置中心分发的日志采集配置信息，判断所述服务器存储的日志采集配置文件是否需要更新，若是，则对所述日志采集配置文件进行更新渲染处理；
向所述日志采集代理发送重启指令，以供所述日志采集代理根据重启指令加载更新渲染处理后的日志采集配置文件，以进行日志采集；
其中，所述守护进程集成有服务发现功能，所述配置中心包含服务发现模块；
所述可执行指令使所述处理器还执行以下操作：所述服务发现模块监听日志采集输出集群目录信息是否发生变更，若是，则将变更后的日志采集输出集群目录信息同步到共享内存中；
所述守护进程读取共享内存中的变更后的日志采集输出集群目录信息，对所述日志采集配置文件进行更新渲染处理。
6.根据权利要求5所述的服务器，所述可执行指令进一步使所述处理器执行以下操作：
通过前端配置页面提交的表单数据得到所述日志采集配置信息，并提交至配置中心。
7.根据权利要求5或6所述的服务器，所述可执行指令进一步使所述处理器执行以下操作：
获取所述服务器的业务服务信息，根据所述业务服务信息确定所述服务器所属业务部门的业务部门标识；
将所述日志采集配置信息携带的业务部门标识和所述服务器所属业务部门的业务部门标识进行比对，确定是否一致；
若所述日志采集配置信息携带的业务部门标识和所述服务器所属业务部门的业务部门标识一致，则判断所述服务器存储的日志采集配置文件是否需要更新。
8.根据权利要求5-6任一项所述的服务器，所述日志采集配置信息包括以下至少一种：采集项目信息、适用主机信息、采集路径信息、存储标签信息、存储位置信息、备份数量信息和缓冲区信息。
9.一种计算机存储介质，所述存储介质中存储有至少一可执行指令，所述可执行指令使处理器执行以下操作，所述操作基于在服务器中预先部署的守护进程而实现，其中守护进程与服务器中的日志采集代理一一对应：
以预设时间间隔向配置中心发送日志采集配置信息的轮询请求；
接收所述配置中心响应于所述轮询请求而分发的日志采集配置信息；
根据所述配置中心分发的日志采集配置信息，判断所述服务器存储的日志采集配置文件是否需要更新，若是，则对所述日志采集配置文件进行更新渲染处理；
向所述日志采集代理发送重启指令，以供所述日志采集代理根据重启指令加载更新渲染处理后的日志采集配置文件，以进行日志采集；
其中，所述守护进程集成有服务发现功能，所述配置中心包含服务发现模块；
所述可执行指令使所述处理器还执行以下操作：所述服务发现模块监听日志采集输出集群目录信息是否发生变更，若是，则将变更后的日志采集输出集群目录信息同步到共享内存中；
所述守护进程读取共享内存中的变更后的日志采集输出集群目录信息，对所述日志采集配置文件进行更新渲染处理。
10.根据权利要求9所述的计算机存储介质，所述可执行指令进一步使所述处理器执行以下操作：
通过前端配置页面提交的表单数据得到所述日志采集配置信息，并提交至配置中心。
11.根据权利要求9或10所述的计算机存储介质，所述可执行指令进一步使所述处理器执行以下操作：
获取所述服务器的业务服务信息，根据所述业务服务信息确定所述服务器所属业务部门的业务部门标识；
将所述日志采集配置信息携带的业务部门标识和所述服务器所属业务部门的业务部门标识进行比对，确定是否一致；
若所述日志采集配置信息携带的业务部门标识和所述服务器所属业务部门的业务部门标识一致，则判断所述服务器存储的日志采集配置文件是否需要更新。
12.根据权利要求9-10任一项所述的计算机存储介质，所述日志采集配置信息包括以下至少一项：采集项目信息、适用主机信息、采集路径信息、存储标签信息、存储位置信息、备份数量信息和缓冲区信息。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911148988.5A CN110968478B (zh) | 2019-11-21 | 2019-11-21 | 日志采集方法、服务器及计算机存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911148988.5A CN110968478B (zh) | 2019-11-21 | 2019-11-21 | 日志采集方法、服务器及计算机存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110968478A CN110968478A (zh) | 2020-04-07 |
| CN110968478B true CN110968478B (zh) | 2023-04-25 |
Family
ID=70031141
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911148988.5A Active CN110968478B (zh) | 2019-11-21 | 2019-11-21 | 日志采集方法、服务器及计算机存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110968478B (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113515368B (zh) * | 2020-08-23 | 2022-09-09 | 厦门吉快科技有限公司 | 结合大数据和边缘计算的数据整合方法及存储介质 |
| CN113381907A (zh) * | 2021-06-04 | 2021-09-10 | 挂号网（杭州）科技有限公司 | 日志采集方法及装置、电子设备、存储介质 |
| CN113672572B (zh) * | 2021-08-28 | 2024-02-09 | 芯河半导体科技(无锡)有限公司 | 一种嵌入式linux系统syslog的日志存储方法 |
| CN114584464B (zh) * | 2022-03-07 | 2024-06-18 | 浪潮云信息技术股份公司 | 一种云平台全自动管理日志采集方法及终端 |
| CN115576792A (zh) * | 2022-11-24 | 2023-01-06 | 北京宝兰德软件股份有限公司 | 日志采集系统及方法 |
| CN115913920A (zh) * | 2022-12-07 | 2023-04-04 | 北京中电普华信息技术有限公司 | 一种日志采集方法、装置和设备 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107609114A (zh) * | 2017-09-13 | 2018-01-19 | 广东欧珀移动通信有限公司 | 日志信息上报方法、装置及存储介质、adsp和终端 |
| CN109327351A (zh) * | 2018-09-12 | 2019-02-12 | 拉扎斯网络科技（上海）有限公司 | 日志数据的实时采集方法、装置、电子设备及存储介质 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10606804B2 (en) * | 2015-01-28 | 2020-03-31 | Verizon Media Inc. | Computerized systems and methods for distributed file collection and processing |
| CN109218401B (zh) * | 2018-08-08 | 2021-08-31 | 平安科技（深圳）有限公司 | 日志采集方法、系统、计算机设备和存储介质 |
| CN109408481B (zh) * | 2018-11-06 | 2022-05-06 | 北京字节跳动网络技术有限公司 | 日志采集规则的更新方法、装置、电子设备及可读介质 |
| CN109471743A (zh) * | 2018-11-12 | 2019-03-15 | 深圳前海微众银行股份有限公司 | 日志收集方法、装置及计算机可读存储介质 |
| CN109857713A (zh) * | 2018-12-24 | 2019-06-07 | 中国电力科学研究院有限公司 | 一种面向电力业务终端的分布式日志采集处理系统及方法 |
-
2019
- 2019-11-21 CN CN201911148988.5A patent/CN110968478B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107609114A (zh) * | 2017-09-13 | 2018-01-19 | 广东欧珀移动通信有限公司 | 日志信息上报方法、装置及存储介质、adsp和终端 |
| CN109327351A (zh) * | 2018-09-12 | 2019-02-12 | 拉扎斯网络科技（上海）有限公司 | 日志数据的实时采集方法、装置、电子设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110968478A (zh) | 2020-04-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110968478B (zh) | 日志采集方法、服务器及计算机存储介质 | |
| US9497257B1 (en) | File level referrals | |
| CN109818934B (zh) | 一种自动化日志处理的方法、装置及计算设备 | |
| CN106789741B (zh) | 消息队列的消费方法及装置 | |
| CN111240653B (zh) | 接口文档生成方法、装置及可读存储介质 | |
| CN107391632B (zh) | 数据库存储处理方法、装置、计算设备及计算机存储介质 | |
| CN109543462B (zh) | 设备标识确定方法、装置、服务器及存储介质 | |
| JP2012053903A (ja) | 分散型検索方法、アーキテクチャ、システム、およびソフトウェア | |
| US20170322826A1 (en) | Setting support program, setting support method, and setting support device | |
| JP2001147901A (ja) | ローカル・ジョブ制御システムを有する分散処理システム内での外部ジョブ・スケジューリング方法及びシステム | |
| CN111723313A (zh) | 页面跳转的处理方法、装置、设备及存储介质 | |
| CN110532123B (zh) | HBase系统的故障转移方法及装置 | |
| CN106034113A (zh) | 数据处理方法及装置 | |
| US9239860B1 (en) | Augmenting virtual directories | |
| CN111198885A (zh) | 数据的处理方法及装置 | |
| CN117938955A (zh) | 用于cdn中的数据预热方法、装置、设备和介质 | |
| CN111045983B (zh) | 核电站电子文件管理方法、装置、终端设备及介质 | |
| CN111399999B (zh) | 计算机资源处理方法、装置、可读存储介质和计算机设备 | |
| US10437813B2 (en) | Self-healing of layer metadata within a layering system | |
| CN108121514B (zh) | 元信息更新方法、装置、计算设备及计算机存储介质 | |
| CN110955460A (zh) | 一种服务进程启动方法、装置、电子设备和存储介质 | |
| CN115098157A (zh) | 一种公共业务数据的处理方法及装置 | |
| CN111343101B (zh) | 服务器限流方法、装置、电子设备及可读存储介质 | |
| CN111405015A (zh) | 一种数据处理方法、装置、设备及存储介质 | |
| CN111124478A (zh) | 版本管理方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |