CN110489391B - 一种数据处理方法及相关设备 - Google Patents
一种数据处理方法及相关设备 Download PDFInfo
- Publication number
- CN110489391B CN110489391B CN201910680964.8A CN201910680964A CN110489391B CN 110489391 B CN110489391 B CN 110489391B CN 201910680964 A CN201910680964 A CN 201910680964A CN 110489391 B CN110489391 B CN 110489391B
- Authority
- CN
- China
- Prior art keywords
- information
- target
- configuration file
- data processing
- data acquisition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/1805—Append-only file systems, e.g. using logs or journals to store data
- G06F16/1815—Journaling file systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Debugging And Monitoring (AREA)
- Computer And Data Communications (AREA)
Abstract
本发明实施例公开了一种数据处理方法及相关设备，所述方法应用于数据处理技术领域，包括：接收针对目标节点设备的过滤规则处理结果信息，并基于目标节点设备的标识信息确定出目标节点设备所属的目标数据采集设备，目标数据采集设备的数据处理配置文件，基于数据处理配置文件中的开始标识和结束标识定位到可调规则配置信息中的目标位置，进而基于过滤规则信息对目标位置对应的信息进行更新，得到更新后的数据处理配置文件。采用这样的方式，可以灵活调整数据采集设备针对目标节点设备的过滤规则，方便用户配置不同的过滤规则，增强用户体验。
Description
技术领域
本发明涉及数据处理技术领域，尤其涉及一种数据处理方法及相关设备。
背景技术
日志平台可以通过各类节点进行资源、日志的采集，节点将采集的日志信息统一发送到数据采集设备，经过数据采集设备对不同节点属性设置的过滤规则进行信息过滤处理，最终将过滤处理后的日志信息发送到搜索服务器。
目前，在日志平台的使用过程中，常常会涉及对节点对应过滤规则的修改，由于每个节点对应的过滤规则的信息量较大，因此，如何更加灵活的实现对节点过滤规则的修改，成为一个亟待解决的问题。
发明内容
本发明实施例提供了一种数据处理方法及相关设备，有利于提高过滤规则调整的灵活度。
第一方面，本发明实施例提供了一种数据处理方法，所述方法应用于日志管理服务器，所述日志管理服务器对应至少一个节点设备，所述日志管理服务器与至少一个数据采集设备已预先建立通信连接，该方法包括：
接收针对目标节点设备的过滤规则处理结果信息，所述过滤规则处理结果信息包括过滤规则信息以及所述目标节点设备的标识信息；
基于所述目标节点设备的标识信息从所述至少一个数据采集设备中确定出所述目标节点设备所属的目标数据采集设备，并获取预先与所述目标数据采集设备的ID信息关联存储的数据处理配置文件，所述数据处理配置文件中包括过滤规则配置文件，所述过滤规则配置文件包括固定规则配置信息和可调规则配置信息，所述可调规则配置信息包括开始标识和结束标识；
基于所述开始标识和结束标识定位到所述可调规则配置信息中的目标位置，并基于所述过滤规则信息对所述目标位置对应的信息进行更新，得到更新后的数据处理配置文件。
在一个实施例中，所述目标节点设备的标识信息包括ID信息，所述可调规则配置信息包括多个开始标识和多个结束标识，每个开始标识由预设字符和节点ID组成，所述多个开始标识中各个开始标识对应的节点ID不同，所述基于所述开始标识和结束标识定位到所述可调规则配置信息中的目标位置的具体实施方式为：
根据目标节点设备的ID信息和预设字符从所述可调规则配置信息包括的多个开始标识中，确定出所述目标节点设备对应的目标开始标识；
以所述目标开始标识为检测起点，将所述目标开始标识后检测到的第一个结束标识确定为所述目标节点设备对应的目标结束标识；
在所述可调规则配置信息中将所述目标开始标识与所述目标结束标识之间的位置确定为目标位置。
在一个实施例中，所述至少一个数据采集设备预先配置有一个通用的初始数据处理配置文件，所述初始数据处理配置文件包括初始的过滤规则配置文件、针对数据采集设备的端口对应的第一初始端口配置文件以及传输对象的端口对应的第二初始端口配置文件，所述第一初始端口配置文件包括第一端口固定配置信息以及第一端口可调配置信息，所述第二初始端口配置文件包括第二端口固定配置信息以及第二端口可调配置信息。
在一个实施例中，所述获取预先与所述目标数据采集设备的ID信息关联存储的数据处理配置文件之前，当检测到数据采集设备处于维护状态时，还可以获取所述数据采集设备在系统时间下的端口信息，以及在系统时间下所述数据采集设备对应传输对象的端口信息；
备份所述初始数据处理配置文件，并基于所述数据采集设备在系统时间下的端口信息对所述备份的初始数据处理配置文件中的所述第一端口可调配置信息进行更新，以及基于所述系统时间下所述数据采集设备对应传输对象的端口信息对所述第二端口可调配置信息进行更新，得到所述数据采集设备对应的数据处理配置文件；
将所述数据处理配置文件与所述数据采集设备对应的ID信息关联存储。
在一个实施例中，所述获取预先与所述目标数据采集设备的ID信息关联存储的数据处理配置文件的具体实施方式为：
检测所述目标数据采集设备对应操作系统的目标类型；
从预先与所述目标数据采集设备的ID信息关联存储的至少一种数据处理配置文件中获取所述目标类型对应的数据处理配置文件。
在一个实施例中，还可以接收客户端针对目标节点设备的过滤规则调整请求，所述过滤规则调整请求中携带有所述目标节点设备对应的目标日志展示方式；从预先建立的日志展示方式与过滤规则格式的对应关系中确定出所述目标日志展示方式对应的目标过滤规则格式；向所述客户端发送指示信息，所述指示信息用于指示所述客户端生成与所述目标过滤规则格式匹配的过滤规则信息。
在一个实施例中，还可以将所述更新后的数据处理配置文件发送至所述目标数据采集设备，以便于所述目标数据采集设备采集到来自所述目标节点设备的日志信息时，依据所述数据处理配置文件中过滤规则配置文件指示的过滤规则对所述日志信息进行过滤处理。
第二方面，本发明实施例提供了一种数据处理装置，该数据处理装置包括用于执行上述第一方面的方法的模块。
第三方面，本发明实施例提供了一种服务器，该服务器包括处理器、网络接口和存储器，所述处理器、网络接口和存储器相互连接，其中，所述网络接口受所述处理器的控制用于收发消息，所述存储器用于存储支持服务器执行上述方法的计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行上述第一方面的方法。
第四方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行上述第一方面的方法。
本申请实施例中，日志管理服务器可以接收针对目标节点设备的过滤规则处理结果信息，并基于目标节点设备的标识信息从至少一个数据采集设备中确定出目标节点设备所属的目标数据采集设备，并获取预先与目标数据采集设备的ID信息关联存储的数据处理配置文件，该数据处理配置文件中包括过滤规则配置文件，该过滤规则配置文件包括固定规则配置信息和可调规则配置信息，该可调规则配置信息包括开始标识和结束标识。进一步地，日志管理服务器基于开始标识和结束标识定位到可调规则配置信息中的目标位置，并基于过滤规则信息对目标位置对应的信息进行更新，得到更新后的数据处理配置文件。采用这样的方式，可以灵活调整数据采集设备针对目标节点设备的过滤规则，方便用户配置不同的过滤规则，增强用户体验。
附图说明
为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种数据处理系统的结构示意图；
图2是本发明实施例提供的一种数据处理方法的流程示意图；
图3是本发明实施例提供的过滤规则配置页面示意图；
图4是本发明实施例提供的一种调规则配置信息对应的结构示意图；
图5是本发明实施例提供的另一种数据处理方法的流程示意图；
图6是本发明实施例提供的一种数据处理装置的示意性框图；
图7是本发明实施例提供的一种服务器的示意性框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本申请实施例所描述的关于数据处理的方法，涉及到能够提供日志管理相关服务的日志管理服务器、能够提供日志信息采集的各个节点设备、能够采集各个节点的日志信息的数据采集设备。在一个实施例中，该数据采集设备可以为Logstash设备，其中该Logstash是一个开源的数据收集引擎，它具有备实时数据传输能力，它可以统一过滤来自不同源的数据，并按照开发者的制定的规范输出到目的地。
其中，Logstash收集数据对象为日志信息。由于日志信息来源多(如：系统日志、服务器日志等)，且内容杂乱，不便于用户进行观察。因此，可以使用Logstash对日志信息进行收集和统一过滤，变成可读性高的内容，方便开发者或运维人员观察，从而有效的分析系统/项目运行的性能，做好监控和预警的准备工作等。
在本申请实施例中，上述Logstash设备可以收集日志管理服务器对应各个节点设备的日志信息，由于不同的日志信息来自不同的节点设备，Logstash可以动态地将来自不同节点的节点信息统一起来，并根据预先针对各个节点设备配置的过滤规则配置文件对来自不同节点的节点信息进行相应的过滤处理，进而将过滤处理后的节点信息至ElasticSearch搜索服务器，以便于ElasticSearch服务器对个节点信息进行相应的处理，例如存储数据。
其中，该ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。Elasticsearch是用Java开发的，并作为Apache许可条款下的开放源码发布，是当前流行的企业级搜索引擎。设计用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。
示例性地，请参见图1，是本申请实施例可应用的一种数据处理系统的结构示意图。如图1所示，该数据处理系统可包括日志管理平台对应的客户端101、日志管理平台对应的日志管理服务器102、日志管理服务器102对应的至少一个节点设备1021，以及至少一个数据采集设备103。其中，日志管理服务器可以是指用于提供数据处理等数据相关服务的多个服务器构成的服务器组中的某个服务器；该节点设备102用于提供日志信息采集相关服务，该节点设备1021可以为一种终端设备，也可以为服务器；数据采集设备103用于不同节点设备的日志信息统一起来，并根据预先针对各个节点设备配置的过滤规则配置文件对来自不同节点设备的日志信息进行相应的过滤处理，进而将过滤处理后的节点信息至搜索服务器，以便于服务器对个节点信息进行相应的处理，例如存储数据。
在一个实施例中，客户端101可以向日志管理服务器102发送针对目标节点设备的过滤规则处理结果信息，日志管理服务器102接收到该过滤规则处理结果信息，该过滤规则处理结果信息包括过滤规则信息以及目标节点设备的标识信息。
进一步地，日志管理服务器102可以基于目标节点设备的标识信息从至少一个数据采集设备中确定出目标节点设备所属的目标数据采集设备，并获取预先与所述目标数据采集设备的ID信息关联存储的数据处理配置文件，该数据处理配置文件中包括过滤规则配置文件，该过滤规则配置文件包括固定规则配置信息和可调规则配置信息，该可调规则配置信息包括开始标识和结束标识。
进一步地，日志管理服务器102可以基于开始标识和结束标识定位到可调规则配置信息中的目标位置，并基于过滤规则信息对目标位置对应的信息进行更新，得到更新后的数据处理配置文件。
进一步地，日志管理服务器102可以将更新后的数据处理配置文件发送至目标数据采集设备，以便于目标数据采集设备采集到来自目标节点设备的日志信息时，依据所述数据处理配置文件中过滤规则配置文件指示的过滤规则对日志信息进行过滤处理。采用这样的方式，可以灵活调整数据采集设备针对目标节点设备的过滤规则，方便用户配置不同的过滤规则，增强用户体验。
参见图2，图2是本发明实施例提供的一种数据处理方法的流程示意图，该方法应用于日志管理服务器，可由日志管理服务器执行，该日志管理服务器对应至少一个节点设备，日志管理服务器与至少一个数据采集设备已预先建立通信连接，如图所示，该数据处理方法可包括：
201：接收针对目标节点设备的过滤规则处理结果信息，该过滤规则处理结果信息包括过滤规则信息以及目标节点设备的标识信息。
其中，日志管理服务器可以用于管理各个数据采集设备针对各个节点设备的过滤规则。
在一个实施例中，日志管理服务器可以与客户端建立数据连接，该客户端可以展示各个节点设备的过滤规则配置页面，用户可以基于自身需求在该过滤规则配置页面，对各个数据采集设备针对各个节点设备的过滤规则进行配置，在检测到用户针对任一节点设备(即目标节点设备)的过滤规则配置完成时，可以生成针对该目标节点设备的过滤规则处理结果信息，该滤规则处理结果信息包括过滤规则信息以及目标节点设备的标识信息。其中，该目标节点设备的标识信息可以包括设备号，IP地址、ID等等。
示例性地，参见图3，客户端展示了针对目标节点设备Risic 111117的过滤规则配置页面。用户通过该配置页面配置了一条针对目标节点设备的Risic111117的过滤规则“过滤日志信息中的时间”，当客户端检测到用户针对功能按钮“确定”输入的触控操作时，也可以确定用户对目标节点设备的过滤规则配置完成，则生成一个针对该目标节点设备的过滤规则处理结果信息，该过滤规则处理结果信息包括过目标节点设备的标识信息(Risic111117)，以及用于指示“过滤日志信息中的时间”的过滤规则信息。进一步地，客户端可以将该过滤规则处理结果信息发送至日志管理服务器。
202：基于目标节点设备的标识信息从至少一个数据采集设备中确定出目标节点设备所属的目标数据采集设备，并获取预先与目标数据采集设备的ID信息关联存储的数据处理配置文件，该数据处理配置文件中包括过滤规则配置文件，该过滤规则配置文件包括固定规则配置信息和可调规则配置信息，该可调规则配置信息包括开始标识和结束标识。
在一个实施例中，日志管理服务器预先存储有至少一个数据采集设备中各个数据采集设备与各个节点设备对应标识信息的对应关系，当日志管理服务器接收到针对目标节点设备的过滤规则处理结果信息后，可以根据过滤规则处理结果信息中目标节点设备的标识信息，从预先存储的各个数据采集设备与各个节点设备对应标识信息的对应关系中，确定出目标节点设备的标识信息对应的目标数据采集设备。
在一个实施例中，日志管理服务器的存储区域中预先存储有至少一个数据采集设备中各个数据采集设备的数据处理配置文件，每一个数据处理配置文件与各个数据采集设备的ID信息对应。这种情况下，日志管理服务器确定出目标数据采集设备之后，可以获取该目标数据采集设备的ID信息，并在存储区域中获取预先存储的该ID信息对应的数据处理配置文件。
其中，每一个数据处理配置文件包括过滤规则配置文件，该过滤规则配置文件包括固定规则配置信息和可调规则配置信息，该可调规则配置信息包括开始标识和结束标识。
在一个实施例中，由于同样是数据采集服务，在普通主机里使用和在Docker里使用的数据配置文件是完全不同的，例如：如果是Docker，那么日志管理服务器需要读取“docker_”对应的数据配置文件，如果是普通主机，则日志管理服务器需要读取“native_”对应的数据配置文件。
针对这种情况，日志管理服务器确定出目标节点设备所属的目标数据采集设备之后，可以检测目标数据采集设备对应操作系统的目标类型，并从预先与目标数据采集设备的ID信息关联存储的至少一种数据处理配置文件中获取目标类型对应的数据处理配置文件。示例性地，该目标类型可以包括普通主机类型和Docker。
203：基于上述开始标识和上述结束标识定位到可调规则配置信息中的目标位置，并基于过滤规则信息对目标位置对应的信息进行更新，得到更新后的数据处理配置文件。
在一个实施例中，目标节点设备的标识信息包括ID信息，可调规则配置信息包括多个开始标识和多个结束标识，每个开始标识由预设字符和节点ID组成，多个开始标识中各个开始标识对应的节点ID不同。针对这种情况，日志管理服务器可以根据目标节点设备的ID信息和预设字符从可调规则配置信息包括的多个开始标识中，确定出目标节点设备对应的目标开始标识。进一步地，日志管理服务器以目标开始标识为检测起点，将目标开始标识后检测到的第一个结束标识确定为目标节点设备对应的目标结束标识，进而在可调规则配置信息中将目标开始标识与目标结束标识之间的位置确定为目标位置。
在本申请实施例中，每一个数据采集设备可以对应一个或者多个节点设备，因此，该每一个数据采集设备对应的数据处理配置文件可以包括多个节点设备的开始标识和结束标识。示例性地，假设目标数据采集设备对应2个节点设备，分别为第一节点设备和第二节点设备，第一节点设备的ID为“ID1”，第二节点设备的ID为“ID2”，预设字符为“A”，该可调规则配置信息对应的结构可以如图4所示，该可调规则配置信息对应的结构包括第一节点设备的开始标识400，第一节点设备的结束标识402，第一节点设备对应的目标位置401，第二节点设备的开始标识410，第二节点设备的结束标识412，以及第二节点对应的目标位置411。
针对这种情况，假设目标节点设备的ID为“ID1”，日志管理服务器可以根据目标节点设备的ID信息和预设字符从可调规则配置信息包括的多个开始标识中，确定出目标节点设备对应的目标开始标识为第一节点设备的开始标识400。一步地，日志管理服务器以第一节点设备的开始标识400为检测起点，将第一节点设备的开始标识400后检测到的第一个结束标识确定为目标节点设备对应的目标结束标识，即将第一节点设备的结束标识402确定为目标节点设备对应的目标结束标识。进一步地，可以将第一节点设备对应的目标位置401目标节点在可调配置信息中对应的目标位置，并利用过滤规则处理结果信息中的过滤规则信息对目标位置401对应的信息进行更新，从而实现对数据处理配置文件的更新。
可以理解的是，基于过滤规则信息对目标位置对应的信息进行更新，可以包括对目标位置对应信息的修改、删除等等，本申请对此不作具体限定。
在一个实施例中，日志管理服务器得到更新后的数据处理配置文件之后，可以将更新后的数据处理配置文件发送至目标数据采集设备，以便于目标数据采集设备采集到来自目标节点设备的日志信息时，依据数据处理配置文件中过滤规则配置文件指示的过滤规则对日志信息进行过滤处理。
示例性地，假设目标节点设备为第一节点设备，该更新后的数据处理配置文件中过滤规则配置文件指示的过滤规则为“过滤日志信息中的时间信息”。这种情况下，当目标数据采集设备采集到来自第一节点设备的日志信息时，可以依据该过滤规则将日志信息中的时间信息进行过滤，并将过滤掉时间信息的日志信息发送至搜索服务器，以便于搜索服务器对该日志信息进行相应的处理。
在一个实施例中，日志管理服务器基于过滤规则信息对所述目标位置对应的信息进行更新时，还可以检测过滤规则配置文件中是否存在解析规则文件，若不存在解析规则文件，则在过滤规则配置文件中创建一个预设解析规则文件，以得到更新后的数据处理配置文件。该解析规则文件有利于当前次对数据处理配置文件的更新。
本申请实施例中，日志管理服务器可以接收针对目标节点设备的过滤规则处理结果信息，并基于目标节点设备的标识信息从至少一个数据采集设备中确定出目标节点设备所属的目标数据采集设备，并获取预先与目标数据采集设备的ID信息关联存储的数据处理配置文件，该数据处理配置文件中包括过滤规则配置文件，该过滤规则配置文件包括固定规则配置信息和可调规则配置信息，该可调规则配置信息包括开始标识和结束标识。进一步地，日志管理服务器基于开始标识和结束标识定位到可调规则配置信息中的目标位置，并基于过滤规则信息对目标位置对应的信息进行更新，得到更新后的数据处理配置文件。采用这样的方式，可以灵活调整数据采集设备针对目标节点设备的过滤规则，方便用户配置不同的过滤规则，增强用户体验。
参见图5，图5是本发明实施例提供的另一种数据处理方法的流程示意图，该方法应用于日志管理服务器，可由日志管理服务器执行，该日志管理服务器对应至少一个节点设备，日志管理服务器与至少一个数据采集设备已预先建立通信连接，如图所示，该数据处理方法可包括：
501：接收客户端针对目标节点设备的过滤规则调整请求，该过滤规则调整请求中携带有目标节点设备对应的目标日志展示方式。
502：从预先建立的日志展示方式与过滤规则格式的对应关系中确定出目标日志展示方式对应的目标过滤规则格式。
503：向客户端发送指示信息，该指示信息用于指示客户端生成与目标过滤规则格式匹配的过滤规则信息。
在一个实施例中，不同节点设备的日志信息存在不同的日志展现方式，不同的日志展现方式对应不同的过滤规则。日志管理服务器可以预先建立日志展示方式与过滤规则格式的对应关系，并将该日志展示方式与过滤规则格式的对应关系存储在存储区域中。
例如，节点设备1对应的日志展现方式1为：时间+所在代码类+线程号+输出的日志信息，那么，该日志展现方式1对应的过滤规则格式1则为“时间”、“所在代码类”以及“输出的日志信息”的格式；又例如，节点2对应的日志展现方式2为：所在代码类+时间+输出的日志信息，那么，日志展现方式2对应的过滤规则格式2则为“所在代码类”、“时间”、以及“输出的日志信息”的格式。
进一步地，与该过滤规则格式1匹配的过滤规则信息1对应的格式则为“时间”、“所在代码类”以及“输出的日志信息”，与该过滤规则格式2匹配的过滤规则信息2对应的格式则为“所在代码类”、“时间”、以及“输出的日志信息”。
504：接收针对目标节点设备的过滤规则处理结果信息，该过滤规则处理结果信息包括过滤规则信息以及目标节点设备的标识信息。
505：基于目标节点设备的标识信息从至少一个数据采集设备中确定出目标节点设备所属的目标数据采集设备，并获取预先与目标数据采集设备的ID信息关联存储的数据处理配置文件，该数据处理配置文件中包括过滤规则配置文件，该过滤规则配置文件包括固定规则配置信息和可调规则配置信息，该可调规则配置信息包括开始标识和结束标识。
在一个实施例中，上述至少一个数据采集设备预先配置有一个通用的初始数据处理配置文件，该初始数据处理配置文件包括初始的过滤规则配置文件、针对数据采集设备的端口对应的第一初始端口配置文件以及传输对象的端口对应的第二初始端口配置文件，该第一初始端口配置文件包括第一端口固定配置信息以及第一端口可调配置信息，该第二初始端口配置文件包括第二端口固定配置信息以及第二端口可调配置信息。采用这样的方式，对于至少一个数据采集设备可以配置一个通用的初始数据处理配置文件，有利于降低对存储空间的占用。
具体实现中，对数据采集设备的配置可以分为三部分，第一部分为针对数据采集设备的端口对应的第一初始端口配置文件，其中，对数据采集设备的端口可以理解为数据采集设备向外传输数据所使用的发送端口；第二部分为传输对象的端口对应的第二初始端口配置文件，其中，传输对象的端口可以理解为数据采集设备传输数据至传输对象的到达端口，例如，将数据传输至传输对象的端口2(即到达端口)；第三部分为初始过滤规则配置文件。其中，该三部分的每一部分均包括固定信息部分，和可以根据实际情况填写的可调信息部分，该可调部分在配置时可以用特殊符号代替。
在本申请实施例中，第一初始端口配置文件中的固定信息部分称为第一端口固定配置信息，可调信息部分称为第一端口可调配置信息；第二初始端口配置文件中的固定信息部分称为第二端口固定配置信息，可调信息部分称为第二端口可调配置信息；初始过滤规则配置文件中的固定信息部分称为初始固定规则配置信息，可调信息部分称为初始可调规则配置信息。
在一个实施例中，日志管理服务器获取预先与目标数据采集设备的ID信息关联存储的数据处理配置文件之前，当检测到数据采集设备处于维护状态时，获取数据采集设备在系统时间下的端口信息，以及在系统时间下数据采集设备对应传输对象的端口信息。进一步地，可以备份该初始数据处理配置文件，并基于数据采集设备在系统时间下的端口信息对备份的初始数据处理配置文件中的第一端口可调配置信息进行更新，以及基于系统时间下数据采集设备对应传输对象的端口信息对第二端口可调配置信息进行更新，得到数据采集设备对应的数据处理配置文件，进而将数据处理配置文件与数据采集设备对应的ID信息关联存储。
示例性地，假设数据采集设备为Logstash服务器，当检测到任一Logstash服务器正在维护时，可以获取该任一Logstash在系统时间下的参数信息，参数信息包括该任一Logstash在系统时间下的发送端口的端口地址(即数据采集设备在系统时间下的端口信息)，以及该任一Logstash输出到elasticsearch搜索服务器的到达端口的端口地址(即传输对象的端口信息)。进一步地，服务器可以备份该初始数据处理配置文件，一方面利用该发送端口的端口地址替换第一端口可调配置信息中的特殊符号部分，从而实现对第一端口可调配置信息的更新，得到更新后的第一初始端口配置文件，即第一端口配置文件；另一方面，利用该到达端口的端口地址替换第二端口可调配置信息中的特殊符号部分，从而实现对第二端口可调配置信息的更新，得到更新后的第二初始端口配置文件，即第二端口配置文件。进一步地，可以利用该第一端口配置文件、第二端口配置文件以及该初始过滤规则配置文件组合为一个数据处理配置文件，并将该数据处理配置文件与该任一Logstash服务器的ID信息关联存储。
506：基于上述开始标识和上述结束标识定位到可调规则配置信息中的目标位置，并基于过滤规则信息对目标位置对应的信息进行更新，得到更新后的数据处理配置文件。其中，步骤506的具体实施方式可以参见上述实施例中步骤203的相关描述，此处不再赘述。
本申请实施例中，日志管理服务器可以接收客户端针对目标节点设备的过滤规则调整请求，该过滤规则调整请求中携带有目标节点设备对应的目标日志展示方式，并从预先建立的日志展示方式与过滤规则格式的对应关系中确定出目标日志展示方式对应的目标过滤规则格式，向客户端发送指示信息，该指示信息用于指示客户端生成与目标过滤规则格式匹配的过滤规则信息。进一步地，日志管理服务器可以接收针对目标节点设备的过滤规则处理结果信息，并基于目标节点设备的标识信息从至少一个数据采集设备中确定出目标节点设备所属的目标数据采集设备，并获取预先与目标数据采集设备的ID信息关联存储的数据处理配置文件，该数据处理配置文件中包括过滤规则配置文件，该过滤规则配置文件包括固定规则配置信息和可调规则配置信息，该可调规则配置信息包括开始标识和结束标识。进一步地，日志管理服务器基于开始标识和结束标识定位到可调规则配置信息中的目标位置，并基于过滤规则信息对目标位置对应的信息进行更新，得到更新后的数据处理配置文件。采用这样的方式，可以灵活调整数据采集设备针对目标节点设备的过滤规则，方便用户配置不同的过滤规则，增强用户体验。
本发明实施例还提供了一种数据处理装置。该装置包括用于执行前述图2或者图5所述的方法的模块，配置于日志管理服务器，所述日志管理服务器对应至少一个节点设备，所述日志管理服务器与至少一个数据采集设备已预先建立通信连接，具体地，参见图6，是本发明实施例提供的数据处理装置的示意框图。本实施例的数据处理装置包括：
通信模块60，用于接收针对目标节点设备的过滤规则处理结果信息，所述过滤规则处理结果信息包括过滤规则信息以及所述目标节点设备的标识信息；
处理模块61，用于基于所述目标节点设备的标识信息从所述至少一个数据采集设备中确定出所述目标节点设备所属的目标数据采集设备，并获取预先与所述目标数据采集设备的ID信息关联存储的数据处理配置文件，所述数据处理配置文件中包括过滤规则配置文件，所述过滤规则配置文件包括固定规则配置信息和可调规则配置信息，所述可调规则配置信息包括开始标识和结束标识；
处理模块61，还用于基于所述开始标识和结束标识定位到所述可调规则配置信息中的目标位置，并基于所述过滤规则信息对所述目标位置对应的信息进行更新，得到更新后的数据处理配置文件。
在一个实施例中，所述目标节点设备的标识信息包括ID信息，所述可调规则配置信息包括多个开始标识和多个结束标识，每个开始标识由预设字符和节点ID组成，所述多个开始标识中各个开始标识对应的节点ID不同，处理模块61，具体用于：
根据目标节点设备的ID信息和预设字符从所述可调规则配置信息包括的多个开始标识中，确定出所述目标节点设备对应的目标开始标识；
以所述目标开始标识为检测起点，将所述目标开始标识后检测到的第一个结束标识确定为所述目标节点设备对应的目标结束标识；
在所述可调规则配置信息中将所述目标开始标识与所述目标结束标识之间的位置确定为目标位置。
在一个实施例中，所述至少一个数据采集设备预先配置有一个通用的初始数据处理配置文件，所述初始数据处理配置文件包括初始的过滤规则配置文件、针对数据采集设备的端口对应的第一初始端口配置文件以及传输对象的端口对应的第二初始端口配置文件，所述第一初始端口配置文件包括第一端口固定配置信息以及第一端口可调配置信息，所述第二初始端口配置文件包括第二端口固定配置信息以及第二端口可调配置信息。
在一个实施例中，处理模块61，还用于当检测到数据采集设备处于维护状态时，获取所述数据采集设备在系统时间下的端口信息，以及在系统时间下所述数据采集设备对应传输对象的端口信息；
备份所述初始数据处理配置文件，并基于所述数据采集设备在系统时间下的端口信息对所述备份的初始数据处理配置文件中的所述第一端口可调配置信息进行更新，以及基于所述系统时间下所述数据采集设备对应传输对象的端口信息对所述第二端口可调配置信息进行更新，得到所述数据采集设备对应的数据处理配置文件；
将所述数据处理配置文件与所述数据采集设备对应的ID信息关联存储。
在一个实施例中，处理模块61，具体用于：检测所述目标数据采集设备对应操作系统的目标类型；从预先与所述目标数据采集设备的ID信息关联存储的至少一种数据处理配置文件中获取所述目标类型对应的数据处理配置文件。
在一个实施例中，所述通信模块60，还用于接收客户端针对目标节点设备的过滤规则调整请求，所述过滤规则调整请求中携带有所述目标节点设备对应的目标日志展示方式；所述处理模块61，还用于从预先建立的日志展示方式与过滤规则格式的对应关系中确定出所述目标日志展示方式对应的目标过滤规则格式；所述通信模块60，还用于向所述客户端发送指示信息，所述指示信息用于指示所述客户端生成与所述目标过滤规则格式匹配的过滤规则信息。
在一个实施例中，所述通信模块60，还用于将所述更新后的数据处理配置文件发送至所述目标数据采集设备，以便于所述目标数据采集设备采集到来自所述目标节点设备的日志信息时，依据所述数据处理配置文件中过滤规则配置文件指示的过滤规则对所述日志信息进行过滤处理。
需要说明的是，本发明实施例所描述的数据处理装置的各功能模块的功能可根据图2或者图5所述的方法实施例中的方法具体实现，其具体实现过程可以参照图2或者图5的方法实施例的相关描述，此处不再赘述。
请参见图7，图7是本发明实施例提供的一种服务器的示意性框图，如图7所示，该服务器包括，处理器701、存储器702和网络接口703。上述处理器701、存储器702和网络接口703可通过总线或其他方式连接，在本发明实施例所示图7中以通过总线连接为例。其中，网络接口703受所述处理器的控制用于收发消息，存储器702用于存储计算机程序，所述计算机程序包括程序指令，处理器701用于执行存储器702存储的程序指令。其中，处理器701被配置用于调用所述程序指令执行：通过网络接口703接收针对目标节点设备的过滤规则处理结果信息，所述过滤规则处理结果信息包括过滤规则信息以及所述目标节点设备的标识信息；基于所述目标节点设备的标识信息从所述至少一个数据采集设备中确定出所述目标节点设备所属的目标数据采集设备，并获取预先与所述目标数据采集设备的ID信息关联存储的数据处理配置文件，所述数据处理配置文件中包括过滤规则配置文件，所述过滤规则配置文件包括固定规则配置信息和可调规则配置信息，所述可调规则配置信息包括开始标识和结束标识；
基于所述开始标识和结束标识定位到所述可调规则配置信息中的目标位置，并基于所述过滤规则信息对所述目标位置对应的信息进行更新，得到更新后的数据处理配置文件。
在一个实施例中，所述目标节点设备的标识信息包括ID信息，所述可调规则配置信息包括多个开始标识和多个结束标识，每个开始标识由预设字符和节点ID组成，所述多个开始标识中各个开始标识对应的节点ID不同，处理器701，具体用于：
根据目标节点设备的ID信息和预设字符从所述可调规则配置信息包括的多个开始标识中，确定出所述目标节点设备对应的目标开始标识；
以所述目标开始标识为检测起点，将所述目标开始标识后检测到的第一个结束标识确定为所述目标节点设备对应的目标结束标识；
在所述可调规则配置信息中将所述目标开始标识与所述目标结束标识之间的位置确定为目标位置。
在一个实施例中，所述至少一个数据采集设备预先配置有一个通用的初始数据处理配置文件，所述初始数据处理配置文件包括初始的过滤规则配置文件、针对数据采集设备的端口对应的第一初始端口配置文件以及传输对象的端口对应的第二初始端口配置文件，所述第一初始端口配置文件包括第一端口固定配置信息以及第一端口可调配置信息，所述第二初始端口配置文件包括第二端口固定配置信息以及第二端口可调配置信息。
在一个实施例中，处理器701，还用于当检测到数据采集设备处于维护状态时，获取所述数据采集设备在系统时间下的端口信息，以及在系统时间下所述数据采集设备对应传输对象的端口信息；
备份所述初始数据处理配置文件，并基于所述数据采集设备在系统时间下的端口信息对所述备份的初始数据处理配置文件中的所述第一端口可调配置信息进行更新，以及基于所述系统时间下所述数据采集设备对应传输对象的端口信息对所述第二端口可调配置信息进行更新，得到所述数据采集设备对应的数据处理配置文件；
将所述数据处理配置文件与所述数据采集设备对应的ID信息关联存储。
在一个实施例中，处理器701，具体用于：检测所述目标数据采集设备对应操作系统的目标类型；从预先与所述目标数据采集设备的ID信息关联存储的至少一种数据处理配置文件中获取所述目标类型对应的数据处理配置文件。
在一个实施例中，所述网络接口703，还用于接收客户端针对目标节点设备的过滤规则调整请求，所述过滤规则调整请求中携带有所述目标节点设备对应的目标日志展示方式；所述处理器701，还用于从预先建立的日志展示方式与过滤规则格式的对应关系中确定出所述目标日志展示方式对应的目标过滤规则格式；所述网络接口703，还用于向所述客户端发送指示信息，所述指示信息用于指示所述客户端生成与所述目标过滤规则格式匹配的过滤规则信息。
在一个实施例中，所述网络接口703，还用于将所述更新后的数据处理配置文件发送至所述目标数据采集设备，以便于所述目标数据采集设备采集到来自所述目标节点设备的日志信息时，依据所述数据处理配置文件中过滤规则配置文件指示的过滤规则对所述日志信息进行过滤处理。
应当理解，在本发明实施例中，所称处理器701可以是中央处理单元(CentralProcessing Unit，CPU)，该处理器701还可以是其他通用处理器、数字信号处理器(DigitalSignal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
该存储器702可以包括只读存储器和随机存取存储器，并向处理器701提供指令和数据。存储器702的一部分还可以包括非易失性随机存取存储器。例如，存储器702还可以存储设备类型的信息。
具体实现中，本发明实施例中所描述的处理器701、存储器702和网络接口703可执行本发明实施例提供的图2或者图5所述的方法实施例所描述的实现方式，也可执行本发明实施例所描述的数据处理装置的实现方式，在此不再赘述。
在本发明的另一实施例中提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令被处理器执行时实现：接收针对目标节点设备的过滤规则处理结果信息，所述过滤规则处理结果信息包括过滤规则信息以及所述目标节点设备的标识信息；基于所述目标节点设备的标识信息从所述至少一个数据采集设备中确定出所述目标节点设备所属的目标数据采集设备，并获取预先与所述目标数据采集设备的ID信息关联存储的数据处理配置文件，所述数据处理配置文件中包括过滤规则配置文件，所述过滤规则配置文件包括固定规则配置信息和可调规则配置信息，所述可调规则配置信息包括开始标识和结束标识；基于所述开始标识和结束标识定位到所述可调规则配置信息中的目标位置，并基于所述过滤规则信息对所述目标位置对应的信息进行更新，得到更新后的数据处理配置文件。
所述计算机可读存储介质可以是前述任一实施例所述的服务器的内部存储单元，例如服务器的硬盘或内存。所述计算机可读存储介质也可以是所述服务器的外部存储设备，例如所述服务器上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。进一步地，所述计算机可读存储介质还可以既包括所述服务器的内部存储单元也包括外部存储设备。所述计算机可读存储介质用于存储所述计算机程序以及所述服务器所需的其他程序和数据。所述计算机可读存储介质还可以用于暂时地存储已经输出或者将要输出的数据。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random AccessMemory，RAM)等。
以上所揭露的仅为本发明的部分实施例而已，当然不能以此来限定本发明之权利范围，本领域普通技术人员可以理解实现上述实施例的全部或部分流程，并依本发明权利要求所作的等同变化，仍属于发明所涵盖的范围。
Claims (10)
1.一种数据处理方法，其特征在于，所述方法应用于日志管理服务器，所述日志管理服务器对应至少一个节点设备，所述日志管理服务器与至少一个数据采集设备已预先建立通信连接，所述方法包括：
接收针对目标节点设备的过滤规则处理结果信息，所述过滤规则处理结果信息包括过滤规则信息以及所述目标节点设备的标识信息；
基于所述目标节点设备的标识信息从所述至少一个数据采集设备中确定出所述目标节点设备所属的目标数据采集设备，并获取预先与所述目标数据采集设备的ID信息关联存储的数据处理配置文件，所述数据处理配置文件中包括过滤规则配置文件，所述过滤规则配置文件包括固定规则配置信息和可调规则配置信息，所述可调规则配置信息包括开始标识和结束标识；
基于所述开始标识和结束标识定位到所述可调规则配置信息中的目标位置，并基于所述过滤规则信息对所述目标位置对应的信息进行更新，得到更新后的数据处理配置文件。
2.根据权利要求1所述的方法，其特征在于，所述目标节点设备的标识信息包括ID信息，所述可调规则配置信息包括多个开始标识和多个结束标识，每个开始标识由预设字符和节点ID组成，所述多个开始标识中各个开始标识对应的节点ID不同，所述基于所述开始标识和结束标识定位到所述可调规则配置信息中的目标位置，包括：
根据目标节点设备的ID信息和预设字符从所述可调规则配置信息包括的多个开始标识中，确定出所述目标节点设备对应的目标开始标识；
以所述目标开始标识为检测起点，将所述目标开始标识后检测到的第一个结束标识确定为所述目标节点设备对应的目标结束标识；
在所述可调规则配置信息中将所述目标开始标识与所述目标结束标识之间的位置确定为目标位置。
3.根据权利要求1所述的方法，其特征在于，所述至少一个数据采集设备预先配置有一个通用的初始数据处理配置文件，所述初始数据处理配置文件包括初始的过滤规则配置文件、针对数据采集设备的端口对应的第一初始端口配置文件以及传输对象的端口对应的第二初始端口配置文件，所述第一初始端口配置文件包括第一端口固定配置信息以及第一端口可调配置信息，所述第二初始端口配置文件包括第二端口固定配置信息以及第二端口可调配置信息。
4.根据权利要求3所述的方法，其特征在于，所述获取预先与所述目标数据采集设备的ID信息关联存储的数据处理配置文件之前，所述方法还包括：
当检测到数据采集设备处于维护状态时，获取所述数据采集设备在系统时间下的端口信息，以及在系统时间下所述数据采集设备对应传输对象的端口信息；
备份所述初始数据处理配置文件，并基于所述数据采集设备在系统时间下的端口信息对所述备份的初始数据处理配置文件中的所述第一端口可调配置信息进行更新，以及基于所述系统时间下所述数据采集设备对应传输对象的端口信息对所述第二端口可调配置信息进行更新，得到所述数据采集设备对应的数据处理配置文件；
将所述数据处理配置文件与所述数据采集设备对应的ID信息关联存储。
5.根据权利要求1所述的方法，其特征在于，所述获取预先与所述目标数据采集设备的ID信息关联存储的数据处理配置文件，包括：
检测所述目标数据采集设备对应操作系统的目标类型；
从预先与所述目标数据采集设备的ID信息关联存储的至少一种数据处理配置文件中获取所述目标类型对应的数据处理配置文件。
6.根据权利要求1所述的方法，其在特征在于，所述方法还包括：
接收客户端针对目标节点设备的过滤规则调整请求，所述过滤规则调整请求中携带有所述目标节点设备对应的目标日志展示方式；
从预先建立的日志展示方式与过滤规则格式的对应关系中确定出所述目标日志展示方式对应的目标过滤规则格式；
向所述客户端发送指示信息，所述指示信息用于指示所述客户端生成与所述目标过滤规则格式匹配的过滤规则信息。
7.根据权利要求1-6任一项所述的方法，其在特征在于，所述方法还包括：
将所述更新后的数据处理配置文件发送至所述目标数据采集设备，以便于所述目标数据采集设备采集到来自所述目标节点设备的日志信息时，依据所述数据处理配置文件中过滤规则配置文件指示的过滤规则对所述日志信息进行过滤处理。
8.一种数据处理装置，其特征在于，所述装置于日志管理服务器，所述日志管理服务器对应至少一个节点设备，所述日志管理服务器与至少一个数据采集设备已预先建立通信连接，所述装置包括：
通信模块，用于接收针对目标节点设备的过滤规则处理结果信息，所述过滤规则处理结果信息包括过滤规则信息以及所述目标节点设备的标识信息；
处理模块，用于基于所述目标节点设备的标识信息从所述至少一个数据采集设备中确定出所述目标节点设备所属的目标数据采集设备，并获取预先与所述目标数据采集设备的ID信息关联存储的数据处理配置文件，所述数据处理配置文件中包括过滤规则配置文件，所述过滤规则配置文件包括固定规则配置信息和可调规则配置信息，所述可调规则配置信息包括开始标识和结束标识；
处理模块，还用于基于所述开始标识和结束标识定位到所述可调规则配置信息中的目标位置，并基于所述过滤规则信息对所述目标位置对应的信息进行更新，得到更新后的数据处理配置文件。
9.一种服务器，其特征在于，包括处理器和存储器，所述处理器和所述存储器相互连接，其中，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行如权利要求1-7任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行以实现权利要求1-7任意一项所述的方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910680964.8A CN110489391B (zh) | 2019-07-25 | 2019-07-25 | 一种数据处理方法及相关设备 |
| PCT/CN2019/122701 WO2021012568A1 (zh) | 2019-07-25 | 2019-12-03 | 一种数据处理方法及相关设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910680964.8A CN110489391B (zh) | 2019-07-25 | 2019-07-25 | 一种数据处理方法及相关设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110489391A CN110489391A (zh) | 2019-11-22 |
| CN110489391B true CN110489391B (zh) | 2022-06-28 |
Family
ID=68548477
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910680964.8A Active CN110489391B (zh) | 2019-07-25 | 2019-07-25 | 一种数据处理方法及相关设备 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN110489391B (zh) |
| WO (1) | WO2021012568A1 (zh) |
Families Citing this family (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110489391B (zh) * | 2019-07-25 | 2022-06-28 | 深圳壹账通智能科技有限公司 | 一种数据处理方法及相关设备 |
| CN111125004B (zh) * | 2019-12-03 | 2021-09-17 | 中盈优创资讯科技有限公司 | 文件采集方法及装置 |
| CN111142964A (zh) * | 2019-12-16 | 2020-05-12 | 苏宁云计算有限公司 | 一种配置文件信息的加载方法及系统 |
| CN111930709B (zh) * | 2020-07-20 | 2024-04-12 | 北京百度云途腾科技有限责任公司 | 数据存储方法、装置、电子设备和计算机可读介质 |
| CN112035331B (zh) * | 2020-11-04 | 2021-02-19 | 北京爱奇艺智能科技有限公司 | 用于虚拟现实设备的日志采集方法 |
| CN112434949A (zh) * | 2020-11-25 | 2021-03-02 | 平安普惠企业管理有限公司 | 基于人工智能的业务预警处理方法、装置、设备和介质 |
| CN112787868B (zh) * | 2021-01-29 | 2023-06-30 | 杭州迪普科技股份有限公司 | 一种信息同步的方法和装置 |
| CN113342768B (zh) * | 2021-06-01 | 2023-10-10 | 北京奇艺世纪科技有限公司 | 一种日志读取方法、装置、电子设备及可读存储介质 |
| CN113486077B (zh) * | 2021-06-11 | 2023-08-22 | 北京空间飞行器总体设计部 | 使用实时数据库处理航天器电源系统测试数据的方法 |
| CN113608735A (zh) * | 2021-08-11 | 2021-11-05 | 中国银行股份有限公司 | 采集工具配置文件生成方法及装置 |
| CN113687852A (zh) * | 2021-09-09 | 2021-11-23 | 中国银行股份有限公司 | 日志采集配置文件自动生成方法及装置 |
| CN114466387B (zh) * | 2022-01-13 | 2024-04-09 | 三维通信股份有限公司 | 基站的配置文件的更新方法、装置、存储介质和电子装置 |
| CN114915643B (zh) * | 2022-05-09 | 2024-01-26 | 北京交大微联科技有限公司 | 铁路信号集中监测系统的配置方法、装置、设备及介质 |
| CN114979217B (zh) * | 2022-05-31 | 2023-06-06 | 重庆长安汽车股份有限公司 | 一种车身大数据传输方法 |
| CN115655757A (zh) * | 2022-11-04 | 2023-01-31 | 中车长春轨道客车股份有限公司 | 一种车载超导磁体监测系统的确定方法、系统及存储介质 |
| CN115544319B (zh) * | 2022-11-25 | 2023-03-14 | 上海喆塔信息科技有限公司 | 工业互联网大数据平台及数据处理方法 |
Citations (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101755268A (zh) * | 2007-06-21 | 2010-06-23 | 诺基亚公司 | 使用元数据提供对象关联的方法、设备和计算机程序产品 |
| CN103560906A (zh) * | 2013-10-22 | 2014-02-05 | 珠海多玩信息技术有限公司 | 数据复制的方法及装置 |
| CN104378233A (zh) * | 2014-11-17 | 2015-02-25 | 北京百度网讯科技有限公司 | 设备统一管理方法、纳入方法及相应装置 |
| CN104462349A (zh) * | 2014-12-05 | 2015-03-25 | 曙光信息产业(北京)有限公司 | 一种文件处理方法及装置 |
| CN105376077A (zh) * | 2014-08-06 | 2016-03-02 | 中国移动通信集团黑龙江有限公司 | 网络行为信息的处理方法、日志的发送方法、装置及系统 |
| WO2016170664A1 (ja) * | 2015-04-24 | 2016-10-27 | 株式会社日立製作所 | 異常パケットフィルタリング装置、及び、異常パケットフィルタリング方法 |
| CN106371986A (zh) * | 2016-09-08 | 2017-02-01 | 上海新炬网络技术有限公司 | 一种日志处理运维监控系统 |
| CN106385331A (zh) * | 2016-09-08 | 2017-02-08 | 努比亚技术有限公司 | 一种基于日志的监控告警方法及系统 |
| CN107026821A (zh) * | 2016-02-01 | 2017-08-08 | 阿里巴巴集团控股有限公司 | 报文的处理方法及装置 |
| CN107733863A (zh) * | 2017-09-07 | 2018-02-23 | 济南双瑞软件有限公司 | 一种分布式hadoop环境下的日志调试方法和装置 |
| CN108021809A (zh) * | 2017-12-19 | 2018-05-11 | 北京明朝万达科技股份有限公司 | 一种数据处理方法及系统 |
| CN108234233A (zh) * | 2016-12-22 | 2018-06-29 | 阿里巴巴集团控股有限公司 | 日志处理方法及装置 |
| CN108259371A (zh) * | 2016-12-28 | 2018-07-06 | 亿阳信通股份有限公司 | 一种基于流处理的网络流量数据解析方法和装置 |
| CN108540302A (zh) * | 2017-03-03 | 2018-09-14 | 腾讯科技（深圳）有限公司 | 一种大数据处理的方法及设备 |
| CN108600029A (zh) * | 2018-05-09 | 2018-09-28 | 深圳壹账通智能科技有限公司 | 一种配置文件更新方法、装置、终端设备及存储介质 |
| CN109032824A (zh) * | 2018-05-31 | 2018-12-18 | 康键信息技术（深圳）有限公司 | 数据库校验方法、装置、计算机设备和存储介质 |
| CN109344162A (zh) * | 2018-09-14 | 2019-02-15 | 北京京东金融科技控股有限公司 | 业务数据处理方法和装置 |
| CN109471786A (zh) * | 2018-11-16 | 2019-03-15 | 苏州好玩友网络科技有限公司 | 一种数据采集方法、装置、设备和存储介质 |
| CN109815013A (zh) * | 2019-01-02 | 2019-05-28 | 深圳壹账通智能科技有限公司 | 业务数据处理方法、装置、计算机设备和存储介质 |
| CN110046073A (zh) * | 2019-03-29 | 2019-07-23 | 厦门网宿有限公司 | 一种日志采集方法及装置、设备、存储介质 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090327193A1 (en) * | 2008-06-27 | 2009-12-31 | Nokia Corporation | Apparatus, method and computer program product for filtering media files |
| US10178152B2 (en) * | 2016-04-29 | 2019-01-08 | Splunk Inc. | Central repository for storing configuration files of a distributed computer system |
| US10496605B2 (en) * | 2016-04-29 | 2019-12-03 | Splunk Inc. | Application deployment for data intake and query system |
| US10977260B2 (en) * | 2016-09-26 | 2021-04-13 | Splunk Inc. | Task distribution in an execution node of a distributed execution environment |
| US10191736B2 (en) * | 2017-04-28 | 2019-01-29 | Servicenow, Inc. | Systems and methods for tracking configuration file changes |
| US10771486B2 (en) * | 2017-09-25 | 2020-09-08 | Splunk Inc. | Systems and methods for detecting network security threat event patterns |
| CN110489391B (zh) * | 2019-07-25 | 2022-06-28 | 深圳壹账通智能科技有限公司 | 一种数据处理方法及相关设备 |
-
2019
- 2019-07-25 CN CN201910680964.8A patent/CN110489391B/zh active Active
- 2019-12-03 WO PCT/CN2019/122701 patent/WO2021012568A1/zh active Application Filing
Patent Citations (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101755268A (zh) * | 2007-06-21 | 2010-06-23 | 诺基亚公司 | 使用元数据提供对象关联的方法、设备和计算机程序产品 |
| CN103560906A (zh) * | 2013-10-22 | 2014-02-05 | 珠海多玩信息技术有限公司 | 数据复制的方法及装置 |
| CN105376077A (zh) * | 2014-08-06 | 2016-03-02 | 中国移动通信集团黑龙江有限公司 | 网络行为信息的处理方法、日志的发送方法、装置及系统 |
| CN104378233A (zh) * | 2014-11-17 | 2015-02-25 | 北京百度网讯科技有限公司 | 设备统一管理方法、纳入方法及相应装置 |
| CN104462349A (zh) * | 2014-12-05 | 2015-03-25 | 曙光信息产业(北京)有限公司 | 一种文件处理方法及装置 |
| WO2016170664A1 (ja) * | 2015-04-24 | 2016-10-27 | 株式会社日立製作所 | 異常パケットフィルタリング装置、及び、異常パケットフィルタリング方法 |
| CN107026821A (zh) * | 2016-02-01 | 2017-08-08 | 阿里巴巴集团控股有限公司 | 报文的处理方法及装置 |
| CN106371986A (zh) * | 2016-09-08 | 2017-02-01 | 上海新炬网络技术有限公司 | 一种日志处理运维监控系统 |
| CN106385331A (zh) * | 2016-09-08 | 2017-02-08 | 努比亚技术有限公司 | 一种基于日志的监控告警方法及系统 |
| CN108234233A (zh) * | 2016-12-22 | 2018-06-29 | 阿里巴巴集团控股有限公司 | 日志处理方法及装置 |
| CN108259371A (zh) * | 2016-12-28 | 2018-07-06 | 亿阳信通股份有限公司 | 一种基于流处理的网络流量数据解析方法和装置 |
| CN108540302A (zh) * | 2017-03-03 | 2018-09-14 | 腾讯科技（深圳）有限公司 | 一种大数据处理的方法及设备 |
| CN107733863A (zh) * | 2017-09-07 | 2018-02-23 | 济南双瑞软件有限公司 | 一种分布式hadoop环境下的日志调试方法和装置 |
| CN108021809A (zh) * | 2017-12-19 | 2018-05-11 | 北京明朝万达科技股份有限公司 | 一种数据处理方法及系统 |
| CN108600029A (zh) * | 2018-05-09 | 2018-09-28 | 深圳壹账通智能科技有限公司 | 一种配置文件更新方法、装置、终端设备及存储介质 |
| CN109032824A (zh) * | 2018-05-31 | 2018-12-18 | 康键信息技术（深圳）有限公司 | 数据库校验方法、装置、计算机设备和存储介质 |
| CN109344162A (zh) * | 2018-09-14 | 2019-02-15 | 北京京东金融科技控股有限公司 | 业务数据处理方法和装置 |
| CN109471786A (zh) * | 2018-11-16 | 2019-03-15 | 苏州好玩友网络科技有限公司 | 一种数据采集方法、装置、设备和存储介质 |
| CN109815013A (zh) * | 2019-01-02 | 2019-05-28 | 深圳壹账通智能科技有限公司 | 业务数据处理方法、装置、计算机设备和存储介质 |
| CN110046073A (zh) * | 2019-03-29 | 2019-07-23 | 厦门网宿有限公司 | 一种日志采集方法及装置、设备、存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2021012568A1 (zh) | 2021-01-28 |
| CN110489391A (zh) | 2019-11-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110489391B (zh) | 一种数据处理方法及相关设备 | |
| CN109218133B (zh) | 网络速度测试系统、方法、装置及计算机可读存储介质 | |
| CN111262759B (zh) | 一种物联网平台测试方法、装置、设备和存储介质 | |
| CN107809383B (zh) | 一种基于mvc的路径映射方法及装置 | |
| CN112311617A (zh) | 一种配置化数据监控告警方法及系统 | |
| CN108762949B (zh) | 集中调度方法、系统、计算机设备和存储介质 | |
| CN106790131B (zh) | 一种参数修改方法、装置及分布式平台 | |
| CN109218407B (zh) | 基于日志监控技术的代码管控方法及终端设备 | |
| CN110830567A (zh) | 一种数据传输方法及装置 | |
| CN112685175A (zh) | 一种服务拓扑图的构建方法、装置和计算机可读存储介质 | |
| CN110912805B (zh) | 消息读取状态的同步方法、终端、服务端及系统 | |
| CN106375551B (zh) | 一种信息交互方法、装置及终端 | |
| CN110958287B (zh) | 操作对象数据同步方法、装置及系统 | |
| CN116302467A (zh) | 任务的分配方法、装置及存储介质 | |
| CN112436974B (zh) | Cdn数据资源一致性检测方法、装置以及计算机设备 | |
| CN114185804A (zh) | 一种接口测试方法、装置及终端设备 | |
| CN113900679A (zh) | 一种补丁安装方法、装置、计算机设备和存储介质 | |
| CN108536482B (zh) | 应用屏蔽方法、装置、服务器以及存储介质 | |
| CN112256714A (zh) | 数据同步方法、装置、电子设备和计算机可读介质 | |
| CN107302605B (zh) | 电视代理服务器的配置方法及装置、电视及存储介质 | |
| CN110688201A (zh) | 一种日志管理方法及相关设备 | |
| CN115052003B (zh) | 数据同步方法、相关装置和介质 | |
| CN112804373B (zh) | 接口域名确定方法、装置、电子设备及存储介质 | |
| CN112087474B (zh) | 一种基于集群的端口信息的获取方法及装置 | |
| CN116484373B (zh) | 异常进程查杀方法、系统、装置、计算机设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |