CN118101450A - 数据处理方法、装置、设备及存储介质 - Google Patents

数据处理方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN118101450A
CN118101450A CN202211457759.3A CN202211457759A CN118101450A CN 118101450 A CN118101450 A CN 118101450A CN 202211457759 A CN202211457759 A CN 202211457759A CN 118101450 A CN118101450 A CN 118101450A
Authority
CN
China
Prior art keywords
log
data
log data
network element
client
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211457759.3A
Other languages
English (en)
Inventor
周煜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ZTE Corp
Original Assignee
ZTE Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ZTE Corp filed Critical ZTE Corp
Priority to CN202211457759.3A priority Critical patent/CN118101450A/zh
Priority to PCT/CN2023/131164 priority patent/WO2024109569A1/zh
Publication of CN118101450A publication Critical patent/CN118101450A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/069—Management of faults, events, alarms or notifications using logs of notifications; Post-processing of notifications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08—Configuration management of networks or network elements
    • H04L41/0803—Configuration setting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/04—Processing captured monitoring data, e.g. for logfile generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/2866—Architectures; Arrangements
    • H04L67/30—Profiles
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本申请涉及一种数据处理方法、装置、设备及存储介质，该方法获取客户端的设备注册信息；获取与网元信息对应的日志采集配置文件，日志采集配置文件包括日志减少方式；向客户端推送所日志采集配置文件和日志采集工具，日志采集工具用于采集网元的日志数据，并按照日志减少方式对日志数据进行处理得到减少后日志数据；获取客户端上报的减少后日志数据。由于向服务端推送的日志采集工具能够按照日志采集配置文件中配置的日志减少方式对日志进行处理，所以，可以使得客户端向服务端上报的减少后日志数据的数据量大大减少，提高服务端数据处理的效率。

Description

数据处理方法、装置、设备及存储介质
技术领域
本申请涉及通信领域，尤其涉及一种数据处理方法、装置、设备及存储介质。
背景技术
设备中的业务系统在进行服务时会产生大量的服务日志数据，同时也会产生对应业务的运行状态日志数据，操作系统也会产生系统日志数据，传统的ELK日志数据分析系统是在客户端使用filebeat、logstash等采集工具将所有日志数据仅进行简单过滤后全部录入服务端的elasticsearch(分布式搜索引擎)中，然后再使用Kibana数据可视化系统对其中的数据进行统计展示。
虽然对日志数据进行了简单过滤，但是过滤后的日志数据的数据量仍然很大，所以会导致服务端处理数据的效率低。
发明内容
本申请提供了一种数据处理方法、装置、设备及存储介质，用以解决客户端对日志数据进行简单过滤，导致服务端数据处理效率低的问题。
第一方面，提供一种数据处理方法，应用于服务端，包括：
获取客户端的设备注册信息，所述设备注册信息包括部署于所述客户端的网元的网元信息；
获取与所述网元信息对应的日志采集配置文件，所述日志采集配置文件包括日志减少方式，所述日志减少方式用于减少所述网元的日志数据的数据量；
向所述客户端推送所日志采集配置文件和日志采集工具，所述日志采集工具用于采集所述网元的日志数据，并按照所述日志减少方式对所述日志数据进行处理得到减少后日志数据；
获取所述客户端上报的所述减少后日志数据。
可选地，获取与所述网元信息对应的日志采集配置文件，包括：
基于所述网元信息，获取所述网元的日志数据的格式类型；
获取与所述格式类型对应的目标日志减少方式；
基于所述目标日志减少方式生成所述日志采集配置文件。
可选地，获取与所述网元信息对应的日志采集配置文件，包括：
查询预先设置的网元信息与日志采集配置文件的映射关系，得到与所述网元信息对应的目标日志采集配置文件；
将所述目标日志采集配置文件，作为与所述网元信息对应的日志采集配置文件。
可选地，所述设备注册信息还包括：所述客户端所属的节点信息和/或所述客户端所处的地理位置信息；
获取所述客户端上报的所述减少后日志数据之后，还包括：
以所述节点信息和/或所述地理位置信息为聚合维度，对不同客户端上报的减少后日志数据进行汇总聚合。
第二方面，提供一种数据处理方法，应用于客户端，包括：
接收来自于服务端的日志采集配置文件和日志采集工具，所述日志采集配置文件包括日志减少方式，所述日志减少方式用于减少部署于所述客户端的网元的日志数据的数据量；所述日志采集工具用于采集所述日志数据并按照所述日志减少方式对所述日志数据进行处理；
通过所述日志采集工具采集所述日志数据，并按照所述日志减少方式对采集的所述日志数据进行处理，得到减少后日志数据；
向所述服务端传输所述减少后日志数据。
可选地，按照所述日志减少方式对所述网元的日志数据进行减少处理，得到减少后日志数据，包括：
将所述网元的日志数据转化为时序数据，并将所述时序数据作为所述减少后日志数据；所述时序数据中的同一指标为按时间顺序记录的数据列，所述数据列中存在至少两个时间对应的指标值不同；
和/或，
按照预设的时间窗对所述网元的日志数据进行聚合处理，得到聚合日志数据，并将所述聚合日志数据作为所述减少后日志数据；
和/或，
采用预设的关键字对所述网元的日志数据进行筛选处理，得到筛选日志数据，并将所述筛选日志数据作为所述减少后日志数据。
第三方面，提供一种数据处理装置，应用于服务端，包括：
第一获取模块，用于获取客户端的设备注册信息，所述设备注册信息包括部署于所述客户端的网元的网元信息；
第二获取模块，用于获取与所述网元信息对应的日志采集配置文件，所述日志采集配置文件包括日志减少方式，所述日志减少方式用于减少所述网元的日志数据的数据量；
推送模块，用于向所述客户端推送所日志采集配置文件和日志采集工具，所述日志采集工具用于采集所述网元的日志数据，并按照所述日志减少方式对所述日志数据进行处理得到减少后日志数据；
第三获取模块，用于获取所述客户端上报的所述减少后日志数据。
第四方面，提供一种数据处理装置，应用于客户端，包括：
接收模块，用于接收来自于服务端的日志采集配置文件和日志采集工具，所述日志采集配置文件包括日志减少方式，所述日志减少方式用于减少部署于所述客户端的网元的日志数据的数据量；所述日志采集工具用于采集所述日志数据并按照所述日志减少方式对所述日志数据进行处理；
采集处理模块，用于通过所述日志采集工具采集所述日志数据，并按照所述日志减少方式对采集的所述日志数据进行处理，得到减少后日志数据；
传输模块，用于向所述服务端传输所述减少后日志数据。
第五方面，提供一种电子设备，包括：处理器、存储器和通信总线，其中，处理器和存储器通过通信总线完成相互间的通信；
所述存储器，用于存储计算机程序；
所述处理器，用于执行所述存储器中所存储的程序，实现第一方面所述的数据处理方法或第二方面所述的数据处理方法。
第六方面，提供一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现第一方面所述的数据处理方法或第二方面所述的数据处理方法。
本申请实施例提供的上述技术方案与现有技术相比具有如下优点：本申请实施例提供的该方法，获取客户端的设备注册信息，设备注册信息包括部署于客户端的网元的网元信息；获取与网元信息对应的日志采集配置文件，日志采集配置文件包括日志减少方式，日志减少方式用于减少网元的日志数据的数据量；向客户端推送所日志采集配置文件和日志采集工具，日志采集工具用于采集网元的日志数据，并按照日志减少方式对日志数据进行处理得到减少后日志数据；获取客户端上报的减少后日志数据。由于向服务端推送的日志采集工具能够按照日志采集配置文件中配置的日志减少方式对日志进行处理，所以，可以使得客户端向服务端上报的减少后日志数据的数据量大大减少，提高服务端数据处理的效率。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例中数据处理方法的一种流程示意图；
图2本申请实施例中客户端资源注册及服务端配置下发的示意图；
图3为本申请实施例中数据处理方法的又一种流程示意图；
图4为本申请实施例中日志处理流程的示意图；
图5为本申请实施例中数据处理系统的结构示意图；
图6为本申请实施例中数据处理装置的一种结构示意图；
图7为本申请实施例中数据处理装置的又一种结构示意图；
图8为本申请实施例中电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
为了解决相关技术中存在的技术问题，本申请实施例提供一种数据处理方法，该方法可应用于服务端，如图1所示，该方法可以包括以下步骤：
步骤101、获取客户端的设备注册信息，设备注册信息包括部署于客户端的网元的网元信息。
应用中，将需要采集日志的所有设备在服务端的资源管理中心中进行注册，设备注册信息中包括客户端IP，网元信息等能帮助快速定位的辅助信息。
本实施例中，网元信息包括但不限于网元的标识。
步骤102、获取与网元信息对应的日志采集配置文件，日志采集配置文件包括日志减少方式，日志减少方式用于减少网元的日志数据的数据量。
应用中，根据客户端部署的网元的不同，客户端可以包括多种网元日志类型，比如操作系统message日志、网元A服务日志、网元B服务日志、网元C系统运行状态日志等。
本实施例中，可以实时生成与网元信息对应的日志采集配置文件；当然为了提高效率，也可以预先生成与不同网元信息对应的日志采集配置文件，然后通过sql语句查询的方式获取某一个网元信息对应的日志配置文件。
一个可选实施例中，获取与网元信息对应的日志配置文件可以包括以下步骤：
基于网元信息，获取网元的日志数据的格式类型；获取与格式类型对应的目标日志减少方式；基于目标日志减少方式生成日志采集配置文件。
本实施例中，日志数据的格式类型包括结构化日志和非结构化日志。其中，结构化日志是指日志由指定的分隔符分割字段或者key、value键值对的形式存储，每个字段代表的含义清晰固定的日志。
本实施例中，结构化日志中存在一类日志数据，这类日志数据的某些字段的字段值通常不会发生变化，只有一些字段的字段值会随着时间的改变而可能发生改变，对于这类日志数据，前者描述的字段的字段值只需记录一次，无需反复记录并上报，而后者描述的字段的字段值则需要正常向服务端上报，因此将这类日志数据转换为时序数据。时序数据是同一指标按时间顺序记录的数据列，且有瞬时值gague类型、累计counter类型等多种指标类型。
一个例子中，日志形式为“时间|IP|用户名|响应状态码(responsecode)|响应时长”或“time＝XXX，IP＝XXX，username＝XXX，responsecode＝XXX，responsetime＝XXX”，这类日志具有可提取性强，重复性高的特点，对于此类结构化日志中变化的字段较少的日志可以将有限的字段作为固定标签进行聚合，如IP，username这种标签一般数量是有限的，则可以将其生成{IP＝A，username＝A}、{IP＝B，username＝B}的时序数据A和数据B，即在时序数据A中，只记录一次IP＝A，username＝A，其它的字段(即time、responsecode和responsetime)是随着时间变化而变化的。时序数据B与此类似，不再展开描述。
本实施例中，结构化日志中还存在一类日志数据，这类日志数据中存在某些字段的字段值在一段时间内变化幅度不大，对于这种字段可以按照预设的时间窗，对其在时间窗内的字段值进行聚合处理，比如求均值、求和、求最大值等。
一个例子中，日志形式为“时间|IP|用户名|响应状态码|响应时长|下载速率|请求大小|服务流量|”，此时如果生成时序数据则需要最少4个不同指标来存储一条日志里的内容，不利于获取数据。由于IP、用户名、响应状态码数量是有限的，则可以将这三个标签作为最小维度进行聚合。若设定5min的时间窗，则从自然时间开始按5min规整，该5min的数据进行缓存，当该时间窗内出现唯一维度的日志时，记录该维度的信息，5min内所有相同维度的其他数据可以按照规则进行计算处理，如求和、求最大值、计数等，最终同一时间窗内只保留一条数据录入服务端，如：{IP:A，username:A，responsecode:200，avg_responsetime:20ms，max_downloadrate:3Mbps，avg_size:200KB，sum_volume:300MB}，若最小维度在时间窗内产生了50条日志记录，此方法则会聚合成一条记录。
本实施例中，对于无固定格式的日志称为非结构化日志，此类日志使用匹配提取关键字的方式采集，例如操作系统日志中的日志众多，需要提取内存溢出的日志，关键字为“oom(内存溢出)”仅需要关键信息的日志进行存储，则可以根据oom关键词模糊匹配，匹配到的日志行才进行提取。此类日志也可以采用聚合的方式降低数据量，使用5min的时间窗，统计同一类关键字的日志或打印的重复日志进行归并，生成聚合的记录，记录中包含日志信息和该信息在此5min内出现的次数。
应理解，服务端预先设置有不同网元的日志数据的格式类型以及不同的格式类型与日志减少方式的对应关系，因此服务端在获取来自客户端的网元信息后，可以通过查询的方式获取网元的日志数据的格式类型、以及与该格式类型匹配的目标日志减少方式。
本实施例中也可以预先为不同的网元生成不同的日志配置文件，并建立网元信息与日志配置文件之间的映射关系，因此在获取与网元信息对应的日志配置文件时，可以采用该网元信息直接查询映射关系得到匹配的日志配置文件。
本实施例中，为了提高数据处理效率，日志配置文件中除了包括日志减少方式，还包括日志路径，该日志路径表征日志数据的存储路径。
为了方便理解，给出了图2的客户端资源注册及服务端配置下发的示意图。
步骤103、向客户端推送所日志采集配置文件和日志采集工具，日志采集工具用于采集网元的日志数据，并按照日志减少方式对日志数据进行处理得到减少后日志数据。
步骤104、获取客户端上报的减少后日志数据。
应用中，为了方便服务端管理大规模设备，客户端上报的设备注册信息还可以包括客户端所归属的节点信息和/或客户端所处的地理位置信息。
相应地，服务端在获取客户端上报的减少后日志数据后，可以以节点信息和/或地理位置信息为聚合维度，对不同客户端上报的减少后日志数据进行汇总聚合。
具体说来，服务端使用日志处理工具对存储在卡夫卡队列(kafka)中的文本数据进行再次处理，日志处理工具具有客户端日志采集工具类似的功能，可以对数据进行二次聚合，将从大规模设备上采集上来的日志以更高的维度，例如节点、地市的维度将数据进行汇总聚合，并将数据根据所属网元生成不同的索引录入elasticsearch中(分布式搜索引擎)。
Prometheus(时序数据库)中的时序数据也能在原数据基础上进行降维处理，生成新的降维指标，例如在单位时间内由1000台设备采集上来的日志信息某个指标中有1000条时序，1000台设备归属在3个地市下，则在服务端根据地市维度进行聚合后形成新的地市级监控指标，新指标仅包含3条新时序，在运维排查定位问题时，会有更高的检索效率。
为了支持多种数据源接入，支持曲线图、表格、柱状图、饼图等多种数据可视化方式展示，本实施例还采用开源的可视化数据展示组件grafana展示减少后日志数据。
通过在grafana配置好对应的elasticsearch和prometheus数据源地址，在同一个监控页面中可以同时添加基于prometheus的时序数据信息或绘图，elasticsearch的数据绘图，以及原始的日志详细信息查询。对于长周期的日志监控查询可以使用聚合后的数据或指标进行展示，由于聚合数据的数据量比原始数据小得多，查询性能会大幅提高，并且可以多维度，多网元监控，从最高层级地市监控下钻到节点监控最终下钻到设备和网元级别，帮助运维人员快速定位故障。
本申请实施例提供的技术方案中，获取客户端的设备注册信息，设备注册信息包括部署于客户端的网元的网元信息；获取与网元信息对应的日志采集配置文件，日志采集配置文件包括日志减少方式，日志减少方式用于减少网元的日志数据的数据量；向客户端推送所日志采集配置文件和日志采集工具，日志采集工具用于采集网元的日志数据，并按照日志减少方式对日志数据进行处理得到减少后日志数据；获取客户端上报的减少后日志数据。由于向服务端推送的日志采集工具能够按照日志采集配置文件中配置的日志减少方式对日志进行处理，所以，可以使得客户端向服务端上报的减少后日志数据的数据量大大减少，提高服务端数据处理的效率。
基于同一构思，本申请实施例提供一种数据处理方法，该方法可应用于客户端，如图3所示，该方法可以包括以下步骤：
步骤301、接收来自于服务端的日志采集配置文件和日志采集工具，日志采集配置文件包括日志减少方式，日志减少方式用于减少部署于客户端的网元的日志数据的数据量；日志采集工具用于采集日志数据并按照日志减少方式对日志数据进行处理；
步骤302、通过日志采集工具采集日志数据，并按照日志减少方式对采集的日志数据进行处理，得到减少后日志数据；
步骤303、向服务端传输减少后日志数据。
可选地，按照日志减少方式对网元的日志数据进行减少处理，得到减少后日志数据，包括：
将网元的日志数据转化为时序数据，并将时序数据作为减少后日志数据；时序数据中的同一指标为按时间顺序记录的数据列，数据列中存在至少两个时间对应的指标值不同；
和/或，
按照预设的时间窗对网元的日志数据进行聚合处理，得到聚合日志数据，并将聚合日志数据作为减少后日志数据；
和/或，
采用预设的关键字对网元的日志数据进行筛选处理，得到筛选日志数据，并将筛选日志数据作为减少后日志数据。
可选地，将网元的日志数据转化为时序数据，包括：
获取日志数据中指标值不随时间发生变化的第一指标和指标值随时间发生变化的第二指标；
采集获得第一指标的第一指标值，以及不同时刻下第二指标的第二指标值；
基于第一指标、第一指标值、第二指标和第二指标值，生成时序数据。
可选地，按照预设的时间窗对网元的日志数据进行聚合处理，得到聚合日志数据，包括：
获取与网元对应的维度聚合指标；以及，从网元的日志数据中，获取与预设的时间窗对应的目标日志数据；
对于目标日志数据中属于维度聚合指标的指标值进行聚合处理，得到聚合处理指标值；
基于维度聚合指标、聚合处理指标值、非维度聚合指标以及非维度聚合指标值，生成聚合日志数据；维度聚合指标与聚合处理指标值对应非维度聚合指标与非维度聚合指标值对应，非维度聚合指标为日志数据中除维度聚合指标之外的指标。
可选地，向服务端传输减少后日志数据，包括：
若减少后日志数据为属于文本日志，向服务端的卡夫卡队列发送减少后日志数据；
若减少后日志数据属于时序数据，响应于客户端的时序数据库的获取请求，向时序数据库发送减少后日志数据。
本实施例中，客户端的文本日志则发送至服务端的卡夫卡队列(kafka)，如果是产生时序数据客户端暴露接口，由服务端prometheus(时序数据库)定时请求获取。
为了方便理解，给出了图4的日志处理流程的示意图。
基于同一构思，本申请实施例中提供了一种数据处理系统，该系统的具体实施可参见方法实施例部分的描述，重复之处不再赘述，如图5所示，该系统主要包括：
服务端501和客户端502；
服务端501用于获取客户端502的设备注册信息，设备注册信息包括部署于客户端502的网元的网元信息；获取与网元信息对应的日志采集配置文件，日志采集配置文件包括日志减少方式，日志减少方式用于减少网元的日志数据的数据量；向客户端502推送所日志采集配置文件和日志采集工具，日志采集工具用于采集网元的日志数据，并按照日志减少方式对日志数据进行处理得到减少后日志数据；获取客户端502上报的减少后日志数据；
客户端502用于接收来自于服务端501的日志采集配置文件和日志采集工具，日志采集配置文件包括日志减少方式，日志减少方式用于减少部署于客户端的网元的日志数据的数据量；日志采集工具用于采集日志数据并按照日志减少方式对日志数据进行处理；通过日志采集工具采集日志数据，并按照日志减少方式对采集的日志数据进行处理，得到减少后日志数据；向服务端501传输减少后日志数据。
基于同一构思，本申请实施例中提供了一种数据处理装置，该装置的具体实施可参见方法实施例部分的描述，重复之处不再赘述，如图6所示，该装置主要包括：
第一获取模块601，用于获取客户端的设备注册信息，设备注册信息包括部署于客户端的网元的网元信息；
第二获取模块602，用于获取与网元信息对应的日志采集配置文件，日志采集配置文件包括日志减少方式，日志减少方式用于减少网元的日志数据的数据量；
推送模块603，用于向客户端推送所日志采集配置文件和日志采集工具，日志采集工具用于采集网元的日志数据，并按照日志减少方式对日志数据进行处理得到减少后日志数据；
第三获取模块604，用于获取客户端上报的减少后日志数据。
第二获取模块602用于：
基于网元信息，获取网元的日志数据的格式类型；
获取与格式类型对应的目标日志减少方式；
基于目标日志减少方式生成日志采集配置文件。
第二获取模块602用于：
查询预先设置的网元信息与日志采集配置文件的映射关系，得到与网元信息对应的目标日志采集配置文件；
将目标日志采集配置文件，作为与网元信息对应的日志采集配置文件。
设备注册信息还包括：客户端所属的节点信息和/或客户端所处的地理位置信息；
该装置还用于：
获取客户端上报的减少后日志数据之后，以节点信息和/或地理位置信息为聚合维度，对不同客户端上报的减少后日志数据进行汇总聚合。
基于同一构思，本申请实施例中提供了一种数据处理装置，该装置的具体实施可参见方法实施例部分的描述，重复之处不再赘述，如图7所示，该装置主要包括：
接收模块701，用于接收来自于服务端的日志采集配置文件和日志采集工具，日志采集配置文件包括日志减少方式，日志减少方式用于减少部署于客户端的网元的日志数据的数据量；日志采集工具用于采集日志数据并按照日志减少方式对日志数据进行处理；
采集处理模块702，用于通过日志采集工具采集日志数据，并按照日志减少方式对采集的日志数据进行处理，得到减少后日志数据；
传输模块703，用于向服务端传输减少后日志数据。
采集处理模块702用于：
将网元的日志数据转化为时序数据，并将时序数据作为减少后日志数据；时序数据中的同一指标为按时间顺序记录的数据列，数据列中存在至少两个时间对应的指标值不同；
和/或，
按照预设的时间窗对网元的日志数据进行聚合处理，得到聚合日志数据，并将聚合日志数据作为减少后日志数据；
和/或，
采用预设的关键字对网元的日志数据进行筛选处理，得到筛选日志数据，并将筛选日志数据作为减少后日志数据。
基于同一构思，本申请实施例中还提供了一种电子设备，如图8所示，该电子设备主要包括：处理器801、存储器802和通信总线808，其中，处理器801和存储器802通过通信总线808完成相互间的通信。其中，存储器802中存储有可被处理器801执行的程序，处理器801执行存储器802中存储的程序，实现如下步骤：
获取客户端的设备注册信息，设备注册信息包括部署于客户端的网元的网元信息；获取与网元信息对应的日志采集配置文件，日志采集配置文件包括日志减少方式，日志减少方式用于减少网元的日志数据的数据量；向客户端推送所日志采集配置文件和日志采集工具，日志采集工具用于采集网元的日志数据，并按照日志减少方式对日志数据进行处理得到减少后日志数据；获取客户端上报的减少后日志数据；
或，
接收来自于服务端的日志采集配置文件和日志采集工具，日志采集配置文件包括日志减少方式，日志减少方式用于减少部署于客户端的网元的日志数据的数据量；日志采集工具用于采集日志数据并按照日志减少方式对日志数据进行处理；通过日志采集工具采集日志数据，并按照日志减少方式对采集的日志数据进行处理，得到减少后日志数据；向服务端传输减少后日志数据。
上述电子设备中提到的通信总线808可以是外设部件互连标准(PeripheralComponent Interconnect，简称PCI)总线或扩展工业标准结构(Extended IndustryStandard Architecture，简称EISA)总线等。该通信总线808可以分为地址总线、数据总线、控制总线等。为便于表示，图8中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
存储器802可以包括随机存取存储器(Random Access Memory，简称RAM)，也可以包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。可选地，存储器还可以是至少一个位于远离前述处理器801的存储装置。
上述的处理器801可以是通用处理器，包括中央处理器(Central ProcessingUnit，简称CPU)、网络处理器(Network Processor，简称NP)等，还可以是数字信号处理器(Digital Signal Processing，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field-Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本申请的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，当该计算机程序在计算机上运行时，使得计算机执行上述实施例中所描述的数据处理方法。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。该计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行该计算机指令时，全部或部分地产生按照本申请实施例所述的流程或功能。该计算机可以时通用计算机、专用计算机、计算机网络或者其他可编程装置。该计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，计算机指令从一个网站站点、计算机、服务器或者数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、微波等)方式向另外一个网站站点、计算机、服务器或数据中心进行传输。该计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。该可用介质可以是磁性介质(例如软盘、硬盘、磁带等)、光介质(例如DVD)或者半导体介质(例如固态硬盘)等。
需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅是本发明的具体实施方式，使本领域技术人员能够理解或实现本发明。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种数据处理方法，其特征在于，应用于服务端，包括：
获取客户端的设备注册信息，所述设备注册信息包括部署于所述客户端的网元的网元信息；
获取与所述网元信息对应的日志采集配置文件，所述日志采集配置文件包括日志减少方式，所述日志减少方式用于减少所述网元的日志数据的数据量；
向所述客户端推送所日志采集配置文件和日志采集工具，所述日志采集工具用于采集所述网元的日志数据，并按照所述日志减少方式对所述日志数据进行处理得到减少后日志数据；
获取所述客户端上报的所述减少后日志数据。
2.根据权利要求1所述的方法，其特征在于，获取与所述网元信息对应的日志采集配置文件，包括：
基于所述网元信息，获取所述网元的日志数据的格式类型；
获取与所述格式类型对应的目标日志减少方式；
基于所述目标日志减少方式生成所述日志采集配置文件。
3.根据权利要求1所述的方法，其特征在于，获取与所述网元信息对应的日志采集配置文件，包括：
查询预先设置的网元信息与日志采集配置文件的映射关系，得到与所述网元信息对应的目标日志采集配置文件；
将所述目标日志采集配置文件，作为与所述网元信息对应的日志采集配置文件。
4.根据权利要求1所述的方法，其特征在于，所述设备注册信息还包括：所述客户端所属的节点信息和/或所述客户端所处的地理位置信息；
获取所述客户端上报的所述减少后日志数据之后，还包括：
以所述节点信息和/或所述地理位置信息为聚合维度，对不同客户端上报的减少后日志数据进行汇总聚合。
5.一种数据处理方法，其特征在于，应用于客户端，包括：
接收来自于服务端的日志采集配置文件和日志采集工具，所述日志采集配置文件包括日志减少方式，所述日志减少方式用于减少部署于所述客户端的网元的日志数据的数据量；所述日志采集工具用于采集所述日志数据并按照所述日志减少方式对所述日志数据进行处理；
通过所述日志采集工具采集所述日志数据，并按照所述日志减少方式对采集的所述日志数据进行处理，得到减少后日志数据；
向所述服务端传输所述减少后日志数据。
6.根据权利要求5所述的方法，其特征在于，按照所述日志减少方式对所述网元的日志数据进行减少处理，得到减少后日志数据，包括：
将所述网元的日志数据转化为时序数据，并将所述时序数据作为所述减少后日志数据；所述时序数据中的同一指标为按时间顺序记录的数据列，所述数据列中存在至少两个时间对应的指标值不同；
和/或，
按照预设的时间窗对所述网元的日志数据进行聚合处理，得到聚合日志数据，并将所述聚合日志数据作为所述减少后日志数据；
和/或，
采用预设的关键字对所述网元的日志数据进行筛选处理，得到筛选日志数据，并将所述筛选日志数据作为所述减少后日志数据。
7.一种数据处理装置，其特征在于，应用于服务端，包括：
第一获取模块，用于获取客户端的设备注册信息，所述设备注册信息包括部署于所述客户端的网元的网元信息；
第二获取模块，用于获取与所述网元信息对应的日志采集配置文件，所述日志采集配置文件包括日志减少方式，所述日志减少方式用于减少所述网元的日志数据的数据量；
推送模块，用于向所述客户端推送所日志采集配置文件和日志采集工具，所述日志采集工具用于采集所述网元的日志数据，并按照所述日志减少方式对所述日志数据进行处理得到减少后日志数据；
第三获取模块，用于获取所述客户端上报的所述减少后日志数据。
8.一种数据处理装置，其特征在于，应用于客户端，包括：
接收模块，用于接收来自于服务端的日志采集配置文件和日志采集工具，所述日志采集配置文件包括日志减少方式，所述日志减少方式用于减少部署于所述客户端的网元的日志数据的数据量；所述日志采集工具用于采集所述日志数据并按照所述日志减少方式对所述日志数据进行处理；
采集处理模块，用于通过所述日志采集工具采集所述日志数据，并按照所述日志减少方式对采集的所述日志数据进行处理，得到减少后日志数据；
传输模块，用于向所述服务端传输所述减少后日志数据。
9.一种电子设备，其特征在于，包括：处理器、存储器和通信总线，其中，处理器和存储器通过通信总线完成相互间的通信；
所述存储器，用于存储计算机程序；
所述处理器，用于执行所述存储器中所存储的程序，实现权利要求1-4任一项所述的数据处理方法或权利要求5-6任一项所述的数据处理方法。
10.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-4任一项所述的数据处理方法或权利要求5-6任一项所述的数据处理方法。
CN202211457759.3A 2022-11-21 2022-11-21 数据处理方法、装置、设备及存储介质 Pending CN118101450A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202211457759.3A CN118101450A (zh) 2022-11-21 2022-11-21 数据处理方法、装置、设备及存储介质
PCT/CN2023/131164 WO2024109569A1 (zh) 2022-11-21 2023-11-13 数据处理方法及装置、电子设备及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211457759.3A CN118101450A (zh) 2022-11-21 2022-11-21 数据处理方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN118101450A true CN118101450A (zh) 2024-05-28

Family

ID=91160377

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211457759.3A Pending CN118101450A (zh) 2022-11-21 2022-11-21 数据处理方法、装置、设备及存储介质

Country Status (2)

Country Link
CN (1) CN118101450A (zh)
WO (1) WO2024109569A1 (zh)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106250406A (zh) * 2016-07-21 2016-12-21 柳州龙辉科技有限公司 一种日志处理方法
CN111740884B (zh) * 2020-08-25 2021-06-25 云盾智慧安全科技有限公司 一种日志处理方法及电子设备、服务器、存储介质
CN112148700A (zh) * 2020-10-12 2020-12-29 平安科技（深圳）有限公司 日志数据处理方法、装置、计算机设备和存储介质
CN114237927A (zh) * 2021-11-10 2022-03-25 浪潮通用软件有限公司 运行日志管理方法和系统

Also Published As

Publication number Publication date
WO2024109569A1 (zh) 2024-05-30

Similar Documents

Publication Publication Date Title
US11799728B2 (en) Multistage device clustering
US11120344B2 (en) Suggesting follow-up queries based on a follow-up recommendation machine learning model
US11775501B2 (en) Trace and span sampling and analysis for instrumented software
US11461320B2 (en) Determining a user-specific approach for disambiguation based on an interaction recommendation machine learning model
US20190034429A1 (en) Translating a natural language request to a domain-specific language request using templates
US20170206205A1 (en) Query Conversion for Converting Structured Queries into Unstructured Queries for Searching Unstructured Data
CN108509326B (zh) 一种基于nginx日志的服务状态统计方法及系统
US20190034498A1 (en) Determining a presentation format for search results based on a presentation recommendation machine learning model
US20030097359A1 (en) Deduplicaiton system
US8504673B2 (en) Traffic like NXDomains
US11170016B2 (en) Navigating hierarchical components based on an expansion recommendation machine learning model
US11755531B1 (en) System and method for storage of data utilizing a persistent queue
US11188443B2 (en) Method, apparatus and system for processing log data
CN112632129B (zh) 一种码流数据管理方法、装置及存储介质
US20190034500A1 (en) Creating dashboards for viewing data in a data storage system based on natural language requests
CN108920607B (zh) 字段发现方法、装置及电子设备
CN112559567A (zh) 适用于olap查询引擎的查询方法及装置
CN111338888B (zh) 一种数据统计方法、装置、电子设备及存储介质
US10901811B2 (en) Creating alerts associated with a data storage system based on natural language requests
CN111177094A (zh) 日志数据处理方法、装置、电子设备及存储介质
CN114979186B (zh) 基于Flink组件的流量链接分析方法及系统
CN110995466B (zh) 安全态势感知系统下的多格式日志统一处理方法及系统
WO2017000592A1 (zh) 数据处理方法、装置及系统
CN111949705A (zh) 慢查询统计分析方法、装置和系统
CN107545039B (zh) 关键词的指数获取方法和装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication