CN112181961A - 一种网络数据的清洗方法、系统及相关装置 - Google Patents

一种网络数据的清洗方法、系统及相关装置 Download PDF

Info

Publication number
CN112181961A
CN112181961A CN202011023278.2A CN202011023278A CN112181961A CN 112181961 A CN112181961 A CN 112181961A CN 202011023278 A CN202011023278 A CN 202011023278A CN 112181961 A CN112181961 A CN 112181961A
Authority
CN
China
Prior art keywords
data
cleaning
network data
standardized
configuration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202011023278.2A
Other languages
English (en)
Inventor
范颜婷
范渊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Dbappsecurity Technology Co Ltd
Original Assignee
Hangzhou Dbappsecurity Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Dbappsecurity Technology Co Ltd filed Critical Hangzhou Dbappsecurity Technology Co Ltd
Priority to CN202011023278.2A priority Critical patent/CN112181961A/zh
Publication of CN112181961A publication Critical patent/CN112181961A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/258—Data format conversion from or to a database
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/445—Program loading or initiating
    • G06F9/44505—Configuring for program initiating, e.g. using registry, configuration files
    • G06F9/4451—User profiles; Roaming
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/54—Interprogram communication
    • G06F9/546—Message passing systems or structures, e.g. queues
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/54—Indexing scheme relating to G06F9/54
    • G06F2209/548—Queue

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Quality & Reliability (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本申请提供一种网络数据的清洗方法，包括：利用消息队列接收所述网络数据；对所述网络数据进行标准化清洗配置；基于所述标准化清洗配置对所述网络数据进行数据清洗。本申请通过配置网络数据的标准化清洗配置，先利用消息队列接收不限数据类型的网络数据，并统一采用标准化的数据清洗规则对消息队列中的网络数据逐一清洗，由于采用标准化的清洗规则，无需针对每个网络数据配置相应的清洗规则，还可以对不同结构的网络安全数据进行标准化输出，不仅提高了数据清洗效率，还实现了清洗后数据的标准化，有利于实现清洗后的数据的直接利用。本申请还提供一种网络数据的清洗系统、计算机可读存储介质和电子设备，具有上述有益效果。

Description

一种网络数据的清洗方法、系统及相关装置
技术领域
本申请涉及数据处理领域，特别涉及一种网络数据的清洗方法、系统及相关装置。
背景技术
相关技术中，针对数据清洗过程，都需要获取数据，并针对数据进行清洗前的数据分析，以确定所采用的清洗规则。由于不同的数据所对应的清洗规则存在差异，若同时对海量数据进行数据清洗，则在清洗过程中需逐一判断对应的清洗规则，以适应海量数据清洗要求，但这明显降低了数据清洗效率，不利于数据清洗的高效进行。
发明内容
本申请的目的是提供一种网络数据的清洗方法、系统、计算机可读存储介质和电子设备，能够有效提高数据清洗效率。
为解决上述技术问题，本申请提供一种网络数据的清洗方法，具体技术方案如下：
利用消息队列接收所述网络数据；
对所述网络数据进行标准化清洗配置；
基于所述标准化清洗配置对所述网络数据进行数据清洗。
可选的，利用消息队列接收所述网络数据包括：
接收对端设备发送的第一清洗指令，并利用消息队列接收所述第一清洗指令对应的网络数据；
或，
利用cron表达式向所述对端设备发送第二清洗指令，并利用消息队列接收所述对端设备对所述第二清洗指令的响应数据，所述响应数据包含所述网络数据。
可选的，对所述网络数据进行标准化清洗配置包括：
确定所述网络数据的数据类型；
根据所述数据类型确定对应清洗标准；
根据所述清洗标准确定对应的标准化清洗配置参数，并将所述标准化清洗配置参数添加至所述网络数据。
可选的，基于所述标准化清洗配置对所述网络数据进行数据清洗包括：
调用所述标准化清洗配置参数的配置文件；
执行所述配置文件对所述网络数据进行数据清洗。
可选的，还包括：
周期性判断是否存在所述配置文件的更新信息；
若是，更新所述配置文件，并利用更新后的配置文件对所述网络数据进行数据清洗。
可选的，若所述标准化清洗配置包括标准数据格式和标准数据样式，基于所述标准化清洗配置对所述网络数据进行数据清洗包括：
判断所述网络数据是否符合所述标准数据格式；
若否，将所述网络数据标记丢弃原因并存储至问题数据库；
若是，判断所述网络数据是否为所述标准数据样式；
若所述网络数据不为标准数据，对所述网络数据进行字段扩容，得到标准数据，并输出至结果库；
若所述网络数据为标准数据，则直接输出至所述结果库。
可选的，基于所述标准化清洗配置对所述网络数据进行数据清洗后，还包括：
获取所述标准化清洗配置下所述网络数据的数据转化率；
根据所述数据转化率调整所述标准化清洗配置。
本申请还提供一种网络数据的清洗系统，包括：
接收模块，用于利用消息队列接收所述网络数据；
标准化配置模块，用于对所述网络数据进行标准化清洗配置；
清洗模块，用于基于所述标准化清洗配置对所述网络数据进行数据清洗。
本申请还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的方法的步骤。
本申请还提供一种电子设备，包括存储器和处理器，所述存储器中存有计算机程序，所述处理器调用所述存储器中的计算机程序时实现如上所述的方法的步骤。
本申请提供一种网络数据的清洗方法，包括：利用消息队列接收所述网络数据；对所述网络数据进行标准化清洗配置；基于所述标准化清洗配置对所述网络数据进行数据清洗。
本申请通过配置网络数据的标准化清洗配置，先利用消息队列接收不限数据类型的网络数据，并统一采用标准化的数据清洗规则对消息队列中的网络数据逐一清洗，由于采用标准化的清洗规则，无需针对每个网络数据配置相应的清洗规则，还可以对不同结构的网络安全数据进行标准化输出，不仅提高了数据清洗效率，还实现了清洗后数据的标准化，有利于实现清洗后的数据的直接利用。
本申请还提供一种网络数据的清洗系统、计算机可读存储介质和电子设备，具有上述有益效果，此处不再赘述。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本申请实施例所提供的一种网络数据的清洗方法的流程图；
图2为本申请实施例所提供的一种网络数据的清洗系统结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
请参考图1，图1为本申请实施例所提供的一种网络数据的清洗方法的流程图，该方法包括：
S101：利用消息队列接收所述网络数据；
本步骤旨在利用消息队列接收网络数据，本步骤中的网络数据可以包含不同类别、不同数据格式的数据。在此对于如何接收网络数据不作具体限定，可以采用主动接收方式，也可以为被动接收。
所谓被动接收，即可接收对端设备发送的第一清洗指令，并利用消息队列接收第一清洗指令对应的网络数据。
也可以采用主动接收，即利用cron表达式向所述对端设备发送第二清洗指令，并利用消息队列接收所述对端设备对所述第二清洗指令的响应数据，所述响应数据包含所述网络数据。
S102：对所述网络数据进行标准化清洗配置；
本步骤旨在实现网络数据的标准化清洗配置，容易理解的是，本实施例默认在执行本步骤前，针对标准化清洗配置已经完成了相应设定。而对于如何配置标准化清洗配置不作具体限定，作为本步骤的一种优选执行方式，可以采用如下过程：
S1021：确定所述网络数据的数据类型；
S1022：根据所述数据类型确定对应清洗标准；
S1023：根据所述清洗标准确定对应的标准化清洗配置参数，并将所述标准化清洗配置参数添加至所述网络数据。
首先确定网络数据的数据类型，在数据类型的基础上确定不同的清洗标准，并进一步确定标准化清洗配置参数，此时即可将标准化清洗配置参数作为该网络数据的清洗规则。
而不管对于何种数据类型的网络数据，其数据清洗过程主要涉及两个方面，分别为标准数据格式和标准数据样式。即判断网络数据是否符合对应的标准格式，数据的内容是否存在缺损、格式是否标准等，而标准数据样式主要指内容的形式是否标准。
S103：基于所述标准化清洗配置对所述网络数据进行数据清洗。
本步骤旨在对网络数据进行数据清洗，此时可以调用上述过程中所描述的标准化清洗配置参数的配置文件，执行所述配置文件对所述网络数据进行数据清洗。
作为本步骤的一种优选执行方式，若所述标准化清洗配置包括标准数据格式和标准数据样式，基于所述标准化清洗配置对所述网络数据进行数据清洗包括：
S1031：判断所述网络数据是否符合所述标准数据格式；若否，进入S1032；若是，进入S1033；
S1032：将所述网络数据标记丢弃原因并存储至问题数据库；
S1033：判断所述网络数据是否为所述标准数据样式；若否，进入S1034；若是，进入S1035；
S1034：对所述网络数据进行字段扩容，得到标准数据，并输出至结果库；
S1035：则直接输出至所述结果库。
所谓标准数据格式，即检查数据是否符合要求，比如说关键属性是否缺失，如果关键字段缺少，这条数据便没有了分析价值。该数据会被标记上丢弃原因，暂时被存储到问题数据中。
所谓标准数据样式，即针对有一些属性，虽然外部系统没有提供，但是通过一些字段的推理可以获得，在数据清洗时对这些字段进行扩展补充。比如说，输入的数据提供了一个ip，却未提供ip的归属地。此时可以自带的ip地址库，以及输入的ip地址，确定此ip的归属地，即ip归属的国家、城市。
本申请实施例通过配置网络数据的标准化清洗配置，先利用消息队列接收不限数据类型的网络数据，并统一采用标准化的数据清洗规则对消息队列中的网络数据逐一清洗，由于采用标准化的清洗规则，无需针对每个网络数据配置相应的清洗规则，还可以对不同结构的网络安全数据进行标准化输出，不仅提高了数据清洗效率，还实现了清洗后数据的标准化，有利于实现清洗后的数据的直接利用。
基于上述实施例，作为优选的实施例，若采用标准化清洗配置参数的配置文件进行数据清洗，还可以包括如下过程：
S201：周期性判断是否存在所述配置文件的更新信息；若是，进入S202；
S202：更新所述配置文件，并利用更新后的配置文件对所述网络数据进行数据清洗。
为了进一步提高数据清洗效率，针对更多复杂类型数据的数据清洗，或者针对已有数据类型的数据提高清洗效率，均可以对标准化清洗配置进行优化，具体的，可以通过更新标准化清洗配置对应的配置文件，以实现标准化清洗配置的更新，实现数据清洗的效率进一步提升。
基于上述实施例，作为优选的实施例，基于所述标准化清洗配置对所述网络数据进行数据清洗后，还可以获取所述标准化清洗配置下所述网络数据的数据转化率，并根据所述数据转化率调整标准化清洗配置。
本步骤旨在将用户的关心配置效果急性输出，将该标准化清洗配置下数据清洗转化了多少数据，转化的效率怎么样，数据清洗的效果均以数据转化率的形式体现，从而可以直接看出各个厂商提供的数据质量，还可以基于数据转化率对标准化清洗配置的配置参数加以优化，以满足数据清洗要求。
进一步的，在本实施例的基础上，在本实施例的实际应用中，可以针对标准化清洗配置建立对应独立的配置控制模块，用于实现对标准化清洗配置的配置，包含配置参数的增删改等操作。独立出配置控制模块，可以当配置有变更时，无需打断数据标准化和清洗流程就能够完成对数据的加载，使信的标准化清洗配置生效。
下文以告警类数据作为一种网络数据为例，对本申请提供的一种网络数据的清洗方法进行说明，这些告警类数据种类多样，来自各个产品(apt，edr，蜜罐，waf等)的流量，虽然它们原始数据格式都大不相同，但是通过ETL(Extract-Transform-Load，抽取(extract)、转换(transform)、加载(load)三个过程的缩写)流程，以及告警类数据的配置标准，则接收到的告警类数据，格式可以均为标准化的结构。
在系统配置中增加数据源NTP，接入方式(例如采用kafka消息队列接入等)，原始数据格式等描述信息，以及配置更新策略。
在标准化清洗配置中，增加标准化配置，即：将原始数据格式配置到标准的告警数据格式中。
在清洗配置中，增加清洗配置，即：确定哪些数据暂时是没有分析价值的，先清洗掉。无价值的数据标准：可以是缺少某个字段，或者某一类不具备分析价值的数据(例如：srcIp＝10.20.1.5，表示过滤掉源ip等与10.20.1.5这台机器过来的所有告警。而过滤依据可能是由于这台机器在模拟攻击，给攻防人员测试使用，没有进一步的分析价值)。
在数据质量分析配置中，开启监控指标，例如：清洗前后的数据量；被过滤掉的数据原因；针对各个过滤原因对应的数据量；关键类数据产出比例等。
设置加载配置的策略后，可以按照设置好的策略进行配置的加载。比如：设置了消息机制。那么配置控制模块就会监听对应的消息队列，当监听到任何变更后，将在标准化和清洗流程的处理间隙，替换掉相关的配置。以使程序在不需要重启的情况下，完成配置的无感知加载。
经过上述配置后，若数据源源不断的进来，经过标准化和清洗流程处理后，产出到对应的数据仓库中，供数据分析使用。同时还能确认该数据源的数据质量，各个时间段的数据量分布等信息。
在配置好所有配置之后，通过监听消息队列，确定要新增的数据源(比如：kafka推送)，数据源的接入方式等，于是直接根据已知配置创建一个新的入口，采集相应的kafka中的数据；同时将数据链路配置到告警类的输出出口中。同时把相应的标准化和清洗模块的配置推送至redis队列中，当数据到来的时候，会从redis中获取配置，进行转化和清洗。
上述过程执行完毕后，按照加载配置的策略对消息队列中的告警类数据执行数据清洗。同时可以实时监控各个环节输入输出的数据，以及数据指标的分析。或者产生报告，供用户查看。
下面对本申请实施例提供的一种网络数据的清洗系统进行介绍，下文描述的清洗系统与上文描述的一种网络数据的清洗方法可相互对应参照。
参见图2，图2为本申请实施例所提供的一种网络数据的清洗系统结构示意图，本申请还提供一种网络数据的清洗系统，包括：
接收模块100，用于利用消息队列接收所述网络数据；
标准化配置模块200，用于对所述网络数据进行标准化清洗配置；
清洗模块300，用于基于所述标准化清洗配置对所述网络数据进行数据清洗。
基于上述实施例，作为优选的实施例，接收模块100具体为用于接收对端设备发送的第一清洗指令，并利用消息队列接收所述第一清洗指令对应的网络数据，或，用于利用cron表达式向所述对端设备发送第二清洗指令，并利用消息队列接收所述对端设备对所述第二清洗指令的响应数据，所述响应数据包含所述网络数据的模块。
基于上述实施例，作为优选的实施例，标准化配置模块200包括：
类型确定单元，用于确定所述网络数据的数据类型；
标准确定单元，用于根据所述数据类型确定对应清洗标准；
参数确定单元，用于根据所述清洗标准确定对应的标准化清洗配置参数，并将所述标准化清洗配置参数添加至所述网络数据。
基于上述实施例，作为优选的实施例，清洗模块300包括：
文件调用单元，用于调用所述标准化清洗配置参数的配置文件；
清洗单元，用于执行所述配置文件对所述网络数据进行数据清洗。
基于上述实施例，作为优选的实施例，还可以包括：
更新模块，用于周期性判断是否存在所述配置文件的更新信息；若是，更新所述配置文件，并利用更新后的配置文件对所述网络数据进行数据清洗。
本申请还提供了一种计算机可读存储介质，其上存有计算机程序，该计算机程序被执行时可以实现上述实施例所提供的一种网络数据的清洗方法的步骤。该存储介质可以包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(RandomAccess Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
本申请还提供了一种电子设备，可以包括存储器和处理器，所述存储器中存有计算机程序，所述处理器调用所述存储器中的计算机程序时，可以实现上述实施例所提供的一种网络数据的清洗方法的步骤。当然所述电子设备还可以包括各种网络接口，电源等组件。
说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例提供的系统而言，由于其与实施例提供的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围内。
还需要说明的是，在本说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims (10)

1.一种网络数据的清洗方法，其特征在于，包括：
利用消息队列接收所述网络数据；
对所述网络数据进行标准化清洗配置；
基于所述标准化清洗配置对所述网络数据进行数据清洗。
2.根据权利要求1所述的清洗方法，其特征在于，利用消息队列接收所述网络数据包括：
接收对端设备发送的第一清洗指令，并利用消息队列接收所述第一清洗指令对应的网络数据；
或，
利用cron表达式向所述对端设备发送第二清洗指令，并利用消息队列接收所述对端设备对所述第二清洗指令的响应数据，所述响应数据包含所述网络数据。
3.根据权利要求1所述的清洗方法，其特征在于，对所述网络数据进行标准化清洗配置包括：
确定所述网络数据的数据类型；
根据所述数据类型确定对应清洗标准；
根据所述清洗标准确定对应的标准化清洗配置参数，并将所述标准化清洗配置参数添加至所述网络数据。
4.根据权利要求3所述的清洗方法，其特征在于，基于所述标准化清洗配置对所述网络数据进行数据清洗包括：
调用所述标准化清洗配置参数的配置文件；
执行所述配置文件对所述网络数据进行数据清洗。
5.根据权利要求4所述的清洗方法，其特征在于，还包括：
周期性判断是否存在所述配置文件的更新信息；
若是，更新所述配置文件，并利用更新后的配置文件对所述网络数据进行数据清洗。
6.根据权利要求1所述的清洗方法，其特征在于，若所述标准化清洗配置包括标准数据格式和标准数据样式，基于所述标准化清洗配置对所述网络数据进行数据清洗包括：
判断所述网络数据是否符合所述标准数据格式；
若否，将所述网络数据标记丢弃原因并存储至问题数据库；
若是，判断所述网络数据是否为所述标准数据样式；
若所述网络数据不为标准数据，对所述网络数据进行字段扩容，得到标准数据，并输出至结果库；
若所述网络数据为标准数据，则直接输出至所述结果库。
7.根据权利要求1所述的清洗方法，其特征在于，基于所述标准化清洗配置对所述网络数据进行数据清洗后，还包括：
获取所述标准化清洗配置下所述网络数据的数据转化率；
根据所述数据转化率调整所述标准化清洗配置。
8.一种网络数据的清洗系统，其特征在于，包括：
接收模块，用于利用消息队列接收所述网络数据；
标准化配置模块，用于对所述网络数据进行标准化清洗配置；
清洗模块，用于基于所述标准化清洗配置对所述网络数据进行数据清洗。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-7任一项所述的网络数据的清洗方法的步骤。
10.一种电子设备，其特征在于，包括存储器和处理器，所述存储器中存有计算机程序，所述处理器调用所述存储器中的计算机程序时实现如权利要求1-7任一项所述的网络数据的清洗方法的步骤。
CN202011023278.2A 2020-09-25 2020-09-25 一种网络数据的清洗方法、系统及相关装置 Withdrawn CN112181961A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011023278.2A CN112181961A (zh) 2020-09-25 2020-09-25 一种网络数据的清洗方法、系统及相关装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011023278.2A CN112181961A (zh) 2020-09-25 2020-09-25 一种网络数据的清洗方法、系统及相关装置

Publications (1)

Publication Number Publication Date
CN112181961A true CN112181961A (zh) 2021-01-05

Family

ID=73943488

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011023278.2A Withdrawn CN112181961A (zh) 2020-09-25 2020-09-25 一种网络数据的清洗方法、系统及相关装置

Country Status (1)

Country Link
CN (1) CN112181961A (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102495902A (zh) * 2011-12-16 2012-06-13 方正国际软件有限公司 一种同时实现空间数据和属性数据etl过程的方法及系统
CN107092632A (zh) * 2017-02-09 2017-08-25 北京小度信息科技有限公司 数据处理方法及装置
CN110471913A (zh) * 2019-07-31 2019-11-19 北京慧萌信安软件技术有限公司 一种数据清洗方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102495902A (zh) * 2011-12-16 2012-06-13 方正国际软件有限公司 一种同时实现空间数据和属性数据etl过程的方法及系统
CN107092632A (zh) * 2017-02-09 2017-08-25 北京小度信息科技有限公司 数据处理方法及装置
CN110471913A (zh) * 2019-07-31 2019-11-19 北京慧萌信安软件技术有限公司 一种数据清洗方法及装置

Similar Documents

Publication Publication Date Title
WO2019223062A1 (zh) 系统异常的处理方法和系统
CN111431926B (zh) 一种数据关联分析的方法、系统、设备及可读存储介质
CN108632111A (zh) 一种基于日志的服务链路监控方法
CN111294218B (zh) 信息处理方法、装置、系统及存储介质
CN111130867B (zh) 一种基于物联网的智能家居设备告警方法及装置
US8132182B2 (en) Parallel processing of triggering rules in SIP event notification filters
CN113766357A (zh) 一种数据采集传输和数据处理的方法及系统
CN113806045A (zh) 一种任务分配方法、系统、设备以及介质
CN112906373A (zh) 告警计算方法、装置、电子设备及存储介质
CN112181961A (zh) 一种网络数据的清洗方法、系统及相关装置
CN107526690B (zh) 清除缓存的方法及装置
CN116260702A (zh) 数据监控的方法、装置、计算机设备和存储介质
CN116016117A (zh) 网络设备运维数据采集方法、系统、电子设备及存储介质
CN113347045A (zh) 一种告警消息处理方法及装置
JP5922811B1 (ja) ログ情報分類装置、ログ情報分類方法、及びプログラム
CN115291793A (zh) 属性数据的转换方法和装置、存储介质及电子装置
CN115118614A (zh) 作业异常检测方法、装置、电子设备及存储介质
CN112749204B (zh) 一种读取数据的方法和装置
CN113986986A (zh) 数据流处理方法、装置、服务器及存储介质
CN114168653A (zh) 一种用电数据处理方法、装置、设备及存储介质
CN114020560A (zh) 采集监控数据的方法、装置、存储介质及电子设备
CN113051222A (zh) 日志存储方法、装置、计算机可读存储介质及电子设备
CN109388546B (zh) 处理应用程序的故障的方法、装置和系统
CN112633710A (zh) 作业任务调度方法、装置、设备及存储介质
CN113821366B (zh) 基于doris的自动分析异常方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20210105

WW01 Invention patent application withdrawn after publication