CN107360035A - 一种数据处理方法及系统 - Google Patents

一种数据处理方法及系统 Download PDF

Info

Publication number
CN107360035A
CN107360035A CN201710623988.0A CN201710623988A CN107360035A CN 107360035 A CN107360035 A CN 107360035A CN 201710623988 A CN201710623988 A CN 201710623988A CN 107360035 A CN107360035 A CN 107360035A
Authority
CN
China
Prior art keywords
collected
data
equipment
interface protocol
alarm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710623988.0A
Other languages
English (en)
Other versions
CN107360035B (zh
Inventor
王军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing MetarNet Technologies Co Ltd
Original Assignee
Beijing MetarNet Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing MetarNet Technologies Co Ltd filed Critical Beijing MetarNet Technologies Co Ltd
Priority to CN201710623988.0A priority Critical patent/CN107360035B/zh
Publication of CN107360035A publication Critical patent/CN107360035A/zh
Application granted granted Critical
Publication of CN107360035B publication Critical patent/CN107360035B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/02—Standardisation; Integration
    • H04L41/0213—Standardised network management protocols, e.g. simple network management protocol [SNMP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/0631—Management of faults, events, alarms or notifications using root cause analysis; using analysis of correlation between notifications, alarms or events based on decision criteria, e.g. hierarchy, tree or time analysis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H04L67/568—Storing data temporarily at an intermediate stage, e.g. caching

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Maintenance And Management Of Digital Transmission (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明实施例提供一种数据处理方法及系统。所述方法包括：获取所有待采集设备对应的接口协议，根据所述接口协议生成标准接口协议；利用所述标准接口协议对所述待采集设备的设备数据和告警数据进行采集；将采集到的所述设备数据和所述告警数据通过最少使用页面置换算法的缓存机制进行存储。所述系统用于执行所述方法。本发明实施例通过采集所有待采集设备对应的接口协议，并根据接口协议生成标准接口协议，通过标准接口协议采集待采集设备的设备数据和告警数据进行采集，并通过缓存机制进行存储，实现了对多种厂家设备的数据统一采集及管理，提高了运营商的运维能力及运营效率。

Description

一种数据处理方法及系统
技术领域
本发明实施例涉及计算机网络技术领域，尤其涉及一种数据处理方法及系统。
背景技术
随着“宽带中国”战略及实施方案颁布，国内运营商同时发力宽带网络建设及业务大力推广，宽带业务同质化趋势明显，导致竞争更加激烈、复杂，整个市场竞争逐渐向服务型竞争转变。
同时，为了满足用户的需求，多种厂商的设备(路由器、机顶盒、OLT和ONT)如雨后春笋一般纷纷面世，且更新换代频繁，每个厂商的设备都有自己的接口协议，并不是通用的，当数据采集系统需要对某一厂商的设备进行数据采集时，首先需要根据该厂商的设备的接口协议进行配置，配置完成之后才可以进行数据采集。因此不能够实现对多厂商的设备的数据进行统一的采集及管理。
为了满足运营商对网络资源维护、告警性能管理、业务自动激活及管理、综合统计分析等要求，实现网关系统统一化，并对接入网网络拓扑监控、展示，告警、性能的集中监控、分析和管理，实现对多厂商设备的数据统计采集及处理是现如今亟待解决的课题。
发明内容
针对现有技术存在的问题，本发明实施例提供一种数据处理方法及系统。
第一方面，本发明实施例提供一种数据处理方法，包括：
获取所有待采集设备对应的接口协议，根据所述接口协议生成标准接口协议；
利用所述标准接口协议对所述待采集设备的设备数据和告警数据进行采集；
将采集到的所述设备数据和所述告警数据通过最少使用页面置换算法的缓存机制进行存储。
第二方面，本发明实施例提供一种数据处理系统，包括：
协议生成模块，用于获取所有待采集设备对应的接口协议，根据所述接口协议生成标准接口协议；
数据采集模块，用于利用所述标准接口协议对所述待采集设备的设备数据和告警数据进行采集；
数据存储模块，用于将采集到的所述设备数据和所述告警数据通过最少使用页面置换算法的缓存机制进行存储。
第三方面，本发明实施例提供一种电子设备，包括：处理器、存储器和总线，其中，
所述处理器和所述存储器通过所述总线完成相互间的通信；
所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行第一方面的方法步骤。
第四方面，本发明实施例提供一种非暂态计算机可读存储介质，包括：
所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行第一方面的方法步骤。
本发明实施例提供的一种数据处理方法及系统，通过采集所有待采集设备对应的接口协议，并根据接口协议生成标准接口协议，通过标准接口协议采集待采集设备的设备数据和告警数据进行采集，并通过缓存机制进行存储，实现了对多种厂家设备的数据统一采集及管理，提高了运营商的运维能力及运营效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种数据处理方法流程示意图；
图2为本发明实施例提供的设备数据采集信令交互图；
图3为本发明实施例提供的告警数据采集信令交互图；
图4为本发明实施例提供的一种数据处理系统结构示意图；
图5为本发明实施例提供的电子设备实体结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1为本发明实施例提供的一种数据处理方法流程示意图，如图1所示，所述方法，包括：
步骤101：获取所有待采集设备对应的接口协议，根据所述接口协议生成标准接口协议；
具体的，不同厂商的设备都有各自的接口协议，且每个厂商的设备的接口协议并不能够通用，因此系统获取所有待采集设备对应的接口协议，其中，待采集设备为该处理系统需要对其进行管理的不同厂商的设备，例如设备名称可以为中兴、华为、烽火、贝尔等，设备类型可以包含OLT、ONT、路由、交换设备等。根据获取到的待采集设备对应的接口协议生成标准接口协议，其中，标准接口协议能够适用于不同厂商的设备，通过标准接口协议能够获取到所有待采集设备的数据。
步骤102：利用所述标准接口协议对所述待采集设备的设备数据和告警数据进行采集；
具体的，系统通过标准接口协议对待采集设备的设备数据和告警数据进行采集，其中，设备数据包括设备的资源数据、配置数据、性能数据、信令数据等，且系统可以实时的对待采集设备进行数据采集，也可以周期性采集。
步骤103：将采集到的所述设备数据和所述告警数据通过最少使用页面置换算法的缓存机制进行存储。
具体的，系统在采集到设备数据和告警数据后，由于数据量比较庞大，因此可以通过最少使用页面置换(Least Recently Used，简称LRL)算法的缓存机制，将设备数据和告警数据进行存储，从而优化系统查询速度。
本发明实施例的数据采集方法可以通过JAVA程序实现，通过JAVA动态加载JAR包特性，JAVA开发工具将JAVA语言编写的代码编译成中间码，必须被装载到jvm中才能运行，这个装载工作是由jvm中的类装载器完成的，类装载器所做的工作实质是把类文件从磁盘读取到内存中，JAVA中的类大致分为三种，即系统类、扩展类和由程序员自定义的类。
本发明实施例通过采集所有待采集设备对应的接口协议，并根据接口协议生成标准接口协议，通过标准接口协议采集待采集设备的设备数据和告警数据进行采集，并通过缓存机制进行存储，实现了对多种厂家设备的数据统一采集及管理，提高了运营商的运维能力及运营效率。
在上述实施例的基础上，所述方法，还包括：
将所述设备数据和所述告警数据按照预先定义的格式进行格式转换，并将转换后的所述设备数据和所述告警数据上传至监控系统。
具体的，系统采集到设备数据和告警数据后，由于采集的是不同厂商的设备，因此，数据格式可能会存在差异，为了能够对采集到的数据进行统一的管理，需要对设备数据和告警数据的格式进行转换，其中，可以根据预先定义的格式进行转换。将采集到的设备数据和告警数据进行格式转换后上传至监控系统，使得监控系统能够根据上述数据对厂商的设备进行监控。
本发明实施例通过对采集到的设备数据和告警数据进行格式转换，从而能够更加便捷的对各个厂商的设备进行管理。
在上述实施例的基础上，所述利用所述标准接口协议对所述待采集设备的设备数据进行采集，包括：
根据预先存储的前置表生成中间表，所述中间表包括设备参数；
根据预设周期，利用所述标准接口协议从所述待采集设备中采集设备数据；
根据所述中间表中的所述设备参数，解析采集到的所述设备数据，获得对应的增量数据；
通过数据库的方式将所述增量数据插入到所述中间表中。
具体的，图2为本发明实施例提供的设备数据采集信令交互图，如图2所示，具体流程为：
步骤201：生成中间表；系统中预先存储有一张前置表，前置表用于存放数据，且在前置表中包括了设备参数，即该系统需要的各个设备参数，通过该前置表可以生成一个中间表，中间表用于存放采集到的设备数据。
步骤202：采集设备数据；系统通过标准接口协议，获取各个待采集设备的设备数据，应当说明的是，标准接口协议中包括了所有厂商设备对应的接口协议，从标准接口协议中选择相应的接口协议即可完成对待采集设备的采集。且系统可以根据预设周期对待采集设备进行采集，其周期可以根据实际情况进行调整，本发明实施例对此不做具体限定。再有，该标准接口协议是基于SNMP协议的。
步骤203：数据解析；将采集到的设备数据进行数据解析，并从解析后的数据中选择中间表中的设备参数所需要的数据，对数据进行组装，从而获的增量数据。
步骤204：插入中间表；将增量数据以插入数据库的方式插入到中间表中，从而完成了对设备数据的采集。
本发明实施例通过标准接口协议完成对不同厂商设备的设备数据采集，统一了信息采集数据定义的标准化，同时满足并解决了不同运营商和厂商之间的耦合。
在上述实施例的基础上，所述利用所述标准接口协议对所述待采集设备的告警数据进行采集，包括：
采用基于规则的告警关联策略，通过所述标准接口协议对所述待采集设备的告警数据进行采集。
具体的，对告警数据的获取方式有多种，包括基于规则的告警关联策略和基于市里的告警策略等，通过对比以后，采用了比较简单的基于规则的告警关联策略来实现告警数据的采集。
图3为本发明实施例提供的告警数据采集信令交互图，如图3所示：
S501、连接采集线程；系统在数据采集之前需要连接采集线程，只有当采集线程与系统连接成功之后才能后进行告警数据采集流程。
S502、检测所述采集线程是否连接，若已连接则进行S503，否则，执行S501；
S503、发送告警数据采集消息；如果系统判断获知与采集线程连接上，则向采集线程发送告警数据采集消息。
S504、判断路由是否正常；集线程判断路由是否正常，如果路由正常，则说明网络处于连通状态，若路由断开连接，则执行S505；
S505、连接所述待采集设备；如果采集线程判断获知路由是正常的，则连接该待采集设备。
S506、判断是否连接；所述采集线程判断是否已连接所述待采集设备，若已连接，则执行S507，否则，执行S506；
S507、发送告警数据采集消息；所述采集线程向所述待采集设备发送所述告警数据采集消息；如果采集线程与待采集设备完成连接，则向待检测设备发送告警数据采集消息。
S508、连续性检测；所述待采集设备对所述告警数据进行连续性检测，若所述告警数据为连续的，则执行S509；待采集设备接收到采集线程发送的告警数据采集消息后，对告警数据进行连续性检测，目的是为了防止遗漏告警数据。
S509、连接采集线程；所述待采集设备连接所述采集线程；
S510、判断是否连接；所述待采集设备判断是否已连接上所述采集线程，若已连接，则执行S511；
S511、发送告警数据；所述待采集设备向所述采集线程发送所述告警数据，所述采集线程每接收到预设数量的所述告警数据向所述待采集设备返回一次确认消息；
S512、判断路由是否正常；所述采集线程判断所述路由是否正常，若路由断开连接，则执行S513；
S513、连接采集系统；所述采集线程连接所述采集系统；
S514、所述采集线程判断是否已连接上所述采集系统，若已连接则执行S515；
S515、发送告警数据；向所述采集系统发送所述告警数据；
S516、存储；所述采集系统将采集到的所述告警数据进行存储。
本发明实施例通过基于规则的告警关联策略利用标准接口协议对待采集设备的告警数据进行采集，实现了对多种厂家设备的数据统一采集及管理，提高了运营商的运维能力及运营效率。
在上述实施例的基础上，所述获取所有待采集设备对应的接口协议，根据所述接口协议生成标准接口协议，包括：
获取所有待采集设备对应的接口协议，所有的所述接口协议构成了所述标准接口协议。
具体的，获取各个厂商设备的对应的待采集设备的接口协议，将获取到的所有的接口协议聚集在一起，合成标准接口协议，因此，标准接口协议是所有接口协议的集合，根据要采集的不同厂商设备所需要的接口协议，从标准接口协议中选择合适的接口协议来进行数据采集，从而能够实现对多个厂商设备的统一管理。
在上述各个实施例的基础上，所述方法，还包括：
对采集到的所述告警数据按照预设规则进行过滤，并对告警风暴进行抑制。
具体的，由于采集到的告警数据有可能不是系统所需要的，或者获取到的告警数据是重复的，因此，需要对告警数据进行过滤，其过滤规则可以预先设定，例如，可以进行字段筛选，预先定义一些告警数据中必须存在的字段，将包含这些字段的告警数据作为目标告警数据，将其他的告警数据过滤掉。另外，还可能产生告警风暴，因此，还需要对告警风暴进行抑制。再有，还可以设定对遗漏采集的告警数据进行补采。
本发明实施例通过采集所有待采集设备对应的接口协议，并根据接口协议生成标准接口协议，通过标准接口协议采集待采集设备的设备数据和告警数据进行采集，并通过缓存机制进行存储，实现了对多种厂家设备的数据统一采集及管理，提高了运营商的运维能力及运营效率。
图4为本发明实施例提供的一种数据处理系统结构示意图，如图4所示，所述系统，包括：协议生成模块401、数据采集模块402和数据存储模块403，其中：
协议生成模块401用于获取所有待采集设备对应的接口协议，根据所述接口协议生成标准接口协议；数据采集模块402用于利用所述标准接口协议对所述待采集设备的设备数据和告警数据进行采集；数据存储模块403用于将采集到的所述设备数据和所述告警数据通过最少使用页面置换算法的缓存机制进行存储。
具体的，不同厂商的设备都有各自的接口协议，且每个厂商的设备的接口协议并不能够通用，因此协议生成模块401获取所有待采集设备对应的接口协议，其中，待采集设备为该处理系统需要对其进行管理的不同厂商的设备。根据获取到的待采集设备对应的接口协议生成标准接口协议，其中，标准接口协议能够适用于不同厂商的设备，通过标准接口协议能够获取到所有待采集设备的数据。数据采集模块402过标准接口协议对待采集设备的设备数据和告警数据进行采集，其中，设备数据包括设备的资源数据、配置数据、性能数据、信令数据等，且系统可以实时的对待采集设备进行数据采集，也可以周期性采集。数据存储模块403在采集到设备数据和告警数据后，由于数据量比较庞大，因此可以通过最少使用页面置换(Least Recently Used，简称LRL)算法的缓存机制，将设备数据和告警数据进行存储，从而优化系统查询速度。
本发明提供的系统的实施例具体可以用于执行上述各方法实施例的处理流程，其功能在此不再赘述，可以参照上述方法实施例的详细描述。
本发明实施例通过采集所有待采集设备对应的接口协议，并根据接口协议生成标准接口协议，通过标准接口协议采集待采集设备的设备数据和告警数据进行采集，并通过缓存机制进行存储，实现了对多种厂家设备的数据统一采集及管理，提高了运营商的运维能力及运营效率。
图5为本发明实施例提供的电子设备实体结构示意图，如图5所示，所述电子设备，包括：处理器(processor)601、存储器(memory)602和总线603；其中，
所述处理器601和存储器602通过所述总线603完成相互间的通信；
所述处理器601用于调用所述存储器602中的程序指令，以执行上述各方法实施例所提供的方法，例如包括：获取所有待采集设备对应的接口协议，根据所述接口协议生成标准接口协议；利用所述标准接口协议对所述待采集设备的设备数据和告警数据进行采集；将采集到的所述设备数据和所述告警数据通过最少使用页面置换算法的缓存机制进行存储。
本实施例公开一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的方法，例如包括：获取所有待采集设备对应的接口协议，根据所述接口协议生成标准接口协议；利用所述标准接口协议对所述待采集设备的设备数据和告警数据进行采集；将采集到的所述设备数据和所述告警数据通过最少使用页面置换算法的缓存机制进行存储。
本实施例提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行上述各方法实施例所提供的方法，例如包括：获取所有待采集设备对应的接口协议，根据所述接口协议生成标准接口协议；利用所述标准接口协议对所述待采集设备的设备数据和告警数据进行采集；将采集到的所述设备数据和所述告警数据通过最少使用页面置换算法的缓存机制进行存储。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所描述的系统等实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种数据处理方法，其特征在于，包括：
获取所有待采集设备对应的接口协议，根据所述接口协议生成标准接口协议；
利用所述标准接口协议对所述待采集设备的设备数据和告警数据进行采集；
将采集到的所述设备数据和所述告警数据通过最少使用页面置换算法的缓存机制进行存储。
2.根据权利要求1所述的方法，其特征在于，所述方法，还包括：
将所述设备数据和所述告警数据按照预先定义的格式进行格式转换，并将转换后的所述设备数据和所述告警数据上传至监控系统。
3.根据权利要求1所述的方法，其特征在于，所述利用所述标准接口协议对所述待采集设备的设备数据进行采集，包括：
根据预先存储的前置表生成中间表，所述中间表包括设备参数；
根据预设周期，利用所述标准接口协议从所述待采集设备中采集设备数据；
根据所述中间表中的所述设备参数，解析采集到的所述设备数据，获得对应的增量数据；
通过插入数据库的方式将所述增量数据插入到所述中间表中。
4.根据权利要求1所述的方法，其特征在于，所述利用所述标准接口协议对所述待采集设备的告警数据进行采集，包括：
采用基于规则的告警关联策略，通过所述标准接口协议对所述待采集设备的告警数据进行采集。
5.根据权利要求4所述的方法，其特征在于，所述采用基于规则的告警关联策略，通过所述标准接口协议对所述待采集设备的告警数据进行采集，包括：
S501、连接采集线程；
S502、检测所述采集线程是否连接，若已连接则进行S503，否则，执行S501；
S503、向采集线程发送告警数据采集消息；
S504、所述采集线程判断路由是否正常，若路由断开连接，则执行S505；
S505、连接所述待采集设备；
S506、所述采集线程判断是否已连接所述待采集设备，若已连接，则执行S507，否则，执行S506；
S507、所述采集线程向所述待采集设备发送所述告警数据采集消息；
S508、所述待采集设备对所述告警数据进行连续性检测，若所述告警数据为连续的，则执行S509；
S509、所述待采集设备连接所述采集线程；
S510、所述待采集设备判断是否已连接上所述采集线程，若已连接，则执行S511；
S511、所述待采集设备向所述采集线程发送所述告警数据，所述采集线程每接收到预设数量的所述告警数据向所述待采集设备返回一次确认消息；
S512、所述采集线程判断所述路由是否正常，若路由断开连接，则执行S513；
S513、所述采集线程连接所述采集系统；
S514、所述采集线程判断是否已连接上所述采集系统，若已连接则执行S515；
S515、向所述采集系统发送所述告警数据；
S516、所述采集系统将采集到的所述告警数据进行存储。
6.根据权利要求1所述的方法，其特征在于，所述获取所有待采集设备对应的接口协议，根据所述接口协议生成标准接口协议，包括：
获取所有待采集设备对应的接口协议，所有的所述接口协议构成了所述标准接口协议。
7.根据权利要求1-6任一项所述的方法，其特征在于，所述方法，还包括：
对采集到的所述告警数据按照预设规则进行过滤，并对告警风暴进行抑制。
8.一种数据处理系统，其特征在于，包括：
协议生成模块，用于获取所有待采集设备对应的接口协议，根据所述接口协议生成标准接口协议；
数据采集模块，用于利用所述标准接口协议对所述待采集设备的设备数据和告警数据进行采集；
数据存储模块，用于将采集到的所述设备数据和所述告警数据通过最少使用页面置换算法的缓存机制进行存储。
9.一种电子设备，其特征在于，包括：处理器、存储器和总线，其中，
所述处理器和所述存储器通过所述总线完成相互间的通信；
所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行如权利要求1-7任一项所述的方法。
10.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行如权利要求1-7任一项所述的方法。
CN201710623988.0A 2017-07-27 2017-07-27 一种数据处理方法及系统 Active CN107360035B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710623988.0A CN107360035B (zh) 2017-07-27 2017-07-27 一种数据处理方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710623988.0A CN107360035B (zh) 2017-07-27 2017-07-27 一种数据处理方法及系统

Publications (2)

Publication Number Publication Date
CN107360035A true CN107360035A (zh) 2017-11-17
CN107360035B CN107360035B (zh) 2019-12-20

Family

ID=60285051

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710623988.0A Active CN107360035B (zh) 2017-07-27 2017-07-27 一种数据处理方法及系统

Country Status (1)

Country Link
CN (1) CN107360035B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108650325A (zh) * 2018-05-17 2018-10-12 浙江中控技术股份有限公司 一种工业数据采集方法、相关设备及系统
CN109101440A (zh) * 2018-08-01 2018-12-28 浪潮软件集团有限公司 一种基于jvm缓存处理追溯数据并发请求的方法
CN111447170A (zh) * 2019-01-17 2020-07-24 北京京东尚科信息技术有限公司 数据处理方法及其系统、计算机系统及计算机可读介质
CN113364747A (zh) * 2021-05-24 2021-09-07 深圳市航顺芯片技术研发有限公司 调试方法、装置、系统及数据集生成方法、装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101483545A (zh) * 2008-12-31 2009-07-15 中国建设银行股份有限公司 一种金融业务监控方法及系统
CN103281337A (zh) * 2013-06-20 2013-09-04 安科智慧城市技术（中国）有限公司 设备集中管理的方法、服务端和系统
US8594497B2 (en) * 2007-09-28 2013-11-26 Verizon Patent And Licensing Inc. Multi-interface protocol analysis system
CN105306279A (zh) * 2015-11-30 2016-02-03 国网江西省电力公司信息通信分公司 一种企业级应用系统的数据性能分析平台及方法
CN106375103A (zh) * 2015-07-23 2017-02-01 杭州海康威视数字技术股份有限公司 一种告警数据采集和发送方法
US20170078916A1 (en) * 2014-05-05 2017-03-16 Huawei Technologies Co., Ltd. Data processing method and apparatus

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8594497B2 (en) * 2007-09-28 2013-11-26 Verizon Patent And Licensing Inc. Multi-interface protocol analysis system
CN101483545A (zh) * 2008-12-31 2009-07-15 中国建设银行股份有限公司 一种金融业务监控方法及系统
CN103281337A (zh) * 2013-06-20 2013-09-04 安科智慧城市技术（中国）有限公司 设备集中管理的方法、服务端和系统
US20170078916A1 (en) * 2014-05-05 2017-03-16 Huawei Technologies Co., Ltd. Data processing method and apparatus
CN106375103A (zh) * 2015-07-23 2017-02-01 杭州海康威视数字技术股份有限公司 一种告警数据采集和发送方法
CN105306279A (zh) * 2015-11-30 2016-02-03 国网江西省电力公司信息通信分公司 一种企业级应用系统的数据性能分析平台及方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108650325A (zh) * 2018-05-17 2018-10-12 浙江中控技术股份有限公司 一种工业数据采集方法、相关设备及系统
CN109101440A (zh) * 2018-08-01 2018-12-28 浪潮软件集团有限公司 一种基于jvm缓存处理追溯数据并发请求的方法
CN109101440B (zh) * 2018-08-01 2023-08-04 浪潮软件集团有限公司 一种基于jvm缓存处理追溯数据并发请求的方法
CN111447170A (zh) * 2019-01-17 2020-07-24 北京京东尚科信息技术有限公司 数据处理方法及其系统、计算机系统及计算机可读介质
CN113364747A (zh) * 2021-05-24 2021-09-07 深圳市航顺芯片技术研发有限公司 调试方法、装置、系统及数据集生成方法、装置

Also Published As

Publication number Publication date
CN107360035B (zh) 2019-12-20

Similar Documents

Publication Publication Date Title
CN102739802B (zh) 面向业务应用的it集中运维分析系统
CN107360035A (zh) 一种数据处理方法及系统
CN103684828B (zh) 一种电信设备故障的处理方法和装置
CN105159964B (zh) 一种日志监控方法及系统
CN107104840A (zh) 一种日志监控方法、装置及系统
CN107196804A (zh) 电力系统终端通信接入网告警集中监控系统及方法
CN106815115A (zh) 一种服务器运行状态监控系统
CN107294764A (zh) 智能监管方法和智能监管系统
CN101567814B (zh) 基于SNMP和随机Petri网的自动化网络管理方法
CN103902537B (zh) 多业务的日志数据存储处理和查询系统及其方法
CN106612199B (zh) 一种网络监控数据收集与分析系统及方法
CN107451034A (zh) 一种大数据集群日志管理装置、方法及系统
CN102457390B (zh) 一种基于qoe的故障定位方法和系统
CN107070692A (zh) 一种基于大数据分析的云平台监控服务系统及方法
CN105282772A (zh) 无线网数通设备监控系统及设备监控方法
CN105141448B (zh) 一种日志的采集方法及装置
CN101257694A (zh) 基于信息支撑系统的移动通信网管智能派单方法
CN100461707C (zh) 对简单网络管理协议的代理实现自动化测试的方法及系统
CN108011925A (zh) 一种业务审计系统及方法
CN104243185A (zh) 一种体验式业务监控系统与方法
CA3170714A1 (en) Extensible analytics and recommendation engine for network traffic data
CN102882701A (zh) 一种电网核心业务数据智能化监控告警系统及方法
CN105608220A (zh) 一种基于分布式消息系统的采集方法及装置
CN107094086A (zh) 一种信息获取方法和装置
CN109359019A (zh) 应用程序性能监控方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant