CN103198004B - 一种信息处理方法和装置 - Google Patents

一种信息处理方法和装置 Download PDF

Info

Publication number
CN103198004B
CN103198004B CN201310148477.XA CN201310148477A CN103198004B CN 103198004 B CN103198004 B CN 103198004B CN 201310148477 A CN201310148477 A CN 201310148477A CN 103198004 B CN103198004 B CN 103198004B
Authority
CN
China
Prior art keywords
monitor message
server
hashed value
monitor
keyword
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201310148477.XA
Other languages
English (en)
Other versions
CN103198004A (zh
Inventor
王帅
彭毅
陈健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sohu New Media Information Technology Co Ltd
Original Assignee
Beijing Sohu New Media Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sohu New Media Information Technology Co Ltd filed Critical Beijing Sohu New Media Information Technology Co Ltd
Priority to CN201310148477.XA priority Critical patent/CN103198004B/zh
Publication of CN103198004A publication Critical patent/CN103198004A/zh
Application granted granted Critical
Publication of CN103198004B publication Critical patent/CN103198004B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Computer And Data Communications (AREA)

Abstract

本发明实施例公开了一种信息处理方法和装置,包括:接收服务器发送的第一监控信息,根据服务器编号计算得到对应的散列值;判断所述散列值对应的地址中是否保存有与所述第一监控信息服务器编号相同的第二监控信息;如果有,则进一步与第二监控信息的进行关键词比较;如果关键词相同,则确定第一监控信息为重复监控信息,由上述技术方案可以看出,首先通过计算散列值以确定同一服务器的监控信息均指向散列表中同一个散列值,其次,通过进行关键词比较以判断是否为同一监控类型的监控信息,如果关键词相同,便可确定接收到的监控信息是重复监控信息,由此大大提高了判断监控信息是否为重复监控信息的效率,有效快速的解决了去除重复监控信息的问题。

Description

一种信息处理方法和装置
技术领域
本发明涉及信息去重领域,特别是涉及一种信息处理方法和装置。
背景技术
在实时监控环境下,服务器会发送很多实时监控信息到监控端,这里的监控信息包括报警信息和数据信息等,服务器端发送监控信息的频率和服务器的处理器的处理频率成正比,一般来说会非常高,甚至可以达到毫秒级别,而且,这种实时监控信息中有大量的重复信息,所谓的重复信息是指内容及其相似甚至相同的信息,比如说,当服务器的CPU温度在某一时刻高于温度监控阈值时,服务器会不停向监控端发送温度监控信息,直到服务器的CPU温度再次低于监控阈值后停止,在服务器发送温度监控信息这段时间里,发送的温度监控信息中的内容除了个别具体的温度数值外基本相同,如果监控端对接收到的所述温度监控信息不进行任何的去除重复信息处理或者叫去重处理就进行存储操作或者以邮件或短信的形式发送到对应的监控人处的话,首先会浪费大量的网络资源,其次会造成大量邮件短信密集发送,影响监控人的正常工作。
现有的判断数据信息是否为重复数据信息的方法一般都是采用哈希算法,所谓的哈希算法就是把任意长度的文本输入,通过散列函数算法,变换成固定长度的散列值。通过比较两个数据信息的散列值来判断两个数据信息是否重复的数据信息,具体方法一般为:数据信息的文本部分一般由多个句子或者段落构成,比较数据信息的段落数或句子数,对段落数或句子个数相近的两个数据信息进行相似度计算,以每一句为单位,计算出各个句子的散列值,当所有的句子或者段落的散列值的相似度满足给定的阈值的便视为重复数据信息。但是这种算法的计算对象内容繁杂,需要进行大量的比较操作,判断重复数据信息的效率非常低。
发明内容
为了解决上述判断数据信息是否为重复数据信息时需要针对数据信息的文本内容进行大量的计算和比较的技术问题,本发明提供了一种信息处理方法和装置。
本发明实施例公开了如下技术方案:
一种信息处理方法,包括:
接收服务器发送的第一监控信息,所述第一监控信息包括服务器编号和关键词;
根据所述第一监控信息中的服务器编号计算得到对应的散列值;
判断所述散列值对应的地址中是否保存有与所述第一监控信息服务器编号相同的第二监控信息;
如果有,则进一步与第二监控信息的进行关键词比较;
如果关键词相同,则确定所述接收的第一监控信息为相对第二监控信息的重复监控信息。
优选的,所述判断所述散列值对应的地址中是否保存有与所述第一监控信息服务器编号相同的第二监控信息,还包括:
如果没有,则将所述接收的第一监控信息存储在所述散列值对应的地址中对应第一监控信息服务器编号的位置。
优选的,所述进一步与第二监控信息的进行关键词比较,还包括:
如果关键词不同,则将所述接收的第一监控信息存储在所述第二监控信息所在位置。
优选的,所述散列值对应的地址的存储单元的数据结构为堆结构。
优选的,所述第一监控信息和第二监控信息还包括监控信息生成时间。
优选的,当确定所述接收的第一监控信息为相对第二监控信息的重复监控信息后,还包括:
计算第一监控信息的监控信息生成时间与第二监控信息的监控信息生成时间的时间差;
比较所述时间差与预设时间阈值的大小;
如果所述时间差大于等于预设时间阈值,则将第二监控信息的内容更新为第一监控信息的内容;
如果所述时间差小于预设时间阈值,则将第一监控信息丢弃。
一种信息处理装置,包括:
第一监控信息接收单元,用于接收服务器发送的第一监控信息,所述第一监控信息包括服务器编号和关键词;
计算散列值单元,用于根据所述第一监控信息中的服务器编号计算得到对应的散列值;
第一判断单元,用于判断所述散列值对应的地址中是否保存有与所述第一监控信息服务器编号相同的第二监控信息;
如果有,则执行第一比较单元;
第一比较单元,用于进一步与第二监控信息的进行关键词比较;
如果关键词相同,则确定所述接收的第一监控信息为相对第二监控信息的重复监控信息。
优选的,所述第一判断单元,还用于:
如果没有,则将所述接收的第一监控信息存储在所述散列值对应的地址中对应第一监控信息服务器编号的位置。
优选的,所述第一比较单元,还用于:
如果关键词不同,则将所述接收的第一监控信息存储在所述第二监控信息所在位置。
优选的,所述散列值对应的地址的存储单元的数据结构为堆结构。
优选的,所述第一监控信息和第二监控信息还包括监控信息生成时间。
优选的,还包括:
计算时间差单元,用于计算第一监控信息的监控信息生成时间与第二监控信息的监控信息生成时间的时间差;
第二比较单元,用于比较所述时间差与预设时间阈值的大小;
更新单元,用于如果所述时间差大于等于预设时间阈值,则将第二监控信息的内容更新为第一监控信息的内容;
丢弃单元,用于如果所述时间差小于预设时间阈值,则将第一监控信息丢弃。
由上述技术方案可以看出,对于监控端接收到的监控信息,首先根据监控信息中的服务器编号计算得出对应的散列值,以确定同一服务器的监控信息均指向散列表中同一个散列值,其次,通过与该散列值所对应地址中以保存的具有同一服务器编号的监控信息进行关键词比较以判断是否为同一监控类型的监控信息,如果关键词相同,便可确定接收到的监控信息是相对于已保存的监控信息的重复监控信息,之后,进一步判断接收到的监控信息和已保存的与接收到监控信息相同监控类型的监控信息之间的监控信息生成时间之差是否满足时间阈值,将满足时间阈值的接收到的监控信息更新保存到散列值对应的地址中,由此大大提高了判断监控信息是否为重复监控信息的效率,有效快速的解决了去除重复监控信息的问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明一种信息处理方法的方法流程图;
图2为本发明一种信息处理方法的另一个方法流程图;
图3为本发明基于哈希桶的监控信息去重流程图;
图4为本发明哈希桶数据结构示意图;
图5为本发明堆结构的数据存储示意图;
图6为本发明一种信息处理装置的装置结构图;
图7为本发明一种信息处理装置的另一个装置结构图。
具体实施方式
本发明实施例提供了一种信息处理方法和装置。对于监控端接收到的监控信息,首先,根据监控信息中的服务器编号计算得出对应的散列值,以确定同一服务器的监控信息均指向散列表中同一个散列值,其次,通过与该散列值所对应地址中以保存的具有同一服务器编号的监控信息进行关键词比较以判断是否为同一监控类型的监控信息,如果关键词相同,便可确定接收到的监控信息是相对于已保存的监控信息的重复监控信息。
之后,进一步判断接收到的监控信息和已保存的与接收到监控信息相同监控类型的监控信息之间的监控信息生成时间之差是否满足时间阈值,将满足时间阈值的接收到的监控信息更新保存到散列值对应的地址中,将不满足时间阈值的监控信息确定为无效的重复监控信息并去除,由此大大提高了判断监控信息是否为重复监控信息的效率,有效快速的解决了去除重复监控信息的问题。
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图对本发明实施例进行详细描述。
实施例一
请参阅图1,其为本发明一种信息处理方法的方法流程图,该方法包括以下步骤:
S101:接收服务器发送的第一监控信息,所述第一监控信息包括服务器编号和关键词;
随着数字信息量的爆炸式增长,针对服务器组的各类监控信息的数量的增长速度也是非常快的,其中重复或及其相似的信息也非常多,必须通过专门的监控端机组对各个服务器组的各类监控信息进行分析以及去重处理。监控端接收服务器发送的监控信息主要包括各种类型的报警信息。
S102:根据所述第一监控信息中的服务器编号计算得到对应的散列值;
这里根据散列函数的计算规则进行散列值的计算,具体的计算公式为:
散列值=PWJHASH(服务器编号)%hash_table_size
这里的PWJHASH是某种散列函数,它负责将一段字符串转化成指定位数的整形数值。这里的PWJHASH主要把服务器的服务器编号转为散列值,然后再根据散列表的大小进行进一步的运算。
同时需要解释一下服务器编号,所述服务器编号是一个与服务器唯一对应的编号,也就是说,一个服务器只有一个服务器编号,服务器编号可以是使用者自行编排的,也可以直接使用服务器出厂SN号码,本发明对此不做任何限定。
S103:判断所述散列值对应的地址中是否保存有与所述第一监控信息服务器编号相同的第二监控信息;
这里的判断的作用是确定计算得到的散列值所对应的地址中是否有已经保存了同一个服务器之前所发送的监控信息,这个之前所发送的监控信息并不特指是否与当前接收的监控信息为相同的监控信息,只要是同一服务器发送的即可。
优选的,所述散列值对应的地址的存储单元的数据结构为堆结构。
基于散列算法得到的散列表,其中每一个散列值都会指向一个拥有存储单元的地址,这种存储单元可以是优选的以节点形式组成的数据结构,也就是堆,这样的结构形式可以有效的进行后续的针对不同服务器以及不同报警形式的去重和存储,当存储单元为堆的形式时,散列表中每一个散列值都指向一个堆,每个堆中存在一个或多个节点,一个节点用于存储同一个服务器发送的监控信息,但是为什么需要多个节点呢?因为,针对不同的服务器编号所计算得到的散列值有可能是相同的,当出现这种情况时,监控端将散列值相同的不同服务器发送过来的监控信息分别保存在散列值所指向的堆结构中的不同节点中,至于一个堆结构中各个节点之间的连接关系可以优选的由服务器编号的大小来决定谁是父节点谁是子节点,本发明对此不进行限定。
如果有,则进一步与第二监控信息的进行关键词比较;
当判定第一、第二监控信息的服务器编号相同时,则可以确定第一、第二监控信息为同一个服务器发送的,同时还有确定具体位置的作用,还是以散列值所指向的地址的存储单元为堆结构为例介绍,这一判断服务器编号的步骤就是遍历堆中的各个节点,当找到其中一个节点中存储的数据的服务器编号与接收到的监控信息的服务器编号相同时,既可以确定该节点便是该服务器的监控信息存储节点。
优选的,还包括:
如果没有,则将所述接收的第一监控信息存储在所述散列值对应的地址中对应第一监控信息服务器编号的位置。
为了更清楚的说明,还是以存储单元为堆结构为例,当遍历完堆中所有的节点后,没有找到哪一个节点中存储的监控信息含有与第一监控信息相同的服务器编号,则可以确定第一监控信息为所属服务器的第一个监控信息,然后,根据第一监控信息的服务器编号与堆中其他节点中所保存的监控信息的服务器编号之间的关系来确定存储第一监控信息的节点在堆结构中的位置并将第一监控信息存储到确定的节点中。
S104:如果关键词相同,则确定所述接收的第一监控信息为相对第二监控信息的重复监控信息。
这里所比较的关键词主要是指能够确定监控信息或报警信息的具体类型的关键词,比如说CPU过热、功耗过大或内存查找不到等等。当第一、第二监控信息的关键词相同时,即可确定第一、第二监控信息是相同类型的监控信息,也就是说可以由此初步确定第一监控信息为相对于第二监控信息的重复监控信息。
优选的,还包括:
如果关键词不同,则将所述接收的第一监控信息存储在所述第二监控信息所在位置。
这里需要说明的是,如果关键词不同,就意味着第一监控信息与第二监控信息的监控类型是不同的,可能一个是CPU温度监控信息,另一个是功耗报警信息的情况等,那么针对这种来自同一服务器的不同的监控信息,本发明的处理方式是将这些不同的监控信息均存储在堆结构中的同一个节点中,形成一个关于同一个服务器的监控信息链表。
由本实施例可以看出,对于监控端接收到的监控信息,首先根据监控信息中的服务器编号计算得出对应的散列值,以确定同一服务器的监控信息均指向散列表中同一个散列值,其次,通过与该散列值所对应地址中以保存的具有同一服务器编号的监控信息进行关键词比较以判断是否为同一监控类型的监控信息,如果关键词相同,便可确定是重复监控信息,由此大大提高了判断监控信息是否为重复监控信息的效率,有效快速的解决了去除重复监控信息的问题。
实施例二
在实施例一的基础上,本实施例对如何满足一定时间间隔更新存储的监控信息的过程进行说明,请参阅图2,其为本发明一种信息处理方法的另一个方法流程图,包括:
有关S201至S204请参阅实施例一中针对S101至S104的描述,在这里不再赘述,但是,其中增加了一个优选的,具体为:所述第一监控信息和第二监控信息还包括监控信息生成时间。
S205:计算第一监控信息的监控信息生成时间与第二监控信息的监控信息生成时间的时间差;
这里先说明一下为什么需要比较两个重复监控信息的监控信息生成时间。就像前面所说的,如果监控端对接收到的监控信息不进行任何去重处理就进行下一步操作的话,会对网络数据传输造成很大影响,但是,比如说,如果监控端在保存了一个服务器的CPU温度报警信号后,由于判断重复监控信息的方法,之后任意时段的所有这个服务器发送的CPU温度报警信号都会被认定为是相对于已经保存了的该服务器的CPU温度报警信号的重复监控信息,这样的话,监控信息将不再具有实时性和准确性,再次出现的之前已经出现过的监控信息都不会被保存记录下来和发送到相关的监控人处。所以,正常的处理方式是在监控端设置一个时间阈值,使得监控端可以每间隔这个时间阈值便更新原有的监控信息,由此保证了监控信息的实时性和准确性。
S206:比较所述时间差与预设时间阈值的大小;
如果所述时间差大于等于预设时间阈值,则将第二监控信息的内容更新为第一监控信息的内容;
如果所述时间差小于预设时间阈值,则将第一监控信息丢弃。
这里需要对预设时间阈值进行进一步的描述,正如上一步骤所述的,预设时间阈值时为了保证监控信息的实时性和准确性,预设时间阈值保存在监控端,其大小是可以由用户进行设置改变的,当然,如果用户没有对其进行设置,监控端便以一个系统默认值来作为当前的预设时间阈值。
由上述实施例可以看出,相较于实施例一,进一步判断接收到的监控信息和已保存的与接收到监控信息相同监控类型的监控信息之间的监控信息生成时间之差是否满足时间阈值,将满足时间阈值的接收到的监控信息更新保存到散列值对应的地址中,由此大大提高了判断监控信息是否为重复监控信息的效率,有效快速的解决了去除重复监控信息的问题。
实施例三
在实施例一和实施例二的基础上,本实施例将根据具体的应用场景为例来对本发明的整体技术方案进行详细的描述。
请参阅图3,其为本发明基于哈希桶的监控信息去重流程图,整个流程包括确定接收的监控信息是否为重复监控信息,以及如何去除无效的重复监控信息的流程,包括步骤:
S300:多线程监听并接收监控信息。
使用多线程操作是一个优选的处理方式,多线程监听网络并接收服务器发送过来的监控信息,这些多线程是并行循环处理接收到的监控信息,线程的每一步操作都是一样的。
这里对监控信息的相关内容进行详细的描述:
线程接收服务器发送来的监控信息,该监控信息一般会包含服务器编号、监控内容、监控信息生成时间、监控触发的规则和报警类型等。
在监控端支持用户进行调整的监控信息发送规则主要由以下几个参数构成:
监控类型:比如阀值触发报警,状态位报警。
预设时间阈值:监控信息发送间隔时间,多少时间后如果再出现重复监控信息则发送。
监控方式:是否短信提示监控信息。
监控信息响应邮件列表:监控负责人邮件列表。
监控信息响应短信列表:监控负责人短信列表。
本发明中的监控信息表征各个服务器的性能指标,例如:服务器功耗、CPU使用率、内存使用率和硬件故障等。监控信息中至少携带了以下监控参数信息:
服务器编号:每个服务器唯一编号,是在整个全局服务器中的编号。
关键词:对应不同类型的监控信息,可能的关键词有CPU、内存、功耗等。
监控信息生成时间:该条监控信息生成的时间。
监控内容:监控信息的具体内容,例如BatteryStatus:Failed等。
S301:判断预存区是否有空白的预存节点;
如果是,则执行步骤S303;如果否,则执行步骤S302。
线程将从预存区中申请一个节点来保存接收到的当前监控信息,这里需要用到预存区的主要原因是用于应对有时接收到的监控信息频率很高的情况。因为如果每接收到一个监控信息,线程就为了保存该监控信息而向系统底层申请内存的话,这将浪费大量的系统资源,导致处理监控信息的速度下降。因此这里为处理监控信息划分了一块预存区,当线程接收到监控信息后就能立即从预存区中申请节点用于存储,而不用再向系统申请,由此大大提高了处理监控信息的效率。理论上,刚开始启用预存区时,里面的预存节点均是空白的,但是会有很多情况导致有些预存区中的预存节点并非是空白的,比如说,当进行了一段时间的监控信息的去重处理后,会有之前用于保存接收到的监控信息的预存节点返回到预存区,这时,需要先将存有信息的预存节点内的信息清空后再把当前接收到的监控信息存储进来。
S302:预存节点初始化。然后执行步骤S303。
也就是说,清空存有信息的预存节点,使之成为空白的预存节点。
S303:将当前接收到的监控信息预存到预存节点中。
预存节点作为当前接收到的监控信息的存储容器,用于后续的操作。
S304:根据计算得到的散列值确定该散列值所指向的堆。
首先,根据预存在预存节点中的监控信息所携带的服务器编号,通过散列函数计算出对应的散列值,每个散列值都会指向一个存储地址,在本实施例中,这个存储地址的数据结构是堆结构,这种散列值构成的散列表和各个散列值所指向的堆结构,在本技术领域中被称为哈希桶,下面通过图示对其进行解释,请参阅图4,其为本发明哈希桶数据结构示意图,由本图可以比较直观的展示散列表与存储地址之间的关系。哈希桶由散列表和堆组成,其中,散列表是由局域网络中各个服务器的服务器编号计算得到的散列值所组成的,每一个散列值均指向一个地址用于存储拥有对应的服务器编号的监控信息,指向的地址优选的使用堆结构来完成存储功能,由图可见,散列值1指向堆1,以此类推,散列值n指向堆n。
S305:判断堆中是否存储有数据;
如果是,则执行步骤S306;如果否,则执行步骤S307。
当然这里所指的堆是通过S304所确定的对应计算得到的散列值所对应的堆。
S306:判断预存节点中的监控信息的服务器编号与堆中监控信息的服务器编号是否相同。
如果是,则执行步骤S308;如果否,则执行步骤S307。
S307:将预存节点添加到堆中。
也就是说,将预存节点作为堆的组成节点成为堆的一部分。如果说堆中原本没有数据,那么该预存节点将作为堆的第一个节点;如果说堆中原本有数据,那么则根据堆中各个节点中监控数据的服务器编号大小来确定预存节点添加到堆后,在堆中的具体位置。
S308:判断预存节点中的监控信息的关键词与堆中具有相同服务器编号的监控信息的关键词是否相同;
如果是,则执行步骤S310;如果否,则执行步骤S309。
当预存节点中的监控信息的关键词与堆中具有相同服务器编号的监控信息的关键词相同时,也就是说,确定预存节点中监控信息为堆中具有相同服务器编号的以及相同关键词的监控信息的重复监控信息。
S309:将预存节点中的监控信息内容添加到堆中具有相同服务器编号的监控信息所在的节点。
这里需要说明的是,针对同一服务器的不同监控信息,优选的存储方法请参阅图5,其为本发明堆结构的数据存储示意图,由本图可以直观的看到堆结构中节点内部存储多条来自同一服务器的不同关键词或者说不同类型的监控信息之间的位置关系,当然,本图只列出了两条不同类型的监控信息组成的监控信息列表,可以看出监控信息1和监控信息2中服务器编号是相同的,但是关键词不同,分别为关键词1和关键词2,如果有监控信息3、监控信息4等,也可以以同样的连接方式连接。由图中可见,不同类型的监控信息之间是呈一种链表形式的排列顺序,形成了一个监控信息链表,这个链表的先后顺序是以存储时间的顺序,也就是说,先存储进来的监控信息处于监控信息链表的前端,后存储进来的监控信息位于监控链表的尾端。
S310:判断这两个监控信息的监控信息生成时间之差是否满足预设时间阈值;
如果是,则执行步骤S312;如果否,则执行步骤S311。
这里所述的是否满足的具体判断规则是:如果大于等于预设时间阈值则确定为满足预设时间阈值;如果小于预设时间阈值则确定为不满足预设时间阈值。对于预设时间阈值已经在实施例二中进行了详细的描述,在这里就不再赘述了。
S311:将预存节点返回预存区。
也就是说,确定预存节点中监控信息为无效的重复监控信息。
S312:将预存节点中监控信息的内容更新到对应的节点。
也就是说,将原本保存与预存节点中监控信息关键词相同的监控信息的内容更新为预存节点中监控信息的内容。
当然,之后会将这些存储到各个节点的监控数据压入监控队列,用于将监控信息中的内容发送到指定的目标比如说邮件地址或短信地址。
由本实施例可以看出,对于监控端接收到的监控信息,首先根据监控信息中的服务器编号计算得出对应的散列值,以确定同一服务器的监控信息均指向散列表中同一个散列值,其次,通过与该散列值所对应地址中以保存的具有同一服务器编号的监控信息进行关键词比较以判断是否为同一监控类型的监控信息,如果关键词相同,便可确定接收到的监控信息是相对于已保存的监控信息的重复监控信息,之后,进一步判断接收到的监控信息和已保存的与接收到监控信息相同监控类型的监控信息之间的监控信息生成时间之差是否满足时间阈值,将满足时间阈值的接收到的监控信息更新保存到散列值对应的地址中,由此大大提高了判断监控信息是否为重复监控信息的效率,有效快速的解决了去除重复监控信息的问题。
实施例四
与上述一种信息处理方法相对应,本发明实施例还提供了一种信息处理装置。请参阅图6,其为本发明一种信息处理装置的装置结构图,该装置包括:
第一监控信息接收单元601,用于接收服务器发送的第一监控信息,所述第一监控信息包括服务器编号和关键词;
计算散列值单元602,用于根据所述第一监控信息中的服务器编号计算得到对应的散列值;
第一判断单元603,用于判断所述散列值对应的地址中是否保存有与所述第一监控信息服务器编号相同的第二监控信息;
如果有,则执行第一比较单元;
优选的,所述第一判断单元,还用于:
如果没有,则将所述接收的第一监控信息存储在所述散列值对应的地址中对应第一监控信息服务器编号的位置。
优选的,所述散列值对应的地址的存储单元的数据结构为堆结构。
第一比较单元604,用于进一步与第二监控信息的进行关键词比较;
如果关键词相同,则确定所述接收的第一监控信息为相对第二监控信息的重复监控信息。
优选的,所述第一比较单元,还用于:
如果关键词不同,则将所述接收的第一监控信息存储在所述第二监控信息所在位置。
实施例五
在实施例四的基础上,请参阅图7,其为本发明一种信息处理装置的另一个装置结构图,包括:
优选的,所述第一监控信息和第二监控信息还包括监控信息生成时间。
计算时间差单元701,用于计算第一监控信息的监控信息生成时间与第二监控信息的监控信息生成时间的时间差;
第二比较单元702,用于比较所述时间差与预设时间阈值的大小;
更新单元703,用于如果所述时间差大于等于预设时间阈值,则将第二监控信息的内容更新为第一监控信息的内容;
丢弃单元704,用于如果所述时间差小于预设时间阈值,则将第一监控信息丢弃。
由上述实施例可以看出,对于监控端接收到的监控信息,首先根据监控信息中的服务器编号计算得出对应的散列值,以确定同一服务器的监控信息均指向散列表中同一个散列值,其次,通过与该散列值所对应地址中以保存的具有同一服务器编号的监控信息进行关键词比较以判断是否为同一监控类型的监控信息,如果关键词相同,便可确定接收到的监控信息是相对于已保存的监控信息的重复监控信息,之后,进一步判断接收到的监控信息和已保存的与接收到监控信息相同监控类型的监控信息之间的监控信息生成时间之差是否满足时间阈值,将满足时间阈值的接收到的监控信息更新保存到散列值对应的地址中,由此大大提高了判断监控信息是否为重复监控信息的效率,有效快速的解决了去除重复监控信息的问题。
需要说明的是,本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-OnlyMemory,ROM)或随机存储记忆体(RandomAccessMemory,RAM)等。
以上对本发明所提供的一种信息处理方法和装置进行了详细介绍,本文中应用了具体实施例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。

Claims (8)

1.一种信息处理方法,其特征在于,包括:
接收服务器发送的第一监控信息,所述第一监控信息包括服务器编号和关键词;
根据所述第一监控信息中的服务器编号计算得到对应的散列值;
判断所述散列值对应的地址中是否保存有与所述第一监控信息服务器编号相同的第二监控信息;
如果有,则进一步与第二监控信息的进行关键词比较;
如果关键词相同,则确定所述接收的第一监控信息为相对第二监控信息的重复监控信息;
所述第一监控信息和第二监控信息还包括监控信息生成时间;
当确定所述接收的第一监控信息为相对第二监控信息的重复监控信息后,还包括:
计算第一监控信息的监控信息生成时间与第二监控信息的监控信息生成时间的时间差;
比较所述时间差与预设时间阈值的大小;
如果所述时间差大于等于预设时间阈值,则将第二监控信息的内容更新为第一监控信息的内容;
如果所述时间差小于预设时间阈值,则将第一监控信息丢弃。
2.根据权利要求1所述的方法,其特征在于,所述判断所述散列值对应的地址中是否保存有与所述第一监控信息服务器编号相同的第二监控信息,还包括:
如果没有,则将所述接收的第一监控信息存储在所述散列值对应的地址中对应第一监控信息服务器编号的位置。
3.根据权利要求1所述的方法,其特征在于,所述进一步与第二监控信息的进行关键词比较,还包括:
如果关键词不同,则将所述接收的第一监控信息存储在所述第二监控信息所在位置。
4.根据权利要求1所述的方法,其特征在于,所述散列值对应的地址的存储单元的数据结构为堆结构。
5.一种信息处理装置,其特征在于,包括:
第一监控信息接收单元,用于接收服务器发送的第一监控信息,所述第一监控信息包括服务器编号和关键词;
计算散列值单元,用于根据所述第一监控信息中的服务器编号计算得到对应的散列值;
第一判断单元,用于判断所述散列值对应的地址中是否保存有与所述第一监控信息服务器编号相同的第二监控信息;
如果有,则执行第一比较单元;
第一比较单元,用于进一步与第二监控信息的进行关键词比较;
如果关键词相同,则确定所述接收的第一监控信息为相对第二监控信息的重复监控信息;
所述第一监控信息和第二监控信息还包括监控信息生成时间;
计算时间差单元,用于计算第一监控信息的监控信息生成时间与第二监控信息的监控信息生成时间的时间差;
第二比较单元,用于比较所述时间差与预设时间阈值的大小;
更新单元,用于如果所述时间差大于等于预设时间阈值,则将第二监控信息的内容更新为第一监控信息的内容;
丢弃单元,用于如果所述时间差小于预设时间阈值,则将第一监控信息丢弃。
6.根据权利要求5所述的装置,其特征在于,所述第一判断单元,还用于:
如果没有,则将所述接收的第一监控信息存储在所述散列值对应的地址中对应第一监控信息服务器编号的位置。
7.根据权利要求5所述的装置,其特征在于,所述第一比较单元,还用于:
如果关键词不同,则将所述接收的第一监控信息存储在所述第二监控信息所在位置。
8.根据权利要求5所述的装置,其特征在于,所述散列值对应的地址的存储单元的数据结构为堆结构。
CN201310148477.XA 2013-04-25 2013-04-25 一种信息处理方法和装置 Active CN103198004B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310148477.XA CN103198004B (zh) 2013-04-25 2013-04-25 一种信息处理方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310148477.XA CN103198004B (zh) 2013-04-25 2013-04-25 一种信息处理方法和装置

Publications (2)

Publication Number Publication Date
CN103198004A CN103198004A (zh) 2013-07-10
CN103198004B true CN103198004B (zh) 2015-11-11

Family

ID=48720586

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310148477.XA Active CN103198004B (zh) 2013-04-25 2013-04-25 一种信息处理方法和装置

Country Status (1)

Country Link
CN (1) CN103198004B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105095367B (zh) * 2015-06-26 2018-12-28 北京奇虎科技有限公司 一种客户端数据的采集方法和装置
KR102148757B1 (ko) * 2015-09-17 2020-08-27 삼성전자주식회사 통신 시스템에서 데이터를 송수신하는 방법 및 장치
CN105530372A (zh) * 2015-12-03 2016-04-27 小米科技有限责任公司 消息显示方法、装置及终端设备
CN105610631B (zh) * 2016-02-03 2019-07-02 海南随手电子商务有限公司 网络数据处理方法和装置
CN107944041B (zh) * 2017-12-14 2021-11-09 成都雅骏新能源汽车科技股份有限公司 一种hdfs的存储结构优化方法
CN108549671B (zh) * 2018-03-28 2022-07-08 微梦创科网络科技(中国)有限公司 数据实时采集并可视化的实现方法及装置
CN113641871B (zh) * 2021-10-18 2022-02-08 北京医百科技有限公司 一种无锁散列方法、装置、设备及介质
CN114070718B (zh) * 2021-10-19 2023-11-21 深圳市有方科技股份有限公司 一种告警方法、装置和存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101877618A (zh) * 2010-06-30 2010-11-03 中兴通讯股份有限公司 基于无代理方式进行监控的方法、服务器及系统
CN102023033A (zh) * 2009-09-09 2011-04-20 北大方正集团有限公司 一种自动测试方法及系统
CN102611726A (zh) * 2011-01-25 2012-07-25 鸿富锦精密工业(深圳)有限公司 监控报警装置及监控报警方法
CN101833489B (zh) * 2010-05-06 2013-04-10 北京邮电大学 一种文件实时监控和智能备份的方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102023033A (zh) * 2009-09-09 2011-04-20 北大方正集团有限公司 一种自动测试方法及系统
CN101833489B (zh) * 2010-05-06 2013-04-10 北京邮电大学 一种文件实时监控和智能备份的方法
CN101877618A (zh) * 2010-06-30 2010-11-03 中兴通讯股份有限公司 基于无代理方式进行监控的方法、服务器及系统
CN102611726A (zh) * 2011-01-25 2012-07-25 鸿富锦精密工业(深圳)有限公司 监控报警装置及监控报警方法

Also Published As

Publication number Publication date
CN103198004A (zh) 2013-07-10

Similar Documents

Publication Publication Date Title
CN103198004B (zh) 一种信息处理方法和装置
CN107872528B (zh) 消息推送方法及装置
FI90475C (fi) Reaaliaikainen hajautettu tietokannan käsittelyjärjestelmä
US9922133B2 (en) Live topological query
JP6060094B2 (ja) ソート
US9853906B2 (en) Network prioritization based on node-level attributes
CN111008075A (zh) 一种负载均衡系统、方法、装置、设备及介质
CN105022670A (zh) 一种云计算平台中的异构分布式任务处理系统及其处理方法
CN106982236A (zh) 一种信息处理方法、装置和系统
WO2011062685A1 (en) Apparatus and method for loading and updating codes of cluster-based java application system
CN109033814B (zh) 智能合约触发方法、装置、设备及存储介质
JP5958474B2 (ja) データ管理装置、データ管理方法、データ管理プログラム
CN107291544A (zh) 任务调度的方法及装置、分布式任务执行系统
CN103034540A (zh) 分布式消息系统及其设备和协调方法
CN103034541A (zh) 一种分布式消息系统及其中的设备和方法
CN110673928A (zh) 线程绑定方法、装置、存储介质及服务器
JPWO2021131824A5 (zh)
CN105446801A (zh) 分布式系统中的任务处理方法和装置
CN111338903A (zh) 一种交易异常的报警方法及装置
CN104363177A (zh) 一种用于报文处理的规则表项的优化方法及装置
EP3011456B1 (en) Sorted event monitoring by context partition
CN113157427B (zh) 任务迁移的方法、装置、计算机设备及可读存储介质
CN104536785A (zh) 实时系统更新方法及装置
CN104536784B (zh) 实时系统更新方法及装置
US10129147B2 (en) Network-on-chip flit transmission method and apparatus

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CP02 Change in the address of a patent holder
CP02 Change in the address of a patent holder

Address after: 100086 12, 1201, 3 building, 2 South Road, Haidian District Academy of Sciences, Beijing.

Patentee after: Beijing Sohu New Media Information Technology Co., Ltd.

Address before: 100084 Beijing Haidian District Zhongguancun East Road 1 hospital 9 building Sohu cyber building 15 Floor

Patentee before: Beijing Sohu New Media Information Technology Co., Ltd.