CN101902335A - 一种数据过滤与合并的方法 - Google Patents

一种数据过滤与合并的方法 Download PDF

Info

Publication number
CN101902335A
CN101902335A CN2009100850363A CN200910085036A CN101902335A CN 101902335 A CN101902335 A CN 101902335A CN 2009100850363 A CN2009100850363 A CN 2009100850363A CN 200910085036 A CN200910085036 A CN 200910085036A CN 101902335 A CN101902335 A CN 101902335A
Authority
CN
China
Prior art keywords
data
field
rule
merging
merge
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2009100850363A
Other languages
English (en)
Inventor
诸葛凌啸
段文国
王亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Venus Information Security Technology Co Ltd
Beijing Venus Information Technology Co Ltd
Original Assignee
Beijing Venus Information Security Technology Co Ltd
Beijing Venus Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Venus Information Security Technology Co Ltd, Beijing Venus Information Technology Co Ltd filed Critical Beijing Venus Information Security Technology Co Ltd
Priority to CN2009100850363A priority Critical patent/CN101902335A/zh
Publication of CN101902335A publication Critical patent/CN101902335A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种数据过滤与合并的方法,包括:按照数据的类型将数据的结构信息、过滤规则和合并规则存储在对应的配置文件中;接收到数据后,根据所接收的数据的类型读取出对应的配置文件,根据所读取的配置文件中的结构信息和过滤规则滤除或保留该数据;若保留该数据,则根据所读取的配置文件中的结构信息和合并规则将该数据与相应数据进行合并。本发明采用配置文件存储各种不同类型数据的结构信息、过滤规则和合并规则,通过字段的偏移量以及数据在内存中的起始位置读取相应的字段值,从而进行数据的过滤与合并,增加系统的灵活性。

Description

一种数据过滤与合并的方法
技术领域
本发明涉及信息管理技术领域,尤其涉及一种数据过滤与合并的方法。
背景技术
安全信息管理(Security Information Manage,SIM)技术用于搜集、分析和关联来自于整个企业的安全事件信息,安全信息管理技术具体是指搜集和分析安全事件信息,及时地检测到安全事件,并采取相应的网络安全管理措施。对于检测到的安全事件,根据用户的需要,需要按照不同的字段值进行过滤以及合并。
SIMS(Security Information Manage System,SIMS)需要收集各类安全设备、网络设备、主机以及应用系统的日志和告警数据等多种类型的数据,各种数据的类型不尽相同。目前,数据过滤与合并主要采用的方法是将多种数据类型采用硬编码的方式预先定义在程序中,由程序对各种类型的数据分别进行过滤与合并。
采用上述方式的主要缺点在于,数据类型定义好之后便很难再进行修改,此外,由于网络产品的日益增多,系统需要处理的数据类型也在不断的增加,现有的数据类型也会不断的更新,采用硬编码的方式预先定义数据类型,不利于系统的扩展,大大降低了系统的可维护性。
发明内容
本发明要解决的技术问题是提供一种数据过滤与合并的方法,解决硬编码方式无法进行数据类型修改与扩展的问题,实现一种对各种类型的数据进行过滤与合并的通用方法。
为解决上述技术问题,本发明的一种数据过滤与合并的方法,包括:
按照数据的类型将数据的结构信息、过滤规则和合并规则存储在对应的配置文件中;
接收到数据后,根据所接收的数据的类型读取出对应的配置文件,根据所读取的配置文件中的结构信息和过滤规则滤除或保留该数据;
若保留该数据,则根据所读取的配置文件中的结构信息和合并规则将该数据与相应数据进行合并。
进一步地,数据的结构信息包括:数据的各字段的偏移量;
过滤规则下包含过滤规则策略,过滤规则策略下包含数据中每个字段的字段过滤策略;
合并规则下包含合并规则策略,合并规则策略下包含数据中每个字段的字段合并策略。
进一步地,根据所读取的配置文件中的结构信息和过滤规则滤除或保留该数据的过程包括:
根据过滤规则下的字段过滤策略查找过滤字段以及过滤条件;
从数据结构信息中查找过滤字段的偏移量,根据接收的数据在内存中存储的首地址以及过滤字段的偏移量,在内存中查找到该过滤字段的字段值;
判断过滤字段的字段值是否满足过滤条件,并根据过滤规则策略的过滤模式属性选择滤除或保留所接收的数据。
进一步地,根据所读取的配置文件中的结构信息和合并规则将该数据与相应数据进行合并的过程包括:
从数据结构信息中查找接收的数据的每个字段的偏移量,根据该接收的数据在内存中存储的首地址以及每个字段的偏移量,在内存中查找到每个字段的字段值;
判断合并队列中是否存在与接收的数据合并规则策略相同的数据,如果存在,则将接收的数据的每个字段的字段值,按照每个字段的字段合并策略中的合并方式属性,合并入合并队列中合并规则策略相同的数据中;否则,将该接收的数据加入合并队列中。
进一步地,字段过滤策略包含使能属性,该使能属性标识过滤字段,字段过滤策略还包含过滤判断操作、操作数1和操作数2属性,该过滤判断操作、操作数1和操作数2属性表示过滤条件。
进一步地,在进行合并的过程中,从数据结构信息中查找接收的数据的每个字段的偏移量前,还包括:
根据合并规则的字段合并策略的使能属性查找合并过滤字段以及获取字段合并策略的过滤判断操作、操作数1和操作数2属性作为合并过滤条件;
从数据结构信息中查找合并过滤字段的偏移量,根据接收的数据在内存中存储的首地址以及合并过滤字段的偏移量,在内存中查找到该合并过滤字段的字段值;
判断合并过滤字段的字段值是否满足合并过滤条件,并根据合并规则策略的合并过滤模式属性选择滤除或保留所接收的数据,如果保留所接收的数据,则进一步执行从数据结构信息中查找接收的数据的每个字段的偏移量。
进一步地,将数据加入合并队列中后,记录数据加入合并队列的时长以及数据队列中的数据个数;
当合并队列中的某个数据加入合并队列的时长等于合并规则中的合并时间间隔时,将该数据存入发送队列;
当合并队列中的数据个数满足合并规则的合并队列的限制长度后,将合并队列中的数据存入发送队列。
进一步地,一种数据过滤的方法,包括:
按照数据的类型将数据的结构信息和过滤规则存储在对应的配置文件中;
接收到数据后,接收到数据后,根据所接收的数据的类型读取出对应的配置文件,根据所读取的配置文件中的结构信息和过滤规则滤除或保留该数据。
进一步地,数据的结构信息包括:数据的各字段的偏移量;
过滤规则下包含过滤规则策略,过滤规则策略下包含数据中每个字段的字段过滤策略;
根据所读取的配置文件中的结构信息和过滤规则滤除或保留该数据的过程包括:
根据过滤规则的字段过滤策略查找过滤字段以及过滤条件;
从数据结构信息中查找过滤字段的偏移量,根据接收的数据在内存中存储的首地址以及过滤字段的偏移量,在内存中查找到过滤字段的字段值;
判断过滤字段的字段值是否满足过滤条件,并根据过滤规则策略的过滤模式属性选择滤除或保留所接收的数据。
进一步地,一种数据合并的方法,包括:
按照数据的类型将数据的结构信息和合并规则存储在对应的配置文件中;
接收到数据后,根据所接收的数据的类型读取出对应的配置文件,根据读取的配置文件中的结构信息和合并规则将该数据与相应数据进行合并。
进一步地,数据的结构信息包括:数据的各字段的偏移量;
合并规则下包含合并规则策略,合并规则策略下包含数据中每个字段的字段合并策略;
根据读取的配置文件中的结构信息和合并规则将该数据与相应数据进行合并的过程包括:
从数据结构信息中查找接收的数据的每个字段的偏移量,根据该接收的数据在内存中存储的首地址以及每个字段的偏移量,在内存中查找到每个字段的字段值;
判断合并队列中是否存在与接收的数据合并规则策略相同的数据,如果存在,则将接收的数据的每个字段的字段值,按照每个字段的字段合并策略终端的合并方式属性,合并入合并队列中合并规则策略相同的数据中;否则,将该接收的数据加入合并队列中。
综上所述,本发明采用配置文件存储各种不同类型数据的结构信息、过滤规则和合并规则,通过字段的偏移量以及数据在内存中的起始位置读取相应的字段值,从而进行数据的过滤与合并,增加系统的灵活性,当系统中新增数据类型时,只需要将新增类型的数据的结构信息、过滤规则和合并规则存入配置文件中,即可完成该类数据的过滤与合并,本发明为各种类型的数据的过滤与合并提供了简易的接口,增强了可扩充性以及灵活性。
附图说明
图1为本发明方法的流程图;
图2为网卡型数据的字段、偏移量及数据类型的示意图;
图3为网卡型数据的存储形式示意图;
图4为本发明应用示例的流程图;
图5为本发明系统的架构图。
具体实施方式
本实施例采用xml配置文件存储数据的结构信息、过滤规则和合并规则,在数据的结构信息中,对数据的每个字段除了设置字段类型、名称和大小等属性外,还需要设置一个偏移量(offset)属性,用以表明字段相对于其所属数据在内存中的起始位置的偏移量,通过数据在内存中的起始位置以及该数据某一字段的偏移量来获取字段值,以进行数据的过滤与合并。
下面结合附图对本发明的具体实施方式进行说明。
为实现数据的过滤与合并,需要为各种类型的数据定义数据结构、过滤规则和合并规则,并将同种类型数据的结构信息、过滤规则和合并规则存储在一配置文件中。
1、数据的结构说明。
数据的结构(Struct)具有的属性包括:名称(Name)、结构体说明(Text)、结构体类型(Type)、结构体大小(Size)和过滤合并(FilterMerge)等,表1为对结构属性的说明。
表1
Figure B2009100850363D0000061
如,定义网卡类型数据的结构为:<Struct FilteMerge=″1″Name=″netcard″Size=″140″Text=″网卡″Type=″网卡类型″>。
数据的结构中定义数据各字段(Field)的属性,字段的属性包括:名称(Name)、字段说明(Text)、字段类型(Type)、字段大小(Size)、偏移量(Offset)、显示(Display)和过滤合并(FilterMerge)等,表2为对字段属性的说明。
表2
Figure B2009100850363D0000062
如,定义结构体中id字段为:<Field Display=″1″FilteMerge=″1″Name=″id″Offset=″8″Size=″40″Text=″资产ID″Type=″STR″/>。
表3所示为字段类型。
表3
Figure B2009100850363D0000071
2、数据的过滤规则说明。
数据的过滤规则(Filter)对应数据的结构,一种类型的数据对应一过滤规则,过滤规则具有的属性包括:使能(Enable)和类型(Type)等,表4为对过滤规则的属性说明。
表4
Figure B2009100850363D0000072
如,定义8197类型的过滤规则为:<Filter Enable=″1″Type=″8197″>。
过滤规则下包含一过滤规则策略(F_Rule),过滤规则策略所具有的属性包括:使能(Enable)、标识(ID)、过滤模式(Mode)和说明(Text)等,表5为规程策略的属性的说明。
表5
如,定义过滤规则策略为:<F_Rule Enable=″1″ID=″0″Mode=″0″Text=″″>。
过滤规则策略下定义有对应的结构中每个字段的字段过滤策略(F_Field),字段过滤策略具有的属性包括:使能(Enable)、名称(Name)、过滤判断操作(Operate)、操作数1(Value1)和操作数2(Value2),表6为字段过滤策略的属性说明。
表6
Figure B2009100850363D0000082
Figure B2009100850363D0000091
如,定义字段过滤策略为:<F_Field Enable=″1″Name=″Level″Operate=″7″Value1=″2″Value2=″4″/>。
3、数据的合并规则说明。
数据的合并规则(Merge)对应数据的结构,一种类型的数据对应一合并规则,合并规则具有的属性包括:使能(Enable)、合并队列的限制长度(Length)、合并时间间隔(Time)和类型(Type),表7为对合并规则的属性说明。
表7
Figure B2009100850363D0000092
如,定义8197类型的合并规则为:<Merge Enable=″1″Length=″100″Time=″5″Type=″8197″>。
合并规则下包含合并规则策略(M_Rule),合并规则策略具有的属性包括:使能(Enable)、标识(ID)、合并过滤模式(Mode)、说明(Text)和合并时间间隔(Time)等,表8为对合并规则策略的属性说明。
表8
Figure B2009100850363D0000101
如,定义合并策略规则为:<M_Rule Enable=″1″ID=″0″Mode=″0″Text=″″Time=″5″>。
合并规则策略下定义有对应的结构中每个字段的字段合并策略(M_Field),字段合并策略具有的属性包括:使能(Enable)、合并方式(Hold)、名称(Name)、过滤判断操作(Operate)、操作数1(Value1)和操作数2(Value2),表9为字段合并策略的属性说明。
表9
Figure B2009100850363D0000102
如,定义字段合并策略为:<Field Enable=″1″Hold=″0″Name=″UAIP″Operate=″2″Value1=″-1693669184″Value2=″″/>。
图1所示为本发明数据过滤与合并的方法,包括:
101:接收到一条数据后,根据数据的类型读取该数据类型对应的配置文件,根据配置文件生成数据的结构信息列表、过滤规则列表和合并规则列表;
上述数据为采用其所属类型的结构保存的数据。
配置文件是一个xml格式的文件,该文件是动态改变的文件,当过滤或合并规则发生变化时,配置文件也要随之变化。
配置文件包含三个部分:数据结构信息、过滤规则和合并规则,分别对应数据的结构信息列表、过滤规则列表和合并规则列表,数据结构信息、过滤规则以及合并规则的获取由规则管理单元完成。
102:对于接收到的数据,根据结构信息列表以及过滤规则列表进行过滤;
对数据进行过滤时,根据过滤规则列表的字段过滤策略查找作为过滤判断条件的字段(过滤字段)以及过滤条件;再从结构信息列表中查找过滤字段的偏移量,根据该数据在内存中存储的首地址以及过滤字段的偏移量,在内存中查找到该过滤字段的字段值,按照过滤条件判断该字段是否满足过滤条件,并根据过滤规则策略的模式属性选择滤除或保留该数据。
字段过滤策略中的使能属性标识过滤字段,字段过滤策略的过滤判断操作、操作数1和操作数2属性表示过滤条件。
比如,流量数据,其包含IP字段和端口字段,可以将端口字段作为过滤字段,滤除端口号大于255的一条流量数据。
103:对未被滤除的数据,根据结构信息列表以及合并规则列表,判断合并过滤字段是否符合合并过滤条件,并根据合并规则策略的模式属性选择滤除或保留该数据,如果保留该数据,则进一步判断合并队列中是否存在与该数据合并规则策略相同的数据,如果存在,则将该数据合并入合并规则策略相同的数据中;否则,将该数据加入合并队列;
合并队列中的每一条数据对应一个合并规则,将相同合并规则的数据合并入同一数据。
字段合并策略中的使能属性标识合并过滤字段,字段过滤策略的过滤判断操作、操作数1和操作数2属性表示合并过滤条件。
对数据进行合并时,根据数据在内存中存储的首地址以及各字段的偏移量,在内存中查找到每个字段的值,由合并规则列表的字段合并策略的合并方式属性,将每个字段值与数据队列中对应规则的数据进行合并。
104:合并队列中的某个数据加入合并队列的时间到达合并时间间隔或合并队列中的数据个数满足合并队列的限制长度后,将合并队列中的数据存入发送队列,进行转发。
应用示例:
为进行数据的过滤与合并,需要从内存中读取出数据各字段的字段值,下面首先以网卡数据为例,说明读取字段值的方法。
如图2所示,网卡型数据包含9个字段,在配置文件中记录了这9个字段的偏移量以及类型信息。例如,需要获取网卡数据的Index字段的字段值,假设,网卡数据的首地址存于变量pEvent中,由配置文件可知Index字段的偏移量为52,则Index字段的存储地址为pEvent+52,类型是unsigned long,根据地址pEvent+52即可读取出存在于该地址中的unsigned long类型的字段值,图3所示为网卡数据的存储形式,可见pEvent+52即为Index字段。
图4所示为本发明应用示例的流程,包括如下步骤:
401:接收到一条数据后,根据数据的类型读取该数据类型对应的配置文件,根据配置文件生成数据的结构信息列表、过滤规则列表和合并规则列表;
402:查询过滤规则列表,根据使能标志,判断该类数据是否需要进行过滤,如果不需要,则执行步骤405;否则,执行下一步;
表10为本发明的过滤规则列表,包括表5中过滤规则策略的属性以及每个字段的字段过滤策略(FieldList)。
表10
Figure B2009100850363D0000131
403:查询F_FiledList列表,根据Enable属性,判断是否需要将该字段作为过滤判断条件的字段(过滤字段),如果是,则执行步骤404;否则,判断是否将下一字段作为过滤字段(各字段之间的过滤条件为“与”的关系);
404:获取过滤字段的字段值,根据F_FieldList列表中当前过滤字段的operate属性以及操作数的值,判断该过滤字段是否符合过滤条件,并根据过滤规则策略的模式属性选择滤除或保留该数据,如果保留该数据,则执行步骤405;否则,抛弃该数据;
字段过滤策略的过滤判断操作、操作数1和操作数2属性表示过滤条件。
表11为对operate属性取值的定义。
表11
  取值   含义   取值   含义
  0   无操作   1   等于
  2   不等于   3   大于
  4   大于等于   5   小于
  6   小于等于   7   在V0和V1之间(含V0和V1)
  8   在V0和V1之外   9   等于标志
  10   不等于标志
405:查询合并规则列表,根据使能标志,判断该类型的数据是否需要进行合并,如果不需要,则结束;否则,执行步骤406;
合并规则列表与过滤规则列表的形式类似,如表12所示。
表12
Figure B2009100850363D0000141
406:将该数据加入数据队列;
407:从数据队列中读取数据,查询M_FiledList列表,根据Enable属性,判断是否将该字段作为合并过滤判断条件的字段(合并过滤字段),如果是,则执行步骤408;否则,判断是否将下一字段作为合并过滤字段(各字段之间的过滤条件为“与”的关系);
408:获取合并过滤字段的字段值,根据合并规则列表的字段合并策略的Operate属性,由该合并过滤字段的字段值判断该数据是否符合合并过滤条件,并根据合并规则策略的模式属性选择滤除或保留该数据,则执行步骤410;否则,抛弃该数据;
字段合并策略的过滤判断操作、操作数1和操作数2属性表示合并过滤条件。
409:判断合并队列中是否存在与该数据合并规则策略相同的数据,如果存在,则将该数据合并入合并规则策略相同的数据中;否则,将该数据加入合并队列,并记录该数据加入合并队列的时长以及合并队列中的数据个数;
进行数据合并时,根据合并规则列表中的每个字段的字段合并策略的Hold属性,将数据逐个字段合并入合并队列中合并规则策略相同的数据中。
表12为Hold属性的取值及取值的含义。
表12
  取值   含义   取值   含义
  0   保留第一个值   1   保留最后一个值
  2   清空   3   保留最大值
  4   保留最小值   5   保留平均值
  6   保留累加值
410:合并队列中的某个数据加入合并队列的时长到达合并时间间隔时,将该数据存入发送队列;合并队列中的数据个数满足合并队列的限制长度后,将合并队列中的数据存入发送队列。
图5为本发明数据过滤与合并的系统,包括:规则管理单元、规则匹配单元和数据转发单元,其中:
规则管理单元,用于根据数据的类型读取该数据类型对应的配置文件,根据配置文件生成数据的结构信息列表、过滤规则列表和合并规则列表;
规则匹配单元,用于查询过滤规则列表,根据使能标志,判断该类数据是否需要进行过滤,如果不需要,则查询合并规则列表,根据使能标志,判断该类型的数据是否需要进行合并;否则,查询F_FiledList列表,根据Enable属性,判断是否需要依据该字段进行过滤,如果需要进行过滤,则从结构信息列表中查找过滤字段的偏移量,根据该数据在内存中存储的首地址以及过滤字段的偏移量,在内存中查找到该过滤字段的字段值,根据F_FieldList列表中过滤字段的operate属性以及操作数的值,判断该字段是否符合过滤条件,并根据过滤规则策略的模式属性选择滤除或保留该数据;如果不需要进行过滤,则查询合并规则列表,根据使能标志,判断该类型的数据是否需要进行合并,如果不需要合并,则结束;如果需要合并,将该数据加入数据队列;从数据队列中读取数据,查询M_FiledList列表,根据Enable属性,判断是否将该字段作为合并过滤判断条件的合并过滤字段,如果是,获取合并过滤字段的字段值,根据合并规则列表的字段合并策略的Operate属性,由该合并过滤字段的字段值判断该数据是否符合合并过滤条件,并根据合并规则策略的模式属性选择滤除或保留该数据,如果保留该数据,则判断合并队列中是否存在与该数据合并方式相同的数据,如果存在,则将该数据合并入合并方式相同的数据中;否则,将该数据加入合并队列,并记录该数据加入合并队列的时间以及合并队列中的数据个数;当合并队列中的某个数据加入合并队列的时间到达合并时间间隔或合并队列中的数据个数满足合并队列的限制长度后,将合并队列中的数据存入发送队列。
数据转发单元,用于转发发送队列中的数据。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (11)

1.一种数据过滤与合并的方法,包括:
按照数据的类型将数据的结构信息、过滤规则和合并规则存储在对应的配置文件中;
接收到数据后,根据所接收的数据的类型读取出对应的配置文件,根据所读取的配置文件中的结构信息和过滤规则滤除或保留该数据;
若保留该数据,则根据所读取的配置文件中的结构信息和合并规则将该数据与相应数据进行合并。
2.如权利要求1所述的方法,其特征在于,
所述数据的结构信息包括:数据的各字段的偏移量;
所述过滤规则下包含过滤规则策略,所述过滤规则策略下包含数据中每个字段的字段过滤策略;
所述合并规则下包含合并规则策略,所述合并规则策略下包含数据中每个字段的字段合并策略。
3.如权利要求2所述的方法,其特征在于,所述根据所读取的配置文件中的结构信息和过滤规则滤除或保留该数据的过程包括:
根据过滤规则下的字段过滤策略查找过滤字段以及过滤条件;
从数据结构信息中查找过滤字段的偏移量,根据接收的数据在内存中存储的首地址以及过滤字段的偏移量,在内存中查找到该过滤字段的字段值;
判断所述过滤字段的字段值是否满足过滤条件,并根据过滤规则策略的过滤模式属性选择滤除或保留所接收的数据。
4.如权利要求2所述的方法,其特征在于,所述根据所读取的配置文件中的结构信息和合并规则将该数据与相应数据进行合并的过程包括:
从数据结构信息中查找接收的数据的每个字段的偏移量,根据该接收的数据在内存中存储的首地址以及每个字段的偏移量,在内存中查找到每个字段的字段值;
判断合并队列中是否存在与接收的数据合并规则策略相同的数据,如果存在,则将接收的数据的每个字段的字段值,按照每个字段的字段合并策略中的合并方式属性,合并入合并队列中合并规则策略相同的数据中;否则,将该接收的数据加入合并队列中。
5.如权利要求3所述的方法,其特征在于,所述字段过滤策略包含使能属性,该使能属性标识所述过滤字段,所述字段过滤策略还包含过滤判断操作、操作数1和操作数2属性,该过滤判断操作、操作数1和操作数2属性表示过滤条件。
6.如权利要求4所述的方法,其特征在于,在进行合并的过程中,从数据结构信息中查找接收的数据的每个字段的偏移量前,还包括:
根据合并规则的字段合并策略的使能属性查找合并过滤字段以及获取字段合并策略的过滤判断操作、操作数1和操作数2属性作为合并过滤条件;
从数据结构信息中查找合并过滤字段的偏移量,根据接收的数据在内存中存储的首地址以及合并过滤字段的偏移量,在内存中查找到该合并过滤字段的字段值;
判断所述合并过滤字段的字段值是否满足合并过滤条件,并根据合并规则策略的合并过滤模式属性选择滤除或保留所接收的数据,如果保留所接收的数据,则进一步执行所述从数据结构信息中查找接收的数据的每个字段的偏移量。
7.如权利要求6所述的方法,其特征在于,
将数据加入合并队列中后,记录数据加入合并队列的时长以及数据队列中的数据个数;
当合并队列中的某个数据加入合并队列的时长等于合并规则中的合并时间间隔时,将该数据存入发送队列;
当合并队列中的数据个数满足合并规则的合并队列的限制长度后,将合并队列中的数据存入发送队列。
8.一种数据过滤的方法,包括:
按照数据的类型将数据的结构信息和过滤规则存储在对应的配置文件中;
接收到数据后,接收到数据后,根据所接收的数据的类型读取出对应的配置文件,根据所读取的配置文件中的结构信息和过滤规则滤除或保留该数据。
9.如权利要求8所述的方法,其特征在于,
所述数据的结构信息包括:数据的各字段的偏移量;
所述过滤规则下包含过滤规则策略,所述过滤规则策略下包含数据中每个字段的字段过滤策略;
所述根据所读取的配置文件中的结构信息和过滤规则滤除或保留该数据的过程包括:
根据过滤规则的字段过滤策略查找过滤字段以及过滤条件;
从数据结构信息中查找过滤字段的偏移量,根据接收的数据在内存中存储的首地址以及过滤字段的偏移量,在内存中查找到所述过滤字段的字段值;
判断所述过滤字段的字段值是否满足过滤条件,并根据过滤规则策略的过滤模式属性选择滤除或保留所接收的数据。
10.一种数据合并的方法,包括:
按照数据的类型将数据的结构信息和合并规则存储在对应的配置文件中;
接收到数据后,根据所接收的数据的类型读取出对应的配置文件,根据读取的配置文件中的结构信息和合并规则将该数据与相应数据进行合并。
11.如权利要求10所述的方法,其特征在于,
所述数据的结构信息包括:数据的各字段的偏移量;
所述合并规则下包含合并规则策略,所述合并规则策略下包含数据中每个字段的字段合并策略;
所述根据读取的配置文件中的结构信息和合并规则将该数据与相应数据进行合并的过程包括:
从数据结构信息中查找接收的数据的每个字段的偏移量,根据该接收的数据在内存中存储的首地址以及每个字段的偏移量,在内存中查找到每个字段的字段值;
判断合并队列中是否存在与接收的数据合并规则策略相同的数据,如果存在,则将接收的数据的每个字段的字段值,按照每个字段的字段合并策略终端的合并方式属性,合并入合并队列中合并规则策略相同的数据中;否则,将该接收的数据加入合并队列中。
CN2009100850363A 2009-05-27 2009-05-27 一种数据过滤与合并的方法 Pending CN101902335A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN2009100850363A CN101902335A (zh) 2009-05-27 2009-05-27 一种数据过滤与合并的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2009100850363A CN101902335A (zh) 2009-05-27 2009-05-27 一种数据过滤与合并的方法

Publications (1)

Publication Number Publication Date
CN101902335A true CN101902335A (zh) 2010-12-01

Family

ID=43227558

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2009100850363A Pending CN101902335A (zh) 2009-05-27 2009-05-27 一种数据过滤与合并的方法

Country Status (1)

Country Link
CN (1) CN101902335A (zh)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102255749A (zh) * 2011-06-27 2011-11-23 中兴通讯股份有限公司 一种引发网络设备故障的异常报文捕获方法及装置
CN102594625A (zh) * 2012-03-07 2012-07-18 北京启明星辰信息技术股份有限公司 一种apt智能检测分析平台中的白数据过滤方法及系统
CN103186562A (zh) * 2011-12-28 2013-07-03 腾讯科技(北京)有限公司 数据自适应过滤方法及装置
CN103294697A (zh) * 2012-02-24 2013-09-11 腾讯科技(北京)有限公司 一种数据自适应解析方法及装置
WO2014019349A1 (zh) * 2012-08-01 2014-02-06 华为技术有限公司 一种文件合并方法和装置
CN104717078A (zh) * 2013-12-13 2015-06-17 贵州电网公司信息通信分公司 基于配置的数据归并方法
CN105677579A (zh) * 2014-11-20 2016-06-15 博雅网络游戏开发(深圳)有限公司 缓存系统中的数据访问方法和系统
CN106355632A (zh) * 2016-08-30 2017-01-25 广联达科技股份有限公司 渲染对象的过滤方法和渲染对象的过滤装置
CN107085587A (zh) * 2015-12-30 2017-08-22 商业对象软件有限公司 混合数据操作中的间接过滤
CN107844524A (zh) * 2017-10-12 2018-03-27 金蝶软件(中国)有限公司 数据处理方法、数据处理装置、计算机设备和存储介质
CN109710611A (zh) * 2018-12-25 2019-05-03 北京三快在线科技有限公司 存储表数据的方法、查询表数据的方法、装置及存储介质
CN110753206A (zh) * 2018-07-24 2020-02-04 杭州海康威视系统技术有限公司 客流统计方法及装置、摄像机
WO2021072776A1 (zh) * 2019-10-18 2021-04-22 北京欧珀通信有限公司 数据合并方法、装置、电子设备及存储介质
CN113114707A (zh) * 2021-06-15 2021-07-13 南方电网数字电网研究院有限公司 一种电力芯片以太网控制器规则过滤方法
CN114925757A (zh) * 2022-05-09 2022-08-19 中国电信股份有限公司 多源威胁情报融合方法、装置、设备和存储介质
CN116132534A (zh) * 2022-07-01 2023-05-16 马上消费金融股份有限公司 业务请求的存储方法、装置、设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003049369A2 (en) * 2001-12-07 2003-06-12 Lto Limited Content based data routing
CN1815971A (zh) * 2005-02-03 2006-08-09 杭州华为三康技术有限公司 基于集中管理分布控制的绿色上网系统及方法
CN101355774A (zh) * 2008-09-12 2009-01-28 河北全通通信有限公司 使用配置文件定制脚本自动化的方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003049369A2 (en) * 2001-12-07 2003-06-12 Lto Limited Content based data routing
CN1815971A (zh) * 2005-02-03 2006-08-09 杭州华为三康技术有限公司 基于集中管理分布控制的绿色上网系统及方法
CN101355774A (zh) * 2008-09-12 2009-01-28 河北全通通信有限公司 使用配置文件定制脚本自动化的方法

Cited By (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102255749A (zh) * 2011-06-27 2011-11-23 中兴通讯股份有限公司 一种引发网络设备故障的异常报文捕获方法及装置
CN102255749B (zh) * 2011-06-27 2017-12-15 中兴通讯股份有限公司 一种引发网络设备故障的异常报文捕获方法及装置
CN103186562A (zh) * 2011-12-28 2013-07-03 腾讯科技(北京)有限公司 数据自适应过滤方法及装置
CN103294697A (zh) * 2012-02-24 2013-09-11 腾讯科技(北京)有限公司 一种数据自适应解析方法及装置
CN103294697B (zh) * 2012-02-24 2018-06-19 腾讯科技(北京)有限公司 一种数据自适应解析方法及装置
CN102594625B (zh) * 2012-03-07 2016-04-20 北京启明星辰信息技术股份有限公司 一种apt智能检测分析平台中的白数据过滤方法及系统
CN102594625A (zh) * 2012-03-07 2012-07-18 北京启明星辰信息技术股份有限公司 一种apt智能检测分析平台中的白数据过滤方法及系统
WO2014019349A1 (zh) * 2012-08-01 2014-02-06 华为技术有限公司 一种文件合并方法和装置
CN103577454A (zh) * 2012-08-01 2014-02-12 华为技术有限公司 一种文件合并方法和装置
CN104717078A (zh) * 2013-12-13 2015-06-17 贵州电网公司信息通信分公司 基于配置的数据归并方法
CN105677579A (zh) * 2014-11-20 2016-06-15 博雅网络游戏开发(深圳)有限公司 缓存系统中的数据访问方法和系统
CN105677579B (zh) * 2014-11-20 2018-08-17 博雅网络游戏开发(深圳)有限公司 缓存系统中的数据访问方法和系统
CN107085587A (zh) * 2015-12-30 2017-08-22 商业对象软件有限公司 混合数据操作中的间接过滤
CN107085587B (zh) * 2015-12-30 2021-12-14 商业对象软件有限公司 混合数据操作中的间接过滤
CN106355632A (zh) * 2016-08-30 2017-01-25 广联达科技股份有限公司 渲染对象的过滤方法和渲染对象的过滤装置
CN106355632B (zh) * 2016-08-30 2019-06-18 广联达科技股份有限公司 渲染对象的过滤方法和渲染对象的过滤装置
CN107844524A (zh) * 2017-10-12 2018-03-27 金蝶软件(中国)有限公司 数据处理方法、数据处理装置、计算机设备和存储介质
CN110753206A (zh) * 2018-07-24 2020-02-04 杭州海康威视系统技术有限公司 客流统计方法及装置、摄像机
CN110753206B (zh) * 2018-07-24 2021-04-27 杭州海康威视系统技术有限公司 客流统计方法及装置、摄像机
CN109710611B (zh) * 2018-12-25 2019-09-17 北京三快在线科技有限公司 存储表数据的方法、查询表数据的方法、装置及存储介质
CN109710611A (zh) * 2018-12-25 2019-05-03 北京三快在线科技有限公司 存储表数据的方法、查询表数据的方法、装置及存储介质
WO2021072776A1 (zh) * 2019-10-18 2021-04-22 北京欧珀通信有限公司 数据合并方法、装置、电子设备及存储介质
CN113114707A (zh) * 2021-06-15 2021-07-13 南方电网数字电网研究院有限公司 一种电力芯片以太网控制器规则过滤方法
CN114925757A (zh) * 2022-05-09 2022-08-19 中国电信股份有限公司 多源威胁情报融合方法、装置、设备和存储介质
CN114925757B (zh) * 2022-05-09 2023-10-03 中国电信股份有限公司 多源威胁情报融合方法、装置、设备和存储介质
CN116132534A (zh) * 2022-07-01 2023-05-16 马上消费金融股份有限公司 业务请求的存储方法、装置、设备及存储介质
CN116132534B (zh) * 2022-07-01 2024-03-08 马上消费金融股份有限公司 业务请求的存储方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
CN101902335A (zh) 一种数据过滤与合并的方法
Zhang et al. Routing optimization with time windows under uncertainty
CN111461711B (zh) 一种区块链交易的追踪系统
CN110135890A (zh) 基于知识关系挖掘的产品数据推送方法及相关设备
CN105469275A (zh) 一种基于多商家的积分数据处理方法及系统
CN106528787A (zh) 一种基于海量数据多维分析的查询方法及装置
CN110489413A (zh) 一种交易记录存储、查询方法和系统、设备及存储介质
CN106294462A (zh) 一种获取推荐视频的方法和系统
CN102024224A (zh) 实现商品最优时间上架和/或下架的电子商务系统及方法
CN102063466A (zh) 基于策略的数据库强制访问控制方法及其系统
CN107315657A (zh) 一种数据备份的方法及装置
CN104391899B (zh) 一种集中清算系统的数据管理方法及系统
CN107423969A (zh) 一种基于不同商户的智能支付移动终端
CN103067618A (zh) 来电显示方法及系统
CN102932416A (zh) 一种信息流任务的中间数据存储方法、处理方法及装置
CN106161193A (zh) 一种邮件处理方法、装置和系统
CN106776910A (zh) 一种搜索结果的显示方法及装置
CN107729330A (zh) 获取数据集的方法和装置
CN104717078A (zh) 基于配置的数据归并方法
CN107424005A (zh) 一种基于不同商户的智能支付方法
CN101101627A (zh) 一种针对常旅客的服务系统及实现方法
CN106156294B (zh) 一种快速查找关联数据的方法
CN107809460A (zh) 基于复合物联网的燃气费用通知方法及物联网系统
CN102034305A (zh) 复合应用业务处理方法及智能卡
CN101650734A (zh) 一种表单过滤方法、装置、表单处理系统及信息处理设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20101201