CN102929799B - 数据采集存储方法及系统 - Google Patents

Abstract

本发明属于移动互联网领域，具体为数据采集存储方法及系统，能够提高存储效率。数据采集存储方法包括：采集数据传输节点之间传输的数据；将采集到的所述数据送入第一缓存；当所述第一缓存中的所有数据形成的长度达到预设阈值时，将第一缓存中的所有数据批量送入第二缓存；在第二缓存中，根据预先设置的过滤条件，对采集到的所有数据进行过滤处理，得到有效数据；将经过滤处理得到的所述有效数据进行存储。所述采集数据传输节点之间传输的数据之前，还包括：采用分光器将数据传输节点之间传输的信号分出一部分；将分出的这部分信号转换为二进制数据包，进而采集所述二进制数据包。

Description

数据采集存储方法及系统

技术领域

本发明涉及移动互联网领域，尤其涉及数据采集存储方法及系统。

背景技术

作为移动网络的运营商来说，往往需要监测移动终端对互联网数据业务的使用情况，进而获取相关业务信息并存储，如移动终端的上网记录、通话记录等。现有技术中，一般通过数据采集存储系统去采集移动终端在互联网中所进行的数据传输，以实现对网络传输数据的采集存储。

然而，传统的数据采集存储系统，在对数据传输节点之间的传输信号进行采集的过程中，只能做到将采集点的所有数据全部采集，进而对采集到的所有数据进行存储；但对于运营商来说，采集到的所有数据并不全是所需要的数据，其中包含了大量的垃圾数据；因而在存储数据的过程中，对这些大量的垃圾数据也进行了存储，从而降低了存储性能，导致存储效率较低。

发明内容

本发明提出了数据采集存储方法及系统，能够提高存储效率。

为了达到上述目的，本发明的技术方案是这样实现的：

数据采集存储方法，包括：

采集数据传输节点之间传输的数据；

将采集到的所述数据送入第一缓存；

当所述第一缓存中的所有数据形成的长度达到预设阈值时，将第一缓存中的所有数据批量送入第二缓存；

在第二缓存中，根据预先设置的过滤条件，对采集到的所有数据进行过滤处理，得到有效数据；

将经过滤处理得到的所述有效数据进行存储。

优选地，所述采集数据传输节点之间传输的数据之前，还包括：采用分光器将数据传输节点之间传输的信号分出一部分；将分出的这部分信号转换为二进制数据包；

所述采集数据传输节点之间传输的数据包括：采集所述二进制数据包。

优选地，在采集到所述二进制数据包之后，所述采集数据传输节点之间传输的数据还包括：

向所述二进制数据包中添加时间戳标识；

将添加了时间戳标识的二进制数据包送入所述第一缓存中；

当所述第一缓存中存储的所有二进制数据包形成的长度达到所述预设阈值时，采用DMA技术将所有二进制数据包批量送入所述第二缓存中，以执行所述对采集到的所有数据进行过滤处理的步骤。

优选地，在所述对采集到的所有数据进行过滤处理之后，该方法进一步包括：根据预先设置的IP地址类别，对经过滤处理得到的所述有效数据进行分流处理，得到均等的多股数据；

所述将经过滤处理得到的所述有效数据进行存储，进一步包括：将经分流处理得到的每一股数据进行分别存储。

优选地，所述过滤条件包括数据传输节点中数据发送方或接收方的IP地址；

对采集到的数据进行过滤和/或分流处理，包括：

设置有IP地址的哈希表，该哈希表中存储了一个以上的IP地址；

在采集到数据传输节点之间传输的数据之后，根据数据传输节点中数据发送方或接收方的IP地址，在所述哈希表中进行查找；

若查找到与所述数据发送方或接收方的IP地址相符的IP地址，则进行相应的过滤和/或分流处理。

优选地，所述对经分流得到的每一股数据进行分别存储，包括：

设置有磁盘阵列，将所述每一股数据均分存储在磁盘阵列中每一个小磁盘里。

优选地，所述磁盘阵列中的每一个小磁盘为固态硬盘。

本发明还提供了数据采集存储系统，包括：

采集模块，用于采集数据传输节点之间传输的数据；

第一发送模块，用于将采集到的所述数据送入第一缓存；

第二发送模块，用于当所述第一缓存中的所有数据形成的长度达到预设阈值时，将第一缓存中的所有数据批量送入第二缓存；

过滤模块，用于在第二缓存中，根据预先设置的过滤条件，对采集到的所有数据进行过滤处理，得到有效数据；

存储模块，用于将经过滤处理得到的所述有效数据进行存储。

优选地，进一步包括：分光器，用于将数据传输节点之间传输的信号分出一部分；转换模块，用于将分出的这部分信号转换为二进制数据包；

所述采集模块，用于采集所述二进制数据包。

优选地，进一步包括：时间戳模块，用于向所述二进制数据包中添加时间戳标识；

所述第一发送模块，用于将添加了时间戳标识的二进制数据包送入所述第一缓存中；

所述第二发送模块包括DMA单元，用于当所述第一缓存中存储的所有二进制数据包形成的长度达到所述预设阈值时，采用DMA技术将所有二进制数据包批量送入所述第二缓存中。

与现有技术相比，本发明提供的数据采集存储方法及系统，在采集到数据传输节点之间传输的数据之后，先将该数据送入第一缓存，当第一缓存中的所有数据形成的长度达到预设阈值时，将第一缓存中的所有数据批量送入第二缓存中；这样，则不需要每采集到一个数据，则进行一次数据输送，而是采用了两级缓存，当第一缓存中的所有数据的长度达到预设阈值时，才将所有数据批量送入第二缓存，进而实现对采集到的所有数据进行二级输送，从而可提高对采集到的所有数据的输送速率；进一步地，在第二缓存中，根据预先设置的过滤条件，对采集到的所有数据进行过滤处理，得到有效数据，进而存储该有效数据；这样，则不需要对采集到的所有数据进行存储，可以根据预设的过滤条件，选择出有效数据，排除大量的垃圾数据，从而大大提高了存储效率，增强存储性能。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例一提供的一种数据采集存储方法的流程图；

图2为本发明实施例二提供的另一种数据采集存储方法的流程图；

图3为本发明实施例三提供的一种数据采集存储系统的模块图；

图4为本发明实施例四提供的另一种数据采集存储系统的模块图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例一

本发明实施例一提供了一种数据采集存储方法，参见图1，该方法包括：

步骤S101：采集数据传输节点之间传输的数据；

其中，数据传输节点为移动互联网中的数据发送方和数据接收方，例如移动终端和基站；

采集接口包括：Gn、Gb、Gi、Gw、Iu-PSolP、MM1、MM3、MM4、MM7、SMPP、SMRSE、CMPP、CIMD；

步骤S102：将采集到的所述数据送入第一缓存；

步骤S103：当所述第一缓存中的所有数据形成的长度达到预设阈值时，将第一缓存中的所有数据批量送入第二缓存；

步骤S104：在第二缓存中，根据预先设置的过滤条件，对采集到的所述数据进行过滤处理，得到有效数据；

具体地，该过滤条件可以是：数据传输节点中数据发送方的IP地址、数据接收方的IP地址，或者APN接入点，或者协议类型，等；

对于特定端口的采集接口，还可以设置电话号码、网络类型、用户终端等过滤条件；

步骤S105：将经过滤处理得到的有效数据进行存储。

本发明实施例一提供的数据采集存储方法及系统，在采集到数据传输节点之间传输的数据之后，先将该数据送入第一缓存，当第一缓存中的所有数据形成的长度达到预设阈值时，将第一缓存中的所有数据批量送入第二缓存中；这样，则不需要每采集到一个数据，则进行一次数据输送，而是采用了两级缓存，当第一缓存中的所有数据的长度达到预设阈值时，才将所有数据批量送入第二缓存，进而实现对采集到的所有数据进行二级输送，从而可提高对采集到的所有数据的输送速率；进一步地，在第二缓存中，根据预先设置的过滤条件，对采集到的所有数据进行过滤处理，得到有效数据，进而存储该有效数据；这样，则不需要对采集到的所有数据进行存储，可以根据预设的过滤条件，选择出有效数据，排除大量的垃圾数据，从而大大提高了存储效率，增强存储性能。

为了更清楚地阐述实施例一提供的数据采集存储方法，下面给出该方法的一个优选实施例，来具体说明数据采集存储过程，请参见实施例二。

实施例二

本发明实施例二提供了另一种数据采集存储方法，为上述数据采集存储方法的一个优选实施方式，其中，数据采集存储是基于硬件设备实现的，该硬件设备内部设置有IP数据采集卡，以完成数据采集过程；该方法中，过滤条件设置为数据发送方或数据接收方的IP地址；具体地，参见图2，该方法包括：

步骤201：建立数据传输节点之间的信号连接；

其中，数据传输节点为移动互联网中的数据发送方和数据接收方，例如移动终端和基站；

也就是说，在进行采集过程之前，要确保数据传输节点之间的信号连接正常；

步骤202：采用分光器，将数据传输节点之间传输的信号分出一部分；

步骤203：将分出的这部分信号转换为二进制数据包；

具体地，可根据信号传输载体的类型，设置光接口或电接口，将分出的信号转换为二进制数据包；

步骤204：采集二进制数据包；

步骤205：向二进制数据包中添加时间戳标识；

优选地，向每个数据包中添加的时间戳标识的时间间隔，其精度达到10纳秒；

这样，当采集到的所有二进制数据包均送入第一缓存中之后，可根据每个数据包携带的时间戳标识进行数据包的排序，以防止数据发生错乱；

步骤206：将添加了时间戳标识的二进制数据包送至第一缓存；

该第一缓存为硬件设备内设置的IP数据采集卡的缓存；

步骤207：当第一缓存中存储的所有二进制数据包形成的长度达到预设阈值时，采用DMA直接内存技术将所有二进制数据包批量拷贝到第二缓存中；

该第二缓存为硬件设备的缓存；

本实施例中，上述步骤204-步骤207中执行的操作具体通过IP硬件采集卡实现，相应地，第一缓存则是该IP数据采集卡内的缓存；当IP数据采集卡内的缓存中存放的数据包长度达到预设阈值时，才将缓存中的所有数据批量拷贝到硬件设备的缓存中；

这样，硬件设备的缓存中存储了采集到的数据传输节点之间传输的数据；至此，实现了对数据传输节点之间传输的数据的采集过程；

因为采用DMA技术将IP数据采集卡的缓存中存放的数据批量输出到硬件设备的缓存中，进而通过PCI-E总线将缓存中的数据送入硬件设备的内存映射区，达到非中断式的数据采集拷贝，而无须通过硬件设备的CPU来控制，减轻了硬件设备CPU的处理压力，提高硬件设备的整体处理效率；而且，批量输出方式进一步提高了数据输出的速率；

步骤208：根据预先设置的过滤条件，对第二缓存中的数据进行过滤处理，得到有效数据；

具体地，可设置数据传输节点中数据发送方的IP地址作为过滤条件，筛选出由该IP地址发出的数据，作为有效数据；

此时，可直接将过滤处理得到的有效数据由第二缓存中直接送入内存进行存储；当然，为了达到更好的效果，在将过滤处理得到的有效数据送入内存之前，还可进一步对该有效数据进行分流处理；

具体地，该方法进一步包括：

步骤209：根据预先设置的IP地址类别，对经过滤处理得到的所述有效数据进行分流处理，得到均等的多股数据；

也就是说，可根据数据发送方的IP地址或接收方的IP地址，对有效数据进行分流处理；

步骤210：将分流处理得到的每一股数据进行分别存储；

其中，多个分流使用多进程并行处理，每个分流对应一个输入缓冲区，一个或多个输出缓冲区，进而实现对分流得到的每一股数据的分别存储；这样，提高了设备整体的计算速率和存储速率；

为了提高存储速率，本实施例中，设置有磁盘阵列RAID，将所述每一股数据均分存储在磁盘阵列中每一个小磁盘里；

为了进一步提高存储速率，可将磁盘阵列中的每一个小磁盘设置为固态硬盘；

这样，就可以在保证性能的前提下实现多块小磁盘的同时读写，并且使用固态硬盘的高速率存储，进一步解决硬盘的存储容量及速率瓶颈。

需要说明的是，分流处理得到的每一股数据，可按照原始数据流顺序排序，过滤后也可以按照用户session会话结束的顺序重新排序，最终将数据存储在设备的硬盘中；具体地，可按照数据包中携带的时间戳标识进行顺序排序，也可以按照移动终端在访问某个网站时的会话结束时间来重新排序；

此外，本实施例中，为了使得过滤处理和/或分流处理的速度得到有效提高，过滤处理过程和/或分流处理过程，可通过如下方法实现：

步骤a：设置有IP地址的哈希表，该哈希表中存储了一个以上的IP地址；

具体地，本实施例中，设置有16MB的存储空间来存放该哈希表；

步骤b：在采集到数据传输节点之间传输的数据之后，根据数据传输节点中数据发送方或接收方的IP地址，在所述哈希表中进行查找；

步骤c：若查找到与所述数据发送方或接收方的IP地址相符的IP地址，则进行相应的过滤和/或分流处理。

本发明实施例二提供的数据采集存储方法，能够大大提高采集和存储性能，满足最大采集速率4Gbps不丢包，最多可存储120T数据，可支持数据发送方的IP地址、接收方的IP地址、用户号码、APN接入点、网络类型等多元素过滤。

而且，由于设置了第一缓存和第二缓存，进而对采集到的所有数据先送入第一缓存中，当第一缓存中的所有数据形成的长度达到预设阈值时，再将第一缓存中的所有数据批量送入第二缓存中，以在第二缓存中对采集到的所有数据进行过滤和/或分流处理；这样，相比于现有技术中每采集到一个数据，则进行一次输送，本发明中，采用了两级缓存，当第一缓存中的所有数据的长度达到预设阈值时，才将所有数据批量送入第二缓存，进而实现对采集到的所有数据进行二级输送，从而可大大提供对采集到的所有数据的输送速率；

进一步地，每采集到一个二进制数据包，则向该二进制数据包中添加时间戳标识，这样，当采集到的所有二进制数据包均送入第一缓存中之后，可根据每个数据包携带的时间戳标识进行数据包的排序，以防止数据发生错乱；

此外，本发明中，采用DMA直接内存技术将第一缓存中的所有二进制数据包批量拷贝到第二缓存中；而第一缓存是IP硬件采集卡的缓存，第二缓存为整体硬件设备的缓存；也就是说，通过PCI-E总线将IP硬件采集卡的缓存中的数据送入硬件设备的缓存中，达到非中断式的数据采集拷贝，而无须通过硬件设备的CPU来控制，减轻了硬件设备CPU的处理压力，提高硬件设备的整体处理效率；而且，批量输出方式进一步提高了数据输出的速率；

而且，由于采用由固态硬盘组成的磁盘阵列来存储最终的数据，可实现对多块小磁盘的同时读写，进一步加快存储速率。

实施例三

针对实施例一提供的数据采集存储方法，本发明实施例三提供了一种数据采集存储系统，参见图3，该系统包括：

采集模块31，用于采集数据传输节点之间传输的数据；

其中，采集模块31为IP数据采集卡；

第一发送模块32，用于将采集到的所述数据送入第一缓存；

第二发送模块33，用于当所述第一缓存中的所有数据形成的长度达到预设阈值时，将第一缓存中的所有数据批量送入第二缓存；

过滤模块34，用于在第二缓存中，根据预先设置的过滤条件，对采集到的所述数据进行过滤处理，得到有效数据；

存储模块35，用于将经过滤处理得到的所述有效数据进行存储；

其中，存储模块35为多个固态硬盘组成的磁盘阵列。

实施例四

针对实施例二，本发明实施例四提供了另一种数据采集存储系统，参见图4，该系统包括：

连接模块41，用于建立数据传输节点之间的信号连接；

分光器42，用于将数据传输节点之间传输的信号分出一部分；

转换模块43，用于将分出的这部分信号转换为二进制数据包；

IP数据采集卡44，包括：采集模块441，时间戳模块442，输送模块443，DMA单元444；具体地，

采集模块441，用于采集二进制数据包；

时间戳模块442，用于向二进制数据包中添加时间戳标识；

输送模块443，用于将添加了时间戳标识的二进制数据包送至第一缓存；

DMA单元444，用于当第一缓存中存储的所有二进制数据包形成的长度达到预设阈值时，采用DMA直接内存技术将所有二进制数据包批量拷贝到第二缓存中；

该第二缓存为硬件设备的缓存；

过滤模块45，用于根据预先设置的过滤条件，对第二缓存中的数据进行过滤处理，得到有效数据；

该系统进一步包括分流模块46，用于根据预先设置的IP地址类别，对经过滤处理得到的所述有效数据进行分流处理，得到均等的多股数据；

存储模块47，用于将分流处理得到的每一股数据进行分别存储；也用于将过滤处理得到的有效数据直接进行存储；

优选地，存储模块47具体为磁盘阵列RAID，磁盘阵列中包括多个小磁盘，且每一个小磁盘为固态硬盘；

此外，为了提高过滤模块45和分流模块46的处理速率，该系统进一步包括辅助模块48，分别与过滤模块和分流模块连接，用来辅助过滤模块和分流模块进行相应的过滤和分流操作；

该辅助模块48包括：哈希表子模块481和查找子模块482；具体地，

哈希表子模块481，用于设置IP地址的哈希表，该哈希表中包含有一个以上的IP地址；

查找子模块482，用于在采集到数据传输节点之间传输的数据之后，根据数据传输节点中数据发送方或接收方的IP地址，在所述哈希表中进行查找；

若查找到与所述数据发送方或接收方的IP地址相符的IP地址，则进行相应的过滤和/或分流处理。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (5)

1.数据采集存储方法，其特征在于，包括：

采集数据传输节点之间传输的数据；

将采集到的所述数据送入第一缓存；

当所述第一缓存中的所有数据形成的长度达到预设阈值时，将第一缓存中的所有数据批量送入第二缓存；

在第二缓存中，根据预先设置的过滤条件，对采集到的所有数据进行过滤处理，得到有效数据；

将经过滤处理得到的所述有效数据进行存储；

所述采集数据传输节点之间传输的数据之前，还包括：采用分光器将数据传输节点之间传输的信号分出一部分；将分出的这部分信号转换为二进制数据包；

所述采集数据传输节点之间传输的数据包括：采集所述二进制数据包；

在采集到所述二进制数据包之后，所述采集数据传输节点之间传输的数据还包括：

向所述二进制数据包中添加时间戳标识；

将添加了时间戳标识的二进制数据包送入所述第一缓存中；

当所述第一缓存中存储的所有二进制数据包形成的长度达到所述预设阈值时，采用DMA技术将所有二进制数据包批量送入所述第二缓存中，以执行所述对采集到的所有数据进行过滤处理的步骤；

在所述对采集到的所有数据进行过滤处理之后，该方法进一步包括：根据预先设置的IP地址类别，对经过滤处理得到的所述有效数据进行分流处理，得到均等的多股数据；

所述将经过滤处理得到的所述有效数据进行存储，进一步包括：将经分流处理得到的每一股数据根据所述时间戳标识进行顺序排列后再进行分别存储。

2.如权利要求1所述的数据采集存储方法，其特征在于，所述过滤条件包括数据传输节点中数据发送方或接收方的IP地址；

对采集到的数据进行过滤和/或分流处理，包括：

设置有IP地址的哈希表，该哈希表中存储了一个以上的IP地址；

在采集到数据传输节点之间传输的数据之后，根据数据传输节点中数据发送方或接收方的IP地址，在所述哈希表中进行查找；

若查找到与所述数据发送方或接收方的IP地址相符的IP地址，则进行相应的过滤和/或分流处理。

3.如权利要求2所述的数据采集存储方法，其特征在于，所述对经分流得到的每一股数据进行分别存储，包括：

设置有磁盘阵列，将所述每一股数据均分存储在磁盘阵列中每一个小磁盘里。

4.如权利要求3所述的数据采集存储方法，其特征在于，所述磁盘阵列中的每一个小磁盘为固态硬盘。

5.数据采集存储系统，其特征在于，包括：

采集模块，用于采集数据传输节点之间传输的数据；

第一发送模块，用于将采集到的所述数据送入第一缓存；

第二发送模块，用于当所述第一缓存中的所有数据形成的长度达到预设阈值时，将第一缓存中的所有数据批量送入第二缓存；

过滤模块，用于在第二缓存中，根据预先设置的过滤条件，对采集到的所有数据进行过滤处理，得到有效数据；

存储模块，用于将经过滤处理得到的所述有效数据进行存储；

进一步包括：分光器，用于将数据传输节点之间传输的信号分出一部分；转换模块，用于将分出的这部分信号转换为二进制数据包；

所述采集模块，用于采集所述二进制数据包；

进一步包括：时间戳模块，用于向所述二进制数据包中添加时间戳标识；

所述第一发送模块，用于将添加了时间戳标识的二进制数据包送入所述第一缓存中；

所述第二发送模块包括DMA单元，用于当所述第一缓存中存储的所有二进制数据包形成的长度达到所述预设阈值时，采用DMA技术将所有二进制数据包批量送入所述第二缓存中；

进一步包括分流模块，用于根据预先设置的IP地址类别，对经过滤处理得到的所述有效数据进行分流处理，得到均等的多股数据；

存储模块，还用于将分流处理得到的每一股数据根据所述时间戳标识进行分别存储。