CN104750694A - 一种移动网络信息溯源方法和装置 - Google Patents

Abstract

本发明公开一种移动网络信息溯源方法，以时间为单位存储防火墙日志数据和信令记录数据；设置时间周期和时延信息，获取所述时延信息前相应时间与所述时间周期相应数量的防火墙日志数据和信令记录数据；将所述获取的防火墙日志数据和信令记录数据中关键字段信息分别计算成防火墙日志哈希码和信令记录哈希码；启动与所述时间周期相应数量的匹配进程对所述防火墙日志哈希码和信令记录哈希码进行匹配，匹配成功后生成完整溯源信息。采用本方法明显提高了信息溯源匹配的效率，本发明还提供一种移动网络信息溯源的装置。

Description

一种移动网络信息溯源方法和装置

技术领域

本发明涉及移动网络技术，具体涉及一种移动网络信息溯源技术。

背景技术

随着移动网络的推广及普及，越来越多的人选择使用手机进行上网，移动网络在提供更快、更便捷上网方式的同时，监控这种移动上网的行为也尤为重要。IP地址溯源是一种有效的支撑监控的方法，IP地址溯源关键是获取移动用户完整的上网信息，主要包括上网的开始时间、结束时间、上网的手机号、私网IP、私网端口、公网IP、公网端口、访问网站的URL等。在此基础上就可以进行一些有效的监控，如通过移动用户上网过程中暴露的公网IP，公网端口来定位移动用户的手机号，通过移动用户的移动终端号，去查询该用户上网过程中访问的网址信息。

现有的移动网络溯源方法一般是将采集的信令记录数据、防火墙日志数据记录保存在数据库表中，然后通过sql进行关联，关联成功后获取完整的上网信息记录。但是信令数据和防火墙日志记录数据量非常大，每秒可达到万条以上，把信令会话数据尤其是防火墙数据存储在数据库中会对数据库造成很大的负担，而且信令数据和防火墙日志记录数据的急剧增长，使得数据库难以满足海量数据的存储和操作。

通过sql方式进行匹配关联，信令数据和防火墙数据在时间上时延偏差会导致匹配效率降低，同时产生很多冗余匹配，sql匹配消耗的时间很长，匹配的速度很难跟上数据生成的速度。因此一种高效的信息溯源方法亟待出现。

发明内容

本发明提供一种移动网络信息溯源方法，其特征在于，所述方法包括：

以时间为单位存储防火墙日志数据和信令记录数据；

设置时间周期和时延信息，获取所述时延信息前相应时间与所述时间周期相应数量的防火墙日志数据和信令记录数据；

将所述获取的防火墙日志数据和信令记录数据中关键字段信息分别计算成防火墙日志哈希码和信令记录哈希码；

启动与所述时间周期相应数量的匹配进程对所述防火墙日志哈希码和信令数据哈希码进行匹配，匹配成功后生成完整溯源信息。

优选的，所述方法还包括：

以分钟为单位以文本文件形式存储防火墙日志数据和信令记录数据，每分钟的防火墙日志数据和信令记录数据分别存储在与其对应的文本文件中；

以时间和数据类型标识命名所述存储的文本文件。

优选的，所述方法还包括：

设置数据有效期，当存储的防火墙日志数据和信令记录数据超过有效期，则删除所述超期的防火墙日志数据和信令记录数据。

优选的，所述方法还包括：

若一次匹配不成功，则获取当前时间信令数据n个时间单位位移后相应时间的信令记录数据，以所述位移后的信令数据为基准再次进行匹配，匹配成功后生成完整溯源信息。

具体的，所述关键字段信息为私网IP地址、私网端口和会话开始时间。

优选的，

启动与所述时间周期相应数量的匹配进程；

以所述时间周期计算每次溯源匹配的最大消耗时长。

本发明还公开一种移动网络信息溯源装置，其特征在于，所述装置包括：

存储单元，用于以时间为单位存储防火墙日志数据和信令记录数据；

溯源信息设置单元，用于设置时间周期和时延信息；

数据操作单元，用于根据所述溯源信息设置单元设置的时间周期和时延信息，在所述存储单元中获取所述时延信息前相应时间且与所述时间周期相应数量的防火墙日志数据和信令记录数据；

数据计算单元，用于将所述数据获取单元获取的防火墙日志数据和信令记录数据中关键字段信息分别计算成防火墙日志哈希码和信令记录哈希码；

数据匹配单元，用于启动与所述时间周期相应数量的匹配进程对所述数据计算单元计算的防火墙日志哈希码和信令数据哈希码进行匹配，匹配成功后生成完整溯源信息。

具体的，所述存储单元进一步包括：

防火墙日志数据存储模块，用于以分钟为单位以文本文件形式存储防火墙日志数据；

信令记录数据存储模块，用于以分钟为单位以文本文件形式存储信令防火墙数据；

以时间和数据类型标识命名所述存储的文本文件。

优选的，所述溯源信息设置单元还可以为设置数据有效期，当所述存储单元存储的防火墙日志数据和信令记录数据超过有效期，则通过所述数据操作单元删除所述超期的防火墙日志数据和信令记录数据。

优选的，所述装置还包括：

位移控制单元，用于当所述数据匹配单元一次匹配不成功时，则对获取当前信令数据n个时间单位位移后的信令数据，以所述位移后的信令数据为基准由所述数据匹配单元再次进行匹配。

详细的，所述关键字段信息为私网IP地址、私网端口和开始时间。

本发明采用将防火墙日志数据和信令记录数据按时间进行文本文件存储，溯源匹配获取数据时只需通过文件名称即可获取相应的数据，效率得到了提高；通过设置时间周期并启动与时间周期相应的匹配进程对n组数据进行匹配，可根据系统性能情况灵活配置不同数量的匹配进行进行匹配，溯源匹配的灵活性得到了提高；通过计算关键字段的哈希码进行匹配，较原有的字符串sql匹配速度有了大幅度的提升；本发明在溯源匹配的各个步骤均大大提升了匹配速度，实现了移动网络溯源信息的高效匹配。同时本发明考虑到数据信息的时钟偏差，使用了时间位移机制，在一次匹配不成功时，对数据进行一定的时间位移后进行二次匹配，提高了溯源匹配的准确性。

附图说明

图1为本发明实施例一提供的一种移动网络信息溯源方法流程图；

图2为本发明实施例二提供的方法流程图；

图3为本发明实施例三提供的方法流程图；

图4为本发明实施例四提供的一种移动网络信息溯源装置结构示意图。

具体实施方式

以下将配合图式及实施例来详细说明本发明的实施方式，藉此对本发明如何应用技术手段来解决技术问题并达成技术功效的实现过程能充分理解并据以实施。

如图1所示，给出本发明的实施例一阐述一种移动网络信息溯源的方法，如所述方法包括：

步骤S101：以时间为单位存储防火墙日志数据和信令记录数据。

以时间为单位存储防火墙日志数据和信令记录数据是提高信息溯源效率的基础，通过这种分块存储机制，并提供时间查询数据的API。存储时以时间为单位存储，在进行溯源匹配前也以时间为单位获取相应时间的数据，使得数据存储和查询的效率远远高于数据库存储的实现方法。

常用的是以分钟为单位以文本文件形式存储防火墙日志数据和信令记录数据，每分钟的防火墙日志数据和信令记录数据分别存储在与其对应的文本文件中。

以分钟为单位，将防火墙日志数据存储在一个以其开始时间命名的文件中。例如所有2012年11月22号8点30分的防火墙日志数据都存储在F201211220830.txt的文件中。

步骤S102：设置时间周期和时延信息，获取所述时延信息前相应时间与所述时间周期相应数量的防火墙日志数据和信令记录数据。

设置的时间周期即按照设置的周期对时间进行分片，每一个时间周期可细分到分钟粒度，溯源匹配过程中的操作都以分钟为粒度进行，该时间周期决定了溯源匹配进程的个数，同时决定了溯源匹配进程发起匹配计算的周期，及一次匹配计算消耗的最大时长。设置时间周期为m，则可启动m个匹配进程，每个匹配进程对1个分钟粒度的数据进行数据匹配，该周期内共匹配m组数据，且该周期内的匹配最大消耗时长为m分钟，m分钟后则获取下一周期的数据进行下一个周期的溯源匹配。

设置的时延信息确保数据获取的正确性，由于数据在传输过程中可能存在一定时间的时延，即当前时间产生的防火墙日志数据和信令记录数据，可能在几分钟后才能够传输过来，当前时间内进行数据获取很可能得不到相应的数据，导致数据获取出现错误，因此设置时延信息，确保能获得准确的数据。

设置时间周期为三，设置时延为十分钟；这样可以启动三个溯源匹配进程，这些进程每三分钟触发一次溯源匹配操作，分别计算当前系统时间十分钟前的三分钟的第一分钟，第二分钟，第三分钟的溯源匹配。

例如:

2012年11月22号8点30分触发溯源匹配操作，则会对8点18分，8点19分，8点20分的数据进行溯源匹配。

2012年11月22号8点33分触发溯源匹配操作，则会对8点21分，8点22分，8点23分的数据进行溯源匹配。

通过这样的设计，当数据量增加无法及时处理数据的时候，能够通过设置更大的时间周期，启动更多的溯源匹配进程来满足处理的需要，极具扩展性。

当时间周期设置的越短，对执行系统的性能要求则越高，一个时间周期内的溯源匹配速度要求更快，因此可根据执行系统的实际性能状况灵活设定时间周期。

步骤S103：将所述获取的防火墙日志数据和信令记录数据中关键字段信息分别计算成防火墙日志哈希码和信令记录哈希码。

防火墙日志数据和信令记录数据在描述一次会话时，有相同的字段，因此可将这些关键字段信息作为溯源匹配的依据。

信令记录数据一般包含会话开始时间、会话结束时间、手机号码、私网IP地址、私网端口、网址等。

防火墙日志数据一般包含设备IP地址、会话开始时间、会话持续时间、私网IP地址、私网端口、公网源IP地址、公网源端口、公网目的IP、公网目的端口、协议标识等。

通过将私网IP、私网端口和会话开始时间作为关键字段信息，计算哈希码。计算的成哈希码的方法为先将所述关键字段信息转换为长整型数，然后通过哈希码算法将其计算成哈希码。

通过将关键字段信息转换为哈希码进行比对，降低了匹配的难度，将原来的字符串复杂匹配转化为哈希码的简单匹配，即提高了效率又保证了匹配的准确性。

将所述关键字段计算为哈希码的算法具体为：

int prime=31；

int result=1；

result=prime*result+(int)(private_ip^(private_ip>>>32))；

result=prime*result+(int)(private_port^(private_port>>>32))；

result=prime*result+(int)(starttime^(starttime>>>32))；

return result；

步骤S104：启动与所述时间周期相应数量的匹配进程对所述防火墙日志哈希码和信令记录哈希码进行匹配，匹配成功后生成完整溯源信息。

为了保证系统性能，避免存储过多的数据影响溯源匹配的效率，可设置数据有效期，当存储的防火墙日志数据和信令记录数据超过有效期，则删除所述超期的防火墙日志数据和信令记录数据。

由于一次移动上网行为产生的会话记录和防火墙日志记录的开始时间是有偏差的(因为会话记录和防火墙日志记录是从不同的设备中生成的，即使设备间做了时钟同步也不能保证两边数据的开始时间是一致的)，一般偏差以秒级来计算；所以在溯源匹配过程中有时需要加入时间偏差的处理，因此优选的本发明方法还可以包含步骤S105。

步骤S105：若一次匹配不成功，则获取当前时间信令数据n个时间单位位移后相应时间的信令记录数据，以所述位移后的信令数据为基准再次进行匹配，匹配成功后生成完整溯源信息。

匹配成功以后生成完整的溯源信息中的开始时间以做时间位移前的信令记录数据记录的原始开始时间为准。

为了更详细的说明依时间周期和时延信息反复进行的匹配过程个出本发明的实施例二，如图2所示。

步骤S201：以分钟为单位存储防火墙日志数据和信令记录数据。

步骤S202：设置时间周期a、时延信息b、数据有效期。

步骤S203：获取当前时间b分钟前的a条信令记录数据和a条防火墙日志数据。

步骤S204：获取所述信令记录数据和防火墙日志数据中的关键字段，并分别将其计算成哈希码。

步骤S205：启动a个溯源匹配进程，分别对每一对信令数据和防火墙日志数据进行匹配，若匹配成功后生成完成溯源信息，进入步骤S206；若匹配不成功则进入步骤S207。

步骤S206：判断是否还存在未匹配的信令记录数据，若存在则进入步骤S203；若没有未匹配的信令记录数据则完成匹配。

步骤S207：获取当前时间信令数据n个时间单位位移后相应时间的信令记录数据，获取原有时间的防火墙日志数据后，进入步骤S204。

为了更好的说明本发明，下面结合实例给出本发明的实施例三，说明一条数据的溯源匹配方法，如果有多条记录溯源匹配时即启动设置时间周期相应的溯源匹配进程进行匹配即可完成，如图3所示。

步骤S301：获取防火墙日志数据和信令记录数据以文本格式进行存储。

此处以某厂家防火墙日志为例进行说明，其防火墙日志原始存储格式如表1所示：

将其存成文本文件F201112130721.TXT文件，字段之间以竖线分隔，如下所示：

0|132.151.130.251|2011-12-1307:21:58|60|172.30.86.22|50098|

124.160.208.243|6434|123.125.42.24|80|6

获取信令记录数据，存成S201112130721.TXT文件，如下所示。

2011/12/137:21|2011/12/137:22|18653558392|2887669270|50098

|info.3g.box.com/g/s?sid=AXGhTCfscRPjeG1H55Y1pDSr&icfa=sports_nba&aid=sports_ss&id=sports_20110505000492&pos=sports_hrsy&

其字段分别为：会话开始时间|会话结束时间|手机号码|私网IP|私网端口|网址。

步骤S302：将获取的防火墙日志数据和信令记录数据中的关键字段计算成哈希码。

首先将防火墙日志数据的私网IP,私网端口,时间都转成长整型数：

会话开始时间:2011-12-1307:21:58–>1323732118000

私网IP：172.30.86.22->2887669270

私网端口：50098->50098

通过上文中所述的哈希码计算算法，计算出哈希码值882220323。

其次将信令记录数据的私网IP，私网端口，时间依照上述方法计算为哈希码，得到哈希码值为882220323。

步骤S303：两条记录匹配成功，合并成一条完整的记录。

如图4所示，给出本发明的实施例4，公开一种移动网络信息溯源装置，所述装置包括：

存储单元1，用于以时间为单位存储防火墙日志数据和信令记录数据。

以时间为单位存储防火墙日志数据和信令记录数据是提高信息溯源效率的基础，通过这种分块存储机制，并提供时间查询数据的API。存储时以时间为单位存储，在进行溯源匹配前也以时间为单位获取相应时间的数据，使得数据存储和查询的效率远远高于数据库存储的实现方法。

常用的是以分钟为单位以文本文件形式存储防火墙日志数据和信令记录数据，每分钟的防火墙日志数据和信令记录数据分别存储在与其对应的文本文件中。

为了更好的存储数据，存储单元1进一步包括：

防火墙日志数据存储模块11，用于以分钟为单位以文本文件形式存储防火墙日志数据。

每分钟的防火墙日志数据存成一个文本文件，可以是.txt文件，以时间和数据类型标识命名存储的防火墙日志文本文件。

信令记录数据存储模块12，用于以分钟为单位以文本文件形式存储信令防火墙数据。

每分钟的信令记录数据存成一个文本文件，可以是.txt文件，以时间和数据类型标识命名存储的信令记录文本文件。

溯源信息设置单元2，用于设置时间周期和时延信息。

时间周期和时延信息是溯源匹配进行时需要设置的信息。

设置的时间周期即按照设置的周期对时间进行分片，每一个时间周期可细分到分钟粒度，溯源匹配过程中的操作都以分钟为粒度进行，该时间周期决定了溯源匹配进程的个数，同时决定了溯源匹配进程发起匹配计算的周期，及一次匹配计算消耗的最大时长。设置时间周期为m，则可启动m个匹配进程，每个匹配进程对1个分钟粒度的数据进行数据匹配，该周期内共匹配m组数据，且该周期内的匹配最大消耗时长为m分钟，m分钟后则获取下一周期的数据进行下一个周期的溯源匹配。

设置的时延信息确保数据获取的正确性，由于数据在传输过程中可能存在一定时间的时延，即当前时间产生的防火墙日志数据和信令记录数据，可能在几分钟后才能够传输过来，当前时间内进行数据获取很可能得不到相应的数据，导致数据获取出现错误，因此设置时延信息，确保能获得准确的数据。

设置时间周期为三，设置时延为十分钟；这样可以启动三个溯源匹配进程，这些进程每三分钟触发一次溯源匹配操作，分别计算当前系统时间十分钟前的三分钟的第一分钟，第二分钟，第三分钟的溯源匹配。

溯源信息设置单元2还可以为设置数据有效期，当所述存储单元存储的防火墙日志数据和信令记录数据超过有效期，则通过所述数据操作单元删除所述超期的防火墙日志数据和信令记录数据。

数据操作单元3，用于根据所述溯源信息设置单元设置的时间周期和时延信息，在所述存储单元中获取所述时延信息前相应时间且与所述时间周期相应数量的防火墙日志数据和信令记录数据。

数据计算单元4，用于将所述数据获取单元获取的防火墙日志数据和信令记录数据中关键字段信息分别计算成防火墙日志哈希码和信令记录哈希码。

所述关键字段信息为私网IP地址、私网端口和开始时间。

根据关键字段计算哈希码的方法，在上文中已有论述，再此不再赘述。

数据匹配单元5，用于启动与所述时间周期相应数量的匹配进程对所述数据计算单元计算的防火墙日志哈希码和信令数据哈希码进行匹配，匹配成功后生成完整溯源信息。

由于一次移动上网行为产生的会话记录和防火墙日志记录的开始时间是有偏差的(因为会话记录和防火墙日志记录是从不同的设备中生成的，即使设备间做了时钟同步也不能保证两边数据的开始时间是一致的)，一般偏差以秒级来计算；所以在溯源匹配过程中有时需要加入时间偏差的处理，所述装置还包括：

位移控制单元6，用于当所述数据匹配单元一次匹配不成功时，则对获取当前信令数据n个时间单位位移后的信令数据，以所述位移后的信令数据为基准由所述数据匹配单元再次进行匹配。

本装置的工作原理如下：

存储单元1中的防火墙日志数据存储模块11和信令记录数据存储模块12分别以分钟为单位以文本文件形式将防火墙日志数据和信令记录数据进行存储。溯源信息单元2设置时间周期、时延信息和数据有效期等溯源信息。数据操作单元3根据溯源信息单元2设置的时间周期、时延信息在防火墙日志数据存储模块11和信令记录数据存储模块12中当前时间时延信息前且与时间周期相应的数据文本文件。数据计算单元4将数据操作单元3获取的数据文本文件中的关键字段即私网IP地址、私网端口和开始时间计算成防火墙日志哈希码和信令记录哈希码。数据匹配单元5启动与溯源信息单元2设置时间周期相应的溯源进程的对数据计算单元4计算的防火墙哈希码和信令记录哈希码进行匹配，每个溯源进程完成一对防火墙日志哈希码和信令记录哈希码的匹配，每个溯源进行的匹配最大时长为时间周期设定的时间。当存储单元1中的数据过了溯源信息设置单元2中设置的有效期，则数据操作单元3删除这些数据，以保证溯源装置的处理效率。当一次匹配不成功时，可尝试对一定时间位移内的数据进行匹配，因此位移控制单元6获取信令数据n个时间单位位移后的信令数据，以位移后的信令数据为基准，获取位移后的信令记录数据，计算位移后信令记录数据的哈希码，通过数据匹配单元5再次进行匹配。

关于本发明装置进行数据存储、数据计算、数据匹配以及信令数据的位移的方式，在上文中方法部分已经进行过详细论述，在此不再赘述。

虽然本发明所揭露的实施方式如上，然而所述的内容并非用以直接限定本发明的保护范围。任何本发明所属技术领域中技术人员，在不脱离本发明所揭露的精神和范围的前提下，可以在实施的形式上及细节上作些许的更动。本发明的保护范围，仍须以所附的权利要求书所界定的范围为准。

Claims (11)

1.一种移动网络信息溯源方法，其特征在于，所述方法包括：

以时间为单位存储防火墙日志数据和信令记录数据；

设置时间周期和时延信息，获取所述时延信息前相应时间与所述时间周期相应数量的防火墙日志数据和信令记录数据；

将所述获取的防火墙日志数据和信令记录数据中关键字段信息分别计算成防火墙日志哈希码和信令记录哈希码；

启动与所述时间周期相应数量的匹配进程对所述防火墙日志哈希码和信令数据哈希码进行匹配，匹配成功后生成完整溯源信息。

2.根据权利要求1所述的方法，其特征在于：

以分钟为单位以文本文件形式存储防火墙日志数据和信令记录数据，每分钟的防火墙日志数据和信令记录数据分别存储在与其对应的文本文件中；

以时间和数据类型标识命名所述存储的文本文件。

3.根据权利要求2所述的方法，其特征在于，所述方法还包括：

设置数据有效期，当存储的防火墙日志数据和信令记录数据超过有效期，则删除所述超期的防火墙日志数据和信令记录数据。

4.根据权利要求1～3中任一所述的方法，其特征在于，所述方法还包括：

若一次匹配不成功，则获取当前时间信令数据n个时间单位位移后相应时间的信令记录数据，以所述位移后的信令数据为基准再次进行匹配，匹配成功后生成完整溯源信息。

5.根据权利要求4所述的方法，其特征在于：

所述关键字段信息为私网IP地址、私网端口和会话开始时间。

6.根据权利要求5所述的方法，其特征在于：

启动与所述时间周期相应数量的匹配进程；

以所述时间周期计算每次溯源匹配的最大消耗时长。

7.一种移动网络信息溯源装置，其特征在于，所述装置包括：

存储单元，用于以时间为单位存储防火墙日志数据和信令记录数据；

溯源信息设置单元，用于设置时间周期和时延信息；

数据操作单元，用于根据所述溯源信息设置单元设置的时间周期和时延信息，在所述存储单元中获取所述时延信息前相应时间且与所述时间周期相应数量的防火墙日志数据和信令记录数据；

数据计算单元，用于将所述数据获取单元获取的防火墙日志数据和信令记录数据中关键字段信息分别计算成防火墙日志哈希码和信令记录哈希码；

数据匹配单元，用于启动与所述时间周期相应数量的匹配进程对所述数据计算单元计算的防火墙日志哈希码和信令数据哈希码进行匹配，匹配成功后生成完整溯源信息。

8.根据权利要求6所述的装置，其特征在于，所述存储单元进一步包括：

防火墙日志数据存储模块，用于以分钟为单位以文本文件形式存储防火墙日志数据；

信令记录数据存储模块，用于以分钟为单位以文本文件形式存储信令防火墙数据；

以时间和数据类型标识命名所述存储的文本文件。

9.根据权利要求7所述的装置，其特征在于：

所述溯源信息设置单元还可以为设置数据有效期，当所述存储单元存储的防火墙日志数据和信令记录数据超过有效期，则通过所述数据操作单元删除所述超期的防火墙日志数据和信令记录数据。

10.根据权利要求6～8中任一所述的装置，其特征在于，所述装置还包括：

位移控制单元，用于当所述数据匹配单元一次匹配不成功时，则对获取当前信令数据n个时间单位位移后的信令数据，以所述位移后的信令数据为基准由所述数据匹配单元再次进行匹配。

11.根据权利要求9所述的装置，其特征在于：

所述关键字段信息为私网IP地址、私网端口和开始时间。