CN117640586A - 重复数据的识别方法、系统、装置、存储介质及产品 - Google Patents

Abstract

本申请实施例提供了一种重复数据的识别方法、重复数据的识别系统、重复数据的识别装置、计算机可读存储介质及计算机程序产品，其中，重复数据的识别方法能够根据识别到的源目I P地址对信息、重复接入类型和重复接入时间消息，从而有助于排查故障，保证网络质量分析的准确性，同时还有助于提高数据采集系统和分析系统的性能。

Description

重复数据的识别方法、系统、装置、存储介质及产品

技术领域

本申请涉及但不限于通讯领域，尤其涉及一种重复数据的识别方法、系统、装置、存储介质及产品。

背景技术

在现代通讯网络中，通过使用数据采集设备对I P通讯网络中各网元设备之间传递的分组数据包进行采集分析，以获知用户的活动状态和网络的传输质量，例如，当网络通讯异常或质量不佳时会导致应用数据包超时重传，数据采集设备通过采集应用重传数据包可以分析网络质量。

在实际应用的过程中，由于数据采集设备网络布局或配置不正确等原因，数据采集设备会重复采集数据包，而重复采集的数据包会对真实的网络质量判断造成干扰，如何对上述两种数据包的来源进行识别诊断，是目前亟待解决的问题。

发明内容

以下是对本文详细描述的主题的概述。本概述并非是为了限制权利要求的保护范围。

本申请实施例提供了一种重复数据的识别方法、系统、装置、存储介质及产品，能够能够根据识别到的源目I P地址对信息、重复接入类型和重复接入时间消息，从而有助于排查故障，保证网络质量分析的准确性，同时还有助于提高数据采集系统和分析系统的性能。

第一方面，本申请实施例提供了一种重复数据的识别方法，包括：获取源目IP地址对信息，所述源目IP地址对信息包括发送端IP地址信息和接收端IP地址信息；获取重复接入类型信息，所述重复接入类型信息用于表征导致重复数据包产生的IP地址接入类型；获取重复接入时间信息，所述重复接入时间信息用于表征重复数据包接入的时间信息；根据所述源目IP地址对信息、重复接入类型信息与重复接入时间信息中的至少一个信息，对产生重复数据包进行重复数据的识别。

第二方面，本申请实施例提供了一种重复数据的识别系统，所述系统包括：配置模块，用于配置IP与最大生存时间对照关系表；数据包接收模块，用于接收数据包，并将所述数据包发送给数据包分析模块；数据包分析模块，用于解析所述数据包得到IP标识信息，并根据所述IP标识信息对重复数据包进行识别得到重复接入类型信息，其中，所述IP标识信息包括发送端IP地址信息和接收端IP地址信息；统计模块，用于存储所述重复数据包的发送端IP地址信息、接收端IP地址信息、重复接入类型信息以及所述重复数据包的接入时间信息。

第三方面，本申请实施例提供了一种重复数据的识别装置，其特征在于，包括：至少一个处理器；至少一个存储器，用于存储至少一个程序；当至少一个所述程序被至少一个所述处理器执行时实现如第一方面所述的重复数据的识别方法。

第四方面，本申请实施例提供了一种计算机可读存储介质，其特征在于，其中存储有处理器可执行的程序，所述处理器可执行的程序被处理器执行时用于实现如第一方面所述的重复数据的识别方法。

第五方面，本申请实施例提供了一种计算机程序产品，包括计算机程序或计算机指令，其特征在于，所述计算机程序或所述计算机指令存储在计算机可读存储介质中，计算机设备的处理器从所述计算机可读存储介质读取所述计算机程序或所述计算机指令，所述处理器执行所述计算机程序或所述计算机指令，使得所述计算机设备执行如第一方面所述的重复数据的识别方法。

附图说明

图1为本申请一实施例提供的重复数据的识别方法的网络架构图；

图2为本申请一实施例提供的重复数据的识别方法的流程图；

图3为本申请一实施例提供的重复数据的识别方法的流程图；

图4为本申请一实施例提供的重复数据的识别方法的流程图；

图5为本申请一实施例提供的重复数据的识别方法的流程图；

图6为本申请一实施例提供的重复数据的识别方法的模块框图；

图7为本申请一实施例提供的重复数据的识别方法的流程图；

图8为本申请一实施例提供的重复数据的识别方法的流程图；

图9为本申请一实施例提供的重复数据的识别方法的流程图；

图10为本申请一实施例提供的重复数据的识别方法中老化定时器的工作流程图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。

需要说明的是，虽然在装置示意图中进行了功能模块划分，在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于装置中的模块划分，或流程图中的顺序执行所示出或描述的步骤。说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。

本申请实施例的描述中，除非另有明确的限定，设置、安装、连接等词语应做广义理解，所属技术领域技术人员可以结合技术方案的具体内容合理确定上述词语在本申请实施例中的具体含义。本申请实施例中，“进一步地”、“示例性地”或者“可选地”等词用于表示作为例子、例证或说明，不应被解释为比其它实施例或设计方案更优选或更具有优势。使用“进一步地”、“示例性地”或者“可选地”等词旨在以具体方式呈现相关概念。

本申请实施例可以应用于基于IP协议的任何通信网络。

一般情况下，IP通讯系统中的数据包分为两种，分别是普通数据包和应用重传数据包，普通数据包指的是在正常状态传输的数据包，应用重传数据包指的是由于网元设备之间的网络通讯异常或者质量不佳等原因而导致数据包超时重传。

目前，通过对IP通讯网络中网元设备之间传递的分组数据包进行采集分析，以识别用户的活动状态以及网络的传输质量等已广泛应用于全球。在实际应用过程中，由于数据采集设备网络布局或者配置不正确等原因，例如，IP通讯系统组网结构发生变更、数据汇聚设备发生升级或变更、数据采集系统发生升级或变更。将会导致同一网元单侧重复分光接入、多网元重复采集等异常情况的发生，对于数据采集设备来说，采集到的数据包有四种，即普通数据包、应用重传数据包、单侧重复分光数据包和双侧重复采集数据包，而后两种数据包是由于误操作产生的，若不对这两种数据包进行处理，不仅会增加数据采集设备的负荷，还会对实际网络质量的分析产生干扰。

在现有的解决方案中，一种解决方案是：在数据采集设备发现数据异常后，对数据异常进行反推查证，逐个排查前端设备是否存在异常，如发现异常，则重新调整接入策略，以确保数据接入的唯一性，这种解决方案过于被动，效率较低、智能化程度低、对产品的质量和用户的体验都会产生不良的影响。

另一种解决方案为：在数据采集设备的前端，对接收到的数据包进行重复性校验，若当前数据包为重复数据包则直接将其过滤，这一解决方案虽然能够将重复数据包丢弃，避免将其发送给数据采集设备，但是数据包重复接入的现象依然存在，用户无法定位到具体的问题设备。

基于此，本申请实施例提供了一种重复数据的识别方法、系统、装置、存储介质及产品，本申请中重复数据的识别方法应用于所有基于IP网络的系统，IP网络包括IPV4和IPV6版本，但不局限于任何形式的网络结构，本申请实施例根据识别到的源目IP地址对信息、重复接入类型和重复接入时间消息，从而有助于排查故障，保证网络质量分析的准确性，同时还有助于提高数据采集系统和分析系统的性能。

本申请实施例可应用于如图1所示的网络架构，该网络结构包括网元设备、数据包汇聚器、数据采集系统、数据分析系统和重复数据识别系统，网络设备指的是各个通讯客户端及路由设备，数据包汇聚器用于汇聚各个网元设备的数据，以供后续设备进行采集，数据采集系统用于采集数据包，并将数据包传送至数据分析系统，数据分析系统对接收到的数据包进行分析处理，以对网元设备之间的网络传输质量进行评判，本申请实施例在数据汇聚器和数据采集系统之间新增一个重复数据识别系统，以对重复接入的数据包进行识别，并能够根据识别到的重复数据包进行故障的诊断。本申请实施例的重复数据的识别方法基于该重复数据识别系统实现的。

下面对相关技术作进一步阐述。

下面结合附图2，对具体的重复数据的识别方法进行阐述。

如图2所示，图2所示是本申请实施例提供的重复数据的识别方法的流程图，本申请实施例中的重复数据的识别方法至少包括但不限于以下步骤：

步骤S1100：获取源目IP地址对信息，源目IP地址对信息包括发送端IP地址信息和接收端IP地址信息；

步骤S1200：获取重复接入类型信息，重复接入类型信息用于表征导致重复数据包产生的IP地址接入类型；

步骤S1300：获取重复接入时间信息，重复时间信息用于表征重复数据包接入的时间信息；

在一可行的实施方式中，在步骤S1100、步骤S1200、步骤S1300中，通过重复接入统计表获取源目IP地址对信息、重复接入类型信息与重复接入时间信息。

在一可行的实施方式中，重复接入统计表中的字段提前配置，重复接入统计表用于对重复数据包的重复接入信息进行统计计算。当有重复数据包接入时，会更新重复接入统计表中的信息。

在一可行的实施方式中，如图3所示，重复接入统计表的获取步骤包括但不限于步骤S2110、步骤S2120和步骤S2130。

步骤S2110：获取重复数据包；

在一可行的实施方式中，获取预设的数据包信息表，数据包信息表用于缓存数据包的IP层信息，用于判断当前数据包是否为重复接入的数据包。

在一可行的实施方式中，从通讯客户端或者路由设备中获取新的数据包时，将当前接收到的数据包进行解析，对数据包的IP层信息进行解析，得到当前数据包的IP标识信息，IP标识信息是数据包信息表中的关键字，根据当前数据包的IP标识信息，对数据包信息表进行查询，若在数据包信息表中存在与当前数据包的IP标识信息匹配的数据，则当前接入的数据包即为重复数据包，表示为重复采集的数据包。

在一可行的实施方式中，若在数据包信息表中不存在与当前数据包的IP标识信息匹配的数据，则当前接入的数据包即为初始数据包，将初始数据包的IP标识信息存储至数据包信息表中，并更新数据包信息表中对应的其他字段信息。

步骤S2120：根据重复数据包，得到源目IP地址对信息、重复接入类型信息与重复接入时间信息；

在一可行的实施方式中，根据重复数据包，得到源目IP地址对信息包括：对重复数据包进行解析，得到重复数据包的发送端IP地址信息与接收端IP地址信息，将发送端IP地址信息与接收端IP地址信息确定为源目IP地址对信息；

在一可行的实施方式中，发送端IP地址信息和接收端IP地址信息从重复数据包的IP层协议解析得到。

在一可行的实施方式中，根据重复数据包，得到重复接入类型信息包括：对重复数据包进行重复接入类型识别，得到重复数据包的重复接入类型信息；

在一可行的实施方式中，如图4所示，步骤对重复数据包进行重复接入类型识别，得到重复数据包的重复接入类型信息，可以包括但不限于步骤S2121、步骤S2122、步骤S2123和步骤S2124：

步骤S2121：对接收到的当前数据包进行解析，得到用于标识当前数据包的IP标识信息；

在一可行的实施方式中，以IPV4为例，IP标识信息包括发送端IP地址信息、接收端IP地址信息、IP标识信息、IP分片标记信息、IP分片偏移信息、协议类型、IP包总长度信息。需要说明的是，在IPV4版本中，发送端IP地址信息对应IP协议层的Source Address字段，接收端IP地址信息对应IP协议层的Destination Address字段，IP标识信息对应IP协议层的Identification字段，IP分片标记信息对应IP协议层的Fragment Offset字段，IP包总长度信息对应IP协议层的Total Length字段，生存时间对应IP协议层的Time To Live字段，生存时间简称TTL。

在一可行的实施方式中，以IPV6为例，IP标识信息包括发送端IP地址信息、接收端IP地址信息、流标签信息、有效载荷长度信息、下一个头部信息。需要说明的是，在IPV6版本中，发送端IP地址信息对应IP协议层的Source IP Address字段，接收端IP地址信息对应IP协议层的Destination IP Address，流标签信息对应IP协议层的Flow lable字段，有效载荷长度信息对应IP协议层的Payload length字段。

其中，IPV6版本中的流标签信息类似于IPV4版本的IP标识信息，IPV6版本中的有效载荷长度信息类似于IPV4版本中的IP包总长度信息的净荷部分长度，IPV6版本中的跳数限制Hop Limit字段，实际上等效于IPV4版本中的Time To Live字段，Time To Live和HopLimit均是本申请实施例中的生存时间。

需要注意的是，根据IP标准协议规定，为了避免数据消息在路由设备间出现循环传递而永远达不到目的地的情况，每一条消息均会携带一个生命时间值，即生存时间的参数值，最大生存时间由发送端IP地址对应设备构造消息时设置。最大生存时间用N表示，N的值一般为64，消息每经过一个路由设备时，该生存时间值减1，直到生存时间值为0时消息被丢弃，因此，每个数据包的值应当满足生存时间值小于等于N。

步骤S2122：根据IP标识信息，查询得到历史接入来源标记信息；

在一可行的实施方式中，根据预设的数据包信息表进行查询，得到历史接入来源标记信息。

在一可行的实施方式中，IPV4版本中，数据包信息表中的字段至少包括，发送端IP地址信息字段、接收端IP地址信息字段、IP标识信息字段、IP分片标记信息字段、IP分片偏移信息字段、IP包总长度信息字段；IPV6版本中，数据包信息表中的字段至少包括，发送端IP地址信息字段、接收端IP地址信息字段、流标签信息字段、有效载荷长度信息字段、下一个头部信息字段。

步骤S2123：对重复数据包的接入来源进行判断，得到接入来源判断结果；

在一可行的实施方式中，步骤S2133包括：获取最大生存时间与重复数据包的当前生存时间；若当前生存时间与最大生存时间匹配，接入来源判断结果为发送端接入；若当前生存时间与最大生存时间不匹配，接入来源判断结果为接收端接入。换句话说，若当前生存时间与最大生存时间匹配，表示重复数据包未经过路由设备，说明重复数据包的发送端IP地址存在重复输入，若当前生存时间与最大生存时间不匹配，表示重复数据表经过了路由设备，而使当前生存时间的数值减少，说明重复数据包的接收端IP地址存在重复输入。

在一可行的实施方式中，若当前生存时间与最大生存时间匹配，理解为若当前生存时间与最大生存时间相等，若当前生存时间与最大生存时间不匹配，可以理解为若当前生存时间与最大生存时间不相等，在本申请实施例中，当前生存时间与最大生存时间不相等表示为当前生存时间小于最大生存时间。

步骤S2124：根据接入来源判断结果与历史接入来源标记信息，确定重复数据包的重复接入类型信息。

在一可行的实施方式中，历史接入来源标记信息包括历史发送端标记信息和历史接收端标记信息；

在一可行的实施方式中，历史发送端标记信息和历史接收端标记信息存储于数据包信息表中。

在一可行的实施方式中，历史接入来源标记信息通过以下步骤得到：获取最大生存时间与初始数据包，初始数据包为首次获取的数据包；对初始数据包进行解析，得到初始生存时间；若初始生存时间与最大生存时间匹配，将历史发送端标记信息置为1，历史接收端标记信息置为0；若初始生存时间与最大生存时间不匹配，将历史发送端标记信息置为0，历史接收端标记信息置为1。

在一可行的实施方式中，若初始生存时间与最大生存时间匹配，表示初始数据包是从发送端IP地址采集到的，若初始生存时间与最大生存时间不匹配，表示初始数据包是从接收端IP地址采集到的。

在一可行的实施方式中，若初始生存时间与最大生存时间匹配，理解为若初始生存时间与最大生存时间相等，若初始生存时间与最大生存时间不匹配，可以理解为若初始生存时间与最大生存时间不相等，在本申请实施例中，初始生存时间与最大生存时间不相等表示为初始生存时间小于最大生存时间。

在一可行的实施方式中，获取最大生存时间包括：获取预先配置的IP与最大生存时间对照关系表；根据发送端IP地址信息在IP与最大生存时间对照关系表中进行查询，得到最大生存时间。

在一可行的实施方式中，IP与最大生存时间对照关系表中至少包含的字段有：发送端IP地址信息字段和最大生存时间字段，在IP与最大生存时间对照关系表中，发送端IP地址信息字段作为该表的关键字，通过发送端IP地址信息可以查询到IP与最大生存时间对照关系表中对应的最大生存时间。

在一可行的实施方式中，发送端IP地址信息、最大生存时间之间的映射关系的获取来源于网元设备商，通常会以配置界面或者配置文件的形式存在。

需要说明的是，在网元设备接入网元中时，已将网元设备的发送端IP地址信息及相应的最大生存时间存储至IP与最大生存时间对照关系表中，IP与最大生存时间对照关系表中的生存时间不随着数据包在网元设备之间的传输而改变。

在一可行的实施方式中，根据IP标识信息中的发送端IP地址信息，在IP与最大生存时间对照关系表中进行查询，得到对应的最大生存时间。

在一可行的实施方式中，在步骤S2134中，根据接入来源判断结果与历史接入来源标记信息，确定重复数据包的重复接入类型信息包括：

在接入来源判断结果为发送端接入的情况下，对历史发送端标记信息进行判断，若历史发送端标记信息为1，确定重复数据包的重复接入类型为发送端IP重复接入类型；

在接入来源判断结果为接收端接入的情况下，对历史发送端标记信息进行判断，若历史接收端标记信息为1，确定重复数据包的重复接入类型为接收端IP重复接入类型；

在接入来源判断结果为发送端接入的情况下，对历史发送端标记信息进行判断，若历史发送端标记信息为0，确定重复数据包的重复接入类型为发送端-接收端IP重复接入类型；

在接入来源判断结果为接收端接入的情况下，对历史接收端标记信息进行判断，若历史接收端标记信息为0，确定重复数据包的重复接入类型为发送端-接收端IP重复接入类型。

在一可行的实施方式中，发送端IP重复接入类型简称为SS型，即Source IP重复，接收端IP重复接入类型简称为DD型，即Destination IP重复，发送端-接收端IP重复接入类型，简称为SD型，即Source IP、Destination IP重复。

在本申请实施例中的方法还包括：根据当前接入来源判断结果，对历史接入来源标记信息进行更新，得到当前接入来源标记信息；将当前接入来源标记信息作为更新后的历史接入来源标记信息。

在一可行的实施方式中，在接入来源判断结果为发送端接入的情况下，对历史发送端标记信息进行判断，若历史发送端标记信息为0，对历史发送端标记信息进行更新，将历史发送端标记信息的数值置为1；在接入来源判断结果为接收端接入的情况下，对历史接收端标记信息进行判断，若历史接收端标记信息为0，对历史接收端标记信息进行更新，将历史接收端标记信息的数值置为1。

在一可行的实施方式中，对重复数据包的接入时间进行记录，得到重复接入时间信息；

在一可行的实施方式中，如图5所示，步骤对重复数据包的接入时间进行记录，得到重复接入时间信息可以包括但不限于步骤S2125、步骤S2126、步骤S2127：

步骤S2125：获取重复接入开始时间，重复接入开始时间为首次发生重复接入的时间；

步骤S2126：获取重复接入最近时间，重复接入最近时间为发生重复接入的最近时间；

在一可行的实施方式中，当存在重复数据包接入时，根据当前数据包的接入时间，更新重复接入统计表中的时间信息，具体更新的时间信息包括重复接入开始时间字段和重复接入最近时间字段，或者仅更新重复接入最近时间字段。

在一可行的实施方式中，若当前数据包为首次发生重复的数据包，将重复接入开始时间和重复接入最近时间均设置为当前重复数据包的接入时间。

在一可行的实施方式中，若当前数据包不是首次发生重复的数据包，重复接入开始时间不变，将重复接入最近时间设置为当前重复数据包的接入时间。

在一可行的实施方式中，重复接入最近时间表示为最近一次接入重复数据包的时间。

步骤S2127：将重复接入最近时间与重复接入开始时间的差值，作为重复接入时间信息。

在一可行的实施方式中，根据重复接入时间信息，可以得知重复数据包具体在哪个时间段产生。

步骤S2130：根据源目IP地址对信息、重复接入类型信息与重复接入时间信息，对重复接入统计表中对应信息进行更新，得到更新后的重复接入统计表。

在一可行的实施方式中，重复接入时间信息可以理解为重复数据包的接入时间。

步骤S1400：根据源目IP地址对信息、重复接入类型信息与重复接入时间信息中的至少一个信息，对产生重复数据包进行重复数据的识别。

在一可行的实施方式中，用户通过结合源目IP地址对信息、重复接入类型信息与重复接入时间信息，可以得知，如具体的源目IP地址对信息、重复接入类型的接入数量，重复接入的时间信息等，进而根据这些信息定位到出现重复数据包对应的设备，同时对后续故障消除情况进行监控，具体的故障消除场景下文会详细说明。

如图6所示，本申请实施例的重复数据的识别方法还包括但不限于以下步骤：

步骤S1500：根据重复接入类型信息，构建对应于各个重复接入类型的计数器；

在一可行的实施方式中，根据重复接入类型SS型，构建SS型计数器，根据重复接入类型DD型，构建DD型计数器，根据重复接入类型SD型，构建SD型计数器。

步骤S1600：对源目IP地址对信息、计数器对应的数值信息与重复接入时间信息进行显示。

在一可行的实施方式中，根据当前数据包的源目IP地址对信息、重复接入类型，更新重复接入统计表。

具体更新包括，根据当前源目IP地址对信息，查询得到与重复接入类型对应的计数器，并将查询得到的计数器的数值加1。若重复接入类型为SS型，更新SS型计数器的数值，将SS型计数器的数值加1；若重复接入类型为DD型，更新DD型计数器的数值，将DD型计数器的数值加1；若重复接入类型为SD型，更新SD型计数器的数值，将SD型计数器的数值加1。

在一可行的实施方式中，将源目IP地址对信息、计数器对应的数值信息与重复接入时间进行显示，能够让用户直观了解到重复数据包的源目IP地址对、SS型的接入数量、DD型的接入数量、SD型的接入数量、重复接入最近时间和重复接入开始时间，以便用户能够精准地了解重复数据包所对应的网元设备，从而能够便于快速地定位到重复接入故障问题。

在一可行的实施方式中，对故障诊断进行说明，对于某个源目IP地址对而言，故障消除体现为三种场景，未消除、部分消除和彻底消除，进一步来说，故障消除又分为部分源目IP地址对故障消除和所有源目IP地址对故障消除。为了判断部分源目IP地址对故障消除和所有源目IP地址对故障消除，需要设置一个时间阈值；部分源目IP地址对故障消除指的是若某个源目IP地址对的SS型计数器和DD型计数器都在不停递增，在时间阈值后，SS型计数器不再递增，但是DD型计数器还在递增，说明该源目IP地址对中，SS型重复接入故障已经消除，但是DD型重复接入故障未消除；所有源目IP地址对故障消除指的是在时间阈值后，SS型计数器、DD型计数器和SD型计数器均不再递增。

在一可行的实施方式中，在步骤S1600中，根据上述更新后的重复接入统计表中的数据在终端进行显示。

本申请的一个实施例还提供了一种重复数据的识别系统，包括，配置模块、数据包接收模块和数据包分析模块，配置模块用于配置IP与最大生存时间对照关系表，数据包接收模块用于接收数据包，并将数据包发送给数据包分析模块，数据包分析模块用于解析数据包得到IP标识信息，并根据IP标识信息对重复数据包进行识别得到重复接入类型信息，其中，IP标识信息包括发送端IP地址信息和接收端IP地址信息，统计模块用于存储重复数据包的发送端IP地址信息、接收端IP地址信息、重复接入类型以及重复数据包的接入时间信息。

在一可行的实施方式中，配置模块还用于配置重复数据识别功能的开启或关闭。

本申请实施例的重复数据的识别系统应用于基于IP协议的任何通讯网络，包括IPV4和IPV6版本，但不局限于任何形式的网络结构。

在一可行的实施方式中，配置模块可为配置器，数据包接收模块可为数据包接收器，数据包分析模块即可为数据包分析器，统计模块可为重复接入统计器。

在一可行的实施方式中，如图7所示，重复数据的识别系统包括配置器、数据包接收器、数据包分析器、数据包发送器、重复接入统计器和重复接入展示器，下面将详细介绍。

配置器负责维护配置信息，目前的配置信息包括但不限于，重复数据识别功能的开启与关闭、对数据包最大缓存时长进行配置、维护IP与最大生存时间对照关系表、故障解决的最大时长。

在一可行的实施方式中，重复数据识别功能的默认状态为开启，数据包的最大缓存时长配置为10秒。

在一可行的实施方式中，若重复数据识别的开关为开启状态，则识别出的重复数据包直接丢弃，以避免重复数据包发送到数据采集系统，从而增加数据采集系统的工作负荷。

在一可行的实施方式中，若重复数据识别功能的开关为关闭状态，则对接收到的所有数据包都不做识别处理，直接将数据包转发给数据采集系统，以避免在没有重复数据包的情况下，数据传输的时延。

在一可行的实施方式中，IP与最大生存时间的对照关系可以通过被采集设备提供的参数信息获得。

如表1所示，示出了IP与最大生存时间对照关系表中的字段，包括发送端IP地址信息字段和最大生存时间字段，发送端IP地址信息和最大生存时间之间具有映射关系，发送端IP地址信息为关键字，能够唯一确定IP与最大生存时间对照关系表中的一条记录，根据发送端IP地址信息可以查询到对应设备的最大生存时间具体数值。

根据IP协议，为了避免消息在路由设备之间出现循环而永远达不到目的地，每条消息都会携带一个生存时间值，最大生存时间的值由发送端IP地址端设备构造消息时设置，例如，使用N代表生存时间的初始值，N一般为64，消息每经过一个路由设备，则该生存时间值减1，当值减到0时丢弃，因此数据包的生存时间值满足：生存时间小于等于N。

表1

发送端IP地址信息

最大生存时间

数据包接收器主要负责建立和维护重复数据的识别系统、数据包汇聚器之间的通讯链路，还负责接收来自数据包汇聚器中的所有数据包，并将接收到的数据包转交给数据分析器进行分析处理。

数据包发送器主要负责建立和维护重复数据的识别系统、数据采集系统之间的通讯链路，还负责把数据包分析器处理后，且需要转发的数据包发送给数据采集系统。

数据包分析器主要负责解析数据包各协议层的信息、根据协议层的IP信息，结合数据包信息表中的字段信息，识别出数据包的重复接入类型。

在IPV4版本中，数据包需要解析的IP层协议的信息如表2，具体包括发送端IP地址信息、接收端IP地址信息、IP标识信息、IP分片标记信息、IP分片偏移信息、协议类型、IP包总长度信息和TTL，表2中的信息所对应的IP协议层字段在上文中已具体列举。

表2

在IPV6版本中，数据包需要解析的IP层协议的信息如下表3，具体包括发送端IP地址信息、接收端IP地址信息、流标签信息、有效载荷长度信息、下一个头部信息、跳数限制信息(Hop Limit)，表3中的信息对应的IP协议层字段在上文中已具体列举出。

表3

数据包分析器还负责维护数据包信息表，以便缓存在最大缓存时间内接收到的数据包的IP层协议信息，并且数据包分析器对数据包信息表进行定时检测，将超过指定时长未收到重复数据包的记录及时清除，指定时间可以由用户自行进行配置。

在一可行的实施方式中，如图10所示，设定老化时间，使用老化定时器对数据包信息表中的记录进行定时检测，循环检查表中的每一条记录存在的时间是否等于或大于老化时间，若某一条记录等于或大于老化时间，则删除该条记录。

在IPV4版本中，如表4所示，示出了IPV4版本的数据包信息表中的字段，将发送端IP地址信息、接收端IP地址信息、IP分片标记信息、IP分片偏移信息、协议类型、IP包总长度信息，作为每一条记录的关键字，通过关键字可以确定数据包信息表中唯一一条记录。

表4

在IPV6版本中，如表5所示，示出了IPV6版本的数据包信息表中的字段。将发送端IP地址信息、接收端IP地址信息、流标签信息、有效载荷长度信息、下一个头部信息，作为每一条记录的关键字，该关键字可以确定数据包信息表中唯一一条记录。

对历史发送端标记信息和历史接收端标记信息进行说明：

从IP与最大生存时间对照关系表中，查询得到与当前发送端IP地址信息对应的生存时间，历史发送端标记信息和历史接收端标记信息的初始值为0。接入来源标记信息的算法为，若当前数据包携带的生存时间等于最大生存时间，则将历史发送端标记信息的数值置为1，若当前数据包携带的生存时间不等于最大生存时间，则将历史接收端标记信息的数值置为1。

参照图8，例如，对初始数据包的接入来源标记信息进行说明，将初始数据包的初始生存时间与最大生存时间进行对比，若初始生存时间等于最大生存时间，表示初始数据包是从发送端IP地址采集到的，并将历史发送端标记信息置为1，历史接收端标记信息置为0；若初始生存时间不等于最大生存时间，表示初始数据包是从接收端IP地址采集到的，并将历史发送端标记信息置为0，历史接收端标记信息置为1。在完成上述操作后，将初始数据包发送给数据采集系统进行网络质量的分析。

表5

重复接入统计器主要负责维护重复接入统计表，用于存储重复数据包的发送端IP地址和接收端IP地址，并统计重复接入次数等信息，以便将重复接入统计表中的信息发送给重复接入展示器进行展示。

如表6所示，示出了重复接入统计表中的字段，具体包括，发送端IP地址信息字段、接收端IP地址信息字段、SS型计数器字段、SS型计数器字段、SD型计数器字段、重复接入开始时间字段和重复接入时间字段。而三种计数器字段分别用于记录三种重复接入类型的接入数量。

在重复接入统计表中，将发送端IP地址信息、接收端IP地址信息作为每一条记录的关键字，通过该关键字能够唯一确定重复接入统计表中的唯一一条记录。

表6

通过重复接入统计表，可以得知如下信息：

根据重复接入统计表，可以得知存在重复接入情况的源目IP地址对信息。

根据重复接入统计表，可以得知某个源目IP地址对信息所对应的SS型重复接入数量、DD型重复接入数量、SD型重复接入数量。

根据重复接入统计表，可以得知某个源目IP地址对出现重复接入情况的开始时间。

根据重复接入统计表，可以得知某个源目IP地址对重复接入故障完全解决的时间。

根据重复接入统计表，可以得知某个源目IP地址对中的某个重复接入类型的故障是否已经解决，例如，设置一个时间阈值，若SS型计数器的值大于0且在时间阈值内不再递增，则代表该SS型重复接入故障问题已经解决。

根据重复接入统计表，可以得知某个源目IP地址对的重复接入时间信息，即存在重复接入的时间段，重复接入时间段由重复接入开始时间和重复接入最近时间的差值计算得出。

在一可行的实施例中，可以将SS型计数器、DD型计数器和SD型计数器分别设置一个重复接入最近时间，以分别监控三种重复接入类型的消除时间。

根据重复接入统计表，可以直观地了解具体存在哪些源目IP地址对存在重复接入情况，及哪些源目IP地址对的重复接入问题是否已经解决，

重复接入展示器主要负责将重复接入统计表中的信息以可视化界面的形式展示出来，让用户能够直观地了解重复数据包的源目IP地址对、SS型重复接入的次数、DD型重复接入的次数、SD型重复接入的次数、重复接入开始时间、重复接入最近时间等信息，以便用户能够精准地知道存在重复接入数据包对应的网元设备，从而能够快递地定位故障。

参照图9，对重复接入统计表进行说明，数据包分析器将重复数据包的发送端IP地址信息、接收端IP地址信息和重复接入类型信息传递给重复接入统计器，根据发送端IP地址信息、接收端IP地址信息，查询重复接入统计表。

若在重复接入统计表中未查找到与发送端IP地址信息、接收端IP地址信息相应的记录，则在重复接入统计表中新增一条记录，将发送端IP地址信息、接收端IP地址信息添加至该条记录中，并根据重复接入类型信息，将与其对应的计数器的数值置为1，将其他计数器的数值置为0，并将重复接入开始时间和重复接入最近时间置为当前时间。

若在重复接入统计表中查找到与发送端IP地址信息、接收端IP地址信息相应的记录，则将重复接入类型信息对应计数器的数值加1，用于统计重复接入类型的接入数量，并更新重复接入最近时间为当前时间，表示最近一次重复数据包的接入时间。

对数据包信息表、重复接入统计表的查询条件、查询字段和更新字段进行说明，数据分析器查询并更新数据包信息表，查询条件如表4和表5中的关键字，查询字段为历史发送端标记信息、历史接收端标记信息，数据包信息表中的更新字段为，历史发送端标记信息、历史接收端标记信息。

数据包分析器向重复接入统计器发送统计消息，消息内容为发送端IP地址信息、接收端IP地址信息和重复接入类型信息。

重复接入统计器查询并更新重复接入统计表，查询条件为发送端IP地址信息和接收端IP地址信息，查询字段为SS型计数器、SS型计数器和SD型计数器，需要更新的字段为SS型计数器、SS型计数器、SD型计数器、重复接入最近时间和重复接入开始时间。

下面简要对重复数据包的流程进行说明：

数据包接收器接收来自数据包汇聚器的所有数据包，并将接收到的数据包转交给数据包分析器进行处理。数据包分析器对接收到的数据包进行协议解析，以便获取数据包的相关信息，如IPV4版本中的发送端IP地址信息、接收端IP地址信息、IP分片标记信息、IP分片偏移信息、IP包总长度信息、TTL，IPV6版本中的发送端IP地址信息、接收端IP地址信息、流标签信息、有效载荷长度信息、下一个头部信息、跳数限制信息。

在对数据包进行协议解析后，根据当前数据包解析到的信息，结合数据包信息表中存储的信息，识别出当前数据包是否为重复数据包，若是重复数据包，则进一步识别重复数据包的重复接入类型。

在识别出重复数据包的重复接入类型后，将重复数据包的发送端IP地址信息、接收端IP地址信息、重复接入类型信息，发送给重复接入统计器进行重复接入数量的统计。

进一步来说，若不是重复数据包，则将当前数据包转交给数据包发送器，若是重复数据包，则将重复数据包丢弃。

当数据包发送器接收到数据包后，将该数据包转发给数据采集系统。

当重复接入统计器接收到数据包分析器的统计请求后，对重复接入统计表中的信息进行更新，并将重复接入信息表中的信息发送给重复接入展示器。

本申请实施例通过对接收到的数据包进行分析，能够精确得知在哪些IP地址中存在数据包的重复接入情况、能得知重复数据包的重复接入类型属于哪种类型，进一步得知具体在哪些IP端存在数据包重复。

本申请实施例以源目IP地址对为单位进行重复数据包进行统计，能够精确知道具体源目IP地址对存在重复数据包接入的次数，且三种重复接入类型将分别进行统计。并且能够得知具体源目IP地址中重复数据包接入的开始时间和最近一次接入的时间。

本申请实施例通过重复接入展示器，将重复数据包的信息直观地展示给用户，以便用户能够快速定位到故障设备，从而精确快速地排查故障。并且通过重复接入展示器中三个类型计数器的变化情况，可以得知数据包重复接入故障是部分消除还是全部消除；当重复接入展示器中三个计数器的数值不在递增，并且结合最近一次重复数据包的接入时间，可以得知重复接入故障在哪个时间点彻底清除。

本申请实施例通过将重复数据包进行过滤，避免了将这些异常的数据包发送给数据采集系统和数据分析系统，提高了系统性能和数据分析的准确性。

本申请实施例提供了一种数据来源的识别系统，能够根据识别到的源目IP地址对信息、重复接入类型和重复接入时间消息，从而有助于排查故障，保证网络质量分析的准确性，同时还有助于提高数据采集系统和分析系统的性能。

本申请的一个实施例还提供了一种重复数据的识别装置，该装置包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器能够执行计算机程序实现如上所述的重复数据的识别方法。

存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序以及非暂态性计算机可执行程序。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至该处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

实现上述实施例的图像处理方法所需的非暂态软件程序以及指令存储在存储器中，当被处理器执行时，执行上述实施例中的重复数据的识别方法。

以上所描述的网元实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

本申请的一个实施例还提供了一种计算机可读存储介质，存储有计算机可执行指令，所述计算机可执行指令用于执行上述实施例的重复数据的识别方法。

存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序以及非暂态性计算机可执行程序。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至该处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

此外，本申请实施例还提供了一种计算机程序产品，包括计算机程序或计算机指令，计算机程序或计算机指令存储在计算机可读存储介质中，计算机设备的处理器从计算机可读存储介质读取计算机程序或计算机指令，处理器执行计算机程序或计算机指令，使得计算机设备执行如上的重复数据的识别方法。

以上所描述的移动通信设备实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统可以被实施为软件、固件、硬件及其适当的组合。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。

以上是对本申请的较佳实施进行了具体说明，但本申请并不局限于上述实施方式，熟悉本领域的技术人员在不违背本申请精神的前提下还可作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

Claims (19)

1.一种重复数据的识别方法，包括：

获取源目IP地址对信息，所述源目IP地址对信息包括发送端IP地址信息和接收端IP地址信息；

获取重复接入类型信息，所述重复接入类型信息用于表征导致重复数据包产生的IP地址接入类型；

获取重复接入时间信息，所述重复接入时间信息用于表征重复数据包接入的时间信息；

根据所述源目IP地址对信息、重复接入类型信息与重复接入时间信息中的至少一个信息，对产生重复数据包进行重复数据的识别。

2.根据权利要求1所述的重复数据的识别方法，其特征在于，所述方法还包括：

根据所述重复接入类型信息，构建对应于各个重复接入类型的计数器；

对所述源目IP地址对信息、所述计数器对应的数值信息与所述重复接入时间信息进行显示。

3.根据权利要求1所述的重复数据的识别方法，其特征在于，通过重复接入统计表获取所述获取源目IP地址对信息、重复接入类型信息与重复接入时间信息。

4.根据权利要求3所述的重复数据的识别方法，其特征在于，所述重复接入统计表的获取步骤包括：

获取重复数据包；

根据所述重复数据包，得到源目IP地址对信息、重复接入类型信息与重复接入时间信息；

根据所述源目IP地址对信息、所述重复接入类型信息与所述重复接入时间信息，对所述重复接入统计表中的对应信息进行更新，得到更新后的所述重复接入统计表。

5.根据权利要求4所述的重复数据的识别方法，其特征在于，所述根据所述重复数据包，得到源目IP地址对信息，包括：

对所述重复数据包进行解析，得到所述重复数据包的发送端IP地址信息与接收端IP地址信息，将所述发送端IP地址信息与所述接收端IP地址信息确定为所述源目IP地址对信息。

6.根据权利要求4所述的重复数据的识别方法，其特征在于，所述根据所述重复数据包，得到重复接入类型，包括：

对所述重复数据包进行重复接入类型识别，得到所述重复数据包的重复接入类型信息。

7.根据权利要求4所述的重复数据的识别方法，其特征在于，所述根据所述重复数据包，得到重复接入时间，包括：

对所述重复数据包的接入时间进行记录，得到重复接入时间信息。

8.根据权利要求6所述的重复数据的识别方法，其特征在于，所述对所述重复数据包进行重复接入类型识别，得到所述重复数据包的重复接入类型信息，包括：

对接收到的当前数据包进行解析，得到用于标识当前数据包的IP标识信息；

根据所述IP标识信息，查询得到历史接入来源标记信息；

对所述重复数据包的接入来源进行判断，得到接入来源判断结果；

根据所述接入来源判断结果与所述历史接入来源标记信息，确定所述重复数据包的重复接入类型信息。

9.根据权利要求8所述的重复数据的识别方法，其特征在于，所述对所述重复数据包的接入来源进行判断，得到接入来源判断结果，包括：

获取最大生存时间与所述重复数据包的当前生存时间；

若所述当前生存时间与所述最大生存时间匹配，接入来源判断结果为发送端接入；

若所述当前生存时间与所述最大生存时间不匹配，接入来源判断结果为接收端接入。

10.根据权利要求9所述的重复数据的识别方法，其特征在于，所述历史接入来源标记信息包括历史发送端标记信息与历史接收端标记信息；

所述根据所述接入来源判断结果与所述历史接入来源标记信息，确定所述重复数据包的重复接入类型信息，包括：

在接入来源判断结果为发送端接入的情况下，对所述历史发送端标记信息进行判断，若所述历史发送端标记信息为1，确定所述重复数据包的重复接入类型为发送端IP重复接入类型；

在接入来源判断结果为接收端接入的情况下，对所述历史接收端标记信息进行判断，若所述历史接收端标记信息为1，确定所述重复数据包的重复接入类型为接收端IP重复接入类型；

在接入来源判断结果为发送端接入的情况下，对所述历史发送端标记信息进行判断，若所述历史发送端标记信息为0，确定所述重复数据包的重复接入类型为发送端-接收端IP重复接入类型；

在接入来源判断结果为接收端接入的情况下，对所述历史接收端标记信息进行判断，若所述历史接收端标记信息为0，确定所述重复数据包的重复接入类型为发送端-接收端IP重复接入类型。

11.根据权利要求10所述的重复数据的识别方法，其特征在于，所述方法还包括：

根据当前接入来源判断结果，对所述历史接入来源标记信息进行更新，得到当前接入来源标记信息；

将所述当前接入来源标记信息作为更新后的所述历史接入来源标记信息。

12.根据权利要求8所述的重复数据的识别方法，其特征在于，所述历史接入来源标记信息包括历史发送端标记信息与历史接收端标记信息；所述历史接入来源标记信息通过以下步骤得到：

获取最大生存时间与初始数据包，所述初始数据包为首次获取的数据包；

对所述初始数据包进行解析，得到初始生存时间；

若所述初始生存时间与所述最大生存时间匹配，将历史发送端标记信息置为1，历史接收端标记信息置为0；

若所述初始生存时间与所述最大生存时间不匹配，将历史发送端标记信息置为0，历史接收端标记信息置为1。

13.根据权利要求9或12所述的重复数据的识别方法，其特征在于，所述获取最大生存时间包括：

获取预先配置的IP与最大生存时间对照关系表；

根据所述发送端IP地址信息在所述IP与最大生存时间对照关系表中进行查询，得到最大生存时间。

14.根据权利要求7所述的重复数据的识别方法，其特征在于，所述对所述重复数据包的接入时间进行记录，得到重复接入时间信息，包括：

获取重复接入开始时间，所述重复接入开始时间为首次发生重复接入的时间；

获取重复接入最近时间，所述重复接入最近时间为发生重复接入的最近时间；

将所述重复接入最近时间与所述重复接入开始时间的差值，作为重复接入时间信息。

15.一种重复数据的识别系统，其特征在于，所述系统包括：

配置模块，用于配置IP与最大生存时间对照关系表；

数据包接收模块，用于接收数据包，并将所述数据包发送给数据包分析模块；

数据包分析模块，用于解析所述数据包得到IP标识信息，根据所述IP标识信息对重复数据包进行识别得到重复接入类型信息，其中，所述IP标识信息包括发送端IP地址信息和接收端IP地址信息；

统计模块，用于存储所述重复数据包的发送端IP地址信息、接收端IP地址信息、重复接入类型信息以及所述重复数据包的接入时间信息。

16.根据权利要求15所述的重复数据的识别系统，其特征在于，还包括：

所述配置模块还用于配置重复数据识别功能的开启或关闭。

17.一种重复数据的识别装置，其特征在于，包括：

至少一个处理器；

至少一个存储器，用于存储至少一个程序；

当至少一个所述程序被至少一个所述处理器执行时实现如权利要求1至14任意一项所述的重复数据的识别方法。

18.一种计算机可读存储介质，其特征在于，其中存储有处理器可执行的程序，所述处理器可执行的程序被处理器执行时用于实现如权利要求1至14任意一项所述的重复数据的识别方法。

19.一种计算机程序产品，包括计算机程序或计算机指令，其特征在于，所述计算机程序或所述计算机指令存储在计算机可读存储介质中，计算机设备的处理器从所述计算机可读存储介质读取所述计算机程序或所述计算机指令，所述处理器执行所述计算机程序或所述计算机指令，使得所述计算机设备执行如权利要求1至14中任意一项所述的重复数据的识别方法。