CN116781353A - 基于设备指纹的数据采集方法、装置、电子设备和介质 - Google Patents

Abstract

本发明公开了一种基于设备指纹的数据采集方法、装置、电子设备和介质，可广泛应用于网络数据处理技术领域。本发明数据采集方法包括以下步骤：获取网络探针上传的测试数据，所述测试数据包括测试头部数据和测试数据实体，所述测试头部数据用于表征所述网络探针所处网关设备的可信接入点标识；获取入库信息内的网关设备历史信息；根据所述网关设备历史信息对所述测试头部数据进行合法性验证；根据合法性验证结果对所述测试数据实体进行处理，所述处理包括数据丢弃和数据解析。本发明可以有效解决单向数据采集过程中的可信接入问题，提高采集到的网络探针测试数据实体的安全性，进而提高集约负载均衡和采集系统工作的稳定性。

Description

基于设备指纹的数据采集方法、装置、电子设备和介质

技术领域

本发明涉及网络数据处理技术领域，尤其是一种基于设备指纹的数据采集方法、装置、电子设备和介质。

背景技术

相关技术中，集约负载均衡和采集系统一般为单向系统，没有回传通道，使得家庭网关设备的合法性无法通过双向认证的方式得到认证，而如果采用双向认证进行可信接入方式，则会严重影响服务器的性能。在目前单向通道的采集方式下，运营商通过海量家庭网关上的网络探针上报测试数据，由于家庭网关设备的合法性无法通过双向认证的方式得到认证，导致该上报的测试数据可能会对集约负载均衡和采集系统造成攻击，从而影响集约负载均衡和采集系统工作的稳定性。

发明内容

本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明提出一种基于设备指纹的数据采集方法、装置、电子设备和介质，能够对测试数据的合法性进行有效验证，从而提高集约负载均衡和采集系统工作的稳定性。

一方面，本发明实施例提供了一种基于设备指纹的数据采集方法，包括以下步骤：

获取网络探针上传的测试数据，所述测试数据包括测试头部数据和测试数据实体，所述测试头部数据用于表征所述网络探针所处网关设备的可信接入点标识；

获取入库信息内的网关设备历史信息；

根据所述网关设备历史信息对所述测试头部数据进行合法性验证；

根据合法性验证结果对所述测试数据实体进行处理，所述处理包括数据丢弃和数据解析。

本实施例通过在测试数据中设置表征网络探针所处网关设备的可信接入点标识的测试头部数据，并通过网关设备历史信息对测试头部数据进行合法性验证，再根据合法性验证结果对测试数据实体进行处理，从而可以有效解决单向数据采集过程中的可信接入问题，提高采集到的网络探针测试数据实体的安全性，进而提高集约负载均衡和采集系统工作的稳定性。

在一些实施例中，所述获取网络探针上传的测试头部数据，包括：

获取所述网络探针所处网关设备的第一设备指纹、当前测试业务编码和动态口令；

根据所述第一设备指纹、所述当前测试业务编码和所述动态口令生成哈希值作为测试头部数据。

本实施例通过根据对应网关设备的指纹、测试业务编码和动态口令生成哈希值，并将哈希值作为测试头部数据，从而可以使得测试头部数据可以动态且唯一的表征对应网关设备的可信接入点标识，进而提高后续合法性验证结果的准确度。

在一些实施例中，所述获取所述网络探针所处网关设备的第一设备指纹，包括：

获取所述网络探针所处网关设备的硬件信息、所述网络探针所处网关设备对应的系统信息以及网络探针信息；

根据所述硬件信息、所述系统信息以及所述网络探针信息生成所述网络探针所处网关设备的第一设备指纹。

本实施例通过网关设备的硬件信息、系统信息和网络探针信息生成设备指纹，从而使得该设备指纹可以唯一表征网关设备，使得后续生成的测试头部数据可以更准确地表征网关设备的可信接入点标识，进而提高合法性验证结果的准确度。

在一些实施例中，在所述获取网络探针上传的测试数据后，所述方法还包括以下步骤：

采用加密算法将所述测试数据转换为密文信息，并生成对应密钥；

将所述密钥共享到可信接入验证模块，所述可信接入验证模块用于验证所述测试头部数据的合法性。

本实施例通过加密算法将测试数据转换为密文信息，从而提高数据发送过程的安全性，并通过生成的密钥发送到可信接入验证模块，进而提高可信接入验证模块进行合法性验证的准确度。

在一些实施例中，所述根据所述网关设备历史信息对所述测试头部数据进行合法性验证，包括：

根据所述网关设备历史信息生成第二设备指纹；

对所述第一设备指纹和所述第二设备指纹进行比对；

根据比对结果和所述密钥验证所述测试头部数据的合法性。

本实施例通过网关设备历史信息生成的设备指纹与实时设备指纹进行比对，从而提高比对结果的准确度，进而提高测试头部数据合法性验证的准确度。

在一些实施例中，所述根据合法性验证结果对所述测试数据实体进行处理，包括：

确定所述合法性验证结果为不通过，丢弃所述测试数据实体；

确定所述合法性验证结果为通过，根据所述测试数据实体的数据类型，在采集集群中分配对应的服务器来解析所述测试数据实体。

本实施例通过在合法性验证结果为不通过时，丢弃对应的测试数据实体，进而降低该测试数据实体对采集集群的攻击程度，并且在合法性验证结果为通过时，再根据测试数据实体的数据类型，在采集集群中分配对应服务器解析测试数据实体，从而提高采集集群在进行数据采集的稳定性。

在一些实施例中，在所述确定所述合法性验证结果为通过后，所述方法还包括以下步骤：

确定所述测试数据实体存在攻击行为，动态更新所述加密算法和所述动态口令，以使所述加密算法动态更新密钥，所述加密算法包括对称加密算法和非对称加密算法。

本实施例通过在合法性验证结果为不通过时，动态更新加密算法和动态口令，从而提高数据采集传输过程的安全性。

另一方面，本发明实施例提供了一种基于设备指纹的数据采集装置，包括：

第一模块，用于获取网络探针上传的测试数据，所述测试数据包括测试头部数据和测试数据实体，所述测试头部数据用于表征所述网络探针所处网关设备的可信接入点标识；

第二模块，用于获取入库信息内的网关设备历史信息；

第三模块，用于根据所述网关设备历史信息对所述测试头部数据进行合法性验证；

第四模块，用于根据合法性验证结果对所述测试数据实体进行处理，所述处理包括数据丢弃和数据解析。

本实施例通过第一模块在测试数据中设置表征网络探针所处网关设备的可信接入点标识的测试头部数据，并通过第三模块根据网关设备历史信息对测试头部数据进行合法性验证，接着再通过第四模块根据合法性验证结果对测试数据实体进行处理，从而可以有效解决单向数据采集过程中的可信接入问题，提高采集到的网络探针测试数据实体的安全性，进而提高集约负载均衡和采集系统工作的稳定性。

另一方面，本发明实施例提供了一种电子设备，包括：

至少一个存储器，用于存储程序；

至少一个处理器，用于加载所述程序以执行前述的基于设备指纹的数据采集方法。

本实施例通过设置处理器，以使该处理加载存储器中基于设备指纹的数据采集方法，从而可以有效解决单向数据采集过程中的可信接入问题，提高采集到的网络探针测试数据实体的安全性，进而提高集约负载均衡和采集系统工作的稳定性。

另一方面，本发明实施例提供了一种计算机存储介质，其中存储有计算机可执行的程序，所述计算机可执行的程序被处理器执行时用于实现前述的基于设备指纹的数据采集方法。

本实施例计算机介质存储的程序实现基于设备指纹的数据采集方法，从而可以有效解决单向数据采集过程中的可信接入问题，提高采集到的网络探针测试数据实体的安全性，进而提高集约负载均衡和采集系统工作的稳定性。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

下面结合附图和实施例对本发明做进一步的说明，其中：

图1为本发明实施例一种基于设备指纹的数据采集方法的流程图；

图2为本发明实施例一种测试头部数据的获取过程的流程图；

图3为本发明实施例一种第一设备指纹的获取过程的流程图；

图4为本发明实施例另一种基于设备指纹的数据采集方法的流程图；

图5为本发明实施例一种合法性验证过程的流程图；

图6为本发明实施例一种基于设备指纹的数据采集方法的交互场景示意图；

图7为本发明实施例一种基于设备指纹的数据采集方法的整体流程图；

图8为本发明实施例另一种基于设备指纹的数据采集方法的整体流程图；

图9为本发明实施例一种基于设备指纹的数据采集装置的模块示意图；

图10为本发明实施例一种电子设备的结构示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。

在本发明的描述中，需要理解的是，涉及到方位描述，例如上、下、前、后、左、右等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

在本发明的描述中，若干的含义是一个以上，多个的含义是两个以上，大于、小于、超过等理解为不包括本数，以上、以下、以内等理解为包括本数。如果有描述到第一、第二只是用于区分技术特征为目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。

本发明的描述中，除非另有明确的限定，设置、安装、连接等词语应做广义理解，所属技术领域技术人员可以结合技术方案的具体内容合理确定上述词语在本发明中的具体含义。

本发明的描述中，参考术语“一个实施例”、“一些实施例”、“示意性实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结果、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结果、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

在进行具体实施例的阐述之前，对本申请实施例涉及的术语进行如下解释：

家庭网关：也称RG驻地网关，是实现家庭网络内部各设备与外部设备相互通信的设备，是家庭网络中最核心的构成部分。通过家庭网络内的设备，可以与电信网络进行信息交互，也可以进行内部设备之间的信息交互。家庭网关在家庭内部建立统一的数据处理中心，对家庭内部数据进行管理，对外连接运营商网络。

网络探针：是一种监视工具，用于捕获网络流量并对其进行分析。网络探针可用于收集信息，例如带宽利用率、协议使用情况、网络流量来源和目标等，以便识别潜在的安全问题或网络瓶颈。

哈希值：是文件的身份证，不过比身份证还严格。其是根据文件大小、时间、类型、创作着或机器等计算出来的，很容易就会发生变化，谁也不能预料下一个号码是多少，也没有更改他的软件。哈希算法将任意长度的二进制值映射为固定长度的较小二进制值，这个小的二进制值称为哈希值。哈希值是一段数据唯一且极其紧凑的数值表示形式。如果散列一段明文而且哪怕只更改该段落的一个字母，随后的哈希都将产生不同的值。要找到散列为同一个值的两个不同的输入，在计算上是不可能的。

公网：公网即国际互联网(Internet)，就是现在的网通、电信、铁通等架设的骨干及分支网络。它是把全球不同位置、不同规模的计算机网络(包括局域网、城域网、广域网)相互连接在一起所形成的计算机网络的集合体。公网包括新闻、招商、活动、采购等，作为重点新闻网站。公网和内网是两种Internet的接入方式。公网接入方式是上网的计算机得到的IP地址是Internet上的非保留地址，公网的计算机和Internet上的其他计算机可随意互相访问。

非交互型媒体：是指受众与媒体没有交互性或交互性较弱的一类媒体。受众仅能通过媒体进行阅读、听和看，只是单纯意义上的信息接收者，即使受众能和媒体进行简单的交互，也存在很大的局限性、不够灵活，受众的积极性和参与意识受到很大的限制。一般来讲，非交互型媒体大多是纸质媒体和电声类媒体，如报纸、杂志、电视、广播等。

宕机：指系统无法从一个系统错误中恢复过来，或系统硬件层面出问题，以致系统长时间无响应，而不得不重启动系统的现象。它属于电脑运作的一种正常现象，任何电脑都会出现这种情况。

在本实施例中，运营商在家庭网关设置的探针一般是采用全量部署，网络车的集约采集集群即要满足不同测试类型的大数据采集解析需要，也要识别通过公网上报的测试结果的可信性，防止异常攻击流量接入造成负载均衡服务器和采集集群宕机。

传统的集约负载均衡和采集系统一般为单向系统，没有回传通道，家庭网关设备的合法性无法通过双向认证的方式得到认证，而如果采用双向认证进行可信接入方式对也会严重影响服务器的性能。而目前运营商通过海量家庭网关上网络探针上报的测试数据无法进行可信标识，使得网络侧的集约负载均衡和采集系统无法识别上报网关终端的合法性，因此，无法防止异常流量对集约负载均衡和采集集群的攻击。

基于此，参照图1，本发明实施例提供了一种基于设备指纹的数据采集方法，本实施例的方法可应用于网络设备监测平台对应的数据处理端，也可以应用于服务器或云服务器。

可以理解的是，如图1所示，本实施例的方法包括但不限于以下步骤：

步骤S110、获取网络探针上传的测试数据；

在本实施例中，测试数据可以包括测试头部数据和测试数据实体。具体地，测试头部数据用于表征网络探针所处网关设备的可信接入点标识，以使得合法性验证过程可以根据测试头部数据来验证对应网关设备的测试数据实体的合法性。测试数据实体可以有不同业务类型的具体测试结果组成，从而使得在合法性验证通过后，可以在数据采集集群中为具体测试对应的网格设备分配对应的服务器进行数据采集。

在本实施例中，如图2所示，测试头部数据的获取过程包括但不限于以下步骤：

步骤S210、获取网络探针所处网关设备的第一设备指纹、当前测试业务编码和动态口令；

步骤S220、根据第一设备指纹、当前测试业务编码和动态口令生成哈希值作为测试头部数据。

可以理解的是，设备指纹可以用来表征网络探针所处网关设备的身份标识。通过该身份标识可以唯一确定对应的网关设备，从而提高身份验证结果的准确度。示例性地，设备指纹可以采用数字组合、字母组合、特殊符号组合或者数字与字母的组合、数字与特殊符号的组合、字母与特殊符号的组合等等。例如，采用100代表网关设备1的指纹、200代表网关设备2的指纹；又比如，采用A10代表网关设备1的指纹、A10代表网关设备2的指纹；又或者，采用A@1代表网关设备1的指纹、A@2代表网关设备2的指纹等等表示方式，具体可以根据实际情况进行调整。

在本实施例中，每个网关设备要实现网络数据流量的稳定性传输，需要进行多种测试业务，以及时有效地发现网关设备存在的设备故障信息或者影响网关设备稳定运行的因素。本实施例通过采用测试业务编码来表征每个类型的测试业务。可以理解的是，当前测试业务编码可以采用多个数字组合代表不同的测试业务，例如，可以采用01代表http网页测试、采用02代表视频业务测试、采用03代表网络聊天业务测试等等，具体的编码形式可以根据实际需求进行调整。

在本实施例中，动态口令可以根据时间节点进行调整，也可以根据测试业务类型进行调整。示例性地，动态口令可以采用数字组合进行表示。例如，采用0001表示第一次合法性验证过程的动态口令，采用002表示第二次合法性验证过程的动态口令等等表示方式。

可以理解的是，对于上述设备指纹、测试业务编码和动态口令的表示方式中，若以二进制数字进行表示时，每个类型的信息所采用的表示数字的数量并不限定，即可以动态调整。示例性地，在生成的哈希值(HASH)中第一、第二位的二进制数字表示设备指纹，第三、第四和第五位表示测试业务编码，第六、第七和第八位表示动态口令。例如，得到的哈希值为“01010001”，则可以从这个哈希值中得到的信息是“网关设备为01、测试业务编码为010和动态口令为001”。由此可知，本实施例通过网络探针所处网关设备的指纹、当前测试业务编码和动态口令生成的哈希值作为测试头部数据，从而可以有效提高后续合法性验证过程的准确度。

在本实施例中，如图3所示，网络探针所处网关设备的第一设备指纹的获取过程包括但不限于以下步骤获取：

步骤S310、获取网络探针所处网关设备的硬件信息、网络探针所处网关设备对应的系统信息以及网络探针信息；

步骤S320、根据硬件信息、系统信息以及网络探针信息生成网络探针所处网关设备的第一设备指纹。

可以理解的是，网络探针所处网关设备的硬件信息包括但不限于SN码和MAC地址。其中，SN(Serial Number，产品序列)码是为验证“产品的合法身份”而引入的一个概念，它是用来保障用户的正版权益，享受合法服务的。一套正版的产品只对应一组产品序列号。SN码别称有机器码、认证码、注册申请码等。SN码也是软件开发商给软件的一个识别码，和人的身份证号码类似，其作用主要是为了防止自己的软件被用户盗用。MAC(Media AccessControl或者Medium Access Control)地址是指媒体访问控制或物理地址、硬件地址，用来定义网络设备的位置。网络探针所处网关设备对应的系统信息包括但不限于网关版本号、固定版本号或网关标识符(ID)等。网络探针信息包括但不限于探针标识符(ID)或探针版本号等。在本实施例中，若硬件信息值获取到SN码、系统信息值获取到网关版本号、网络探针信息值获取到探针标识符，则可以将SN码、网关版本号和探针标识符对应的二进制数字进行组合，从而得到组合数字符合作为网络探针所处网关设备唯一的设备指纹。

在本实施例中，在获取到网络探针上传的测试数据后，如图4所示，本实施例的数据采集方法还包括但不限于以下步骤：

步骤S410、采用加密算法将测试数据转换为密文信息，并生成对应密钥；

步骤S420、将密钥共享到可信接入验证模块。

可以理解的是，加密算法包括对称加密算法和非对称加密算法。具体地，若采用对称加密算法对测试数据处理，则在通过第一密钥将测试数据转换为不可读的代码密文信息后，会将该第一密钥共享到可信接入验证模块，以使可信接入验证模块在进行可信验证时，采用该第一密钥进行解密并验证可信性。若采用非对称加密算法，则在通过第二密钥将测试数据转换为不可读的代码密文信息时，会生成第三密钥，并将第三密钥共享到可信接入验证模块，以使可信接入验证模块在进行可信验证时，采用该第三密钥进行解密并验证可信性。具体地，可信接入验证模块用于验证测试头部数据的合法性。

在本实施例中，由于测试数据包括测试头部数据和测试数据实体，因此，本实施例在对测试数据进行加密处理时，可以分别采用第一加密算法Ah对测试头部数据进行加密处理，同时采用第二加密算法Ad对测试数据实体。可以理解的是，第一加密算法Ah和第二加密算法Ad可以是相同的加密算法，也可以是不同的加密算法。例如，第一加密算法Ah和第二加密算法Ad都采用对称加密算法或者都采用非对称加密算法，又比如，第一加密算法Ah采用对称加密算法、第二加密算法Ad采用非对称加密算法等，具体加密算法的选择可以根据实际情况进行组合，本实施例不做具体限定。

步骤S120、获取入库信息内的网关设备历史信息；

在本实施例中，入库信息是指运营商侧预先存储的家庭网关设备信息。当需要进行网关设备的测试数据实体的合法性验证时，则可以从运营商侧预先存储入库信息中获取对应的网关设备历史信息，使得验证过程可以通过网关历史信息来判断当前网关设备的测试数据是否合法。

步骤S130、根据网关设备历史信息对测试头部数据进行合法性验证；

在本实施例中，如图5所示，合法性验证的过程可以包括但不限于以下步骤：

步骤S510、根据网关设备历史信息生成第二设备指纹；

步骤S520、对第一设备指纹和第二设备指纹进行比对；

步骤S530、根据比对结果和密钥验证测试头部数据的合法性。

可以理解的是，在获取到网关设备历史信息后，由于网络运营商侧预先存储的网关设备历史信息中包括多个网关设备的硬件信息、网络探针对应网关设备的系统信息以及网络探针信息，因此，可以根据预先存储的信息生成多个网关设备的指纹，并将该步骤生成的设备指纹作为第二设备指纹。在本实施例中，在得到第二设备指纹后，通过将第一设备指纹与第二设备指纹进行对比，从而判断出第一设备指纹是否与第二设备指纹匹配。可以理解的是，本比对是指第一设备指纹与第二设备指纹中的其中一个设备指纹相同，即认为比对通过。若第一设备指纹不与第二设备指纹中的任何一个设备指纹相同，则确定当前比对不通过。

在本实施例中，当第一设备指纹与第二设备指纹比对通过后，可以通过密钥对测试头部数据进行解密。可以理解的是，解密算法与测试头部数据的加密算法对应。解密过程的密钥是加密过程中共享的密钥。示例性地，在加密过程中采用对称加密算法，则在解密过程的密钥与加密密钥一样；若在加密过程中采用非对称加密算法，则在解密过程中的密钥为加密过程中生成的非对称密钥。在完成解密后，根据测试头部数据判断其合法性。示例性地，可以通过判断测试头部数据与预先存储的数据是否相同，例如对应关系是否相同、测试业务编码是否和预先存储的测试业务编码相同等，来判断其合法性。

步骤S140、根据合法性验证结果对测试数据实体进行处理。

在本实施例中，处理包括数据丢弃和数据解析。可以理解的是，当确定合法性验证结果为不通过，丢弃测试数据实体，从而可以避免该测试数据实体对采集集群所处系统的工作过程进行攻击，有效提高工作过程的稳定性。当确定合法性验证结果为通过，根据测试数据实体的数据类型，在采集集群中分配对应服务器解析测试数据实体。在本实施例中，采集集群包括了若干个采集服务器，每个采集服务器执行的功能存在不同。示例性地，采集服务器1用于解析网页测试业务的测试数据实体、采集服务器2用于解析视频测试业务的数据实体等。因此，本实施例通过测试数据实体的数据类型分配对应的服务器进行数据解析，从而可以有效提高数据解析的准确度。

在本实施例中，在确定合法性验证结果为通过后，还可以进一步判断测试数据实体本身是否对当前采集系统具有攻击性，若确定测试数据实体存在攻击行为，则可以删除该测试数据实体，并动态更新加密算法和动态口令，以使加密算法动态更新密钥，从而可以在下次数据采集过程中所使用的加密算法和动态口令与当前采用的加密算法和动态口令不同，进而提高数据采集过程的安全性。

在一些实施例中，如图6所示的交互场景，从图6可知，该交互场景包括家庭网关探针、运营商网关管理平台、负载均衡服务器以及数据采集集群。在家庭网关探针上设置设备指纹生成模块和测试结果重构模块，在运营商网关管理平台中设置秘密加密管理模块，在负载均衡服务器中设置可信接入验证模块，在数据采集集群中设置多个服务器。当本申请实施例提供的方法应用于图6所示的交互场景时，每个模块各自执行对应的功能如下：

设备指纹生成模块用于提取设备硬件信息、系统信息和探针信息等，并根据设备硬件信息、系统信息和探针信息生成当前探针所处网关设备唯一的设备指纹。具体地，设备硬件信息可以包括但不限于SN码和MAC地址。系统信息包括但不限于网关版本号、固定版本号或网关标识符(ID)。探针信息包括但不限于探针标识符(ID)或探针版本号。

测试结果重构模块用于根据加密算法对测试数据。可以理解的是，当测试头部数据和测试数据实体采用不同的加密算法时，则可以采用第一加密算法Ah对测试头部数据进行加密处理。具体地，第一加密算法Ah的输入字段包括设备指纹、测试类型业务编码和动态口令Sk，输出字段是头部HASH值。采用第二加密算法Ad对测试数据进行加密处理。具体地，第二加密算法Ad的输入字段包括测试结果数据实体部分，该数据实体部分由不同业务类型的具体测试结果组成。

秘密加密管理模块用于定期更新家庭网关探针侧测试结果重构模块和网络侧集约负载均衡，以及采集系统上的可信接入验证模块中的测试头部数据加密算法Ah、测试数据实体Ad和动态口令Sk。

可信接入验证模块用于基于运营商已有的家庭网关入库信息，动态生成网关设备指纹，基于该网关设备指纹和加密算法生成的密钥对服务器入口流量头部HASH值进行验证。如果验证不通过，则确定当前测试数据实体为异常流量，直接抛弃该数据；如果验证通过，则确定当前测试数据实体为正常流量，在数据采集集群内分配不同类型的服务器进行数据解析。

从该交互场景可知，本实施例的家庭网关上的网络质量探针所用动态口令是通过运营商的家庭网络连接管理平台由秘密加密管理模块统一进行更新；家庭网关探针上报数据时使用该动态口令对包括网关设备指纹在内的测试头部数据进行加密后生成HASH值；负载均衡服务器上的可信接入验证模块验证服务器入口流量中测试头部HASH值，并在采集集群内分配服务器进行不同类型的数据流量解析。

在一些实施例中，基于图6的交互场景，如图7所示，本申请实施例提供的数据采集方法的整体流程包括但不限于以下步骤：

步骤一、运营商网关管理平台定期更新网关和均衡负载服务器中相关模块的动态口令。

可以理解的是，定期更新家庭网关探针侧的测试结果重构模块和负载均衡服务器中可信接入验证模块中所使用的测试头部数据加密算法、测试数据实体加密算法和动态口令。其中，测试头部数据加密算法和测试数据实体加密算法可以相同也可以不相同。

步骤二、家庭网关探针基于更新后的动态口令对测试数据进行数据处理。

可以理解的是，家庭网关探针上报的测试数据包括测试头部数据和测试数据实体。测试头部数据由网关设备指纹、不同业务类型编码和更新后的动态口令生成。具体地，可以将网关设备指纹、不同业务类型编码和更新后的动态口令输入对应的加密算法中，从而得到测试头部HASH值作为测试头部数据。测试数据实体由不同业务类型的具体测试结果组成，可以通过对应的加密算法进行加密处理。

步骤三、可信接入验证模块验证测试头部数据的HASH值。

可以理解的是，本实施例的验证过程可以基于运营网关管理平台中已有的家庭网关入库信息，动态生成家庭网关的设备指纹作为第二设备指纹，然后基于该第二设备指纹和秘密加密管理模块共享的密钥对入口流量头部HASH值进行验证。若验证不通过，则直接抛弃该测试头部数据对应的测试数据实体；若验证通过，则转采集集群内进行进一步的数据解析处理。

步骤四、对于正常流量，则在数据采集集群内分配不同类型的服务器解析测试数据实体部分的数据，从而完成数据采集的完整过程。

在另一些实施例中，基于图6的交互场景，如图8所示，本申请实施例提供的数据采集方法的整体流程包括但不限于以下步骤：

步骤一、运营商网关管理平台定期更新网关和均衡负载服务器中相关模块的动态口令。

可以理解的是，定期更新家庭网关探针侧的测试结果重构模块和负载均衡服务器中可信接入验证模块中所使用的测试头部数据加密算法、测试数据实体加密算法和动态口令。其中，测试头部数据加密算法和测试数据实体加密算法可以相同也可以不相同。

步骤二、家庭网关探针基于更新后的动态口令对测试数据进行数据处理。

可以理解的是，家庭网关探针上报的测试数据包括测试头部数据和测试数据实体。测试头部数据由网关设备指纹、不同业务类型编码和更新后的动态口令生成。具体地，可以将网关设备指纹、不同业务类型编码和更新后的动态口令输入对应的加密算法中，从而得到测试头部HASH值作为测试头部数据。测试数据实体由不同业务类型的具体测试结果组成，可以通过对应的加密算法进行加密处理。

步骤三、可信接入验证模块验证测试头部数据的HASH值。

可以理解的是，本实施例的验证过程可以基于运营网关管理平台中已有的家庭网关入库信息，动态生成家庭网关的设备指纹作为第二设备指纹，然后基于该第二设备指纹和秘密加密管理模块共享的密钥对入口流量头部HASH值进行验证。若验证不通过，则直接抛弃该测试头部数据对应的测试数据实体；若验证通过，则转采集集群内进行进一步的数据解析处理。

步骤四、在验证通过后，通过AI异常流量感知模块监测异常攻击行为，并动态通知秘密加密管理模块对加密算法和动态口令进行调整。

可以理解的是，当测试头部数据验证通过后，表明当前网关探针所上报的数据与网关设备存在对应关系。但是，在数据传输过程中，还可能存在其他的攻击行为，从而使得传输的数据流量突变，进而导致负载均衡服务器和数据采集集群宕机。本实施例通过设置AI异常流量感知模块来进一步监测异常流量，从而可以判断该实时监测的流量是否存在异常，例如突然增大等行为。在确定实时监测的流程存在异常时，对该异常流量数据进行删除或拦截等方式的处理，并动态更新加密算法和动态口令，从而可以有效提高负载均衡服务器和数据采集集群的安全性和稳定性。

综上所述，本实施例在传统集约负载均衡和采集系统中引入非交互可信接入技术，通过构建家庭网关的设备指纹，对家庭网关探针上报测试结果头部进行重构并加密，负载均衡服务器上的可信接入验证模块对测试头部验证，实现在海量探针场景下，有效解决现有单向的数据采集系统中探针快速、可信接入问题，实现对家庭网关探针测试数据安全、高效采集需求，从而提升运营商网络运维水平。

参照图9，本发明实施例提供了一种基于设备指纹的数据采集装置，包括：

第一模块910，用于获取网络探针上传的测试数据，所述测试数据包括测试头部数据和测试数据实体，所述测试头部数据用于表征所述网络探针所处网关设备的可信接入点标识；

第二模块920，用于获取入库信息内的网关设备历史信息；

第三模块930，用于根据所述网关设备历史信息对所述测试头部数据进行合法性验证；

第四模块940，用于根据合法性验证结果对所述测试数据实体进行处理，所述处理包括数据丢弃和数据解析。

可以理解的是，上述装置之间的信息交互、执行过程等内容，由于与本申请方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结果划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

参照图10，本发明实施例提供了一种电子设备，包括：

至少一个存储器1010，用于存储程序1011；

至少一个处理器1020，用于加载所述程序以执行图1所示的基于设备指纹的数据采集方法。

所述电子设备1000可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。该电子设备可包括，但不仅限于，处理器1020、存储器1010。本领域技术人员可以理解，图10仅仅是电子设备1000的举例，并不构成对电子设备1000的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如还可以包括输入输出设备、网络接入设备等。

所述处理器1020可以是中央处理单元(Central Processing Unit，CPU)，该处理器1020还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

所述存储器1010在一些实施例中可以是所述电子设备1000的内部存储单元，例如电子设备1000的硬盘或内存。所述存储器1010在另一些实施例中也可以是所述电子设备1000的外部存储设备，例如所述电子设备1000上配备的插接式硬盘，智能存储卡(SmartMedia Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器1010还可以既包括所述电子设备1000的内部存储单元也包括外部存储设备。所述存储器1010用于存储操作系统、应用程序、引导装载程序(BootLoader)、数据以及其他程序等，例如所述计算机程序的程序代码等。所述存储器1010还可以用于暂时地存储已经输出或者将要输出的数据。

本发明实施例提供了一种计算机存储介质，其中存储有计算机可执行的程序，所述计算机可执行的程序被处理器执行时用于实现图1所示的基于设备指纹的数据采集方法。

本发明方法实施例的内容均适用于本存储介质实施例，本存储介质实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法达到的有益效果也相同。

此外，本发明实施例提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存介质中。计算机设备的处理器可以从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行图1所示的基于设备指纹的数据采集方法。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质至少可以包括：能够将计算机程序代码携带到拍照装置/终端设备的任何实体或装置、记录介质、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，RSNdomAccess Memory)、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。在某些司法管辖区，根据立法和专利实践，计算机可读介质不可以是电载波信号和电信信号。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

在本申请所公开的实施例中，应该理解到，所揭露的装置/终端设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/终端设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

上面结合附图对本发明实施例作了详细说明，但是本发明不限于上述实施例，在所属技术领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。此外，在不冲突的情况下，本发明的实施例及实施例中的特征可以相互组合。

Claims (10)

1.一种基于设备指纹的数据采集方法，其特征在于，包括以下步骤：

获取网络探针上传的测试数据，所述测试数据包括测试头部数据和测试数据实体，所述测试头部数据用于表征所述网络探针所处网关设备的可信接入点标识；

获取入库信息内的网关设备历史信息；

根据所述网关设备历史信息对所述测试头部数据进行合法性验证；

根据合法性验证结果对所述测试数据实体进行处理，所述处理包括数据丢弃和数据解析。

2.根据权利要求1所述的一种基于设备指纹的数据采集方法，其特征在于，所述获取网络探针上传的测试头部数据，包括：

获取所述网络探针所处网关设备的第一设备指纹、当前测试业务编码和动态口令；

根据所述第一设备指纹、所述当前测试业务编码和所述动态口令生成哈希值作为测试头部数据。

3.根据权利要求2所述的一种基于设备指纹的数据采集方法，其特征在于，所述获取所述网络探针所处网关设备的第一设备指纹，包括：

获取所述网络探针所处网关设备的硬件信息、所述网络探针所处网关设备对应的系统信息以及网络探针信息；

根据所述硬件信息、所述系统信息以及所述网络探针信息生成所述网络探针所处网关设备的第一设备指纹。

4.根据权利要求2所述的一种基于设备指纹的数据采集方法，其特征在于，在所述获取网络探针上传的测试数据后，所述方法还包括以下步骤：

采用加密算法将所述测试数据转换为密文信息，并生成对应密钥；

将所述密钥共享到可信接入验证模块，所述可信接入验证模块用于验证所述测试头部数据的合法性。

5.根据权利要求4所述的一种基于设备指纹的数据采集方法，其特征在于，所述根据所述网关设备历史信息对所述测试头部数据进行合法性验证，包括：

根据所述网关设备历史信息生成第二设备指纹；

对所述第一设备指纹和所述第二设备指纹进行比对；

根据比对结果和所述密钥验证所述测试头部数据的合法性。

6.根据权利要求4所述的一种基于设备指纹的数据采集方法，其特征在于，所述根据合法性验证结果对所述测试数据实体进行处理，包括：

确定所述合法性验证结果为不通过，丢弃所述测试数据实体；

确定所述合法性验证结果为通过，根据所述测试数据实体的数据类型，在采集集群中分配对应的服务器来解析所述测试数据实体。

7.根据权利要求6所述的一种基于设备指纹的数据采集方法，其特征在于，在所述确定所述合法性验证结果为通过后，所述方法还包括以下步骤：

确定所述测试数据实体存在攻击行为，动态更新所述加密算法和所述动态口令，以使所述加密算法动态更新密钥，所述加密算法包括对称加密算法和非对称加密算法。

8.一种基于设备指纹的数据采集装置，其特征在于，包括：

第一模块，用于获取网络探针上传的测试数据，所述测试数据包括测试头部数据和测试数据实体，所述测试头部数据用于表征所述网络探针所处网关设备的可信接入点标识；

第二模块，用于获取入库信息内的网关设备历史信息；

第三模块，用于根据所述网关设备历史信息对所述测试头部数据进行合法性验证；

第四模块，用于根据合法性验证结果对所述测试数据实体进行处理，所述处理包括数据丢弃和数据解析。

9.一种电子设备，其特征在于，包括：

至少一个存储器，用于存储程序；

至少一个处理器，用于加载所述程序以执行如权利要求1-7任一项所述的基于设备指纹的数据采集方法。

10.一种计算机存储介质，其特征在于，其中存储有计算机可执行的程序，所述计算机可执行的程序被处理器执行时用于实现如权利要求1-7任一项所述的基于设备指纹的数据采集方法。