CN111680286A - 物联网设备指纹库的精细化方法 - Google Patents

Abstract

本发明实施例提供一种物联网设备指纹库的精细化方法，该方法包括：验证由设备指纹库给网络数据包匹配的设备信息是否满足精准率要求，若否，则筛选其为非合格指纹，再判断非合格指纹的网络数据包的聚类结果是否达到可精细化的条件，若是则确定非合格设备指纹为待精细化指纹，然后对待精细化指纹的聚类结果进行指纹特征扩充，得到扩充后的指纹和扩充后的指纹对应的新的设备信息，再对扩充后的指纹对应的网络数据包匹配的设备信息进行是否满足精准率的判定，若满足，则将扩充后的指纹加入设备指纹库。本发明实施例提供的方法，实现了智能高效率的物联网设备指纹库的设备指纹的验证，降低了人工成本和对失效指纹的精细化处理。

Description

物联网设备指纹库的精细化方法

技术领域

本发明涉及设备指纹技术领域，尤其涉及一种物联网设备指纹库的精细 化方法。

背景技术

针对物联网设备的识别技术能够有效把握网络空间的安全态势，有效预 防网络安全事件的发生。现有物联网设备的识别技术通过分析设备协议数据 包的内容，提取设备指纹对设备进行识别。设备指纹是一组用于识别物联网 设备的特征集合。由于物联网设备复杂多样且设备不断更新迭代，提取成功 的设备指纹会存在指纹失效现象，造成识别精准率下降。研究设备指纹验证 及精细化技术，能够快速有效地过滤失效指纹。从而提升设备识别精准率， 更有效地把握网络空间安全态势。

现有的物联网设备指纹的验证技术多采用人工验证的方式，人工进行设 备指纹的验证和修改需要该领域的专业人员对指纹识别结果进行逐一校验， 对失效指纹进行筛选过滤处理。人工的设备指纹验证和精细化方式需要验证 人员有相关领域专业知识背景，且存在效率低、验证成本高的问题。此外， 人工的设备指纹验证技术难以对失效指纹进行精细化处理，不能实现对失效 指纹的实时更新，难以提升指纹识别的精准率。

因此，如何避免现有的物联网设备指纹库的人工验证方式的低效率、验 证成本高的问题，实现对失效设备指纹的精细化处理，仍然是本领域技术人 员亟待解决的问题。

发明内容

本发明实施例提供一种网联网物联网设备指纹库的精细化方法，用以解 决现有的物联网设备指纹库的人工验证方式的低效率、验证成本高且无法实 现失效设备指纹的精细化的问题。

第一方面，本发明实施例提供一种网联网物联网设备指纹库的精细化方 法，包括：

抓取预设范围内的网络节点的网络数据包放入网络数据库；

基于物联网设备指纹库确定所述网络数据包对应的待检测设备指纹和对 应的待检测设备信息，所述物联网设备指纹库用于存储设备指纹和设备信息 的对应关系；

验证所述待检测设备指纹对应的网络数据包对应的待检测设备信息是否 满足第一精准率的要求，若不满足，则确定所述待检测设备指纹为非合格设 备指纹并将所述待检测设备指纹与所述待检测设备信息从所述物联网设备指 纹库中剔除；

对所述非合格设备指纹对应的网络数据包的聚类结果进行抽样和人工标 注设备信息，并根据人工标注的设备信息的分布判定所述非合格设备指纹是 否满足可精细化的条件，若不满足，则将所述非合格设备指纹废弃，若满足， 则确定所述非合格设备指纹为待精细化设备指纹；

对所述待精细化设备指纹对应的网络数据包的聚类结果进行抽样和人工 标注设备信息的结果采用自动特征提取方法进行指纹特征扩充，得到扩充后 的设备指纹与所述扩充后的设备指纹对应的新的设备信息，确定所述扩充后 的设备指纹在网络数据库中对应的新的网络数据包；

验证所述扩充后的设备指纹对应的所述新的网络数据包对应的所述新的 设备信息是否满足第二精准率的要求，若满足，则将所述扩充后的设备指纹 与所述扩充后的设备指纹对应的设备信息存入物联网设备指纹库，若不满足， 则将所述扩充后的设备指纹废弃。

优选地，该方法中，所述抓取预设范围内的网络节点的网络数据包放入 网络数据库，具体包括：

向预设范围内的网络地址端口发送请求数据包，抓取对应的响应数据包， 对所述响应数据包进行去重处理，得到网络数据包并存入网络数据库。

优选地，该方法中，所述基于物联网设备指纹库确定所述网络数据包对 应的待检测设备指纹和对应的待检测设备信息，具体包括：

利用物联网设备指纹库中的设备指纹对所述网络数据包中的内容信息进 行正则匹配或者关键字匹配识别，确定所述网络数据包对应的物联网设备指 纹库中的待检测设备指纹，确定物联网设备指纹库中的待检测设备指纹对应 的设备信息为所述网络数据包对应的待检测设备信息。

优选地，该方法中，所述验证所述待检测设备指纹对应的网络数据包对 应的待检测设备信息是否满足第一精准率的要求，具体包括：

所述待检测设备指纹fp对应的网络数据包的总数为n，将n个网络数据 包对应的待检测设备信息与为所述n个网络数据包预先标注的真实设备信息 进行比对，得到待检测设备信息与真实设备信息一致的网络数据包数量为m， 则输出第一验证结果res₁＝m/n；

采用k种辅助识别方法识别出的所述n个网络数据包中的第i个网络数 据包的k个设备信息中与所述待检测设备信息一致的有m_i个，则输出第二验 证结果

其中，i为整数且1≤i≤m，m_i为整数且0≤m_i≤k；

对所述待检测设备指纹fp对应的n个网络数据包进行聚类分析，确定聚 簇结果中最大簇中的网络数据包的个数为j，若j＞n×l，则第三验证结果 res₃＝j/n，若j≤n×l，则第三验证结果res₃＝j×p/n，其中，l为第一聚类阈值 系数，取值范围为[0,1]，p为第一惩罚因子，取值范围为[0,1]；

若res1>th₁，则所述待检测设备指纹对应的网络数据包对应的待检测设备 信息满足第一精准率的要求；

若res₁≤th₁且res₂×ρ+res₃×(1-ρ)>th₂，则所述待检测设备指纹对应的网络 数据包对应的待检测设备信息满足第一精准率的要求；

若res₁≤th₁且res₂×ρ+res₃×(1-ρ)≤th₂，则所述待检测设备指纹对应的网络 数据包对应的待检测设备信息不满足第一精准率的要求；

其中，th₁为预设第一可靠性阈值系数，th₂为预设第二可靠性阈值系数， ρ为第一权值系数，取值范围为[0,1]。

优选地，该方法中，所述对所述非合格设备指纹对应的网络数据包的聚 类结果进行抽样和人工标注设备信息，并根据人工标注的设备信息的分布判 定所述非合格设备指纹是否满足可精细化的条件，具体包括：

对所述非合格设备指纹对应的网络数据包的聚类分析得到的所有簇按照 各簇包含网络数据包个数的比例进行随机抽样，对抽样出来的x个样本网络 数据包进行人工标注设备信息，统计所述x个样本网络数据包中标注相同设 备品牌的样本网络数据包的个数，所述个数的最大值为y，若y/x>th₃，则所 述非合格设备指纹满足可精细化的条件，若y/x≤th₃，则所述非合格设备指纹 不满足可精细化的条件，其中，th₃为预设可精细化阈值，所述设备信息包括 设备品牌。

优选地，该方法中，所述对所述待精细化设备指纹对应的网络数据包的 聚类结果进行抽样和人工标注设备信息的结果采用自动特征提取方法进行指 纹特征扩充，得到扩充后的设备指纹与所述扩充后的设备指纹对应的设备信 息，具体包括：

确定所述待精细化设备指纹对应的网络数据包的聚类结果得到的第q簇 中的样本网络数据包被标注相同设备信息的个数，所述个数中最大值对应的 设备信息为A_q，则重新标注第q簇中所有网络数据包对应的设备信息为A_q， 若第t簇为所述聚类结果中的最大簇，则扩充后的设备指纹对应的新的设备 信息为A_t，其中，q为整数且1≤q≤z，z为所述待精细化设备指纹对应的网络 数据包的聚类得到的簇的总数；

所述待精细化设备指纹对应的网络数据包的个数为r，对待精细化设备指 纹对应的r个网络数据包进行分词处理，去除停用词，对无效信息进行过滤， 得到r个文本数据，所述无效信息包括MAC地址和时间戳；

采用One-hot编码对所述r个文本数据进行二值化表示，得到r个维度为 S的二进制特征向量，其中，所述二进制特征向量包含S个特征；

采用基于互信息的特征选择算法对所述r个二进制特征向量和对应于所 述r个二进制特征向量的设备信息进行去除冗余特征的处理，得到r个维度为 S’的降维二进制特征向量，其中，S’<S；

所述最大簇中网络数据包对应的降维二进制特征向量集合为 P＝{P₁,P₂,P₃,...,P_u}，所述聚类结果中除开所述最大簇的其他簇中网络数据包对 应的降维二进制特征向量集合为p＝{p₁,p₂,p₃,...,p_v}，其中，u和v均为整数且 u+v＝r，通过如下公式计算最大簇独有特征C：

C＝{(p₁|p₂|p₃|...|p_v)∧(P₁&P₂&P₃&...&P_u)}&(P₁&P₂&P₃&...&P_u)

将所述最大簇独有特征采用One-hot编码的映射关系转换为文本特征， 将所述文本特征加入所述待精细化设备指纹得到扩充后的设备指纹。

优选地，该方法中，所述验证所述扩充后的设备指纹对应的所述新的网 络数据包对应的所述新的设备信息是否满足第二精准率的要求，具体包括：

所述扩充后的设备指纹fp₁对应的新的网络数据包的总数为n₁，将n₁个 新的网络数据包对应的新的设备信息与为所述n₁个新的网络数据包预先标 注的真实设备信息进行比对，得到新的设备信息与真实设备信息一致的网络 数据包数量为m₁，则输出第一精细验证结果res’₁＝m₁/n₁；

采用k₁种辅助识别方法识别出的所述n₁个新的网络数据包中的第i’个 新的网络数据包的k₁个设备信息中与新的设备信息一致的有m_i’个，则输出 第二精细验证结果

其中，i’为整数且1≤i’≤m₁，m_i’为整数且0≤m_i’≤k₁；

对所述扩充后的设备指纹fp₁对应的n₁个新的网络数据包进行聚类分析， 确定聚簇结果中最大簇中的网络数据包的个数为j₁，若j₁＞n₁×l₁，则第三精 细验证结果res₃’＝j₁/n₁，若j₁≤n₁×l₁，则第三精细验证结果res₃’＝j₁×p₁/n₁， 其中，l₁为第二聚类阈值系数，取值范围为[0,1]，p₁为第二惩罚因子，取值 范围为[0,1]；

若res’₁＞th’₁，则所述扩充后的设备指纹对应的所述新的网络数据包对应 的所述新的设备信息满足第二精准率的要求；

若res’₁≤th’₁且res₂’×ρ₁+res₃’×(1-ρ₁)>th’₂，则所述扩充后的设备指纹对应的所述新的网络数据包对应的所述新的设备信息满足第二精准率的要求；

若res’₁≤th’₁且res₂’×ρ₁+res₃’×(1-ρ₁)≤th’₂，则所述扩充后的设备指纹对应的所述新的网络数据包对应的所述新的设备信息不满足第二精准率的要求；

其中，th’₁为预设第一精细可靠性阈值系数，th’₂为预设第二精细可靠性 阈值系数，ρ₁为第二权值系数，取值范围为[0,1]。

优选地，该方法中，所述设备信息包括设备型号、设备品牌和设备类型。

第二方面，本发明实施例提供一种电子设备，包括存储器、处理器及存 储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序 时实现如第一方面所提供的物联网设备指纹库的精细化方法的步骤。

第三方面，本发明实施例提供一种非暂态计算机可读存储介质，其上存 储有计算机程序，该计算机程序被处理器执行时实现如第一方面所提供的物 联网设备指纹库的精细化方法的步骤。

本发明实施例提供的方法，通过从网络中抓取的大量网络数据包对已有 的物联网设备指纹库进行验证，验证由物联网设备指纹库给所述网络数据包 匹配的设备信息是否满足精准率的要求，若不满足，则筛选其为非合格设备 指纹，并将其从物联网设备指纹库移除，然后对非合格设备指纹进行进一步 的精细化的处理，首先判断所述非合格设备指纹的对应的网络数据包的聚类 结果是否达到可精细化的条件，若达到则确定所述非合格设备指纹为待精细 化设备指纹，然后通过对待精细化设备指纹的聚类结果进行自动特征提取的 方式进行指纹特征扩充，得到扩充后的设备指纹和扩充后的设备指纹对应的 新的设备信息，再对扩充后的设备指纹对应的网络数据包匹配的设备信息进 行是否满足精准率的判定，若满足，则将扩充后的设备指纹加入物联网设备 指纹库。如此，本发明首先挑出了非合格设备指纹，然后对满足可精细化要 求的非合格设备指纹进行指纹特征扩充，形成更精细的扩充后的设备指纹， 最后将通过精准率验证的扩充后的设备指纹放入物联网设备指纹库。因此， 本发明实施例实现了智能高效率的物联网设备指纹库的设备指纹的验证，降 低了人工成本，同时也对失效指纹进一步处理使其成为合格指纹并加入网联 网物联网设备指纹库实现了对失效指纹的更新。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实 施例或现有技术描述中所需要使用的附图做一简单地介绍，显而易见地，下 面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在 不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的物联网设备指纹库的精细化方法的流程示意 图；

图2为本发明实施例提供的物联网设备指纹精细化的框架图；

图3为本发明实施例提供的物联网设备数据生成流程图；

图4为本发明实施例提供的物联网设备指纹库的精细化装置的结构示意 图；

图5为本发明实施例提供的电子设备的实体结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发 明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述， 显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于 本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获 得的所有其他实施例，都属于本发明保护的范围。

现有的物联网设备指纹库的人工验证方式普遍存在低效率、验证成本高 且无法实现失效设备指纹的精细化的问题。对此，本发明实施例提供了一种 物联网设备指纹库的精细化方法。图1为本发明实施例提供的物联网设备指 纹库的精细化方法的流程示意图，如图1所示，该方法包括：

步骤110，抓取预设范围内的网络节点的网络数据包放入网络数据库。

具体地，在网络中抓取网络数据包，这些网络数据包包括设备协议数据 包，通过分析所述网络数据包中的内容可以提取设备指纹进行设备识别，而 抓包也需要限定一定范围，例如限定待抓包IP地址范围和待抓包探测端口列 表，然后对于该范围内的网络节点进行探测抓包，通常为了后续对物联网设 备指纹库的验证更准确，抓取的网络数据包的数量巨大，会达到百万级别。

步骤120，基于物联网设备指纹库确定所述网络数据包对应的待检测设 备指纹和对应的待检测设备信息，所述物联网设备指纹库用于存储设备指纹 和设备信息的对应关系。

具体的，对于网络数据库中的网络数据包会提取对应于每个网络数据包 的设备指纹，然后基于物联网设备指纹库查找与每个网络数据包的设备指纹 相同的待检测设备指纹，并按照物联网设备指纹库存储的设备指纹与设备信 息的对应关系得到待检测设备指纹对应的待检测设备信息，从而确定每个网 络数据包对应的待检测设备信息。优选地，设备信息包括设备类型、设备品 牌和设备型号。例如一条设备信息为<摄像头、海康、CAMERA1200>，而抓 取的设备协议包中通常会包括设备信息中的一条或者多条。此处需要说明的 是物联网设备指纹库中存储的设备指纹与设备信息的对应关系中，同样的设 备信息，即对应于同样的设备类型、设备品牌和设备型号的设备指纹存在一 条或者多条，而一条设备指纹只能对应于一条设备信息。

步骤130，验证所述待检测设备指纹对应的网络数据包对应的待检测设 备信息是否满足第一精准率的要求，若不满足，则确定所述待检测设备指纹 为非合格设备指纹并将所述待检测设备指纹与所述待检测设备信息从所述物 联网设备指纹库中剔除。

具体地，现在确定的待检测设备指纹可能对应于网络数据库中的多个网 络数据包，而这些网络数据包都对应于该待检测设备指纹，因此也只对应于 该待检测设备信息。因此，对于多个网络数据包对应于同一设备信息的情况， 可以验证所述多个网络数据包中实际真正对应于该待检测设备信息的网络数 据包的占比，通过该占比来判断其是否满足第一精准率的要求。而确定网络 数据包的真正对应的设备信息的方法有多种，常见的有人工标注法、聚类分 析法、Nmap算法和ARE算法等，此处不作具体限定。若满足第一精准率的要求，说明该待检测设备指纹通过了验证，是合格的指纹，将其保留在物联 网设备指纹数据库中，不作其他处理；若不满足第一精准率的要求，则将其 认定为非合格设备指纹并将该待检测设备指纹和对应的待检测设备信息从物 联网设备指纹库中移除。

步骤140，对所述非合格设备指纹对应的网络数据包的聚类结果进行抽 样和人工标注设备信息，并根据人工标注的设备信息的分布判定所述非合格 设备指纹是否满足可精细化的条件，若不满足，则将所述非合格设备指纹废 弃，若满足，则确定所述非合格设备指纹为待精细化设备指纹。

具体地，此处对非合格设备指纹进行进一步的判断，判断其是否有资格 进行进一步的精细化处理，即对其进行指纹特征的扩充使其成为合格的指纹。 而此处判断的标准是对非合格设备指纹对应的网络数据包的聚类分析的结果 进行抽样和标注设备信息，若人工标注的设备信息的分布满足可精细化条件， 例如标注的同样的设备信息的数量在所有人工标注的数量中的占比大于一定 阈值，则满足可精细化条件，则认为所述非合格设备指纹可以被进一步做指 纹特征的扩充处理，确定为待精细化设备指纹，若不满足可精细化条件，则 将所述非合格设备指纹废弃，即非合格设备指纹从物联网设备指纹库中移除 且不会被更精细化的设备指纹所更新。

步骤150，对所述待精细化设备指纹对应的网络数据包的聚类结果进行 抽样和人工标注设备信息的结果采用自动特征提取方法进行指纹特征扩充， 得到扩充后的设备指纹与所述扩充后的设备指纹对应的新的设备信息，确定 所述扩充后的设备指纹在网络数据库中对应的新的网络数据包。

具体地，对待精细化设备指纹对应的网络数据包的聚类结果进行抽样和 人工标注设备信息，实现了对应于待精细化设备指纹的所有网络数据包对应 的设备信息的标注，然后对对应于待精细化设备指纹的所有网络数据包和与 其对应的设备信息采用自动特征提取方法进行指纹特征的扩充，自动特征提 取方法通常会采用PCA分析法、或者互信息分析法，此处不作具体限定。然 后，得到扩充后的设备指纹和对应于所述扩充后的设备指纹的新的设备信息， 然后，将所述扩充后的设备指纹放到网路数据库中进行匹配，找出网络数据 库中对应于该扩充后的设备指纹的新的网络数据包。

步骤160，验证所述扩充后的设备指纹对应的所述新的网络数据包对应 的所述新的设备信息是否满足第二精准率的要求，若满足，则将所述扩充后 的设备指纹与所述扩充后的设备指纹对应的设备信息存入物联网设备指纹库， 若不满足，则将所述扩充后的设备指纹废弃。

具体地，现在确定的扩充后的设备指纹可能对应于网络数据库中的多个 新的网络数据包，而这些新的网络数据包都对应于该待检测设备指纹，因此 也只对应于该新的设备信息。因此，对于多个新的网络数据包对应于同一新 的设备信息的情况，可以验证所述多个新的网络数据包中实际真正对应于该 新的设备信息的新的网络数据包的占比，通过该占比来判断其是否满足第二 精准率的要求。而确定新的网络数据包的真正对应的设备信息的方法有多种， 常见的有人工标注法、聚类分析法、Nmap算法和ARE算法等，此处不作具 体限定。若满足第二精准率的要求，说明该扩充后的设备指纹通过了验证， 是合格的指纹，将所述扩充后的设备指纹与所述扩充后的设备指纹对应的新 的设备信息存入物联网设备指纹库中，相对于替换掉原来的非合格设备指纹， 对失效设备指纹进行了更新；若不满足第二精准率的要求，则将所述扩充后 的设备指纹废弃，相当于彻底将非合格设备指纹从物联网设备指纹库中移除， 不会再对该非合格设备指纹进行修改更新。

本发明实施例提供的方法，通过从网络中抓取的大量网络数据包对已有 的物联网设备指纹库进行验证，验证由物联网设备指纹库给所述网络数据包 匹配的设备信息是否满足精准率的要求，若不满足，则筛选其为非合格设备 指纹，并将其从物联网设备指纹库移除，然后对非合格设备指纹进行进一步 的精细化的处理，首先判断所述非合格设备指纹的对应的网络数据包的聚类 结果是否达到可精细化的条件，若达到则确定所述非合格设备指纹为待精细 化设备指纹，然后通过对待精细化设备指纹的聚类结果进行自动特征提取的 方式进行指纹特征扩充，得到扩充后的设备指纹和扩充后的设备指纹对应的 新的设备信息，再对扩充后的设备指纹对应的网络数据包匹配的设备信息进 行是否满足精准率的判定，若满足，则将扩充后的设备指纹加入物联网设备 指纹库。如此，本发明首先挑出了非合格设备指纹，然后对满足可精细化要 求的非合格设备指纹进行指纹特征扩充，形成更精细的扩充后的设备指纹， 最后将通过精准率验证的扩充后的设备指纹放入物联网设备指纹库。因此， 本发明实施例实现了智能高效率的物联网设备指纹库的设备指纹的验证，降 低了人工成本，同时也对失效指纹进一步处理使其成为合格指纹并加入网联 网物联网设备指纹库实现了对失效指纹的更新。

基于上述实施例，该方法中，所述抓取预设范围内的网络节点的网络数 据包放入网络数据库，具体包括：

向预设范围内的网络地址端口发送请求数据包，抓取对应的响应数据包， 对所述响应数据包进行去重处理，得到网络数据包并存入网络数据库。

具体地，选定待识别IP地址范围和待探测端口列表，利用网络嗅探器对 该范围内的网络节点进行探测抓包，具体地，从常用探测端口数据库中选取 探测端口列表，随机选取IP地址集合组成的IPv4空间探测范围。采用网络 嗅探器对选取得到的IPv4空间探测范围进行探测，探测过程通过构造Request 数据包发送给指定的IP和端口组合<ip,port>，并抓取Response数据包，然后 对Response数据包进行去重处理。去重过程中包括数据的无效信息去除，即 通过正则表达式将Response数据包中的MAC地址、时间戳等无效信息进行 匹配标准化处理，从而提升去重效果，然后，再采用哈希算法进行去重处理， 得到去重后的网络数据包。并将所述网络数据包存入网络数据库。

基于上述任一实施例，该方法中，所述基于物联网设备指纹库确定所述 网络数据包对应的待检测设备指纹和对应的待检测设备信息，具体包括：

利用物联网设备指纹库中的设备指纹对所述网络数据包中的内容信息进 行正则匹配或者关键字匹配识别，确定所述网络数据包对应的物联网设备指 纹库中的待检测设备指纹，确定物联网设备指纹库中的待检测设备指纹对应 的设备信息为所述网络数据包对应的待检测设备信息。

具体地，基于物联网设备指纹库中的设备指纹数据对网络数据包中的内 容信息进行正则匹配或者关键字匹配识别，对识别成功的网络数据包打上识 别结果，即对应的待检测设备指纹和所述待检测设备指纹在物联网设备指纹 库中对应的设备信息(即待检测设备信息)，通常，设备信息包括设备类型、 设备品牌和设备型号，因此，每条网络数据包都会打上识别结果<待检测设备 指纹、待检测设备信息>，优选地，识别结果为<待检测设备指纹、设备类型、 设备品牌、设备型号>。

基于上述任一实施例，该方法中，所述验证所述待检测设备指纹对应的 网络数据包对应的待检测设备信息是否满足第一精准率的要求，具体包括：

所述待检测设备指纹fp对应的网络数据包的总数为n，将n个网络数据 包对应的待检测设备信息与为所述n个网络数据包预先标注的真实设备信息 进行比对，得到待检测设备信息与真实设备信息一致的网络数据包数量为m， 则输出第一验证结果res₁＝m/n；

采用k种辅助识别方法识别出的所述n个网络数据包中的第i个网络数 据包的k个设备信息中与所述待检测设备信息一致的有m_i个，则输出第二验 证结果

其中，i为整数且1≤i≤m，m_i为整数且0≤m_i≤k；

对所述待检测设备指纹fp对应的n个网络数据包进行聚类分析，确定聚 簇结果中最大簇中的网络数据包的个数为j，若j＞n×l，则第三验证结果 res₃＝j/n，若j≤n×l，则第三验证结果res₃＝j×p/n，其中，l为第一聚类阈值 系数，取值范围为[0,1]，p为第一惩罚因子，取值范围为[0,1]；

若res1>th₁，则所述待检测设备指纹对应的网络数据包对应的待检测设备 信息满足第一精准率的要求；

若res₁≤th₁且res₂×ρ+res₃×(1-ρ)>th₂，则所述待检测设备指纹对应的网络 数据包对应的待检测设备信息满足第一精准率的要求；

若res₁≤th₁且res₂×ρ+res₃×(1-ρ)≤th₂，则所述待检测设备指纹对应的网 络数据包对应的待检测设备信息不满足第一精准率的要求；

其中，th₁为预设第一可靠性阈值系数，th₂为预设第二可靠性阈值系数， ρ为第一权值系数，取值范围为[0,1]。

具体地，首先采用测试数据的验证方法将已有的真实标准数据的设备信 息与利用物联网指纹设备库识别的网络数据包对应的设备信息的结果进行对 比验证。此处需要说明的是，已有的真实标准数据的设备信息是通过人工标 注网络数据包对应的设备信息得到的，由于需要专业领域的有经验的人员进 行标注，人工效率低，因此，此测试数据集并不大。对于某一待检测设备指 纹，前述通过物联网设备指纹库进行匹配得到的对应于该待检测设备指纹的 网络数据包都对应于同一设备信息，即待检测设备信息，所述待检测设备指 纹fp对应的网络数据包的总数为n，将n个网络数据包对应的待检测设备信 息与为所述n个网络数据包预先标注的真实设备信息进行比对，得到待检测 设备信息与真实设备信息一致的网络数据包数量为m，则输出第一验证结果 res₁＝m/n。

然后，再采用辅助识别的验证方法利用不同的辅助识别网络数据包对应 设备信息的方法对前述通过物联网设备指纹库进行匹配得到的对应于该待检 测设备指纹的网络数据包都对应于同一设备信息(即待检测设备信息)进行 二次识别，将多种识别手段的识别结果进行对比验证。对于某一待检测设备 指纹fp对应的n个网络数据包，采用k种辅助识别方法识别出的所述n个网 络数据包中的第i个网络数据包的k个设备信息中与所述待检测设备信息一 致的有m_i个，则输出第二验证结果

其中，i为整数且1≤i≤m，m_i为整数且0≤m_i≤k，其中，k为正 整数。常见的辅助识别方法包括Nmap算法和ARE算法等，此处不作具体限 定，用于对网络数据包对应的设备信息进行识别。

第三个，采用聚类分析的方法对该待检测设备指纹识别出的网络数据包 和其对应的待检测设备信息进行聚类，基于聚类结果进行分析得到验证结果。 对所述待检测设备指纹fp对应的n个网络数据包进行聚类分析，确定聚簇结 果中最大簇中的网络数据包的个数为j，若j＞n l×，则第三验证结果res₃＝j/n， 若j≤n×l，则第三验证结果res₃＝j×p/n，其中，l为第一聚类阈值系数，取值 范围为[0,1]，p为第一惩罚因子，取值范围为[0,1]，其中，最大簇指聚类结果 得到的簇中包含网络数据包个数最大的簇。基于聚类分析的第三验证结果的 值，若该值越小，说明同一设备信息的设备聚类结果分散，那么说明待检测 设备指纹的识别结果有误，将不同的设备标识成了同一设备，若该值越大， 说明相同的设备聚类结果相对集中，若某一簇占比很高，甚至只聚出一簇， 那么该待检测设备指纹可靠性较高。

最后，采用综合前三种验证方法的交叉验证进行综合评估，综合评估的 流程如下：

若res1>th₁，则所述待检测设备指纹对应的网络数据包对应的待检测设备 信息满足第一精准率的要求；

若res₁≤th₁且res₂×ρ+res₃×(1-ρ)>th₂，则所述待检测设备指纹对应的网络 数据包对应的待检测设备信息满足第一精准率的要求；

若res₁≤th₁且res₂×ρ+res₃×(1-ρ)≤th₂，则所述待检测设备指纹对应的网 络数据包对应的待检测设备信息不满足第一精准率的要求；

其中，th₁为预设第一可靠性阈值系数，th₂为预设第二可靠性阈值系数， ρ为第一权值系数，取值范围为[0,1]。

基于上述任一实施例，该方法中，所述对所述非合格设备指纹对应的网 络数据包的聚类结果进行抽样和人工标注设备信息，并根据人工标注的设备 信息的分布判定所述非合格设备指纹是否满足可精细化的条件，具体包括：

对所述非合格设备指纹对应的网络数据包的聚类分析得到的所有簇按照 各簇包含网络数据包个数的比例进行随机抽样，对抽样出来的x个样本网络 数据包进行人工标注设备信息，统计所述x个样本网络数据包中标注相同设 备品牌的样本网络数据包的个数，所述个数的最大值为y，若y/x>th₃，则所 述非合格设备指纹满足可精细化的条件，若y/x≤th₃，则所述非合格设备指纹 不满足可精细化的条件，其中，th₃为预设可精细化阈值，所述设备信息包括 设备品牌。

具体地，例如，所述非合格设备指纹对应的网络数据包进行聚类后得到 4个簇，其中，这四个簇的网络数据包的数量分别为{50,30,30,10}，则按照 5:3:3:1的比例对这四个簇依次进行随机抽样，例如依次抽10个、6个、6个、 2个样本网络数据包出来，并对这24个样本网络数据包进行人工标注设备信 息，标识完成后，针对设备品牌的占比进行判定，若数量最多的设备品牌的 占比超过预设可精细化阈值，则认为该非合格设备指纹存在精细化的可能， 满足可精细化的条件，若数量最多的设备品牌的占比不超过预设可精细化阈 值，则所述非合格设备指纹不满足可精细化的条件。

基于上述任一实施例，该方法中，所述对所述待精细化指纹对应的网络 数据包的聚类结果进行抽样和人工标注设备信息的结果采用自动特征提取方 法进行指纹特征扩充，得到扩充后的设备指纹与所述扩充后的设备指纹对应 的设备信息，具体包括：

确定所述待精细化指纹对应的网络数据包的聚类结果得到的第q簇中的 样本网络数据包被标注相同设备信息的个数，所述个数中最大值对应的设备 信息为A_q，则重新标注第q簇中所有网络数据包对应的设备信息为A_q，若第 t簇为所述聚类结果中的最大簇，则扩充后的设备指纹对应的新的设备信息为 A_t，其中，q为整数且1≤q≤z，z为所述待精细化指纹对应的网络数据包的聚 类得到的簇的总数；

所述待精细化指纹对应的网络数据包的个数为r，对待精细化指纹对应的 r个网络数据包进行分词处理，去除停用词，对无效信息进行过滤，得到r个 文本数据，所述无效信息包括MAC地址和时间戳；

采用One-hot编码对所述r个文本数据进行二值化表示，得到r个维度为 S的二进制特征向量，其中，所述二进制特征向量包含S个特征；

采用基于互信息的特征选择算法对所述r个二进制特征向量和对应于所 述r个二进制特征向量的设备信息进行去除冗余特征的处理，得到r个维度为 S’的降维二进制特征向量，其中，S’<S；

所述最大簇中网络数据包对应的降维二进制特征向量集合为 P＝{P₁,P₂,P₃,...,P_u}，所述聚类结果中除开所述最大簇的其他簇中网络数据包对 应的降维二进制特征向量集合为p＝{p₁,p₂,p₃,...,p_v}，其中，u和v均为整数且 u+v＝r，通过如下公式计算最大簇独有特征C：

C＝{(p₁|p₂|p₃|...|p_v)∧(P₁&P₂&P₃&...&P_u)}&(P₁&P₂&P₃&...&P_u)

将所述最大簇独有特征采用One-hot编码的映射关系转换为文本特征， 将所述文本特征加入所述待精细化指纹得到扩充后的设备指纹。

具体地，例如，所述非合格设备指纹对应的网络数据包进行聚类后得到 4个簇，其中，这四个簇的网络数据包的数量分别为{50,30,30,10}，则按照5:3:3:1的比例对这四个簇依次进行随机抽样，例如依次抽10个、6个、6个、 2个样本网络数据包出来，并对这24个样本网络数据包进行人工标注设备信 息，标识完成后，得到第q簇中抽样的样本网络数据包的人工标注设备信息 中数量最多的设备信息为A_q，则重新标注第q簇中所有网络数据包对应的设 备信息为A_q，若第t簇为所述聚类结果中的最大簇，则扩充后的设备指纹对 应的新的设备信息为A_t，其中，q为整数且1≤q≤z，z为所述待精细化指纹对 应的网络数据包的聚类得到的簇的总数；

所述待精细化指纹对应的网络数据包的个数为r，对待精细化指纹对应的 r个网络数据包进行分词处理，去除停用词，且采用正则表达式对MAC地址、 时间戳等无效信息进行过滤去除；

采用One-hot编码对所述r个文本数据进行二值化表示，得到r个维度为 S的二进制特征向量，其中，所述二进制特征向量包含S个特征，其中，所 述S个特征相当于S个属性，属性值通过1和0用于表示具有或者不具有， 每个网络数据包都对应于一个维度为S的二进制特征向量；

采用基于互信息的特征选择算法对所述r个二进制特征向量和对应于所 述r个二进制特征向量的设备信息进行去除冗余特征的处理，得到r个维度为 S’的降维二进制特征向量，其中，S’<S；所述互信息的特征选择算法使得不 同二进制特征向量之间的冗余特征被去除，同时使得二进制特征向量与其对 应的设备信息之间的关联性加强；

所述最大簇中网络数据包对应的降维二进制特征向量集合为 P＝{P₁,P₂,P₃,...,P_u}，所述聚类结果中除开所述最大簇的其他簇中网络数据包对 应的降维二进制特征向量集合为p＝{p₁,p₂,p₃,...,p_v}，其中，u和v均为整数且 u+v＝r，通过如下公式计算最大簇独有特征C：

C＝{(p₁|p₂|p₃|...|p_v)∧(P₁&P₂&P₃&...&P_u)}&(P₁&P₂&P₃&...&P_u)

如此得到的最大簇独有特征即最大簇区别于其他簇的特征，同时，该最 大簇独有特征与扩充后的设备指纹对应的新的设备信息的关联性更强。

将所述最大簇独有特征采用One-hot编码的映射关系转换为文本特征， 将所述文本特征加入所述待精细化指纹得到扩充后的设备指纹。

基于上述任一实施例，该方法中，所述验证所述扩充后的设备指纹对应 的所述新的网络数据包对应的所述新的设备信息是否满足第二精准率的要求， 具体包括：

所述扩充后的设备指纹fp₁对应的新的网络数据包的总数为n₁，将n₁个 新的网络数据包对应的新的设备信息与为所述n₁个新的网络数据包预先标 注的真实设备信息进行比对，得到新的设备信息与真实设备信息一致的网络 数据包数量为m₁，则输出第一精细验证结果res’₁＝m₁/n₁；

采用k₁种辅助识别方法识别出的所述n1个新的网络数据包中的第i’个 新的网络数据包的k₁个设备信息中与新的设备信息一致的有m_i’个，则输出 第二精细验证结果

其中，i’为整数且1≤i’≤m₁，m_i’为整数且0≤m_i’≤k₁；

对所述扩充后的设备指纹fp₁对应的n₁个新的网络数据包进行聚类分析， 确定聚簇结果中最大簇中的网络数据包的个数为j₁，若j₁＞n₁×l₁，则第三精 细验证结果res₃’＝j₁/n₁，若j₁≤n₁×l₁，则第三精细验证结果res₃’＝j₁×p₁/n₁， 其中，l₁为第二聚类阈值系数，取值范围为[0,1]，p₁为第二惩罚因子，取值 范围为[0,1]；

若res’₁＞th’₁，则所述扩充后的设备指纹对应的所述新的网络数据包对应 的所述新的设备信息满足第二精准率的要求；

若res’₁≤th’₁且res₂’×ρ₁+res₃’×(1-ρ₁)>th’₂，则所述扩充后的设备指纹对应的所述新的网络数据包对应的所述新的设备信息满足第二精准率的要求；

若res’₁≤th’₁且res₂’×ρ₁+res₃’×(1-ρ₁)≤th’₂，则所述扩充后的设备指纹对应的所述新的网络数据包对应的所述新的设备信息不满足第二精准率的要求；

其中，th’₁为预设第一精细可靠性阈值系数，th’₂为预设第二精细可靠性 阈值系数，ρ₁为第二权值系数，取值范围为[0,1]。

具体地，首先采用测试数据的验证方法将已有的真实标准数据的设备信 息与利用所述扩充后的设备指纹识别的新的网络数据包对应的新的设备信息 的结果进行对比验证。此处需要说明的是，已有的真实标准数据的设备信息 是通过人工标注网络数据包对应的设备信息得到的，由于需要专业领域的有 经验的人员进行标注，人工效率低，因此，此测试数据集并不大。对于某一 扩充后的设备指纹，前述通过扩充后的设备指纹在网络数据库中进行匹配得 到的对应于该扩充后的设备指纹的新的网络数据包都对应于同一设备信息， 即新的设备信息，所述扩充后的设备指纹fp₁对应的新的网络数据包的总数为 n₁，将n₁个新的网络数据包对应的新的设备信息与为所述n₁个新的网络数据 包预先标注的真实设备信息进行比对，得到新的设备信息与真实设备信息一 致的新的网络数据包数量为m，则输出第一验证结果res’₁＝m₁/n₁。

然后，再采用辅助识别的验证方法利用不同的辅助识别新的网络数据包 对应设备信息的方法对前述通过扩充后的设备指纹在网络数据库中进行匹配 得到的对应于该扩充后的设备指纹的新的网络数据包都对应于同一设备信息 (即新的设备信息)进行二次识别，将多种识别手段的识别结果进行对比验 证。对于某一扩充后的设备指纹fp₁对应的n₁个新的网络数据包，采用k₁种 辅助识别方法识别出的所述n₁个新的网络数据包中的第i’个新的网络数据 包的k₁个设备信息中与新的设备信息一致的有m_i’个，则输出第二精细验证 结果

其中，i’为整数且1≤i’≤m₁，m_i’为整数且0≤m_i’≤k₁， 其中，k₁为正整数。常见的辅助识别方法包括Nmap算法和ARE算法等，此 处不作具体限定，用于对新的网络数据包对应的设备信息进行识别。

第三个，采用聚类分析的方法对该扩充后的设备指纹识别出的新的网络 数据包和其对应的新的设备信息进行聚类，基于聚类结果进行分析得到验证 结果。对所述待检测设备指纹fp₁对应得n₁个新的网络数据包进行聚类分析， 确定聚簇结果中最大簇中的新的网络数据包的个数为j₁，若j₁＞n₁×l₁，则第 三精细验证结果res₃’＝j₁/n₁，若j₁≤n₁×l₁，则第三精细验证结果res₃’＝j₁×p₁/n₁， 其中，l₁为第二聚类阈值系数，取值范围为[0,1]，p₁为第二惩罚因子，取值 范围为[0,1]，其中，最大簇指聚类结果得到的簇中包含新的网络数据包个数 最大的簇。基于聚类分析的第三验证结果的值，若该值越小，说明同一设备 信息的设备聚类结果分散，那么说明该扩充后的设备指纹的识别结果有误， 将不同的设备标识成了同一设备，若该值越大，说明相同的设备聚类结果相 对集中，若某一簇占比很高，甚至只聚出一簇，那么该扩充后的设备指纹可 靠性较高。

最后，采用综合前三种验证方法的交叉验证进行综合评估，综合评估的 流程如下：

若res’₁＞th’₁，则所述扩充后的设备指纹对应的所述新的网络数据包对应 的所述新的设备信息满足第二精准率的要求；

若res’₁≤th’₁且res₂’×ρ₁+res₃’×(1-ρ₁)>th’₂，则所述扩充后的设备指纹对应的所述新的网络数据包对应的所述新的设备信息满足第二精准率的要求；

若res’₁≤th’₁且res₂’×ρ₁+res₃’×(1-ρ₁)≤th’₂，则所述扩充后的设备指纹对应的所述新的网络数据包对应的所述新的设备信息不满足第二精准率的要求；

其中，th’₁为预设第一精细可靠性阈值系数，th’₂为预设第二精细可靠性 阈值系数，ρ₁为第二权值系数，取值范围为[0,1]。

基于上述任一实施例，该方法中，所述设备信息包括设备型号、设备品 牌和设备类型。

基于上述任一实施例，本发明实施例提供一种物联网设备指纹库的精细 化方法，图2为本发明实施例提供的物联网设备指纹精细化的框架图。如图 2所示，该方法包括如下步骤：

步骤1：首先从常用探测端口数据库中选取探测端口列表，随机选取IP 地址集合组成IPv4空间探测范围。采用网络嗅探器对选取得到的IPv4空间 探测范围进行探测，探测过程通过构造Request数据包发送给指定的IP和端 口组合<ip,port>，并抓取Response数据包存入Response数据库中。

步骤2：图3为本发明实施例提供的物联网设备数据生成流程图。如图2 所示，首先对Response数据库中的Response数据包进行去重处理。去重过程 中包括数据的无效信息去除，即通过正则表达式将Response数据包中的MAC 地址，时间戳等无效信息进行匹配标准化处理，从而提升去重效果。在数据 预处理完成之后，对Response数据库中的数据采用哈希算法进行去重处理。 完成去重过程后，设备识别模块基于设备指纹库中的指纹数据对去重后的每 一条Response数据进行识别，设备识别模块利用设备指纹对Response数据包中的内容信息进行正则匹配或者关键字匹配识别。最后，对识别成功的 Response数据打上识别结果<设备类型、设备品牌、设备型号>存入物联网设 备数据库。

步骤3：采用多种验证方式对物联网设备数据集中的每个节点设备进行 交叉验证。多维交叉验证方式主要包括三种，分别是基于测试数据的验证方 法、基于辅助识别的验证方法、基于聚类分析的验证方法。所述待检测设备 指纹fp对应的网络数据包的总数为n，将n个网络数据包对应的待检测设备 信息与为所述n个网络数据包预先标注的真实设备信息进行比对，得到待检 测设备信息与真实设备信息一致的网络数据包数量为m，则输出第一验证结 果res₁＝m/n；采用k种辅助识别方法识别出的所述n个网络数据包中的第i 个网络数据包的k个设备信息中与所述待检测设备信息一致的有m_i个，则输 出第二验证结果

其中，i为整数且1≤i≤m，m_i为整数且0≤m_i≤k；

对所述待检测设备指纹fp对应的n个网络数据包进行聚类分析，确定聚簇结 果中最大簇中的网络数据包的个数为j，若j＞n l×，则第三验证结果res₃＝j/n， 若j≤n×l，则第三验证结果res₃＝j×p/n，其中，l为第一聚类阈值系数，取值 范围为[0,1]，p为第一惩罚因子，取值范围为[0,1]；若res1>th₁，则所述待检 测设备指纹对应的网络数据包对应的待检测设备信息满足第一精准率的要求； 若res₁≤th₁且res₂×ρ+res₃×(1-ρ)>th₂，则所述待检测设备指纹对应的网络数据 包对应的待检测设备信息满足第一精准率的要求；若res₁≤th₁且 res₂×ρ+res₃×(1-ρ)≤th₂，则所述待检测设备指纹对应的网络数据包对应的待检 测设备信息不满足第一精准率的要求；其中，th₁为预设第一可靠性阈值系数， th₂为预设第二可靠性阈值系数，ρ为第一权值系数，取值范围为[0,1]。若满 足第一精准率的要求，则该待检测设备指纹合格，否则不合格。

步骤4：在步骤3中已经采用聚类方式对待检测设备指纹fp识别出的所有 设备Response数据包进行了聚类分析，对评估非合格的指纹的数据聚类结果 按照每一簇的占比进行同等比例下的抽样判定，标识其实际的<设备类型、设 备品牌、设备型号>信息。例如，非合格指纹fp的响应数据包聚类结果为4个 簇，每个簇的响应数据包数量分别为{50,30,30,10}，则按照5:3:3:1的比例对 每个簇进行随机抽样，标识设备其<设备类型、设备品牌、设备型号>信息。 标识完成后，针对设备品牌的占比进行判定，若某一数量最多的设备占比超 过可精细化阈值，则认为该指纹存在精细化可能，将该指纹存入待精细化指 纹库中。

步骤5：对于待精细化设备指纹fp，获取步骤4中的该条指纹识别出的响 应数据包集合的聚类分析结果以及抽样标定数据。在之前的抽样标定过程中， 已经对每个簇的抽样标定结果进行了过滤，因此每一簇的抽样标定结果即代 表了整个簇的设备产品信息。基于该标定数据集，指纹特征扩充的步骤如下：

5.1数据预处理阶段：对Response数据包进行分词处理，同时去除数据 中的停用词，且采用正则表达式对MAC地址、时间戳等无效信息进行过滤 去除。

5.2文本数值化阶段：采用One-hot编码对文本数据进行二值化表示，将 文本数据转化为数值数据。

5.3共性特征过滤阶段：对不同标识设备数据之间的共性冗余特征进行过 滤删除处理。完成过滤删除过程后将对应数值特征重新转化为依据One-hot 编码的映射关系重新转化为文本特征。

5.4指纹特征扩充阶段：将筛选出的文本特征作为二级补充特征加入原始 待精细化设备指纹中。

步骤6：完成特征扩充后的新指纹并不能立即加入精准指纹库，新指纹 仅仅满足聚类数据集下的指纹特征唯一性，其在公网数据集中的精准率还需 进行再次验证。再次验证过程只需重复步骤3中的指纹验证和指纹评估步骤 即可，完成验证和评估步骤后，将评估合格的设备指纹放入物联网设备指纹 库中，将非合格指纹进行废弃处理。

基于上述任一实施例，本发明实施例提供一种物联网设备指纹库的精细 化装置，图4为本发明实施例提供的物联网设备指纹库的精细化装置的结构 示意图。如图4所示，该装置包括抓取单元410、匹配单元420、第一验证单 元430、待精细化单元440、扩充单元450和第二验证单元460,其中，

所述抓取单元410，用于抓取预设范围内的网络节点的网络数据包放入 网络数据库；

所述匹配单元420，用于基于物联网设备指纹库确定所述网络数据包对 应的待检测设备指纹和对应的待检测设备信息，所述物联网设备指纹库用于 存储设备指纹和设备信息的对应关系；

所述第一验证单元430，验证所述待检测设备指纹对应的网络数据包对 应的待检测设备信息是否满足第一精准率的要求，若不满足，则确定所述待 检测设备指纹为非合格设备指纹并将所述待检测设备指纹与所述待检测设备 信息从所述物联网设备指纹库中剔除；

所述待精细化单元440，对所述非合格设备指纹对应的网络数据包的聚 类结果进行抽样和人工标注设备信息，并根据人工标注的设备信息的分布判 定所述非合格设备指纹是否满足可精细化的条件，若不满足，则将所述非合 格设备指纹废弃，若满足，则确定所述非合格设备指纹为待精细化设备指纹；

所述扩充单元450，对所述待精细化设备指纹对应的网络数据包的聚类 结果进行抽样和人工标注设备信息的结果采用自动特征提取方法进行指纹特 征扩充，得到扩充后的设备指纹与所述扩充后的设备指纹对应的新的设备信 息，确定所述扩充后的设备指纹在网络数据库中对应的新的网络数据包；

所述第二验证单元460，验证所述扩充后的设备指纹对应的所述新的网 络数据包对应的所述新的设备信息是否满足第二精准率的要求，若满足，则 将所述扩充后的设备指纹与所述扩充后的设备指纹对应的设备信息存入物联 网设备指纹库，若不满足，则将所述扩充后的设备指纹废弃。

本发明实施例提供的装置，通过从网络中抓取的大量网络数据包对已有 的物联网设备指纹库进行验证，验证由物联网设备指纹库给所述网络数据包 匹配的设备信息是否满足精准率的要求，若不满足，则筛选其为非合格设备 指纹，并将其从物联网设备指纹库移除，然后对非合格设备指纹进行进一步 的精细化的处理，首先判断所述非合格设备指纹的对应的网络数据包的聚类 结果是否达到可精细化的条件，若达到则确定所述非合格设备指纹为待精细 化设备指纹，然后通过对待精细化设备指纹的聚类结果进行自动特征提取的 方式进行指纹特征扩充，得到扩充后的设备指纹和扩充后的设备指纹对应的 新的设备信息，再对扩充后的设备指纹对应的网络数据包匹配的设备信息进 行是否满足精准率的判定，若满足，则将扩充后的设备指纹加入物联网设备 指纹库。如此，本发明首先挑出了非合格设备指纹，然后对满足可精细化要 求的非合格设备指纹进行指纹特征扩充，形成更精细的扩充后的设备指纹， 最后将通过精准率验证的扩充后的设备指纹放入物联网设备指纹库。因此， 本发明实施例提供的装置实现了智能高效率的物联网设备指纹库的设备指纹 的验证，降低了人工成本，同时也对失效指纹进一步处理使其成为合格指纹 并加入网联网物联网设备指纹库实现了对失效指纹的更新。

基于上述任一实施例，该装置中，所述抓取单元，具体用于，

向预设范围内的网络地址端口发送请求数据包，抓取对应的响应数据包， 对所述响应数据包进行去重处理，得到网络数据包并存入网络数据库。

基于上述任一实施例，该装置中，所述匹配单元，具体用于，

利用物联网设备指纹库中的设备指纹对所述网络数据包中的内容信息进 行正则匹配或者关键字匹配识别，确定所述网络数据包对应的物联网设备指 纹库中的待检测设备指纹，确定物联网设备指纹库中的待检测设备指纹对应 的设备信息为所述网络数据包对应的待检测设备信息。

基于上述任一实施例，该装置中，所述第一验证单元，具体用于，

所述待检测设备指纹fp对应的网络数据包的总数为n，将n个网络数据 包对应的待检测设备信息与为所述n个网络数据包预先标注的真实设备信息 进行比对，得到待检测设备信息与真实设备信息一致的网络数据包数量为m， 则输出第一验证结果res₁＝m/n；

采用k种辅助识别方法识别出的所述n个网络数据包中的第i个网络数 据包的k个设备信息中与所述待检测设备信息一致的有m_i个，则输出第二验 证结果

其中，i为整数且1≤i≤m，m_i为整数且0≤m_i≤k；

对所述待检测设备指纹fp对应的n个网络数据包进行聚类分析，确定聚 簇结果中最大簇中的网络数据包的个数为j，若j＞n×l，则第三验证结果 res₃＝j/n，若j≤n×l，则第三验证结果res₃＝j×p/n，其中，l为第一聚类阈值 系数，取值范围为[0,1]，p为第一惩罚因子，取值范围为[0,1]；

若res1>th₁，则所述待检测设备指纹对应的网络数据包对应的待检测设备 信息满足第一精准率的要求；

若res₁≤th₁且res₂×ρ+res₃×(1-ρ)>th₂，则所述待检测设备指纹对应的网络 数据包对应的待检测设备信息满足第一精准率的要求；

若res₁≤th₁且res₂×ρ+res₃×(1-ρ)≤th₂，则所述待检测设备指纹对应的网 络数据包对应的待检测设备信息不满足第一精准率的要求；

其中，th₁为预设第一可靠性阈值系数，th₂为预设第二可靠性阈值系数， ρ为第一权值系数，取值范围为[0,1]。

基于上述任一实施例，该装置中，所述精细化单元，具体用于，

对所述非合格设备指纹对应的网络数据包的聚类分析得到的所有簇按照 各簇包含网络数据包个数的比例进行随机抽样，对抽样出来的x个样本网络 数据包进行人工标注设备信息，统计所述x个样本网络数据包中标注相同设 备品牌的样本网络数据包的个数，所述个数的最大值为y，若y/x>th₃，则所 述非合格设备指纹满足可精细化的条件，若y/x≤th₃，则所述非合格设备指纹 不满足可精细化的条件，其中，th₃为预设可精细化阈值，所述设备信息包括 设备品牌。

基于上述任一实施例，该装置中，所述扩充单元，具体用于，

确定所述待精细化设备指纹对应的网络数据包的聚类结果得到的第q簇 中的样本网络数据包被标注相同设备信息的个数，所述个数中最大值对应的 设备信息为A_q，则重新标注第q簇中所有网络数据包对应的设备信息为A_q， 若第t簇为所述聚类结果中的最大簇，则扩充后的设备指纹对应的新的设备 信息为A_t，其中，q为整数且1≤q≤z，z为所述待精细化设备指纹对应的网络 数据包的聚类得到的簇的总数；

所述待精细化设备指纹对应的网络数据包的个数为r，对待精细化设备指 纹对应的r个网络数据包进行分词处理，去除停用词，对无效信息进行过滤， 得到r个文本数据，所述无效信息包括MAC地址和时间戳；

采用One-hot编码对所述r个文本数据进行二值化表示，得到r个维度为 S的二进制特征向量，其中，所述二进制特征向量包含S个特征；

采用基于互信息的特征选择算法对所述r个二进制特征向量和对应于所 述r个二进制特征向量的设备信息进行去除冗余特征的处理，得到r个维度为 S’的降维二进制特征向量，其中，S’<S；

所述最大簇中网络数据包对应的降维二进制特征向量集合为 P＝{P₁,P₂,P₃,...,P_u}，所述聚类结果中除开所述最大簇的其他簇中网络数据包对 应的降维二进制特征向量集合为p＝{p₁,p₂,p₃,...,p_v}，其中，u和v均为整数且 u+v＝r，通过如下公式计算最大簇独有特征C：

C＝{(p₁|p₂|p₃|...|p_v)∧(P₁&P₂&P₃&...&P_u)}&(P₁&P₂&P₃&...&P_u)

将所述最大簇独有特征采用One-hot编码的映射关系转换为文本特征， 将所述文本特征加入所述待精细化设备指纹得到扩充后的设备指纹。

基于上述任一实施例，该装置中，所述第二验证单元，具体用于，

所述扩充后的设备指纹fp₁对应的新的网络数据包的总数为n₁，将n₁个 新的网络数据包对应的新的设备信息与为所述n₁个新的网络数据包预先标 注的真实设备信息进行比对，得到新的设备信息与真实设备信息一致的网络 数据包数量为m₁，则输出第一精细验证结果res’₁＝m₁/n₁；

采用k₁种辅助识别方法识别出的所述n₁个新的网络数据包中的第i’个 新的网络数据包的k₁个设备信息中与新的设备信息一致的有m_i’个，则输出 第二精细验证结果

其中，i’为整数且1≤i’≤m₁，m_i’为整数且0≤m_i’≤k₁；

对所述扩充后的设备指纹fp₁对应的n₁个新的网络数据包进行聚类分析， 确定聚簇结果中最大簇中的网络数据包的个数为j₁，若j₁＞n₁×l₁，则第三精 细验证结果res₃’＝j₁/n₁，若j₁≤n₁×l₁，则第三精细验证结果res₃’＝j₁×p₁/n₁， 其中，l₁为第二聚类阈值系数，取值范围为[0,1]，p₁为第二惩罚因子，取值 范围为[0,1]；

若res’₁＞th’₁，则所述扩充后的设备指纹对应的所述新的网络数据包对应 的所述新的设备信息满足第二精准率的要求；

若res’₁≤th’₁且res₂’×ρ₁+res₃’×(1-ρ₁)>th’₂，则所述扩充后的设备指纹对应的所述新的网络数据包对应的所述新的设备信息满足第二精准率的要求；

若res’₁≤th’₁且res₂’×ρ₁+res₃’×(1-ρ₁)≤th’₂，则所述扩充后的设备指纹对应的所述新的网络数据包对应的所述新的设备信息不满足第二精准率的要求；

其中，th’₁为预设第一精细可靠性阈值系数，th’₂为预设第二精细可靠性 阈值系数，ρ₁为第二权值系数，取值范围为[0,1]。

基于上述任一实施例，该装置中，所述设备信息包括设备型号、设备品 牌和设备类型。

图5为本发明实施例提供的电子设备的实体结构示意图，如图5所示， 该电子设备可以包括：处理器(processor)501、通信接口(Communications Interface)502、存储器(memory)503和通信总线504，其中，处理器501， 通信接口502，存储器503通过通信总线504完成相互间的通信。处理器501 可以调用存储在存储器503上并可在处理器501上运行的计算机程序，以执 行上述各实施例提供的物联网设备指纹库的精细化方法，例如包括：抓取预 设范围内的网络节点的网络数据包放入网络数据库；基于物联网设备指纹库 确定所述网络数据包对应的待检测设备指纹和对应的待检测设备信息，所述 物联网设备指纹库用于存储设备指纹和设备信息的对应关系验证所述待检测 设备指纹对应的网络数据包对应的待检测设备信息是否满足第一精准率的要 求，若不满足，则确定所述待检测设备指纹为非合格设备指纹并将所述待检 测设备指纹与所述待检测设备信息从所述物联网设备指纹库中剔除；对所述 非合格设备指纹对应的网络数据包的聚类结果进行抽样和人工标注设备信息， 并根据人工标注的设备信息的分布判定所述非合格设备指纹是否满足可精细 化的条件，若不满足，则将所述非合格设备指纹废弃，若满足，则确定所述 非合格设备指纹为待精细化设备指纹；对所述待精细化设备指纹对应的网络 数据包的聚类结果进行抽样和人工标注设备信息的结果采用自动特征提取方 法进行指纹特征扩充，得到扩充后的设备指纹与所述扩充后的设备指纹对应 的新的设备信息，确定所述扩充后的设备指纹在网络数据库中对应的新的网 络数据包；验证所述扩充后的设备指纹对应的所述新的网络数据包对应的所 述新的设备信息是否满足第二精准率的要求，若满足，则将所述扩充后的设备指纹与所述扩充后的设备指纹对应的设备信息存入物联网设备指纹库，若 不满足，则将所述扩充后的设备指纹废弃。

此外，上述的存储器503中的逻辑指令可以通过软件功能单元的形式实 现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质 中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做 出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计 算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设 备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例 所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只 读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算 机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的物联 网设备指纹库的精细化方法，例如包括：抓取预设范围内的网络节点的网络 数据包放入网络数据库；基于物联网设备指纹库确定所述网络数据包对应的 待检测设备指纹和对应的待检测设备信息，所述物联网设备指纹库用于存储 设备指纹和设备信息的对应关系验证所述待检测设备指纹对应的网络数据包 对应的待检测设备信息是否满足第一精准率的要求，若不满足，则确定所述 待检测设备指纹为非合格设备指纹并将所述待检测设备指纹与所述待检测设 备信息从所述物联网设备指纹库中剔除；对所述非合格设备指纹对应的网络 数据包的聚类结果进行抽样和人工标注设备信息，并根据人工标注的设备信 息的分布判定所述非合格设备指纹是否满足可精细化的条件，若不满足，则 将所述非合格设备指纹废弃，若满足，则确定所述非合格设备指纹为待精细 化设备指纹；对所述待精细化设备指纹对应的网络数据包的聚类结果进行抽 样和人工标注设备信息的结果采用自动特征提取方法进行指纹特征扩充，得 到扩充后的设备指纹与所述扩充后的设备指纹对应的新的设备信息，确定所 述扩充后的设备指纹在网络数据库中对应的新的网络数据包；验证所述扩充 后的设备指纹对应的所述新的网络数据包对应的所述新的设备信息是否满足 第二精准率的要求，若满足，则将所述扩充后的设备指纹与所述扩充后的设 备指纹对应的设备信息存入物联网设备指纹库，若不满足，则将所述扩充后 的设备指纹废弃。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明 的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或 者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络 单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例 方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以 理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实 施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬 件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部 分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可 读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台 计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施 例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其 限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术 人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或 者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技 术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种物联网设备指纹库的精细化方法，其特征在于，包括：

抓取预设范围内的网络节点的网络数据包放入网络数据库；

基于物联网设备指纹库确定所述网络数据包对应的待检测设备指纹和对应的待检测设备信息，所述物联网设备指纹库用于存储设备指纹和设备信息的对应关系；

验证所述待检测设备指纹对应的网络数据包对应的待检测设备信息是否满足第一精准率的要求，若不满足，则确定所述待检测设备指纹为非合格设备指纹并将所述待检测设备指纹与所述待检测设备信息从所述物联网设备指纹库中剔除；

对所述非合格设备指纹对应的网络数据包的聚类结果进行抽样和人工标注设备信息，并根据人工标注的设备信息的分布判定所述非合格设备指纹是否满足可精细化的条件，若不满足，则将所述非合格设备指纹废弃，若满足，则确定所述非合格设备指纹为待精细化设备指纹；

对所述待精细化设备指纹对应的网络数据包的聚类结果进行抽样和人工标注设备信息的结果采用自动特征提取方法进行指纹特征扩充，得到扩充后的设备指纹与所述扩充后的设备指纹对应的新的设备信息，确定所述扩充后的设备指纹在网络数据库中对应的新的网络数据包；

验证所述扩充后的设备指纹对应的所述新的网络数据包对应的所述新的设备信息是否满足第二精准率的要求，若满足，则将所述扩充后的设备指纹与所述扩充后的设备指纹对应的设备信息存入物联网设备指纹库，若不满足，则将所述扩充后的设备指纹废弃。

2.根据权利要求1所述的物联网设备指纹库的精细化方法，其特征在于，所述抓取预设范围内的网络节点的网络数据包放入网络数据库，具体包括：

向预设范围内的网络地址端口发送请求数据包，抓取对应的响应数据包，对所述响应数据包进行去重处理，得到网络数据包并存入网络数据库。

3.根据权利要求1或2所述的物联网设备指纹库的精细化方法，其特征在于，所述基于物联网设备指纹库确定所述网络数据包对应的待检测设备指纹和对应的待检测设备信息，具体包括：

利用物联网设备指纹库中的设备指纹对所述网络数据包中的内容信息进行正则匹配或者关键字匹配识别，确定所述网络数据包对应的物联网设备指纹库中的待检测设备指纹，确定物联网设备指纹库中的待检测设备指纹对应的设备信息为所述网络数据包对应的待检测设备信息。

4.根据权利要求3所述的物联网设备指纹库的精细化方法，其特征在于，所述验证所述待检测设备指纹对应的网络数据包对应的待检测设备信息是否满足第一精准率的要求，具体包括：

所述待检测设备指纹fp对应的网络数据包的总数为n，将n个网络数据包对应的待检测设备信息与为所述n个网络数据包预先标注的真实设备信息进行比对，得到待检测设备信息与真实设备信息一致的网络数据包数量为m，则输出第一验证结果res₁＝m/n；

采用k种辅助识别方法识别出的所述n个网络数据包中的第i个网络数据包的k个设备信息中与所述待检测设备信息一致的有m_i个，则输出第二验证结果

其中，i为整数且1≤i≤m，m_i为整数且0≤m_i≤k；

对所述待检测设备指纹fp对应的n个网络数据包进行聚类分析，确定聚簇结果中最大簇中的网络数据包的个数为j，若j＞n×l，则第三验证结果res₃＝j/n，若j≤n×l，则第三验证结果res₃＝j×p/n，其中，l为第一聚类阈值系数，取值范围为[0,1]，p为第一惩罚因子，取值范围为[0,1]；

若res1>th₁，则所述待检测设备指纹对应的网络数据包对应的待检测设备信息满足第一精准率的要求；

若res₁≤th₁且res₂×ρ+res₃×(1-ρ)>th₂，则所述待检测设备指纹对应的网络数据包对应的待检测设备信息满足第一精准率的要求；

若res₁≤th₁且res₂×ρ+res₃×(1-ρ)≤th₂，则所述待检测设备指纹对应的网络数据包对应的待检测设备信息不满足第一精准率的要求；

其中，th₁为预设第一可靠性阈值系数，th₂为预设第二可靠性阈值系数，ρ为第一权值系数，取值范围为[0,1]。

5.根据权利要求1或2或4所述的物联网设备指纹库的精细化方法，其特征在于，所述对所述非合格设备指纹对应的网络数据包的聚类结果进行抽样和人工标注设备信息，并根据人工标注的设备信息的分布判定所述非合格设备指纹是否满足可精细化的条件，具体包括：

对所述非合格设备指纹对应的网络数据包的聚类分析得到的所有簇按照各簇包含网络数据包个数的比例进行随机抽样，对抽样出来的x个样本网络数据包进行人工标注设备信息，统计所述x个样本网络数据包中标注相同设备品牌的样本网络数据包的个数，所述个数的最大值为y，若y/x>th₃，则所述非合格设备指纹满足可精细化的条件，若y/x≤th₃，则所述非合格设备指纹不满足可精细化的条件，其中，th₃为预设可精细化阈值，所述设备信息包括设备品牌。

6.根据权利要求5所述的物联网设备指纹库的精细化方法，其特征在于，所述对所述待精细化设备指纹对应的网络数据包的聚类结果进行抽样和人工标注设备信息的结果采用自动特征提取方法进行指纹特征扩充，得到扩充后的设备指纹与所述扩充后的设备指纹对应的设备信息，具体包括：

确定所述待精细化设备指纹对应的网络数据包的聚类结果得到的第q簇中的样本网络数据包被标注相同设备信息的个数，所述个数中最大值对应的设备信息为A_q，则重新标注第q簇中所有网络数据包对应的设备信息为A_q，若第t簇为所述聚类结果中的最大簇，则扩充后的设备指纹对应的新的设备信息为A_t，其中，q为整数且1≤q≤z，z为所述待精细化设备指纹对应的网络数据包的聚类得到的簇的总数；

所述待精细化设备指纹对应的网络数据包的个数为r，对待精细化设备指纹对应的r个网络数据包进行分词处理，去除停用词，对无效信息进行过滤，得到r个文本数据，所述无效信息包括MAC地址和时间戳；

采用One-hot编码对所述r个文本数据进行二值化表示，得到r个维度为S的二进制特征向量，其中，所述二进制特征向量包含S个特征；

采用基于互信息的特征选择算法对所述r个二进制特征向量和对应于所述r个二进制特征向量的设备信息进行去除冗余特征的处理，得到r个维度为S’的降维二进制特征向量，其中，S’<S；

所述最大簇中网络数据包对应的降维二进制特征向量集合为P＝{P₁,P₂,P₃,...,P_u}，所述聚类结果中除开所述最大簇的其他簇中网络数据包对应的降维二进制特征向量集合为p＝{p₁,p₂,p₃,...,p_v}，其中，u和v均为整数且u+v＝r，通过如下公式计算最大簇独有特征C：

C＝{(p₁|p₂|p₃|...|p_v)∧(P₁&P₂&P₃&...&P_u)}&(P₁&P₂&P₃&...&P_u)

将所述最大簇独有特征采用One-hot编码的映射关系转换为文本特征，将所述文本特征加入所述待精细化设备指纹得到扩充后的设备指纹。

7.根据权利要求1或2或4或6所述的物联网设备指纹库的精细化方法，其特征在于，所述验证所述扩充后的设备指纹对应的所述新的网络数据包对应的所述新的设备信息是否满足第二精准率的要求，具体包括：

所述扩充后的设备指纹fp₁对应的新的网络数据包的总数为n₁，将n₁个新的网络数据包对应的新的设备信息与为所述n₁个新的网络数据包预先标注的真实设备信息进行比对，得到新的设备信息与真实设备信息一致的网络数据包数量为m₁，则输出第一精细验证结果res’₁＝m₁/n₁；

采用k₁种辅助识别方法识别出的所述n₁个新的网络数据包中的第i’个新的网络数据包的k₁个设备信息中与新的设备信息一致的有m_i’个，则输出第二精细验证结果

其中，i，为整数且1≤i’≤m₁，m_i’为整数且0≤m_i’≤k₁；

对所述扩充后的设备指纹fp₁对应的n₁个新的网络数据包进行聚类分析，确定聚簇结果中最大簇中的网络数据包的个数为j₁，若j₁＞n₁×l₁，则第三精细验证结果res₃’＝j₁/n₁，若j₁≤n₁×l₁，则第三精细验证结果res₃’＝j₁×p₁/n₁，其中，l₁为第二聚类阈值系数，取值范围为[0,1]，p₁为第二惩罚因子，取值范围为[0,1]；

若res’₁＞th’₁，则所述扩充后的设备指纹对应的所述新的网络数据包对应的所述新的设备信息满足第二精准率的要求；

若res’₁≤th’₁且res₂’×ρ₁+res₃’×(1-ρ₁)>th’₂，则所述扩充后的设备指纹对应的所述新的网络数据包对应的所述新的设备信息满足第二精准率的要求；

若res’₁≤th’₁且res₂’×ρ₁+res₃’×(1-ρ₁)≤th’₂，则所述扩充后的设备指纹对应的所述新的网络数据包对应的所述新的设备信息不满足第二精准率的要求；

其中，th’₁为预设第一精细可靠性阈值系数，th’₂为预设第二精细可靠性阈值系数，ρ₁为第二权值系数，取值范围为[0,1]。

8.根据权利要求7所述的物联网设备指纹库的精细化方法，其特征在于，所述设备信息包括设备型号、设备品牌和设备类型。

9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-8中任一项所述的物联网设备指纹库的精细化方法的步骤。

10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1-8中任一项所述的物联网设备指纹库的精细化方法的步骤。

Images