CN112995142B - 一种匿名网络动态链路选择方法及装置 - Google Patents

Abstract

本发明公开了一种匿名网络动态链路选择方法与装置，属于计算机网络安全技术领域。所述方法包括：智能体组件基于深度强化学习的方法来动态选择路由节点，从而构建链路。通过智能体组件和环境的不断交互，使匿名网络用户能够掌握对抗的主动权。其中智能体组件循环不断地观测状态，选择动作并从环境反馈中获得奖励，在试错过程中学习最大化累积奖励的动作策略。本发明通过基于深度强化学习的动态链路选择智能体，解决现有技术中针对匿名通信动态链路选择的带宽加权算法由于算法比较固定，追踪者总是能够发现并利用匿名网络存在的漏洞来进行追踪定位的问题。

Description

一种匿名网络动态链路选择方法及装置

技术领域

本发明涉及属于计算机网络安全技术领域，特别是涉及一种匿名网络动态链路选择方法及装置。

背景技术

匿名通信指采取一定的措施隐蔽通信流中的通信关系，使窃听者难以获取或推知通信双方的关系及内容。匿名通信的目的就是隐蔽通信双方的身份或通信关系，保护网络用户的个人通信隐私。匿名通信系统在互联网中得到广泛应用，在保障通信安全和用户隐私方面发挥了重要作用。

图2示出了匿名通信网络的一般组成形式，匿名通信网络使用重路由机制、数据包混淆、数据加密等技术隐藏网络用户的身份信息，用户可以通过中间代理连接到互联网上，真实身份信息隐藏于中间代理的后面，用户对于中间代理之外的主机、服务器等信息载体完全透明，从而更好的隐藏自己。

匿名网络追踪技术目前主要是基于流量的分析、标识等技术，通过监控分析通信双方之间的流量来确定双方存在通信关系。在匿名网络和追踪技术的对抗中，匿名网络一直处于被动状态，追踪者总是能够发现并利用匿名网络存在的漏洞来进行追踪定位。归根结底造成这种被动的主要原因就是传统匿名网络拓扑结构和工作流程相对固定，变化程度不高。

现有技术中针对匿名通信动态链路选择主要是利用带宽加权算法选择高带宽、稳定性好、在线时间长的节点作为中继节点。其中均匀分布只适合于属性单一的变体。对于属性较多的情况，例如需要考虑安全、性能的综合情况下，均匀分布无法满足需求。随机加权在均匀分布的基础上，为不同的属性赋予不同的权重，权重高的被选择的概率也就高。这样，不同的实体就被区分对待。随机加权的方法适合属性多而复杂的场景。

例如当用户使用Tor系统进行匿名网络访问时，首先从目录服务器下载当前在线的节点信息，包括描述符、公钥、节点带宽和标志位。随后根据基于带宽的随机算法来选择若干节点以构成通信链路。客户程序即可通过本地代理程序来复用匿名通信链路。在构建Tor匿名通信链路时，默认选择3个中继节点作为服务节点。这3个中继节点分别称为入口节点、中间节点和出口节点。选择具体中继节点时，Tor系统根据匿名通信节点上报的带宽信息，使用基于带宽的随机算法进行选择。该算法可以简单描述如下：在选择节点时，假设所有符合类型标志要求的节点为{N₁，N₂，…，N_n}，对应的带宽分别为{B₁，B₂，…，B_n}，则N_i节点被选中的概率为

但是这种随机加权的算法由于带宽加权采用的是中继节点上传给目录服务器的带宽数据，攻击者可以通过架设高带宽攻击节点同时占据匿名通信链路的出口和入口节点，进而可以通过在流量中嵌入特征信号的方法来检测通信双方的关联性；如果攻击者占据了匿名网络中大部分的中继节点，则可以通过流量分析技术统计两端流量的各种特性。也就是说目前的针对匿名通信动态链路选择的带宽加权算法由于算法比较固定，追踪者总是能够发现并利用匿名网络存在的漏洞来进行追踪定位。

发明内容

有鉴于此，本发明提供的一种匿名网络动态链路选择方法及装置，基于深度强化学习的方法来动态选择链路节点，从而构建链路。通过智能体和环境的不断交互，使匿名网络用户能够掌握对抗的主动权。其中，智能体循环不断地观测状态，选择动作并从环境反馈中获得奖励，在试错过程中学习最大化累积奖励的动作策略，从而可以有效的提高匿名网络的匿名度。

根据本发明一个方面，提供了一种匿名网络动态链路选择方法，该方法包括步骤：

S1获取生成匿名通信系统网络链路指令时，基于当前网络环境状态信息，自动选择动作策略生成第一匿名通信系统网络链路构成方案；

S2计算所述第一匿名通信系统网络链路构成方案的匿名度为第一奖励；

S3再次获取生成匿名通信系统网络链路指令时，基于当前网络环境状态信息，自动选择所述动作策略生成第二匿名通信系统网络链路构成方案；

S4计算所述第二匿名通信系统网络链路构成方案的匿名度为第二奖励；

S5比较所述第二奖励与第一奖励，若所述第二奖励小于第一奖励，所述智能体组件不断重复步骤S3与S4，调整所述动作策略重新生成所述第二匿名通信系统网络链路，直至所述第二奖励大于或等于所述第一奖励。

作为本发明的进一步改进，所述匿名度的计算步骤包括：

定义匿名集为S＝{S₁，S₂，...S_N}；其中N为当前通信系统中可构成所述匿名通信系统网络链路的节点的数量；

定义X为离散随机变量，其概率密度函数p_i＝Pr(x＝i)，

其中p_i表示所述匿名集中的第i个成员为构成所述匿名通信系统网络链路的节点的概率；

所述离散随机变量X的熵为：

则最大熵H_M＝log₂N；攻击者获得信息为H_M-H(X)；

所述匿名度D(X)为一个系统的熵与同等规模理想系统的熵的比值：

作为本发明的进一步改进，所述网络环境状态信息包括：当前匿名网络构成中的链路的节点信号及流量信息，所述节点为上一时刻匿名网络链路构成时的入口节点、中间节点及出口节点。

根据本发明另一个方面，提供了一种匿名网络动态链路选择装置，该装置包括：

智能体组件：获取生成匿名通信系统网络链路指令时，基于当前网络环境状态信息，自动选择动作策略生成第一匿名通信系统网络链路构成方案；再次获取生成匿名通信系统网络链路指令时，基于当前网络环境状态信息，自动选择所述动作策略生成第二匿名通信系统网络链路构成方案；

匿名度评估组件：计算所述第一匿名通信系统网络链路构成方案的匿名度为第一奖励；计算所述第二匿名通信系统网络链路构成方案的匿名度为第二奖励：

策略执行组件：比较所述第二奖励与第一奖励，若所述第二奖励小于第一奖励，所述智能体组件不断调整所述动作策略重新生成所述第二匿名通信系统网络链路并计算所述第二匿名通信系统网络链路构成方案的匿名度为所述第二奖励，直至所述第二奖励大于或等于所述第一奖励。

作为本发明的进一步改进，匿名度评估组件进行匿名度计算步骤包括：

定义匿名集为S＝{S₁，S₂，...S_N}；其中N为当前通信系统中可构成所述匿名通信系统网络链路的节点的数量；

定义X为离散随机变量，其概率密度函数p_i＝Pr(x＝i)，

其中p_i表示所述匿名集中的第i个成员为构成所述匿名通信系统网络链路的节点的概率；

所述离散随机变量X的熵为：

则最大熵H_M＝log₂N；攻击者获得信息为H_M-H(X)；

所述匿名度D(X)为一个系统的熵与同等规模理想系统的熵的比值：

作为本发明的进一步改进，还包括状态收集组件：用于收集所述当前网络环境状态信息，包括当前匿名网络构成中的链路的节点信号及流量信息，所述节点为上一时刻匿名网络链路构成时的入口节点、中间节点及出口节点。

籍由上述技术方案，本发明提供的有益效果如下：

(1)利用深度强化学习，对匿名链路节点的选择做出预判，从而能使匿名动态链路中选取恶意节点的概率降低，有助于减少流量特性的流失，使得攻击者无法通过流量分析技术统计两端流量的各种特性。

(2)具有匿名链路节点选择动态策略，与当前匿名通信系统匿名度奖励反馈配合，使得匿名网络拓扑结构和工作流程动态变化较大，保障匿名网络用户在与追踪者和攻击者的较量中掌握主动权。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1示出了本发明实施例提供的一种匿名网络动态链路选择方法中智能体深度强化学习框架；

图2示出了匿名通信网络的一般组成形式；

图3示出了本发明实施例提供的一种匿名网络动态链路选择装置的总体框架图；

图4示出了本发明实施例提供的一种匿名网络动态链路选择方法应用于基于tor系统的匿名网络增强的示意图；

图5示出了本发明实施例提供的一种匿名网络动态链路选择方法中智能体基于深度强化学习的动态链路调度的算法流程。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

首先，在对本发明实施例进行描述的过程中出现的部分名词或者术语适用于如下解释：

Tor：是目前Intemet中最成功的公共匿名通信系统。目前，Tor在全球具有超过1300个中继节点，大部分的节点位于美国和德国；正常状态下，全球有超过20Gbps的匿名通信传输数据流量。

本发明要解决的核心技术问题为，现有技术中针对匿名通信动态链路选择的带宽加权算法由于算法比较固定，追踪者总是能够发现并利用匿名网络存在的漏洞来进行追踪定位，匿名网络用户在与追踪者的对抗中总是处于被动地位。

针对上述技术问题，本发明通过引入深度强化学习的智能体，提出基于深度强化学习的匿名通信动态链路选择方法。该方法的核心是智能体组件基于深度强化学习的方法来动态选择链路节点，从而构建链路。通过智能体组件和环境的不断交互，使匿名网络用户能够掌握对抗的主动权。其中，智能体循环不断地观测状态，选择动作并从环境反馈中获得奖励，在试错过程中学习最大化累积奖励的动作策略，可以有效的提高匿名网络的匿名性。

实施例1

请参考图3，其示出了本发明实施例提供的一种基于深度强化学习的匿名网络动态链路选择方法的总体框架图。

从图3中可以看到，智能体通过读取当前网络环境信息，获取当前环境中的状态及其奖励，智能体根据所自身策略做出下一步的动作，从而影响至环境。

图1示出了本发明实施例提供的一种匿名网络动态链路选择方法中智能体深度强化学习框架；

请参考图1和图3中智能体获取当前环境中的状态，上述状态反映当前所处的匿名网络环境实时特征。对于匿名网络中链路选择状态来说，具体为节点信号和流量信息。即每次匿名网络链路构成时，入口节点，中间节点，出口节点的具体选择节点信息。

请参考图1和图3中智能体做出的动作，是指根据智能体在上一时刻生成匿名网络链路时的匿名网络环境状态、获得的奖励以及链路节点选择策略，是每一时间步智能体对匿名网络下发的具体的链路选择方案，即具体的链路节点选择方法。

请参考图1和图3中智能体获取的奖励，是根据当前时刻匿名网络的状态和智能体做出的行为，在下一时刻智能体将收到当前时刻匿名链路的匿名度作为奖励反馈。即根据智能体对链路节点的选取和攻击者的攻击效果，智能体进行进一步学习后，调整下一步做出的动作。

策略是智能体从当前状态到对应当前动作的映射，指导智能体在特定环境下行为方式，即基于深度强化学习的动态链路调度的算法。

图5为智能体基于深度强化学习的动态链路调度的算法流程；

如图5所示，当用户使用匿名网络构成链路时，智能体会根据当前状态和奖励来做出判断，若此次链路选择匿名度小于上次选择的链路的匿名度，则智能体做链路生成策略调整，重新生成匿名网络链路，直至此次选择的链路的匿名度大于或等于上次选择的链路。

如图3所示，本发明实施例方法主要包括以下步骤：

S1获取生成匿名通信系统网络链路指令时，基于当前网络环境状态信息，自动选择动作策略生成第一匿名通信系统网络链路构成方案；

当用户使用匿名网络构成链路时，智能体组件获取生成匿名通信系统网络链路指令，智能体组件获取当前网络环境状态信息，包括当前匿名网络构成中的链路的节点信号及流量信息，即每次链路构成时，入口节点，中间节点，出口节点的具体选择信息；根据这些网络环境状态信息自动选择动作策略生成第一匿名通信系统网络链路构成方案；

S2计算第一匿名通信系统网络链路构成方案的匿名度为第一奖励；

每次当智能体节点选择完成后，均需要计算链路构成中的匿名度，本实施例中采用的匿名度评估算法如下：

定义匿名集为S＝{S₁，S₂，...S_N}；其中N为当前通信系统中可构成匿名通信系统网络链路的节点的数量；

定义X为离散随机变量，其概率密度函数p_i＝Pr(x＝i)，

其中p_i表示匿名集中的第i个成员为构成匿名通信系统网络链路的节点的概率；

离散随机变量X的熵为：

则最大熵H_M＝log₂N；攻击者获得信息为H_M-H(X)；

匿名度D(X)定义为一个系统的熵与同等规模理想系统的熵的比值：

根据当前时刻匿名网络的状态和智能体做出的行为，在下一时刻智能体将收到当前时刻智能体所选择的各匿名节点所构成的通信系统网络链路的匿名度状态反馈作为奖励，影响智能体学习后做出的动作。

S3再次获取生成匿名通信系统网络链路指令时，基于当前网络环境状态信息，自动选择动作策略生成第二匿名通信系统网络链路构成方案；

当用户再次使用匿名网络构成链路时，智能体组件获取生成匿名通信系统网络链路指令，智能体组件获取当前网络环境状态信息，自动选择动作策略生成第二匿名通信系统网络链路构成方案；

S4计算第二匿名通信系统网络链路构成方案的匿名度为第二奖励；

使用上述匿名度评估算法计算当前网络链路的匿名度，并反馈给智能体作为奖励。

S5比较所述第二奖励与第一奖励，若所述第二奖励小于第一奖励，智能体组件不断重复步骤S3与S4，调整动作策略重新生成第二匿名通信系统网络链路，直至第二奖励大于或等于所述第一奖励。

当用户再次使用匿名网络构成链路时，智能体会根据当前状态和奖励来做出判断，若此次链路选择匿名度小于上次选择，则智能体作为调整，重新构成链路，若大于或等于上次选择，则智能体不作为调整，维持本身链路选择。

下面举出本发明实施例1的一个具体的应用场景。

请参考图4，其示出了本发明实施例提供的一种基于深度强化学习的匿名网络动态链路选择方法应用于基于tor系统的匿名网络增强的示意图。

如图4所示，针对用户使用Tor系统进行匿名网络访问，利用深度强化学习的智能体来对tor网络实行动态链路调度，从而使得Tor系统的匿名度每次都逐渐增加，提升自身的安全性。

深度强化学习的智能体，根据对当前Tor系统中的节点信息，流量的读取，来对节点的选择做出预判，从而根据预判效果，通过对匿名度的判断，来动态调整链路选择算法，从而提升Tor网络系统的匿名性。

第一步，当Tor网络系统开始访问匿名网络，在Tor的链路的构成中，智能体会根据当时的环境状况，获取构成Tor网络的所有节点信息，从而智能体选择链路，辅助Tor构成网络系统，从而计算出本次链路匿名度大小；

第二步，将上次链路的匿名度大小，作为奖励反馈给智能体中；

第三步，当用户再使用Tor网络时，若智能体选择的链路的匿名度的大小低于上次选择的匿名度，则智能体就会根据本次状态做出策略调整，重新选择链路；若智能体本次选择的链路的大小大于或等于上次选择的匿名度，则智能体保持原来的策略的不变，完成本次链路的选择。

实施例2

进一步的，作为对上述实施例所示方法的实现，本发明另一实施例还提供了一种匿名网络动态链路选择装置。该装置实施例与前述方法实施例对应，为便于阅读，本装置实施例不再对前述方法实施例中的细节内容进行逐一赘述，但应当明确，本实施例中的装置能够对应实现前述方法实施例中的全部内容。在该实施例的装置中，具有以下模块：

1、智能体组件：获取生成匿名通信系统网络链路指令时，基于当前网络环境状态信息，自动选择动作策略生成第一匿名通信系统网络链路构成方案；再次获取生成匿名通信系统网络链路指令时，基于当前网络环境状态信息，自动选择动作策略生成第二匿名通信系统网络链路构成方案。

2、匿名度评估组件：计算第一匿名通信系统网络链路构成方案的匿名度为第一奖励；计算第二匿名通信系统网络链路构成方案的匿名度为第二奖励。

3、策略执行组件：比较第二奖励与第一奖励，若第二奖励小于第一奖励，智能体组件不断调整动作策略重新生成第二匿名通信系统网络链路并计算第二匿名通信系统网络链路构成方案的匿名度为第二奖励，直至第二奖励大于或等于第一奖励。

4、状态收集组件：用于收集当前网络环境状态信息，包括当前匿名网络构成中的链路的节点信号及流量信息，所述节点为上一时刻匿名网络链路构成时的入口节点、中间节点及出口节点。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本发明并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

Claims (4)

1.一种匿名网络动态链路选择方法，其特征在于，包括：

S1获取生成匿名通信系统网络链路指令时，基于当前网络环境状态信息，自动选择动作策略生成第一匿名通信系统网络链路构成方案；

S2计算所述第一匿名通信系统网络链路构成方案的匿名度为第一奖励；

S3再次获取生成匿名通信系统网络链路指令时，基于当前网络环境状态信息，自动选择所述动作策略生成第二匿名通信系统网络链路构成方案；

S4计算所述第二匿名通信系统网络链路构成方案的匿名度为第二奖励；

S5比较所述第二奖励与第一奖励，若所述第二奖励小于第一奖励，智能体组件不断重复步骤S3与S4，调整所述动作策略重新生成所述第二匿名通信系统网络链路，直至所述第二奖励大于或等于所述第一奖励；

所述匿名度的计算步骤包括：

定义匿名集为S＝{S₁，S₂，...S_N}其中N为当前通信系统中可构成所述匿名通信系统网络链路的节点的数量；

定义X为离散随机变量，其概率密度函数p_i＝Pr(x＝i)，

其中p_i表示所述匿名集中的第i个成员为构成所述匿名通信系统网络链路的节点的概率；

所述离散随机变量X的熵为：

则最大熵H_M＝log₂N；攻击者获得信息为H_M-H(X)；

所述匿名度D(X)为一个系统的熵与同等规模理想系统的熵的比值：

2.如权利要求1所述的一种匿名网络动态链路选择方法，其特征在于，所述网络环境状态信息包括：当前匿名网络构成中的链路的节点信号及流量信息，所述节点为上一时刻匿名网络链路构成时的入口节点、中间节点及出口节点。

3.一种匿名网络动态链路选择装置，其特征在于，包括：

智能体组件：获取生成匿名通信系统网络链路指令时，基于当前网络环境状态信息，自动选择动作策略生成第一匿名通信系统网络链路构成方案；再次获取生成匿名通信系统网络链路指令时，基于当前网络环境状态信息，自动选择所述动作策略生成第二匿名通信系统网络链路构成方案；

匿名度评估组件：计算所述第一匿名通信系统网络链路构成方案的匿名度为第一奖励；计算所述第二匿名通信系统网络链路构成方案的匿名度为第二奖励；

策略执行组件：比较所述第二奖励与第一奖励，若所述第二奖励小于第一奖励，所述智能体组件不断调整所述动作策略重新生成所述第二匿名通信系统网络链路并计算所述第二匿名通信系统网络链路构成方案的匿名度为所述第二奖励，直至所述第二奖励大于或等于所述第一奖励；

所述匿名度评估组件进行匿名度计算步骤包括：

定义匿名集为S＝{S₁，S₂，...S_N}；其中N为当前通信系统中可构成所述匿名通信系统网络链路的节点的数量；

定义X为离散随机变量，其概率密度函数p_i＝Pr(x＝i)，

其中p_i表示所述匿名集中的第i个成员为构成所述匿名通信系统网络链路的节点的概率；

所述离散随机变量X的熵为：

则最大熵H_M＝log₂N；攻击者获得信息为H_M-H(X)；

所述匿名度D(X)为一个系统的熵与同等规模理想系统的熵的比值：

4.如权利要求3所述的一种匿名网络动态链路选择装置，其特征在于，还包括状态收集组件：用于收集所述当前网络环境状态信息，包括当前匿名网络构成中的链路的节点信号及流量信息，所述节点为上一时刻匿名网络链路构成时的入口节点、中间节点及出口节点。

Images