CN102664881A

CN102664881A - 超文本传输协议1.1下的隐藏服务定位方法

Info

Publication number: CN102664881A
Application number: CN2012101083110A
Authority: CN
Inventors: 罗军舟; 张璐; 杨明; 刘波; 何高峰
Original assignee: Southeast University
Current assignee: Southeast University
Priority date: 2012-04-13
Filing date: 2012-04-13
Publication date: 2012-09-12
Anticipated expiration: 2032-04-13
Also published as: CN102664881B

Abstract

超文本传输协议1.1下的隐藏服务定位方法，主要解决在目前主流的Web访问协议HTTP1.1版本下对匿名通信系统Tor所提供的隐藏服务进行定位的问题，以对非法Web服务进行审查和取缔，为网络犯罪的监管提供必要的技术手段。该方法涉及到匿名电路入口节点的占领、隐秘流量的生成以及流量特征的检测与关联等相关技术。该方法首先假设占据了可疑匿名电路的入口节点，通过客户端浏览器的特殊访问模式，利用HTTP1.1协议的特点引发匿名电路中的特定流量特征，然后将访问隐藏服务的时间与检测到特定流量特征的时间进行关联，若关联结果大于设定的阈值且检测到流量特征的节点的前一跳不为Tor的洋葱路由节点，则该节点的前一跳节点为隐藏服务器，从而完成了对隐藏Web服务的定位。

Description

超文本传输协议 1.1 下的隐藏服务定位方法

技术领域

本发明涉及网络安全特别是匿名通信领域，具体来说是一种匿名通信的监管技术，利用HTTP1.1协议的特点对隐藏服务进行定位，以追踪并取缔非法的Web服务。

背景技术

首先对本发明中用到的缩写进行定义：

OP（Onion Proxy）：洋葱代理；

OR（Onion Router）：洋葱路由器；

HS（Hidden Service）：隐藏服务；

HSA（Hidden Service Authority）：隐藏服务权威；

RP（Rendezvous Point）：汇聚点；

InP（Introduction Point）：服务导入点；

AES（Advanced Encryption Standard）：高级加密标准；

AES-CTR（AES in counter mode）：AES计数器模式；

HTTP（Hyper Text Transfer Protocol）：超文本传输协议；

HTML（HyperText Markup Language）：超文本标记语言；

Tor是一种根据MIX原理设计的基于传输层TCP的匿名通信系统，能够有效地保护网络用户的身份隐私。一个完整的Tor网络如图1所示，由客户端、目录服务器、洋葱路由器以及应用服务器组成。客户端是运行在用户主机上的本地程序，称之为洋葱代理（Onion Proxy, OP），负责为用户构建匿名路径并将数据封装成长度的数据单元（Cell）进行传递；目录服务器主要存储洋葱路由的节点信息，包括节点描述符、公开密钥等；洋葱路由器（Onion Router，OR）负责组成匿名电路对用户数据进行重路由，Tor默认一条匿名路径由3个OR组成，分别为入口节点（Entry Node）、中间节点（Middle Node）和出口节点（Exit Node）；应用服务器则提供具体的TCP应用服务，如Web等。

除对普通用户提供匿名服务外，Tor还对网络服务提供者的匿名性进行保护，称之为隐藏服务（Hidden Service，HS），如图2所示，它包括五个组成部分，分别为用户、隐藏服务权威（Hidden Service Authority，HSA）、隐藏服务器、汇聚点（Rendezvous Point，RP）和服务导入点（Introduction Point，InP）。隐藏服务器在服务导入点注册服务信息，用户从隐藏服务权威获得隐藏秋服务器的服务导入点的信息，而后和汇聚点建立连接，同时通过导入点向隐藏服务器发起请求，服务器建立与汇聚点的匿名信道。这样，用户、汇聚点以及隐藏服务器间将建立一条匿名连接，通过此连接提供服务将不会暴露服务提供者的真实身份与位置。

为抵御流量分析攻击，Tor将应用层数据封装成长度相等的数据单元进行传输，并且一些控制与管理命令也被填充成同样长度，以提高整个系统的安全性。Tor的数据单元分控制单元（Control Cell）和中继单元（Relay Cell）两种，其组成结构如图3所示，两种数据单元长度均固定为512字节，分为头部与载荷两部分。其中，头部包含一个2字节的电路标识（CircID）字段和一个1字节的命令（CMD）字段，头部在传输过程中不会被加密，因此中继的OR节点都可以查看头部信息。由于不同通信双方的数据单元有可能在同一TLS连接中进行传输，电路标识用于记录该数据单元所属的匿名电路（Circuit），同一OP−OR或OR−OR间的匿名电路标识各不相同，OR节点利用电路标识建立路由表并据此对数据单元进行转发。根据命令字段可将数据单元分为控制单元和中继单元，其中控制单元负责传递管理信息，如匿名电路的创建与维护等，由接收到该数据单元的OP或OR节点进行处理；中继单元则负责传递端到端的通信数据，其载荷部分由建立匿名电路过程中协商的对称密钥层层加密，只有出口节点才能完全解密数据获得信息明文。对于中继单元，除标准的头部外，在载荷部分还有一个额外的头部，用于记录端到端数据的相关信息。整个载荷部分采用AES计数器模式（AES in counter mode, AES-CTR）进行加解密，在出口节点处将明文数据传递给最终的接收者。

发明内容

技术问题： 隐藏服务在保证了服务提供者隐私的同时也给非法服务带来了可乘之机，本发明提供了一种超文本传输协议1.1下的隐藏服务定位方法，主要解决在目前主流的Web访问协议HTTP1.1版本下，对匿名通信系统Tor所提供的隐藏服务进行定位的问题，以对非法Web服务进行审查和取缔，为网络犯罪的监管提供必要的技术手段。

技术方案：本发明的超文本传输协议1.1下的隐藏服务定位方法包括以下步骤：

1）配置洋葱路由器或桥节点Bridge：

由于匿名电路的入口节点直接与隐藏服务器HS（Hidden Server，）相连接，因此其能够获得HS的网络IP地址，若监管者能够控制该入口节点，则可以很方便地完成对隐藏服务的定位；第二代洋葱路由系统Tor在选择入口节点时根据的是带宽加权算法，即带宽越高的洋葱路由器OR（Onion Router，）成为匿名电路入口节点的概率越大，因此，监管者可配置若干OR节点并上报其所允许的最大带宽50MB/s，则有很大的可能性占据匿名电路的入口节点；此外，还可利用Tor的抗阻塞机制，通过提供Bridge的方式完成对匿名电路入口节点的占据；

2）连入Tor网络，利用浏览器访问隐藏Web服务，浏览器为生成和记录特定流量采取特殊的访问行为及方式：

监管者在本地主机上运行Tor客户端并连入Tor网络，配置浏览器利用Tor访问隐藏服务；由于Web页面包含多个对象且每个对象的大小不尽相同，因此依据此特征，通过控制浏览页面的行为，在隐藏Web服务器和Tor网络中生成特定的流量；

3）在监管者所控制的洋葱路由器或Bridge上检测特定的流量特征，即对象个数和大小，其在匿名电路上形成不同的数据单元Cell数目；

4）将检测到特定流量特征的时间与访问隐藏Web服务的时间进行关联；

5）对于关联结果大于设定阈值的对象，进行确认工作，判断其是否为洋葱路由器或Bridge节点，若都不符合，则可判定其为隐藏服务器：

由于整个隐藏服务的匿名电路中的所有节点的流量特征相同，因此需确定检测到特定流量的节点的准确位置，具体根据该节点是否与汇聚点RP（Rendezvous Point，）相连及其前一跳节点是否为公开OR节点或Bridge。

其中：

所述步骤2）中，浏览器为生成和记录特定流量所采取的访问行为及方式：

1）浏览器记录每个页面所包含的对象数和访问时间，并每隔一定时间访问该隐藏服务的某一其它页面；由于HTTP1.1的持久连接和流水线技术，浏览器需控制对象请求HTTP GET的发送时间，以使其分散到不同的Cell中，以便对其进行检测；

2）Tor客户端记录浏览器获取页面中每个对象所需的数据单元数量，浏览器每隔一定时间选择当前页面中的某个对象进行刷新，由于HTTP1.1下所有对象通过同一条传输控制协议TCP连接传输，因此需刷新选定对象两次，第一次得出传递此对象需要的Cell数量，第二次引发流量波动以供检测。

所述步骤3）中，监管者所控制的洋葱路由器或Bridge上检测特定流量特征的方法：

1）由于浏览器每隔一定时间访问隐藏服务的一个页面，页面中获取每个对象的请求HTTP GET均通过一个Cell传递，节点根据转发的指向隐藏服务器方向的Cell的数量检测特定流量并记录时间；

2）由于页面中每个对象的内容在短时间内是不变的，节点根据从隐藏服务器端返回数据的Cell数量检测特定流量。

所述步骤5）中，对于关联结果大于设定阈值的对象，进行确认工作；具体方法为：若节点与RP相连接，则前一跳不可能是隐藏服务器，否则，查看Tor的目录服务器，判断前一跳节点是否为公开的OR节点，或建立单跳匿名电路判断前一跳节点是否为Bridge，若均不成立，则前一跳必然为隐藏服务器。

有益效果： 本发明避免了持久连接和流水线技术对Tor中统计页面对象个数和大小的影响，实现了在HTTP1.1下对隐藏Web服务的定位，为非法服务的监管提供了必要的技术手段。

附图说明

图1为本发明所述的Tor体系结构图；

图2为本发明所述的隐藏服务的建立与访问图；

图3 为本发明所述的Tor的数据单元结构图；

图4为本发明所述的HTTP协议版本对比图。

具体实施方式

下面对本发明再作进一步详细的说明。

1）配置适当数量的洋葱路由器或Bridge节点，以占据匿名电路的入口节点：

由于匿名电路的入口节点直接与隐藏服务器（Hidden Server，HS）相连接，因此其能够获得HS的IP地址，若监管者能够控制该入口节点，则可以很方便地完成对隐藏服务的定位。由于Tor的OR节点是志愿提供的，任何人均可配置其运行的Tor软件使其成为OR节点，因此监管者可以利用这一特性在Tor网络中插入若干受其控制的OR节点。在构建匿名电路时，Tor采用带宽加权方法选择OR节点，但带宽信息仅由各节点上报而并不进行验证，因此监管者OR节点可谎报其具有Tor所允许的最大带宽50MB/s，从而比正常OR节点获得更大概率被选为构建匿名电路的节点。此外，还可利用Tor的抗阻塞机制，通过提供Bridge的方式完成对匿名电路入口节点的占据。在占据入口节点后，监管者首先假设其前一跳节点均为隐藏服务器，随后通过以下步骤对其进行验证并排除误报；

2）监管者启动Tor客户端并连入Tor网络，利用浏览器以特定的方式访问隐藏Web服务：

监管者在本地主机上运行Tor客户端并连入Tor网络，配置浏览器利用Tor访问隐藏服务。监管者访问隐藏服务的目的除获取其内容外，还要通过特殊的访问方式引发匿名电路中特定的流量波动，以供监管者控制的节点进行检测。Tor将所有的数据封装在Cell中传输，中间节点无法获知其中的具体内容，唯一可利用的便是统计传递Cell的数量。HTTP1.0为页面中的每个对象建立单独的TCP连接，已有技术可在Tor的中间节点识别建立连接的流量特征，但HTTP1.1使用持久连接和流水线技术，如图4所示，所有对象均在同一个TCP连接中获取，因此通过统计TCP连接推测对象个数的方法不再可行，基于同样的原因，统计某TCP连接内的Cell数量以推测对象大小的方法也将失效。因此，要在HTTP1.1下引发可检测的流量特征，本发明设计了以下两种访问方法：

21）虽然访问页面只建立一个TCP连接，但获取页面中的每个对象仍需发送独立的HTTP GET请求获取，可通过检测此类请求的数量推测对象个数。由于Tor中的数据是加密传递的，OR只能通过Cell的数量识别流量，为使不同对象的HTTP GET请求不被封装在同一个Cell中，浏览器需在发送HTTP GET请求时加入一定的时间间隔；

22）由于多个对象均有同一条TCP连接传输，在首次访问页面时，无法准确统计出传输每个对象所需的Cell数量，因此只能在页面获取完毕后，刷新选定的对象，此时连接中仅有一个对象在传输，因此可获得其所需的Cell数量，随后再次刷新同一对象，并通过检测Cell数量的方式检测流量波动；

3）在监管者所控制的洋葱路由器或Bridge上检测特定的流量特征，根据步骤2），所需检测的特征为一定时间窗口内传向同一方向的Cell数量，若其个数与所访问页面的对象数量或刷新对象的大小相一致（依据不同的访问模式），则可判定检测到特定流量，记录下相应的IP地址和时间；

4）多次重复步骤2）和3），将检测到特定流量特征的时间与访问隐藏Web服务的时间进行关联，可供选择的关联参数包括相关性系数等；

5）对于关联结果大于设定阈值的对象，判断其是否为洋葱路由器或Bridge节点，若都不符合，则可判定其为隐藏服务器：

由于整个隐藏服务的匿名电路中的所有节点的流量特征相同，因此需确定检测到特定流量的节点的准确位置。由于Tor的电路长度默认为3跳，因此若检测到相关流量的OR直接与汇聚点（Rendezvous Point，RP）相连，则可判定其为出口节点，前一跳不可能是隐藏服务器，此时需切断匿名电路，并在隐藏服务器重新建立电路后继续检测；否则，查看目录服务器以判断当前OR节点的前一跳节点是否为公开的OR节点，若不是，则建立一个一跳的电路连接前一跳节点，若不能连上，则其为隐藏服务器。

具体实例如下：

1. 配置适当数量的洋葱路由器或Bridge节点，以占据匿名电路的入口节点：

由于匿名电路的入口节点直接与隐藏服务器（Hidden Server，HS）相连接，因此其能够获得HS的IP地址，若监管者能够控制该入口节点，则可以很方便地完成对隐藏服务的定位。由于Tor的OR节点是志愿提供的，任何人均可配置其运行的Tor软件使其成为OR节点，因此监管者可以利用这一特性在Tor网络中插入若干受其控制的OR节点。在构建匿名电路时，Tor采用带宽加权方法选择OR节点，但带宽信息仅由各节点上报而并不进行验证，因此监管者OR节点可谎报其具有Tor所允许的最大带宽50MB/s，从而比正常OR节点获得更大概率被选为构建匿名电路的节点。此外，还可利用Tor的抗阻塞机制，通过提供Bridge的方式完成对匿名电路入口节点的占据。

根据相关文献，占据入口节点的概率除与带宽密切相关外，还与监控节点的规模有关，在资源允许的情况下，还可通过增加监控节点的数量占据更多的入口节点。在占据入口节点后，监管者首先假设其前一跳节点均为隐藏服务器，随后通过以下步骤对其进行验证；

2. 访问隐藏服务，生成特定流量并检测关联：

a) 根据Web页面中包含的对象个数进行关联：

(1) 发送页面请求。在监管者客户端与隐藏服务器建立匿名路径后，为获取想要访问的页面，浏览器发出TCP连接请求。因此，客户端OP将发送一个RELAY_BEGIN中继单元，隐藏服务器则返回一个RELAY_CONNECTED中继单元表示TCP连接建立完成，随后客户端OP通过一个RELAY_DATA中继单元将HTTP GET请求发出以获取相应的Web页面。在此过程中，匿名电路上的OR节点不知道中继单元的具体命令，但可检测到向隐藏服务器方向发送了两个中继单元，在两个中继单元之间，相反方向返回了一个中继单元。

(2) 获取完整页面。隐藏服务器收到HTTP GET请求后将相应的HTML页面返回给监管者；浏览器解析该页面，为其中的每个对象发送HTTP GET请求以获得完整的Web页面。浏览器控制这些请求间的时间间隔，以使对于每个HTTP GET请求，客户端OP均会向隐藏服务器方向发送一个单独RELAY_DATA中继单元。监管者记录下Web页面所包含的对象个数以及获得完整页面的具体时间。

(3) 检测流量模式。匿名电路上的OR节点无法获知中继单元的具体命令，但可以区分数据单元是中继单元还是命令单元，并且知道数据单元所属的电路标识。如果将“向隐藏服务器发送一个中继单元→隐藏服务器返回一个中继单元→向隐藏服务器发送一个中继单元”视为一个流量特征组件（Characteristic Component），假设一个页面中含有m个对象，则在获取整个Web页面的过程中其匿名电路上将产生1个流量特征组件并在其后跟随m个发往隐藏服务器方向的中继单元。在监管者访问隐藏服务的过程中，其控制的OR节点记录每条匿名电路上的数据单元，若恰好在这些数据单元中检测到上述m + 1模式，则认为检测到访问隐藏服务所产生的特定流量。监管者记录检测到特定流量的时间以及相应匿名电路前一跳节点的IP地址。

(4) 通信流量关联。监管者重复步骤1−3，通过访问多个隐藏服务页面，分别检测其产生的流量特征。对于记录有相同IP地址的检测结果，计算隐藏服务访问与通信流量波动之间的关联性。本发明采用相关系数（correlation coefficient）表示关联性，其计算方法为：

其中，x表示获得完整Web页面的时间，y表示检测到特定访问流量的时间，

和

分别表示x和y的平均值，i表示访问的页面数量。当计算出的ρ_x,y 值大于事先设定的阈值时，认为访问隐藏服务的行为与检测到的流量波动具有关联性。

b) 根据对象的大小进行关联：

(1) 获得完整 Web 页面。监管者通过浏览器访问隐藏服务，获得所要访问的完整Web页面。监管者利用修改过的OP记录页面中传输每个对象所需的RELAY_DATA中继单元数量，由于所有对象在同一个TCP连接中传输，因此需在完全获取页面后选择某一对象进行刷新，刷新时记录其需要的RELAY_DATA中继单元数量。假设页面中共包含k个对象，获得第j个对象所需传输的RELAY_DATA中继单元为m_j 个，其中0 < j ≤ k。

(2) 页面对象刷新。监管者从Web页面的k个对象中任意选择一个，假设为第j个，刷新其HTTP GET请求，记录刷新发起的时间并告知监管者OR节点m_j 的值。

(3) 检测流量模式。监管者控制的OR节点记录发起刷新后每条匿名电路上传输的RELAY_DATA中继单元数量，在一定的时间窗口中，若RELAY_DATA中继单元的数量等于m_j ，则认为检测到访问隐藏服务所产生的特定流量。监管者记录检测到特定流量的时间以及相应匿名电路前一跳节点的IP地址。

(4) 通信流量关联。监管者重复步骤2和3，通过刷新多个页面对象，分别检测其产生的流量特征。对于记录有相同IP地址的检测结果，利用a）中同样的公式计算隐藏服务访问与通信流量波动之间的关联性。由于访问同一站点的多条TCP连接使用的是同一条匿名电路，且中继单元中的StreamID字段是加密的，匿名电路中的OR节点无法区分不同TCP连接的RELAY_DATA中继单元。因此，监管者需严格控制多次刷新之间的时间间隔，确保监管者OR节点检测流量特征的时间窗口内只有一个对象在传输。

3. 对于关联结果大于设定阈值的对象，判断其是否为洋葱路由器或Bridge节点，若都不符合，则可判定其为隐藏服务器：

本发明还可有其他多种实施方式，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员可根据本发明做出各种相应的改变和变形，这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims

1. 一种超文本传输协议1.1下的隐藏服务定位方法，其特征是该服务定位方法包括以下步骤：

1）配置洋葱路由器或桥节点Bridge：

由于匿名电路的入口节点直接与隐藏服务器HS相连接，因此其能够获得HS的网络IP地址，若监管者能够控制该入口节点，则可以很方便地完成对隐藏服务的定位；第二代洋葱路由系统Tor在选择入口节点时根据的是带宽加权算法，即带宽越高的洋葱路由器OR成为匿名电路入口节点的概率越大，因此，监管者配置若干OR节点并上报其所允许的最大带宽50MB/s，则有很大的可能性占据匿名电路的入口节点；此外，还利用Tor的抗阻塞机制，通过提供Bridge的方式完成对匿名电路入口节点的占据；

由于整个隐藏服务的匿名电路中的所有节点的流量特征相同，因此需确定检测到特定流量的节点的准确位置，具体根据该节点是否与汇聚点RP相连及其前一跳节点是否为公开OR节点或Bridge。

2. 根据权利要求1所述的超文本传输协议1.1下的隐藏服务定位方法，其特征在于所述步骤2）中，浏览器为生成和记录特定流量所采取的访问行为及方式：

3.根据权利要求1所述的超文本传输协议1.1下的隐藏服务定位方法，其特征在于所述步骤3）中，监管者所控制的洋葱路由器或Bridge上检测特定流量特征的方法：

4.根据权利要求1所述的超文本传输协议1.1下的隐藏服务定位方法，其特征在于所述步骤5）中，对于关联结果大于设定阈值的对象，进行确认工作；具体方法为：若节点与RP相连接，则前一跳不可能是隐藏服务器，否则，查看Tor的目录服务器，判断前一跳节点是否为公开的OR节点，或建立单跳匿名电路判断前一跳节点是否为Bridge，若均不成立，则前一跳必然为隐藏服务器。