CN105634721B - 一种rpki数据仓库增量同步方法 - Google Patents

Abstract

本发明涉及一种RPKI数据仓库增量同步方法。该方法包括：1)在增量文件中添加更新元素，针对内容有部分更新的对象文件，RPKI依赖方通过该更新元素与RPKI数据仓库之间进行数据同步；2)增加主动通知机制，当RPKI数据仓库中的内容发生变更时，产生的新的更新通知文件并主动发送至RPKI依赖方，以使RPKI依赖方及时对更新后的文件进行同步；3)设立增量文件监测系统，用于对增量文件的获取状况进行监测，对于只有极小部分RPKI依赖方获取的增量文件进行删除。本发明能够降低RPKI数据仓库的缓存负载，同时缓解据同步过程中的带宽压力。

Description

一种RPKI数据仓库增量同步方法

技术领域

本发明属于信息技术、网络技术领域，具体涉及一种RPKI数据仓库增量同步方法。

背景技术

RPKI(Resource Public Key Infrastructure，互联网基础资源公钥证书体系)是一种用于保障互联网基础码号资源(包含IP地址、AS(Autonomous System，自治系统)号)安全使用的公钥证书体系。通过对X.509公钥证书进行扩展，RPKI依托资源证书实现了对互联网基础码号资源使用授权的认证，并以ROA(Route Origin Authorization,路由源声明)的形式帮助域间路由系统，验证某个AS针对特定IP地址前缀的路由通告是否合法。

在RPKI体系中，码号资源的分配者在分配资源的同时，为其下游节点签发分配资源的证书。依托RPKI提供的认证功能，IP地址最终用户单位(资源持有者)通过发布ROA，将特定的IP地址前缀授权给某个AS进行路由广播。由此，RPKI引入大量的证书、签名等数据，包括CA证书、EE证书、ROA、资源列表、CRL等。所有证书以及ROA均通过分布式的RPKI数据仓库进行集中和分发。RPKI CA系统签发完成的证书和签名对象将被上传到RPKI数据仓库中；同时RPKI数据仓库在全球范围内对所有的RPKI依赖方(Relying Party，简称RP)开放。RPKI依赖方是RPKI系统的使用者，从RPKI中获取ROA进行验证，并将验证结果反馈给BGP路由器(BGP是自治系统间的路由协议)，BGP路由器根据验证结果构建自己的过滤表项。因此RPKI依赖方是连接RPKI和域间路由系统的桥梁，是整个应用环节上的重要一环。

随着RPKI协议标准化工作的完成，RPKI全球化部署即将展开。但在全球广泛部署RPKI的情形下，对大量地址和路由数据以及签名对象的同步及维护成为RPKI部署中效率和开销的最大考量。因而，如何减少全球缓存(RPKI依赖方)对RPKI数据仓库的查询负载，降低大量并发的数据同步时带来的带宽开销，成为RPKI全球化部署的一个关键问题。

当前世界范围内广泛使用的RPKI软件中，RPKI依赖方同RPKI数据仓库之间数据同步所使用的协议，除Rsync协议以外，还有一种为RRDP协议(RPKI Repository DeltaProtocol,简称RRDP)。该协议定义了三种文件类型，包括更新通知文件、快照文件、增量文件。RPKI依赖方通过周期性的向RPKI数据仓库发送同步请求，并基于HTTP或HTTPs协议对上述三种类型的文件进行获取来完成同RPKI数据仓库的同步。其中，更新通知文件包含了一个唯一的会话ID和序列号(其格式如图1所示)，RP可通过这两项的值判断是否同RPKI数据仓库处于完全同步状态。如果不同步，更新通知文件可以用来定位快照文件及增量文件的位置，RP可进一步完成同步工作。快照文件包含了当前RPKI数据仓库中所有的对象，其格式如图2所示。由于各个RP设置的同步周期并不相同，为确保所有的RP能够完成同步过程，旧版本的快照文件应缓存一定的时间，以确保旧版本的通知文件能被RP进行处理和同步。一个增量文件包含所有的RPKI CA系统发送给RPKI数据仓库的新的对象、更新的对象以及撤销的对象。其格式如图3所示。

在进行数据同步时，应优先使用增量文件。只有在目前的增量文件不能够支持同数据仓库的数据同步时(例如，如果没有连续的增量文件链可以获取)，才启用快照文件进行全同步。然而如图3中可见，增量文件中目前只有“发布”(即publish)和“撤销”(即withdraw)两种元素类型，即对于某些对象，即使原对象文件内容有少量变动，均通过增量文件告知RP将原文件进行删除，并对新文件的全部内容进行下载。然而，当大量的RP发起同步请求时，该机制无疑将增大RPKI数据同步过程对带宽的负载。

另外，基于RRDP协议的RPKI数据同步体系中，RPKI依赖方为获取新的路由数据及签名对象，会定期向RPKI数据仓库发出数据同步请求，该时间间隔由RPKI依赖方进行设定。由于RP设置的数据同步时间间隔未知，为保证RP能够获取到所有更新信息，RPKI数据仓库需将旧版本的增量文件保存较长的一段时间。随着RPKI CA系统不断签发、更新或撤销对象，由此产生的海量的增量文件将对RPKI数据仓库的缓存基础设施提出巨大挑战。

发明内容

本发明针对上述问题，提出一种新的RPKI数据仓库增量同步机制，最终降低RPKI数据仓库的缓存负载，同时缓解据同步过程中的带宽压力。

为实现上述目的，本发明采用的技术方案如下：

一种RPKI数据仓库增量同步方法，包括如下步骤：

1)在增量文件中添加更新元素，针对内容有部分更新的对象文件，RPKI依赖方通过该更新元素与RPKI数据仓库之间进行数据同步；

2)增加主动通知机制，当RPKI数据仓库中的内容发生变更时，产生的新的更新通知文件并主动发送至RPKI依赖方，以使RPKI依赖方及时对更新后的文件进行同步。

进一步地，设立增量文件监测系统，用于对增量文件的获取状况进行监测，对于只有极小部分RPKI依赖方获取的增量文件进行删除，以降低数据仓库缓存的负载。

进一步地，RPKI依赖方全部完成同步后，对相关的更新通知文件、快照文件及增量文件进行删除，以有效减少RPKI数据仓库的缓存压力。

进一步地，步骤1)所述更新元素包括更新说明文件，即对已有文件的更新说明，RPKI依赖方通过该更新说明文件判断需更新的文件名称；RPKI数据仓库通过对新旧文件进行计算比较，得出文件更新的相关信息，并在更新说明文件中进行描述。

进一步地，所述更新说明文件的内容包括更新的起始字节位置，更新的字节长度，以及更新后的内容。

进一步地，步骤2)中，RPKI依赖方第一次得知更新通知文件的URI时，首先对其进行下载，然后下载最新快照文件，从而和RPKI数据仓库获得同步；与此同时，RPKI数据仓库记录下RPKI依赖方的IP地址，并添加至RPKI依赖方列表，并在有新的更新通知文件产生时，更新通知文件的URI主动发送给RPKI依赖方。

进一步地，在RPKI广泛部署、RPKI依赖方数量众多的情况下，步骤2)采用缓存基础设施来降低发送主动通知给RPKI数据仓库带来的压力。

与现有技术相比，本发明的有益效果如下：

1)在增量文件中添加“更新”元素：即针对内容有部分更新的对象文件，将在增量文件中增加”更新”元素，与原”全部删除重新下载“的机制相比，有效减小带宽负荷。

2)增加主动通知机制：当RPKI数据仓库中的内容发生变更时，将产生的新的更新通知文件主动发送至RP，从而使RP及时对更新后的文件进行同步。RP全部完成同步后，即可对相关的更新通知文件、快照文件及增量文件进行删除，有效减少RPKI数据仓库的缓存压力。

3)设立增量文件监测系统：设立增量文件监测系统，对增量文件的获取状况进行监测，对于只有极小部分RP获取的增量文件进行删除，以降低数据仓库缓存的负载。

附图说明

图1是更新通知文件格式示意图。

图2是快照文件格式示意图。

图3是增量文件格式示意图。

图4是增量文件监测系统架构图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面通过具体实施例和附图，对本发明做进一步说明。

本发明的RPKI数据仓库增量同步机制，主要创新点包括三个方面：1)在增量文件中添加“更新”元素；2)增加主动通知机制；3)设立增量文件监测系统。各部分具体说明如下。

第一步：增量文件中添加更新元素

由图3可见，目前增量文件中只有“发布”和“撤销”元素，两个元素的格式可概括如下：

delta_element|＝element publish{

attribute uri{uri},

attribute hash{hash},

}

delta_element|＝element withdraw{

attribute uri{uri},

attribute hash{hash}

}

在本方法中，针对内容只有部分更改的对象文件，不再使用“撤销”和“发布”的方法，而是改用元素update，其格式如下

delta_element|＝element update{

attribute uri{uri},

attribute hash{hash},

}

其中属性URI为更新说明文件的位置，其格式如下：

Uri＝“rsync://bandito.ripe.net/repo/earlier_certificate.update”

其中earlier_certificate.update是对已有文件的更新说明，通过文件名称，RP可判断需更新的文件名称。RPKI数据仓库通过对新旧文件进行计算比较，得出文件更新的相关信息，并在更新说明文件中进行描述。

更新说明文件的内容包括更新的起始字节位置，更新的字节长度，更新后的内容。更新说明文件格式的具体示例如下面所示：

<update number＝1

update start＝16

update length＝176

update content＝C5UXDTE0MTIwMzE4MDg0MFqgMDAuMB8G……

>

<update number＝2

update start＝1110

update length＝1270

update content＝

A1UdFAQEAgILljANBgkqhki……

>

由此可见，与”撤销“与“发布“机制需存储和下载两个文件相比，“更新”机制只需RP进行一次文件下载即可完成数据同步，有效减少了RPKI数据仓库缓存消耗，同时降低了数据同步过程中的带宽负载。

第二步：增加主动同步机制

RP第一次得知更新通知文件的URI时，首先对其进行下载，然后下载最新快照文件，从而和RPKI数据仓库获得同步。与此同时，RPKI数据仓库记录下RP的IP地址，并添加至RP列表，并在有新的更新通知文件产生时，将更新通知文件的URI主动发送给RP。

在RPKI广泛部署、RP数量众多的情况下，可采用缓存基础设施，如CDN(ContentDeliveryNetwork，内容分发网络),降低发送主动通知给RPKI数据仓库带来的压力，当产生数据更新时，RPKI数据仓库主服务器将触发CDN给列表中的RP发送主动通知。

第三步：设立增量文件监测系统

设立增量文件监测系统，对增量文件的获取分布进行监测，观察RP对各增量文件的查询情况，其中RPKI增量文件监测系统如图4所示，其中delta1、delta2、delta3表示增量文件。假设某个时间段内对某增量文件进行查询的RP数量为μ，占RP集合中所有RP数量的百分比为θ。

设立θ的阈值，并对低于获取阈值的增量文件进行删除。例如，当阈值设为5％时，意味着，当某个增量文件只有不足5％的RP进行下载时，即可对该文件进行删除。该部分RP可利用快照文件进行全同步，以此可减少冗余的增量文件对RPKI数据仓库的负载。

以上实施例仅用以说明本发明的技术方案而非对其进行限制，本领域的普通技术人员可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明的精神和范围，本发明的保护范围应以权利要求书所述为准。

Claims (6)

1.一种RPKI数据仓库增量同步方法，所述RPKI为互联网基础资源公钥证书体系，其特征在于，包括如下步骤：

1)在RRDP协议即RPKI数据仓库增量协议的增量文件中的发布和撤销两种元素基础上，添加更新元素，针对内容有部分更新的对象文件，RPKI依赖方通过该更新元素与RPKI数据仓库之间进行数据同步；所述更新元素包括更新说明文件，即对已有文件的更新说明，RPKI依赖方通过该更新说明文件判断需更新的文件名称；RPKI数据仓库通过对新旧文件进行计算比较，得出文件更新的相关信息，并在更新说明文件中进行描述；

2)增加主动通知机制，当RPKI数据仓库中的内容发生变更时，产生的新的更新通知文件并主动发送至RPKI依赖方，以使RPKI依赖方及时对更新后的文件进行同步；RPKI依赖方第一次得知更新通知文件的URI时，首先对其进行下载，然后下载最新快照文件，从而和RPKI数据仓库获得同步；与此同时，RPKI数据仓库记录下RPKI依赖方的IP地址，并添加至RPKI依赖方列表，并在有新的更新通知文件产生时，将更新通知文件的URI主动发送给RPKI依赖方。

2.如权利要求1所述的方法，其特征在于：设立增量文件监测系统，用于对增量文件的获取状况进行监测，对于只有极小部分RPKI依赖方获取的增量文件进行删除，以降低数据仓库缓存的负载。

3.如权利要求2所述的方法，其特征在于：假设某个时间段内对某增量文件进行查询的RPKI依赖方数量为μ，占RPKI依赖方集合中所有RPKI依赖方数量的百分比为θ，设立θ的阈值，并对低于获取阈值的增量文件进行删除。

4.如权利要求1或2所述的方法，其特征在于：RPKI依赖方全部完成同步后，对相关的更新通知文件、快照文件及增量文件进行删除，以有效减少RPKI数据仓库的缓存压力。

5.如权利要求1所述的方法，其特征在于：所述更新说明文件的内容包括更新的起始字节位置，更新的字节长度，以及更新后的内容。

6.如权利要求1或2所述的方法，其特征在于：在RPKI广泛部署、RPKI依赖方数量众多的情况下，步骤2)采用缓存基础设施来降低发送主动通知给RPKI数据仓库带来的压力。