CN108174395B - 基于转移动作评估学习框架的基站缓存管理方法及系统 - Google Patents

Abstract

本发明公开了一种基于转移动作评估学习框架的基站缓存管理方法，首先用户向所属基站发起一个文件访问请求，基站接收到请求后会在本地缓存模块中进行文件搜寻，如果基站发现本地缓存没有存储所请求文件时，则会向相邻的周边基站进行访问搜寻，若在周边相邻基站中也没有缓存该请求文件，则会继续将请求信息上报给宏基站等待其反馈，宏基站收集其覆盖范围内用户文件访问数据信息，对这些基站存储的文件需要作统一部署管理，并对接收到的用户访问数据信息做优化处理，然后将处理后的信息下发给各个覆盖区域内的基站。本发明提高基站的空间利用率；提高用户的访问命中率，减少文件请求时延和接入方式的切换而产生的额外开销，从而提升用户体验。

Description

基于转移动作评估学习框架的基站缓存管理方法及系统

技术领域

本发明涉及无线通信技术领域，特别是一种基于转移动作评估学习框架的基站缓存管理方法及系统。

背景技术

随着无线通信技术的发展，4G移动网络己经进入人们的日常生活，使用移动设备通过移动网络来访问互联网资源己经成为人们的日常生活方式。使用手机、平板等移动设备通过移动网络来访问网络资源已经成为人们的日常生活方式。中国互联网信中心(2016)报告显示，截止2015年12月，我国网民规模达到6.88亿，其中手机网民6.20亿，占90.1％。这种变化带来了移动网络数据流量的快速増长，到2020年，全球每月的移动数据流量将达到30.6EB，其中移动设备消耗的数据超过4/5。如此巨大的数据流量对移动网络的性能，包括可同时服务的最大用户数、用户访问延时等，提出了严峻的挑战。为了应对巨大的数据流量可能带来的数据阻塞、通信中断等问题，在移动无线接入网络进行数据缓存被认为是一种经济而有效的策略。

目前还存在缓存基站内部存储数据形式多样处理复杂的问题，未来长期演进蜂窝网络中的终端用户访问服务器产生巨大的数据流量可能带来的数据阻塞、通信中断、接入方式切换时产生的额外开销等问题，总体用户缓存命中率较低、基站缓存空间利用率较低，用户的访问延时较高和数据访问成本较高的问题。

发明内容

本发明所要解决的技术问题是克服现有技术的不足而提供一种基于转移动作评估学习框架的基站缓存管理方法及系统，集成了现有的多种无线通信接入技术，能够完成对基站内部文件分布存储并做优化管理，提高总体用户缓存命中率、提升基站缓存空间利用率；减少用户的访问延时和数据访问成本从而提高用户的体验。

本发明为解决上述技术问题采用以下技术方案：

根据本发明提出的一种基于转移动作评估学习框架的基站缓存管理方法，以宏基站覆盖下的小基站为区域范围，小基站内部安置有小基站缓存单元，用户进行数据请求时，包括以下步骤：

步骤1、用户在运动速度低于预设值移动时根据WiFi的开放性选择连接，对小基站缓存单元中第i个文件进行访问请求下载并产生的成本为

一个宏基站覆盖范围下部署多个小基站，每个小基站都为其覆盖范围下的用户提供数据请求服务，小基站接收其覆盖范围下的用户请求信息；

小基站对用户请求的文件进行搜索，包括本地搜寻、周边小基站搜寻和宏基站搜寻查找，同时本地基站也记录下用户访问文件属性，其中，包括小基站缓存单元中用户访问第i个文件的空间容量大小S⁽ⁱ⁾、访问次数

和访问的成本C⁽ⁱ⁾，统一收集预设时间段内的用户请求文件的属性信息并上报给宏基站；

步骤2、用户请求文件下载时，有一个时间等待阈值T_P，用户根据反馈响应时间T_w来与T_P比较来做连接切换，如果T_w大于T_P，那么用户就切换连接方式，选择自身的4G移动数据来对第i个文件进行访问下载并产生成本为

这样产生一个文件访问成本C^(R)表示为：

其中，R表示随机文件，

为用户通过WiFi对小基站缓存单元中任意一个文件进行访问请求下载并产生的成本，1_{file download by WiFi}表示用户访问的文件通过WiFi方式下载的情况下取1，否则为0的指标函数；1_{file download by 4G}为用户访问的文件通过4G方式下载的情况下取1，否则为0的指标函数；

因此访问任意一个随机文件R总成本

为：

其中，U表示文件的数目；

步骤3、宏基站根据接收到用户的访问信息，对用户访问文件的格式进行解析，识别出广告类占用存储空间的冗余文件，将这类文件做删除处理；

步骤4、每个小基站定期接受到用户的请求文件属性信息，其中包括

S⁽ⁱ⁾、C⁽ⁱ⁾、文件的格式类型这些属性信息上报给宏基站，用于在下一个缓存文件部署周期前对用户访问的热点文件做排序管理；

步骤5、宏基站接收到覆盖面积区域内各个小基站上报的信息，根据周期时间内用户常访问的热点文件属性，宏基站根据AHP算法对上报的文件属性做权重赋值，假定重新赋值后的文件属性权重分别为a₁、a₂、a₃，对参考属性值进行归一化处理，参考属性值包括文件被访问次数、文件空间容量大小和文件访问成本；

对参考属性值进行归一化处理的过程具体如下：将文件被访问次数、文件空间容量大小、文件访问成本分别除以对应所有访问文件中被访问次数最多的值、文件空间容量最大的值、访问成本最高的值，分别得到

其中，C_max(cou)表示所有用户访问的文件中被访问次数最多的数值，S_max表示所有用户访问文件中空间容量最大的数值，

表示所有用户访问的文件中访问第i个文件的成本，C_max表示所有用户访问文件中访问成本最高的数值；

每个文件的参考排序指标

为：

根据每个文件的参考排序指标

的计算值将前N的文件定义为流行度高的用户访问热点文件，特殊文件做二次判断删选，特殊文件是指：对于第i个文件来说，所有访问该文件的用户产生的总成本除以该文件总空间大小超过阈值K的文件视为特殊文件；二次判断删选的过程具体如下：

满足公式(4)条件的文件优先排序处理；

满足公式(5)条件的文件单独取出，将取出的特殊文件按照参考排序指标进行计算排序，排序后的结果与流行度高的热点文件一起做二次排序处理，即首先将流行度前N的文件信息排在前面，之后加上所挑选出的特殊文件，并且设定一个保留阈值M，M表示保留参与排序管理的特殊文件最大数量；

然后对小基站内的缓存空间进行优化管理，由宏基站完成统一的存储管理；文件的存储有以下约束条件：

nF_(i)、nS_(i)∈{0,1}其中BS^(h)h＝1，2.....L(7)

nF_(i)≤n_j，nS_(i)≤n_j其中

分别表示流行度高的热点文件和特殊文件的空间容量大小，

表示基站缓存单元的存储空间，L为宏基站覆盖下小基站的个数，F_(i)、S_(i)分别表示流行度高的热点和特殊文件，

分别表示流行度高的热点文件和特殊文件在小基站内存储部署时的副本数量，n_j表示在宏基站覆盖范围下所有小基站中缓存文件副本的最大个数，BS^(h)为宏基站覆盖范围下第h个小基站。

作为本发明所述的一种基于转移动作评估学习框架的基站缓存管理方法进一步优化方案，公式(6)表示缓存文件的总空间大小不会超过基站存储空间大小。

作为本发明所述的一种基于转移动作评估学习框架的基站缓存管理方法进一步优化方案，公式(7)表示流行度高的热点文件和特殊文件在每个基站中缓存或者不缓存。

作为本发明所述的一种基于转移动作评估学习框架的基站缓存管理方法进一步优化方案，公式(8)表示文件在整个宏基站覆盖范围下的缓存的最大副本个数是有限的。

作为本发明所述的一种基于转移动作评估学习框架的基站缓存管理方法进一步优化方案，步骤1中的预设值为4.5km/h。

作为本发明所述的一种基于转移动作评估学习框架的基站缓存管理方法进一步优化方案，以宏基站覆盖下的小基站为区域范围，覆盖范围内包括开放的多个WiFi连接点、小基站、移动终端、宏基站、小基站缓存单元、服务器和网关；

WiFi接入点：用于支持移动终端连接；

小基站：支持局部区域的用户请求数据访问，用户在进行数据请求访问时会首先选择接入最近的覆盖区域范围的小基站，将访问的数据进行收集上报给宏基站，宏基站对用户上报的信息处理然后做出反馈；用户根据宏基站反馈的信息做进一步数据访问处理；

宏基站：在宏基站的覆盖下部署多个小基站，同时对覆盖区域下小基站的信息进行收集处理，再将处理后的命令下发给覆盖范围内的各个小基站做缓存部署管理；

小基站缓存单元：安置在小基站内部，用于缓存周边用户访问的热点文件，小基站存储模块内部文件的更新也会随着宏基站下发的命令信息进行增删操作；

服务器：用于当用户在小基站或者宏基站中没有搜寻文件时，将请求信息发送给服务器进而访问下载请求文件；

网关：网关在网络层以上实现网络互连。

本发明采用以上技术方案与现有技术相比，具有以下技术效果：

(1)本发明设计的基站热点文件缓存方法是基于一种转移动作评估学习框架，该框架运用在基站群的能耗方面取得了显著的节能效果，并且转移动作评估框架不需要先前的经验值，而是根据对当前操作状态的一种评估，本场景下就是根据用户的响应时间T₁根据连接切换产生的成本做评估，根据切换后用户的访问情况做信息记录上报给宏基站，宏基站根据接收到的用户访问信息做优化管理和命令下发，提升用户的缓存命中率；

(2)本发明设计的管理方法是基于用户层面和文件本身属性的结合，从而在最大化文件访问命中率的同时最小化文件访问成本，主要是宏基站接收到来自覆盖面积区域下各个基站的用户访问信息，对访问的文件做二次排序，第一次是利用AHP算法将访问文件的属性和用户成本作为参考属性进行排序，再将特殊文件单独挑选出来做新一轮的排序，特殊文件主要就是设定一个阈值K，就是任意一个文件的单位大小所产生的访问成本与用户所访问的所有文件单位大小所产生的成本的比值在一个范围K内，那么就认为该文件是一个缓存合理的文件，可以作为热点文件排序存储。超出阈值K的文件为特殊文件，做二次排序。根据先前AHP算法优先进行排序，设定热点文件的阈值N(排序前N的文件可认为是用户常访问的流行度高的热点文件)。将特殊文件排序在N文件之后，设定特殊文件缓存个数M，防止特殊文件过多影响缓存性能；

(3)本发明设计下考虑到了广告类文件的删除，进一步扩大缓存存储空间的利用率，首先宏基站接收到基站上报的文件属性信息，对文件类型进行解析，会将广告类文件识别出来，根据识别的结果，在下次文件存储中不考虑其缓存在基站内部，在宏基站下发给小基站命令时，将该类广告文件移除，这样可以避免广告类冗余文件占用基站存储空间，提高用户体验。

附图说明

图1是基于转移动作评估学习框架的基站缓存管理系统架构图。

图2是基于转移动作评估学习框架的基站缓存管理更新方法流程图。

图3是基于转移动作评估学习框架的基站缓存管理系统模型图。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图及具体实施例对本发明进行详细描述。

如图1所示，本发明的基于转移动作评估学习框架的基站缓存管理方法架构图，以宏基站覆盖下的小基站为区域范围，覆盖范围内包括开放的多个WiFi接入点，小基站，移动终端，宏基站，小基站缓存单元，服务器，网关，各个部分协同工作为用户提供请求访问下载功能。新型缓存框架将环境中分立的存储基站(小基站)和各种移动终端设备进行统一管理，实现了缓存基站对用户访问的热点文件进行优化管理存储的功能，最终提高了用户的文件请求命中率、降低用户请求文件的访问下载成本和提升基站的缓存空间利用率。

各部分实现功能主要为：

WiFi接入点：用于支持移动终端连接；

小基站：支持局部区域的用户请求数据访问，用户在进行数据请求访问时会首先选择接入最近的覆盖区域范围的小基站，将访问的数据进行收集上报给宏基站，宏基站对用户上报的信息处理然后做出反馈；用户根据宏基站反馈的信息做进一步数据访问处理；

宏基站：在宏基站的覆盖下部署多个小基站，同时对覆盖区域下小基站的信息进行收集处理，再将处理后的命令下发给覆盖范围内的各个小基站做缓存部署管理；

小基站缓存单元：安置在小基站内部，用于缓存周边用户访问的热点文件，小基站存储模块内部文件的更新也会随着宏基站下发的命令信息进行增删操作；

服务器：用于当用户在小基站或者宏基站中没有搜寻文件时，将请求信息发送给服务器进而访问下载请求文件。

网关：网关在网络层以上实现网络互连。

如图2所示，本发明的基站管理器对基站内部文件存储部署的更新方法流程图

用户进行数据请求时，基站热点文件更新部署流程为：

步骤1、用户在低速(运动速度低于4.5km/h)移动的情况下会根据WiFi的开放性选择连接，对小基站缓存单元中第i个文件进行访问请求下载并产生的成本为

一个宏基站覆盖范围下部署多个小基站，每个小基站都为其覆盖范围下的用户提供数据请求服务，小基站接收其覆盖范围下的用户请求信息；小基站对用户请求的文件进行搜索，包括本地搜寻、周边基站搜寻和宏基站搜寻查找，同时本地基站也记录下用户访问文件属性，其中包括小基站缓存单元中用户访问第i个文件的空间容量大小S⁽ⁱ⁾、访问次数

访问成本C⁽ⁱ⁾，统一收集一定时间段内的用户请求信息并上报给宏基站。

步骤2、用户请求文件下载时，会有一个时间等待阈值T_P，用户会根据反馈响应时间T_w与等待阈值比较来做连接切换，如果基站反馈的时间大于用户等待阈值T_P，那么用户就会切换连接方式，选择自身的4G移动数据来对第i个文件进行访问下载并产生成本为

这样会产生一个文件访问成本C^(R)(R表示随机文件)表示为：

其中，R表示随机文件，

为用户通过WiFi对小基站缓存单元中任意一个文件进行访问请求下载并产生的成本，1_{file download by WiFi}为用户访问的文件通过4G方式下载的情况下取1，否则为0的指标函数。

因此访问任意一个随机文件R总成本

为：

其中，U表示文件的数目

步骤3、宏基站接收到用户的文件访问信息，对用户访问文件的格式进行解析，识别出关于广告类占用存储空间的冗余文件，将这类文件做删除处理。

步骤4、每个小基站定期接受到用户的请求文件属性信息，其中包括

S⁽ⁱ⁾、C^(R)、文件的格式类型这些属性信息上报给宏基站，用于在下一个缓存文件部署周期前对用户访问的热点文件做排序管理。

步骤5、宏基站接收到覆盖区域内各个基站上报的用户访问信息，根据周期时间内用户访问的热点文件属性，宏基站会根据AHP算法对上报的文件属性做权重赋值，假定重新赋值后的文件属性权重分别为a₁、a₂、a₃，对参考属性值进行归一化处理，参考属性值包括文件被访问次数、文件空间容量大小和文件访问成本。

对参考属性值进行归一化处理的过程具体如下：：将文件被访问的次数、文件空间容量大小、文件访问成本分别除以对应所有访问文件中被访问次数最多的值、文件空间容量最大的值、访问成本最高的值，分别得到

(C_max(cou)表示所有用户访问的文件中被访问次数最多的数值，S_max表示所有用户访问文件中空间容量最大的数值，

表示所有用户访问的文件中访问第i个文件的成本，C_max表示所有用户访问文件中访问成本最高的数值)，每个文件的参考排序指标

为：

根据每个文件的参考排序指标

的计算值将前N的文件定义为流行度高的用户访问热点文件，特殊的文件做二次判断删选，特殊文件是指：对于第i个文件来说，所有访问该文件的用户产生的总成本除以该文件总空间大小超过阈值K的文件视为特殊文件；二次判断删选的过程具体如下：

满足公式(4)条件的文件优先排序处理

满足公式(5)条件的文件单独取出，将取出的特殊文件按照参考排序指标进行计算排序，排序后的结果与流行度高的热点文件一起做二次排序处理，即首先将流行度前N的文件信息排在前面，之后加上所挑选出的特殊文件，并且设定一个保留阈值M，M表示保留参与排序管理的特殊文件最大数量；

然后对小基站内的缓存空间进行优化管理，由宏基站(基站管理器)完成统一的存储管理。文件的存储也有一定的约束条件：

nF_(i)、nS_(i)∈{0,1}其中BS^(h)h＝1,2……L (7)

nF_(i)≤n_j ns_(i)≤n_j其中

分别表示流行度高的热点文件和特殊文件的空间容量大小，

表示基站缓存单元的存储空间，L为宏基站覆盖下小基站的个数，F_(i)、S_(i)分别表示流行度高的热点和特殊文件，nF_(i)、nS_(i)分别表示流行度高的热点文件和特殊文件在小基站内存储部署时的副本数量，n_j表示在宏基站覆盖范围下所有小基站中缓存文件副本的最大个数，BS^(h)为宏基站覆盖范围下第h个小基站。公式(6)表示缓存文件的总空间大小不会超过基站存储空间大小。公式(7)表示这两个文件的在每个基站中缓存或者不缓存。公式(8)表示文件在整个宏基站覆盖范围下的缓存的最大副本个数是有限的。

如图3所示，本发明的系统模型图，具有无线接入层，路由层，控制管理层，协议适配层。该转移动作评估的学习框架的基站缓存管理方法包含的功能有：为终端设备提供WiFi、4G等多种形式接入方式，实现了终端设备的泛在接入，具有无线接入层，终端轻便接入，支持多种设备协议。具有协议适配层，将采集到的终端设备数据根据数据的属性进行数据解析与封装，实现对接入终端的自动化管理，具备广域接入能力、协议转换和控制层。

各层具体功能为：

无线接入层：为移动终端设备提供多种接入方式，如WiFi、4G等，用户可以根据自身的情况选择不同的接入方式来对数据进行请求访问。

协议适配层：协议适配层完成协议的适配与转换，使不同网络进行融合，并且将采集到的终端设备数据根据数据的属性进行数据解析与封装。

控制管理层：控制管理层控制和管理整个基站文件集中部署管理、基站信息的上报、宏基站命令的下发处理，保证整个系统的正常运作。同时记录用户请求文件的信息记录，例如请求文件的大小、状态、属性等信息。

路由层：当用户请求的文件不在本地基站缓存时，用户请求状态会根据缓存文件副本的分布进行优先选取最近的一个副本所在基站中进行访问下载，这样所选择的路径会最短以减少用户请求时延，提高用户体验。

本发明提出了一种基于转移动作评估学习框架的基站缓存管理方法，是在超密集无线网络架构下，引入了用户访问成本这个参数，在无线接入网侧的各种大小基站中进行热点内容进行优化管理存储，提升了用户的缓存命中率，降低了用户访问时延。首先转移动作评估学习框架是一种增强学习框架，主要是根据环境背景产生的开销函数并反馈给数据处理平台，将处理后的结果反馈给开销的产生端(本专利下主要指的是移动终端)，对终端产生的成本开销优化，减少总的成本开销。本发明专利主要是利用该学习框架下的状态转移概率为理论支持，根据用户访问数据成本以及文件属性作为反馈函数参数，对访问成本以及文件属性进行综合分析，处理结果反馈给发送给基站，基站根据处理后的信息对存储的文件进行优化部署，减少用户下一次访问下载文件成本同时也提高用户的请求命中率。

移动终端首先默认选择一种连接方式(本场景下由于WiFi的开放性首先会连接上WiFi)，向基站发送数据请求进行文件下载，基站收到用户发送的请求数据，记录文件属性信息。然后在本地基站内进行文件搜寻，若基站已缓存所请求文件，那么用户可直接访问下载；若本地基站没有缓存该文件，则基站将请求发送给宏基站并进行搜寻。若宏基站缓存该文件，用户会在时间阈值T_P内等待响应，；若宏基站没有缓存该文件，将访问服务器进行数据下载。其中用户从数据请求到响应时间的间隔为T_w，用户根据T_w与用户等待时间阈值T_P比较来选择切换连接。用户选择适当的数据连接方式对文件进行访问下载，基站会记录下用户访问文件的属性信息，基站将属性信息记录存储起来，基站内部设定周期为T₁的定时器，将在周期时间内所收集到的数据请求上报给宏基站，宏基站根据用户数据进行新的文件缓存排序。宏基站利用AHP算法对文件多个参考属性进行权重赋值，对每个文件做新的缓存排序，再设定一个参数N，表示文件的流行度排位位数，选取排序为前N的文件。对于特殊文件选取应当设定判断阈值K(单位空间代销产生的成本开销)，根据阈值选取出特殊文件，然后将挑选出来的特殊文件按原来顺序做二次排序，最后将排序后的特殊文件排序在流行度为N的文件之后，将综合排序后的缓存文件信息发送给各个基站，基站根据接受到宏基站发送的文件排序信息从而定期对存储文件优化存储部署。实现用户的高访问命中率以及提高缓存基站的空间利用率。基站缓存内容管理对于未来5G场景下移动性管理，业务连续性提供重要保障，能够降低时延，提高用户体验。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围内。

Claims (6)

1.一种基于转移动作评估学习框架的基站缓存管理方法，其特征在于，以宏基站覆盖下的小基站为区域范围，小基站内部安置有小基站缓存单元，用户进行数据请求时，包括以下步骤：

步骤1、用户在运动速度低于预设值移动时根据WiFi的开放性选择连接，对小基站缓存单元中第i个文件进行访问请求下载并产生的成本为

一个宏基站覆盖范围下部署多个小基站，每个小基站都为其覆盖范围下的用户提供数据请求服务，小基站接收其覆盖范围下的用户请求信息；

小基站对用户请求的文件进行搜索，包括本地搜寻、周边小基站搜寻和宏基站搜寻查找，同时本地基站也记录下用户访问文件属性，其中，包括小基站缓存单元中用户访问第i个文件的空间容量大小S⁽ⁱ⁾、访问次数

和访问的成本C⁽ⁱ⁾，统一收集预设时间段内的用户请求文件的属性信息并上报给宏基站；

步骤2、用户请求文件下载时，有一个时间等待阈值T_P，用户根据反馈响应时间T_w来与T_P比较来做连接切换，如果T_w大于T_P，那么用户就切换连接方式，选择自身的4G移动数据来对第i个文件进行访问下载并产生成本为

这样产生一个文件访问成本C^(R)表示为：

其中，R表示随机文件，

为用户通过WiFi对小基站缓存单元中任意一个文件进行访问请求下载并产生的成本，1_{file download by WiFi}表示用户访问的文件通过WiFi方式下载的情况下取1，否则为0的指标函数；1_{file download by 4G}为用户访问的文件通过4G方式下载的情况下取1，否则为0的指标函数；

因此访问任意一个随机文件R总成本

为：

其中，U表示文件的数目；

步骤3、宏基站根据接收到用户的访问信息，对用户访问文件的格式进行解析，识别出广告类占用存储空间的冗余文件，将这类文件做删除处理；

步骤4、每个小基站定期接受到用户的请求文件属性信息，其中包括

S⁽ⁱ⁾、C⁽ⁱ⁾、文件的格式类型这些属性信息上报给宏基站，用于在下一个缓存文件部署周期前对用户访问的热点文件做排序管理；

步骤5、宏基站接收到覆盖面积区域内各个小基站上报的信息，根据周期时间内用户常访问的热点文件属性，宏基站根据AHP算法对上报的文件属性做权重赋值，假定重新赋值后的文件属性权重分别为a₁、a₂、a₃，对参考属性值进行归一化处理，参考属性值包括文件被访问次数、文件空间容量大小和文件访问成本；

对参考属性值进行归一化处理的过程具体如下：将文件被访问次数、文件空间容量大小、文件访问成本分别除以对应所有访问文件中被访问次数最多的值、文件空间容量最大的值、访问成本最高的值，分别得到

其中，C_max(cou)表示所有用户访问的文件中被访问次数最多的数值，S_max表示所有用户访问文件中空间容量最大的数值，

表示所有用户访问的文件中访问第i个文件的成本，C_max表示所有用户访问文件中访问成本最高的数值；

每个文件的参考排序指标

为：

设需要排序的文件总数为S，针对需要排序的文件根据公示3进行计算排序，并且计算每个文件是否满足公式4或者公式5，当S个文件中满足公式4并且排序为前N的文件选中为热点文件，针对特殊文件做二次判断删选；

特殊文件是指：对于第i个文件来说，满足公式5的情况下即所有访问该文件的用户产生的总成本除以该文件总空间大小超过阈值K的文件视为特殊文件；所述第i个文件是指：基站定期会更新文件，基站在本次缓存文件到下次缓存文件之前的时间内的所有文件中，取其中一个文件；

满足公式(4)条件的文件优先排序处理；优先排序处理指：在满足公式(4)的所有文件中，根据公式3进行排序，排序靠前的N个文件优先缓存；

二次判断删选的过程具体如下：

满足公式(5)条件的文件单独取出，将取出的特殊文件按照参考排序指标进行计算排序，排序后的结果与流行度高的热点文件一起做二次排序处理，即首先将流行度前N的文件信息排在前面，之后加上所挑选出的特殊文件，并且设定一个保留阈值M，M表示保留参与排序管理的特殊文件最大数量；

然后对小基站内的缓存空间进行优化管理，由宏基站完成统一的存储管理；文件的存储有以下约束条件：

S_F ⁽ⁱ⁾、S_S ⁽ⁱ⁾分别表示流行度高的热点文件和特殊文件的空间容量大小，

表示基站缓存单元的存储空间，L为宏基站覆盖下小基站的个数，F_(i)、S_(i)分别表示流行度高的热点和特殊文件，

分别表示流行度高的热点文件和特殊文件在小基站内存储部署时的副本数量，n_j表示在宏基站覆盖范围下所有小基站中缓存文件副本的最大个数，BS^(h)为宏基站覆盖范围下第h个小基站。

2.根据权利要求1所述的一种基于转移动作评估学习框架的基站缓存管理方法，其特征在于，公式(6)表示缓存文件的总空间大小不会超过基站存储空间大小。

3.根据权利要求1所述的一种基于转移动作评估学习框架的基站缓存管理方法，其特征在于，公式(7)表示针对每个待缓存的数据文件，存在被基站进行缓存或者不缓存两种状态，公式(7)取0表示流行度高的热点文件和特殊文件在每个基站中不缓存，公式(7)取1表示流行度高的热点文件和特殊文件在每个基站中缓存。

4.根据权利要求1所述的一种基于转移动作评估学习框架的基站缓存管理方法，其特征在于，公式(8)表示文件在整个宏基站覆盖范围下的缓存的最大副本个数是有限的。

5.根据权利要求1所述的一种基于转移动作评估学习框架的基站缓存管理方法，其特征在于，步骤1中的预设值为4.5km/h。

6.基于权利要求1所述的一种基于转移动作评估学习框架的基站缓存管理方法的系统，其特征在于，以宏基站覆盖下的小基站为区域范围，覆盖范围内包括开放的多个WiFi连接点、小基站、移动终端、宏基站、小基站缓存单元、服务器和网关；

WiFi接入点：用于支持移动终端连接；

小基站：支持局部区域的用户请求数据访问，用户在进行数据请求访问时会首先选择接入最近的覆盖区域范围的小基站，将访问的数据进行收集上报给宏基站，宏基站对用户上报的信息处理然后做出反馈；用户根据宏基站反馈的信息做进一步数据访问处理；

宏基站：在宏基站的覆盖下部署多个小基站，同时对覆盖区域下小基站的信息进行收集处理，再将处理后的命令下发给覆盖范围内的各个小基站做缓存部署管理；

小基站缓存单元：安置在小基站内部，用于缓存周边用户访问的热点文件，小基站存储模块内部文件的更新也会随着宏基站下发的命令信息进行增删操作；

服务器：用于当用户在小基站或者宏基站中没有搜寻文件时，将请求信息发送给服务器进而访问下载请求文件；

网关：网关在网络层以上实现网络互连。

Images