CN107371259A - 全双工自组织小基站网络中信道选择的设计和实现 - Google Patents

Abstract

本发明公开了全双工自组织小基站网络中信道选择的设计和实现，在全双工自组织小基站网络中，将小基站的用户进行配对，并且根据配对结果进行信道分配，使得网络干扰得到缓解，在保证宏基站用户和小基站用户的服务质量的前提下，最大化小基站的通信容量，属于网络优化的领域。本发明将全双工小基站网络的干扰模型进行了公式化，首先采用基于KM算法的配对策略对小基站用户进行配对，选择能够提供更高通信容量的双工模式，并以配对结果为基础，针对小基站的随机分布特性，采用基于Q‑learning的信道分配算法对为配对的链路分配信道。

Description

全双工自组织小基站网络中信道选择的设计和实现

技术领域

本发明公开了在全双工自组织小基站网络中，如何将小基站的用户进行配对，并且根据配对结果进行信道分配，使得网络干扰得到缓解，在保证宏基站用户和小基站用户的服务质量的前提下，最大化小基站的通信容量，属于网络优化领域。

背景技术

近年来，随着移动互联网的发展，移动数据流量呈现爆炸式增长的趋势。相关统计数据表明，移动数据业务中有70％～80％发生在室内环境中，宏站信号穿透建筑物进入室内会有大约10dB的损耗，室内语音覆盖减弱，而数据覆盖的衰弱更加明显，提升室内覆盖的效果是运营商留住用户的关键。为了提升室内覆盖效果，加快网络建设的进度，国内外相关厂商，研制和提出多种提升室内覆盖效果的设备和技术，其中小基站(small cell)受到广泛关注。Small cell的主要优点有：体积小、灵活安装，不同的环境部署达到深度覆盖要求；用户与基站距离近，提高了信号质量与传输速度；发射功率和覆盖范围小，提升网络容量；回声方式灵活，成本低，环保；小型基站间距小，多小区实现附用频谱，频谱利用效率提升；使用智能化的SON技术实现自动启站、优化、维护。

Small cell源于最初为家庭场景设计的Femtocell(俗称的“家庭基站”)，smallcell的“小”是相对于传统的宏基站(Macrocell)而言的，其特点体现在：小型化、低发射功率、可控性好、智能化和组网灵活。从发射功率看，典型发射功率在100mW到5W之间；从重量看，普遍重量在2到10kg之间；从组网方式看，支持包括DSL/光纤/WLAN及蜂窝技术在内的多种技术的回传；而且还具备自动邻区发现、自配置等SON功能。Small cell具有灵活、快速部署的优点，可以解决热点吸收、盲点、弱覆盖场景的网络覆盖问题，实现网络无处不在。Small cell优点明显，将成为未来基站的发展趋势。Small cell的应用给互联网带来了新的机遇，但同时，也面临一系列的挑战。诸如：干扰管理、负载均衡、优化和运维管理等等。Small cell优点明显，将成为未来基站的发展趋势。Small cell的应用给互联网带来了新的机遇，但同时，也面临一系列的挑战。主要有：干扰管理、负载均衡(切换策略)、优化与运维。

在相关的研究中，Bennis等人提出了小基站网络中基于Q-learning的信道选择和功率控制方法，但是，系统模型是半双工并且只分析了下行链路。随着用户速率和通信容量的剧增，无线通信中带宽和频谱资源的需求随之剧增。半双工方式是对频谱资源的极大浪费，全双工方式可以实现对频谱资源的有效利用。然而，全双工通信中的干扰更加多元化和复杂化，Yun等人具体分析了全双工异构网络中的相邻基站干扰和基站内部干扰。

本发明将全双工小基站网络的干扰模型进行了公式化，首先采用基于KM算法的配对策略对小基站用户进行配对，选择能够提供更高通信容量的双工模式，并以配对结果为基础，针对小基站的随机分布特性，采用基于Q-learning的信道分配算法对为配对的链路分配信道。在保证宏基站用户和小基站用户服务质量的情况下，最大化小基站的通信容量。

发明内容

本发明主要优化了全双工自组织小基站网络，进行了网络干扰协调。主要包括以下内容：

1)问题公式化。全双工小基站网络中存在的各种干扰，包括跨层干扰、相邻基站干扰和小基站内部干扰，进行了分析和计算，并建立了网络干扰模型，系统模型如图1所示。在干扰模型的基础上，对宏基站、宏基站用户、小基站以及小基站用户的SINR之进行了公式化计算。

2)小基站用户配对。在本系统中，小基站采用全双工模式进行通信，同一个用户不允许在同一个信道上同时进行双向传输，并且也不允许两个不同的用户同时在一个信道上进行上行传输或者同时进行下行传输。最佳的情况是在同一个信道上一个用户进行上行传输，同时，另一个用户进行下行传输。在小基站网络内部，由于全双工的传输模式，在同一个信道上进行数据传输的用户之间必然存在干扰，为了使这种干扰降低到最小，我们对小基站的用户进行配对。采用KM算法进行匹配，KM算法是二分图最佳匹配算法，二分图中的顶点代表用户与基站之间的链路，边代表哪两个链路在同一个信道上进行传输。在配对之前，每一个用户向其他所有的用户发送一个信号，用户对接收到的信号进行计算和记录，将数据取负，作为二分图边的权重。在配对完成后，对一对链路进行计算，比较采用全双工通信和半双工通信的通信容量，选取通信容量较高的双工方式。

3)信道选择。系统设计的最终目的就是用来进行信道选择，从而达到干扰协调的目的，优化网络。采用基于Q-learning的信道分配方案，Q-learning算法作为最常用的强化学习的一种，可以根据当前的系统环境，做出回报最大的选择。与其他强化学习算法不同，Q-learning不需要系统的前验环境，这个特性使得该算法更加适合本系统，在宏基站和宏基站用户，小基站和宏基站用户之间存在信息交流，宏基站用户将检测的小基站信息周期性的传递给宏基站，然后宏基站向小基站发送自组织信号，即宏基站用户周围的干扰基站信息和宏基站分配给宏基站用户子信道信息，将Q-learning算法用于信道分配时，定义所有的小基站为智能体，信道分配问题转化为多智能体的Q-learning学习问题。

附图说明

图1为本发明提出的系统结构图；

具体实施方式

以下结合附图和具体实例对本发明做具体的介绍。

本发明将全双工小基站网络的干扰模型进行了公式化，采用基于KM算法的配对策略对小基站用户进行配对，并以配对结果为基础，针对小基站的随机分布特性，采用基于Q-learning的信道分配算法对为已配对的链路分配信道。在保证宏基站用户和小基站用户的服务质量的前提下，最大化小基站的通信容量。具体实施过程如下：

步骤1：问题公式化

构建系统模型，分析系统中各种类型的干扰，主要包括跨层干扰、相邻小基站干扰和基站内部的干扰。为了获得最大的通信容量，首先要计算宏基站、宏基站用户、小基站以及小基站用户的SINR。第i个宏基站用户接收到的SINR为：

P_mbs为宏基站的发射功率，H_0，i(k)为宏基站用户i与宏基站在信道k上的信道增益，I_s为来源于其他占用k信道的小基站的干扰。宏基站在信道K上的SINR为：

P_mue为宏基站用户的发射功率，干扰同样来自于其他占用k信道的小基站。小基站用户在信道k上接收到的SINR为：

P_sbs为小基站的发射功率，H_n，i(k)为小基站n和小基站用户i在信道k上的信道增益。小基站用户受到的干扰来源于占用同一条信道的宏基站(I_m)，其他小基站网络中的小基站和用户(I_os)，以及同一个小基站网络中的其他用户(I_ss)。小基站在信道k上的SINR表示为：

P_sue为小基站用户的传输功率，I_sss为自干扰。

得到各个SINR值之后，可以得出系统的通信容量，本发明的目的是在保证宏基站用户和小基站用户的服务质量的情况下，最大化小基站的通信容量。

步骤2：小基站用户配对

KM算法是一个求二分图最大匹配的算法。在匹配开始之前，每一个用户向其他所有的用户发送一个信号，用户对接收到的信号进行计算和记录，将数据取负，作为二分图边的权重w。对于二分图G＝(X，Y，E)，我们定义：

X＝{用户1，用户2，…，用户n}，X中所有的用户代表的都是用户-基站上行传输链路；

Y＝{用户1，用户2，…，用户n}，Y中所有的用户代表的都是基站-用户下行传输链路；

E表示集合X和集合Y中用户的链接，即X中的用户和Y中的用户在同一条信道上分别进行上行和下行传输。整个基于KM算法的配对过程如下：

1、构造二分图，包含顶点，边和权重；

2、初始化可行顶标lx[i]＝max{w_ij|j＝1，2，…，n}，i＝1，2，…，n，并且lx[j]＝0，j＝1，2，…，n。构成相等子图G_l＝(X，Y，E_l)，其中，E_l＝{e＝(i，j)|w(i，j)＝lx[i]+ly[j]，e∈E}。

3、对相等子图进行匈牙利算法，如果找到一个最佳匹配M，就输出并且停止；否则，如果两个顶点集合S和T包含于集合X和集合Y，那么匈牙利算法就停止，并且进入第四步，顶点集合S和T为在寻找增广路径的过程中已经访问过的顶点。

4、比较d的值，改变可行顶标的值，用新的可行顶标构成新的相等子图G_T，代替原来的子图，d的计算以及可行顶标的更新公式如下：

d＝min{lx[i]+ly[j]-w_ij|i∈S，j∈Y-T，(i，j)∈E}，i，j＝1，2，…，n

lx[i]＝lx[i]-d，i∈S

ly[j]＝ly[j]+d，j∈T

在配对完成后，对一对链路进行计算，比较采用全双工通信和半双工通信的通信容量，选取通信容量较高的双工方式。

步骤3：信道选择

Q-learning算法作为最常用的强化学习的一种，可以根据当前的系统环境，做出回报最大的选择。与其他强化学习算法不同，Q-learning不需要系统的前验环境，这个特性使得该算法更加适合本系统，在宏基站和宏基站用户，小基站和宏基站用户之间存在信息交流，宏基站用户将检测的小基站信息周期性的传递给宏基站，然后宏基站向小基站发送自组织信号，即宏基站用户周围的干扰基站信息和宏基站分配给宏基站用户子信道信息，将Q-learning算法用于信道分配时，定义：

智能体：所有的小基站；

状态：代表在时间t每个小基站对应的状态，另外，其中，I^n，s∈{0，1}表示小基站是否对宏基站用户产生了干扰，I^n，s＝1，表示产生了干扰，否则没有产生干扰，M^n，s表示小基站干扰到的宏基站用户的数量，F^n，s表示产生干扰的相邻的小基站数量，l^n，s表示在当前小基站网络中，已经被其他链路占用的信道集合；

动作：选择一个没有被占用的信道；

回报：在时间t，当链路s选择信道k时，只有信道k上的吞吐量发生了变化，C_s(d)表示在信道K上的下行链路吞吐量，C_s(u)表示信在道K上的上行链路吞吐量，回报值

另外：

在信道选择时，必须注意，不能影响宏基站用户和小基站用户的服务质量。问题转化后就进行Q-learning算法的运行，得到最终的信道分配结果。

Claims (5)

1.全双工自组织小基站网络中信道选择的设计和实现，其特征在于：

1)本系统研究了全双工小基站网络中的干扰管理问题；

2)本系统将干扰协调技术和自组织技术相结合运用于全双工小基站网络中；

3)本系统采用KM算法解决小基站用户配对问题；

4)本系统采用Q-learning算法对信道进行分配。

2.如权利要求1所述的全双工自组织小基站网络中信道选择的设计和实现，其特征在于对全双工小基站网络中存在的各种干扰，包括跨层干扰、相邻基站干扰和小基站内部干扰，进行了分析和计算，并建立了网络干扰模型，并在干扰模型的基础上，对宏基站、宏基站用户、小基站以及小基站用户的SINR之进行了公式化计算。

3.如权利要求1所述的全双工自组织小基站网络中信道选择的设计和实现，其特征在于将干扰协调技术和自组织技术相结合运用于全双工小基站网络中，在双层异构网络中，存在跨层干扰和同层干扰，当网络采用全双工通信时，增加了基站内部干扰和自干扰，干扰变得多元化和复杂化，并且，由于小基站具有“即插即用”的特性，因此，小基站必须具有自组织的能力，能够根据当前的环境，修改自身的参数值，包括传输功率以及信道分配等等，本系统实现了干扰协调技术和自组织技术。

4.如权利要求1所述的全双工自组织小基站网络中信道选择的设计和实现，其特征在于基于KM算法的小基站用户配对策略，本系统中小基站采用全双工通信方式，在同一条信道上，允许一个用户进行上行传输，同时另一个用户进行下行传输，KM算法是一个二分图匹配算法，对于一个二分图G＝(X，Y，E)，我们定义：

X＝{用户1，用户2，...，用户n}，X中所有的用户代表的都是用户-基站上行传输链路；

Y＝{用户1，用户2，...，用户n}，Y中所有的用户代表的都是基站-用户下行传输链路；

E表示集合X和集合Y中用户的链接，即X中的用户和Y中的用户在同一条信道上分别进行上行和下行传输，在配对之前，每一个用户向其他所有的用户发送一个信号，用户对接收到的信号进行计算和记录，因为KM算法求得是二分图的最大匹配，然后在本系统中，需要干扰最小，因此，我们将记录的数据取负，然后作为二分图中边的权重，将问题转化为具体的点和边后，就可以开始配对的过程，在配对完成后，对一对链路进行计算，比较采用全双工通信和半双工通信的通信容量，选取通信容量较高的双工方式。

5.如权利要求1所述的全双工自组织小基站网络中信道选择的设计和实现，其特征在于将Q-learning算法用户全双工小基站网络中的信道分配问题。Q-learning算法作为最常用的强化学习的一种，可以根据当前的系统环境，做出回报最大的选择。与其他强化学习算法不同，Q-learning不需要系统的前验环境，这个特性使得该算法更加适合本系统，在宏基站和宏基站用户，小基站和宏基站用户之间存在信息交流，宏基站用户将检测的小基站信息周期性的传递给宏基站，然后宏基站向小基站发送自组织信号，即宏基站用户周围的干扰基站信息和宏基站分配给宏基站用户子信道信息，将Q-learning算法用于信道分配时，定义：

智能体：所有的小基站；

状态：代表在时间t每个小基站对应的状态，另外，其中，I^n，s∈{0，1}表示小基站是否对宏基站用户产生了干扰，I^n，s＝1，表示产生了干扰，否则没有产生干扰，M^n，s表示小基站干扰到的宏基站用户的数量，F^n，s表示产生干扰的相邻的小基站数量，L^n，s表示在当前小基站网络中，已经被其他链路占用的信道集合；

动作：选择一个没有被占用的信道；

回报：r_t ⁿ＝(r_t ^n，s，s∈{1，2，...，N_link})，在时间t，当链路s选择信道k时，只有信道k上的吞吐量发生了变化，C_s(d)表示在信道K上的下行链路吞吐量，C_s(u)表示信在道K上的上行链路吞吐量，回报值

r_t ^n，s＝C_s(d)+C_s(u)

另外：

在信道选择时，必须注意，不能影响宏基站用户和小基站用户的服务质量。