CN117858104A - 一种基于深度q网络的无线ap规划部署方法及系统 - Google Patents

Abstract

本发明公开了一种基于深度Q网络的无线AP规划部署方法及系统，涉及无线AP位置规划技术领域，该方法包括：计算待部署区域平面能够划分出方形网格的网格数量和每个方形网格的网格信号强度；基于预置数量的无线AP，在预布置数量的无线AP中移除冗余AP，并计算得到预置数量的各个无线AP的初始布置位置，利用深度Q网络对各个无线AP的初始布置位置进行动态更新，得到预置数量的各个无线AP的最优部署点位；能够使无线AP的规划部署实现自动化，有效的提升规划效率；且规划过程中结合不同时刻AP的状态，以选择合适的动作；同时在得到规划后各个区域的真实信号覆盖情况后，还可以对无线AP的规划部署效果进行科学合理的评估。

Description

一种基于深度Q网络的无线AP规划部署方法及系统

技术领域

本发明涉及无线AP位置规划技术领域，更具体地说，它涉及一种基于深度Q网络的无线AP规划部署方法及系统。

背景技术

近年来，随着无线局域网技术的快速发展，Wi-Fi已逐渐融入人们的学习、工作、生活和娱乐中，成为最重要的互联网访问方式；无线网络建设成为了企事业单位数字化办公的先决条件，也是当前信息化建设的重点工作；无线AP（Access Point）的规划和部署是整个无线网络建设过程中极其重要的阶段，合理的规划和部署不仅可以保证无线网络的信号覆盖范围、覆盖强度和覆盖质量，而且还可以节省硬件投资成本和建成后的运行维护成本，最终提高无线网络的服务质量和用户满意度。

影响无线网络信号强度的因素较多，如障碍物的材质、工作信道、终端类型等。如果设计无线网络覆盖范围时，没有考虑墙体的影响，则容易出现信号盲区，导致无线网络不稳定甚至无法接入，因此，保障每个地理区域能够有足够强度的无线信号覆盖，需要合理规划每个AP的位置；由于当两个AP的射频工作在相同信道上时，在收发数据时则有相互干扰，造成数据延时和出现网络不稳定现象，大大降低了网络性能，因此有重叠覆盖区域的AP之间还需要规划不同工作信道。由于无线网络已经成为各单位人员接入互联网的主要方式，因此AP规划和部署要保证室内各个区域的信号覆盖范围、覆盖强度和覆盖质量，以提供高质量的网络服务；当前，AP的规划部署的主要方式是在建筑图纸的基础上，依靠工程师经验进行规划，这种方式存在以下缺陷：

1.绝大部分采用手动设计的方式，规划效率低，规划合理性差；

2.未考虑无线AP合理的初始位置，会导致计算时间长，甚至影响整个平面的覆盖率；

3.不能有效与环境进行互动学习，无法判断无线AP在不同时刻，朝不同方向移动时对整体覆盖率的影响。

发明内容

本发明的目的在于提供一种基于深度Q网络的无线AP规划部署方法及系统，能够使无线AP的规划部署实现自动化，有效的提升规划效率；其中，可以根据障碍物的情况合理规划无线AP的位置，提高无线AP部署的准确性，并且在规划过程中，结合不同时刻AP的状态，以选择合适的动作，使每次移动获得的收益最大；同时在得到规划后各个区域的真实信号覆盖情况后，还可以对无线AP的规划部署效果进行科学合理的评估。

本发明的上述技术目的是通过以下技术方案得以实现的：

第一方面，本申请提供了一种基于深度Q网络的无线AP规划部署方法，包括以下具体步骤：

根据待部署区域平面的长宽和预置的方形网格的大小，计算得到待部署区域平面能够划分出方形网格的网格数量；

根据待部署区域平面中的墙体分布和预设墙体衰减值，计算得到在待部署区域平面中每个方形网格的网格信号强度；

利用待部署区域平面的长宽计算无线AP的预布置数量，以及预布置数量的各个无线AP的预布置位置，基于预置数量的无线AP，在预布置数量的无线AP中移除冗余AP，并计算得到预置数量的各个无线AP的初始布置位置，预布置数量为预置数量的整数倍；

利用深度Q网络并基于待部署区域平面中的墙体分布、待部署区域平面中的障碍物和各个方形网格的网格信号强度，对各个无线AP的初始布置位置进行动态更新，得到预置数量的各个无线AP的最优部署点位。

本发明的有益效果是：本方案中，首先，将平面划分为若干个大小相同的正方形网格点，并在空间上标注所有墙体的位置，以及该墙体对应的衰减值，并通过信号衰减公式可以计算AP在每个网格点的信号强度；其次，按照地图纵横比例，将一定数量的无线AP分为一定的行数和列数，再通过待布置无线AP的实际数量依次移除边缘多余的AP，确保AP在地图上的初始位置可以均匀分布，最后，采用深度Q网络算法来控制各个无线AP的移动，最终得到各个无线AP的最优部署点位，使待部署区域平面的信号覆盖率达到最大。

本方案中，采用自动化的无线AP的规划和部署，替代传统人工经验的方式，能够大大提高AP规划的效率，节约人力成本；并将无线AP的初始位置按照地图大小进行合理均匀分布，这样可以减少系统运算的迭代次数，提高AP规划的效率；同时结合存在障碍物的情况，采用深度Q网络算法来控制AP的移动，最终得到各个无线AP的最优部署点位，使待部署区域平面的信号覆盖率达到最大。

在上述技术方案的基础上，本发明还可以做如下改进。

进一步，上述各个方形网格的网格信号强度具体为：

；

式中，表示序号为i的无线AP在坐标为（x，y）处的方形网格的RSSI值，x表示方形网格的X轴序号，y表示方形网格的Y轴序号，RSSI值表征了信号的强度大小，/>表示序号为i 的无线AP的工作功率，/>表示序号为i 的无线AP的频段衰减值，/>表示坐标点（x，y）与序号为i 的无线AP之间的路径衰减值，/>为坐标点（x，y）与序号为i 的无线AP之间第w堵墙体的信号衰减值，/>表示时间步骤的总长度。

进一步，上述基于预置数量的无线AP，在预布置数量的无线AP中移除冗余AP，具体为：

根据待部署区域平面的长宽并基于无线AP的预置数量，计算无线AP的预布置数量，具体为：

，/>；

式中，a表示在待部署区域平面中预布置数量的无线AP部署的行数，b表示在待部署区域平面中预布置数量的无线AP部署的列数，表示预布置数量和预置数量之间的倍数，且/>，/>表示无线AP的预置数量，/>表示待部署区域平面的宽，/>表示待部署区域平面的长；

根据预布置数量和预置数量，计算得到需要移除的无线AP的第一数量，并基于第一数量需要移除的无线AP，得到第一数量中各个无线AP的移除序号，并将为移除序号的无线AP进行移除。

采用上述进一步方案的有益效果是：首先通过待部署区域平面的纵横比例来计算无线AP的预布置数量，再根据无线AP的实际投入数量，即预置数量，来移除边缘多余的无线AP，使存在于待部署区域平面中的无线AP的数量与预置数量对应，确保预置数量的无线AP在待部署区域平面中的初始位置可以均匀分布。

进一步，上述基于第一数量需要移除的无线AP，得到第一数量中各个无线AP的移除序号，并将为移除序号的无线AP进行移除，具体为：

基于预布置数量的无线AP部署的行数和列数，从左至右、从上至下编辑预布置数量的各个无线AP的第一序号；

将不大于第一数量的自然数依次除以4并得到每次运算的余数，其中：

若余数为0，需要移除的无线AP的移除序号为对应的自然数；

若余数为1，需要移除的无线AP的移除序号为：；

若余数为2，需要移除的无线AP的移除序号为：；

若余数为3，需要移除的无线AP的移除序号为：；

上式中，表示每次运算的自然数，/>表示预布置数量，a表示在待部署区域平面中预布置数量的无线AP部署的行数；

基于预布置数量的无线AP的第一序号，将预布置数量的无线AP中第一序号为移除序号的无线AP进行移除。

采用上述进一步方案的有益效果是：移除待部署区域平面中边缘多余的无线AP。

进一步，上述计算得到预置数量的各个无线AP的初始布置位置，具体为：

以待部署区域平面的左下角定点为坐标原点建立第一坐标系，且待部署区域平面位于第一坐标系的第一象限内；

根据预置数量的无线AP在待部署区域平面中的预设行数和预设列数，并按照从上至下、从左至右的方式依次计算各个无线AP的第一数值；

若第一数值不在多个移除序号构成的移除列表中，该第一数值对应的无线AP的初始布置位置在第一坐标系中的坐标表示为：

；

式中，表示待部署区域平面的宽，/>表示待部署区域平面的长，a表示在待部署区域平面中预布置数量的无线AP部署的行数，b表示在待部署区域平面中预布置数量的无线AP部署的列数，/>表示预设行数，/>表示预设列数，/>表示利用待部署区域平面的长和无线AP部署的行数计算得到的数值，/>表示利用待部署区域平面的宽和无线AP部署的列数计算得到的数值，x表示初始布置位置在第一坐标系中的横坐标，y表示初始布置位置在第一坐标系中的纵坐标。

进一步，上述对各个无线AP的初始布置位置进行动态更新，得到预置数量的各个无线AP的最优部署点位，具体为：

根据各个无线AP的初始布置位置计算得到各个方形网格的网格信号强度，并利用各个方形网格的网格信号强度得到待部署区域平面的初始信号覆盖率；

各个无线AP按照预置的移动动作执行预置次数的位置迭代，并计算得到每次迭代后待部署区域平面的第一信号覆盖率；

利用第一信号覆盖率并基于深度Q网络计算每次迭代后的移动收益，根据每次迭代后的移动收益和第一信号覆盖率计算目标函数值；

将数值最大的目标函数值对应的各个无线AP的当前位置确定为各个无线AP的最优部署点位。

采用上述进一步方案的有益效果是：采用深度Q网络算法来控制AP的移动，并根据覆盖率计算每次位置移动后的收益，最终使待部署区域平面的信号覆盖率达到最大。

进一步，上述初始信号覆盖率或第一信号覆盖率具体为：

将网格信号强度不小于预设门限值的方形网格确定为合格网格，通过合格网格的数量和方形网格的网格数量，计算得到初始信号覆盖率或第一信号覆盖率，具体表示为：

；

式中，表示初始信号覆盖率或第一信号覆盖率，/>表示方形网格的网格数量，/>表示合格网格的数量。

进一步，上述移动收益具体为：

；

式中，为100或0或-100，/>表示折扣因子；/>表示采取的移动策略；/>表示无线AP的当前位置；/>表示采取移动动作/>后无线AP的位置；/>表示移动动作，/>表示在位置/>执行的移动动作；/>表示在位置s时采取移动动作/>的概率，/>表示在移动策略/>的驱使下，在当前位置s时执行移动动作a获得的收益，/>表示在移动策略/>的驱使下，在当前位置/>时执行移动动作/>获得的收益，/>表示在位置/>时执行移动动作/>，/>表示移动动作的集合。

进一步，上述目标函数值具体为：

；

式中，表示目标函数值，/>为100或0或-100，/>表示在当前位置/>时执行移动动作/>获得的最大收益。

第二方面，本申请提供了一种基于深度Q网络的无线AP规划部署系统，应用于第一方面中任一项的一种基于深度Q网络的无线AP规划部署方法，包括：

第一模块，用于根据待部署区域平面的长宽和预置的方形网格的大小，计算得到待部署区域平面能够划分出方形网格的网格数量；

第二模块，用于根据待部署区域平面中的墙体分布和预设墙体衰减值，计算得到在待部署区域平面中每个方形网格的网格信号强度；

第三模块，用于利用待部署区域平面的长宽计算无线AP的预布置数量，以及预布置数量的各个无线AP的预布置位置，基于预置数量的无线AP，在预布置数量的无线AP中移除冗余AP，并计算得到预置数量的各个无线AP的初始布置位置，预布置数量为预置数量的整数倍；

第四模块，用于利用深度Q网络并基于待部署区域平面中的墙体分布、待部署区域平面中的障碍物和各个方形网格的网格信号强度，对各个无线AP的初始布置位置进行动态更新，得到预置数量的各个无线AP的最优部署点位。

第三方面，本申请提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现第一方面中任一项的方法。

第四方面，本申请提供了一种非暂态计算机可读存储介质，非暂态计算机可读存储介质存储计算机指令，计算机指令使计算机执行第一方面中任一项的方法。

与现有技术相比，本发明至少具有以下的有益效果：

在本申请中，首先，将平面划分为若干个大小相同的正方形网格点，并在空间上标注所有墙体的位置，以及该墙体对应的衰减值，并通过信号衰减公式可以计算AP在每个网格点的信号强度；其次，按照地图纵横比例，将一定数量的无线AP分为一定的行数和列数，再通过待布置无线AP的实际数量依次移除边缘多余的AP，确保AP在地图上的初始位置可以均匀分布，最后，采用深度Q网络算法来控制各个无线AP的移动，最终得到各个无线AP的最优部署点位，使待部署区域平面的信号覆盖率达到最大。

在本申请中，采用自动化的无线AP的规划和部署，替代传统人工经验的方式，能够大大提高AP规划的效率，节约人力成本；并将无线AP的初始位置按照地图大小进行合理均匀分布，这样可以减少系统运算的迭代次数，提高AP规划的效率；同时结合存在障碍物的情况，采用深度Q网络算法来控制AP的移动，最终得到各个无线AP的最优部署点位，使待部署区域平面的信号覆盖率达到最大。

在本申请中，首先通过待部署区域平面的纵横比例来计算无线AP的预布置数量，再根据无线AP的实际投入数量，即预置数量，来移除边缘多余的无线AP，使存在于待部署区域平面中的无线AP的数量与预置数量对应，确保预置数量的无线AP在待部署区域平面中的初始位置可以均匀分布；同时采用深度Q网络算法来控制AP的移动，并根据覆盖率计算每次位置移动后的收益，最终使待部署区域平面的信号覆盖率达到最大。

附图说明

此处所说明的附图用来提供对本发明实施例的进一步理解，构成本申请的一部分，并不构成对本发明实施例的限定。在附图中：

图1为本发明实施例中规划部署方法的方法流程图；

图2为本发明实施例中规划部署系统的连接示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

实施例1：本实施例提供一种基于深度Q网络的无线AP规划部署方法，如图1所示，包括以下具体步骤：

S1，根据待部署区域平面的长宽和预置的方形网格的大小，计算得到待部署区域平面能够划分出方形网格的网格数量。

其中，本实施例中提及的待部署区域平面为方形或近似方形，实际实施时如遇部署区域为不规则形状，可以将此区域进行规则化填充和处理，例如，一不规则区域需要进行AP的布置，进行填充和处理时可以将此不规则区域放入最小的规则方形中。

具体地，假设待部署区域平面的长为xsize米，宽为ysize米，gsize为正方形网格边长，单位为米，则，/> ，可以将室内空间划分为 /> 个网格点，即网格数量为/>，可以将第i个AP表示为/>。

S2，根据待部署区域平面中的墙体分布和预设墙体衰减值，计算得到在待部署区域平面中每个方形网格的网格信号强度。

其中，可以根据待部署区域平面中的实际情况定义墙体列表和墙体衰减；具体地，可以为，并给出每个墙体在平面内的起始坐标点，以及信号穿过墙体的衰减值/>；在建立网格信息后，可以用公式 /> 计算各个网格点的信号强度，式中， /> 表示网格点(x, y)/>的RSSI值；/>为 /> 的工作功率，单位为dbm；/>为的频段衰减值，/>为网格点(x, y)与/>之间的路径衰减值，/>为网格点 (x,y)与/>之间的第w堵墙体的信号衰减值。

可选的，上述各个方形网格的网格信号强度具体为：

；

式中，表示序号为i的无线AP在坐标为（x，y）处的方形网格的RSSI值，x表示方形网格的X轴序号，y表示方形网格的Y轴序号，RSSI值表征了信号的强度大小，/>表示序号为i 的无线AP的工作功率，/>表示序号为i 的无线AP的频段衰减值，/>表示坐标点（x，y）与序号为i 的无线AP之间的路径衰减值，/>为坐标点（x，y）与序号为i 的无线AP之间第w堵墙体的信号衰减值，/>表示时间步骤的总长度；其中，x表示方形网格的X轴序号，y表示方形网格的Y轴序号，可以以待部署区域平面中的多个方形网格中，左下角的网格的顶点为坐标原点建立此坐标系，例如，待部署区域平面为方形，多个方形网格分布在此坐标系的第一象限中，待部署区域平面中最下面一行从左到右的第一个方形网格为（1，0）。

S3，利用待部署区域平面的长宽计算无线AP的预布置数量，以及预布置数量的各个无线AP的预布置位置，基于预置数量的无线AP，在预布置数量的无线AP中移除冗余AP，并计算得到预置数量的各个无线AP的初始布置位置，预布置数量为预置数量的整数倍。

其中，可以根据部署要求给出在待部署区域平面中部署各个AP的行、列分布；然后将信号影响最小的冗余AP移除；最后将预置数量的无线AP的初始位置按照地图大小进行均匀分布；具体地：对于给定数量的AP，在没有障碍物的情况下，AP的位置基本是均匀分布的，在有墙体衰减的情况下，AP需要根据周围障碍物的情况进行移动，以达到信号覆盖度最佳；而需给出每个AP的初始位置，如果AP的初始位置集中在某个区域，则需多次迭代才能达到信号最大覆盖；因此，我们在计算AP位置前，需将AP的初始位置按照地图大小进行均匀分布，减少迭代次数，提高AP规划的效率。

可选的，上述基于预置数量的无线AP，在预布置数量的无线AP中移除冗余AP，具体为：

根据待部署区域平面的长宽并基于无线AP的预置数量，计算无线AP的预布置数量，具体为：

，/>；

式中，a表示在待部署区域平面中预布置数量的无线AP部署的行数，b表示在待部署区域平面中预布置数量的无线AP部署的列数，表示预布置数量和预置数量之间的倍数，且/>，/>表示无线AP的预置数量，/>表示待部署区域平面的宽，/>表示待部署区域平面的长。

根据预布置数量和预置数量，计算得到需要移除的无线AP的第一数量，并基于第一数量需要移除的无线AP，得到第一数量中各个无线AP的移除序号，并将为移除序号的无线AP进行移除。

其中，首先通过待部署区域平面的纵横比例来计算无线AP的预布置数量，再根据无线AP的实际投入数量，即预置数量，来移除边缘多余的无线AP，使存在于待部署区域平面中的无线AP的数量与预置数量对应，确保预置数量的无线AP在待部署区域平面中的初始位置可以均匀分布。

具体地，首先计算AP的行列数量，即预布置数量；给定的AP数量（预置数量）为num，可以得到以下的公式：；/>；ceil为向上取整函数，返回大于或者等于指定表达式的最小整数，可以令：，/>；则将预布置数量的AP分成了和平面（）长宽比例接近的a行b列。

可选的，上述基于第一数量需要移除的无线AP，得到第一数量中各个无线AP的移除序号，并将为移除序号的无线AP进行移除，具体为：

基于预布置数量的无线AP部署的行数和列数，从左至右、从上至下编辑预布置数量的各个无线AP的第一序号。

将不大于第一数量的自然数依次除以4并得到每次运算的余数，其中：

若余数为0，需要移除的无线AP的移除序号为对应的自然数；若余数为1，需要移除的无线AP的移除序号为：；若余数为2，需要移除的无线AP的移除序号为：；若余数为3，需要移除的无线AP的移除序号为：/>。

上式中，表示每次运算的自然数，/>表示预布置数量，a表示在待部署区域平面中预布置数量的无线AP部署的行数。

基于预布置数量的无线AP的第一序号，将预布置数量的无线AP中第一序号为移除序号的无线AP进行移除。

其中，在移除冗余AP时，在上述步骤中得到个AP，由于/>有向上取整操作，因此/>，需要将冗余AP移除；考虑到中间部分的AP覆盖面积最广，移除之后将严重影响覆盖面积，为移除AP后，对平面内的信号影响最小，可以从边上AP开始移除。

具体地，首先需要计算需要移除AP的数量：；其次标记需要移除的AP；令：/>；具体移除步骤为：a) c从0开始循环，依次判断c除以4的余数；如果余数为0，则移除序号为c的AP：/>；如果余数为1，则移除序号为/> 的AP：/>；如果余数为2，则移除序号为 的AP：/>；如果余数为3，则移除序号为 /> 的AP：/>；b) 如果c大于mov，则停止循环。

可选的，上述计算得到预置数量的各个无线AP的初始布置位置，具体为：

以待部署区域平面的左下角定点为坐标原点建立第一坐标系，且待部署区域平面位于第一坐标系的第一象限内。

根据预置数量的无线AP在待部署区域平面中的预设行数和预设列数，并按照从上至下、从左至右的方式依次计算各个无线AP的第一数值。

若第一数值不在多个移除序号构成的移除列表中，该第一数值对应的无线AP的初始布置位置在第一坐标系中的坐标表示为：

；

式中，表示待部署区域平面的宽，/>表示待部署区域平面的长，a表示在待部署区域平面中预布置数量的无线AP部署的行数，b表示在待部署区域平面中预布置数量的无线AP部署的列数，/>表示预设行数，/>表示预设列数，/>表示利用待部署区域平面的长和无线AP部署的行数计算得到的数值，/>表示利用待部署区域平面的宽和无线AP部署的列数计算得到的数值，x表示初始布置位置在第一坐标系中的横坐标，y表示初始布置位置在第一坐标系中的纵坐标。

其中，可以以待部署区域平面的左下角(0, 0)作为坐标起始点，设置：；按照列j和行i的方式依次取AP，如果/>不在移除index的列表中，则该AP的初始位置为：/>，；/>和/>是保存AP的X轴和Y轴位置序列。

S4，利用深度Q网络并基于待部署区域平面中的墙体分布、待部署区域平面中的障碍物和各个方形网格的网格信号强度，对各个无线AP的初始布置位置进行动态更新，得到预置数量的各个无线AP的最优部署点位。

其中，采用深度Q网络算法来控制AP的移动，并根据覆盖率计算每次位置移动后的收益，最终使待部署区域平面的信号覆盖率达到最大。

可选的，上述对各个无线AP的初始布置位置进行动态更新，得到预置数量的各个无线AP的最优部署点位，具体为：

根据各个无线AP的初始布置位置计算得到各个方形网格的网格信号强度，并利用各个方形网格的网格信号强度得到待部署区域平面的初始信号覆盖率。

各个无线AP按照预置的移动动作执行预置次数的位置迭代，并计算得到每次迭代后待部署区域平面的第一信号覆盖率。

可选的，上述初始信号覆盖率或第一信号覆盖率具体为：

将网格信号强度不小于预设门限值的方形网格确定为合格网格，通过合格网格的数量和方形网格的网格数量，计算得到初始信号覆盖率或第一信号覆盖率，具体表示为：

；

式中，表示初始信号覆盖率或第一信号覆盖率，/>表示方形网格的网格数量，/>表示合格网格的数量。

利用第一信号覆盖率并基于深度Q网络计算每次迭代后的移动收益，根据每次迭代后的移动收益和第一信号覆盖率计算目标函数值。

可选的，上述移动收益具体为：

；

式中，为100或0或-100，/>表示折扣因子；/>表示采取的移动策略；/>表示无线AP的当前位置；/>表示采取移动动作/>后无线AP的位置；/>表示移动动作，/>表示在位置/>执行的移动动作；/>表示在位置s时采取移动动作/>的概率，/>表示在移动策略/>的驱使下，在当前位置s时执行移动动作a获得的收益，/>表示在移动策略/>的驱使下，在当前位置/>时执行移动动作/>获得的收益，/>表示在位置/>时执行移动动作/>，/>表示移动动作的集合。

可选的，上述目标函数值具体为：

；

式中，表示目标函数值，/>为100或0或-100，/>表示在当前位置/>时执行移动动作/>获得的最大收益。

将数值最大的目标函数值对应的各个无线AP的当前位置确定为各个无线AP的最优部署点位。

其中，根据待部署区域平面、障碍物、覆盖区域、信号强度等环境参数进行动态更新后的移动收益计算，得出最优的无线AP的规划点位；具体为：障碍物多的地方，无线AP的部署相对则密集一些，并且AP规划计算方法还需要考虑障碍物、覆盖区域的影响。

具体地，计算待部署区域平面的初始信号覆盖率，可以将信号强度的门限值（预设门限值）设为 ，按照待部署区域平面的/>个网格点依次计算所有无线AP在初始布置位置上时各个方形网格的信号强度；在方形网格的/>时，则认为该方形网格达到了信号覆盖要求，可以将满足要求的网格点数量表示为/>，则覆盖率/>。

进一步，执行 次迭代，在每次迭代中，各个无线AP在每一个时间步骤t或第t次迭代的状态可以表示为/>，/>即为t时或t次迭代前各个无线AP的位置；进而再基于深度Q网络执行移动动作 />，移动动作/>可以为朝上、下、左、右四个方向移动，每次移动的距离为d米；对所有无线AP，在时间步骤t或t次迭代前，执行动作a的方向可以不一样。

进一步，在每次进行迭代后，再计算迭代后也就是各个无线AP在执行移动动作后的第一信号覆盖率，计算方式和初始信号覆盖率一致；此处引出了参数，/>可以定义为：若第一信号覆盖率大于前一次的信号覆盖率，则在时间步骤t或第t次迭代后的/>为100；若第一信号覆盖率等于前一次的信号覆盖率，则在时间步骤t或第t次迭代后的/>为0；若第一信号覆盖率小于前一次的信号覆盖率，则在时间步骤t或第t次迭代后的/>为-100。

进一步，定义无线AP在执行移动动作后的获得收益，移动动作可以表示为：； s表示当前状态（当前位置），/> 表示策略，在输入状态 /> 的情况下，采取的动作为 />，/> 表示表述在策略 /> 的输入参数；移动收益可以表示为：/>，表示在策略的驱使下，在状态s做动作a获得的收益，公式可以为：。

进一步，由于通过 得到的状态空间是连续的，存在无穷多个状态，AP的数量也较多，不能用表格进行存储；因此用神经网络表示 /> 函数表示近似计算，降低对存储空间的要求，该函数的公式依然为/>，不同的是基于深度Q网络计算可以每次迭代后可以得到一个实数，该函数中参数为 />，输出为一个实数。

进一步，执行完K次的位置迭代后，可以得到：每次迭代的第一信号覆盖率、每次迭代后的值，/>值为100或0或-100，以及每次迭代后的移动收益，再通过设置的目标函数：，来计算得到每次迭代后/>的值，最后将/>的值最大的一次迭代后各个无线AP的位置就确定为各个无线AP的最优部署点位。

实施例2：本实施例提供了一种基于深度Q网络的无线AP规划部署系统，应用于实施例1中任一项的一种基于深度Q网络的无线AP规划部署方法，如图2所示，包括：

第一模块，用于根据待部署区域平面的长宽和预置的方形网格的大小，计算得到待部署区域平面能够划分出方形网格的网格数量。

第二模块，用于根据待部署区域平面中的墙体分布和预设墙体衰减值，计算得到在待部署区域平面中每个方形网格的网格信号强度。

第三模块，用于利用待部署区域平面的长宽计算无线AP的预布置数量，以及预布置数量的各个无线AP的预布置位置，基于预置数量的无线AP，在预布置数量的无线AP中移除冗余AP，并计算得到预置数量的各个无线AP的初始布置位置，预布置数量为预置数量的整数倍。

第四模块，用于利用深度Q网络并基于待部署区域平面中的墙体分布、待部署区域平面中的障碍物和各个方形网格的网格信号强度，对各个无线AP的初始布置位置进行动态更新，得到预置数量的各个无线AP的最优部署点位。

以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于深度Q网络的无线AP规划部署方法，其特征在于，包括以下具体步骤：

根据待部署区域平面的长宽和预置的方形网格的大小，计算得到所述待部署区域平面能够划分出方形网格的网格数量；

根据待部署区域平面中的墙体分布和预设墙体衰减值，计算得到在待部署区域平面中每个所述方形网格的网格信号强度；

利用待部署区域平面的长宽计算无线AP的预布置数量，以及预布置数量的各个无线AP的预布置位置，基于预置数量的无线AP，在预布置数量的无线AP中移除冗余AP，并计算得到预置数量的各个无线AP的初始布置位置，所述预布置数量为所述预置数量的整数倍；

利用深度Q网络并基于待部署区域平面中的墙体分布、待部署区域平面中的障碍物和各个方形网格的所述网格信号强度，对各个无线AP的初始布置位置进行动态更新，得到预置数量的各个无线AP的最优部署点位。

2.根据权利要求1所述的一种基于深度Q网络的无线AP规划部署方法，其特征在于，各个所述方形网格的网格信号强度具体为：

；

式中，表示序号为i的无线AP在坐标为（x，y）处的方形网格的RSSI值，x表示方形网格的X轴序号，y表示方形网格的Y轴序号，RSSI值表征了信号的强度大小，/>表示序号为i的无线AP的工作功率，/>表示序号为i的无线AP的频段衰减值，/>表示坐标点（x， y）与序号为i的无线AP之间的路径衰减值，/>为坐标点（x，y）与序号为i的无线AP之间第w堵墙体的信号衰减值，/>表示时间步骤的总长度。

3.根据权利要求1所述的一种基于深度Q网络的无线AP规划部署方法，其特征在于，所述基于预置数量的无线AP，在预布置数量的无线AP中移除冗余AP，具体为：

根据待部署区域平面的长宽并基于无线AP的预置数量，计算无线AP的预布置数量，具体为：

，/>；

式中，a表示在待部署区域平面中预布置数量的无线AP部署的行数，b表示在待部署区域平面中预布置数量的无线AP部署的列数，表示预布置数量和预置数量之间的倍数，且，/>表示无线AP的预置数量，/>表示待部署区域平面的宽，/>表示待部署区域平面的长；

根据所述预布置数量和所述预置数量，计算得到需要移除的无线AP的第一数量，并基于第一数量需要移除的无线AP，得到第一数量中各个无线AP的移除序号，并将为移除序号的无线AP进行移除。

4.根据权利要求3所述的一种基于深度Q网络的无线AP规划部署方法，其特征在于，所述基于第一数量需要移除的无线AP，得到第一数量中各个无线AP的移除序号，并将为移除序号的无线AP进行移除，具体为：

基于预布置数量的无线AP部署的行数和列数，从左至右、从上至下编辑预布置数量的各个无线AP的第一序号；

将不大于第一数量的自然数依次除以4并得到每次运算的余数，其中：

若余数为0，需要移除的无线AP的移除序号为对应的自然数；

若余数为1，需要移除的无线AP的移除序号为：；

若余数为2，需要移除的无线AP的移除序号为：；

若余数为3，需要移除的无线AP的移除序号为：；

上式中，表示每次运算的自然数，/>表示预布置数量，a表示在待部署区域平面中预布置数量的无线AP部署的行数；

基于预布置数量的无线AP的第一序号，将预布置数量的无线AP中第一序号为移除序号的无线AP进行移除。

5.根据权利要求4所述的一种基于深度Q网络的无线AP规划部署方法，其特征在于，所述计算得到预置数量的各个无线AP的初始布置位置，具体为：

以待部署区域平面的左下角定点为坐标原点建立第一坐标系，且所述待部署区域平面位于第一坐标系的第一象限内；

根据预置数量的所述无线AP在待部署区域平面中的预设行数和预设列数，并按照从上至下、从左至右的方式依次计算各个无线AP的第一数值；

若所述第一数值不在多个移除序号构成的移除列表中，该第一数值对应的无线AP的所述初始布置位置在第一坐标系中的坐标表示为：

；

式中，表示待部署区域平面的宽，/>表示待部署区域平面的长，a表示在待部署区域平面中预布置数量的无线AP部署的行数，b表示在待部署区域平面中预布置数量的无线AP部署的列数，/>表示预设行数，/>表示预设列数，/>表示利用待部署区域平面的长和无线AP部署的行数计算得到的数值，/>表示利用待部署区域平面的宽和无线AP部署的列数计算得到的数值，x表示初始布置位置在第一坐标系中的横坐标，y表示初始布置位置在第一坐标系中的纵坐标。

6.根据权利要求1所述的一种基于深度Q网络的无线AP规划部署方法，其特征在于，所述对各个无线AP的初始布置位置进行动态更新，得到预置数量的各个无线AP的最优部署点位，具体为：

根据各个无线AP的初始布置位置计算得到各个方形网格的网格信号强度，并利用各个方形网格的网格信号强度得到待部署区域平面的初始信号覆盖率；

各个所述无线AP按照预置的移动动作执行预置次数的位置迭代，并计算得到每次迭代后待部署区域平面的第一信号覆盖率；

利用第一信号覆盖率并基于深度Q网络计算每次迭代后的移动收益，根据每次迭代后的所述移动收益和所述第一信号覆盖率计算目标函数值；

将数值最大的所述目标函数值对应的各个无线AP的当前位置确定为各个无线AP的最优部署点位。

7.根据权利要求6所述的一种基于深度Q网络的无线AP规划部署方法，其特征在于，所述初始信号覆盖率或所述第一信号覆盖率具体为：

将网格信号强度不小于预设门限值的所述方形网格确定为合格网格，通过所述合格网格的数量和方形网格的网格数量，计算得到所述初始信号覆盖率或所述第一信号覆盖率，具体表示为：

；

式中，表示初始信号覆盖率或第一信号覆盖率，/>表示方形网格的网格数量，/>表示合格网格的数量。

8.根据权利要求6所述的一种基于深度Q网络的无线AP规划部署方法，其特征在于，所述移动收益具体为：

；

式中，为100或0或-100，/>表示折扣因子；/>表示采取的移动策略；/>表示无线AP的当前位置；/>表示采取移动动作/>后无线AP的位置；/>表示移动动作，/>表示在位置/>执行的移动动作；/>表示在位置s时采取移动动作/>的概率，/>表示在移动策略/>的驱使下，在当前位置s时执行移动动作a获得的收益，/>表示在移动策略/>的驱使下，在当前位置/>时执行移动动作/>获得的收益，/>表示在位置/>时执行移动动作/>，/>表示移动动作的集合。

9.根据权利要求6所述的一种基于深度Q网络的无线AP规划部署方法，其特征在于，所述目标函数值具体为：

；

式中，表示目标函数值，/>为100或0或-100，/>表示在当前位置/>时执行移动动作/>获得的最大收益。

10.一种基于深度Q网络的无线AP规划部署系统，应用于权利要求1-9中任一项所述的一种基于深度Q网络的无线AP规划部署方法，其特征在于，包括：

第一模块，用于根据待部署区域平面的长宽和预置的方形网格的大小，计算得到所述待部署区域平面能够划分出方形网格的网格数量；

第二模块，用于根据待部署区域平面中的墙体分布和预设墙体衰减值，计算得到在待部署区域平面中每个所述方形网格的网格信号强度；

第三模块，用于利用待部署区域平面的长宽计算无线AP的预布置数量，以及预布置数量的各个无线AP的预布置位置，基于预置数量的无线AP，在预布置数量的无线AP中移除冗余AP，并计算得到预置数量的各个无线AP的初始布置位置，所述预布置数量为所述预置数量的整数倍；

第四模块，用于利用深度Q网络并基于待部署区域平面中的墙体分布、待部署区域平面中的障碍物和各个方形网格的所述网格信号强度，对各个无线AP的初始布置位置进行动态更新，得到预置数量的各个无线AP的最优部署点位。