CN113158871B - 一种基于密度核心的无线信号强度异常检测方法 - Google Patents

Abstract

本发明公开了一种基于密度核心的无线信号强度异常检测方法，包括以下步骤：1对数据进行预处理；2搜索数据集的自然邻居结构；3利用数据集的自然邻居结构计算每个数据对象的自然邻居加权密度；4根据每个数据对象的自然邻居加权密度计算其离群因子和离群因子阈值；5通过离群因子和阈值提取离群点。本方法充分融合了数据对象及其自然邻居的分布情况，能够适应同时存在手机用户密集区域和稀疏区域的情况，自然邻居加权密度的计算和离群点都是利用阈值自动提取，不需要参数，能够实现自动检测无线信号的异常数据。

Description

一种基于密度核心的无线信号强度异常检测方法

技术领域

本发明涉及无线信号强度异常的检测领域，具体是一种基于密度核心的无线信号强度异常检测方法。

背景技术

随着无线通信技术的发展，手机用户增长迅速，据国家统计局数据显示截至2020年，我国手机上网人数突破9.8亿。手机用户增长的同时，用户对无线信号质量的需求也越来越高，尤其是对无线信号强度的需求。如果信号强度不够，那么通信运营商就会选择合适的区域增加基站。目前通信运营商对已建基站区域信号强度异常的方法主要是通过手机用户自行反馈，或者通信运营商工作人员从信号检测软件将手机信号强度人工导出，再进行下一步分析，识别出信号强度异常的区域。这两种方法都是采用人工操作的手段，因此效率都很低。

在数据挖掘领域，从数据集中识别出异常数据对象的识别方法被称为离群检测，异常的数据对象被称为离群点。随着离群检测的研究热度的提高，越来越多的离群检测方法被提出，大致可以分为以下四类：基于统计分布的方法，基于聚类的方法，基于距离的方法和基于密度的方法。基于统计分布的方法需预先知道数据对象的概率分布，这显然增加用户有较强的相关数据分析知识；基于聚类和距离的方法需要用户根据数据对象的分布情况选择合适的参数才能得到较好的检测结果，使用成本较高；基于密度的方法是通过比较数据对象和周围数据对象的密度进行识别，如果一个数据对象比周围数据对象的密度小很多，那么这个数据对象就很可能是离群点。但现有的基于密度的离群检测算法，如LOF离群检测算法，同样需要用户设置密度计算的参数，以及离群点的个数，即存在top-n问题，这也限制了算法的应用。为此，本发明提出一种基于密度核心的无线信号强度异常检测方法，能够自动检测无线信号异常的区域。

发明内容

为了解决上述技术问题，利用数据的自然邻稳定结构的特点，提出一种基于密度核心的无线信号强度异常检测方法，并利用统计问题设置自动阈值，实现对离群点的自动提取。

为了实现上述目的，本发明采用的技术方案是，一种基于密度核心的无线信号强度异常检测方法，包括以下步骤：

步骤1，对无线信号数据进行预处理，构建可以直接用于计算的数据集。

步骤2，搜索数据集的自然邻居结构。

步骤3，利用步骤2所述自然邻居结构计算每个数据对象的自然邻居加权密度WeiDensity。

步骤4，根据每个数据对象的自然邻居加权密度计算其离群因子factor和计算离群因子阈值threshold。

步骤5，根据阈值threshold标记离群点。

进一步，步骤2所述数据集的自然邻居结构为每个数据对象的自然邻居信息。对于数据对象x_i，其自然邻居是由其它数据对象构成的一个集合，这个集合中的每个数据对象x_j与x_i都互为r近邻，其公式定义如下：

其中KNN_r(x_i)和KNN_r(x_j)分别表示数据对象x_i和x_j的r近邻，Dataset表示数据集，N表示数据量的大小。r从1开始迭代，直至每个数据对象都被搜索到自然邻居，或者没有被搜索到自然邻居的数据对象的数目不变为止。具体步骤为：

1)令r从1开始迭代；

2)对于数据对象x_i，搜索其第r近邻数据对象x_j，将其添加到KNN(x_i)集合中，x_j被当作r近邻的次数自加1，并记录到元组NbKNN(x_j)中，则x_i被称为为x_j的逆r近邻记录到集合RKNN(x_j)中；

3)如果元组NbKNN中没有0元素，或者NbKNN中的0元素的个数较上一次迭代没有变化，则迭代结束，否者r自加1，跳到2)步骤继续迭代；

4)对于数据对象x_i，其自然邻居NaN(x_i)是KNN(x_i)和RKNN(x_i)的交集。

进一步，步骤3所述自然邻居加权密度的计算步骤包括：

1)对于数据集中任意数据对象x_i，计算其自然邻居数目NaNNumber(x_i)和到其自然邻居数据对象的欧式距离的平均值NanDistance(x_i)；

2)对于数据集中任意数据对象x_i，计算其自然邻居数据对象的自然邻居数目的平均值NumAverage(x_i)：

NaNNumber(x_j)表示数据对象x_j的自然邻居数目。x_j为x_i的自然邻居。

3)对于数据集中任意数据对象x_i，计算其自然邻居数据对象到其自然邻居数据对象欧式距离的平均值DisAverage(x_i)：

NaNDistance(x_j)表示数据对象x_j到其自然邻居的欧式距离的平均值。

4)对于数据集中任意数据对象x_i，计算其加权自然邻居密度WeiDensity(x_i)：

进一步，步骤4中离群因子factor表示数据对象的离群程度，factor值越大，则越可能是离群点，所述离群因子为自然邻加权密度的倒数，即：

所述离群因子阈值的计算步骤包括：

1)对离群因子进行升序排序，并通过如下公式计算离群因子变化率：

其中j＝i+1，且j最大值为数据对象的个数；

2)根据离群因子变化率计算阈值，阈值计算公式如下：

threshold＝mean(FVar)。

进一步，步骤5中离群点的标记步骤包括：

1)在离群因子变化率FVar序列的后一半序列中，找到第一个变化率大于threshold的数据对象，记为x_key；

2)将离群因子变化率FVar序列中的x_key以及位于x_key之后的数据对象标记为离群点。

与现有的方法相比，本发明提出的基于自然邻居的密度核心离群检测方法在离群因子计算，以及离群点的提取能够实现无参化，不需要人工参与，极大减少使用成本。另外，本方法的离群因子计算充分融合了数据对象的自然邻居数量和距离情况，以及自然邻居自身的自然邻居数量和距离情况，使离群因子更加能够反应数据对象的离群程度。反应数据对象的增强了方法性能，使本方法能够适应手机用户密集区域和手机用户稀疏区域，进而使无线信号异常区域识别更准确。自然邻居加权密度的计算和离群点都是利用阈值自动提取，不需要参数，能够实现自动检测无线信号的异常数据。

附图说明

图1为发射机工程参数示意图；

图2为发射机和目标区域位置关系图；

图3为本发明的预处理并降维后示例数据集；

图4为本发明的方法流程图；

图5为自然邻加权密度(归一化)图；

图6为离群因子升序图；

图7为离群因子升序后的变化率及阈值图；

图8为离群因子升序和阈值图；

图9为本发明提取的离群点结果图。

具体实施方式

为了说明本发明的过程、技术方案和优点，下面结合附图对本发明做进一步介绍。图1为发射机工程参数示意图，图2是发射机和目标区域位置关系图，图3为本发明的示例数据集预处理并降维后分布情况。图4为本发明的流程图，具体包括：

步骤1，数据预处理

数据参数包括：小区编号、发射机所在栅格X坐标、发射机所在栅格Y坐标、发射机高度、发射机水平方向角、发射机垂直电下倾角、发射机垂直机械下倾角、发射机中心频率、发射机功率、发射机所在位置建筑物高度、发射机所在位置海拔高度、发射机所在地物类型索引、目标区域所在栅格X坐标、目标区域所在栅格Y坐标、目标区域所在栅格建筑物高度、目标区域所在栅格海拔高度、目标区域所在栅格地物类型索引和目标区域所在栅格平均信号接收功率，如表1所示：

表1无线信号数据样例

数据预处理包含以下部分：

1)去除无用的小区编号和固定的发射机中心频率；

2)发射机所在地物类型索引和目标区域所在栅格所在地物类型索引数据使用逻辑回归，将地物类型分为城郊、城市、开阔地和植被区四种类型，并使用独热编码的方式对其进行编码；

3)将发射机所在栅格X坐标、发射机所在栅格Y坐标、发射机高度、发射机水平方向角、发射机垂直电下倾角、发射机垂直机械下倾角、发射机所在位置建筑物高度、发射机所在位置海拔高度、目标区域所在栅格建筑物高度、目标区域所在栅格海拔高度，转换成发射机和目标区域所在栅格的距离Distance、发射机平面法线与栅格法线的角度Angle。具体计算公式如下：

其中

表示发射机到目标区域的位置向量，可以直接通过发射机所在栅格X 坐标、发射机所在栅格Y坐标、发射机所在位置建筑物高度、发射机所在位置海拔高度目标区域所在栅格建筑物高度和目标区域所在海拔高度计算的到，即

表示目标区域平面的法向量，由于目标区域的建筑物都是竖直建造，故

处理之后的数据参数如表2所示：

表2处理之后的数据参数示例

步骤2，自然邻结构搜索

1)令r从1开始迭代；

2)对于数据对象x_i，搜索其第r近邻数据对象x_j，将其添加到KNN(x_i)集合中，x_j被当作r近邻的次数自加1，并记录到元组NbKNN(x_j)中，则x_i被称为为x_j的逆r近邻记录到集合RKNN(x_j)中；

3)如果元组NbKNN中没有0元素，或者NbKNN中的0元素的个数较上一次迭代没有变化，则迭代结束，否者r自加1，跳到2)步骤继续迭代；

4)对于数据对象x_i，其自然邻居NaN(x_i)是KNN(x_i)和RKNN(x_i)的交集。

步骤3，自然邻居加权密度计算

1)对于数据集中任意数据对象x_i，计算其自然邻居数目NaNNumber(x_i)和到其自然邻居数据对象的欧式距离的平均值NaNDistance(x_i)；

2)对于数据集中任意数据对象x_i，计算其自然邻居数据对象的自然邻居数目的平均值NumAverage(x_i)：

NaNNumber(x_j)表示数据对象x_j的自然邻居数目。x_j为x_i的自然邻居。

3)对于数据集中任意数据对象x_i，计算其自然邻居数据对象到其自然邻居数据对象欧式距离的平均值DisAverage(x_i)：

NaNDistance(x_j)表示数据对象x_j到其自然邻居的欧式距离的平均值。

4)对于数据集中任意数据对象x_i，计算其加权自然邻居密度WeiDensity(x_i)：

自然邻居加权密度能够反应数据对象的核心程度，值越大越可能是核心点。反之，自然邻居加权密度越小则越可能是离群点。图5是数据对象的自然邻居加权密度归一化之后的图，颜色越深表示密度越大。从图5可以看出正常数据对象的自然邻居加权密度较大，而离群点的自然邻居加权密度较小。

步骤4，离群因子及离群因子阈值计算

离群因子factor取自然邻居加权密度的倒数：

如图6所示是离群因子升序图，结合图5不难看出，离群点的离群因子较大且存在较大的变化率。因此离群因子阈值计算可借助离群因子变化率来计算，图7则是利用阈值计算公式得到的离群因子变化率和阈值图，阈值计算步骤如下：

1)先对离群因子进行升序排序，并通过如下公式计算离群因子变化率：

其中j＝i+1，且j最大值为数据对象的个数；

2)根据离群因子变化率计算阈值，阈值计算公式如下：

threshold＝mean(FVar)

步骤5，离群点提取

在离群因子变化率FVar序列的后一半序列中，找到第一个变化率大于 threshold的数据对象，记为x_key。将离群因子变化率FVar序列中的x_key以及位于x_key之后的数据对象标记为离群点。图8是离群因子升序和阈值图，可以看出离群因子较大且变化率较大的数据对象将被标记为离群点，图9则是本发明得到的离群点检测结果图。

本发明结合数据集的自然邻居结构，先提出自然邻居加权密度，进而提出离群因子及其阈值计算，能够实现无参的提取离群点，且能应对密度层次差异较大和分布较复杂的数据集。

以上这些实施例应理解为仅用于说明本发明而不用于限制本发明的保护范围。在阅读了本发明的记载的内容之后，技术人员可以对本发明作各种改动或修改，这些等效变化和修饰同样落入本发明权利要求所限定的范围。

Claims (6)

1.一种基于密度核心的无线信号强度异常检测方法，其特征在于，包括以下步骤：

步骤1，对无线信号数据进行预处理，构建数据集；

步骤2，搜索数据集的自然邻居结构，为每个数据对象的自然邻居信息，对于数据对象x_i，其自然邻居是由其它数据对象构成的一个集合，这个集合中的每个数据对象x_j与x_i都互为r近邻，其公式定义如下：

其中KNN_r(x_i)和KNN_r(x_j)分别表示数据对象x_i和x_j的r近邻，Dataset表示数据集，N表示数据量的大小；

搜索数据集的自然邻居结构包括以下步骤：

1)令r从1开始迭代；

2)对于数据对象x_i，搜索其第r近邻数据对象x_j，将其添加到KNN(x_i)集合中，x_j被当作r近邻的次数自加1，并记录到元组NbKNN(x_j)中，则x_i被称为x_j的逆r近邻记录到集合RKNN(x_j)中；

3)如果元组NbKNN中没有0元素，或者NbKNN中的0元素的个数较上一次迭代没有变化，则迭代结束，否者r自加1，跳到2)步骤继续迭代；

4)对于数据对象x_i，其自然邻居NaN(x_i)是KNN(x_i)和RKNN(x_i)的交集；

步骤3，利用步骤2所述自然邻居结构计算每个数据对象的自然邻居加权密度WeiDensity，计算步骤包括：

1)对于数据集中任意数据对象x_i，计算其自然邻居数目NaNNumber(x_i)和到其自然邻居数据对象的欧式距离的平均值NaNDistance(x_i)；

2)对于数据集中任意数据对象x_i，计算其自然邻居数据对象的自然邻居数目的平均值NumAverage(x_i)：

3)对于数据集中任意数据对象x_i，计算其自然邻居数据对象到其自然邻居数据对象欧式距离的平均值DisAverage(x_i)：

4)对于数据集中任意数据对象x_i，计算其加权自然邻居密度WeiDensity(x_i)：

步骤4，根据每个数据对象的自然邻居加权密度计算其离群因子factor和计算离群因子阈值threshold；

步骤5，根据阈值threshold标记离群点。

2.根据权利要求1所述一种基于密度核心的无线信号强度异常检测方法，其特征在于：所述无线信号数据包括小区编号、发射机所在栅格X坐标、发射机所在栅格Y坐标、发射机高度、发射机水平方向角、发射机垂直电下倾角、发射机垂直机械下倾角、发射机中心频率、发射机功率、发射机所在位置建筑物高度、发射机所在位置海拔高度、发射机所在地物类型索引、目标区域所在栅格X坐标、目标区域所在栅格Y坐标、目标区域所在栅格建筑物高度、目标区域所在栅格海拔高度、目标区域所在栅格地物类型索引和目标区域所在栅格平均信号接收功率。

3.根据权利要求2所述一种基于密度核心的无线信号强度异常检测方法，其特征在于：所述对无线信号数据进行预处理的步骤包括：

1)去除无用的小区编号和固定的发射机中心频率；

2)发射机所在地物类型索引和目标区域所在栅格所在地物类型索引数据使用逻辑回归，将地物类型分为城郊、城市、开阔地和植被区四种类型，并使用独热编码的方式对其进行编码；

3)将发射机所在栅格X坐标、发射机所在栅格Y坐标、发射机高度、发射机水平方向角、发射机垂直电下倾角、发射机垂直机械下倾角、发射机所在位置建筑物高度、发射机所在位置海拔高度、目标区域所在栅格建筑物高度、目标区域所在栅格海拔高度，转换成发射机和目标区域所在栅格的距离、发射机平面法线与栅格法线的角度。

4.根据权利要求1所述一种基于密度核心的无线信号强度异常检测方法，其特征在于：所述离群因子为自然邻居加权密度的倒数，即：

5.根据权利要求1所述一种基于密度核心的无线信号强度异常检测方法，其特征在于：所述离群因子阈值的计算步骤包括：

1)对离群因子进行升序排序，并通过如下公式计算相邻两个离群因子变化率：

其中j＝i+1，且j最大值为数据对象的个数；

2)根据离群因子变化率计算阈值，阈值计算公式如下：

threshold＝mean(FVar)。

6.根据权利要求1所述一种基于密度核心的无线信号强度异常检测方法，其特征在于：步骤5所述离群点标记步骤包括：

1)在离群因子变化率FVar序列的后一半序列中，找到第一个变化率大于threshold的数据对象，记为x_key；

2)将离群因子变化率FVar序列中的x_key以及位于x_key之后的数据对象标记为离群点。

Images