CN112113570B - 一种基于深度迁移和模型参数集成的室内定位方法 - Google Patents

Abstract

本发明属于室内定位技术领域，具体是涉及一种基于深度迁移和模型参数集成的室内定位方法。本发明利用深度迁移对源域和目标域深层特征进行均值距离最小化约束和二阶统计差异最小化约束，能最大程度的减小域差异，进而使模型能够有效的适应复杂的室内环境。利用参数集成的思想，让用于预测的模型在每个训练步骤利用指数滑动平均机制集成利用梯度下降法进行训练的网络的参数，降低了神经网络在训练过程中的抖动，保证预测模型具有稳定的输出。本发明可以有效克服复杂室内环境中由于环境变化和异构设备测量偏差导致的误差增大的问题及神经网络在训练中的抖动问题。

Description

一种基于深度迁移和模型参数集成的室内定位方法

技术领域

本发明属于室内定位技术领域，具体是涉及一种基于深度迁移和模型参数集成的在复杂室内环境中进行定位的方法。

背景技术

随着移动互联网的普及和智能设备的广泛使用，基于室内环境的位置服务请求成为了巨大的流量入口，它有非常多的应用场景，例如在商场、写字楼、机场航站楼等大型公共场所能够提供位置导航和路径规划；在遇到火灾等突发情况时能够协助人群疏散和消防员救援；在智慧物流中能够高效调配物资等等。室内定位系统需要在固定位置安装发射装置以发送定位信号，而大量安装设备会耗费人力和财力，因此已经被广泛部署在商场、机场航站楼等大型建筑中的WiFi成为了大多数定位系统倾向使用的信号源。

基于WiFi的定位方法主要分为两大类：三角定位法和指纹定位法，其中基于指纹定位的方法由于不会受到多径效应和非视距效应的影响而受到广泛关注，它主要包含离线建库和在线定位两个阶段。离线建库阶段，将室内环境划分成多个网格，在不同网格上通过移动设备采集环境中所有接入点的接收信号强度(Received Signal Strength，RSS)，利用采集到的RSS值和对应格点坐标构造离线指纹库。在线定位阶段，给定一个未知位置的RSS样本，在指纹库中通过匹配算法进行匹配，将RSS相似度最高的指纹位置作为对当前样本的位置估计。传统的基于指纹的定位方法均假设在线定位阶段的样本与离线建库阶段的指纹具有相同的数据分布，但由于环境的时变性和异构设备采样值的偏差性，在线定位时的样本数据分布会在均值和方差上偏离指纹库中的数据分布，从而导致定位误差。

文献[1]提出了一种最大均值差异准则(Maximum Mean Discrepancy，MMD)，将源域和目标域数据映射到高维空间并减小其均值距离。文献[2]提出了一种深度协方差对齐(Deep Correlation Alignment，Deep CORAL)的方法，学习数据的深层特征并最小化源和目标特征的二阶统计差异。在实际的定位环境中，环境变化导致的分布差异主要体现在方差变化上，异构设备测量值导致的分布差异主要体现在均值变化上，因而上述两种方法仅能够针对其中一种影响因素进行有效约束，对分布差异的减小明显不足。此外，深度神经网络在训练时会存在明显抖动导致输出不够稳定。基于上述两个原因，该类方法在复杂的室内定位环境中难以实现稳定且准确的定位结果。

[1]A.Gretton，K.M.Borgwardt，M.J.Rasch，B.

and A.Smola，“Akernel two-sample test，”Journal of Machine Learning Research，vol.13，no.Mar，pp.723-773，2012.

[2]Baochen Sun and Kate Saenko.2016.Deep CORAL：Correlation Alignmentfor Deep Domain Adaptation.In Computer Vision-ECCV 2016 Workshops.443-450.

发明内容

本发明的目的是，为克服上述不足，提供一种新的基于深度迁移和模型参数集成的室内定位方法。如图1所示，方法采用两个结构相同且初始化参数相同的深度神经网络，分别命名为Student网络与Teacher网络进行模型训练。Student网络通过从均值和协方差两个角度同时对源域和目标域的深层特征进行约束，充分减小域差异。Teacher网络在每一步训练过程中通过指数滑动平均(Exponential Moving Average，EMA)机制不断集成Student网络的参数，实现模型的稳定输出。最终利用Teacher网络能够在复杂的室内环境中实现准确且稳定的定位。

本发明的技术方案是：一种基于深度迁移和模型参数集成的室内定位方法，包括以下步骤：

S1、将待定位区域划分为等大小的网格区域，为不同格点设置不同的标签并记录每个格点的坐标信息，格点的标签表示为：

Y_s＝{y_i|i＝1，2，...，C}

其中，C代表室内环境划分的总格点数；

S2、自定义采样周期时长，第1个采样周期内使用移动设备在格点中进行多次采样，记录不同网格上各个接入点的RSS值，生成RSS矩阵X_s：

X_s＝{x_i ^T|i＝1，2，...，N_s}

其中，N_s表示指纹库的总样本数，第i个样本的RSS采样值表示为：

其中，M表示待定位区域中的总接入点数量；

S3、将RSS矩阵X_s与格点标签Y_s对应起来构建离线指纹库，作为源域数据D_s：

D_s＝{X_s，Y_s}

S4、收集来自第n个采样周期的待定位移动设备的RSS值，作为辅助训练数据X_aug，其中n为采样周期数，且n≥2：

其中，N_t表示目标域中的总样本数量，

表示待定位移动设备实时采集的RSS样本值，目标域数据D_t表示为：

D_t＝{X_aug}

S5、构建两个完全相同的深度全连接神经网络：每个神经网络都包含4层全连接层，并在最后一层全连接层后接softmax层，将一个深度全连接神经网络定义为Student网络，另一个深度全连接神经网络定义为Teacher网络；

S6、将源域数据D_s和目标域数据D_t输入至Student网络中，将添加过噪声扰动的目标域数据

输入Teacher网络中，对网络模型进行训练，得到训练好的网络，具体方法为：

S61、将带有位置信息的源域数据，未知位置信息的目标域数据输入Student网络中，在最后一层全连接层分别得到源域和目标域深层特征F_s和F_t；

S62、使用MMD准则，最小化源域和目标域深层特征F_s和F_t的均值距离，即最小化损失函数L_mmd：

其中，φ为核映射，核函数k(F_s，F_t)＝<φ(F_s)，φ(F_t)>；

S63、使用CORAL损失，减小源域和目标域深层特征F_s和F_t的二阶统计差异，即最小化损失函数L_CORAL：

其中，d为RSS样本的维数，C_s和C_t分别为F_s和F_t的协方差矩阵：

其中，1是元素全部为1的列向量；

S64、利用交叉熵损失函数衡量预测错误的代价，即对源域数据的softmax层的输出计算分类损失并将其最小化：

其中，

表示数据通过分类器后的预测结果；

S65、对Teacher网络和Student网络的softmax层的输出计算一致性损失并将其最小化：

L_const＝E_x，η[||f(F_t，θ′，η)-f(F_t，θ)||²]

其中，f(F_t，θ′，η)表示网络参数为θ′，添加标准差为η的噪声扰动后的Teacher网络的softmax层输出，f(F_t，θ)表示网络参数为θ的Student网络的softmax层输出；

S66、用梯度下降法对Student网络的网络参数进行更新，最小化总损失函数L直至收敛：

L＝L_cls+L_mmd+L_CORAL+L_const

S67、使用指数滑动平均机制，将Student网络的参数集成到Teacher网络，完成Teacher网络的参数更新：

θ′_t＝λθ_t+(1-λ)θ_s

其中，θ_t和θ_s分别表示当前时刻Teacher网络和Student网络的网络参数，θ′_t表示经过参数集成后下一时刻的Teacher网络参数，λ表示平滑系数，根据训练次数动态更新：

epoch表示训练次数；

S7、采用训练好的Teacher网络对来自第(n+1)个采样周期的待定位移动设备的RSS值进行定位，得到定位结果。

本发明的有益效果是：本发明使用深度神经网络挖掘源域和目标域数据的深层特征，充分利用无标签数据辅助源域数据训练，并利用均值和协方差的双重约束进行知识迁移以减小域差异，使模型在环境变化和异构设备测量偏差同时存在的复杂定位环境下能够实现准确的位置估计。使用指数滑动平均实现模型参数集成，保证了用于预测的网络具有稳定的输出结果。因此本发明提出的基于深度迁移和模型参数集成的室内定位方法是一种定位精度高、结果输出稳定的实时定位方法。

附图说明

图1为基于深度迁移和模型参数集成的室内定位模型的网络结构示意图；

图2为基于深度迁移和模型参数集成的室内定位方法流程图；

图3为背景技术方法和本发明方法在环境变化下的定位累计误差百分比；

图4为背景技术方法和本发明方法在异构设备测量值下的定位误差对比图；

图5为背景技术方法和本发明方法在环境变化及异构设备共存时的定位误差对比图。

具体实施方式

下面结合附图及实施例，详细描述本发明的技术方案：

步骤1.将室内环境划分为等大小的网格区域，为不同格点设置不同的标签并记录每个格点的坐标信息，格点的标签可以表示为：

Y_s＝{y_i|i＝1，2，...，C}

其中，C代表室内环境划分的总格点数；

步骤2.定义采样周期时长为月，在第1个月内使用移动设备在格点中进行多次采样，记录不同网格上各个接入点的RSS值，生成RSS矩阵X_s：

X_s＝{x_i ^T|i＝1，2，...，N_s}

其中，N_s表示指纹库的总样本数。第i个样本的RSS采样值可以表示为：

其中，M表示室内环境中的总接入点数量。

步骤3.将RSS矩阵X_s与格点标签Y_s对应起来构建离线指纹库，作为源域数据D_s：

D_s＝{X_s，Y_s}

步骤4.收集来自第n个月(n≥2)的待定位移动设备的RSS值，作为辅助训练数据X_aug：

其中，N_t表示目标域中的总样本数量，

表示待定位移动设备在当前环境下采集的RSS样本值。目标域数据D_t可以表示为：

D_t＝{X_aug}

步骤5.构建两个完全相同的深度全连接神经网络：每个神经网络都包含4层全连接层，并在最后一层全连接层后接softmax层，以得到预测标签的概率分布及预测标签；

步骤6.将步骤3和步骤4得到源域数据D_s和目标域数据D_t输入至Student网络中，将添加过噪声扰动的目标域数据

输入Teacher网络中，利用步骤5构建的网络进行模型训练，进一步地，所述步骤6的具体步骤为：

步骤6-1.将源域数据D_s和目标域数据D_t输入Student网络中，在最后一层全连接层分别得到深层特征F_s和F_t，用于实现知识迁移；

步骤6-2.使用MMD准则，最小化源域和目标域深层特征F_s和F_t的均值距离，即最小化损失函数L_mmd，以增强模型在异构设备测量偏差情况下的适应性：

其中，φ为核映射，核函数k(F_s，F_t)＝<φ(F_s)，φ(F_t)>；

步骤6-3.使用CORAL损失，减小源域和目标域深层特征F_s和F_t的二阶统计差异，即最小化损失函数L_CORAL，以增强模型在环境变化下的适应性：

其中，d为RSS样本的维数，C_s和C_t分别为F_s和F_t的协方差矩阵，可以由式(3)(4)进行计算：

其中，1是元素全部为1的列向量；

步骤6-4.利用交叉熵损失函数衡量预测错误的代价，即对源域数据的softmax层的输出计算分类损失并将其最小化：

其中，

表示数据通过分类器后的预测结果。

步骤6-5.对Teacher网络和Student网络的softmax层的输出计算一致性损失并将其最小化：

L_const＝E_x，η[||f(F_t，θ′，η)-f(F_t，θ)||²] (6)

其中，f(F_t，θ′，η)表示网络参数为θ′，添加标准差为η的噪声扰动后的Teacher网络的softmax层输出，f(F_t，θ)表示网络参数为θ的Student网络的softmax层输出；

步骤6-6.利用梯度下降法对Student网络的网络参数进行更新，迭代进行前后向传播，直到总损失函数L收敛：

L＝L_cls+L_mmd+L_CORAL+L_const (7)

步骤6-7.使用指数滑动平均机制，将Student网络的参数集成到Teacher网络，完成Teacher网络的参数更新：

θ′_t＝λθ_t+(1-λ)θ_s (8)

其中，θ_t和θ_s分别表示当前时刻Teacher网络和Student网络的网络参数，θ′_t表示经过参数集成后下一时刻的Teacher网络参数，λ表示平滑系数，根据训练次数动态更新：

步骤7.将来自第(n+1)个月的待定位移动设备在某一时刻的RSS测量值输入由步骤6训练好的Teacher模型中，输出最佳匹配的标签并转换为具体二维坐标，得到定位结果。

实施例

以此模型对在西班牙Jaume I大学采集的RSS公开数据集进行实验，数据采集区域的面积约308.4平方米，被划分为48个网格格点，共覆盖620个接入点。使用第1个月采集的样本及标签作为固定的源域数据，共包含8640条样本；使用第n个月(n≥2)的目标域数据作为辅助训练数据，样本数目为3120条；使用第(n+1)个月实时收到的每条RSS数据作为测试数据，验证模型效果。

神经网络中每一层的神经元个数依次为256，256，256，256和10，初始化参数设置为随机初始化。

本发明设计了三组实验来验证提出算法的优越性。第一组实验是对比背景技术方法和本发明方法在环境变化下的定位累计误差百分比，如图3所示，在仅存在环境变化因素影响的情况下，本发明的平均定位误差为2.62m，且有75％的样本误差在4m以内，明显优于两种背景技术方法；第二组实验是对比背景技术方法和本发明方法在异构设备测量值下的定位误差，设备1、设备2、设备3的测量值偏差分别为2dBm、3dBm、5dBm，如图4所示，本发明方法的定位误差均明显低于两种背景技术方法，且误差浮动范围在±0.08m以内，具有稳定的预测输出；第三组实验是对比背景技术方法和本发明方法在环境变化及异构设备共存时的定位误差，这里取异构设备测量偏差为3dBm，如图5所示，本发明方法在22个月的测试数据上的定位误差都低于两种背景技术的定位误差且优势明显。三组实验的结果证明，本发明利用深度迁移对源域和目标域深层特征进行均值距离最小化约束和二阶统计差异最小化约束，能最大程度的减小域差异，进而使模型能够有效的适应复杂的室内环境。使用参数集成的思想，降低了神经网络在训练过程中的抖动，保证模型具有稳定的输出。综上所述，本发明是一种能够在复杂室内环境中实现准确且稳定定位的方法。

Claims (1)

1.一种基于深度迁移和模型参数集成的室内定位方法，其特征在于，包括以下步骤：

S1、将待定位区域划分为等大小的网格区域，为不同格点设置不同的标签并记录每个格点的坐标信息，格点的标签表示为：

Y_s＝{y_i|i＝1，2，...，C}

其中，C代表室内环境划分的总格点数；

S2、自定义采样周期时长，第1个采样周期内使用移动设备在格点中进行多次采样，记录不同网格上各个接入点的RSS值，生成RSS矩阵X_s：

X_s＝{x_i ^T|i＝1，2，...，N_s}

其中，N_s表示指纹库的总样本数，第i个样本的RSS采样值表示为：

其中，M表示待定位区域中的总接入点数量；

S3、将RSS矩阵X_s与格点标签Y_s对应起来构建离线指纹库，作为源域数据D_s：

D_s＝{X_s，Y_s}

S4、收集来自第n个采样周期的待定位移动设备的RSS值，作为辅助训练数据X_aug，其中n为采样周期数，且n≥2：

其中，N_t表示目标域中的总样本数量，

表示待定位移动设备实时采集的RSS样本值，目标域数据D_t表示为：

D_t＝{X_aug}

S5、构建两个完全相同的深度全连接神经网络：每个神经网络都包含4层全连接层，并在最后一层全连接层后接softmax层，将一个深度全连接神经网络定义为Student网络，另一个深度全连接神经网络定义为Teacher网络；

S6、将源域数据D_s和目标域数据D_t输入至Student网络中，将添加过噪声扰动的目标域数据

输入Teacher网络中，对网络模型进行训练，得到训练好的网络，具体方法为：

S61、将带有位置信息的源域数据，未知位置信息的目标域数据输入Student网络中，在最后一层全连接层分别得到源域和目标域深层特征F_s和F_t；

S62、使用MMD准则，最小化源域和目标域深层特征F_s和F_t的均值距离，即最小化损失函数L_mmd：

其中，φ为核映射，核函数k(F_s，F_t)＝<φ(F_s)，φ(F_t)>；

S63、使用CORAL损失，减小源域和目标域深层特征F_s和F_t的二阶统计差异，即最小化损失函数L_CORAL：

其中，d为RSS样本的维数，C_s和C_t分别为F_s和F_t的协方差矩阵：

其中，1是元素全部为1的列向量；

S64、利用交叉熵损失函数衡量预测错误的代价，即对源域数据的soffmax层的输出计算分类损失并将其最小化：

其中，

表示数据通过分类器后的预测结果；

S65、对Teacher网络和Student网络的softmax层的输出计算一致性损失并将其最小化：

L_const＝E_x，η[||f(F_t，θ′，η)-f(F_t，θ)||²]

其中，f(F_t，θ′，η)表示网络参数为θ′，添加标准差为η的噪声扰动后的Teacher网络的softmax层输出，f(F_t，θ)表示网络参数为θ的Student网络的softmax层输出；

S66、用梯度下降法对Student网络的网络参数进行更新，最小化总损失函数L直至收敛：

L＝L_cls+L_mmd+L_CORAL+L_const

S67、使用指数滑动平均机制，将Student网络的参数集成到Teacher网络，完成Teacher网络的参数更新：

θ′_t＝λθ_t+(1-λ)θ_s

其中，θ_t和θ_s分别表示当前时刻Teacher网络和Student网络的网络参数，θ′_t表示经过参数集成后下一时刻的Teacher网络参数，λ表示平滑系数，根据训练次数动态更新：

S7、采用训练好的Teacher网络对来自第(n+1)个采样周期的待定位移动设备的RSS值进行定位，得到定位结果。

Images