CN110967014B - 一种基于增强现实技术的机房室内导航和设备追踪的方法 - Google Patents

Abstract

本发明提出了一种基于增强现实技术的机房室内导航和设备追踪的方法，包括以下步骤：通过全景相机三维扫描采集机房场景状态数据，建立三维虚拟机房模型；采用指纹定位算法确定当前巡检位置信息，建立位置指纹识别数据库；根据全景图像采集到的当前图像，判断当前图像与参考图像是否为同一室内环境，如果是，则提取当前图像中的特征点，寻找当前图像与参考图像之间的映射关系，运用视觉定位算法将当前图像的位置点投影标记到虚拟场景对应点之上；建立参考坐标系，根据特定环境实时生成虚拟定位信息和导航信息。本发明的室内导航和设备追踪能够帮助巡检人员快速定位的具体设备，对于提升调度运维工作效率有巨大的积极作用。

Description

一种基于增强现实技术的机房室内导航和设备追踪的方法

技术领域

本发明涉及软件技术领域，特别涉及一种基于增强现实技术的机房室内导航和设备追踪的方法。

背景技术

电力是我国工业化建设领域的重大基础服务型行业，关系到国计民生的发展。所以需要主动掌握设备的运行状况及动态，因此机房巡检工作尤为重要。机房巡检是信息通信机房管理最基本的工作内容，同时也是机房管理运营中技术难度较高的一环。在确保电力系统安全运行的前提下，要求能够对机房设备、通道环境的状态全面的感知、动态的分析、及时的预警，各层级运检管理人员对机房进行更有效地管控。随着电子信息技术的不断发展，信息技术正以前所未有的广度和深度与信息通信管理快速融合，电力系统的自动化智能化要求也不断增加。针对目前机房巡检的精度问题，目前大部分企业已经开始部署增强现实技术的机房巡检技术。智能巡检技术处理人工操作更便捷智能，并有利于建立电网自身的智能巡检数据库。

发明内容

本发明的目的旨在至少解决所述技术缺陷之一。

为此，本发明的目的在于提出一种基于增强现实技术的机房室内导航和设备追踪的方法，室内导航和设备追踪能够帮助巡检人员快速定位的具体设备，并且帮助规划路线，对于提升调度运维工作效率有巨大的积极作用。

为了实现上述目的，本发明提供一种基于增强现实技术的机房室内导航和设备追踪的方法，包括以下步骤：

步骤S1，虚拟机房全景建模：通过全景相机三维扫描采集机房场景状态数据，建立三维虚拟机房模型；

步骤S11，图像采集：在机房内设置多个全景相机，使用全景相机获取机房场景的全景图像；

步骤S12：图像投影：将获取的全景图像进行360度柱面投影，得到机房环视场景的图像源，并获取所有图像源对应的场景空间信息；

步骤S13：图像拼接：根据步骤S12得到的图像源，经过预处理和统一坐标变换后进行图像配准和图像融合，最终得到拼接全景图；

步骤S14：场景存储和显示：将步骤S13得到的拼接全景图保存后，通过web页面浏览机房各个拼接全景图；

步骤S2，定位模块:根据全景相机的位置信息，采用指纹定位算法确定当前巡检位置信息，建立位置指纹识别数据库；

步骤S21，训练阶段：采用基于信号强度的Wi-Fi室内定位技术，建立无线信号强度和位置信息稳定映射关系，根据定位精度的要求划分环境网格，并确定Wi-Fi设备的位置采集点，使得所有采集点能够辐射到所有网格点，然后，分别测量所有网格位置的信号强度值，并将每一位网格的位置信息存储到室内环境位置指纹识别数据库中；

步骤S22，定位当前巡检位置：将当前巡检位置作为待测点，根据室内环境位置指纹识别数据库，采用最近邻法将待测点多个周边位置检测到的位置采集点的值与位置指纹识别数据库中已存储的记录进行比较和匹配，再计算出待测点位置估计值；

步骤S3，根据全景图像采集到的当前图像，判断当前图像与参考图像是否为同一室内环境，如果是，则提取当前图像中的特征点，寻找当前图像与参考图像之间的映射关系，运用视觉定位算法将当前图像的位置点投影标记到虚拟场景对应点之上；

步骤S4，获取特征点的三维坐标，建立参考坐标系，根据特定环境实时生成虚拟定位信息和导航信息。

在上述任一方案中优选的是，在步骤S12中，对于实景图像上的任意一个像素点(x,y)，其柱面正投影到柱面全景图像上的坐标(x′,y′)公式为：

其中，H和W为实景图像的高和宽，单位是像素；f是相机焦距，单位也是像素。

在上述任一方案中优选的是，在步骤S13中，经过预处理和统一坐标变换后进行图像配准和图像融合的具体过程为：利用比值匹配法在步骤S12得到的图像源中寻找匹配点，首先将图像源中的一幅图像作为样本，选取样本的样本特征点，根据与样本特征点的距离在另外一幅图像中寻找最近特征点和次近特征点，然后计算最近特征点和次近特征点与样本特征点之间欧氏距离的比值；将对于比值小于某一阈值范围内的样本特征点，则认为是正确匹配的特征点；

其中，ratio表示正确匹配的特征点，d_i,NearestPoi表示最近特征点与样本特征点之间欧氏距离，d_{i+j,NearestPoi}表示次近特征点与样本特征点之间欧氏距离，threshold表示某一阈值范围，特征点匹配需要所有的重叠部分内进行。

在上述任一方案中优选的是，在步骤S22中，网格位置的信号强度值的计算公式为：RSS＝Pt-K-10^αlog₁₀ d；

其中，RSS为网格位置的信号强度值，α为路径损耗指数，Pt是传输功率，K是决定于媒体和评率的常数。

在上述任一方案中优选的是，在步骤S21中，室内环境位置指纹识别数据库中的每个点的指纹信息为{(x_i,y_i),RSSI_i,1,RSSI_i,2,...,RSSI_i,M}，RSSI_i,j表示在第i个点接收来自第j个点的WI-FI信号的强度，(x_i,y_i)表示点i的位置坐标。

在上述任一方案中优选的是，在步骤S22中，计算出待测点位置估计值的具体过程如下：

步骤S221，首先计算待测点的指纹信息与指纹数据库中的所有指纹信息的距离dist_i,j，{dist_i,j}，0≤i≠j≤M；

步骤S222，步骤按照距离dist_i,j从下到大选取K个对应的指纹坐标作为参考坐标；

步骤S223，由最近邻法算法计算出待定点的估计坐标，k∈[1，K]。

在上述任一方案中优选的是，在步骤S3中，提取当前图像中的特征点过程如下：

步骤S31，在当前图像中选取像素p，取其亮度I_p；

步骤S32，设置阈值T＝I_p*30％；

步骤S33，以像素p为圆心，取半径为3个像素做圆，如果圆上存在12个相连点的亮度不在I_p±ε范围内,其中，ε为给定误差，则像素p点称为特征点；

步骤S34，对当前图像中的每个像素执行步骤S32操作；

步骤S35，计算角点的响应值，并选择最大响应值的前N个角点组成集合A。

在上述任一方案中优选的是，采用随机抽样一致算法对特征点进行匹配，包括以下步骤：首先从集合A中任意挑选出一组局内点作为1个数据点样本；求出一套模型参数，然后在通过计算出的模型来检验另外每个数据点，若某个点的误差在设置的误差阈值之间，就确定其为局内点，否则确定为局外点，只存储当前为止局内点数量最多的模型，将其记录为最优模型，迭代执行以上步骤固定次数后，采用最优模型相应的局内点来最后计算模型的参数。

在上述任一方案中优选的是，在步骤S3中，当前图像与参考图像之间的映射关系为：当前图像的三维点齐次坐标(x_t,y_t,z_t,1)与在参考图像上的投影齐次坐标(x_t′,y_t′,1)的透视投影关系：

其中，K表示个数，r₁、r₂、r₃表示半径，T表示阈值。

在上述任一方案中优选的是，在步骤S4中，获取特征点的三维坐标，建立参考坐标系，通过带有权重的K最近邻法即WKNN算法，计算特定环境实时生成虚拟定位信息和绝对姿态；

其中，为第k个参考点的坐标，dist_k为第k个参考点与待定点之间的欧氏距离，W_k为WKNN算法的加权系数；

本发明的基于增强现实技术的机房室内导航和设备追踪的方法具有以下有益效果：

1、本发明将虚拟现实技术应用于机房巡检中，使得在机房内进行室内导航和设备追踪更加便捷、直观，此外，室内导航和设备追踪能够帮助巡检人员快速定位具体设备，并且帮助规划路线，提升调度运维工作效率。

2、本发明利用全景摄像头和WI-FI指纹识别定位算法确定在实际场景中的位置，电子罗盘获取摄像头的方向，结合视觉同步定位与图像绘图技术映射现实场景和虚拟场景，最终实现增强现实系统中实现导航和设备追踪功能，不仅具有较强的可用性和实用性，还具有广泛的应用前景。

3、本发明可实时采对3D虚拟场景中设备追踪和路径规划，帮助运维人员最快地找的目标设备。

4、本发明通过WI-FI指纹定位，形成实时导航信息，在一定程度上解决了目前虚拟环境内导航存在精度有限、可视性差、人机交互能力低等问题。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1是本发明的流程图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

本发明提供本发明提供一种基于增强现实技术的机房室内导航和设备追踪的方法，包括以下步骤：

步骤S1，虚拟机房全景建模：通过全景相机三维扫描采集机房场景状态数据，建立三维虚拟机房模型；

步骤S11，图像采集：在机房内设置多个全景相机，使用全景相机获取机房场景的全景图像；

步骤S12：图像投影：将获取的全景图像进行360度柱面投影，得到机房环视场景的图像源，并获取所有图像源对应的场景空间信息；

对于实景图像上的任意一个像素点(x,y)，其柱面正投影到柱面全景图像上的坐标(x′,y′)公式为：

其中，H和W为实景图像的高和宽，单位是像素；f是相机焦距，单位也是像素。

步骤S13：图像拼接：根据步骤S12得到的图像源，经过预处理和统一坐标变换后进行图像配准和图像融合，最终得到拼接全景图；

经过预处理和统一坐标变换后进行图像配准和图像融合的具体过程为：利用比值匹配法在步骤S12得到的图像源中寻找匹配点，首先将图像源中的一幅图像作为样本，选取样本的样本特征点，根据与样本特征点的距离在另外一幅图像中寻找最近特征点和次近特征点，然后计算最近特征点和次近特征点与样本特征点之间欧氏距离的比值；将对于比值小于某一阈值范围内的样本特征点，则认为是正确匹配的特征点；

其中，ratio表示正确匹配的特征点，d_i,NearestPoi表示最近特征点与样本特征点之间欧氏距离，d_{i+j,NearestPoi}表示次近特征点与样本特征点之间欧氏距离，threshold表示某一阈值范围，特征点匹配需要所有的重叠部分内进行。

在进行图像拼接时，采用基于图像绘制(Image-Based Rendering,简称IBR)的方法，通过根据从步骤S12得到的图像源来建立场景的几何模型。

步骤S14：场景存储和显示：将步骤S13得到的拼接全景图保存后，通过web页面浏览机房各个拼接全景图；

步骤S2，定位模块:根据全景相机的位置信息，采用指纹定位算法确定当前巡检位置信息，建立位置指纹识别数据库；

上述指纹定位算法采用基于接收信号强度(Received Signal StrengthIndication)的WI-FI室内定位算法，RSSI的指纹数据库如表1所示，其中参考点j(AccessPoint,AP)的指纹信息可以表示为[RSSI_j,1,RSSI_j,2,...,RSSI_j,i,...,RSSI_j,M]，其中RSSI_j,i表示第j个参考点RP_j接收来自第i个WI-FI接入点AP_i的信号强度。

表1 RSSI指纹数据库模型

步骤S21，训练阶段：采用基于信号强度的Wi-Fi室内定位技术，建立无线信号强度和位置信息稳定映射关系，根据定位精度的要求划分环境网格，并确定Wi-Fi设备的位置采集点，使得所有采集点能够辐射到所有网格点，然后，分别测量所有网格位置的信号强度值，并将每一位网格的位置信息存储到室内环境位置指纹识别数据库中；

网格位置的信号强度值的计算公式为：RSS＝Pt-K-10^αlog₁₀ d；

其中，RSS为网格位置的信号强度值，α为路径损耗指数，Pt是传输功率，K是决定于媒体和评率的常数。

步骤S22，定位当前巡检位置：将当前巡检位置作为待测点，根据室内环境位置指纹识别数据库，采用最近邻法将待测点多个周边位置检测到的位置采集点的值与位置指纹识别数据库中已存储的记录进行比较和匹配，再计算出待测点位置估计值；

室内环境位置指纹识别数据库中的每个点的指纹信息为：

{(x_i,y_i),RSSI_i,1,RSSI_i,2,...,RSSI_i,M}；

其中，RSSI_i,j表示在第i个点接收来自第j个点的WI-FI信号的强度，(x_i,y_i)表示点i的位置坐标。

计算出待测点位置估计值的具体过程如下：

步骤S221，首先计算待测点的指纹信息与指纹数据库中的所有指纹信息的距离dist_i,j，{dist_i,j}，0≤i≠j≤M；

步骤S222，步骤按照距离dist_i,j从下到大选取K个对应的指纹坐标作为参考坐标；

步骤S223，由最近邻法算法计算出待定点的估计坐标，k∈[1，K]。

特征匹配采用随机抽样一致算法对特征点进行匹配，包括以下步骤：首先从集合A中任意挑选出一组局内点求出一套模型参数，然后在通过计算出的模型来检验另外每个数据点，若某个点的误差在设置的误差阈值之间，就确定其为局内点，否则确定为局外点，只存储当前为止局内点数量最多的模型，将其记录为最优模型，迭代执行以上步骤固定次数后，采用最优模型相应的局内点来最后计算模型的参数。此外，还可以根据估计局内点和模型的错误率来评价模型。匹配的准确率有了很大的提升，同时过滤掉了一部分特征点，减少了后续的计算负担，提髙效率。

具体步骤如下：

(1)随机采样：从集合A中任意挑选出一组局内点作为1个数据点样本；

(2)预检验：判断特征3角形对是否相似，如果成立，转到(3)；否则，返回(1)重新选择一个数据点样本；

(3)模型参数计算：根据最大欧氏距离法选择2对特征点构成线性方程组，并求解出相似变换模型的4个参数r₁,r₂,r₃,T；

(4)全数据检验：由变换模型参数以及阈值依次判断该特征点对是否是内点，即计算是否满足，其中i∈[1,n]；

(5)如果(4)中内点的数量小于既设阈值th_d，则返回(1),如果大于th_d，记录内点组成的集合S_d及其对应的模型参数；(6)根据样本最大的一致集S_i重新估计模型，得到最后结果并结束算法；(7)经过m次迭代，如果没有找到一致集S_i，则选取(4)中内点数量最大的集合计算模型参数，得到最后结果并结束算法。

步骤S3，根据全景图像采集到的当前图像，判断当前图像与参考图像是否为同一室内环境，如果是，则提取当前图像中的特征点，寻找当前图像与参考图像之间的映射关系，运用视觉定位算法将当前图像的位置点投影标记到虚拟场景对应点之上；

提取当前图像中的特征点过程如下：

步骤S31，在当前图像中选取像素p，取其亮度I_p；

步骤S32，设置阈值T＝I_p*30％；

步骤S33，以像素p为圆心，取半径为3个像素做圆，如果圆上存在12个相连点的亮度不在I_p±ε范围内,其中，ε为给定误差，则像素p点称为特征点；

步骤S34，对当前图像中的每个像素执行步骤S32操作；

步骤S35，计算角点的响应值，并选择最大响应值的前N个角点组成集合A。

其中，添加尺度和旋转的描述，尺度不变性。

当前图像与参考图像之间的映射关系为：当前图像的三维点齐次坐标(x_t,y_t,z_t,1)与在参考图像上的投影齐次坐标(x′_t,y′_t,1)的透视投影关系：

其中，K表示个数，r₁、r₂、r₃、T表示相似变换模型的4个参数。

步骤S4，获取特征点的三维坐标，建立参考坐标系，根据特定环境实时生成虚拟定位信息和导航信息。

获取特征点的三维坐标，建立参考坐标系，通过带有权重的K最近邻法即WKNN算法，计算特定环境实时生成虚拟定位信息和绝对姿态；

其中，为第k个参考点的坐标，dist_k为第k个参考点与待定点之间的欧氏距离，W_k为WKNN算法的加权系数；

本发明将虚拟现实技术应用于机房巡检中，使得在机房内进行室内导航和设备追踪更加便捷、直观，此外，室内导航和设备追踪能够帮助巡检人员快速定位具体设备，并且帮助规划路线，提升调度运维工作效率。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在不脱离本发明的原理和宗旨的情况下在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。本发明的范围由所附权利要求及其等同限定。

Claims (6)

1.一种基于增强现实技术的机房室内导航和设备追踪的方法，其特征在于，包括以下步骤：

步骤S1，虚拟机房全景建模：通过全景相机三维扫描采集机房场景状态数据，建立三维虚拟机房模型；

步骤S11，图像采集：在机房内设置多个全景相机，使用全景相机获取机房场景的全景图像；

步骤S12：图像投影：将获取的全景图像进行360度柱面投影，得到机房环视场景的图像源，并获取所有图像源对应的场景空间信息；

步骤S13：图像拼接：根据步骤S12得到的图像源，经过预处理和统一坐标变换后进行图像配准和图像融合，最终得到拼接全景图；

在步骤S12中，对于实景图像上的任意一个像素点(x,y)，其柱面正投影到柱面全景图像上的坐标(x′,y′)公式为：

其中，H和W为实景图像的高和宽，单位是像素；f是相机焦距，单位也是像素；

在步骤S13中，经过预处理和统一坐标变换后进行图像配准和图像融合的具体过程为：利用比值匹配法在步骤S12得到的图像源中寻找匹配点，首先将图像源中的一幅图像作为样本，选取样本的样本特征点，根据与样本特征点的距离在另外一幅图像中寻找最近特征点和次近特征点，然后计算最近特征点和次近特征点与样本特征点之间欧氏距离的比值；将对于比值小于某一阈值范围内的样本特征点，则认为是正确匹配的特征点；

其中，ratio表示正确匹配的特征点，d_i,NearestPoi表示最近特征点与样本特征点之间欧氏距离，d_{i+j,NearestPoi}表示次近特征点与样本特征点之间欧氏距离，threshold表示某一阈值范围，特征点匹配需要所有的重叠部分内进行；

步骤S14：场景存储和显示：将步骤S13得到的拼接全景图保存后，通过web页面浏览机房各个拼接全景图；

步骤S2，定位模块:根据全景相机的位置信息，采用指纹定位算法确定当前巡检位置信息，建立位置指纹识别数据库；

步骤S21，训练阶段：采用基于信号强度的Wi-Fi室内定位技术，建立无线信号强度和位置信息稳定映射关系，根据定位精度的要求划分环境网格，并确定Wi-Fi设备的位置采集点，使得所有采集点能够辐射到所有网格点，然后，分别测量所有网格位置的信号强度值，并将每一位网格的位置信息存储到室内环境位置指纹识别数据库中；

步骤S22，定位当前巡检位置：将当前巡检位置作为待测点，根据室内环境位置指纹识别数据库，采用最近邻法将待测点多个周边位置检测到的位置采集点的值与位置指纹识别数据库中已存储的记录进行比较和匹配，再计算出待测点位置估计值；

在步骤S22中，计算出待测点位置估计值的具体过程如下：

步骤S221，首先计算待测点的指纹信息与指纹数据库中的所有指纹信息的距离dist_i,j，0≤i≠j≤M；

步骤S222，按照距离dist_i,j从小到大选取K个对应的指纹坐标作为参考坐标；

步骤S223，由最近邻法算法计算出待定点的估计坐标，

步骤S3，根据全景图像采集到的当前图像，判断当前图像与参考图像是否为同一室内环境，如果是，则提取当前图像中的特征点，寻找当前图像与参考图像之间的映射关系，运用视觉定位算法将当前图像的位置点投影标记到虚拟场景对应点之上；

在步骤S3中，提取当前图像中的特征点过程如下：

步骤S31，在当前图像中选取像素p，取其亮度I_p；

步骤S32，设置阈值T＝I_p*30％；

步骤S33，以像素p为圆心，取半径为3个像素做圆，如果圆上存在12个相连点的亮度不在I_p±ε范围内,其中，ε为给定误差，则像素p点称为特征点；

步骤S34，对当前图像中的每个像素执行步骤S32操作；

步骤S35，计算角点的响应值，并选择最大响应值的前N个角点组成集合A；

步骤S4，获取特征点的三维坐标，建立参考坐标系，根据特定环境实时生成虚拟定位信息和导航信息。

2.如权利要求1所述的基于增强现实技术的机房室内导航和设备追踪的方法，其特征在于，在步骤S22中，网格位置的信号强度值的计算公式为：RSS＝Pt-K₁-10^αlog₁₀d；

其中，RSS为网格位置的信号强度值，α为路径损耗指数，Pt是传输功率，K₁是决定于媒体和评率的常数。

3.如权利要求1所述的基于增强现实技术的机房室内导航和设备追踪的方法，其特征在于，在步骤S21中，室内环境位置指纹识别数据库中的每个点的指纹信息为{(x_i,y_i),RSSI_i,1,RSSI_i,2,...,RSSI_i,M}，RSSI_i,j表示在第i个点接收来自第j个点的WI-FI信号的强度，(x_i,y_i)表示点i的位置坐标。

4.如权利要求3所述的基于增强现实技术的机房室内导航和设备追踪的方法，其特征在于，采用随机抽样一致算法对特征点进行匹配，包括以下步骤：首先从集合A中任意挑选出一组局内点作为1个数据点样本；求出一套模型参数，然后在通过计算出的模型来检验另外每个数据点，若某个点的误差在设置的误差阈值之间，就确定其为局内点，否则确定为局外点，只存储当前为止局内点数量最多的模型，将其记录为最优模型，迭代执行以上步骤固定次数后，采用最优模型相应的局内点来最后计算模型的参数。

5.如权利要求1所述的基于增强现实技术的机房室内导航和设备追踪的方法，其特征在于，在步骤S3中，当前图像与参考图像之间的映射关系为：当前图像的三维点齐次坐标(x_t,y_t,z_t,1)与在参考图像上的投影齐次坐标(x′_t,y′_t,1)的透视投影关系：

其中，K₂表示个数，r₁、r₂、r₃、T表示相似变换模型的4个参数。

6.如权利要求1所述的基于增强现实技术的机房室内导航和设备追踪的方法，其特征在于，在步骤S4中，获取特征点的三维坐标，建立参考坐标系，通过带有权重的K最近邻法即WKNN算法，计算特定环境实时生成虚拟定位信息和绝对姿态；

其中，为第k个参考点的坐标，dist_k为第k个参考点与待定点之间的欧氏距离，W_k为WKNN算法的加权系数。