CN109540138A - 基于视觉神经网络的室内导航方法、系统及可读存储器 - Google Patents

Abstract

本发明公开了一种基于视觉神经网络的室内导航方法、系统及可读存储器，方法包括：S1.构建基于视觉神经网络模型，并通过预先获取的训练样本进行训练；S2.获取用于导航的导航图像，通过基于视觉神经网络模型对导航图像进行分析，确定导航图像的识别位置；S3.将导航图像进行分块得到至少2个子图像，通过基于视觉神经网络模型对各子图像进行分析，得到各子图像的置信度，以置信度最高的子图像相对于导航图像中心位置的方向作为导航方向。具有不依赖于Wi‑Fi定位系统等环境基础设施，可以直接根据所拍摄的图像实现定位与导航，识别精度高、速度快的等优点。

Description

基于视觉神经网络的室内导航方法、系统及可读存储器

技术领域

本发明涉及室内导航领域，尤其涉及一种基于视觉神经网络的室内导航方法、系统及可读存储器。

背景技术

随着人口密集度的增加和现代建筑密度的增加，应用于移动设备的室内导航的需求正在变得越来越强。室内导航系统主要需要完成的任务包括地图的构建，数据的采集，导航方法的设计和用户交互的设计。

目前，大多数室内导航系统基于Wi-Fi指纹设计，这种方法需要事先获取完整的室内平面图及Wi-Fi节点的详细信息，地图构建工作需要大量的劳动力，部署时间长，除此之外这种定位方法严重依赖外部设备，一旦Wi-Fi节点出现故障，导航系统将瘫痪。

基于视觉的室内导航系统大多数基于同步定位与地图构建(SLAM)方法，这种方法包含人工设计的特征提取算法，对环境光线和纹理十分敏感，除此之外外观的细微变化将严重影响这种方法的定位精度。

发明内容

本发明要解决的技术问题就在于：针对现有技术存在的技术问题，本发明提供一种不依赖于Wi-Fi定位系统等环境基础设施，可以直接根据所拍摄的图像实现定位与导航，识别精度高、速度快的基于视觉神经网络的室内导航方法、系统及可读存储器。

为解决上述技术问题，本发明提出的技术方案为：一种基于视觉神经网络的室内导航方法，包括：

S1.构建基于视觉神经网络模型，并通过预先获取的训练样本进行训练；所述训练样本是在被导航室内所拍摄，并且标定了拍摄位置的室内图像，所述位置为预设导航路径上的位置；

S2.获取用于导航的导航图像，通过所述基于视觉神经网络模型对所述导航图像进行分析，确定所述导航图像的识别位置；

S3.将所述导航图像进行分块得到至少2个子图像，通过所述基于视觉神经网络模型对各所述子图像进行分析，得到各所述子图像的置信度，以所述置信度最高的子图像相对于导航图像中心位置的方向作为导航方向。

进一步地，所述训练样本的获取方式包括：

沿所述预设的导航路径上的不同位置朝导航方向分别拍摄室内图像作为训练样本，并以拍摄所述室内图像的位置作为该训练样本的标签；

或者：

沿所述预设导航路径朝导航方向拍摄样本视频，将所述样本视频中的图像帧按照预设划分规则分组，每组图像帧标定一个位置；每个图像帧为一个训练样本，该图像帧对应的位置为该训练样本的标签。

进一步地，所述基于视觉神经网络模型输出层的节点数与所标定的位置个数相同；输出层的节点与所述位置一一对应。

进一步地，所述步骤S2的具体步骤包括：

S2.1.获取用于导航的导航图像；

S2.2.通过所述基于视觉神经网络模型对所述导航图像进行分析，得到输出层每个节点所输出的置信度；

S2.3.以满足置信度大于预设的阈值，并且输出该置信度的节点所对应的位置与上一有效识别的位置相同或相邻条件，并以其中置信度最大的节点对应的位置作为所述导航图像的识别位置，本次识别为有效识别，否则本次识别为无效识别；有效识别时跳转至步骤S3。

进一步地，所述步骤S3的具体步骤包括：

S3.1.将所述导航图像进行网格划分分块，得到至少2个的子图像；

S3.2.通过所述基于视觉神经网络模型依次对所述子图像进行分析，以输出层各节点输出置信度的最大值作为该子图像的置信度；

S3.3.以所述置信度最高的子图像相对于导航图像中心位置的方向作为导航方向。

一种基于视觉神经网络的室内导航系统，包括基于视觉神经网络模型和导航方向指引模块；

所述基于视觉神经网络模型通过预先获取的训练样本进行训练，所述训练样本是在被导航室内所拍摄，并且标定了拍摄位置的室内图像，所述位置为预设导航路径上的位置；

所述基于视觉神经网络模型用于对获取的导航图像进行分析，确定所述导航图像的识别位置；

所述基于视觉神经网络模型还用于对由所述导航图像分块得到的子图像进行分析，得到各所述子图像的置信度；

所述导航方向指引模块用于根据各子图像的置信度，确定置信度最高的子图像相对于导航图像中心位置的方向作为导航方向。

进一步地，还包括训练样本生成模块；

所述训练样本生成模块用于获取沿所述预设的导航路径上的不同位置朝导航方向分别拍摄室内图像作为训练样本，并以拍摄所述室内图像的位置作为该训练样本的标签；

或者：

所述训练样本生成模块用于获取沿所述预设导航路径朝导航方向拍摄样本视频，将所述样本视频中的图像帧按照预设划分规则分组，每组图像帧标定一个位置；每个图像帧为一个训练样本，该图像帧对应的位置为该训练样本的标签。

进一步地，所述基于视觉神经网络模型的输出层的节点数与所标定的位置个数相同；输出层的节点与所述位置一一对应。

进一步地，所述基于视觉神经网络模型具体用于：

接收输入的导航图像并进行分析，输出层的每个节点输出所述导航图像属于该节点对应位置的置信度；

以满足置信度大于预设的阈值，并且输出该置信度的节点所对应的位置与上一有效识别的位置相同或相邻条件，并以其中置信度最大的节点对应的位置作为所述导航图像的识别位置，本次识别为有效识别，否则本次识别为无效识别。

进一步地，所述基于视觉神经网络模型还具体用于：将所述导航图像进行网格划分，得到至少2个的子图像；并依次对所述子图像进行分析，以输出层各节点输出置信度的最大值作为该子图像的置信度。

一种可读存储器，存储有可被计算机执行的程序，所述程序被执行时可实现如上任一项所述的基于视觉神经网络的室内导航方法。

与现有技术相比，本发明的优点在于：本发明通过预先获取需要进行导航的室内的图像作为训练样本对基于视觉神经网络模型进行训练，在训练完成后，只需要通过获取该室内的图像作为导航图像，并由基于视觉神经网络模型进行识别，即可以确定拍摄导航图像时所在的位置及导航方向，相对于传统室内导航(如基于Wi-Fi定位导航、蓝牙定位导航等)需要依赖于外部的信号基站等设备才能实现的方式，成本更低，更加灵活方便，同时，基于视觉神经网络模型的算法也很成熟，识别的正确率和精度也很高，完全能够满足室内定位导航的需求，可以实现较高精度的室内定位与导航。

附图说明

图1为本发明具体实施例的流程示意图。

图2为本发明具体实施例预设导航路径及位置点示意图。

图3为本发明具体实施例基于视觉神经网络模型训练过程、定位过程及导航方向确定过程中输入输出示意图。

图4为本发明具体实施例导航图像网格划分及概率分布图示意图。

图5为本发明具体实施例各子图像置信度示意图。

图6为本发明具体实施例一种具体应用场景示意图。

具体实施方式

以下结合说明书附图和具体优选的实施例对本发明作进一步描述，但并不因此而限制本发明的保护范围。

如图1所示，本实施例的一种基于视觉神经网络的室内导航方法，包括：S1.构建基于视觉神经网络模型，并通过预先获取的训练样本进行训练；训练样本是在被导航室内所拍摄，并且标定了拍摄位置的室内图像，位置为预设导航路径上的位置；S2.获取用于导航的导航图像，通过基于视觉神经网络模型对导航图像进行分析，确定导航图像的识别位置；S3.将导航图像进行分块得到至少2个子图像，通过基于视觉神经网络模型对各子图像进行分析，得到各子图像的置信度，以置信度最高的子图像相对于导航图像中心位置的方向作为导航方向。

在本实施例中，训练样本的获取方式包括：沿预设的导航路径上的不同位置朝导航方向分别拍摄室内图像作为训练样本，并以拍摄室内图像的位置作为该训练样本的标签。在本实施例中，以如图2中点n1至点nN之间的连线表示预设的导航路径，在每个点的位置或者每个点所在的位置区域(位置区域是指如图2中所示点两侧短竖线之间的区域)，以朝向导航路径方向拍摄至少一张室内图像作为训练样本，并以训练样本的拍摄位置作为该训练样本的标签，如在位置点n1的位置区域拍摄的训练样本，其标签为n1的位置信息，在位置点n2的位置区域拍摄的训练样本，其标签为n2的位置信息。进一步地优选在每个位置区域拍摄5至10张室内图像作为训练样本。当然，需要说明的是，每个位置区域拍摄的训练样本的数量与所确定的位置区域的大小相关，位置区域越大，在位置区域的训练样本的数量可以更多。

或者：在本实施例中，还可以通过如下方式生成训练样本。沿预设导航路径朝导航方向拍摄样本视频，将样本视频中的图像帧按照预设划分规则分组，每组图像帧标定一个位置；每个图像帧为一个训练样本，该图像帧对应的位置为该训练样本的标签。即通过摄像模式沿导航路径拍摄，拍摄过程中优选均速前进，并使得拍摄设备朝向导航路径前方。再从所拍摄的视频中选择图像帧作为训练样本，并确定训练样本的拍摄位置作为训练样本的标签。进一步地，在均速前进的拍摄时，可以按照等时间的方式进行划分成不同的分组，每个分组中图像帧的拍摄位置即为该分组中图像帧的标签。

在本实施例中，如图3所示，基于视觉神经网络模型输出层的节点数与所标定的位置个数相同；输出层的节点与位置一一对应。在训练过程中，如图3中(a)训练过程所示，将训练样本输入基于视觉神经网络模型，并以所输入的训练样本的标签来评价其输出结果，并根据评价结果来修改基于视觉神经网络模型的参数，通过大量的训练样本进行训练后，固定该基于视觉神经网络模型的参数，该模型即可用于室内导航。

在本实施例中，如图3(b)所示，在通过基于视觉神经网络模型进行导航的具体过程中，步骤S2的具体步骤包括：S2.1.获取用于导航的导航图像；S2.2.通过基于视觉神经网络模型对导航图像进行分析，得到输出层每个节点所输出的置信度；S2.3.以满足置信度大于预设的阈值，并且输出该置信度的节点所对应的位置与上一有效识别的位置相同或相邻条件，并以其中置信度最大的节点对应的位置作为导航图像的识别位置，本次识别为有效识别，否则本次识别为无效识别；有效识别时跳转至步骤S3。在导航过程中，拍摄室内的图像作为导航图像，并将该导航图像输入已经训练好的基于视觉神经网络模型，通过该模型的分析，输出该导航图像属于各位置点的置信度C_i ⁿ，其中i表示所输入导航图像的编号，n＝1、2、……、N，置信度C_i ⁿ表示所输入导航图像属于各位置点的概率，置信度越大，说明所输入的导航图像属于对应位置点的概率越高，如置信度C_i ²为0.9，则说明所输入的导航图像(其编号为i)是在位置点n2拍摄的概率为90％。则通过基于视觉神经网络模型的分析，就可以确定所输入的每幅导航图像属于各位置点(n1至nN)的置信度。

当然，需要说明的是，在导航中，也可以直接通过拍摄视频的方式来进行，并将所拍摄的视频分解成不同的图像帧，再将图像帧输入该基于视觉神经网络模型，得到所输入图像帧属于各位置点的置信度C_i ⁿ，其中i表示所输入导航图像的编号，即图像帧的帧号。

在本实施例中，通过基于视觉神经网络模型的分析，即可将置信度最高的输出层节点对应的位置点作为所输入导航图像的位置。考虑可能存在的环境噪声对基于视觉神经网络模型的识别结果产生的影响，在本实施例中还对识别结果进行一步的修正。即将基于视觉神经网络模型的输出层各节点所输出的置信度进行从高至低排序，首先，判断置信度最高的节点所对应的位置与前一次有效识别所确定的位置是否为相同位置或相邻位置，如果是，则置信度最高的节点所对应的位置即为本次识别的识别位置，本次识别为有效识别。如果不是，则从排序中选择排在下一位的置信度，判断该置信度是否大于预设的阈值，以及输出该置信度的输出层节点对应的位置与前一有效识别的位置是否为相同或相邻位置，都满足时输出该置信度的输出层节点对应的位置即为本次识别的识别位置，本次识别为有效识别，如果不是，再取下一位的置信度，直到排序号大于预设值，如只取置信度排序的前5位进行分析，当前5位的置信度都不满足前述条件时，则本次识别为无效识别。通过修改，可以进一步的保证定位的准确性，也可以进一步的保证后续导航的准确性。为有效识别时，进入下一步处理，为无效识别时，则完成对本次输入的导航图像的导航，对下一张导航图像进行处理。

在本实施例中，在对导航识别进行有效识别，确定了其位置后，还进一步的对导航图像进行分析，确定导航方向。具体步骤包括；步骤S3的具体步骤包括：S3.1.将导航图像进行网格划分分块，得到至少2个的子图像；S3.2.通过基于视觉神经网络模型依次对子图像进行分析，以输出层各节点输出置信度的最大值作为该子图像的置信度；S3.3.以置信度最高的子图像相对于导航图像中心位置的方向作为导航方向。基于视觉神经网络模型对子图像进行处理如图3(c)所示。

如图4所示，将导航图像进行网格划分，得到至少2张子图像，当然，可以根据需要划分为更多的网格，生成更多的子图像。本实施例优选采用H×K的网格划分，其中H表示水平网格数，取值优选为3至6，M表示竖直网格数，取值优选为3至6。以3×3的网络划分为例进行说明，通过网格划分，导航图像被划分为9张子图像，通过前述基于视觉神经网络模型分别对各子图像进行分析，图3(c)所示，对于每个子图像，基于视觉神经网络模型会输出N个置信度，取N个置信度中最高的置信度作为该子图像的置信度，再将子图像的置信度填入子图像对应的网格中，即可得到导航图像的概率分布图，以导航图像中心指向置信度最高的网格的方向即为导航指引方向。图4是通过颜色来表示置信度的高低，如果采用数字形式，即如图5所示，即导航指引方向为向右，图5中，仅仅只是通过数字来说明导航方向的原理。

本实施例的基于视觉神经网络的室内导航系统，包括基于视觉神经网络模型和导航方向指引模块；基于视觉神经网络模型通过预先获取的训练样本进行训练，训练样本是在被导航室内所拍摄，并且标定了拍摄位置的室内图像，位置为预设导航路径上的位置；基于视觉神经网络模型用于对获取的导航图像进行分析，确定导航图像的识别位置；基于视觉神经网络模型还用于对由导航图像分块得到的子图像进行分析，得到各子图像的置信度；导航方向指引模块用于根据各子图像的置信度，确定置信度最高的子图像相对于导航图像中心位置的方向作为导航方向。通过本导航系统，可以实现上述导航方法。在具体的应用场景中，获取导航图像的设备与基于视觉神经网络模型所部署的设备不一致，如图6所示，通过手机或平板等便携移动客户端设备来获取导航图像，将基于视觉神经网络模型部署有GPU服务器上，GPU服务器接收训练样本，对基于视觉神经网络模型进行训练，在训练完成后，再接收导航图像，进行分析处理，得到定位及导航方向信息，并将定位及导航方向信息传送给移动客户端，对使用者提供导航指引。

在本实施例中，还包括训练样本生成模块；训练样本生成模块用于获取沿预设的导航路径上的不同位置朝导航方向分别拍摄室内图像作为训练样本，并以拍摄室内图像的位置作为该训练样本的标签；或者：训练样本生成模块用于获取沿预设导航路径朝导航方向拍摄样本视频，将样本视频中的图像帧按照预设划分规则分组，每组图像帧标定一个位置；每个图像帧为一个训练样本，该图像帧对应的位置为该训练样本的标签。训练样本生成模块可以部署在GPU服务器上，接收外部设备(如移动客户端)提供的训练样本图像，并在GPU服务器上标注训练样本的标签；也可以直接接收外部设备提供的已标注了标签的训练样本。

在本实施例中，基于视觉神经网络模型的输出层的节点数与所标定的位置个数相同；输出层的节点与位置一一对应。基于视觉神经网络模型具体用于：接收输入的导航图像并进行分析，输出层的每个节点输出导航图像属于该节点对应位置的置信度；以满足置信度大于预设的阈值，并且输出该置信度的节点所对应的位置与上一有效识别的位置相同或相邻条件，并以其中置信度最大的节点对应的位置作为导航图像的识别位置，本次识别为有效识别，否则本次识别为无效识别。

在本实施例中，基于视觉神经网络模型还具体用于：将导航图像进行网格划分，得到至少2个的子图像；并依次对子图像进行分析，以输出层各节点输出置信度的最大值作为该子图像的置信度。基于视觉神经网络模型根据各子图像的置信度，生成概率分布图，并传送给移动客户端，为使用者提供方向指引，也可以直接将各子图像的置信度传送给移动客户端，由移动客户端来生成概率分布图，为使用者提供导航指引。

本实施例的可读存储器，存储有可被计算机执行的程序，程序被执行时可实现如上任一项的基于视觉神经网络的室内导航方法。

上述只是本发明的较佳实施例，并非对本发明作任何形式上的限制。虽然本发明已以较佳实施例揭露如上，然而并非用以限定本发明。因此，凡是未脱离本发明技术方案的内容，依据本发明技术实质对以上实施例所做的任何简单修改、等同变化及修饰，均应落在本发明技术方案保护的范围内。

Claims (11)

1.一种基于视觉神经网络的室内导航方法，其特征在于：

S1.构建基于视觉神经网络模型，并通过预先获取的训练样本进行训练；所述训练样本是在被导航室内所拍摄，并且标定了拍摄位置的室内图像，所述位置为预设导航路径上的位置；

S2.获取用于导航的导航图像，通过所述基于视觉神经网络模型对所述导航图像进行分析，确定所述导航图像的识别位置；

S3.将所述导航图像进行分块得到至少2个子图像，通过所述基于视觉神经网络模型对各所述子图像进行分析，得到各所述子图像的置信度，以所述置信度最高的子图像相对于导航图像中心位置的方向作为导航方向。

2.根据权利要求1所述的基于视觉神经网络的室内导航方法，其特征在于：所述训练样本的获取方式包括：

沿所述预设的导航路径上的不同位置朝导航方向分别拍摄室内图像作为训练样本，并以拍摄所述室内图像的位置作为该训练样本的标签；

或者：

沿所述预设导航路径朝导航方向拍摄样本视频，将所述样本视频中的图像帧按照预设划分规则分组，每组图像帧标定一个位置；每个图像帧为一个训练样本，该图像帧对应的位置为该训练样本的标签。

3.根据权利要求2所述的基于视觉神经网络的室内导航方法，其特征在于：所述基于视觉神经网络模型输出层的节点数与所标定的位置个数相同；输出层的节点与所述位置一一对应。

4.根据权利要求3所述的基于视觉神经网络的室内导航方法，其特征在于：所述步骤S2的具体步骤包括：

S2.1.获取用于导航的导航图像；

S2.2.通过所述基于视觉神经网络模型对所述导航图像进行分析，得到输出层每个节点所输出的置信度；

S2.3.以满足置信度大于预设的阈值，并且输出该置信度的节点所对应的位置与上一有效识别的位置相同或相邻条件，并以其中置信度最大的节点对应的位置作为所述导航图像的识别位置，本次识别为有效识别，否则本次识别为无效识别；有效识别时跳转至步骤S3。

5.根据权利要求4所述的基于视觉神经网络的室内导航方法，其特征在于：所述步骤S3的具体步骤包括：

S3.1.将所述导航图像进行网格划分分块，得到至少2个的子图像；

S3.2.通过所述基于视觉神经网络模型依次对所述子图像进行分析，以输出层各节点输出置信度的最大值作为该子图像的置信度；

S3.3.以所述置信度最高的子图像相对于导航图像中心位置的方向作为导航方向。

6.一种基于视觉神经网络的室内导航系统，其特征在于：包括基于视觉神经网络模型和导航方向指引模块；

所述基于视觉神经网络模型通过预先获取的训练样本进行训练，所述训练样本是在被导航室内所拍摄，并且标定了拍摄位置的室内图像，所述位置为预设导航路径上的位置；

所述基于视觉神经网络模型用于对获取的导航图像进行分析，确定所述导航图像的识别位置；

所述基于视觉神经网络模型还用于对由所述导航图像分块得到的子图像进行分析，得到各所述子图像的置信度；

所述导航方向指引模块用于根据各子图像的置信度，确定置信度最高的子图像相对于导航图像中心位置的方向作为导航方向。

7.根据权利要求6所述的基于视觉神经网络的室内导航系统，其特征在于：还包括训练样本生成模块；

所述训练样本生成模块用于获取沿所述预设的导航路径上的不同位置朝导航方向分别拍摄室内图像作为训练样本，并以拍摄所述室内图像的位置作为该训练样本的标签；

或者：

所述训练样本生成模块用于获取沿所述预设导航路径朝导航方向拍摄样本视频，将所述样本视频中的图像帧按照预设划分规则分组，每组图像帧标定一个位置；每个图像帧为一个训练样本，该图像帧对应的位置为该训练样本的标签。

8.根据权利要求7所述的基于视觉神经网络的室内导航系统，其特征在于：所述基于视觉神经网络模型的输出层的节点数与所标定的位置个数相同；输出层的节点与所述位置一一对应。

9.根据权利要求8所述的基于视觉神经网络的室内导航系统，其特征在于：所述基于视觉神经网络模型具体用于：

接收输入的导航图像并进行分析，输出层的每个节点输出所述导航图像属于该节点对应位置的置信度；

以满足置信度大于预设的阈值，并且输出该置信度的节点所对应的位置与上一有效识别的位置相同或相邻条件，并以其中置信度最大的节点对应的位置作为所述导航图像的识别位置，本次识别为有效识别，否则本次识别为无效识别。

10.根据权利要求9所述的基于视觉神经网络的室内导航系统，其特征在于：所述基于视觉神经网络模型还具体用于：将所述导航图像进行网格划分，得到至少2个的子图像；并依次对所述子图像进行分析，以输出层各节点输出置信度的最大值作为该子图像的置信度。

11.一种可读存储器，存储有可被计算机执行的程序，其特征在于：所述程序被执行时可实现如权利要求1至5任一项所述的基于视觉神经网络的室内导航方法。