CN112050810B - 一种基于计算机视觉的室内定位导航方法及系统 - Google Patents

Abstract

本发明提出了一种基于计算机视觉的室内定位导航方法及系统。本发明的方法，首先以实现室内空间全覆盖为目标，将多个场景相机分别布置在室内空间的不同位置，并建立相机通路链表；采用不同位置的场景相机获取室内空间的不同位置的场景图像；将不同位置的场景图像进行拼接和可导航区域进行识别，获得可导航二维场景图像；然后，接收用户请求，并根据用户请求获取用户初始位置和目标位置；根据相机通路链表和所述可导航二维场景图像，规划所述初始位置到所述目标位置的路线。本发明基于场景相机获取的场景图像建立起室内导航用的可导航二维场景图像和相机通路链表，对用户请求进行路线规划，根据规划后的路线对人或机器人进行导航。

Description

一种基于计算机视觉的室内定位导航方法及系统

技术领域

本发明涉及室内导航技术领域，特别是涉及一种基于计算机视觉的室内定位导航方法及系统。

背景技术

人类活动空间越来越庞大和复杂且大部分时间都是呆在室内。停车场、商场、机场、办公楼等场所的定位和引导需求日趋强烈。同时智能制造、室内服务机器人等行业也迫切需要计算机能够在室内识别特定对象位置。这个需求为室内定位技术到来了巨大的机会。尽管室内定位需求强烈，传统定位技术(卫星定位、基站定位)却因技术限制，无法满足室内定位需求。

卫星定位技术(即全球卫星导航系统，GNSS)经多年发展，是目前最成熟、使用最广泛的定位技术。GNSS具有可靠性好、精度高、覆盖范围广等优点。但在室内，卫星信号容易被建筑物阻隔，导致无法实现定位。同时，GNSS技术只能分辨平面位置，对高度信息不敏感，不能准确辨别不同楼层。尽管手机的无线通讯信号可以穿透多数建筑的墙壁，但移动通信基站的分布密度太低，采用“近邻法”定位的精度达数千米，即使利用多个基站、通过三边到达时间测算，精度也在200m。如何实现室内的多楼层的精准定位导航成为一个亟待解决的技术问题。

发明内容

本发明的目的是提供一种基于计算机视觉的室内定位导航方法及系统，以实现室内的多楼层的精准定位导航。

为实现上述目的，本发明提供了如下方案：

一种基于计算机视觉的室内定位导航方法，所述定位导航方法包括如下步骤：

以实现室内空间全覆盖为目标，将多个场景相机分别布置在室内空间的不同位置，并建立相机通路链表；

采用不同位置的场景相机获取室内空间的不同位置的场景图像；

将不同位置的场景图像进行拼接，形成室内空间的多层二维场景图像；

对所述多层二维场景图像中的可导航区域进行识别，获得可导航二维场景图像；

接收用户请求，并根据用户请求获取用户初始位置和目标位置；所述用户初始位置为用户发起定位导航时的位置；

根据所述相机通路链表和所述可导航二维场景图像，规划所述初始位置到所述目标位置的路线。

可选的，所述对所述多层二维场景图像中的可导航区域进行识别，获得可导航二维场景图像，具体包括：

选取所述多层二维场景图像中楼道区域对应的场景相机的场景图像，组成楼道区域场景图像；

从所述楼道区域场景图像中勾勒分割出楼道地面场景图像，加入可导航区域；

选取所述多层二维场景图像中非楼道区域对应的场景相机的场景图像，组成非楼道区域场景图像，并将所述非楼道区域场景加入可导航区域；

可选的，所述对所述多层二维场景图像中的可导航区域进行识别，获得可导航二维场景图像，之后还包括：

采用卷积神经网络算法对所述可导航二维场景图像中的可分类的障碍物进行分类和标识；

对可导航二维场景图像中的不可分类的障碍物进行高宽恢复。

可选的，所述根据所述相机通路链表和所述可导航二维场景图像，规划所述初始位置到所述目标位置的路线，之后还包括：

确定所述用户初始位置所对应的场景相机；

从对应的场景相机的场景图像中获取用户身份信息；

根据所述用户身份信息从多个所述场景相机的场景图像中识别用户；

根据所述识别结果获取用户当前位置，对用户进行跟踪；

判断所述当前位置与所述目标位置的距离是否小于距离阈值，得到第一判断结果；

若所述第一判断结果表示所述当前位置与所述目标位置的距离不小于距离阈值，则根据所述用户当前位置判断用户是否偏离所述路线，得到第二判断结果；

若所述第二判断结果表示用户没有偏离所述路线，则指导用户沿所述路线行走，返回步骤“根据所述用户身份信息从多个所述场景相机的场景图像中识别用户”；

若所述第二判断结果表示所述用户偏离所述路线，则根据所述相机通路链表和所述可导航二维场景图像，重新规划所述当前位置到所述目标位置的路线，返回步骤“根据所述用户身份信息从多个所述场景相机的场景图像中识别用户”；

若所述第一判断结果表示所述当前位置与所述目标位置的距离小于距离阈值，则导航结束。

可选的，所述根据所述用户身份信息从多个所述场景相机的场景图像中识别用户，具体包括：

根据所述用户身份信息采用人脸识别和姿态识别的方式从多个所述场景相机的场景图像中识别用户。

一种基于计算机视觉的室内定位导航系统，所述定位导航系统包括：多个场景相机、场景数据库、上位机；

多个所述场景相机分别设置在室内空间的不同位置，所述场景相机的输出端与所述上位机连接，所述场景相机用于获取室内空间的不同位置的场景图像，并将所述场景图像发送给所述上位机；

所述上位机与所述场景数据库连接，所述上位机用于将不同位置的场景图像进行拼接，形成室内空间的多层二维场景图像；并对所述多层二维场景图像中的可导航区域进行识别，获得可导航二维场景图像；并将所述可导航二维场景图像存储至所述场景数据库；

所述上位机还用于接收用户请求，并根据用户请求获取用户初始位置和目标位置；根据所述相机通路链表和所述可导航二维场景图像，规划所述初始位置到所述目标位置的路线，所述用户初始位置为用户发起定位导航服务的位置

可选的，所述上位机内设置有视频管理系统、目标识别系统和对象控制系统；

视频管理系统，用于接收场景相机的视频数据，并对同一区域多路视频进行时间同步、色调均匀处理，并将处理后的视频数据发送给目标识别系统；

目标识别系统，用于不同区域的多路视频数据的动态目标或静态目标的识别、分离、定位、矫正，获得目标识别结果，动态障碍物的移动检测、定位获得动态障碍物识别结果，并将所述目标识别结果和所述动态障碍物识别结果发送给导航对象控制系统；

导航对象控制系统，用于根据所述目标识别结果和所述动态障碍物识别结果搜索全局导航路径关键连接点，规划局部路径，并根据所述局部路径计算控制机器人的控制信号，发送给信号传输系统；

信号传输系统，将局部规划路径或控制信号发送给导航对象；所述导航对象是人或机器人。

可选的，所述场景相机包括：枪机、球机、广角摄像机和鱼眼摄像机中的一种或多种。

可选的，所述定位导航系统还包括用户手机端，所述用户手机端设置有室内定位导航APP，室内空间的用户手机端与所述上位机无线连接；

用户通过所述室内定位导航APP向所述上位机发送用户申请，所述用户申请包括用户初始位置和目标位置，上位机反馈的路线和可导航二维场景图像显示在所述室内定位导航APP上。

根据本发明提供的具体实施例，本发明公开了以下技术效果：

本发明提出了一种基于计算机视觉的室内定位导航方法及系统。本发明的方法，首先以实现室内空间全覆盖为目标，将多个场景相机分别布置在室内空间的不同位置，并建立相机通路链表；采用不同位置的场景相机获取室内空间的不同位置的场景图像；将不同位置的场景图像进行拼接，形成室内空间的多层二维场景图像；对所述多层二维场景图像中的可导航区域进行识别，获得可导航二维场景图像；然后，接收用户请求，并根据用户请求获取用户初始位置和目标位置；根据所述相机通路链表和所述可导航二维场景图像，规划所述初始位置到所述目标位置的路线。本发明基于场景相机获取的场景图像建立起室内导航用的可导航二维场景图像和相机通路链表，对用户请求进行路线规划。

本发明还对用户进行识别，实时获取用户的位置信息，当用户偏离路线时，重新规划路线，并采用APP的方式向用户展示路线和用户当前位置，进行导航。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明提供的一种基于计算机视觉的室内定位导航方法的流程图；

图2为本发明提供的实施例1的室内导航流程图；

图3为本发明提供的实施例1的PNP求解的条件示意图；

图4为本发明提供的实施例1的PNP求解的方法示意图；

图5为本发明提供的实施例2的定向定位导航流程图；

图6为本发明提供的相邻枪机视野区域重叠区侧视图；

图7为本发明提供的相机布置场景的二维示意图；

图8为本发明提供的相机连通链表示意图；

图9为本发明提供的单目视觉高度恢复原理图；

图10为本发明提供的基于连接点局部路径规划示意图；

图11是本申请的导航对象中心像素距离局部路径的垂直距离示意图；

图12为本发明提供的机器人控制流程图示意图；

图13本发明实施例3提供的全向定位导航流程图；

图14本发明提供的的全向定位导航模式球机转动视角示意图；

图15为本发明提供的一种基于计算机视觉的室内定位导航系统的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的目的是提供一种基于计算机视觉的室内定位导航方法及系统，以实现室内的多楼层的精准定位导航。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

为了实现上述目的本发明提供一种基于计算机视觉的室内定位导航方法，本发明是基于计算机视觉的室内导航，首先是在室内需要导航的地方装上相机(球机和枪机)并编号，确保两两相邻相机可见的区域有重叠且不能太少。使用球机枪击联动的，球机可随导航需要转动角度，这样可节约摄像头。有球机的是全向定位导航，无球机的是定向定位导航。每个摄像头需要采用张正友标定法提前做好矫正求解出相机的内参外参，然后建立好摄像头连接链表用于搜索全局路径。在每个摄像头画面需要人为的勾勒分割出能导航的部分例如:假如一个摄像头的画面是某处楼道，需要将该画面中的楼道勾勒分割出来，分割出的楼道作为可导航的区域而墙壁是不可导航区域；如果应用的区域足够大则可训练一个图像分割的卷积神经网络来做分割。当导航对象为机器人或人时，开始导航时，首先在所有的摄像头画面中使用训练好的基于卷积神经网络的目标检测模型搜索检测小车，在背景单一固定的环境下采用背景差分的方法加卷积神经网络分类的方法来搜索检测小车，当检测到小车时，定位出小车所在的摄像头。然后开始读入要去的目的地，读入的目的地是和相机编号所关联的即读入目的地之后系统就能查出该地方是那个相机的视界范围。有了小车所在区域的相机编号和目的地相机的编号，就能在相机通路链表中查到从小车所在区域相机到目的地区域相机之间要经过哪些相机视界区域即将经过区域相机编号形成一个链表，这就是全局路径，每一个相机作为一个节点，然后相邻相机之间区域采用局部路径规划。当规划好局部路径时，启动小车，使用PID控制算法来控制小车按照规划好的局部路径行走。当小车动起来以后只在上一时刻小车出现位置区域的图像中使用帧差法和一个分类的CNN来代替之前的目标检测模型处理图像，先在小车上一时刻出现位置和相邻位置相机画面内使用帧差法检测出运动目标，然后基于上一时刻小车位置、方向、速度、加速度等信息使用卡尔曼滤波预测下一时刻小车可能出现的位置，提取出在预测位置一定范围内的运动目标，然后使用分类CNN做识别。为了使导航可视化，使用MFC或者QT等建立起一个上位机画面，用于实时处理导航信息和显示小车所在地。

如图1所示，所述定位导航方法包括如下步骤：

步骤101，以实现室内空间全覆盖为目标，将多个场景相机分别布置在室内空间的不同位置，并建立相机通路链表。

本发明基于多相机场景通路搜索的方法主要原理为：首先在室内安装全局相机，和局部球机布置，确保相机能覆盖室内的可能定位导航的所有区域。然后建立相机之间的通路链表。即：如V1号相机覆盖楼道；V2号、V3号，V4号相机覆盖楼道两边的房间且房间与楼道相通的门编号为D2,D3,D4；则此时的链表就可表述为V1：(V2,D2；V3,D3；V4,D4)；通过对整栋楼所有的相机建立链表，就可以实现搜索通路。

步骤102，采用不同位置的场景相机获取室内空间的不同位置的场景图像；

步骤103，将不同位置的场景图像进行拼接，形成室内空间的多层二维场景图像；

步骤104，对所述多层二维场景图像中的可导航区域进行识别，获得可导航二维场景图像。

在检测之前先要对图像帧进行区域分割，分割出可导航区域，图像分割也采用神经网络的方式；比如一相机显示画面是楼道，那么就将楼道分割成墙面和地面，这样只需要在地面部分导航即可。

步骤104所述对所述多层二维场景图像中的可导航区域进行识别，获得可导航二维场景图像，具体包括：选取所述多层二维场景图像中楼道区域对应的场景相机的场景图像，组成楼道区域场景图像；从所述楼道区域场景图像中勾勒分割出楼道地面场景图像，加入可导航区域；选取所述多层二维场景图像中非楼道区域对应的场景相机的场景图像，组成非楼道区域场景图像，并将所述非楼道区域场景加入可导航区域。

步骤105，接收用户请求，并根据用户请求获取用户初始位置和目标位置；所述用户初始位置为用户所在位置的障碍物或楼道的门牌号；

本发明目标检测定位方法主要原理：该检测分为运动目标检测和静止目标检测；运动目标检测是基于视频图像帧间差分法并平滑去噪，这样可以有效检测运动目标；静止目标检测采用背景差分法，通过背景差分可以确定当前导航区域的静止障碍物。背景模型是通过软件初始化时获取相机视野无任何障碍的图像，随后将其转换为灰阶图像，对其使用高斯模糊来移除高频噪点。为防止背景模型变化，导致系统出现误判。因此使用之前帧的加权平均值配合当前帧工作，系统可以动态的调整背景，即使随着时间的推移，我们能依然能构建有着更新变化的背景模型。在目标检测的同时，可以通过图像处理技术，获取当前导航对象或障碍物的像素区域，并将给区域的目标图片截取处来。

本发明目标识别技术方法主要原理：首先构建分类神经网络，并训练好分类模型。然后将目标检测定位得到的可能含有导航对象的图片送入该神经网络分类并记录该图片的像素位置，通过分类识别确定哪一个是需要的定位导航目标。并得到定位导航的像素坐标。

步骤106，根据所述相机通路链表和所述可导航二维场景图像，规划所述初始位置到所述目标位置的路线。

当导航对象为机器人时，所述对所述多层二维场景图像中的可导航区域进行识别，获得可导航二维场景图像，之后还包括：

采用卷积神经网络算法对所述可导航二维场景图像中的可分类的障碍物进行分类和标识；

对可导航二维场景图像中的不可分类的障碍物进行高宽恢复。

本发明基于计算机视觉的定位导航算法主要原理为：当定位得到导航对象时，计算导航对象中心像素位置到局部路径的垂直距离L，由控制算法调节该距离趋近于0。即在图像中反应出定位目标的像素位置和想要去的目的地的像素位置相重合即完成导航。

本发明根据所述规划路线对人进行导航的具体步骤为：

确定所述用户初始位置所对应的场景相机。

从对应的场景相机的场景图像中获取用户身份信息。

根据所述用户身份信息从多个所述场景相机的场景图像中识别用户；所述根据所述用户身份信息从多个所述场景相机的场景图像中识别用户，具体包括：根据所述用户身份信息采用人脸识别和姿态识别的方式从多个所述场景相机的场景图像中识别用户。根据所述识别结果获取用户当前位置，对用户进行跟踪。判断所述当前位置与所述目标位置的距离是否小于距离阈值，得到第一判断结果。若所述第一判断结果表示所述当前位置与所述目标位置的距离不小于距离阈值，则根据所述用户当前位置判断用户是否偏离所述路线，得到第二判断结果。若所述第二判断结果表示用户没有偏离所述路线，则指导用户沿所述路线行走，返回步骤“根据所述用户身份信息从多个所述场景相机的场景图像中识别用户”；若所述第二判断结果表示所述用户偏离所述路线，则根据所述相机通路链表和所述可导航二维场景图像，重新规划所述当前位置到所述目标位置的路线，返回步骤“根据所述用户身份信息从多个所述场景相机的场景图像中识别用户”；若所述第一判断结果表示所述当前位置与所述目标位置的距离小于距离阈值，则导航结束。

当本发明的导航对象为机器人时，本发明机器人控制算法技术原理：使用PID算法设计一个反馈回路的控制系统，控制目标是L＝0，即机器人完全按照规划的路径行走；反馈信号是L的实际像素距离。通过一个PID算法计算得到当前机器人行走的控制量并通过无线传输发布给机器人，机器人实际行走，相机采集机器人行走图像并计算机器人中心像素位置到规划路径的垂直距离L。本发明的无线传输是指：机器人和导航系统连接在同一局域网下，这样就可以通过机器人连接上局域网WIFI和定位导航系统通信。当导航对象为机器人时，本发明的视觉避障主要原理：通过对静止物体和运动物体的神经网络分类，确定障碍物类别，以便避障和决策局部路径。对于神经网络不能识别的障碍物，对障碍物采取单目视觉的高度和宽度恢复，获取其高度和宽度信息。将该高度信息同小车的高宽信息做比较作为一个辅助视觉避障的策略。

实施例1

本发明以导航对象为小车，对本发明的导航对象为机器人时的导航方法进行说明。具体包括如下步骤：

步骤1：首先在需要导航的室内区域安装摄像头，摄像头安装尽量高。摄像头的安装可以球机，枪机混合安装，确保所有摄像头的视界区域能够覆盖导航区域，两两摄像头之间有一定重叠覆盖的区域。当一个区域全是枪机则采用定向定位导航；当一个区域是枪击球机混合安装则采用全向定位导航。所有的摄像头都编号。

步骤2：安装好所有摄像机后，再用张正友标定法对摄像机进行标定。求得摄像机的内外参，对摄像机的画面尽行矫正。

相机标定的具体方法为：

步骤2.1，内参标定：

通过成像模型可以得到相机的内参模型：

对于相机镜头内参的标定的方法很多，各自的性能层次不齐，但是公认的准确度高、操作简单、易于实现的方法为棋盘格标定法。此方法无需考虑棋盘与相机的相对位置，无需知道相机内参的先验数据即可实现内参的标定。该方法实现如下：

(1)首先采集棋盘格图像(至少8张)，8张图像中最好将棋盘格放置在图像的边缘区域，因为这里畸变最强，计算出的结果更准确。

(2)依据成像模型计算枪机、球机、广角摄像机和鱼眼摄像机等的内参数及畸变参数。

步骤2.2，外参标定：

外参数标定相对比较简单，外参数的的标定是为了相机坐标系到世界坐标系的旋转及平移关系(R,T)。但是外参的标定是建立在内参标定的基础之上的。之间的关系如下式所示：

由上式可知，找到几组相机坐标系到世界坐标系的对应点即可求解出相机的外参数。

步骤2.3，综合描述：

通过步骤2.1和2.2求取了相机的内、外参数，将内、外参数组合到一起就可以求解得到像素点与场景中的三维点的对应关系(如下式所示)。

步骤2.4，PNP求解外参数：

PNP即perspective-n-points:指给定世界(刚体)坐标系下的n个3d坐标点，以及这些点在图像中的2d投影坐标。该方法是求解3D到2D点对运动的方法，当知道n个3D空间点及其投影位置时，估计相机的位姿。即：求解世界(刚体)相对相机的姿态和位置(求解R，t)。要想求解出世界(刚体)相对相机的姿态和位置，必须知道至少4个点，也就是n要大于等于4。

PNP求解的条件如图3所示，PNP求解的具体步骤如图4所示。

步骤3：将每个摄像头视界区域分割为可导航和不可导航区域，假如一个摄像头的画面是某处楼道，需要将该画面中的楼道勾勒分割出来，分割出的楼道地面作为可导航的区域而墙壁是不可导航区域；如果应用的区域足够大则可训练一个图像分割的卷积神经网络来做分割。

在本实施例中进行目标识别与提取，对于室内的情况，需要先进行分割，分割出可导航区域；如在楼道中，分割出墙面和地面；在进行视觉避障时，只需对可导航区域进行障碍物提取，对提取到的障碍物先进行分类。对于可分类的物体由我们的经验可知其宽高，如分类为椅子，桌子；对于不可分的障碍物体我们需要进行障碍物的高宽恢复，确保我们的机器人或者导航对象可以通过。在本专利室内场景中，主要使用FCN(Fully ConvolutionalNetworks),FCN可对图像进行像素级的分类，可以从语义级对图像进行目标提取与分割。FCN可以接受任意尺寸的输入图像，采用反卷积层对最后一个卷积层的feature map进行上采样,使它恢复到输入图像相同的尺寸，从而可以对每个像素都产生了一个预测,同时保留了原始输入图像中的空间信息,最后在上采样的特征图上进行逐像素分类。

具体实现方式为：图像目标分割指的是根据图像特征把其划分成若干互不交迭的区域，并使这些特征在同一区域内呈现出相似性，而在不同区域间呈现出明显的差异性。传统的图像分割算法主要包括：基于阈值的分割方法、基于边缘的分割方法、基于区域的分割方法。

在计算机视觉步入深度学习时代之后，图像分割同样也进入了全新的发展阶段，一系列基于卷积神经网络的图像分割方法相继提出，屡屡刷新图像分割精度。本文采用的方法是全卷积神经网络(Fully convolutional networks，FCN)方法实现可导航区域和不可导航区域的分割。FCN的做法是训练一个end-to-end的网络，做像素级的预测，使用标定图像作为监督信息，预测分割图像。

步骤4：建立摄像头之间的通路链表，例如在图7的场景中建立如图8所示的通路链表，直接相连的点是联通的，V是摄像头，D是两个区域的连接点。摄像头通路链表用来搜索全局路径。

步骤5：开始导航时，首先确定导航对象(这儿我使用一个小车来作为导航对象)。

步骤5.1：如果系统存有上一时刻小车的位置，则在上一时刻位置的附近区域，采用目标检测的卷积神经网络模型来查找定位小车在图像中的位置。

步骤5.2：若没有小车上一时刻的位置或者丢失了位置，则在所有的摄像头视界中使用目标检测的卷积神经网络模型来查找定位小车在图像中的位置。

步骤5.3：查找到小车后，确定小车的区域是枪机区域还是球机区域，若为球机区域则采用全向定位导航，控制球机转动使其对准跟踪小车。在球机转动过程中采用surf或sift特征点匹配的方式，来匹配转动前和转动后图像帧相同的区域。若为枪机区域则采用定向定位导航。

步骤6：当查找到小车位置后，读入目的地。每一个目的地区域都对应一个摄像头编号。从小车对应的位置查出对应得摄像头编号。在摄像头通路链表中搜索小车位置摄像头到目的地摄像头的摄像头通路链表。

步骤6.1：若搜索到了通路链表，则以每一连接点为节点，规划全局路径，两两连接点之间采用局部路径规划，如图10所示。

步骤602：若没搜索到通过，则显示不可导航，并将该信息反馈给工作人员，使其完善信息。

步骤7：路径规划好后，启动小车，使小车按照规划的路径走，使用PID算法来控制小车的行进路线，PID调节示意图如图11，图12。并以摄像头画面建立坐标，计算小车在图像中的像素位置、速度、前进方向以及加速度。

步骤8：当小车动起来之后，在小车上一时刻位置附近的摄像头画面使用帧差法来检测运动物体；同时使用卡尔曼滤波结合上一时刻小车的状态(位置，行进方向，速度，加速度)来预测小车下一时刻可能出现的像素位置。并提取出运动在该预测值附近的运动物体图像，送入一个训练好的多分类神经网络分类。

步骤9：当遇到障碍物时采用单目测距(单目视觉的高度宽度恢复)和小车同障碍物像素大小比较的方式来帮助小车避障。

在求得相机内外参数的情况下使用单目视觉测距的方式来测出障碍物的大小。

步骤10：为了使导航可视化，使用MFC或QT等建立起一个上位机画面，用于实时处理导航信息和显示小车所在地。当对象是人时则开发一个手机APP，使用时，这个APP界面就会显示当前人所在环境的三维图像，并在图中用箭头标出行走的方向。

在实施例中将建立上位机，包括PC机上位机和手机APP上位机。PC上位机适合大量数据处理，用于室内的机器人导航。在给上位机能够实时观测每一个相机的画面，并能实时显示当前导航对象位置及导航对象行进过的路线。也可用做跟踪某一目标，绘制记录其行进路径，在跟踪不同目标需要加入不同的检测模块；如跟踪对象或导航对象是人，则需要加入能识别人的模块如人脸识别模块、步态识别模块等。手机APP有两种功能：一是为人导航，当人在该导航系统区域时，需要先在终端上确认需要导航，然后系统会采集人脸和步态信息，当给出目的地时，系统自动规划轨迹，并将导航信息发送到手机APP上，APP上显示当前周围的环境，并在画面中用箭头标出前进方向，直至到达目的地导航结束。二是为机器人导航时，登录到该APP实时查看机器人的导航信息，包括行进路线、目前所在地、机器人的各个状态等细节。

本发明针对不同的定位导航场景和定位导航任务，给出两种模式：(1)定向定位导航模式：固定三维观测视角与相机视角，始终以最佳视角进行导航。(2)全向定位导航模式：可以以任意视角实现定位导航对定位导航。

实施例2：定向定位导航

定向定位导航，其模式主要就是以相机固定视角安装如图6，不同的相机安装的视角有交叉或者两视角不相交的地方有连接点，比如以如图7的室内：楼道视角和门里视角，门就是一个连接点。V1-V9表示相机的编号，该相机视野可覆盖室内可能导航的区域，D1-D9表示相机之间的连接点。在此模式下，建立如图8的相机连通链表。所有相机固定，通过在所有相机视角中检索导航对象，然后定位。

如图5为本申请实施例提供的基于定向定位导航方法的流程图。

基于定向定位导航方法包括如下步骤：

按上述规则布置相机并对相机进行标定。

以固定视角对各路相机的视频图像进行矫正。

检测提取图像中的运动物体和障碍物体。

对检测到的物体进行神经网络分类。

搜索相机视野连通通路，规划全局路径行进连接点。

不可识别障碍目标提取及三维恢复、动态移动障碍物恢复如图9。

视觉避障局部路径规划即当前位置到下一连接点的行进路径如图10。

计算图像中如图11。

步骤10：将计算得到的像素距离作为控制算法的输入，计算得到导航对象的控制信号如图12。

本发明所述一种基于计算机视觉的室内定位和导航系统及方法与现有导航技术相比，其优越在于：传统的导航大部分都是基于电磁波接收信息量少，而图像信息增加了导航过程中信息的丰富度，系统接收到更多的信息能做出更加准确的导航决策；传统的导航会产生电磁干扰，接收的图像信息属于光信号不会产生电磁干扰；基于像素的距离计算方法，大大节约了时间，提高实时性。

实施例3：全向定位导航

全向定位导航和定向定位导航的区别在于：全向定位导航相机视角不固定，可受控转动；定向定位导航相机视角不可转动。全向定位与定向定位可互相补充。在全向定位导航下，当相机检测到导航对象时，会调整相机的视野即随着导航对象的运动而转动，始终使导航对象在视野中的最佳位置。例如在图4的楼道中，在楼道中心位置安装一个球机，其示意图如图14；当小车出现在楼道一端时，通过对导航对象的检测和导航对象位置到预估，控制球机转动使小车出现在视野中心位置，当小车前进时，球机跟着转动，始终保持小车出现在球机事业中心，在球机转动过程中，需要匹配前一帧图像和后一帧图像相同的特征点。

如图13为本申请实施例提供的全向定位导航方法的流程图。

基于全向定位导航方法包括如下步骤：

布置相机并对相机进行标定。

以固定视角对各路相机的视频图像进行矫正。

检测提取图像中的运动物体和障碍物体。

对检测到的物体进行神经网络分类。

导航对象是否是为球机区域，若是转动球机对准导航对象。

搜索相机视野连通通路，规划全局路径行进连接点。

不可识别障碍目标提取及三维恢复、动态移动障碍物恢复如图9。

视觉避障局部路径规划即当前位置到下一连接点的行进路径如图10。

步骤9：计算图像中导航对象中心像素距离局部路径的垂直距离如图11。

步骤10：将计算得到的像素距离作为控制算法的输入，计算得到导航对象的控制信号如图12。

如图14，本发明还提供一种基于计算机视觉的室内定位导航系统，所述定位导航系统包括：多个场景相机、场景数据库、上位机；

多个所述场景相机分别设置在室内空间的不同位置，所述场景相机的输出端与所述上位机连接，所述场景相机用于获取室内空间的不同位置的场景图像，并将所述场景图像发送给所述上位机。

所述场景相机包括：枪机、球机、广角摄像机和鱼眼摄像机中的一种或多种。本发明提供球机枪机联动功能，在多枪机获取整体态势的基础上，还提供球机的单个显示追踪定位功能，由此可以针对某一区域进行更加具体的定位导航。也可以直接采集已有的监控摄像头数据。本发明的相机多选带云台及望远功能的可变焦相机，相机吊装于关键连接点或是楼梯部分，用于机动的侦测相机视野区域内的细节信息。中心侦测相机启动侦测模式后，云台可根据定位对象所在区域进行转动或选定跟踪目标可实时跟踪目标，实现对特定目标的精细定位和导航。

本发明在区域关键连接点进出口、转角和楼梯位置布置一高清球机作为中心侦测相机，用于细节定位导航和追踪。中心侦测相机吊装于区域中心上方即可，当云台360度环绕转动可以无死角监控区域细节即可，从而实现中央球机可以局部、精细地对导航对象进行定位与跟踪。中心侦测相机系统可以实现多种浏览模式及巡查路径以满足用户的不同需求，用户可根据需求自行设置追踪目标、浏览模式、侦测区域。

所述上位机与所述场景数据库连接，所述上位机用于将不同位置的场景图像进行拼接，形成室内空间的多层二维场景图像；并对所述多层二维场景图像中的可导航区域进行识别，获得可导航二维场景图像；并将所述可导航二维场景图像存储至所述场景数据库。

所述上位机内设置有视频管理系统、目标识别系统和对象控制系统；视频管理系统，用于接收场景相机的视频数据，并对同一区域多路视频进行时间同步、色调均匀处理，并将处理后的视频数据发送给目标识别系统；目标识别系统，用于不同区域的多路视频数据的动态目标或静态目标的识别、分离、定位、矫正，获得目标识别结果，动态障碍物的移动检测、定位获得动态障碍物识别结果，并将所述目标识别结果和所述动态障碍物识别结果发送给导航对象控制系统；导航对象控制系统，用于根据所述目标识别结果和所述动态障碍物识别结果搜索全局导航路径关键连接点，规划局部路径，并根据所述局部路径计算控制机器人的控制信号，发送给信号传输系统；信号传输系统，将局部规划路径或控制信号发送给导航对象；所述导航对象是人或机器人。

所述上位机还用于接收用户请求，并根据用户请求获取用户初始位置和目标位置；根据所述相机通路链表和所述可导航二维场景图像，规划所述初始位置到所述目标位置的路线，所述用户初始位置为用户所在位置的障碍物或楼道的门牌号。

所述定位导航系统还包括用户手机端，所述用户手机端设置有室内定位导航APP，室内空间的用户手机端与所述上位机无线连接；用户通过所述室内定位导航APP向所述上位机发送用户申请，所述用户申请包括用户初始位置和目标位置，上位机反馈的路线和可导航二维场景图像显示在所述室内定位导航APP上。所述手机端还用于实时查看机器人的导航信息，包括行进路线、目前所在地、机器人的各个状态等细节。

基于本发明的方法及系统，可见本发明从技术方面来讲包括：全局相机的布置、局部细节球机布置、多视角相机图像重叠区域处理技术、目标检测定位技术、目标识别技术、目标高度宽度信息恢复技术、多场景相机通路搜索技术、机器人控制算法技术、PC上位机及手机APP界面开发技术八部分。

本发明提供球机枪机联动功能，在多枪机获取整体态势的基础上，还提供球机的单个显示追踪定位功能，由此可以针对某一区域进行更加具体的定位导航。

本发明提供基于多场景相机通路搜索的方法，可以基于多个相机在室内建立相机通路链表，用于搜索全局路径。

本发明提供目标定位及高度信息恢复技术，用于视觉避障，对障碍物体进行高度宽度恢复，辅助局部路径规划。

本发明提供控制算法技术，用于控制或引导导航对象到达目的地；该算法基于导航对象和导航目的地在图像中相对像素位置，通过像素距离来控制和引导。

本说明书中等效实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，等效实施例之间相同相似部分互相参见即可。

本文中应用了具体个例对发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

Claims (8)

1.一种基于计算机视觉的室内定位导航方法，其特征在于，所述定位导航方法包括如下步骤：

以实现室内空间全覆盖为目标，将多个场景相机分别布置在室内空间的不同位置，并建立相机通路链表；

采用不同位置的场景相机获取室内空间的不同位置的场景图像；

将不同位置的场景图像进行拼接，形成室内空间的多层二维场景图像；

对所述多层二维场景图像中的可导航区域进行识别，获得可导航二维场景图像；

接收用户请求，并根据用户请求获取用户初始位置和目标位置；所述用户初始位置为用户所在位置的障碍物或楼道的门牌号；

根据所述相机通路链表和所述可导航二维场景图像，规划所述初始位置到所述目标位置的路线；

所述根据所述相机通路链表和所述可导航二维场景图像，规划所述初始位置到所述目标位置的路线，之后还包括：

确定所述用户初始位置所对应的场景相机；

从对应的场景相机的场景图像中获取用户身份信息；

根据所述用户身份信息从多个所述场景相机的场景图像中识别用户；

根据用户识别结果获取用户当前位置，对用户进行跟踪；

判断所述当前位置与所述目标位置的距离是否小于距离阈值，得到第一判断结果；

若所述第一判断结果表示所述当前位置与所述目标位置的距离不小于距离阈值，则根据所述用户当前位置判断用户是否偏离所述路线，得到第二判断结果；

若所述第二判断结果表示用户没有偏离所述路线，则指导用户沿所述路线行走，返回步骤“根据所述用户身份信息从多个所述场景相机的场景图像中识别用户”；

若所述第二判断结果表示所述用户偏离所述路线，则根据所述相机通路链表和所述可导航二维场景图像，重新规划所述当前位置到所述目标位置的路线，返回步骤“根据所述用户身份信息从多个所述场景相机的场景图像中识别用户”；

若所述第一判断结果表示所述当前位置与所述目标位置的距离小于距离阈值，则导航结束。

2.根据权利要求1所述的基于计算机视觉的室内定位导航方法，其特征在于，所述对所述多层二维场景图像中的可导航区域进行识别，获得可导航二维场景图像，具体包括：

选取所述多层二维场景图像中楼道区域对应的场景相机的场景图像，组成楼道区域场景图像；

从所述楼道区域场景图像中勾勒分割出楼道地面场景图像，加入可导航区域；

选取所述多层二维场景图像中非楼道区域对应的场景相机的场景图像，组成非楼道区域场景图像，并将所述非楼道区域场景加入可导航区域。

3.根据权利要求1所述的基于计算机视觉的室内定位导航方法，其特征在于，所述对所述多层二维场景图像中的可导航区域进行识别，获得可导航二维场景图像，之后还包括：

采用卷积神经网络算法对所述可导航二维场景图像中的可分类的障碍物进行分类和标识；

对可导航二维场景图像中的不可分类的障碍物进行高宽恢复。

4.根据权利要求1所述的基于计算机视觉的室内定位导航方法，其特征在于，所述根据所述用户身份信息从多个所述场景相机的场景图像中识别用户，具体包括：

根据所述用户身份信息采用人脸识别和姿态识别的方式从多个所述场景相机的场景图像中识别用户。

5.一种基于计算机视觉的室内定位导航系统，其特征在于，所述定位导航系统包括：多个场景相机、场景数据库、上位机；

多个所述场景相机分别设置在室内空间的不同位置，所述场景相机的输出端与所述上位机连接，所述场景相机用于获取室内空间的不同位置的场景图像，并将所述场景图像发送给所述上位机；

所述上位机与所述场景数据库连接，所述上位机用于将不同位置的场景图像进行拼接，形成室内空间的多层二维场景图像；并对所述多层二维场景图像中的可导航区域进行识别，获得可导航二维场景图像；并将所述可导航二维场景图像存储至所述场景数据库；

所述上位机还用于接收用户请求，并根据用户请求获取用户初始位置和目标位置；根据相机通路链表和所述可导航二维场景图像，规划所述初始位置到所述目标位置的路线，所述用户初始位置为用户所在位置的障碍物或楼道的门牌号；

所述根据所述相机通路链表和所述可导航二维场景图像，规划所述初始位置到所述目标位置的路线，之后还包括：

确定所述用户初始位置所对应的场景相机；

从对应的场景相机的场景图像中获取用户身份信息；

根据所述用户身份信息从多个所述场景相机的场景图像中识别用户；

根据用户识别结果获取用户当前位置，对用户进行跟踪；

判断所述当前位置与所述目标位置的距离是否小于距离阈值，得到第一判断结果；

若所述第一判断结果表示所述当前位置与所述目标位置的距离不小于距离阈值，则根据所述用户当前位置判断用户是否偏离所述路线，得到第二判断结果；

若所述第二判断结果表示用户没有偏离所述路线，则指导用户沿所述路线行走，返回步骤“根据所述用户身份信息从多个所述场景相机的场景图像中识别用户”；

若所述第二判断结果表示所述用户偏离所述路线，则根据所述相机通路链表和所述可导航二维场景图像，重新规划所述当前位置到所述目标位置的路线，返回步骤“根据所述用户身份信息从多个所述场景相机的场景图像中识别用户”；

若所述第一判断结果表示所述当前位置与所述目标位置的距离小于距离阈值，则导航结束。

6.根据权利要求5所述的计算机视觉的室内定位导航系统，其特征在于，所述上位机内设置有视频管理系统、目标识别系统和对象控制系统；

视频管理系统，用于接收场景相机的视频数据，并对同一区域多路视频进行时间同步、色调均匀处理，并将处理后的视频数据发送给目标识别系统；

目标识别系统，用于不同区域的多路视频数据的动态目标或静态目标的识别、分离、定位、矫正，获得目标识别结果，动态障碍物的移动检测、定位获得动态障碍物识别结果，并将所述目标识别结果和所述动态障碍物识别结果发送给导航对象控制系统；

导航对象控制系统，用于根据所述目标识别结果和所述动态障碍物识别结果搜索全局导航路径关键连接点，规划局部路径，并根据所述局部路径计算控制机器人的控制信号，发送给信号传输系统；

信号传输系统，将局部规划路径或控制信号发送给导航对象；所述导航对象是人或机器人。

7.根据权利要求5所述的基于计算机视觉的室内定位导航系统，其特征在于，所述场景相机包括：枪机、球机、广角摄像机和鱼眼摄像机中的一种或多种。

8.根据权利要求5所述的基于计算机视觉的室内定位导航系统，其特征在于，所述定位导航系统还包括用户手机端，所述用户手机端设置有室内定位导航APP，室内空间的用户手机端与所述上位机无线连接；

用户通过所述室内定位导航APP向所述上位机发送用户申请，所述用户申请包括用户初始位置和目标位置，上位机反馈的路线和可导航二维场景图像显示在所述室内定位导航APP上。

Images