CN107131883A

CN107131883A - 基于视觉的全自动移动终端室内定位系统

Info

Publication number: CN107131883A
Application number: CN201710280545.6A
Authority: CN
Inventors: 刘宁; 李明宽; 牛群; 刘畅
Original assignee: Sun Yat Sen University
Current assignee: Guangzhou Wojia Technology Co ltd
Priority date: 2017-04-26
Filing date: 2017-04-26
Publication date: 2017-09-05
Anticipated expiration: 2037-04-26
Also published as: CN107131883B

Abstract

本发明涉及一种基于视觉的全自动移动终端室内定位系统及方法，其中系统包括图像数据库、深度学习模块、图像匹配模块以及定位模块，还可以包括增量构建图像数据库模块。本发明提供的基于视觉的全自动移动终端室内定位系统，通过自动在视频中自动提取ROI区域实现了带摄像头设备在室内场景下的全自动定位，并获得了较高精度的定位结果。同时，利用用户定位成功的视频数据，增量构建和更新图像数据库。这种方法有效利用了大量的视频数据，降低了部署所需要的工作量，同时能及时更新数据库以应对由于装修等导致的室内场景的改变。

Description

基于视觉的全自动移动终端室内定位系统

技术领域

本发明涉及一种基于视觉的全自动移动终端室内定位系统。

背景技术

随着移动互联网的飞速发展，基于地理位置的服务在许多应用上发挥着越来越重要的作用。如今大多数定位应用都是基于全球定位系统(Global Positioning System，简称GPS)或基站等室外定位环境，而对于人们大部分时间活动的室内环境，GPS卫星信号收到混凝土等众多障碍物的阻挡导致信号严重衰减，定位精度很难达到要求。因此，方便而且精确的室内定位技术具有重要的商业价值。

而照片和视频慢慢成为了全球人们生活中不可缺少的一部分，计算机视觉技术也在近年来受到了越来越多的关注。室内场景中的视觉特征相对于传统的无线射频信号特征来说，具有更直观、更稳定的特征，而且除了相机之外不需要额外的特殊设备部署，可以广泛应用在室内商场导航导购，机器人自动送货等场景，具有广阔的商业应用前景。

现有基于计算机视觉的方法包括基于2D图像的方法以及基于3D模型的方法。基于2D图像的方法通常分为图像特征匹配与位置确定两部分，首先利用SIFT、SURF等局部特征或颜色直方图等全局特征表示用户拍摄的图像，与图像数据库进行匹配确定用户拍摄的照片所对应的位置，接着使用罗盘或陀螺仪测量用户拍摄照片时候手机的的朝向与旋转角，构建三角定位模型确定用户位置。基于3D模型的方法通常使用SfM算法，利用一组二维图像序列构建出室内场景的三维模型。在定位阶段找到用户拍摄的2D照片特征点与3D点云匹配的对应关系，从而估算出相机姿态以及相机所在的位置

在实际场景中，现有的技术普遍存在如下几个方面的缺点：

1.基于2D图像的室内定位的用户操作很繁琐，用户对准特定的目标(ROI，Regionof Interest,如商场的店铺招牌等)进行拍摄，如果ROI选择错误或者拍摄方向没有正对ROI都会导致定位误差。同时，不能方便地移植到无人的移动设备上实现全自动定位。

2.基于计算机视觉的室内定位的定位精度很大程度上依赖于图像或特征点的匹配准确率，传统的图像匹配算法(如SIFT，SURF，ORB等)的匹配准确率不高，还有较大提升的空间。

3.基于3D模型在建立点云阶段需要大量室内场景的照片，并且定位阶段的运算量很大或者需要一些如深度摄像头之类的特定设备。

发明内容

本发明提供了一种基于视觉的全自动移动终端室内定位系统，以使得装备有摄像头的设备有效地在室内场景中自动定位，并使用深度学习获得较高的图像匹配准确率，最后，使用增量构建和更新图像数据库的方式减少系统部署成本。为实现上述目的本发明技术方案如下：

一种基于视觉的全自动移动终端室内定位系统，包括：

图像数据库，从互联网获取一部分目标室内场景的图像，标注出图像中ROI区域以及它们在室内地图上的坐标后构建而成；

深度学习模块，使用图像数据库训练快速区域提取卷积神经网络(Faster R-CNN)模型以及深度卷积神经网络(CNN)模型；

图像匹配模块，接收移动设备采集的视频数据，在视频中提取ROI区域并对ROI区域进行匹配，并根据视频的连续性针对ROI序列进行过滤以提高匹配准确率；

定位模块，用于将图像匹配模块中提取的ROI序列与传感器数据进行结合，考虑传感器的误差后建立优化模型估算出设备在室内场景中的位置。

一种基于视觉的全自动移动终端室内定位方法，包括以下步骤：

在离线阶段，系统从互联网获取一部分目标室内场景的图像，标注出图像中ROI区域以及它们在室内地图上的坐标后构建图像数据库；

通过深度学习模块，使用图像数据库训练快速区域提取卷积神经网络(Faster R-CNN)模型以及深度卷积神经网络(CNN)模型；

在线阶段中，通过图像匹配模块接收移动设备采集的视频数据，在视频中提取ROI区域并对ROI区域进行匹配，最后根据视频的连续性针对ROI序列进行过滤以提高匹配准确率；

通过定位模块，将图像匹配模块中提取的ROI序列与传感器数据进行结合，考虑传感器的误差后建立优化模型估算出设备在室内场景中的位置。

本发明提供的基于视觉的全自动移动终端室内定位系统，通过自动在视频中自动提取ROI区域实现了带摄像头设备在室内场景下的全自动定位，并获得了较高精度的定位结果。同时，利用用户定位成功的视频数据，增量构建和更新图像数据库。这种方法有效利用了大量的视频数据，降低了部署所需要的工作量，同时能及时更新数据库以应对由于装修等导致的室内场景的改变。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，并不构成对本发明的不当限定，在附图中：

图1是本发明实施例系统模块设计图；

图2是本发明实施例ROI区域示意图；

图3是本发明实施例关键帧提取流程图；

图4是本发明实施例ROI匹配模块流程图；

图5是本发明实施例ROI提取与匹配结果效果图；

图6是本发明实施例三角不等式过滤示意图；

图7是本发明实施例ROI序列过滤流程图；

图8是本发明实施例定位模型示意图；

图9是本发明实施例定位模块原理图；

图10是本发明实施例聚类效果示意图；

图11是本发明实施例增量构建图像数据库模块流程图。

具体实施方式

下面将结合附图以及具体实施例来详细说明本发明，在此本发明的示意性实施例以及说明用来解释本发明，但并不作为对本发明的限定。

实施例

系统总体设计及理论基础

系统由图像匹配模块、定位模块、深度学习模块、增量构建与更新数据库模块组成。首先在离线阶段，系统从互联网获取一部分目标室内场景的图像，标注出图像中ROI区域以及它们在室内地图上的坐标后构建图像数据库。深度学习模块是使用图像数据库训练快速区域提取卷积神经网络(Faster R-CNN)模型以及深度卷积神经网络(CNN)模型，分别与用户图像匹配模块中的ROI区域提取以及ROI匹配。在线阶段中图像匹配模块接收移动设备采集的视频数据，在视频中提取ROI区域并对区域进行匹配，为了提高匹配准确率，最后根据视频的连续性针对ROI序列进行过滤。定位模块将图像匹配模块中提取的ROI序列与传感器数据进行结合，考虑传感器的误差后建立优化模型估算出设备在室内场景中的位置。系统模块设计图如图1所示。

图像匹配模块的设计与实现

该模块主要负责接收移动设备的视频数据，并提取视频中的ROI序列。其中包括三个部分，分别是关键帧提取，基于深度学习的ROI匹配以及ROI序列过滤。

关键帧提取部分设计与实现

在这个部分中，需要在视频中提取出关键帧以及对应的ROI区域。在本系统中，视频帧中的ROI区域一般为店铺招牌区域，如图2所示。关键帧定义为存在一个ROI区域位于视野中间的帧。首先训练一个Faster R-CNN神经网络用于在图像中提取ROI区域，Faster R-CNN输入为视频中的某一帧，输出为一个矩形区域的集合，还有这些矩形区域为ROI的概率。选取满足公式(1)条件的矩形区域为ROI区域：

p_i>δ (1)

其中p_i为举行区域i为属于ROI的概率，δ为一个概率的阈值。

为了加快ROI区域提取速度，考虑到视频帧与帧之间是连续而且有关联的，本专利书结合视频目标跟踪的算法KCF提出了一个关键帧选择的算法。算法流程图3如所示，首先使用Faster R-CNN提取给定帧视频中的ROI区域，然后使用KCF算法跟踪这些每一个ROI区域，记录他们在视频视野内所有的位置，选择出该ROI区域的中心位置与视野中心距离最短的那一帧为这个ROI对应的关键帧。当给定的帧的所有ROI区域都找到对应的关键帧后，在KCF算法跟踪到的最后一帧开始重复上述过程，直到提取完整个视频所有ROI的关键帧。得到关键帧后，记录关键帧对应的一系列ROI区域以及罗盘方向读数，用于后续进行匹配以及位置的计算。

ROI匹配部分设计与实现

ROI匹配部分的主要工作是在数据库中找到与视频中提取出的ROI区域以及它们在实际的坐标。利用图像数据库中的ROI区域照片训练了卷积神经网络分类器后，每个ROI在视频的每一帧出现的区域都能得到一个匹配结果。因此，需要综合考虑同一个ROI在每一帧出现的区域的匹配结果来得到该ROI的匹配结果。

匹配过程设计如下：假设第i个ROI有N_i个的矩形区域，首先第k个矩形区域的FAST特征点，FAST特征点越多表示该矩形区域的匹配结果对ROI匹配结果的影响越大。然后按照公式(2)根据FAST特征点个数计算的概率最后按照公式(3)综合计算出该ROI对应数据库中第j类的概率

ROI匹配模块的流程图如图4所示，匹配效果如图5所示。

ROI序列过滤设计与实现

由于视频拍摄是连续的，拍摄到相邻的ROI在实际地图上也应该是相邻的。因此，可以过滤一部分可能存在的匹配错误的结果，提高匹配准确率。ROI序列过滤分为两步，首先过滤不满足公式(4)的ROI区域r_i，其中ò为距离差的阈值。

|r_i-1r_i|+|r_ir_i+1|-|r_i-1r_i+1|＜ò (4)

该约束条件的示意图如图6所示，虚线部分为室内地图的一部分，A、B、C分别为三个相邻的店铺，他们之间满足|AB|+|BC|-|AC|＜ò的条件。然后计算出可能的最长ROI序列，与视频中提取出的ROI序列进行比较选取最长公共子序列为ROI序列过滤结果。

ROI序列过滤的流程图如图7所示。

定位模块的设计与实现

功能和结构设计

已知拍摄的其中两个ROI的坐标P⁽¹⁾和P⁽²⁾，以及拍摄的时候面对他们的罗盘读数θ₁和θ₂，可以通过如图8所示模型进行定位。所示模型进行定位。而视频中可能提取到ROI序列中有三个或者更多的ROI，每两个ROI都可以确定一个设备所在的位置。但由于罗盘读数往往存在误差，每两个ROI确定的位置可能不唯一。因此本专利书提出一个方法，考虑到罗盘读数的误差以及各个ROI组合所确定的位置，综合得到一个误差更小的定位结果。

如图9所示为定位模块的原理图。所示为定位模块的原理图。首先假设观测每个ROI的时候罗盘都有误差Δθ，然后计算出每个ROI组合所确定的位置L_i,j，以及它们的平均位置L，通过遗传算法调整Δθ的值，使得公式(5)所表示的误差函数J(Δθ)最小，此时平均位置L即为最终设备的定位结果。

增量构建图像数据库模块的设计与实现

构建图像数据库往往需要较大的工作量，本专利书提出了一个增量构建图像数据库的方法，利用用户上传的定位成功的视频，找出在数据库中没有的ROI并把这些ROI的位置与矩形区域图像更新到数据库中，能够使得数据库得到及时的更新和维护，使定位系统更加稳定。

首先，需要对一段时间内的多个视频中提取出的矩形区域进行聚类，找到在不同的视频中属于同一个ROI的矩形区域。聚类过程为先使用GoogLeNet神经网络提取矩形区域的高维深度特征，然后对深度特征进行MeanShift聚类，聚类的结果如图10所示，每个矩形区域都来自不同的视频片段，属于同一个ROI的矩形区域被划分到了同一类里。接着使用上述定位模块中的定位算法计算出ROI在地图中的坐标，如果该坐标与某一个已有的ROI坐标距离很近，那可能是那个ROI有了装修等情况导致图像的变化，那么把新的矩形区域图像更新到数据库中替换原有的图像，否则，把得到的ROI坐标与矩形区域图像作为一类加入到数据库中。最后数据库更新完毕后需要重新训练图像分类模块中的训练神经网络分类器。

增量构建图像数据库模块的流程图如图11所示。

本发明提出了基于视频的室内定位系统，通过自动在视频中自动提取ROI区域实现了带摄像头设备在室内场景下的全自动定位，并获得了较高精度的定位结果。同时，利用用户定位成功的视频数据，增量构建和更新图像数据库。这种方法有效利用了大量的视频数据，降低了部署所需要的工作量，同时能及时更新数据库以应对由于装修等导致的室内场景的改变。

以上对本发明实施例所提供的技术方案进行了详细介绍，本文中应用了具体个例对本发明实施例的原理以及实施方式进行了阐述，以上实施例的说明只适用于帮助理解本发明实施例的原理；同时，对于本领域的一般技术人员，依据本发明实施例，在具体实施方式以及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims

1.一种基于视觉的全自动移动终端室内定位系统，其特征在于包括：

2.如权利要求1所述的基于视觉的全自动移动终端室内定位系统，其特征在于：

所述图像匹配模块包括关键帧提取模块、ROI匹配模块以及ROI序列过滤模块；

关键帧提取模块用于通过训练一个Faster R-CNN神经网络以在视频图像中提取ROI区域，并将ROI区域位于视野中间的帧定义为关键帧；

ROI匹配模块用于在图形数据库中找到与视频中提取出的ROI区域以及它们在实际的坐标；

ROI序列过滤模块用于过滤一部分可能存在的匹配错误的结果，提高匹配准确率。

3.如权利要求1所述的基于视觉的全自动移动终端室内定位系统，其特征在于：

还包括增量构建图像数据库模块，利用用户上传的定位成功的视频，找出在数据库中没有的ROI并把这些ROI的位置与矩形区域图像更新到数据库中，使得数据库得到及时的更新和维护，使定位系统更加稳定。

4.一种基于视觉的全自动移动终端室内定位方法，其特征在于包括以下步骤：

5.如权利要求4所述的基于视觉的全自动移动终端室内定位方法，其特征在于所述图像匹配模块的设计与实现包括以下步骤：

关键帧提取，训练一个Faster R-CNN神经网络，在Faster R-CNN神经网络输出的一个矩形区域的集合中选取满足条件的矩形区域为ROI区域，以ROI区域位于视野中间的帧作为关键帧；

ROI匹配，假设第i个ROI有N_i个的矩形区域，首先第k个矩形区域r_i ^(k)的FAST特征点，FAST特征点越多表示该矩形区域的匹配结果对ROI匹配结果的影响越大。然后按照公式二根据FAST特征点个数计算r_i ^(k)的概率最后按照公式三综合计算出该ROI对应数据库中第j类的概率其中：

公式二：

公式三：

6.如权利要求4所述的基于视觉的全自动移动终端室内定位方法，其特征在于所述ROI区域的选取包括以下步骤：

首先使用Faster R-CNN提取给定帧视频中的ROI区域，然后使用KCF算法跟踪这些每一个ROI区域，记录他们在视频视野内所有的位置，选择出该ROI区域的中心位置与视野中心距离最短的那一帧为这个ROI对应的关键帧，当给定的帧的所有ROI区域都找到对应的关键帧后，在KCF算法跟踪到的最后一帧开始重复上述过程，直到提取完整个视频所有ROI的关键帧。

7.如权利要求4所述的基于视觉的全自动移动终端室内定位方法，其特征在于所述定位模块的设计与实现包括以下步骤：

首先假设观测每个ROI的时候罗盘都有误差Δθ，然后计算出每个ROI组合所确定的位置L_i,j，以及它们的平均位置L，通过遗传算法调整Δθ的值，使得以下公式所表示的误差函数J(Δθ)最小，此时平均位置L即为最终设备的定位结果：

<mrow> <mi>J</mi> <mrow> <mo>(</mo> <mi>&Delta;</mi> <mi>&theta;</mi> <mo>)</mo> </mrow> <mo>=</mo> <munderover> <mo>&Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mrow> <mi>N</mi> <mo>-</mo> <mn>1</mn> </mrow> </munderover> <munderover> <mo>&Sigma;</mo> <mrow> <mi>j</mi> <mo>=</mo> <mi>i</mi> <mo>+</mo> <mn>1</mn> </mrow> <mi>N</mi> </munderover> <mo>|</mo> <msub> <mi>L</mi> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> </mrow> </msub> <mo>-</mo> <mi>L</mi> <msup> <mo>|</mo> <mn>2</mn> </msup> <mo>+</mo> <mi>&lambda;</mi> <munderover> <mo>&Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>N</mi> </munderover> <msubsup> <mi>&Delta;&theta;</mi> <mi>i</mi> <mn>2</mn> </msubsup> <mo>.</mo> </mrow>

8.如权利要求4所述的基于视觉的全自动移动终端室内定位方法，其特征在于还包括以下步骤：

利用用户上传的定位成功的视频，找出在数据库中没有的ROI并把这些ROI的位置与矩形区域图像更新到图像数据库中，使得数据库得到及时的更新和维护，使定位系统更加稳定。

9.如权利要求8所述的基于视觉的全自动移动终端室内定位方法，其特征在于增量构建图像数据库包括以下步骤：

首先，需要对一段时间内的多个视频中提取出的矩形区域进行聚类，找到在不同的视频中属于同一个ROI的矩形区域；

接着使用上述定位模块中的定位算法计算出ROI在地图中的坐标，如果该坐标与某一个已有的ROI坐标距离很近，那么把新的矩形区域图像更新到数据库中替换原有的图像，否则，把得到的ROI坐标与矩形区域图像作为一类加入到图形数据库中；

最后图像数据库更新完毕后需要重新训练图像分类模块中的训练神经网络分类器。

10.如权利要求9所述的基于视觉的全自动移动终端室内定位方法，其特征在于：

所述聚类过程为先使用GoogLeNet神经网络提取矩形区域的高维深度特征，然后对深度特征进行MeanShift聚类，每个矩形区域都来自不同的视频片段，属于同一个ROI的矩形区域被划分到了同一类里。