CN109059895A - 一种基于手机摄像头和传感器的多模态室内测距及定位方法 - Google Patents

Abstract

本发明公开了一种基于手机摄像头和传感器的多模态室内测距及定位方法。通过融合智能手机的多种类型数据寻求更易部署、更精准的定位策略。本发明克服了基于单目摄像机定位的尺度不确定和漂移问题，并改善了传感器定位方法的误差累积。包括以下步骤：(1)参考内置传感器数据划分检测的目标区域，并匹配图像特征点；(2)根据特征匹配结果计算图像间的变换矩阵，矫正图像角度以确保其与用户拍摄朝向的一致性；(3)识别图像中的多目标物体并输出其在图像空间的坐标；(4)利用传感器数据对提取的运动特征及图像信息进行校正；(5)基于上述步骤测量结果，求解用户到图像中物体的实际角度及距离，实现定位。

Description

一种基于手机摄像头和传感器的多模态室内测距及定位方法

技术领域

本发明公开了一种基于手机摄像头和传感器的多模态室内测距及定位方法，主要用于解决在室内环境中结合图像、手机内置传感器以及WiFi信号等方法进行用户定位的问题。本发明涉及图像检测和无线网络技术领域，是一种融合多模态数据进行室内测距及定位的优化方法。

背景技术

随着更多物联网设备如智能手机、平板电脑、可穿戴设备等性能的飞速增长，和基于定位的应用增加，位置感知发挥了越来越重要的作用。其中，室外位置服务已经成熟，基于GPS和地图的位置服务被广泛应用，并成为各种移动设备被使用最多的应用之一。然而，室内环境下的定位一直是一个很多问题未被解决的领域。

为解决这些问题，文献1(Indoor localization via multi-modal sensing onsmartphones)提出首先使用传感器数据(WiFi和惯性测量)估计粗略位置，然后通过室内几何推理来利用语义信息，最后将候选图像与查询图像匹配以返回估计位置。该方法加快了基于图像的本地化流程，但构建数据库的复杂度和成本较高。文献2(CrowdMap：AccurateReconstruction of Indoor Floor Plans from Crowdsourced Sensor-Rich Videos)提出结合手机IMU传感器和视频数据跟踪摄像头位置，进而进行用户定位和场景重建。其特点是设计一个基于多类传感器的分层系统，逐步筛选精度高的定位数据。但它预设几百个房间的平面布局和场景信息，复杂度较高，通用性不强。

专利1(一种单目测距定位检测系统及其检测方法)提出在图像中检测人脸信息，计算人脸图像对应的目标人物到图像传感器之间的距离来进行定位。该方法精度较高但需要存储场所关联人物的全部人脸图像信息，并且不断迭代调整距离阈值，计算量较大。专利2(一种基于点特征的单目视觉位姿测量方法)提出以摄像机作为测量传感器，配合特殊的点特征合作标志器组成测量系统，通过图像处理找到满足标志器模型约束的特征点区域，利用P3P方法实现物体间的相对位置测量。该方法适用于复杂多变的背景和光照条件，但最终测量的是两个物体间的相对距离及位姿，对用户这个目标对象的特征处理不够明确。

本发明的意义在于不同于以往的室内定位的研究，在目标测距及定位的最终目标下，如果仅利用智能手机单目摄像头采集的图像，基于图像空间和物理空间的几何变换关系进行位置估算，会导致定位依赖特定环境、可移植性低的问题；单纯的利用传感器数据进行位置推算，会产生内在误差累积。所以，本发明不拘泥于对特定的环境和应用采取有针对性的方案，而是着重于考虑用传感器数据补充单目定位中的距离和尺度信息，用单目采集的图像特征提高传感器定位中的准确率。这个思路，一方面丰富了定位中的场景特征；另一方面提高了处理运动数据的效率，有助于实现实时性、可靠性更强的室内定位系统。本发明采用通用性良好的定位模型，为用户输出其相对单个或多个物体的位置，为深度提取以及场景重建等应用领域提供了新的可能性。

发明内容

[发明目的]：本发明主要解决利用手机单目摄像头及其内置传感器对用户进行室内测距及定位的问题。

[技术方案]：本发明的解决方案主要包括以下内容：

(1)图像数据处理：

图像数据模块是整个系统处理过程的重要分支之一，为后续的定位模型提供了基本信息，主要包含以下步骤：特征匹配、变换矩阵计算以及目标的分类及检测。

1)特征匹配：

特征匹配的目的在于为下一步的变换矩阵提供计算依据，为目标分类提供数据集训练的信息来源。主要包含：划分目标检测范围、检测并匹配图像特征点和去除错误匹配点的三项步骤。

其中，划分目标检测范围是为了在结合传感器补充移动数据的前提下，计算两幅图像之间的距离，交换重叠区域信息，降低特征匹配的算法复杂度；特征点检测及匹配部分运用改进的SIFT算法对目标区域进行应用，获取对应的矩阵信息；去除错误匹配点有助于降低错误特征点的干扰，提高匹配模块的检测精度。

2)变换矩阵计算：

利用图像进行定位需要通过改变摄像机的位置获取两幅图像，然后利用提取的图像匹配特征点对并依据空间物点与所成像点的投影几何关系得到摄像机坐标系和物体坐标系的空间位姿参数。在这个过程中，需要根据两次拍摄过程中手机所在的位置来确定两处摄像机坐标系的关系，即计算两幅图像之间的相对变换矩阵，来调整各幅图像的方位与用户拍摄朝向的一致性。

3)目标的分类及检测：

这里，结合前两步的结果，采用基于深度学习的目标分类与检测方法，识别用户拍摄图像中的单个或多个目标物体，获取每个目标物体到其检测框的几何距离。计算各物体的中心检测点在图像坐标系中的坐标。进一步地，输出各物体在每幅图像中相对于两条拍摄的视觉边界的距离比例。

(2)传感器数据对图像的校正机制：

传感器数据模块是整个系统处理过程中的另一重要分支，为矫正图像数据中的某些误差和信息缺失提供了保障，也为后续的模型求解提供了部分基本数据来源。

处理过程主要包含以下两个方面：

1)首先，通过手机内置的加速度计和陀螺仪可以获取用户在两个拍摄点之间的移动距离和转动方向，为图像的各类计算提供现实参考。

2)其次，一方面，在无线环境下，通过手机在移动过程中穿过的菲涅尔区域边界数量确定用户的运动数据；另一方面，通过手机超声波测量在移动过程中，每个频率在固定长度呈现的峰值的数目来获得手机运动的绝对距离。参考这两方面的数据，为图像数据的处理提供补充和校正机制。

(3)定位模型求解：

本发明提出一种用户到场景中目标物体的距离和方位测量的定位模型。在以上步骤已知图像空间中物体的对应距离及其比例、物理空间中两次拍摄点的真实移动距离以及物点在图像坐标系和物理坐标系的对应关系的基础上，通过几何运算可以进一步地求解用户到室内场景中的某个目标物体的距离和角度，从而实现用户的位置估计。

[有益效果]：本发明使用智能手机的单目摄像头和内置传感器进行用户到室内场景中的目标物体的距离和位置测量，相较于传统的室内定位方法有着易于部署、成本低以及预测精度高的优点。在室内用户定位的基础上，为进一步的场景重建和单目深度估计应用提出了新的可能性。最后，本发明的设计保证了整个机制的真实性。

附图说明

图1系统流程图

图2基于两幅图像的目标定位模型

图3传感器数据处理流程

图4测距及定位模型

具体实施方式

以下结合附图和具体实施案例对本发明做具体的介绍。

如附图1所示，本发明为一种基于手机单目摄像头和传感器的多模态室内定位方法，分为三个阶段，图像数据处理、传感器数据校正机制和定位模型求解。

1.图像数据处理

1.1图像的特征点检测和匹配：

利用用户从两个定点由手机单目摄像头采集的图像数据，提取场景特征，并寻求两幅图像之间的坐标对应关系。其具体过程如下：

1)由传感器数据计算图像间的移动距离，检索场景的重叠信息，去除无关背景噪声，划分特征匹配的目标区域；

2)采用局部特征检测算法(SIFT)，分别对两幅拍摄图像进行特征点提取，根据其有关尺度和方位的描述子得到特征，并进行图像间的特征点匹配。其中，一幅二维图像的尺度空间定义为：

L(x，y，σ)＝G(x，y，σ)*I(x，y)

其中，G(x，y，σ)为尺度可变高斯函数，(x，y)用来描述空间的尺度坐标，σ表示图像的平滑程度；

3)通过随机抽样一致(RANSAC)算法在一组图像特征数据集中，采用不断迭代的方法，寻找最优参数模型，并且去除该幅图像中的不符合最优模型的“外点”。

1.2变换矩阵计算：

1)由附图2的基于两幅图像的目标定位模型所示，O1和O2是两次拍摄时摄像机的光心位置(目标对象的位置)，I1和I2是两次拍摄时的成像平面，P为目标中选取的一个特征点，p1与p2为该特征在两幅图像上的投影，即p1，p2为两幅图像中某个目标物体的对应匹配点.

2)假设摄像机从甲处移动到乙处的旋转矩阵为R，平移向量为T，设P点在甲处摄像机坐标系中的坐标为Xc1＝(xc1，yc1，zc1)T，对应的图像像素坐标为(u1，v1)；在乙处摄像机坐标系中的坐标为Xc2＝(xc2，yc2，zc2)T，对应的图像像素坐标为(u2，v2)。由此，可以确定两处摄像机坐标系的关系如下：Xc2＝RXc1+T，代入已知数据进一步将该关系推算为：

1.3目标的分类及检测：

1)在1.1和1.2步骤的结果的基础上，采用基于深度学习的目标分类和检测方法，识别在描述室内场景的两幅图像中的目标物体，并且按实例为用户显示其检测类别。

2)识别用户拍摄图像中的单个或多个目标物体之后，可以由物体检测模块输出每个目标物体到其检测框的几何距离以及各物体的中心检测点在图像坐标系中的坐标。进一步地，对于每幅图像中的每个目标物体，计算得到其相对于两个拍摄的视觉边界的距离比例。

2.传感器数据对图像数据的校正机制

根据附图3所示，利用手机内置传感器对提取的图像数据进行校正的机制主要可以概括为如下两个部分：

2.1目标物体检测的区域划分：

在执行特征检测及其匹配算法之前，通过由手机在用户在两个拍摄点之间运动产生的加速度计和陀螺仪的数据变化，计算图像之间的移动距离，检索其目标对象的重叠范围，为特征点划分检索区域。

其中，手机加速度计和陀螺仪的数据参考的具体步骤可以描述如下：

1)使用低通滤波器来过滤从加速度计接收到的信号，用于消除任何不由用户的轻微移动造成的噪音；

2)将从加速度计接受到的三个数值(x，y，z)进行二次积分运算，用于将加速度转化为速度，将速度转换为距离；对陀螺仪测量数据执行类似操作，二次积分获取手机在移动过程中的转动角度信息；

3)以上所述的前提是，尽量保证手机以某种固定状态移动，较大的角度偏差会影响其测量结果。为解决以上问题，可以从内置的陀螺仪中获得的欧拉角进行补偿，用欧拉角的度量映射出一个到加速度器起始坐标的向量，在手机运动时，较为准确地测量移动距离以及方位。

2.2单目测量的尺度和距离信息补充：

以上的所有工作得到的大部分距离和角度信息均为在图像坐标系中的测量结果，因此，需要一些物点在物理空间的转动和移动信息来补充最终定位所需的数据。本发明中，主要从两个方面对用户采集的图像数据进行校正：

1)在无线环境下，信号在传播多个路径之后会引起交替强度的同心椭圆构成菲涅尔模型。当目标物体穿过Fresnel区的边界时，接受的信号将产生峰或谷。因此，通过手机在移动过程中穿过的交替边界的数量可以确定用户的运动数据；

2)利用手机超声波产生的信号，在经过逆傅里叶变换之后，每个频率在固定长度呈现的峰值。通过测量在移动过程中峰值的数目来获得手机运动的绝对距离。

参考这两方面的数据，为图像数据的处理提供补充和校正机制。

3.定位模型求解

如附图4所示，这里主要分析在一次定位过程中，通过用户在两个拍摄定点和单个目标物体之间的几何关系，估计用户到室内场景中该物体的距离和角度信息。其中，模型求解过程中的数据主要来源于前两个步骤的推算结果。当图像中有多个目标物体时，其定位过程即为相同模型下不同数据的同理运算。

1)在拍摄定点上，已知单目摄像头的拍摄视角范围为γ(手机自带的摄像头参数)。

2)由目标物体检测可以获取图像空间中投影之后的距离比即d2/d1(d2′/d1′)，由加速度和陀螺仪的数据处理可以知道手机的转动角θ₁，θ₂以及移动距离d。因此，依据：

其中，γ′＝θ₁-θ₂.

3)由以上步骤求解目标物体到用户的两个拍摄位置的距离OO₁和OO₂，以及用户相对目标物体的角度，实现位置度量从而进行定位。

Claims (6)

1.基于手机摄像头和传感器的多模态室内测距及定位系统，其特征在于：

(1)特征匹配阶段，检测相同的点在两幅图像中的不同位置，通过尺度不变特征变化(SIFT)算法进行特征点的提取和自动匹配；

(2)目标检测阶段，在获取各目标物体在图像空间到视觉边界的距离基础上，分割并识别多个物体，提供更丰富的检测数据和空间信息；

(3)多模态数据融合阶段，在特征点检测之前，首先由手机内置传感器补充检测区域信息，减小匹配模块的复杂度；利用传感器数据解决单目测距中的尺度和距离缺失问题，与图像数据进行补充以及校正；

(4)定位模型求解阶段，通过用户拍摄的两张及以上的照片，结合图像数据和传感器数据，获取在物理空间上用户到图像中各物体的方位和距离；

(5)单目测距及定位阶段，根据模型求解的结果测算用户到场景中某个物体的距离和角度，进而确定用户位置。结合图像中物体的识别结果，最终输出用户到多个物体的相对位置。

2.根据权利1要求，本发明中的特征检测及匹配方法，所述步骤(1)对图像的处理，分为以下步骤：

(1)由手机内置加速度计和陀螺仪的测量数据，确定图像间距离，划分目标物体在照片中的区域；

(2)SIFT特征匹配算法包括两个步骤，首先是SIFT特征的生成，即从两幅待匹配图像中提取出对尺度缩放、旋转、亮度变化无关的特征向量；其次，对尺度特征不变的点进行匹配；

(3)通过Ransac算法去除错误匹配点，在特征匹配结果里，找到一个变换矩阵使目标区域内尽量多的特征点都符合这个变换关系，保留这部分检测结果作为匹配特征。

3.根据权利1要求，本发明中的目标检测方法，所述步骤(2)的算法，主要包括以下步骤：

(1)采用一种基于深度学习的目标分类与检测方法，识别图像拍摄的室内场景里的单个或多个目标物体；

(2)获取每个目标物体到其检测框的边界距离，进一步地，计算物体在图像坐标系中的坐标；

(3)参考物体坐标和预测图像尺度，获取物体间距离，计算目标到视觉边界的距离及其比例。

4.根据权利1要求，本发明中的多模态数据融合部分，其特征在于：

(1)在图像处理部分，为两张照片划分目标检测区域。根据手机内置传感器的加速度和角速度数据，测算图像间的移动距离和转动角度，确定图像的匹配区域；

(2)在定位模型部分，需要手机摄像头在两幅图像的拍摄定点的移动距离数据。首先，由加速度计的位移和陀螺仪的角度补偿，可以得到移动距离。但这个数据会随着时间产生误差累积，因此，通过无线CSI的菲涅尔模型或者超声波方法，可以进一步地确认这个距离数据。多种数据相互校正，提供更准确的数据来源。

5.根据权利1要求，本发明中的定位所用模型，所述步骤(4)的求解过程，分为以下几步：

(1)从两个位置拍摄室内环境中的图像，由特征匹配及目标检测的结果，获取各目标物体到图像边界的距离比例；

(2)通过WiFi CSI的菲涅尔模型和超声波方法补充和校正信息，计算用户的两个拍摄点之间的移动距离；

(3)由手机内置加速度计和陀螺仪的测量数据，确定第二个拍摄点相对于第一个拍摄点之间的手机转动角度，补充图像中的方位信息；

(4)根据图像空间中的各角度和比例数据，参考实际物体空间的距离，实现用户相对于目标物体的距离和方位测量。

6.根据权利1要求，本发明中的多模态数据融合，所述步骤(5)的思路，概括为以下几点：

(1)由图像中物体的分割与检测，获取目标到图像边界的距离比例。结合无线及超声波方法测得的实际移动距离，确定图像中各物体在物体空间到用户的实际距离；

(2)手机摄像头的拍摄角和两个位置上的图像角度，与内置传感器读取的转动角度信息，互为补充，确定图像中各物体到用户的实际方位角度。