CN108921889A - 一种基于扩增现实应用的室内三维定位方法 - Google Patents

Abstract

本发明公开了一种基于扩增现实应用的室内三维定位方法，包括以下步骤：实时定位出相机镜头和目标节点的坐标，并且确定相机镜头的观测角度；将目标节点的三维坐标转换成以相机镜头为基准的三维空间坐标，并通过相机成像原理、相机标定技术将三维坐标转换为相机镜头拍摄的二维图像中的二维坐标；取得三维坐标在二维图像上的映射坐标后，将虚拟图像或3D模型叠加到相机镜头拍摄的二维图像之上。本发明可实现用户借助摄像头或者移动设备就可以通过扩增现实的效果获取到现实中物品的信息，例如获取遗落的钱包的位置、博物馆中展品的信息、大型商场中的某个店的信息、以及快速找到某个区域的某个人。

Description

一种基于扩增现实应用的室内三维定位方法

技术领域

本发明涉及室内三维定位、三维坐标转为二维坐标、AR和Web技术领域，具体涉及一种基于扩增现实应用的室内三维定位方法。

背景技术

随着全球信息科技和智能手机的不断发展，全球定位系统(Global PositionSystem,GPS)在我们的生活中的应用越来越广泛。虽然全球定位系统可以进行准确可靠的定位，但是在室内环境中GPS信号不能穿透，不能在室内有效的使用。因此室内定位的研究变得非常重要。之前，室内定位研究主要集中于室内二维定位领域，二维定位的方法很多，例如多边定位法、指纹定位、质心定位等等。为了满足不断飞速发展的科技生活的需求，三维定位技术这几年也变得火热，并且有了不错的成果，例如天津大学的赵廷瑜在2016年发表的论文《Belief Interval of Dempster-Shafer Theory for Line-of-SightIdentification in Indoor Positioning Applications》中所用的基于Kalman算法的三维空间定位算法等等。随着虚拟现实(VR)和增强现实(AR)的不断发展，VR和AR也越来越多的应用在我们的生活中。这两个热门领域中，室内三维空间定位技术成为最为核心的部基于Kalman算法的三维空间定位算法分。一般的定位技术，都只能简单的得到所要定位位置的坐标。因此只需要借助摄像头，或是拿起手中的移动设备，就可以通过扩增现实的效果获取现实中物品的信息变得尤为迫切。

发明内容

本发明的目的是为了克服现有技术中的不足，提供一种基于扩增现实应用的室内三维定位方法，将三维空间定位技术应用到扩增现实应用场景中。扩增现实是一种在摄像机拍摄画面上叠加相应的图像、3D模型等的应用，其目的就是把虚拟物体叠加到所拍摄的画面上来进行互动，从而达到超越现实的感官体验。本发明使用三维空间定位技术来替代图像识别实现扩充现实的应用。可实现用户借助摄像头或者移动设备就可以通过扩增现实的效果获取到现实中物品的信息，例如获取遗落的钱包的位置、博物馆中展品的信息、大型商场中的某个店的信息、以及快速找到某个区域的某个人。

本发明的目的是通过以下技术方案实现的：

一种基于扩增现实应用的室内三维定位方法，包括以下步骤：

(1)实时定位出相机镜头和目标节点的坐标，并且确定相机镜头的观测角度；

(2)将目标节点的三维坐标转换成以相机镜头为基准的三维空间坐标，并通过相机成像原理、相机标定技术将三维坐标转换为相机镜头拍摄的二维图像中的二维坐标；

(3)取得三维坐标在二维图像上的映射坐标后，将虚拟图像或3D模型叠加到相机镜头拍摄的二维图像之上。

与现有技术相比，本发明的技术方案所带来的有益效果是：

1.本发明不仅可以获得定位目标的位置，还能结合扩增现实给用户以简单明了的方式提供更多的所需要的信息。

2.本发明将三维空间定位的结果结合扩增现实技术展现给用户更多定位目标信息。这样，有利于用户可以不仅获得精确的定位目标位置信息，还可以将定位物品显示在电脑画面上，更加便于用户快速找到该物品。

3.本发明可以通过扩增现实技术将遗落的钱包的位置、博物馆中展品的信息、大型商场中的某个店的信息等等显示在电脑界面上，可以进一步满足用户的需求，更加便利的定位。

附图说明

图1为相机成像原理图；

图2为3D坐标到2D计算机图形坐标转换流程图；

图3为基于三维空间定位算法的扩增现实应用流程图；

图4为使用Matlab Camera Calibration Tool相机标定库标定结果图；

图5为以寻找手机为例得到的最终扩增现实应用结果图；

具体实施方式

下面结合附图对本发明作进一步的描述。

一种基于扩增现实应用的室内三维定位方法，包括以下步骤：

1.实时定位出相机镜头和目标节点的坐标，并且确定相机镜头的观测角度；

2.将目标节点的三维坐标转换成以相机镜头为基准的三维空间坐标，并通过相机成像原理、相机标定技术将三维坐标转换为相机镜头拍摄的二维图像之上；

3.取得三维坐标在二维图像上的映射坐标后，将虚拟图像或3D模型叠加到相机镜头拍摄的二维图像之上。具体如下：

(1)相机成像原理

根据相机的小孔成像原理，如图1所示，通过相应计算将物体通过三维定位空间方法所得的三维坐标转换为图像上的二维坐标。

如图1所示，P(x_w,y_w,z_w)是目标点P的世界坐标，，P(x,y,z)是目标点P在相机坐标系中的三维坐标，该坐标系以原点O为坐标原点，z轴平行于镜头的视觉方向。(X,Y)是以O_i为圆心的图像坐标系，其中O_i为最后的垂直于相机坐标系z轴的平面的中心点。其中，f是O_i所在的平面到原点O的距离，即相机的焦距。Pu(X_u,Y_u)为理想状态下目标点P在图像上的映射的坐标点，但由于镜头畸变产生的影响，最终真实的坐标位置为Pd(X_d,Y_d)。然后再将成像坐标系中的坐标值转换为最终的像素坐标系的坐标(X_f,Y_f)。整个坐标转换的过程如图2所示：

(2)世界坐标转换为相机坐标

通过如下公式将目标点P的世界坐标(x_w,y_w,z_w)转换为相机坐标(x,y,z)：

R是世界坐标绕X、Y、Z三轴旋转的效果之和，其公式如下：

R＝r₁*r₂*r₃

其中，分别为绕X轴、Y轴和Z轴的旋转角度。目前三维空间定位精度尚未达到一定的要求，可先将摄像设备确定在一个固定的位置，只定位目标节点的位置，不需要确定角度。

然后再根据目标的定位节点(x_w,y_w,z_w)和相机的世界坐标(x_c,y_c,z_c)来计算目标节点的相机坐标，公式如下所示：

(3)相机坐标转换为图像坐标

相机在拍照时会出现畸变问题，常见的畸变有径向畸变和切向畸变。因此还需要将得到的相机坐标(x,y,z)先转换为未发生畸变的图像坐标，定义X_n为针孔成像标准图像投影，其计算公式如下：

对于径向畸变可以通过泰勒级数展开式来矫正，其公式如下所示：

X_{d_1}＝(1+k₁r²+k₂r⁴+k₃r⁶+…)X_n

其中，r是成像点距离成像中心的距离，X_d为径向畸变后的成像坐标位置，k₁,k₂,k₃为给定的畸变因子。

对于切向畸变可以通过p₁,p₂这两个标定的参数来表示：

至此，将这两个畸变相加就是我们所需要的经过畸变处理的图像坐标，如下公式所示：

(4)图像坐标准换为像素坐标

完成相机坐标转换为图像坐标后，还要将成像后的点映射到最后的图片上的点。因为最后的图像会以像素的形式呈现在显示屏上，所以我们设每个像素的物理尺寸是d_x*d_y(mm)(d_x、d_y是标定的传感器的物理尺寸，d_x和d_y不相等)，u₀和v₀是图像坐标原点在像素坐标系中的坐标，因为图像坐标系的坐标原点和像素坐标系的坐标原点不重合，所以目标点图像的二维坐标计算公式如下：

X_f＝x_d/d_x+u₀

Y_f＝y_d/d_y+v₀

(5)基于定位结果的扩增现实应用：

首先，我们使用三维空间定位算法获取目标节点位置，并通过预设的相机位置及角度将世界坐标系中的目标节点坐标转化为摄像机坐标，进一步转换为图像坐标；然后，使用相关Web技术读取电脑外接摄像头视频流，使用Html5的video标签实时呈现拍摄画面，并将定位算法求出的目标节点的定位坐标计算为图像坐标(像素单位)；最后，将虚拟的效果以图片的标签形式叠加在上一步计算出的像素点之上，实现扩增现实效果。

本发明将三维空间定位技术应用于扩增现实应用场景中，通过三维空间定位技术获得的目标位置坐标转换为二维坐标，该二维坐标精度很高。具体实施过程中选定了固定的六个点，然后测量了其在世界坐标系中的三维坐标，同时固定摄像机，使用程序读取视频流，并使用“定位图标”来表示三维坐标经过计算后的二维图像坐标，经实验证明3D坐标到2D坐标转换效果较佳，其实验结果如下表1所示：

表1 3D世界坐标转2D图像坐标实验效误差表

特征点标记	原始坐标	计算坐标	误差
				1	(225,305)	(224,305)	(0.21％，0.00％)
2	(077,444)	(076,450)	(0.21％，0.94％)
				3	(154,469)	(155,476)	(0.21％，1.09％)
4	(169,083)	(172,091)	(0.63％，1.25％)
				5	(301,028)	(294,035)	(1.46％，1.25％)
6	(199,198)	(199,199)	(0.00％，0.16％)

除此之外，本发明将三维空间定位的结果结合扩增现实技术展现给用户更多定位目标信息。这样，有利于用户可以不仅获得精确的定位目标位置信息，还可以将定位物品显示在电脑画面上，更加便于用户快速找到该物品。因此，本发明可以通过扩增现实技术将遗落的钱包的位置、博物馆中展品的信息、大型商场中的某个店的信息等等显示在电脑界面上，可以进一步满足用户的需求，更加便利的定位。

本实施例中按照如图3所示的流程图实现了基于三维空间定位算法的扩增现实的应用，其中RSSI(△t)表示不同时间收集的信号强度值；为了获得相机参数，使用摄像头拍摄了10张棋盘图像，并使用Matlab的CameraCalibration Tool进行相机标定图，首先使用罗技(Logitech)C270高清网络摄像头作为macbook pro的外接摄像头，拍摄了10张棋盘图像，并使用Matlab的Camera Calibration Tool进行相机标定。从而获得相机参数。图4使用Matlab Camera Calibration Tool相机标定库标定结果图，表2是使用摄像头相机标定参数结果。

表7-1相机标定的参数结果

根据获得的相机参数，将3D世界坐标转换为2D图像坐标，再通过相关的Web技术读取电脑外接摄像头视频流，使用Html5的video标签实时呈现拍摄画面。然后再将定位算法求出的目标节点的定位坐标计算为图像坐标(像素单位)。最后将虚拟的效果以图片的标签形式叠加在上一步计算出的像素点之上，实现简单的扩增现实效果。实验结果如图5所示。图5是以寻找手机为例得出三维空间定位与扩增现实相结合的实验结果，所要寻找的手机在电脑界面上展现在其所对应的位置处。

本发明并不限于上文描述的实施方式。以上对具体实施方式的描述旨在描述和说明本发明的技术方案，上述的具体实施方式仅仅是示意性的，并不是限制性的。在不脱离本发明宗旨和权利要求所保护的范围情况下，本领域的普通技术人员在本发明的启示下还可做出很多形式的具体变换，这些均属于本发明的保护范围之内。

Claims (1)

1.一种基于扩增现实应用的室内三维定位方法，其特征在于，包括以下步骤：

(1)实时定位出相机镜头和目标节点的坐标，并且确定相机镜头的观测角度；

(2)将目标节点的三维坐标转换成以相机镜头为基准的三维空间坐标，并通过相机成像原理、相机标定技术将三维坐标转换为相机镜头拍摄的二维图像中的二维坐标；

(3)取得三维坐标在二维图像上的映射坐标后，将虚拟图像或3D模型叠加到相机镜头拍摄的二维图像之上。