CN109141432A - 一种基于影像空间和全景辅助的室内定位导航方法 - Google Patents
一种基于影像空间和全景辅助的室内定位导航方法 Download PDFInfo
- Publication number
- CN109141432A CN109141432A CN201811091574.9A CN201811091574A CN109141432A CN 109141432 A CN109141432 A CN 109141432A CN 201811091574 A CN201811091574 A CN 201811091574A CN 109141432 A CN109141432 A CN 109141432A
- Authority
- CN
- China
- Prior art keywords
- point
- image
- coordinate
- computer
- scene
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/20—Instruments for performing navigational calculations
- G01C21/206—Instruments for performing navigational calculations specially adapted for indoor navigation
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Automation & Control Theory (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于影像空间和全景辅助的室内定位导航方法,包括以下步骤:一、控制点的布设及世界坐标系的建立;二、摄像机的校正及室内序列影像的获取;三、特征点提取与匹配;四、特征点的剔除;五、特征点空间坐标的计算;六、室内全景影像的获取;七、室内定位;八、室内导航。本发明步骤简单、设计合理且定位导航准确,使用效果好,减少辅助设备安装,成本低,提高定位精度,实用性强。
Description
技术领域
本发明属于室内定位导航技术领域,尤其是涉及一种基于影像空间和全景辅助的室内定位导航方法。
背景技术
随着科学技术和社会经济水平的不断提高,城市室内场景越来越庞大复杂,大型商场、综合性医院、交通枢纽等场所对于定位和导航的需求也逐渐增多,大型商场希望能够借助室内定位技术为前来购物的消费者提供实时引导服务越来越重要。当前,为用户进行室外的定位主要是通过智能手机接收全球导航卫星系统的信号或通信基站发送的通信信号采用距离交会算法完成对用户的定位;为用户进行室内定位的技术也有很多,如红外射线、WiFi、超声波、射频识别和超宽带等室内定位技术。上述技术中,由于利用红外射线进行定位是一种被动的定位技术,且需要在室内布设大量的红外接收器,系统的稳定性也较差,所以在实际中被很少应用。基于WiFi和超声波的定位受制于只能达到米级的定位精度的原因不符合室内场景的高精度定位的需求。射频识别技术是结合天线、标签和解读器来识别数据的,但设计成本较高,易受金属材料、水等物质的影响而导致识别失败或识别错误。
尽管上述的室内定位技术都取得了卓有成效的进展,但在定位精度、系统稳定性和使用成本上还存在较多的问题。因此,现有的室内定位导航技术手段还需进一步改进。
发明内容
本发明所要解决的技术问题在于针对上述现有技术中的不足,提供一种基于影像空间和全景辅助的室内定位导航方法,其步骤简单、设计合理且定位导航准确,使用效果好,减少辅助设备安装,成本低,提高定位精度,实用性强。
为解决上述技术问题,本发明采用的技术方案是:一种基于影像空间和全景辅助的室内定位导航方法,其特征在于,该方法包括以下步骤:
步骤一、控制点的布设及世界坐标系的建立:
步骤101、在室内每个墙壁上设置至少两个控制点;
步骤102、以室内任意一点为原点Os,以过原点Os且指向正北为Xs轴,以过原点Os且指向正东为Ys轴,以过原点Os且垂直于由Xs轴和Ys轴形成的平面OsXsYs指向天为Zs轴,建立世界坐标系OsXsYsZs;
步骤103、采用全站仪测量多个所述控制点的坐标,则获得在世界坐标系OsXsYsZs下多个所述控制点的空间坐标,通过所述参数输入模块输入,并存储至存储器中,形成控制点空间坐标数据库;
步骤二、摄像机的校正及室内序列影像的获取:
步骤201、第一控制器调取相机检校模块对摄像机进行相机检校处理,得到摄像机的参数矩阵其中,f表示摄像机的焦距,f/dx表示摄像机在图像坐标系u轴上的归一化焦距,f/dy表示摄像机在像素坐标系v轴上的归一化焦距,1/dx表示像素坐标系u轴上单位像素的尺寸大小,1/dy表示像素坐标系v轴上单位像素的尺寸大小,u0表示像主点在像素坐标系u轴上的偏移量,v0表示像主点在像素坐标系v轴上的偏移量;
步骤202、采用摄像机对室内拍摄序列影像,并将拍摄到的序列影像发送至第一控制器,第一控制器将接收到的序列影像通过第一无线通信模块和第二无线通信模块发送至计算机;其中,相邻两幅影像的旁向重叠度不低于50%;
步骤三、特征点提取与匹配:
步骤301、计算机调取SIFI特征提取算法对每一幅影像分别进行特征点提取,得到多个特征点描述子归一化向量;
步骤302、计算机调取特征点匹配模块对相邻两幅所述影像中的特征点进行匹配,得到多组匹配点对;
步骤四、特征点的剔除:
步骤401、计算机将任一组匹配点对记作第k幅影像中第j′个特征匹配点和第k+1幅影像中第j′个特征匹配点,计算机将第k幅影像中第j′个特征匹配点的特征点描述子归一化向量记作计算机将第k+1幅影像中第j′个特征匹配点的特征点描述子归一化向量记作其中,j′为正整数,且j′的取值范围为1~Np,Np为匹配点对的对数;表示第k幅影像中第j′个特征匹配点的特征点描述子归一化向量的第i个分量,表示第k+1幅影像中第j′个特征匹配点的特征点描述子归一化向量的第i个分量;
步骤402、计算机根据公式得到第k幅影像中第j′个特征匹配点的特征向量平均值;计算机根据公式得到第k+1幅影像中第j′个特征匹配点的特征向量平均值;
步骤403、计算机根据公式得到第k幅影像中第j′个特征匹配点和第k+1幅影像中第j′个特征匹配点的相关系数Xgxs;
步骤404、计算机根据判定条件Xgxs≤0.6进行判定,当Xgxs≤0.6成立,执行步骤405;否则,执行步骤406;
步骤405、当Xgxs≤0.6成立,则为误匹配点对,计算机将误匹配误匹配点对剔除;
步骤406、当Xgxs>0.6成立,则为正确匹配点对,计算机将正确匹配点对保存;
步骤407、多次重复步骤402至步骤406,完成多组匹配点对的一次剔除,并获得剔除后的多组匹配点对;
步骤五、特征点空间坐标的计算:
步骤501、计算机将剔除后的任一组匹配点对记作第k幅影像中第j″个剔除后特征匹配点和第k+1幅影像中第j″个剔除后特征匹配点,计算机将第k幅影像中第j″个剔除后特征匹配点的特征点描述子归一化向量记作计算机将第k+1幅影像中第j″个剔除后特征匹配点的特征点描述子归一化向量记作计算机将第k幅影像中第j″个剔除后特征匹配点的像素坐标记作计算机将第k+1幅影像中第j″个剔除后特征匹配点的像素坐标记作其中,j″为正整数,且j″的取值范围为1~N′p,N′p为剔除后的匹配点对的对数;表示第k幅影像中第j″个剔除后特征匹配点的特征点描述子归一化向量的第i个分量,表示第k+1幅影像中第j″个剔除后特征匹配点的特征点描述子归一化向量的第i个分量;
步骤502、计算机按照拍摄先后顺序在第k幅影像的拍摄处建立第k个相机坐标系,在第k+1幅影像的拍摄处建立第k+1个相机坐标系Oz(k+1)Xz(k+1)Yz(k+1)Zz(k+1);其中,在摄像机对室内拍摄序列影像的第一个位置处即第一副影像的拍摄处建立第一相机坐标系Oz1Xz1Yz1Zz1;
步骤503、计算机调取相机旋转矩阵和平移向量计算模块,从剔除后的多组匹配点对中选择四对匹配点输入,得到第k+1个相机坐标系到第k个相机坐标系的相机旋转矩阵Rk+1,k和平移向量tk+1,k;其中,相机旋转矩阵Rk+1,k为3×3矩阵,平移向量tk+1,k为3×1向量;
步骤504、计算机根据公式Rk+1,1=Rk+1,k×Rk,k-1×...×R2,1,得到第k+1个相机坐标系到第一个相机坐标系的相机旋转矩阵Rk+1,1;其中,Rk,k-1表示第k个相机坐标系到第k-1个相机坐标系的相机旋转矩阵,R2,1表示第二个相机坐标系到第一个相机坐标系的相机旋转矩阵;计算机根据公式tk+1,1=tk+1,k+tk,k-1+...+t2,1,得到第k+1个相机坐标系到第一个相机坐标系的平移向量tk+1,1,其中,tk,k-1表示第k个相机坐标系到第k-1个相机坐标系的平移向量,t2,1表示第二个相机坐标系到第一个相机坐标系的平移向量;计算机根据公式得第k+1个相机坐标系到第一个相机坐标系的投影矩阵Pk+1,1;
步骤505、计算机根据公式得到第k幅影像中第j″个剔除后特征匹配点的图像坐标Pk,j″(xk,j″,yk,j″),计算机根据公式得到第k+1幅影像中第j″个剔除后特征匹配点的图像坐标Pk+1,j″(xk+1,j″,yk+1,j″);计算机根据公式得到深度参数Zc;其中,B表示第k+1个相机坐标系原点到第k个相机坐标系原点的距离,f表示摄像机的焦距;
步骤507、计算机根据公式得到在第一个相机坐标系下第k+1幅影像中第j″个剔除后特征匹配点的坐标Pk+1,j″(Xk+1,j″,Yk+1,j″,Zk+1,j″);
步骤508、计算机判断剔除后的多组匹配点对所在的相邻两幅所述影像中是否存在匹配的控制点像点,当相邻两幅所述影像中存在匹配的控制点像点,从步骤509执行;否则,执行步骤5010;
步骤509、当剔除后的多组匹配点对所在的相邻两幅所述影像中存在匹配的控制点像点,计算机调取图形标记模块在相邻两幅影像中匹配的控制点像点处标记,计算机调取像素坐标提取模块对匹配的控制点像点的像素坐标进行提取,获取匹配的控制点像点的像素坐标;
步骤5010、计算机按照步骤四和步骤501至步骤508所述的方法,对剔除后的多组匹配点对所在的下一个相邻两幅影像进行处理;
步骤5011、多次重复步骤5010,得到多对匹配的控制点像点的像素坐标,从多个匹配的控制点像点的像素坐标中选择四对匹配的控制点像点的像素坐标,并将选择的第f对匹配的控制点像点记作第k幅影像中匹配的控制点像点和第k+1幅影像中匹配的控制点像点,且第k幅影像中匹配的控制点像点的像素坐标记作第k+1幅影像中匹配的控制点像点的像素坐标记作f=1,2,3,4;
步骤5012、计算机按照步骤504到步骤507所述的方法,得到第f对匹配的控制点像点对应的控制点在第一个相机坐标系下的坐标和计算机从步骤103中控制点空间坐标数据库中得到第f对匹配的控制点像点对应的控制点的空间坐标和其中,表示第k幅影像中匹配的控制点像点对应的控制点在第一个相机坐标系下的坐标,表示第k+1幅影像中匹配的控制点像点对应的控制点在第一个相机坐标系下的坐标,表示第k幅影像中匹配的控制点像点对应的控制点在世界坐标系下的空间坐标,表示第k+1幅影像中匹配的控制点像点对应的控制点在世界坐标系下的空间坐标;
步骤5012、计算机调取相机坐标系到世界坐标系的旋转矩阵和平移向量计算模块,并输入四对匹配的控制点像点对应的控制点在第一个相机坐标系下的坐标和在世界坐标系下的空间坐标,得到式子
其中,ω′表示第一相机坐标系Oz1Xz1Yz1Zz1中Yz1Oz1Zz1平面绕Oz1Xz1轴旋转至Yz1Oz1Zz1平面与YsOsZs平面平行时的旋转角度,表示第一相机坐标系Oz1Xz1Yz1Zz1中Xz1Oz1Zz1平面绕Oz1Yz1轴旋转至Xz1Oz1Zz1平面与XsOsZs平面平行时的旋转角度,κ′表示第一相机坐标系Oz1Xz1Yz1Zz1中Xz1Oz1Yz1平面绕Oz1Zz1轴旋转至Xz1Oz1Yz1平面与XsOsYs平面平行时的旋转角度;
步骤5013、计算机调取最小二乘计算模块,并设置初始值对式子
进行计算,得到λ尺度因子、旋转矩阵和平移向量
步骤5014、计算机根据式子得到在世界坐标系OsXsYsZs下第k+1幅影像中第j″个剔除后特征匹配点的空间坐标
步骤5015、计算机将第k+1幅影像中第j″个剔除后特征匹配点的特征点描述子归一化向量记作第k+1幅影像中第j″个剔除后特征匹配点的图像坐标Pk+1,j″(xk+1,j″,yk+1,j″)和第k+1幅影像中第j″个剔除后特征匹配点的空间坐标存储至与计算机相接的数据存储器中,形成特征点数据库;
步骤六、室内全景影像的获取:
步骤601、将室内划分为商铺场景和过道场景;其中,室内每个商铺称为一个商铺场景,将室内过道按照预先设定的场景距离将室内过道划分为多个过道场景;所述预先设定的场景距离为20米~30米;
步骤602、采用鱼眼相机模块对商铺场景进行全景拍摄,并将拍摄的多幅商铺场景拍摄影像发送至第二控制器,第二控制器将接收到的多幅商铺场景拍摄影像通过第三无线通信模块和第二无线通信模块发送至计算机;并采用全站仪测量鱼眼相机模块的坐标,则获取在世界坐标系OsXsYsZs下鱼眼相机模块对商铺场景进行全景拍摄时的坐标,并将在世界坐标系OsXsYsZs下鱼眼相机模块对商铺场景进行全景拍摄时的坐标称作商铺场景定位坐标,通过所述参数输入模块输入商铺场景定位坐标和商铺名称,并存储至存储器中,计算机调取全景影像拼接模块,并输入多幅商铺场景拍摄影像进行拼接,形成商铺场景全景影像,得到一个商铺场景全景影像数据库;
步骤603、采用鱼眼相机模块对每个过道场景进行全景拍摄,并将拍摄的多幅过道场景拍摄影像发送至第二控制器,第二控制器将接收到的多幅过道场景拍摄影像通过第三无线通信模块和第二无线通信模块发送至计算机;并采用全站仪测量鱼眼相机模块的坐标,则获取在世界坐标系OsXsYsZs下鱼眼相机模块对过道场景进行全景拍摄时的坐标,并将在世界坐标系OsXsYsZs下鱼眼相机模块对过道场景进行全景拍摄时的坐标称作过道场景定位坐标,通过所述参数输入模块输入过道场景定位坐标,并存储至存储器中;计算机调取全景影像拼接模块,并输入多幅过道场景拍摄影像进行拼接,形成过道场景全景影像,得到一个过道场景全景影像数据库;其中,商铺场景拍摄影像和过道场景拍摄影像的旁向重叠度均不低于30%;
步骤604、多次重复步骤602至步骤603,得到多个商铺场景全景影像数据库和多个过道场景全景影像数据库,并将多个商铺场景全景影像数据库和多个过道场景全景影像数据库按照拍摄先后顺序进行存储,则将多个商铺场景全景影像数据库和多个过道场景全景影像数据库形成的数据库称作场景影像数据库,将商铺场景定位坐标和过道场景定位坐标均称作场景定位坐标;
步骤七、室内定位:
步骤701、采用手机采集用户当前所在位置的一幅定位影像并通过第二无线通信模块发送至计算机;
步骤702、计算机按照步骤301所述的方法对定位影像进行特征点提取,获取定位影像中多个特征点描述子归一化向量;
步骤703、计算机按照步骤302所述的方法将定位影像中多个特征点描述子归一化向量与步骤5015中形成的特征点数据库进行匹配,得到定位影像的匹配点对数Mdp;
步骤704、计算机根据判定条件Mdp≥8进行判断,当Mdp≥8成立,从步骤705开始执行;否则,从步骤701执行,重新拍一副定位影像;
步骤705、当Mdp≥8成立,计算机调取相机Exif信息读取模块读取定位影像中的Exif信息,得到手机中相机拍摄时的相机焦距fd;
步骤706、计算机调取投影矩阵计算模块,从定位影像的匹配点对数中选择四对定位影像的匹配点输入,得到定位影像的投影矩阵P′,计算机调取QR分解模块,对定位影像的投影矩阵P′进行QR分解,得到定位影像的外方位元素初值其中,ω表示手机相机的相机坐标系OdpXdpYdpZdp中YdpOdpZdp平面绕OdpXdp轴旋转至YdpOdpZdp平面与YsOsZs平面平行时的旋转角度,表示手机相机的相机坐标系OdpXdpYdpZdp中XdpOdpZdp平面绕OdpYdp轴旋转至XdpOdpZdp平面与XsOsZs平面平行时的旋转角度,κ表示手机相机的相机坐标系OdpXdpYdpZdp中XdpOdpYdp平面绕OdpZdp轴旋转至XdpOdpYdp平面与XsOsYs平面平行时的旋转角度,XS0,YS0,ZS0分别表示手机中相机光心在世界坐标系OsXsYsZs的Xs轴方向的初始坐标、Ys轴方向的初始坐标和Zs轴方向的初始坐标;
步骤707、计算机将Mdp对定位影像的匹配点对中位于步骤5015中特征点数据库中的匹配特征点记作定位影像数据库匹配特征点,得到定位影像数据库匹配特征点的特征点描述子归一化向量、定位影像数据库匹配特征点的像素坐标和定位影像数据库匹配特征点的空间坐标;其中,所述定位影像数据库匹配特征点的数量不少于8个;
步骤708、计算机从多个定位影像数据库匹配特征点中选择三个定位影像数据库匹配特征点并记作定位特征点,三个定位特征点分别记作第一定位特征点、第二定位特征点和第三定位特征点,计算机从步骤5015中形成的特征点数据库中,得到三个定位特征点的图像坐标,并将第一定位特征点的图像坐标记作Pd,1(xd,1,yd,1),所述第二定位特征点的图像坐标记作Pd,2(xd,2,yd,2),所述第三定位特征点的图像坐标记作Pd,3(xd,3,yd,3);且计算机从步骤5015中形成的特征点数据库中,得到三个定位特征点的空间坐标,并分别将第一定位特征点的空间坐标记作第二定位特征点的空间坐标记作第三定位特征点的空间坐标记作
步骤709、计算机调取共线方程模块并输入第一定位特征点、第二定位特征点和第三定位特征点的图像坐标和空间坐标,得到共线方程式
其中,
步骤7010、计算机调取最小二乘计算模块,并输入手机中相机光心在世界坐标系OsXsYsZs的Xs轴方向的初始坐标XS0、Ys轴方向的初始坐标YS0和Zs轴方向的初始坐标ZS0分别作为X′S0、Y′S0和Z′S0的初始值,并对步骤709中共线方程式进行最小二乘计算,得到手机中相机光心在世界坐标系OsXsYsZs的Xs轴方向的校正坐标X′S0、Ys轴方向的校正坐标Y′S0和Zs轴方向的校正坐标Z′S0,则得到用户当前的定位坐标
步骤八、室内导航:
步骤801、计算机将第l个商铺场景全景影像数据库的商铺场景定位坐标记作Psp,l(Xsp,l,Ysp,l,Zsp,l);计算机将第h个过道场景全景影像数据库中的过道场景定位坐标记作Pgd,h(Xgd,h,Ygd,h,Zgd,h);l为正整数,h为正整数;
步骤802、用户通过参数输入模块输入用户最终抵达的商铺名称作为目标商铺,且计算机通过商铺场景全景影像数据库,得到目标商铺的商铺场景定位坐标,并记作
步骤803、计算机根据公式得到用户当前位置与第l个商铺场景全景影像数据库的商铺场景定位坐标之间的距离dsp,l;计算机根据公式得到用户当前位置与第h个过道场景全景影像数据库的过道场景定位坐标之间的距离dgd,h;
步骤804、多次重复步骤803,得到用户当前位置与多个商铺场景全景影像数据库的商铺场景定位坐标之间的距离和用户当前位置与多个场景全景影像数据库的过道场景定位坐标之间的距离,并将用户当前位置与多个场景影像数据库的商铺场景定位坐标之间的距离和用户当前位置与多个场景全景影像数据库的过道场景定位坐标之间的距离按照从小到大的顺序排序,得到最小距离和次小距离,并从步骤604中场景定位坐标中得到最小距离所对应的场景定位坐标并记作Pzg,1(Xzg,1,Yzg,1,Zzg,1)和次小距离所对应的场景定位坐标并记作Pzg,2(Xzg,2,Yzg,2,Zzg,2);
步骤805、计算机根据公式进行判断,当成立时,执行步骤806;否则,执行步骤807;
步骤806、当成立时,则次小距离所对应的场景定位坐标作为下一个过渡坐标,且下一个过渡坐标所对应的影像作为下一个过渡影像,计算机从场景影像数据库中得到下一个过渡影像,并通过第二无线通信模块发送至手机;
步骤807、当不成立时,则最小距离所对应的场景定位坐标作为下一个过渡坐标,且下一个过渡坐标所对应的影像作为下一个过渡影像,计算机从场景影像数据库中得到下一个过渡影像,并通过第二无线通信模块发送至手机;
步骤808、用户根据计算机发送的下一个过渡影像,抵达下一个过渡坐标,重复步骤七、步骤803至步骤805,得到下下一个过渡坐标和下下一个过渡影像,直至抵达目标商铺。
上述的一种基于影像空间和全景辅助的室内定位导航方法,其特征在于:步骤301中特征点提取与匹配,具体过程如下:计算机调取SIFI特征提取算法对每一幅影像分别进行特征点提取,对每一幅影像进行特征点提取的方法均相同,则对每一幅影像进行特征点提取,具体过程如下:
步骤3011、计算机调取二维高斯卷积模块,将变尺度的二维高斯卷积函数与任一幅影像中进行卷积处理,得到多个高斯尺度空间图像;
步骤3012、计算机调取高斯差分模块,将相邻两个高斯尺度空间图像进行差分处理,得到多个高斯差分图像;
步骤3013、计算机调取高斯差分图像极值点模块,对高斯差分图像进行极值点处理,得到极大值点和极小值点,则极大值点和极小值点均为特征点;
步骤3014、计算机调取特征点描述子模块,对多个特征点进行处理,得到多个特征点描述子向量;
步骤3015、计算机调取特征点描述子归一化模块,对多个所述特征点描述子向量进行归一化处理,得到多个特征点描述子归一化向量。
上述的一种基于影像空间和全景辅助的室内定位导航方法,其特征在于:步骤302中计算机调取特征点匹配模块对相邻两幅所述影像中的特征点进行匹配,得到多组匹配点对,具体过程如下:
步骤3021、计算机将相邻两幅所述影像中前一幅影像中的任一个特征点描述子归一化向量记作计算机将相邻两幅所述影像中后一幅影像的任一个特征点描述子归一化向量记作其中,k表示按照拍摄时间前后顺序的影像序号,k为正整数,表示第k幅影像中第j个提取特征点描述子归一化向量的第i个分量,表示第k+1幅影像中第p个提取特征点描述子归一化向量的第i个分量,j和p均为正整数,i取1到128之间的正整数;
步骤3022、计算机根据公式得到第k幅影像中第j个提取特征点与第k+1幅影像中第p个提取特征点之间的相似性度量值d(kj,(k+1)p);
步骤3023、多次重复步骤3022,得到第k幅影像中第j个提取特征点与第k+1幅影像中多个提取特征点之间的多个相似性度量值;
步骤3024、计算机将第k幅影像中第j个提取特征点与第k+1幅影像中多个提取特征点之间的多个相似性度量值按照从小到大顺序进行排序,获得最小相似性度量值dmin和次小相似性度量值dsub;
步骤3025、计算机根据公式得到最小相似性度量值和次小相似性度量值的比值
步骤3026、计算机根据判定条件进行判断,当成立,执行步骤3027;否则,执行步骤3028;其中,dyz的取值范围为0.7~0.85;
步骤3027、当成立,则第k幅影像中第j个特征点与最小相似性度量值dmin所对应的第k+1幅影像中的特征点为一组匹配点对;
步骤3028、计算机剔除第k幅影像中第j个提取特征点,并重复步骤3022至步骤3026,对第k幅影像中第j+1个提取特征点进行匹配;
步骤3029、多次重复步骤3022至步骤3028,得到多组匹配点对。
上述的一种基于影像空间和全景辅助的室内定位导航方法,其特征在于:第一控制器和第二控制器均为ARM微控制器。
上述的一种基于影像空间和全景辅助的室内定位导航方法,其特征在于:所述鱼眼相机模块包括第一鱼眼相机、第二鱼眼相机、第三鱼眼相机、第四鱼眼相机、第五鱼眼相机和第六鱼眼相机,所述第一鱼眼相机、第二鱼眼相机、第三鱼眼相机、第四鱼眼相机、第五鱼眼相机和第六鱼眼相机均与第二控制器相接;
步骤602中采用鱼眼相机模块对商铺场景进行全景拍摄时,第一鱼眼相机、第二鱼眼相机、第三鱼眼相机、第四鱼眼相机、第五鱼眼相机和第六鱼眼相机分别对商铺场景的上下左右前后六个方位拍摄,得到六个方位商铺场景拍摄影像,实现商铺场景全景拍摄;
步骤602中采用鱼眼相机模块对过道场景进行全景拍摄时,第一鱼眼相机、第二鱼眼相机、第三鱼眼相机、第四鱼眼相机、第五鱼眼相机和第六鱼眼相机分别对过道场景的上下左右前后六个方位拍摄,得到六个方位过道场景拍摄影像,实现过道场景全景拍摄。
本发明与现有技术相比具有以下优点:
1、本发明方法步骤简单、设计合理且实现方便,在室内部署成本低廉、室内定位与导航用户体验效果好,该方法可广泛应用于大型商场、大型地下停车场、交通枢纽等的室内定位和导航。
2、本发明用户定位导航时,先采用摄像机对室内拍摄序列影像,通过SIFI特征提取算法对摄序列影像进行特征点提取与匹配,获取相邻两幅影像的多组匹配点对,并采用对多组匹配点对进行剔除,再配合控制点从而得到包含特征点描述子归一化向量、特征匹配点的像素坐标和特征匹配点的空间坐标信息的特征点数据库,提高了特征匹配点的空间坐标信息获取的准确性。
3、本发明用户定位时,仅需要采集用户当前所在位置的一幅定位影像发送至计算机,通过定位影像实现用户的定位,克服了目前用红外射线、WIFI、超声波、射频识别或者超宽带等技术用于室内定位需要花费巨大成本布设硬件设施和定位精度差的缺点。
4、本发明用户定位导航时,采用鱼眼相机模块获取室内多个商铺场景全景影像数据库和多个过道场景全景影像数据库,从而得到场景影像数据库,便于为用户推送过渡影像,具有全方位展示和真实感、立体感,且通过鱼眼相机模块,是因为其拍摄视场角大。
5、本发明用户定位时,计算机对定位影像进行特征点提取与匹配,并将与特征点数据库匹配的特征点记作定位影像数据库匹配特征点,然后计算机调取共线方程模块,输入第一定位特征点、第二定位特征点和第三定位特征点的像素坐标和空间坐标,建立共线方程式,最后计算机调取最小二乘计算模块对共线方程式进行计算,得到用户当前的定位坐标,这样通过共线方程式对XS0,YS0,ZS0进行校正,将定位精度由米级提高到厘米级,从而提高了定位的准确性。
6、本发明用户导航时,首先计算用户当前的定位坐标与多个商铺场景定位坐标之间的距离和用户当前位置与多个场景全景影像数据库中的过道场景定位坐标之间的距离,从而得到最小距离和次小距离;然后计算最小距离和次小距离所对应的场景定位坐标与目标商铺的商铺场景定位坐标之间的距离,选择与目标商铺的商铺场景定位坐标之间的距离小的场景定位坐标为下一个过渡坐标,同时,计算机给手机发送下一个过渡影像,便于用户直观查看下一个过渡影像,这样利用最短距离为用户导航,以使用户快速到达目的地。
综上所述,本发明步骤简单、设计合理且定位导航准确,使用效果好,减少辅助设备安装,成本低,提高定位精度,实用性强。
下面通过附图和实施例,对本发明的技术方案做进一步的详细描述。
附图说明
图1为本发明的方法流程框图。
图2为本发明的电路原理框图。
图3为本发明鱼眼相机模块与第二微控制器的电路原理框图。
附图标记说明:
1—第一控制器; 2—摄像机; 3—第一无线通信模块;
4—鱼眼相机模块; 4-1—第一鱼眼相机; 4-2—第二鱼眼相机;
4-3—第三鱼眼相机; 4-4—第四鱼眼相机; 4-5—第五鱼眼相机;
4-6—第六鱼眼相机; 5—第二控制器; 6—第三无线通信模块;
7—第二无线通信模块; 8—手机; 9—计算机;
10—参数输入模块; 11—存储器。
具体实施方式
如图1和图2所示,一种基于影像空间和全景辅助的室内定位导航方法,包括以下步骤:
步骤一、控制点的布设及世界坐标系的建立:
步骤101、在室内每个墙壁上设置至少两个控制点其中,且每个墙壁上相邻两个控制点的距离为3m~5m;
步骤102、以室内任意一点为原点Os,以过原点Os且指向正北为Xs轴,以过原点Os且指向正东为Ys轴,以过原点Os且垂直于由Xs轴和Ys轴形成的平面OsXsYs指向天为Zs轴,建立世界坐标系OsXsYsZs;
步骤103、采用全站仪测量多个所述控制点的坐标,则获得在世界坐标系OsXsYsZs下多个所述控制点的空间坐标,通过所述参数输入模块(17)输入,并存储至存储器(11)中,形成控制点空间坐标数据库;
步骤二、摄像机的校正及室内序列影像的获取:
步骤201、第一控制器(1)调取相机检校模块对摄像机(2)进行相机检校处理,得到摄像机(2)的参数矩阵其中,f表示摄像机(2)的焦距,f/dx表示摄像机(2)在图像坐标系u轴上的归一化焦距,f/dy表示摄像机(2)在像素坐标系v轴上的归一化焦距,1/dx表示像素坐标系u轴上单位像素的尺寸大小,1/dy表示像素坐标系v轴上单位像素的尺寸大小,u0表示像主点在像素坐标系u轴上的偏移量,v0表示像主点在像素坐标系v轴上的偏移量;
步骤202、采用摄像机(2)对室内拍摄序列影像,并将拍摄到的序列影像发送至第一控制器(1),第一控制器(1)将接收到的序列影像通过第一无线通信模块(3)和第二无线通信模块(7)发送至计算机(9);其中,相邻两幅影像的旁向重叠度不低于50%;
步骤三、特征点提取与匹配:
步骤301、计算机(9)调取SIFI特征提取算法对每一幅影像分别进行特征点提取,得到多个特征点描述子归一化向量;
步骤302、计算机(9)调取特征点匹配模块对相邻两幅所述影像中的特征点进行匹配,得到多组匹配点对;
步骤四、特征点的剔除:
步骤401、计算机(9)将任一组匹配点对记作第k幅影像中第j′个特征匹配点和第k+1幅影像中第j′个特征匹配点,计算机(9)将第k幅影像中第j′个特征匹配点的特征点描述子归一化向量记作计算机(9)将第k+1幅影像中第j′个特征匹配点的特征点描述子归一化向量记作其中,j′为正整数,且j′的取值范围为1~Np,Np为匹配点对的对数;表示第k幅影像中第j′个特征匹配点的特征点描述子归一化向量的第i个分量,表示第k+1幅影像中第j′个特征匹配点的特征点描述子归一化向量的第i个分量;
步骤402、计算机(9)根据公式得到第k幅影像中第j′个特征匹配点的特征向量平均值;计算机(9)根据公式得到第k+1幅影像中第j′个特征匹配点的特征向量平均值;
步骤403、计算机(9)根据公式得到第k幅影像中第j′个特征匹配点和第k+1幅影像中第j′个特征匹配点的相关系数Xgxs;
步骤404、计算机(9)根据判定条件Xgxs≤0.6进行判定,当Xgxs≤0.6成立,执行步骤405;否则,执行步骤406;
步骤405、当Xgxs≤0.6成立,则为误匹配点对,计算机(9)将误匹配误匹配点对剔除;
步骤406、当Xgxs>0.6成立,则为正确匹配点对,计算机(9)将正确匹配点对保存;
步骤407、多次重复步骤402至步骤406,完成多组匹配点对的一次剔除,并获得剔除后的多组匹配点对;
步骤五、特征点空间坐标的计算:
步骤501、计算机(9)将剔除后的任一组匹配点对记作第k幅影像中第j″个剔除后特征匹配点和第k+1幅影像中第j″个剔除后特征匹配点,计算机(9)将第k幅影像中第j″个剔除后特征匹配点的特征点描述子归一化向量记作计算机(9)将第k+1幅影像中第j″个剔除后特征匹配点的特征点描述子归一化向量记作计算机(9)将第k幅影像中第j″个剔除后特征匹配点的像素坐标记作计算机(9)将第k+1幅影像中第j″个剔除后特征匹配点的像素坐标记作其中,j″为正整数,且j″的取值范围为1~N′p,N′p为剔除后的匹配点对的对数;表示第k幅影像中第j″个剔除后特征匹配点的特征点描述子归一化向量的第i个分量,表示第k+1幅影像中第j″个剔除后特征匹配点的特征点描述子归一化向量的第i个分量;
步骤502、计算机(9)按照拍摄先后顺序在第k幅影像的拍摄处建立第k个相机坐标系,在第k+1幅影像的拍摄处建立第k+1个相机坐标系Oz(k+1)Xz(k+1)Yz(k+1)Zz(k+1);其中,在摄像机(2)对室内拍摄序列影像的第一个位置处即第一副影像的拍摄处建立第一相机坐标系Oz1Xz1Yz1Zz1;
步骤503、计算机(9)调取相机旋转矩阵和平移向量计算模块,从剔除后的多组匹配点对中选择四对匹配点输入,得到第k+1个相机坐标系到第k个相机坐标系的相机旋转矩阵Rk+1,k和平移向量tk+1,k;其中,相机旋转矩阵Rk+1,k为3×3矩阵,平移向量tk+1,k为3×1向量;
步骤504、计算机(9)根据公式Rk+1,1=Rk+1,k×Rk,k-1×...×R2,1,得到第k+1个相机坐标系到第一个相机坐标系的相机旋转矩阵Rk+1,1;其中,Rk,k-1表示第k个相机坐标系到第k-1个相机坐标系的相机旋转矩阵,R2,1表示第二个相机坐标系到第一个相机坐标系的相机旋转矩阵;计算机(9)根据公式tk+1,1=tk+1,k+tk,k-1+...+t2,1,得到第k+1个相机坐标系到第一个相机坐标系的平移向量tk+1,1,其中,tk,k-1表示第k个相机坐标系到第k-1个相机坐标系的平移向量,t2,1表示第二个相机坐标系到第一个相机坐标系的平移向量;计算机(9)根据公式得第k+1个相机坐标系到第一个相机坐标系的投影矩阵Pk+1,1;
步骤505、计算机(9)根据公式得到第k幅影像中第j″个剔除后特征匹配点的图像坐标Pk,j″(xk,j″,yk,j″),计算机(9)根据公式得到第k+1幅影像中第j″个剔除后特征匹配点的图像坐标Pk+1,j″(xk+1,j″,yk+1,j″);计算机(9)根据公式得到深度参数Zc;其中,B表示第k+1个相机坐标系原点到第k个相机坐标系原点的距离,f表示摄像机(2)的焦距;
步骤507、计算机(9)根据公式得到在第一个相机坐标系下第k+1幅影像中第j″个剔除后特征匹配点的坐标Pk+1,j″(Xk+1,j″,Yk+1,j″,Zk+1,j″);
步骤508、计算机(9)判断剔除后的多组匹配点对所在的相邻两幅所述影像中是否存在匹配的控制点像点,当相邻两幅所述影像中存在匹配的控制点像点,从步骤509执行;否则,执行步骤5010;
步骤509、当剔除后的多组匹配点对所在的相邻两幅所述影像中存在匹配的控制点像点,计算机(9)调取图形标记模块在相邻两幅影像中匹配的控制点像点处标记,计算机(9)调取像素坐标提取模块对匹配的控制点像点的像素坐标进行提取,获取匹配的控制点像点的像素坐标;
步骤5010、计算机(9)按照步骤四和步骤501至步骤508所述的方法,对剔除后的多组匹配点对所在的下一个相邻两幅影像进行处理;
步骤5011、多次重复步骤5010,得到多对匹配的控制点像点的像素坐标,从多个匹配的控制点像点的像素坐标中选择四对匹配的控制点像点的像素坐标,并将选择的第f对匹配的控制点像点记作第k幅影像中匹配的控制点像点和第k+1幅影像中匹配的控制点像点,且第k幅影像中匹配的控制点像点的像素坐标记作第k+1幅影像中匹配的控制点像点的像素坐标记作f=1,2,3,4;
步骤5012、计算机(9)按照步骤504到步骤507所述的方法,得到第f对匹配的控制点像点对应的控制点在第一个相机坐标系下的坐标和计算机(9)从步骤103中控制点空间坐标数据库中得到第f对匹配的控制点像点对应的控制点的空间坐标和其中,表示第k幅影像中匹配的控制点像点对应的控制点在第一个相机坐标系下的坐标,表示第k+1幅影像中匹配的控制点像点对应的控制点在第一个相机坐标系下的坐标,表示第k幅影像中匹配的控制点像点对应的控制点在世界坐标系下的空间坐标,表示第k+1幅影像中匹配的控制点像点对应的控制点在世界坐标系下的空间坐标;
步骤5012、计算机(9)调取相机坐标系到世界坐标系的旋转矩阵和平移向量计算模块,并输入四对匹配的控制点像点对应的控制点在第一个相机坐标系下的坐标和在世界坐标系下的空间坐标,得到式子
其中,ω′表示第一相机坐标系Oz1Xz1Yz1Zz1中Yz1Oz1Zz1平面绕Oz1Xz1轴旋转至Yz1Oz1Zz1平面与YsOsZs平面平行时的旋转角度,表示第一相机坐标系Oz1Xz1Yz1Zz1中Xz1Oz1Zz1平面绕Oz1Yz1轴旋转至Xz1Oz1Zz1平面与XsOsZs平面平行时的旋转角度,κ′表示第一相机坐标系Oz1Xz1Yz1Zz1中Xz1Oz1Yz1平面绕Oz1Zz1轴旋转至Xz1Oz1Yz1平面与XsOsYs平面平行时的旋转角度;
步骤5013、计算机(9)调取最小二乘计算模块,并设置初始值对式子
进行计算,得到λ尺度因子、旋转矩阵和平移向量
步骤5014、计算机(9)根据式子
得到在世界坐标系OsXsYsZs下第k+1幅影像中第j″个剔除后特征匹配点的空间坐标
步骤5015、计算机(9)将第k+1幅影像中第j″个剔除后特征匹配点的特征点描述子归一化向量记作第k+1幅影像中第j″个剔除后特征匹配点的图像坐标Pk+1,j″(xk+1,j″,yk+1,j″)和第k+1幅影像中第j″个剔除后特征匹配点的空间坐标存储至与计算机(9)相接的数据存储器(11)中,形成特征点数据库;
步骤六、室内全景影像的获取:
步骤601、将室内划分为商铺场景和过道场景;其中,室内每个商铺称为一个商铺场景,将室内过道按照预先设定的场景距离将室内过道划分为多个过道场景;所述预先设定的场景距离为20米~30米;
步骤602、采用鱼眼相机模块(4)对商铺场景进行全景拍摄,并将拍摄的多幅商铺场景拍摄影像发送至第二控制器(5),第二控制器(5)将接收到的多幅商铺场景拍摄影像通过第三无线通信模块(6)和第二无线通信模块(7)发送至计算机(9);并采用全站仪测量鱼眼相机模块(4)的坐标,则获取在世界坐标系OsXsYsZs下鱼眼相机模块(4)对商铺场景进行全景拍摄时的坐标,并将在世界坐标系OsXsYsZs下鱼眼相机模块(4)对商铺场景进行全景拍摄时的坐标称作商铺场景定位坐标,通过所述参数输入模块(17)输入商铺场景定位坐标和商铺名称,并存储至存储器(11)中,计算机(9)调取全景影像拼接模块,并输入多幅商铺场景拍摄影像进行拼接,形成商铺场景全景影像,得到一个商铺场景全景影像数据库;
步骤603、采用鱼眼相机模块(4)对每个过道场景进行全景拍摄,并将拍摄的多幅过道场景拍摄影像发送至第二控制器(5),第二控制器(5)将接收到的多幅过道场景拍摄影像通过第三无线通信模块(6)和第二无线通信模块(7)发送至计算机(9);并采用全站仪测量鱼眼相机模块(4)的坐标,则获取在世界坐标系OsXsYsZs下鱼眼相机模块(4)对过道场景进行全景拍摄时的坐标,并将在世界坐标系OsXsYsZs下鱼眼相机模块(4)对过道场景进行全景拍摄时的坐标称作过道场景定位坐标,通过所述参数输入模块(17)输入过道场景定位坐标,并存储至存储器(11)中;计算机(9)调取全景影像拼接模块,并输入多幅过道场景拍摄影像进行拼接,形成过道场景全景影像,得到一个过道场景全景影像数据库;其中,商铺场景拍摄影像和过道场景拍摄影像的旁向重叠度均不低于30%;
步骤604、多次重复步骤602至步骤603,得到多个商铺场景全景影像数据库和多个过道场景全景影像数据库,并将多个商铺场景全景影像数据库和多个过道场景全景影像数据库按照拍摄先后顺序进行存储,则将多个商铺场景全景影像数据库和多个过道场景全景影像数据库形成的数据库称作场景影像数据库,将商铺场景定位坐标和过道场景定位坐标均称作场景定位坐标;
步骤七、室内定位:
步骤701、采用手机(8)采集用户当前所在位置的一幅定位影像并通过第二无线通信模块(7)发送至计算机(9);
步骤702、计算机(9)按照步骤301所述的方法对定位影像进行特征点提取,获取定位影像中多个特征点描述子归一化向量;
步骤703、计算机(9)按照步骤302所述的方法将定位影像中多个特征点描述子归一化向量与步骤5015中形成的特征点数据库进行匹配,得到定位影像的匹配点对数Mdp;
步骤704、计算机(9)根据判定条件Mdp≥8进行判断,当Mdp≥8成立,从步骤705开始执行;否则,从步骤701执行,重新拍一副定位影像;
步骤705、当Mdp≥8成立,计算机(9)调取相机Exif信息读取模块读取定位影像中的Exif信息,得到手机(8)中相机拍摄时的相机焦距fd;
步骤706、计算机(9)调取投影矩阵计算模块,从定位影像的匹配点对数中选择四对定位影像的匹配点输入,得到定位影像的投影矩阵P′,计算机(9)调取QR分解模块,对定位影像的投影矩阵P′进行QR分解,得到定位影像的外方位元素初值其中,ω表示手机相机的相机坐标系OdpXdpYdpZdp中YdpOdpZdp平面绕OdpXdp轴旋转至YdpOdpZdp平面与YsOsZs平面平行时的旋转角度,表示手机相机的相机坐标系OdpXdpYdpZdp中XdpOdpZdp平面绕OdpYdp轴旋转至XdpOdpZdp平面与XsOsZs平面平行时的旋转角度,κ表示手机相机的相机坐标系OdpXdpYdpZdp中XdpOdpYdp平面绕OdpZdp轴旋转至XdpOdpYdp平面与XsOsYs平面平行时的旋转角度,XS0,YS0,ZS0分别表示手机(8)中相机光心在世界坐标系OsXsYsZs的Xs轴方向的初始坐标、Ys轴方向的初始坐标和Zs轴方向的初始坐标;
步骤707、计算机(9)将Mdp对定位影像的匹配点对中位于步骤5015中特征点数据库中的匹配特征点记作定位影像数据库匹配特征点,得到定位影像数据库匹配特征点的特征点描述子归一化向量、定位影像数据库匹配特征点的像素坐标和定位影像数据库匹配特征点的空间坐标;其中,所述定位影像数据库匹配特征点的数量不少于8个;
步骤708、计算机(9)从多个定位影像数据库匹配特征点中选择三个定位影像数据库匹配特征点并记作定位特征点,三个定位特征点分别记作第一定位特征点、第二定位特征点和第三定位特征点,计算机(9)从步骤5015中形成的特征点数据库中,得到三个定位特征点的图像坐标,并将第一定位特征点的图像坐标记作Pd,1(xd,1,yd,1),所述第二定位特征点的图像坐标记作Pd,2(xd,2,yd,2),所述第三定位特征点的图像坐标记作Pd,3(xd,3,yd,3);且计算机(9)从步骤5015中形成的特征点数据库中,得到三个定位特征点的空间坐标,并分别将第一定位特征点的空间坐标记作第二定位特征点的空间坐标记作第三定位特征点的空间坐标记作
步骤709、计算机(9)调取共线方程模块并输入第一定位特征点、第二定位特征点和第三定位特征点的图像坐标和空间坐标,得到共线方程式
其中,
步骤7010、计算机(9)调取最小二乘计算模块,并输入手机(8)中相机光心在世界坐标系OsXsYsZs的Xs轴方向的初始坐标XS0、Ys轴方向的初始坐标YS0和Zs轴方向的初始坐标ZS0分别作为X′S0、Y′S0和Z′S0的初始值,并对步骤709中共线方程式进行最小二乘计算,得到手机(8)中相机光心在世界坐标系OsXsYsZs的Xs轴方向的校正坐标X′S0、Ys轴方向的校正坐标Y′S0和Zs轴方向的校正坐标Z′S0,则得到用户当前的定位坐标
步骤八、室内导航:
步骤801、计算机(9)将第l个商铺场景全景影像数据库的商铺场景定位坐标记作Psp,l(Xsp,l,Ysp,l,Zsp,l);计算机(9)将第h个过道场景全景影像数据库中的过道场景定位坐标记作Pgd,h(Xgd,h,Ygd,h,Zgd,h);l为正整数,h为正整数;
步骤802、用户通过参数输入模块(17)输入用户最终抵达的商铺名称作为目标商铺,且计算机(9)通过商铺场景全景影像数据库,得到目标商铺的商铺场景定位坐标,并记作
步骤803、计算机(9)根据公式得到用户当前位置与第l个商铺场景全景影像数据库的商铺场景定位坐标之间的距离dsp,l;计算机(9)根据公式得到用户当前位置与第h个过道场景全景影像数据库的过道场景定位坐标之间的距离dgd,h;
步骤804、多次重复步骤803,得到用户当前位置与多个商铺场景全景影像数据库的商铺场景定位坐标之间的距离和用户当前位置与多个场景全景影像数据库的过道场景定位坐标之间的距离,并将用户当前位置与多个场景影像数据库的商铺场景定位坐标之间的距离和用户当前位置与多个场景全景影像数据库的过道场景定位坐标之间的距离按照从小到大的顺序排序,得到最小距离和次小距离,并从步骤604中场景定位坐标中得到最小距离所对应的场景定位坐标并记作Pzg,1(Xzg,1,Yzg,1,Zzg,1)和次小距离所对应的场景定位坐标并记作Pzg,2(Xzg,2,Yzg,2,Zzg,2);
步骤805、计算机(9)根据公式进行判断,当成立时,执行步骤806;否则,执行步骤807;
步骤806、当成立时,则次小距离所对应的场景定位坐标作为下一个过渡坐标,且下一个过渡坐标所对应的影像作为下一个过渡影像,计算机(9)从场景影像数据库中得到下一个过渡影像,并通过第二无线通信模块(7)发送至手机(8);
步骤807、当不成立时,则最小距离所对应的场景定位坐标作为下一个过渡坐标,且下一个过渡坐标所对应的影像作为下一个过渡影像,计算机(9)从场景影像数据库中得到下一个过渡影像,并通过第二无线通信模块(7)发送至手机(8);
步骤808、用户根据计算机(9)发送的下一个过渡影像,抵达下一个过渡坐标,重复步骤七、步骤803至步骤805,得到下下一个过渡坐标和下下一个过渡影像,直至抵达目标商铺。
本实施例中,步骤301中特征点提取与匹配,具体过程如下:计算机(9)调取SIFI特征提取算法对每一幅影像分别进行特征点提取,对每一幅影像进行特征点提取的方法均相同,则对每一幅影像进行特征点提取,具体过程如下:
步骤3011、计算机(9)调取二维高斯卷积模块,将变尺度的二维高斯卷积函数与任一幅影像中进行卷积处理,得到多个高斯尺度空间图像;
步骤3012、计算机(9)调取高斯差分模块,将相邻两个高斯尺度空间图像进行差分处理,得到多个高斯差分图像;
步骤3013、计算机(9)调取高斯差分图像极值点模块,对高斯差分图像进行极值点处理,得到极大值点和极小值点,则极大值点和极小值点均为特征点;
步骤3014、计算机(9)调取特征点描述子模块,对多个特征点进行处理,得到多个特征点描述子向量;
步骤3015、计算机(9)调取特征点描述子归一化模块,对多个所述特征点描述子向量进行归一化处理,得到多个特征点描述子归一化向量。
本实施例中,步骤302中计算机(9)调取特征点匹配模块对相邻两幅所述影像中的特征点进行匹配,得到多组匹配点对,具体过程如下:
步骤3021、计算机(9)将相邻两幅所述影像中前一幅影像中的任一个特征点描述子归一化向量记作计算机(9)将相邻两幅所述影像中后一幅影像的任一个特征点描述子归一化向量记作其中,k表示按照拍摄时间前后顺序的影像序号,k为正整数,表示第k幅影像中第j个提取特征点描述子归一化向量的第i个分量,表示第k+1幅影像中第p个提取特征点描述子归一化向量的第i个分量,j和p均为正整数,i取1到128之间的正整数;
步骤3022、计算机(9)根据公式得到第k幅影像中第j个提取特征点与第k+1幅影像中第p个提取特征点之间的相似性度量值d(kj,(k+1)p);
步骤3023、多次重复步骤3022,得到第k幅影像中第j个提取特征点与第k+1幅影像中多个提取特征点之间的多个相似性度量值;
步骤3024、计算机(9)将第k幅影像中第j个提取特征点与第k+1幅影像中多个提取特征点之间的多个相似性度量值按照从小到大顺序进行排序,获得最小相似性度量值dmin和次小相似性度量值dsub;
步骤3025、计算机(9)根据公式得到最小相似性度量值和次小相似性度量值的比值
步骤3026、计算机(9)根据判定条件进行判断,当成立,执行步骤3027;否则,执行步骤3028;其中,dyz的取值范围为0.7~0.85;
步骤3027、当成立,则第k幅影像中第j个特征点与最小相似性度量值dmin所对应的第k+1幅影像中的特征点为一组匹配点对;
步骤3028、计算机(9)剔除第k幅影像中第j个提取特征点,并重复步骤3022至步骤3026,对第k幅影像中第j+1个提取特征点进行匹配;
步骤3029、多次重复步骤3022至步骤3028,得到多组匹配点对。
本实施例中,第一控制器(1)和第二控制器(5)均为ARM微控制器。
本实施例中,所述鱼眼相机模块(4)包括第一鱼眼相机(4-1)、第二鱼眼相机(4-2)、第三鱼眼相机(4-3)、第四鱼眼相机(4-4)、第五鱼眼相机(4-5)和第六鱼眼相机(4-6),所述第一鱼眼相机(4-1)、第二鱼眼相机(4-2)、第三鱼眼相机(4-3)、第四鱼眼相机(4-4)、第五鱼眼相机(4-5)和第六鱼眼相机(4-6)均与第二控制器(5)相接;
步骤602中采用鱼眼相机模块(4)对商铺场景进行全景拍摄时,第一鱼眼相机(4-1)、第二鱼眼相机(4-2)、第三鱼眼相机(4-3)、第四鱼眼相机(4-4)、第五鱼眼相机(4-5)和第六鱼眼相机(4-6)分别对商铺场景的上下左右前后六个方位拍摄,得到六个方位商铺场景拍摄影像,实现商铺场景全景拍摄;
步骤602中采用鱼眼相机模块(4)对过道场景进行全景拍摄时,第一鱼眼相机(4-1)、第二鱼眼相机(4-2)、第三鱼眼相机(4-3)、第四鱼眼相机(4-4)、第五鱼眼相机(4-5)和第六鱼眼相机(4-6)分别对过道场景的上下左右前后六个方位拍摄,得到六个方位过道场景拍摄影像,实现过道场景全景拍摄。
本实施例中,需要说明的是场景定位坐标为六个鱼眼相机围成空间的中心位置处。
本实施例中,摄像机2为佳能5DS单反数码相机,其搭载了5060万超高有效像素的全画幅CMOS传感器,且具有低通滤镜效果,拍摄影像清晰度高。不仅如此,机身性能也相当均衡,61点的AF对焦系统、5fps的连拍能力,适应于室内序列影像的连拍。
本实施例中,鱼眼相机模块4为GoPro Hero6 Black鱼眼相机或者GoPro HD鱼眼相机,该图像采集的视频更清晰,色彩更鲜艳,运动模糊更少,能适应于平滑低频振动和方向突然变化方面,成像质量高,便于室内多个场景全景影像的采集。另外,设置鱼眼相机模块4,一方面是因为由于室内全景是要捕捉室内场景360°范围内的所有信息,因此一般用鱼眼相机视角等于或大于180°,焦距6mm~16mm之间的超广角镜头来拍摄;另一方面,鱼眼相机在发生平滑低频振动和方向突然变化时,成像质量高。
本实施例中,所述第一控制器1和第二控制器5均为ARM微控制器。进一步地,所述第一控制器1和第二控制器5均为STM32F745VET6ARM微控制器,功耗低,存储空间大。
本实施例中,进一步地,第一无线通信模块3、第二无线通信模块7和第三无线通信模块6均为WIFI通信模块,便于布设,且成本低。
本实施例中,用户定位时,计算机9对定位影像进行特征点提取与匹配,并将与特征点数据库匹配的特征点记作定位影像数据库匹配特征点,然后计算机调取共线方程模块,输入第一定位特征点、第二定位特征点和第三定位特征点的像素坐标和空间坐标,建立共线方程式,最后计算机调取最小二乘计算模块对共线方程式进行计算,得到用户当前的定位坐标,这样通过共线方程式对XS0,YS0,ZS0进行校正,将定位精度由米级提高到厘米级,从而提高了定位的准确性。
以上所述,仅是本发明的较佳实施例,并非对本发明作任何限制,凡是根据本发明技术实质对以上实施例所作的任何简单修改、变更以及等效结构变化,均仍属于本发明技术方案的保护范围内。
Claims (5)
1.一种基于影像空间和全景辅助的室内定位导航方法,其特征在于,该方法包括以下步骤:
步骤一、控制点的布设及世界坐标系的建立:
步骤101、在室内每个墙壁上设置至少两个控制点;
步骤102、以室内任意一点为原点Os,以过原点Os且指向正北为Xs轴,以过原点Os且指向正东为Ys轴,以过原点Os且垂直于由Xs轴和Ys轴形成的平面OsXsYs指向天为Zs轴,建立世界坐标系OsXsYsZs;
步骤103、采用全站仪测量多个所述控制点的坐标,则获得在世界坐标系OsXsYsZs下多个所述控制点的空间坐标,通过所述参数输入模块(17)输入,并存储至存储器(11)中,形成控制点空间坐标数据库;
步骤二、摄像机的校正及室内序列影像的获取:
步骤201、第一控制器(1)调取相机检校模块对摄像机(2)进行相机检校处理,得到摄像机(2)的参数矩阵其中,f表示摄像机(2)的焦距,f/dx表示摄像机(2)在图像坐标系u轴上的归一化焦距,f/dy表示摄像机(2)在像素坐标系v轴上的归一化焦距,1/dx表示像素坐标系u轴上单位像素的尺寸大小,1/dy表示像素坐标系v轴上单位像素的尺寸大小,u0表示像主点在像素坐标系u轴上的偏移量,v0表示像主点在像素坐标系v轴上的偏移量;
步骤202、采用摄像机(2)对室内拍摄序列影像,并将拍摄到的序列影像发送至第一控制器(1),第一控制器(1)将接收到的序列影像通过第一无线通信模块(3)和第二无线通信模块(7)发送至计算机(9);其中,相邻两幅影像的旁向重叠度不低于50%;
步骤三、特征点提取与匹配:
步骤301、计算机(9)调取SIFI特征提取算法对每一幅影像分别进行特征点提取,得到多个特征点描述子归一化向量;
步骤302、计算机(9)调取特征点匹配模块对相邻两幅所述影像中的特征点进行匹配,得到多组匹配点对;
步骤四、特征点的剔除:
步骤401、计算机(9)将任一组匹配点对记作第k幅影像中第j′个特征匹配点和第k+1幅影像中第j′个特征匹配点,计算机(9)将第k幅影像中第j′个特征匹配点的特征点描述子归一化向量记作计算机(9)将第k+1幅影像中第j′个特征匹配点的特征点描述子归一化向量记作其中,j′为正整数,且j′的取值范围为1~Np,Np为匹配点对的对数;表示第k幅影像中第j′个特征匹配点的特征点描述子归一化向量的第i个分量,表示第k+1幅影像中第j′个特征匹配点的特征点描述子归一化向量的第i个分量;
步骤402、计算机(9)根据公式得到第k幅影像中第j′个特征匹配点的特征向量平均值;计算机(9)根据公式得到第k+1幅影像中第j′个特征匹配点的特征向量平均值;
步骤403、计算机(9)根据公式得到第k幅影像中第j′个特征匹配点和第k+1幅影像中第j′个特征匹配点的相关系数Xgxs;
步骤404、计算机(9)根据判定条件Xgxs≤0.6进行判定,当Xgxs≤0.6成立,执行步骤405;否则,执行步骤406;
步骤405、当Xgxs≤0.6成立,则为误匹配点对,计算机(9)将误匹配误匹配点对剔除;
步骤406、当Xgxs>0.6成立,则为正确匹配点对,计算机(9)将正确匹配点对保存;
步骤407、多次重复步骤402至步骤406,完成多组匹配点对的一次剔除,并获得剔除后的多组匹配点对;
步骤五、特征点空间坐标的计算:
步骤501、计算机(9)将剔除后的任一组匹配点对记作第k幅影像中第j″个剔除后特征匹配点和第k+1幅影像中第j″个剔除后特征匹配点,计算机(9)将第k幅影像中第j″个剔除后特征匹配点的特征点描述子归一化向量记作计算机(9)将第k+1幅影像中第j″个剔除后特征匹配点的特征点描述子归一化向量记作计算机(9)将第k幅影像中第j″个剔除后特征匹配点的像素坐标记作计算机(9)将第k+1幅影像中第j″个剔除后特征匹配点的像素坐标记作其中,j″为正整数,且j″的取值范围为1~N′p,N′p为剔除后的匹配点对的对数;表示第k幅影像中第j″个剔除后特征匹配点的特征点描述子归一化向量的第i个分量,表示第k+1幅影像中第j″个剔除后特征匹配点的特征点描述子归一化向量的第i个分量;
步骤502、计算机(9)按照拍摄先后顺序在第k幅影像的拍摄处建立第k个相机坐标系,在第k+1幅影像的拍摄处建立第k+1个相机坐标系Oz(k+1)Xz(k+1)Yz(k+1)Zz(k+1);其中,在摄像机(2)对室内拍摄序列影像的第一个位置处即第一副影像的拍摄处建立第一相机坐标系Oz1Xz1Yz1Zz1;
步骤503、计算机(9)调取相机旋转矩阵和平移向量计算模块,从剔除后的多组匹配点对中选择四对匹配点输入,得到第k+1个相机坐标系到第k个相机坐标系的相机旋转矩阵Rk+1,k和平移向量tk+1,k;其中,相机旋转矩阵Rk+1,k为3×3矩阵,平移向量tk+1,k为3×1向量;
步骤504、计算机(9)根据公式Rk+1,1=Rk+1,k×Rk,k-1×...×R2,1,得到第k+1个相机坐标系到第一个相机坐标系的相机旋转矩阵Rk+1,1;其中,Rk,k-1表示第k个相机坐标系到第k-1个相机坐标系的相机旋转矩阵,R2,1表示第二个相机坐标系到第一个相机坐标系的相机旋转矩阵;计算机(9)根据公式tk+1,1=tk+1,k+tk,k-1+...+t2,1,得到第k+1个相机坐标系到第一个相机坐标系的平移向量tk+1,1,其中,tk,k-1表示第k个相机坐标系到第k-1个相机坐标系的平移向量,t2,1表示第二个相机坐标系到第一个相机坐标系的平移向量;计算机(9)根据公式得第k+1个相机坐标系到第一个相机坐标系的投影矩阵Pk+1,1;
步骤505、计算机(9)根据公式得到第k幅影像中第j″个剔除后特征匹配点的图像坐标Pk,j″(xk,j″,yk,j″),计算机(9)根据公式得到第k+1幅影像中第j″个剔除后特征匹配点的图像坐标Pk+1,j″(xk+1,j″,yk+1,j″);计算机(9)根据公式得到深度参数Zc;其中,B表示第k+1个相机坐标系原点到第k个相机坐标系原点的距离,f表示摄像机(2)的焦距;
步骤507、计算机(9)根据公式得到在第一个相机坐标系下第k+1幅影像中第j″个剔除后特征匹配点的坐标Pk+1,j″(Xk+1,j″,Yk+1,j″,Zk+1,j″);
步骤508、计算机(9)判断剔除后的多组匹配点对所在的相邻两幅所述影像中是否存在匹配的控制点像点,当相邻两幅所述影像中存在匹配的控制点像点,从步骤509执行;否则,执行步骤5010;
步骤509、当剔除后的多组匹配点对所在的相邻两幅所述影像中存在匹配的控制点像点,计算机(9)调取图形标记模块在相邻两幅影像中匹配的控制点像点处标记,计算机(9)调取像素坐标提取模块对匹配的控制点像点的像素坐标进行提取,获取匹配的控制点像点的像素坐标;
步骤5010、计算机(9)按照步骤四和步骤501至步骤508所述的方法,对剔除后的多组匹配点对所在的下一个相邻两幅影像进行处理;
步骤5011、多次重复步骤5010,得到多对匹配的控制点像点的像素坐标,从多个匹配的控制点像点的像素坐标中选择四对匹配的控制点像点的像素坐标,并将选择的第f对匹配的控制点像点记作第k幅影像中匹配的控制点像点和第k+1幅影像中匹配的控制点像点,且第k幅影像中匹配的控制点像点的像素坐标记作第k+1幅影像中匹配的控制点像点的像素坐标记作f=1,2,3,4;
步骤5012、计算机(9)按照步骤504到步骤507所述的方法,得到第f对匹配的控制点像点对应的控制点在第一个相机坐标系下的坐标和计算机(9)从步骤103中控制点空间坐标数据库中得到第f对匹配的控制点像点对应的控制点的空间坐标和其中,表示第k幅影像中匹配的控制点像点对应的控制点在第一个相机坐标系下的坐标,表示第k+1幅影像中匹配的控制点像点对应的控制点在第一个相机坐标系下的坐标,表示第k幅影像中匹配的控制点像点对应的控制点在世界坐标系下的空间坐标,表示第k+1幅影像中匹配的控制点像点对应的控制点在世界坐标系下的空间坐标;
步骤5012、计算机(9)调取相机坐标系到世界坐标系的旋转矩阵和平移向量计算模块,并输入四对匹配的控制点像点对应的控制点在第一个相机坐标系下的坐标和在世界坐标系下的空间坐标,得到式子
其中,ω′表示第一相机坐标系Oz1Xz1Yz1Zz1中Yz1Oz1Zz1平面绕Oz1Xz1轴旋转至Yz1Oz1Zz1平面与YsOsZs平面平行时的旋转角度,表示第一相机坐标系Oz1Xz1Yz1Zz1中Xz1Oz1Zz1平面绕Oz1Yz1轴旋转至Xz1Oz1Zz1平面与XsOsZs平面平行时的旋转角度,κ′表示第一相机坐标系Oz1Xz1Yz1Zz1中Xz1Oz1Yz1平面绕Oz1Zz1轴旋转至Xz1Oz1Yz1平面与XsOsYs平面平行时的旋转角度;
步骤5013、计算机(9)调取最小二乘计算模块,并设置初始值λ=1.0,ΔX=ΔY=ΔZ=0.0,对式子和进行计算,得到λ尺度因子、旋转矩阵和平移向量
步骤5014、计算机(9)根据式子得到在世界坐标系OsXsYsZs下第k+1幅影像中第j″个剔除后特征匹配点的空间坐标
步骤5015、计算机(9)将第k+1幅影像中第j″个剔除后特征匹配点的特征点描述子归一化向量记作第k+1幅影像中第j″个剔除后特征匹配点的图像坐标Pk+1,j″(xk+1,j″,yk+1,j″)和第k+1幅影像中第j″个剔除后特征匹配点的空间坐标存储至与计算机(9)相接的数据存储器(11)中,形成特征点数据库;
步骤六、室内全景影像的获取:
步骤601、将室内划分为商铺场景和过道场景;其中,室内每个商铺称为一个商铺场景,将室内过道按照预先设定的场景距离将室内过道划分为多个过道场景;所述预先设定的场景距离为20米~30米;
步骤602、采用鱼眼相机模块(4)对商铺场景进行全景拍摄,并将拍摄的多幅商铺场景拍摄影像发送至第二控制器(5),第二控制器(5)将接收到的多幅商铺场景拍摄影像通过第三无线通信模块(6)和第二无线通信模块(7)发送至计算机(9);并采用全站仪测量鱼眼相机模块(4)的坐标,则获取在世界坐标系OsXsYsZs下鱼眼相机模块(4)对商铺场景进行全景拍摄时的坐标,并将在世界坐标系OsXsYsZs下鱼眼相机模块(4)对商铺场景进行全景拍摄时的坐标称作商铺场景定位坐标,通过所述参数输入模块(17)输入商铺场景定位坐标和商铺名称,并存储至存储器(11)中,计算机(9)调取全景影像拼接模块,并输入多幅商铺场景拍摄影像进行拼接,形成商铺场景全景影像,得到一个商铺场景全景影像数据库;
步骤603、采用鱼眼相机模块(4)对每个过道场景进行全景拍摄,并将拍摄的多幅过道场景拍摄影像发送至第二控制器(5),第二控制器(5)将接收到的多幅过道场景拍摄影像通过第三无线通信模块(6)和第二无线通信模块(7)发送至计算机(9);并采用全站仪测量鱼眼相机模块(4)的坐标,则获取在世界坐标系OsXsYsZs下鱼眼相机模块(4)对过道场景进行全景拍摄时的坐标,并将在世界坐标系OsXsYsZs下鱼眼相机模块(4)对过道场景进行全景拍摄时的坐标称作过道场景定位坐标,通过所述参数输入模块(17)输入过道场景定位坐标,并存储至存储器(11)中;计算机(9)调取全景影像拼接模块,并输入多幅过道场景拍摄影像进行拼接,形成过道场景全景影像,得到一个过道场景全景影像数据库;其中,商铺场景拍摄影像和过道场景拍摄影像的旁向重叠度均不低于30%;
步骤604、多次重复步骤602至步骤603,得到多个商铺场景全景影像数据库和多个过道场景全景影像数据库,并将多个商铺场景全景影像数据库和多个过道场景全景影像数据库按照拍摄先后顺序进行存储,则将多个商铺场景全景影像数据库和多个过道场景全景影像数据库形成的数据库称作场景影像数据库,将商铺场景定位坐标和过道场景定位坐标均称作场景定位坐标;
步骤七、室内定位:
步骤701、采用手机(8)采集用户当前所在位置的一幅定位影像并通过第二无线通信模块(7)发送至计算机(9);
步骤702、计算机(9)按照步骤301所述的方法对定位影像进行特征点提取,获取定位影像中多个特征点描述子归一化向量;
步骤703、计算机(9)按照步骤302所述的方法将定位影像中多个特征点描述子归一化向量与步骤5015中形成的特征点数据库进行匹配,得到定位影像的匹配点对数Mdp;
步骤704、计算机(9)根据判定条件Mdp≥8进行判断,当Mdp≥8成立,从步骤705开始执行;否则,从步骤701执行,重新拍一副定位影像;
步骤705、当Mdp≥8成立,计算机(9)调取相机Exif信息读取模块读取定位影像中的Exif信息,得到手机(8)中相机拍摄时的相机焦距fd;
步骤706、计算机(9)调取投影矩阵计算模块,从定位影像的匹配点对数中选择四对定位影像的匹配点输入,得到定位影像的投影矩阵P′,计算机(9)调取QR分解模块,对定位影像的投影矩阵P′进行QR分解,得到定位影像的外方位元素初值ω,κ,XS0,YS0,ZS0;其中,ω表示手机相机的相机坐标系OdpXdpYdpZdp中YdpOdpZdp平面绕OdpXdp轴旋转至YdpOdpZdp平面与YsOsZs平面平行时的旋转角度,表示手机相机的相机坐标系OdpXdpYdpZdp中XdpOdpZdp平面绕OdpYdp轴旋转至XdpOdpZdp平面与XsOsZs平面平行时的旋转角度,κ表示手机相机的相机坐标系OdpXdpYdpZdp中XdpOdpYdp平面绕OdpZdp轴旋转至XdpOdpYdp平面与XsOsYs平面平行时的旋转角度,XS0,YS0,ZS0分别表示手机(8)中相机光心在世界坐标系OsXsYsZs的Xs轴方向的初始坐标、Ys轴方向的初始坐标和Zs轴方向的初始坐标;
步骤707、计算机(9)将Mdp对定位影像的匹配点对中位于步骤5015中特征点数据库中的匹配特征点记作定位影像数据库匹配特征点,得到定位影像数据库匹配特征点的特征点描述子归一化向量、定位影像数据库匹配特征点的像素坐标和定位影像数据库匹配特征点的空间坐标;其中,所述定位影像数据库匹配特征点的数量不少于8个;
步骤708、计算机(9)从多个定位影像数据库匹配特征点中选择三个定位影像数据库匹配特征点并记作定位特征点,三个定位特征点分别记作第一定位特征点、第二定位特征点和第三定位特征点,计算机(9)从步骤5015中形成的特征点数据库中,得到三个定位特征点的图像坐标,并将第一定位特征点的图像坐标记作Pd,1(xd,1,yd,1),所述第二定位特征点的图像坐标记作Pd,2(xd,2,yd,2),所述第三定位特征点的图像坐标记作Pd,3(xd,3,yd,3);且计算机(9)从步骤5015中形成的特征点数据库中,得到三个定位特征点的空间坐标,并分别将第一定位特征点的空间坐标记作第二定位特征点的空间坐标记作第三定位特征点的空间坐标记作
步骤709、计算机(9)调取共线方程模块并输入第一定位特征点、第二定位特征点和第三定位特征点的图像坐标和空间坐标,得到共线方程式其中,
步骤7010、计算机(9)调取最小二乘计算模块,并输入手机(8)中相机光心在世界坐标系OsXsYsZs的Xs轴方向的初始坐标XS0、Ys轴方向的初始坐标YS0和Zs轴方向的初始坐标ZS0分别作为X′S0、Y′S0和Z′S0的初始值,并对步骤709中共线方程式进行最小二乘计算,得到手机(8)中相机光心在世界坐标系OsXsYsZs的Xs轴方向的校正坐标X′S0、Ys轴方向的校正坐标Y′S0和Zs轴方向的校正坐标Z′S0,则得到用户当前的定位坐标
步骤八、室内导航:
步骤801、计算机(9)将第l个商铺场景全景影像数据库的商铺场景定位坐标记作Psp,l(Xsp,l,Ysp,l,Zsp,l);计算机(9)将第h个过道场景全景影像数据库中的过道场景定位坐标记作Pgd,h(Xgd,h,Ygd,h,Zgd,h);l为正整数,h为正整数;
步骤802、用户通过参数输入模块(17)输入用户最终抵达的商铺名称作为目标商铺,且计算机(9)通过商铺场景全景影像数据库,得到目标商铺的商铺场景定位坐标,并记作
步骤803、计算机(9)根据公式得到用户当前位置与第l个商铺场景全景影像数据库的商铺场景定位坐标之间的距离dsp,l;计算机(9)根据公式得到用户当前位置与第h个过道场景全景影像数据库的过道场景定位坐标之间的距离dgd,h;
步骤804、多次重复步骤803,得到用户当前位置与多个商铺场景全景影像数据库的商铺场景定位坐标之间的距离和用户当前位置与多个场景全景影像数据库的过道场景定位坐标之间的距离,并将用户当前位置与多个场景影像数据库的商铺场景定位坐标之间的距离和用户当前位置与多个场景全景影像数据库的过道场景定位坐标之间的距离按照从小到大的顺序排序,得到最小距离和次小距离,并从步骤604中场景定位坐标中得到最小距离所对应的场景定位坐标并记作Pzg,1(Xzg,1,Yzg,1,Zzg,1)和次小距离所对应的场景定位坐标并记作Pzg,2(Xzg,2,Yzg,2,Zzg,2);
步骤805、计算机(9)根据公式进行判断,当成立时,执行步骤806;否则,执行步骤807;
步骤806、当成立时,则次小距离所对应的场景定位坐标作为下一个过渡坐标,且下一个过渡坐标所对应的影像作为下一个过渡影像,计算机(9)从场景影像数据库中得到下一个过渡影像,并通过第二无线通信模块(7)发送至手机(8);
步骤807、当不成立时,则最小距离所对应的场景定位坐标作为下一个过渡坐标,且下一个过渡坐标所对应的影像作为下一个过渡影像,计算机(9)从场景影像数据库中得到下一个过渡影像,并通过第二无线通信模块(7)发送至手机(8);
步骤808、用户根据计算机(9)发送的下一个过渡影像,抵达下一个过渡坐标,重复步骤七、步骤803至步骤805,得到下下一个过渡坐标和下下一个过渡影像,直至抵达目标商铺。
2.按照权利要求1所述的一种基于影像空间和全景辅助的室内定位导航方法,其特征在于:步骤301中特征点提取与匹配,具体过程如下:计算机(9)调取SIFI特征提取算法对每一幅影像分别进行特征点提取,对每一幅影像进行特征点提取的方法均相同,则对每一幅影像进行特征点提取,具体过程如下:
步骤3011、计算机(9)调取二维高斯卷积模块,将变尺度的二维高斯卷积函数与任一幅影像中进行卷积处理,得到多个高斯尺度空间图像;
步骤3012、计算机(9)调取高斯差分模块,将相邻两个高斯尺度空间图像进行差分处理,得到多个高斯差分图像;
步骤3013、计算机(9)调取高斯差分图像极值点模块,对高斯差分图像进行极值点处理,得到极大值点和极小值点,则极大值点和极小值点均为特征点;
步骤3014、计算机(9)调取特征点描述子模块,对多个特征点进行处理,得到多个特征点描述子向量;
步骤3015、计算机(9)调取特征点描述子归一化模块,对多个所述特征点描述子向量进行归一化处理,得到多个特征点描述子归一化向量。
3.按照权利要求1所述的一种基于影像空间和全景辅助的室内定位导航方法,其特征在于:步骤302中计算机(9)调取特征点匹配模块对相邻两幅所述影像中的特征点进行匹配,得到多组匹配点对,具体过程如下:
步骤3021、计算机(9)将相邻两幅所述影像中前一幅影像中的任一个特征点描述子归一化向量记作计算机(9)将相邻两幅所述影像中后一幅影像的任一个特征点描述子归一化向量记作其中,k表示按照拍摄时间前后顺序的影像序号,k为正整数,表示第k幅影像中第j个提取特征点描述子归一化向量的第i个分量,表示第k+1幅影像中第p个提取特征点描述子归一化向量的第i个分量,j和p均为正整数,i取1到128之间的正整数;
步骤3022、计算机(9)根据公式得到第k幅影像中第j个提取特征点与第k+1幅影像中第p个提取特征点之间的相似性度量值d(kj,(k+1)p);
步骤3023、多次重复步骤3022,得到第k幅影像中第j个提取特征点与第k+1幅影像中多个提取特征点之间的多个相似性度量值;
步骤3024、计算机(9)将第k幅影像中第j个提取特征点与第k+1幅影像中多个提取特征点之间的多个相似性度量值按照从小到大顺序进行排序,获得最小相似性度量值dmin和次小相似性度量值dsub;
步骤3025、计算机(9)根据公式得到最小相似性度量值和次小相似性度量值的比值
步骤3026、计算机(9)根据判定条件进行判断,当成立,执行步骤3027;否则,执行步骤3028;其中,dyz的取值范围为0.7~0.85;
步骤3027、当成立,则第k幅影像中第j个特征点与最小相似性度量值dmin所对应的第k+1幅影像中的特征点为一组匹配点对;
步骤3028、计算机(9)剔除第k幅影像中第j个提取特征点,并重复步骤3022至步骤3026,对第k幅影像中第j+1个提取特征点进行匹配;
步骤3029、多次重复步骤3022至步骤3028,得到多组匹配点对。
4.按照权利要求1所述的一种基于影像空间和全景辅助的室内定位导航方法,其特征在于:第一控制器(1)和第二控制器(5)均为ARM微控制器。
5.按照权利要求1所述的一种基于影像空间和全景辅助的室内定位导航方法,其特征在于:所述鱼眼相机模块(4)包括第一鱼眼相机(4-1)、第二鱼眼相机(4-2)、第三鱼眼相机(4-3)、第四鱼眼相机(4-4)、第五鱼眼相机(4-5)和第六鱼眼相机(4-6),所述第一鱼眼相机(4-1)、第二鱼眼相机(4-2)、第三鱼眼相机(4-3)、第四鱼眼相机(4-4)、第五鱼眼相机(4-5)和第六鱼眼相机(4-6)均与第二控制器(5)相接;
步骤602中采用鱼眼相机模块(4)对商铺场景进行全景拍摄时,第一鱼眼相机(4-1)、第二鱼眼相机(4-2)、第三鱼眼相机(4-3)、第四鱼眼相机(4-4)、第五鱼眼相机(4-5)和第六鱼眼相机(4-6)分别对商铺场景的上下左右前后六个方位拍摄,得到六个方位商铺场景拍摄影像,实现商铺场景全景拍摄;
步骤602中采用鱼眼相机模块(4)对过道场景进行全景拍摄时,第一鱼眼相机(4-1)、第二鱼眼相机(4-2)、第三鱼眼相机(4-3)、第四鱼眼相机(4-4)、第五鱼眼相机(4-5)和第六鱼眼相机(4-6)分别对过道场景的上下左右前后六个方位拍摄,得到六个方位过道场景拍摄影像,实现过道场景全景拍摄。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811091574.9A CN109141432B (zh) | 2018-09-19 | 2018-09-19 | 一种基于影像空间和全景辅助的室内定位导航方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811091574.9A CN109141432B (zh) | 2018-09-19 | 2018-09-19 | 一种基于影像空间和全景辅助的室内定位导航方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109141432A true CN109141432A (zh) | 2019-01-04 |
CN109141432B CN109141432B (zh) | 2020-04-10 |
Family
ID=64814863
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811091574.9A Expired - Fee Related CN109141432B (zh) | 2018-09-19 | 2018-09-19 | 一种基于影像空间和全景辅助的室内定位导航方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109141432B (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109916408A (zh) * | 2019-02-28 | 2019-06-21 | 深圳市鑫益嘉科技股份有限公司 | 机器人室内定位和导航方法、装置、设备及存储介质 |
CN111951598A (zh) * | 2019-05-17 | 2020-11-17 | 杭州海康威视数字技术股份有限公司 | 一种车辆跟踪监测方法、装置及系统 |
CN114202954A (zh) * | 2021-12-24 | 2022-03-18 | 广东艾科智泊科技股份有限公司 | 一种基于全景停车场的车位导航方法 |
CN114674291A (zh) * | 2022-05-26 | 2022-06-28 | 西安大地测绘股份有限公司 | 一种基于手机前后置摄像头拍照的室内定位校核方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103398717A (zh) * | 2013-08-22 | 2013-11-20 | 成都理想境界科技有限公司 | 全景地图数据库采集系统及基于视觉的定位、导航方法 |
CN106092086A (zh) * | 2016-06-12 | 2016-11-09 | 哈尔滨工程大学 | 一种基于全景视觉的快速、高鲁棒性的机器人室内定位方法 |
KR20170094030A (ko) * | 2016-02-05 | 2017-08-17 | 코디스페이스 주식회사 | 실내 내비게이션 및 파노라마 사진 맵핑 제공 시스템 및 그 방법 |
-
2018
- 2018-09-19 CN CN201811091574.9A patent/CN109141432B/zh not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103398717A (zh) * | 2013-08-22 | 2013-11-20 | 成都理想境界科技有限公司 | 全景地图数据库采集系统及基于视觉的定位、导航方法 |
KR20170094030A (ko) * | 2016-02-05 | 2017-08-17 | 코디스페이스 주식회사 | 실내 내비게이션 및 파노라마 사진 맵핑 제공 시스템 및 그 방법 |
CN106092086A (zh) * | 2016-06-12 | 2016-11-09 | 哈尔滨工程大学 | 一种基于全景视觉的快速、高鲁棒性的机器人室内定位方法 |
Non-Patent Citations (2)
Title |
---|
张春森: "三维运动分析中的运动立体双匹配约束", 《光学精密工程》 * |
张春森: "双目序列影像3维运动物体定位跟踪", 《测绘学报》 * |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109916408A (zh) * | 2019-02-28 | 2019-06-21 | 深圳市鑫益嘉科技股份有限公司 | 机器人室内定位和导航方法、装置、设备及存储介质 |
CN111951598A (zh) * | 2019-05-17 | 2020-11-17 | 杭州海康威视数字技术股份有限公司 | 一种车辆跟踪监测方法、装置及系统 |
CN111951598B (zh) * | 2019-05-17 | 2022-04-26 | 杭州海康威视数字技术股份有限公司 | 一种车辆跟踪监测方法、装置及系统 |
CN114202954A (zh) * | 2021-12-24 | 2022-03-18 | 广东艾科智泊科技股份有限公司 | 一种基于全景停车场的车位导航方法 |
CN114674291A (zh) * | 2022-05-26 | 2022-06-28 | 西安大地测绘股份有限公司 | 一种基于手机前后置摄像头拍照的室内定位校核方法 |
CN114674291B (zh) * | 2022-05-26 | 2022-08-26 | 西安大地测绘股份有限公司 | 一种基于手机前后置摄像头拍照的室内定位校核方法 |
Also Published As
Publication number | Publication date |
---|---|
CN109141432B (zh) | 2020-04-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109141432A (zh) | 一种基于影像空间和全景辅助的室内定位导航方法 | |
CN104240236B (zh) | 一种鱼眼镜头标定后鱼眼图像校正的方法 | |
CN109064404A (zh) | 一种基于多相机标定的全景拼接方法、全景拼接系统 | |
CN103337094B (zh) | 一种应用双目摄像机实现运动三维重建的方法 | |
CN104596519B (zh) | 基于ransac算法的视觉定位方法 | |
CN101377616B (zh) | 拍摄全景画面的方法 | |
CN101621634B (zh) | 动态前景分离的大幅面视频拼接方法 | |
WO2014023231A1 (zh) | 宽视场超高分辨率光学成像系统及方法 | |
CN109272570A (zh) | 一种基于立体视觉数学模型的空间点三维坐标求解方法 | |
CN112085659B (zh) | 一种基于球幕相机的全景拼接融合方法、系统及存储介质 | |
CN106228538A (zh) | 基于logo的双目视觉室内定位方法 | |
CN104412298B (zh) | 用于变换图像的方法和设备 | |
CN107103626A (zh) | 一种基于智能手机的场景重建方法 | |
CN101504761A (zh) | 一种图像拼接的方法和装置 | |
CN104170371B (zh) | 实现自助合影的方法和照相设备 | |
CN112837419B (zh) | 点云模型构建方法、装置、设备及存储介质 | |
CN110874854B (zh) | 一种基于小基线条件下的相机双目摄影测量方法 | |
CN111553939A (zh) | 一种多目摄像机的图像配准算法 | |
CN113329179B (zh) | 拍摄对位方法、装置、设备及存储介质 | |
CN112150518B (zh) | 一种基于注意力机制的图像立体匹配方法及双目设备 | |
CN107133986A (zh) | 一种基于二维标定物的相机标定方法 | |
Jin | A three-point minimal solution for panoramic stitching with lens distortion | |
Mitchelson et al. | Wand-based multiple camera studio calibration | |
CN107256563A (zh) | 基于差异液位图像序列的水下三维重建系统及其方法 | |
Xu | Consistent image alignment for video mosaicing |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20200410 Termination date: 20200919 |
|
CF01 | Termination of patent right due to non-payment of annual fee |