发明内容
针对上述背景技术所涉及到的目前地图数据信息结构的现状以及诸多问题,本发明为了弥补现有地图数据信息构建结构的技术空白,现提供一种云端多模场景地图分布式存储结构,包括索引层、原始数据层和二维图像特征层,将原始数据层和二维图像特征层基于规划线路的分段划分和客户端地理位置分布进行动态负载平衡分配,
索引层是数据采集的扫描规划线路上各个数采点及其三维坐标的集合,
索引层上的数采点是云端多模场景地图分布式存储结构的索引入口,通过数采点能够读取在该数采点采集的原始数据和处理这些原始数据中图像数据后获得的二维图像特征;
数采点子集与原始数据子集、二维图像特征子集之间存在着关联关系,通过给定任意三维坐标范围能够读取该三维坐标范围内的数采点子集以及与该数采子集相关联的原始数据子集、二维图像特征子集;
给定原始数据子集和二维图像特征子集中任意一个子集,通过上述关联关系能够索引到另外一子集和数采点子集;
原始数据包括图像数据、图像采集设备信息、局部点云和无线信号;
原始数据层是索引层内各个数采点所采集到原始数据的集合,其中每一数采点所采集到原始数据包括图像数据、图像采集设备信息、局部点云和无线信号;
二维图像特征层中包括特征点集、线段特征集、线特征集和消逝点特征集,其中:特征点集是基于原始数据层内的图像数据进行计算处理后获得的各种特征点的集合,
线段特征集是基于原始数据层内的图像数据进行计算处理后获得的各个特征线段的集合,
线特征集是基于线段特征集内线段延伸或者相互共线的线段连接并延伸组成的集合,
消逝点特征集(V1、V2、……、Vv)是基于线特征集内平行线相交点组成的集合,其中消逝点特征集是在投影几何空间内线特征集内平行线相交点组成的集合。
作为优选,所述云端多模场景地图分布式存储结构还包括三维特征层,该三维特征层是基于二维图像特征层内二维图像特征的三维重建,且该二维图像特征层内的二维图像特征是至少两个不同原始数据中的图像数据上相关联的二维图像特征;
其中:这些不同原始数据中的图像数据是基于不同数采点所采集的图像数据,二维图像特征是指二维图像特征层中的特征点、线段特征、线特征或消逝点特征,所述三维特征层还包括由共面的点线构建的平面。这些点线面共同组成了欧几里得空间下三维结构。
所述三维特征层与索引层之间是应用相同的坐标系统,通过给定的坐标范围能够读取该坐标范围内相关联的数采点子集和相关联的原始数据子集、二维图像特征子集、三维特征子集。
作为优选,所述云端多模场景地图分布式存储结构还包括POI层,该POI层是基于三维特征层所构建场景空间内三维矩形空间块的坐标、形状大小及其属性标注内容的集合。
作为优选,数采点子集与原始数据子集、二维图像特征子集、三维特征子集、POI子集之间存在着关联关系,
该关联关系包括原始数据子集与二维图像特征子集之间的相互索引关系、
二维图像特征子集与三维特征子集之间的相互索引关系、
三维特征子集与POI子集之间的相互索引关系、
以及POI子集与原始数据子集的相互索引关系,
其中:原始数据子集(包括数采点三维坐标i(x,y,z)及原始二维图像(R,t,I(u,v))通过原始图像和二维特征图像共享坐标(u,v)实现与二维图像特征子集相互之间的索引关系;
二维图像特征子集与三维特征子集即是通过二维和三维建构关联关系实现两者的相互索引关系;
三维特征子集与POI集合之间通过同一个三维坐标的位置检索i(x,y,z)实现相互间的索引关系;
POI集合与原始数据子集(包括数采点三维坐标i(x,y,z)及原始二维图像(R,t,I(u,v))之间通过同一个三维坐标的位置检索i(x,y,z)实现相互间的索引关系,
通过给定任意三维坐标范围能够读取该三维坐标范围内的数采点子集以及与该数采子集相关联的原始数据子集、二维图像特征子集、三维特征子集、POI子集;给定原始数据子集、二维图像特征子集、三维特征子集和POI子集中任意一个子集,通过上述关联关系能够索引到另外三个子集和数采点子集。
作为优选,所述无线信号包括指场景内能够接收到的无线信号源地址及信号特征,
所述无线信号包括WiFi指纹场强信号(IEEE802.11a,b,c,g家族)、手机无线通讯指纹场强信号(2G,3G,4G,5G,WiMAX等等),及其他各种智能设备的无线通讯信号。
作为优选,所述图像采集设备信息包括图像采集设备内部参数,图像采集设备位置信息、图像采集设备朝向数据、图像采集设备移动速度数据、图像采集设备旋转速率信息。
作为优选,所述原始图像数据和二维图像特征是都被保存在该云端多模场景地图分布式存储结构中,给地图建图及应用提供便利。
作为优选,所述二维图像特征中的特征点是多种同时存储的包括基于Harris Corner算法、FAST算法,SUSAN算法,SIFT算法,SURF算法获得的特征点;
所述特征线段是基于LSD算法获得的特征数据。
作为优选,所述三维矩形空间块是指其属性标注内容所指物体的边界框。
作为优选,所述数采点是基于移动客户端遍历场景空间规划线路上的点,而且考虑到传感器的有效作用距离,这些数采点能够对场景形成完整覆盖。
与现有技术相比,本发明的有益效果:对基于实景的地图存储提出一个有效的组织存储结构,该结构能更具需求来采集和建构地图;该结构还可以支持对基于实景的虚拟现实,将数据采集,虚拟场景显示,室内定位,移动终端导航都结合起来;会大大推动室内机器人和其他移动终端应用发展。
具体实施方式
本发明的具体实施方式描述如下:
本发明中提供一种云端多模场景地图分布式存储结构的具体实施例,包括索引层、原始数据层、二维图像特征层、三维特征层和POI层。
参阅图1所示,索引层是数据采集的扫描规划线路上各个数采点i及其三维坐标(x,y,z)的集合。
参阅图2所示,原始数据层是索引层内每一数采点i(x,y,z)所采集到数据信息的集合,其中每一数采点i(x,y,z)所采集到原始数据包括全景摄像头阵列采集的图像数据、全景摄像头阵列的信息、激光雷达检测到的局部点云j(R,t,L)和WiFi指纹场强信号;
二维图像特征层中包括特征点集、线段特征集、线特征集和消逝点特征集,
其中:参阅图4或者图5所示,特征点集是对原始数据层内的图像数据进行计算处理后获得的各种特征点(如图4或图5中的点)的集合,
线段特征集是原始数据层内的图像数据进行计算处理后获得的各个特征线段(如图4或图5中的线段)的集合,
线特征集是由线段特征集内线段延伸或者相互共线的线段连接并延伸组成的集合,
如图3所示,消逝点特征集(V1、V2、……、Vv)是由线特征集内平行线相交点组成的集合,所述消逝点是在投影几何空间的概念。
参阅图4或者图5所示,三维特征层是基于二维图像特征层内二维图像特征的三维重建,且该二维图像特征层内的二维图像特征是至少两个不同原始数据中图像数据上相关联的二维图像特征;其中:这些不同原始数据中图像数据是基于不同数采点所采集的图像数据,二维图像特征是指二维图像特征层中的特征点、线段特征、线特征或消逝点特征,所述三维特征层还包括由共面的点线构建的平面;这些点线面共同组成了欧几里得空间下三维结构。
参阅图5所示,POI层是基于三维特征层所构建场景内三维矩形空间块的坐标、形状大小及其属性标注内容的集合,所述三维矩形空间块是指其属性标注内容所指物体的边界框。
如图6所示,将原始数据层和二维图像特征层基于规划线路的分段划分和客户端地理位置分布进行动态负载平衡分配,本发明中所述的云端多模场景地图分布式存储结构能够应用存储于云端服务器阵列中,该云端服务器阵列包括主服务器(入口服务器)及多个子服务器(即组成了子服务器),实体或虚拟机皆可;同时根据数据存储需求可进行服务区划分,每个服务区都是有相邻数采点的子集及其原始数据层和二维图像层。每个服务区都有三维特征层数据和POI层数据的完整拷贝。每个服务区都有一个或多个子服务器负责。各个服务区之间允许重合。每个服务区的子服务器的分配数量由客户数量决定而且动态分配。另外主服务器(入口服务器)可以根据场景地图使用客户人数动态向云服务商动态申请服务器资源。
本发明中所涉及的负载平衡理论:是指由多台子服务器和一台主服务器(入口服务器)组成一个云端服务器阵列,其中,每台子服务器都具有等价的地位,都可以单独对外提供服务而无须其他服务器的辅助。通过负载分担技术,将外部发送来的请求均匀分配到对称结构中的某一台子服务器上,而接收到请求的子服务器独立地回应客户的请求。
平衡负载能够平均分配客户请求到云端服务器列阵,籍此提供快速获取重要数据,解决大量并发访问服务问题。这种群集技术可以用最少的投资获得接近于大型主机的性能。
如图1所示,索引层是规划线路上各个数采点i及其三维坐标(x,y,z)的集合,索引层上的数采点i(x,y,z)是该云端多模场景地图分布式存储结构的索引入口,通过数采点i(x,y,z)能够读取在该数采点i(x,y,z)采集的原始数据和处理这些原始数据中图像数据后获得的二维图像特征;所述三维特征层、POI层与索引层之间是应用相同的三维坐标系统(X,Y,Z),
如图7所示,数采点子集与原始数据子集、二维图像特征子集、三维特征子集、POI子集之间存在着关联关系,
该关联关系包括原始数据子集与二维图像特征子集之间的相互索引关系、
二维图像特征子集与三维特征子集之间的相互索引关系、
三维特征子集与POI子集之间的相互索引关系、
以及POI子集与原始数据子集的相互索引关系,
其中:原始数据子集(包括数采点三维坐标i(x,y,z)及原始二维图像(R,t,I(u,v))通过原始图像和二维特征图像共享坐标(u,v)实现与二维图像特征子集相互之间的索引关系;
二维图像特征子集与三维特征子集即是通过二维和三维建构关联关系实现两者的相互索引关系;
三维特征子集与POI集合之间通过同一个三维坐标的位置检索i(x,y,z)实现相互间的索引关系;
POI集合与原始数据子集(包括数采点三维坐标i(x,y,z)及原始二维图像(R,t,I(u,v))之间通过同一个三维坐标的位置检索i(x,y,z)实现相互间的索引关系,
通过给定任意三维坐标范围能够读取该三维坐标范围内的数采点子集以及与该数采子集相关联的原始数据子集、二维图像特征子集、三维特征子集、POI子集。
给定原始数据子集、二维图像特征子集、三维特征子集和POI子集(四个子集)中任意一个子集,通过上述关联关系能够索引到另外三个子集和数采点子集;
其中:原始数据子集是指该三维坐标范围内各个数采点上根据全景摄像头阵列所采集的原始数据集合,所述原始数据包括全景摄像头阵列采集的图像数据、全景摄像头阵列的信息、激光雷达检测到的局部点云j(R,t,L)和WiFi指纹场强信号;
二维图像特征子集是在该三维坐标范围内的二维图像特征层中的特征点、线段特征、线特征或/和消逝点特征的集合。
三维特征子集是基于二维图像特征子集内二维图像特征的三维重建,且该二维图像特征子集内的二维图像特征是至少两个不同原始数据中的图像数据上相关联的二维图像特征;
POI子集是基于三维特征子集所构建场景空间内三维矩形空间块的坐标、形状大小及其属性标注内容的集合。
所述图像采集设备为带有摄像功能的移动客户端(本发明实施例中列举了全景摄像头就是其中之一,具体可如图2所示),该移动客户端所采集的数据信息包括每一数采点的图像数据(I)、以及该图像数据所对应的移动客户端位置信息和朝向数据(R,t),及其移动客户端内部参数(例如K,摄像头内参矩阵)。
原始图像数据和二维特征数据同时被保存在该分布式存储结构中,给地图建图及应用提供便利。
所述二维特征数据中的特征点是多种同时存储的包括基于Harris Corner算法【1】、FAST(Features from accelerated segment test)算法【2】,SUSAN(smallest univaluesegment assimilating nucleus)算法【3】,SIFT(Scale-invariant feature transform)算法【4】,SURF(Speeded Up Robust Features)算法【5】获得的特征点。
其中:上述涉及的算法参考如下引文:
【1】C.Harris and M.Stephens(1988)."A combined corner and edge detector".Proceedingsof the 4th Alvey Vision Conference.pp.147–151.
【2】Rosten,Edward;Tom Drummond(2005)."Fusing points and lines for high performancetracking"(PDF).IEEE International Conference on Computer Vision 2:1508–1511
【3】S.M.Smith and J.M.Brady(May 1997)."SUSAN–a new approach to low level imageprocessing".International Journal of Computer Vision 23(1):45–78.
【4】Lowe,David G.(1999).Object recognition from local scale-invariant features.Proc.7thInternational Conference on Computer Vision(ICCV'99)(Corfu,Greece):1150-1157
【5】Herbert Bay,Andreas Ess,Tinne Tuytelaars,Luc Van Gool,Speeded-Up RobustFeatures(SURF),Computer Vision and Image Understanding,Volume 110,Issue 3,June 2008,Pages 346-359。
所述特征线段是基于LSD算法获得的特征数据。
无线信号包括指场景内所有能够接收到的无线信号源地址及信号特征,其中本发明列举了WiFi指纹场强信号就是一种无线信号,其源地址及信号特征是指场景内所有能够接收到的WiFi的MAC地址及场强。
所述数采点是数采机器人或者移动客户端遍历场景空间规划线路上的点,考虑到传感器的作用距离,这些数采点能够对环境形成完整覆盖。
上述实施例是对本发明的说明,不是对本发明的限定,任何对本发明简单变换后的方案均属于本发明的保护范围。