CN112907659A - 移动设备定位系统、方法及设备 - Google Patents
移动设备定位系统、方法及设备 Download PDFInfo
- Publication number
- CN112907659A CN112907659A CN201911146810.7A CN201911146810A CN112907659A CN 112907659 A CN112907659 A CN 112907659A CN 201911146810 A CN201911146810 A CN 201911146810A CN 112907659 A CN112907659 A CN 112907659A
- Authority
- CN
- China
- Prior art keywords
- data
- road
- point cloud
- current frame
- determining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 204
- 230000008859 change Effects 0.000 claims description 10
- 238000013500 data storage Methods 0.000 claims description 4
- 238000012545 processing Methods 0.000 abstract description 22
- 238000010586 diagram Methods 0.000 description 29
- 238000004422 calculation algorithm Methods 0.000 description 16
- 238000005070 sampling Methods 0.000 description 10
- 238000004364 calculation method Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 5
- 238000000605 extraction Methods 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 4
- 238000001914 filtration Methods 0.000 description 4
- 238000004590 computer program Methods 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 241000283070 Equus zebra Species 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000013398 bayesian method Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000008713 feedback mechanism Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/08—Projecting images onto non-planar surfaces, e.g. geodetic screens
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Navigation (AREA)
- Traffic Control Systems (AREA)
Abstract
本申请公开了移动设备定位系统、方法、装置及相关设备。其中，定位方法包括：通过二维图像采集装置采集行驶道路中当前帧的道路环境二维图像数据；从所述二维图像数据中提取二维道路特征数据，以及，确定移动设备的当前帧的第一位姿数据；根据所述第一位姿数据和道路特征数据集，确定与所述二维道路特征数据对应的道路特征点云数据；根据当前帧的道路特征点云数据和所述道路特征数据集，确定移动设备的当前帧的第二位姿数据。采用这种处理方式，使得通过单目相机也可快速获取当前场景的道路特征点云数据，并结合该道路特征点云数据和道路特征地图进行设备定位；因此，可以有效兼顾较低的移动设备硬件成本、较高的定位准确度和实时性三个方面。
Description
技术领域
本申请涉及自动驾驶技术领域，具体涉及移动设备定位系统、方法和装置，道路特征数据生成方法和装置，点云数据确定方法和装置，电子设备，以及移动设备。
背景技术
在自动驾驶、室内机器人、无人机等移动设备定位场景中，可采用视觉导航(VSLAM)定位技术，也可采用基于道路特征地图的移动设备定位技术。其中，后者是较前者更加可靠可行的方案，该技术允许采用高性能的设备或复杂的方法事先获得较高精度的道路特征地图，在实时定位时，实时检测场景特征，然后将该场景特征与地图进行配准，以获得移动设备的位姿。
贝叶斯方法广泛用于基于道路特征地图的移动设备定位中，该方法需要先获取当前场景的3D信息，一般而言是3D点云。以车辆自动驾驶为例，3D信息的获取通常通过激光雷达(Light Detection And Ranging，Lidar)、毫米波雷达(millimeter-wave radar)、相机(Camera)等传感器采集得到。其中，激光雷达可直接得到稠密的3D点云，但价格昂贵；毫米波雷达获取的3D点云过于稀疏，并且只检测特定材质金属；相机只提供场景的2D信息，通过相机获取3D点云需要额外的硬件或软件资源。由于激光雷达成本高，毫米波雷达可检测物体有限，因此相机被普遍应用。
在实际应用中，可以采用红外散斑结构光相机、tof相机等获取3D信息，但这些设备相比普通相机需要额外的硬件成本。此外，通过双目立体视觉也可以获得3D信息，但这需要大量的计算，并且双目相机模组的装配标定精度要求高。基于上述原因，目前通常采用单目相机获取当前场景的3D信息。一种典型的通过单目相机获取3D信息的方式是，对在不同时间采集的两帧2D图像进行多视图几何实现(struct from motion)。
然而，在实现本发明过程中，发明人发现通过单目相机获取3D信息的方法至少存在如下问题：1)其基本原理仍是多视图几何，需要较大的运算量，因此获得3D信息的速度较慢，从而无法保证定位的实时性；2)该方法存在尺度问题，该问题会限制3D信息的准确性，从而限制定位的准确性。
发明内容
本申请提供移动设备定位系统，以解决现有技术存在的设备定位准确度和实时性较低等等问题。本申请另外提供移动设备定位方法和装置，道路特征数据生成方法和装置，点云数据确定方法和装置，电子设备，以及移动设备。
本申请提供一种移动设备定位系统，包括：
第一移动设备，用于采集道路环境点云数据；根据所述道路环境点云数据，确定道路特征局域平面的稀疏点云数据；向服务端发送针对所述稀疏点云数据的存储请求；
服务端，用于接收所述存储请求，将所述稀疏点云数据存储至道路特征数据集中；
第二移动设备，用于通过二维图像采集装置采集行驶道路中当前帧的道路环境二维图像数据；从所述二维图像数据中提取二维道路特征数据，以及，确定第二移动设备的当前帧的第一位姿数据；根据所述第一位姿数据和道路特征数据集，确定与所述二维道路特征数据对应的道路特征点云数据，作为当前帧的道路特征点云数据；根据当前帧的道路特征点云数据和所述道路特征数据集，确定第二移动设备的当前帧的第二位姿数据。
本申请还提供一种道路特征数据生成方法，包括：
采集道路环境点云数据；
根据所述道路环境点云数据，确定道路特征局域平面的稀疏点云数据；
向服务端发送所述稀疏点云数据，以便于服务端存储所述稀疏点云数据。
可选的，所述稀疏点云数据包括：局域平面轮廓端点的点云数据。
可选的，所述道路特征包括道路地面特征；
所述道路地面特征包括以下道路特征的至少一个：交通标志、车道线、路沿。
可选的，将道路特征中平面起伏小于起伏阈值的平面作为局域平面；
所述根据所述道路环境点云数据，确定道路特征局域平面的稀疏点云数据，包括：
根据所述道路环境点云数据，确定道路特征的局域平面数据；
从所述局域平面数据中确定所述稀疏点云数据。
可选的，所述根据所述道路环境点云数据，确定道路特征局域平面的稀疏点云数据，包括：
根据所述道路环境点云数据，确定道路特征的轮廓点云数据；
将曲率大于曲率阈值的轮廓点云作为所述稀疏点云数据。
可选的，通过三维空间扫描装置采集道路环境点云数据。
本申请还提供一种移动设备定位方法，包括：
接收第一移动设备发送的道路特征局域平面的稀疏点云数据；
将所述稀疏点云数据的存储请求存储至道路特征数据集中。
可选的，所述道路特征数据集保存在道路特征数据库中。
可选的，接收第二移动设备发送的针对道路环境二维图像数据的移动设备定位请求；所述定位请求包括第二移动设备在图像数据采集时间的第一位姿数据；
根据所述第一位姿数据和道路特征数据集，确定与所述二维道路特征数据对应的道路特征点云数据；
根据所述道路特征点云数据和所述道路特征数据集，确定第二移动设备在图像数据采集时间的第二位姿数据；
向所述第二移动设备回送所述第二位姿数据。
本申请还提供一种移动设备定位方法，包括：
通过二维图像采集装置采集行驶道路中当前帧的道路环境二维图像数据；
从所述二维图像数据中提取二维道路特征数据，以及，确定移动设备的当前帧的第一位姿数据；
根据所述第一位姿数据和道路特征数据集，确定与所述二维道路特征数据对应的道路特征点云数据；
根据当前帧的道路特征点云数据和所述道路特征数据集，确定移动设备的当前帧的第二位姿数据。
可选的，所述道路特征数据集包括道路特征局域平面的稀疏点云数据。
可选的，从服务器端获取所述道路特征数据集。
可选的，所述道路特征包括：道路地面特征。
可选的，所述从所述二维图像数据中提取二维道路特征数据，包括：
通过二维图像识别算法，从所述二维图像数据中提取所述二维道路特征数据。
可选的，所述确定移动设备的当前帧的第一位姿数据，包括：
获取移动设备的与当前帧距离小于距离阈值的历史帧的第二位姿数据；以及，确定当前帧相对所述历史帧的位姿变化数据；
根据所述历史帧的第二位姿数据、及所述位姿变化数据，确定所述当前帧的第一位姿数据。
可选的，所述移动设备的起始帧的第一位姿数据包括根据卫星定位系统确定的位姿数据。
可选的，所述当前帧的道路特征点云数据，采用如下步骤确定：
从所述道路特征数据集中获取与所述第一位姿数据对应的局域道路特征数据；
将所述局域道路特征数据中的点云数据投影至所述二维图像数据的像平面；
根据投影特征数据和所述二维道路特征数据，确定与所述二维道路特征数据对应的道路特征点云数据。
可选的，所述根据投影特征数据和所述二维道路特征数据，确定与所述二维道路特征数据对应的道路特征点云数据，包括：
从投影特征数据中，确定二维道路特征数据的相邻投影特征数据；
根据所述二维道路特征数据包括的第一维坐标值和第二维坐标值、及相邻投影特征数据的第三维坐标值，确定所述道路特征点云数据。
可选的，所述将所述局域道路特征数据中的点云数据投影至所述二维图像数据的像平面，包括：
将所述局域道路特征数据中的点云数据投影至世界坐标系；
根据所述第一位姿数据，将投影至世界坐标系的点云数据投影至所述二维图像采集装置的相机坐标系；
根据相机内参数，将投影至相机坐标系的点云数据投影至所述像平面。可选的，所述根据当前帧的道路特征点云数据和所述道路特征数据集，确定第二移动设备的第二位姿数据，包括：
根据所述当前帧的道路特征点云数据、所述第一位姿数据和所述局域道路特征数据，通过贝叶斯滤波算法确定所述第二位姿数据。
可选的，所述移动设备包括多个单目二维图像采集装置；
若当前使用的单目二维图像采集装置失效，则通过其它的单目二维图像采集装置采集所述二维图像数据。
可选的，若所述道路特征数据集不包括与第一位姿对应的道路特征数据，则通过其它移动设备定位方法，确定所述第二位姿数据。
本申请还提供一种点云数据确定方法，包括：
通过二维图像采集装置采集行驶道路中当前帧的道路环境二维图像数据；
从所述二维图像数据中提取二维道路特征数据，以及，确定移动设备的当前帧的第一位姿数据；
根据所述第一位姿数据和道路特征数据集，确定与所述二维道路特征数据对应的道路特征点云数据，作为当前帧的道路特征点云数据。
本申请还提供一种移动设备定位方法，包括：
通过二维图像采集装置采集行驶道路中当前帧的道路环境二维图像数据；
从所述二维图像数据中提取二维道路特征数据，以及，确定移动设备的当前帧的第一位姿数据；
向服务端发送针对所述二维图像数据的移动设备定位请求；所述定位请求包括所述第一位姿数据，以便于服务端根据所述第一位姿数据和道路特征数据集，确定与所述二维道路特征数据对应的道路特征点云数据，作为当前帧的道路特征点云数据；根据当前帧的道路特征点云数据和所述道路特征数据集，确定移动设备的当前帧的第二位姿数据；
接收所述服务端回送的第二位姿数据。
本申请还提供一种道路特征数据生成装置，包括：
点云数据采集单元，用于采集道路环境点云数据；
特征数据确定单元，用于根据所述道路环境点云数据，确定道路特征局域平面的稀疏点云数据；
特征数据发送单元，用于向服务端发送所述稀疏点云数据，以便于服务端存储所述稀疏点云数据。
本申请还提供一种移动设备定位装置，包括：
数据接收单元，用于接收第一移动设备发送的道路特征局域平面的稀疏点云数据；
数据存储单元，用于将所述稀疏点云数据的存储请求存储至道路特征数据集中。
本申请还提供一种移动设备定位装置，包括：
图像数据采集单元，用于通过二维图像采集装置采集行驶道路中当前帧的道路环境二维图像数据；
二维道路特征确定单元，用于从所述二维图像数据中提取二维道路特征数据；
第一位姿数据确定单元，用于确定移动设备的当前帧的第一位姿数据；
三维道路特征确定单元，用于根据所述第一位姿数据和道路特征数据集，确定与所述二维道路特征数据对应的道路特征点云数据；
第二位姿数据确定单元，用于根据当前帧的道路特征点云数据和所述道路特征数据集，确定移动设备的当前帧的第二位姿数据。
本申请还提供一种点云数据确定装置，包括：
图像数据采集单元，用于通过二维图像采集装置采集行驶道路中当前帧的道路环境二维图像数据；
二维道路特征确定单元，用于从所述二维图像数据中提取二维道路特征数据；
第一位姿数据确定单元，用于确定移动设备的当前帧的第一位姿数据；
三维道路特征确定单元，用于根据所述第一位姿数据和道路特征数据集，确定与所述二维道路特征数据对应的道路特征点云数据，作为当前帧的道路特征点云数据。
本申请还提供一种移动设备定位装置，包括：
图像数据采集单元，用于通过二维图像采集装置采集行驶道路中当前帧的道路环境二维图像数据；
二维道路特征确定单元，用于从所述二维图像数据中提取二维道路特征数据；
第一位姿数据确定单元，用于确定移动设备的当前帧的第一位姿数据；
第二位姿数据确定单元，用于向服务端发送针对所述二维图像数据的移动设备定位请求；所述定位请求包括所述第一位姿数据，以便于服务端根据所述第一位姿数据和道路特征数据集，确定与所述二维道路特征数据对应的道路特征点云数据，作为当前帧的道路特征点云数据；根据当前帧的道路特征点云数据和所述道路特征数据集，确定移动设备的当前帧的第二位姿数据；
第二位姿数据接收单元，用于接收所述服务端回送的第二位姿数据。
本申请还提供一种移动设备，包括：
点云数据采集装置；
处理器；以及
存储器，用于存储实现道路特征数据生成方法的程序，该设备通电并通过所述处理器运行该方法的程序后，执行下述步骤：采集道路环境点云数据；根据所述道路环境点云数据，确定道路特征局域平面的稀疏点云数据；向服务端发送所述稀疏点云数据，以便于服务端存储所述稀疏点云数据。
本申请还提供一种移动设备，包括：
处理器；以及
存储器，用于存储实现移动设备定位方法的程序，该设备通电并通过所述处理器运行该方法的程序后，执行下述步骤：接收第一移动设备发送的道路特征局域平面的稀疏点云数据；将所述稀疏点云数据的存储请求存储至道路特征数据集中。
本申请还提供一种移动设备，包括：
二维图像采集装置；
处理器；以及
存储器，用于存储实现点云数据确定方法的程序，该设备通电并通过所述处理器运行该方法的程序后，执行下述步骤：通过二维图像采集装置采集行驶道路中当前帧的道路环境二维图像数据；从所述二维图像数据中提取二维道路特征数据，以及，确定移动设备的当前帧的第一位姿数据；根据所述第一位姿数据和道路特征数据集，确定与所述二维道路特征数据对应的道路特征点云数据，作为当前帧的道路特征点云数据。
本申请还提供一种电子设备，包括：
二维图像采集装置；
处理器；以及
存储器，用于存储实现移动设备定位方法的程序，该设备通电并通过所述处理器运行该方法的程序后，执行下述步骤：通过二维图像采集装置采集行驶道路中当前帧的道路环境二维图像数据；从所述二维图像数据中提取二维道路特征数据；确定移动设备的当前帧的第一位姿数据；根据所述第一位姿数据和道路特征数据集，确定与所述二维道路特征数据对应的道路特征点云数据；根据当前帧的道路特征点云数据和所述道路特征数据集，确定移动设备的当前帧的第二位姿数据。
本申请还提供一种电子设备，包括：
二维图像采集装置；
处理器；以及
存储器，用于存储实现移动设备定位方法的程序，该设备通电并通过所述处理器运行该方法的程序后，执行下述步骤：通过二维图像采集装置采集行驶道路中当前帧的道路环境二维图像数据；从所述二维图像数据中提取二维道路特征数据，以及，确定移动设备的当前帧的第一位姿数据；向服务端发送针对所述二维图像数据的移动设备定位请求；所述定位请求包括所述第一位姿数据，以便于服务端根据所述第一位姿数据和道路特征数据集，确定与所述二维道路特征数据对应的道路特征点云数据，作为当前帧的道路特征点云数据；根据当前帧的道路特征点云数据和所述道路特征数据集，确定移动设备的当前帧的第二位姿数据；接收所述服务端回送的第二位姿数据。
本申请还提供一种道路特征数据生成方法，包括：
采集道路环境点云数据；
根据所述道路环境点云数据，确定道路特征点云数据；
向服务端发送针对所述道路特征点云数据，以便于服务端存储所述道路特征点云数据。
可选的，所述道路特征包括以下道路特征的至少一个：交通标志、车道线、路沿、墙面特征、建筑物表面特征。
本申请还提供一种移动设备定位方法，包括：
接收第一移动设备发送的道路特征点云数据；
将所述道路特征点云数据的存储请求存储至道路特征数据集中，以便于第二移动设备通过二维图像采集装置采集行驶道路中当前帧的道路环境二维图像数据；从所述二维图像数据中提取二维道路特征数据，以及，确定第二移动设备的当前帧的第一位姿数据；根据所述第一位姿数据和道路特征数据集，确定与所述二维道路特征数据对应的道路特征点云数据；根据当前帧的道路特征点云数据和所述道路特征数据集，确定第二移动设备的当前帧的第二位姿数据。
本申请还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述各种方法。
本申请还提供一种包括指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述各种方法。
与现有技术相比，本申请具有以下优点：
本申请实施例提供的移动设备定位系统，通过第一移动设备采集道路环境点云数据；根据所述道路环境点云数据，确定道路特征局域平面的稀疏点云数据；向服务端发送针对所述稀疏点云数据的存储请求；服务端响应该存储请求，将所述稀疏点云数据存储至道路特征数据集中；以及，通过第二移动设备的二维图像采集装置采集第二移动设备行驶道路中当前帧的道路环境二维图像数据；从所述二维图像数据中提取二维道路特征数据，以及，确定第二移动设备的与当前帧距离小于距离阈值的历史帧的第一位姿数据；根据所述第一位姿数据和道路特征数据集，确定与所述二维道路特征数据对应的道路特征点云数据，作为当前帧的道路特征点云数据；根据当前帧的道路特征点云数据和所述道路特征数据集，确定第二移动设备的当前帧的第二位姿数据；这种处理方式，使得基于道路中局域平面特征的元素的3D点云构建道路特征数据集，由于这类3D点云是道路特征中局域平面的端点，因此3D点云具有稀疏性，由此实现紧凑的道路特征地图，基于该地图，可确定与2D道路特征(基于相机图像得到)对应的稀疏的3D点云，避免多视图几何计算存在的运算量较大和尺度问题，实现快速获得较高精度的3D点云，并结合该3D点云和该地图进行设备定位；因此，可以有效兼顾较低的移动设备硬件成本、较高的定位准确度和实时性三个方面。
本申请实施例提供的道路特征数据生成方法，通过采集道路环境点云数据；根据所述道路环境点云数据，确定道路特征局域平面的稀疏点云数据；向服务端发送所述稀疏点云数据，以使得服务端基于该类稀疏点云数据构建道路特征数据集，即道路特征地图；这种处理方式，使得基于道路中局域平面特征的元素的3D点云构建道路特征数据集，由于这类3D点云可以是道路特征中局域平面的端点，因此3D点云具有稀疏性，由此实现紧凑的道路特征地图；因此，可以有效兼顾较高的地图精度和较低的数据量两个方面，为基于单目相机的设备定位的准确度和实时性提供数据基础。
本申请实施例提供的点云数据确定方法，通过二维图像采集装置采集行驶道路中当前帧的道路环境二维图像数据；从所述二维图像数据中提取二维道路特征数据，以及，确定移动设备的当前帧的第一位姿数据；根据所述第一位姿数据和道路特征数据集，确定与所述二维道路特征数据对应的道路特征点云数据，作为当前帧的道路特征点云数据；这种处理方式，使得通过单目相机也可快速获取当前场景的3D信息；因此，可以有效兼顾较低的移动设备硬件成本、较高的道路特征点云数据准确度及确定速度三个方面。
附图说明
图1是本申请提供的一种移动设备定位系统的实施例的结构示意图；
图2是本申请提供的一种移动设备定位系统的实施例的场景示意图；
图3是本申请提供的一种移动设备定位系统的实施例的交互示意图；
图4是本申请提供的一种移动设备定位系统的实施例的道路特征地图的示意图；
图5a是本申请提供的一种移动设备定位系统的实施例的二维图像示意图；
图5b是本申请提供的一种移动设备定位系统的实施例的局域点云数据的投影示意图；
图6是本申请提供的一种移动设备定位系统的实施例的又一局域点云数据的投影示意图；
图7是本申请提供的一种移动设备定位系统的实施例的第二移动设备定位的具体流程图；
图8是本申请提供的一种道路特征数据集生成方法的实施例的流程图；
图9是本申请提供的一种道路特征数据集生成装置的实施例的示意图；
图10是本申请提供的一种移动设备实施例的示意图；
图11是本申请提供的一种移动设备定位方法的实施例的流程图；
图12是本申请提供的一种移动设备定位装置的实施例的示意图；
图13是本申请提供的一种电子设备实施例的示意图；
图14是本申请提供的一种移动设备定位方法的实施例的流程图；
图15是本申请提供的一种移动设备定位装置的实施例的示意图；
图16是本申请提供的一种移动设备实施例的示意图；
图17是本申请提供的一种点云数据确定方法的实施例的流程图；
图18是本申请提供的一种点云数据确定装置的实施例的示意图；
图19是本申请提供的一种移动设备实施例的示意图；
图20是本申请提供的一种移动设备定位方法的实施例的流程图；
图21是本申请提供的一种移动设备定位装置的实施例的示意图；
图22是本申请提供的一种移动设备实施例的示意图。
具体实施方式
在下面的描述中阐述了很多具体细节以便于充分理解本申请。但是本申请能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本申请内涵的情况下做类似推广，因此本申请不受下面公开的具体实施的限制。
在本申请中，提供了移动设备定位系统、方法和装置，道路特征数据生成方法和装置，点云数据确定方法和装置，电子设备，以及移动设备。在下面的实施例中将以车辆为例，逐一对各种方案进行详细说明。
第一实施例
请参考图1，其为本申请提供的一种移动设备定位系统实施例的示例图。本申请提供的一种移动设备定位系统包括：第一移动设备1、服务端2和第二移动设备2。
本申请实施例提供的系统实现移动设备定位的处理过程包括两个阶段：1、道路特征数据集生成阶段，该阶段通过第一移动设备(简称采图车)与服务端的交互生成道路特征数据集，该数据集覆盖目标道路区域内的道路特征局域平面的稀疏点云数据；2、移动设备定位阶段，第二移动设备在该阶段的两个处理环节会利用上述道路特征数据集，先是基于该数据集，将基于相机图像得到的二维道路特征数据转换为三维道路特征点云数据，然后将转换得到的三维道路特征点云数据与该数据集中的点云数据进行比对，在确定匹配特征点后，就可得到第二移动设备在图像采集时刻的位姿。下面分别对上述两个阶段的处理过程进行说明。
1、道路特征数据集生成阶段。
该阶段涉及第一移动设备和服务端。所述第一移动设备，在该阶段负责道路特征数据的采集处理，并将识别到的道路特征数据上传至服务端存储。第一移动设备包括但不限于：无人驾驶车辆、移动机器人、无人机等等可移动的设备，也可以是装载有环境感知传感器(如图像采集装置或空间扫描装置等)的有人驾驶的移动设备等等。第一移动设备采集到的道路特征数据，包括道路特征局域平面的稀疏点云数据。
所述道路特征数据，其数据形式依然是点云，这些点云对应的是道路上的一些特征。这些特征可以是路面上的车道线、车道标识等等，也可以是路侧墙面上的特征，建筑物表面的特征等等。
在一个示例中，道路特征为道路地面特征；相应的，所述局域平面，指的是因为这些道路特征是在路面上的，而路面一般是平的，或者准确地讲是在一定的局域范围内，可以认为是一个平面，而这在数学上可通过其起伏程度(梯度)来限定。
所述服务端，在该阶段负责道路特征数据的存储。在本实施例中，所述服务端装载有数据库管理系统，所述道路特征数据集保存在道路特征数据库中。该数据库可分别存储多个较小区域内的道路特征数据，也可以完整地存储一个城市或一个国家的道路特征数据。
请参考图2，其为本申请实施例提供的系统的生成道路特征数据集的场景示意图。由图2可见，本申请实施例所述的道路特征可通过一辆或多辆连接到云端服务器的互联车辆(有人驾驶车辆或无人驾驶车辆)，把识别出的道路特征局域平面的稀疏点云数据上传至云端服务器，生成道路特征数据集，提供给自动驾驶汽车使用。具体实施时，服务端还可将根据该道路特征数据集生成的道路特征地图与地图供应商的定位参考图层同步校准，以提升道路特征数据集的准确度。
请参考图3，其为本申请实施例提供的系统的设备交互示意图。由图3可见，第一移动设备(如第一车辆)可通过执行如下步骤采集目标道路的道路特征数据：
步骤1.1、采集道路环境点云数据。
在道路特征数据集生成阶段，允许第一移动设备通过性能更高的设备采集道路环境点云数据，如将激光雷达作为3D点云采集设备，并允许利用专用定位设备提供实时位姿；也可以允许采用复杂度更高的算法生成3D点云。
在一个示例中，本申请实施例提供的系统，在第一车辆行驶过程中，可通过安装在车辆上的空间扫描装置，获取车辆行驶道路的环境空间物体的位置信息等等，得到物体的数据集合，该数据集即为道路环境点云数据。通过道路环境点云数据，可使得扫描物体以物体点的形式记录，每一个点代表一个物体，包含有坐标信息、反射强度信息(Intensity)等等。凭借道路环境点云数据，可以在同一空间参考系下表达目标空间。
所述空间扫描装置，可以是激光雷达，也可以是毫米波雷达、微波雷达、厘米波雷达等等电磁波传感器，获得周围环境中物体信息，如交通信号灯、建筑物、马路牙子、墙面等等静止物体信息，以及人、车辆等等运动物体信息，其所测得的数据为一定数量的物体(如100个物体)的数据表示。
在本实施例中，车辆上装载的空间扫描装置为激光雷达，激光雷达以一定帧频(Frame Rate)对道路环境进行扫描，采集道路环境点云数据，如每秒采集10帧点云数据。由于激光雷达可直接得到稠密的3D点云，因此可确定出较高精度的道路特征数据，但价格昂贵。
在另一个示例中，在第一车辆行驶过程中，可通过安装在车辆上的图像采集装置，获取车辆行驶道路的环境空间物体的二维图像数据，如通过摄像机对周围环境进行图像采集。由于相机只提供场景的2D信息，因此要通过相机获取道路环境点云数据，就需要额外的硬件或软件资源。
具体实施时，可以采用红外散斑结构光相机、tof相机等获取3D信息，也通过双目立体视觉获得3D信息，或者是采用单目相机获取当前场景的2D图像，对在不同时间采集的两帧2D图像进行多视图几何实现。
在采集到道路环境点云数据之后，就可以根据所述道路环境点云数据，确定道路特征局域平面的稀疏点云数据。
步骤1.2、根据所述道路环境点云数据，确定道路特征局域平面的稀疏点云数据。
所述道路特征(Road Signature)，是道路中的一些元素(物体)，包括但不限于：道路地面特征，如车道线、交通标识(人行横道等)、路沿，也可以是非道路地面特征，如墙面、建筑物等等近似平面的物体。
在一个示例中，道路特征数据集内存储的道路特征数据通常包括道路特征的完整点云数据，如车道线是一个矩形，则要将该矩形区域的全部点云数据存放在道路特征数据集内，这样就会导致该数据集的数据量过大。
在本实施例中，可将道路特征划分为多个局域平面，并将局域平面的轮廓端点处的点云数据存储在道路特征数据集内，即实现对道路特征点云数据的较大程度的下采样，这样可以在确保地图精度不变时，极大降低特征数据量，从而提升定位速度。
所述局域平面，包括道路特征中平面起伏小于起伏阈值的平面。所述起伏阈值的设定与地图精度和定位精度、准确度有关，通常起伏阈值越大，则地图精度和定位精度越低，定位准确度越低。本实施例将所述起伏阈值的设定为0.05米，具体实施时，可根据精度需求设定该参数。
请参考图4，其示出了本实施例道路特征地图的示意图。如图4所示，该道地图表示的是一段T字形路口，其包含的基本元素(道路特征)包括路面上的交通标识(如斑马线、人行横道、车道转向标识等)、车道线、路沿等等。在这些道路特征的局域范围内，典型的如0.2m×0.2m的范围内，其表面起伏小于0.05m，即可认为其为局域平面，这在道路上是广泛存在的。这些道路特征以局域平面的外接端点的3D点云的形式存储在道路特征数据集当中。
在一个示例中，步骤1.2可包括如下子步骤：
步骤1.2.1：根据所述道路环境点云数据，确定道路特征的轮廓点云数据。
首先，可进行原始3d点云地图的分割识别，这可以通过深度学习方法(PointNet、Pointnet++、Kd-Network等)实现，即可得到点云地图上的每个点云的属性信息，比如地面(包括具体的车道线、车道标识等)、墙面、路沿、灯杆等；然后，可对属于点云进行细分类别的特征点云分类，比如地面上的点云可再细分为车道虚线、车道实线、斑马线、转向标识等，这依然可以通过深度上述深度学习方法进行识别，并可经人工复核确认；最后，可提取道路特征(包括平面类道路特征，如墙面、地面、建筑物表面等等)的轮廓点云数据。
步骤1.2.2：将曲率大于曲率阈值的轮廓点云作为所述稀疏点云数据。
本步骤可以是对分类后的特征点云进行下采样。以车道标识为例，首先提取车道标识的外接轮廓点云；然后计算每个轮廓点云的曲率，曲率大的点云代表了轮廓的拐点，需要保留；曲率小的点云，依据局域梯度信息进行下采样；从某一个拐点开始沿着轮廓进行遍历，当梯度变化大于一定阈值时，插入采样点，采样点即所述稀疏点云数据。由于地面上的标识可认为是在近似平面上的，因此下采样可以达到很高的下采样率，从而使得道路特征地图的点云数据具有较高的稀疏性。
在另一个示例中，步骤1.2可包括如下子步骤：
步骤1.2.1’、根据所述道路环境点云数据，确定道路特征的局域平面数据。
该步骤具体可包括如下子步骤：1)通过三维物体识别算法，根据所述道路环境点云数据，确定道路中的物体信息；2)从道路物体中确定道路特征，例如，如果一个道路物体的形状符合车道线的形状特征，则将该物体作为道路基本元素(道路特征)；3)通过霍夫平面提取算法，将道路特征分割为平面起伏小于起伏阈值的多个局域平面。
具体实施时，所述霍夫平面提取算法可以是基于上下文引导网络CGNet的霍夫平面提取算法。由于三维物体识别算法和霍夫平面提取算法均属于较为成熟的现有技术，因此此处不再赘述。
表1示出了本实施例中提取得到的道路特征的局域平面数据。
表1、道路特征的局域平面数据
由表1可见，一个道路特征被分割为多个局域平面。
步骤1.2.2’、从所述局域平面数据中确定道路特征局域平面的稀疏点云数据。
本实施例存储至道路特征数据集内的3D点云是通过对道路基本元素(道路特征)离散采样得到的点云数据，这样会使得在较陡的坡路上采样率较高，在较平缓的坡路上采样率较低，在平坦路面上采样率最低。由于存储的是道路特征的局域平面的元素，因此其离散采样可以达到相当稀疏，比如对于交通标识仅取其外接端点。
步骤1.3、向服务端发送针对所述稀疏点云数据的存储请求。
第一移动设备通过上述3个步骤(步骤1.1-1.3)识别到所在道路周围的环境特征的稀疏点云数据后，可通过车载通讯模块，将这些道路特征信息传输至云端服务器。相应的，服务端接收到所述数据存储请求后，将所述稀疏点云数据存储至道路特征数据集中，提供给自动驾驶车辆使用。
在一个示例中，所述第一移动设备用于采集某个规定路段的道路特征，如采集占地较大(占地1万亩)的某集团区域内位置1(如集团北门)到位置2(核心园区)的道路特征。表2示出了本实施例中存储在数据库中的该规定路段的道路特征数据。
表2、道路特征数据集
由表2可见，该路段包括100000个道路特征点的数据，这些特征点包括道路特征局域平面的经下采样后的外接端点。由此可见，该特征点数据量远远小于现有技术构建的道路特征地图的数据量。
至此对第1阶段的处理过程进行了说明。
2、移动设备定位阶段。
所述第二移动设备是具有设备定位需求的设备,该设备包括但不限于：无人驾驶车辆、移动机器人、无人机等等可移动的设备。以自动驾驶车辆为例，第二移动设备可通过摄像机采集道路环境的二维图像，结合上一阶段构建的道路特征数据集，确定出与该二维图像中二维道路特征数据对应的三维稀疏点云数据，该处理方式的计算量较小，可实时获得道路特征的三维点云信息，再将当前帧的三维稀疏点云数据与道路特征数据库中的道路特征数据集进行比对，能够准确知晓自己在当前车道中的位姿数据，从而实现较高精度(如厘米级)的实时定位，且达到较高的定位准确度。
如图3所示，所述第二移动设备，在该阶段通过执行如下步骤实现该设备的定位：
步骤2.1、通过二维图像采集装置采集行驶道路中当前帧的道路环境二维图像数据。
本申请实施例提供的系统，在第二车辆(简称自车)行驶过程中，可通过安装在车辆上的图像采集装置(如单目相机)，获取车辆行驶过程中的道路环境二维图像数据，如图5a所示。相机以一定帧频对道路环境进行拍摄，采集道路环境二维图像数据，如每秒采集1000帧二维图像数据。本申请实施例提供的系统要对每一帧二维图像进行处理，将当前时刻采集的二维图像数据称为当前帧的道路环境二维图像数据。
所述第二移动设备，可装载多个单目相机或双目相机。所述第二移动设备，可通过任意一个单目相机采集道路环境二维图像数据，并可在当前使用的单目相机出现故障等等情况时，自动切换至另一个相机，通过该另一个相机继续采集道路环境二维图像数据，从而提升定位鲁棒性。
步骤2.2、从所述二维图像数据中提取二维道路特征数据，以及，确定第二移动设备的当前帧的第一位姿数据。
一方面，可通过深度学习方法，提取二维图像中的二维道路特征数据。这些特征即上述阶段1中道路特征数据集内包含的道路特征，在道路场景中，即车道线、车道标识、路沿等等。
在一个示例中，所述从所述二维图像数据中提取二维道路特征数据的步骤，可采用如下方式实现：通过二维图像分割识别算法，获得图像中的每个像素的道路特征类别信息；可将平面类的道路特征(如地面上的道路特征，墙面上的道路特征，建筑物表面的道路特征)作为二维道路特征。其中，二维图像分割识别算法可以是fastscnn，cgnet，u-net，bisenet等用于图像语义分割的深度学习算法。这些算法模型的特点是：在满足实时性要求的情况下，又能提供足够的精度。当然，这也和模型训练数据质量等有关系。由于该类算法属于较为成熟的现有技术，因此此处不再赘述。
另一方面，还要确定第二移动设备的当前帧的第一位姿数据。所述第一位姿数据又称为当前帧的初步位姿或估计位姿，该位姿并非精确位姿。当前帧的精确位姿为第二位姿数据，是通过当前观测的三维点云(通过二维图像和道路特征数据集还原得到)与道路特征地图匹配得到的位姿数据。
在一个示例中，所述确定移动设备的当前帧的第一位姿数据的步骤，可包括如下子步骤：1)获取移动设备的与当前帧距离小于距离阈值的历史帧的第二位姿数据；以及，确定当前帧相对所述历史帧的位姿变化数据；2)根据所述历史帧的第二位姿数据、及所述位姿变化数据，确定所述当前帧的第一位姿数据。
所述历史帧，可以是当前帧的上一帧或相隔一些帧(如相隔10帧等)的历史帧。第二移动设备在所述历史帧的位置应与其在当前帧的位置之间的距离小于距离阈值，这样通过航迹推算DR进行位姿推算，可获得满足一定精度的当前帧的初步位姿，从而可确保在第一位姿对应的局部地图中可包括较多的与当前帧的二维道路特征重合的三维特征点，从而快速准确地获得当前帧的三维道路特征点云数据。由此可见，第一位姿数据可以是结合上一帧的精确位姿、运动模型或航迹推算DR得到的位姿数据。
步骤2.3、根据所述第一位姿数据和道路特征数据集，确定与所述二维道路特征数据对应的道路特征点云数据，作为当前帧的道路特征点云数据。
在本实施例中，所述当前帧的道路特征点云数据，可采用如下步骤确定：
1)从所述道路特征数据集中获取与所述第一位姿数据对应的局域道路特征数据。
本步骤可根据当前帧的初步位姿(第一位姿数据)，确定当前车辆所在大概位置，根据该位置可从道路特征数据集内检索得到该位置对应的局域3D地图涉及的道路特征点云数据，将该数据称为局域道路特征数据，该局部地图中可包括较多的与当前帧道路特征重合的特征点。
2)将所述局域道路特征数据中的点云数据投影至所述二维图像数据的像平面。
第二移动设备可以是以IMU(Inertial measurement unit即惯性测量单元)坐标系作为其物体坐标系，相机和IMU之间的外参通过事先标定确定。车辆位姿即其在世界坐标下的位姿。由于各种数据间存在坐标系的差异，因此需要对数据进行坐标系转换处理。
本步骤可采用如下方式实现：首先，将所述局域道路特征数据中的点云数据投影至世界坐标系；然后，根据所述当前帧初步位姿，将投影至世界坐标系的点云数据投影至所述二维图像采集装置的相机坐标系；最后，根据相机内参数，将投影至相机坐标系的点云数据投影至二维图像数据的图像平面。
通过当前帧初步位姿，将局域3D地图上的点投影到相机坐标下，再通过相机内参(事先标定获得)，将3D点进一步投影到像平面，如图5b所示。此时，在像平面上存在两组数据，一组是来自当前帧的二维图像的2D特征，另一组是来自局域地图的3D特征。此外，图6还给出了本实施例中另一局部区域的3D特征点投影到像平面的道路特征示意图。
3)根据投影特征数据和所述二维道路特征数据，确定与所述二维道路特征数据对应的道路特征点云数据，作为所述当前帧的道路特征点云数据。
在具有较高精度的初步位姿的情况下，像平面中的两组二维特征数据的重合度高。另外由于道路特征数据集包括局域平面的特征，因此可以通过最近邻搜索的方式，得到来自二维图像的3D特征。这个最近邻搜索过程可以具体包括如下步骤：3.1)从投影特征数据中，确定二维道路特征数据的相邻投影特征数据；3.2)根据所述二维道路特征数据包括的第一维坐标值和第二维坐标值、及相邻投影特征数据的第三维坐标值，确定所述道路特征点云数据。
在本实施例中，将局域3D特征投影到图像像平面坐标系；对图像的每个2D特征点，搜索离其最近的投影得到的3D特征点；以该3D特征点的第三维坐标值，作为2D特征点的第三维坐标值，即获得了图像坐标下的当前帧3D特征点；将图像坐标下的3D特征投影到物体坐标系下。
在一个示例中，所述二维道路特征数据为车道线等道路地面特征数据。由于车道线与其最近的投影3D特征点之间在同一竖轴Z平面上，因此第三维坐标值为最近投影3D特征点在竖轴Z坐标值。
在另一个示例中，所述二维道路特征数据为标语、涂鸦等道路墙面特征数据。由于标语与其最近的投影3D特征点之间在同一横轴X平面上，因此第三维坐标值为最近投影3D特征点在横轴X坐标值。
在确定当前帧的三维点云数据后，就可以进入下一步骤，根据当前帧的道路特征数据和道路特征数据集，确定第二移动设备的位姿数据。
步骤2.4、根据当前帧的道路特征点云数据和所述道路特征数据集，确定第二移动设备的当前帧的第二位姿数据。
本步骤可将当前帧的道路特征点云数据(观测信息)与道路特征数据库中的道路特征数据集进行比对，根据匹配的特征点确定第二移动设备的位姿数据。
本步骤可采用基于道路特征地图进行位置估计的通用算法，如粒子滤波器等等。具体实施时，观测信息与特征点数据库匹配的具体方法可以为：以当前帧的上一帧对应的上一位姿为初始位姿，以imu传感器在这个时间段(当前帧与其上一帧的时间差)运动的增量作为运动模型，以实时提取得到的当前帧的稀疏点云数据(道路特征数据)作为观测模型，将来自单目相机的3D特征(观测模型)和来自道路特征数据集的局域3D特征地图，输入到贝叶斯滤波器当中，以一种贝叶斯滤波方法对当前位姿做优化估计。
在本实施例中，在第二移动设备启动自动驾驶时，可通过GNSS(GlobalNavigation Satellite System，全球导航卫星系统定位)提供当前相机的初步位姿，这里可采用RTK(Real Time Kinematic载波相位差分技术)，以提供较高精度的初步位姿，即设备起步位置的第一位姿数据。这个过程可以仅在系统启动阶段运行一次，也可以在系统运行过程中定时触发，以提供对实时位姿的多元融合校正。
在一个示例中，第二移动设备的定位过程包括如下步骤：
1)第二移动设备在初始T时刻的初步位姿W(T时刻的第一位姿数据)由GNSS提供；采集提取2d图像特征，通过3d地图(道路特征数据集)得到3d特征；3d特征与3d地图匹配，得到T时刻的精确位姿W(T时刻的第二位姿数据)。
2)在T+1时刻，初步位姿W(T+1时刻的第一位姿数据)，由T时刻的精确位姿W(的第二位姿数据)+DR推算得到，其中航迹推算单元(dead reckoning，DR)依靠IMU、轮速计等，根据运动模型提供第T+1帧图像时刻的相对初步位姿；采集提取2d图像特征，通过3d地图得到3d特征；3d特征与3d地图匹配，得到T+1时刻的精确位姿W(T+1时刻的第二位姿数据)。
3)在T+2时刻，初步位姿W(T+2时刻的第一位姿数据)，由T+1时刻的精确位姿W(T+1时刻的第二位姿数据)+DR推算得到；采集提取2d图像特征，通过3d地图得到3d特征；3d特征与3d地图匹配，得到T+2时刻的精确位姿W(T+2时刻的第二位姿数据)。
4)重复上述步骤2和3，实现持续的定位。
采用这种处理方式，使得结合DR和单目视觉进行定位，结合了DR的短时轨迹推算的相对定位和单目视觉的定位，由此可构建定位结果的回馈机制，保证基于道路特征数据集的单目视觉定位的持续可行。
在一个示例中，道路特征数据集包括某个城市(如杭州市)道路的特征数据，数据量较大，因此存储在服务端；在这种情况下，第二移动设备还可执行如下步骤：1)向服务端发送针对所述二维图像数据的移动设备定位请求，所述定位请求包括所述第一位姿数据，以便于服务端根据所述第一位姿数据和道路特征数据集，确定与所述二维道路特征数据对应的三维点云数据，作为当前帧的三维点云数据；根据当前帧的三维点云数据和所述道路特征数据集，确定移动设备的当前帧的第二位姿数据；2)接收所述服务端回送的所述第二位姿数据。
在另一个示例中，道路特征数据集包括某个企业园区道路(如阿里巴巴西溪园区)的特征数据，数据量较小，为了节约网络流量，提升定位速度，因此将该数据集存储在第二车辆上；在这种情况下，第二移动设备根据所述当前帧的二维图像数据和存储在移动设备本地的道路特征数据集，确定该设备的第二位姿数据。
请参见图7，其为第二移动设备侧设备定位的具体流程图。在本实施例中，第二移动设备通过相机拍摄得到的新的一个二维图像数据，对其进行二维道路可特征数据的提取处理，然后利用该设备在当前帧的初步位姿数据(可由上一帧的精确位姿+dr推算得到)，并结合道路特征数据集，将二维道路特征转换为三维道路特征点云，将该三维点云作为当前观测信息，与局部地图数据一起输入至贝叶斯滤波器，进行一次观测与数据库匹配的操作，得到当前精准的位姿信息并输出，同时可更新历史帧的精准位姿。
具体实施时，将上一帧的精准位姿加上imu积分得到的位姿增量，可得到当前帧的预测位姿，也就是贝叶斯滤波的先验概率。在更新上一精准位资时，就是把滤波器得到的优化后的结果直接当成当前帧的位姿即可。
从上述实施例可见，本申请实施例提供的移动设备定位系统，通过第一移动设备采集道路环境点云数据；根据所述道路环境点云数据，确定道路特征局域平面的稀疏点云数据；向服务端发送针对所述稀疏点云数据的存储请求；服务端响应该存储请求，将所述稀疏点云数据存储至道路特征数据集中；以及，通过第二移动设备的二维图像采集装置采集第二移动设备行驶道路中当前帧的道路环境二维图像数据；从所述二维图像数据中提取二维道路特征数据，以及，确定第二移动设备的与当前帧距离小于距离阈值的历史帧的第一位姿数据；根据所述第一位姿数据和道路特征数据集，确定与所述二维道路特征数据对应的道路特征点云数据，作为当前帧的道路特征点云数据；根据当前帧的道路特征点云数据和所述道路特征数据集，确定第二移动设备的当前帧的第二位姿数据；这种处理方式，使得基于道路中局域平面特征的元素的3D点云构建道路特征数据集，由于这类3D点云是道路特征中局域平面的端点，因此3D点云具有稀疏性，由此实现紧凑的道路特征地图，基于该地图，可确定与2D道路特征(基于相机图像得到)对应的稀疏的3D点云，避免多视图几何计算存在的运算量较大和尺度问题，实现快速获得较高精度的3D点云，并结合该3D点云和该地图进行设备定位；因此，可以有效提升移动设备定位的准确度和实时性。
第二实施例
在上述的实施例中，提供了一种移动设备定位系统，与之相对应的，本申请还提供一种道路特征数据生成方法。该方法是与上述方法的实施例相对应。
请参考图8，其为本申请的道路特征数据生成方法的实施例的流程图，该方法的执行主体包括道路特征数据生成装置，该装置可部署在第一移动设备上。由于该方法实施例基本相似于系统实施例一，所以描述得比较简单，相关之处参见系统实施例一的部分说明即可。下述描述的方法实施例仅仅是示意性的。
本实施例的一种道路特征数据生成方法，包括：
步骤S801：采集道路环境点云数据。
在一个示例中，可通过三维空间扫描装置采集道路环境点云数据。
步骤S803：根据所述道路环境点云数据，确定道路特征局域平面的稀疏点云数据。
所述道路特征，包括但不限于：道路地面特征，还可以是墙面特征等等。所述道路地面特征，包括以下道路特征的至少一个：交通标志、车道线、路沿。
所述稀疏点云数据，包括但不限于：局域平面轮廓端点的点云数据。
在一个示例中，将道路特征中平面起伏小于起伏阈值的平面作为局域平面；步骤S803可包括如下子步骤：1)根据所述道路环境点云数据，确定道路特征的局域平面数据；2)从所述局域平面数据中确定所述稀疏点云数据。
在另一个示例中，步骤S803可包括如下子步骤：1)根据所述道路环境点云数据，确定道路特征的轮廓点云数据；2)将曲率大于曲率阈值的轮廓点云作为所述稀疏点云数据。
步骤S805：向服务端发送所述稀疏点云数据，以便于服务端存储所述稀疏点云数据。
从上述实施例可见，本申请实施例提供的道路特征数据生成方法，通过采集道路环境点云数据；根据所述道路环境点云数据，确定道路特征局域平面的稀疏点云数据；向服务端发送所述稀疏点云数据，以使得服务端基于该类稀疏点云数据构建道路特征数据集，即道路特征地图；这种处理方式，使得基于道路中局域平面特征的元素的3D点云构建道路特征数据集，由于这类3D点云可以是道路特征中局域平面的端点，因此3D点云具有稀疏性，由此实现紧凑的道路特征地图；因此，可以有效兼顾较高的地图精度和较低的数据量两个方面，为设备定位的准确度和实时性提供数据基础。
第三实施例
请参考图9，其为本申请的道路特征数据生成装置的实施例的示意图。由于装置实施例基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。下述描述的装置实施例仅仅是示意性的。
本实施例的一种道路特征数据生成装置，包括：
点云数据采集单元901，用于采集道路环境点云数据；
特征数据确定单元903，用于根据所述道路环境点云数据，确定道路特征局域平面的稀疏点云数据；
特征数据发送单元905，用于向服务端发送所述稀疏点云数据，以便于服务端存储所述稀疏点云数据。
第四实施例
请参考图10，其为本申请的电子设备的实施例的示意图。由于设备实施例基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。下述描述的设备实施例仅仅是示意性的。
本实施例的一种电子设备，该电子设备包括：点云数据采集装置1000，处理器1001和存储器1002；所述存储器，用于存储实现道路特征数据生成方法的程序，该设备通电并通过所述处理器运行该方法的程序后，执行下述步骤：采集道路环境点云数据；根据所述道路环境点云数据，确定道路特征局域平面的稀疏点云数据；向服务端发送所述稀疏点云数据，以便于服务端存储所述稀疏点云数据。
第五实施例
在上述的实施例中，提供了一种移动设备定位系统，与之相对应的，本申请还提供一种移动设备定位方法。该方法是与上述方法的实施例相对应。
请参考图11，其为本申请的移动设备定位方法的实施例的流程图。由于该方法实施例基本相似于方法实施例一，所以描述得比较简单，相关之处参见方法实施例一的部分说明即可。下述描述的方法实施例仅仅是示意性的。
本实施例的一种移动设备定位方法，包括：
步骤S1101：接收第一移动设备发送的道路特征局域平面的稀疏点云数据；
步骤S1103：将所述稀疏点云数据的存储请求存储至道路特征数据集中。
在本实施例中，将所述道路特征数据集保存在道路特征数据库中。
在一个示例中，所述方法还可包括如下步骤：1)接收第二移动设备发送的针对目标道路的道路特征数据获取请求；2)从所述道路特征数据集内提取所述目标道路的道路特征数据集；3)向所述第二移动设备回送所述目标道路的道路特征数据集，以便于第二移动设备通过二维图像采集装置采集所述目标道路中当前帧的道路环境二维图像数据；从所述二维图像数据中提取二维道路特征数据，以及，确定第二移动设备的当前帧的第一位姿数据；根据所述第一位姿数据和所述目标道路的道路特征数据集，确定与所述二维道路特征数据对应的道路特征点云数据；根据当前帧的道路特征点云数据和所述目标道路的道路特征数据集，确定第二移动设备的当前帧的第二位姿数据。
所述目标道路，可以是用户指定的某个特定路段，如占地较大(占地1万亩)的某集团区域内位置1(如集团北门)到位置2(核心园区)要经过的道路。
在一个示例中，所述方法还可包括如下步骤：1)接收第二移动设备发送的针对当前帧的道路环境二维图像数据的移动设备定位请求；所述定位请求包括第二移动设备在图像数据采集时间的第一位姿数据；2)根据所述第一位姿数据和道路特征数据集，确定与所述二维道路特征数据对应的道路特征点云数据；3)根据所述道路特征点云数据和所述道路特征数据集，确定第二移动设备在图像数据采集时间的第二位姿数据；4)向所述第二移动设备回送所述第二位姿数据。
从上述实施例可见，本申请实施例提供的移动设备定位方法，通过接收第一移动设备发送的道路特征局域平面的稀疏点云数据；将所述稀疏点云数据的存储请求存储至道路特征数据集中；这种处理方式，使得基于道路中局域平面特征的元素的3D点云构建道路特征数据集，由于这类3D点云是道路特征中局域平面的端点，因此3D点云具有稀疏性，由此实现紧凑的道路特征地图；因此，可以有效兼顾较高的地图精度和较低的地图数据量两个方面，为设备定位的准确度和实时性提供数据基础。
第六实施例
请参考图12，其为本申请的移动设备定位装置的实施例的示意图。由于装置实施例基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。下述描述的装置实施例仅仅是示意性的。
本实施例的一种移动设备定位装置，包括：
数据接收单元1201，用于接收第一移动设备发送的道路特征局域平面的稀疏点云数据；
数据存储单元1203，用于将所述稀疏点云数据的存储请求存储至道路特征数据集中。
第七实施例
请参考图13，其为本申请的电子设备的实施例的示意图。由于设备实施例基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。下述描述的设备实施例仅仅是示意性的。
本实施例的一种电子设备，该电子设备包括：处理器1301和存储器1302；所述存储器，用于存储实现移动设备定位方法的程序，该设备通电并通过所述处理器运行该方法的程序后，执行下述步骤：接收第一移动设备发送的道路特征局域平面的稀疏点云数据；将所述稀疏点云数据的存储请求存储至道路特征数据集中。
第八实施例
在上述的实施例中，提供了一种移动设备定位系统，与之相对应的，本申请还提供一种移动设备定位方法。该方法是与上述方法的实施例相对应。
请参考图14，其为本申请的移动设备定位方法的实施例的流程图。由于该方法实施例基本相似于方法实施例一，所以描述得比较简单，相关之处参见方法实施例一的部分说明即可。下述描述的方法实施例仅仅是示意性的。
本实施例的一种移动设备定位方法，包括：
步骤S1401：通过二维图像采集装置采集行驶道路中当前帧的道路环境二维图像数据。
在一个示例中，所述移动设备包括多个单目二维图像采集装置；若当前使用的单目二维图像采集装置失效(如损坏等等)，则通过其它的单目二维图像采集装置采集所述二维图像数据。
步骤S1403：从所述二维图像数据中提取二维道路特征数据，以及，确定移动设备的当前帧的第一位姿数据。
在一个示例中，所述从所述二维图像数据中提取二维道路特征数据的步骤，可采用如下方式实现：通过二维图像识别算法，从所述二维图像数据中提取所述二维道路特征数据。
在一个示例中，所述确定移动设备的当前帧的第一位姿数据的步骤，可包括如下子步骤：1)获取移动设备的与当前帧距离小于距离阈值的历史帧的第二位姿数据；以及，确定当前帧相对所述历史帧的位姿变化数据；2)根据所述历史帧的第二位姿数据、及所述位姿变化数据，确定所述当前帧的第一位姿数据。
在本实施例中，所述移动设备的起始帧的第一位姿数据可以是根据卫星定位系统确定的位姿数据。
步骤S1405：根据所述第一位姿数据和道路特征数据集，确定与所述二维道路特征数据对应的道路特征点云数据。
从道路特征维度而言，所述道路特征数据集可以存储道路地面特征的点云数据，也可以存储道路墙面特征的点云数据，还可以存储路侧建筑物表面特征的点云数据。
从点云数据量而言，所述道路特征数据集可以是包括道路特征局域平面的稀疏点云数据，也可以是包括道路特征的完整点云数据。
在一个示例中，所述道路特征数据集包括道路特征局域平面的稀疏点云数据。在这种情况下，可将道路特征划分为多个局域平面，并将局域平面的轮廓端点处的点云数据存储在道路特征数据集内，即实现对道路特征点云数据的较大程度的下采样，这样可以在确保地图精度不变时，极大降低特征数据量，从而提升定位速度。采用这种处理方式，使得基于道路中局域平面特征的元素的3D点云构建道路特征数据集，由于这类3D点云是道路特征中局域平面的端点，因此3D点云具有稀疏性，由此实现紧凑的道路特征地图，基于该地图，可确定与2D道路特征(基于相机图像得到)对应的稀疏的3D点云，避免多视图几何计算存在的运算量较大和尺度问题，实现快速获得精度高的3D点云，并结合该3D点云和该地图进行设备定位；因此，可以有效提升移动设备定位的准确度和实时性。
在另一个示例中，所述道路特征数据集包括道路特征的完整点云数据，如车道线是一个矩形，则要将该矩形区域的全部点云数据存放在道路特征数据集内，这样就会导致该数据集的数据量过大。
在本实施例中，所述方法还可包括如下步骤：从服务器端获取所述道路特征数据集。
在一个示例中，步骤S1405可包括如下子步骤：
步骤S14051：从所述道路特征数据集中获取与所述第一位姿数据对应的局域道路特征数据。
步骤S14053：将所述局域道路特征数据中的点云数据投影至所述二维图像数据的像平面。
在本实施例中，步骤S14053可包括如下子步骤：1)将所述局域道路特征数据中的点云数据投影至世界坐标系；2)根据所述第一位姿数据，将投影至世界坐标系的点云数据投影至所述二维图像采集装置的相机坐标系；3)根据相机内参数，将投影至相机坐标系的点云数据投影至所述像平面。
步骤S14055：根据投影特征数据和所述二维道路特征数据，确定与所述二维道路特征数据对应的道路特征点云数据。
在本实施例中，步骤S14055可包括如下子步骤：1)从投影特征数据中，确定二维道路特征数据的相邻投影特征数据；2)根据所述二维道路特征数据包括的第一维坐标值和第二维坐标值、及相邻投影特征数据的第三维坐标值，确定所述道路特征点云数据。
步骤S1407：根据当前帧的道路特征点云数据和所述道路特征数据集，确定移动设备的当前帧的第二位姿数据。
在本实施例中，步骤S1407可采用如下方式实现：根据所述当前帧的道路特征点云数据、所述第一位姿数据和所述局域道路特征数据，通过贝叶斯滤波算法确定所述第二位姿数据。
在一个示例中，若所述道路特征数据集不包括与第一位姿对应的道路特征数据，则通过其它移动设备定位方法，确定所述第二位姿数据。例如，采用基于双目相机的移动设备定位方法等等。
从上述实施例可见，本申请实施例提供的移动设备定位方法，通过通过二维图像采集装置采集行驶道路中当前帧的道路环境二维图像数据；从所述二维图像数据中提取二维道路特征数据，以及，确定移动设备的当前帧的第一位姿数据；根据所述第一位姿数据和道路特征数据集，确定与所述二维道路特征数据对应的道路特征点云数据；根据当前帧的道路特征点云数据和所述道路特征数据集，确定移动设备的当前帧的第二位姿数据；这种处理方式，使得通过单目相机也可快速获取当前场景的3D信息，并结合该道路特征点云数据和道路特征地图进行设备定位；因此，可以有效兼顾较低的移动设备硬件成本、较高的定位准确度和实时性三个方面。
第九实施例
请参考图15，其为本申请的移动设备定位装置的实施例的示意图。由于装置实施例基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。下述描述的装置实施例仅仅是示意性的。
本实施例的一种移动设备定位装置，包括：
图像数据采集单元1501，用于通过二维图像采集装置采集行驶道路中当前帧的道路环境二维图像数据；
二维道路特征确定单元1503，用于从所述二维图像数据中提取二维道路特征数据；
第一位姿数据确定单元1505，用于确定移动设备的当前帧的第一位姿数据；
三维道路特征确定单元1507，用于根据所述第一位姿数据和道路特征数据集，确定与所述二维道路特征数据对应的道路特征点云数据；
第二位姿数据确定单元1509，用于根据当前帧的道路特征点云数据和所述道路特征数据集，确定移动设备的当前帧的第二位姿数据。
第十实施例
请参考图16，其为本申请的移动设备的实施例的示意图。由于设备实施例基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。下述描述的设备实施例仅仅是示意性的。
本实施例的一种移动设备，该移动设备包括：二维图像采集装置1600，处理器1601和存储器1602；所述存储器，用于存储实现移动设备定位方法的程序，该设备通电并通过所述处理器运行该方法的程序后，执行下述步骤：通过二维图像采集装置采集行驶道路中当前帧的道路环境二维图像数据；从所述二维图像数据中提取二维道路特征数据；确定移动设备的当前帧的第一位姿数据；根据所述第一位姿数据和道路特征数据集，确定与所述二维道路特征数据对应的道路特征点云数据；根据当前帧的道路特征点云数据和所述道路特征数据集，确定移动设备的当前帧的第二位姿数据。
第十一实施例
在上述的实施例中，提供了一种移动设备定位系统，与之相对应的，本申请还提供一种点云数据确定方法。该方法是与上述方法的实施例相对应。
请参考图17，其为本申请的点云数据确定方法的实施例的流程图。由于该方法实施例基本相似于方法实施例一，所以描述得比较简单，相关之处参见方法实施例一的部分说明即可。下述描述的方法实施例仅仅是示意性的。
本实施例的一种点云数据确定方法，包括：
步骤S1701：通过二维图像采集装置采集行驶道路中当前帧的道路环境二维图像数据；
步骤S1703：从所述二维图像数据中提取二维道路特征数据，以及，确定移动设备的当前帧的第一位姿数据；
步骤S1705：根据所述第一位姿数据和道路特征数据集，确定与所述二维道路特征数据对应的道路特征点云数据，作为当前帧的道路特征点云数据。
在一个示例中，所述道路特征数据集包括道路特征局域平面的稀疏点云数据。在这种情况下，可将道路特征划分为多个局域平面，并将局域平面的轮廓端点处的点云数据存储在道路特征数据集内，即实现对道路特征点云数据的较大程度的下采样，这样可以在确保地图精度不变时，极大降低特征数据量，从而提升点云数据确定速度。采用这种处理方式，使得基于道路中局域平面特征的元素的3D点云构建道路特征数据集，由于这类3D点云是道路特征中局域平面的端点，因此3D点云具有稀疏性，由此实现紧凑的道路特征地图，基于该地图，可确定与2D道路特征(基于相机图像得到)对应的稀疏的3D点云，避免多视图几何计算存在的运算量较大和尺度问题，实现快速获得精度高的3D点云；因此，可以有效提升道路特征点云数据的准确度和确定速度。
从上述实施例可见，本申请实施例提供的点云数据确定方法，通过二维图像采集装置采集行驶道路中当前帧的道路环境二维图像数据；从所述二维图像数据中提取二维道路特征数据，以及，确定移动设备的当前帧的第一位姿数据；根据所述第一位姿数据和道路特征数据集，确定与所述二维道路特征数据对应的道路特征点云数据，作为当前帧的道路特征点云数据；这种处理方式，使得通过单目相机也可快速获取当前场景的3D信息；因此，可以有效兼顾较低的移动设备硬件成本、较高的道路特征点云数据准确度及确定速度三个方面。
第十二实施例
请参考图18，其为本申请的点云数据确定装置的实施例的示意图。由于装置实施例基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。下述描述的装置实施例仅仅是示意性的。
本实施例的一种点云数据确定装置，包括：
图像数据采集单元1801，用于通过二维图像采集装置采集行驶道路中当前帧的道路环境二维图像数据；
二维道路特征确定单元1803，用于从所述二维图像数据中提取二维道路特征数据；
第一位姿数据确定单元1805，用于确定移动设备的当前帧的第一位姿数据；
三维道路特征确定单元1807，用于根据所述第一位姿数据和道路特征数据集，确定与所述二维道路特征数据对应的道路特征点云数据，作为当前帧的道路特征点云数据。
第十三实施例
请参考图19，其为本申请的移动设备的实施例的示意图。由于设备实施例基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。下述描述的设备实施例仅仅是示意性的。
本实施例的一种移动设备，该移动设备包括：二维图像采集装置1900，处理器1901和存储器1902；所述存储器，用于存储实现点云数据确定方法的程序，该设备通电并通过所述处理器运行该方法的程序后，执行下述步骤：通过二维图像采集装置采集行驶道路中当前帧的道路环境二维图像数据；从所述二维图像数据中提取二维道路特征数据，以及，确定移动设备的当前帧的第一位姿数据；根据所述第一位姿数据和道路特征数据集，确定与所述二维道路特征数据对应的道路特征点云数据，作为当前帧的道路特征点云数据。
第十四实施例
在上述的实施例中，提供了一种移动设备定位系统，与之相对应的，本申请还提供一种移动设备定位方法。该方法是与上述方法的实施例相对应。
请参考图20，其为本申请的移动设备定位方法的实施例的流程图。由于该方法实施例基本相似于方法实施例一，所以描述得比较简单，相关之处参见方法实施例一的部分说明即可。下述描述的方法实施例仅仅是示意性的。
本实施例的一种移动设备定位方法，包括：
步骤S2001：通过二维图像采集装置采集行驶道路中当前帧的道路环境二维图像数据；
步骤S2003：从所述二维图像数据中提取二维道路特征数据，以及，确定移动设备的当前帧的第一位姿数据；
步骤S2005：向服务端发送针对所述二维图像数据的移动设备定位请求；所述定位请求包括所述第一位姿数据，以便于服务端根据所述第一位姿数据和道路特征数据集，确定与所述二维道路特征数据对应的道路特征点云数据，作为当前帧的道路特征点云数据；根据当前帧的道路特征点云数据和所述道路特征数据集，确定移动设备的当前帧的第二位姿数据；
步骤S2007：接收所述服务端回送的第二位姿数据。
从上述实施例可见，本申请实施例提供的移动设备定位方法，通过二维图像采集装置采集行驶道路中当前帧的道路环境二维图像数据；从所述二维图像数据中提取二维道路特征数据，以及，确定移动设备的当前帧的第一位姿数据；向服务端发送针对所述二维图像数据的移动设备定位请求；所述定位请求包括所述第一位姿数据，以便于服务端根据所述第一位姿数据和道路特征数据集，确定与所述二维道路特征数据对应的道路特征点云数据，作为当前帧的道路特征点云数据；根据当前帧的道路特征点云数据和所述道路特征数据集，确定移动设备的当前帧的第二位姿数据；接收所述服务端回送的第二位姿数据；这种处理方式，使得通过单目相机也可快速获取当前场景的道路特征点云数据，并结合该道路特征点云数据和道路特征地图进行设备定位；因此，可以有效兼顾较低的移动设备硬件成本、较高的定位准确度和实时性三个方面。
第十五实施例
请参考图21，其为本申请的移动设备定位装置的实施例的示意图。由于装置实施例基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。下述描述的装置实施例仅仅是示意性的。
本实施例的一种移动设备定位装置，包括：
图像数据采集单元2101，用于通过二维图像采集装置采集行驶道路中当前帧的道路环境二维图像数据；
二维道路特征确定单元2103，用于从所述二维图像数据中提取二维道路特征数据；
第一位姿数据确定单元2105，用于确定移动设备的当前帧的第一位姿数据；
第二位姿数据确定单元2107，用于向服务端发送针对所述二维图像数据的移动设备定位请求；所述定位请求包括所述第一位姿数据，以便于服务端根据所述第一位姿数据和道路特征数据集，确定与所述二维道路特征数据对应的道路特征点云数据，作为当前帧的道路特征点云数据；根据当前帧的道路特征点云数据和所述道路特征数据集，确定移动设备的当前帧的第二位姿数据；
第二位姿数据接收单元2109，用于接收所述服务端回送的第二位姿数据。
第十六实施例
请参考图22，其为本申请的移动设备的实施例的示意图。由于设备实施例基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。下述描述的设备实施例仅仅是示意性的。
本实施例的一种移动设备，该移动设备包括：二维图像采集装置2200，处理器2201和存储器2202；所述存储器，用于存储实现移动设备定位方法的程序，该设备通电并通过所述处理器运行该方法的程序后，执行下述步骤：通过二维图像采集装置采集行驶道路中当前帧的道路环境二维图像数据；从所述二维图像数据中提取二维道路特征数据，以及，确定移动设备的当前帧的第一位姿数据；向服务端发送针对所述二维图像数据的移动设备定位请求；所述定位请求包括所述第一位姿数据，以便于服务端根据所述第一位姿数据和道路特征数据集，确定与所述二维道路特征数据对应的道路特征点云数据，作为当前帧的道路特征点云数据；根据当前帧的道路特征点云数据和所述道路特征数据集，确定移动设备的当前帧的第二位姿数据；接收所述服务端回送的第二位姿数据。
第十七实施例
在上述的实施例中，提供了一种移动设备定位系统，与之相对应的，本申请还提供一种道路特征数据生成方法。该方法是与上述方法的实施例相对应。
本实施例的一种道路特征数据生成方法，包括：
步骤S2301：采集道路环境点云数据。
在一个示例中，可通过三维空间扫描装置采集道路环境点云数据。
步骤S2403：根据所述道路环境点云数据，确定道路特征点云数据。
所述道路特征，包括但不限于：道路地面特征，还可以是墙面特征、建筑物表面特征等等。所述道路地面特征，包括以下道路特征的至少一个：交通标志、车道线、路沿。
步骤S2405：向服务端发送所述稀疏点云数据，以便于服务端存储所述稀疏点云数据。
从上述实施例可见，本申请实施例提供的道路特征数据生成方法，通过采集道路环境点云数据；根据所述道路环境点云数据，确定道路特征点云数据；向服务端发送针对所述道路特征点云数据，以便于服务端存储所述道路特征点云数据；这种处理方式，为基于单目相机的设备定位的准确度和实时性提供数据基础。
第十八实施例
在上述的实施例中，提供了一种移动设备定位系统，与之相对应的，本申请还提供一种移动设备定位方法。该方法是与上述方法的实施例相对应。
本实施例的一种移动设备定位方法，包括：
步骤S2501：接收第一移动设备发送的道路特征点云数据；
步骤S2503：将所述道路特征点云数据的存储请求存储至道路特征数据集中，以便于第二移动设备通过二维图像采集装置采集行驶道路中当前帧的道路环境二维图像数据；从所述二维图像数据中提取二维道路特征数据，以及，确定第二移动设备的当前帧的第一位姿数据；根据所述第一位姿数据和道路特征数据集，确定与所述二维道路特征数据对应的道路特征点云数据；根据当前帧的道路特征点云数据和所述道路特征数据集，确定第二移动设备的当前帧的第二位姿数据。
在本实施例中，将所述道路特征数据集保存在道路特征数据库中。
在一个示例中，所述方法还可包括如下步骤：1)接收第二移动设备发送的针对当前帧的道路环境二维图像数据的移动设备定位请求；所述定位请求包括第二移动设备在图像数据采集时间的第一位姿数据；2)根据所述第一位姿数据和道路特征数据集，确定与所述二维道路特征数据对应的道路特征点云数据；3)根据所述道路特征点云数据和所述道路特征数据集，确定第二移动设备在图像数据采集时间的第二位姿数据；4)向所述第二移动设备回送所述第二位姿数据。
从上述实施例可见，本申请实施例提供的移动设备定位方法，通过接收第一移动设备发送的道路特征局域平面的稀疏点云数据；将所述稀疏点云数据的存储请求存储至道路特征数据集中；这种处理方式，为基于单目相机的设备定位的准确度和实时性提供数据基础。
本申请虽然以较佳实施例公开如上，但其并不是用来限定本申请，任何本领域技术人员在不脱离本申请的精神和范围内，都可以做出可能的变动和修改，因此本申请的保护范围应当以本申请权利要求所界定的范围为准。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
1、计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括非暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
2、本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
Claims (32)
1.一种移动设备定位系统，其特征在于，包括：
第一移动设备，用于采集道路环境点云数据；根据所述道路环境点云数据，确定道路特征局域平面的稀疏点云数据；向服务端发送针对所述稀疏点云数据的存储请求；
服务端，用于接收所述存储请求，将所述稀疏点云数据存储至道路特征数据集中；
第二移动设备，用于通过二维图像采集装置采集行驶道路中当前帧的道路环境二维图像数据；从所述二维图像数据中提取二维道路特征数据，以及，确定第二移动设备的当前帧的第一位姿数据；根据所述第一位姿数据和道路特征数据集，确定与所述二维道路特征数据对应的道路特征点云数据，作为当前帧的道路特征点云数据；根据当前帧的道路特征点云数据和所述道路特征数据集，确定第二移动设备的当前帧的第二位姿数据。
2.一种道路特征数据生成方法，其特征在于，包括：
采集道路环境点云数据；
根据所述道路环境点云数据，确定道路特征局域平面的稀疏点云数据；
向服务端发送所述稀疏点云数据，以便于服务端存储所述稀疏点云数据。
3.根据权利要求2所述的方法，其特征在于，
所述稀疏点云数据包括：局域平面轮廓端点的点云数据。
4.根据权利要求2所述的方法，其特征在于，
所述道路特征包括道路地面特征；
所述道路地面特征包括以下道路特征的至少一个：交通标志、车道线、路沿。
5.根据权利要求2所述的方法，其特征在于，
将道路特征中平面起伏小于起伏阈值的平面作为局域平面；
所述根据所述道路环境点云数据，确定道路特征局域平面的稀疏点云数据，包括：
根据所述道路环境点云数据，确定道路特征的局域平面数据；
从所述局域平面数据中确定所述稀疏点云数据。
6.根据权利要求2所述的方法，其特征在于，所述根据所述道路环境点云数据，确定道路特征局域平面的稀疏点云数据，包括：
根据所述道路环境点云数据，确定道路特征的轮廓点云数据；
将曲率大于曲率阈值的轮廓点云作为所述稀疏点云数据。
7.根据权利要求2所述的方法，其特征在于，
通过三维空间扫描装置采集道路环境点云数据。
8.一种移动设备定位方法，其特征在于，包括：
接收第一移动设备发送的道路特征局域平面的稀疏点云数据；
将所述稀疏点云数据的存储请求存储至道路特征数据集中。
9.根据权利要求8所述的方法，其特征在于，还包括：
接收第二移动设备发送的针对道路环境二维图像数据的移动设备定位请求；所述定位请求包括第二移动设备在图像数据采集时间的第一位姿数据；
根据所述第一位姿数据和道路特征数据集，确定与所述二维道路特征数据对应的道路特征点云数据；
根据所述道路特征点云数据和所述道路特征数据集，确定第二移动设备在图像数据采集时间的第二位姿数据；
向所述第二移动设备回送所述第二位姿数据。
10.根据权利要求8所述的方法，其特征在于，还包括：
接收第二移动设备发送的针对目标道路的道路特征数据获取请求；
从所述道路特征数据集内提取所述目标道路的道路特征数据集；
向所述第二移动设备回送所述目标道路的道路特征数据集，以便于第二移动设备通过二维图像采集装置采集所述目标道路中当前帧的道路环境二维图像数据；从所述二维图像数据中提取二维道路特征数据，以及，确定第二移动设备的当前帧的第一位姿数据；根据所述第一位姿数据和所述目标道路的道路特征数据集，确定与所述二维道路特征数据对应的道路特征点云数据；根据当前帧的道路特征点云数据和所述目标道路的道路特征数据集，确定第二移动设备的当前帧的第二位姿数据。
11.一种移动设备定位方法，其特征在于，包括：
通过二维图像采集装置采集行驶道路中当前帧的道路环境二维图像数据；
从所述二维图像数据中提取二维道路特征数据，以及，确定移动设备的当前帧的第一位姿数据；
根据所述第一位姿数据和道路特征数据集，确定与所述二维道路特征数据对应的道路特征点云数据；
根据当前帧的道路特征点云数据和所述道路特征数据集，确定移动设备的当前帧的第二位姿数据。
12.根据权利要求11所述的方法，其特征在于，
所述道路特征数据集包括道路特征局域平面的稀疏点云数据。
13.根据权利要求11所述的方法，其特征在于，
所述道路特征包括：道路地面特征。
14.根据权利要求11所述的方法，其特征在于，所述确定移动设备的当前帧的第一位姿数据，包括：
获取移动设备的与当前帧距离小于距离阈值的历史帧的第二位姿数据；以及，确定当前帧相对所述历史帧的位姿变化数据；
根据所述历史帧的第二位姿数据、及所述位姿变化数据，确定所述当前帧的第一位姿数据。
15.根据权利要求11所述的方法，其特征在于，所述当前帧的道路特征点云数据，采用如下步骤确定：
从所述道路特征数据集中获取与所述第一位姿数据对应的局域道路特征数据；
将所述局域道路特征数据中的点云数据投影至所述二维图像数据的像平面；
根据投影特征数据和所述二维道路特征数据，确定与所述二维道路特征数据对应的道路特征点云数据。
16.根据权利要求15所述的方法，其特征在于，所述根据投影特征数据和所述二维道路特征数据，确定与所述二维道路特征数据对应的道路特征点云数据，包括：
从投影特征数据中，确定二维道路特征数据的相邻投影特征数据；
根据所述二维道路特征数据包括的第一维坐标值和第二维坐标值、及相邻投影特征数据的第三维坐标值，确定所述道路特征点云数据。
17.根据权利要求11所述的方法，其特征在于，
所述移动设备包括多个单目二维图像采集装置；
若当前使用的单目二维图像采集装置失效，则通过其它的单目二维图像采集装置采集所述二维图像数据。
18.根据权利要求10所述的方法，其特征在于，
若所述道路特征数据集不包括与第一位姿对应的道路特征数据，则通过其它移动设备定位方法，确定所述第二位姿数据。
19.一种点云数据确定方法，其特征在于，包括：
通过二维图像采集装置采集行驶道路中当前帧的道路环境二维图像数据；
从所述二维图像数据中提取二维道路特征数据，以及，确定移动设备的当前帧的第一位姿数据；
根据所述第一位姿数据和道路特征数据集，确定与所述二维道路特征数据对应的道路特征点云数据，作为当前帧的道路特征点云数据。
20.一种移动设备定位方法，其特征在于，包括：
通过二维图像采集装置采集行驶道路中当前帧的道路环境二维图像数据；
从所述二维图像数据中提取二维道路特征数据，以及，确定移动设备的当前帧的第一位姿数据；
向服务端发送针对所述二维图像数据的移动设备定位请求；所述定位请求包括所述第一位姿数据，以便于服务端根据所述第一位姿数据和道路特征数据集，确定与所述二维道路特征数据对应的道路特征点云数据，作为当前帧的道路特征点云数据；根据当前帧的道路特征点云数据和所述道路特征数据集，确定移动设备的当前帧的第二位姿数据；
接收所述服务端回送的第二位姿数据。
21.一种道路特征数据生成装置，其特征在于，包括：
点云数据采集单元，用于采集道路环境点云数据；
特征数据确定单元，用于根据所述道路环境点云数据，确定道路特征局域平面的稀疏点云数据；
特征数据发送单元，用于向服务端发送所述稀疏点云数据，以便于服务端存储所述稀疏点云数据。
22.一种移动设备定位装置，其特征在于，包括：
数据接收单元，用于接收第一移动设备发送的道路特征局域平面的稀疏点云数据；
数据存储单元，用于将所述稀疏点云数据的存储请求存储至道路特征数据集中。
23.一种移动设备定位装置，其特征在于，包括：
图像数据采集单元，用于通过二维图像采集装置采集行驶道路中当前帧的道路环境二维图像数据；
二维道路特征确定单元，用于从所述二维图像数据中提取二维道路特征数据；
第一位姿数据确定单元，用于确定移动设备的当前帧的第一位姿数据；
三维道路特征确定单元，用于根据所述第一位姿数据和道路特征数据集，确定与所述二维道路特征数据对应的道路特征点云数据；
第二位姿数据确定单元，用于根据当前帧的道路特征点云数据和所述道路特征数据集，确定移动设备的当前帧的第二位姿数据。
24.一种点云数据确定装置，其特征在于，包括：
图像数据采集单元，用于通过二维图像采集装置采集行驶道路中当前帧的道路环境二维图像数据；
二维道路特征确定单元，用于从所述二维图像数据中提取二维道路特征数据；
第一位姿数据确定单元，用于确定移动设备的当前帧的第一位姿数据；
三维道路特征确定单元，用于根据所述第一位姿数据和道路特征数据集，确定与所述二维道路特征数据对应的道路特征点云数据，作为当前帧的道路特征点云数据。
25.一种移动设备定位装置，其特征在于，包括：
图像数据采集单元，用于通过二维图像采集装置采集行驶道路中当前帧的道路环境二维图像数据；
二维道路特征确定单元，用于从所述二维图像数据中提取二维道路特征数据；
第一位姿数据确定单元，用于确定移动设备的当前帧的第一位姿数据；
第二位姿数据确定单元，用于向服务端发送针对所述二维图像数据的移动设备定位请求；所述定位请求包括所述第一位姿数据，以便于服务端根据所述第一位姿数据和道路特征数据集，确定与所述二维道路特征数据对应的道路特征点云数据，作为当前帧的道路特征点云数据；根据当前帧的道路特征点云数据和所述道路特征数据集，确定移动设备的当前帧的第二位姿数据；
第二位姿数据接收单元，用于接收所述服务端回送的第二位姿数据。
26.一种移动设备，其特征在于，包括：
点云数据采集装置；
处理器；以及
存储器，用于存储实现道路特征数据生成方法的程序，该设备通电并通过所述处理器运行该方法的程序后，执行下述步骤：采集道路环境点云数据；根据所述道路环境点云数据，确定道路特征局域平面的稀疏点云数据；向服务端发送所述稀疏点云数据，以便于服务端存储所述稀疏点云数据。
27.一种移动设备，其特征在于，包括：
处理器；以及
存储器，用于存储实现移动设备定位方法的程序，该设备通电并通过所述处理器运行该方法的程序后，执行下述步骤：接收第一移动设备发送的道路特征局域平面的稀疏点云数据；将所述稀疏点云数据的存储请求存储至道路特征数据集中。
28.一种移动设备，其特征在于，包括：
二维图像采集装置；
处理器；以及
存储器，用于存储实现点云数据确定方法的程序，该设备通电并通过所述处理器运行该方法的程序后，执行下述步骤：通过二维图像采集装置采集行驶道路中当前帧的道路环境二维图像数据；从所述二维图像数据中提取二维道路特征数据，以及，确定移动设备的当前帧的第一位姿数据；根据所述第一位姿数据和道路特征数据集，确定与所述二维道路特征数据对应的道路特征点云数据，作为当前帧的道路特征点云数据。
29.一种电子设备，其特征在于，包括：
二维图像采集装置；
处理器；以及
存储器，用于存储实现移动设备定位方法的程序，该设备通电并通过所述处理器运行该方法的程序后，执行下述步骤：通过二维图像采集装置采集行驶道路中当前帧的道路环境二维图像数据；从二维图像数据中提取二维道路特征数据；确定移动设备的当前帧的第一位姿数据；根据第一位姿数据和道路特征数据集，确定与所述二维道路特征数据对应的道路特征点云数据；根据当前帧的道路特征点云数据和所述道路特征数据集，确定移动设备的当前帧的第二位姿数据。
30.一种电子设备，其特征在于，包括：
二维图像采集装置；
处理器；以及
存储器，用于存储实现移动设备定位方法的程序，该设备通电并通过所述处理器运行该方法的程序后，执行下述步骤：通过二维图像采集装置采集行驶道路中当前帧的道路环境二维图像数据；从所述二维图像数据中提取二维道路特征数据，以及，确定移动设备的当前帧的第一位姿数据；向服务端发送针对所述二维图像数据的移动设备定位请求；所述定位请求包括所述第一位姿数据，以便于服务端根据所述第一位姿数据和道路特征数据集，确定与所述二维道路特征数据对应的道路特征点云数据，作为当前帧的道路特征点云数据；根据当前帧的道路特征点云数据和所述道路特征数据集，确定移动设备的当前帧的第二位姿数据；接收所述服务端回送的第二位姿数据。
31.一种道路特征数据生成方法，其特征在于，包括：
采集道路环境点云数据；
根据所述道路环境点云数据，确定道路特征点云数据；
向服务端发送针对所述道路特征点云数据，以便于服务端存储所述道路特征点云数据。
32.一种移动设备定位方法，其特征在于，包括：
接收第一移动设备发送的道路特征点云数据；
将所述道路特征点云数据的存储请求存储至道路特征数据集中，以便于第二移动设备通过二维图像采集装置采集行驶道路中当前帧的道路环境二维图像数据；从所述二维图像数据中提取二维道路特征数据，以及，确定第二移动设备的当前帧的第一位姿数据；根据所述第一位姿数据和道路特征数据集，确定与所述二维道路特征数据对应的道路特征点云数据；根据当前帧的道路特征点云数据和所述道路特征数据集，确定第二移动设备的当前帧的第二位姿数据。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911146810.7A CN112907659B (zh) | 2019-11-19 | 2019-11-19 | 移动设备定位系统、方法及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911146810.7A CN112907659B (zh) | 2019-11-19 | 2019-11-19 | 移动设备定位系统、方法及设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112907659A true CN112907659A (zh) | 2021-06-04 |
| CN112907659B CN112907659B (zh) | 2024-07-12 |
Family
ID=76103643
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911146810.7A Active CN112907659B (zh) | 2019-11-19 | 2019-11-19 | 移动设备定位系统、方法及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112907659B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113435392A (zh) * | 2021-07-09 | 2021-09-24 | 阿波罗智能技术(北京)有限公司 | 应用于自动泊车的车辆定位方法、装置及车辆 |
| CN118657834A (zh) * | 2024-08-16 | 2024-09-17 | 中国科学院空天信息创新研究院 | 视觉定位方法、装置及系统 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017124901A1 (zh) * | 2016-01-18 | 2017-07-27 | 腾讯科技（深圳）有限公司 | 一种数据处理方法、装置及终端 |
| CN107796397A (zh) * | 2017-09-14 | 2018-03-13 | 杭州迦智科技有限公司 | 一种机器人双目视觉定位方法、装置和存储介质 |
| WO2018119889A1 (zh) * | 2016-12-29 | 2018-07-05 | 深圳前海达闼云端智能科技有限公司 | 三维场景定位方法和装置 |
| CN108401461A (zh) * | 2017-12-29 | 2018-08-14 | 深圳前海达闼云端智能科技有限公司 | 三维建图方法、装置、系统、云端平台、电子设备和计算机程序产品 |
| CN109297510A (zh) * | 2018-09-27 | 2019-02-01 | 百度在线网络技术（北京）有限公司 | 相对位姿标定方法、装置、设备及介质 |
| WO2019060125A1 (en) * | 2017-09-22 | 2019-03-28 | Zoox, Inc. | THREE-DIMENSIONAL DELIMITATION FRAMEWORK BASED ON TWO-DIMENSIONAL IMAGE DATA AND CLOUD OF POINTS |
| CN109633665A (zh) * | 2018-12-17 | 2019-04-16 | 北京主线科技有限公司 | 交通场景稀疏激光点云拼接方法 |
-
2019
- 2019-11-19 CN CN201911146810.7A patent/CN112907659B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017124901A1 (zh) * | 2016-01-18 | 2017-07-27 | 腾讯科技（深圳）有限公司 | 一种数据处理方法、装置及终端 |
| WO2018119889A1 (zh) * | 2016-12-29 | 2018-07-05 | 深圳前海达闼云端智能科技有限公司 | 三维场景定位方法和装置 |
| CN107796397A (zh) * | 2017-09-14 | 2018-03-13 | 杭州迦智科技有限公司 | 一种机器人双目视觉定位方法、装置和存储介质 |
| WO2019060125A1 (en) * | 2017-09-22 | 2019-03-28 | Zoox, Inc. | THREE-DIMENSIONAL DELIMITATION FRAMEWORK BASED ON TWO-DIMENSIONAL IMAGE DATA AND CLOUD OF POINTS |
| CN108401461A (zh) * | 2017-12-29 | 2018-08-14 | 深圳前海达闼云端智能科技有限公司 | 三维建图方法、装置、系统、云端平台、电子设备和计算机程序产品 |
| CN109297510A (zh) * | 2018-09-27 | 2019-02-01 | 百度在线网络技术（北京）有限公司 | 相对位姿标定方法、装置、设备及介质 |
| CN109633665A (zh) * | 2018-12-17 | 2019-04-16 | 北京主线科技有限公司 | 交通场景稀疏激光点云拼接方法 |
Non-Patent Citations (2)
| Title |
|---|
| 张名芳;付锐;石涌泉;程文冬;: "基于激光雷达的远距离运动车辆位姿估计", 公路交通科技, no. 12 * |
| 马跃龙;曹雪峰;万刚;李登峰;: "一种基于深度相机的机器人室内导航点云地图生成方法", 测绘工程, no. 03 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113435392A (zh) * | 2021-07-09 | 2021-09-24 | 阿波罗智能技术(北京)有限公司 | 应用于自动泊车的车辆定位方法、装置及车辆 |
| CN118657834A (zh) * | 2024-08-16 | 2024-09-17 | 中国科学院空天信息创新研究院 | 视觉定位方法、装置及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112907659B (zh) | 2024-07-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Javanmardi et al. | Autonomous vehicle self-localization based on abstract map and multi-channel LiDAR in urban area | |
| EP3519770B1 (en) | Methods and systems for generating and using localisation reference data | |
| JP7398506B2 (ja) | ローカライゼーション基準データを生成及び使用する方法及びシステム | |
| JP7485749B2 (ja) | ビデオベースの位置決め及びマッピングの方法及びシステム | |
| Pfeiffer et al. | Towards a Global Optimal Multi-Layer Stixel Representation of Dense 3D Data. | |
| JP2019527832A (ja) | 正確な位置特定およびマッピングのためのシステムおよび方法 | |
| CN112740225B (zh) | 一种路面要素确定方法及装置 | |
| Benedek et al. | Positioning and perception in LIDAR point clouds | |
| CN112907659B (zh) | 移动设备定位系统、方法及设备 | |
| Kang et al. | Map building based on sensor fusion for autonomous vehicle | |
| CN113838129B (zh) | 一种获得位姿信息的方法、装置以及系统 | |
| CN113189610A (zh) | 地图增强的自动驾驶多目标追踪方法和相关设备 | |
| CN113137961B (zh) | 移动设备定位系统、相关方法、装置及设备 | |
| KR20220151572A (ko) | IPM 이미지와 정밀도로지도(HD Map) 피팅을 통해 노면객체의 변화를 자동으로 판단하고 갱신하는 정밀도로지도 자동갱신 방법 및 시스템 | |
| CN114323038A (zh) | 融合双目视觉和2d激光雷达的室外定位方法 | |
| Guan | Automated extraction of road information from mobile laser scanning data | |
| Pang et al. | FLAME: Feature-likelihood based mapping and localization for autonomous vehicles | |
| Dekkiche et al. | Vehicles detection in stereo vision based on disparity map segmentation and objects classification | |
| Daraei | Tightly-coupled lidar and camera for autonomous vehicles | |
| CN113822932B (zh) | 设备定位方法、装置、非易失性存储介质及处理器 | |
| Daraeihajitooei | Tightly-Coupled LiDAR and Camera for Autonomous Vehicles | |
| Azim | 3D perception of outdoor and dynamic environment using laser scanner | |
| CN115797425B (zh) | 一种基于点云鸟瞰图和由粗到精策略的激光全局定位方法 | |
| Ma | Generation of horizontally curved driving lines for autonomous vehicles using mobile laser scanning data | |
| Barandiaran Martirena | Visual computing techniques for automated LIDAR annotation with application to intelligent transport systems |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20230712 Address after: Room 437, Floor 4, Building 3, No. 969, Wenyi West Road, Wuchang Subdistrict, Yuhang District, Hangzhou City, Zhejiang Province Applicant after: Wuzhou Online E-Commerce (Beijing) Co.,Ltd. Address before: Box 847, four, Grand Cayman capital, Cayman Islands, UK Applicant before: ALIBABA GROUP HOLDING Ltd. |
|
| TA01 | Transfer of patent application right | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |