CN112258646B - 一种三维线地标构建方法及装置 - Google Patents
一种三维线地标构建方法及装置 Download PDFInfo
- Publication number
- CN112258646B CN112258646B CN202011156761.8A CN202011156761A CN112258646B CN 112258646 B CN112258646 B CN 112258646B CN 202011156761 A CN202011156761 A CN 202011156761A CN 112258646 B CN112258646 B CN 112258646B
- Authority
- CN
- China
- Prior art keywords
- dimensional
- point cloud
- map
- line
- semantic point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000010276 construction Methods 0.000 title claims abstract description 20
- 230000000007 visual effect Effects 0.000 claims abstract description 18
- 238000001914 filtration Methods 0.000 claims abstract description 13
- 238000000034 method Methods 0.000 claims description 42
- 230000008569 process Effects 0.000 claims description 14
- 238000005457 optimization Methods 0.000 claims description 13
- 230000009466 transformation Effects 0.000 claims description 8
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 4
- 238000005070 sampling Methods 0.000 claims description 3
- 230000006870 function Effects 0.000 description 8
- 230000001133 acceleration Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 241000283070 Equus zebra Species 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 235000019580 granularity Nutrition 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000003064 k means clustering Methods 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000001932 seasonal effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/05—Geographic models
Abstract
本发明提供的三维线地标构建方法及装置，通过将视觉图像中线语义转换为三维语义点云，与最近一次所构建的局部地图进行语义匹配，以确定在局部地图中不存在相匹配的三维线地标的目标三维语义点云，进而通过递增式聚类滤波生成相应的三维线地标，由此构建新的局部地图。本发明能够准确构建三维线地标，提高三维语义地图的精度，并且，在无语义的场景下，能够将可通行空间边界线建入地图中。
Description
技术领域
本发明涉及导航定位技术领域，更具体地说，涉及一种三维线地标构建方法及装置。
背景技术
线语义是视觉语义中极为重要的元素，生活中车道线、可通行空间边界等等都是线语义。与点、箭头和斑马线等语义相比，线语义在车辆感知的时间上持续时间长，在空间上占比广阔。
然而，无论是直线的还是曲线的线语义，由于没有可甄别的特征，很难正确地相互匹配，继而不能在三维语义地图上构建三维的线地标。
发明内容
有鉴于此，为解决上述问题，本发明提供一种三维线地标构建方法及装置，技术方案如下：
一种三维线地标构建方法，所述方法包括：
获取车辆所在环境的视觉图像，并提取所述视觉图像中的线语义；
将所述线语义转换为三维语义点云，并调取最近一次所构建的局部地图；
通过语义匹配，确定所述三维语义点云中、在所述局部地图内不存在相匹配的三维线地标的目标三维语义点云；
确定所述目标三维语义点云所在区域内的全部三维语义点云，并通过递增式聚类滤波生成相应的三维线地标，所生成的三维线地标用于构建新的局部地图。
优选的，所述方法还包括：
基于截断的有符号距离函数优化所生成的三维线地标的位置。
优选的，所述方法还包括：
对所构建的新的局部地图进行图优化。
优选的，所述将所述线语义转换为三维语义点云，包括：
采样所述线语义得到线状点云；
通过逆透视变换将所述线状点云投影至所述车辆的三维空间内，以获取三维语义点云。
优选的，所述通过语义匹配，确定所述三维语义点云中、在所述局部地图内不存在相匹配的三维线地标的目标三维语义点云，包括：
构建所述局部地图的分层多粒度地图，所述分层多粒度地图包括多个具有不同分辨率的地图层，相邻两个地图层中上一地图层的分辨率高于下一地图层的分辨率；
在按照分辨率由高到低的次序依次处理每个地图层的过程中，获取其下一地图层中匹配概率最大的多个第一体素，并确定所述多个第一体素在该地图层中所对应的多个第二体素，所述多个第二体素是计算所述三维语义点云与该地图层中三维线地标的匹配概率的基础；
获取分辨率最高的地图层所输出的所述三维语义点云的匹配概率，并将所述三维语义点云中匹配概率小于预设概率阈值的点云作为目标三维语义点云。
优选的，所述确定所述目标三维语义点云所在区域内的全部三维语义点云，包括：
基于所述车辆的多源信息，确定所述车辆的初始化位置；
在所述车辆的初始化位置符合预设聚类条件的情况下，确定所述目标三维语义点云所在区域内的全部三维语义点云。
一种三维线地标构建装置，其特征在于，所述装置包括：
语义提取模块，用于获取车辆所在环境的视觉图像，并提取所述视觉图像中的线语义；
点云转换模块，用于将所述线语义转换为三维语义点云，并调取最近一次所构建的局部地图；
语义匹配模块，用于通过语义匹配，确定所述三维语义点云中、在所述局部地图内不存在相匹配的三维线地标的目标三维语义点云；
地标生成模块，用于确定所述目标三维语义点云所在区域内的全部三维语义点云，并通过递增式聚类滤波生成相应的三维线地标，所生成的三维线地标用于构建新的局部地图。
优选的，所述地标生成模块，还用于：
基于截断的有符号距离函数优化所生成的三维线地标的位置。
优选的，所述地标生成模块，还用于：
对所构建的新的局部地图进行图优化。
优选的，所述语义匹配模块，具体用于：
构建所述局部地图的分层多粒度地图，所述分层多粒度地图包括多个具有不同分辨率的地图层，相邻两个地图层中上一地图层的分辨率高于下一地图层的分辨率；在按照分辨率由高到低的次序依次处理每个地图层的过程中，获取其下一地图层中匹配概率最大的多个第一体素，并确定所述多个第一体素在该地图层中所对应的多个第二体素，所述多个第二体素是计算所述三维语义点云与该地图层中三维线地标的匹配概率的基础；获取分辨率最高的地图层所输出的所述三维语义点云的匹配概率，并将所述三维语义点云中匹配概率小于预设概率阈值的点云作为目标三维语义点云。
本发明提供的三维线地标构建方法及装置，通过将视觉图像中线语义转换为三维语义点云，与最近一次所构建的局部地图进行语义匹配，以确定在局部地图中不存在相匹配的三维线地标的目标三维语义点云，进而通过递增式聚类滤波生成相应的三维线地标，由此构建新的局部地图。本发明能够准确构建三维线地标，提高三维语义地图的精度，并且，在无语义的场景下，能够将可通行空间边界线建入地图中。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本发明实施例提供的线语义感知的噪声；
图2为本发明实施例提供的三维线地标构建方法的方法流程图；
图3为本发明实施例提供的线语义的示例；
图4为本发明实施例提供的三维线地标构建方法的部分方法流程图；
图5为本发明实施例提供的递增式拟合聚类示意图；
图6为本发明实施例提供的三维线地标优化原理图；
图7为本发明实施例提供的三维线地标构建装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
目前传统的线语义匹配基于图像分割，再从分割出的语义提取粗线状的点云块进行匹配。这些从分割出的语义提取线段进行匹配的方法，本质上还是利用了线段的起点和终点特征，而现实中不少线语义(比如实车道线、可通行边界线)在相机视野中是没有起点和终点的(只有消影点)。此外，基于分割的语义匹配计算量大，占用资源高，带来的硬件成本也高。
另一个难点在于提取二维视觉语义时，过程噪声大。比如易受车辆振动的影响，基于深度学习从图像上提取的语义存在误差等等，这些都极大影响了线语义的匹配以及对应的三维线地标的构建。图1给出了线语义感知的噪声，车辆感知到的线语义在实际车道线或可通行空间边界线的周边浮动。
为解决上述问题，本发明提供一种三维线地标构建方法，该方法的方法流程图如图2所示，包括如下步骤：
S10，获取车辆所在环境的视觉图像，并提取视觉图像中的线语义。
本发明实施例中，视觉图像为二维图像，通过深度学习能够在二维的视觉图像中提取车道线、停止线和可通行空间边界线等线语义，这些语义一般属于静态的背景，可鉴别性高，对光照变化不敏感，也能抵抗季节和天气变化。图3给出了车道线、停止线和可通行空间边界线的示例。
S20，将线语义转换为三维语义点云，并调取最近一次所构建的局部地图。
本发明实施例中，可以通过Bresenham布雷森汉姆算法和逆透视变换获得三维语义点云。具体的，首先采样线语义得到线状点云，具体的，可以采用Bresenham算法进行采样，这就能更充分地表征线语义的几何特征，比如曲率、起止端等等；进一步通过逆透视变换(Inverse Perspective Transformation，IPM)将线状点云投影至车辆的三维空间内，以获取三维语义点云。
需要说明的是，对于Bresenham算法和逆透视变换的处理顺序可以调整，即还可以先通过对线语义进行逆透视变换得到相应的三维语义，再采用Bresenham算法对所获得的三维语义进行采样，得到三维语义点云。可以理解的是，对于其他获得三维语义的方式，也在本申请的保护范围内。
另外，本发明实施例中可以按照一定的时间窗口来构建局部地图，比如车辆行驶一定的距离或者行驶方向偏转一定的角度，就构建一次局部地图。当然，在获得局部地图后，就可以确定车辆在局部地图中的位置，从而在车辆周边区域进行后续的语义匹配。
S30，通过语义匹配，确定三维语义点云中、在局部地图内不存在相匹配的三维线地标的目标三维语义点云。
本发明实施例中，提出基于概率的相关线匹配法(correlative line matching)完成语义匹配。同时，本发明还可以在多级分辨率上进行不同粒度的搜索，对线语义进行匹配，提高线语义匹配精度和速度。
具体实现过程中，步骤S30“通过语义匹配，确定三维语义点云中、在局部地图内不存在相匹配的三维线地标的目标三维语义点云”可以采用如下步骤，方法流程图如图4所示：
S301，构建局部地图的分层多粒度地图，分层多粒度地图包括多个具有不同分辨率的地图层，相邻两个地图层中上一地图层的分辨率高于下一地图层的分辨率。
本发明实施例中，局部地图对应一个具有多个不同分辨率地图层的分层多粒度地图，该分层多粒度地图中分辨率最高的地图层，即第一地图层即为该局部地图本身，进一步，通过将该第一地图层的多个体素作为一个体素来减小第一地图层的分辨率得到第二地图层，以此类推，直至得到一定数量或者一定分辨率的地图层时为止。
S302，在按照分辨率由高到低的次序依次处理每个地图层的过程中，获取其下一地图层中匹配概率最大的多个第一体素，并确定多个第一体素在该地图层中所对应的多个第二体素，多个第二体素是计算三维语义点云与该地图层中三维线地标的匹配概率的基础。
本发明实施例中，在获得局部地图的分层多粒度地图后，按照分辨率由低到高的次序依次进行语义的匹配，具体的，对于两个相邻的地图层，下一地图层为低分辨率地图层、上一地图层为高分辨率地图层，按照以下公式(1)计算三维语义点云与低分辨率地图中三维线地标的匹配概率，进而从中确定匹配概率最大的三维线地标所在的多个体素(即第一体素)，进一步由于低分辨率地图层的体素与高分辨率地图层的体素具有一对多的关系，因此基于该关系能够确定匹配概率最大的三维线地标在高分辨率地图中所在的多个体素(即第二体素)，以此类推，直到获得分辨率最高的地图层上匹配概率最大的三维线地标为止。此时，分辨率最高的地图层输出三维语义点云与匹配概率最大的三维线地标间的匹配概率。
其中，zt是t时刻的语义观测，xt是t时刻车辆的位置和姿态，m表示车辆所在位置的地图。
此外，在计算三维语义点云与每个地图层中三维线地标的匹配概率的过程中，可以预先设置旋转窗口wσ和旋转角度间隔θ，则三维语义点云的可以旋转的次数为Wσ/θ。在三维语义点云每次旋转后，可以与地图层的三维线地标匹配一次，寻找匹配概率之和最大的旋转方向hmax，再在hmax方向上执行x、y方向的平移操作并进行匹配，得出匹配概率最大的三维线地标。
通过本发明的语义匹配方法，能够减少点云语义匹配的计算量，在讲究硬件成本、计算资源有限的车载平台上，能够很好地实现语义匹配，提高整体性能，适合成本相对较低的硬件平台。
S303，获取分辨率最高的地图层所输出的三维语义点云的匹配概率，并将三维语义点云中匹配概率小于预设概率阈值的点云作为目标三维语义点云。
本发明实施例中，对于一个三维语义点云来说，如果该三维语义点云的匹配概率小于预设概率阈值，则表示匹配失败，进而将其作为目标三维语义点云，对其执行后续的三维线地标的构建工作。而如果该三维语义点云的匹配概率大于等于预设概率阈值，则表示匹配成功，即能在局部地图中匹配到三维线地标。
由此，本发明实施例中，还可以获取三维语义点云中除目标三维语义点云以外的其他点云的匹配概率，并基于所获取的匹配概率推理得到车辆的精确位置，如以下公式(2)所示：
p(xt|xt-1，ut，m，zt)∝p(zt|xt，m)p(xt|xt-1，ut) (2)
其中，ut是t时刻车辆的运动。
通过推理获得车辆在局部地图中的精确位置，能够准确定位车辆周边区域，相应也可以增加后续语义匹配的准确度。
S40，确定目标三维语义点云所在区域内的全部三维语义点云，并通过递增式聚类滤波生成相应的三维线地标，所生成的三维线地标用于构建新的局部地图。
本发明实施例中，在当前构建局部地图的窗口内，确定所有位于同一区域内，即具有交集的三维语义点云，进而使用诸如k-means聚类的算法对多个三维语义点云的诸如距离、角度、消影点等几何参数进行递增式拟合聚类。通过递增式拟合聚类，能够有效地滤除语义感知误差。
参见图5所示的递增式拟合聚类示意图，其中(a)是对直线的聚类滤波，(b)是对曲线的聚类滤波。粗黑的直线或曲线为聚类滤波所得到的三维线地标，粗黑的直线或曲线周边其他实线表示三维语义点云。
在其他一些实施例中，还可以基于车辆的位姿来确定聚类滤波的时机，在语义匹配之前融合多源信息进行位姿估计，具体可以融合车载惯导和轮速计等车辆的多源信息，确定车辆的初始化位置，进而可以基于车辆的初始化位置确定是否达到构建局部地图的时间窗口，比如车辆行驶一定的距离或者行驶方向偏转一定的角度等等，从而在达到时间窗口后，进行后续三维地标的构建。
参见以下公式(3)，通过惯导IMU积分可以得到车辆的位置初始估计，基于IMU的车辆位置更新参见公式(4)：
公式(3)中，和/>是测量的IMU坐标系下t时刻加速度和角速度；/>和分别是IMU坐标系下i时刻到j时刻(或t时刻)位移、速度和朝向的变化。公式(4)中和/>分别是世界坐标系下j时刻的位置、速度和朝向。/>和/>分别是j时刻IMU的角速度偏差和加速度偏差。/> 和/>分别是世界坐标系下i时刻的位置、速度和朝向。和/>分别是i时刻IMU的角速度偏差和加速度偏差。gw是世界坐标系下重力加速度。
而对于轮速计的信息，可以利用阿克曼(Ackerman)车辆运动模型计算车辆的位置初始估计。
在其他一些实施例中，为进一步滤除线语义噪声，提炼三维线地标的位置，本发明实施例提供的三维线地标构建方法还可以采用如下步骤:
基于截断的有符号距离函数优化所生成的三维线地标的位置。
本发明实施例中，利用基于截断的有符号距离函数(TSDF，Truncated SignedDistance Function)对三维线地标进一步滤波，为优化滤波效果，本发明针对线语义定义新的基于截断的有符号距离函数，如以下公式(5)所示：
其中，t表示阈值，表示sdf(x)的绝对值只在0～t的范围内有效；当|sdf(x)|＞t时，则tsdf(x)＝1。。
参见图6所示的三维线地标优化原理图。公式(6)中的depth(xp)表示地标语义上的点xp距离车辆后轴中心的距离，cam(x)表示非地标语义上的点x距离车辆后轴中心的距离。基于截断的有符号距离函数，降低语义噪声x对构建语义地标xp的影响，进一步提高线语义地标xp的精度。距离地标语义xp远的噪声x将会被滤除。当然，图6所示的三维线地标是车道线，而对于停止线和可通行空间边界线等其它线语义的地标也采用同样的处理方式。
sdf(x)＝depth(xp)-cam(x) (6)
在其他一些实施例中，减少数据噪声带来的误差，提高三维线地标构建的精度，本发明实施例提供的三维线地标构建方法还可以采用如下步骤:
对所构建的新的局部地图进行图优化。
本发明实施例中，基于最小二乘法原理，能够对语义匹配的结果和多源信息融合得到的车辆位姿约束进行优化。通过将多个优化帧以及其约束条件同时加入图优化，具体可以利用g2o或者ceres库处理图优化问题。
g2o(ceres,gtsam)已经实现了几乎所有的优化逻辑和数学模型，可以直接使用包括高斯牛顿法、列文伯格.马夸特在内的多种非线性优化算法。
本发明实施例提供的三维线地标构建方法，能够准确构建三维线地标，提高三维语义地图的精度，并且，在无语义的场景下，能够将可通行空间边界线建入地图中。
基于上述实施例提供的三维线地标构建方法，本发明实施例则对应提供执行上述三维线地标构建方法的装置，该装置的结构示意图如图7所示，包括：
语义提取模块10，用于获取车辆所在环境的视觉图像，并提取视觉图像中的线语义；
点云转换模块20，用于将线语义转换为三维语义点云，并调取最近一次所构建的局部地图；
语义匹配模块30，用于通过语义匹配，确定三维语义点云中、在局部地图内不存在相匹配的三维线地标的目标三维语义点云；
地标生成模块40，用于确定目标三维语义点云所在区域内的全部三维语义点云，并通过递增式聚类滤波生成相应的三维线地标，所生成的三维线地标用于构建新的局部地图。
可选的，地标生成模块40，还用于：
基于截断的有符号距离函数优化所生成的三维线地标的位置。
可选的，地标生成模块40，还用于：
对所构建的新的局部地图进行图优化。
可选的，点云转换模块20，具体用于：
采样线语义得到线状点云；通过逆透视变换将线状点云投影至车辆的三维空间内，以获取三维语义点云。
可选的，语义匹配模块30，具体用于：
构建局部地图的分层多粒度地图，分层多粒度地图包括多个具有不同分辨率的地图层，相邻两个地图层中上一地图层的分辨率高于下一地图层的分辨率；在按照分辨率由高到低的次序依次处理每个地图层的过程中，获取其下一地图层中匹配概率最大的多个第一体素，并确定多个第一体素在该地图层中所对应的多个第二体素，多个第二体素是计算三维语义点云与该地图层中三维线地标的匹配概率的基础；获取分辨率最高的地图层所输出的三维语义点云的匹配概率，并将三维语义点云中匹配概率小于预设概率阈值的点云作为目标三维语义点云。
可选的，用于确定目标三维语义点云所在区域内的全部三维语义点云的地标生成模块40，具体用于：
基于车辆的多源信息，确定车辆的初始化位置；在车辆的初始化位置符合预设聚类条件的情况下，确定目标三维语义点云所在区域内的全部三维语义点云。
本发明提供的三维线地标构建装置，能够准确构建三维线地标，提高三维语义地图的精度，并且，在无语义的场景下，能够将可通行空间边界线建入地图中。
以上对本发明所提供的一种三维线地标构建方法及装置进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备所固有的要素，或者是还包括为这些过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (8)
1.一种三维线地标构建方法，其特征在于，所述方法包括：
获取车辆所在环境的视觉图像，并提取所述视觉图像中的线语义；所述线语义包括：车道线、停止线和可通行空间边界线；
将所述线语义转换为三维语义点云，并调取最近一次所构建的局部地图；
通过语义匹配，确定所述三维语义点云中、在所述局部地图内不存在相匹配的三维线地标的目标三维语义点云；所述通过语义匹配，确定所述三维语义点云中、在所述局部地图内不存在相匹配的三维线地标的目标三维语义点云，包括：
构建所述局部地图的分层多粒度地图，所述分层多粒度地图包括多个具有不同分辨率的地图层，相邻两个地图层中上一地图层的分辨率高于下一地图层的分辨率；
在按照分辨率由高到低的次序依次处理每个地图层的过程中，获取其下一地图层中匹配概率最大的多个第一体素，并确定所述多个第一体素在该地图层中所对应的多个第二体素，所述多个第二体素是计算所述三维语义点云与该地图层中三维线地标的匹配概率的基础；
在计算所述三维语义点云与每个地图层中三维线地标的匹配概率的过程中，预先设置旋转窗口和旋转角度间隔，在所述三维语义点云每次旋转后，与地图层的三维线地标匹配一次，寻找匹配概率之和最大的旋转方向，在所述旋转方向上执行x方向与y方向的平移操作并进行匹配，得出匹配概率最大的三维线地标；
获取分辨率最高的地图层所输出的所述三维语义点云的匹配概率，并将所述三维语义点云中匹配概率小于预设概率阈值的点云作为目标三维语义点云；确定所述目标三维语义点云所在区域内的全部三维语义点云，并通过递增式聚类滤波生成相应的三维线地标，所生成的三维线地标用于构建新的局部地图。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
基于截断的有符号距离函数优化所生成的三维线地标的位置。
3.根据权利要求1所述的方法，其特征在于，所述方法还包括：
对所构建的新的局部地图进行图优化。
4.根据权利要求1所述的方法，其特征在于，所述将所述线语义转换为三维语义点云，包括：
采样所述线语义得到线状点云；
通过逆透视变换将所述线状点云投影至所述车辆的三维空间内，以获取三维语义点云。
5.根据权利要求1所述的方法，其特征在于，所述确定所述目标三维语义点云所在区域内的全部三维语义点云，包括：
基于所述车辆的多源信息，确定所述车辆的初始化位置；
在所述车辆的初始化位置符合预设聚类条件的情况下，确定所述目标三维语义点云所在区域内的全部三维语义点云。
6.一种三维线地标构建装置，其特征在于，所述装置包括：
语义提取模块，用于获取车辆所在环境的视觉图像，并提取所述视觉图像中的线语义；所述线语义包括：车道线、停止线和可通行空间边界线；
点云转换模块，用于将所述线语义转换为三维语义点云，并调取最近一次所构建的局部地图；
语义匹配模块，用于通过语义匹配，确定所述三维语义点云中、在所述局部地图内不存在相匹配的三维线地标的目标三维语义点云；
所述语义匹配模块，具体用于：
构建所述局部地图的分层多粒度地图，所述分层多粒度地图包括多个具有不同分辨率的地图层，相邻两个地图层中上一地图层的分辨率高于下一地图层的分辨率；在按照分辨率由高到低的次序依次处理每个地图层的过程中，获取其下一地图层中匹配概率最大的多个第一体素，并确定所述多个第一体素在该地图层中所对应的多个第二体素，所述多个第二体素是计算所述三维语义点云与该地图层中三维线地标的匹配概率的基础；在计算所述三维语义点云与每个地图层中三维线地标的匹配概率的过程中，预先设置旋转窗口和旋转角度间隔，在所述三维语义点云每次旋转后，与地图层的三维线地标匹配一次，寻找匹配概率之和最大的旋转方向，在所述旋转方向上执行x方向与y方向的平移操作并进行匹配，得出匹配概率最大的三维线地标；获取分辨率最高的地图层所输出的所述三维语义点云的匹配概率，并将所述三维语义点云中匹配概率小于预设概率阈值的点云作为目标三维语义点云；
地标生成模块，用于确定所述目标三维语义点云所在区域内的全部三维语义点云，并通过递增式聚类滤波生成相应的三维线地标，所生成的三维线地标用于构建新的局部地图。
7.根据权利要求6所述的装置，其特征在于，所述地标生成模块，还用于：
基于截断的有符号距离函数优化所生成的三维线地标的位置。
8.根据权利要求6所述的装置，其特征在于，所述地标生成模块，还用于：
对所构建的新的局部地图进行图优化。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011156761.8A CN112258646B (zh) | 2020-10-26 | 2020-10-26 | 一种三维线地标构建方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011156761.8A CN112258646B (zh) | 2020-10-26 | 2020-10-26 | 一种三维线地标构建方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112258646A CN112258646A (zh) | 2021-01-22 |
| CN112258646B true CN112258646B (zh) | 2024-03-12 |
Family
ID=74261233
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011156761.8A Active CN112258646B (zh) | 2020-10-26 | 2020-10-26 | 一种三维线地标构建方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112258646B (zh) |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5519619A (en) * | 1994-03-14 | 1996-05-21 | Motorola, Inc. | Route planning method for hierarchical map routing and apparatus therefor |
| KR20130142336A (ko) * | 2012-06-19 | 2013-12-30 | 한양대학교 산학협력단 | 3차원 직선을 이용하여 위치를 인식하고 지도를 생성하는 방법 및 그 방법에 따른 이동체 |
| CN104021255A (zh) * | 2014-06-20 | 2014-09-03 | 上海交通大学 | Cad模型的多分辨率层次表示及层次匹配加权比较方法 |
| CN104156957A (zh) * | 2014-08-06 | 2014-11-19 | 昆山天工智能科技有限公司 | 一种稳定高效的高分辨率立体匹配方法 |
| CN108873001A (zh) * | 2018-09-17 | 2018-11-23 | 江苏金智科技股份有限公司 | 一种精准评判机器人定位精度的方法 |
| KR20190057885A (ko) * | 2017-11-21 | 2019-05-29 | 한국전자통신연구원 | 3차원 복원 지형 정합 방법 및 그 장치 |
| CN110866449A (zh) * | 2019-10-21 | 2020-03-06 | 北京京东尚科信息技术有限公司 | 识别道路中目标对象的方法和装置 |
| CN111105695A (zh) * | 2019-12-31 | 2020-05-05 | 智车优行科技（上海）有限公司 | 地图制作方法、装置、电子设备及计算机可读存储介质 |
| CN111337947A (zh) * | 2020-05-18 | 2020-06-26 | 深圳市智绘科技有限公司 | 即时建图与定位方法、装置、系统及存储介质 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8203552B2 (en) * | 2007-08-30 | 2012-06-19 | Harris Corporation | Geospatial data system for selectively retrieving and displaying geospatial texture data in successive additive layers of resolution and related methods |
| GB2559157A (en) * | 2017-01-27 | 2018-08-01 | Ucl Business Plc | Apparatus, method and system for alignment of 3D datasets |
| US11036986B2 (en) * | 2019-02-08 | 2021-06-15 | Lyft, Inc. | Systems and methods for aligning map data |
-
2020
- 2020-10-26 CN CN202011156761.8A patent/CN112258646B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5519619A (en) * | 1994-03-14 | 1996-05-21 | Motorola, Inc. | Route planning method for hierarchical map routing and apparatus therefor |
| KR20130142336A (ko) * | 2012-06-19 | 2013-12-30 | 한양대학교 산학협력단 | 3차원 직선을 이용하여 위치를 인식하고 지도를 생성하는 방법 및 그 방법에 따른 이동체 |
| CN104021255A (zh) * | 2014-06-20 | 2014-09-03 | 上海交通大学 | Cad模型的多分辨率层次表示及层次匹配加权比较方法 |
| CN104156957A (zh) * | 2014-08-06 | 2014-11-19 | 昆山天工智能科技有限公司 | 一种稳定高效的高分辨率立体匹配方法 |
| KR20190057885A (ko) * | 2017-11-21 | 2019-05-29 | 한국전자통신연구원 | 3차원 복원 지형 정합 방법 및 그 장치 |
| CN108873001A (zh) * | 2018-09-17 | 2018-11-23 | 江苏金智科技股份有限公司 | 一种精准评判机器人定位精度的方法 |
| CN110866449A (zh) * | 2019-10-21 | 2020-03-06 | 北京京东尚科信息技术有限公司 | 识别道路中目标对象的方法和装置 |
| CN111105695A (zh) * | 2019-12-31 | 2020-05-05 | 智车优行科技（上海）有限公司 | 地图制作方法、装置、电子设备及计算机可读存储介质 |
| CN111337947A (zh) * | 2020-05-18 | 2020-06-26 | 深圳市智绘科技有限公司 | 即时建图与定位方法、装置、系统及存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 基于多分辨率搜索与多点云密度匹配的快速ICP-SLAM方法;李鑫等;《机器人》;第42卷(第5期);第583-594页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112258646A (zh) | 2021-01-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102143108B1 (ko) | 차선 인식 모델링 방법, 장치, 저장 매체 및 기기, 및 인식 방법, 장치, 저장 매체 및 기기 | |
| CN110009718B (zh) | 一种三维高精度地图生成方法及装置 | |
| CN112212874B (zh) | 车辆轨迹预测方法、装置、电子设备及计算机可读介质 | |
| CN111402339B (zh) | 一种实时定位方法、装置、系统及存储介质 | |
| US20220398856A1 (en) | Method for reconstruction of a feature in an environmental scene of a road | |
| CN112700486B (zh) | 对图像中路面车道线的深度进行估计的方法及装置 | |
| Qian et al. | Robust visual-lidar simultaneous localization and mapping system for UAV | |
| CN113903011A (zh) | 一种适用于室内停车场的语义地图构建及定位方法 | |
| CN114648551B (zh) | 轨迹预测方法及装置 | |
| Dimitrievski et al. | Robust matching of occupancy maps for odometry in autonomous vehicles | |
| CN113920198A (zh) | 一种基于语义边缘对齐的由粗到精的多传感器融合定位方法 | |
| CN112257668A (zh) | 主辅路判断方法、装置、电子设备及存储介质 | |
| CN116523970B (zh) | 基于二次隐式匹配的动态三维目标跟踪方法及装置 | |
| Jo et al. | Mixture density-PoseNet and its application to monocular camera-based global localization | |
| Chougula et al. | Road segmentation for autonomous vehicle: A review | |
| CN112348854A (zh) | 一种基于深度学习视觉惯性里程检测方法 | |
| CN112258646B (zh) | 一种三维线地标构建方法及装置 | |
| CN116643291A (zh) | 一种视觉与激光雷达联合剔除动态目标的slam方法 | |
| CN116543143A (zh) | 一种目标检测模型的训练方法、目标检测方法及装置 | |
| CN114111817B (zh) | 基于slam地图与高精度地图匹配的车辆定位方法及系统 | |
| CN113554705B (zh) | 一种变化场景下的激光雷达鲁棒定位方法 | |
| CN115239902A (zh) | 移动设备的周边地图建立方法、装置、设备及存储介质 | |
| CN114511590A (zh) | 基于单目视觉3d车辆检测与跟踪的路口多引导线构建方法 | |
| CN114119757A (zh) | 图像处理方法、装置、设备、介质和计算机程序产品 | |
| JP2018116147A (ja) | 地図作成装置、地図作成方法及び地図作成用コンピュータプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |