CN117830388A - 定位初始化方法、装置、车辆以及存储介质 - Google Patents
定位初始化方法、装置、车辆以及存储介质 Download PDFInfo
- Publication number
- CN117830388A CN117830388A CN202211200809.XA CN202211200809A CN117830388A CN 117830388 A CN117830388 A CN 117830388A CN 202211200809 A CN202211200809 A CN 202211200809A CN 117830388 A CN117830388 A CN 117830388A
- Authority
- CN
- China
- Prior art keywords
- target
- points
- point
- position information
- spatial position
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000011423 initialization method Methods 0.000 title claims abstract description 17
- 238000001514 detection method Methods 0.000 claims abstract description 166
- 238000000034 method Methods 0.000 claims abstract description 24
- 238000004590 computer program Methods 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 9
- 238000000429 assembly Methods 0.000 claims description 2
- 230000000712 assembly Effects 0.000 claims description 2
- 238000006243 chemical reaction Methods 0.000 claims description 2
- 239000000523 sample Substances 0.000 claims 3
- 238000010276 construction Methods 0.000 abstract description 7
- 230000008859 change Effects 0.000 description 14
- 238000004364 calculation method Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 8
- 238000004422 calculation algorithm Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 230000008569 process Effects 0.000 description 6
- 238000005259 measurement Methods 0.000 description 4
- 238000013507 mapping Methods 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000004807 localization Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- DMSMPAJRVJJAGA-UHFFFAOYSA-N benzo[d]isothiazol-3-one Chemical compound C1=CC=C2C(=O)NSC2=C1 DMSMPAJRVJJAGA-UHFFFAOYSA-N 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000035622 drinking Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000000295 fuel oil Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/05—Geographic models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Remote Sensing (AREA)
- Computer Graphics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本申请实施例提供一种定位初始化方法、装置、车辆以及存储介质。该方法包括：在图像采集装置采集的多帧图像中确定至少两帧目标图像；基于至少两帧目标图像的时间信息获取探测组件的探测数据，探测组件的探测数据包括多个目标点的空间位置信息；基于多个目标点的空间位置信息，确定多个特征点分别对应的三维点的空间位置信息；基于多个特征点分别对应的三维点的空间位置信息实现定位初始化。本申请实施例提供的技术方案，能够有效改善定位初始化的尺度一致性，后续基于单目视觉进行定位与建图时，可以提升建图质量和定位准确性。
Description
技术领域
本申请涉及自动驾驶技术领域，更具体地，涉及一种定位初始化方法、装置、车辆以及存储介质。
背景技术
基于单目视觉的即时定位与地图构建(Simultaneous Localization andMapping，SlAM)是指自动驾驶车辆利用单个视觉传感器(如摄像头)创建一个与真实环境相一致的电子地图，并同时确定自身在电子地图中的位置。
在构建电子地图之前，需要进行定位初始化。相关技术中，自动驾驶车辆中的单个视觉传感器在采集到两帧图像后，可以确定上述图像中的特征点对应的三维点与视觉传感器之间的相对尺度(也即三维点与视觉传感器之间的距离)，然后基于上述相对尺度进行定位初始化。
相关技术提供的定位初始化方案难以保持尺度一致性，后续进行定位与建图时，建图质量不佳且定位精度不足。
发明内容
本申请实施例提供一种定位初始化方法、装置、车辆以及存储介质。
第一方面，本申请实施例提供一种定位初始化方法，该方法包括：在图像采集装置采集的多帧图像中确定至少两帧目标图像，目标图像包括多个特征点；基于至少两帧目标图像的时间信息获取探测组件的探测数据，探测组件的探测数据包括多个目标点的空间位置信息；基于多个目标点的深度信息，确定多个特征点分别对应的三维点的空间位置信息；基于多个特征点分别对应的三维点的空间位置信息实现定位初始化。
第二方面，本申请实施例提供一种定位初始化装置，该装置包括：图像获取模块，用于在图像采集装置采集的多帧图像中确定至少两帧目标图像，目标图像包括多个特征点；数据获取模块，用于基于至少两帧目标图像的时间信息获取探测组件的探测数据，探测组件的探测数据包括多个目标点的空间位置信息；确定模块，用于基于多个目标点的空间位置信息，确定多个特征点分别对应的三维点的空间位置信息；初始化模块，用于基于多个特征点分别对应的空间位置信息实现定位初始化。
第三方面，本申请实施例提供一种车辆，车辆包括处理器；存储器；图像采集装置；探测组件；存储器存储有计算机程序指令，计算机程序指令被处理器调用执行第一方面所述的定位初始化方法。
第四方面，本申请实施例提供一种计算机可读存储介质，计算机可读存储介质中存储有程序代码，程序代码被处理器调用执行如第一方面所述的定位初始化方法。
本申请实施例提供一种定位初始化方法，通过获取包含多个特征点的目标图像，并基于目标图像的时间信息获取探测组件的探测数据，由于上述目标图像与探测组件的探测数据是时间同步的，目标图像中的特征点有较大概率是图像采集装置对探测组件探测到的目标点进行图像采集得到的，因此车辆可以基于目标点的空间位置信息来预测特征点对应的三维点的空间位置信息，最后基于特征点对应的三维点的空间位置信息来完成定位初始化，相比于相关技术中基于特征点的相对尺度(特征点与图像采集装置之间的距离)来完成定位初始化，本申请基于特征点的绝对尺度(特征点的深度信息)来进行定位初始化，能够有效改善定位初始化的尺度一致性，后续基于单目视觉进行定位与建图时，可以提升建图质量和定位准确性。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请一个实施例提供的实施环境的示意图。
图2是本申请一个实施例提供的定位初始化方法的流程图。
图3是本申请另一个实施例提供的定位初始化方法的流程图。
图4是本申请一个实施例提供的确定特征点的深度信息的示意图。
图5是本申请另一个实施例提供的定位初始化方法的流程图。
图6是本申请实施例提供的定位初始化装置的框图。
图7是本申请实施例提供的车辆的结构框图。
图8本申请实施例提供的计算机可读存储介质的结构框图。
具体实施方式
下面详细描述本申请的实施方式，实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性地，仅用于解释本申请，而不能理解为对本申请的限制。
为了使本技术领域的人员更好地理解本申请的方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整的描述。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
请参阅图1，其示出本申请一个实施例提供的实施环境的示意图。该实施环境包括：车辆100。车辆100是指以动力装置驱动或者牵引，供人员乘用或者用于运送物品的交通工具，车辆100可以是电动汽车、燃油汽车、混动汽车等，本申请实施例对此不作限定。在本申请实施例中，车辆100包括车身110和控制台120，车身100上设有图像采集装置130和至少一个探测组件140。
图像采集装置130用于采集车辆100的环境图像。图像采集装置110可以设置在车辆100的挡风玻璃上，也可以设置在车辆100的后视镜上，本申请实施例对此不作限定。需要说明的是，在本申请实施例中，图像采集装置110的数量为一个。可选地，图像采集装置130是设置在车辆100的挡风玻璃上的环视鱼眼摄像头。
探测组件140用于探测车辆100周侧的障碍物。探测组件140包括且不限于：激光雷达、毫米波雷达、超声波雷达等等。在本申请实施例中，仅以探测组件140为毫米波雷达为例进行说明。
毫米波雷达是工作在毫米波波段(millimeter wave)探测的雷达。本申请实施例对毫米波雷达的数量不作限定。在一个示例中，车辆100设有三个毫米波雷达，分别设置在车辆100的左侧尾部、右侧尾部以及前保险杠的中间位置。需要说明的是，车辆100设置的多个毫米波雷达中，存在至少一个毫米波雷达的探测范围与图像采集装置130的图像采集范围之间的重合部分，与图像采集装置130的图像采集范围的比例大于预设比例，预设比例可以根据实验或经验设定，其可以是60％-100％内的任意数值，比如80％。也即，图像采集装置130采集到的图像中的目标大概率能够被毫米波雷达探测到。
下面对毫米波雷达的工作原理进行阐述：毫米波雷达利用高频电路产生特定调制频率(FMCW)的电磁波，并通过天线发送电磁波和接收从目标反射回来的电磁波，从而实现对目标的测距、测速以及方位角(包括水平角度和垂直角度)测量。具体地，毫米波雷达根据多普勒效应，通过计算天线接收到的电磁波的频率变化，以实现对目标的测速；毫米波雷达计算电磁波从发射到接收的飞行时间，实现对目标的测距；毫米波雷达通过计算天线的阵列收到同一目标反射的电磁波的相位差，实现对目标的方位角测量。
由于基于单目视觉的车辆定位与地图构建方法具有尺度不确定性，也即基于一个图像采集装置130采集到的图像，只能确定图像中的特征点与车辆100之间的相对尺度(也即特征点与图像采集装置130之间的相对距离)，而不能确定上述特征点的绝对尺度(也即特征点的空间位置信息)。然而，基于图像中的特征点与车辆100之间的相对尺度进行定位初始化，尺度难以保持一致性，导致后续的建图质量较低，定位准确率较差。
在本申请实施例中，控制台120通过获取包含多个特征点的目标图像，并基于目标图像的时间信息获取探测组件140的探测数据，由于上述目标图像与探测组件140的探测数据是时间同步的，目标图像中的特征点有较大概率是图像采集装置130对探测组件140探测到的目标点进行图像采集得到的，因此车辆100可以基于目标点的空间位置信息来预测特征点对应的三维点的空间位置信息，最后基于特征点对应的三维点的空间位置信息来完成定位初始化，相比于相关技术中基于特征点的相对尺度(特征点与图像采集装置之间的距离)来完成定位初始化，本申请基于特征点的绝对尺度(特征点的深度信息)来进行定位初始化，能够有效改善定位初始化的尺度一致性，后续基于单目视觉进行定位与建图时，可以提升建图质量和定位准确性。
请参考图2，其示出本申请一个实施例提供的定位初始化方法的流程图。该方法包括如下步骤S201-S204。
步骤S201，在图像采集装置采集的多帧图像中确定至少两帧目标图像。
目标图像包括多个特征点。在图像处理中，特征点是指图像灰度值发生剧烈变化的点或者在图像边缘上曲率较大的点。在本申请实施例中，特征点的数量可以根据经验设定，其可以是大于100的任意数值，比如120。
图像采集装置可以在车辆上电后持续对车辆所处的环境进行图像采集，也可以在车辆存在自动驾驶需求或辅助驾驶需求的情况下(比如导航功能处于开启状态)持续对车辆所处的环境进行图像采集，还可以在接收到针对电子地图的查看指令后持续对车辆所处的环境进行图像采集。之后，车辆在图像采集装置采集的多帧图像中查找相邻两帧图像作为目标图像。
在一些实施例中，车辆通过如下步骤确定目标图像：在图像采集装置采集的多帧图像中以第一帧图像为起点，以一帧为步长开始搜索，依次获取相邻两帧图像，在相邻两帧图像中前一帧图像中的特征点的数量大于第一预设数量，并且，后一帧图像的特征点中与前一帧图像的特征点匹配的特征点的数量大于第二预设数量的情况下，将上述相邻两帧图像确定为目标图像，如果上述两个条件存在至少一个不满足的情况下(比如，前一帧图像中的特征点的数量小于或等于第一预设数量，或/及，后一帧图像的特征点中与前一帧图像的特征点匹配的特征点的数量小于或等于第二预设数量的情况下)，则选择下一个相邻两帧图像进行条件检测，直至筛选出满足上述两个条件的相邻两帧图像。
车辆对前一帧图像进行特征点识别所采用的算法包括且不限于：快速特征点提取和描述(Oriented Fast and Rotated Brief，ORB)算法、尺度不变特征变换(ScaleInvariant Feature Transform，SIFT)算法等。第二预设数量可以小于第一预设数量，也可以等于第一预设数量。第二预设数量和第一预设数量均可以根据经验设定，比如，第一预设数量为120，第二预设数量为100。
在另一些实施例中，车辆通过如下步骤确定目标图像：在图像采集装置采集的多帧图像中以第一个关键帧为起点开始搜索，获取关键帧以及该关键帧的相邻图像帧(相邻图像帧的采集时间戳晚于关键帧的采集时间戳)，在关键帧中的特征点的数量大于第三预设数量，并且，相邻图像帧的特征点中与关键帧的特征点匹配的特征点的数量大于第四预设数量的情况下，将关键帧和相邻图像帧确定为目标图像，如果上述两个条件存在至少一个不满足的情况下(比如，关键帧中的特征点的数量小于或等于第三预设数量，或/及，相邻图像帧的特征点中与关键帧的特征点匹配的特征点的数量小于或等于第四预设数量的情况下)，则选择下一个关键帧和该关键帧的相邻图像帧进行条件检测，直至筛选出满足上述两个条件的关键帧和该关键帧的相邻图像帧。
第四预设数量可以小于第三预设数量，也可以等于第三预设数量。第三预设数量和第四预设数量均可以根据经验设定，比如，第三预设数量为120，第四预设数量为100。
步骤S202，基于至少两帧目标图像的时间信息获取探测组件的探测数据。
探测组件的探测数据包括多个目标点的空间位置信息，其能够反映目标点在真实世界中的位置，其可以是目标点在三维直角坐标系下的坐标值，也可以是目标点在球面坐标系下的坐标值。
在探测组件为毫米波雷达的情况下，毫米波雷达先向外发射特定调制频率的电磁波信号，然后接收经由目标点发射的电磁波的回波信号，然后基于电磁波信号和回波信号的频率变化情况、电磁波信号的飞行时间、天线阵列接收到同一目标点发射的电磁波的相位差分别计算目标点的速度、目标点与毫米波雷达之间的距离、目标点的方位角，之后基于上述目标点与毫米波雷达之间的距离、目标点的方位角以及毫米波雷达在真实世界的三维坐标，确定目标点的空间位置信息。
探测组件在真实世界的三维坐标可以基于车辆的当前位置以及探测组件在车辆上的设置位置确定。车辆的当前位置可以通过车辆中的定位模块定位得到。
需要说明的是，在本申请实施例中，探测组件的探测数据和目标图像是时间同步的，也即，图像采集装置采集到目标图像的同时，探测组件获得探测数据。具体地，车辆获取目标图像的采集时间戳，然后基于目标图像的采集时间戳确定目标时段，然后获取探测组件在目标时段内探测数据。目标时段包括目标图像的采集时间戳。目标时段可以由车辆默认设定，也可以根据车辆的速度、探测组件的探测范围对应的电磁波飞行时间范围等动态设定。通过上述方式，可以确保探测组件探测到的目标点大概率是目标图像中的特征点，便于后续进行定位初始化。
步骤S203，基于多个目标点的空间位置信息，确定多个特征点分别对应的三维点的空间位置信息。
特征点对应的三维点的空间位置信息，其能够反映特征点对应的三维点在真实世界中的位置，其可以是特征点对应的三维点在三维直角坐标系下的坐标值，也可以是特征点点在球面坐标系下的坐标值。
在本申请实施例中，基于探测组件的探测数据中目标点的空间位置信息，可以预测出特征点对应的三维点的空间位置信息，能够有效改善定位初始化的尺度一致性，后续基于单目视觉进行定位与建图时，可以提升建图质量和定位准确性。此外，一方面由于探测组件的成本较低，易于在车辆上进行布置，可以大面积推广，具有较高的应用价值。另一方面，探测组件的探测数据的数据量相对较少，车辆在进行定位初始化时需要消耗的计算资源较少。
步骤S204，基于特征点分别对应的三维点的空间位置信息进行定位初始化。
在本申请实施例中，车辆基于特征点对应的三维点的空间位置信息进行非线性优化，从而实现定位初始化。其中，非线性优化所采用的算法包括且不限于：贝叶斯算法、卡尔曼滤波算法、LM(Levenberg-Marquardt)算法。
车辆在完成定位初始化之后，还可以生成电子地图。生成电子地图的方式可以包括如下三种。
在一些实施例中，车辆在确定出特征点对应的三维点的空间位置信息后生成初始地图，基于图像采集装置采集到的图像对目标图像中的特征点进行跟踪，根据跟踪结果对初始地图进行更新，得到电子地图。
在另一些实施例中，车辆基于探测组件的探测数据和图像采集装置采集到的多帧图像，生成电子地图。具体地，车辆基于探测组件的探测数据可以确定图像采集装置采集的多帧图像中的大部分特征点的空间位置信息，然后基于上述大部分特征点的空间位置信息生成电子地图。该种实施方式相比于前一种实施方式，可以克服图像追踪过程中产生的漂移，从而提升建图质量。
在又一些实施例中，车辆还可以基于上述两种实施方式的结合来生成电子地图，具体地，车辆先基于图像采集装置采集到的图像对目标图像中的特征点进行跟踪，然后按照预定周期获取探测组件的探测数据来对跟踪结果进行校正，以获取更为准确的电子地图。
综上所述，本申请实施例提供的技术方案，通过获取包含多个特征点的目标图像，并基于目标图像的时间信息获取探测组件的探测数据，由于上述目标图像与探测组件的探测数据是时间同步的，目标图像中的特征点有较大概率是图像采集装置对探测组件探测到的目标点进行图像采集得到的，因此车辆可以基于目标点的空间位置信息来预测特征点对应的三维点的空间位置信息，最后基于特征点对应的三维点的空间位置信息来完成定位初始化，相比于相关技术中基于特征点的相对尺度(特征点与图像采集装置之间的距离)来完成定位初始化，本申请基于特征点的绝对尺度(特征点的深度信息)来进行定位初始化，能够有效改善定位初始化的尺度一致性，后续基于单目视觉进行定位与建图时，可以提升建图质量和定位准确性。
请参阅图3，其示出本申请一个实施例提供的定位初始化方法的流程图。在该实施例中，图2实施例中的步骤S203替换实现为步骤S303-S305。该方法包括如下步骤S301-S306。
步骤S301，在图像采集装置采集的多帧图像中确定至少两帧目标图像。
目标图像包括多个特征点。
步骤S302，基于目标图像的时间信息获取探测组件的探测数据。
探测组件的探测数据包括多个目标点的深度信息，目标点的深度信息用于描述目标点的空间位置信息。
步骤S303，基于参考帧和观测帧对参考帧中的特征点进行三角化处理，得到参考帧中的特征点对应的三维点。
在本申请实施例中，至少两帧目标图像包括参考帧和观测帧。参考帧是相邻两帧目标图像中的前一帧目标图像。观测帧是相邻两帧目标图像中的后一帧图像。观测帧中存在一部分特征点与参考帧中的特征点一一对应。
车辆基于参考帧和观测帧，可以观测参考帧中特征点的距离变化情况和方向变化情况，以及上述特征点的描述子的距离变化情况以及方向变化情况，此外车辆还对三维点的距离变化情况和方向变化情况，以及三维点的描述子的距离变化情况和方向变化情况进行监测，若特征点的描述子的距离变化情况与三维点的描述子的距离变化情况匹配，且特征点的描述子的方向变化情况与三维点的描述子的方向变化匹配，则将该三维点确定为特征点对应的三维点。
请参阅图4，其示出本申请一个实施例提供的确定特征点的深度信息的示意图。车辆对特征点进行三角化处理，得到该特征点对应的三维点V。
步骤S304，在多个目标点中确定与三维点匹配的指定目标点。
指定目标点用于确定三维点的空间位置信息。在一些实施例中，步骤S304可以包括如下子步骤。
步骤S304a，对三维点进行坐标转换，得到三维点在指定坐标系下的第一坐标。
在本申请实施例中，指定坐标系是指以图像采集装置为原点的球面坐标系，三维点在指定坐标系下的第一坐标包括以下内容：三维点与图像采集装置之间的距离、三维点相对于图像采集装置的方位角，以及三维点相对于图像采集装置的仰角。
步骤S304b，获取目标点在指定坐标系下的投影点的第二坐标。
目标点的投影点在指定球面的切线方向，与指定连线互相垂直。指定球面是指以图像采集装置为球心，半径为三维点与图像采集装置之间的距离的球面。指定连线是指投影点与目标点之间的连线。
投影点在指定坐标系下的第二坐标包括以下内容：投影点与图像采集装置之间的距离、投影点相对于图像采集装置的方位角，以及投影点相对于图像采集装置的仰角。
步骤S304c，基于第一坐标和第二坐标，确定三维点和投影点之间的距离。
车辆可以对第一坐标进行坐标转换，得到三维点在目标坐标下的第三坐标，然后对第二坐标进行坐标转换，得到目标点的投影点在目标坐标系下的第四坐标，然后基于两点间的距离公式，计算三维点和投影点之间的距离。目标坐标系可以是以图像采集装置为原点的三维直角坐标系。
在一个示例中，三维点在指定坐标系下的第一坐标为对其进行坐标转换，得到的第三坐标为(x1，y1，z1)，投影点在指定坐标下的第二坐标为/>对其进行坐标转换，得到的第四坐标(x2，y2，z2)。最后，基于如下计算式计算目标点和投影点之间的距离d。
步骤S304d，将与三维点之间的距离最小的三个投影点分别对应的目标点，确定为与三维点匹配的指定目标点。
请再次参阅图4，与三维点之间的距离最小的三个投影点分别为A/、B/、C/，则投影点A/对应的目标点A、投影点B/对应的目标点B、投影点C/对应的目标点C为与三维点V匹配的指定目标点。
步骤S305，基于指定目标点的空间位置信息确定参考帧中的特征点对应的三维点的空间位置信息。
在一些实施例中，步骤S305可以替代实现为如下子步骤：
步骤S305a，基于指定目标点的空间位置信息，确定目标线段的长度。
目标线段是指连接指定坐标系的原点、三维点、目标交点的直线线段，目标交点是指指定坐标系的原点与三维点之间的连线的延长线与目标平面的交点，目标平面是基于指定目标点确定的平面。
请再次参阅图4，目标线段是指连接指定坐标系的原点O、三维点V、目标交点X的直线线段。目标平面是目标点A、目标点B、目标点C所在的平面。
步骤S305b，基于目标线段的长度，确定特征点对应的三维点的空间位置信息。
特征点对应的三维点的空间位置信息信息可以采用特征点对应的三维点在上述指定坐标系的第五坐标表示，特征点对应的三维点在指定坐标系下的第五坐标包括以下内容：该三维点与图像采集装置之间的距离(也即目标线段的长度)、该三维点相对于图像采集装置的方位角(与三维点相对于图像采集装置的方位角相同)，以及投影点相对于图像采集装置的仰角(与三维点相对于图像采集装置的仰角相同)。
步骤S306，基于多个特征点分别对应的三维点的空间位置信息实现定位初始化。
综上所述，本申请实施例提供的技术方案，通过将三维点的坐标和目标点的投影点的坐标转换至相同坐标系下，以减少计算特征点的深度信息的计算量，提高计算效率。
请参阅图5，其示出本申请一个实施例提供的定位初始化方法的流程图。在该实施例中，图2实施例中的步骤S202可以替换实现为步骤S502-S503，或者，步骤S504-S506。该方法包括如下步骤S501-S508。
步骤S501，在图像采集装置采集的多帧图像中确定至少两帧目标图像。
目标图像包括多个特征点。
步骤S502，基于图像采集装置的图像采集范围，在多个探测组件中确定第一目标探测组件。
可选地，车辆将探测范围与图像采集范围的重合部分与图像采集范围之间的比值大于预设比值的探测组件，确定为第一目标探测组件。预设比值可以是60％-100％之间的任意数值，比如80％。
探测组件的探测范围与图像采集范围大部分重合时，探测组件探测到的目标点大概率也能被图像采集装置采集到。相反地，探测组件的探测范围与图像采集范围几乎不重合时，探测组件探测到的目标点通常不会被图像采集装置采集到。基于上述理由，车辆仅选择探测范围与图像采集范围大部分重合的第一目标探测组件的探测数据进行后续的计算，可以去除探测组件的探测数据中的冗余数据，减少计算数据，从而提高计算效率。
步骤S503，基于至少两帧目标图像的时间信息获取第一目标探测组件的探测数据。
第一目标探测组件的探测数据用于实现定位初始化。
步骤S504，基于至少两帧目标图像，确定多个特征点与图像采集装置的相对位置关系。
步骤S505，基于多个特征点与图像采集装置的相对位置关系，在多个探测组件中确定第二目标探测组件。
由于探测组件在车辆上的位置以及图像采集装置在车辆上的位置是固定的，探测组件与图像采集装置的相对位置关系为已知量，因此在多个特征点与图像采集装置的相对位置关系可以推断出多个特征点与探测组件的相对位置关系，之后车辆将探测数据中目标点与探测组件之间的相对位置关系，与上述多个特征点与探测组件的相对位置关系之间的误差小于预设数值的探测组件，确定为第二探测组件。通过上述方式，可以去除探测组件的探测数据中的冗余数据，减少计算数据，从而提高计算效率。
比如，特征点与图像采集装置的相对距离为10米，基于探测组件A与图像采集装置的相对位置关系可以推断，特征点与探测组件A的相对距离为9米，若探测组件A探测到的目标点与自身的距离在9米附近，则说明图像采集装置采集到的特征点大概率是对探测组件A探测到的目标点进行采集到的，则将探测组件A确定为第二目标探测组件。
步骤S506，基于至少两帧目标图像的时间信息获取第二目标探测组件的探测数据。
第二目标探测组件的探测数据用于实现定位初始化。
步骤S507，基于多个目标点的空间位置信息，确定多个特征点分别对应的三维点的空间位置信息。
在一些实施例中，在车辆执行步骤S502-S503的情况下，则基于第一目标探测组件的探测数据中的多个目标点的空间位置信息，确定多个特征点分别对应的三维点的空间位置信息。在另一些实施例中，在车辆执行步骤步骤S504-S506的情况下，则基于第二目标探测组件的探测数据中的多个目标点的空间位置信息，确定多个特征点分别对应的三维点的空间位置信息信息。确定过程可以参见图2和图3实施例，此处不作赘述。
步骤S508，基于多个特征点分别对应的空间位置信息实现定位初始化。
综上所述，本申请实施例提供的技术方案，在多个探测组件中确定出第一目标探测组件，基于第一目标探测组件的探测数据中的多个目标点的空间位置信息，确定多个特征点的空间位置信息，或者，在多个探测组件中确定出第二目标探测组件，基于第二目标探测组件的探测数据中的多个目标点的空间位置信息，确定多个特征点的空间位置信息，可以去除探测组件的探测数据中的冗余数据，减少计算数据，从而提高计算效率。
请参阅图6，其示出本申请一个实施例提供的定位初始化装置的框图。该装置应用于车辆，该车辆包括图像采集装置和探测组件，该装置包括：图像获取模块610、数据获取模块620、深度信息确定模块630和初始化模块640。
图像获取模块610，用于在图像采集装置采集的多帧图像中确定至少两帧目标图像，目标图像包括多个特征点。
数据获取模块620，用于基于至少两帧目标图像的时间信息获取探测组件的探测数据，探测组件的探测数据包括多个目标点的空间位置信息。
确定模块630，用于基于多个目标点的深度信息，确定多个特征点分别对应的三维点的空间位置信息。
初始化模块640，用于基于多个特征点分别对应的三维点的空间位置信息实现定位初始化。
综上所述，本申请实施例提供的技术方案，通过获取包含多个特征点的目标图像，并基于目标图像的时间信息获取探测组件的探测数据，由于上述目标图像与探测组件的探测数据是时间同步的，目标图像中的特征点有较大概率是图像采集装置对探测组件探测到的目标点进行图像采集得到的，因此车辆可以基于目标点的空间位置信息来预测特征点对应的三维点的空间位置信息，最后基于特征点对应的三维点的空间位置信息来完成定位初始化，相比于相关技术中基于特征点的相对尺度(特征点与图像采集装置之间的距离)来完成定位初始化，本申请基于特征点的绝对尺度(特征点的深度信息)来进行定位初始化，能够有效改善定位初始化的尺度一致性，后续基于单目视觉进行定位与建图时，可以提升建图质量和定位准确性。
在一些实施例中，至少两帧目标图像包括参考帧和观测帧，深度信息确定模块630，用于：基于参考帧和观测帧对参考帧中的特征点进行三角化处理，得到特征点对应的三维点；在多个目标点中确定与三维点匹配的指定目标点；基于指定目标点的空间位置信息确定特征点对应的三维点的空间位置信息。
在一些实施例中，确定模块630，用于：对三维点进行坐标转换，得到三维点在指定坐标系下的第一坐标；获取目标点的投影点在指定坐标系下的第二坐标；基于第一坐标和第二坐标，确定三维点和投影点之间的距离；将与三维点之间的距离最小的三个投影点分别对应的目标点，确定为与三维点匹配的指定目标点。
在一些实施例中，确定模块630，用于：基于指定目标点的空间位置信息，确定目标线段的长度；其中，目标线段是指连接指定坐标系的原点、三维点、目标交点的直线线段，目标交点是指指定坐标系的原点与三维点之间的连线的延长线与目标平面的交点，目标平面是基于指定目标点确定的平面；基于目标线段的长度，确定特征点对应的三维点的空间位置信息。
在一些实施例中，数据获取模块620，用于基于图像采集装置的图像采集范围，在多个探测组件中确定第一目标探测组件；基于至少两帧目标图像的时间信息获取第一目标探测组件的探测数据，第一目标探测组件的探测数据用于实现定位初始化。
在一些实施例中，数据获取模块620，用于基于至少两帧目标图像，确定多个特征点与图像采集装置的相对位置关系；基于多个特征点与图像采集装置的相对位置关系，在多个探测组件中确定第二目标探测组件；基于至少两帧目标图像的时间信息获取第二目标探测组件的探测数据，第二目标探测组件的探测数据用于实现定位初始化。
在一些实施例中，装置还包括：建图模块(图中未示出)。建图模块，用于基于探测组件的探测数据和图像采集装置采集的多帧图像，生成电子地图。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述装置和模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，模块相互之间的耦合可以是电性，机械或其它形式的耦合。
另外，在本申请各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。
如图7所示，本申请示例还提供一种车辆700，该车辆700包括处理器710、存储器720、图像采集装置和探测组件。其中，存储器720存储有计算机程序指令。
处理器710可以包括一个或者多个处理核。处理器710利用各种接口和线路连接整个电池管理系统内的各种部分，通过运行或执行存储在存储器720内的指令、程序、代码集或指令集，以及调用存储在存储器720内的数据，执行电池管理系统的各种功能和处理数据。可选地，处理器710可以采用数字信号处理(Digital Signal Processing，DSP)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)、可编程逻辑阵列(ProgrammableLogic Array，PLA)中的至少一种硬件形式来实现。处理器710可集成中央处理器710(Central Processing Unit，CPU)、图像处理器710(Graphics Processing Unit，GPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责显示内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器710中，单独通过一块通信芯片进行实现。
存储器720可以包括随机存储器720(Random Access Memory，RAM)，也可以包括只读存储器720(Read-Only Memory)。存储器720可用于存储指令、程序、代码、代码集或指令集。存储器720可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现下述各种方法示例的指令等。存储数据区还可以存储净饮水设备在使用中所创建的数据(比如电话本、音视频数据、聊天记录数据)等。
请参阅图8，其示出了本申请实施例还提供一种计算机可读存储介质800，该计算机可读存储介质800中存储有计算机程序指令810，计算机程序指令810可被处理器调用以执行上述实施例中所描述的方法。
计算机可读存储介质800可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。可选地，计算机可读存储介质800包括非易失性计算机可读存储介质(non-transitory computer-readable storage medium)。计算机可读存储介质800具有执行上述方法中的任何方法步骤S的计算机程序指令810的存储空间。这些计算机程序指令810可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。计算机程序指令810可以以适当形式进行压缩。
以上，仅是本申请的较佳示例而已，并非对本申请作任何形式上的限制，虽然本申请已以较佳示例揭示如上，然而并非用以限定本申请，任何本领域技术人员，在不脱离本申请技术方案范围内，当可利用上述揭示的技术内容做出些许更动或修饰为等同变化的等效示例，但凡是未脱离本申请技术方案内容，依据本申请的技术实质对以上示例所作的任何简介修改、等同变化与修饰，均仍属于本申请技术方案的范围内。
Claims (10)
1.一种定位初始化方法，其特征在于，所述方法包括：
在图像采集装置采集的多帧图像中确定至少两帧目标图像，所述目标图像包括多个特征点；
基于至少两帧所述目标图像的时间信息获取探测组件的探测数据，所述探测组件的探测数据包括多个目标点的空间位置信息；
基于多个所述目标点的空间位置信息，确定多个所述特征点分别对应的三维点的空间位置信息；
基于多个所述特征点分别对应的三维点的空间位置信息实现定位初始化。
2.根据权利要求1所述的方法，其特征在于，至少两帧所述目标图像包括参考帧和观测帧，所述基于多个所述目标点的空间位置信息，确定多个所述特征点分别对应的三维点的空间位置信息，包括：
基于所述参考帧和所述观测帧对所述参考帧中的特征点进行三角化处理，得到所述参考帧中的特征点对应的三维点；
在多个所述目标点中确定与所述三维点匹配的指定目标点；
基于所述指定目标点的空间位置信息确定所述参考帧中的特征点对应的三维点的空间位置信息。
3.根据权利要求2所述的方法，其特征在于，所述在多个所述目标点中确定与所述三维点匹配的指定目标点，包括：
对所述三维点进行坐标转换，得到所述三维点在指定坐标系下的第一坐标；
获取所述目标点的投影点在所述指定坐标系下的第二坐标；
基于所述第一坐标和所述第二坐标，确定所述三维点和所述投影点之间的距离；
将与所述三维点之间的距离最小的三个投影点分别对应的目标点，确定为与所述三维点匹配的指定目标点。
4.根据权利要求3所述的方法，其特征在于，所述基于所述指定目标点的空间位置信息确定所述参考帧中的特征点对应的三维点的空间位置信息，包括：
基于所述指定目标点的空间位置信息，确定目标线段的长度；其中，所述目标线段是指连接所述指定坐标系的原点、所述三维点、目标交点的直线线段，所述目标交点是指所述指定坐标系的原点与所述三维点之间的连线的延长线与目标平面的交点，所述目标平面是基于所述指定目标点确定的平面；
基于所述目标线段的长度，确定所述参考帧中的特征点对应的三维点的空间位置信息。
5.根据权利要求1至4任一项所述的方法，其特征在于，所述探测组件的数量为多个，所述基于至少两帧所述目标图像的时间信息获取所述探测组件的探测数据，包括：
基于所述图像采集装置的图像采集范围，在多个所述探测组件中确定第一目标探测组件；
基于至少两帧所述目标图像的时间信息获取所述第一目标探测组件的探测数据，所述第一目标探测组件的探测数据用于实现定位初始化。
6.根据权利要求1至4任一项所述的方法，其特征在于，所述探测组件的探测数据为多个，所述基于至少两帧所述目标图像的时间信息获取所述探测组件的探测数据，包括：
基于至少两帧所述目标图像，确定多个所述特征点与所述图像采集装置的相对位置关系；
基于多个所述特征点与所述图像采集装置的相对位置关系，在多个所述探测组件中确定第二目标探测组件；
基于至少两帧所述目标图像的时间信息获取所述第二目标探测组件的探测数据，所述第二目标探测组件的探测数据用于实现定位初始化。
7.根据权利要求1至4任一项所述的方法，其特征在于，所述基于多个所述特征点分别对应的三维点的空间位置信息实现定位初始化之后，还包括：
基于所述探测组件的探测数据和所述图像采集装置采集的多帧图像，生成电子地图。
8.一种定位初始化装置，其特征在于，所述装置包括：
图像获取模块，用于在图像采集装置采集的多帧图像中确定至少两帧目标图像，所述目标图像包括多个特征点；
数据获取模块，用于基于至少两帧所述目标图像的时间信息获取探测组件的探测数据，所述探测组件的探测数据包括多个目标点的空间位置信息；
确定模块，用于基于多个所述目标点的空间位置信息，确定多个所述特征点分别对应的三维点的空间位置信息；初始化模块，用于基于多个所述特征点分别对应的空间位置信息实现定位初始化。
9.一种车辆，其特征在于，所述车辆包括：
处理器；
存储器；
图像采集装置；
探测组件；
所述存储器存储有计算机程序指令，所述计算机程序指令被所述处理器调用执行如权利要求1至7任一项所述的定位初始化方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有程序代码，所述程序代码被处理器调用执行如权利要求1-7任一项所述的定位初始化方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211200809.XA CN117830388A (zh) | 2022-09-29 | 2022-09-29 | 定位初始化方法、装置、车辆以及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211200809.XA CN117830388A (zh) | 2022-09-29 | 2022-09-29 | 定位初始化方法、装置、车辆以及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117830388A true CN117830388A (zh) | 2024-04-05 |
Family
ID=90505000
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211200809.XA Pending CN117830388A (zh) | 2022-09-29 | 2022-09-29 | 定位初始化方法、装置、车辆以及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117830388A (zh) |
-
2022
- 2022-09-29 CN CN202211200809.XA patent/CN117830388A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11927668B2 (en) | Radar deep learning | |
| CN109490825B (zh) | 定位导航方法、装置、设备、系统及存储介质 | |
| CN109975773B (zh) | 毫米波雷达标定方法、装置、设备和存储介质 | |
| KR101809067B1 (ko) | 마이크로파워 임펄스 레이더를 사용한 모바일 디스플레이 포지션 및 배향의 판정 기법 | |
| EP3324209A1 (en) | Methods and systems for vehicle environment map generation and updating | |
| CN108875804B (zh) | 一种基于激光点云数据的数据处理方法和相关装置 | |
| US11544940B2 (en) | Hybrid lane estimation using both deep learning and computer vision | |
| WO2021016854A1 (zh) | 一种标定方法、设备、可移动平台及存储介质 | |
| CN112013877B (zh) | 毫米波雷达与惯性测量单元的检测方法及相关装置 | |
| US10514456B2 (en) | Radar aided visual inertial odometry outlier removal | |
| CN103175525A (zh) | 基于电子海图和导航数据的雷达图像模拟系统和方法 | |
| US10802122B1 (en) | Methods and systems for calibration of multiple lidar devices with non-overlapping fields of view | |
| CN113391305B (zh) | 多雷达融合的虚假目标抑制方法、装置及终端设备 | |
| Iqbal et al. | Imaging radar for automated driving functions | |
| WO2022083529A1 (zh) | 一种数据处理方法及装置 | |
| JP2016014652A (ja) | 状況的可視化のための電磁識別（ｅｍｉｄ）タグを用いた部品の位置決め | |
| US11561553B1 (en) | System and method of providing a multi-modal localization for an object | |
| CN117830388A (zh) | 定位初始化方法、装置、车辆以及存储介质 | |
| CN116091700A (zh) | 三维重建方法、装置、终端设备及计算机可读介质 | |
| CN112651405B (zh) | 目标检测方法及装置 | |
| CN111664860B (zh) | 定位方法、装置、智能设备及存储介质 | |
| CN115131756A (zh) | 一种目标检测方法及装置 | |
| JP6266882B2 (ja) | 追尾支援装置 | |
| CN115248446A (zh) | 一种基于激光雷达的三维超声成像方法和系统 | |
| US20240149992A1 (en) | Navigational information displaying device, navigational information displaying method, and a non-transitory computer-readable medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |