CN117232550A - 多传感器的空间基准标定方法及装置 - Google Patents
多传感器的空间基准标定方法及装置 Download PDFInfo
- Publication number
- CN117232550A CN117232550A CN202310953780.0A CN202310953780A CN117232550A CN 117232550 A CN117232550 A CN 117232550A CN 202310953780 A CN202310953780 A CN 202310953780A CN 117232550 A CN117232550 A CN 117232550A
- Authority
- CN
- China
- Prior art keywords
- characteristic element
- combination
- characteristic
- calibration
- reference calibration
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 64
- 230000007613 environmental effect Effects 0.000 claims abstract description 59
- 238000004422 calculation algorithm Methods 0.000 claims description 31
- 238000012549 training Methods 0.000 claims description 19
- 238000007637 random forest analysis Methods 0.000 claims description 14
- 230000004438 eyesight Effects 0.000 claims description 13
- 238000012360 testing method Methods 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 11
- 238000004364 calculation method Methods 0.000 claims description 9
- 238000012015 optical character recognition Methods 0.000 claims description 7
- 238000013135 deep learning Methods 0.000 claims description 6
- 238000004140 cleaning Methods 0.000 claims description 5
- 230000007547 defect Effects 0.000 abstract description 2
- 230000004927 fusion Effects 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 238000003066 decision tree Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000003416 augmentation Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000004313 glare Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000002790 cross-validation Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本发明提供一种多传感器的空间基准标定方法及装置，该方法包括：根据当前环境条件，从预设的特征要素组合模板库中确定特征要素组合模板，每种环境条件都配置有与之对应的特征要素组合模板；根据多传感器数据获取特征要素，并根据所述特征要素组合模板生成特征要素组合；将所述特征要素组合输入空间基准标定模型，得到用于空间基准标定的所述特征要素组合对应的标定参数；其中，所述空间基准标定模型基于特征要素样本组合，以及所述特征要素样本组合对应的标定参数作为标签训练得到。用以解决现有技术中多传感器的空间基准不统一的缺陷，实现多传感器的空间基准高精度标定。
Description
技术领域
本发明涉及定位分析技术领域，尤其涉及一种多传感器的空间基准标定方法及装置。
背景技术
随着自动驾驶、智能机器人等技术的不断发展，对于复杂场景下的高精度定位需求日益增加。然而，现有的定位技术在GNSS(Global Navigation Satellite System，全球导航卫星系统)信号遮挡、阴影、眩光等复杂环境下的定位精度和鲁棒性存在巨大挑战。为了解决这些问题，多传感器融合技术逐渐成为研究热点。通过结合多个传感器，如GNSS、IMU(Inertial measurement unit，惯性测量单元)和相机等获取的数据，并利用各种融合算法进行处理，可以提高定位结果的准确性和鲁棒性。
但是，现有的多传感器融合定位技术仍然存在一些挑战，如各传感器之间的空间基准标定；阴影、眩光等复杂环境下定位精度的保证与维持等问题。采用多传感器融合进行导航定位时，GNSS、IMU和相机等传感器具有独立的时钟源和坐标系统，且各传感器之间存在采样频率和采集时间的差异。为实现多传感器数据的有效融合，在进行导航解算时，需要在多传感器高度集成的基础上同时采用一定的技术手段将各传感器的多源数据统一于同空间基准下，保证各传感器数据同步，从而才能更有效的、更准确的实现复杂场景下的高精度定姿与定位。因此，各传感器之间的高精度空间基准标定非常重要，多传感器空间基准标定是多源融合高精度定位定姿的基础。在复杂定位环境多传感器空间基准统一方面，不同传感器之间很难精确安置，比如相机Z轴和IMU的Y轴都指向前方，但是实际安装时，不能做到两者完全一致，因此需要对各传感器之间的旋转和平移参数进行精确标定，但常规的离线标定方法并不能很好的适应传感器参数和环境变化，使得多类不同传感器的空间基准不统一，难以有效进行传感器数据融合。
发明内容
本发明提供一种多传感器的空间基准标定方法及装置，用以解决现有技术中多传感器的空间基准不统一的缺陷，实现多传感器的空间基准高精度标定。
本发明提供一种多传感器的空间基准标定方法，包括：
根据当前环境条件，从预设的特征要素组合模板库中确定特征要素组合模板，每种环境条件都配置有与之对应的特征要素组合模板；
根据多传感器数据获取特征要素，并根据所述特征要素组合模板生成特征要素组合；
将所述特征要素组合输入空间基准标定模型，得到用于空间基准标定的所述特征要素组合对应的标定参数；
其中，所述空间基准标定模型基于特征要素样本组合，以及所述特征要素样本组合对应的标定参数作为标签训练得到。
根据本发明提供的一种多传感器的空间基准标定方法，所述多传感器数据包括：GNSS数据、IMU数据和双目视觉数据，所述特征要素包括：特征点、特征线、语义特征和文字特征；
所述根据多传感器数据获取特征要素，包括：
以所述GNSS数据和IMU数据作为参考，从所述双目视觉数据中分别获取特征点、特征线、语义特征和文字特征。
根据本发明提供的一种多传感器的空间基准标定方法，所述特征点和特征线通过SIFT算法或SURT算法获取，所述语义特征通过深度学习算法获取，所述文字特征通过光学字符识别获取。
根据本发明提供的一种多传感器的空间基准标定方法，所述空间基准标定模型的训练包括：
对多传感器样本数据进行数据清洗和去噪；
根据所述多传感器样本数据获取特征要素样本，并获取各所述特征要素样本对应的标定参数；
根据各所述特征要素样本对应的标定参数之间的差值确定不同环境条件下的特征要素样本组合，合并所述特征要素样本组合中各所述特征要素样本组合对应的标定参数，作为所述特征要素样本组合对应的标定参数；
基于所述特征要素样本组合，以及所述特征要素样本组合对应的标定参数作为标签，通过随机森林算法训练得到空间基准标定模型。
根据本发明提供的一种多传感器的空间基准标定方法，所述通过随机森林算法训练得到空间基准标定模型之后，还包括：
通过计算标定误差评估所述空间基准标定模型的性能。
根据本发明提供的一种多传感器的空间基准标定方法，所述通过计算标定误差评估所述空间基准标定模型的性能，包括：
将所述特征要素样本组合输入至所述空间基准标定模型，以得到测试标定参数；
将所述测试标定参数中各特征点在3D世界坐标系中的位置点投影到2D图像平面上，并计算各特征点的投影点与各特征点对应实际图像中检测到的位置点间的距离；
计算所有特征点的平均重投影误差评估所述测试标定参数的准确性，以评估所述空间基准标定模型的性能，计算公式为：
其中，E表示平均重投影误差，N表示特征点的三维点和对应的二维点的数量，(x,y)表示二维点的坐标，(x′,y′)表示将三维点投影到2D图像平面上得到的对应点的坐标。
根据本发明提供的一种多传感器的空间基准标定方法，所述得到用于空间基准标定的所述特征要素组合对应的标定参数之后，还包括：
将所述特征要素组合和所述特征要素组合对应的标定参数作为样本加入到所述空间基准标定模型的样本集。
本发明还提供一种多传感器的空间基准标定装置，包括：
模板确定模块，根据当前环境条件，从预设的特征要素组合模板库中确定特征要素组合模板，每种环境条件都配置有与之对应的特征要素组合模板；
组合生成模块，根据多传感器数据获取特征要素，并根据所述特征要素组合模板生成特征要素组合；
组合输入模块，将所述特征要素组合输入空间基准标定模型，得到用于空间基准标定的所述特征要素组合对应的标定参数；
其中，所述空间基准标定模型基于特征要素样本组合，以及所述特征要素样本组合对应的标定参数作为标签训练得到。
本发明还提供一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一项所述的多传感器的空间基准标定方法。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述任一项所述的多传感器的空间基准标定方法。
本发明提供的一种多传感器的空间基准标定方法及装置，通过当前环境条件首先确定特征要素组合模板，每种环境条件都配置有与之对应的特征要素组合模板，根据不同的环境条件选取对应的特征要素组合模板以得到准确的空间基准标定参数。然后从多传感器数据中获取特征要素，并根据特征要素组合模板生成所需的特征要素组合。最后将特征要素组合输入空间基准标定模型，得到用于空间基准标定的特征要素组合对应的标定参数，以解决多传感器的空间基准不统一的问题。其中，空间基准标定模型基于特征要素样本组合，以及特征要素样本组合对应的标定参数作为标签训练得到。通过空间基准标定模型能够实时计算出当前环境条件下的空间基准标定参数，实现多传感器的空间基准高精度在线标定，无需离线采集大量的标定数据，提高的空间基准标定的效率和实时性，为不同环境条件下的高精度定位提供良好的前提条件。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的多传感器的空间基准标定方法的流程示意图之一；
图2是本发明提供的多传感器的空间基准标定方法的流程示意图之二；
图3是本发明提供的多传感器的空间基准标定装置的结构示意图；
图4是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面结合图1和图2描述本发明第一实施例的多传感器的空间基准标定方法。
如图1所示，本实施例的一种多传感器的空间基准标定方法，具体包括以下步骤(本发明对各步骤的编号仅做步骤区分作用，不限制各步骤的具体执行顺序)：
步骤S1：根据当前环境条件，从预设的特征要素组合模板库中确定特征要素组合模板，每种环境条件都配置有与之对应的特征要素组合模板。
根据当前的环境条件，例如室内、商业街、道路和极端情况等，从预设的特征要素组合模板库中确定特征要素组合模板。其中，每种环境条件都配置有与之对应的特征要素组合模板，根据不同的环境条件选取对应的特征要素组合模板，该特征要素组合模板中各特征要素之间的契合度较高，能够得到相对准确的空间基准标定参数。
步骤S2：根据多传感器数据获取特征要素，并根据所述特征要素组合模板生成特征要素组合。
根据当前环境条件下的多传感器数据，从中获取各特征要素，然后根据确定的特征要素组合模板对获取的各特征要素进行组合，以生成所需的特征要素组合。
步骤S3：将所述特征要素组合输入空间基准标定模型，得到用于空间基准标定的所述特征要素组合对应的标定参数。
将生成的特征要素组合输入预设的空间基准标定模型，得到用于空间基准标定的特征要素组合对应的标定参数，以解决当前环境条件下多传感器的空间基准不统一的问题。
其中，所述空间基准标定模型基于特征要素样本组合，以及所述特征要素样本组合对应的标定参数作为标签训练得到。
本发明第一实施例提供的一种多传感器的空间基准标定方法，通过当前环境条件首先确定特征要素组合模板，每种环境条件都配置有与之对应的特征要素组合模板，根据不同的环境条件选取对应的特征要素组合模板以得到准确的空间基准标定参数。然后从多传感器数据中获取特征要素，并根据特征要素组合模板生成所需的特征要素组合。最后将特征要素组合输入空间基准标定模型，得到用于空间基准标定的特征要素组合对应的标定参数，以解决多传感器的空间基准不统一的问题。其中，空间基准标定模型基于特征要素样本组合，以及特征要素样本组合对应的标定参数作为标签训练得到。通过空间基准标定模型能够实时计算出当前环境条件下的空间基准标定参数，实现多传感器的空间基准高精度在线标定，无需离线采集大量的标定数据，提高的空间基准标定的效率和实时性，为不同环境条件下的高精度定位提供良好的前提条件。
本实施例中，所述多传感器数据包括：GNSS数据、IMU数据和双目视觉数据，所述特征要素包括：特征点、特征线、语义特征和文字特征；
所述根据多传感器数据获取特征要素，包括：
以所述GNSS数据和IMU数据作为参考，从所述双目视觉数据中分别获取特征点、特征线、语义特征和文字特征。
本实施例中的多传感器数据包括GNSS数据、IMU数据和双目视觉数据，特征要素包括特征点、特征线、语义特征和文字特征。特征要素主要从双目视觉数据通过图像识别的方法获取，在从双目视觉数据中获取特征点、特征线、语义特征和文字特征等特征要素的过程中，GNSS数据和IMU数据能够为上述特征要素的识别获取提供参考和辅助，以提高上述特征要素获取的准确性。以IMU为例，IMU与相机刚性连接后，在delta范围内，利用IMU的运动信息和影像信息可以推算路标点的的3D坐标，进而反算为2D坐标，通过图上2D坐标与反算坐标进行最小化评价，可以获得两者之间的杆臂差值，以提高从图像数据中获取特征要素的准确性，同时还可以获得IMU的误差参数。
本实施例中，所述特征点和特征线通过SIFT算法或SURT算法获取，所述语义特征通过深度学习算法获取，所述文字特征通过光学字符识别获取。
GNSS泛指所有的卫星导航系统，是利用卫星来测量物体位置的系统。包括全球的、区域的和增强的，如美国的GPS、俄罗斯的Glonass、欧洲的Galileo、中国的北斗卫星导航系统，以及相关的增强系统等，本实施例中主要应用GNSS数据中的位置数据和时间数据。IMU包括陀螺仪和加速度计，陀螺仪测量物体三轴的角速率，用于计算载体姿态；加速度计测量物体三轴的线加速度，可用于计算载体速度和位置，本实施例中主要应用IMU数据中的角速度数据和线速度数据。IMU的优点是不要求通视，定位范围为全场景；缺点是定位精度不高，且误差随时间发散。本实施例中将GNSS与IMU作为两个互补的定位方法。双目视觉数据则为图像数据，其中，特征点和特征线通过SIFT(Scale-Invariant Feature Transform)算法或SURT(Speeded Up Robust Feature)算法获取，SIFT算法和SURT算法作为图像识别中常用的算法，具备较高的准确性和泛用性；语义特征通过深度学习算法如卷积神经网络获取；文字特征通过光学字符识别(Optical Character Recognition，OCR)获取。通过采用不同的方法获取各特征要素，确保数据结果的准确性。
本实施例中，所述空间基准标定模型的训练包括：
对多传感器样本数据进行数据清洗和去噪；
根据所述多传感器样本数据获取特征要素样本，并获取各所述特征要素样本对应的标定参数；
根据各所述特征要素样本对应的标定参数之间的差值确定不同环境条件下的特征要素样本组合，合并所述特征要素样本组合中各所述特征要素样本组合对应的标定参数，作为所述特征要素样本组合对应的标定参数；
基于所述特征要素样本组合，以及所述特征要素样本组合对应的标定参数作为标签，通过随机森林算法训练得到空间基准标定模型。
在空间基准标定模型训练的过程中，首先需要对多传感器样本数据进行数据清洗和去噪的预处理，以去除其中的噪声、无效数据和冗余数据，得到一个相对干净的样本数据。
根据多传感器样本数据获取特征要素样本，并获取各特征要素样本对应的标定参数。此时在同一场景下，不同的特征要素样本对应的标定参数存在偏差，为得到一个准确性较高的综合的标定参数，需要选取标定参数之间的差值小于预定值的特征要素样本，即契合度较高的若干特征要素样本进行组合，生成特征要素样本组合，并通过深度学习算法，获取不同环境条件下各特征要素样本发挥作用的权重，根据特征要素样本的权重，合并特征要素样本组合中各特征要素样本组合对应的标定参数，生成一个综合的标定参数，作为当前特征要素样本组合对应的标定参数。本实施例中的标定参数包括传感器内参和传感器外参，传感器内参包括相机的主点坐标和焦距(x0,y0,f)，传感器外参相机与其他传感器之间的6个偏心元素，即deltx、delty、deltz，deltφ、deltΩ和deltκ。在同一个环境条件下可能存在特征点、特征线、语义特征和文字特征等要素，但并非所有特征要素都要参与解算，在计算标定参数的差值以确定特征要素组合的过程中，有几个原则：一是经过粗差提出以后的特征要素参与解算；二是特征要素需要均匀的分布在整幅影像下，且密度大致相当；三考虑计算复杂度，特征点、特征线、语义特征和文字特征的计算复杂度是随特征要素项目增多而增大的，需要尽量降低复杂度，以提高计算效率。例如在室内环境下，特征线和语义特征对应的标定参数的差值小于预定值，可进行组合训练；在商业街和道路的环境可用特征点、特征线和文字特征进行组合训练；在极端情况的环境下需要选用特征点、特征线、语义特征和文字特征四种特征要素进行组合训练。将不同环境下确定的特征要素样本组合加入到特征要素组合模板库，便于后续应用。
基于上述步骤确定的特征要素样本组合，以及特征要素样本组合对应的标定参数作为标签，通过随机森林算法训练得到空间基准标定模型，在随机森林算法上训练多个决策树来构建模型，通过随机森林算法可以有效地处理多源数据的特征提取和建模问题，提高了标定的准确性和稳定性。随机森林通过特征重要性评估方法(基于信息增益或基于基尼系数)来确定特征的重要性，调整随机森林模型的超参数，例如决策树的数量、决策树的深度等，以获得更好的性能和泛化能力。上述步骤的流程如图2所示。
本实施例中，所述通过随机森林算法训练得到空间基准标定模型之后，还包括：
通过计算标定误差评估所述空间基准标定模型的性能。
模型训练完成后，通过交叉验证来评估和调整模型，使用测试数据集评估训练好的随机森林模型的性能，可通过计算标定误差指标来评估模型准确性和稳定性，以对模型持续优化。
本实施例中，所述通过计算标定误差评估所述空间基准标定模型的性能，包括：
将所述特征要素样本组合输入至所述空间基准标定模型，以得到测试标定参数；
将所述测试标定参数中各特征点在3D世界坐标系中的位置点投影到2D图像平面上，并计算各特征点的投影点与各特征点对应实际图像中检测到的位置点间的距离；
计算所有特征点的平均重投影误差评估所述测试标定参数的准确性，以评估所述空间基准标定模型的性能，计算公式为：
其中，E表示平均重投影误差，N表示特征点的三维点和对应的二维点的数量，(x,y)表示二维点的坐标，(x′,y′)表示将三维点投影到2D图像平面上得到的对应点的坐标。
在通过计算标定误差评估空间基准标定模型的性能的过程中，可通过平均重投影误差这一指标对标定参数进行评估。平均重投影误差用于衡量图像中特征点的重投影误差，对于每个特征点，通过将其在3D世界坐标系中的位置点投影到2D图像平面上，并计算其投影点与实际图像中检测到的位置点之间的距离。然后，计算所有特征点的平均重投影误差，以评估标定参数的准确性。
本实施例中，所述得到用于空间基准标定的所述特征要素组合对应的标定参数之后，还包括：
将所述特征要素组合和所述特征要素组合对应的标定参数作为样本加入到所述空间基准标定模型的样本集。
通过增量学习的方法，将特征要素组合和特征要素组合对应的标定参数作为样本加入到空间基准标定模型的样本集中进行更新，以扩大样本集，提高模型训练效果。
下面对本发明提供的多传感器的空间基准标定装置进行描述，下文描述的多传感器的空间基准标定装置与上文描述的多传感器的空间基准标定方法可相互对应参照。
如图3所示，本发明第二实施例还提供一种多传感器的空间基准标定装置，包括：
模板确定模块210，根据当前环境条件，从预设的特征要素组合模板库中确定特征要素组合模板，每种环境条件都配置有与之对应的特征要素组合模板。
组合生成模块220，根据多传感器数据获取特征要素，并根据所述特征要素组合模板生成特征要素组合。
组合输入模块230，将所述特征要素组合输入空间基准标定模型，得到用于空间基准标定的所述特征要素组合对应的标定参数。
其中，所述空间基准标定模型基于特征要素样本组合，以及所述特征要素样本组合对应的标定参数作为标签训练得到。
本发明第二实施例提供的一种多传感器的空间基准标定装置，通过当前环境条件首先确定特征要素组合模板，每种环境条件都配置有与之对应的特征要素组合模板，根据不同的环境条件选取对应的特征要素组合模板以得到准确的空间基准标定参数。然后从多传感器数据中获取特征要素，并根据特征要素组合模板生成所需的特征要素组合。最后将特征要素组合输入空间基准标定模型，得到用于空间基准标定的特征要素组合对应的标定参数，以解决多传感器的空间基准不统一的问题。其中，空间基准标定模型基于特征要素样本组合，以及特征要素样本组合对应的标定参数作为标签训练得到。通过空间基准标定模型能够实时计算出当前环境条件下的空间基准标定参数，实现多传感器的空间基准高精度在线标定，无需离线采集大量的标定数据，提高的空间基准标定的效率和实时性，为不同环境条件下的高精度定位提供良好的前提条件。
可选地，所述多传感器数据包括：GNSS数据、IMU数据和双目视觉数据，所述特征要素包括：特征点、特征线、语义特征和文字特征；
所述组合生成模块220具体包括：
以所述GNSS数据和IMU数据作为参考，从所述双目视觉数据中分别获取特征点、特征线、语义特征和文字特征。
可选地，所述特征点和特征线通过SIFT算法或SURT算法获取，所述语义特征通过深度学习算法获取，所述文字特征通过光学字符识别获取。
可选地，所述空间基准标定模型的训练包括：
对多传感器样本数据进行数据清洗和去噪；
根据所述多传感器样本数据获取特征要素样本，并获取各所述特征要素样本对应的标定参数；
根据各所述特征要素样本对应的标定参数之间的差值确定不同环境条件下的特征要素样本组合，合并所述特征要素样本组合中各所述特征要素样本组合对应的标定参数，作为所述特征要素样本组合对应的标定参数；
基于所述特征要素样本组合，以及所述特征要素样本组合对应的标定参数作为标签，通过随机森林算法训练得到空间基准标定模型。
可选地，所述通过随机森林算法训练得到空间基准标定模型之后，还包括：
通过计算标定误差评估所述空间基准标定模型的性能。
可选地，所述通过计算标定误差评估所述空间基准标定模型的性能，包括：
将所述特征要素样本组合输入至所述空间基准标定模型，以得到测试标定参数；
将所述测试标定参数中各特征点在3D世界坐标系中的位置点投影到2D图像平面上，并计算各特征点的投影点与各特征点对应实际图像中检测到的位置点间的距离；
计算所有特征点的平均重投影误差评估所述测试标定参数的准确性，以评估所述空间基准标定模型的性能，计算公式为：
其中，E表示平均重投影误差，N表示特征点的三维点和对应的二维点的数量，(x,y)表示二维点的坐标，(x′,y′)表示将三维点投影到2D图像平面上得到的对应点的坐标。
可选地，所述得到用于空间基准标定的所述特征要素组合对应的标定参数之后，还包括：
将所述特征要素组合和所述特征要素组合对应的标定参数作为样本加入到所述空间基准标定模型的样本集。
图4示例了一种电子设备的实体结构示意图，如图4所示，该电子设备可以包括：处理器(processor)310、通信接口(Communications Interface)320、存储器(memory)330和通信总线340，其中，处理器310，通信接口320，存储器330通过通信总线340完成相互间的通信。处理器310可以调用存储器330中的逻辑指令，以执行多传感器的空间基准标定方法，该方法包括：
根据当前环境条件，从预设的特征要素组合模板库中确定特征要素组合模板，每种环境条件都配置有与之对应的特征要素组合模板。
根据多传感器数据获取特征要素，并根据所述特征要素组合模板生成特征要素组合。
将所述特征要素组合输入空间基准标定模型，得到用于空间基准标定的所述特征要素组合对应的标定参数。
其中，所述空间基准标定模型基于特征要素样本组合，以及所述特征要素样本组合对应的标定参数作为标签训练得到。
此外，上述的存储器330中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的多传感器的空间基准标定方法，该方法包括：
根据当前环境条件，从预设的特征要素组合模板库中确定特征要素组合模板，每种环境条件都配置有与之对应的特征要素组合模板。
根据多传感器数据获取特征要素，并根据所述特征要素组合模板生成特征要素组合。
将所述特征要素组合输入空间基准标定模型，得到用于空间基准标定的所述特征要素组合对应的标定参数。
其中，所述空间基准标定模型基于特征要素样本组合，以及所述特征要素样本组合对应的标定参数作为标签训练得到。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的多传感器的空间基准标定方法，该方法包括：
根据当前环境条件，从预设的特征要素组合模板库中确定特征要素组合模板，每种环境条件都配置有与之对应的特征要素组合模板。
根据多传感器数据获取特征要素，并根据所述特征要素组合模板生成特征要素组合。
将所述特征要素组合输入空间基准标定模型，得到用于空间基准标定的所述特征要素组合对应的标定参数。
其中，所述空间基准标定模型基于特征要素样本组合，以及所述特征要素样本组合对应的标定参数作为标签训练得到。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种多传感器的空间基准标定方法，其特征在于，包括：
根据当前环境条件，从预设的特征要素组合模板库中确定特征要素组合模板，每种环境条件都配置有与之对应的特征要素组合模板；
根据多传感器数据获取特征要素，并根据所述特征要素组合模板生成特征要素组合；
将所述特征要素组合输入空间基准标定模型，得到用于空间基准标定的所述特征要素组合对应的标定参数；
其中，所述空间基准标定模型基于特征要素样本组合，以及所述特征要素样本组合对应的标定参数作为标签训练得到。
2.根据权利要求1所述的多传感器的空间基准标定方法，其特征在于，所述多传感器数据包括：GNSS数据、IMU数据和双目视觉数据，所述特征要素包括：特征点、特征线、语义特征和文字特征；
所述根据多传感器数据获取特征要素，包括：
以所述GNSS数据和IMU数据作为参考，从所述双目视觉数据中分别获取特征点、特征线、语义特征和文字特征。
3.根据权利要求2所述的多传感器的空间基准标定方法，其特征在于，所述特征点和特征线通过SIFT算法或SURT算法获取，所述语义特征通过深度学习算法获取，所述文字特征通过光学字符识别获取。
4.根据权利要求1所述的多传感器的空间基准标定方法，其特征在于，所述空间基准标定模型的训练包括：
对多传感器样本数据进行数据清洗和去噪；
根据所述多传感器样本数据获取特征要素样本，并获取各所述特征要素样本对应的标定参数；
根据各所述特征要素样本对应的标定参数之间的差值确定不同环境条件下的特征要素样本组合，合并所述特征要素样本组合中各所述特征要素样本组合对应的标定参数，作为所述特征要素样本组合对应的标定参数；
基于所述特征要素样本组合，以及所述特征要素样本组合对应的标定参数作为标签，通过随机森林算法训练得到空间基准标定模型。
5.根据权利要求4所述的多传感器的空间基准标定方法，其特征在于，所述通过随机森林算法训练得到空间基准标定模型之后，还包括：
通过计算标定误差评估所述空间基准标定模型的性能。
6.根据权利要求5所述的多传感器的空间基准标定方法，其特征在于，所述通过计算标定误差评估所述空间基准标定模型的性能，包括：
将所述特征要素样本组合输入至所述空间基准标定模型，以得到测试标定参数；
将所述测试标定参数中各特征点在3D世界坐标系中的位置点投影到2D图像平面上，并计算各特征点的投影点与各特征点对应实际图像中检测到的位置点间的距离；
计算所有特征点的平均重投影误差评估所述测试标定参数的准确性，以评估所述空间基准标定模型的性能，计算公式为：
其中，E表示平均重投影误差，N表示特征点的三维点和对应的二维点的数量，(x,y)表示二维点的坐标，(x′,y′)表示将三维点投影到2D图像平面上得到的对应点的坐标。
7.根据权利要求1～6任一项所述的多传感器的空间基准标定方法，其特征在于，所述得到用于空间基准标定的所述特征要素组合对应的标定参数之后，还包括：
将所述特征要素组合和所述特征要素组合对应的标定参数作为样本加入到所述空间基准标定模型的样本集。
8.一种多传感器的空间基准标定装置，其特征在于，包括：
模板确定模块，根据当前环境条件，从预设的特征要素组合模板库中确定特征要素组合模板，每种环境条件都配置有与之对应的特征要素组合模板；
组合生成模块，根据多传感器数据获取特征要素，并根据所述特征要素组合模板生成特征要素组合；
组合输入模块，将所述特征要素组合输入空间基准标定模型，得到用于空间基准标定的所述特征要素组合对应的标定参数；
其中，所述空间基准标定模型基于特征要素样本组合，以及所述特征要素样本组合对应的标定参数作为标签训练得到。
9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述的多传感器的空间基准标定方法。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的多传感器的空间基准标定方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310953780.0A CN117232550A (zh) | 2023-07-31 | 2023-07-31 | 多传感器的空间基准标定方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310953780.0A CN117232550A (zh) | 2023-07-31 | 2023-07-31 | 多传感器的空间基准标定方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117232550A true CN117232550A (zh) | 2023-12-15 |
Family
ID=89095570
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310953780.0A Pending CN117232550A (zh) | 2023-07-31 | 2023-07-31 | 多传感器的空间基准标定方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117232550A (zh) |
-
2023
- 2023-07-31 CN CN202310953780.0A patent/CN117232550A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111199564B (zh) | 智能移动终端的室内定位方法、装置与电子设备 | |
| CN109270545B (zh) | 一种定位真值校验方法、装置、设备及存储介质 | |
| CN112113574B (zh) | 用于定位的方法、装置、计算设备和计算机可读存储介质 | |
| CN110686677A (zh) | 一种基于几何信息的全局定位方法 | |
| CN112285676A (zh) | 激光雷达与imu外参标定方法及装置 | |
| CN111915675B (zh) | 基于粒子漂移的粒子滤波点云定位方法及其装置和系统 | |
| EP2724203A1 (fr) | Génération de données de carte | |
| US20170108338A1 (en) | Method for geolocating a carrier based on its environment | |
| CN116625354A (zh) | 一种基于多源测绘数据的高精度地形图生成方法及系统 | |
| Liu et al. | Navigation system of a class of underwater vehicle based on adaptive unscented Kalman fiter algorithm | |
| CN112767545A (zh) | 一种点云地图构建方法、装置、设备及计算机存储介质 | |
| CN115127543A (zh) | 一种激光建图优化中异常边剔除方法及系统 | |
| CN113310505B (zh) | 传感器系统的外参标定方法、装置及电子设备 | |
| CN112907671B (zh) | 点云数据生成方法、装置、电子设备及存储介质 | |
| CN113822996A (zh) | 机器人的位姿估计方法及装置、电子设备、存储介质 | |
| CN113538699A (zh) | 基于三维点云的定位方法、装置、设备及存储介质 | |
| Irmisch et al. | Simulation framework for a visual-inertial navigation system | |
| CN112363617A (zh) | 一种人体动作数据的获取方法和装置 | |
| CN117232550A (zh) | 多传感器的空间基准标定方法及装置 | |
| CN115638788A (zh) | 语义矢量地图的构建方法、计算机设备及存储介质 | |
| CN115727871A (zh) | 一种轨迹质量检测方法、装置、电子设备和存储介质 | |
| CN115560744A (zh) | 机器人以及基于多传感器的三维建图方法、存储介质 | |
| CN112965076B (zh) | 一种用于机器人的多雷达定位系统及方法 | |
| CN112700387A (zh) | 激光数据处理方法、装置及设备、存储介质 | |
| CN114677284A (zh) | 地图构建方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |