CN116934863A - 一种相机外参确定方法、装置及电子设备 - Google Patents
一种相机外参确定方法、装置及电子设备 Download PDFInfo
- Publication number
- CN116934863A CN116934863A CN202210354986.7A CN202210354986A CN116934863A CN 116934863 A CN116934863 A CN 116934863A CN 202210354986 A CN202210354986 A CN 202210354986A CN 116934863 A CN116934863 A CN 116934863A
- Authority
- CN
- China
- Prior art keywords
- camera
- road side
- determining
- side camera
- point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 39
- 230000008859 change Effects 0.000 claims description 19
- 238000004590 computer program Methods 0.000 claims description 8
- 238000010276 construction Methods 0.000 claims description 8
- 238000003860 storage Methods 0.000 claims description 7
- 238000012937 correction Methods 0.000 abstract description 12
- 238000012423 maintenance Methods 0.000 description 14
- 239000011159 matrix material Substances 0.000 description 9
- 238000004364 calculation method Methods 0.000 description 7
- 238000004422 calculation algorithm Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000012795 verification Methods 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000004904 shortening Methods 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Abstract
本申请公开了一种相机外参确定方法、装置及电子设备，涉及物联网技术领域，以解决现有相机外参校准效率低且成本高的问题。该方法包括：确定路侧相机视场范围内的多个图像特征点，并基于所述路侧相机的图像数据，获取所述多个图像特征点的坐标；基于高精度地图中的点云数据，获取所述多个图像特征点对应的点云数据，并获取所述点云数据对应的真值坐标；根据所述多个图像特征点的坐标和所述点云数据对应的真值坐标，通过特征点匹配，确定特征点对数据集；根据所述特征点对数据集，确定所述路侧相机的外参。本申请实施例可实现对相机外参进行自动化地校准，而无需人工参与，从而有效提高相机外参的校准效率，提高校正准确性，减少成本投入。
Description
技术领域
本申请涉及物联网技术领域，尤其涉及一种相机外参确定方法、装置及电子设备。
背景技术
目前，为了便于对道路进行监控和管理，通常在路侧设置大量传感器设备，如激光雷达、毫米波雷达、相机等。通过路侧多传感器融合，可以全方位掌握路口目标的状态，在此之前必须进行传感器标定，以辅助融合算法的实现。相机标定结果的精度直接影响相机工作产生结果的准确性。
然而，路侧相机在使用过程中由于存在不可控因素，如环境变化、相机结构形变等，会导致相机外参发生显著变化，标定精度难以保证。现有相机外参标定方法主要通过人工测量的方式获取摄像头视场方位内的特征点坐标，并在图像中刺点，形成特征点对，通过构象方程实现参数解算。且外参校准过程需要大量人工现场参与，效率低，成本高。
发明内容
本申请实施例提供一种相机外参确定方法、装置及电子设备，以解决现有相机外参校准效率低且运维成本高的问题。
第一方面，本申请实施例提供了一种相机外参确定方法，包括：
确定路侧相机视场范围内的多个图像特征点，并基于所述路侧相机的图像数据，获取所述多个图像特征点的坐标；
基于高精度地图中的点云数据，获取所述多个图像特征点对应的点云数据，并获取所述点云数据对应的真值坐标；
根据所述多个图像特征点的坐标和所述点云数据对应的真值坐标，确定特征点对数据集；
根据所述特征点对数据集，确定所述路侧相机的外参。
可选地，所述确定路侧相机视场范围内的多个图像特征点，包括：
按照特征点选择规则，在所述路侧相机视场范围内选取多个图像特征点；
其中，所述特征点选择规则包括：
选取地面特征点或人工标靶特征点；
选取至少4个特征点；
选取的特征点在所述路侧相机视场范围内均匀分布；
同一特征点在不同视角中重复出现，具有不变性。
可选地，所述根据所述多个图像特征点的坐标和所述点云数据对应的真值坐标，确定特征点对数据集，包括：
利用所述多个图像特征点的坐标，构建特征点库；
利用所述点云数据对应的真值坐标，构建特征点真值库；
对所述特征点库和所述特征点真值库中的特征点进行匹配，获得特征点对数据集。
可选地，所述根据所述特征点对数据集，确定所述路侧相机的外参，包括：
根据所述特征点对数据集中的特征点对，构建共线性方程组；
对所述共线性方程组进行求解，获得所述路侧相机的目标外参；
基于所述路侧相机的目标外参，对所述路侧相机的外参进行维护。
可选地，所述基于所述路侧相机的目标外参，对所述路侧相机的外参进行维护，包括：
基于所述路侧相机的目标外参和所述路侧相机的初始标定外参，确定所述路侧相机的外参的变化值；
在所述变化值超出预设阈值范围的情况下，更新所述路侧相机的外参为所述目标外参。
可选地，在所述变化值未超出所述预设阈值范围的情况下，所述路侧相机的外参保持所述初始标定外参不变。
第二方面，本申请实施例还提供一种相机外参确定装置，包括：
第一获取模块，用于确定路侧相机视场范围内的多个图像特征点，并基于所述路侧相机的图像数据，获取所述多个图像特征点的坐标；
第二获取模块，用于基于高精度地图中的点云数据，获取所述多个图像特征点对应的点云数据，并获取所述点云数据对应的真值坐标；
第一确定模块，用于根据所述多个图像特征点的坐标和所述点云数据对应的真值坐标，确定特征点对数据集；
第二确定模块，用于根据所述特征点对数据集，确定所述路侧相机的外参。
可选地，所述第一获取模块用于按照特征点选择规则，在所述路侧相机视场范围内选取多个图像特征点；
其中，所述特征点选择规则包括：
选取地面特征点或人工标靶特征点；
选取至少4个特征点；
选取的特征点在所述路侧相机视场范围内均匀分布；
同一特征点在不同视角中重复出现，具有不变性。
可选地，所述第一确定模块包括：
第一构建单元，用于利用所述多个图像特征点的坐标，构建特征点库；
第二构建单元，用于利用所述点云数据对应的真值坐标，构建特征点真值库；
匹配单元，用于对所述特征点库和所述特征点真值库中的特征点进行匹配，获得特征点对数据集。
可选地，所述第二确定模块包括：
第三构建单元，用于根据所述特征点对数据集中的特征点对，构建共线性方程组；
计算单元，用于对所述共线性方程组进行求解，获得所述路侧相机的目标外参；
维护单元，用于基于所述路侧相机的目标外参，对所述路侧相机的外参进行维护。
可选地，所述维护单元包括：
确定子单元，用于基于所述路侧相机的目标外参和所述路侧相机的初始标定外参，确定所述路侧相机的外参的变化值；
更新子单元，用于在所述变化值超出预设阈值范围的情况下，更新所述路侧相机的外参为所述目标外参。
可选地，在所述变化值未超出所述预设阈值范围的情况下，所述路侧相机的外参保持所述初始标定外参不变。
第三方面，本申请实施例还提供一种电子设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上所述的相机外参确定方法中的步骤。
第四方面，本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如上所述的相机外参确定方法中的步骤。
在本申请实施例中，确定路侧相机视场范围内的多个图像特征点，并基于所述路侧相机的图像数据，获取所述多个图像特征点的坐标；基于高精度地图中的点云数据，获取所述多个图像特征点对应的点云数据，并获取所述点云数据对应的真值坐标；根据所述多个图像特征点的坐标和所述点云数据对应的真值坐标，确定特征点对数据集；根据所述特征点对数据集，确定所述路侧相机的外参。这样，本申请实施例可实现对相机外参进行自动化地校准，而无需人工参与，从而有效提高相机外参的校准效率，提高校正准确性，减少成本投入，缩短运维周期。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的相机外参确定方法的流程图之一；
图2是本申请实施例提供的相机外参确定方法的流程图之二；
图3是本申请实施例提供的相机外参确定装置的结构图；
图4是本申请实施例提供的电子设备的结构图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
参见图1，图1是本申请实施例提供的相机外参确定方法的流程图，如图1所示，包括以下步骤：
步骤101、确定路侧相机视场范围内的多个图像特征点，并基于所述路侧相机的图像数据，获取所述多个图像特征点的坐标。
本申请实施例可应用于对路侧相机外参的自动维护，在路侧相机外参出现因环境变化、相机结构形变等而发生变化使得标定精度不准时，可实现对路侧相机外参的自动校准。
本申请实施例中，可通过从路侧相机获取的视频流或图像中提取图像特征点，并利用高精度地图点云数据自动提取图像特征点对应的实际特征点，通过特征点匹配形成特征点对，从而根据特征点对，来计算路侧相机标定新的外参，可实现在完全没有人工参与的情况下实现路侧相机外参的自动标定，有效提高校正准确性，减少成本投入、缩短运维周期，将外参校正工作常态化。
首先，可在路侧相机的视场范围内，选择多个明显且易于辨别的图像特征点，再通过利用路侧相机的视频流或图像等数据，获取这些图像特征点的坐标，具体可以是确定这些图像特征点在路侧相机的图像数据中的坐标值。
具体地，为保证获得所述多个图像特征点的坐标，可以获取所述路侧相机的图像数据，并对获取的图像数据进行系列预处理，例如，可按固定时间周期即定期获取路侧相机的视频流或图像，并根据路侧相机现有内外参数，对采集到的视频流或者图像进行图像配准、降噪、畸变校正等一系列预处理。然后，可利用经过图像预处理后的视频流或图像，获取所述多个图像特征点的坐标，形成特征点集。
可选地，所述确定路侧相机视场范围内的多个图像特征点，包括：
按照特征点选择规则，在所述路侧相机视场范围内选取多个图像特征点；
其中，所述特征点选择规则包括：
选取地面特征点或人工标靶特征点；
选取至少4个特征点；
选取的特征点在所述路侧相机视场范围内均匀分布；
同一特征点在不同视角中重复出现，具有不变性。
即在选择图像特征点时，可以遵循一定原则进行特征点的选取，以保证选取的图像特征点明显且易于辨别，从而有利于后续对相机外参的精准计算。
具体地，可以尽量选取地面特征点或人工标靶特征点，如灰度变化明显处、图像边缘标志点等，例如，地面标识线上的点，人工加入的路牌、标牌、建筑物等特征点；且选择的特征点数量应在至少4个以上，以保证后续根据提取的特征点能够计算出路侧相机的外参；再者，选取的特征点应在所述路侧相机的视场范围内均匀分布，即可尽量避免从同一位置处选择多个特征点，而应分别从不同位置处均匀地选择特征点，以保证后续计算相机外参的准确性；此外，还可保证选择的同一特征点在路侧相机的不同视角中重复出现，具有不变性。
这样，通过该实施方式，能够保证选择出对后续相机外参计算有用的特征点。
步骤102、基于高精度地图中的点云数据，获取所述多个图像特征点对应的点云数据，并获取所述点云数据对应的真值坐标。
上述高精度地图可以是通过高精度采集车采集路侧点云数据，进而基于采集的点云数据进行地图制作形成的高精度地图，高精度地图采集制作过程中，点云数据通常作为数据源输入，点云数据坐标为真实地物坐标。高精度地图中的点云数据相比普通路侧相机采集的数据具有更高精度。
该步骤中，可利用高精度地图中的点云数据，获取所述多个图像特征点对应的点云数据，具体地，可通过深度学习语义识别算法自动选取各图像特征点对应的点云数据，作为实际特征点，并可获取这些对应的点云数据的真值坐标，形成特征点真值集。
需说明的是，当高精度地图更新时，可相应地根据更新后的高精度地图点云数据，对这些特征点真值进行同步动态更新，以保证特征点真值的准确可靠性。
步骤103、根据所述多个图像特征点的坐标和所述点云数据对应的真值坐标，确定特征点对数据集。
该步骤中，可根据所述多个图像特征点的坐标和所述点云数据对应的真值坐标，进行特征点匹配，如将坐标位置对应或相近的特征点确定为匹配的特征点对，这样，可得到匹配的若干特征点对，形成特征点对数据集。
可选地，所述步骤103包括：
利用所述多个图像特征点的坐标，构建特征点库；
利用所述点云数据对应的真值坐标，构建特征点真值库；
对所述特征点库和所述特征点真值库中的特征点进行匹配，获得特征点对数据集。
一种实施方式中，可利用所述多个图像特征点的坐标，构建特征点库，即可建立一数据库专门用于存放所述多个图像特征点的数据，将所述多个图像特征点和各自的坐标对应存储，构建形成特征点库。
类似地，对于所述点云数据，也可利用所述点云数据对应的真值坐标，构建特征点真值库，即可建立另一数据库专门用于存放多个实际特征点的数据，将所述多个点云数据和各自的真值坐标对应存储，构建形成特征点真值库。需说明的是，可对这些实际特征点进行统一格式转换后存储管理，构建特征点真值库，当高精度地图更新时，可对所述特征点真值库实现同步动态更新。
然后，可对所述特征点库和所述特征点真值库中的特征点进行匹配，例如，可通过同步定位与建图(Simultaneous Localization and Mapping，SLAM)特征点匹配算法，自动匹配所述特征点库中的图像特征点与所述特征点真值库中的实际特征点，得到相匹配的特征点对，进而形成特征点对数据集。
这样，通过该实施方式，能够保证快速准确地匹配出特征点对，获得特征点对数据集。
步骤104、根据所述特征点对数据集，确定所述路侧相机的外参。
该步骤中，可根据获得的特征点对数据集，计算所述路侧相机新的外参，具体地，可根据特征点对中的图像特征点和对应的实际特征点，以相机外参为变量构建方程，实现相机外参参数解算。计算出的新的相机外参，可直接作为新标定的外参，也可通过一定条件判断，如利用特征点对进行验证或判断是否与原相机外参偏差过大，决定是否以该新的外参作为校正后的相机外参。
可选地，所述步骤104包括：
根据所述特征点对数据集中的特征点对，构建共线性方程组；
对所述共线性方程组进行求解，获得所述路侧相机的目标外参；
基于所述路侧相机的目标外参，对所述路侧相机的外参进行维护。
一种实施方式中，可以所述特征点对数据集中的特征点对，构建共线性方程组，即可以建立实际特征点与图像特征点的共线性方程组，其中相机外参为方程组中的变量参数，通过对该共线性方程组进行求解，可算出路侧相机外参，记为目标外参。
具体地，可通过世界坐标系、相机坐标系、像素坐标系互相转换，基于张正友标定法，建立如下共线性方程组：
其中，(u，v)为根据图像或视频流获取到的特征点像素坐标，即为所述特征点对中的图像特征点的像素坐标。M为尺度因子。A为内参矩阵，取决于相机的内部参数，对于已经完成初次安装和标定的相机，其内参矩阵为定值。矩阵(Rt)为相机外参矩阵，用以表示点云世界坐标系到相机坐标系的相对位置，R表示图像像素的3×3旋转矩阵，t表示三维平移向量。(X,Y,Z)为从点云中获取到的世界坐标。
将A(Rt)记为矩阵H，H即为内参矩阵和外参矩阵的积，则H仍为3×3矩阵，有：
利用上式，消去尺度因子M，可得：
由于H是齐次矩阵，有8个未知元素，每一个特征点对可提供两个约束方程，因此当特征点对数量大于等于4时，即可用最小二乘法求得矩阵H。
在关系A(Rt)＝H中，由于已经求得H，且A为定值，则可求得相机的外参矩阵(Rt)。
然后，可基于所述路侧相机的目标外参，对所述路侧相机的外参进行维护，具体地，可以参考所述目标外参，决定是否更新或校正所述路侧相机的外参，例如，可通过多帧图像计算相机外参，对所述目标外参作进一步验证，以验证其精确性，在验证通过的情况下，再利用所述目标外参作为新标定的相机外参。
这样，通过该实施方式，能够准确计算出路侧相机的目标外参，进而可保证相机外参的校正准确性。
进一步地，所述基于所述路侧相机的目标外参，对所述路侧相机的外参进行维护，包括：
基于所述路侧相机的目标外参和所述路侧相机的初始标定外参，确定所述路侧相机的外参的变化值；
在所述变化值超出预设阈值范围的情况下，更新所述路侧相机的外参为所述目标外参。
即一种实施方式中，可以通过计算外参变化值，来确定如何维护路侧相机的外参，具体地，可以基于所述路侧相机的目标外参和所述路侧相机的初始标定外参，计算路侧相机的外参的变化值，即可计算所述目标外参与所述初始标定外参的差值，判断该差值是否超出预设的阈值范围区间，若超出，可确定当前外参变化幅度较大，可对所述路侧相机外参进行维护更新，自动校正相机外参，即可更新所述路侧相机的外参为所述目标外参。其中，所述初始标定外参可以是指所述路侧相机原有的外参，如初始标定的外参，或最近一次维护后的外参。
这样，通过基于路侧相机外参的变化值，来对相机外参进行维护，可实现远程相机自动化标定，有效提高相机外参的运维效率。
进一步地，在所述变化值未超出所述预设阈值范围的情况下，所述路侧相机的外参保持所述初始标定外参不变。
即在计算出所述目标外参与所述初始标定外参的差值未超出预设的阈值范围区间的情况下，可确定当前外参变化幅度不大，可无需校正，从而可保持所述路侧相机的初始标定外参不变，避免频繁不必要的校正相机外参。
需说明的是，所述预设阈值范围可以根据应用场景的不同，设定不同的变化阈值区间，以适应场景需求。
本申请实施例的具体实施流程可参见图2。
本申请实施例通过路侧相机获取的视频流或图像提取图像特征点，构建特征点库，并利用高精度地图点云数据自动提取特征点库对应的实际特征点，构建特征点真值库。通过特征点库与特征点真值库中的特征点自动匹配，形成特征点对数据集。通过特征点对，建立共线性方程组，进而计算路侧相机标定新的外参。本申请实施例可以在完全没有人工参与的情况下实现路侧相机外参的自动标定，有效提高校正准确性，减少成本投入、缩短运维周期，将校正工作常态化。且本申请实施例具有以下优点：运维效率高，本申请按固定时间周期进行路侧相机外参自动校正，处理效率高，可以应用于大规模化路侧相机自动标定；校验成本低，本申请明的软硬件成本相对于人工测量的繁琐过程，成本投入更低，校验效率更快；标定准确性高，结合高精度地图，利用特征点自动提取和匹配算法，通过构建实际特征点与图像特征点的共线方程组，自动化程度高，可有效避免因人工操作导致的误差，标定精度高。
本申请实施例的相机外参确定方法，确定路侧相机视场范围内的多个图像特征点，并基于所述路侧相机的图像数据，获取所述多个图像特征点的坐标；基于高精度地图中的点云数据，获取所述多个图像特征点对应的点云数据，并获取所述点云数据对应的真值坐标；根据所述多个图像特征点的坐标和所述点云数据对应的真值坐标，确定特征点对数据集；根据所述特征点对数据集，确定所述路侧相机的外参。这样，本申请实施例可实现对相机外参进行自动化地校准，而无需人工参与，从而有效提高相机外参的校准效率，提高校正准确性，减少成本投入，缩短运维周期。
本申请实施例还提供了一种相机外参确定装置。参见图3，图3是本申请实施例提供的相机外参确定装置的结构图。由于相机外参确定装置解决问题的原理与本申请实施例中相机外参确定方法相似，因此该相机外参确定装置的实施可以参见方法的实施，重复之处不再赘述。
如图3所示，相机外参确定装置300包括：
第一获取模块301，用于确定路侧相机视场范围内的多个图像特征点，并基于所述路侧相机的图像数据，获取所述多个图像特征点的坐标；
第二获取模块302，用于基于高精度地图中的点云数据，获取所述多个图像特征点对应的点云数据，并获取所述点云数据对应的真值坐标；
第一确定模块303，用于根据所述多个图像特征点的坐标和所述点云数据对应的真值坐标，确定特征点对数据集；
第二确定模块304，用于根据所述特征点对数据集，确定所述路侧相机的外参。
可选地，第一获取模块301用于按照特征点选择规则，在所述路侧相机视场范围内选取多个图像特征点；
其中，所述特征点选择规则包括如下：
选取地面特征点或人工标靶特征点；
选取至少4个特征点；
选取的特征点在所述路侧相机视场范围内均匀分布；
同一特征点在不同视角中重复出现，具有不变性。
可选地，第一确定模块303包括：
第一构建单元，用于利用所述多个图像特征点的坐标，构建特征点库；
第二构建单元，用于利用所述点云数据对应的真值坐标，构建特征点真值库；
匹配单元，用于对所述特征点库和所述特征点真值库中的特征点进行匹配，获得特征点对数据集。
可选地，第二确定模块304包括：
第三构建单元，用于根据所述特征点对数据集中的特征点对，构建共线性方程组；
计算单元，用于对所述共线性方程组进行求解，获得所述路侧相机的目标外参；
维护单元，用于基于所述路侧相机的目标外参，对所述路侧相机的外参进行维护。
可选地，所述维护单元包括：
确定子单元，用于基于所述路侧相机的目标外参和所述路侧相机的初始标定外参，确定所述路侧相机的外参的变化值；
更新子单元，用于在所述变化值超出预设阈值范围的情况下，更新所述路侧相机的外参为所述目标外参。
可选地，在所述变化值未超出所述预设阈值范围的情况下，所述路侧相机的外参保持所述初始标定外参不变。
本申请实施例提供的相机外参确定装置300，可以执行上述方法实施例，其实现原理和技术效果类似，本实施例此处不再赘述。
本申请实施例的相机外参确定装置300，确定路侧相机视场范围内的多个图像特征点，并基于所述路侧相机的图像数据，获取所述多个图像特征点的坐标；基于高精度地图中的点云数据，获取所述多个图像特征点对应的点云数据，并获取所述点云数据对应的真值坐标；根据所述多个图像特征点的坐标和所述点云数据对应的真值坐标，确定特征点对数据集；根据所述特征点对数据集，确定所述路侧相机的外参。这样，本申请实施例可实现对相机外参进行自动化地校准，而无需人工参与，从而有效提高相机外参的校准效率，提高校正准确性，减少成本投入，缩短运维周期。
本申请实施例还提供了一种电子设备。由于电子设备解决问题的原理与本申请实施例中相机外参确定方法相似，因此该电子设备的实施可以参见方法的实施，重复之处不再赘述。如图4所示，本申请实施例的电子设备，包括：
处理器400，用于读取存储器420中的程序，执行下列过程：
确定路侧相机视场范围内的多个图像特征点，并基于所述路侧相机的图像数据，获取所述多个图像特征点的坐标；
基于高精度地图中的点云数据，获取所述多个图像特征点对应的点云数据，并获取所述点云数据对应的真值坐标；
根据所述多个图像特征点的坐标和所述点云数据对应的真值坐标，确定特征点对数据集；
根据所述特征点对数据集，确定所述路侧相机的外参。
其中，在图4中，总线架构可以包括任意数量的互联的总线和桥，具体由处理器400代表的一个或多个处理器和存储器420代表的存储器的各种电路链接在一起。总线架构还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路链接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口提供接口。处理器400负责管理总线架构和通常的处理，存储器420可以存储处理器400在执行操作时所使用的数据。
可选地，处理器400还用于读取存储器420中的程序，执行如下步骤：
按照特征点选择规则，在所述路侧相机视场范围内选取多个图像特征点；
其中，所述特征点选择规则包括：
选取地面特征点或人工标靶特征点；
选取至少4个特征点；
选取的特征点在所述路侧相机视场范围内均匀分布；
同一特征点在不同视角中重复出现，具有不变性。
可选地，处理器400还用于读取存储器420中的程序，执行如下步骤：
利用所述多个图像特征点的坐标，构建特征点库；
利用所述点云数据对应的真值坐标，构建特征点真值库；
对所述特征点库和所述特征点真值库中的特征点进行匹配，获得特征点对数据集。
可选地，处理器400还用于读取存储器420中的程序，执行如下步骤：
根据所述特征点对数据集中的特征点对，构建共线性方程组；
对所述共线性方程组进行求解，获得所述路侧相机的目标外参；
基于所述路侧相机的目标外参，对所述路侧相机的外参进行维护。
可选地，处理器400还用于读取存储器420中的程序，执行如下步骤：
基于所述路侧相机的目标外参和所述路侧相机的初始标定外参，确定所述路侧相机的外参的变化值；
在所述变化值超出预设阈值范围的情况下，更新所述路侧相机的外参为所述目标外参。
可选地，在所述变化值未超出所述预设阈值范围的情况下，所述路侧相机的外参保持所述初始标定外参不变。
本申请实施例提供的电子设备，可以执行上述方法实施例，其实现原理和技术效果类似，本实施例此处不再赘述。
此外，本申请实施例的计算机可读存储介质，用于存储计算机程序，所述计算机程序可被处理器执行实现图1或图2所示方法实施例中的各个步骤。
在本申请所提供的几个实施例中，应该理解到，所揭露方法和装置，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理包括，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述收发方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述是本申请的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请所述原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。
Claims (10)
1.一种相机外参确定方法，其特征在于，包括：
确定路侧相机视场范围内的多个图像特征点，并基于所述路侧相机的图像数据，获取所述多个图像特征点的坐标；
基于高精度地图中的点云数据，获取所述多个图像特征点对应的点云数据，并获取所述点云数据对应的真值坐标；
根据所述多个图像特征点的坐标和所述点云数据对应的真值坐标，确定特征点对数据集；
根据所述特征点对数据集，确定所述路侧相机的外参。
2.根据权利要求1所述的方法，其特征在于，所述确定路侧相机视场范围内的多个图像特征点，包括：
按照特征点选择规则，在所述路侧相机视场范围内选取多个图像特征点；
其中，所述特征点选择规则包括：
选取地面特征点或人工标靶特征点；
选取至少4个特征点；
选取的特征点在所述路侧相机视场范围内均匀分布；
同一特征点在不同视角中重复出现，具有不变性。
3.根据权利要求1所述的方法，其特征在于，所述根据所述多个图像特征点的坐标和所述点云数据对应的真值坐标，确定特征点对数据集，包括：
利用所述多个图像特征点的坐标，构建特征点库；
利用所述点云数据对应的真值坐标，构建特征点真值库；
对所述特征点库和所述特征点真值库中的特征点进行匹配，获得特征点对数据集。
4.根据权利要求1至3中任一项所述的方法，其特征在于，所述根据所述特征点对数据集，确定所述路侧相机的外参，包括：
根据所述特征点对数据集中的特征点对，构建共线性方程组；
对所述共线性方程组进行求解，获得所述路侧相机的目标外参；
基于所述路侧相机的目标外参，对所述路侧相机的外参进行维护。
5.根据权利要求4所述的方法，其特征在于，所述基于所述路侧相机的目标外参，对所述路侧相机的外参进行维护，包括：
基于所述路侧相机的目标外参和所述路侧相机的初始标定外参，确定所述路侧相机的外参的变化值；
在所述变化值超出预设阈值范围的情况下，更新所述路侧相机的外参为所述目标外参。
6.根据权利要求5所述的方法，其特征在于，在所述变化值未超出所述预设阈值范围的情况下，所述路侧相机的外参保持所述初始标定外参不变。
7.一种相机外参确定装置，其特征在于，包括：
第一获取模块，用于确定路侧相机视场范围内的多个图像特征点，并基于所述路侧相机的图像数据，获取所述多个图像特征点的坐标；
第二获取模块，用于基于高精度地图中的点云数据，获取所述多个图像特征点对应的点云数据，并获取所述点云数据对应的真值坐标；
第一确定模块，用于根据所述多个图像特征点的坐标和所述点云数据对应的真值坐标，确定特征点对数据集；
第二确定模块，用于根据所述特征点对数据集，确定所述路侧相机的外参。
8.根据权利要求7所述的相机外参确定装置，其特征在于，所述第一确定模块包括：
第一构建单元，用于利用所述多个图像特征点的坐标，构建特征点库；
第二构建单元，用于利用所述点云数据对应的真值坐标，构建特征点真值库；
匹配单元，用于对所述特征点库和所述特征点真值库中的特征点进行匹配，获得特征点对数据集。
9.一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序；其特征在于，所述处理器，用于读取存储器中的程序实现如权利要求1至6中任一项所述的相机外参确定方法中的步骤。
10.一种计算机可读存储介质，用于存储计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6中任一项所述的相机外参确定方法中的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210354986.7A CN116934863A (zh) | 2022-04-06 | 2022-04-06 | 一种相机外参确定方法、装置及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210354986.7A CN116934863A (zh) | 2022-04-06 | 2022-04-06 | 一种相机外参确定方法、装置及电子设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116934863A true CN116934863A (zh) | 2023-10-24 |
Family
ID=88381433
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210354986.7A Pending CN116934863A (zh) | 2022-04-06 | 2022-04-06 | 一种相机外参确定方法、装置及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116934863A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117437303A (zh) * | 2023-12-18 | 2024-01-23 | 江苏尚诚能源科技有限公司 | 一种标定相机外参的方法及系统 |
-
2022
- 2022-04-06 CN CN202210354986.7A patent/CN116934863A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117437303A (zh) * | 2023-12-18 | 2024-01-23 | 江苏尚诚能源科技有限公司 | 一种标定相机外参的方法及系统 |
| CN117437303B (zh) * | 2023-12-18 | 2024-02-23 | 江苏尚诚能源科技有限公司 | 一种标定相机外参的方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109270534B (zh) | 一种智能车激光传感器与相机在线标定方法 | |
| US11480443B2 (en) | Method for calibrating relative pose, device and medium | |
| CN110648283B (zh) | 图像拼接方法、装置、电子设备和计算机可读存储介质 | |
| KR20210042274A (ko) | 장애물을 탐지하는 방법, 장치, 전자 기기, 저장 매체 및 프로그램 | |
| CN113989450B (zh) | 图像处理方法、装置、电子设备和介质 | |
| WO2021051344A1 (zh) | 高精度地图中车道线的确定方法和装置 | |
| CN111862180B (zh) | 一种相机组位姿获取方法、装置、存储介质及电子设备 | |
| CN113327296B (zh) | 基于深度加权的激光雷达与相机在线联合标定方法 | |
| CN114494388B (zh) | 一种大视场环境下图像三维重建方法、装置、设备及介质 | |
| CN116839564A (zh) | 一种高精地图构建辅助方法、设备及介质 | |
| CN114279433A (zh) | 地图数据自动化生产方法、相关装置及计算机程序产品 | |
| CN116934863A (zh) | 一种相机外参确定方法、装置及电子设备 | |
| CN114299230A (zh) | 一种数据生成方法、装置、电子设备及存储介质 | |
| CN110717141A (zh) | 一种车道线优化方法、装置及存储介质 | |
| CN111982077B (zh) | 电子地图绘制方法、系统和电子设备 | |
| CN111598930B (zh) | 彩色点云生成方法、装置及终端设备 | |
| CN113762397B (zh) | 检测模型训练、高精度地图更新方法、设备、介质及产品 | |
| CN115937449A (zh) | 高精地图生成方法、装置、电子设备和存储介质 | |
| WO2023283929A1 (zh) | 双目相机外参标定的方法及装置 | |
| CN109919998B (zh) | 卫星姿态确定方法、装置和终端设备 | |
| CN113805157A (zh) | 基于标靶的高度测量方法、装置及设备 | |
| CN113850875A (zh) | 枪机标定方法、装置及电子设备 | |
| CN112991463A (zh) | 相机标定方法、装置、设备、存储介质和程序产品 | |
| CN113870365B (zh) | 相机标定方法、装置、设备以及存储介质 | |
| CN117611762B (zh) | 一种多层级地图构建方法、系统及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |