CN116309885B - 一种基于视觉里程计的车载摄像头在线标定方法 - Google Patents

一种基于视觉里程计的车载摄像头在线标定方法 Download PDF

Info

Publication number
CN116309885B
CN116309885B CN202310590573.3A CN202310590573A CN116309885B CN 116309885 B CN116309885 B CN 116309885B CN 202310590573 A CN202310590573 A CN 202310590573A CN 116309885 B CN116309885 B CN 116309885B
Authority
CN
China
Prior art keywords
camera
visual odometer
odometer
vehicle
straight
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310590573.3A
Other languages
English (en)
Other versions
CN116309885A (zh
Inventor
王恒洲
徐建双
刘永红
林财明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tung Thih Electron Xiamen Co Ltd
Original Assignee
Tung Thih Electron Xiamen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tung Thih Electron Xiamen Co Ltd filed Critical Tung Thih Electron Xiamen Co Ltd
Priority to CN202310590573.3A priority Critical patent/CN116309885B/zh
Publication of CN116309885A publication Critical patent/CN116309885A/zh
Application granted granted Critical
Publication of CN116309885B publication Critical patent/CN116309885B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于视觉里程计的车载摄像头在线标定方法，其包括以下步骤：步骤1、车载摄像头的自标定启动后，实时采集当前帧图像，并提取图像中的特征点，当图像中的特征点数量达到预设值时，进行下一步骤；否则继续采集图像；步骤2、将当前帧图像中的特征点与前一帧图像的特征点进行匹配，估计当前帧图像的视觉里程计信息，若当前帧图像的视觉里程计信息满足设定条件时，进入下一步骤；否则，返回步骤1，继续进行图像采集；步骤3、基于里程计估计摄像机与车身位姿的关系，获取摄像机的外参信息；步骤4、判断位姿融合是否收敛，如果收敛则标定成功，否则失败。本发明能够实现自动标定，提高标定灵活性。

Description

一种基于视觉里程计的车载摄像头在线标定方法
技术领域
本发明涉及车载摄像头标定技术领域，具体涉及一种基于视觉里程计的车载摄像头在线标定方法。
背景技术
目前，计算机视觉技术已经被广泛应用到了各类先进驾驶辅助系统 (ADAS)中。通过视觉技术感知车辆周围的道路信息、路况信息，可以为ADAS系统提供决策所需要的基础数据。为了提高行车环境的感知准确性和可靠性，对车载摄像头的准确标定是车辆定位准确的重要基础。
传统车载摄像头标定算法一般采用固定场地标定的方式。在车辆静 止状态下，预先放置黑白棋盘格等高对比度的标靶，对摄像头各类参数进行离线标定。传统标定技术存在以下几个问题：
(1)场地精度要求高，需要投入场地建设费用，且场地需要定期维护；
(2)标定流程需要人工参与，大大增加了标定的复杂度；
(3)当摄像头状态发生改变，如摄像头后视镜更换等，车辆须返回售后点进行标定，增加了售后的人力和材料费用；
(4)随着时间的推移，摄像头支架会不可避免的出现振动、老化等问题，造成摄像头姿态的变化，如果不能及时对摄像头重新标定参数，ADAS系统无法做出正确决策，就会对行车安全造成极大的隐患。
(5)在车辆静止状态下进行标定，图像内特征点(线)较少，且只能利用单帧图像信息, 标定精度不高。
由于存在上述问题，现有车载摄像头标定技术无法满足未来无人驾驶的需求。
发明内容
针对现有技术存在的问题，本发明的目的在于提供一种基于视觉里程计的车载摄像头在线标定方法，其能够实现自动标定，提高标定灵活性。
为实现上述目的，本发明采用的技术方案是：
一种基于视觉里程计的车载摄像头在线标定方法，其特征在于：包括以下步骤：
步骤1、车载摄像头的自标定启动后，实时采集四路摄像头的当前帧图像，对当前帧图像进行预处理，并提取图像中的特征点，当图像中的特征点数量达到预设值时，进行下一步骤；否则继续采集图像；
步骤2、将当前帧图像中的特征点与前一帧图像的特征点进行匹配，若匹配满足设定条件时，根据特征点匹配关系，使用多视图集合理论中的对极约束，恢复出两帧之间的位姿，当摄像头的所有帧的图像均处理完成，所有帧之间的位姿关系组成视觉里程计，并进入下一步骤；否则，返回步骤1，继续进行图像采集；
步骤3、基于视觉里程计估计摄像机与车身位姿的关系，获取摄像机的外参信息；
步骤4、判断位姿融合是否收敛，如果收敛则标定成功，否则失败。
所述步骤3中，同时获取四路摄像机的外参信息：获取直线行驶段视觉里程计的方向向量，获取视觉里程计平面的法向量，根据方向向量和法向量求得车身位姿；最后融合车身位姿与摄像机位姿，获得出四路摄像机外参。
所述步骤3具体如下：
（a）从步骤2得到的视觉里程计中获取汽车直行段视觉里程计，并根据该直行段视觉里程计构建直行段方向向量Yv；
（b）从步骤2得到的视觉里程计中获取转弯段视觉里程计，该转弯段视觉里程计与直行段视觉里程计形成轨迹平面，获取该轨迹平面的法线，即得到汽车行驶轨迹所在平面的法向量Zv；
（c）由直行段方向向量Yv，轨迹平面法向量Zv两向量叉乘，得到另一向量Xv，三个向量构建汽车坐标系Xv，Yv，Zv；
（d）摄像机坐标系Xc，Yc，Zc为原点且为单位矩阵，那么Xv，Yv，Zv与Xc，Yc，Zc个坐标轴之间的角度关系即为摄像机外参俯仰角α，滚转角β，偏航角θ。
所述步骤3中，使用里程计先获取两路摄像机的外参信息，剩余两路摄像机的外参信息使用光度误差法获取；
具体地，获得前、后视VO轨迹直线段方向向量、VO平面的法向量，求解出前、后视摄像机的外参；左、右视与前、后视存在重叠区域，在该重叠区域使用最小化其光度误差的方法，分别求解前左视、前右视、后左视、后右视位姿关系；最后，求解出左、右视摄像机的外参。
所述步骤3具体如下：
首先，对前、后两路摄像机进行如下处理，获取前、后两路摄像机的外参信息；
（a）从步骤2得到的视觉里程计中获取汽车直行段视觉里程计，并根据该直行段视觉里程计构建直行段方向向量Yv；
（b）从步骤2得到的视觉里程计中获取转弯段视觉里程计，该转弯段视觉里程计与直行段视觉里程计形成轨迹平面，获取该轨迹平面的法线，即得到汽车行驶轨迹所在平面的法向量Zv；
（c）由直行段方向向量Yv，轨迹平面法向量Zv两向量叉乘，得到另一向量Xv，三个向量构建汽车坐标系Xv，Yv，Zv；
（d）摄像机坐标系Xc，Yc，Zc为原点且为单位矩阵，那么Xv，Yv，Zv与Xc，Yc，Zc个坐标轴之间的角度关系即为摄像机外参俯仰角α，滚转角β，偏航角θ；
然后，利用使用光度误差法获取左、右两路摄像机的外参信息。
所述步骤3中，基于视觉里程计结合IMU获取四路摄像机外参信息，具体如下：
（a）采集IMU数据，获得每一帧图像的位置与姿态；
（b）通过步骤2得到的视觉里程计以及上述IMU数据，构建手眼标定关系AX=XB，并进行求解，获得摄像机与IMU之间的姿态关系矩阵X，其中，A表示视觉里程计中两帧之间的姿态关系矩阵，B表示使用IMU来表示对应视觉里程计中两帧之间的姿态关系矩阵；
（c）摄像机与IMU之间的姿态关系矩阵X，构建惯性视觉里程计（VIO）因子图，并使用非线性优化函数对该因子图进行迭代优化，直到参数收敛；
（d）摄像机的外参属于因子图中的一个参数，迭代优化完成即获得摄像机外参信息。
所述步骤3中，基于视觉里程计结合IMU、轮式计标定，获得四路摄像机外参信息，具体如下：
（b）分别采集IMU数据和轮式计数据，获得每一帧图像的位置与姿态；
（b）通过步骤2得到的视觉里程计以及上述IMU数据、轮式计数据，构建手眼标定关系AX=XB，AY=YD，并进行求解，获取摄像机与IMU之间的姿态关系矩阵X、摄像机与轮式计之间的姿态关系矩阵Y，其中A表示视觉里程计中两帧之间的姿态关系矩阵，B表示使用轮式计来表示对应视觉里程计中两帧之间的姿态关系矩阵，D使用轮式计来表示对应视觉里程计中两帧之间的姿态关系矩阵；
（c）通过摄像头与轮式计、IMU的位姿关系，构建轮式计惯性视觉里程计因子图，并使用非线性优化函数对该因子图进行迭代优化，直到参数收敛。
（d）摄像机的外参属于因子图中的一个参数，迭代优化完成即获得摄像机外参信息。
采用上述方案后，本发明能够基于视觉里程计进行自动在线标定，提高标定灵活性。
附图说明
图1为本发明的流程图；
图2为汽车行驶轨迹示意图；
图3为汽车车身坐标系与相机坐标系示意图；
图4为根据前后位姿计算左右位姿示意图。
具体实施方式
如图1所示，本发明揭示了一种基于视觉里程计的车载摄像头在线标定方法，其包括以下步骤：
步骤1、车载摄像头的自标定启动后，实时采集四路摄像头的当前帧图像，对当前帧图像进行预处理，并提取图像中的特征点，当图像中的特征点数量达到预设值时，进行下一步骤；否则继续采集图像。
车载摄像头的自标定启动可以由多种方式触发。例如，可以通过手动触发某一按钮或开关来启动自标定。或者利用车载摄像头的相关参数来启动：当车载摄像头的视角或者焦距发生变化时，说明车载摄像头的原有标定参数可能不再适用，此时就可以自动地启动自标定工作。当然也可以根据车辆的行驶里程来确定是否要进行车载摄像头的自标定启动。因为车辆行驶到一定里程后，其摄像头有极大可能会发生振动、老化，从而发生位姿的变化。本实施例中对车载摄像头自标定的触发方式并不限定。
本实施例中四路摄像头的采集、预处理都是相互独立的，互不影响。其中，预处理一般包括图像滤波、直方图均衡化，去除四周无效区域等。
为了保证所采集的图像质量，图像采集的工作最好在车辆行驶平稳的情况下进行。这样，图像质量不受车辆行驶路面不平整等外界因素干扰，保证后续能够提取出更为精确的特征。
摄像机拍摄的图像中，包含地面信息、周围建筑物、树木等信息。
步骤2、将当前帧图像中的特征点与前一帧图像的特征点进行匹配，若匹配满足设定条件时，根据特征点匹配关系，使用多视图集合理论中的对极约束，恢复出两帧之间的位姿，当摄像头的所有帧的图像均处理完成，所有帧之间的位姿关系组成视觉里程计，并进入下一步骤；否则，返回步骤1，继续进行图像采集；
该步骤2中，满足设定条件是指当前帧图像与前一帧图像能够匹配上的特征点数达到预设值。
该步骤2中，前一帧图像是指当前帧图像之前的最新一帧满足设定条件的图像。例如，若当前帧为第3帧，第1帧图像的特征点符合要求，第2帧图像的特征点不符合要求，那么，在进行步骤2的特征点匹配时，第3帧图像与第1帧图像进行特征匹配。
步骤3、基于视觉里程计估计摄像机与车身位姿的关系，获取摄像机的外参信息。
当车辆设有IMU传感器和轮式计时，有两种标定方法可供选择，即基于视觉里程计的标定方法、基于视觉里程计结合IMU和轮式计的标定方法。
（1）基于视觉里程计的标定方法。按照标定算法的不同，基于视觉里程计的标定分为两种。
1）车辆上的四路摄像机同时标定。
对四路摄像机的图像分别进行如下处理，获取相应的摄像机外参。具体如下：
（a）从步骤2得到的视觉里程计中获取汽车直行段视觉里程计，并根据该直行段视觉里程计构建直行段方向向量Yv；
（b）从步骤2得到的视觉里程计中获取转弯段视觉里程计，该转弯段视觉里程计与直行段视觉里程计形成轨迹平面，获取该轨迹平面的法线，即得到汽车行驶轨迹所在平面的法向量Zv；
（c）由直行段方向向量Yv，轨迹平面法向量Zv两向量叉乘，得到另一向量Xv，三个向量构建汽车坐标系Xv，Yv，Zv；
（d）摄像机坐标系Xc，Yc，Zc为原点且为单位矩阵，那么Xv，Yv，Zv与Xc，Yc，Zc个坐标轴之间的角度关系即为摄像机外参俯仰角α，滚转角β，偏航角θ。
2）使用里程计标定两路摄像机，剩余两路摄像机使用光度误差法标定。
首先，根据视觉里程计标定前、后两路摄像机，对每一路摄像机进行如下处理，获取前、后两路摄像机的外参信息。
（a）从步骤2得到的视觉里程计中获取汽车直行段视觉里程计，并根据该直行段视觉里程计构建直行段方向向量Yv；
（b）从步骤2得到的视觉里程计中获取转弯段视觉里程计，该转弯段视觉里程计与直行段视觉里程计形成轨迹平面，获取该轨迹平面的法线，即得到汽车行驶轨迹所在平面的法向量Zv；
（c）由直行段方向向量Yv，轨迹平面法向量Zv两向量叉乘，得到另一向量Xv，三个向量构建汽车坐标系Xv，Yv，Zv；
（d）摄像机坐标系Xc，Yc，Zc为原点且为单位矩阵，那么Xv，Yv，Zv与Xc，Yc，Zc个坐标轴之间的角度关系即为摄像机外参俯仰角α，滚转角β，偏航角θ。
然后，利用使用光度误差法获取左、右两路摄像机的外参信息。
此处应该结合图4进行详细阐述。
（2）基于视觉里程计结合IMU和轮式计的标定方法。根据传感器种类，分为以下三种标定方法。
1）视觉里程计结合IMU标定，获得四路摄像机外参信息，具体如下：
（a）采集IMU数据，获得每一帧图像的位置与姿态；
（b）通过步骤2得到的视觉里程计以及上述IMU数据，构建手眼标定关系AX=XB，并进行求解，获得摄像机与IMU之间的姿态关系矩阵X，其中，A表示视觉里程计中两帧之间的姿态关系矩阵，B表示使用IMU来表示对应视觉里程计中两帧之间的姿态关系矩阵；
（c）摄像机与IMU之间的姿态关系矩阵X，构建惯性视觉里程计（VIO）因子图，并使用非线性优化函数对该因子图进行迭代优化，直到参数收敛；
（d）摄像机的外参属于因子图中的一个参数，迭代优化完成即获得摄像机外参信息。
2）基于视觉里程计结合轮式计标定，获得四路摄像机外参信息，具体如下：
（a）通过轮式计获得每一帧的位置与姿态；
（b）通过步骤2得到的视觉里程计以及上述轮式计数据，构建手眼标定关系AX=XB，并进行求解，获得摄像机与IMU之间的姿态关系矩阵X，其中，A表示视觉里程计中两帧之间的姿态关系矩阵，B表示使用轮式计来表示对应视觉里程计中两帧之间的姿态关系矩阵；
（c）摄像机与轮式计之间的姿态关系矩阵X，构建惯性视觉里程计（VIO）因子图，并使用非线性优化函数对该因子图进行迭代优化，直到参数收敛；
（d）摄像机的外参属于因子图中的一个参数，迭代优化完成即获得摄像机外参信息。
（3）基于视觉里程计结合IMU、轮式计标定，获得四路摄像机外参信息，具体如下：
（c）分别采集IMU数据和轮式计数据，获得每一帧图像的位置与姿态；
（b）通过步骤2得到的视觉里程计以及上述IMU数据、轮式计数据，构建手眼标定关系AX=XB，AY=YD，并进行求解，获取摄像机与IMU之间的姿态关系矩阵X、摄像机与轮式计之间的姿态关系矩阵Y，其中A表示视觉里程计中两帧之间的姿态关系矩阵，B表示使用轮式计来表示对应视觉里程计中两帧之间的姿态关系矩阵，D使用轮式计来表示对应视觉里程计中两帧之间的姿态关系矩阵；
（c）通过摄像头与轮式计、IMU的位姿关系，构建轮式计惯性视觉里程计因子图，并使用非线性优化函数对该因子图进行迭代优化，直到参数收敛。
（d）摄像机的外参属于因子图中的一个参数，迭代优化完成即获得摄像机外参信息。
步骤4、判断位姿融合是否收敛，如果收敛则标定成功，否则失败。
综上可知，本发明能够基于视觉里程计进行自动在线标定，提高标定灵活性。
以上所述，仅是本发明实施例而已，并非对本发明的技术范围作任何限制，故凡是依据本发明的技术实质对以上实施例所作的任何细微修改、等同变化与修饰，均仍属于本发明技术方案的范围内。

Claims (7)

1.一种基于视觉里程计的车载摄像头在线标定方法，其特征在于：包括以下步骤：
步骤1、车载摄像头的自标定启动后，实时采集四路摄像头的当前帧图像，对当前帧图像进行预处理，并提取图像中的特征点，当图像中的特征点数量达到预设值时，进行下一步骤；否则继续采集图像；
步骤2、将当前帧图像中的特征点与前一帧图像的特征点进行匹配，若匹配满足设定条件时，根据特征点匹配关系，使用多视图集合理论中的对极约束，恢复出两帧之间的位姿，当摄像头的所有帧的图像均处理完成，所有帧之间的位姿关系组成视觉里程计，并进入下一步骤；否则，返回步骤1，继续进行图像采集；
步骤3、基于视觉里程计估计摄像机与车身位姿的关系，获取摄像机的外参信息；
步骤4、判断位姿融合是否收敛，如果收敛则标定成功，否则失败。
2.根据权利要求1所述的一种基于视觉里程计的车载摄像头在线标定方法，其特征在于：所述步骤3中，同时获取四路摄像机的外参信息：获取直线行驶段视觉里程计的方向向量，获取视觉里程计平面的法向量，根据方向向量和法向量求得车身位姿；最后融合车身位姿与摄像机位姿，获得四路摄像机外参。
3.根据权利要求2所述的一种基于视觉里程计的车载摄像头在线标定方法，其特征在于：所述步骤3具体如下：
（a）从步骤2得到的视觉里程计中获取汽车直行段视觉里程计，并根据该直行段视觉里程计构建直行段方向向量Yv；
（b）从步骤2得到的视觉里程计中获取转弯段视觉里程计，该转弯段视觉里程计与直行段视觉里程计形成轨迹平面，获取该轨迹平面的法线，即得到汽车行驶轨迹所在平面的法向量Zv；
（c）由直行段方向向量Yv，轨迹平面法向量Zv两向量叉乘，得到另一向量Xv，三个向量构建汽车坐标系Xv，Yv，Zv；
（d）摄像机坐标系Xc，Yc，Zc为原点且为单位矩阵，那么Xv，Yv，Zv与Xc，Yc，Zc个坐标轴之间的角度关系即为摄像机外参俯仰角α，滚转角β，偏航角θ。
4.根据权利要求1所述的一种基于视觉里程计的车载摄像头在线标定方法，其特征在于：所述步骤3中，使用里程计先获取两路摄像机的外参信息，剩余两路摄像机的外参信息使用光度误差法获取；
具体地，获得前、后视VO轨迹直线段方向向量、VO平面的法向量，求解出前、后视摄像机的外参；左、右视与前、后视存在重叠区域，在该重叠区域使用最小化其光度误差的方法，分别求解前左视、前右视、后左视、后右视位姿关系；最后，求解出左、右视摄像机的外参。
5.根据权利要求4所述的一种基于视觉里程计的车载摄像头在线标定方法，其特征在于：所述步骤3具体如下：
首先，对前、后两路摄像机进行如下处理，获取前、后两路摄像机的外参信息；
（a）从步骤2得到的视觉里程计中获取汽车直行段视觉里程计，并根据该直行段视觉里程计构建直行段方向向量Yv；
（b）从步骤2得到的视觉里程计中获取转弯段视觉里程计，该转弯段视觉里程计与直行段视觉里程计形成轨迹平面，获取该轨迹平面的法线，即得到汽车行驶轨迹所在平面的法向量Zv；
（c）由直行段方向向量Yv，轨迹平面法向量Zv两向量叉乘，得到另一向量Xv，三个向量构建汽车坐标系Xv，Yv，Zv；
（d）摄像机坐标系Xc，Yc，Zc为原点且为单位矩阵，那么Xv，Yv，Zv与Xc，Yc，Zc个坐标轴之间的角度关系即为摄像机外参俯仰角α，滚转角β，偏航角θ；
然后，利用使用光度误差法获取左、右两路摄像机的外参信息。
6.根据权利要求1所述的一种基于视觉里程计的车载摄像头在线标定方法，其特征在于：所述步骤3中，基于视觉里程计结合IMU获取四路摄像机外参信息，具体如下：
（a）采集IMU数据，获得每一帧图像的位置与姿态；
（b）通过步骤2得到的视觉里程计以及上述IMU数据，构建手眼标定关系AX=XB，并进行求解，获得摄像机与IMU之间的姿态关系矩阵X，其中，A表示视觉里程计中两帧之间的姿态关系矩阵，B表示使用IMU来表示对应视觉里程计中两帧之间的姿态关系矩阵；
（c）摄像机与IMU之间的姿态关系矩阵X，构建惯性视觉里程计因子图，并使用非线性优化函数对该因子图进行迭代优化，直到参数收敛；
（d）摄像机的外参属于因子图中的一个参数，迭代优化完成即获得摄像机外参信息。
7.根据权利要求1所述的一种基于视觉里程计的车载摄像头在线标定方法，其特征在于：所述步骤3中，基于视觉里程计结合IMU、轮式计标定，获得四路摄像机外参信息，具体如下：
（a）分别采集IMU数据和轮式计数据，获得每一帧图像的位置与姿态；
（b）通过步骤2得到的视觉里程计以及上述IMU数据、轮式计数据，构建手眼标定关系AX=XB，AY=YD，并进行求解，获取摄像机与IMU之间的姿态关系矩阵X、摄像机与轮式计之间的姿态关系矩阵Y，其中A表示视觉里程计中两帧之间的姿态关系矩阵，B表示使用轮式计来表示对应视觉里程计中两帧之间的姿态关系矩阵，D使用轮式计来表示对应视觉里程计中两帧之间的姿态关系矩阵；
（c）通过摄像头与轮式计、IMU的位姿关系，构建轮式计惯性视觉里程计因子图，并使用非线性优化函数对该因子图进行迭代优化，直到参数收敛；
（d）摄像机的外参属于因子图中的一个参数，迭代优化完成即获得摄像机外参信息。
CN202310590573.3A 2023-05-24 2023-05-24 一种基于视觉里程计的车载摄像头在线标定方法 Active CN116309885B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310590573.3A CN116309885B (zh) 2023-05-24 2023-05-24 一种基于视觉里程计的车载摄像头在线标定方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310590573.3A CN116309885B (zh) 2023-05-24 2023-05-24 一种基于视觉里程计的车载摄像头在线标定方法

Publications (2)

Publication Number Publication Date
CN116309885A CN116309885A (zh) 2023-06-23
CN116309885B true CN116309885B (zh) 2023-09-01

Family

ID=86830920

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310590573.3A Active CN116309885B (zh) 2023-05-24 2023-05-24 一种基于视觉里程计的车载摄像头在线标定方法

Country Status (1)

Country Link
CN (1) CN116309885B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102435172A (zh) * 2011-09-02 2012-05-02 北京邮电大学 一种球形机器人视觉定位系统及视觉定位方法
CN108932737A (zh) * 2018-06-15 2018-12-04 深圳地平线机器人科技有限公司 车载相机俯仰角标定方法和装置、电子设备以及车辆
CN110009681A (zh) * 2019-03-25 2019-07-12 中国计量大学 一种基于imu辅助的单目视觉里程计位姿处理方法
CN110411476A (zh) * 2019-07-29 2019-11-05 视辰信息科技(上海)有限公司 视觉惯性里程计标定适配及评价方法和系统
CN113643374A (zh) * 2020-04-27 2021-11-12 上海欧菲智能车联科技有限公司 基于道路特征的多目相机标定方法、装置、设备和介质
CN115326053A (zh) * 2022-08-18 2022-11-11 华南理工大学 一种基于双层视觉的移动机器人多传感器融合定位方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220015964A (ko) * 2020-07-31 2022-02-08 삼성전자주식회사 시각적 주행 거리 측정 애플리케이션들을 위한 손실된 이미지 특징 복원을 위한 방법 및 시스템

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102435172A (zh) * 2011-09-02 2012-05-02 北京邮电大学 一种球形机器人视觉定位系统及视觉定位方法
CN108932737A (zh) * 2018-06-15 2018-12-04 深圳地平线机器人科技有限公司 车载相机俯仰角标定方法和装置、电子设备以及车辆
CN110009681A (zh) * 2019-03-25 2019-07-12 中国计量大学 一种基于imu辅助的单目视觉里程计位姿处理方法
CN110411476A (zh) * 2019-07-29 2019-11-05 视辰信息科技(上海)有限公司 视觉惯性里程计标定适配及评价方法和系统
CN113643374A (zh) * 2020-04-27 2021-11-12 上海欧菲智能车联科技有限公司 基于道路特征的多目相机标定方法、装置、设备和介质
CN115326053A (zh) * 2022-08-18 2022-11-11 华南理工大学 一种基于双层视觉的移动机器人多传感器融合定位方法

Also Published As

Publication number Publication date
CN116309885A (zh) 2023-06-23

Similar Documents

Publication Publication Date Title
US10919458B2 (en) Method and system for calibrating vehicular cameras
CN109920011B (zh) 激光雷达与双目摄像头的外参标定方法、装置及设备
US10628690B2 (en) Systems and methods for automated detection of trailer properties
EP2665037B1 (en) Onboard camera automatic calibration apparatus
JP6767998B2 (ja) 画像の線からのカメラの外部パラメータ推定
CN106981082A (zh) 车载摄像头标定方法、装置及车载设备
CN108154472B (zh) 融合导航信息的泊车位视觉检测方法与系统
EP3040254B1 (en) Turning angle correction method, turning angle correction device, image-capturing device, and turning angle correction system
US10997737B2 (en) Method and system for aligning image data from a vehicle camera
CN104517096A (zh) 环景监视系统的图像处理方法和系统
EP3002709A1 (en) Method for detecting an object in an environmental region of a motor vehicle, driver assistance system and motor vehicle
US20200134869A1 (en) Static Camera Calibration Using Motion of Vehicle Portion
CN111768332A (zh) 一种车载环视实时3d全景图像的拼接方法及图形采集装置
US10108866B2 (en) Method and system for robust curb and bump detection from front or rear monocular cameras
JP6375633B2 (ja) 車両周辺画像表示装置、車両周辺画像表示方法
CN108107897A (zh) 实时传感器控制方法及装置
WO2018222122A1 (en) Methods for perspective correction, computer program products and systems
CN108986249B (zh) 基于全景环视图像的车辆远程定损方法和系统
CN116309885B (zh) 一种基于视觉里程计的车载摄像头在线标定方法
CN111652938B (zh) 自动泊车标定方法和系统
JP2018136739A (ja) キャリブレーション装置
CN112215214A (zh) 调整智能车载终端的摄像头偏移的方法及系统
EP3629292A1 (en) Reference point selection for extrinsic parameter calibration
CN112150547A (zh) 一种确定车体位姿的方法、装置及环视视觉里程计系统
CN107886472B (zh) 全景泊车系统的图像拼接校准方法和图像拼接校准装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CB03 Change of inventor or designer information

Inventor after: Wang Hengzhou

Inventor after: Xu Jianshuang

Inventor after: Liu Yonghong

Inventor after: Lin Caiming

Inventor after: Lu Zhimeng

Inventor before: Wang Hengzhou

Inventor before: Xu Jianshuang

Inventor before: Liu Yonghong

Inventor before: Lin Caiming

CB03 Change of inventor or designer information