CN110675455A - 一种基于自然场景的车身环视相机自标定方法和系统 - Google Patents

一种基于自然场景的车身环视相机自标定方法和系统 Download PDF

Info

Publication number
CN110675455A
CN110675455A CN201910814527.0A CN201910814527A CN110675455A CN 110675455 A CN110675455 A CN 110675455A CN 201910814527 A CN201910814527 A CN 201910814527A CN 110675455 A CN110675455 A CN 110675455A
Authority
CN
China
Prior art keywords
camera
module
scene
calibration
odometer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910814527.0A
Other languages
English (en)
Other versions
CN110675455B (zh
Inventor
赵杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dilu Technology Co Ltd
Original Assignee
Dilu Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dilu Technology Co Ltd filed Critical Dilu Technology Co Ltd
Priority to CN201910814527.0A priority Critical patent/CN110675455B/zh
Publication of CN110675455A publication Critical patent/CN110675455A/zh
Application granted granted Critical
Publication of CN110675455B publication Critical patent/CN110675455B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Abstract

本发明公开了一种基于自然场景的车身环视相机自标定方法和系统，包括以下步骤，将载有环视相机的车辆位于标定场景下行驶；初始模块对设置于车身上的环视相机进行初始位姿估计和数据采集；相机里程计标定模块结合所述初始模块估计的所述初始位姿和采集的里程计数据，计算出单个相机与里程计的变换矩阵；场景合并模块将不同相机的场景点合并，完成地图的构建并计算相邻相机间的变换矩阵。本发明的有益效果：本发明提出的基于自然场景的车身环视相机自标定方法，一是不依赖其他任何标定物，只需要在标定前任意选择一块区域作为标定区。

Description

一种基于自然场景的车身环视相机自标定方法和系统
技术领域
本发明涉及多相机标定技术的技术领域，尤其涉及一种基于自然场景的车身环视相机自标定方法和系统。
背景技术
近年来现有标定方法主要分为三种：基于特定标定物的自标定方法，一般为棋盘格；基于特征点的自标定方法，查找相邻图像间的对应特征点计算相机间变换矩阵；基于车道线的自标定方法，计算相机间变换矩阵。但是基于特定标定物的自标定方法，需要使用特定的标定物，一般为棋盘格，还需特定人员配合，标定步骤复杂，花费时间较长；以及基于特征点的自标定方法，在车速较快时，图像特征点容易查找不到，而且由于匹配点数量较少，使得相机变换结果精度不高；基于车道线的自标定方法，过于依赖公路上的车道线，在车道线损坏、破裂情况下会产生错误的结果。
发明内容
本部分的目的在于概述本发明的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本申请的说明书摘要和发明名称中可能会做些简化或省略以避免使本部分、说明书摘要和发明名称的目的模糊，而这种简化或省略不能用于限制本发明的范围。
鉴于上述现有存在的问题，提出了本发明。
因此，本发明解决的一个技术问题是：提供一种基于自然场景的车身环视相机自标定方法，解决现有标定方法需要专家监督、耗时长、效率不高的缺点。
为解决上述技术问题，本发明提供如下技术方案：一种基于自然场景的车身环视相机自标定方法，包括以下步骤，将载有环视相机的车辆位于标定场景下行驶；初始模块对设置于车身上的环视相机进行初始位姿估计和数据采集；相机里程计标定模块结合所述初始模块估计的所述初始位姿和采集的里程计数据，计算出单个相机与里程计的变换矩阵；场景恢复模块根据所述初始位姿、所述变换矩阵和采集数据的图像内部特征点，恢复出标定场景点的坐标；回环检测模块判断车辆是否发生回环；位姿图优化模块根据所述回环检测模块的检测结果，优化所述环视相机位置和姿态；场景合并模块将不同相机的场景点合并，完成地图的构建并计算相邻相机间的变换矩阵。
作为本发明所述的基于自然场景的车身环视相机自标定方法的一种优选方案，其中：所述初始模块包括采集车身运动时每个时刻的相机图像和里程计数据，保证相机图像和里程计数据的对齐；以及利用SLAM技术中的前端获取单个相机的所述初始位姿以及图像内部特征点数据。
作为本发明所述的基于自然场景的车身环视相机自标定方法的一种优选方案，其中：所述初始模块还包括初始相机的位姿估计的步骤，计算SURF特征点和SURF描述子；提取关键帧；利用P3P计算相机位姿和内部特征跟踪点并进行小窗口的BA优化。
作为本发明所述的基于自然场景的车身环视相机自标定方法的一种优选方案，其中：所述相机里程计标定模块包括以下计算步骤，将相机里程计标定作为手眼标定，得到公式如下：
Figure BDA0002185974300000021
Figure BDA0002185974300000022
求解相机里程计的变换矩阵。
作为本发明所述的基于自然场景的车身环视相机自标定方法的一种优选方案，其中：所述场景恢复模块包括以下步骤，采用三角测量方法计算2D特征点的3D点坐标；采用BA优化移除错误的特征点。
作为本发明所述的基于自然场景的车身环视相机自标定方法的一种优选方案，其中：所述回环检测模块通过BoW词袋模型的方法计算两幅图像之间的相似程度，判断车辆是否驶过历史位置，也即是否发生回环，包括以下步骤，采用词包模型DBoW2查找图像之间的相似度；若两幅图像间的相似度超过了设置的阈值，则判断为发生闭环检测，则进行闭环纠偏。
作为本发明所述的基于自然场景的车身环视相机自标定方法的一种优选方案，其中：所述位姿图优化模块根据回环检测结果，使用BA方法优化相机位置和姿态；依据slam的图优化技术，使用BA方法只保留关键帧的轨迹；构建位姿图，有利于减小计算量并去掉误匹配点。
作为本发明所述的基于自然场景的车身环视相机自标定方法的一种优选方案，其中：所述场景合并模块获取不同相机间的历史帧图像，通过计算不同相机图像间的局部特征点，找到对应的3D场景点进行合并，完成地图的构建并计算相机里程计矩阵。
作为本发明所述的基于自然场景的车身环视相机自标定方法的一种优选方案，其中：所述场景合并模块还包括以下步骤，缓存一定历史长度的相机图像，计算每帧图像的特征点；对历史图像帧进行特征点匹配，找到匹配点数量最多的图像；合并图像特征点对应的场景点构建全局一致性地图；将相机里程计之间的变换矩阵，转换为相邻相机间的变换矩阵。
本发明解决的另一个技术问题是：提供一种基于自然场景的车身环视相机自标定系统，解决现有标定方法需要专家监督、耗时长、效率不高的缺点。
为解决上述技术问题，本发明提供如下技术方案：一种基于自然场景的车身环视相机自标定系统，包括依次衔接的初始模块、相机里程计标定模块、场景恢复模块、回环检测模块、位姿图优化模块和场景合并模块；所述初始模块用于采集车身运动时每个时刻的相机图像和里程计数据，以及获取单个相机的初始位姿以及图像内部特征点数据；所述机里程计标定模块用于计算单个相机与里程计的变换矩阵；所述场景恢复模块用于恢复出场景点的坐标后，输入所述回环检测模块用于判断车辆是否驶过历史位置即是否发生回环；所述位姿图优化模块用于根据回环检测结果，优化相机位置和姿态；所述场景合并模块用于完成地图的构建并将相机里程计之间的变换矩阵转换为相邻相机间的变换矩阵。
本发明的有益效果：本发明提出的基于自然场景的车身环视相机自标定方法，一是不依赖其他任何标定物，只需要在标定前任意选择一块区域作为标定区，具有方便、快捷的优点；二是通过构建高精度的全局一致性地图，可直观判断出每个相机的运行轨迹；三是具有相对较高的精度。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。其中：
图1为本发明第一种实施例所述基于自然场景的车身环视相机自标定方法的整体流程结构示意图；
图2为本发明第一种实施例所述相机坐标系相对于世界坐标系位姿示意图；
图3为本发明第一种实施例所述当前帧相对于上一帧的位姿变换示意图；
图4为本发明第二种实施例所述基于自然场景的车身环视相机自标定系统的整体原理示意图；
图5为本发明第二种实施例所述车身环视相机传统棋盘格标定方法示意图；
图6为本发明第二种实施例所述车身环视相机自然场景点标定方法示意图；
图7为本发明所述前相机相对其他三个相机的角度示意图；
图8为本发明所述前相机相对其他三个相机的xyz方向平移距离示意图；
图9为本发明所述相机安装位置图像且分别安装在车顶的前后左右四个方位的示意图；
图10为本发明所述传统棋格标定和里程计的位置示意图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合说明书附图对本发明的具体实施方式做详细的说明，显然所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明的保护的范围。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。
其次，此处所称的“一个实施例”或“实施例”是指可包含于本发明至少一个实现方式中的特定特征、结构或特性。在本说明书中不同地方出现的“在一个实施例中”并非均指同一个实施例，也不是单独的或选择性的与其他实施例互相排斥的实施例。
本发明结合示意图进行详细描述，在详述本发明实施例时，为便于说明，表示器件结构的剖面图会不依一般比例作局部放大，而且所述示意图只是示例，其在此不应限制本发明保护的范围。此外，在实际制作中应包含长度、宽度及深度的三维空间尺寸。
同时在本发明的描述中，需要说明的是，术语中的“上、下、内和外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一、第二或第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
本发明中除非另有明确的规定和限定，术语“安装、相连、连接”应做广义理解，例如：可以是固定连接、可拆卸连接或一体式连接；同样可以是机械连接、电连接或直接连接，也可以通过中间媒介间接相连，也可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
实施例1
参照图1～3的示意，示意为本实施例提出一种基于自然场景的车身环视相机自标定方法，本方法基于自然场景的车身环视相机自标定方法主要是依据SLAM实时定位和建图技术，通过车身周围的场景点信息，结合车轮里程计或者GPS里程计等工具，确定相机运动的轨迹，构建全局一致性地图，从而计算相邻相机间的变换矩阵，完成环视相机的标定。SLAM是同步定位与地图构建的缩写，SLAM与其说是一个算法不如说它是一个概念更为贴切，它被定义为解决“机器人从未知环境的未知地点出发，在运动过程中通过重复观测到的地图特征(比如，墙角，柱子等)定位自身位置和姿态，再根据自身位置增量式的构建地图，从而达到同时定位和地图构建的目”的问题方法的统称。SLAM技术的核心步骤大体上而言，包含了感知、定位和建图这三个过程。其中感知是机器人能够通过传感器获取周围的环境信息；定位是通过传感器获取的当前和历史信息，推测出自身的位置和姿态；建图是根据自身的位姿以及传感器获取的信息，描绘出自身所处环境的样貌。
大体而言，SLAM问题基本上可以分为前端和后端两个部分。前端主要处理传感器获取的数据，并将其转化为相对位姿或其他机器人可以理解的形式；后端则主要处理最优后验估计的问题，即位姿、地图等的最优估计。
现有SLAM技术用来建图，现有标定技术缺点明显。目前车身相机标定方法主要采用特定标定物标定，如棋盘格等。将棋盘格放置在四周环视相机视野内，建立车身坐标系，人工丈量棋盘格角点在车身坐标系的位置。计算相机坐标系与车身坐标系的变换矩阵。本实施例采用SLAM技术进行相机标定。在标定之前，只需选择一片场景作为标定区域，将车在标定区域上行驶，构建标定区域全局一致性地图。不需要人工丈量，方便快捷。让车身环视相机标定方便快捷，解决现有标定方法需要专家监督、耗时长、效率不高的特点。
进一步的，本实施例提出的标定方法包括以下步骤：
将载有环视相机的车辆位于标定场景下行驶；
初始模块100对设置于车身上的环视相机进行初始位姿估计和数据采集，本步骤中初始模块100包括采集车身运动时每个时刻的相机图像和里程计数据，保证相机图像和里程计数据的对齐；以及利用SLAM技术中的前端获取单个相机的初始位姿以及图像内部特征点数据；
相机里程计标定模块200结合初始模块100估计的初始位姿和采集的里程计数据，计算出单个相机与里程计的变换矩阵，将相机里程计标定问题看作是手眼标定问题，利用初始模块100估计的相机初始位姿和采集的里程计数据，计算单个相机与里程计的变换矩阵；
场景恢复模块300根据初始位姿、变换矩阵和采集数据的图像内部特征点，恢复出标定场景点的坐标，利用初始相机位姿和相机与里程计的变换矩阵以及图像内部特征点来恢复出场景点的坐标；
回环检测模块400判断车辆是否发生回环；
位姿图优化模块500根据回环检测模块400的检测结果，优化环视相机位置和姿态；
场景合并模块600将不同相机的场景点合并，完成地图的构建并计算相邻相机间的变换矩阵，本步骤包括获取不同相机间的历史帧图像，通过计算不同相机图像间的局部特征点，找到对应的3D场景点进行合并，完成地图的构建并计算相机里程计矩阵。
更加具体的，还需要说明的是，上述模块的更加具体的实现步骤，
S1：初始相机的位姿估计：
包括初始相机的位姿估计的步骤，
计算SURF特征点和SURF描述子；
提取关键帧；
利用P3P计算相机位姿和内部特征跟踪点并进行小窗口的BA优化。
其中SURF可以用于对象定位和识别、人脸识别、3D重建、对象跟踪和提取兴趣点等，用于进行物体辨识和图像匹配。包括检测和描述两步，特征点是是图像中的一个点，这个点具有这样的特性：容易被检测到，只要这个点所对应的那个物体还在摄像头的视野范围内，那么这个点就能被检测出来。比如角点，边界点，亮处的暗点，暗处的亮点等，一言以蔽之，就是与周围有反差的点；不受明暗光线变化的影响，具有核心函数：类SURF中成员函数create()、函数detect()用来检测图像或图像集中的关键点、函数drawKeypoints()绘制关键点，组建上述函数并运行特征点提取代码，能够实现SURF特征点的提取。
提取关键帧，在上一帧成功跟踪后，ORB-SLAM2会假设相机为恒速运动模型来估计当前帧的相机位姿，并且在当前帧中搜索前一帧观察到的地图点时，可以根据该运动来缩小搜索范围。使用Tracking类的protected函数bool TrackWithMotionModel()实现。
位姿求解是计算机视觉中经常遇到的，Perspective-n-Points，PnP(P3P)是一种由3D-2D的位姿求解方式，即需要已知匹配的3D点和图像2D点，本实施例为SLAM算法中估计相机位姿时通常需要PnP给出相机初始位姿。输入的是物体在世界坐标系下的3D点以及这些3D点在图像上投影的2D点，因此求得的是相机(相机坐标系)相对于真实物体(世界坐标系)的位姿，参照图2的示意。
首先求出对应的2D点在当前相机坐标系下的3D坐标，然后根据世界坐标系下的3D坐标和当前相机坐标系下的3D坐标求解相机位姿的。P3P的求解是从余弦定理开始的，设相机坐标中心为点P，A、B、C为不共线的三个3D点，D为验证3D点，根据余弦定理有如下公式：
PA2+PB2-2·PA·PB·cos<a，b>＝AB2
PA2+PC2-2·PA·PC·cos<a，c>＝AC2
PB2+PC2-2·PB·PC·cos<b，c>＝BC2
接下来其实是对上述3个式子消元化简的过程，同时除以PC2，并且使得：
通过计算并简化得到：
(1-w)x2-w·y2-2·x·cos<a，c>+2·w·x·y·cos<a，b>+1＝0
(1-v)y2-v·x2-2·y·cos<b，c>+2·v·x·y·cos<a，b>+1＝0
根据2D坐标求解余弦值得过程，首先是由像素坐标到归一化图像坐标的转变，根据就是相机模型：
Figure BDA0002185974300000081
根据3D坐标求解AB、AC、BC的值，以AB为例
Figure BDA0002185974300000082
求得了x，y的值，就可以求取PA，PB，PC的值，AB已知，可以先求PC，然后分别求解PB，PA，如下式：
Figure BDA0002185974300000083
需要的是A，B，C在相机坐标系下的坐标，而不是PA，PB，PC的长度，因此还需根据长度求取点的坐标，求解方法是用向量公式：
Figure BDA0002185974300000084
最后求得了A，B，C的坐标就可以通过世界坐标系到当前相机坐标的变换求解相机位姿。
S2：相机里程计标定计算：
将相机里程计标定作为手眼标定，得到公式如下：
Figure BDA0002185974300000086
求解相机里程计的变换矩阵。
S3：场景点重建，场景恢复模块300包括以下步骤，
采用三角测量方法计算2D特征点的3D点坐标；
采用BA优化移除错误的特征点。
S4：回环检测，回环检测模块400通过BoW词袋模型的方法计算两幅图像之间的相似程度，判断车辆是否驶过历史位置，也即是否发生回环，包括以下步骤，
采用词包模型DBoW2查找图像之间的相似度；
若两幅图像间的相似度超过了设置的阈值，则判断为发生闭环检测，则进行闭环纠偏。
S5：位姿图优化：
位姿图优化模块500根据回环检测结果，使用BA方法优化相机位置和姿态；
依据slam的图优化技术，使用BA方法只保留关键帧的轨迹；
构建位姿图，有利于减小计算量并去掉误匹配点。
S6：不同相机的场景点合并：
场景合并模块600获取不同相机间的历史帧图像，通过计算不同相机图像间的局部特征点，找到对应的3D场景点进行合并，完成地图的构建并计算相机里程计矩阵。具体的，场景合并模块600还包括以下步骤，
缓存一定历史长度的相机图像，计算每帧图像的特征点；
对历史图像帧进行特征点匹配，找到匹配点数量最多的图像；
合并图像特征点对应的场景点构建全局一致性地图；
将相机里程计之间的变换矩阵，转换为相邻相机间的变换矩阵。
场景一：
为验证标定精度，设计环视相机自标定仿真实验
本实验选择地下停车场作为标定区域，对比测试本方法和基于棋盘格的标定方法，并运用C++进行编程和ROS机器人操作系统平台仿真测试，根据实验结果得到仿真数据。
图7为本方法和传统方法的角度测试数据；以车辆前相机为参考相机，本方法测得左相机、右相机、后相机相对于前相机的位置角度与基于棋盘格的传统方法最大误差0.55°，最小误差在0.2°；图8为本方法与传统方法的xyz三个方向的平移距离测试数据；以车辆前相机为参考相机，本方法测得左相机、右相机、后相机相对于前相机的平移距离与基于棋盘格的传统方法最大误差0.02m，最小误差在0.0032m；图9示意为相机安装位置图像，分别安装在车顶的前后左右四个方位。图10示意为图中每个格子代表1m，绿色的为基于棋盘格标定的方法(灰度后对应颜色较浅部分)，蓝色的为本方法(灰度后对应颜色较深的部分)，(x，y)为里程计的位置。为清楚示意，本实施例在图中进行标注。
实施例2
参照图4～6种基于自然场景的车身环视相机自标定系统，其特征在于：包括依次衔接的初始模块100、相机里程计标定模块200、场景恢复模块300、回环检测模块400、位姿图优化模块500和场景合并模块600；其中初始模块100用于采集车身运动时每个时刻的相机图像和里程计数据，以及获取单个相机的初始位姿以及图像内部特征点数据；机里程计标定模块200用于计算单个相机与里程计的变换矩阵；场景恢复模块300用于恢复出场景点的坐标后，输入回环检测模块400用于判断车辆是否驶过历史位置即是否发生回环；位姿图优化模块500用于根据回环检测结果，优化相机位置和姿态；场景合并模块600用于完成地图的构建并将相机里程计之间的变换矩阵转换为相邻相机间的变换矩阵。
参照图5和图6所示，图5为车身环视相机传统棋盘格标定方法，图6为车身环视相机自然场景点标定方法；可以看出本专利提出的自然场景点自标定方法具有和传统棋盘格标定方法一样的效果，但是比传统方法更方便，不需要额外标定物和专业人员参与，只需选中一片标定区域即可。
如在本申请所使用的，术语“组件”、“模块”、“系统”等等旨在指代计算机相关实体，该计算机相关实体可以是硬件、固件、硬件和软件的结合、软件或者运行中的软件。例如，组件可以是，但不限于是：在处理器上运行的处理、处理器、对象、可执行文件、执行中的线程、程序和/或计算机。作为示例，在计算设备上运行的应用和该计算设备都可以是组件。一个或多个组件可以存在于执行中的过程和/或线程中，并且组件可以位于一个计算机中以及/或者分布在两个或更多个计算机之间。此外，这些组件能够从在其上具有各种数据结构的各种计算机可读介质中执行。这些组件可以通过诸如根据具有一个或多个数据分组(例如，来自一个组件的数据，该组件与本地系统、分布式系统中的另一个组件进行交互和/或以信号的方式通过诸如互联网之类的网络与其它系统进行交互)的信号，以本地和/或远程过程的方式进行通信。
应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (10)

1.一种基于自然场景的车身环视相机自标定方法，其特征在于：包括以下步骤，
将载有环视相机的车辆位于标定场景下行驶；
初始模块(100)对设置于车身上的环视相机进行初始位姿估计和数据采集；
相机里程计标定模块(200)结合所述初始模块(100)估计的所述初始位姿和采集的里程计数据，计算出单个相机与里程计的变换矩阵；
场景恢复模块(300)根据所述初始位姿、所述变换矩阵和采集数据的图像内部特征点，恢复出标定场景点的坐标；
回环检测模块(400)判断车辆是否发生回环；
位姿图优化模块(500)根据所述回环检测模块(400)的检测结果，优化所述环视相机位置和姿态；
场景合并模块(600)将不同相机的场景点合并，完成地图的构建并计算相邻相机间的变换矩阵。
2.如权利要求1所述的基于自然场景的车身环视相机自标定方法，其特征在于：所述初始模块(100)包括采集车身运动时每个时刻的相机图像和里程计数据，保证相机图像和里程计数据的对齐；以及利用SLAM技术中的前端获取单个相机的所述初始位姿以及图像内部特征点数据。
3.如权利要求1或2所述的基于自然场景的车身环视相机自标定方法，其特征在于：所述初始模块(100)还包括初始相机的位姿估计的步骤，
计算SURF特征点和SURF描述子；
提取关键帧；
利用P3P计算相机位姿和内部特征跟踪点并进行小窗口的BA优化。
4.如权利要求3所述的基于自然场景的车身环视相机自标定方法，其特征在于：所述相机里程计标定模块(200)包括以下计算步骤，
将相机里程计标定作为手眼标定，得到公式如下：
Figure FDA0002185974290000011
Figure FDA0002185974290000012
求解相机里程计的变换矩阵。
5.如权利要求4所述的基于自然场景的车身环视相机自标定方法，其特征在于：所述场景恢复模块(300)包括以下步骤，
采用三角测量方法计算2D特征点的3D点坐标；
采用BA优化移除错误的特征点。
6.如权利要求5所述的基于自然场景的车身环视相机自标定方法，其特征在于：所述回环检测模块(400)通过BoW词袋模型的方法计算两幅图像之间的相似程度，判断车辆是否驶过历史位置，也即是否发生回环，包括以下步骤，
采用词包模型DBoW2查找图像之间的相似度；
若两幅图像间的相似度超过了设置的阈值，则判断为发生闭环检测，则进行闭环纠偏。
7.如权利要求5或6所述的基于自然场景的车身环视相机自标定方法，其特征在于：所述位姿图优化模块(500)根据回环检测结果，使用BA方法优化相机位置和姿态；
依据slam的图优化技术，使用BA方法只保留关键帧的轨迹；
构建位姿图，有利于减小计算量并去掉误匹配点。
8.如权利要求7所述的基于自然场景的车身环视相机自标定方法，其特征在于：所述场景合并模块(600)获取不同相机间的历史帧图像，通过计算不同相机图像间的局部特征点，找到对应的3D场景点进行合并，完成地图的构建并计算相机里程计矩阵。
9.如权利要求8所述的基于自然场景的车身环视相机自标定方法，其特征在于：所述场景合并模块(600)还包括以下步骤，
缓存一定历史长度的相机图像，计算每帧图像的特征点；
对历史图像帧进行特征点匹配，找到匹配点数量最多的图像；
合并图像特征点对应的场景点构建全局一致性地图；
将相机里程计之间的变换矩阵，转换为相邻相机间的变换矩阵。
10.一种基于自然场景的车身环视相机自标定系统，其特征在于：包括依次衔接的初始模块(100)、相机里程计标定模块(200)、场景恢复模块(300)、回环检测模块(400)、位姿图优化模块(500)和场景合并模块(600)；
所述初始模块(100)用于采集车身运动时每个时刻的相机图像和里程计数据，以及获取单个相机的初始位姿以及图像内部特征点数据；
所述机里程计标定模块(200)用于计算单个相机与里程计的变换矩阵；
所述场景恢复模块(300)用于恢复出场景点的坐标后，输入所述回环检测模块(400)用于判断车辆是否驶过历史位置即是否发生回环；所述位姿图优化模块(500)用于根据回环检测结果，优化相机位置和姿态；
所述场景合并模块(600)用于完成地图的构建并将相机里程计之间的变换矩阵转换为相邻相机间的变换矩阵。
CN201910814527.0A 2019-08-30 2019-08-30 一种基于自然场景的车身环视相机自标定方法和系统 Active CN110675455B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910814527.0A CN110675455B (zh) 2019-08-30 2019-08-30 一种基于自然场景的车身环视相机自标定方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910814527.0A CN110675455B (zh) 2019-08-30 2019-08-30 一种基于自然场景的车身环视相机自标定方法和系统

Publications (2)

Publication Number Publication Date
CN110675455A true CN110675455A (zh) 2020-01-10
CN110675455B CN110675455B (zh) 2023-09-22

Family

ID=69075819

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910814527.0A Active CN110675455B (zh) 2019-08-30 2019-08-30 一种基于自然场景的车身环视相机自标定方法和系统

Country Status (1)

Country Link
CN (1) CN110675455B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111428608A (zh) * 2020-03-19 2020-07-17 腾讯科技（深圳）有限公司 交通工具定位方法、装置、计算机设备和存储介质
CN113327291A (zh) * 2020-03-16 2021-08-31 天目爱视（北京）科技有限公司 一种基于连续拍摄对远距离目标物3d建模的标定方法
CN113554711A (zh) * 2020-04-26 2021-10-26 上海欧菲智能车联科技有限公司 相机在线标定方法、装置、计算机设备和存储介质
CN114882115A (zh) * 2022-06-10 2022-08-09 国汽智控(北京)科技有限公司 车辆位姿的预测方法和装置、电子设备和存储介质
CN117523010A (zh) * 2024-01-05 2024-02-06 深圳市欧冶半导体有限公司 车辆的相机位姿确定方法、装置、计算机设备和存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100220173A1 (en) * 2009-02-20 2010-09-02 Google Inc. Estimation of Panoramic Camera Orientation Relative to a Vehicle Coordinate Frame
CN109509230A (zh) * 2018-11-13 2019-03-22 武汉大学 一种应用于多镜头组合式全景相机的slam方法
CN109544636A (zh) * 2018-10-10 2019-03-29 广州大学 一种融合特征点法和直接法的快速单目视觉里程计导航定位方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100220173A1 (en) * 2009-02-20 2010-09-02 Google Inc. Estimation of Panoramic Camera Orientation Relative to a Vehicle Coordinate Frame
CN109544636A (zh) * 2018-10-10 2019-03-29 广州大学 一种融合特征点法和直接法的快速单目视觉里程计导航定位方法
CN109509230A (zh) * 2018-11-13 2019-03-22 武汉大学 一种应用于多镜头组合式全景相机的slam方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
2008NML: "高翔《视觉SLAM十四讲》从理论到实践", 《博客园》 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113327291A (zh) * 2020-03-16 2021-08-31 天目爱视（北京）科技有限公司 一种基于连续拍摄对远距离目标物3d建模的标定方法
CN113327291B (zh) * 2020-03-16 2024-03-22 天目爱视（北京）科技有限公司 一种基于连续拍摄对远距离目标物3d建模的标定方法
CN111428608A (zh) * 2020-03-19 2020-07-17 腾讯科技（深圳）有限公司 交通工具定位方法、装置、计算机设备和存储介质
CN111428608B (zh) * 2020-03-19 2023-05-23 腾讯科技（深圳）有限公司 交通工具定位方法、装置、计算机设备和存储介质
CN113554711A (zh) * 2020-04-26 2021-10-26 上海欧菲智能车联科技有限公司 相机在线标定方法、装置、计算机设备和存储介质
CN114882115A (zh) * 2022-06-10 2022-08-09 国汽智控(北京)科技有限公司 车辆位姿的预测方法和装置、电子设备和存储介质
CN114882115B (zh) * 2022-06-10 2023-08-25 国汽智控(北京)科技有限公司 车辆位姿的预测方法和装置、电子设备和存储介质
CN117523010A (zh) * 2024-01-05 2024-02-06 深圳市欧冶半导体有限公司 车辆的相机位姿确定方法、装置、计算机设备和存储介质
CN117523010B (zh) * 2024-01-05 2024-04-09 深圳市欧冶半导体有限公司 车辆的相机位姿确定方法、装置、计算机设备和存储介质

Also Published As

Publication number Publication date
CN110675455B (zh) 2023-09-22

Similar Documents

Publication Publication Date Title
CN110675455A (zh) 一种基于自然场景的车身环视相机自标定方法和系统
US9953461B2 (en) Navigation system applying augmented reality
CN110009681B (zh) 一种基于imu辅助的单目视觉里程计位姿处理方法
CN106679648B (zh) 一种基于遗传算法的视觉惯性组合的slam方法
CN108682027A (zh) 基于点、线特征融合的vSLAM实现方法及系统
CN107909614B (zh) 一种gps失效环境下巡检机器人定位方法
JP6830140B2 (ja) 運動ベクトル場の決定方法、運動ベクトル場の決定装置、機器、コンピュータ読み取り可能な記憶媒体及び車両
CN106056664A (zh) 一种基于惯性和深度视觉的实时三维场景重构系统及方法
CN108052103A (zh) 基于深度惯性里程计的巡检机器人地下空间同时定位和地图构建方法
KR101880185B1 (ko) 이동체 포즈 추정을 위한 전자 장치 및 그의 이동체 포즈 추정 방법
CN111932674A (zh) 一种线激光视觉惯性系统的优化方法
CN112017236B (zh) 一种基于单目相机计算目标物位置的方法及装置
CN116222543B (zh) 用于机器人环境感知的多传感器融合地图构建方法及系统
CN104848861A (zh) 一种基于图像消失点识别技术的移动设备姿态测量方法
CN111609868A (zh) 一种基于改进光流法的视觉惯性里程计方法
CN114088087A (zh) 无人机gps-denied下高可靠高精度导航定位方法和系统
CN114608554A (zh) 一种手持slam设备以及机器人即时定位与建图方法
CN113188557A (zh) 一种融合语义特征的视觉惯性组合导航方法
CN115371665A (zh) 一种基于深度相机和惯性融合的移动机器人定位方法
Karam et al. Integrating a low-cost mems imu into a laser-based slam for indoor mobile mapping
CN112179373A (zh) 一种视觉里程计的测量方法及视觉里程计
Tao et al. Automated processing of mobile mapping image sequences
US20240004080A1 (en) Capturing environmental scans using landmarks based on semantic features
Hsu et al. Application of multisensor fusion to develop a personal location and 3D mapping system
CN111862146B (zh) 一种目标对象的定位方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant