CN111429527B - 一种车载相机的外参自动标定方法及系统 - Google Patents
一种车载相机的外参自动标定方法及系统 Download PDFInfo
- Publication number
- CN111429527B CN111429527B CN202010214984.9A CN202010214984A CN111429527B CN 111429527 B CN111429527 B CN 111429527B CN 202010214984 A CN202010214984 A CN 202010214984A CN 111429527 B CN111429527 B CN 111429527B
- Authority
- CN
- China
- Prior art keywords
- points
- coordinate system
- road surface
- corner
- point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 82
- 238000001914 filtration Methods 0.000 claims abstract description 17
- 230000003287 optical effect Effects 0.000 claims abstract description 17
- 238000012216 screening Methods 0.000 claims abstract description 12
- 238000007689 inspection Methods 0.000 claims abstract description 7
- 239000013598 vector Substances 0.000 claims description 20
- 238000005259 measurement Methods 0.000 claims description 13
- 238000004364 calculation method Methods 0.000 claims description 11
- 238000013507 mapping Methods 0.000 claims description 10
- 230000009466 transformation Effects 0.000 claims description 9
- 230000002776 aggregation Effects 0.000 claims description 7
- 238000004220 aggregation Methods 0.000 claims description 7
- 238000012795 verification Methods 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 5
- 230000004931 aggregating effect Effects 0.000 claims description 4
- 238000001514 detection method Methods 0.000 claims description 4
- 238000005070 sampling Methods 0.000 description 4
- 238000000605 extraction Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
- G06T7/85—Stereo camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明涉及汽车领域，尤其公开了一种车载相机的外参自动标定方法包括：车载相机采集道路路面图像；采用3D视觉的方法对路面图像进行角点提取特征点；用光流法对左目、右目路面图像进行角点匹配；利用动态规划法进行测距检验角点匹配度；基于ransac思想进行平面拟合并进行角点筛选，引入路面平面约束进行角点测距滤波；建立车载坐标系，路面坐标系及得到相机坐标系与路面坐标系的外参关系，以及一种车载相机的外参自动标定系统，应用本方法不需要标定板就可以将相机外参标定。使得外参标定方便简单易操作，能够用来测距。
Description
技术领域
本发明涉及汽车领域，公开了一种车载相机的外参自动标定方法及系统。
背景技术
相机作为传感器的应用日益凸显重要，如人脸检测，目标分割，目标测距，信息恢复等等，而测距作为3D应用的一部分，在各个行业也越来越广泛。目前采用的测距方式有单目标定测距，双目测距，融合imu进行运动测距，多传感器融合测距等等，其中单目和双目测距最为广泛，相比于双目测距的稳定性，遮挡问题，纹理问题等等，单目测距则相对鲁棒性，简单，以及成本较低等等优点。但是单目测距需要解决相机内参标定，外参标定等问题，尤其外参标定，在运动和变化场景中显的较难解决，外参标定目前在工业应用中利用标定板进行标定较多，在车载环境下实现较为繁琐与困难。
目前车载环境下的外参标定主要采用在地面放置标定板，车载相机拍到地面标定板，从而生成标定外参，该方法虽然能够标定出来，但是需要较大的标定板，且一旦相机发生改变，则需要返厂重新标定。
因此，迫切需要一种解决上述问题的方法及系统。
发明内容
针对背景技术所面临的问题，本发明的目的在于提供一种车载相机的外参自动标定方法及系统。
为了达到上述目的，本发明采用如下技术方案：一种车载相机的外参自动标定方法包括：车载相机采集道路路面图像；采用3D视觉的方法对路面图像进行角点提取特征点；用光流法对左目、右目路面图像进行角点匹配；利用动态规划法进行测距检验角点匹配度(及利用抛物线插值进行亚像素角点匹配与高精度测距)；基于ransac思想进行平面拟合并进行角点筛选，引入路面平面约束进行角点测距滤波；建立车载坐标系，路面坐标系及得到相机坐标系与路面坐标系的外参关系。
优选的，采用3D视觉的方法进行路面的鲁棒性角点提取特征点包括：设定感兴趣区域方框大小，该感兴趣区域以60％以上的概率80％以上覆盖路面，同时不超出路面面积占比方框的10％，在感兴趣区域上进行网格化，网格单位为1mX1m；遍历感兴趣区域的每一个网格的像素，以该像素为中心，生成mask窗口，mask窗口为该像素的方邻域范围，设定该窗口为5X5像素；引入灰度变化权重，求解代价函数的最大值点，每个网格只求一个最大值点作为特征点，当这个特征点满足其代价函数值大于第一阈值时，则该特征点作为候选点；对每个候选点，在一个5X5的窗口内，进行census变换以及统计梯度值，当梯度值总和满足大于第二阀值时，该候选点转化为路面可用角点，然后对该角点代价函数值进行抛物线插值，得到亚像素角点。
优选的，用光流法对左目、右目路面图像进行角点匹配包括：首先建立图像金字塔，对初始图像，用5X5的窗口进行卷积，然后行列各缩减一半，进行下采样；采用金字塔下采样5层，并且层与上相邻层之间对角点进行映射；角点匹配先从最高层之间的左右图像进行光流跟踪；每层跟踪完后，映射到下一层图像进行跟踪，重复如此直到最底层。
优选的，利用动态规划法进行测距检验角点匹配度包括：设定检验精度阈值为0.08m；当动态规划验证偏离该阀值时，则该角点匹配错误，进行去除；基于动态规划的代价匹配，首先取出一个待匹配的特征点，对该点进行从左到右，右到左，上到下，从下到上进行初始代价计算，该代价计算基于灰度在遍历不同深度下的匹配代价，为灰度差的L1范数；其次对初始代价进行聚合，采用最小生成树的方向，利用相邻节点的相似性的特征进行代价聚合，代价聚合方向为从父节点到孩子节点，从孩子节点到父节点两个方向进行，代价聚合方法采用传统的公式来计算。
优选的，通过对图像进行构造最小生成树，生成树的节点为图像的各个像素点，生成树边由像素点之间灰度变化的绝对值作为权重。首先每个像素构成节点，相邻像素生成一条边，采取逐步裁剪的方式生成最小生成树。
优选的，最后进行最小代价的路径搜索，得到一条最优路径；然后对该路径进行抛物线插值，以及中值滤波得到像素点的视差；通过该视差与光流法的视差做对比，检验匹配的准确性；对每张图片提取的特征点，每个特征点由列坐标与测距距离形成一一映射函数，该映射函数满足单调性，基于这样的假设，对每两个特征点进行对比，滤除列坐标大，但是测距小的特征点。
优选的，基于ransac思想进行角点筛选，同时引入路面平面约束进行角点测距滤波包括：建立数据库，将每一个满足条件的特征点加入到数据库，当数据库量达到一定阈值大小时，进行相应的错误点去除与拟合。为每一个特征点建立一个错误索引，然后进行两两比较，当两个特征点，其中一个列坐标大于另个，同时测距距离也大于，则认为存在错误，为两个特征点的错误索引都加一，进行遍历统计，然后去除错误索引大于3的特征点；从数据库中随机取三个不同的点，若该三个点不共线，则进行平面拟合，保存该组平面方程参数，为每组参数设定代价值，该代价值为所有点到该平面距离的总和，进行多次该平面拟合，选取其中代价值最小的一组参数，然后根据该组参数重新选取满足距离小于一定阀值的点，进行重新进行平面拟合。
优选的，利用平面拟合建立车载坐标系，路面坐标系及得到相机坐标系与路面坐标系的外参关系包括：通过rtk计算当前车子的状态，该状态为直行状态或非直行状态；生成跟踪点；跟踪该点生成路面坐标系前向方向Y轴；拟合点平面，生成平面法向量，构造路面坐标系Z方向坐标轴；投影相机坐标系原点到平面，投影点作为路面坐标系原点；利用Y轴与Z轴进行外积，生成X轴；利用X，Y，Z轴以及原点生成坐标系，求该坐标系到相机坐标系的变换。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现任一项所述方法的步骤。
一种车载相机的外参自动标定系统包括：车载相机采集道路路面图像的单元；采用3D视觉的方法对路面图像进行角点提取特征点的单元；用光流法对左目、右目路面图像进行角点匹配的单元；利用动态规划法进行测距检验角点匹配度的单元；基于ransac思想进行平面拟合并进行角点筛选，引入路面平面约束进行角点测距滤波的单元；建立车载坐标系，路面坐标系及得到相机坐标系与路面坐标系的外参关系的单元。
与现有技术相比，本发明提供了一种车载相机的外参自动标定方法包括：车载相机采集道路路面图像；采用3D视觉的方法对路面图像进行角点提取特征点；用光流法对左目、右目路面图像进行角点匹配；利用动态规划法进行测距检验角点匹配度；基于ransac思想进行平面拟合并进行角点筛选，引入路面平面约束进行角点测距滤波；建立车载坐标系，路面坐标系及得到相机坐标系与路面坐标系的外参关系，以及一种车载相机的外参自动标定系统包括：车载相机采集道路路面图像的单元；采用3D视觉的方法对路面图像进行角点提取特征点的单元；用光流法对左目、右目路面图像进行角点匹配的单元；利用动态规划法进行测距检验角点匹配度的单元；基于ransac思想进行平面拟合并进行角点筛选，引入路面平面约束进行角点测距滤波的单元；建立车载坐标系，路面坐标系及得到相机坐标系与路面坐标系的外参关系的单元。应用本方法不需要标定板就可以将相机外参标定。使得外参标定方便简单易操作，能够用来测距。
附图说明
图1为本发明一种车载相机的外参自动标定方法的流程示意图；
图2为本发明一种车载相机的外参自动标定系统的组成图。
通过上述附图，已示出本公开明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本公开构思的范围，而是通过参考特定实施例为本领域技术人员说明本公开的概念。
具体实施方式
下文将详细的对示例性实施例进行说明，所提供的实施例中所描述的实施方式代表本发明的部分较佳实施方式，而并非全部实施方式。基于本发明中的实施例以及图文，本领域技术人员在没有作出创造性劳动的前提下所能获得的所有其他实施例，都将在本发明保护的范围之内。
本发明提供了一种不需要标定板就可以给车载相机外参标定，如图1，本发明的方法提出一种车载相机的外参自动标定方法包括：S1，车载相机采集道路路面图像；S2，采用3D视觉的方法对路面图像进行角点提取特征点；S3，用光流法对左目、右目路面图像进行角点匹配；S4，利用动态规划法进行测距检验角点匹配度；S5，基于ransac思想进行平面拟合并进行角点筛选，引入路面平面约束进行角点测距滤波；S6，建立车载坐标系，路面坐标系及得到相机坐标系与路面坐标系的外参关系。
S1，车载相机采集道路路面图像；车辆上设有车载相机，用于测距等。该车辆在路面行驶时，车载相机拍摄行驶的道路面的图像并进行存储。该道路面上有多个道路指示信息，例如左转箭头、右转箭头，前行箭头等，这些道路元素都包含有多个拐角，便于后续识别。车辆在该包括指示信息的道路面上可直行或者非直行，不对车辆的行驶状态做限制，使得该车载相机的外参标定更加简便。
S2，采用3D视觉的方法对路面图像进行角点提取特征点；
采用Shi-Tomasi角点检测与census变换相结合。首先，根据经验设定感兴趣区域方框大小，该感兴趣区域以60％以上的概率80％以上覆盖路面，同时不超出路面面积占比方框的10％，在感兴趣区域上进行网格化，网格单位为1mX1m，保证了提取的角点离散化。其次，遍历感兴趣区域的每一个网格的像素，以该像素为中心，生成mask窗口，mask窗口为该像素的方邻域范围，设定该窗口为5X5像素,同时引入灰度变化权重，则代价值计算方法为：
其中u，v为窗口移动偏移量，(x,y)窗口内的像素，w(x,y)为窗口函数，且所有像素u权重和为1.
通过代价函数的变化，求取变化满足条件的值。由泰勒展开公式进行求解代价函数的最大值，满足最大值的点作为特征点。每个网格，只求一个最大的特征点，当这个特征点满足其代价函数值大于事先人工设定的阈值时，则该特征点作为候选点。对每个候选点，在一个5X5的窗口内，进行census变换以及统计梯度值，当梯度值总和满足大于第一设定阀值时，该候选点转化为路面可用角点，然后对角点代价函数值进行抛物线插值，得到亚像素角点。经过多次筛选保证了角点精度以及鲁棒性。更加适用于车载环境。
S3，用光流法对左目、右目路面图像进行角点匹配；
本发明的左右图像角点匹配采用基于光流的跟踪方法，首先建立图像金字塔，对初始图像，用5X5的窗口进行卷积，然后行列各缩减一半，进行下采样。采用金字塔下采样5层，并且层与上相邻层之间对角点进行映射。角点匹配，先从最高层之间的左右图像进行光流跟踪，光流法基于同一个物体的灰度不变性进行跟踪与匹配，对每一个角点，本方法基于邻域范围内的点具有相同的运动方式，对邻域内的点进行优化代价函数，得到dx，dy的运动量。每层跟踪完后，映射到下一层图像进行跟踪，重复如此直到最底层。多层金字塔跟踪，保证了角点匹配的精度与鲁棒性。
S4，利用动态规划法进行测距检验角点匹配度；
本发明采用多种测距方式进行互相验证与检验，保证高精度的角点匹配与检验，人工设定检验精度为0.08m的阈值，当动态规划验证偏离该阀值时，则该角点匹配错误，进行去除。本专利的验证方法为基于动态规划的代价匹配计算。首先取出一个待匹配的特征点，对该点进行从左到右，右到左，上到下，从下到上进行初始代价计算，该代价计算基于灰度在遍历不同深度下的匹配代价，为灰度差的L1范数。其次对初始代价进行聚合，本专利采用最小生成树的方向，利用相邻节点的相似性的特征进行代价聚合。通过对图像进行构造最小生成树，生成树的节点为图像的各个像素点，生成树边由像素点之间灰度变化的绝对值作为权重。首先每个像素构成节点，相邻像素生成一条边。采取逐步裁剪的方式生成最小生成树。
代价聚合方向为从父节点到孩子节点，从孩子节点到父节点两个方向进行，代价聚合方法采用传统的公式来计算，并求得总路径代价，最后进行最小代价的路径搜索，得到一条最优路径。然后对该路径进行抛物线插值，以及中值滤波得到像素点的视差。通过该视差与光流法的视差做对比，检验匹配的准确性，保证点的三维坐标提取的精确性与鲁棒性。
最后，本发明基于路面同平面约束的角点滤波。对每张图片提取的特征点，每个特征点由列坐标与测距距离形成一一映射函数，该函数满足单调性。基于这样的假设，对每两个特征点进行对比，滤除列坐标大，但是测距小的点。
S5，基于ransac思想进行平面拟合并进行角点筛选，引入路面平面约束进行角点测距滤波；
建立数据库，对上诉每一个满足条件的特征点，加入到数据库，当数据库量达到一定阈值大小时，进行相应的错误点去除与拟合。
错误点去除基于路面同平面假设，为每一个特征点建立一个错误索引，然后进行两两比较，当两个特征点，其中一个列坐标大于另个，同时测距距离也大于，则认为存在错误，为两个特征点的错误索引都加一，进行遍历统计，然后去除错误索引大于3的特征点。
其次，进行平面拟合，本专利采用基于ransac的方式进行平面拟合。从数据库中随机取三个不同的点，若该三个点不共线，则进行平面拟合，保存该组平面方程参数，为每组参数设定代价值，该代价值为所有点到该平面距离的总和。进行多次该平面拟合，选取其中代价值最小的一组参数，然后根据该组参数重新选取满足距离小于一定阀值的点，进行重新进行平面拟合。
S6，建立车载坐标系，路面坐标系及得到相机坐标系与路面坐标系的外参关系。
首先，本专利通过rtk计算当前车子的状态，该状态分为两种情况，直行状态和非直行状态，车子的状态计算方法，采用4点法，首先取当前车子的rtk位置以及前三个位置分别为P1，P2，P3，P4，然后计算行驶向量：
r1＝P2-P1 r2＝P3-P2 r3＝P4-P3
根据行驶向量，可以判断车子的行驶轨迹情况，计算如下代价值：
当上述两个值同时小于人工设定的较小的值时，则判定为直行状态，否则判定为非直行状态。
当车子为直行状态时，跟踪路面上提取的特征点的前后位置变化，跟踪的特征点满足上述情况，根据前后点的坐标变化建立车子的前向方向，设t1时刻检测特征点x，并用双目三角化原理计算该特征点在左目坐标系下的坐标，计算公式为：
设x的坐标为P1,然后在图像上采用光流法跟踪该特征点，设在t2时刻，该特征点的三维坐标为P2，则计算计算直行前向向量为r＝P1-P2，该前向方向建立路面坐标系的Y方向，由于路面上的特征点较多，几十甚至几百个特征点，我们能计算的前向向量较多，故采用ransac方法进行剔除，融合。人工设定阈值m，则随机采样该前向向量集，得到其中一个向量，然后该向量与剩余的所有向量做一一比较，计算两两向量的夹角，当夹角小于m时，则认为该向量为内点，遍历完所有剩余向量后，统计内点数并记录，继续采样前向向量，统计内点数，采样采用随机采样的方法，采样人工设定的次数后，选取内点数最多的一个采样向量，并且用该内点集计算前向方向，可以对每一个向量进行相加，然后单位化得到前向方向作为新坐标系的Y轴。
同时路面的垂直向上方向为Z轴。故首先建立路面平面，先进行采集路面特征点拟合平面，采用ransac方法，采集路面特征点3个，然后进行共线测试，设三个点为P1，P2，P3，则计算向量r1＝P1-P2，r2＝P1-P3，若r1与r2平行则说明三个点共线，重新采集3个点，若不共线则拟合生成路面平面，然后计算剩余的点到该平面的距离，然后该距离大于人工提前设定的值，则为外点，否则则为内点，统计内点数，然后重新采集3个点重复上述操作进行5次采集，确定内点最多的那次采集，把那次的所有内点进行最小二乘路面拟合，拟合模型为ax+by+cz+1＝0.最小二乘方程为：
X＝(AT*A)-1*AT*B
则对X进行单位化，得到了路面垂直向上的向量Z作为新坐标系的Z轴。X轴方向为Y轴和Z轴的外积得到.最后进行原点坐标的确定，将相机坐标系下的(0,0,0)向路面平面进行投影得到原点。故到此确定了X,Y,Z轴向量为x1,y1,z1，以及新坐标系的原点坐标Oo。利用这些进行新坐标系到相机坐标系的旋转，平移坐标变换的计算：
进而建立路面坐标系到相机坐标系的变换关系，即生成相机外参参数，进而利用内参生成单目测距公式。具体步骤为：
步骤一：利用上述方法生成跟踪点；
步骤二：跟踪该点生成路面坐标系前向方向Y轴；
步骤三：拟合点平面，生成平面法向量，构造路面坐标系Z方向坐标轴；
步骤四：投影相机坐标系原点到平面，投影点作为路面坐标系原点；
步骤五：利用Y轴与Z轴进行外积，生成X轴；
步骤六：利用X，Y，Z轴以及原点生成坐标系，求该坐标系到相机坐标系的变换
如图2，本发明还提供了一种车载相机的外参自动标定系统包括：S10，车载相机采集道路路面图像的单元；S20，采用3D视觉的方法对路面图像进行角点提取特征点的单元；S30，用光流法对左目、右目路面图像进行角点匹配的单元；S40，利用动态规划法进行测距检验角点匹配度的单元；S50，基于ransac思想进行平面拟合并进行角点筛选，引入路面平面约束进行角点测距滤波的单元；S60，建立车载坐标系，路面坐标系及得到相机坐标系与路面坐标系的外参关系的单元。
本发明还公开了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一所述方法的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。
在符合本领域技术人员的知识和能力水平范围内，本文提及的各种实施例或者技术特征在不冲突的情况下，可以相互组合而作为另外一些可选实施例，这些并未被一一罗列出来的、由有限数量的技术特征组合形成的有限数量的可选实施例，仍属于本发明揭露的技术范围内，亦是本领域技术人员结合附图和上文所能理解或推断而得出的。
最后再次强调，上文所列举的实施例，为本发明较为典型的、较佳实施例，仅用于详细说明、解释本发明的技术方案，以便于读者理解，并不用以限制本发明的保护范围或者应用。
因此，在本发明的精神和原则之内所作的任何修改、等同替换、改进等而获得的技术方案，都应被涵盖在本发明的保护范围之内。
Claims (9)
1.一种车载相机的外参自动标定方法，其特征在于，包括：
车载相机采集道路路面图像；
采用3D视觉的方法对路面图像进行角点提取特征点；
用光流法对左目、右目路面图像进行角点匹配；
利用动态规划法进行测距检验角点匹配度；
基于ransac思想进行平面拟合并进行角点筛选，引入路面平面约束进行角点测距滤波；所述引入路面平面约束进行角点测距滤波包括：建立数据库，将每一个满足条件的特征点加入到数据库，当数据库量达到一定阈值大小时，进行相应的错误点去除与拟合；为每一个特征点建立一个错误索引，然后进行两两比较，当两个特征点，其中一个列坐标大于另一个，同时测距距离也大于另一个，则认为存在错误，为两个特征点的错误索引都加一，进行遍历统计，然后去除错误索引大于3的特征点；从数据库中随机取三个不同的点，若该三个点不共线，则进行平面拟合，保存该组平面方程参数，为每组参数设定代价值，该代价值为所有点到该平面距离的总和，进行多次该平面拟合，选取其中代价值最小的一组参数，然后根据该组参数重新选取满足距离小于一定阀值的点，进行重新进行平面拟合；
建立车载坐标系，路面坐标系及得到相机坐标系与路面坐标系的外参关系。
2.根据权利要求1所述的方法，其特征在于：采用3D视觉的方法进行路面的鲁棒性角点提取特征点包括：
设定感兴趣区域方框大小，该感兴趣区域以60％以上的概率80％以上覆盖路面，同时不超出路面面积占比方框的10％，在感兴趣区域上进行网格化，网格单位为1mX1m；
遍历感兴趣区域的每一个网格的像素，以该像素为中心，生成mask窗口，mask窗口为该像素的方邻域范围，设定该窗口为5X5像素；
引入灰度变化权重，求解代价函数的最大值点，每个网格只求一个最大值点作为特征点，当这个特征点满足其代价函数值大于第一阈值时，则该特征点作为候选点；
对每个候选点，在一个5X5的窗口内，进行census变换以及统计梯度值，当梯度值总和满足大于第二阀值时，该候选点转化为路面可用角点，然后对该角点代价函数值进行抛物线插值，得到亚像素角点。
3.根据权利要求1所述的方法，其特征在于：用光流法对左目、右目路面图像进行角点匹配包括：
首先建立图像金字塔，对初始图像，用5X5的窗口进行卷积，然后行列各缩减一半，进行下采样；
采用金字塔下采样5层，并且层与上相邻层之间对角点进行映射；
角点匹配先从最高层之间的左右图像进行光流跟踪；
每层跟踪完后，映射到下一层图像进行跟踪，重复如此直到最底层。
4.根据权利要求1所述的方法，其特征在于：利用动态规划法进行测距检验角点匹配度包括：
设定检验精度阈值为0.08m；
当动态规划验证偏离所述检验精度阈值时，则该角点匹配错误，进行去除；
基于动态规划的代价匹配，首先取出一个待匹配的特征点，对该点进行从左到右，右到左，上到下，从下到上进行初始代价计算，该代价计算基于灰度在遍历不同深度下的匹配代价，为灰度差的L1范数；
其次对初始代价进行聚合，采用最小生成树的方向，利用相邻节点的相似性的特征进行代价聚合，代价聚合方向为从父节点到孩子节点，从孩子节点到父节点两个方向进行，代价聚合方法采用传统的公式来计算。
5.根据权利要求4所述的方法，其特征在于：通过对图像进行构造最小生成树，生成树的节点为图像的各个像素点，生成树边由像素点之间灰度变化的绝对值作为权重；首先每个像素构成节点，相邻像素生成一条边，采取逐步裁剪的方式生成最小生成树。
6.根据权利要求4所述的方法，其特征在于：
最后进行最小代价的路径搜索，得到一条最优路径；
然后对该路径进行抛物线插值，以及中值滤波得到像素点的视差；
通过该视差与光流法的视差做对比，检验匹配的准确性；
对每张图片提取的特征点，每个特征点由列坐标与测距距离形成一一映射函数，该映射函数满足单调性，基于这样的假设，对每两个特征点进行对比，滤除列坐标大，但是测距小的特征点。
7.根据权利要求1所述的方法，其特征在于：利用平面拟合建立车载坐标系，路面坐标系及得到相机坐标系与路面坐标系的外参关系包括：
通过rtk计算当前车子的状态，该状态为直行状态或非直行状态；
生成跟踪点；
跟踪该点生成路面坐标系前向方向Y轴；
拟合点平面，生成平面法向量，构造路面坐标系Z方向坐标轴；
投影相机坐标系原点到平面，投影点作为路面坐标系原点；
利用Y轴与Z轴进行外积，生成X轴；
利用X，Y，Z轴以及原点生成坐标系，求该坐标系到相机坐标系的变换。
8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-7任一项所述方法的步骤。
9.一种车载相机的外参自动标定系统，其特征在于，包括：
车载相机采集道路路面图像的单元；
采用3D视觉的方法对路面图像进行角点提取特征点的单元；
用光流法对左目、右目路面图像进行角点匹配的单元；
利用动态规划法进行测距检验角点匹配度的单元；
基于ransac思想进行平面拟合并进行角点筛选，引入路面平面约束进行角点测距滤波的单元；所述引入路面平面约束进行角点测距滤波包括：建立数据库，将每一个满足条件的特征点加入到数据库，当数据库量达到一定阈值大小时，进行相应的错误点去除与拟合；为每一个特征点建立一个错误索引，然后进行两两比较，当两个特征点，其中一个列坐标大于另一个，同时测距距离也大于另一个，则认为存在错误，为两个特征点的错误索引都加一，进行遍历统计，然后去除错误索引大于3的特征点；从数据库中随机取三个不同的点，若该三个点不共线，则进行平面拟合，保存该组平面方程参数，为每组参数设定代价值，该代价值为所有点到该平面距离的总和，进行多次该平面拟合，选取其中代价值最小的一组参数，然后根据该组参数重新选取满足距离小于一定阀值的点，进行重新进行平面拟合；
建立车载坐标系，路面坐标系及得到相机坐标系与路面坐标系的外参关系的单元。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010214984.9A CN111429527B (zh) | 2020-03-24 | 2020-03-24 | 一种车载相机的外参自动标定方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010214984.9A CN111429527B (zh) | 2020-03-24 | 2020-03-24 | 一种车载相机的外参自动标定方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111429527A CN111429527A (zh) | 2020-07-17 |
| CN111429527B true CN111429527B (zh) | 2023-12-01 |
Family
ID=71549576
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010214984.9A Active CN111429527B (zh) | 2020-03-24 | 2020-03-24 | 一种车载相机的外参自动标定方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111429527B (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111914784B (zh) * | 2020-08-10 | 2022-02-08 | 北京大成国测科技有限公司 | 轨旁障碍物入侵实时检测方法、装置及电子设备 |
| CN112729341A (zh) * | 2020-11-20 | 2021-04-30 | 上海汽车集团股份有限公司 | 一种视觉测距精度测试方法及系统 |
| TWI770992B (zh) * | 2021-05-07 | 2022-07-11 | 宏茂光電股份有限公司 | 避免過度配適之配適法 |
| CN113267137B (zh) * | 2021-05-28 | 2023-02-03 | 北京易航远智科技有限公司 | 一种轮胎形变的实时测量方法和装置 |
| CN113554714B (zh) * | 2021-07-22 | 2022-04-05 | 元橡科技(苏州)有限公司 | 车载双目立体相机自校正方法及其系统、fpga芯片 |
| CN116193108B (zh) * | 2023-04-24 | 2023-07-07 | 知行汽车科技(苏州)股份有限公司 | 一种摄像头在线自校准方法、装置、设备及介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102037735A (zh) * | 2008-05-22 | 2011-04-27 | 通用汽车环球科技运作公司 | 用于车辆照相机的照相机外在参数的自标定 |
| CN106875448A (zh) * | 2017-02-16 | 2017-06-20 | 武汉极目智能技术有限公司 | 一种车载单目摄像头外部参数自标定方法 |
| CN107330940A (zh) * | 2017-01-25 | 2017-11-07 | 问众智能信息科技（北京）有限公司 | 车载相机姿态自动估计的方法和装置 |
| CN110223354A (zh) * | 2019-04-30 | 2019-09-10 | 惠州市德赛西威汽车电子股份有限公司 | 一种基于sfm三维重建的相机自标定方法 |
| CN110880191A (zh) * | 2019-11-22 | 2020-03-13 | 大连理工大学 | 基于直方图均衡化的红外立体相机动态外参计算方法 |
-
2020
- 2020-03-24 CN CN202010214984.9A patent/CN111429527B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102037735A (zh) * | 2008-05-22 | 2011-04-27 | 通用汽车环球科技运作公司 | 用于车辆照相机的照相机外在参数的自标定 |
| CN107330940A (zh) * | 2017-01-25 | 2017-11-07 | 问众智能信息科技（北京）有限公司 | 车载相机姿态自动估计的方法和装置 |
| CN106875448A (zh) * | 2017-02-16 | 2017-06-20 | 武汉极目智能技术有限公司 | 一种车载单目摄像头外部参数自标定方法 |
| CN110223354A (zh) * | 2019-04-30 | 2019-09-10 | 惠州市德赛西威汽车电子股份有限公司 | 一种基于sfm三维重建的相机自标定方法 |
| CN110880191A (zh) * | 2019-11-22 | 2020-03-13 | 大连理工大学 | 基于直方图均衡化的红外立体相机动态外参计算方法 |
Non-Patent Citations (1)
| Title |
|---|
| 王宇桐.基于自然场景的多相机内外参自动标定方法的设计与实现.中国优秀硕士学位论文全文数据库（电子期刊） 信息科技辑.2020,全文. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111429527A (zh) | 2020-07-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111429527B (zh) | 一种车载相机的外参自动标定方法及系统 | |
| WO2021233029A1 (en) | Simultaneous localization and mapping method, device, system and storage medium | |
| Wenzel et al. | SURE–The ifp software for dense image matching | |
| CN112233177B (zh) | 一种无人机位姿估计方法及系统 | |
| Wang et al. | Automated road sign inventory system based on stereo vision and tracking | |
| CN112419374B (zh) | 一种基于图像配准的无人机定位方法 | |
| CN102236794A (zh) | 3d场景中3d对象的识别和姿态确定 | |
| CN112883820B (zh) | 基于激光雷达点云的道路目标3d检测方法及系统 | |
| CN111340922A (zh) | 定位与地图构建的方法和电子设备 | |
| CN111123242B (zh) | 一种基于激光雷达和相机的联合标定方法及计算机可读存储介质 | |
| CN113658241B (zh) | 单目结构光的深度恢复方法、电子设备及存储介质 | |
| CN110599545B (zh) | 一种基于特征的构建稠密地图的系统 | |
| CN109871739B (zh) | 基于yolo-sioctl的机动站自动目标检测与空间定位方法 | |
| CN115376109B (zh) | 障碍物检测方法、障碍物检测装置以及存储介质 | |
| Wang et al. | Multi-cue road boundary detection using stereo vision | |
| CN112150448B (zh) | 图像处理方法、装置及设备、存储介质 | |
| CN114325634A (zh) | 一种基于激光雷达的高鲁棒性野外环境下可通行区域提取方法 | |
| CN113450334B (zh) | 一种水上目标检测方法、电子设备及存储介质 | |
| CN113838129B (zh) | 一种获得位姿信息的方法、装置以及系统 | |
| CN111598956A (zh) | 标定方法、装置和系统 | |
| CN110864670A (zh) | 目标障碍物位置的获取方法和系统 | |
| US20220276046A1 (en) | System and method for providing improved geocoded reference data to a 3d map representation | |
| CN116012737A (zh) | 基于无人机激光和视觉融合的高速施工监测方法和系统 | |
| Schilling et al. | Mind the gap-a benchmark for dense depth prediction beyond lidar | |
| CN116912403B (zh) | 一种xr设备及xr设备的障碍物信息感知方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |