CN110930459B - 灭点提取方法、相机标定方法以及存储介质 - Google Patents
灭点提取方法、相机标定方法以及存储介质 Download PDFInfo
- Publication number
- CN110930459B CN110930459B CN201911035418.5A CN201911035418A CN110930459B CN 110930459 B CN110930459 B CN 110930459B CN 201911035418 A CN201911035418 A CN 201911035418A CN 110930459 B CN110930459 B CN 110930459B
- Authority
- CN
- China
- Prior art keywords
- vanishing point
- vehicle
- straight lines
- images
- edge image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 74
- 238000000605 extraction Methods 0.000 title claims abstract description 18
- 230000008569 process Effects 0.000 claims description 16
- 238000012545 processing Methods 0.000 claims description 11
- 238000003708 edge detection Methods 0.000 claims description 4
- 238000007781 pre-processing Methods 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 abstract description 10
- 230000003287 optical effect Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 8
- 230000008859 change Effects 0.000 description 5
- 230000010339 dilation Effects 0.000 description 5
- 238000001514 detection method Methods 0.000 description 4
- 230000000916 dilatatory effect Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000002203 pretreatment Methods 0.000 description 2
- 230000000717 retained effect Effects 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 206010034719 Personality change Diseases 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30256—Lane; Road marking
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种灭点提取方法、相机标定方法以及存储介质，该灭点提取方法包括：根据车载相机获取连续的N帧图像提取不变边缘图像，进一步根据不变边缘图像中的有效直线拟合灭点，本发明提出的灭点提取方法，不必使驾驶员刻意保持车辆行驶路径与车道线的平行，可以在车辆行驶场景下自动筛选和提取车辆行驶路径与车道线平行的图像进行灭点的提取和计算，因此对实际驾驶道路及场景都没有特别高的要求。结合上述灭点提取方法和交通标识牌的车载相机标定方法，克服了现有的摄像头参数标定方法的运算量大、易受外部环境干扰等问题，鲁棒性较好，适用性强。
Description
技术领域
本发明涉及图像处理与车载相机技术领域，具体来说，涉及一种灭点提取方法、相机标定方法以及存储介质。
背景技术
车载相机是智能驾驶技术中最重要的传感器之一，而要想将单目相机采集的二维图像转换成有效的三维数据，必须对相机的内参数与外参数进行计算。这一内、外参数计算过程就称之为标定，相机的内参数在镜头固定之后较为稳定，一般不会发生变化，故只需在出厂前进行标定即可；而相机的外参数则会受到安装，车身抖动等影响，是比较容易发生变化的参数，所以在有限的条件下较好较快的对相机外参数进行标定十分重要。相机外参数一般包括位置参数与姿态参数，通常，位置发生的变化量较小，在后续数据处理中，所带来的影响也较小，但是较小的姿态变化，对后续数据处理带来的影响却非常大，故一般只标定相机的姿态即可。相机的姿态由三个独立参数决定，相机坐标系绕三个坐标轴旋转的欧拉角可以完全充分的表达姿态参数。
姿态估计值最广泛使用的算法为PNP算法与基于灭点(无穷远点)的相机姿态估计值，在基于灭点的相机姿态估计值方法中，求灭点的方法一般有两种：求车道线的交点、光流法。
PNP算法是一种应用十分广泛的相机位姿估计值算法，在机器人定位、导航、AR(增强现实)中都有广泛应用，而所有PNP算法的一个共同特点是都需要使用到已知几何尺寸的靶标或者已知空间位置关系的标志点，这些靶标或者标志点通常只有在实验室条件下、或者工厂内才有条件使用，所以PNP算法一般只适用于车辆出厂时进行初始标定。
求车道线的交点(灭点)进行姿态估计值的一个前提条件是车道线需要为平行直线，且车身需要与车道线完全平行，这在实际道路与驾驶过程中是较难实现的，并且也需要较为复杂的算法才能判断上述条件已被满足，例如需要识别车道线，需要判断车道线是否为直线，需要判断车身与道路是否平行，然而在使用本方法的时候，这些问题往往都被忽略了，故姿态估计值结果的精度不能得到有效的保证。
光流法收敛速度快，但是光流法需要车辆保持直线行驶，而且光流法需要进行特征点跟踪，所以运算量较大。同时，光流法还需要排除场景中物体的移动，例如一个典型的场景是前方有车辆时，我们无法得知，前方车辆上被检测出来的特征点的光流是该车辆的移动造成的，还是己方车辆的移动造成的，如果这种情况没有办法被排除，标定结果容易受到干扰而造成精度无法得到保障，一种可行的解决方案是：通过物体检测与识别，只使用如交通标识牌，建筑物等自身不会移动的物体的光流进行计算，但是这一方面增加了方法实施的复杂性，另一方面也增加了对场景的一些要求而无法保证一般条件下的适用性。
发明内容
针对相关技术中车载机姿态自标定中限制条件较多、精度没有保障的问题，本发明提出一种鲁棒性好、适用性强的灭点提取方法、相机标定方法以及存储介质。
本发明的技术方案是这样实现的：
根据本发明的一个方面，提供了一种灭点提取方法，包括：
S11，获取连续的N帧图像中的不变边缘图像；
S12，判断不变边缘图像是否有效；
S13，若不变边缘图像有效，根据不变边缘图像提取Q条直线，根据Q条直线的交点确定灭点的单次估计值；
S14，根据灭点的单次估计值统计出灭点的最佳估计值；
其中，所述N帧图像由车辆前方摄像头在行车过程中获取；所述不变边缘图像中包括在所述连续的N帧图像中均存在的、且位置变化不超过预设范围的边缘线；有效的不变边缘图像中包括与车辆行驶方向一致的边缘线；N、Q为大于等于1的整数。
根据本发明的实施例，获取连续的N帧图像中的不变边缘图像，包括：
对N帧图像进行预处理；
对预处理后的N帧图像进行边缘检测得到N个边缘图像；
对N个边缘图像中的每一个进行膨胀处理，并对膨胀处理后的N个边缘图像中的每一个进行按位取与操作以生成掩模；
将掩模与N帧图像中的最后一帧图像进行按位取与操作得到不变边缘图像。
根据本发明的实施例，判断不变边缘图像是否有效，包括：提取不变边缘图像中所有直线；
判断所有直线数量是否小于第一阈值或大于第二阈值，其中第一阈值大于第二阈值；
判断所有直线与水平轴线的夹角是否满足第一预定条件；
判断所有直线是否在车身两侧均有分布；
若上述判断结果均为是，则不变边缘图像有效；
根据本发明的实施例，根据不变边缘图像提取Q条直线，包括：
若不变边缘图像有效，判断有效的不变边缘图像中的所有直线的斜率是否满足第二预定条件；
若否，将斜率不满足第二预定条件的直线舍去，所保留下的即为Q条直线。
根据本发明的实施例，根据Q条直线的交点确定灭点的单次估计值，包括：
求Q条直线的交点；
判断交点到Q条直线的距离的最大值是否小于第三阈值；若是，则将交点确定为灭点的单次估计值。
根据本发明的实施例，根据灭点的单次估计值统计出灭点的最佳估计值，包括：
以M个灭点的单次估计值为样本，剔除样本粗大误差；
判断剔除粗大误差后的样本是否满足以下收敛条件：
样本中的单次估计值的数量大于第四阈值，并且样本的标准差小于第五阈值；
若不满足，则重复执行S11至S14直到样本满足收敛条件；以满足收敛条件的样本的均值点作为灭点的最佳估计值。
根据本发明的另一方面，提供了一种车载相机标定方法，车载相机标定方法包括上述的灭点提取方法。
根据本发明的实施例，车载相机标定方法还包括：
S20，在N帧图像中的至少一个图像中检测道路上出现的标识牌并根据标识牌的横向边缘拟合第二直线；
S30，将灭点的最佳估计值作为灭点坐标，通过灭点坐标与第二直线的斜率来计算相机的姿态角。
根据本发明的实施例，S30包括：利用以下公式计算姿态角：
其中，ψ、θ、
分别为相机绕坐标轴x、y、z的旋转角；(u，v)为灭点坐标；(u0，v0)为主点坐标；f为相机的焦距；k为第二直线的斜率。
根据本发明的实施例，又提供了一种存储介质，存储有程序，程序被处理器执行时实现上述的灭点提取方法。
根据本发明的实施例，又提供了另一种存储介质，存储有程序，存储的程序被处理器执行时可以实现上述的车载相机标定方法。
本发明提供的灭点提取方法，通过对N帧图像进行检测获取不变边缘图像，通过不变边缘图像拟合直线来求出灭点，相比于现有的在实验室或工厂中车道线完全平行的条件下提取灭点的方法，不必使驾驶员刻意保持车辆行驶路径与车道线的平行，可以在车辆行驶场景下自动筛选和提取车辆行驶路径与车道线平行的图像进行灭点的提取和计算，因此对实际驾驶道路及场景都没有特别高的要求，并且能够得到精度较高的标定结果，鲁棒性好、适用场景多元化。
本发明提供的车载相机标定方法，实现了车载相机姿态的自标定，结合上述方法提取的灭点和实际行车过程中检测到的交通标识牌进行摄像头参数标定，克服了现有的摄像头参数标定采用的诸如光流法带来的运算量大、易受外部环境干扰等问题，对实际驾驶道路及场景都没有特别高的要求，故鲁棒性较好，适用性强。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是根据本发明实施例的灭点提取方法的流程图；
图2(a)是第k帧图像中边缘图像的示意图；
图2(b)是第k+1帧图像中边缘图像的示意图；
图2(c)是保留的不变边缘图像的示意图；
图3是根据本发明另一实施例的灭点提取方法的流程图；
图4(a)至图4(c)是对边缘图像进行膨胀处理得到不变边缘图像的示意图；
图5是摄像头坐标系下，直线与x轴夹角示意图；
图6是灭点的统计估计结果的示意图；
图7是根据本发明实施例的相机标定方法的流程图；
图8是交通标识牌对应直线的示意图；
图9是N帧图像中某帧同时包含不变边缘和交通标识牌的示意图；
图10是交通标识牌检测与方向计算的流程图；
图11(a)至图11(c)是相机标定方法的坐标轴与旋转角定义的示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。
图1是根据本发明实施例的灭点提取方法的流程图。如图1所示，灭点提取方法包括以下步骤：
S11，获取连续的N帧图像中的不变边缘图像；
其中，N帧图像由车辆前方摄像头在行车过程中获取，N帧图像反映的是车辆行驶过程中前方行驶路况的变化情况；N为大于1的整数。在一个实施例中，当车速大于预定车速时，例如车速大于30km/h时，车辆前方摄像头对车辆前方的图形进行实时捕获。
如图2(a)、图2(b)分别为N帧图像中的第k帧和第k+1帧的边缘图像的示意图，如图2(a)至图2(c)所示，在车辆沿直线行驶的过程中，在车载相机连续获取的N帧图像中存在的一些边缘，这些边缘通常包括与车辆行驶方向平行的不变边缘，不变边缘图像中包括在连续的N帧图像中均存在的、且位置变化不超过预设范围的边缘线(预设范围依据用户需求设定)，例如车道线边缘、道路边缘，例如图2(a)所示第k帧图像中的边缘ak、bk、ck、dk和图2(b)所示第k+1帧图像中的边缘ak+1、bk+1、ck+1、dk+1；做为对比，图2(a)中的边缘ek、fk和图2(b)中的边缘ek+1、fk+1则是位置发生了变化的边缘。因此，经处理得到的不变边缘图像中包含的即为在图2(c)中所示出的边缘ak+1、bk+1、ck+1、dk+1。
正确筛选出与车辆行驶方向一致的边缘，有利于更精确的求取灭点坐标。以下几种情况中所捕获的图像中一般不包含不变边缘：路面不平导致的车身颠簸，车道变更或车辆转弯，车辆在有一定曲率的道路上行驶，车速较低或停车状态。
S12，判断获取到的不变边缘图像是否有效。
判断此不变边缘图像有效的过程是剔除在车辆行驶过程中，会造成车道线误判的情况，例如，若在某个不变边缘图像中仅包含的直线是一持续行驶在车辆前方的另一车辆的横向轮廓，此时不变边缘图像无效。
若此不变边缘图像有效，即意味着排除了特殊情况，可以认为在有效的不变边缘图像中所保留的边缘线为与车辆行驶方向平行的边缘线，即车道线，由此不必使驾驶员刻意保持车辆行驶路径与车道线的平行，可以在车辆行驶场景下自动筛选和提取车辆行驶路径与车道线平行的图像进行灭点的提取和计算，因此对实际驾驶道路及场景都没有特别高的要求。
S13，若判断不变边缘图像为有效，则根据不变边缘图像提取Q条直线，根据Q条直线的交点确定灭点的单次估计值。Q为大于1的整数。
S14，根据灭点的单次估计值统计出灭点的最佳估计值。
本发明的上述技术方案，通过对连续的N帧图像进行检测并保留N帧图像中的不变边缘图像，通过不变边缘图像中的有效直线求交点，进一步求出灭点，相比于现有的在实验室或工厂中车道线完全平行的条件下提取灭点的方法，不必使驾驶员刻意保持车辆行驶路径与车道线的平行，可以在车辆行驶场景下自动筛选和提取车辆行驶路径与车道线平行的图像进行灭点的提取和计算，因此对实际驾驶道路及场景都没有特别高的要求，并且能够得到精度较高的标定结果，鲁棒性好、适用场景多元化。
如图3所示，在一个实施例中，步骤S11可以包括以下步骤：
S111，读取连续的N帧图像；
在车辆连续的行驶过程中，控制器获取摄像机传输的连续N帧图像，示例性的，N可取10。
S112，对这N帧图像进行预处理。在一些实施例中，预处理可以包括灰度化、畸变校正、直方图均衡化、高斯滤波(降噪)。在一些其他实施例中，预处理可以包括一种或多种适用的预处理方式；
S113，利用Canny算子进行边缘检测，求出每一帧图像的边缘图像。其中，Canny算子是一种鲁棒的多级边缘检测算法；
S114，对N个边缘图像中的每一个进行膨胀处理；对经膨胀处理后的N个边缘图像进行按位取与操作以生成掩模(Mask)；
在一个实施例中，如图4(a)所示，假设在连续的N帧图像中直线Li均存在，则可以对N帧边缘图像都进行膨胀处理，其中的边缘Li经膨胀后的图像得到矩形Lid。然后，将所有膨胀后的图像进行按位取与操作，生成一个Mask。
当N＝2时，如图4(b)所示，L1d是对第一帧图像中的边缘图像进行膨胀处理得到的第一膨胀后的图像L1d，L2d是对第二帧图像中的边缘图像进行膨胀处理得到的第二膨胀后的图像L2d，将第一膨胀后的图像L1d与第二膨胀后的图像L2d进行按位取与操作可得到重叠的区域，此重叠的区域即为Mask。
应理解，为了简明，图4(b)中仅示出了对两帧图像中的边缘图像的膨胀处理，实际上进行膨胀处理的图像的数量可以多于两帧，例如当N＝10时，Mask为连续的N帧图像中都存在的某条直线经过膨胀后和按位取与操作后，形成的重叠区域。
当在N帧图像中均存在的直线有多条，则针对每一条直线均按照上述操作，提取相应的Mask，此时，Mask可作为预设范围，对直线进行筛选。
其中膨胀处理可以允许边缘存在小范围的波动。波动范围的选取会影响算法的精度与收敛速度，二者不可兼得，一般来说，限制图像边缘的波动量不大于图像边缘法向距离的像素数(即，用对应大小的核对边缘图像进行膨胀处理)。
S115，将Mask与最后一帧图像进行按位取与操作，得到不变边缘图像。
参考图4(c)，若在行车过程中汽车转弯或者改变行驶路径，则此时视野范围内的直线位置会变化，因此，可以判断，如果最后一帧图像中某条直线出现的最后位置Llast位于此条直线的Mask的区域内，即认为在连续的N帧图像所对应的时间范围内，此条直线连续存在，且位置变化不超过预设范围。
将Mask与Llast按位取与，若Llast部分或全部位于此条直线的Mask的区域之外，则舍去，若Llast位于此条直线的Mask的区域之内，则经按位取与操作后会自动保留此边缘线，用以后续进一步判定是否为与车辆行驶方向平行的车道线。
在步骤S12处判断不变边缘图像是否有效可以具体包括步骤S121和步骤S122。
步骤S121处，提取不变边缘图像中所有直线。可以使用霍夫直线检测方法，来提取不变边缘图像中的所有直线。提取出来的直线也需要满足一定条件，以保证当前场景下，单次灭点估计结果较为可靠。因此，可以在步骤S122处进行直线提取并对提取出来的直线的有效性进行判断。
步骤S122可以包括：
(1)判断所有直线数量是否小于第一阈值或大于第二阈值，其中第一阈值大于第二阈值。在一个实施例中，第一阈值可以为40，若所有直线的数量大于40，则该不变边缘图像无效，因为图像中可能存在复杂纹理；第二阈值为可以为3，所有直线的数量小于3，该边缘图像无效，因为直线数量太少，可能存在偶然因素易造成灭点结果不准确。在一些其他实施例中，第一阈值和第二阈值可以是其他任何合适的数值。
(2)判断所有直线与水平轴线的夹角是否满足第一预定条件；在一个实施例中，上述第一预定条件为：在所有直线中，存在某些直线的角度满足
或
其中，如图5所示，α为直线与水平轴线x的角度。
如图5所示，若所有直线与水平轴线x的角度α均满足：
或
说明所有直线都近似垂直于不变边缘图像的水平轴线x轴，则判断该不变边缘图像无效，因此，设置第一预设条件的目的在于排除所有直线都近似垂直于不变边缘图像的水平轴线x轴这种特殊情况。
(3)判断所有直线是否在车身左右两侧都有分布。在一个实施例中，可以直线与x轴的夹角α作为判断依据：当α的最小值满足条件：
α的最大值满足条件：
即认为直线在车身左右两侧均有分布。
若上述3项的判断结果均为是，则判断不变边缘图像为有效。
在步骤S122处，若判断不变边缘图像有效，则进行步骤S131根据不变边缘图像提取Q条直线，S131可以包括以下步骤：
若判断不变边缘图像有效，判断有效的边缘图像中的所有直线的斜率是否满足第二预定条件；
若否，则将斜率不满足第二预定条件的直线舍去，所保留下的直线即为Q条直线。
例如，第二预定条件为
如图5所示，α为直线与水平轴线x的角度；
若不满足，则将斜率不满足第二预设条件的直线舍去。此判断条件针对的场景为：若前方有车辆与己方车辆车速一致，则前方车身的横向边缘很容易被误认为是不变边缘，此筛选条件可以排除此类直线。所保留下来的即为Q条直线。
继续参考图3所示，在步骤S131处提取Q条直线之后，则进行步骤S132，根据Q条直线的交点确定灭点的单次估计值。S132可以包括以下步骤：
求Q条直线的交点；可以通过最小二乘法来求出这些直线的交点。
判断交点到Q条直线的距离的最大值是否小于第三阈值。若此灭点到Q条直线距离的最大值大于等于第三阈值，则判断此灭点计算错误，因此判断本次计算结果无效，舍去对应的灭点的单次估计值；
若交点到Q条直线的距离的最大值小于第三阈值，则此交点即为灭点的单次估计值，记为(uk,vk)。
重复步骤S11至S13，例如，1～10帧图像经过上述处理可以得到一个单次估计值，2～11帧图像经过同样的处理步骤也可得到一个单次估计值，以此类推，可以求到多个灭点的单次估计值结果，从而形成灭点点集。然后进行步骤S14，根据灭点的单次估计值统计出灭点的最佳估计值，可以包括以下步骤：
S141，以M个灭点的单次估计值为样本，可以使用3σ-准则来剔除样本粗大误差；
S142，判断剔除粗大误差后的样本是否满足以下收敛条件：(1)样本中的单次估计值的数量大于第四阈值(即保证样本中包含的单次估计值的数量合适，不因为样本点少影响统计结果的精确性)；(2)样本的标准差小于第五阈值(即保证统计结果的合理性)；若不满足以上收敛条件，则重复执行S11至S14，重新计算灭点，直到样本满足收敛条件；
S143，以满足收敛条件的样本的均值点作为灭点的最佳估计值。
需要说明的是，上述第一阈值、第二阈值、第三阈值、第四阈值和第五阈值均根据实际的应用场景设置。
以下结合图6来说明以M个灭点的单次估计值为样本来得到灭点的最佳估计值的示例：
计算M个灭点的单次估计值的均值点，其中，M为大于1的整数。在一个实施例中，可以通过以下公式(1)计算灭点坐标均值，其中M即为样本数量，(uk，vk)为第k个灭点的坐标值：
其中，为灭点坐标均值。
计算每个灭点的单次估计值到均值点的距离。在一个实施例中，通过以下公式(2)计算灭点单次估计值到均值点的距离dk：
判断距离是否满足预定去除条件以去除误差较大的灭点(即图6中的粗大误差)的单次估计值。在一个实施例中，若某一单次灭点估计值到均值点的距离满足预定去除条件：dk＞3σ，则该单次估计值结果被认为是粗大误差导致的结果。需要剔除该点。之后再进行灭点坐标均值与标准差的重新计算，直到不包含粗大误差为止。其中，σ为所有单次估计值距灭点平均值的标准差，通过以下公式(3)计算：
将最后保留下来的所有灭点的单次估计值的坐标均值并将坐标均值作为最佳估计值。此时，灭点最佳估计值表示为(u,v)。
本发明提供的灭点提取方法，通过对连续的N帧图像进行检测并保留N帧图像中的不变边缘图像，通过不变边缘图像中的有效直线求交点，进一步求出灭点，相比于现有的在实验室或工厂中车道线完全平行的条件下提取灭点的方法，不必使驾驶员刻意保持车辆行驶路径与车道线的平行，可以在车辆行驶场景下自动筛选和提取车辆行驶路径与车道线平行的图像进行灭点的提取和计算，因此对实际驾驶道路及场景都没有特别高的要求，并且能够得到精度较高的标定结果，鲁棒性好、适用场景多元化。
本发明还提出一种车载相机标定方法的流程图。参见图7，车载相机标定方法包括上述的灭点提取方法S10中的S11至S14。
本发明还提出的车载相机标定方法，还包括以下步骤：
S20，在驾驶过程中，检测道路上出现的标识牌并根据标识牌的横向边缘拟合直线(即第二直线)。
其中，标识牌应出现在用于提取灭点的N帧图像中的至少一个图像中。
当相机坐标系发生绕垂直于图像的坐标轴的旋转时，交通标识牌对应的直线L1、L2如图8和图9所示：由于在规范化道路中，标识牌是较为常见的，因此选取标识牌作为检测对象。其中，选取的标识牌为蓝色标识牌。选取的标识牌为矩形标识牌。
S30，将灭点的最佳估计值作为灭点坐标，通过灭点坐标与标识牌横向边缘拟合直线的斜率来计算相机的姿态角。
车载相机标定方法中，将多个灭点的平均值作为灭点的最佳估计值，一个灭点能够为求取姿态参数提供两个约束。检测驾驶过程中出现的标识牌，在图像中，标识牌横向边缘所拟合直线的斜率提供了求取姿态参数的第三个约束。因此，沿着道路方向的灭点图像坐标以及标识牌横向边缘所拟合直线的斜率一起提供了求取姿态参数的三个约束，进而求出相机的姿态角，即可完成车载单目相机的姿态自标定。
如图10所示，S20可以包括以下步骤：
S21，图像输入；
S22，颜色通道分离与二值化；
S23，利用颜色对图像进行分割(即进行形态学处理)；
S24，求分割后图像的边缘图像(即交通标识牌的轮廓提取)；
S25，进行轮廓筛选以保留标识牌对应的轮廓；
S26，在得到标识牌的轮廓后，拟合四边形，并求出标识牌横向边缘拟合直线的斜率k。
上述轮廓识别和直线斜率的求解均可通过现有的技术手段实现，本发明对具体的实现方法不做限定。
然后，在步骤S30处，通过灭点坐标与标识牌横向边缘拟合的直线斜率k来计算相机的姿态角。利用灭点的图像坐标与标识牌中横向边缘对应的直线，可以标定出相机坐标系旋转的三个欧拉角。图11(a)至图11(c)是相机标定方法的坐标轴与旋转角定义的示意图。其中定义了如下的坐标系与欧拉旋转角，O-xwywzw为相机旋转前的坐标系，其中O为相机光心，zw方向为车辆正前方，xw方向为车辆右方，yw方向为车辆下方，O-xyz为相机旋转之后的坐标系。要标定的相机姿态就是坐标系O-xyz相对于坐标O-xwywzw的姿态，这个姿态可以用绕三个坐标轴旋转的三个欧拉角ψ、θ、φ表示，在图11(c)中，以面对坐标轴箭头的绕坐标轴逆时针方向的旋转为正方向。
下面详细给出如何用一个z方向的灭点坐标，与标示牌横向边缘对应直线在图像中的斜率k来计算这三个姿态角。
如图11(a)至图11(c)，设相机绕x-y-z三个坐标轴的旋转角分别为：ψ、θ、φ，绕这三个坐标轴对应的旋转矩阵Rx、Ry、Rz可以分别记为以下公式(4)、(5)、(6)：
此时，有效边缘对应的灭点的单位方向向量为[0，0，1](在O-xwywzw中)。本发明中规定旋转顺序为：先绕x轴旋转、再绕y轴、再绕z轴，对应的图像坐标可以通过以下方程计算。需要说明的是，虽然下面将以先绕x轴旋转、再绕y轴、再绕z轴的旋转顺序来说明姿态角的计算，但是也可以改变旋转顺序并根据与以下计算方法相同的原理来计算姿态角。
其中，A为内参矩阵，A可以表示为以下公式(8)：
在公式(8)中，f为焦距，(u0，v0)为主点坐标，A属于相机内参数，为已知条件。将公式(4)、(5)、(6)、(8)代入公式(7)，则灭点的最佳估计值(u，v)可以表示为：
由公式(9)中可以看出，这里有三个未知数ψ、θ、φ，但是只有两个方程，所以还需要至少一个方程才能求解出三个未知数。
接下来，对于检测到的标识牌横向边缘对应直线的空间坐标[xw,yw,zw]可以通过以下公式(10)表示：
其中(0,ys,zs)为标示牌横向边缘拟合直线经过yw-O-zw平面的点的空间坐标点，[1,0,0]为标识牌水平方向的方向向量，t为标示牌横向边缘拟合直线的参数方程的参数，即自变量。那么在二维图像中，标识牌在横向边缘对应图像中直线的坐标可以通过以下公式(11)求出，其中Zc为一比例因子，Zc为物点在相机坐标系下深度方向坐标(求解(u，v)并不依赖Zc)：
其中，(us,vs)为空间坐标点(0,ys,zs)在标识牌所在的二维图像中的二维坐标点，即(us,vs)为(0,ys,zs)在标识牌所在图像中的像点。标识牌在横向边缘拟合直线斜率k可以表示为以下公式(13):
从方程(9)与方程(13)可以看出，通过z方向的灭点与x方向直线的斜率，可以计算出相机的三个姿态角，即实现了相机姿态自标定。
本发明提供的车载相机标定方法，实现了车载相机姿态的自标定，结合上述方法提取的灭点和实际行车过程中检测到的交通标识牌进行摄像头参数标定，克服了现有的摄像头参数标定采用的诸如光流法带来的运算量大、易受外部环境干扰等问题，对实际驾驶道路及场景都没有特别高的要求，故鲁棒性较好，适用性强。
本发明的实施例还提供了一种存储介质，存储有程序，存储的程序被处理器执行时可以实现上述的灭点提取方法。
本发明的实施例还提供了一种存储介质，存储有程序，存储的程序被处理器执行时可以实现上述的车载相机标定方法。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (8)
1.一种灭点提取方法，其特征在于，包括：
S11，获取连续的N帧图像中的不变边缘图像；
S12，判断所述不变边缘图像是否有效；
S13，若所述不变边缘图像有效，根据所述不变边缘图像提取Q条直线，根据所述Q条直线的交点确定灭点的单次估计值；
S14，根据所述灭点的单次估计值统计出灭点的最佳估计值；
其中，所述N帧图像由车辆前方摄像头在行车过程中获取；所述不变边缘图像中包括在所述连续的N帧图像中均存在的、且位置变化不超过预设范围的边缘线；有效的不变边缘图像中包括与车辆行驶方向一致的边缘线；N、Q为大于等于1的整数，
所述获取连续的N帧图像中的不变边缘图像，包括：
对所述N帧图像进行预处理；
对预处理后的N帧图像进行边缘检测得到N个边缘图像；
对所述N个边缘图像中的每一个进行膨胀处理，并对膨胀处理后的N个边缘图像中的每一个进行按位取与操作以生成掩模；
将所述掩模与所述N帧图像中的最后一帧图像进行按位取与操作得到所述不变边缘图像，
所述根据所述灭点的单次估计值统计出灭点的最佳估计值，包括：
以M个所述灭点的单次估计值为样本，剔除样本粗大误差；
判断剔除粗大误差后的样本是否满足以下收敛条件：
样本中的单次估计值的数量大于第四阈值，并且样本的标准差小于第五阈值；
若不满足，则重复执行S11至S14直到样本满足所述收敛条件；
以满足所述收敛条件的样本的均值点作为所述灭点的最佳估计值。
2.根据权利要求1所述的灭点提取方法，其特征在于，所述判断所述不变边缘图像是否有效，包括：
提取所述不变边缘图像中的所有直线；
判断所述所有直线数量是否小于第一阈值或大于第二阈值，其中所述第一阈值大于所述第二阈值；
判断所述所有直线与水平轴线的夹角是否满足第一预定条件；
判断所述所有直线是否在车身两侧均有分布；
若上述判断结果均为是，则所述不变边缘图像有效。
3.根据权利要求2所述的灭点提取方法，其特征在于，所述根据所述不变边缘图像提取Q条直线，包括：
若所述不变边缘图像有效，判断所述有效的不变边缘图像中的所有直线的斜率是否满足第二预定条件；
若否，将斜率不满足所述第二预定条件的直线舍去，所保留下的即为所述Q条直线。
4.根据权利要求3所述的灭点提取方法，其特征在于，所述根据所述Q条直线的交点确定灭点的单次估计值，包括：
求所述Q条直线的交点；
判断所述交点到所述Q条直线的距离的最大值是否小于第三阈值；
若是，将所述交点确定为所述灭点的单次估计值。
5.一种车载相机标定方法，其特征在于，所述车载相机标定方法包括权利要求1-4任一项所述的灭点提取方法。
6.根据权利要求5所述的车载相机标定方法，其特征在于，还包括：
S20，在所述N帧图像中的至少一个图像中检测道路上出现的标识牌并根据所述标识牌的横向边缘拟合第二直线；
S30，将所述灭点的最佳估计值作为灭点坐标，通过所述灭点坐标与所述第二直线的斜率来计算所述相机的姿态角。
7.根据权利要求6所述的车载相机标定方法，其特征在于，S30包括：
利用以下公式计算所述姿态角：
其中，ψ、θ、
分别为所述相机绕坐标轴x、y、z的旋转角；(u，v)为所述灭点坐标；(u0，v0)为主点坐标；f为所述相机的焦距；k为所述第二直线的斜率。
8.一种存储介质，存储有程序，其特征在于，所述程序被处理器执行时实现如权利要求1-4任一项所述的灭点提取方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911035418.5A CN110930459B (zh) | 2019-10-29 | 2019-10-29 | 灭点提取方法、相机标定方法以及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911035418.5A CN110930459B (zh) | 2019-10-29 | 2019-10-29 | 灭点提取方法、相机标定方法以及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110930459A CN110930459A (zh) | 2020-03-27 |
| CN110930459B true CN110930459B (zh) | 2023-02-17 |
Family
ID=69849690
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911035418.5A Active CN110930459B (zh) | 2019-10-29 | 2019-10-29 | 灭点提取方法、相机标定方法以及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110930459B (zh) |
Families Citing this family (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111652831B (zh) * | 2020-06-28 | 2022-04-19 | 腾讯科技（深圳）有限公司 | 对象融合方法、装置、计算机可读存储介质及电子设备 |
| US12002235B2 (en) | 2020-08-12 | 2024-06-04 | Hong Kong Applied Science and Technology Research Institute Company Limited | Apparatus and method for estimating camera orientation relative to ground surface |
| CN112150559A (zh) * | 2020-09-24 | 2020-12-29 | 深圳佑驾创新科技有限公司 | 图像采集装置的标定方法、计算机设备及存储介质 |
| CN112258582B (zh) * | 2020-10-12 | 2022-11-08 | 武汉中海庭数据技术有限公司 | 一种基于道路场景识别的相机姿态标定方法及装置 |
| CN112101321B (zh) * | 2020-11-18 | 2021-02-02 | 蘑菇车联信息科技有限公司 | 灭点提取方法、装置、电子设备及存储介质 |
| CN112183512B (zh) * | 2020-12-02 | 2021-11-19 | 深圳佑驾创新科技有限公司 | 摄像头标定方法、装置、车载终端和存储介质 |
| CN112541952B (zh) * | 2020-12-08 | 2024-07-23 | 北京精英路通科技有限公司 | 停车场景相机标定方法、装置、计算机设备及存储介质 |
| CN112614074B (zh) * | 2020-12-28 | 2022-11-11 | 自行科技(武汉)有限公司 | 一种基于响应图和聚类的鲁棒灭点检测方法及装置 |
| CN112364869B (zh) * | 2021-01-14 | 2021-09-28 | 北京经纬恒润科技股份有限公司 | 一种车道线识别方法及装置 |
| CN112907678B (zh) * | 2021-01-25 | 2022-05-13 | 深圳佑驾创新科技有限公司 | 车载相机外参姿态动态估计方法、装置、计算机设备 |
| WO2022160101A1 (zh) * | 2021-01-26 | 2022-08-04 | 深圳市大疆创新科技有限公司 | 朝向估计方法、装置、可移动平台及可读存储介质 |
| CN112862899B (zh) * | 2021-02-07 | 2023-02-28 | 黑芝麻智能科技(重庆)有限公司 | 用于图像获取设备的外参标定方法、装置和系统 |
| CN112927303B (zh) * | 2021-02-22 | 2023-01-24 | 中国重汽集团济南动力有限公司 | 一种基于车道线的自动驾驶车载相机位姿估计方法及系统 |
| CN112927309B (zh) * | 2021-03-26 | 2024-04-09 | 苏州欧菲光科技有限公司 | 一种车载相机标定方法、装置、车载相机及存储介质 |
| CN113625288A (zh) * | 2021-06-15 | 2021-11-09 | 中国科学院自动化研究所 | 基于点云配准的相机与激光雷达位姿标定方法和装置 |
| CN113554672B (zh) * | 2021-08-05 | 2022-07-19 | 沭阳县浙台工贸有限公司 | 一种基于机器视觉的气密性检测中相机位姿检测方法及系统 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH07105487A (ja) * | 1993-09-30 | 1995-04-21 | Toshiba Corp | 走行レーン認識装置 |
| CN1945596A (zh) * | 2006-11-02 | 2007-04-11 | 东南大学 | 用于车道偏离报警的车道线鲁棒识别方法 |
| CN105389561A (zh) * | 2015-11-13 | 2016-03-09 | 深圳华中科技大学研究院 | 一种基于视频的公交车道检测方法 |
| CN106803061A (zh) * | 2016-12-14 | 2017-06-06 | 广州大学 | 一种基于动态感兴趣区域的简易快速车道线检测方法 |
| CN107025432A (zh) * | 2017-02-28 | 2017-08-08 | 合肥工业大学 | 一种高效的车道线检测跟踪方法及系统 |
| CN107909007A (zh) * | 2017-10-27 | 2018-04-13 | 上海识加电子科技有限公司 | 车道线检测方法及装置 |
| CN109829365A (zh) * | 2018-12-20 | 2019-05-31 | 南京理工大学 | 基于机器视觉的多场景适应驾驶偏离及转弯预警方法 |
| CN110147698A (zh) * | 2018-02-13 | 2019-08-20 | Kpit技术有限责任公司 | 用于车道检测的系统和方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3098753A1 (en) * | 2015-05-28 | 2016-11-30 | Tata Consultancy Services Limited | Lane detection |
-
2019
- 2019-10-29 CN CN201911035418.5A patent/CN110930459B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH07105487A (ja) * | 1993-09-30 | 1995-04-21 | Toshiba Corp | 走行レーン認識装置 |
| CN1945596A (zh) * | 2006-11-02 | 2007-04-11 | 东南大学 | 用于车道偏离报警的车道线鲁棒识别方法 |
| CN105389561A (zh) * | 2015-11-13 | 2016-03-09 | 深圳华中科技大学研究院 | 一种基于视频的公交车道检测方法 |
| CN106803061A (zh) * | 2016-12-14 | 2017-06-06 | 广州大学 | 一种基于动态感兴趣区域的简易快速车道线检测方法 |
| CN107025432A (zh) * | 2017-02-28 | 2017-08-08 | 合肥工业大学 | 一种高效的车道线检测跟踪方法及系统 |
| CN107909007A (zh) * | 2017-10-27 | 2018-04-13 | 上海识加电子科技有限公司 | 车道线检测方法及装置 |
| CN110147698A (zh) * | 2018-02-13 | 2019-08-20 | Kpit技术有限责任公司 | 用于车道检测的系统和方法 |
| CN109829365A (zh) * | 2018-12-20 | 2019-05-31 | 南京理工大学 | 基于机器视觉的多场景适应驾驶偏离及转弯预警方法 |
Non-Patent Citations (5)
| Title |
|---|
| A Novel Algorithm of Lane Detection Addressing Varied Scenarios of Curved and Dashed Lanemarks;Upendra Suddamalla 等;《2015 International Conference on Image Processing Theory, Tools and Applications (IPTA)》;20160104;第87-92页 * |
| A review of recent advances in lane detection and departure warning system;Sandipann P.Narote 等;《Pattern Recognition》;20170816;第216-234页 * |
| Lane Detection for Driver Assistance and Intelligent Vehicle Applications;Craig D’Cruz 等;《2007 International Symposium on Communications and Information Technologies》;20071204;第1291-1296页 * |
| 一种快速的基于边缘的道路检测算法;杨文杰等;《计算机科学》;20060525;第33卷(第05期);第257-260页 * |
| 一种智能物联网交通管理系统中静止车辆检测新方法;于宝明;《信息化研究》;20111031;第37卷(第5期);第45-47页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110930459A (zh) | 2020-03-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110930459B (zh) | 灭点提取方法、相机标定方法以及存储介质 | |
| CN112396650B (zh) | 一种基于图像和激光雷达融合的目标测距系统及方法 | |
| CN107703528B (zh) | 自动驾驶中结合低精度gps的视觉定位方法及系统 | |
| CN106096525B (zh) | 一种复合型车道识别系统及方法 | |
| Marzougui et al. | A lane tracking method based on progressive probabilistic Hough transform | |
| EP2811423B1 (en) | Method and apparatus for detecting target | |
| Gaikwad et al. | Lane departure identification for advanced driver assistance | |
| US7889887B2 (en) | Lane recognition apparatus | |
| CN111210477B (zh) | 一种运动目标的定位方法及系统 | |
| CN104899554A (zh) | 一种基于单目视觉的车辆测距方法 | |
| CN107844750A (zh) | 一种水面全景图像目标检测识别方法 | |
| EP2887315B1 (en) | Camera calibration device, method for implementing calibration, program and camera for movable body | |
| US20200285913A1 (en) | Method for training and using a neural network to detect ego part position | |
| CN112017249A (zh) | 车载摄像头滚转角获取、安装角度校正方法及设备 | |
| CN112598922B (zh) | 车位检测方法、装置、设备及存储介质 | |
| Chang et al. | An efficient method for lane-mark extraction in complex conditions | |
| CN113029185B (zh) | 众包式高精度地图更新中道路标线变化检测方法及系统 | |
| CN113781562A (zh) | 一种基于道路模型的车道线虚实配准和自车定位方法 | |
| CN114898321B (zh) | 道路可行驶区域检测方法、装置、设备、介质及系统 | |
| Stević et al. | Vision-based extrapolation of road lane lines in controlled conditions | |
| CN116091603A (zh) | 一种基于点特征的箱体工件位姿测量方法 | |
| JP2010108049A (ja) | 路面標示認識装置 | |
| CN112733678A (zh) | 测距方法、装置、计算机设备和存储介质 | |
| CN111881878A (zh) | 一种环视复用的车道线识别方法 | |
| CN111626180B (zh) | 基于偏振成像的车道线检测方法及其装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information | ||
| CB02 | Change of applicant information |
Address after: 4 / F, building 1, No.14 Jiuxianqiao Road, Chaoyang District, Beijing 100020 Applicant after: Beijing Jingwei Hirain Technologies Co.,Inc. Address before: 100101 Beijing city Chaoyang District Anxiang Beili 11 B block 8 layer Applicant before: Beijing Jingwei HiRain Technologies Co.,Ltd. |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |