CN109544635B - 一种基于枚举试探的相机自动标定方法 - Google Patents

Abstract

本发明属于智能交通领域，具体涉及一种基于枚举试探的相机自动标定方法，在相机高度和沿车道线方向消失点已知到前提下，以车辆轨迹为约束结合图像梯度，实现对车道线的稳定检测与提取，再建立起三维车道线标定模型，通过枚举试探的思想调整焦距，完成三维车道线模型与实际车道线的匹配，从而确立最终焦距，最后实现相机标定和相机内外参数获取。

Description

一种基于枚举试探的相机自动标定方法

技术领域

本发明属于智能交通领域，具体涉及一种基于枚举试探的相机自动标定方法。

背景技术

相机的自动标定技术是ITS(Intelligence Transportation System，智能交通系统)领域中的关键技术之一，与日剧增的高速公路监控相机是发展智能交通系统的良好契机，相机自动标定技术是从交通视频数据中发掘更丰富更有价值交通参数的重要保证。传统棋盘标定主要是通过检测每张图片中的棋盘图案的角点，通过使用最小二乘法估算相机投影矩阵，并根据投影矩阵解出内参矩阵和外参矩阵，最后通过非线性优化来提高内参和外参的精度。但是并非所有的应用场景都会满足棋盘标定的要求，例如，在装有云台相机的场景，由于相机转动等因素从而无法完成一致的相机标定。同时，在采用消失点的标定方法时，垂直于道路方向的消失点往往由于横向目标过小，特征难以提取等因素，使得消失点难以提取，故而无法进行完整的相机标定，获得的相机参数不够准确。

发明内容

针对上述现有的相机自动标定方法中存在的垂直于道路方向的消失点难以提取，故而无法进行完整的相机标定,获得的相机参数不准确的问题，本发明提出了一种基于枚举试探的相机自动标定方法。

为了实现上述目的，本发明采用如下技术方案予以实现：

一种基于枚举试探的相机自动标定方法，包括以下步骤：

步骤1：采集道路车辆视频，得到每一帧图像的车辆目标；

步骤2：对步骤1检测得到的每一帧图像的车辆目标进行Harris角点提取，得到每一帧图像的车辆目标上的特征点；

其特征在于：

步骤3：利用步骤1得到每一帧图像的车辆目标和步骤2得到的每一帧图像的车辆目标上的特征点，采用光流跟踪算法，获取车辆轨迹集合T；

步骤4：对步骤3得到的车辆轨迹集合T，利用投影与梯度相结合的办法，获取实际车道线O_i；

步骤5：构造三维车道线模型O_w；

步骤6：将步骤5得到的三维车道线模型O_w投影到背景图像上得到O′_i，制定初始焦距f，通过改变f匹配O′_i与O_i，直到匹配准确，从而确立f，再计算其它相机参数，完成标定。

进一步的，步骤1包括如下子步骤：

步骤1.1：采集道路车辆视频，视频中前景是运动的车辆，背景是道路区域、非道路的地面区域以及天空；

步骤1.2：对步骤11采集到的道路车辆视频，通过GMM高斯混合模型检测视频中每一帧图像的背景；

步骤1.3：对步骤12获得的每一帧图像背景先通过图像差分获得前景运动目标，再通过中值滤波和闭运算，得到每一帧图像的前景运动目标中的车辆目标。

进一步的，步骤2具体包括如下步骤：

对步骤1得到每一帧图像的车辆目标的前景进行分类，分为已被跟踪目标和新出现目标，如果当前帧提取出来前景目标中包含当前轨迹的末尾节点超过3个，则认为该前景目标是已有目标，反之是新出现目标，在每个新出现目标上提取三个Harris角点，即特征点；对每一帧图像进行上述处理，得到每一帧图像的车辆目标上的特征点。

进一步的，步骤3具体包括如下步骤：

在步骤1得到每一帧车辆目标的图像和步骤2得到的每一帧图像的车辆目标上的特征点中，采用光流跟踪算法，将相邻两帧车辆目标的图像以及前一帧图像的特征点作为光流跟踪算法中的输入，则输出为前一帧特征点在后一帧上的对应位置以及是否跟踪成功；初始的特征点是新目标的Harris角点，以此为起点进行跟踪，之后输入的特征点是已存在轨迹的结尾点；在所有输入遍历上述过程后，输出的集合即为跟踪到的车辆轨迹集合T。

进一步的,步骤4具体包括如下子步骤：

步骤4.1：从车辆轨迹集合T取出一条轨迹t，对轨迹t先进行加宽，再求取梯度并旋转，然后在水平和垂直方向分别进行投影得到hVec和vVec，最后滤除干扰像素，判定vVec是否是车道线的投影，如果被判定为是则继续步骤4.2，反之删除该vVec；

步骤4.2：将由vVec和hVec确定的车道线端点，顺时针旋转θ角度回到旋转之前的位置并确定车道线的端点在原始背景图像中的位置，然后将求得的端点加入集合EP中；

步骤4.3：如果车辆轨迹集合T中所有轨迹已经处理完成则进行步骤4.4，否则返回步骤4.1；

步骤4.4：去除EP中部分误检测的点，对车道线段按照是否在同一条直线上分类，将在同一条直线上的车道线段作为实际车道线O_i。

进一步的,步骤4.1具体包括如下子步骤：

步骤4.1.1：从车辆轨迹集合T取出一条轨迹t，将轨迹t在背景图像bg中对应的曲线加宽10个像素并取其外接矩形得到tRoi；

步骤4.1.2：以3x3子窗口求取步骤4.1.1得到的tRoi的梯度得到gradient；

步骤4.1.3：以6个像素向内腐蚀步骤4.1.2得到的gradient，消除由于tRoi边界形成的梯度值，得到腐蚀后的gradient；

步骤4.1.4：拟合所述的轨迹t为直线l，求取l和图像正半轴的夹角θ；将步骤4.1.3得到的腐蚀后的gradient根据幅值二值化得到gradientBin，幅值大于50的认为是车道线边缘；

步骤4.1.5：将步骤4.1.3得到的腐蚀后的gradient内的角度值转换成0到180度，并去除角度在[θ-30，θ+30]外的梯度值；

步骤4.1.6：将步骤4.1.4得到的gradientBin逆时针旋转θ得到gradientBinRotation，并对其进行滤波，然后将旋转后的gradientBinRotation图像在水平和垂直方向上的投影得到hVec和vVec；

步骤4.1.7：滤除hVec中干扰像素；

步骤4.1.8：滤除vVec中干扰像素，判定vVec是否是车道线的投影，如果被判定为是则继续步骤4.2，反之进行步骤4.3。

进一步的，步骤5包括如下子步骤：

选取车道线距离相机近的一端实线段起点为关键点P_i，由P_i根据式(2)和(3)求出三维点P_w为(X_w，Y_w，0，1)，根据求得的P_w和车道线的物理尺寸，构造出车道线的三维模型O_w；

其中，

H₁₁、H₁₂、H₁₃、H₁₄、H₂₁、H₂₂、H₂₃、H₂₄、H₃₁、H₃₂、H₃₃和H₃₄分别对应矩阵

中相应行和列位置的元素，f为初始焦距，φ为姿态角，θ为自旋角，P_w在图像坐标系中表示为(u，v)，Z_w为图像坐标(u，v)在世界坐标中的高度，A＝(Z_wH₁₃+H₁₄-v(Z_wH₃₃+H₃₄))(H₃₁v-H₂₁)，B＝Z_wH₂₃+H₂₄-v(Z_wH₃₂+H₃₄)。

进一步的，步骤6包括如下子步骤：

步骤6.1：制定初始焦距f，并假定Y轴方向上的消失点vp₀(u₀，v₀)已经获取，s为比例因子，利用式(4)和式(5)求得相机参数姿态角φ和自旋角θ，根据此时的f、φ和θ，利用式(6)和(7)将O_w投影到图像上得到更新后的车道线；

步骤6.2：根据式(1)匹配O′_i与O_i，设{P₁，...，P_n}为O_i上的车道线端点，{P′₁，...，P′_n}为O′_i上的车道线端点，通过枚举试探调整焦距，如果增大焦距d值减小，则继续增大焦距，反之减小焦距；如果减小焦距d值减小则继续减小焦距，反之则增大焦距，返回步骤6.1直到d值最小，再计算其它相机参数完成标定；

其中d为对应点距离最小值。

与现有技术相比，本发明具有以下技术效果：

本发明提出了基于枚举试探的相机自动标定方法，在相机高度和沿车道线方向消失点已知到前提下，以车辆轨迹为约束结合图像梯度，实现对车道线的稳定检测与提取，再建立起三维车道线标定模型，通过枚举试探的思想调整焦距，完成三维车道线模型与实际车道线的匹配，从而确立最终焦距，最后实现相机标定和相机内外参数获取能够实现稳定的、高效的和精确的交通监控相机自动标定。

下面结合附图和具体实施方式对本发明的方案进行进一步详细地阐述和说明。

附图说明

图1是本发明实施例中的实验场景效果图；

图2是相机成像模型；

图3(a)是交通场景下的相机模型的左视图；

图3(b)是交通场景下的相机模型的俯视图；

图4是两个正交的消失点；

图5是三维车道线模型；

图6是车道线提取过程；

图7是车道线段端点提取结果；

图8是车道线检测中存在误检的点(绿化带干扰)；

图9是车道线完整提取结果图。

具体实施方式

遵从上述技术方案，本发明给出一种基于枚举试探的相机自动标定方法，包括以下步骤：

步骤1：采集道路车辆视频，得到每一帧图像的车辆目标；

步骤2：对步骤1检测得到的每一帧图像的车辆目标进行Harris角点提取，得到每一帧图像的车辆目标上的特征点；

其特征在于：

步骤3：利用步骤1得到每一帧图像的车辆目标和步骤2得到的每一帧图像的车辆目标上的特征点，采用光流跟踪算法，获取车辆轨迹集合T；

步骤4：对步骤3得到的车辆轨迹集合T，利用投影与梯度相结合的办法，获取实际车道线O_i；

步骤5：构造三维车道线模型O_w；

步骤6：将步骤5得到的三维车道线模型O_w投影到背景图像上得到O′_i，制定初始焦距f，通过改变f匹配O′_i与O_i，直到匹配准确，从而确立f，再计算其它相机参数，完成标定。

本发明能完成标定物与实际车道线匹配，提出一种稳健的车道线检测方法，该方法基于一个客观事实，即必有车辆的运动运动轨迹是沿着车道线且在车道线附近。依据该客观事实，提取出车辆轨迹邻域所覆盖背景区域，利用投影与梯度相结合的办法，获取实际车道线。利用Harris角度的特性，车道线的端点出的响应值必定大，而误检点处的响应值相对较小。依据此可去除误检测的点。最后将车道线段按照是否在同一条直线上分类，如图9所示，到此即完成了对车道线的检测。

步骤1具体包括如下子步骤：

步骤1.1：选取某处场景，将相机架设在道路旁，使得相机能够获取车道上一定范围内的车辆，采集道路车辆视频，场景如图1所示，视频中前景是运动的车辆，背景是道路区域、非道路的地面区域以及天空；

步骤1.2：对步骤1.1采集到的道路车辆视频，通过GMM高斯混合模型检测视频中每一帧图像的背景，背景提取结果如图2所示；

GMM算法是背景建模这一经典问题的经典解决方案，背景建模算法要解决的关键问题为区分背景像素和前景像素，高斯模型(MM)的解决思路是利用高斯统计模型来描述某像素P处的像素值分布，在运动前景目标的像素值覆盖之前，利用一个时间段T对P处像素值分布观测，然后计算出描述该位置像素值分布的高斯模型。当图像中每个位置的高斯模型都计算出来，那么就称背景模型被建立，这个时间段T称为建模时间。MM能够建立背景模型的基本假设是在建模时间内，背景像素出现的时间占多数。对于前景与背景的区分，如果新覆盖P处的像素值符合该位置的高斯分布，那么就是背景像素，反之就是前景像素。然而有一类特殊的背景不是静止的而是在运动，但是运动呈现往复循环有一定规律性，例如：闪烁的霓虹灯和晃动的树叶。GMM算法就是针对这类问题提出的，MM是用一个高斯模型来描述像素分布，而GMM是用多个高斯模型来描述。

步骤1.3：对步骤1.2获得的每一帧图像背景先通过图像差分获得前景运动目标，再通过中值滤波和闭运算，得到每一帧图像的前景运动目标中的车辆目标。

在获得背景的情况下，通过图像差分可以获得前景运动目标，但是直接差分的结果仍然有很多干扰像素，因此，对图像背景去除部分干扰像素；再从前景像素块形状上去除这些非车辆目标的前景，得到车辆目标。

步骤2包括如下子步骤：

Harris角点检测的核心思想是窗口在某一位置沿任意方向灰度变化都十分剧烈，则认为该位置包含角点，为了使得Harris角点的提取效率更高，采用只对车辆目标进行角点检测，这样效率明显比对整幅图像进行Harris角点检测效率高。

对步骤1得到每一帧图像的车辆目标的前景进行分类，分为已被跟踪目标和新出现目标，如果当前帧提取出来前景目标中包含当前轨迹的末尾节点超过3个，则认为该前景目标是已有目标，反之是新出现目标，在每个新出现目标上提取三个Harris角点，即特征点并作为新轨迹的起点。

步骤3具体包括如下步骤：

光流是空间运动物体的瞬时速度在成像平面上的反映，是利用图像序列中像素在时间域上的变化以及相邻帧之间的相关性来找到上一帧跟当前帧之间存在的对应关系，从而计算出相邻帧之间物体的运动信息的一种方法。

在步骤1得到每一帧车辆目标的图像和步骤2得到的每一帧图像的车辆目标上的特征点中，采用光流跟踪算法，将相邻两帧车辆目标的图像以及前一帧图像的特征点作为光流跟踪算法中的输入，则输出为前一帧特征点在后一帧上的对应位置以及是否跟踪成功；初始的特征点是新目标的Harris角点，以此为起点进行跟踪，之后输入的特征点是已存在轨迹的结尾点；在所有输入遍历上述过程后，输出的集合即为跟踪到的车辆直线轨迹。

步骤4具体包括如下步骤：

步骤4.1：从集合T取出一条轨迹t，对轨迹t先进行加宽，再求取梯度并旋转，然后在水平和垂直方向分别进行投影得到hVec和vVec，最后滤除干扰像素，判定vVec是否是车道线的投影，如果被判定为是则继续步骤4.2，反之删除该vVec；

步骤4.2：将由vVec和hVec确定的车道线端点，顺时针旋转θ角度回到旋转之前的位置并确定车道线的端点在原始背景图像中的位置，然后将求得的端点加入集合EP中；

步骤4.3：如果集合T中所有轨迹已经处理完成则进行步骤4.4，否则返回步骤4.1；

步骤4.4：去除EP中部分误检测的点，对车道线段按照是否在同一条直线上分类，将在同一条直线上的车道线段作为实际车道线O_i，到此即完成了对车道线的检测。

步骤4.1具体包括如下子步骤：

步骤4.1.1：从集合T取出一条轨迹t，将轨迹t在背景图像bg中对应的曲线加宽10个像素并取其外接矩形得到tRoi；

步骤4.1.2：以3x3子窗口求取步骤4.1.1得到的tRoi的梯度得到gradient(包含幅值和角度)；

步骤4.1.3：以6个像素向内腐蚀步骤4.1.2得到的gradient，消除由于tRoi边界形成的梯度值，得到腐蚀后的gradient；

步骤4.1.4：拟合所述的轨迹t为直线l，求取l和图像正半轴的夹角θ；将步骤4.1.3得到的腐蚀后的gradient根据幅值二值化得到gradientBin，幅值大于50的认为是车道线边缘；

步骤4.1.5：将步骤4.1.3得到的腐蚀后的gradient内的角度值转换成0到180度，并去除角度在[θ-30，θ+30]外的梯度值；

步骤4.1.6：将步骤4.1.4得到的gradientBin逆时针旋转θ得到gradientBinRotation，并对其进行滤波，然后将旋转后的gradientBinRotation图像在水平和垂直方向上的投影得到hVec和vVec；

步骤4.1.7：在不是纯粹弯道的情况下，hVec的应该是一个单峰分布，如果峰值有多个则认为非最大峰值的全部是干扰，从而滤除gradientBinRotation中干扰像素；

步骤4.1.8：滤除vVec中宽度小于三个像素的波峰干扰像素，vVec中的波峰的宽度从左到右应当是依次增加，因为由远及近在图像上车道线的长度越来越长。依据此，判定vVec是否是车道线的投影，如果被判定为是则继续步骤4.2，反之进行步骤4.3。

根据中国交通部发布的《公路工程技术标准》，可以了解到中国高速公路车道虚线满足“长6空9”，即实线部分长6米空白部分长9米。根据求得的P_w和车道线的物理尺寸，可以构造出一条车道线的三维模型O_w，O_w包含的虚线段数量依据检测出来的虚线段数量而定，三维车道线模型如图5所示。

步骤5包括如下子步骤：

选取车道线距离相机近的一端实线段起点为关键点P_i，由P_i根据式(2)和(3)求出三维点P_w为(X_w，Y_w，0，1)，根据求得的P_w和车道线的物理尺寸，构造出车道线的三维模型O_w，如图5所示。

其中，H₁₁、H₁₂、H₂₁、H₂₂、H₃₁和H₃₂分别对应矩阵

中相应行和列位置的元素，f为初始焦距，φ为姿态角，θ为自旋角，P_w在图像坐标系中表示为(u，v)，Z_w为图像坐标(u，v)在世界坐标中的高度，

A＝(Z_wH₁₃+H₁₄-v(Z_wH₃₃+H₃₄))(H₃₁v-H₂₁)，B＝Z_wH₂₃+H₂₄-v(Z_wH₃₂+H₃₄)。

如图1所示，借助相机成像模型，认识相机标定过程。首先定义几个方向，将场景中沿道路方向记为Y方向，垂直道路方向记为X方向，另外一个垂直于道路方向记为Z方向。从图像物理坐标系到图像像素坐标系，两个坐标系是平移关系，两个坐标系之间的变换可以表示为以下形式：

从相机坐标系变换到图像物理坐标系，在不考虑相机镜头畸变的情况下，通过简单的相似三角形即可推导出两个坐标系之间的变换关系：

其中f_x和f_y都表示以像素为单位的焦距。

以上两个变换就是相机没有畸变情况下，与内参数相关的变换，结合起来可以表示为：

sq＝KQ_c (式10)

其中

s为比例因子

以上表示出了相机的内参问题。

最后是世界坐标系到相机坐标系的变换，从而获取相机的外参，相机的外参包含旋转矩阵和平移矩阵。相机坐标系的原点在相机所在的空间位置，交通场景下世界坐标系的原点通常建立在相机的下方，其两者坐标系可通过平移和旋转重合。变换过程如下：

Q_c＝R[1 t]Q_w (式11)

其中

R为三行三列的旋转矩阵，t为三行一列的平移向量。

在不考虑畸变问题下，将式11中的Q_c代入到式10中可得：

sq＝KR[1 t]Q_w (式12)

采用基于两个消失点的标定算法，交通场景下的相机标定模型如图3所示，通过消失点标定理论描述相机标定模型。对于相机成像的透视变化，在物理世界中相互平行的一组直线在图像中会交于一点，即消失点。正交消失点，就是形成两个正交消失点的直线在物理世界中是相互垂直的，图4所示的两个消失点就是一对在地平面内的正交消失点。有两个正交消失点就可以得出相机的旋转矩阵和焦距。以下推导出基于消失点的相机标定公式：

由上可得内参数矩阵为：

其中(C_x，C_y)为主点位置是已知参数，为图像的中心位置，将图像像素坐标系的原点从图像左上角放置在图像中心则主点位置表示为(0,0)。

旋转矩阵为：

由于相机没有自旋角，所以旋转矩阵R是世界坐标系先绕Z轴顺时针旋转θ，再绕X轴逆时针旋转+π/2两部分的结合。

在交通场景中，一般默认道路平面Z＝0，将相机在路平面的垂心作为世界坐标系的原点，因此平移向量t在相机安装高度已知时可表示为：

则内参变化式子为：

sq＝HQ_w (式14)

其中

特别地，对于一个路面上的三维点(X_w，Y_w，0，1)可以按照如下公式求取对应的图像坐标(u，v)：

其中H_ij表示H矩阵的i行j列。当已知一个点的图像坐标(u，v)和其在世界坐标系中的高度Z_w，那么可以推导出：

其中，A＝(Z_wH₁₃+H₁₄-v(Z_wH₃₃+H₃₄))(H₃₁v-H₂₁)，B＝Z_wH₂₃+H₂₄-v(Z_wH₃₂+H₃₄)。

步骤6包括如下子步骤：

步骤6.1：制定初始焦距f，并假定Y轴方向上的消失点vp₀(u₀，v₀)已经获取，s为比例因子，利用式(4)和式(5)求得姿态角φ和自旋角θ，根据此时的f、φ和θ，利用式(6)和(7)将O_w投影到图像上得到更新后的车道线O′_i；

步骤6.2：根据式(8)匹配O′_i与O_i，设{P₁，...，P_n}为O_i上的车道线端点，{P′₁，...，P′_n}为O′_i上的车道线端点，通过枚举试探调整焦距，如果增大焦距d值减小，则继续增大焦距，反之减小焦距；如果减小焦距d值减小则继续减小焦距，反之则增大焦距，返回步骤6.1直到d值最小，再计算其它相机参数完成标定；

对于步骤6中的公式，做出如下解释：

利用实际场景中的沿着道路方向和在道路平面内垂直于道路方向上的两个消失点，Y轴方向上的消失点vp₀(u₀，v₀)在世界坐标系中位于无穷远处，用齐次坐标可以表示为[0 1 0 0]。同样，X轴方向上的消失点vp₁(u₁，v₁)，则可以表示为[1 0 0 0]。

由于相机没有自旋角，可得：

试验中给定相机焦距初始值，求得对应的相机姿态角，从而构造出一组相机参数，在图像中需要检测出一个用于标定的目标，称之为标定物(本实验采用三维车道线模型)，将车道线的三维模型利用这组参数投影到图像上，如果该投影与实际车道线相匹配则焦距正确，如果不匹配则按照一定规则调整焦距，重新得到一组参数，直到相比配位置。

以下给出本发明的具体实施方式，需要说明的是本发明并不局限于以下具体实施例，凡在本申请技术方案基础上做的等同变换均落入本发明的保护范围。

实施例1：

一种基于枚举试探的相机自动标定方法，包括以下步骤：

步骤1：采集道路车辆视频，得到每一帧图像的车辆目标；

步骤2：对步骤1检测得到的每一帧图像的车辆目标进行Harris角点提取，得到每一帧图像的车辆目标上的特征点；

其特征在于：

步骤3：利用步骤1得到每一帧图像的车辆目标和步骤2得到的每一帧图像的车辆目标上的特征点，采用光流跟踪算法，获取车辆轨迹集合T；

步骤4：对步骤3得到的车辆轨迹集合T，利用投影与梯度相结合的办法，获取实际车道线O_i；

步骤5：构造三维车道线模型O_w；

步骤6：将步骤5得到的三维车道线模型O_w投影到背景图像上得到O′_i，制定初始焦距f，通过改变f匹配O′_i与O_i，直到匹配准确，从而确立f，再计算其它相机参数，完成标定。

步骤1包括如下子步骤：

步骤1.1：采集道路车辆视频，视频中前景是运动的车辆，背景是道路区域、非道路的地面区域以及天空；

步骤1.2：对步骤11采集到的道路车辆视频，通过GMM高斯混合模型检测视频中每一帧图像的背景，如图2所示；

步骤1.3：对步骤12获得的每一帧图像背景先通过图像差分获得前景运动目标，再通过中值滤波和闭运算，得到每一帧图像的前景运动目标中的车辆目标。

步骤2具体包括如下步骤：

对步骤1得到每一帧图像的车辆目标的前景进行分类，分为已被跟踪目标和新出现目标，如果当前帧提取出来前景目标中包含当前轨迹的末尾节点超过3个，则认为该前景目标是已有目标，反之是新出现目标，在每个新出现目标上提取三个Harris角点，即特征点；对每一帧图像进行上述处理，得到每一帧图像的车辆目标上的特征点。

步骤3具体包括如下步骤：

在步骤1得到每一帧车辆目标的图像和步骤2得到的每一帧图像的车辆目标上的特征点中，采用光流跟踪算法，将相邻两帧车辆目标的图像以及前一帧图像的特征点作为光流跟踪算法中的输入，则输出为前一帧特征点在后一帧上的对应位置以及是否跟踪成功；初始的特征点是新目标的Harris角点，以此为起点进行跟踪，之后输入的特征点是已存在轨迹的结尾点；在所有输入遍历上述过程后，输出的集合即为跟踪到的辆轨迹集合T。

步骤4具体包括如下子步骤：

步骤4.1：从车辆轨迹集合T取出一条轨迹t，对轨迹t先进行加宽，再求取梯度并旋转，然后在水平和垂直方向分别进行投影得到hVec和vVec，最后滤除干扰像素，判定vVec是否是车道线的投影，如果被判定为是则继续步骤4.2，反之删除该vVec；

步骤4.2：将由vVec和hVec确定的车道线端点，顺时针旋转θ角度回到旋转之前的位置并确定车道线的端点在原始背景图像中的位置，然后将求得的端点加入集合EP中；

步骤4.3：如果车辆轨迹集合T中所有轨迹已经处理完成则进行步骤4.4，否则返回步骤4.1；

步骤4.4：去除EP中部分误检测的点，对车道线段按照是否在同一条直线上分类，将在同一条直线上的车道线段作为实际车道线O_i，如图9所示。

步骤4.1具体包括如下子步骤：

步骤4.1.1：从车辆轨迹集合T取出一条轨迹t，将轨迹t在背景图像bg中对应的曲线加宽10个像素并取其外接矩形得到tRoi，如图6(a)所示；

步骤4.1.2：以3x3子窗口求取步骤4.1.1得到的tRoi的梯度得到gradient(包含幅值和角度)，如图6(b)所示；

步骤4.1.3：以6个像素向内腐蚀步骤4.1.2得到的gradient，消除由于tRoi边界形成的梯度值，得到腐蚀后的gradient，如图6(c)所示；

步骤4.1.4：拟合所述的轨迹t为直线l，求取l和图像正半轴的夹角θ；将步骤4.1.3得到的腐蚀后的gradient根据幅值二值化得到gradientBin，幅值大于50的认为是车道线边缘，如图6(d)所示；

步骤4.1.5：将步骤4.1.3得到的腐蚀后的gradient内的角度值转换成0到180度，并去除角度在[θ-30，θ+30]外的梯度值，如图6(e)所示；

步骤4.1.6：将步骤4.1.4得到的gradientBin逆时针旋转θ得到gradientBinRotation，并对其进行滤波，然后将旋转后的gradientBinRotation图像在水平和垂直方向上的投影得到hVec和vVec，如图6(h)和图6(j)所示；

步骤4.1.7：在不是纯粹弯道的情况下，hVec的应该是一个单峰分布，如果峰值有多个则认为非最大峰值的全部是干扰，从而滤除gradientBinRotation中干扰像素，如图6(i)所示；

步骤4.1.8：滤除vVec中宽度小于三个像素的波峰干扰像素，vVec中的波峰的宽度从左到右应当是依次增加，因为由远及近在图像上车道线的长度越来越长。依据此，判定vVec是否是车道线的投影，如果被判定为是则继续步骤4.2，反之进行步骤4.3。

步骤5包括如下子步骤：

选取车道线距离相机近的一端实线段起点为关键点P_i，由P_i根据式(2)和(3)求出三维点P_w为(X_w，Y_w，0，1)，根据求得的P_w和车道线的物理尺寸，构造出车道线的三维模型O_w，如图5所示。

其中，H₁₁、H₁₂、H₂₁、H₂₂、H₃₁和H₃₂分别对应矩阵

中相应行和列位置的元素，f为初始焦距，φ为姿态角，θ为自旋角，P_w在图像坐标系中表示为(u，v)，Z_w为图像坐标(u，v)在世界坐标中的高度，

A＝(Z_wH₁₃+H₁₄-v(Z_wH₃₃+H₃₄))(H₃₁v-H₂₁)，B＝Z_wH₂₃+H₂₄-v(Z_wH₃₂+H₃₄)。

步骤6包括如下子步骤：

步骤6.1：制定初始焦距f，并假定Y轴方向上的消失点vp₀(u₀，v₀)已经获取，s为比例因子，利用式(4)和式(5)求得姿态角φ和自旋角θ，根据此时的f、φ和θ，利用式(6)和(7)将O_w投影到图像上得到更新后的车道线O′_i；

步骤6.2：根据式(1)匹配O′_i与O_i，设{P₁，...，P_n}为O_i上的车道线端点，{P′₁，...，P′_n}为O′_i上的车道线端点，通过枚举试探制定初始焦距f，并调整焦距，如果增大焦距d值减小，则继续增大焦距，反之减小焦距；如果减小焦距d值减小则继续减小焦距，反之则增大焦距，返回步骤6.1直到d值最小，完成标定；

其中d为对应点距离最小值。

Claims (6)

1.一种基于枚举试探的相机自动标定方法，包括以下步骤：

步骤1：采集道路车辆视频，得到每一帧图像的车辆目标；

步骤2：对步骤1检测得到的每一帧图像的车辆目标进行Harris角点提取，得到每一帧图像的车辆目标上的特征点；

其特征在于：

步骤3：利用步骤1得到每一帧图像的车辆目标和步骤2得到的每一帧图像的车辆目标上的特征点，采用光流跟踪算法，获取车辆轨迹集合T；

步骤4：对步骤3得到的车辆轨迹集合T，利用投影与梯度相结合的办法，获取实际车道线O_i；

步骤5：构造三维车道线模型O_w；

步骤6：将步骤5得到的三维车道线模型O_w投影到背景图像上得到O′_i，制定初始焦距f，通过改变f匹配O′_i与O_i，直到匹配准确，从而确立f，再计算其它相机参数，完成标定；

步骤4具体包括如下子步骤：

步骤4.1：从步骤3得到的车辆轨迹集合T取出一条轨迹t，对轨迹t先进行加宽，再求取梯度并旋转，然后在水平和垂直方向分别进行投影得到hVec和vVec，最后滤除干扰像素，判定vVec是否是车道线的投影，如果被判定为是则继续步骤4.2，反之删除该vVec；

步骤4.2：将由vVec和hVec确定的车道线端点，顺时针旋转θ角度回到旋转之前的位置并确定车道线的端点在原始背景图像中的位置，然后将求得的端点加入集合EP中；

步骤4.3：如果车辆轨迹集合T中所有轨迹已经处理完成则进行步骤4.4，否则返回步骤4.1；

步骤4.4：去除EP中部分误检测的点，对车道线段按照是否在同一条直线上分类，将在同一条直线上的车道线段作为实际车道线O_i；

步骤4.1具体包括如下子步骤：

步骤4.1.1：从步骤3得到的车辆轨迹集合T取出一条轨迹t，将轨迹t在背景图像bg中对应的曲线加宽10个像素并取其外接矩形得到tRoi；

步骤4.1.2：以3x3子窗口求取步骤4.1.1得到的tRoi的梯度得到gradient；

步骤4.1.3：以6个像素向内腐蚀步骤4.1.2得到的gradient，消除由于tRoi边界形成的梯度值，得到腐蚀后的gradient；

步骤4.1.4：拟合所述的轨迹t为直线l，求取l和图像正半轴的夹角θ；将步骤4.1.3得到的腐蚀后的gradient根据幅值二值化得到gradientBin，幅值大于50的认为是车道线边缘；

步骤4.1.5：将步骤4.1.3得到的腐蚀后的gradient内的角度值转换成0到180度，并去除角度在[θ-30，θ+30]外的梯度值；

步骤4.1.6：将步骤4.1.4得到的gradientBin逆时针旋转θ得到gradientBinRotation，并对其进行滤波，然后将旋转后的gradientBinRotation图像在水平和垂直方向上的投影得到hVec和vVec；

步骤4.1.7：滤除hVec中干扰像素；

步骤4.1.8：滤除vVec中干扰像素，判定vVec是否是车道线的投影，如果被判定为是则继续步骤4.2，反之进行步骤4.3。

2.如权利要求1所述的基于枚举试探的相机自动标定方法，其特征在于，步骤1包括如下子步骤：

步骤1.1：采集道路车辆视频，视频中前景是运动的车辆，背景是道路区域、非道路的地面区域以及天空；

步骤1.2：对步骤1.1采集到的道路车辆视频，通过GMM高斯混合模型检测视频中每一帧图像的背景；

步骤1.3：对步骤1.2获得的每一帧图像背景先通过图像差分获得前景运动目标，再通过中值滤波和闭运算，得到每一帧图像的前景运动目标中的车辆目标。

3.如权利要求1所述的基于枚举试探的相机自动标定方法，其特征在于，步骤2具体包括如下步骤：

对步骤1得到每一帧图像的车辆目标的前景进行分类，分为已被跟踪目标和新出现目标，如果当前帧提取出来前景目标中包含当前轨迹的末尾节点超过3个，则认为该前景目标是已有目标，反之是新出现目标，在每个新出现目标上提取三个Harris角点，即特征点；对每一帧图像进行上述处理，得到每一帧图像的车辆目标上的特征点。

4.如权利要求3所述的基于枚举试探的相机自动标定方法，其特征在于，步骤3具体包括如下步骤：

在步骤1得到每一帧车辆目标的图像和步骤2得到的每一帧图像的车辆目标上的特征点中，采用光流跟踪算法，将相邻两帧车辆目标的图像以及前一帧图像的特征点作为光流跟踪算法中的输入，则输出为前一帧特征点在后一帧上的对应位置以及是否跟踪成功；初始的特征点是新目标的Harris角点，以此为起点进行跟踪，之后输入的特征点是已存在轨迹的结尾点；在所有输入遍历上述过程后，输出的集合即为跟踪到的车辆轨迹集合T。

5.如权利要求1所述的基于枚举试探的相机自动标定方法，其特征在于，步骤5包括如下子步骤：

选取车道线距离相机近的一端实线段起点为关键点P_i，由P_i根据式(2)和(3)求出三维点P_w为(X_w，Y_w，0，1)，根据求得的P_w和车道线的物理尺寸，构造出车道线的三维模型O_w；

其中，H₁₁、H₁₂、H₁₃、H₁₄、H₂₁、H₂₂、H₂₃、H₂₄、H₃₁、H₃₂、H₃₃和H₃₄分别对应矩阵

中相应行和列位置的元素，f为初始焦距，φ为姿态角，θ为自旋角，P_w在图像坐标系中表示为(u，v)，Z_w为图像坐标(u，v)在世界坐标中的高度，A＝(Z_wH₁₃+H₁₄-v(Z_wH₃₃+H₃₄))(H₃₁v-H₂₁)，B＝Z_wH₂₃+H₂₄-v(Z_wH₃₂+H₃₄)。

6.如权利要求5所述的基于枚举试探的相机自动标定方法，其特征在于，步骤6包括如下子步骤：

步骤6.1：制定初始焦距f，并假定Y轴方向上的消失点vp₀(u₀，v₀)已经获取，s为比例因子，利用式(4)和式(5)求得相机参数姿态角φ和自旋角θ，根据此时的f、φ和θ，利用式(6)和(7)将O_w投影到图像上得到更新后的车道线O′_i；

步骤6.2：根据式(1)匹配O′_i与O_i，设{P₁，...，P_n}为O_i上的车道线端点，{P′₁，...，P′_n}为O′_i上的车道线端点，通过枚举试探调整焦距，如果增大焦距d值减小，则继续增大焦距，反之减小焦距；如果减小焦距d值减小则继续减小焦距，反之则增大焦距，返回步骤6.1直到d值最小，从而求取其它相机参数完成标定：

其中d为对应点距离最小值。

Images