CN109685858B - 一种单目摄像头在线标定方法 - Google Patents

Abstract

本发明提供了一种单目摄像头在线标定方法，能够实时的对摄像头外参进行标定，弥补由于安装位置偏差导致的目标识别定位不准确，包括以下步骤：步骤一、采集实时图像；步骤二、对采集到的图像进行车道线识别，将车道线识别的结果作为输入用于进行摄像头在线标定；步骤三、根据车道线的识别结果采用随机梯度下降算法计算并更新灭点位置；步骤四、判断步骤三中计算得到的灭点是否收敛；步骤五、若灭点收敛，则结束灭点的计算，根据坐标变换关系以及灭点的位置，计算摄像头的俯仰角，采用摄像头的俯仰角作为标定的摄像头外参；否则，重复步骤一至步骤四。

Description

一种单目摄像头在线标定方法

技术领域

本发明涉及摄像头标定技术领域，特别涉及一种单目摄像头在线标定方法。

背景技术

随着辅助驾驶系统和自动驾驶系统的广泛应用，单目摄像头的目标识别技术和定位技术有着长足的发展。单目摄像头可在上述系统中提供车辆周围环境要素的识别和定位，以实现辅助驾驶甚至自动驾驶。其中，定位是通过对摄像头外参的标定，将识别的目标通过坐标变换以车辆为坐标系进行精确定位，因此，摄像头的标定在定位中起着关键的作用。

现有的单目摄像头标定方法一般是通过整车的下线标定实现的，即在整车下线时，利用scara或张正友标定方法，实现对摄像头外参的标定。然而，摄像头的安装位置随着车辆的长期使用，会由于振动，老化等出现偏差，导致目标识别定位不准确。

发明内容

针对上述问题，本发明的目的是提供一种单目摄像头在线标定方法，能够实时的对摄像头外参记性标定，弥补由于安装位置偏差导致的目标识别定位不准确。

其技术方案是这样的：一种单目摄像头在线标定方法，其特征在于，包括以下步骤：

步骤一、采集实时图像；

步骤二、对采集到的图像进行车道线识别，将车道线识别的结果作为输入用于进行摄像头在线标定；

步骤三、根据车道线的识别结果采用随机梯度下降算法计算并更新灭点位置；

步骤四、判断步骤三中计算得到的灭点是否收敛；

步骤五、若灭点收敛，则结束灭点的计算，根据坐标变换关系以及灭点的位置，计算摄像头的俯仰角，采用摄像头的俯仰角作为标定的摄像头外参；否则，重复步骤一至步骤四。

进一步的，在步骤二中，将采集到的图像进行车道线识别具体包括以下步骤：将步骤一所采集的图像转换成灰度图，对灰度图进行局部阈值化，将一个区域内灰度值较高的像素点挑选出来然后利用灰度的分布梯度值提取特征点，再将特征点聚类，使得属于一条车道线的特征点的聚齐，然后利用特征点拟合出车道线，并挑选出平行车道线作为最终的车道线。

进一步的，在步骤三中，据步骤二中的车道线的识别结果采用随机梯度下降算法计算并更新灭点位置，具体如下：

灭点为车道线延长线与地平线的交点，灭点在车道线上，满足车道线方程:

J(x_v,y_v)＝x_v-Ky_v-B

其中，K为车道线直线方程的斜率，B为车道线直线方程的截距，(x_v,y_v)为灭点在图像坐标系下的横坐标，纵坐标。

对于每帧图像的检测结果，利用梯度下降法可以更新灭点数据，直到灭点收敛，具体公式如下：

其中，

为上一帧图像迭代后的灭点位置，

为当前帧迭代的灭点位置，α_x，α_y为逼近因子。

进一步的，在步骤四中，判断灭点是否收敛的条件如下：判断灭点的横向距离，纵向距离以及欧式距离是否在一定时间内的变化小于阈值，具体采用如下公式：

其中，T_x为判断图像横向方向收敛的阈值，T_y为判断图像纵向方向收敛的阈值，T_xy为判断图像欧式距离的收敛阈值。

进一步的，在步骤五中，首先建立地面坐标系和摄像头坐标系，地面坐标系表示为(X,Y,Z)，摄像头坐标系表示为(X_c，Y_c，Z_c)，摄像头坐标系固定于摄像头光轴中心，地面坐标系固结于摄像头在地面的垂直投影处，忽略摄像头沿Y轴和Z轴的旋转，H为摄像头的安装高度，θ为摄像头光轴与Z轴的夹角，即为俯仰角，设定地面为平面，得到摄像头坐标系与地面坐标系之间的转换关系为：

摄像头为定焦摄像头，服从小孔成像原理，从而摄像头坐标系到摄像头成像面坐标系的变换关系描述如下：

其中，f为摄像头焦距，x，y分别为摄像头成像面中的横坐标、纵坐标；图像坐标系的坐标用(u,v)表示，摄像头成像面坐标系和图像坐标系的关系满足下式：

其中，w，h为摄像头成像面宽高尺寸，W_I，H_I为图像的宽高尺寸；

从而得到车辆坐标系到图像坐标系的坐标的变换关系，表示为如下公式：

记

上式简化为：

同时，也能够转化为：

其中，C₁和C₂与摄像头结构的参数相关，通过摄像机标定计算得到，摄像机安装高度H和俯仰角θ由摄像头安装位置决定，通过标定和测量获取；

当Y趋于无穷远，也即平直路面上的地平线时，其对应的在图像坐标系的纵坐标表示为：

同一个摄像头采集的图像中，图像上的地平线位置仅与俯仰角相关，通过标记处地平线在图像上的位置，即可计算出俯仰角θ，俯仰角θ的计算公式为：

θ＝atan(C₁/v_h)

采用摄像头的俯仰角作为标定的摄像头外参。

本发明单目摄像头在线标定方法，能够实时的对摄像头外参进行标定，当面对安装在车辆上的单目摄像头系统，由于其长期受到震动，太阳光照等外部环境作用，安装结构易老化变形，导致摄像头的安装位置，具体表现为摄像头的安装参数与下线参数有所偏差的情况；或是面对安装在车辆上的单目摄像头系统，由于其寿命问题，可能会受到损坏导致更换，但由于车辆不能再次进入生产线，更换的摄像头系统无法进行产线标定；此时，可用本发明的单目摄像头在线标定方法对摄像头外参进行标定，解决外参由于老化有偏差或者无外参而导致的目标定位不准确的问题，其能够实时的对摄像头外参进行标定，采用摄像头的俯仰角θ作为摄像头外参，标定方便快捷，弥补由于安装位置偏差导致的目标识别定位不准确。

附图说明

图1为本发明的单目摄像头在线标定方法的流程示意图；

图2为本发明的地面坐标系和摄像头坐标系的示意图；

图3为本发明的摄像头成像面坐标系的示意图；

图4为本发明的图像坐标系的示意图。

具体实施方式

见图1，一种单目摄像头在线标定方法，包括以下步骤：

步骤一、采集实时图像；

步骤二、对采集到的图像进行车道线识别，将车道线识别的结果作为输入用于进行摄像头在线标定，具体的，将采集到的图像进行车道线识别具体包括以下步骤：将步骤一所采集的图像转换成灰度图，对灰度图进行局部阈值化，将一个区域内灰度值较高的像素点挑选出来然后利用灰度的分布梯度值提取特征点，再将特征点聚类，使得属于一条车道线的特征点的聚齐，然后利用特征点拟合出车道线，并挑选出平行车道线作为最终的车道线；

步骤三、根据车道线的识别结果采用随机梯度下降算法计算并更新灭点位置，具体的，据步骤二中的车道线的识别结果采用随机梯度下降算法计算并更新灭点位置，具体如下：

灭点为车道线延长线与地平线的交点，灭点在车道线上，满足车道线方程:

J(x_v,y_v)＝x_v-Ky_v-B

其中，K为车道线直线方程的斜率，B为车道线直线方程的截距，(x_v,y_v)为灭点在图像坐标系下的横坐标，纵坐标。

对于每帧图像的检测结果，利用梯度下降法可以更新灭点数据，直到灭点收敛，具体公式如下：

其中，

为上一帧图像迭代后的灭点位置，

为当前帧迭代的灭点位置，α_x，α_y为逼近因子；

步骤四、判断步骤三中计算得到的灭点是否收敛，具体的，判断灭点是否收敛的条件如下：判断灭点的横向距离，纵向距离以及欧式距离是否在一定时间内的变化小于阈值，具体采用如下公式：

其中，T_x为判断图像横向方向收敛的阈值，T_y为判断图像纵向方向收敛的阈值，T_xy为判断图像欧式距离的收敛阈值；

步骤五、若灭点收敛，则结束灭点的计算，根据坐标变换关系以及灭点的位置，计算摄像头的俯仰角，采用摄像头的俯仰角作为标定的摄像头外参；否则，重复步骤一至步骤四；

具体的，在步骤五中，如图2所示，首先建立地面坐标系和摄像头坐标系，地面坐标系表示为(X,Y,Z)，摄像头坐标系表示为(X_c，Y_c，Z_c)，摄像头坐标系固定于摄像头光轴中心，地面坐标系固结于摄像头在地面的垂直投影处，忽略摄像头沿Y轴和Z轴的旋转，H为摄像头的安装高度，θ为摄像头光轴与Z轴的夹角，即为俯仰角，设定地面为平面，像头坐标系如图4所示，得到摄像头坐标系与地面坐标系之间的转换关系为：

图3为摄像头成像面坐标系的示意图，摄像头为定焦摄像头，服从小孔成像原理，从而摄像头坐标系到摄像头成像面坐标系的变换关系描述如下：

其中，f为摄像头焦距，x，y分别为摄像头成像面中的横坐标、纵坐标；如图4所示，图像坐标系的坐标用(u,v)表示，摄像头成像面坐标系和图像坐标系的关系满足下式：

其中，w，h为摄像头成像面宽高尺寸，W_I，H_I为图像的宽高尺寸；

从而得到车辆坐标系到图像坐标系的坐标的变换关系，表示为如下公式：

记

上式简化为：

同时，也能够转化为：

其中，C₁和C₂与摄像头结构的参数相关，通过摄像机标定计算得到，摄像机安装高度H和俯仰角θ由摄像头安装位置决定，通过标定和测量获取；

当Y趋于无穷远，也即平直路面上的地平线时，其对应的在图像坐标系的纵坐标表示为：

同一个摄像头采集的图像中，图像上的地平线位置仅与俯仰角相关，通过标记处地平线在图像上的位置，即可计算出俯仰角θ，俯仰角θ计算公式为：

θ＝atan(C₁/v_h)

采用摄像头的俯仰角作为标定的摄像头外参。

本发明单目摄像头在线标定方法，先将步骤一所采集的图像转换成灰度图，对灰度图进行局部阈值化，将一个区域内灰度值较高的像素点挑选出来然后利用灰度的分布梯度值提取特征点，再将特征点聚类，使得属于一条车道线的特征点的聚齐，然后利用特征点拟合出车道线，并挑选出平行车道线作为最终的车道线，利用基于位置的方法对车道线进行追踪，减小下一帧车道线的干扰，然后利用车道线的识别结果采用随机梯度下降算法计算并更新灭点位置，然后判断灭点是否收敛，若灭点收敛则根据坐标变换关系以及灭点的位置，计算摄像头的俯仰角，采用摄像头的俯仰角作为摄像头外参，用于摄像头的标定，能够实时的对摄像头外参进行标定，采用摄像头的俯仰角θ作为摄像头外参，标定方便快捷，弥补由于安装位置偏差导致的目标识别定位不准确。

Claims (3)

1.一种单目摄像头在线标定方法，其特征在于，包括以下步骤：

步骤一、采集实时图像；

步骤二、对采集到的图像进行车道线识别，将车道线识别的结果作为输入用于进行摄像头在线标定；

步骤三、根据车道线的识别结果采用随机梯度下降算法计算并更新灭点位置；

步骤四、判断步骤三中计算得到的灭点是否收敛；

步骤五、若灭点收敛，则结束灭点的计算，根据坐标变换关系以及灭点的位置，计算摄像头的俯仰角，采用摄像头的俯仰角作为标定的摄像头外参；否则，重复步骤一至步骤四；

在步骤二中，将采集到的图像进行车道线识别具体包括以下步骤：将步骤一所采集的图像转换成灰度图，对灰度图进行局部阈值化，将一个区域内灰度值较高的像素点挑选出来然后利用灰度的分布梯度值提取特征点，再将特征点聚类，使得属于一条车道线的特征点的聚齐，然后利用特征点拟合出车道线，并挑选出平行车道线作为最终的车道线；

在步骤三中，据步骤二中的车道线的识别结果采用随机梯度下降算法计算并更新灭点位置，具体如下：

灭点为车道线延长线与地平线的交点，灭点在车道线上，满足车道线方程：

J(x_v,y_v)＝x_v-Ky_v-B

其中，K为车道线直线方程的斜率，B为车道线直线方程的截距，(x_v,y_v)为灭点在图像坐标系下的横坐标，纵坐标；

对于每帧图像的检测结果，利用梯度下降法可以更新灭点数据，直到灭点收敛，具体公式如下：

其中，

为上一帧图像迭代后的灭点位置，

为当前帧迭代的灭点位置，α_x，α_y为逼近因子。

2.根据权利要求1所述的一种单目摄像头在线标定方法，其特征在于：在步骤四中，判断灭点是否收敛的条件如下：判断灭点的横向距离，纵向距离以及欧式距离是否在一定时间内的变化小于阈值，具体采用如下公式：

其中，T_x为判断图像横向方向收敛的阈值，T_y为判断图像纵向方向收敛的阈值，T_xy为判断图像欧式距离的收敛阈值。

3.根据权利要求2所述的一种单目摄像头在线标定方法，其特征在于：在步骤五中，首先建立地面坐标系和摄像头坐标系，地面坐标系表示为(X,Y,Z)，摄像头坐标系表示为(X_c，Y_c，Z_c)，摄像头坐标系固定于摄像头光轴中心，地面坐标系固结于摄像头在地面的垂直投影处，忽略摄像头沿Y轴和Z轴的旋转，H为摄像头的安装高度，θ为摄像头光轴与Z轴的夹角，即为俯仰角，设定地面为平面，得到摄像头坐标系与地面坐标系之间的转换关系为：

摄像头为定焦摄像头，服从小孔成像原理，从而摄像头坐标系到摄像头成像面坐标系的变换关系描述如下：

其中，f为摄像头焦距，x，y分别为摄像头成像面中的横坐标、纵坐标；图像坐标系的坐标用(u,v)表示，摄像头成像面坐标系和图像坐标系的关系满足下式：

其中，w，h为摄像头成像面宽高尺寸，W_I，H_I为图像的宽高尺寸；

从而得到车辆坐标系到图像坐标系的坐标的变换关系，表示为如下公式：

记

上式简化为：

同时，也能够转化为：

其中，C₁和C₂与摄像头结构的参数相关，通过摄像机标定计算得到，摄像机安装高度H和俯仰角θ由摄像头安装位置决定，通过标定和测量获取；

当Y趋于无穷远，也即为平直路面上的地平线时，其对应的在图像坐标系的纵坐标表示为：

同一个摄像头采集的图像中，图像上的地平线位置仅与俯仰角相关，通过标记处地平线在图像上的位置，即可计算出俯仰角θ，俯仰角θ的计算公式为：

θ＝atan(C₁/v_h)

采用摄像头的俯仰角作为标定的摄像头外参。

Images