CN111862231A - 一种相机标定方法、车道偏离预警方法及系统 - Google Patents

Abstract

本发明提供了一种相机标定方法、车道偏离预警方法及系统，通过获取车辆前方的标定图像；根据所述标定图像中含有至少三条平行且等间距直线的位置信息和相机内部参数对所述相机进行标定，得到标定参数；利用标定后的所述相机拍摄车辆行驶过程中前方的路面图像；获取所述路面图像中含有的车道线位置信息，根据标定参数和车道线位置信息对车辆是否发生车道线偏离进行预警。本实施例所公开的方法仅仅需要利用车辆前方路面上的三条平行且等间距的直线作为标定物便可以实现对相机的标定，并且允许相机在任意姿态先实现相机标定，简化了标定环境，因此本实施例公开的车道偏离预警方法简单有效，具有较强的实用性。

Description

一种相机标定方法、车道偏离预警方法及系统

技术领域

本发明涉及电子科技技术领域，尤其涉及的是一种相机标定方法、车道偏离预警方法及系统。

背景技术

车道偏离是指车辆在行驶过程中偏离正常行驶方向越过车道线的现象。基于机器视觉的车道偏离预警算法是指在摄像头或雷达对车道线进行检测的基础上，利用偏离决策算法来决策车道偏离，从而为驾驶员提供预警信息，避免事故发生。

目前的车道偏离预警方法中含有基于道路模型与图像信息结合的方法，而基于道路模型与图像信息结合的方法需要先进行相机标定，再使用标定后的相机对车道偏离进行预警。

现有技术中的相机标定需要专门的标定板或要求车辆周边环境有竖直的建筑物，环境搭建较困难，标定过程较复杂，因此现有技术中的用于车道偏离预警系统中的相机标定不能满足快速简便对相机标定的需求。

因此，现有技术还有待于改进和发展。

发明内容

鉴于上述现有技术的不足，本发明的目的在于提供一种相机标定方法、车道偏离预警方法及系统，以解决现有技术中的车道偏离预警系统相机标定过程复杂的问题。

本发明的技术方案如下：

第一方面，本实施例公开了一种相机标定方法，其中，包括：

获取标定图像；其中，所述标定图像中含有车辆前方路面上至少三条平行且等间距直线；

提取所述标定图像中任意三条平行且等间距直线的位置信息，并将所述平行且等间距直线的位置信息和相机的内部参数相结合对所述相机进行标定，得到标定参数。

可选的，所述提取所述标定图像中任意三条平行且等间距直线的位置信息的步骤包括：

从所述标定图像中提取出路面信息；

从提取到的所述路面信息中选取三条平行且等间距的直线，并获取选取的三条平行且等间距的直线的位置信息。

可选的，所述将所述平行且等间距直线的位置信息和相机的内部参数相结合对所述相机进行标定，得到标定参数的步骤包括：

利用预先建立的针孔相机成像模型，根据所述三条平行且等间距直线的位置信息和相机内部参数，计算出将相机坐标系旋转变换到平行坐标系，所述相机坐标系的三个坐标轴旋转的三个旋转角；其中，所述相机坐标系为成像模型中所述相机所在的坐标系，所述平行坐标系为所述成像模型中坐标原点与所述相机坐标系的坐标原点重合、Z轴与车道线平行、X轴与地面平行坐标系；

根据三条平行且等间距直线之间的间距值和所述三个旋转角计算出相机距离地面的高度值。

可选的，所述利用预先建立的针孔相机成像模型，根据所述三条平行且等间距直线的位置信息和相机的内部参数，计算出将相机坐标系旋转变换到平行坐标系，所述相机坐标系的三个坐标轴旋转的三个旋转角的步骤包括：

计算出以所述相机坐标系的Z轴为旋转轴，将所述相机坐标系的X轴旋转至所述相机坐标系Z轴和所述平行坐标系Z轴形成的平面上时，所述相机坐标系X轴旋转的第一旋转角；

当所述相机坐标系的X轴旋转至所述相机坐标系Z轴和所述平行坐标系Z轴形成的平面上后，计算出以相机坐标系的Y轴为旋转轴，将所述相机坐标系的Z轴旋转至与平行坐标系的Z轴重合时，所述相机坐标系Z轴旋转的第二旋转角；

当所述相机坐标系的X轴旋转至所述相机坐标系Z轴和所述平行坐标系Z轴形成的平面上，且所述相机坐标系的Z轴旋转至与平行坐标系的Z轴重合后，计算出以所述相机坐标系的Z轴为旋转轴，将所述相机坐标系的Y轴旋转至与所述平行坐标系的Y轴重合，所述相机坐标系Y轴旋转的第三旋转角。

可选的，所述根据三条平行且等间距直线之间的间距值和所述三个旋转角计算出相机距离地面的高度值的步骤包括：

利用相似三角形关系，根据所述图像传感器自身的高度值、三条平行且等间距直线之间的间距值和第一直线的长度值计算出所述相机距离地面的高度值；其中，所述第一直线的长度值为分别将三条平行且等间距直线中处于同一直线上同属于所述图像传感器所在平面上的三个点分别与所述图像传感器的中心点连线，得到三条直线，分别将得到的所述三条直线与所述图像传感器的底边相交，得到三个交点，所述三个交点相连接组成的直线的长度值。

第二方面，本实施例还公开了一种车道偏离预警方法，其中，包括：

利用所述的相机标定方法得到用于相机标定的标定参数；

利用标定后的所述相机拍摄车辆行驶过程中前方的路面图像；

获取所述路面图像中被测车道线的位置信息，根据所述标定参数和所述被测车道线的位置信息判断所述车辆是否发生车道线偏离，若生车道线偏离，则发出预警信息。

可选的，所述获取所述路面图像中被测车道线的位置信息，根据所述标定参数和所述被测车道线的位置信息判断车辆是否发生车道线偏离的步骤包括：

根据所述标定参数和获取到的所述被测车道线的位置信息计算出所述车辆的行驶方向与前方道路之间的偏转角和所述车辆与所述被测车道线之间的距离值；

利用所述偏转角和所述车辆与所述被测车道线之间的距离值对所述车辆是否偏离所述被测车道线进行判断。

可选的，所述根据所述标定参数和获取到的所述被测车道线的位置信息计算出所述车辆的行驶方向与前方道路之间的偏转角的步骤包括：

将所述平行坐标系绕其自身Y轴旋转至其Z轴的方向与所述车辆行驶方向相同，得到车辆坐标系；

在所述车辆坐标系内，根据所述标定参数分别计算出所述平行坐标系的Z轴与所述图像传感器所在平面的第一交点的位置信息和所述车辆坐标系的Z轴与所述图像传感器所在平面的第二交点的位置信息；

根据第一交点的位置信息、所述第二交点的位置信息和所述相机的焦距值，计算出所述偏转角。

可选的，所述根据所述标定参数和获取到的所述被测车道线的位置信息计算出所述车辆与所述车道线之间的距离值步骤包括：

建立一垂直平面；其中，所述垂直平面垂直于地面所在平面、平行与所述被车道线并经过所述平行坐标系的坐标原点；所述垂直平面与地面所在平面相交于交线L；

根据所述标定参数和图像传感器的位置信息，分别计算出所述图像传感器所在平面与被检测车道线之间的第三交点的位置信息和所述图像传感器平面与所述交线L之间的第四交点的位置信息；

根据所述第三交点的位置信息、所述第四交点的位置信息、所述图像传感器中所述被测车道线与所述图像传感器底边之间的角度值、以及所述第一交点与第二交点之间的连线与所述图像传感器中直角坐标系的X轴之间的角度值，得到所述车辆与所述被测车道线之间的距离值；其中，所述被测车道线为左车道线和/或右车道线；

第三方面，本实施例公开了一种车道偏离预警系统，其中，包括：

相机模块，用于拍摄车辆前方的标定图像；其中，所述标定图像中含有至少三条平行且等间距直线；

第一信息处理模块，用于获取所述标定图像中任意三条平行且等间距直线的位置信息，并将所述平行且等间距直线的位置信息和相机内部参数相结合对所述相机进行标定，得到标定参数；

所述相机模块，还用于拍摄车辆行驶过程中前方的路面图像；

第二信息处理模块，用于获取所述路面图像中被测车道线的位置信息，根据所述标定参数和被测车道线的位置信息判断车辆是否发生车道线偏离；

预警模块，用于当判定出车辆发生车道线偏离，则发出预警信息。

有益效果，本发明所提供的一种相机标定方法、车道偏离预警方法及系统，通过获取车辆前方的标定图像；根据所述标定图像中含有至少三条平行且等间距直线的位置信息和相机内部参数对所述相机进行标定，得到标定参数；利用标定后的所述车辆行驶过程中前方的路面图像相机拍摄车辆行驶过程中前方的路面图像；获取所述路面图像中含有的车道线位置信息，根据标定参数和车道线位置信息对车辆是否发生车道线偏离进行预警。本实施例所公开的方法仅仅需要利用车辆前方路面上的三条平行且等间距的直线作为标定物便可以实现对相机的标定，并且允许相机在任意姿态先实现相机标定，简化了标定环境，因此本实施例公开的车道偏离预警方法简单有效，具有较强的实用性。

附图说明

为了更清楚的说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。

图1是本实施例公开的一种相机标定方法的步骤流程图；

图2是本实施例中相机坐标系和平行坐标系的位置关系图；

图3是本实施例中针孔相机的3D成像模型；

图4是本实施例中第一步相机坐标系绕Z_c轴旋转θ₁角度前后成像示意图；

图5是本实施例中相机坐标系绕Z_c轴旋转θ₁角度前后图像传感器正视图；

图6是本实施例中相机坐标系绕Z_c轴旋转θ₁角度前后交点变化示意图；

图7是本实施例中第二步相机坐标系绕Y_c轴旋转θ₂角度前后成像示意图；

图8是本实施例中旋转角θ₂的位置示意图；

图9是相机坐标系绕Y_c轴旋转θ₂角度前后图像中三条线位置变化示意图；

图10是本实施例中第三步相机坐标系绕Z_c轴旋转θ₃角度前后成像示意图；

图11是本实施例中图像传感器中三条线截图像传感器底边得到两段等长线段的示意图；

图12是本实施例公开的一种车道偏离预警方法的步骤示意图；

图13是本实施例所述车道偏离预警方法的具体实施例步骤流程图；

图14是本实施例中相机坐标系、平行坐标系与车辆坐标系的位置关系示意图；

图15是本实施例中平行坐标系与车辆坐标系的位置关系俯视图及θ_y和x_x的位置示意图；

图16是本实施例中车辆行驶偏转角θ_y的求解示意图；

图17是本实施例中平行坐标系的Z轴与图像传感器的交点P_intd的求解示意图；

图18是本实施例中车辆与车道线距离x_x的求解示意图；

图19是本实施例中车道偏离预警系统的原理结果示意图。

具体实施方式

本发明提供一种，为使本发明的目的、技术方案及效果更加清楚、明确，以下参照附图并举实例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

在实施方式和申请专利范围中，除非文中对于冠词有特别限定，否则“一”与“所述”可泛指单一个或复数个。

另外，若本发明实施例中有涉及“第一”、“第二”等的描述，则该“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。

在车道偏离预警算法中，相机标定提供了相机坐标系(即相机所在的坐标系，其以相机的光心作为坐标系的原点，以相机的主光轴作为坐标系的Z轴)与平行坐标系(即坐标系的原点与相机坐标系的原点重合，X轴与地面平行且Z轴与路面上的车道线平行的坐标系)的变换关系，即相机外部参数。

现有技术中的标定算法中，需要搭建专门用于相机标定的场景，比如：需要用到标定专门的标定板进行标定，或要求车辆周边环境有竖直的建筑物，因此标定场景搭建复杂，而且标定过程复杂，不能满足快速对相机进行标定的需求。

为了克服现有技术中的上述缺陷，本实施例中提供了一种用于车道偏离预警系统的相机标定方法，所述车道偏离预警系统中设置有摄像设备(比如：相机)和数据处理设备，通过摄像设备获取车道前方的标定图像，通过对标定图像中标定物位置信息的获取，结合相机的内参数计算出标定参数，也即是相机的外参数。本实施例中所述标定物为地面上的三条平行且等间距的直线，该三条直线必须满足平行且等间距。利用摄像设备拍摄车辆前方图像，该图像中含有三条平行且等间距的直线，通过提取三条平行且等间距直线的位置信息，并将所述三条平行且等间距直线的位置信息与摄像设备的内参数相结合，便可以计算出标定参数。

由于本发明提供的实施例仅仅需要在车辆前方设置三条平行且等间距的直线便可以实现对相机的标定，并且在进行相机标定时，不需要将相机设置在特定位置，也即是相机可以设置在任意位置和任意角度均可以实现对相机的标定，因此本发明所公开的标定方法实施方便，实用性强。

可以想到的是，基于本实施例所公开的标定方法，还可以利用标定后的相机用于对车道偏离的预警，将所述标定后计算得到的标定参数与被测车道线的位置信息相结合，便可以预测出车辆是否发送车道偏离。并且，本实施例公开的车道偏离预警方法可以在仅获取到一个被测车道线的位置信息的情况下实现车道偏离预警，因此适用性更广。

需要注意的是，上述应用场景仅是为了便于理解本发明而示出，本发明的实施方式在此方面不受任何限制。相反，本发明的实施方式可以应用于适用的任何场景。

第一方面，本实施例公开了一种相机标定方法，如图1所示，包括：

步骤S1、获取标定图像；其中，所述标定图像中含有车辆前方路面上至少三条平行且等间距直线。

本步骤中获取标定图像的方法可以有多种，其中包括：首先在车辆前方路面上布置三条平行且等间距直线，再利用安装在车辆上的相机对前方路面进行拍摄，从而获取到图像中含有三条平行且等间距直线；或者直接获取内存中存储的在同一相机设置方位在同一地点拍摄的前方路面图像；或者当车辆前方路面中设置有三条平行且等间距直线时，直接拍摄前方路面图像，并将前方路面图像作为标定图像。

步骤S2、提取所述标定图像中任意三条平行且等间距直线的位置信息，并将所述平行且等间距直线的位置信息和相机的内部参数相结合对所述相机进行标定，得到标定参数。

当上述步骤S1中获取到标定图像后，利用标定图像中三条平行且等间距直线的直线方程、三条直线之间的间距(当标定物为三条平行且等间距的车道线时，则为车道线之间的间距)和相机的内部参数，先后计算出将“相机坐标系”变换到“平行坐标系”的三个相机旋转角和相机高度。

在一种实施方式中，标定物为设置在路面上的三条平行且等间距的直线，所述提取所述标定图像中任意三条平行且等间距直线的位置信息的步骤包括：

步骤S11、从所述标定图像中提取出路面信息.

为了获取到准确的三条平行且等间距直线在标定图像中的位置信息，首先基于标定图像提取出图像中的路面信息，所述路面信息中含有三条平行且等间距直线的位置信息。所述提取路面信息的方法可以为利用图像识别算法，识别出图像中属于地面信息的图像区域，并将属于路面信息的图像区域提取出来。

步骤S12、从提取到的所述路面信息中选取三条平行且等间距的直线，并获取选取的三条平行且等间距的直线的位置信息。

由于根据上述步骤中提取出的路面信息中可能含有多个平行且等间距的直线，比如当路面上设置有多条平行且等间距直线，路旁边的建筑上还设置有多条平行且等间距的直线，或者路边的树木呈平行且等间距排列，因此根据车辆行驶方向与标定物的方向一致的要求，从多个直线中，选择出三条平行且等间距，并且与车辆行驶方向平行的直线作为标定物，获取该三条直线标定物的位置信息。

具体的，所述将所述平行且等间距直线的位置信息和相机的内部参数相结合对所述相机进行标定，得到标定参数的步骤包括：

步骤S21、利用预先建立的针孔相机成像模型，根据所述三条平行且等间距直线的位置信息和相机内部参数，计算出将相机坐标系旋转变换到平行坐标系，所述相机坐标系的三个坐标轴旋转的三个旋转角；其中，所述相机坐标系为成像模型中所述相机所在的坐标系，所述平行坐标系为所述成像模型中坐标原点与所述相机坐标系的坐标原点重合、Z轴与车道线平行、X轴与地面平行坐标系。

具体的，所述利用预先建立的针孔相机成像模型，根据所述三条平行且等间距直线的位置信息和相机的内部参数，计算出将相机坐标系旋转变换到平行坐标系，所述相机坐标系的三个坐标轴旋转的三个旋转角的步骤包括：

计算出以所述相机坐标系的Z轴为旋转轴，将所述相机坐标系的X轴旋转至所述相机坐标系Z轴和所述平行坐标系Z轴形成的平面上时，所述相机坐标系X轴旋转的第一旋转角；

当所述相机坐标系的X轴旋转至所述相机坐标系Z轴和所述平行坐标系Z轴形成的平面上，计算出以相机坐标系的Y轴为旋转轴，将所述相机坐标系的Z轴旋转至与平行坐标系的Z轴重合时，所述相机坐标系Z轴旋转的第二旋转角；

当所述相机坐标系的X轴旋转至所述相机坐标系Z轴和所述平行坐标系Z轴形成的平面上，且所述相机坐标系的Z轴旋转至与平行坐标系的Z轴重合后，计算出以所述相机坐标系的Z轴为旋转轴，将所述相机坐标系的Y轴旋转至与所述平行坐标系的Y轴重合，所述相机坐标系Y轴旋转的第三旋转角。

具体的，结合图2至图10所示，以三条平行且等间距直线为车道线为例，对上述计算出三个旋转角的步骤进行详细的说明。

如图2展示了相机标定中定义的相机坐标系和平行坐标系之间的位置关系，其中，位置任意的相机坐标系O_c-X_cY_cZ_c，其中，相机坐标系的坐标原点为O_c点，其为相机光心，Z_c轴为相机主光轴，通过将相机坐标系的三个坐标轴分别经过三次旋转变换得到原点与O_c重合、x轴与地面平行且z轴与车道线平行的平行坐标系O_c’-X_c’Y_c’Z_c’，并且三次旋转的旋转角θ₁，θ₂，θ₃和相机高度可以求出。相机中图像传感器与相机坐标系的Z_c轴垂直，图像传感器两条相邻边分别与相机坐标系的X_c轴或Y_c轴平行，图像传感器中的图像坐标系O_i-X_iY_i的原点O_i点在图像传感器中心，X_i轴、Y_i轴分别与相机坐标系的X_c轴、Y_c轴平行但方向相反。

为了计算出相机坐标系的三个坐标轴的三个旋转角，本步骤中首先建立针孔相机成像模型，如图3所示，将每条车道线上每一点与相机光心O_c相连得到三个平面，这三个平面与相机中图像传感器的三条交线即为三条车道线在图像传感器上的映射，且由于Z_c’轴既过O_c点又与车道线平行，图像传感器上三条线的交点P_int就在Z_c’轴上。

利用图像传感器中这三条线的位置信息可按照以下三个步骤求出相机的三个旋转角和相机高度。

第一步求解出相机第一个旋转角θ₁，该步骤中相机坐标系绕Z_c轴旋转θ₁角度使得X_c轴在Z_c-Z_c’平面上。如图4所示，绕Z_c轴旋转时Z_c轴的位置不变，三个平面与相机图像传感器的三条交线位置不变，只是图像传感器绕中心点O_i旋转了θ₁角度。由于图像传感器上三条线的交点P_int就在Z_c’轴上，因此只需旋转图像传感器，使图像传感器中与X_c轴平行的X_i轴过P_int点，即让X_i轴在Z_c-Z_c’平面上，就实现了X_c轴在Z_c-Z_c’平面上。如图5所示，旋转后P_int点在O_i点的正左或正右方，因此由旋转前P_int点的位置即可求出旋转角θ₁，具体的计算公式如下：

其中，y_int为P_int点在图像坐标系O_i-X_iY_i中的纵坐标，x_int为P_int点在图像坐标系O_i-X_iY_i中的横坐标；R₁为第一步相机坐标系进行旋转变换的旋转矩阵。

随后根据旋转前图像传感器中三条线的位置和旋转角θ₁，即可求出旋转后图像传感器中三条线的位置，如图6和公式(3)。

其中，y_size是图像传感器高度，P_int为图像传感器上左、中、右车道线的交点，P_l0，P_m0，P_r0分别为第一步旋转前图像传感器中左、中、右车道线与图像传感器底边的交点，P_p0为第一步旋转前过P_int作与图像传感器底边的垂线的垂足，P_l1，P_m1，P_r1分别为第一步旋转后图像传感器中左、中、右车道线与图像传感器底边的交点，P_p1为第一步旋转后过P_int作与图像传感器底边的垂线的垂足。

第二步求解出相机第二个旋转角θ₂，该步骤中相机坐标系绕Y_c轴旋转θ₂角度使得Z_c轴与Z_c’轴重合，旋转后P_int点与图像传感器中心点重合，如图7所示。因此，由旋转前P_int点与图像传感器中心点O_i的距离和相机焦距f(即O_i与O_c的距离)可求出旋转角θ₂，见图8和公式(4)、公式(5)和公式(6)。

其中，O_iP_int为连接O_i与P_int点的线段长度，R₂为第二步相机坐标系进行旋转变换的旋转矩阵

旋转前后图像传感器与三个平面的关系变化，但旋转前后的图像传感器底边都与Y_c轴垂直，且旋转后的图像传感器与Z_c’轴垂直。利用这些关系和旋转角θ₂可求出旋转后图像传感器中三条线的位置，见图9和公式(7)。

其中，P_l2，P_m2，P_r2分别为第二步旋转后图像传感器中左、中、右车道线与图像传感器底边的交点，P_p2为第二步旋转后过P_int作与图像传感器底边的垂线的垂足。

第三步求解出相机第二个旋转角θ₃，由于第二步完成后Z_c轴与Z_c’轴重合，因此该步骤中“相机坐标系”绕Z_c轴旋转θ₃角度即可使相机坐标系O_c-X_cY_cZ_c和平行坐标系O_c’-X_c’Y_c’Z_c’完全重合，如图10所示。

由于该步旋转过后图像传感器底边与地面平行，且三条车道线等间距，因此图像传感器中三条线截图像传感器底边得到两段等长线段，即图11中P_l3P_m3＝P_r3P_m3，而图像传感器底边与地面不平行时无此关系。因此使传感器旋转到传感器中三条线截传感器底边得到的线段等长的角度即为θ₃，具体利用解三角形求解，见图10、图11和公式(8)(9)(10)。

θ₃＝∠C-∠O_iP_m2P_l2 (9)

其中，P_l3，P_m3，P_r3分别为第三步旋转后图像传感器中左、中、右车道线与图像传感器底边的交点，A为线段P_l3O_i与P_m3O_i形成的夹角，B为线段P_r3O_i与P_m3O_i形成的夹角，C为线段P_l3P_m3与P_m3O_i形成的夹角，∠O_iP_m2P_l2为线段P_l2P_m2与P_m2O_i形成的夹角，P_l2，P_m2分别为第二步旋转后图像传感器中左、中车道线与图像传感器底边的交点，R₃为第三步相机坐标系进行旋转变换的旋转矩阵。

步骤S22、根据三条平行且等间距直线之间的间距值和所述三个旋转角计算出相机距离地面的高度值。

本步骤中，利用相似三角形关系，根据所述图像传感器自身的高度值、三条平行且等间距直线之间的间距值和第一直线的长度值计算出所述相机距离地面的高度值；其中，所述第一直线的长度值为将三条平行且等间距直线中处于同一直线上同属于所述图像传感器所在平面上的三个点分别与所述图像传感器的中心点连线，得到三条直线，分别将得到的所述三条直线与所述图像传感器的底边相交，得到三个交点，所述三个交点相连接组成的直线的长度值。

由于相机高度即为传感器中心O_i到地面的距离，因此利用图11中的相似三角形关系即可求出相机高度h，见公式(11)(w是左右车道线间距离)。

其中，y_size为图像传感器自身的高度值，h为相机距离地面的高度值，w为左右车道线间距，P_l3P_r3为图像传感器中左、右两条车道线截图像传感器底边得到线段的线段长度。

由于本步骤中仅仅利用地面上设置的三条平行等间距的直线和相机内参数便可以实现对相机的标定，因此本实施例公开的标定方法方便实施，标定过程简单，因此为对相机标定提供了便利。

在上述相机标定方法的基础上，本实施例还公开了一种车道偏离预警方法，结合图12所示，所述方法包括：

步骤H1、获取标定图像；其中，所述标定图像中含有车辆前方路面上至少三条平行且等间距直线；其具体实现方式与步骤S1相同。

步骤H2、提取所述标定图像中任意三条平行且等间距直线的位置信息，并将所述平行且等间距直线的位置信息和相机的内部参数相结合对所述相机进行标定，得到标定参数；其具体实现方式与步骤S2相同。

步骤H3、利用标定后的所述相机拍摄车辆行驶过程中前方的路面图像。

当上述步骤H2中获取到标定后相机的标定参数后，利用相机拍摄车辆行驶过程中前方的路面图像。

步骤H4、获取所述路面图像中被测车道线的位置信息，根据所述标定参数和所述被测车道线的位置信息判断所述车辆是否发生车道线偏离，若生车道线偏离，则发出预警信息。

具体实施时，相机拍摄到路面图像后，将路面图像保存至相机内存，信息处理模块从相机内存中获取所述路面图像，并对路面图像进行处理，分别获取路面图像中被测车道线的位置信息，并利用上述步骤中获取到的标定参数和获取到的被测车道线的位置信息，判断出车辆是否偏离车道线，若偏离，则发出报警。

结合图13所示，本实施例所公开的车道偏离预警方法包括相机标定和车道偏离预警两个部分，其中，相机标定部分包括利用拍摄照片中的三条车道线所在直线表达式，也即是三条直线的直线方程和车道线间距与相机内部参数相结合，分别计算出将相机坐标系的三个坐标轴分别旋转至与平行坐标系重合所对应需要旋转的相机第一旋转角，相机第二旋转角和相机第三旋转角，并结合三个旋转角以及图像传感器自身的高度值计算出相机距离地面的高度值，从而完成对相机标定。而车道偏离预警的部分，则包括根据所述三个旋转角和相机距离地面的高度值计算出汽车行驶偏转角和照片中一条车道线所在直线表达式，并根据所述偏转角和所述车道线所在直线表达式计算出汽车与车道线之间的距离，从而判断出车辆是否发生车道偏离。

具体的，所述获取所述路面图像中被测车道线的位置信息，根据所述标定参数和所述被测车道线的位置信息判断车辆是否发生车道线偏离的步骤包括：

根据所述标定参数和获取到的所述被测车道线的位置信息计算出所述车辆的行驶方向与前方道路之间的偏转角和所述车辆与所述被测车道线之间的距离值。

具体的，所述根据所述标定参数和获取到的所述被测车道线的位置信息计算出所述车辆的行驶方向与前方道路之间的偏转角的步骤包括：

将所述平行坐标系绕其自身Y轴旋转至其Z轴的方向与所述车辆行驶方向相同，得到车辆坐标系；

在所述车辆坐标系内，根据所述标定参数分别计算出所述平行坐标系的Z轴与所述图像传感器所在平面的第一交点的位置信息和所述车辆坐标系的Z轴与所述图像传感器所在平面的第二交点的位置信息；

根据第一交点的位置信息、所述第二交点的位置信息和所述相机的焦距值，计算出所述偏转角。

下面结合图14至图18对上述计算步骤做更详细的说明。

以上的相机标定部分求解出了相机的三个旋转角和相机高度，接下来可利用这些信息，通过在车辆行驶过程中拍摄并提取左车道线或右车道线求解出车道偏离相关的两个变量，即车辆行驶偏转角θ_y和车辆与车道线距离x_x。

首先仍需定义相机成像的坐标系位置关系，基本与相机标定时相同，但增加了通过“平行坐标系”O_c’-X_c’Y_c’Z_c’绕y轴旋转使z轴与车辆行驶方向相同而得到的车辆坐标系O_c”-X_c”Y_c”Z_c”，如图14和15所示。因此θ_y即为X_c’与X_c”轴(或Z_c’与Z_c”轴)的夹角，x_x为O_c到被检测车道线(图中为右车道线)的水平距离。

计算出旋转角θ_y和x_x的求解步骤。

由于θ_y为Z_c’与Z_c”轴的夹角，可利用Z_c’与Z_c”轴分别与图像传感器的交点P_intd(x_intd,y_intd)和P_intc(x_intc,y_intc)，再结合传感器中心点到O_c点的距离为相机焦距f的条件求出θ_y，如图16和公式(12)至(16)所示。

其中，

分别为连接O_c和O_i点，连接O_c和P_intd点，连接O_c和P_intc点形成的向量，R_y为将平行坐标系经过旋转变换到车辆坐标系的旋转矩阵。

由于在相机标定中车辆方向与车道线方向一致，且“相机坐标系”与车辆的位置关系不变，而Z_c”轴方向与车辆方向一致，因此Z_c”轴与图像传感器的交点位置P_intc和相机标定第一步之前P_int点的位置相同，即P_intc位置已知。Z_c’轴与图像传感器的交点P_intd在相机标定部分是图像传感器中三条线的交点，而由于车道偏离预警部分只检测出一条车道线，因此P_intd无法在图中直接显示而只知其在图像传感器中被检测出的车道线上。但由于P_intd也在X_c’-Z_c’平面上，P_intd的求解可先利用相机标定部分获得的信息求出图像传感器与X_c’-Z_c’平面的交线在图像传感器中的位置，再求解图像传感器与X_c’-Z_c’平面的交线和图像传感器中车道线的交点，即为P_intd点，如图17和公式(17)至(21)所示。

其中，z_c0、p_int0和x_i0分别是Z_c轴、线段P_intdP_intc和X_i轴方向上的单位向量，θ_xz为所述第一交点与第二交点之间的连线与所述图像传感器中直角坐标系的X轴之间的角度值，P_rtop与P_rbot分别为被检测车道线与图像传感器顶边与底边的交点,x_rtop与x_rbot分别为交点P_rtop与交点P_rbot的横坐标。

具体的，所述根据所述标定参数和获取到的所述被测车道线的位置信息计算出所述车辆与所述被测车道线之间的距离值步骤包括：

建立一垂直平面；其中，所述垂直平面垂直于地面所在平面、平行与所述被车道线并经过所述平行坐标系的坐标原点；所述垂直平面与地面所在平面相交于交线L；

根据所述标定参数和图像传感器的位置信息，分别计算出所述图像传感器所在平面与被检测车道线之间的第三交点的位置信息和所述图像传感器平面与所述交线L之间的第四交点的位置信息；

根据所述第三交点的位置信息、所述第四交点的位置信息、所述图像传感器中所述被测车道线与所述图像传感器底边之间的角度值、以及所述第一交点与第二交点之间的连线与所述图像传感器中直角坐标系的X轴之间的角度值，得到所述车辆与所述被测车道线之间的距离值；其中，所述被测车道线为左车道线和/或右车道线。

结合图18所示，所述车辆与所述被测车道线之间的距离值x_x的求解利用图像传感器位置与图像传感器中车道线的斜率。过O_c点做与地面垂直的垂直平面α_per，与地面的交线l_per到被检测车道线的距离即为x_x。图像传感器平面与l_per和被检测车道线有两个交点P_gp和P_gr，则向量P_gpP_gr的X_c’轴分量即为x_x。而图像传感器中车道线上的向量P_grP_intd与向量P_gpP_gr的夹角θ_gr可通过图像传感器中车道线与图像传感器底边的夹角θ_br和求解θ_y时求出的夹角θ_xz获得。因此通过列出向量P_grP_intd与向量P_gpP_gr的点乘等式即可求出x_x，如图18和公式(22)至(28)所示。

θ_gr＝θ_br-θ_xz (23)

其中，v_bot、v_lp和v_lr分别代表向量P_gpP_gr、P_gpP_intd和P_grP_intd，

为

在车辆坐标系下的向量。

利用所述偏转角和所述车辆与所述被测车道线之间的距离值对所述车辆是否偏离所述被测车道线进行判断。

由于上述步骤中已经计算出车道偏离相关的两个变量，即车辆行驶与前方道路之间的偏转角θ_y和车辆与车道线距离x_x，则根据这个两个变量便对车辆偏离车道进行预警，以避免车辆发生意外。

本实施例在公开上述车道偏离预警方法的基础上，还公开了一种车道偏离预警系统，如图19，包括：

相机模块1901，用于拍摄车辆前方的标定图像；其中，所述标定图像中含有至少三条平行且等间距直线；

第一信息处理模块1902，用于获取所述标定图像中任意三条平行且等间距直线的位置信息，并将所述平行且等间距直线的位置信息和相机内部参数相结合对所述相机进行标定，得到标定参数；

所述相机模块1901，还用于拍摄车辆行驶过程中前方的路面图像；

第二信息处理模块1903，用于获取所述路面图像中被测车道线的位置信息，根据所述标定参数和被测车道线的位置信息判断车辆是否发生车道线偏离；

预警模块1904，用于当判定出车辆发生车道线偏离，则发出预警信息。

本发明所提供的一种相机标定方法、车道偏离预警方法及系统，通过获取车辆前方的标定图像；根据所述标定图像中含有至少三条平行且等间距直线的位置信息和相机内部参数对所述相机进行标定，得到标定参数；利用标定后的所述车辆行驶过程中前方的路面图像相机拍摄车辆行驶过程中前方的路面图像；获取所述路面图像中含有的车道线位置信息，根据标定参数和车道线位置信息对车辆是否发生车道线偏离进行预警。本实施例所公开的方法仅仅需要利用车辆前方路面上的三条平行且等间距的直线作为标定物便可以实现对相机的标定，并且允许相机在任意姿态先实现相机标定，简化了标定环境，因此本实施例公开的车道偏离预警方法简单有效，具有较强的实用性。

应当理解的是，本发明的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (10)

1.一种相机标定方法，其特征在于，包括：

获取标定图像；其中，所述标定图像中含有车辆前方路面上至少三条平行且等间距直线；

提取所述标定图像中任意三条平行且等间距直线的位置信息，并将所述平行且等间距直线的位置信息和相机的内部参数相结合对所述相机进行标定，得到标定参数。

2.根据权利要求1所述的相机标定方法，其特征在于，所述提取所述标定图像中任意三条平行且等间距直线的位置信息的步骤包括：

从所述标定图像中提取出路面信息；

从提取到的所述路面信息中选取三条平行且等间距的直线，并获取选取的三条平行且等间距的直线的位置信息。

3.根据权利要求1或2所述的相机标定方法，其特征在于，所述将所述平行且等间距直线的位置信息和相机的内部参数相结合对所述相机进行标定，得到标定参数的步骤包括：

利用预先建立的针孔相机成像模型，根据所述三条平行且等间距直线的位置信息和相机内部参数，计算出将相机坐标系旋转变换到平行坐标系，所述相机坐标系的三个坐标轴旋转的三个旋转角；其中，所述相机坐标系为成像模型中所述相机所在的坐标系，所述平行坐标系为所述成像模型中坐标原点与所述相机坐标系的坐标原点重合、Z轴与车道线平行、X轴与地面平行坐标系；

根据三条平行且等间距直线之间的间距值和所述三个旋转角计算出相机距离地面的高度值。

4.根据权利要求3所述的相机标定方法，其特征在于，所述利用预先建立的针孔相机成像模型，根据所述三条平行且等间距直线的位置信息和相机的内部参数，计算出将相机坐标系旋转变换到平行坐标系，所述相机坐标系的三个坐标轴旋转的三个旋转角的步骤包括：

计算出以所述相机坐标系的Z轴为旋转轴，将所述相机坐标系的X轴旋转至所述相机坐标系Z轴和所述平行坐标系Z轴形成的平面上时，所述相机坐标系X轴旋转的第一旋转角；

当所述相机坐标系的X轴旋转至所述相机坐标系Z轴和所述平行坐标系Z轴形成的平面上后，计算出以相机坐标系的Y轴为旋转轴，将所述相机坐标系的Z轴旋转至与平行坐标系的Z轴重合时，所述相机坐标系Z轴旋转的第二旋转角；

当所述相机坐标系的X轴旋转至所述相机坐标系Z轴和所述平行坐标系Z轴形成的平面上，且所述相机坐标系的Z轴旋转至与平行坐标系的Z轴重合时，计算出以所述相机坐标系的Z轴为旋转轴，将所述相机坐标系的Y轴旋转至与所述平行坐标系的Y轴重合，所述相机坐标系Y轴旋转的第三旋转角。

5.根据权利要求4所述的相机标定方法，其特征在于，所述根据三条平行且等间距直线之间的间距值和所述三个旋转角计算出相机距离地面的高度值的步骤包括：

利用相似三角形关系，根据所述图像传感器自身的高度值、三条平行且等间距直线之间的间距值和第一直线的长度值计算出所述相机距离地面的高度值；其中，所述第一直线的长度值为将三条平行且等间距直线中处于同一直线上且同属于所述图像传感器所在平面上的三个点分别与所述图像传感器的中心点连线，得到三条直线，分别将得到的所述三条直线与所述图像传感器的底边相交，得到三个交点，所述三个交点相连接组成的直线的长度值。

6.一种车道偏离预警方法，其特征在于，包括：

利用如权利要求1-5任一项所述的相机标定方法得到用于相机标定的标定参数；

利用标定后的所述相机拍摄车辆行驶过程中前方的路面图像；

获取所述路面图像中被测车道线的位置信息，根据所述标定参数和被测车道线的位置信息判断所述车辆是否发生车道线偏离，若生车道线偏离，则发出预警信息。

7.根据权利要求6所述的车道偏离预警方法，其特征在于，所述获取所述路面图像中被测车道线的位置信息，根据所述标定参数和所述被测车道线的位置信息判断车辆是否发生车道线偏离的步骤包括：

根据所述标定参数和获取到的所述被测车道线的位置信息计算出所述车辆的行驶方向与前方道路之间的偏转角和所述车辆与所述被测车道线之间的距离值；

利用所述偏转角和所述车辆与所述被测车道线之间的距离值对所述车辆是否偏离所述被测车道线进行判断。

8.根据权利要求7所述的车道偏离预警方法，其特征在于，所述根据所述标定参数和获取到的所述被测车道线的位置信息计算出所述车辆的行驶方向与前方道路之间的偏转角的步骤包括：

将平行坐标系绕其自身Y轴旋转至其Z轴的方向与所述车辆行驶方向相同，得到车辆坐标系；

在所述车辆坐标系内，根据所述标定参数分别计算出所述平行坐标系的Z轴与所述图像传感器所在平面的第一交点的位置信息和所述车辆坐标系的Z轴与所述图像传感器所在平面的第二交点的位置信息；

根据第一交点的位置信息、所述第二交点的位置信息和所述相机的焦距值，计算出所述偏转角。

9.根据权利要求8所述的车道偏离预警方法，其特征在于，所述根据所述标定参数和获取到的所述被测车道线的位置信息计算出所述车辆与所述被测车道线之间的距离值步骤包括：

建立一垂直平面；其中，所述垂直平面垂直于地面所在平面、平行与所述被测车道线并经过所述平行坐标系的坐标原点；所述垂直平面与地面所在平面相交于交线L；

根据所述标定参数和图像传感器的位置信息，分别计算出所述图像传感器所在平面与被检测车道线之间的第三交点的位置信息和所述图像传感器平面与所述交线L之间的第四交点的位置信息；

根据所述第三交点的位置信息、所述第四交点的位置信息、所述图像传感器中所述被测车道线与所述图像传感器底边之间的角度值、以及所述第一交点与第二交点之间的连线与所述图像传感器中直角坐标系的X轴之间的角度值，得到所述车辆与所述被测车道线之间的距离值；其中，所述被测车道线为左车道线和/或右车道线。

10.一种车道偏离预警系统，其特征在于，包括：

相机模块，用于拍摄车辆前方的标定图像；其中，所述标定图像中含有至少三条平行且等间距直线；

第一信息处理模块，用于获取所述标定图像中任意三条平行且等间距直线的位置信息，并将所述三条平行且等间距直线的位置信息和相机的内部参数相结合对所述相机进行标定，得到标定参数；

所述相机模块，还用于拍摄车辆行驶过程中前方的路面图像；

第二信息处理模块，用于获取所述路面图像中被测车道线的位置信息，根据所述标定参数和被测车道线的位置信息判断车辆是否发生车道线偏离；

预警模块，用于当判定出车辆发生车道线偏离，则发出预警信息。

Images