CN108052910A - 一种车辆全景成像系统的自动调整方法、装置及存储介质 - Google Patents

Abstract

本发明公开了一种车辆全景成像系统的自动调整方法、装置及存储介质，所述方法包括：将车辆四个方向上的摄像头拍摄的四个图像进行俯视变换，并分别判断得到的俯视图像是否携带预设形式的车道线；当至少左右两个方向的俯视图像携带预设形式的车道线时，采用预设的拼接参数对四张俯视图像进行拼接并提取全景图像携带的车道线，并分别判断提取到的车道线是否连续；当全景图像中存在不连续的车道线时，确定其对应的修正参数，并采用所述修正参数调整拼接参数。本发明通过将全景摄像系统的摄像头拍摄的图像进行拼接，并根据拼接得到的全景图像内的车道线来自动调整相应摄像头的参数，来实现在使用过程中自动调整全景摄像系统，以保证融合图像的质量。

Description

一种车辆全景成像系统的自动调整方法、装置及存储介质

技术领域

本发明涉及汽车电子技术领域，特别涉及一种车辆全景成像系统的自动调整方法、装置及存储介质。

背景技术

汽车360全景防抖动环视辅助安全系统是先进驾驶辅助系统(ADAS)的组成部分，帮助汽车驾驶员准确实时的获取车辆周围360度全景视觉信息，汽车驾驶员可以通过获取的车辆周围的环境信息后及时做出响应，减少事故的发生概率。

现有的汽车360全景环视辅助安全系统通过安装在车辆周围至少四个超广角镜头实时获取车辆周围的信息，分别将四个超广角镜头获取的鱼眼图进行校正，然后通过预生成的变换矩阵对四幅图像进行融合，最后将融合生成的全景图像发送到显示器显示。现有的系统具有执行速度快，融合准确库高等特点被广大用户和研发者采用。

在现有的360全景环视辅助安全系统的使用过程中，很多情况都会造成的变换矩阵的变化，例如，汽车在行驶过程中的颠簸可能造成超广角镜头的松动造成的光轴偏差；使用年限过久造成镜头的内参与外参改变；镜头的维修与更换，由于制作工艺的原因每个镜头的内参可能都不是一样的。在现有的技术下，变换矩阵是以汽车在出厂时每个镜头的状态生成的，对上述所罗列的变化应对不足，造成图像融合不准确，对用户在使用过程中造成不便。

因而现有技术还有待改进和提高。

发明内容

本发明要解决的技术问题在于，针对现有技术的不足，提供一种车辆全景成像系统的自动调整方法、装置及存储介质，以解决现有的360全景摄像系统在使用过程中无法自动修正拍摄参数，从而造成图像融合不准确的问题。

为了解决上述技术问题，本发明所采用的技术方案如下：

一种车辆全景成像系统的自动调整方法，其包括：

通过配置于车辆的四个方向上的摄像头同时拍摄图像；

依次将拍摄到的四个图像进行俯视变换以得到相应的俯视图像，并分别判断所有俯视图像是否携带预设形式的车道线；

当至少左右两个方向的俯视图像携带预设形式的车道线时，采用预设的拼接参数对四张俯视图像进行拼接以生成全景图像；

提取所述全景图像携带的车道线，并分别判断提取到的车道线是否连续；

当全景图像中存在不连续的车道线时，根据所述不连续的车道线确定其对应的修正参数，并采用所述修正参数对拼接参数进行调整。

所述车辆全景成像系统的自动调整方法，其中，所述依次将拍摄到的四个图像进行俯视变换以得到相应的俯视图像，并分别判断所有俯视图像是否携带预设形式的车道线具体包括：

依次将拍摄到的四个图像进行俯视变换以得到相应的俯视图像；

分别判断四张俯视图像携带的车道线是否为实线；

当所述四张俯视图像携带的车道线均为实线时，分别采用霍夫变换法检测所述实线是否为直线；

当实线车道线为直线时，判定所述实线车道线对应的俯视图携带预设形式的车道线。

所述车辆全景成像系统的自动调整方法，其中，所述分别判断四张俯视图像携带的车道线是否为实线具体包括：

分别将四张俯视图像进行去噪和二值化处理，并提取四张俯视图像上的白线；

分别判断四张俯视图像上的白线上的各像素点与其相邻像素点之间的距离是否相等；

若均相等，则判定四张俯视图像携带的车道线均为实线。

所述车辆全景成像系统的自动调整方法，其中，所述依次将拍摄到的四个图像进行俯视变换以得到相应的俯视图像，并分别判断所有俯视图像是否携带预设形式的车道线其还包括：

当所述四张俯视图像携带的车道线不全为实线时，分别获取所述四个图像相邻时刻的图像，并将获取到的图像进行俯视变换；

将各方向上相邻时刻俯视变换后的图像分别与所述四张俯视图像进行叠加，以得到包含有拟合实线的四张第一俯视图像；

分别采用霍夫变换检测法检测四张第一俯视图像上的拟合实线是否为直线；

当拟合实线为直线时，判定所述拟合实线对应的第一俯视图像携带预设形式的车道线。

所述车辆全景成像系统的自动调整方法，其中，所述当所述拟合实线为直线时，判定所述车辆两侧存在实车道线之后还包括：

当至少左右两个方向的第一俯视图像携带预设形式的车道线时，执行采用预设的拼接参数对四张第一俯视图像进行拼接以生成全景图像的步骤。

所述车辆全景成像系统的自动调整方法，其中，所述提取所述全景图像携带的车道线，并分别判断提取到的车道线是否连续具体包括：

提取所述全景图像携带的车道线，并分别检测提取到的车道线内像素点携带的标识信息；

根据所述标识信息确定各像素点对应的摄像头，并分别确定各车道线内左/右方向摄像头对应的像素点横坐标所属的第一区间、前方摄像头对应的像素点所属的第二区间以及后方摄像头对应的像素点所属的第三区间；

分别判断各车道线对应的第二区间和第三区间是否为第一区间的子集；

当第二区间和/或第三区间不为所述第一区间的子集时，判定车道线不连续。

所述车辆全景成像系统的自动调整方法，其中，所述当全景图像中存在不连续的车道线时，根据所述不连续的车道线确定其对应的修正参数，并采用所述修正参数对拼接参数进行调整具体包括：

当全景图像中存在不连续的车道线时，在所述不连续的车道线内，选用左/右方向摄像头对应的像素点组成的车道线作为基准线；

分别确定前方摄像头和后方摄像头对应的像素点组成的车道线与所述基准线重合所需平移的像素个数；

根据确定的像素个数生成修正参数，并采用所述修正参数对拼接参数进行调整。

所述车辆全景成像系统的自动调整方法，其中，所述拼接参数包括四个方向上的摄像头的畸变系数、内参矩阵以及外参矩阵；

根据确定的像素个数生成修正参数，并采用所述修正参数对拼接参数进行调整具体包括：

根据每个像素在世界坐标系内对应的单位长度分别计算所述确定的像素个数对应平移量；

分别根据计算得到的平移量调整其对应的摄像头的外参矩阵中的平移向量，并根据调整后的平移向量生成新的拼接参数。

一种存储介质，其存储有多条指令，所述指令适于由处理器加载并执行如上任一所述车辆全景成像系统的自动调整方法。

一种车辆全景成像系统的自动调整装置，其包括：

处理器，适于实现各指令；以及

存储设备，适于存储多条指令，所述指令适于由处理器加载并执行如上任一所述车辆全景成像系统的自动调整方法。

有益效果：与现有技术相比，本发明提供了一种车辆全景成像系统的自动调整方法、装置及存储介质，所述方法包括：依次将车辆四个方向上的摄像头拍摄的四个图像进行俯视变换，并分别判断得到的俯视图像是否携带预设形式的车道线；当至少左右两个方向的俯视图像携带预设形式的车道线时，采用预设的拼接参数对四张俯视图像进行拼接并提取全景图像携带的车道线，并分别判断提取到的车道线是否连续；当全景图像中存在不连续的车道线时，确定其对应的修正参数，并采用所述修正参数调整拼接参数。本发明通过将全景摄像系统的摄像头拍摄的图像进行拼接，并根据拼接得到的全景图像内的车道线来自动调整相应摄像头的参数，来实现在使用过程中自动调整全景摄像系统，以保证融合图像的质量。

附图说明

图1为本发明提供的车辆全景成像系统的自动调整方法较佳实施的流程图。

图2为本发明提供的图像在俯视映射前后的示意图。

图3为本发明提供的第一时刻的虚车道线示意图；

图4为本发明提供的第二时刻的虚车道线示意图；

图5为本发明提供的第三时刻的虚车道线示意图；

图6为本发明提供的虚车道线叠加为拟合实线的示意图；

图7为本发明提供的车辆顶端的虚拟摄像机的示意图；

图8为本发明提供的四个方向摄像头的拍摄区域划分图；

图9为本发明提供的俯视拼接流程图；

图10为本发明提供的携带有连续的车道线的全景图；

图11为本发明提供的携带有不连续的车道线的全景图；

图12为本发明提供的车辆全景成像系统的自动调整装置的结构原理图。

具体实施方式

本发明提供一种车辆全景成像系统的自动调整方法、装置及存储介质，为使本发明的目的、技术方案及效果更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。

本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。

下面结合附图，通过对实施例的描述，对发明内容作进一步说明。

请参照图1，图1为本发明提供的车辆全景成像系统的自动调整方法的较佳实施例的流程图。所述方法包括：

S10、通过配置于车辆的四个方向上的摄像头同时拍摄图像；

S20、依次将拍摄到的四个图像进行俯视变换以得到相应的俯视图像，并分别判断所有俯视图像是否携带预设形式的车道线；

S30、当至少左右两个方向的俯视图像携带预设形式的车道线时，采用预设的拼接参数对四张俯视图像进行拼接以生成全景图像；

S40、提取所述全景图像携带的车道线，并分别判断提取到的车道线是否连续；

S50、当全景图像中存在不连续的车道线时，根据所述不连续的车道线确定其对应的修正参数，并采用所述修正参数对拼接参数进行调整。

具体地，在所述步骤S10中，所述四个方向上的摄像头指的是预先配置在车辆上的360全景摄像系统包含的四个摄像头，所述四个摄像头分别布设于所述车辆的前方、后方、左侧和右侧。所述四个摄像头实时拍摄车辆两侧的图像。在本实施例中，所述四个摄像头采用超广角摄像头拍摄鱼眼图像。在实际应用中，可以间隔预设时间获取四个摄像头拍摄的图像，并执行后续的修正步骤；其也可以实时获取图像，以对摄像头进行实时修正；当然也可以根据用户的需求来确定获取图像的频率。在本实施例中，优选的，在车载系统处于空闲状态时，才启动获取鱼眼图像来进行修正的程序，即自动修正程序的优先级设为最低。这样，既可以保证对鱼眼摄像头的自动修正，从而保证360全景摄像系统的可靠性，同时还最低限度的占用系统资源，节约能耗。

在所述步骤S20中，所述预设形式的车道线指的是车道线为直的实车道线。所述俯视变换指的是通过单个鱼眼摄像头的内参、外参以及畸变系数，将其拍摄的鱼眼图像变换成俯视图像。在本实施例中，由于摄像头拍摄的原始图像为鱼眼图像，而车道线在鱼眼图像中呈曲线，因此需要将原始图像进行俯视变换后才能判断其是否为直线。

示例性的，所述依次将拍摄到的四个图像进行俯视变换以得到相应的俯视图像，并分别判断所有俯视图像是否携带预设形式的车道线：

S21、依次将拍摄到的四个图像进行俯视变换以得到相应的俯视图像；

S22、分别判断四张俯视图像携带的车道线是否为实线；

S23、当所述四张俯视图像携带的车道线均为实线时，分别采用霍夫变换法检测所述实线是否为直线；

S24、当实线车道线为直线时，判定所述实线车道线对应的俯视图携带预设形式的车道线。

具体来说，在所述步骤S21中，如图2所示，车道线在原始的鱼眼图像中为曲线，通过俯视映射之后就变成了一条直线，鱼眼图像的俯视变换为现有技术，在此不再赘述。分别将车辆前方摄像头、后方摄像头、左侧摄像头和右侧摄像头拍摄的四个方向上的四张鱼眼图像进行俯视变换，从而得到四张鱼眼图像对应的四张俯视图像。在步骤S22中，分别判断所述四张俯视图像上的车道线是否为实线，其具体可以包括：

S221、分别将四张俯视图像进行去噪和二值化处理，并提取四张俯视图像上的白线；

S222、分别判断四张俯视图像上的白线上的各像素点与其相邻像素点之间的距离是否相等；

S223、若均相等，则判定四张俯视图像携带的车道线均为实线。

具体来说，在所述步骤S221中，首先对俯视图像进行滤波，去除噪声；然后进行二值化处理，提取俯视图像中的白线；在步骤S222中，分别计算白线上的各像素点与其相邻像素点之间的距离，若所述距离均相等，说明每个像素点之间的距离相等，即白线上的各像素点均匀分布，判定所述白线为连续的线。在实际应用中，为了进一步提高判定的准确性，在步骤S222之前还可以首先获取左侧摄像头和右侧摄像头对应的俯视图像上的白线，并分别这两个俯视图上白线的长度是否等于俯视图像的高度，若相等，说明左右两侧摄像头对应的俯视图上的白线在长度方向上占满整个图像，然后再执行步骤S222、这样，可以避免将俯视图上的一段虚线误判断成实线。

在所述步骤S23中，当四张俯视图像上的车道线均为实线时，采用霍夫变换法来检测所述实车道线是否为直线。霍夫变换(Hough Transform)是图像处理中的一种特征提取技术，其通过一种投票算法检测具有特定形状的物体。在本实施例中，主要使用霍夫变换提取图像中的直线特征，其公式为：

X*cos(theta)+y*s in(theta)＝r

其中，角度theta指r与X轴之间的夹角，r为到直线几何垂直距离。任何在直线上点，x,y都可以表达，其中r，theta是常量。在图像处理领域，图像的像素坐标P(x,y)是已知的，而r,theta则是需要寻找的变量。如果能绘制每个(r,theta)值根据像素点坐标值(x,y)，那么就从图像笛卡尔坐标系统转换到极坐标霍夫空间系统，这种从点到曲线的变换称为直线的霍夫变换。变换通过量化霍夫参数空间为有限个值间隔等分或者累加格子。当霍夫变换算法开始，每个像素坐标点(x,y)被转换到(r,theta)的曲线点上面，累加到对应的格子数据点，当一个波峰出现时候，说明有直线存在。采用霍夫变换法分别检测四张俯视图像上的实车道线是否均为直线，当均为直线时，判定车辆两侧存在实线的直线车道线；当不全为直线时，说明车辆两侧可能不为实车道线，此时，丢弃获取到的四张鱼眼图像，并获取下一预设时刻的四张鱼眼图像以重复执行将四张图像进行俯视变换的步骤。

在本发明的另一个实施例中，由于在实际情况下，虚车道线比实车道线要更加常见。所以使用虚车道线做优化是非常有必要的。其具体过程包括：

H1、当所述四张俯视图像携带的车道线不全为实线时，分别获取所述四个图像相邻时刻的图像，并将获取到的图像进行俯视变换；

H2、将各方向上相邻时刻俯视变换后的图像分别与所述四张俯视图像进行叠加，以得到包含有拟合实线的四张第一俯视图像；

H3、分别采用霍夫变换检测法检测四张第一俯视图像上的拟合实线是否为直线；

H4、当拟合实线为直线时，判定所述拟合实线对应的第一俯视图像携带预设形式的车道线。

具体的来说，虚车道优化具体过程就是取几张相邻时刻俯视变换的图像(如图3、图4和图5所示)然后将各个不同时刻的俯视图像叠加后获取连续的实车道线(如图6所示)。其中，选取的图像的数量可以根据拟合结果来确定。然后再使用霍夫变换检测拟合实线是否为直线，其检测步骤与上述检测实车道线是否为直线的步骤相同，在此不再赘述。

H5、当至少左右两个方向的第一俯视图像携带预设形式的车道线时，执行采用预设的拼接参数对四张第一俯视图像进行拼接以生成全景图像的步骤。

具体地，当至少左右两个方向的第一俯视图像携带预设形式的车道线时，判定车辆两侧存在预设形式的车道线，因此执行后续的步骤S30，具体过程请参照后续的各步骤，在此不再详述。

在所述步骤S30中，由于在实际的拍摄过程中，左右两个方向上拍摄的图像上的车道线在长度方向上可以铺满图像，因此本实施例以左右两个方向的图是图像为参考。当左右两个方向上的俯视图像携带有车道线时，就判定车辆两侧存在预设形式的车道线，并执行拼接的步骤。这样可以节省整个调整效率，减小系统的计算处理负担。具体地，在拼接之前，如图7所示，首先构建一位于车辆正上方的虚拟摄像机，由于车辆的前后左右存在四个鱼眼摄像机(真实存在的，非虚拟的)，其视野覆盖了车辆周围360度的全景影像，鱼眼摄像机两两之间存在重合区域。车辆正上方的虚拟摄像机所看到的场景实际上是这四个鱼眼摄像机拍摄并经过360环视拼接算法处理后所得到影像，在OpenGL有提供对三维场景模型漫游的方案，在此不再赘述。由于在本实施例中是对车辆进行俯视观测，所以假设车辆上方存在一个虚拟摄像机，其光轴与地面垂直(理想情况下)；因为是自定义的虚拟摄像机，所以虚拟摄像机可以被定义为：虚拟摄像机的外参矩阵为单位矩阵，即从世界从标系向虚拟摄像机的相机坐标系变换时是不会发生任何变化的；虚拟摄像机的成像模型为针孔成像模型，且不存在畸变。创建一张宽度为w像素，高度为h像素的俯视图像M，用于显示世界坐标系中宽度为W毫米，长度为H毫米的地面范围。图像M的分割如图8，虚拟摄像机的内参矩阵及其参数说明如下：

其中，α：图像M在w轴上的尺度因子，其值为w/W；β：图像M在h轴上的尺度因子，其值为h/H；μ为图像M在w轴上的中点，其值为w/2；ν：图像M在h轴上的中点，其值为h/2。

设世界坐标系其中X和Y是世界坐标系地面的值，以毫米为单位(因为是俯视图像，所以世界坐标系Z轴方向设置为0)。设图像坐标系其中x和y是俯视图像M上的图像坐标坐标系。从世界坐标系向图像坐标系上映射的关系为：

A*D＝d(公式1)

从图像坐标系向世界坐标系映射的关系为：

D＝A^-1*d(公式2)

在俯视图像的遍历中，将俯视图像上的每个像素坐标通过公式2映射回世界坐标系。另外，在俯视图像上可以自行确定区域，如图8中的“前摄像头看到的区域”映射回的世界坐标系，然后再通过前摄像头标定出来的外参、畸变系数和内参，就可以计算出当前世界坐标系映射到前鱼眼图像上的哪一个像素点上，然后将此前鱼眼图像上的像素点取出，填充到俯视图像的坐标点上，映射流程如图9所示。同理，从俯视图像上的一像素点M与原始鱼眼图像上的某一点x0相对应的过程，只是以“前摄像头看到的区域”举例，其他区域的逆映射过程是此过程是完全一样的。这样，即完成了四张鱼眼图像的俯视拼接，并得到包含有两条车道线的全景图像。

在所述步骤S40中，所述全景图像指的是四张俯视图像拼接而成的图像，其携带有两条车道线。

S41、提取所述全景图像携带的车道线，并分别检测提取到的车道线内像素点携带的标识信息；

S42、根据所述标识信息确定各像素点对应的摄像头，并分别确定各车道线内左/右方向摄像头对应的像素点横坐标所属的第一区间、前方摄像头对应的像素点所属的第二区间以及后方摄像头对应的像素点所属的第三区间；

S43、分别判断各车道线对应的第二区间和第三区间是否为第一区间的子集；

S44、当第二区间和/或第三区间不为所述第一区间的子集时，判定车道线不连续。

具体来说，在所述步骤S41中，所述标识信息用于标识像素点的来源，即拍摄像素点的摄像头。所述标识信息可以为摄像头的设备标识、编号、序列码等。通过像素点携带的标识信息可以确定其对应的摄像头，从而可以在全景图像上的车道线上确定拼接之前的车道线来自哪个镜头。在所述步骤S42中，所述第一区间指的是左/右方向摄像头拍摄到的像素点的横坐标所属的区间。由于本发明是以左右两个方向摄像头拍摄到的车道线为基准点来调整前后两个方向上的摄像头，因此以第一区间为母集来确定其他两个区间。也就是说，当第二区间和第三区间均为第一区间的子集时，说明前后两个方向的摄像头拍摄的车道线与左/右方向摄像头拍摄的车道线重合，即全景图像中的车道线为连续的车道线，如图10所示。当第二区间不为第一区间的子集时，说明在一个车道线内，前方摄像头拍摄到的车道线与左/右方向拍摄到的车道线不重合，即在横向方向上存在一个偏移距离，如图11所示，即全景图像上的车道线不连续。

在所述步骤S50中，所述拼接参数包括四个方向上的摄像头的畸变系数、内参矩阵以及外参矩阵。所述修正参数为根据不连续的车道线中不同摄像头对应的车道线之间的偏移量而生成的参数。

示例性的，所述当全景图像中存在不连续的车道线时，根据所述不连续的车道线确定其对应的修正参数，并采用所述修正参数对拼接参数进行调整具体包括：

S51、当全景图像中存在不连续的车道线时，在所述不连续的车道线内，选用左/右方向摄像头对应的像素点组成的车道线作为基准线；

S52、分别确定前方摄像头和后方摄像头对应的像素点组成的车道线与所述基准线重合所需平移的像素个数；

S53、根据确定的像素个数生成修正参数，并采用所述修正参数对拼接参数进行调整。

具体的来说，当所述全景图像上的车道线不连续时，获取不连续的车道线上的左/右方向摄像头对应的像素点组成的车道线为基准线，然后确定前方和后方摄像头对应的车道线相对于所述基准线，在水平方向上(横向坐标)需要平移的像素点个数。然后执行步骤S33，根据所述像素个数调整外参中的平移向量。

所述步骤S53具体可以包括：

S531、根据确定的像素个数生成修正参数，并采用所述修正参数对拼接参数进行调整具体包括：

S532、根据每个像素在世界坐标系内对应的单位长度分别计算所述确定的像素个数对应平移量；

S533、分别根据计算得到的平移量调整其对应的摄像头的外参矩阵中的平移向量，并根据调整后的平移向量生成新的拼接参数。

由于霍夫检测及像素点平移计算都在俯视图像M上进行，因此摄像机的外参矩阵的组成如下所示：

其中，RT为4*4的外参矩阵；R为3*3的旋转矩阵，表示从世界坐标系通过怎样的旋转，可以使得世界坐标系的坐标轴(X,Y,Z)与相机坐标系的坐标轴(x,y,z)平行；T：3*1的平移向量，表示世界坐标系的原点在世界坐标系中通过怎样的平移，使其与相机坐标系的原点重合：

平移向量因为是在世界坐标系中进行平移的，所以Tx表示相对于世界坐标系的x轴，平移Tx毫米，与相机坐标系的x轴重合(Ty、Tz同理)。

现以右视(右镜头的俯视图像)和后视(后镜头的俯视图像)做为例，说明优化的完成过程，其他镜头的优化原理相同：分别检测右视和后视中的竖直的平行线(车道线)；以右视中的竖直平行线为基准，检测后视中的竖直平行线需要平移多少个像素才能与右视中的竖直平行线重合，这里设需要平移的像素点个数为n；假设在俯视图像中每个像素点在世界坐标系中代表x mm(mm为毫米单位)，那么n*x代表后视需要调整的参数；在后摄像头的外参矩阵的平移向量中，通过加上或减去n*x完成平移，优化完成，这样即得到优化后的后镜头的拼接参数。同理，前镜头的拼接参数采用同样的原理进行自动修正。通过本发明提供的自动修正的方法，使得用户使用过程中，在摄像头的内参与外参改变范围可接受的情况下，不需要返厂维修仍然可以获取车辆的可靠的全景信息的，例如当车辆颠簸造成的摄像头外参的改变，采用本发明的自动调整方法仍然可以正常工作并生成准确的全景图像，而不需要返厂维修。

本发明还提供了一种存储介质，其存储有多条指令，所述指令适于由处理器加载并执行如上任一所述的车辆全景成像系统的自动调整方法。

本发明还提供了一种车辆全景成像系统的自动调整装置，如图12所示，其包括至少一个处理器(processor)20；显示屏21；以及存储器(memory)22，还可以包括通信接口(Communications Interface)23和总线24。其中，处理器20、显示屏21、存储器22和通信接口23可以通过总线24完成相互间的通信。显示屏21设置为显示初始设置模式中预设的用户引导界面。通信接口23可以传输信息。处理器20可以调用存储器22中的逻辑指令，以执行上述实施例中的方法。

此外，上述的存储器22中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。

存储器22作为一种计算机可读存储介质，可设置为存储软件程序、计算机可执行程序，如本公开实施例中的方法对应的程序指令或模块。处理器30通过运行存储在存储器22中的软件程序、指令或模块，从而执行功能应用以及数据处理，即实现上述实施例中的方法。

存储器22可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端设备的使用所创建的数据等。此外，存储器22可以包括高速随机存取存储器，还可以包括非易失性存储器。例如，U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等多种可以存储程序代码的介质，也可以是暂态存储介质。

此外，上述存储介质以及终端设备中的多条指令处理器加载并执行的具体过程在上述方法中已经详细说明，在这里就不再一一陈述。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种车辆全景成像系统的自动调整方法，其特征在于，其包括：

通过配置于车辆的四个方向上的摄像头同时拍摄图像；

依次将拍摄到的四个图像进行俯视变换以得到相应的俯视图像，并分别判断所有俯视图像是否携带预设形式的车道线；

当至少左右两个方向的俯视图像携带预设形式的车道线时，采用预设的拼接参数对四张俯视图像进行拼接以生成全景图像；

提取所述全景图像携带的车道线，并分别判断提取到的车道线是否连续；

当全景图像中存在不连续的车道线时，根据所述不连续的车道线确定其对应的修正参数，并采用所述修正参数对拼接参数进行调整。

2.根据权利要求1所述车辆全景成像系统的自动调整方法，其特征在于，所述依次将拍摄到的四个图像进行俯视变换以得到相应的俯视图像，并分别判断所有俯视图像是否携带预设形式的车道线具体包括：

依次将拍摄到的四个图像进行俯视变换以得到相应的俯视图像；

分别判断四张俯视图像携带的车道线是否为实线；

当所述四张俯视图像携带的车道线均为实线时，分别采用霍夫变换法检测所述实线是否为直线；

当实线车道线为直线时，判定所述实线车道线对应的俯视图携带预设形式的车道线。

3.根据权利要求2所述车辆全景成像系统的自动调整方法，其特征在于，所述分别判断四张俯视图像携带的车道线是否为实线具体包括：

分别将四张俯视图像进行去噪和二值化处理，并提取四张俯视图像上的白线；

分别判断四张俯视图像上的白线上的各像素点与其相邻像素点之间的距离是否相等；

若均相等，则判定四张俯视图像携带的车道线均为实线。

4.根据权利要求2所述车辆全景成像系统的自动调整方法，其特征在于，所述依次将拍摄到的四个图像进行俯视变换以得到相应的俯视图像，并分别判断所有俯视图像是否携带预设形式的车道线其还包括：

当所述四张俯视图像携带的车道线不全为实线时，分别获取所述四个图像相邻时刻的图像，并将获取到的图像进行俯视变换；

将各方向上相邻时刻俯视变换后的图像分别与所述四张俯视图像进行叠加，以得到包含有拟合实线的四张第一俯视图像；

分别采用霍夫变换检测法检测四张第一俯视图像上的拟合实线是否为直线；

当拟合实线为直线时，判定所述拟合实线对应的第一俯视图像携带预设形式的车道线。

5.根据权利要求4所述车辆全景成像系统的自动调整方法，其特征在于，所述当所述拟合实线为直线时，判定所述车辆两侧存在实车道线之后还包括：

当至少左右两个方向的第一俯视图像携带预设形式的车道线时，执行采用预设的拼接参数对四张第一俯视图像进行拼接以生成全景图像的步骤。

6.根据权利要求1所述车辆全景成像系统的自动调整方法，其特征在于，所述提取所述全景图像携带的车道线，并分别判断提取到的车道线是否连续具体包括：

提取所述全景图像携带的车道线，并分别检测提取到的车道线内像素点携带的标识信息；

根据所述标识信息确定各像素点对应的摄像头，并分别确定各车道线内左/右方向摄像头对应的像素点横坐标所属的第一区间、前方摄像头对应的像素点所属的第二区间以及后方摄像头对应的像素点所属的第三区间；

分别判断各车道线对应的第二区间和第三区间是否为第一区间的子集；

当第二区间和/或第三区间不为所述第一区间的子集时，判定车道线不连续。

7.根据权利要求6所述车辆全景成像系统的自动调整方法，其特征在于，所述当全景图像中存在不连续的车道线时，根据所述不连续的车道线确定其对应的修正参数，并采用所述修正参数对拼接参数进行调整具体包括：

当全景图像中存在不连续的车道线时，在所述不连续的车道线内，选取左/右方向摄像头对应的像素点组成的车道线作为基准线；

分别确定前方摄像头和后方摄像头对应的像素点组成的车道线与所述基准线重合所需平移的像素个数；

根据确定的像素个数生成修正参数，并采用所述修正参数对拼接参数进行调整。

8.根据权利要求7所述车辆全景成像系统的自动调整方法，其特征在于，所述拼接参数包括四个方向上的摄像头的畸变系数、内参矩阵以及外参矩阵；

根据确定的像素个数生成修正参数，并采用所述修正参数对拼接参数进行调整具体包括：

根据每个像素在世界坐标系内对应的单位长度分别计算所述确定的像素个数对应平移量；

分别根据计算得到的平移量调整其对应的摄像头的外参矩阵中的平移向量，并根据调整后的平移向量生成新的拼接参数。

9.一种存储介质，其存储有多条指令，所述指令适于由处理器加载并执行如权利要求1-8任一所述车辆全景成像系统的自动调整方法的方法。

10.一种车辆全景成像系统的自动调整装置，其包括：

处理器，适于实现各指令；以及

存储设备，适于存储多条指令，所述指令适于由处理器加载并执行如权利要求1-8任一所述车辆全景成像系统的自动调整方法的方法。