CN110737266A - 一种自动驾驶控制方法、装置、车辆和存储介质 - Google Patents

Abstract

本发明公开了一种自动驾驶控制方法、装置、车辆和存储介质，该方法包括：获取目标车辆当前所在行驶道路情况的原始图像，当前所在行驶道路上存在除目标车辆之外各车辆驶过的车辙或痕迹；根据原始图像中的目标交界线确定对应的目标行驶区域；按照预设自动驾驶策略控制目标车辆在目标行驶区域中自动驾驶。本发明实施例保证了在无车道线或车道线被覆盖的场景下，目标车辆可继续依据可行驶区域来完成自动驾驶，并且实现了仅使用目标车辆中自身携带的设备即可完成可行驶区域的检测，无需对目标车辆以及道路设备进行改造，以及无需多次切换为人工驾驶模式来手动接管车辆驾驶，具有更高的适用性和普遍性。

Description

一种自动驾驶控制方法、装置、车辆和存储介质

技术领域

本发明实施例涉及车辆控制技术，尤其涉及一种自动驾驶控制方法、装置、车辆和存储介质。

背景技术

近年来，随着计算机科学、物联网、人工智能等技术的飞速发展，并逐渐向各行各业渗透，高新技术的搭载应用已成为社会发展的必然趋势和各行业争相夺取的战略制高点，而与此同时，自动驾驶汽车逐渐映入人们的眼帘，并成为炙手可热的话题，它作为物联网、人工智能等高新科技应用的重要载体并逐步走向商用，但同时也面临很多技术问题需要解决。自动驾驶汽车在路上运行时，需要车上搭载的环境感知传感器来实时采集路况环境信息，进而将感知的路况环境信息提供给自动驾驶汽车的决策规划模块用于路线规划和行为决策，从而控制车辆的油门、制动、转向等执行机构来实现车辆的自动驾驶。其中，在环境感知部分中，检测并形成一个车辆可行驶的道路区域，称之为可行驶区域，对车辆的智能规划具有重要意义。可行驶区域是自动驾驶汽车行驶时重点关注的空间范围，可以减轻车辆的感知算法的运算量，提升识别精度。在结构化的道路上，通过车道线检测来实现可行驶区域的判断是一种重要的方式，现阶段对车道线的检测主要依靠摄像头采集的图像信息，然而当自动驾驶汽车行驶在无车道线或者车道线被覆盖的场景下时，比如，覆雪路面上的车道线被覆盖时，摄像头无法检测到车道线，自动驾驶汽车如何决策并继续行驶，是一个亟待解决的问题。

在车道线被覆盖或者无车道线的场景下，由于自动驾驶汽车无法通过车道线检测来完成自动驾驶，针对此问题，现有技术中存在三种解决方案。其一，使用高精度地图和高精度定位，自动驾驶系统基于车道级别的高精地图和厘米级的高精定位来获取车辆所在的位置和道路延展方向，并以此完成道路的全局规划和局部的行为规划，但由于绘制高精地图需耗费大量时间及资源，并且地图厂商绘制的高精地图也仅限在部分高速公路等极少部分地区，致使高精地图和定位并不能覆盖绝大部分地区，导致此种方法适用性和普遍性不强；其二，车辆退出自动驾驶模式，由驾驶人员接管，虽然可以解决驾驶问题，但是导致无人驾驶车辆的适用性降低；其三，基于V2X技术，用车路协同通信来进行辅助车辆完成基于车道的定位，但此方法依赖于对路测设备的改造，成本较高，普及难度较大，且相关技术还不太成熟，难以实现，不利于应用推广。

发明内容

有鉴于此，本发明提供一种自动驾驶控制方法、装置、车辆和存储介质，实现了在车道线被覆盖或者无车道线场景下，保证自动驾驶车辆的正常行驶。

第一方面，本发明实施例提供了一种自动驾驶控制方法，包括：

获取目标车辆当前所在行驶道路情况的原始图像，所述当前所在行驶道路上存在除目标车辆之外各车辆驶过的车辙或痕迹；

根据所述原始图像确定所述目标车辆对应的目标行驶区域；

按照预设自动驾驶策略控制所述目标车辆在所述目标行驶区域中自动驾驶。

第二方面，本发明实施例还提供了一种自动驾驶控制装置，包括：

获取模块，用于获取目标车辆当前所在行驶道路情况的原始图像，所述当前所在行驶道路上存在除目标车辆之外各车辆驶过的车辙或痕迹；

第一确定模块，用于根据所述原始图像确定所述目标车辆对应的目标行驶区域；

控制模块，用于按照预设自动驾驶策略控制所述目标车辆在所述目标行驶区域中自动驾驶。

第三方面，本发明实施例还提供了一种车辆，包括：

一个或多个整车控制器；

存储器，用于存储一个或多个程序；

图像采集装置，用于拍摄并记录目标车辆当前所在行驶道路的情况；

当所述一个或多个程序被所述一个或多个整车控制器执行，使得所述一个或多个处理模块实现如第一方面所述的自动驾驶控制方法。

第四方面，一种计算机可读存储介质，其上存储有计算机程序，该程序被整车控制器执行时实现如第一方面所述的自动驾驶控制方法。

本发明通过实时采集并记录目标车辆当前所在行驶道情况的原始图像，并对原始图像进行图像处理和识别，得到目标交界线，并根据目标交界线确定目标车辆的可行驶区域，保证在无车道线或车道线被覆盖的场景下，目标车辆可继续依据可行驶区域来完成自动驾驶，并且实现了仅使用目标车辆中自身携带的设备即可完成可行驶区域的检测，无需对目标车辆以及道路设备进行改造，以及无需多次切换为人工驾驶模式来手动接管车辆驾驶，具有更高的适用性和普遍性。

附图说明

图1是本发明实施例提供的一种自动驾驶控制方法的流程图；

图2是本发明实施例提供的另一种自动驾驶控制方法的流程图；

图3是本发明实施例提供的又一种自动驾驶控制方法的流程图；

图4是本发明实施例提供的再一种自动驾驶控制方法的流程图；

图5是本发明实施例提供的再一种自动驾驶控制方法的流程图；

图6是本发明实施例提供的再一种自动驾驶控制方法的流程图；

图7是本发明实施例提供的一种灰度图像的显示示意图；

图8是本发明实施例提供的一种边缘图像的显示示意图；

图9是本发明实施例提供的一种中间处理图像的显示示意图；

图10是本发明实施例提供的一种提取出目标线段的中间处理图像的显示示意图；

图11是本发明实施例提供的一种包含目标线段的灰度原始图像的显示示意图；

图12是本发明实施例提供的一种包含目标行驶区域的灰度的原始图像的显示示意图；

图13是本发明实施例提供的一种自动驾驶控制装置的结构框图；

图14是本发明实施例提供的一种车辆的硬件结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

图1是本发明实施例提供的一种自动驾驶控制方法的流程图，本实施例可适用于在无车道线和车道线被覆盖的场景下，如何保证车辆正常自动驾驶的情况，该方法可以由自动驾驶控制装置来执行，其中，该方法可由硬件和/或软件的方式实现，并一般可集成在车辆主控制器中。

如图1所示，该方法具体包括如下步骤：

S110、获取目标车辆当前所在行驶道路情况的原始图像。

其中，当前所在行驶道路上存在除目标车辆之外各车辆驶过的车辙或痕迹。在此需要说明的是，在无车道线或车道线被覆盖的场景下，需在车道上存在除目标车辆之外的其它车辆驶过的车辙或痕迹，以便于在对原始图像进行处理之后，车辆驶过的区域可以和道路中其它部分完成分割。

其中，原始图像为未经图像处理的帧图像。在实施例中，原始图像可以理解为通过图像采集装置直接采集到的帧图像。需要说明的是，在目标车辆中安装有图像采集装置，其中，图像采集装置可以为高清摄像头，也可以为工业相机等，对此并不进行限定，可根据目标车辆的当前应用场景进行具体配置。具体的，可通过图像采集装置采集目标车辆当前所在行驶道路情况的原始图像，并将原始图像发送至车辆主控制器中。其中，当前所在行驶道路情况，可以理解为，目标车辆当前所在行驶道路上前向道路以及前向道路左右两侧的路况。比如，当前所在行驶道路前向道路左右边缘所有区域，以及当前所在行驶道路上中间的车道线(所在行驶道路边缘的车道线被覆盖的情况下)。在当前所在行驶道路为双向车道时，分别在行驶道路的中央、左侧和右侧均存在车道线。若在车道线被积雪覆盖的情况下，行驶道路中车道线的覆盖情况会存在两种情况，其一，中央的车道线被覆盖，左侧和右侧车道线也被覆盖；其二，中央的车道线未被覆盖，而左侧和右侧车道线被覆盖。在中央的车道线被覆盖，左侧和右侧车道线也被覆盖的情况下，可通过识别出所在行驶车道对应原始图像中的车辙，作为目标交界线；在中央的车道线未被覆盖，而左侧和右侧车道线被覆盖的情况下，可通过识别出所在行驶车道对应原始图像中的边界线。

S120、根据原始图像中的目标交界线确定对应的目标行驶区域。

其中，目标交界线可以理解为原始图像中覆盖区域与预设车辙之间的交界线。在实施例中，通过对原始图像进行图像处理和识别之后，可以识别出原始图像中的多条目标线段，并从多条目标线段中选出最右侧有效分界线和最左侧有效分界线作为目标交界线，然后将目标交界线组成对应的目标行驶区域。当然，在实际操作过程中，目标行驶区域类似于一个矩形区域，即目标行驶区域还存在上下边界，可通过识别出原始图像中车头当前所在位置作为目标行驶区域的下边界，而将原始图像中最远距离的所在位置作为目标行驶区域的上边界。

S130、按照预设自动驾驶策略控制目标车辆在目标行驶区域中自动驾驶。

需要说明的是，预设自动驾驶策略可以为现有技术中任一自动驾驶系统控制的自动驾驶策略，在此不再赘述。在实施例中，在确定目标车辆在当前所在行驶道路上对应的目标行驶区域之后，可按照预设自动驾驶策略控制目标车辆在目标行驶区域中自动驾驶。

本实施例的技术方案，通过实时采集并记录目标车辆当前所在行驶道情况的原始图像，并对原始图像进行图像处理和识别，得到目标交界线，并根据目标交界线确定目标车辆的可行驶区域，保证在无车道线或车道线被覆盖的场景下，目标车辆可继续依据可行驶区域来完成自动驾驶，并且实现了仅使用目标车辆中自身携带的设备即可完成可行驶区域的检测，无需对目标车辆以及道路设备进行改造，以及无需多次切换为人工驾驶模式来手动接管车辆驾驶，具有更高的适用性和普遍性。

在上述实施例的基础上，对获取目标车辆当前所在行驶道路情况的原始图像作进一步的说明，具体的，获取目标车辆当前所在行驶道路情况的原始图像，包括：通过图像采集装置拍摄并记录目标车辆当前所在行驶道路的情况，得到路况视频；依次抽取路况视频中的帧图像，作为原始图像。

其中，图像采集装置为前向图像采集装置；前向图像采集装置的安装角度和视野范围满足下述条件：拍摄到目标车辆前向道路左右边缘所有部分，以及路况视频中的每帧原始图像覆盖前向道路的最远距离。需要说明的是，本实施例中是在无车道线或车道线被覆盖的情况下，继续保证目标车辆自动驾驶的正常运行，即在获取目标车辆当前所在行驶道路情况的原始图像时，需在目标车辆上安装前向图像采集装置，以采集目标车辆前方的道路情况。为了便于前向图像采集装置能够准确地采集到目标车辆当前所在道路情况，在安装前向图像采集装置时，安装角度和视野范围需满足以下条件：能够拍摄到目标车辆前向道路左右边缘所有部分，以及原始图像能够覆盖前向道路的最远距离。

在实施例中，通过前向图像采集装置拍摄并记录目标车辆前向的道路情况，并以视频的形式完成存储，即得到路况视频，并以视频帧的形式抽取路况视频中的每帧图像，以作为原始图像，然后通过目标车辆中的图像处理模块对原始图像进行处理，以得到目标车辆的可行驶区域，并通过自动驾驶系统按照可行驶区域的信息控制目标车辆继续自动驾驶。

本实施例的技术方案，在上述实施例的基础上，通过对前向图像采集装置的安装角度和视野范围的限定，保证了图像采集装置能够准确地采集到目标车辆前向道路的情况，进而能够准确地确定目标行驶区域。

在上述实施例的基础上，对根据原始图像中的目标交界线确定对应的目标行驶区域作进一步的说明。图2是本发明实施例提供的另一种自动驾驶控制方法的流程图。如图2所示，该方法具体包括如下步骤：

S210、获取目标车辆当前所在行驶道路情况的原始图像。

其中，当前所在行驶道路上存在除目标车辆之外各车辆驶过的车辙或痕迹。

S220、按照预设图像处理策略对原始图像进行图像处理，得到至少两条目标线段。

其中，预设图像处理策略指的是对原始图像进行灰度化处理、边缘检测、感兴趣区域选择、霍夫变换和数据后处理的一系列图像处理过程。需要说明的是，在目标车辆当前所在道路中的车道线被积雪覆盖的情况下，由于路面积雪区域的颜色为白色，而路面车辙区域的颜色为黑色或灰色，即路面积雪区域和路面车辙区域相对比较容易区分。在实施例中，存在车辙的覆雪路面可以分为两种情况，一种是形成左右几乎平行的类似车道线的两条车辙线，即车道中间的车道线以及左右两侧的车道线均被覆盖的情况；另一种是除目标车辆之外其它车辆驶过后形成的一片区域，即只在车道的左右两侧边缘存在积雪，而在车道中间部分未覆盖积雪的情况。在实施例中，通过预设图像处理策略对原始图像进行一系列图像处理过程之后，即在霍夫变换之后，可识别提取出原始图像中的至少两条直线段，并作为目标线段。具体的，在存在车辙的覆雪路面为形成左右几乎平行的类似车道线的两条车辙线的情况下，若车道为双向的，并且单方向具有一个车道(即该车道为双车道)的情况下，可在原始图像中识别提取出至少四条直线段(即四条车辙线)；而在只在车道的左右两侧边缘存在积雪，而在车道中间部分未覆盖积雪的情况下，若车道为双向的，并且单方向具有一个车道(即该车道为双车道)的情况下，可在原始图像中识别提取出至少三条直线段(即一条中央车道线，以及左右两侧的边界线)。

S230、根据每条目标线段在图像坐标系下的斜率确定对应的目标交界线。

在实施例中，在确定目标车辆所在车道上的多条目标线段之后，可将每条目标线段同步在一个图像坐标系下，确定每条目标线段在图像坐标系下的斜率，并根据每条目标线段在图像坐标系下的斜率确定对应的目标交界线。在实施例中，目标交界线可以包括原始图像中最左侧有效交界线和最右侧有效交界线。

S240、根据目标交界线确定对应的目标行驶区域。

在实施例中，在确定目标交界线之后，利用目标交界线组合成一个对应的目标行驶区域。其中，目标行驶区域中的上下边界的确定方式，可参见上述实施例中的描述，在此不再赘述。

S250、按照预设自动驾驶策略控制目标车辆在目标行驶区域中自动驾驶。

本实施例的技术方案，在上述实施例的基础上，通过对原始图像的一系列图像处理过程，能够准确地识别出原始图像中的目标线段，以确定对应的目标交界线，并将目标交界线组成对应的目标行驶区域，从而保证目标车辆在可行驶区域自动行驶的正常运行。

在上述实施例的基础上，对按照预设图像处理策略对原始图像进行图像处理，得到至少两条目标线段作进一步的说明。图3是本发明实施例提供的又一种自动驾驶控制方法的流程图。如图3所示，本实施例中的方法包括如下步骤：

S310、获取目标车辆当前所在行驶道路情况的原始图像。

其中，当前所在行驶道路上存在除目标车辆之外各车辆驶过的车辙或痕迹。

S320、依次对原始图像执行灰度化和边缘检测，得到边缘图像。

在实施例中，通过图像采集装置拍摄目标车辆所在行驶道路情况，并得到路况视频，从路况视频中抽取一帧图像作为原始图像，并将原始图像上传至图像处理模块。其中，原始图像为彩色图像，即RGB图像，由于RGB图像数据比较复杂，为了便于对原始图像的处理，可对原始图像进行灰度化处理，即将原始图像中每个像素点的RGB值统一成同一个值，以得到灰度图像。然后对灰度图像进行边缘检测，即为了突出灰度图像中颜色差距较大的部分，可将灰度化之后的灰度图像进行边缘提取处理。其中，边缘指的是图像中色差交替较为明显的区域，由于路面车辙区域为黑色或灰色，而路面积雪区域为白色，在灰度图像中比较容易区分，可将黑白交替的部分识别提取出来，以得到边缘图像。

S330、识别提取边缘图像中的目标区域，作为中间处理图像。

其中，目标区域可以理解为感兴趣区域。需要说明的是，在对灰度图像进行边缘检测之后，可将颜色明暗差距比较明显处的交界线凸显出来，但由于道路两侧以及天空中等非关注区域中的噪声交界线也被显示处理，从而影响后续的图像处理。为了实现目标车辆当前所在道路上的车辙区域和积雪区域的检测，需对边缘图像执行感兴趣区域的截取，以得到中间处理图像。示例性地，可通过设置目标区域的尺寸大小对边缘图像执行感兴趣区域的截取，以得到中间处理图像。

S340、利用霍夫变换对中间处理图像进行识别提取，得到至少两条目标线段。

在实施例中，在对原始图像经灰度化处理、边缘检测、感兴趣区域选择之后，车辙与积雪区域之间的交界处可以从原始图像中提取出来，即得到中间处理图像，可利用霍夫变换识别提取中间处理图像中的多条直线段，以可作为目标线段。

S350、根据每条目标线段在图像坐标系下的斜率确定对应的目标交界线。

S360、根据目标交界线确定对应的目标行驶区域。

S370、按照预设自动驾驶策略控制目标车辆在目标行驶区域中自动驾驶。

本实施例的技术方案，在上述实施例的基础上，通过对原始图像的灰度化处理、边缘提取、感兴趣区域选择以及霍夫变换，准确地得到了原始图像中的多条目标线段，并从目标线段中确定的目标交界线，以根据目标交界线确定对应的目标行驶区域，从而保证了目标车辆继续在可行驶区域自动驾驶。

在上述实施例的基础上，对根据每条目标线段在图像坐标系下的斜率确定对应的目标交界线作进一步的说明。图4是本发明实施例提供的再一种自动驾驶控制方法的流程图。如图4所示，本实施例中的方法包括如下步骤：

S410、获取目标车辆当前所在行驶道路情况的原始图像。

其中，当前所在行驶道路上存在除目标车辆之外各车辆驶过的车辙或痕迹。

S420、按照预设图像处理策略对原始图像进行图像处理，得到至少两条目标线段。

S430、根据每条目标线段在图像坐标系下的斜率，确定目标线段是否为覆盖区域与预设车辙之间的交界线。

其中，预设车辙为除目标车辆之外各车辆驶过的车辙或痕迹。需要说明的是，在对原始图像进行灰度化处理、边缘提取、感兴趣区域选择之后，可得到中间处理图像，并利用霍夫变换提取中间处理图像中的至少两条目标线段之后，根据每条目标线段在图像坐标系下的斜率，确定目标线段为左侧覆盖区域与预设车辙之间的交界线，还是右侧覆盖区域与预设车辙之间的交界线。其中，图像坐标系的确定方式，包括：依据中间处理图像中处于最中央的一个点作为中心原点，将中间处理图像分割为四个象限，以得到图像坐标系。

示例性地，假设车道为双车道，在预设车辙为中间处理图像中右侧车道中的车辙的情况下，覆盖区域为中间处理图像中的右侧覆盖区域；在预设车辙为中间处理图像中左侧车道中的车辙的情况下，覆盖区域为中间处理图像中的左侧覆盖区域。需要理解的是，在实际行驶过程中，车辆均是靠右行驶，即假设在车道为双车道的情况下，目标车辆在右侧车道中行驶。可选地，预设车辙可以为中间处理图像中右侧车道中的车辙，即第一象限或第四象限中的车辙。相应的，覆盖区域为中间处理图像中的右侧覆盖区域。

在实施例中，根据每条目标线段在图像坐标系下的斜率，确定目标线段是否为右侧覆盖区域与中间处理图像中右侧车道中车辙之间的交界线。

S440、在目标线段为覆盖区域与预设车辙之间的交界线的情况下，将目标线段作为目标交界线。

在实施例中，在目标线段为右侧覆盖区域与中间处理图像中右侧车道中车辙之间的交界线之间的交界线的情况下，可将目标线段作为右侧车道中的目标交界线；在目标线段为左侧覆盖区域与中间处理图像中左侧车道中车辙之间的交界线之间的交界线的情况下，可将目标线段作为左侧车道中的目标交界线。

S450、根据目标交界线确定对应的目标行驶区域。

S460、按照预设自动驾驶策略控制目标车辆在目标行驶区域中自动驾驶。

本实施例的技术方案，在上述实施例的基础上，通过目标线段在图像坐标系下的斜率，确定目标线段是否为覆盖区域与预设车辙之间的交界线，并在目标线段为覆盖区域与预设车辙之间的交界线的情况下，将目标线段作为目标交界线，进而准确地确定对应的目标行驶区域，以保证目标车辆自动驾驶的正常运行。

在上述实施例的基础上，对根据目标交界线确定对应的目标行驶区域作进一步的说明。图5是本发明实施例提供的再一种自动驾驶控制方法的流程图。如图5所示，本实施例中的方法包括如下步骤：

S510、获取目标车辆当前所在行驶道路情况的原始图像。

其中，当前所在行驶道路上存在除目标车辆之外各车辆驶过的车辙或痕迹。

S520、按照预设图像处理策略对原始图像进行图像处理，得到至少两条目标线段。

S530、根据每条目标线段在图像坐标系下的斜率确定对应的目标交界线。

S540、识别提取目标交界线中最右侧有效交界线和最左侧有效交界线。

需要说明的是，由于目标车辆当前所在行驶道路上存在积雪，在中间处理图像中右侧车道或左侧车道所对应边缘出现两条目标交界线的情况，为了扩大目标行驶区域的范围，可识别提取目标交界线中最右侧有效交界线以及最左侧有效交界线。

S550、根据最右侧有效交界线和最左侧有效交界线确定对应的目标行驶区域。

在实施例中，将最左侧有效交界线和最右侧有效交界线作为目标行驶区域的左右边界。同时，确定目标行驶区域的上下边界，以构成对应的目标行驶区域。其中，可对目标行驶区域的上下边界的确定过程，可参见上述实施例的描述，在此不再赘述。

S560、按照预设自动驾驶策略控制目标车辆在目标行驶区域中自动驾驶。

图6是本发明实施例提供的再一种自动驾驶控制方法的流程图。在上述实施例的基础上，本实施例以覆雪路面车道线被积雪覆盖的场景为例，对自动驾驶控制方法进行说明。需要说明的是，本实施例中目标车辆当前所在当前行驶道路上存在被经过车辆碾压形成的车辙，以及目标车辆中具备前向图像采集装置(比如，前视摄像头)。

可选地，当前行驶道路上的车辙应较为明显，即可以从颜色上可较为清楚的区分，并可行程颜色易于区分的区域。在实施例中，摄像头可实时采集并记录目标车辆当前所在道路的前向路面图像，利用计算机视觉进行图像处理和识别，并将路面图像进行分区，提取并确定目标车辆的可行驶区域。具体的，如图6所示，本实施例中的方法包括如下步骤：

S610、将摄像头拍摄的单帧原始图像进行灰度处理，得到灰度图像。

其中，摄像头为前视摄像头。需要说明的是，在将摄像头拍摄的单帧原始图像进行灰度处理之前，采集车辆当前前方道路场景的视频流，获取当前帧的图像数据，并读取到图像处理模块。在图像处理模块读取单帧原始图像之后，对原始图像进行灰度化处理，即确定原始图像中RGB三色的权重系数，然后将原始图像由三通道变为一通道。

在实施例中，提取目标车辆中图像采集装置拍摄的视频流中的一帧图像作为原始图像，并将原始图像传至图像处理模块，图像处理模块对原始图像进行灰度化、边缘检测、感兴趣区域提取、霍夫变换等一系列图像处理。示例性地，图像处理过程中的算法应用以基于Python的OpenCV库中的函数为例，首先读取原始图像(假设原始图像的名称为“img1.jpg”)到图像处理模块如下：

|Import cv2

|img＝cv2.imread(’img1.jpg’)

在读取到原始图像后，由于原始图像所对应RGB图像数据比较复杂，可将原始图像进行灰度化处理，即将每个像素点的RGB值统一成同一个值。示例性地，按照OpenCV库中定义的图像坐标，原始图像中坐标为(x，y)的像素点进行灰度化处理的方法如下：

Gray(x，y)＝0.3*Red(x，y)+0.6*Green(x，y)+0.1*Blue(x，y)

其中，0.3，0.6，0.1分别为权重系数。当然，权重系数的具体数值选取可根据实际的原始图像进行设置，由于人眼对绿色最敏感，则将绿色权重设置的较高，对蓝色最不敏感，则蓝色权重设置的较低。图7是本发明实施例提供的一种灰度图像的显示示意图，调用OpenCV中的cvtColor函数可方便地对原始图像进行灰度化处理，以得到图7，即图7是原始图像经灰度化处理之后得到的图像。具体如下：

|gray＝cv2.cvtColor(img，cv2.color_BGR2GRAY)

S620、对灰度图像进行边缘提取处理，以得到边缘图像。

其中，边缘提取处理可以理解为边缘检测，即为了突出灰度图像中颜色差距较大的区域，需对灰度化后的图像(即灰度图像)进行边缘提取处理，“边缘”指的是灰度图像中色差交替较为明显的区域，由于路面车辙区域通常为黑色或者灰色，路面积雪区域通常为白色，在灰度图像中比较容易区分，以将黑白交替的部分提取出来。示例性地，以边缘提取算法Canny算法为例，选取特定的阈值对灰度图像进行边缘提取如下：

|low_threshold＝150

|high_threshold＝250

|canny_image＝cv2.Canny(gray,low_threshold,high_threshold)

其中，140，50分别为高阈值和低阈值，具体数值的设定可根据图像进行选取。图8是本发明实施例提供的一种边缘图像的显示示意图。如图8所示，对图7所示的灰度图像进行边缘提取处理之后，可得到如图8所示的边缘图像，即图8为对灰度图像经边缘检测处理之后的图像。

S630、将边缘提取后的图像进行感兴趣区域截取，得到中间处理图像。

其中，感兴趣区域选择，即在边缘提取处理完成后，边缘图像中颜色明暗差距较明显处的交界线被凸显出来，但诸如道路两侧以及天空中等非关注区域也会有噪声交界线显示了出来，影响后续的图像处理，为了实现目标车辆当前所在行驶道路上(即感兴趣区域)车辙区域和积雪区域的检测，需对边缘图像进行感兴趣区域的截取。比如，以使用cv::Rect函数对图像进行感兴趣区域截图为例，具体如下：

|roiImg＝gray(cv2.Rect(0,height/2,width,height/2))

其中，选取原始图像宽度1/2为截取区域的高度，截取长度保持原始图像长度。图9是本发明实施例提供的一种中间处理图像的显示示意图。如图9所示，矩形框中的区域即为截取的感兴趣区域(ROI)，即图9是边缘图像经感兴趣区域截取之后得到的图像。

S640、使用霍夫变换将颜色明暗交接处的线从图像中提取出来，得到目标线段。

在实施例中，霍夫变换，可以理解为对原始图像经灰度化处理、边缘提取和感兴趣区域选择后，车辙区域与积雪区域的交界处已从原始图像中提取出来，然后，使用霍夫变换将图像中的直线(段)提取出来，OpenCV库中提供了很方便用于霍夫变换检测直线的函数，可根据图像选取相应的参数来检测不同长度的线段。以HoughLinesP函数为例，具体如下：

|lines＝cv2.HoughLinesP(roiImg,1,np.pi/180,250,180,30)

其中，1为距离分辨率，np.pi/180角度分辨率，180为直线选取的最小阈值，250直线选取的最大阈值，30为判断为同一直线的最大间隔。图10是本发明实施例提供的一种提取出目标线段的中间处理图像的显示示意图。经霍夫变换得到的图像如图10所示，即图10是中间处理图像经霍夫变换处理之后得到的图像。如图10所示，在中间处理图像经霍夫变换处理之后，可得到原始图像中的三条目标线段，分别为线段10、线段20和线段30。图11是本发明实施例提供的一种包含目标线段的灰度原始图像的显示示意图。可以理解为，将霍夫变换的得到的直线显示在灰度的原始图像上，如图11所示，并在灰度的原始图像中存在三条目标线段，即线段10、线段20和线段30。

S650、确定目标车辆的可行驶区域。

需要说明的是，由于存在车辙的覆雪路面可分为两种情况，一种是形成左右几近平行的类似车道线的两条车辙线，另一种是除目标车辆之外其它车辆驶过后形成的一片区域。针对这两种情况，先对所有交界线上的点各自做最小二乘直线拟合，得到至少两条目标线段，然后根据每个目标线段在图像坐标系下的斜率，判断是左侧积雪区域与车辙区域之间的交界线，还是右侧积雪区域与车辙区域之间的交界线，然后选取最左侧的有效交界线和最右侧的有效交界线作为确定的可行驶区域的左右边界，并得到其直线方程。

由于在实际行驶过程中，车辆碾压出的车辙大致应呈现出两条平行线，即可认为最左侧的有效交界线和最右侧的有效交界线在图像坐标系下对应的y值是一样的，即可直接确定可行驶区域的上下边界。

经过以上两步的图像数据处理后，可得到车辆的可行驶区域的区间，即得到目标行驶区域，以及得到最左侧有效交界线和最右侧有效交界线这两条直线方程的斜率、截距等，然后将经后处理得到的可行驶区域绘制在原始图像上，即可在原始图像上清晰显示出当前时刻目标车辆前方的可行驶区域。图12是本发明实施例提供的一种包含目标行驶区域的灰度的原始图像的显示示意图。如图12所示，在原始图像上可清晰显示出当前时刻目标车辆前方的目标行驶区域，即可行驶区域。可以理解为，线段10和线段30均为右侧车道的目标线段，但线段10为最右侧有效交界线，则可根据线段10和线段20确定对应的目标行驶区域。

S660、将经处理后的每一帧图像拼接成视频，实时得到目标车辆前方的可行驶区域。

在实施例中，将原始图像经灰度化处理、边缘检测、感兴趣区域选择、霍夫变换和数据后处理得到的每一帧图像的处理结果拼接成视频，即可得到实时得到目标车辆前方的可行驶区域。得到目标车辆的可行驶区域后，自动驾驶汽车的决策控制模块即可依据该信息制定目标车辆的行驶路线，控制目标车辆在可行驶区域范围内行驶，从而实现即使在车道线被覆盖或者无车道线时，目标车辆也可以无间断的自动驾驶。

本实施例的技术方案，仅使用配置自动驾驶系统的目标车辆中自身携带的设备即可完成自动驾驶控制方案，无需对目标车辆以及道路设备进行改造，同时也无需多次切换为人工驾驶模式来手动接管车辆驾驶，具有较高的适用性和普遍性。

图13是本发明实施例提供的一种自动驾驶控制装置的结构框图，该装置适用于在无车道线和车道线被覆盖的场景下，如何保证车辆正常自动驾驶的情况，该装置可以由硬件/软件实现，并一般可集成在车辆主控制器中。如图13所示，该装置包括：获取模块710、第一确定模块720和控制模块730。

其中，获取模块710，用于获取目标车辆当前所在行驶道路情况的原始图像，当前所在行驶道路上存在除目标车辆之外各车辆驶过的车辙或痕迹；

第一确定模块720，用于根据原始图像确定目标车辆对应的目标行驶区域；

控制模块730，用于按照预设自动驾驶策略控制目标车辆在目标行驶区域中自动驾驶。

本实施例的技术方案，通过实时采集并记录目标车辆当前所在行驶道情况的原始图像，并对原始图像进行图像处理和识别，得到目标交界线，并根据目标交界线确定目标车辆的可行驶区域，保证在无车道线或车道线被覆盖的场景下，目标车辆可继续依据可行驶区域来完成自动驾驶，并且实现了仅使用目标车辆中自身携带的设备即可完成可行驶区域的检测，无需对目标车辆以及道路设备进行改造，以及无需多次切换为人工驾驶模式来手动接管车辆驾驶，具有更高的适用性和普遍性。

在上述实施例的基础上，获取模块，包括：

第一确定单元，用于通过图像采集装置拍摄并记录目标车辆当前所在行驶道路的情况，得到路况视频；

第二确定单元，用于依次抽取路况视频中的帧图像，作为原始图像。

在上述实施例的基础上，第一确定模块，包括：

第三确定单元，用于按照预设图像处理策略对原始图像进行图像处理，得到至少两条目标线段；

第四确定单元，用于根据每条目标线段在图像坐标系下的斜率确定对应的目标交界线；

第五确定单元，用于根据目标交界线确定对应的目标行驶区域。

在上述实施例的基础上，图像采集装置为前向图像采集装置；前向图像采集装置的安装角度和视野范围满足下述条件：拍摄到目标车辆前向道路左右边缘所有部分，以及路况视频中的每帧原始图像覆盖前向道路的最远距离。

在上述实施例的基础上，第三确定单元，包括：

第一确定子单元，用于依次对原始图像执行灰度化和边缘检测，得到边缘图像；

第一识别提取子单元，用于识别提取边缘图像中的目标区域，作为中间处理图像；

第二识别提取子单元，用于利用霍夫变换对中间处理图像进行识别提取，得到至少两条目标线段。

在上述实施例的基础上，第四确定单元，包括：

第二确定子单元，用于根据每条目标线段在图像坐标系下的斜率，确定目标线段是否为覆盖区域与预设车辙之间的交界线，预设车辙为除目标车辆之外各车辆驶过的车辙或痕迹；

第三确定子单元，用于在目标线段为覆盖区域与预设车辙之间的交界线的情况下，将目标线段作为目标交界线。

在上述实施例的基础上，第五确定单元，包括：

第三识别提取子单元，用于识别提取目标交界线中最右侧有效交界线和最左侧有效交界线；

第四确定子单元，用于根据最右侧有效交界线和最左侧有效交界线确定对应的目标行驶区域。

上述自动驾驶控制装置可执行本发明任意实施例所提供的自动驾驶控制方法，具备执行方法相应的功能模块和有益效果。

图14是本发明实施例提供的一种车辆的硬件结构示意图。如图14所示，本发明实施例提供的车辆，包括：整车控制器810、存储器820、输入装置830、输出装置840和图像采集装置850。该车辆中的整车控制器810可以是一个或多个，图14中以一个整车控制器810为例，车辆中的整车控制器810、存储器820、输入装置830和输出装置840可以通过总线或其他方式连接，图14中以通过总线连接为例。

该车辆中的存储器820作为一种计算机可读存储介质，可用于存储一个或多个程序，程序可以是软件程序、计算机可执行程序以及模块，如本发明实施例所提供自动驾驶控制方法对应的程序指令/模块(例如，图13所示的自动驾驶控制装置中的模块，包括：获取模块710、第一确定模块720和控制模块730)。整车控制器810通过运行存储在存储器820中的软件程序、指令以及模块，从而执行车辆的各种功能应用以及数据处理，即实现上述方法实施例中的自动驾驶控制方法。

存储器820可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据车辆中所配置设备的使用所创建的数据等。此外，存储器820可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器820可进一步包括相对于整车控制器810远程设置的存储器，这些远程存储器可以通过网络连接至车辆中所配置的设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

输入装置830可用于接收用户输入的数字或字符信息，以产生与车辆的用户设置以及功能控制有关的键信号输入。输出装置840可包括显示屏等显示设备。图像采集装置850，用于拍摄并记录目标车辆当前所在行驶道路的情况。

并且，当上述车辆所包括一个或者多个程序被一个或者多个整车控制器810执行时，程序进行如下操作：

获取目标车辆当前所在行驶道路情况的原始图像，当前所在行驶道路上存在除目标车辆之外各车辆驶过的车辙或痕迹；根据原始图像中的目标交界线确定对应的目标行驶区域；按照预设自动驾驶策略控制目标车辆在目标行驶区域中自动驾驶。

上述车辆可执行本发明任意实施例所提供的自动驾驶控制方法，具备执行方法相应的功能模块和有益效果。

本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被整车控制器执行时实现本发明实施例提供的自动驾驶控制方法，该方法包括：获取目标车辆当前所在行驶道路情况的原始图像，当前所在行驶道路上存在除目标车辆之外各车辆驶过的车辙或痕迹；根据原始图像中的目标交界线确定对应的目标行驶区域；按照预设自动驾驶策略控制目标车辆在目标行驶区域中自动驾驶。

本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是，但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括，但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，程序设计语言包括面向对象的程序设计语言，诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种自动驾驶控制方法，其特征在于，包括：

获取目标车辆当前所在行驶道路情况的原始图像，所述当前所在行驶道路上存在除目标车辆之外各车辆驶过的车辙或痕迹；

根据所述原始图像中的目标交界线确定对应的目标行驶区域；

按照预设自动驾驶策略控制所述目标车辆在所述目标行驶区域中自动驾驶。

2.根据权利要求1所述的方法，其特征在于，所述获取目标车辆当前所在行驶道路情况的原始图像，包括：

通过图像采集装置拍摄并记录目标车辆当前所在行驶道路的情况，得到路况视频；

依次抽取所述路况视频中的帧图像，作为原始图像。

3.根据权利要求1所述的方法，其特征在于，所述根据所述原始图像中的目标交界线确定对应的目标行驶区域，包括：

按照预设图像处理策略对所述原始图像进行图像处理，得到至少两条目标线段；

根据每条所述目标线段在图像坐标系下的斜率确定对应的目标交界线；

根据所述目标交界线确定对应的目标行驶区域。

4.根据权利要求2所述的方法，其特征在于，所述图像采集装置为前向图像采集装置；所述前向图像采集装置的安装角度和视野范围满足下述条件：拍摄到所述目标车辆前向道路左右边缘所有部分，以及所述路况视频中的每帧原始图像覆盖前向道路的最远距离。

5.根据权利要求3所述的方法，其特征在于，所述按照预设图像处理策略对所述原始图像进行图像处理，得到至少两条目标线段，包括：

依次对所述原始图像执行灰度化和边缘检测，得到边缘图像；

识别提取所述边缘图像中的目标区域，作为中间处理图像；

利用霍夫变换对所述中间处理图像进行识别提取，得到至少两条目标线段。

6.根据权利要求3所述的方法，其特征在于，所述根据每条所述目标线段在图像坐标系下的斜率确定对应的目标交界线，包括：

根据每条所述目标线段在图像坐标系下的斜率，确定所述目标线段是否为覆盖区域与预设车辙之间的交界线，所述预设车辙为除所述目标车辆之外各车辆驶过的车辙或痕迹；

在所述目标线段为覆盖区域与预设车辙之间的交界线的情况下，将所述目标线段作为目标交界线。

7.根据权利要求3所述的方法，其特征在于，所述根据所述目标交界线确定对应的目标行驶区域，包括：

识别提取所述目标交界线中最右侧有效交界线和最左侧有效交界线；

根据所述最右侧有效交界线和最左侧有效交界线确定对应的目标行驶区域。

8.一种自动驾驶控制装置，其特征在于，包括：

获取模块，用于获取目标车辆当前所在行驶道路情况的原始图像，所述当前所在行驶道路上存在除目标车辆之外各车辆驶过的车辙或痕迹；

第一确定模块，用于根据所述原始图像确定所述目标车辆对应的目标行驶区域；

控制模块，用于按照预设自动驾驶策略控制所述目标车辆在所述目标行驶区域中自动驾驶。

9.一种车辆，其特征在于，包括：

一个或多个整车控制器；

存储器，用于存储一个或多个程序；

图像采集装置，用于拍摄并记录目标车辆当前所在行驶道路的情况；

当所述一个或多个程序被所述一个或多个整车控制器执行，使得所述一个或多个处理模块实现如权利要求1-7中任一所述的自动驾驶控制方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被整车控制器执行时实现如权利要求1-7中任一所述的自动驾驶控制方法。

Images