CN114694108A - 一种图像处理方法、装置、设备及存储介质 - Google Patents

Abstract

本申请实施例提供一种图像处理方法、装置、设备及存储介质，其中，获取安装在车辆上的图像采集装置采集的道路图像；基于所述道路图像，检测所述道路图像中的多个道路边界；在所述多个道路边界中，确定对所述车辆存在危险的目标道路边界。

Description

一种图像处理方法、装置、设备及存储介质

技术领域

本申请实施例涉及智能驾驶技术领域，涉及但不限于一种图像处理方法、装置、设备及存储介质。

背景技术

近年来，以深度学习为主的自动驾驶领域取得了较大的进展，包括图像分割和目标检测领域。自动驾驶作为一个整体的系统，感知模块的输出是为后续模块服务的。在相关技术中，感知模块与后续的控制信号存在比较多脱节，影响系统的控制准确度以及可信度。

发明内容

本申请实施例提供一种图像处理技术方案。

本申请实施例的技术方案是这样实现的：

本申请实施例提供一种图像处理方法，所述方法包括：获取安装在车辆上的图像采集装置采集的道路图像；基于所述道路图像，检测所述道路图像中的多个道路边界；在所述多个道路边界中，确定对所述车辆存在危险的目标道路边界。

在一些实施例中，所述基于所述道路图像，检测所述道路图像中的多个道路边界，包括：对所述道路图像进行检测，确定所述车辆相关的多个道路边界。如此，能够快速且准确地识别出道路图像中的多个道路边界。

在一些实施例中，所述基于所述道路图像，检测所述道路图像中的多个道路边界，包括：对所述道路图像进行检测，得到所述道路图像中的多个车道；将所述多个车道中各车道的末端进行连接，得到所述多个道路边界。如此，通过连接各车道的末端边缘，能够更加简洁地识别出道路图像中的多个道路边界。

在一些实施例中，所述基于所述道路图像，检测所述道路图像中的多个道路边界，包括：对所述道路图像进行语义分割，得到所述道路图像中的可行驶区域；基于所述可行驶区域的轮廓线，确定所述多个道路边界。如此，通过分割道路图像中道路的可行驶区域，能够精准识别出道路图像中的多个道路边界。

在一些实施例中，所述在所述多个道路边界中，确定对所述车辆存在危险的目标道路边界，包括以下至少之一：在所述多个道路边界中，确定与所述车辆所在车道邻接的道路边界为所述目标道路边界；在所述多个道路边界中，确定与所述车辆之间的距离小于第一预设距离的道路边界为所述目标道路边界；在所述多个道路边界中，确定与所述车辆之间的道路空间小于预设空间的道路边界为所述目标道路边界；在所述多个道路边界中，基于由所述道路图像确定的道路信息确定对所述车辆存在危险的目标道路边界，所述道路信息包括所述道路图像中的路面信号、车道线、停止线区域、转向标记和障碍物信息中的至少一个。如此，通过多种方式确定目标道路边界，而且综合考虑路面上的多种信息，能够准确地检测出对车辆存在危险的目标道路边界。

在一些实施例中，所述基于由所述道路图像确定的道路信息，在所述多个道路边界中，确定对所述车辆存在危险的目标道路边界，包括：基于所述道路信息，确定真实道路区域和所述车辆不可识别的未知区域；基于所述真实道路区域和所述未知区域，确定所述车辆不可见的道路边界；将所述车辆不可见的道路边界，确定为所述目标道路边界。如此，通过比对车辆相关道路的真实道路区域和未知区域，能够精准地识别出对该车辆存在危险的目标道路边界。

在一些实施例中，所述基于所述真实道路区域和所述未知区域，确定所述车辆不可见的道路边界，包括：将所述真实道路区域和所述未知区域的采集视角分别转换为鸟瞰视角，得到已转换的真实道路区域和已转换的未知区域；确定所述已转换的真实道路区域和所述已转换的未知区域之间的重叠区域；确定所述重叠区域中的道路边界，为所述车辆不可见的道路边界。如此，通过分析鸟瞰视角下已转换的真实道路区域和已转换的未知区域之间的重叠区域，能够在较少的网络资源下有效地识别出车辆不可见的道路边界，便于后续规划车辆的行驶路径。

在一些实施例中，所述确定所述已转换的真实道路区域和所述已转换的未知区域之间的重叠区域，包括：将所述已转换的真实道路区域中的车道线、停止线区域和转向标记进行拟合，得到第一拟合信息；将所述已转换的未知区域中的车道线、停止线区域和转向标记进行拟合，得到第二拟合信息；基于所述第一拟合信息和所述第二拟合信息，确定所述已转换的真实道路区域和所述已转换的未知区域之间的重叠区域。如此，综合考虑道路上的多种信息，能够更加精确地确定出重叠区域内的目标道路边界。

在一些实施例中，在确定所述目标道路边界之后，所述方法还包括：基于所述目标道路边界和/或所述道路信息，确定所述车辆的行驶路径；基于所述行驶路径，控制所述车辆的行驶。如此，在识别到目标道路边界之后，结合丰富的道路信息，能够产生更加准确的行驶路径，从而能够实现对车辆的精准控制。

在一些实施例中，基于所述道路信息，确定所述车辆的行驶路径，包括：基于所述道路信息中的路面信号和转向标记，确定所述车辆的转向朝向和转向位置；基于所述转向朝向和所述转向位置，确定所述车辆的行驶路径。如此，按照道路信息中的路面信号，能够准确预测出车辆在未来时刻的转向朝向和转向位置，从而能够精准地控制车辆转向。

在一些实施例中，所述基于所述行驶路径，控制所述车辆的行驶，包括：基于所述道路信息中的障碍物信息，对所述行驶路径进行更新，得到已更新路径；基于所述已更新路径，控制所述车辆的行驶。如此，通过综合道路信息中障碍物的位置信息，对行驶路径进行更新，进而能够为自动驾驶车在进行决策时提供更多的信息。

在一些实施例中，基于所述目标道路边界，确定所述车辆的行驶路径，包括：基于所述目标道路边界，对所述车辆所在位置的地图数据进行更新，得到已更新地图；基于所述已更新地图，确定所述车辆的行驶路径。如此，按照已更新地图，生成控制车辆行驶的行驶路径，提高了行驶路径的安全性。

在一些实施例中，在确定所述目标道路边界后，所述方法还包括：基于所述目标道路边界和所述车辆的行驶状态之间的关系，控制所述车辆。如此，在识别到目标道路边界之后，通过分析该目标道路边界与行驶状态之间的关系，能够有效控制车辆进行安全行驶。

在一些实施例中，所述目标道路边界和所述车辆的行驶状态之间的关系，包括以下情况中的至少一种：所述目标道路边界所在的重叠区域与所述车辆前方的道路交叉口之间的距离小于第二预设距离；所述重叠区域与所述车辆所在的位置之间的距离小于第三预设距离；所述车辆的行驶方向与所述目标道路边界之间的夹角小于预设角度；所述目标道路边界与所述车辆所在的车道相接。

在一些实施例中，控制所述车辆，包括：控制所述车辆从行驶状态进入制动状态，或，控制所述车辆驶离所述目标道路边界。如此，在目标道路边界会影响车辆的行驶的情况下，控制车辆进行制动状态，或者控制车辆远离目标道路边界，从而能够进一步提高车辆的行驶安全性。

在一些实施例中，在确定所述目标道路边界后，所述方法还包括：基于所述目标道路边界设置感兴趣区域，基于第一分辨率获得所述感兴趣区域对应的图像；其中，所述道路图像按照第二分辨率获得，所述第二分辨率小于所述第一分辨率；和/或，基于第一帧速率获得所述感兴趣区域对应的图像；其中，所述道路图像基于第二帧速率获得，所述第二帧速率小于所述第一帧速度。如此，便于后续针对感兴趣区域对应的图像进行对象识别。

在一些实施例中，在确定所述目标道路边界后，所述方法还包括：采集所述目标道路边界周围的道路环境信息；基于所述道路环境信息，生成通知信息；将所述通知信息发送给所述车辆的后方车辆；其中，所述后方车辆与所述车辆位于同一车道且行驶方向相同。如此，能够及时提醒后方车辆前方存在目标道路边界，以使后方车辆及时调整行驶路径。

本申请实施例提供一种图像处理装置，所述装置包括：图像获取模块，用于获取安装在车辆上的图像采集装置采集的道路图像；道路边界检测模块，用于基于所述道路图像，检测所述道路图像中的多个道路边界；目标道路边界确定模块，用于在所述多个道路边界中，确定对所述车辆存在危险的目标道路边界。

对应地，本申请实施例提供一种计算机存储介质，所述计算机存储介质上存储有计算机可执行指令，该计算机可执行指令被执行后，能够实现上述所述的方法步骤。

本申请实施例提供一种计算机设备，所述计算机设备包括存储器和处理器，所述存储器上存储有计算机可执行指令，所述处理器运行所述存储器上的计算机可执行指令时可实现上述所述的方法步骤。

本申请实施例提供一种图像处理方法、装置、设备及存储介质，通过对获取的道路图像进行检测，识别出该道路图像中的多个道路边界，并从该多个道路边界中选择出对车辆存在危险的目标道路边界；从而能够基于目标道路边界更加准确地控制车辆的行驶。

附图说明

图1为本申请实施例提供的图像处理方法的实现流程示意图；

图2为本申请实施例提供的图像处理方法的另一实现流程示意图；

图3为本申请实施例提供的图像处理方法的又一实现流程示意图；

图4为本申请实施例提供的图像处理方法的网络结构图；

图5A为本申请实施例提供的图像处理方法的应用场景示意图；

图5B为本申请实施例提供的图像处理方法的另一应用场景示意图；

图6A为本申请实施例提供的图像处理方法的应用场景示意图；

图6B为本申请实施例提供的图像处理方法的另一应用场景示意图；

图7为本申请实施例提供的图像处理方法的又一应用场景示意图；

图8为本申请实施例提供的图像处理方法的再一应用场景示意图；

图9为本申请实施例提供的图像处理方法的另一应用场景示意图；

图10为本申请实施例提供的图像处理装置结构组成示意图；

图11为本申请实施例提供的计算机设备的组成结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对发明的具体技术方案做进一步详细描述。以下实施例用于说明本申请，但不用来限制本申请的范围。

在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解，“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。

在以下的描述中，所涉及的术语“第一\第二\第三”仅仅是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序，以使在一些实施例中描述的本申请实施例能够以除了在一些实施例中图示或描述的以外的顺序实施。

除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的，不是旨在限制本申请。

对本申请实施例进行进一步详细说明之前，对本申请实施例中涉及的名词和术语进行说明，本申请实施例中涉及的名词和术语适用于如下的解释。

1)卷积神经网络(Convolutional Neural Networks，CNN)：是一类包含卷积计算且具有深度结构的前馈神经网络；具有表征学习能力，能够按其阶层结构对输入信息进行平移不变分类。

2)自车(ego vehicle)：包含感知周围环境传感器的车辆。车辆坐标系固连在自车上，其中，x轴为汽车前进的方向，y轴指向车辆前进方向的左侧，z轴垂直于地面向上，符合右手坐标系。坐标系原点位于后轴中点下方的大地上。

下面说明本申请实施例提供的图像处理方法应用于电子设备的示例性应用，本申请实施例提供的电子设备可以是车载设备，也可以是云平台或其他计算机设备。示例性的，车载设备可以是安装在车辆上的瘦客户机、厚客户机、基于微处理器的系统、小型计算机系统，等等，云平台可以是包括小型计算机系统或大型计算机系统的分布式云计算技术环境等等。下面，将说明电子设备实施为终端或服务器时的示例性应用。

该方法可以应用于计算机设备，该方法所实现的功能可以通过计算机设备中的处理器调用程序代码来实现，当然程序代码可以保存在计算机存储介质中，可见，该计算机设备至少包括处理器和存储介质。

图1为本申请实施例提供的图像处理方法的实现流程示意图，如图1所示，结合如图1所示步骤进行说明：

步骤S101，获取安装在车辆上的图像采集装置采集的道路图像。

在一些实施例中，道路图像可以是采集任意道路的图像，可以是包括画面内容复杂的图像还可以是包括画面内容简单的图像。比如，通过车辆上的车载设备采集到的道路图像。

在一些实施例中，图像采集装置可以是安装在车载设备上，还可以是独立于车载设备。车载设备可以与车辆的传感器、定位装置等通信连接，车载设备可以通过通信连接获取车辆的传感器采集的数据、以及定位装置上报的地理位置信息等。示例性的，车辆的传感器可以是毫米波雷达、激光雷达、摄像头等设备中的至少一种；定位装置可以是基于以下至少一种定位系统的用于提供定位服务的装置：全球定位系统(GPS，Global PositioningSystem)、北斗卫星导航系统或伽利略卫星导航系统。

在一些实施例中，车载设备可以为高级辅助驾驶系统(ADAS，Advanced DrivingAssistant System)，ADAS设置在车辆上，ADAS可以从车辆的定位装置中获取车辆的实时位置信息，和/或，ADAS可以从车辆的传感器中获得表示车辆周围环境信息的图像数据、雷达数据等等。其中，可选地，ADAS可以将包括车辆的实时位置信息的车辆行驶数据发送至云平台，如此，云平台可以接收到车辆的实时位置信息和/或表示车辆周围环境信息的图像数据、雷达数据等等。

通过设置在车辆上的图像采集装置(即传感器，如摄像头)获得道路图像，图像采集装置伴随车辆的移动而实时采集车辆周围的图像，得到该道路图像。在一些可能的实现方式中，可以是在车辆行驶的过程中，安装在车辆上的摄像头，对该车辆所行驶道路以及周围环境进行采集，得到该道路图像；这样，通过对道路图像进行检测，可识别到该多个道路边界。

步骤S102，基于所述道路图像，检测道路图像中的多个道路边界。

在一些实施例中，采用检测网络，在该道路图像中检测多个道路边界。道路图像中的该车辆可以是任意行驶在道路上的车辆。

在一些可能的实现方式中，通过对道路图像进行边缘检测，可检测到该道路图像中道路的边缘，从而得到多个道路边界；比如，可以通过检测道路图像中多个车道的车道线，通过连接车道线的末端边缘，可得到该多个道路边界；或者，通过将道路图像输入到已训练的边缘检测网络中，可输出该道路图像中的多个道路边界等。

步骤S103，在所述多个道路边界中，确定对所述车辆存在危险的目标道路边界。

在一些实施例中，目标道路边界可以为车辆不可见的道路边界，还可以是车辆能够识别到但是与车辆之间的距离较小，或者是通过分析道路图像中的道路信息，确定出的对车辆存在危险的道路边界。比如，被障碍物遮挡的道路边界，或，距离该车辆太远的道路边界，或，在车辆的视野盲区的道路边界，或，离车辆太近以致车辆无法正常行驶的道路边界等。

在一些可能的实现方式中，通过检测障碍物与道路边界的位置关系，可以确定该障碍物是否遮挡了道路边界，进而确定该道路边界是否不可见，即是否为目标道路边界；通过检测车辆与道路边界的距离，可以确定该道路边界是否距离车辆太远，进而确定该道路边界是否为目标道路边界；通过检测车辆与道路边界的位置关系，可以确定该道路边界是否在车辆的视野盲区，进而确定该道路边界是否为目标道路边界；这样，通过在检测到的多个道路边界中，识别出对车辆存在危险的目标道路边界，可以更加准确的规划后续的行驶路径。

在本申请实施例中，通过对获取的道路图像进行检测，识别出该道路图像中的多个道路边界，从该多个道路边界中选择出对车辆存在危险的目标道路边界，从而能够更加准确的控制车辆的行驶。

在一些实施例中，通过对道路图像进行检测，可识别出道路图像中车辆相关的多个道路边界，即上述步骤S102可以通过以下多种方式实现：

方式一：对所述道路图像检测，确定与所述车辆相关的多个道路边界。

在该方式一中，利用第一网络检测所述道路图像，确定与所述车辆相关的多个道路边界。车辆相关的多个道路边界，可以为该车辆所在道路的各条车道的道路边界或者该车辆所在道路的多条车道的道路边界；在具体实施时，由于车辆可以通过变道或者掉头的方式到达其所在道路上的任意一条车道，因此，可以认为车辆所在道路上的任一条车道的道路边界都是与车辆相关的道路边界。比如，车辆所在道路包括四车道，那么与该车辆相关的多个道路边界包括四车道中每一车道的道路边界。该第一网络可以是深度神经网络(DNN，Deep Neural Networks)，比如，任一能够进行图像检测的网络。在一些可能的实现方式中，第一网络可以是残差网络、超分辨率测试序列(Visual Geometry Group，VGG)网络等。该第一网络为训练好的能够进行道路边界检测网络，通过将道路图像输入到第一网络中对该道路图像进行特征提取，基于提取的图像特征，可识别到该车辆相关的多个道路边界；如此，能够快速且准确地识别出道路图像中的多个道路边界。

另外，在具体实施过程中，与车辆相关的道路边界还可以通过确定道路图像中的可行驶区域以及道路边界的重叠部分来确定与车辆相关的道路边界，即将检测到的可行驶区域与检测到的道路边界的重叠部分确定为与车辆相关的道路边界。其中，可行驶区域可以采用DNN来检测，但不限定于此。

方式二：通过检测道路图像中的车道，以确定多个道路边界，可以通过以下步骤实现：

第一步，对所述道路图像进行检测，得到所述道路图像中的多个车道。

在一些实施例中，对所述道路图像中的车道进行检测，得到多个车道。利用第二网络对道路图像中的车道进行检测，得到多个车道。该第二网络可以是与第一网络相同或不同。通过第二网络检测道路图像中的多个车道，也即检测道路图像中的多个车道线。通过第二网络对道路图像进行处理，获得道路图像中的车道线，即得到该多个车道。在其他实施例中，也可采用其他图像检测方案检测道路图像中的多个车道。示例性的，首先对道路图像进行灰度化处理，对检测灰度化处理后的道路图像中的车道边缘，例如采用边缘检测算子进行边缘检测；进一步对处理后的图像进行二值化处理，从而得到道路图像中的车道线。

第二步，将所述多个车道中各车道的末端进行连接，得到所述多个道路边界。

在一些实施例中，通过连接各车道的车道线的末端边缘，得到与车辆相关的多个道路边界。比如，通过连接车辆左右两侧的车辆下的末端边缘，可以得到与车辆所在道路垂直的道路的边界。如此，通过连接各车道的末端边缘，能够更加简洁地识别出道路图像中的多个道路边界。

方式三：通过对道路图像进行语义分割，确定车辆所在道路的可行驶区域，可以通过以下步骤实现：

第一步，对所述道路图像进行语义分割，得到所述道路图像中的可行驶区域。

在一些实施例，利用第三网络对所述道路图像进行语义分割，得到所述道路图像中道路的可行驶区域。该第三网络可以是用于进行语义分割的神经网络，比如，全卷积神经网络、掩模区域卷积神经网络(Mask Region Convolutional Neural Networks，Mask R-CNN)等。通过第三网络检测道路图像中的可行驶区域；可行驶区域(freespace)，也可称为可通行区域，表示车辆可行驶的区域。在道路图像中，除了当前车辆之外，通常还包括其他车辆、行人、树木、道路边缘等，例如其他车辆、行人、树木、道路边缘所在区域均是当前车辆不可行驶的区域。因此，通过第三网络对道路图像进行语义分割，去除道路图像中例如其他车辆、行人、树木、道路边缘所在区域，得到车辆的可行驶区域。

第二步，基于所述可行驶区域的轮廓线，确定所述多个道路边界。

在一些实施例中，通过识别可行驶区域的轮廓线，得到该可行驶区域所在道路的道路边界。比如，将可行驶区域的轮廓线，作为该该可行驶区域所在道路的道路边界。如此，通过分割道路图像中道路的可行驶区域，能够精准识别出道路图像中的多个道路边界。

在一些实施例中，通过识别该车辆相关道路的道路信息，或分析道路边界与车辆之间的关系，能够在多个道路边界中，准确选择出对车辆存在危险的目标道路边界，即上述步骤S103可以通过以下多种方式实现：

方式一：在所述多个道路边界中，确定与所述车辆所在车道邻接的道路边界为所述目标道路边界。

在方式一中，与车辆所在车道邻接的道路边界可以是与该车辆所在道车道接壤的道路边界，由于与该车辆所在道车道接壤的道路边界处于车辆的视野盲区，所以该道路边界是车辆不可见的，即该道路边界为目标道路边界。

方式二：在所述多个道路边界中，确定与所述车辆之间的距离小于第一预设距离的道路边界为所述目标道路边界。

在方式二中，第一预设距离可以是通过测量车辆的盲区范围设定的，比如，将第一预设距离设置为小于等于该盲区范围的最大直径。道路边界与车辆之间的距离为该道路边界上的每一点与该车辆之间的距离；如果该点到车辆的距离小于第一预设距离，说明对于车辆来说该点是不可见的，这样，通过分析多个点与该车辆的距离是否小于第一预设距离，即可确定该多个点组成的道路边界是否为目标道路边界。

在一些可能的实现方式中，对于任一道路边界，可以是按照一定的长度间隔对该道路边界上的点进行采样，通过判断采样点与车辆之间的距离是否小于第一预设距离，即可确定该道路边界是否为目标道路边界。比如，将与车辆之间的距离小于第一预设距离的第一个采样点作为起点，将与车辆之间的距离小于第一预设距离的最后一个采样点作为终点，这样该起点和终点之间的道路边界即为目标道路边界。

方式三：在所述多个道路边界中，确定与所述车辆之间的道路空间小于预设空间的道路边界为所述目标道路边界。

在方式三中，道路边界与车辆之间的道路空间可以是该车辆到道路边界之间的道路区域的宽度。预设空间可以是基于车道的宽度以及该车道能够行驶的车辆宽度确定的，比如，将预设空间设置为大于该车道能够行驶的车辆宽小于车道的宽度。如果道路边界与车辆之间的宽度小于预设空间，说明该道路边界与车辆之间不能行驶迎面而来的车辆；即该道路边界与车辆之间的空间较小，进而说明该道路边界对车辆的正常行驶来说可能会造成危险，那么将这样的道路边界作为目标道路边界。如果道路边界与车辆之间的宽度大于等于预设空间，说明该道路边界与车辆之间还能够行驶迎面而来的车辆；即该道路边界与车辆有足够的空间，进而说明该道路边界对车辆的正常行驶来说是不会造成危险的，那么不将这样的道路边界作为目标道路边界。

方式四：在所述多个道路边界中，基于由所述道路图像确定的道路信息确定对所述车辆存在危险的目标道路边界。

在方式四中，通过对道路图像进行图像检测，可以识别该道路图像中车辆所在道路的道路信息，基于该道路信息，识别多个道路边界中对车辆存在危险的目标道路边界。车辆相关道路的道路信息用于表征该道路上的能够检测到的多种信息，比如，所述道路信息包括所述道路图像中的路面信号、车道线、停止线区域、转向标记和障碍物信息中的至少一个。该转向标记可以道路的转向边沿。通过综合考虑路面上的多种信息，能够准确地检测出对车辆存在危险的目标道路边界。

在一些可能的实现方式中，可以通过以下步骤获取该道路信息：

第一步，确定所述道路图像中所述车辆相关的道路的路面信号。

在一些实施例中，通过采用深度神经网络中的检测器对道路图像进行图像特征提取，基于提取的图像特征，可实现对道路图像中路面信号的检测；检测到的路面信号中包括多种类别的路面箭头信息，比如，直行，左转，右转，直行左转，直行右转，掉头，左转直行右转。

第二步，对所述道路的车道线进行分割，得到多个车道线。

在一些实施例中，通过采用深度神经网络中的语义分割分支对该道路的车道线进行分割，输出携带类别标签的多个车道线。其中，不同类的车道线可以采用不同的类别标签进行表示，比如，左侧车道线表示为类别1，右侧车道线表示为类型2，背景表示为类别0等。

第三步，对所述道路的停止线进行检测，得到停止线区域。

在一些实施例中，采用该深度神经网络中的停止线分割分支，对道路的停止线进行二类分割，得到的分割结果为停止线区域表示为1，背景区域表示为0，以实现对停止线的分割。

第四步，对所述道路的路口转向标记进行识别，得到多类转向标记。

在一些实施例中，采用该深度神经网络中的路口转向输出分支，对道路的路口转向标记进行语义分割，得到多类转向标记。比如，按照从左至右的顺序，为转向标记定义3个类别，依次可以是左侧转向标记为类别1，正前方转向标记为类别2，右侧转向标记为类别3，背景类别为0。

第五步，对所述道路上的障碍物进行检测，得到所述障碍物的物体信息。

在一些实施例中，采用该深度神经网络中的障碍物检测分支对道路上的障碍物进行检测，将障碍物作为目标检测的前景，将非障碍物当做背景。这里，障碍物可以是指车辆之外的所有物体或者行人。障碍物信息包括该障碍物的位置和尺寸信息等。

上述第一步至第五步，可以是在同一个网络中通过不同分支同时执行的。

第六步，将所述路面信号、所述多个车道线、所述停止线区域、所述多类转向标记和所述物体信息中的至少之一，确定为所述道路信息。

在第六步中，将上述第一步至第五步得到的路面标志信息，车道线信息以及路口转向信息等作为道路信息。这样，将对路面信号的检测、车道线检测和路口转向检测任务融合到同一个深度学习网络中进行联合学习，获得输出的道路信息，使得道路信息内容丰富，从而能够为车辆提供丰富的信息，以使车辆能够产生有效的控制信号。

在一些可能的实现方式中，通过分析该道路信息可以识别出真实道路区域和未知区域，从而检测出该车辆不可见的道路边界，如图2所示，图2为本申请实施例提供的图像处理方法的另一实现流程示意图，结合图2所示的步骤进行以下说明：

步骤S201，基于所述道路信息，确定真实道路区域和所述车辆不可识别的未知区域。

在一些实施例中，通过分析道路信息中的路面信号、所述多个车道线、所述停止线区域、所述多类转向标记和所述物体信息等，可以得到该道路的真实道路区域；比如，在道路上无任何物体或行人的情况下，将该道路的路面区域作为真实道路区域。车辆不可识别的未知区域可以是道路上的区域还可以是道路之外的区域，比如，未知区域可以是在车辆盲区的区域、被障碍物遮挡的区域或者由于距离较远车辆识别不到的区域等。

比如在图5A和图5B所示的十字路口场景下，路口的西南角有一座建筑物(图像的上下左右分别对应北、南、西和东)，通常情况下，该建筑物会遮挡由南向北行驶的车辆的视角，如图5B所示，使得车辆中的驾驶员或传感器无法获得被建筑物遮挡的一部分区域的信息，这部分区域可称为未知区域，如图5B中的区域522所示。而被建筑物遮挡或者由于其他原因(例如距离太远等原因)使得车辆中的驾驶员或传感器无法感知的道路边界称为不可见道路边界。

步骤S202，基于所述真实道路区域和所述未知区域，确定所述车辆不可见的道路边界。

在一些实施例中，通过将真实道路区域和未知区域从当前的采集视角下转换为鸟瞰视角下的真实道路区域和未知区域，能够确定鸟瞰视角下两个区域之间重叠的道路边界，那么该道路边界即为车辆不可见的道路边界。

步骤S203，将所述车辆不可见的道路边界，确定为目标道路边界。

在一些实施例中，车辆不可见的道路边界即为多个道路边界中车辆未识别到的目标道路边界。如此，通过比对车辆相关道路的真实道路区域和未知区域，能够精准地识别出该目标道路边界。

通过上述步骤S201至步骤S203给出了一种确定目标道路边界的方式，在该方式中，将车辆不可见的道路边界作为对于该车辆存在危险的目标道路边界。如此，能够有效确定对于车辆潜在的危险，从而能够提高自动驾驶车辆的行驶安全性。

在其他实现方式中，还可以是针对车辆可识别的道路边界进行分析，从而确定出对车辆存在危险的目标道路边界。

在一些实施例中，通过将真实道路区域和未知区域均转换到鸟瞰视角下，通过分析鸟瞰视角下两个区域之间重叠的道路边界，即可确定车辆不可见的道路边界，即上述步骤S202可以通过以下步骤S221至S223(图示未示出)实现：

步骤S221，将所述真实道路区域和所述未知区域的采集视角分别转换为鸟瞰视角，得到已转换的真实道路区域和已转换的未知区域。

在一些实施例中，通过采用单应矩阵将真实道路区域和未知区域分别转换到鸟瞰视角下，得到鸟瞰视角下的已转换的真实道路区域和已转换的未知区域。这样，真实道路区域中的道路信息，比如，真实道路区域中的路面信号、所述多个车道线、所述停止线区域、所述多类转向标记和物体信息，也均转换为鸟瞰视角下的路面信号、所述多个车道线、所述停止线区域、所述多类转向标记和物体信息。比如，物体信息在真实道路区域中的位置，转换到鸟瞰视角下在已转换道路区域中的位置。同样，未知区域中的道路信息也同时转换到鸟瞰视角下的道路信息。

步骤S222，确定所述已转换的真实道路区域和所述已转换的未知区域之间的重叠区域。

在一些实施例中，通过对鸟瞰视角下已转换的真实道路区域内的道路信息进行拟合，以及对已转换的未知区域内的道路信息进行拟合，基于拟合后的信息可以确定两个区域之间的重叠部分，即重叠区域。

步骤S223，确定所述重叠区域中的道路边界，为所述车辆不可见的道路边界。

在一些实施例中，由于未知区域是车辆不可识别的区域，那么已转换的未知区域仍然是车辆不可识别的区域；基于此，已转换的真实道路区域与已转换的未知区域之间的重叠区域即为车辆不可识别的真实道路区域，该区域内的道路边界显然也是车辆不可识别的，即目标道路边界。

在本申请实施例中，通过分析鸟瞰视角下已转换的真实道路区域和已转换的未知区域之间的重叠区域，能够在较少的网络资源下有效地识别出车辆不可见的道路边界，便于后续规划车辆的行驶路径。

在一些实施例中，通过对鸟瞰视角下已转换的真实道路区域中的道路信息，以及鸟瞰视角下已转换的未知区域中的道路信息进行拟合，通过拟合的结果，可得到了两个区域之间冲得的道路边界，即上述步骤S222可以通过以下步骤实现：

第一步，将所述已转换的真实道路区域中的多个车道线、停止线区域和转向标记进行拟合，得到第一拟合信息。

在一些实施例中，通过矩阵转换的方式将已转换的真实道路区域中的多个车道线、停止线区域和多类转向标记进行拟合，得到第一拟合信息。该第一拟合信息包括已转换的真实道路区域中拟合后的车道线、停止线区域和多类转向标记。

第二步，将所述已转换的未知区域中的车道线、停止线区域和转向标记进行拟合，得到第二拟合信息。

在一些实施例中，通过矩阵转换的方式将已转换的未知区域中的多个车道线、停止线区域和多类转向标记进行拟合，得到第二拟合信息。该第二拟合信息包括已转换的未知区域中拟合后的车道线、停止线区域和多类转向标记。

第三步，基于所述第一拟合信息和所述第二拟合信息，确定所述已转换的真实道路区域和所述已转换的未知区域之间的重叠区域。

在一些实施例中，按照已转换的真实道路区域中拟合后的车道线、停止线区域和多类转向标记，以及已转换的未知区域中拟合后的车道线、停止线区域和多类转向标记，可以确定出这两个区域之间重叠的车道线、停止线区域以及转向标记；进而可以得到两个区域之间的重叠区域。

在本申请实施例中，通过将不同区域内的道路信息在鸟瞰视角下进行拟合，能够得到各道路信息的拟合结果，这样综合考虑道路上的多种信息，能够更加精确地确定出重叠区域内的目标道路边界。

在一些实施例中，在识别到对车辆存在危险的目标道路边界之后，通过分析该目标道路边界和道路信息中的至少之一，产生控制车辆行驶的行驶路径，以控制车辆的自动驾驶，即在步骤S103之后，还包括图3所示的步骤，结合图3进行以下说明：

步骤S301，基于所述目标道路边界和/或所述道路信息，确定所述车辆的行驶路径。

在一些实施例中，可以基于目标道路边界，确定车辆的行驶路径，以控制车辆的行驶；可以基于道路信息，确定车辆的行驶路径，以控制所述车辆的行驶；还可以是将目标道路边界和道路信息相结合，确定车辆的行驶路径，以共同控制车辆的行驶。可以通过分析目标道路边界，提醒车辆该目标道路边界所在的位置，从而生成车辆的行驶路径，以控制车辆远离该目标道路边界，以减少车辆行驶过程中可能出现的危险；或者，通过分析车辆所在道路的道路信息，即该车辆所在道路的路面信号、所述多个车道线、所述停止线区域、所述多类转向标记和所述物体信息等，预测车辆在未来时刻的行驶路径，从而控制车辆的行驶；或者，将目标道路边界和道路信息相结合，产生更加精准的行驶路径，以更准确地控制车辆的行驶。

行驶路径为该车辆在未来时刻进行行驶的路径规划，包括该车辆的行驶方向、行驶速度、行驶路径等。可以是基于目标道路边界，确定车辆的行驶路径；还可以是基于道路信息，确定车辆的行驶路径；还可以是将目标道路边界与道路信息相结合，确定车辆的行驶路径。

在一些可能的实现方式中，上述基于所述道路信息，确定所述车辆的行驶路径可以通过以下步骤实现：

第一步，基于所述道路信息，确定所述车辆的行驶意图。

在一些实施例中，至少基于道路信息中的部分信息，确定车辆的行驶意图；比如，基于多个车道线、停止线区域和多类转向标记确定该车辆的行驶意图。该行驶意图用于表征车辆在即将到达的未来时段内进行的行驶方式，比如，在未来1分钟内要进行的行驶速度和行驶方向等。

第二步，基于所述行驶意图，确定所述车辆的行驶路径。

在一些实施例中，按照车辆在未来预设时长内的行驶意图，指定该车辆在该预设时长内的行驶路径，得到行驶路径。比如，行驶意图为直行，那么制定该车辆在预设时长内直行的路径等。

步骤S302，基于所述行驶路径，控制所述车辆的行驶。

在一些实施例中，针对车辆可以驶入的道路边界，电子设备可确定车辆的行驶路径，进而控制车辆按照行驶路径行驶。如此，通过综合考虑目标道路边界和道路信息，实现对车辆的有效控制。

在一些实施例中，即上述步骤S301中“基于所述道路信息，确定所述车辆的行驶路径”，可以通过以下步骤S311和S312(图示未示出)实现：

步骤S311，基于所述道路信息中的路面信号和转向标记，确定所述车辆的转向朝向和转向位置。

在一些实施例中，按照道路信息中路面信号，可以确定车辆的转向标记是直行，左转，右转，直行左转，直行右转，掉头，左转直行右转中的哪一种；转向位置表示该车辆进行转向时进入转向车道的拐点；转向朝向表示车辆从当前位置拐入转向车道时行进的方向，这样该转向朝向可以是车辆在转向过程中持续提供的行进方向。

步骤S312，基于所述转向朝向和所述转向位置，确定所述车辆的转向行驶路径。

在一些实施例中，按照该转向朝向所指示的车辆进行转向时的行进方向，以及车辆转向时的拐点，预测该车辆进行转向行驶路径，从而该车辆能够基于该转向行驶路径进行实现正确转向。如此，按照道路信息中的路面信号，能够准确预测出车辆在未来时刻的转向朝向和转向位置，从而能够精准地控制车辆转向。

上述步骤S311和S312，通过道路信息获取道路信息中的路面信号和转向标记，并按照该路面信号和转向标记，生成车辆的行驶路径，从而能够提高行驶路径的准确度。

在一些实施例中，通过检测道路图像中的障碍物信息，实现对行驶路径的更新，从而有效控制车辆的行驶，即上述步骤S302可以通过以下步骤S321和322(图示未示出)实现：

步骤S321，基于所述道路信息中的障碍物信息，对所述行驶路径进行更新，得到已更新路径。

在一些实施例中，如果道路信息中障碍物的物体信息，即该道路上存在障碍物，那么按照道路信息中的障碍物的物体信息，对产生的行驶路径进行更新。比如，按照障碍物的位置信息和尺寸信息，将原始的行驶路径中经过障碍物位置的路径进行更新，使得已更新路径避开障碍物。

步骤S322，基于所述已更新路径，控制所述车辆的行驶。

在一些实施例中，控制车辆按照已更新路径进行行驶，能够使得该车辆在行驶的过程中避开障碍物，提高车辆行驶的安全性，

上述步骤S321和S322通过综合道路信息中障碍物的位置信息，对行驶路径进行更新，从而按照已更新路径控制车辆的行驶，进而能够为自动驾驶车在进行决策时提供更多的信息。

在本申请实施例中，在识别到目标道路边界之后，结合丰富的道路信息，产生后续的行驶路径；这样，产生的行驶路径是更加准确的，基于此通过将该行驶路径能够实现对车辆的精准控制。

在一些实施例中，通过分析目标道路边界，更新车辆所在位置的地图，从而产生车辆的行驶路径，即上述步骤S301中，基于所述目标道路边界，确定所述车辆的行驶路径，可以通过以下步骤实现：

第一步，基于所述目标道路边界，对所述车辆所在位置的地图数据进行更新，得到已更新地图。

在一些实施例中，获取车辆所在位置的地图数据，该地图数据可以是第三方地图还可以是通过车载设备中的定位系统采集的道路信息以及交通标志(比如，交通标志灯、交通标志牌等)等。将目标道路边界标记在车辆所在位置的地图数据中，得到该已更新地图。这样，已更新地图中是携带了目标道路边界的，能够提醒车辆哪些位置存在不可见的道路边界。

第二步，基于所述已更新地图，确定所述车辆的行驶路径。

在一些实施例中，按照已更新地图中标记的目标道路边界，制定远离目标道路边界的行驶路径，从而使得车辆按照该行驶路径行驶时，不会触碰到目标道路边界。

在本申请实施例中，按照检测出的目标道路边界制作考虑了道路危险的地图，从而按照已更新地图，生成控制车辆行驶的行驶路径，提高了行驶路径的安全性。

在一些实施例中，识别到目标道路边界之后，通过分析该目标道路边界与行驶状态之间的关系，有效控制车辆的行驶，可以通过以下过程实现：

基于所述目标道路边界和所述车辆的行驶状态之间的关系，控制所述车辆。

这里，目标道路边界和车辆的行驶状态之间的关系，用于表征目标道路边界对行驶状态的影响，包括：目标道路边界与车辆的行驶方向之间的夹角的大小、目标道路边界与车辆所行驶的车辆之间的距离大小等。

在一些可能的实现方式中，识别到目标道路边界之后，可以控制车辆处于制动状态；即控制所述车辆，可以是控制所述车辆从行驶状态进入制动状态，或，控制所述车辆驶离所述目标道路边界。

这样，在确定出目标道路边界之后，生成制动指示信息，以使车辆进入制动状态；这样，在识别出目标道路边界的情况下，控制车辆准备刹车，能够提高车辆行驶的安全性。电子设备在确定出目标道路边界之后，生成制动指示信息，并将制动指示信息反馈给车辆的自动驾驶系统；车辆的自动驾驶系统响应于该制动指示信息，控制车辆进入制动状态。可以在判断出现危险的情况下，控制所述车辆从行驶状态进入制动状态，或，控制所述车辆驶离所述目标道路边界。比如，在识别到目标道路边界之后，控制所述车辆从行驶状态进入制动状态，或，控制所述车辆驶离所述目标道路边界；如此，在检测到目标道路边界之后，通过生成制动指示信息，控制车辆进入制动状态，从而提高车辆的行驶安全性。

在一些可能的实现方式中，所述目标道路边界和所述车辆的行驶状态之间的关系包括以下多种情况中的至少之一：

情况一，所述目标道路边界和所述车辆的行驶状态之间的关系可以是：所述目标道路边界所在的重叠区域与所述车辆前方的道路交叉口之间的距离小于第二预设距离。

这里，车辆所在车道沿所述车辆的行驶方向的路口，即该车辆所在车道的前方路口。路口到该重叠区域的距离，可以是路口重叠区域的最小距离，还可是路口与该重叠区域的最大距离与最小距离的平均值。第二预设距离可以与第一预设距离相同或不同，也可以是基于测量车辆的盲区范围设定的，还可与是用户自主设定的。如果路口与重叠区域之间的距离小于第二预设距离，说明该不可见的重叠区域可能会影响车辆经过该路口，那么为提高车辆行驶的安全性，生成控制车辆进入制动状态的制动指示信息。

情况二：所述目标道路边界和所述车辆的行驶状态之间的关系可以是：所述重叠区域与所述车辆所在的位置之间的距离小于第三预设距离。

在一些实施例中，重叠区域与所述车辆所在的位置之间的距离可以是重叠区域与所述车辆所在的位置之间的最小距离，还可以是重叠区域与所述车辆所在的位置之间的最大距离与最小距离的平均值；该第三预设距离可以是基于车辆正常行驶的情况下，车辆所在的位置与道路边缘之间的距离。如果重叠区域与车辆所在的位置之间的距离小于第三预设距离，说明该重叠区域会影响车辆的正常行驶，那么为提高车辆行驶的安全性，生成控制车辆进入制动状态的制动指示信息。

情况三：所述目标道路边界和所述车辆的行驶状态之间的关系可以是：所述车辆的行驶方向与所述目标道路边界之间的夹角小于预设角度。

这里，预设角度可以是基于车辆正常行驶的情况下，行驶方向与道路边界之间的最小夹角设定的；比如，在车辆能够进行正常转向的前提下，车辆的行驶方向与道路边界的最小夹角。如果车辆的行驶方向与目标道路边界之间的夹角小于预设角度，说明该目标道路边界会影响车辆的正常行驶；在这种情况下，控制所述车辆从行驶状态进入制动状态，或，控制所述车辆驶离所述目标道路边界，能够提高车辆行驶的安全性。

情况四：所述目标道路边界和所述车辆的行驶状态之间的关系可以是：所述目标道路边界与所述车辆所在的车道相接。

这里，如果目标道路边界与车辆所在车道相接，那么车辆继续按照当前行驶方向在该车道行进，会触碰到目标道路边界；由于目标道路边界的危险性是不可预测的，所以在目标道路边界与所述车辆所在的车道相接的情况下，控制所述车辆从行驶状态进入制动状态，或，控制所述车辆驶离所述目标道路边界，能够有效降低车辆行驶的潜在危险。

在本申请实施例中，通过分析目标道路边界与车辆的行驶状态之间的关系，如果目标道路边界会影响车辆的正常行驶，则生成控制车辆进行制动状态的制动指示信息，或控制车辆远离目标道路边界，从而能够进一步提高车辆的行驶安全性。

在一些实施例中，在确定目标道路边界后，通过按照不同的分辨率或帧速率获得感兴趣区域和道路图像，能够在感兴趣区域中更加准确地进行对象识别，可以通过以下方式实现：

方式一：基于所述目标道路边界设置感兴趣区域，基于第一分辨率获得所述感兴趣区域对应的图像。

在方式一中，所述道路图像按照第二分辨率获得，所述第二分辨率小于所述第一分辨率。

方式二：基于第一帧速率获得所述感兴趣区域对应的图像。

在方式二中，所述道路图像基于第二帧速率获得，所述第二帧速率小于所述第一帧速度。

这里，电子设备基于车辆可以驶入的道路边界设置感兴趣区域(ROI，Region ofInterest)。电子设备在针对道路环境获得道路图像时，可采用第二分辨率(也可称为低分辨率)获得，而针对感兴趣区域，可采用高于第二分辨率的第一分辨率(也可称为高分辨率)获得，这样针对感兴趣区域采集更高质量的图像，便于后续针对感兴趣区域对应的图像进行对象识别。

或者，电子设备在针对道路环境获得道路图像时，可采用第二帧速率(也可称为低帧速率)获得，而针对感兴趣区域，可采用高于第二帧速率的第一帧速率(也可称为高帧速率)获得；如此，便于后续针对感兴趣区域对应的图像进行对象识别。

在一些实施例中，检测车辆驶离目标道路边界之后，向该车辆的后方车辆发送危险预测的通知信息，以提醒后方车辆注意目标道路边界，可以通过以下过程实现：

首先，采集所述目标道路边界周围的道路环境信息。

在一些实施例中，在检测到所述车辆驶离所述目标道路边界的情况下，采集所述目标道路边界周围的道路环境信息。由于目标道路边界不可见，那么对于目标道路边界可能存在的风险，车辆是不可预估的；所以在检测到车辆经过目标道路边界之后，车辆中的摄像头可以识别到目标道路边界，通过该摄像头采集目标道路边界周围的道路环境信息。道路环境信息包括目标道路边界的长度、位置、障碍物信息以及路面信号等。

其次，基于所述道路环境信息，生成通知信息。

在一些实施例中，基于该目标道路边界的道路环境信息携带于通知信息中，将该通知信息发送给该车辆的后方车辆。

最后，将所述通知信息发送给所述车辆的后方车辆。

在一些实施例中，将携带道路环境信息的通知信息发送给后方车辆的自动驾驶系统，或者发送给与自动驾驶系统通信的终端，以使后方车辆能够基于该通知信息中的道路环境信息，制定合适的行驶路径。

在本申请实施例中，在检测到车辆经过目标道路边界之后，将该目标道路边界周围的道路环境信息，以通知信息的形式发送给后方车辆，以及时提醒后方车辆前方存在目标道路边界，以使后方车辆及时调整行驶路径。

下面，将说明本申请实施例在一个实际的应用场景中的示例性应用，以采用深度神经网络对路面标志确定车辆在道路路口的转向为例，进行说明。

自动驾驶作为一个整体的系统，感知模块的输出是为后续模块服务的，比如感知结果不只是要给出前方是否存在某个物体，还需要为后续模块提供相关的逻辑输出，为自动驾驶提供一定的控制信号以及逻辑信号。但是市面上的感知模块并没有将所有感知信息进行有效组合。这样在应用中会引入比较多的问题，即感知的目的只是为了判断目标有无，而不关心后续控制信号的可信度以及准确性。

基于此，本申请实施例提供一种基于路面标志的道路路口转向选择方案，即采用路面标志信息，车道线信息以及路口转向信息等，为下游模块提供有效的自动驾驶信号。

本申请实施例提供一种图像处理方法，通过对道路边界进行检测获得道路感知信息，将获得的道路感知信息转换到鸟瞰视角下，对鸟瞰视角下的道路感知信息进行整合，以确定道路路口的转向；该方法可以通过以下步骤实现：

第一步，在道路图像中，对道路边界检测，以提取道路的道路感知信息。

在一些实施例中，可以通过以下两种方式实现道路边界检测，其中：

方式一：使用检测模型直接检测道路边界，可以通过以下过程实现：

车辆在自动驾驶过程中，需要根据道路上提供的信息进行感知输出，并将模型输出的结果进行信息综合。如图4所示，图4为本申请实施例提供的图像处理方法的网络结构图，该网络架构包括：图像输入模块401，主干网络402，路面信号检测分支网络41，车道线分割分支网络42，停止线分割分支网络43，路口转向输出分支网络44，障碍物检测输出分支网络45，其中：

图像输入模块401，用于输入道路图像；

主干网络402，用于对输入的道路图像进行特征提取。

该主干网络可以是残差网络或VGG网络、GoogleNet网络或者ResNet网络等。

路面信号检测分支网络41，用于执行检测任务，基于提取的图像特征进行路面信号检测。

这里，路面信号检测分支网络41可以通过检测器实现，比如，两阶段检测器或者一阶段检测器。路面信号检测分支网络41可以是分类分支，用于对检测到的路面信号进行分类，其中，类别包括：直行，左转，右转，直行左转，直行右转，掉头，左转直行右转等。

车道线分割分支网络42，用于基于提取的图像特征对道路图像中的车道线进行分割。

这里，以“三车道四线”的车道线标注为例，标注的标签包括：自车所在车道的左车道线(即左侧车道线)，自车所在车道的左侧车道的左车道线(即左左侧车道线)，自车所在车道的右车道线(右侧车道线)，自车所在车道的右侧车道的右侧车道线(右右侧车道线)。将车道线检测任务定义为语义分割，即左左侧车道线为类别1，左侧车道线为类别2，右侧车道线为类别3，右右侧车道线为类别4，背景类为类别0。

停止线分割分支网络43，用于基于提取的图像特征对道路图像中的停止线进行分割。

这里，可以采用二类分割方法进行停止线检测，设定停止线区域为1，背景类为0。

路口转向输出分支网络44，用于采用语义分割的方式对路口转向边沿进行识别。

这里，按照自左向右的顺序，将路口转向定义为3个类别，依次为左侧转向边沿为类别1，正前方转向边沿为类别2，右侧转向边沿为类别3，背景类别为0。

障碍物检测输出分支网络45，用于对路面上的障碍物进行识别，通过检测方法进行障碍物识别。

这里，采用障碍物检测输出分支网络45对路面上的障碍物进行识别，将障碍物当做目标检测的前景，将非障碍物当做背景。如图5A所示，在采集到的车载摄像机图像511中，通过进行道路边界检测，可以识别到图像511中的障碍物512和道路边界513。

方式二：使用检测模型检测其它道路信息，并基于其它道路信息来估计道路边界；其中，可以采用方式一中的方案检测其他道路信息。

基于其他道路信息估计道路边界的方式有如下两种：

1、连接个道路末端以确定道路边界。

2、利用语义分割来确定可行驶区域并使用可行驶区域的轮廓来确定道路边界。

第二步，基于道路感知信息，确定自车看不到的道路边界。

在一些实施例中，可以通过以下步骤确定自车看不到的道路边界，

步骤1，从车载相机采集的图像中识别道路信息。

这里，该道路信息包括道路上的物体信息以及车道线。可以通过图4所示的网络架构对对采集的图像进行道路信息的识别。

步骤2，确定自车看不到的未知区域。

这里，该未知区域可以是被遮挡物遮挡的区域。

步骤3，基于道路信息，估计真实道路区域。

步骤4，将真实道路区域和未知区域转换到鸟瞰视角下。

这里，可以是将图5A中的图像511转换为鸟瞰视角下图像，如图5B所示的图像521，在图像521中未知区域522为自车523看不到的区域，真实区域534为真实的道路区域，边界线525、526和527为自车523可以预见的道路边界，边界线528为自车523不可见的道路边界，以及障碍物529。

步骤5，如果在鸟瞰视角下的真实道路区域和未知区域重叠，则将与未知区域重叠的真实区域的道路边界确定为自车看不见的道路边界。

在一些可能的实现方式中，将第一步中获取的道路感知信息，通过单应矩阵将该道路感知信息转换到鸟瞰视角下。即通过矩阵转换的方法将自车的前向视角下的道路感知信息转换为鸟瞰视角下的道路感知信息，并对鸟瞰视角下的道路感知信息进行拟合。即对鸟瞰视角下的车道线，停止线以及转向边沿等进行拟合，得到拟合结果。如图6A所示，图6A为本申请实施例提供的图像处理方法的应用场景示意图，从图6A可以看出，在前向视角下的道路感知信息，即前向视角下的停止线51、52和53，转向边沿54、55和56，车道线501和502，以及障碍物503。将图6A中的停止线、转向边沿、车道线以及障碍物转换到鸟瞰视角下，如图6B所示，停止线51、52和53转换为鸟瞰视角下的停止线61和62，转向边沿54、55和56转换为鸟瞰视角下的转向边沿63、64和65，障碍物503转换为鸟瞰视角下的障碍物601。

在图6B中还可以看出，自车605可以根据路面信号检测语义信息，从而可知自车可以进行右转，因此会选择右侧的转向边沿，并获得转向边沿朝向以及转向位置等，产生后续的路径规划，并向自车发送控制信号以进行转向控制。类似地，自车可以根据路面信号的产生左转，直行等其他直行命令，并可以与地图中的信号进行定位匹配，从而产生更加稳定的信号。同时，自车会考虑道路上障碍物的位置信息，即若某个转向边沿被障碍物遮挡了，则会反馈该方向的道路边界线无法准确被识别到，从而给自动驾驶车在进行决策的时候提供更多的信息。

第三步，在识别看不见的道路边界后准备刹车，并控制车辆远离看不见的道路边界。

在一些可能的实现方式中，在确定未知区域与真实道路区域之间的重叠区域之后，当十字路口和重叠区域的距离在预设范围内，或者自车识别不到的未知和重叠区域的距离在预设范围内时，准备刹车；在自车的行驶方向和看不见的道路边界之间的夹角小于预设值的时候准备刹车；在识别到看不见的道路边界触及自车车道时准备刹车；在看不见的道路边界中，控制车辆远离触及自车车道的道路边界。

在本申请实施例中，利用深度神经网络对路面标志，车道线以及道路路口转向信息进行预测，并获得准确的道路结构信息和转向。根据上述感知信息，将前向视角下的感知信息转换到鸟瞰视角下，以确定车辆在道路路口的转向信息；如此，将路面标志，车道线检测和路口转向检测任务融合到同一个深度学习网络中进行联合学习，获得最终的感知输出，为后续的方向控制提供有效的信号，而且将多个任务融合到混合网络中进行学习，可以有效节省网络资源。

在本申请实施例中，车辆在十字路口时，可以通过检测多个道路边界，以选择所需的道路边界。如图7所示，车辆71在十字路口时，通过检测多个道路边界，以选择所需的道路边界，例如，如果车辆71在左车道上行驶，选择左车道的道路边界作为可达车道。车辆71检测到的道路边界如图8所示，包括道路边界81至88；在道路边界81至88中确定可到达的边界，以及不可达到的边界，如图9所示，边界91、93、95和98为可达到的边界，边界92、94、96和97为不可达到的边界。

在本申请实施例中，基于障碍物检测的道路边界是否可见，可以为自动驾驶车提供更为丰富的规划和控制信息；而且从模型设计和训练角度，将路面标志，车道线检测和路口转向检测任务融合到同一个深度学习网络中进行联合学习，获得最终的感知输出，既能够有效节省网络资源，还可以为后续的车辆控制提供有效的信号。

本申请实施例提供一种图像处理装置，图10为本申请实施例提供的图像处理装置结构组成示意图，如图10所示，所述图像处理装置1000包括：

图像获取模块，用于获取安装在车辆上的图像采集装置采集的道路图像；

道路边界检测模块，用于基于所述道路图像，检测所述道路图像中的多个道路边界；

目标道路边界确定模块，用于在所述多个道路边界中，确定对所述车辆存在危险的目标道路边界。

在一些实施例中，所述道路边界检测模块1002，还用于：

对所述道路图像进行检测，确定所述车辆相关的多个道路边界。

在一些实施例中，所述道路边界检测模块1002，包括：

车道检测子模块，用于对所述道路图像进行检测，得到所述道路图像中的多个车道；

第一道路边界确定子模块，用于将所述多个车道中各车道的末端进行连接，得到所述多个道路边界。

在一些实施例中，所述道路边界检测模块1002，包括：

可行驶区域分割子模块，用于对所述道路图像进行语义分割，得到所述道路图像中的可行驶区域；

第二道路边界确定子模块，用于基于所述可行驶区域的轮廓线，确定所述多个道路边界。

在一些实施例中，所述目标道路边界确定模块1003，包括以下至少之一：

第一目标道路边界确定子模块，用于在所述多个道路边界中，确定与所述车辆所在车道邻接的道路边界为所述目标道路边界；

第二目标道路边界确定子模块，用于在所述多个道路边界中，确定与所述车辆之间的距离小于第一预设距离的道路边界为所述目标道路边界；

第三目标道路边界确定子模块，用于在所述多个道路边界中，确定与所述车辆之间的道路空间小于预设空间的道路边界为所述目标道路边界；

第四目标道路边界确定子模块，用于在所述多个道路边界中，基于由所述道路图像确定的道路信息确定对所述车辆存在危险的目标道路边界，所述道路信息包括所述道路图像中的路面信号、车道线、停止线区域、转向标记和障碍物信息中的至少一个。

在一些实施例中，所述第四目标道路边界确定子模块，包括：

未知道路区域确定单元，用于基于所述道路信息，确定真实道路区域和所述车辆不可识别的未知区域；

道路边界确定单元，用于基于所述真实道路区域和所述未知区域，确定所述车辆不可见的道路边界；

目标道路边界确定单元，用于将所述车辆不可见的道路边界，确定为所述目标道路边界。

在一些实施例中，所述道路边界确定单元，包括：

区域视角转换子单元，用于将所述真实道路区域和所述未知区域的采集视角分别转换为鸟瞰视角，得到已转换的真实道路区域和已转换的未知区域；

重叠区域确定子单元，用于确定所述已转换的真实道路区域和所述已转换的未知区域之间的重叠区域；

道路边界确定子单元，用于确定所述重叠区域中的道路边界，为所述车辆不可见的道路边界。

在一些实施例中，所述重叠区域确定子单元，还用于：将所述已转换的真实道路区域中的多个车道线、停止线区域和转向标记进行拟合，得到第一拟合信息；将所述已转换的未知区域中的多个车道线、停止线区域和转向标记进行拟合，得到第二拟合信息；基于所述第一拟合信息和所述第二拟合信息，确定所述已转换的真实道路区域和所述已转换的未知区域之间的重叠区域。

在一些实施例中，所述装置还包括：

行驶路径确定模块，用于基于所述目标道路边界和/或所述道路信息，确定所述车辆的行驶路径；

车辆行驶控制模块，用于基于所述行驶路径，控制所述车辆的行驶。

在一些实施例中，所述行驶路径确定模块，包括：

转向确定子模块，用于基于所述道路信息中的路面信号和转向标记，确定所述车辆的转向朝向和转向位置；

转向行驶路径确定子模块，用于基于所述转向朝向和所述转向位置，确定所述车辆的行驶路径。

在一些实施例中，所述车辆行驶控制模块，包括：

行驶路径更新子模块，用于基于所述第二道路信息中的障碍物的物体信息，对所述行驶路径进行更新，得到已更新路径；

车辆行驶控制子模块，用于基于所述已更新路径，控制所述车辆的行驶。

在一些实施例中，所述行驶路径确定模块，包括：

地图数据更新子模块，用于基于所述目标道路边界，对所述车辆所在位置的地图数据进行更新，得到已更新地图；

行驶路径确定子模块，用于基于所述已更新地图，确定所述车辆的行驶路径。

在一些实施例中，所述装置还包括：

车辆控制模块，用于基于所述目标道路边界和所述车辆的行驶状态之间的关系，控制所述车辆。

在一些实施例中，所述目标道路边界和所述车辆的行驶状态之间的关系，包括以下情况中的至少一种：

所述目标道路边界所在的重叠区域与所述车辆前方的道路交叉口之间的距离小于第二预设距离；

所述重叠区域与所述车辆所在的位置之间的距离小于第三预设距离；

所述车辆的行驶方向与所述目标道路边界之间的夹角小于预设角度；

所述目标道路边界与所述车辆所在的车道相接。

在一些实施例中，所述车辆控制模块，还用于控制所述车辆从行驶状态进入制动状态，或，控制所述车辆驶离所述目标道路边界。

在一些实施例中，所述装置还包括：

第一感兴趣区域确定模块，用于基于所述目标道路边界设置感兴趣区域，基于第一分辨率获得所述感兴趣区域对应的图像；其中，所述道路图像按照第二分辨率获得，所述第二分辨率小于所述第一分辨率；和/或，

第二感兴趣区域确定模块，用于基于第一帧速率获得所述感兴趣区域对应的图像；其中，所述道路图像基于第二帧速率获得，所述第二帧速率小于所述第一帧速度。

在一些实施例中，所述装置还包括：

道路环境信息采集模块，用于采集所述目标道路边界周围的道路环境信息；

通知信息生成模块，用于基于所述道路环境信息，生成通知信息；

通知信息模块，用于发送将所述通知信息发送给所述车辆的后方车辆；其中，所述后方车辆与所述车辆位于同一车道且行驶方向相同。

需要说明的是，以上装置实施例的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果。对于本申请装置实施例中未披露的技术细节，请参照本申请方法实施例的描述而理解。

需要说明的是，本申请实施例中，如果以软件功能模块的形式实现上述的图像处理方法，并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是终端、服务器等)执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括：U盘、运动硬盘、只读存储器(Read Only Memory，ROM)、磁碟或者光盘等各种可以存储程序代码的介质。这样，本申请实施例不限制于任何特定的硬件和软件结合。

对应地，本申请实施例再提供一种计算机程序产品，所述计算机程序产品包括计算机可执行指令，该计算机可执行指令被执行后，能够实现本申请实施例提供的图像处理方法中的步骤。相应的，本申请实施例再提供一种计算机存储介质，所述计算机存储介质上存储有计算机可执行指令，所述该计算机可执行指令被处理器执行时实现上述实施例提供的图像处理方法的步骤。相应的，本申请实施例提供一种计算机设备，图11为本申请实施例提供的计算机设备的组成结构示意图，如图11所示，所述计算机设备1100包括：一个处理器1101、至少一个通信总线、通信接口1102、至少一个外部通信接口和存储器1103。其中，通信接口1102配置为实现这些组件之间的连接通信。其中，通信接口1102可以包括显示屏，外部通信接口可以包括标准的有线接口和无线接口。其中所述处理器1101，配置为执行存储器中图像处理程序，以实现上述实施例提供的图像处理方法的步骤。

以上图像处理装置、计算机设备和存储介质实施例的描述，与上述方法实施例的描述是类似的，具有同相应方法实施例相似的技术描述和有益效果，限于篇幅，可案件上述方法实施例的记载，故在此不再赘述。对于本申请图像处理装置、计算机设备和存储介质实施例中未披露的技术细节，请参照本申请方法实施例的描述而理解。应理解，说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本申请的至少一个实施例中。因此，在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外，这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。应理解，在本申请的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。

上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元；既可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。另外，在本申请各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(Read Only Memory，ROM)、磁碟或者光盘等各种可以存储程序代码的介质。

或者，本申请上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、磁碟或者光盘等各种可以存储程序代码的介质。以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (20)

1.一种道路边界检测方法，其特征在于，所述方法包括：

获取安装在车辆上的图像采集装置采集的道路图像；

基于所述道路图像，检测所述道路图像中的多个道路边界；

在所述多个道路边界中，确定对所述车辆存在危险的目标道路边界。

2.根据权利要求1所述的方法，其特征在于，所述基于所述道路图像，检测所述道路图像中的多个道路边界，包括：

对所述道路图像进行检测，确定所述车辆相关的多个道路边界。

3.根据权利要求1所述的方法，其特征在于，所述基于所述道路图像，检测所述道路图像中的多个道路边界，包括：

对所述道路图像进行检测，得到所述道路图像中的多个车道；

将所述多个车道中各车道的末端进行连接，得到所述多个道路边界。

4.根据权利要求1所述的方法，其特征在于，所述基于所述道路图像，检测所述道路图像中的多个道路边界，包括：

对所述道路图像进行语义分割，得到所述道路图像中的可行驶区域；

基于所述可行驶区域的轮廓线，确定所述多个道路边界。

5.根据权利要求1至4任一项所述的方法，其特征在于，所述在所述多个道路边界中，确定对所述车辆存在危险的目标道路边界，包括以下至少之一：

在所述多个道路边界中，确定与所述车辆所在车道邻接的道路边界为所述目标道路边界；

在所述多个道路边界中，确定与所述车辆之间的距离小于第一预设距离的道路边界为所述目标道路边界；

在所述多个道路边界中，确定与所述车辆之间的道路空间小于预设空间的道路边界为所述目标道路边界；

在所述多个道路边界中，基于由所述道路图像确定的道路信息确定对所述车辆存在危险的目标道路边界，所述道路信息包括所述道路图像中的路面信号、车道线、停止线区域、转向标记和障碍物信息中的至少一个。

6.根据权利要求5所述的方法，其特征在于，所述基于由所述道路图像确定的道路信息，在所述多个道路边界中，确定对所述车辆存在危险的目标道路边界，包括：

基于所述道路信息，确定真实道路区域和所述车辆不可识别的未知区域；

基于所述真实道路区域和所述未知区域，确定所述车辆不可见的道路边界；

将所述车辆不可见的道路边界，确定为所述目标道路边界。

7.根据权利要求6所述的方法，其特征在于，所述基于所述真实道路区域和所述未知区域，确定所述车辆不可见的道路边界，包括：

将所述真实道路区域和所述未知区域的采集视角分别转换为鸟瞰视角，得到已转换的真实道路区域和已转换的未知区域；

确定所述已转换的真实道路区域和所述已转换的未知区域之间的重叠区域；

确定所述重叠区域中的道路边界，为所述车辆不可见的道路边界。

8.根据权利要求7所述的方法，其特征在于，所述确定所述已转换的真实道路区域和所述已转换的未知区域之间的重叠区域，包括：

将所述已转换的真实道路区域中的车道线、停止线区域和转向标记进行拟合，得到第一拟合信息；

将所述已转换的未知区域中的车道线、停止线区域和转向标记进行拟合，得到第二拟合信息；

基于所述第一拟合信息和所述第二拟合信息，确定所述已转换的真实道路区域和所述已转换的未知区域之间的重叠区域。

9.根据权利要求5至8任一项所述的方法，其特征在于，在确定所述目标道路边界之后，所述方法还包括：

基于所述目标道路边界和/或所述道路信息，确定所述车辆的行驶路径；

基于所述行驶路径，控制所述车辆的行驶。

10.根据权利要求9所述的方法，其特征在于，基于所述道路信息，确定所述车辆的行驶路径，包括：

基于所述道路信息中的路面信号和转向标记，确定所述车辆的转向朝向和转向位置；

基于所述转向朝向和所述转向位置，确定所述车辆的行驶路径。

11.根据权利要求9所述的方法，其特征在于，所述基于所述行驶路径，控制所述车辆的行驶，包括：

基于所述道路信息中的障碍物信息，对所述行驶路径进行更新，得到已更新路径；

基于所述已更新路径，控制所述车辆的行驶。

12.根据权利要求9所述的方法，其特征在于，基于所述目标道路边界，确定所述车辆的行驶路径，包括：

基于所述目标道路边界，对所述车辆所在位置的地图数据进行更新，得到已更新地图；

基于所述已更新地图，确定所述车辆的行驶路径。

13.根据权利要求7或8所述的方法，其特征在于，在确定所述目标道路边界后，所述方法还包括：

基于所述目标道路边界和所述车辆的行驶状态之间的关系，控制所述车辆。

14.根据权利要求13所述的方法，其特征在于，所述目标道路边界和所述车辆的行驶状态之间的关系，包括以下情况中的至少一种：

所述目标道路边界所在的重叠区域与所述车辆前方的道路交叉口之间的距离小于第二预设距离；

所述重叠区域与所述车辆所在的位置之间的距离小于第三预设距离；

所述车辆的行驶方向与所述目标道路边界之间的夹角小于预设角度；

所述目标道路边界与所述车辆所在的车道相接。

15.根据权利要求13所述的方法，其特征在于，控制所述车辆，包括：

控制所述车辆从行驶状态进入制动状态，或，控制所述车辆驶离所述目标道路边界。

16.根据权利要求1至4任一项所述的方法，其特征在于，在确定所述目标道路边界后，所述方法还包括：

基于所述目标道路边界设置感兴趣区域，基于第一分辨率获得所述感兴趣区域对应的图像；其中，所述道路图像按照第二分辨率获得，所述第二分辨率小于所述第一分辨率；和/或，

基于第一帧速率获得所述感兴趣区域对应的图像；其中，所述道路图像基于第二帧速率获得，所述第二帧速率小于所述第一帧速度。

17.根据权利要求1至4任一项所述的方法，其特征在于，在确定所述目标道路边界后，所述方法还包括：

采集所述目标道路边界周围的道路环境信息；

基于所述道路环境信息，生成通知信息；

将所述通知信息发送给所述车辆的后方车辆；其中，所述后方车辆与所述车辆位于同一车道且行驶方向相同。

18.一种图像处理装置，其特征在于，所述装置包括：

图像获取模块，用于获取安装在车辆上的图像采集装置采集的道路图像；

道路边界检测模块，用于基于所述道路图像，检测所述道路图像中的多个道路边界；

目标道路边界确定模块，用于在所述多个道路边界中，确定对所述车辆存在危险的目标道路边界。

19.一种计算机存储介质，其特征在于，所述计算机存储介质上存储有计算机可执行指令，该计算机可执行指令被执行后，能够实现权利要求1至17任一项所述的方法步骤。

20.一种计算机设备，其特征在于，所述计算机设备包括存储器和处理器，所述存储器上存储有计算机可执行指令，所述处理器运行所述存储器上的计算机可执行指令时可实现权利要求1至17任一项所述的方法步骤。

Images