CN112287910A

CN112287910A - 道路异常区域检测方法、装置、电子设备及存储介质

Info

Publication number: CN112287910A
Application number: CN202011553861.4A
Authority: CN
Inventors: 李成军; 朱磊; 童柏琛
Original assignee: Zhidao Network Technology Beijing Co Ltd
Current assignee: Zhidao Network Technology Beijing Co Ltd
Priority date: 2020-12-25
Filing date: 2020-12-25
Publication date: 2021-01-29
Anticipated expiration: 2040-12-25
Also published as: CN112287910B

Abstract

本发明提供的道路异常区域检测方法、装置、电子设备及存储介质，根据车辆行驶过程中的前方环境图像，获取道路的通行区域图像；将所述通行区域图像输入第一机器学习模型，得到由所述第一机器学习模型输出的检测结果；检测结果中包括从所述通行区域图像中检测出的异常区域。通过训练的第一机器学习模型实现了对道路中异常区域的检测，第一机器学习模型使用多组第一数据通过机器学习进行训练得到，能够准确地对道路中的异常区域进行检测，基于检测结果有利于提高车辆行驶的安全性。

Description

道路异常区域检测方法、装置、电子设备及存储介质

技术领域

本发明涉及智能交通技术领域，尤其涉及一种道路异常区域的检测方法、装置、电子设备及存储介质。

背景技术

随着智能交通领域的快速发展，越来越多的汽车制造企业开始大力发展智能驾驶车辆。智能驾驶车辆通过车辆上的人工智能控制系统、监控装置、定位系统、雷达等协同工作，实现对车辆的精确控制，达到自动智能驾驶的目的。但是，现实中的道路情况复杂，怎么实现智能驾驶车辆对于道路上障碍物的识别与避让，成为了提高智能驾驶车辆安全性的重要部分。

目前，对于道路上的普通障碍物，例如车辆、人员、道路围栏等，智能驾驶车辆的识别方法为通过建立普通障碍物的识别模型并进行机器学习，可以使得智能驾驶车辆可以识别并避让道路上的普通障碍物，实现车辆的正常行驶。

智能驾驶车辆虽然可以识别出道路上的普通障碍物，但是对于道路上的异常区域（包括如树叶、石头等突出物，以及坑、洞等负障碍物）无法进行识别，而异常区域也可能影响到智能驾驶车辆的正常行驶，产生安全隐患。

发明内容

本发明提供一种道路异常区域的检测方法、装置、电子设备及存储介质，用以解决现有技术中的智能驾驶车辆虽然可以识别出道路上的普通障碍物，但是对于道路上的异常区域无法进行识别，而异常区域也可能影响到智能驾驶车辆的正常行驶，产生安全隐患的缺陷，实现对异常区域的识别，从而使得智能驾驶车辆可以对异常区域进行避让，减少安全隐患。

本发明提供一种道路异常区域检测方法，包括：

根据车辆行驶过程中的前方环境图像，获取道路的通行区域图像；其中，所述通行区域图像为从前方环境图像中去除道路中出现的影响车辆通行的实体后的图像；

将所述通行区域图像输入第一机器学习模型，得到由所述第一机器学习模型输出的检测结果；其中，所述第一机器学习模型为使用多组第一数据通过机器学习训练得出的，多组第一数据中的每组第一数据均包括：所述通行区域图像和所述通行区域图像的异常区域类别标签，所述异常区域类别包括道路的路面上存在负障碍物的区域或者存在突出物的区域；

根据所述检测结果，获得从所述通行区域图像中检测出的异常区域。

可选地，所述根据车辆行驶过程中的前方环境图像，获取道路的通行区域图像，包括：

将所述前方环境图像输入第二机器学习模型，得到由所述第二机器学习模型从所述前方环境图像中识别出的影响车辆通行的实体；

从所述前方环境图像中去除由所述第二机器学习模型识别的实体，得到所述通行区域图像；

其中，所述第二机器学习模型为使用多组第二数据通过机器学习训练得出的，多组第二数据中的每组第二数据均包括：所述前方环境图像和所述前方环境图像中影响车辆通行的实体标签。

可选地，在根据所述检测结果，获得从所述通行区域图像中检测出的异常区域之后，还包括：

对所述检测结果中标记出的异常区域，根据所述异常区域在路面的位置信息判断所述异常区域是否可避让；

若所述异常区域可避让，则向所述车辆发出避让提示，否则，根据所述异常区域在路面上的覆盖面积，以及所述异常区域距路面的最高点或最低点生成危险提示。

可选地，所述根据所述异常区域在路面的位置信息判断所述异常区域是否可避让，包括：

获取所述车辆所在车道的车道控制线，根据所述位置信息确定与所述异常区域较远的车道控制线，作为目标车道控制线；

若所述异常区域中与所述目标车道控制线最近的点到所述异常区域的距离大于或等于通行要求距离，则所述异常区域可避让，否则，所述异常区域不可避让；

其中，所述通行要求距离根据所述车辆的横向宽度确定。

可选地，所述根据所述异常区域在路面上的覆盖面积，以及所述异常区域距路面的最高点或最低点生成危险提示，包括：

若所述异常区域为道路的路面上存在负障碍物的区域，则在所述覆盖面积大于第一面积阈值，且所述异常区域的最低点距路面的距离大于第一距离阈值时，发出所述危险提示；

若所述异常区域为道路的路面上存在突出物的区域，则在所述异常区域的最高点距路面的距离大于第二距离阈值时，发出所述危险提示。

可选地，在所述异常区域不可避让时，还包括：

若所述异常区域为道路的路面上存在负障碍物的区域，则在所述覆盖面积小于或等于所述第一面积阈值，或所述异常区域的最低点距路面的距离小于或等于所述第一距离阈值时，发出路面不平的提示信息；

若所述异常区域为道路的路面上存在突出物的区域，则在所述异常区域的最高点距路面的距离小于或等于所述第二距离阈值时，发出所述提示信息。

可选地，在根据所述异常区域在路面的位置信息判断所述异常区域是否可避让之前，还包括：

根据所述通行区域图像中任一参考物体在道路中的实际位置和所述异常区域相对于所述参考物体的位置，确定所述异常区域在路面的位置信息；

其中，所述参考物体包括如下任一种：车辆、道路边的固定建筑物、道路信号灯。

本发明还提供一种道路异常区域检测装置，包括：

获取模块，用于根据车辆行驶过程中的前方环境图像，获取道路的通行区域图像；其中，所述通行区域图像为从前方环境图像中去除道路中出现的影响车辆通行的实体后的图像；

检测模块，用于将所述通行区域图像输入第一机器学习模型，得到由所述第一机器学习模型输出的检测结果；其中，所述第一机器学习模型为使用多组第一数据通过机器学习训练得出的，多组第一数据中的每组第一数据均包括：所述通行区域图像和所述通行区域图像的异常区域类别标签，所述异常区域类别包括道路的路面上存在负障碍物的区域或者存在突出物的区域；

结果获得模块，用于根据所述检测结果，获得从所述通行区域图像中检测出的异常区域。

本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述道路异常区域检测方法的步骤。

本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述道路异常区域检测方法的步骤。

附图说明

为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明提供的道路异常区域检测方法的流程示意图之一；

图2是本发明提供的道路异常区域检测装置的结构示意图之一；

图3是本发明提供的电子设备的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1为本实施例提供的道路异常区域检测方法的流程示意图，该道路异常区域检测方法可以由车载的处理器执行，或者与车载的控车设备通信连接的服务器或终端执行。参见图1，该道路异常区域检测方法包括：

步骤101：根据车辆行驶过程中的前方环境图像，获取道路的通行区域图像；其中，所述通行区域图像为从前方环境图像中去除道路中出现的影响车辆通行的实体后的图像；

步骤102：将所述通行区域图像输入第一机器学习模型，得到由所述第一机器学习模型输出的检测结果；其中，所述第一机器学习模型为使用多组第一数据通过机器学习训练得出的，多组第一数据中的每组第一数据均包括：所述通行区域图像和所述通行区域图像的异常区域类别标签，所述异常区域类别包括道路的路面上存在负障碍物的区域或者存在突出物的区域。

步骤103：根据所述检测结果，获得从所述通行区域图像中检测出的异常区域。

智能驾驶车辆在道路上运行时，道路上经常存在着影响车辆通行的实体，例如其他车辆、行人、护栏等；车辆需要识别出这些影响通行的实体，并实施避让，以免发生事故。智能驾驶车辆上安装有图像采集设备（例如图像采集设备可以包括摄像头）摄像头，用于获取前方道路的道路图像并实时监控。在此过程中，智能驾驶车辆上安装的摄像头获取前方环境图像，识别出前方环境图像中影响车辆通行的实体，将前方道路上的影响车辆通行的实体去除，并将剩下的道路区域的图像作为通行区域图像。

第一机器学习模型为预先通过机器学习训练的模型，能够对可通行区域的道路中出现的异常区域（例如，道路上的落叶、垃圾、坑、洞）检测出来，进而能够基于检测出的异常区域指导车辆通行，提高行车安全。

进一步地，在将所述通行区域图像输入第一机器学习模型之前，还包括：

获取多组第一数据，所述多组第一数据中以通行区域图像作为输入样本，以在所述输入样本中对异常区域标记的异常区域类别作为期望输出；

通过对多组第一数据进行机器学习，得到所述第一机器学习模型；

其中，在所述多组第一数据中标记出的存在负障碍物的区域至少包括如下一种：路面上存在坑的区域、路面上存在洞的区域；

在所述多组第一数据中标记出的存在突出物的区域至少包括如下一种：路面上存在堆状物体的区域、路面上存在桩的区域。

其中，堆状物体可以为由落叶形成的堆状物体，由垃圾形成的堆状物体、由土形成的堆状物体等，本实施例对此不做具体限制。

在对第一机器学习模型进行训练时，可以预先从作为输入样本的通行区域图像中标记出异常区域以及异常区域的异常区域类别，得到作为期望输出的图像。通过对大量的第一数据进行机器学习，得到的第一机器学习模型能够准确地从通行区域图像中识别出异常区域。

本实施例提供一种道路异常区域检测方法，根据车辆行驶过程中的前方环境图像，获取道路的通行区域图像；将所述通行区域图像输入第一机器学习模型，得到由所述第一机器学习模型输出的检测结果；检测结果中包括从所述通行区域图像中检测出的异常区域。通过训练的第一机器学习模型实现了对道路中异常区域的检测，第一机器学习模型使用多组第一数据通过机器学习进行训练得到，能够准确地对道路中的异常区域进行检测，基于检测结果有利于提高车辆行驶的安全性。

进一步地，在上述各实施例的基础上，所述根据车辆行驶过程中的前方环境图像，获取道路的通行区域图像，包括：

从前方环境图像先区域影响车辆通行的实体得到通行区域图像，再基于通行区域图像识别出道路的异常区域，可以避免对异常区域识别的过程中受到影响车辆通行的实体的干扰，提高识别的准确性。

对于影响车辆通行的实体的识别可以通过预先训练的第二机器学习模型进行识别，其中，第二机器学习模型的训练可以包括：

获取多组第二数据，多组第二数据中的每组第二数据中以前方环境图像作为输入样本，以在所述输入样本中标记出的影响车辆通行的实体作为期望输出；

通过对多组第二数据中的每组第二数据进行机器学习，得到所述第二机器学习模型。

本实施例中，通过第二机器学习模型对前方环境图像中影响车辆通行的实体进行识别，进而能够根据识别出的影响车辆通行的实体从前方环境图像中去除影响车辆通行的实体，提高后续对异常区域识别的准确性。

进一步地，在上述各实施例的基础上，在根据所述检测结果，获得从所述通行区域图像中检测出的异常区域之后，还包括：

本实施例中，在检测出通行区域图像中的异常区域后，可以根据异常区域是否能避让，以及异常区域的存在对车辆通行的影响给出相应的提示，从而提高车辆通行的安全性。

进一步地，在上述各实施例的基础上，所述根据所述异常区域在路面的位置信息判断所述异常区域是否可避让，包括：

其中，所述通行要求距离根据所述车辆车轮的横向距离确定。

通行要求距离表示了车辆通行所需的道路宽度，通常可以大于或等于车辆两个前轮之间的距离或车辆两个后轮之间的距离。

在通行区域图像中可以识别出车辆所在车道的车道控制线，进而根据异常区域的边界与车道控制线之间的距离确定车道上不存在异常区域的宽度是否满足通行要求距离，若是，则车辆可以对异常区域进行避让。

异常区域的位置信息指的是，异常区域的中心点位置，以及异常区域的每一边界点的位置。

本实施例中，通过车辆所在车道的车道控制线和异常区域的位置信息实现了对车辆是否能够对异常区域进行避让的判断，进而在车辆能够对异常区域进行避让的情况下，及时发出避让提示，提高车辆行车安全性。

进一步地，在上述各实施例的基础上，所述根据所述异常区域在路面上的覆盖面积，以及所述异常区域距路面的最高点或最低点生成危险提示，包括：

对于不能进行避让的异常区域，进一步地可以判断该异常区域是否会对车辆同学带来安全隐患，进而在存在安全隐患的情况下及时发出危险提示，使得车辆能够在达到异常区域之前及时采取措施，避免发生事故。

可理解的是，当异常区域为负障碍物的区域时，若异常区域的覆盖面积较大且异常区域的最低点距路面的距离也较大，则异常区域很可能是可能导致车辆陷入其中的深坑，此时发出危险提示，避免车辆陷入坑。

当异常区域为存在突出物的区域，当该异常区域的最高点距路面的距离较大时，很可能是尖锐突出物而导致车辆轮胎被扎，或者是高桩从而导致车辆发生碰撞，此时发出危险提示，能够避免发生车胎被扎或碰撞的危险。

本实施例中，通过危险提示在车辆靠近异常区域之前及时提醒，有利于使得车辆尽早做出应对措施，避免事故发生。

进一步地，在上述各实施例的基础上，在所述异常区域不可避让时，还包括：

可理解的是，当异常区域为负障碍物的区域时，若异常区域的覆盖面积较小，或者异常区域的最低点距路面的距离也较小，例如，异常区域是个小覆盖面积的孔洞，完全不影响车辆行驶。或者异常区域是一段稍微凹陷的道路，则可以发出路面不平的提示信息，提醒车内人员注意车辆将会发生颠簸。

当异常区域为存在突出物的区域，当该异常区域的最高点距路面的距离较小时，有可能仅仅是因为路面不平导致的凸包，不影响车辆行驶，此时也可以发出路面不平的提示信息，提醒车内人员注意车辆将会发生颠簸。

本实施例中，通过路面不平的提示信息能够及时提示车辆内人员做好准确，防止车辆颠簸。

进一步地，在上述各实施例的基础上，在根据所述异常区域在路面的位置信息判断所述异常区域是否可避让之前，还包括：

例如，以车辆自身作为参考物体，车辆自身容易通过GPS获取到自身在道路中的实际位置，进而根据通信区域图像中异常区域相对于参考物体的位置（例如，结合通信区域图像的比例尺），可以确定出异常区域的位置信息。

本实施例中，通过参考物体的位置实现了对异常区域的定位，从而有利于精确地对异常区域是否影响车辆通行做出判断。

图2为本发明提供的道路异常区域检测装置的结构示意图，参见图2，本发明提供的道路异常区域检测装置包括获取模块201、检测模块202和结果获得模块203，其中，

获取模块201，用于根据车辆行驶过程中的前方环境图像，获取道路的通行区域图像；其中，所述通行区域图像为从前方环境图像中去除道路中出现的影响车辆通行的实体后的图像；

检测模块202，用于将所述通行区域图像输入第一机器学习模型，得到由所述第一机器学习模型输出的检测结果；其中，所述第一机器学习模型为使用多组第一数据通过机器学习训练得出的，多组第一数据中的每组第一数据均包括：所述通行区域图像和所述通行区域图像的异常区域类别标签，所述异常区域类别包括道路的路面上存在负障碍物的区域或者存在突出物的区域；

结果获得模块203，用于根据所述检测结果，获得从所述通行区域图像中检测出的异常区域。

本实施例提供的道路异常区域检测装置适用于上述各实施例提供的道路异常区域检测方法，在此不再赘述。

本发明提供的道路异常区域检测装置，根据车辆行驶过程中的前方环境图像，获取道路的通行区域图像；将所述通行区域图像输入第一机器学习模型，得到由所述第一机器学习模型输出的检测结果；检测结果中包括从所述通行区域图像中检测出的异常区域。通过训练的第一机器学习模型实现了对道路中异常区域的检测，第一机器学习模型使用多组第一数据通过机器学习进行训练得到，能够准确地对道路中的异常区域进行检测，基于检测结果有利于提高车辆行驶的安全性。

根据所述异常区域在路面的位置信息判断所述异常区域是否可避让；

可选地，在所述异常区域不可避让时，还包括：

图3示例了一种电子设备的实体结构示意图，如图3所示，该电子设备可以包括：处理器(processor)310、通信接口(Communications Interface)320、存储器(memory)330和通信总线340，其中，处理器310，通信接口320，存储器330通过通信总线340完成相互间的通信。处理器310可以调用存储器330中的逻辑指令，以执行道路异常区域检测方法，该方法包括：

此外，上述的存储器330中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。

另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的道路异常区域检测方法，该方法包括：

又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各提供的道路异常区域检测方法，该方法包括：

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims

1.一种道路异常区域检测方法，其特征在于，包括：

2.根据权利要求1所述的道路异常区域检测方法，其特征在于，所述根据车辆行驶过程中的前方环境图像，获取道路的通行区域图像，包括：

3.根据权利要求1所述的道路异常区域检测方法，其特征在于，在根据所述检测结果，获得从所述通行区域图像中检测出的异常区域之后，还包括：

4.根据权利要求3所述的道路异常区域检测方法，其特征在于，所述根据所述异常区域在路面的位置信息判断所述异常区域是否可避让，包括：

5.根据权利要求3所述的道路异常区域检测方法，其特征在于，所述根据所述异常区域在路面上的覆盖面积，以及所述异常区域距路面的最高点或最低点生成危险提示，包括：

6.根据权利要求3所述的道路异常区域检测方法，其特征在于，在所述异常区域不可避让时，还包括：

7.根据权利要求3所述的道路异常区域检测方法，其特征在于，在根据所述异常区域在路面的位置信息判断所述异常区域是否可避让之前，还包括：

8.一种道路异常区域检测装置，其特征在于，包括：

9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述道路异常区域检测方法的步骤。

10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述道路异常区域检测方法的步骤。