CN112163446A

CN112163446A - 一种障碍物检测方法、装置、电子设备及存储介质

Info

Publication number: CN112163446A
Application number: CN202010808495.6A
Authority: CN
Inventors: 张黎明
Original assignee: Zhejiang Geely Holding Group Co Ltd; Zhejiang Geely Automobile Research Institute Co Ltd
Current assignee: Zhejiang Geely Holding Group Co Ltd; Zhejiang Geely Automobile Research Institute Co Ltd
Priority date: 2020-08-12
Filing date: 2020-08-12
Publication date: 2021-01-01
Anticipated expiration: 2040-08-12
Also published as: CN112163446B

Abstract

本申请公开了一种障碍物检测方法、装置、电子设备及存储介质，所述方法包括：采集车辆行车方向上的环境信息获得原始图像，确定出原始图像中的道路消失点以及道路消失点在原始图像中的位置，基于道路消失点的位置从原始图像确定出待识别图像，确定出障碍物在待识别图像中的位置信息，将障碍物在待识别图像中的位置信息转换成障碍物在车辆坐标系下的位置信息，以使车辆基于障碍物在车辆坐标系下的位置信息对障碍物进行避障操作。通过围绕道路消失点进行裁剪得到待识别图像，并基于待识别图像进行检测，这样在提高障碍物检测的准确性的同时，也可以避免使用整张图像的特征进行障碍物检测导致的计算资源浪费，检测速度慢的问题。

Description

一种障碍物检测方法、装置、电子设备及存储介质

技术领域

本申请涉及互联网技术领域，尤其涉及一种障碍物检测方法、装置、电子设备及存储介质。

背景技术

目标检测，也叫做目标提取，是指基于目标几何和统计特征的图像分割，他将目标的分割和识别合二为一，其确定性和实时性是整个系统的一项重要的能力。尤其是在复杂场景中，比如，在智能驾驶的场景中，这是因为智能驾驶的领域，需要对多个物体进行实时处理，那么物体的自动提取和识别就显得尤为重要。

在驾驶场景中，图像中的事物呈现“近大远小”的特征，现有的目标检测方法虽然能对近处的大目标进行检测，但是对远处的小目标检测能力是有限的，因此，对于驾驶场景等目标变化速度较快的场景中，现有技术存在小目标检测结果准确率低的问题。

发明内容

本申请实施例提供了一种障碍物检测方法、装置、电子设备及存储介质，用于提高障碍物检测的准确性的同时，降低较大的计算量，节约计算资源，解决检测耗时长、占用资源大的问题。

一方面，本申请实施例提供了一种障碍物检测方法，该方法包括：

采集车辆行车方向上的环境信息获得原始图像；

确定出原始图像中的道路消失点以及道路消失点在原始图像中的位置；

基于道路消失点的位置从原始图像确定出待识别图像；

确定出障碍物在待识别图像中的位置信息；

将障碍物在待识别图像中的位置信息转换成障碍物在车辆坐标系下的位置信息，以使车辆基于障碍物在车辆坐标系下的位置信息对障碍物进行避障操作。

可选的，确定出原始图像中的道路消失点以及道路消失点在原始图像中的位置，包括：

基于道路消失点检测模型对原始图像进行道路消失点识别，确定道路消失点以及道路消失点在原始图像中的位置；

道路消失点检测模型至少包括四个卷积模块；四个卷积模块串行连接。

可选的，确定出障碍物在待识别图像中的位置信息，包括：

基于障碍物检测模型对待识别图像进行检测，确定出障碍物在待识别图像中的位置信息；

障碍物检测模型至少包括第一卷积模块、第二卷积模块和第三卷积模块；

其中，第一卷积模块、第二卷积模块和第三卷积模块串行连接；第三卷积模块的输入数据包块第一输出数据和第二输出数据；障碍物在待识别图像中的位置信息是基于第一输出数据和第二输出数据确定的。

可选的，确定出障碍物在待识别图像中的位置信息，包括：

确定出障碍物在待识别图像中的位置信息、类别信息和尺寸信息。

可选的，将障碍物在待识别图像中的位置信息转换成障碍物在车辆坐标系下的位置信息，包括：

将障碍物在待识别图像中的位置信息转换成障碍物在原始图像中的位置信息；

将障碍物在原始图像中的位置信息转换成障碍物在车辆坐标系下的位置信息。

可选的，基于道路消失点的位置从原始图像确定出待识别图像，包括：

基于道路消失点的位置和裁剪规则从原始图像中裁剪得到待识别图像；

裁剪规则包括检测距离、检测场景、原始图像的尺寸。

可选的，待识别图像的数量为1，且待识别图像中包括道路消失点；或者；待识别图像的数量大于1，且待识别图像中不包括道路消失点。

可选的，方法还包括训练得到障碍物检测模型的步骤；

训练得到障碍物检测模型包括：

获取样本数据集，样本数据集包括多个训练待识别图像和每个训练待识别图像对应的障碍物在待识别图像中的实际位置信息；

构建预设机器学习模型，将预设机器学习模型确定为当前机器学习模型；

基于当前机器学习模型，对训练待识别图像进行位置信息预测操作，确定障碍物在待识别图像中的预测位置信息；

基于障碍物在待识别图像中的实际位置信息和障碍物在待识别图像中的预测位置信息，确定损失值；

当损失值大于预设阈值时，基于损失值进行反向传播，对当前机器学习模型进行更新以得到更新后的机器学习模型，将更新后的机器学习模型重新确定为当前机器学习模型；重复步骤：基于当前机器学习模型，对训练待识别图像进行位置信息预测操作，确定障碍物在待识别图像中的预测位置信息；

当损失值小于或等于预设阈值时，将当前机器学习模型确定为障碍物检测模型。

可选的，在构建预设机器学习模型，将预设机器学习模型确定为当前机器学习模型之前，还包括：对每个训练待识别图像的障碍物所在的图像区域周围添加属性关联信息。

另一方面提供了一种障碍物检测装置，该装置包括：

采集模块，用于采集车辆行车方向上的环境信息获得原始图像；

第一确定模块，用于确定出原始图像中的道路消失点以及道路消失点在原始图像中的位置；

第二确定模块，用于基于道路消失点的位置从原始图像确定出待识别图像；

第三确定模块，用于确定出障碍物在待识别图像中的位置信息；

转换模块，用于将障碍物在待识别图像中的位置信息转换成障碍物在车辆坐标系下的位置信息，以使车辆基于障碍物在车辆坐标系下的位置信息对障碍物进行避障操作。

另一方面提供了一种电子设备，该电子设备包括处理器和存储器，存储器中存储有至少一条指令或至少一段程序，该至少一条指令或至少一段程序由处理器加载并执行以实现如上述的障碍物检测方法。

另一方面提供了一种计算机可读存储介质，存储介质中存储有至少一条指令或至少一段程序，该至少一条指令或至少一段程序由处理器加载并执行以实现如上述的障碍物检测方法。

本申请实施例提供的障碍物检测方法、装置、电子设备及存储介质，具有如下技术效果：

采集车辆行车方向上的环境信息获得原始图像，确定出原始图像中的道路消失点以及道路消失点在原始图像中的位置，基于道路消失点的位置从原始图像确定出待识别图像，确定出障碍物在待识别图像中的位置信息，将障碍物在待识别图像中的位置信息转换成障碍物在车辆坐标系下的位置信息，以使车辆基于障碍物在车辆坐标系下的位置信息对障碍物进行避障操作。通过在获得的原始图像中识别出道路消失点，随后围绕该道路消失点进行裁剪得到待识别图像，并基于待识别图像进行检测，这样在提高障碍物检测的准确性的同时，也可以避免使用整张图像的特征进行障碍物检测导致的计算资源浪费，检测速度慢的问题。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。

图1是本申请实施例提供的一种应用环境的示意图；

图2是本申请实施例提供的一种障碍物检测方法的流程示意图；

图3是本申请实施例提供的一种道路示意图；

图4是本申请实施例提供的一种道路消失点检测模型的结构示意图；

图5是本申请实施例提供的一种消失点检测模型的检测流程示意图；

图6是本申请实施例提供的一种道路消失点检测模型的训练流程示意图；

图7是本申请实施例提供的一种剪裁示意图；

图8是本申请实施例提供的一种障碍物检测模型的结构示意图；

图9是本申请实施例提供的一种障碍物检测模型的检测流程示意图；

图10是本申请实施例提供的一种障碍物检测模型的训练流程示意图；

图11是本申请实施例提供的一种属性关联信息的添加示意图；

图12是本申请实施例提供的一种障碍物检测装置的结构示意图；

图13是本申请实施例提供的一种障碍物检测方法的服务器的硬件结构框图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或服务器不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

请参阅图1，图1是本申请实施例提供的一种应用环境的示意图，该示意图包括车辆101和服务器102，其中，一种可选的实施方式中，该服务器 102可以是设置在车辆101中的车载服务器，该车载服务器包含，并可以通过车辆上设置的原始图像采集装置来获取原始图像，以备后续可以得到障碍物在原始图像裁剪得到的待识别图像中的位置信息，为后续的车辆避障操作做铺垫。

另一种可选的实施方式中，该车辆101内可以设置有自己的车载服务器，而该车载服务器在车辆内，和图1中显示的服务器102并不是同一个服务器，车载服务器将获得采集得到的原始图像传输给服务器102后，可以由服务器完成后续的步骤，最终得到障碍物在原始图像裁剪得到的待识别图像中的位置信息。下面将第一种情况涉及的车载服务器和第二种情况涉及的服务器统一称呼为服务器。

具体的，服务器102采集车辆101行车方向上的环境信息获得原始图像；

确定出原始图像中的道路消失点以及道路消失点在原始图像中的位置，并基于道路消失点的位置信息从原始图像确定出待识别图像。随后，服务器 102可以确定出障碍物在待识别图像中的位置信息，将障碍物在待识别图像中的位置信息转换成障碍物在车辆坐标系下的位置信息，以使车辆基于障碍物在车辆坐标系下的位置信息对障碍物进行避障操作。

以下介绍本申请一种障碍物检测方法的具体实施例，图2是本申请实施例提供的一种障碍物检测方法的流程示意图，本说明书提供了如实施例或流程图的方法操作步骤，但基于常规或者无创造性的劳动可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式，不代表唯一的执行顺序。在实际中的系统或服务器产品执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境)。具体的如图2所示，该方法可以包括：

S201：采集车辆行车方向上的环境信息获得原始图像。

本申请实施例中，该车辆可以是全自动无人驾驶车辆，也可以是有人驾驶的车辆。也就是说，这个方案可以应用于多种驾驶场景。

一种可选的实施方式中，采集原始图像的可以是安装在车辆上的摄像头，还可以是安装在道路边的，采集视野和安装在车辆上的摄像头采集视野差不多的摄像头。其中，摄像头可以是各种形式的，比如单目摄像头。下面全文将会以安装在车辆上的摄像头为例进行阐述。

具体的，驾驶员启动车辆后，可以对车辆的各个模块进行上电，服务器可以由安装在车辆上的摄像头采集车辆行车方向上的环境信息获得原始图像。

可选的，行车方向可以是沿着车辆所在车道行驶的方向，还可以是沿着车辆所在道路(包括车辆所在车道和车辆临近的车道)行驶的方向，也就是说，行车方向所对应的范围可以有大有小，具体大小可以根据实际情况规定。

行车方向上的环境信息可以包括道路信息(比如路面、车道线，斑马线，道路上的箭头、交通灯或者路标等等)、车辆行人信息、道路边信息 (比如草坪、树木、路灯等等)。因此，摄像头就可以基于自身的视野拍摄包括上述环境信息的原始图像，以备后续对障碍物的检测。

S203：确定出原始图像中的道路消失点以及道路消失点在原始图像中的位置。

一种可选的实施方式，道路消失点可以是现实场景中有平行关系的车道线或者路沿等经过透视变换显示在图片中会相交于一点的相交点。如图3 所示的道路示意图所示，图片上显示的车辆所在车道尽头的中心点可以是道路消失点，或者图片上显示的道路(包括车辆所在车道和车辆临近的车道)尽头的中心点可以是道路消失点。但是由于实际场景中，无论是车道尽头的中心点还是道路(包括车辆所在车道和车辆临近的车道)尽头的中心点都是同一个点，也就是道路和其他事物(比如天空)的交汇点，因此，在实施例中，可以认定为只有一个道路消失点。本申请实施例中，无论是直道还是弯道都会有道路消失点。

一种可选的实施方式中，服务器可以通过检测原始图像得到原始图像中的道路区域，随后将道路尽头和其他事物的交互点直接确定为道路消失点，并确定出该道路消失点所在的像素位置，该像素位置就是道路消失点在原始图像中的位置。

另一种可选的实施方式中，服务器中设有可以检测道路消失点的模型，具体的，服务器可以基于道路消失点检测模型对原始图像进行道路消失点识别，确定道路消失点以及该道路消失点在原始图像中的位置。

可选的，该道路消失点检测模型可以至少包括四个卷积模块：卷积模块1、卷积模块2、卷积模块3和卷积模块4。可选的，这4个卷积模块中的每个卷积模块可以包括一个卷积层，还可以包括多个卷积层，或者这4 个卷积模块包括不同数量的卷积层。其中，若这4个卷积模块中存在包含多个卷积层的卷积模块，则这个卷积模块中的多个卷积层可以呈现串行连接结构，可以呈现并行连接结构，还可以呈现串并结合的连接结构。如图4 所示，这四个卷积模块是串行连接的，该道路消失点检测模型的实施步骤可以如图5所示：

S2031：将原始图像输入该道路消失点检测模型；

S2032：利用卷积模块1对该原始图像进行卷积运算，得到对应的特征图；

S2033：利用卷积模块2对该特征图进行卷积运算，得到象限掩膜热点图；

S2034：利用卷积模块3对该象限掩膜热点图进行卷积运算，得到道路消失点热点图；

S2035：利用卷积模块4对道路消失点热点图进行卷积运算，得到原始图像中的道路消失点以及道路消失点在原始图像中的位置。

上述的四个卷积模块组成道路消失点检测模型只是一种可选的实施方式，其它可行的模型结构(比如，池化模块，全连接模块等)都可以应用在该道路消失点检测模型上。

其中，道路消失点检测模型是一种机器学习模型，机器学习(Machine Learning,ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。机器学习可以分为有监督的机器学习，无监督的机器学习和半监督的机器学习。可选的，道路消失点检测模型可以使用卷积神经网络或其他具有类似功能的神经网络结构，并根据需要进行训练、验证、测试数据获取的网络模型。

下面基于一种有监督的机器学习介绍如何训练道路消失点检测模型，如图6所示，包括：

S601：获取样本数据集，样本数据集包括多个训练原始图像和每个训练原始图像对应的实际道路消失点；

S603：构建预设机器学习模型，将预设机器学习模型确定为当前机器学习模型；

S605：基于当前机器学习模型，对训练原始图像进行道路消失点检测操作，确定训练原始图像对应的预测道路消失点；

S607：基于训练原始图像对应的实际道路消失点和预测道路消失点，确定损失值；

S609：判断损失值是否大于预设阈值，若是，则转至步骤S611；否则，转至步骤S613；

S611：基于损失值进行反向传播，对当前机器学习模型进行更新以得到更新后的机器学习模型，将更新后的机器学习模型重新确定为当前机器学习模型；随后，转至步骤S605；

S613：将当前机器学习模型确定为道路消失点检测模型。

其中，本申请实施例中的样本数据集可以存储在某个存储区域，该存储区域可以是一个区块链。其中，区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层。

区块链底层平台可以包括用户管理、基础服务、智能合约以及运营监控等处理模块。其中，用户管理模块负责所有区块链参与者的身份信息管理，包括维护公私钥生成(账户管理)、密钥管理以及用户真实身份和区块链地址对应关系维护(权限管理)等，并且在授权的情况下，监管和审计某些真实身份的交易情况，提供风险控制的规则配置(风控审计)；基础服务模块部署在所有区块链节点设备上，用来验证业务请求的有效性，并对有效请求完成共识后记录到存储上，对于一个新的业务请求，基础服务先对接口适配解析和鉴权处理(接口适配)，然后通过共识算法将业务信息加密(共识管理)，在加密之后完整一致的传输至共享账本上(网络通信)，并进行记录存储；智能合约模块负责合约的注册发行以及合约触发和合约执行，开发人员可以通过某种编程语言定义合约逻辑，发布到区块链上(合约注册)，根据合约条款的逻辑，调用密钥或者其它的事件触发执行，完成合约逻辑，同时还提供对合约升级注销的功能；运营监控模块主要负责产品发布过程中的部署、配置的修改、合约设置、云适配以及产品运行中的实时状态的可视化输出，例如：告警、监控网络情况、监控节点设备健康状态等。平台产品服务层提供典型应用的基本能力和实现框架，开发人员可以基于这些基本能力，叠加业务的特性，完成业务逻辑的区块链实现。应用服务层提供基于区块链方案的应用服务给业务参与方进行使用。

S205：基于道路消失点的位置从原始图像确定出待识别图像。

可选的，服务器可以基于道路消失点在原始图像中的位置直接从原始图像确定出待识别图像。

可选的，服务器还可以基于道路消失点的位置和裁剪规则从原始图像中裁剪得到待识别图像，其中，裁剪规则可以包括检测距离、检测场景、原始图像的尺寸。检测距离可以是车辆到道路消失点的距离；检测场景可以是高速公路，城市道路，乡间道路等等；原始图像的尺寸可以是用像素表示的尺寸。可选的，裁剪规则除了包括检测距离、检测场景、原始图像的尺寸，还可以包括预设的检测效果。

一种可选的实施方式中，如图7所示的剪裁示意图，待识别图像的数量为1，且待识别图像中包括道路消失点，如此，服务器可以直接对这张待识别图像进行处理。

另一种可选的实施方式中，待识别图像的数量可以大于1，且每个待识别图像中不包括道路消失点。也就是说，服务器可以围绕着道路消失点裁剪得到多张待识别图像，其中，每张待识别图像都可以和别的待识别图像有重叠之处。这种裁剪得到多张待识别图像的方式可以使得后续检测障碍物的方法更细致，然而也提高了处理器的负载，造成了对硬件性能的极大挑战。

另一种可选的实施方式中，待识别图像的数量可以大于1，且有的待识别图像不包括道路消失点，有的待识别图像中包括道路消失点。

S207：确定出障碍物在待识别图像中的位置信息。

一种可选的实施方式中，服务器可以按照传统的方法直接基于待识别图像确定是否存在障碍物，若存在，则确定出障碍物在待识别图像中的位置信息。

另一种可选的实施方式中，服务器基于障碍物检测模型对待识别图像进行检测，确定出障碍物在待识别图像中的位置信息。

可选的，如图8所示，障碍物检测模型至少包括第一卷积模块、第二卷积模块和第三卷积模块；其中，第一卷积模块、第二卷积模块和第三卷积模块串行连接；第三卷积模块的输入数据包块第一输出数据和第二输出数据；障碍物在待识别图像中的位置信息是基于第一输出数据和第二输出数据确定的。可选的，这3个卷积模块中的每个卷积模块可以包括一个卷积层，还可以包括多个卷积层，或者这3个卷积模块包括不同数量的卷积层。其中，若这3个卷积模块中存在包含多个卷积层的卷积模块，则这个卷积模块中的多个卷积层可以呈现串行连接结构，可以呈现并行连接结构，还可以呈现串并结合的连接结构。

该障碍物检测模型的实施步骤可以如图9所示：

S2071：将待识别图像输入该障碍物检测模型；

S2072：利用第一卷积模块对待识别图像进行卷积运算，得到对应的特征图；

S2073：利用第二卷积模块对特征图进行卷积运算，得到融合特征；

S2074：利用第三卷积模块对融合特征进行卷积运算，得到障碍物中心点热点图；

S2075：利用第三卷积模块对融合特征进行卷积运算，得到位置补偿热点图；

也就是说，第三卷积模块只有一个数据输入，即第二卷积模块的输出数据。第二卷积模块的输出数据输入至第三卷积模块之后，通过第三卷积模块中的卷积层的卷积运算后，得到两个输出数据，即障碍物中心点热点图和位置补偿热点图。

S2076：将障碍物中心点根据位置补偿映射到待识别图像上，以及该障碍物在待识别图像中的位置信息。

上述的三个卷积模块组成障碍物检测模型只是一种可选的实施方式，其他可行的模型结构(比如，池化模块，全连接模块等)都可以应用在该障碍物检测模型上。

其中，障碍物检测模型是一种机器学习模型，机器学习(Machine Learning,ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。机器学习可以分为有监督的机器学习，无监督的机器学习和半监督的机器学习。可选的，障碍物检测模型可以使用卷积神经网络或其他具有类似功能的神经网络结构，并根据需要进行训练、验证、测试数据获取的网络模型。

下面基于一种有监督的机器学习介绍如何训练障碍物检测模型，如图 10所示，包括：

S1001：获取样本数据集，样本数据集包括多个训练待识别图像和每个训练待识别图像对应的障碍物在待识别图像中的实际位置信息；

S1003：构建预设机器学习模型，将预设机器学习模型确定为当前机器学习模型；

S1005：基于当前机器学习模型，对训练待识别图像进行位置信息预测操作，确定障碍物在待识别图像中的预测位置信息；

S1007：基于障碍物在待识别图像中的实际位置信息和障碍物在待识别图像中的预测位置信息，确定损失值；

S1009：判断损失值是否大于预设阈值，若是，则转至步骤S1011；否则，转至步骤S1013；

S1011：基于损失值进行反向传播，对当前机器学习模型进行更新以得到更新后的机器学习模型，将更新后的机器学习模型重新确定为当前机器学习模型；随后，转至步骤S1005；

S1013：将当前机器学习模型确定为障碍物检测模型。

本申请实施例中，对于图像中较小的目标，由于本身包含像素较少，使用深度学习方法对其检测时，其特征信息会在下采样的过程中大部分丢失，导致最终无法检测到小目标物体，因此，一种可选的实施方式中，在训练得到障碍物检测模型之前，还可以对每个训练待识别图像的障碍物所在的图像区域周围添加属性关联信息。

具体的，服务器在对障碍物检测深度学习模型进行训练之前，如图11 所示，对训练数据集中的每张训练待识别图像中需要检测的障碍物(不管尺寸大小)增加属性关联信息。其中，属性关联信息可以是和障碍物属性相关或者属性一致的事物。属性关联信息可以是和障碍物的属性相关的周围环境信息，比如，障碍物是自行车，周围环境信息可以是行人，属性关联信息还可以是和障碍物的属性一致的事物，比如，障碍物是行人的肩膀以上部分，则属性关联信息可以是补全的行人肩膀以下部分。

添加属性关联信息的目的是增加障碍物真值的范围，训练出检测精度较高的障碍物检测模型，以提高障碍物检测的效果。本发明可以采用高斯掩膜方法确定上障碍物周围环境区域的大小，也可以使用其它方法确定障碍物周围的环境区域的大小，使用高斯掩膜方法增加障碍物周围属性相关信息的步骤为：

(1)将障碍物附近相关区域分为障碍物真值区域和属性相关信息区域，如图11矩形区域表示障碍物真值区域，圆形区域中除去矩形区域的区域表示属性相关信息区域。

使用高斯掩膜方法确定属性相关信息区域的大小，数学表达式如下：

使用对障碍物增加了属性相关信息区域的图像对障碍物检测深度学习模型进行训练，障碍物周围环境区域的大小可根据障碍物真值区域的大小以及最终的障碍物检测结果进行调整。

本申请实施例中，障碍物检测模型除了可以确定障碍物在待识别图像中的位置信息之外，还可以确定出障碍物在所述待识别图像中的类别信息和尺寸信息。

S209：将障碍物在待识别图像中的位置信息转换成障碍物在车辆坐标系下的位置信息，以使车辆基于障碍物在车辆坐标系下的位置信息对障碍物进行避障操作。

一种可选的实施方式中，服务器利用预先存储的转换公式直接将障碍物在待识别图像中的位置信息转换成障碍物在车辆坐标系下的位置信息。

另一种可选的实施方式中，服务器可以将障碍物在待识别图像中的位置信息转换成障碍物在原始图像中的位置信息，障碍物在原始图像中的位置信息转换成障碍物在车辆坐标系下的位置信息。

进一步的，服务器可以将得到的车辆坐标系下的障碍物的位置信息传给车辆的决策规划模块；决策规划模块根据得到的障碍物的位置信息规划车辆行驶轨迹，避开障碍物，保证车辆行驶安全。

此外，障碍物检测模型除了可以确定障碍物在待识别图像中的位置信息和障碍物在所述待识别图像中的尺寸信息之外，还可以确定障碍物到底是什么，也就是确定障碍物的类别信息，比如，该障碍物是垃圾桶，还是塑料袋，来更好的辅助车辆进行避障操作。假设障碍物检测模型检测到了障碍物之后，虽然都会使得车辆发出避障预警，但是基于障碍物不同的类别信息会做出不同的避障反应，使得坐在车里的乘客受到的影响更小。比如，第一种情况，检测到了一个垃圾桶，车辆发出避障预警之后，就会重新规划行驶车道。第二种情况，检测到了一个塑料袋，可能就按照原速度行驶过去，也可能降低一定的速度行驶过去。

下面基于上述描述的位置信息和类别信息介绍如何训练障碍物检测模型，包括：

步骤1：获取样本数据集，样本数据集包括多个训练待识别图像和每个训练待识别图像对应的障碍物在待识别图像中的实际位置信息和实际类别信息；

步骤2：构建预设机器学习模型，将预设机器学习模型确定为当前机器学习模型；

步骤3：基于当前机器学习模型，对训练待识别图像进行位置信息预测操作，确定障碍物在待识别图像中的预测位置信息和预测类别信息；

步骤4：基于障碍物在待识别图像中的实际位置信息和实际类别信息，以及障碍物在待识别图像中的预测位置信息和预测类别信息，确定损失值；

步骤5：判断损失值是否大于预设阈值，若是，则转至步骤6；否则，转至步骤7；

步骤6：基于损失值进行反向传播，对当前机器学习模型进行更新以得到更新后的机器学习模型，将更新后的机器学习模型重新确定为当前机器学习模型；随后，转至步骤3；

步骤7：将当前机器学习模型确定为障碍物检测模型。

可选的，道路消失点检测模型和障碍物检测模型还可以是服务器中一个模型中不同的子模型。

现有技术中，也可以提供一些检测方法检测道路上的障碍物，但是绝大多数都是专注于检测离行驶的车辆距离较近的障碍物，当然，可能也存在部分可以检测离行驶的车辆较远的障碍物，然而，这些方法都是使用整张图像的特征对小目标障碍物进行多次检测，由于小目标障碍物在图像中只占很小一部分像素，使用整张图像的特征进行小目标障碍物检测不仅会造成计算资源的浪费，增加了检测的时间，而且将该方法应用到无人驾驶车辆上容易产生误识别现象，因为该方法对整张图像中的所有障碍物进行检测，而保证无人驾驶车辆的安全行驶只需要检测其行驶方向上的障碍物。

本申请通过在获得的原始图像中识别出道路消失点，随后围绕该道路消失点进行裁剪得到待识别图像，并基于待识别图像进行检测，这样就避免了使用整张图像的特征进行障碍物检测，降低了较大的计算量，节约了计算资源，解决了检测耗时长、占用资源大的问题。同时，由于该道路消失点是和行车方向上有关的，突出本申请就是想要检测行车方向上离车辆较远的小目标障碍物(和障碍物本身的尺寸无关，主要表达的是距离远而呈现出的尺寸小的障碍物)，更加有针对性。此外，由于在图像中的道路消失点与远距离小目标障碍物具有固有的位置临近关系，所以利用该位置关系自动排除图像中其它位置上对无人驾驶车辆不产生危险的小目标障碍物，解决了容易发生误识别的问题。

本申请实施例还提供了一种障碍物检测装置，图12是本申请实施例提供的一种障碍物检测装置的结构示意图，如图12所示，该装置包括：

采集模块1201用于采集车辆行车方向上的环境信息获得原始图像；

第一确定模块1202用于确定出原始图像中的道路消失点以及道路消失点在原始图像中的位置；

第二确定模块1203用于基于道路消失点的位置从原始图像确定出待识别图像；

第三确定模块1204用于确定出障碍物在待识别图像中的位置信息；

转换模块1205用于将障碍物在待识别图像中的位置信息转换成障碍物在车辆坐标系下的位置信息，以使车辆基于障碍物在车辆坐标系下的位置信息对障碍物进行避障操作。

在一种可选的实施方式中，

第一确定模块1202用于基于道路消失点检测模型对原始图像进行道路消失点识别，确定道路消失点以及道路消失点在原始图像中的位置；

在一种可选的实施方式中，

第三确定模块1204用于基于障碍物检测模型对待识别图像进行检测，确定出障碍物在待识别图像中的位置信息；

在一种可选的实施方式中，

第三确定模块1204用于确定出障碍物在待识别图像中的位置信息、类别信息和尺寸信息。

在一种可选的实施方式中，

转换模块1205用于将障碍物在待识别图像中的位置信息转换成障碍物在原始图像中的位置信息；将障碍物在原始图像中的位置信息转换成障碍物在车辆坐标系下的位置信息。

在一种可选的实施方式中，

第二确定模块1203用于基于道路消失点的位置和裁剪规则从原始图像中裁剪得到待识别图像；裁剪规则包括检测距离、检测场景、原始图像的尺寸。

在一种可选的实施方式中，还包括训练模块，用于：

在一种可选的实施方式中，训练模块还用于：

对每个训练待识别图像的障碍物所在的图像区域周围添加属性关联信息

本申请实施例中的装置与方法实施例基于同样地申请构思。

本申请实施例所提供的方法实施例可以在计算机终端、服务器或者类似的运算装置中执行。以运行在服务器上为例，图13是本申请实施例提供的一种障碍物检测方法的服务器的硬件结构框图。如图13所示，该服务器 1300可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上中央处理器(Central Processing Units，CPU)1310(处理器1310可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)、用于存储数据的存储器1330，一个或一个以上存储应用程序1323或数据1322的存储介质1320(例如一个或一个以上海量存储设备)。其中，存储器1330 和存储介质1320可以是短暂存储或持久存储。存储在存储介质1320的程序可以包括一个或一个以上模块，每个模块可以包括对服务器中的一系列指令操作。更进一步地，中央处理器1310可以设置为与存储介质1320通信，在服务器1300上执行存储介质1320中的一系列指令操作。服务器1300 还可以包括一个或一个以上电源1360，一个或一个以上有线或无线网络接口1350，一个或一个以上输入输出接口1340，和/或，一个或一个以上操作系统1321，例如Windows ServerTM，Mac OS XTM，UnixTM,LinuxTM， FreeBSDTM等等。

输入输出接口1340可以用于经由一个网络接收或者发送数据。上述的网络具体实例可包括服务器1300的通信供应商提供的无线网络。在一个实例中，输入输出接口1340包括一个网络适配器(Network Interface Controller，NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，输入输出接口1340可以为射频(RadioFrequency， RF)模块，其用于通过无线方式与互联网进行通讯。

本领域普通技术人员可以理解，图13所示的结构仅为示意，其并不对上述电子装置的结构造成限定。例如，服务器1300还可包括比图13中所示更多或者更少的组件，或者具有与图13所示不同的配置。

本申请的实施例还提供了一种存储介质，所述存储介质可设置于服务器之中以保存用于实现方法实施例中一种障碍物检测方法相关的至少一条指令、至少一段程序、代码集或指令集，该至少一条指令、该至少一段程序、该代码集或指令集由该处理器加载并执行以实现上述障碍物检测方法。

可选地，在本实施例中，上述存储介质可以位于计算机网络的多个网络服务器中的至少一个网络服务器。可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

由上述本申请提供的障碍物检测方法、设备或存储介质的实施例可见，本申请中采集车辆行车方向上的环境信息获得原始图像，确定出原始图像中的道路消失点以及道路消失点在原始图像中的位置，基于道路消失点的位置从原始图像确定出待识别图像，确定出障碍物在待识别图像中的位置信息，将障碍物在待识别图像中的位置信息转换成障碍物在车辆坐标系下的位置信息，以使车辆基于障碍物在车辆坐标系下的位置信息对障碍物进行避障操作。通过在获得的原始图像中识别出道路消失点，随后围绕该道路消失点进行裁剪得到待识别图像，并基于待识别图像进行检测，这样在提高障碍物检测的准确性的同时，也可以避免使用整张图像的特征进行障碍物检测导致的计算资源浪费，检测速度慢的问题。

需要说明的是：上述本申请实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于设备实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上所述仅为本申请的较佳实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims

1.一种障碍物检测方法，其特征在于，所述方法包括：

采集车辆行车方向上的环境信息获得原始图像；

确定出所述原始图像中的道路消失点以及所述道路消失点在所述原始图像中的位置；

基于所述道路消失点的位置从所述原始图像确定出待识别图像；

确定出障碍物在所述待识别图像中的位置信息；

将所述障碍物在所述待识别图像中的位置信息转换成所述障碍物在所述车辆坐标系下的位置信息，以使所述车辆基于所述障碍物在所述车辆坐标系下的位置信息对所述障碍物进行避障操作。

2.根据权利要求1所述的方法，其特征在于，所述确定出所述原始图像中的道路消失点以及所述道路消失点在所述原始图像中的位置，包括：

基于道路消失点检测模型对所述原始图像进行道路消失点识别，确定所述道路消失点以及所述道路消失点在所述原始图像中的位置；

所述道路消失点检测模型至少包括四个卷积模块；所述四个卷积模块串行连接。

3.根据权利要求1所述的方法，其特征在于，所述确定出障碍物在所述待识别图像中的位置信息，包括：

基于障碍物检测模型对所述待识别图像进行检测，确定出所述障碍物在所述待识别图像中的位置信息；

所述障碍物检测模型至少包括第一卷积模块、第二卷积模块和第三卷积模块；

其中，所述第一卷积模块、所述第二卷积模块和所述第三卷积模块串行连接；所述第三卷积模块的输入数据包块第一输出数据和第二输出数据；所述障碍物在所述待识别图像中的位置信息是基于所述第一输出数据和所述第二输出数据确定的。

4.根据权利要求1或者3所述的方法，其特征在于，所述确定出所述障碍物在所述待识别图像中的位置信息，包括：

确定出所述障碍物在所述待识别图像中的位置信息、类别信息和尺寸信息。

5.根据权利要求1所述的方法，其特征在于，将所述障碍物在所述待识别图像中的位置信息转换成所述障碍物在所述车辆坐标系下的位置信息，包括：

将所述障碍物在所述待识别图像中的位置信息转换成所述障碍物在所述原始图像中的位置信息；

将所述障碍物在所述原始图像中的位置信息转换成所述障碍物在所述车辆坐标系下的位置信息。

6.根据权利要求1所述的方法，其特征在于，所述基于所述道路消失点的位置从所述原始图像确定出待识别图像，包括：

基于所述道路消失点的位置和裁剪规则从所述原始图像中裁剪得到所述待识别图像；

所述裁剪规则包括检测距离、检测场景、所述原始图像的尺寸。

7.根据权利要求1或者6所述的方法，其特征在于，

所述待识别图像的数量为1，且所述待识别图像中包括所述道路消失点；

或者；

所述待识别图像的数量大于1，且所述待识别图像中不包括所述道路消失点。

8.根据权利要求3所述的方法，其特征在于，所述方法还包括训练得到所述障碍物检测模型的步骤；

所述训练得到所述障碍物检测模型包括：

获取样本数据集，所述样本数据集包括多个训练待识别图像和每个所述训练待识别图像对应的障碍物在所述待识别图像中的实际位置信息；

构建预设机器学习模型，将所述预设机器学习模型确定为当前机器学习模型；

基于所述当前机器学习模型，对所述训练待识别图像进行位置信息预测操作，确定所述障碍物在所述待识别图像中的预测位置信息；

基于所述障碍物在所述待识别图像中的实际位置信息和所述障碍物在所述待识别图像中的预测位置信息，确定损失值；

当所述损失值大于预设阈值时，基于所述损失值进行反向传播，对所述当前机器学习模型进行更新以得到更新后的机器学习模型，将所述更新后的机器学习模型重新确定为所述当前机器学习模型；重复步骤：基于所述当前机器学习模型，对所述训练待识别图像进行位置信息预测操作，确定所述障碍物在所述待识别图像中的预测位置信息；

当所述损失值小于或等于所述预设阈值时，将所述当前机器学习模型确定为所述障碍物检测模型。

9.根据权利要求8所述的方法，其特征在于，在所述构建预设机器学习模型，将所述预设机器学习模型确定为当前机器学习模型之前，还包括：

对每个所述训练待识别图像的障碍物所在的图像区域周围添加属性关联信息。

10.一种障碍物检测装置，其特征在于，所述装置包括：

第一确定模块，用于确定出所述原始图像中的道路消失点以及所述道路消失点在所述原始图像中的位置；

第二确定模块，用于基于所述道路消失点的位置从所述原始图像确定出待识别图像；

第三确定模块，用于确定出障碍物在所述待识别图像中的位置信息；

转换模块，用于将所述障碍物在所述待识别图像中的位置信息转换成所述障碍物在所述车辆坐标系下的位置信息，以使所述车辆基于所述障碍物在所述车辆坐标系下的位置信息对所述障碍物进行避障操作。

11.一种电子设备，其特征在于，所述电子设备包括处理器和存储器，所述存储器中存储有至少一条指令或至少一段程序，所述至少一条指令或所述至少一段程序由所述处理器加载并执行如权利要求1-9任一所述的障碍物检测方法。

12.一种计算机存储介质，其特征在于，所述计算机存储介质中存储有至少一条指令或至少一段程序，所述至少一条指令或至少一段程序由处理器加载并执行以实现如权利要求1-9任一所述的障碍物检测方法。