CN110414392B - 一种障碍物距离的确定方法及装置 - Google Patents

一种障碍物距离的确定方法及装置 Download PDF

Info

Publication number
CN110414392B
CN110414392B CN201910635435.6A CN201910635435A CN110414392B CN 110414392 B CN110414392 B CN 110414392B CN 201910635435 A CN201910635435 A CN 201910635435A CN 110414392 B CN110414392 B CN 110414392B
Authority
CN
China
Prior art keywords
obstacle
thermal image
thermal
detection model
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910635435.6A
Other languages
English (en)
Other versions
CN110414392A (zh
Inventor
邵振洲
关永
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Tianshixing Intelligent Technology Co ltd
Original Assignee
Beijing Tianshixing Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Tianshixing Intelligent Technology Co ltd filed Critical Beijing Tianshixing Intelligent Technology Co ltd
Priority to CN201910635435.6A priority Critical patent/CN110414392B/zh
Publication of CN110414392A publication Critical patent/CN110414392A/zh
Application granted granted Critical
Publication of CN110414392B publication Critical patent/CN110414392B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例提供了一种障碍物距离的确定方法及装置。所述方法包括：获取道路上的热图像和非热图像；将所述热图像输入第一检测模型；获取第一检测模型确定的所述热图像中的障碍物；根据热图像中的障碍物，以及预设的热图像和非热图像之间的位置对应关系，确定非热图像中的障碍物；获取惯性传感器采集的运动参数，根据运动参数，确定非热图像中的障碍物深度；根据障碍物深度，确定障碍物与车辆之间的距离。应用本申请实施例提供的方案，能够确定障碍物与车辆之间的距离，无需使用激光雷达系统，降低自主和辅助驾驶车辆的设备成本。

Description

一种障碍物距离的确定方法及装置
技术领域
本申请涉及自动驾驶技术领域，特别是涉及一种障碍物距离的确定方法及装置。
背景技术
自主和辅助驾驶技术是通过控制系统控制车辆行驶，不需要或只需要少量人工操控的一种技术。自主和辅助驾驶车辆的应用正在逐渐地改变着人们的生活。在对车辆进行控制时，控制系统需要监测道路上的障碍物与本车辆之间的距离，根据该距离对车辆的行驶做出相应调整。
现有技术中，车辆可以通过激光雷达系统检测障碍物与本车辆之间的距离。通常，采用激光雷达系统可以检测到周围障碍物与车辆之间的距离，但是激光雷达系统造价昂贵，提高了自主和辅助驾驶车辆的设备成本。
发明内容
本申请实施例的目的在于提供一种障碍物距离的确定方法及装置，以确定障碍物与车辆之间的距离，无需使用激光雷达系统，降低自主和辅助驾驶车辆的设备成本。
第一方面，本发明实施例提供了一种障碍物距离的确定方法，所述方法包括：
获取道路上的热图像和非热图像；
将所述热图像输入第一检测模型；其中，所述第一检测模型，用于根据所述第一检测模型训练完成时得到的第一模型参数，确定输入的热图像中的障碍物；所述第一检测模型为预先根据样本热图像训练完成；
获取所述第一检测模型确定的所述热图像中的障碍物；
根据所述热图像中的障碍物，以及预设的所述热图像和非热图像之间的位置对应关系，确定所述非热图像中的障碍物；
获取惯性传感器采集的运动参数，根据所述运动参数，确定所述非热图像中的障碍物深度；
根据所述障碍物深度，确定所述障碍物与车辆之间的距离。
可选的，一种具体实现方式中，所述第一检测模型采用以下方式训练得到：
获取样本热图像和所述样本热图像中的标记障碍物；
根据第一模型参数，提取所述样本热图像的特征；
根据所提取的特征，确定所述样本热图像中的样本障碍物；
确定所述样本障碍物与所述标记障碍物之间的差异，判断所述差异是否小于预设差异阈值；
如果否，则根据所述差异调整所述第一模型参数，返回执行所述根据第一模型参数，提取所述样本热图像的特征的步骤。
可选的，一种具体实现方式中，各个样本热图像的背景不同；和/或，各个样本热图像的标记障碍物的类型不同；和/或，各个样本热图像的标记障碍物的姿势不同。
可选的，一种具体实现方式中，所述根据所述热图像中的障碍物，以及预设的所述热图像和非热图像之间的对应关系，确定所述非热图像中的障碍物的步骤，包括：
将所述非热图像输入第二障碍物检测模型；其中，所述第二障碍物检测模型，用于根据所述第二障碍物检测模型训练完成时得到的第二模型参数，确定输入的非热图像中的参考障碍物；所述第二障碍物检测模型为预先根据样本非热图像训练完成；
获取所述第二障碍物检测模型确定的所述非热图像中的参考障碍物；
根据所述非热图像中的参考障碍物，所述热图像中的障碍物，以及预设的所述热图像和非热图像之间的对应关系，确定所述非热图像中的障碍物。
可选的，一种具体实现方式中，在获取道路上的热图像和非热图像之后，所述方法还包括：
确定所述热图像中的道路区域；
所述将所述热图像输入第一检测模型的步骤，包括：
将所述热图像中的道路区域输入第一检测模型。
可选的，一种具体实现方式中，所述根据所述运动参数，确定所述非热图像中的障碍物深度的步骤，包括：
获取所述非热图像之前的连续多张非热图像和所述连续多张非热图像中，每一非热图像的运动参数；
针对所述非热图像和所述连续多张非热图像中的每一非热图像，利用该非热图像的运动参数提取该非热图像中所述障碍物的特征点；
基于所提取到的每一特征点，生成所述障碍物的深度流；
从所述深度流中，提取所述障碍物的场景深度，作为所述非热图像中的障碍物深度。
第二方面，本发明实施例提供了一种障碍物距离的确定装置，所述装置包括：
图像获取模块，用于获取道路上的热图像和非热图像；
模型输入模块，用于将所述热图像输入第一检测模型；其中，所述第一检测模型，用于根据所述第一检测模型训练完成时得到的第一模型参数，确定输入的热图像中的障碍物；所述第一检测模型为预先根据样本热图像训练完成；
障碍物获取模块，还用于获取所述第一检测模型确定的所述热图像中的障碍物；
障碍物确定模块，用于根据所述热图像中的障碍物，以及预设的所述热图像和非热图像之间的位置对应关系，确定所述非热图像中的障碍物；
深度确定模块，用于获取惯性传感器采集的运动参数，根据所述运动参数，确定所述非热图像中的障碍物深度；
距离确定模块，用于根据所述障碍物深度，确定所述障碍物与车辆之间的距离。
可选的，一种具体实现方式中，所述装置还包括模型训练模块，用于采用以下过程训练得到所述第一检测模型：
获取样本热图像和所述样本热图像中的标记障碍物；
根据第一模型参数，提取所述样本热图像的特征；
根据所提取的特征，确定所述样本热图像中的样本障碍物；
确定所述样本障碍物与所述标记障碍物之间的差异，判断所述差异是否小于预设差异阈值；
如果否，则根据所述差异调整所述第一模型参数，返回执行所述根据第一模型参数，提取所述样本热图像的特征的步骤。
可选的，一种具体实现方式中，各个样本热图像的背景不同；和/或，各个样本热图像的标记障碍物的类型不同；和/或，各个样本热图像的标记障碍物的姿势不同。
可选的，一种具体实现方式中，所述障碍物确定模块，具体用于：
将所述非热图像输入第二障碍物检测模型；其中，所述第二障碍物检测模型，用于根据所述第二障碍物检测模型训练完成时得到的第二模型参数，确定输入的非热图像中的参考障碍物；所述第二障碍物检测模型为预先根据样本非热图像训练完成；
获取所述第二障碍物检测模型确定的所述非热图像中的参考障碍物；
根据所述非热图像中的参考障碍物，所述热图像中的障碍物，以及预设的所述热图像和非热图像之间的对应关系，确定所述非热图像中的障碍物。
可选的，一种具体实现方式中，该装置还包括：
区域确定模块，用于确定所述热图像中的道路区域；
所述模型输入模块具体用于：将所述热图像中的道路区域输入第一检测模型。
可选的，一种具体实现方式中，所述深度确定模块具体用于：
获取所述非热图像之前的连续多张非热图像和所述连续多张非热图像中，每一非热图像的运动参数；针对所述非热图像和所述连续多张非热图像中的每一非热图像，利用该非热图像的运动参数提取该非热图像中所述障碍物的特征点；基于所提取到的每一特征点，生成所述障碍物的深度流；从所述深度流中，提取所述障碍物的场景深度，作为所述非热图像中的障碍物深度。
第三方面，本发明实施例提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现上述第一方面提供的任一障碍物距离的确定方法的步骤。
第四方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面提供的任一障碍物距离的确定方法的步骤。
本申请实施例提供的障碍物距离的确定方法及装置，可以将获取的热图像输入第一检测模型，得到热图像中的障碍物，根据热图像与非热图像之间的对应关系，确定获取的非热图像中的障碍物，根据惯性传感器采集的运动参数，确定非热图像中的障碍物深度，根据该障碍物深度，确定障碍物与车辆之间的距离。本申请实施例可以根据热图像、非热图像和惯性传感器采集的参数实现对障碍物距离的检测，即可以采用热成像单元、非热成像单元和惯性传感器实现对障碍物距离的检测。这些设备的总成本远低于激光雷达系统的设备成本，因此能够降低自主和辅助驾驶车辆的设备成本。当然，实施本申请的任一产品或方法并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍。显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的障碍物距离的确定方法的一种流程示意图；
图2a为本申请实施例提供的热图像和非热图像的一种参考图；
图2b为本申请实施例提供的从热图像中检测障碍物的一种参考图；
图3为图1中步骤S104的一种流程示意图；
图4为本申请实施例提供的第二检测模型的一种应用示意图；
图5为本申请实施例提供的短距离和长距离的场景深度估计结果参考图；
图6为本申请实施例提供的障碍物距离的确定装置的一种结构示意图；
图7为本申请实施例提供的电子设备的一种结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整的描述。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
为了在不使用激光雷达系统的情况下确定障碍物与车辆之间的距离，降低自主和辅助驾驶车辆的设备成本，本申请实施例提供了一种障碍物距离的确定方法及装置。本申请实施例可以应用于电子设备，该电子设备可以为普通计算机、服务器、智能移动设备、车载控制设备等具有计算处理能力的设备。下面通过具体实施例，对本申请进行详细说明。
图1为本申请实施例提供的障碍物距离的确定方法的一种流程示意图。该方法包括如下步骤：
步骤S101：获取道路上的热图像和非热图像。
其中，热图像是由热成像单元采集的图像，热成像单元可以为热成像仪等设备。非热图像可以理解为除了热图像之外的普通图像，例如RGB(红、绿、蓝)图像或YUV(亮度、色度)图像等。非热图像可以为普通图像采集单元采集的图像，普通图像采集单元可以为普通的摄像头、摄像机等。热图像和非热图像的图像采集范围相同，采集图像时的视场相同。
本实施例中，电子设备内部可以包括热成像单元和/或非热成像单元，也可以不包括热成像单元和/或非热成像单元。
在获取道路的热图像时，当电子设备内部包括热成像单元时，可以直接获取热成像单元采集的热图像；当电子设备内部不包括热成像单元时，可以向热成像单元发送热图像获取请求，接收热成像单元发送的热图像。
在获取道路的非热图像时，当电子设备内部非热成像单元时，可以直接获取非热成像单元采集的非热图像；当电子设备内部不包括非热成像单元时，可以向非热成像单元发送热图像获取请求，接收非热成像单元发送的非热图像。
其中，电子设备在每次确定障碍物距离时，可以获取至少一张非热图像。
参见图2a，图2a为热图像和非热图像的一种参考图，其中，左侧图像为非热图像，右侧图像为热图像。
步骤S102：将热图像输入第一检测模型。
其中，第一检测模型，用于根据第一检测模型训练完成时得到的第一模型参数，确定输入的热图像中的障碍物。
第一检测模型为预先根据样本热图像训练完成。在训练时，可以预先获取大量样本热图像，并对样本热图像中的障碍物进行标记。障碍物可以是行人、动物或车辆等。第一检测模型可以采用随机梯度下降优化算法进行训练。
第一检测模型具体的训练过程可以包括以下步骤：
步骤1a：获取样本热图像和样本热图像中的标记障碍物。
其中，获取标记障碍物，可以理解为获取标记障碍物的位置。
为了提高第一检测模型的鲁棒性，在选择样本热图像时，可以使各个样本热图像满足以下条件：各个样本热图像的背景不同；和/或，各个样本热图像的标记障碍物的类型不同；和/或，各个样本热图像的标记障碍物的姿势不同。
步骤2a：根据第一模型参数，提取样本热图像的特征。
步骤3a：根据提取的特征，确定样本热图像中的样本障碍物。
其中，确定样本热图像中的样本障碍物，可以理解为，确定样本热图像中样本障碍物的位置。
步骤4a：确定该样本障碍物与标记障碍物之间的差异，判断该差异是否小于预设差异阈值，如果小于，则第一检测模型训练完成；如果不小于，则执行步骤5a，继续训练第一检测模型。
步骤5a：根据上述差异调整第一模型参数，返回执行步骤2a。
上述差异可以反映预测的样本障碍物位置与真实的障碍物位置之间的偏移大小和方向。在根据上述差异调整第一模型参数时，可以向与上述差异相反的方向调整第一模型参数。具体的，可以根据上述差异，通过反向传播算法调整的第一模型参数。
在实际应用中，第一检测模型可以由一组终端节点和非终端节点组成，其中，终端节点用符号T表示，非终端节点用符号N表示。
具体的，终端节点和非终端节点被组织成分层结构，用于表示对象的类别和子类别。例如，汽车面被定义为非终端节点，汽车面可以包括前灯、格栅等终端节点。终端节点是对部分特征的直接表达。也就是说，所谓终端节点为样本热图像中的待检测障碍物，所谓非终端节点为样本热图像中的障碍物的组成部分。
非终端节点可以表示为终端节点和非终端节点以语法规则
Figure GDA0003101105800000081
Figure GDA0003101105800000082
的合成。
其中，X∈N，Yi∈N∪T，ωi∈Ω，β∈R，R表示实数，β表示模型选择时对象的子类别的选择权重，X表示非终端节点中的一个，Y表示N∪T并集中的一个。
该形式限定了将对象X合成到对象和子对象Yi中的合成规则。第一检测模型能够使用具有不同偏移β的多种规则来表示许多外观变化，这是对第一检测模型选择优先的性能。上述参数ωi用于解释图像上Yi的位置、比例和方向。
参见图2b，图2b为从热图像中检测障碍物的一种参考图。在热图像中，不同视角所引起的结构变形通常在有界限的范围之内。然而，障碍物的一部分可能会由于热成像的低质量和遮挡而丢失。因此本实施例在训练模型时，可以限定用于识别目标对象(行人、动物或车辆)的可变形结构，比如对象的头部、腿和躯干的区域，这些部分将被选为模型训练中的突出部分而进行标记。因为这些部分对环境变化稳定并且显著易识别。在每一个终端，可以提取方向梯度直方图(HOG)特征来表示每个终端节点，在实际应用中能够使模型更可靠和更快速。
在训练时，上述第一检测模型中的终端节点和非终端节点将被训练为根滤波器和分量滤波器，且该根滤波器和该分量滤波器位于可变模型内部。该可变模型是上述第一检测模型的一个组成部分，且用于对不同类型的对象，包括行人、动物和车辆等，进行建模。这样，不同类型的对象，包括行人、动物和车辆，分别借助不同的模型结构来训练，而在分别训练的过程中，同一张样本热图像需要输入到上述各个不同的模型结构中。其中，对于热图像质量太低以致不能识别出有意义部分的极端状况，如果可变形部分模型失败，可以对热图像应用根过滤器来定位对象。
步骤S103：获取第一检测模型确定的上述热图像中的障碍物。
本步骤中，获取障碍物可以理解为获取障碍物的位置。该位置可以用图像坐标表示。
步骤S104：根据热图像中的障碍物，以及预设的热图像和非热图像之间的位置对应关系，确定非热图像中的障碍物。
由于热图像和非热图像的图像采集范围相同，采集图像时的视场相同，因此，在相同时刻采集的热图像和非热图像之间存在位置对应关系，根据该位置对应关系，可以将热图像中的障碍物位置直接确定为非热图像中的障碍物位置。
例如，当热图像和非热图像的坐标一一对应时，如果热图像中的障碍物位置为对角顶点(2，25)和(22，45)表示的矩形区域，那么非热图像中的障碍物位置也为对角顶点(2，25)和(22，45)表示的矩形区域。
步骤S105：获取惯性传感器采集的运动参数，根据运动参数，确定非热图像中的障碍物深度。
本实施例中，惯性传感器(IMU)可以在电子设备内部，也可以在电子设备外部。当惯性传感器在电子设备内部时，电子设备可以直接从惯性传感器内部获取运动参数。当惯性传感器在电子设备外部时，电子设备可以向惯性传感器发送运动参数获取请求，接收惯性传感器发送的运动参数。
其中，运动参数包括平移速度、平移加速度和角速度，当然，该运动参数还可以包括其他参数。
确定非热图像中的障碍物深度时，具体可以为确定非热图像对应的深度图像，根据深度图像中像素值与深度的对应关系，将深度图像中障碍物对应的深度，确定为非热图像中障碍物的深度。
其中，非热图像中的障碍物位置及为非热图像对应的深度图像中的障碍物位置。深度图像是指图像中每个像素点的像素值用于表示该位置与采集该图像的图像采集单元之间的距离的图像。在深度图像中，不同的像素值代表空间点与图像采集单元之间的不同距离。同一距离处的像素点的像素值相同。该像素点对应的空间点到图像采集单元之间的距离就是深度。根据预设的像素值与深度的对应关系，可以确定深度图像中各个区域的深度。
步骤S106：根据障碍物深度，确定障碍物与车辆之间的距离。
具体的，可以直接将障碍物深度确定为障碍物与车辆之间的距离，也可以对障碍物深度进行一定变换，将变换后的障碍物深度确定为障碍物与车辆之间的距离。例如，上述变换可以为乘以预设值，或为加上预设值等。
由上述内容可知，本实施例可以根据热图像、非热图像和惯性传感器采集的参数实现对障碍物距离的检测，即可以采用热成像单元、非热成像单元和惯性传感器实现对障碍物距离的检测。这些设备的总成本远低于激光雷达系统的设备成本，因此能够降低自主和辅助驾驶车辆的设备成本。
同时，由于激光雷达系统需要无遮挡地安装在车辆的顶部，这种安装方式导致激光雷达系统无法检测到车辆近距离范围内的障碍物深度，只能检测一定距离之外的障碍物。而采用本申请实施例提供的障碍物距离的确定方法，能够准确地检测出车辆附近的障碍物与车辆之间的距离，应用范围更广。
本实施例根据热图像中检测出的障碍物确定非热图像中的障碍物，在极端天气状况下，例如雨、雪、雾等天气下，也能够更准确地检测图像中的障碍物。
在本申请的另一实施例中，图1所示实施例中，步骤S104，根据热图像中的障碍物，以及预设的热图像和非热图像之间的对应关系，确定非热图像中的障碍物的步骤，可以按照图3所述流程示意图进行，具体包括以下步骤S104A～步骤S104C：
步骤S104A：将非热图像输入第二障碍物检测模型。
其中，该第二检测模型，用于根据第二障碍物检测模型训练完成时得到的第二模型参数，确定输入的非热图像中的参考障碍物。第二障碍物检测模型为预先根据样本非热图像训练完成。
第二障碍物检测模型为预先根据样本非热图像训练完成的。在训练时，可以预先获取大量样本非热图像，并对样本非热图像中的障碍物进行标记。障碍物可以是行人、动物或车辆等。第二检测模型可以采用随机梯度下降优化算法进行训练
第二检测模型具体的训练过程可以包括以下步骤：
步骤1b：获取样本非热图像和样本非热图像中的预标记障碍物。获取预标记障碍物，可以理解为获取预标记障碍物的位置。
为了提高第二检测模型的鲁棒性，在选择样本非热图像时，可以使各个样本非热图像满足以下条件：各个样本非热图像的背景不同；和/或，各个样本非热图像的预标记障碍物的类型不同；和/或，各个样本非热图像的预标记障碍物的姿势不同。
步骤2b：根据第二模型参数，提取样本非热图像的特征。
步骤3b：根据提取的特征，确定样本非热图像中的预样本障碍物。确定样本非热图像中的预样本障碍物，可以理解为，确定样本非热图像中的预样本障碍物的位置。
步骤4b：确定该预样本障碍物与预标记障碍物之间的差异，判断该差异是否小于预设差异阈值，如果小于，则第二检测模型训练完成；如果不小于，则执行步骤5b，继续训练第二检测模型。
步骤5b：根据上述差异调整第二模型参数，返回执行步骤2b。
上述差异可以反映预测的样本障碍物位置与真实的障碍物位置之间的偏移大小和方向。在根据上述差异调整第二模型参数时，可以向与上述差异相反的方向调整第二模型参数。具体的，可以根据上述差异，通过反向传播算法调整的第二模型参数。
步骤S104B：获取第二障碍物检测模型确定的非热图像中的参考障碍物。
步骤S104C：根据非热图像中的参考障碍物，热图像中的障碍物，以及预设的热图像和非热图像之间的对应关系，确定非热图像中的障碍物。
本步骤具体可以为，根据热图像中的障碍物，以及预设的热图像和非热图像之间的对应关系，确定非热图像中的第一障碍物，将第一障碍物与非热图像中的参考障碍物，均确定为非热图像中的障碍物。
例如，从热图像中确定障碍物1，从非热图像中确定障碍物2，则可以确定非热图像中存在障碍物1和障碍物2。
在天气状况很差时，例如雨天、雪天、大雾天、晚上，可以从热图像中更准确地确定障碍物。在天气状况良好时，例如晴天、白天，既可以从非热图像中确定障碍物，也可以从热图像中确定障碍物。将热图像和非热图像中确定的障碍物进行结合，可以得到更准确的确定结果。
例如，在关于第二检测模型的初步工作中，可以建立一种来自交通摄像机拍摄的单一图像的汽车模型的识别框架。由于交通摄像机的各种配置，可以在不同的视角和光照条件下拍摄交通图像，并且图像质量在分辨率和颜色深度上可以存在变化。图4所示为第二检测模型的一种应用示意图。在图4所示框架中，首先使用以局部二值化模式(LocalBinary Patterns，LBP)为特征的部分检测模型来检测汽车。在该图4中，左上部图片示出在模型定义和训练中的汽车检测器的组成结构的初始化。右上部的图片呈现了所学习的用于汽车检测的可变形模型。左下部的图片是覆盖整个汽车区域的检测器中训练的根滤波器。右下部的图片显示模型中的每个训练的终端滤波器。给定一个拍摄的交通图像，个别汽车区域被分割并使用部分检测模型来从背景中提取。借助检测的汽车区域，通过修剪覆盖汽车灯、格栅和商标的主要特征部分来限定感兴趣的区域(ROI)。牌照和头灯被检测为主要的定位点以改变汽车特征的视角。在对所收集的实际交通摄像机图像的数据库进行试验时，汽车的成功检测率为100％。
在本申请的另一实施例中，图1所示实施例中，在获取道路上的热图像和非热图像之后，该方法还包括：确定热图像中的道路区域。具体的，可以将热图像中的预设区域确定为道路区域。该预设区域可以为在车辆运动方向上的相对车辆固定的一区域。该预设区域与车辆是固连的。
对应的，步骤S102，将热图像输入第一检测模型的步骤，具体可以为：
将热图像中的道路区域输入第一检测模型。第一检测模型，用于根据第一检测模型训练完成时得到的第一模型参数，确定输入的热图像中的道路区域中的障碍物。
对应的，步骤S103具体为获取第一检测模型确定的上述热图像道路区域中的障碍物。
对应的，步骤S104具体为，根据热图像道路区域中的障碍物，以及预设的热图像和非热图像之间的位置对应关系，确定非热图像中的障碍物。
本实施例中，上述步骤具体可以为，确定非热图像中的道路区域，将非热图像中的道路区域输入第二检测模型，获取第二检测模型确定的非热图像道路区域中的参考障碍物，根据非热图像道路区域中的参考障碍物，热图像道路区域中的障碍物，以及预设的热图像和非热图像之间的对应关系，确定非热图像中的障碍物。
其中，第二检测模型用于根据第二检测模型训练完成时得到的第二模型参数，确定输入的非热图像道路区域中的参考障碍物。在确定非热图像中的道路区域时，可以将非热图像中的预设区域确定为道路区域。该预设区域可以为在车辆运动方向上的相对车辆固定的一区域。该预设区域与车辆是固连的。也可以是，根据道路的纹理特征，确定非热图像中的道路区域。
综上，本实施例可以确定热图像中的道路区域，并确定热图像道路区域中的障碍物，进而确定非热图像中的障碍物，由于道路区域中的障碍物对于车辆来说是更具有参考意义的，在道路区域之外的障碍物对于车辆的参考意义不大，因此本实施例能够确定更准确的障碍物。
在本申请的另一实施例中，图1所示实施例中，步骤S105中根据运动参数，确定非热图像中的障碍物深度的步骤，包括步骤1-4：
步骤1：获取非热图像之前的连续多张非热图像和连续多张非热图像中，每一非热图像对应的运动参数；
步骤2：针对非热图像和连续多张非热图像中的每一非热图像，利用该非热图像对应的运动参数提取该非热图像中障碍物的特征点；
步骤3：基于所提取到的每一特征点，生成障碍物的深度流；
步骤4：从深度流中，提取障碍物的场景深度，作为非热图像中的障碍物深度。
可以理解的，在车辆行驶过程中，车辆中安装的非热成像单元可以连续不断地采集非热图像，同时，车辆中安装的惯性传感器可以连续不断地采集运动参数，且每一非热图像和每一运动参数具有对应关系。这样，电子设备便可以获取到连续多张非热图像，和每一非热图像对应的运动参数，并将非热图像和运动参数，对应存储在预定的存储空间中。
进而，在本实施例中，电子设备便可以从预先存储的每一非热图像和该非热图像对应的运动参数中，获取上述步骤S101中所获取到的非热图像之前的连续多张非热图像，以及该连续多张非热图像中的每一非热图像对应的运动参数。
这样，电子设备便可以确定在上述步骤S101中获取的非热图像和该非热图像的运动参数，以及所获取的连续多张非热图像和该连续多张非热图像中，每一非热图像对应的运动参数。
针对所获取的每一非热图像，电子设备便可以利用该非热图像的对应运动参数提取该非热图像中障碍物的特征点。
具体的：针对所获取的每一非热图像，电子设备可以利用该非热图像的运动参数，在该非热图像中预测障碍物的特征点所在的区域；进而，通过计算或者比较梯度等方法，在该区域中确定障碍物的特征点。
其中，障碍物的特征点可以是Harris角点、SIFT(Scale-invariant featuretransform，尺度不变特征转换)特征点、FAST(Features From Accelerated SegmentTest，基于加速分割测试的特征)特征点等。
其中，电子设备在执行上述步骤2，在上述每一非热图像中预测障碍物的特征点所在的区域时，便可以生成促进该障碍物的视觉特征流的计算，从而得到该障碍物的视觉特征流。
其中，基于连续非热图像提取到的特征，经过特征匹配后，对于某一个特征，可以得到这一特征在不同时刻在图像中的位置变化，进而形成视觉特征流，显然，视觉特征流可以用来描述目标对象的运动。
进而，由于非热图像是由运动相机采集得到的，因此，可以基于所提取到的每一特征点，生成障碍物的深度流。
具体的，针对每一特征点，利用该特征点所在的非热图像的运动参数，计算该特征点在上述视觉特征流中，由于运动相机运动所引起的成分，从而，利用所计算得到的成分，生成障碍物的深度流。
其中，由于深度流是场景深度和平移运动的函数，并且其在拍摄了新的场景图像时通过优化平滑的能量函数而被迭代细化。因此，真实场景深度便可以在已知或通过将视觉和惯性传感器融合而估计出运动相机的平移速度时从深度流中获得的。
基于此，电子设备便可以从所生成的障碍物的深度流中，提取障碍物的场景深度，即获取非热图像中的障碍物深度。
例如，图5中提供了短距离和长距离的场景深度估计结果参考图。
在本实施例中，障碍物深度是根据视觉特征流来估计的。该视觉特征流是摄像机所拍摄的图像框架中被跟踪的特征点的运动。
使用摄像机的移动而在连续的图像拍摄中预测特征的位置，可以促进视觉特征流的计算，并可以通过所附的惯性传感器来测量。借助通过惯性传感器测量的摄像机的转动运动，针对每个特征点来计算特征流中由摄像机的转动运动所引起的成分，可以生成深度流。深度流是场景深度和平移运动的函数，并且其在拍摄了新的场景图像时通过优化平滑的能量函数而被迭代细化。真实场景深度是在已知或通过将视觉和惯性传感器融合而估计出摄像机的平移速度时从深度流中获得的。
图6为本申请实施例提供的障碍物距离的确定装置的一种结构示意图。该实施例与图1所示方法实施例相对应。该装置包括：
图像获取模块601，用于获取道路上的热图像和非热图像；
模型输入模块602，用于将所述热图像输入第一检测模型；其中，所述第一检测模型，用于根据所述第一检测模型训练完成时得到的第一模型参数，确定输入的热图像中的障碍物；所述第一检测模型为预先根据样本热图像训练完成；
障碍物获取模块603，还用于获取所述第一检测模型确定的所述热图像中的障碍物；
障碍物确定模块604，用于根据所述热图像中的障碍物，以及预设的所述热图像和非热图像之间的位置对应关系，确定所述非热图像中的障碍物；
深度确定模块605，用于获取惯性传感器采集的运动参数，根据所述运动参数，确定所述非热图像中的障碍物深度；
距离确定模块606，用于根据所述障碍物深度，确定所述障碍物与车辆之间的距离。
在本申请的另一实施例中，图6所示实施例中，还可以包括：模型训练模块，用于采用以下过程训练得到第一检测模型：
获取样本热图像和所述样本热图像中的标记障碍物；
根据第一模型参数，提取所述样本热图像的特征；
根据所提取的特征，确定所述样本热图像中的样本障碍物；
确定所述样本障碍物与所述标记障碍物之间的差异，判断所述差异是否小于预设差异阈值；
如果否，则根据所述差异调整所述第一模型参数，返回执行所述根据第一模型参数，提取所述样本热图像的特征的步骤。
在本申请的另一实施例中，图6所示实施例中，各个样本热图像的背景不同；和/或，各个样本热图像的标记障碍物的类型不同；和/或，各个样本热图像的标记障碍物的姿势不同。
在本申请的另一实施例中，图6所示实施例中，所述障碍物确定模块604，具体用于：
将所述非热图像输入第二障碍物检测模型；其中，所述第二障碍物检测模型，用于根据所述第二障碍物检测模型训练完成时得到的第二模型参数，确定输入的非热图像中的参考障碍物；所述第二障碍物检测模型为预先根据样本非热图像训练完成；
获取所述第二障碍物检测模型确定的所述非热图像中的参考障碍物；
根据所述非热图像中的参考障碍物，所述热图像中的障碍物，以及预设的所述热图像和非热图像之间的对应关系，确定所述非热图像中的障碍物。
在本申请的另一实施例中，图6所示实施例中，在获取道路上的热图像和非热图像之后，该装置还包括：
区域确定模块，用于确定所述热图像中的道路区域；
所述模型输入模块602具体用于：将所述热图像中的道路区域输入第一检测模型。
在本申请的另一实施例中，图6所示实施例中，深度确定模块605，具体用于：
获取所述非热图像之前的连续多张非热图像和所述连续多张非热图像中，每一非热图像的运动参数；针对所述非热图像和所述连续多张非热图像中的每一非热图像，利用该非热图像的运动参数提取该非热图像中所述障碍物的特征点；基于所提取到的每一特征点，生成所述障碍物的深度流；从所述深度流中，提取所述障碍物的场景深度，作为所述非热图像中的障碍物深度。
由于上述装置实施例是基于方法实施例得到的，与该方法具有相同的技术效果，因此装置实施例的技术效果在此不再赘述。对于装置实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。
图7为本申请实施例提供的电子设备的一种结构示意图。该电子设备，包括处理器701、通信接口702、存储器703和通信总线704，其中，处理器701，通信接口702，存储器703通过通信总线704完成相互间的通信；
存储器703，用于存放计算机程序；
处理器701，用于执行存储器703上所存放的程序时，实现本申请实施例提供的障碍物距离的确定方法。该方法包括：
获取道路上的热图像和非热图像；
将所述热图像输入第一检测模型；其中，所述第一检测模型，用于根据所述第一检测模型训练完成时得到的第一模型参数，确定输入的热图像中的障碍物；所述第一检测模型为预先根据样本热图像训练完成；
获取所述第一检测模型确定的所述热图像中的障碍物；
根据所述热图像中的障碍物，以及预设的所述热图像和非热图像之间的位置对应关系，确定所述非热图像中的障碍物；
获取惯性传感器采集的运动参数，根据所述运动参数，确定所述非热图像中的障碍物深度；
根据所述障碍物深度，确定所述障碍物与车辆之间的距离。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
本实施例可以根据热图像、非热图像和惯性传感器采集的参数实现对障碍物距离的检测，即可以采用热成像单元、非热成像单元和惯性传感器实现对障碍物距离的检测。这些设备的总成本远低于激光雷达系统的设备成本，因此能够降低自主和辅助驾驶车辆的设备成本。
本申请实施例还提供了一种计算机可读存储介质。该计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现本申请实施例提供的障碍物距离的确定方法。该方法包括：
获取道路上的热图像和非热图像；
将所述热图像输入第一检测模型；其中，所述第一检测模型，用于根据所述第一检测模型训练完成时得到的第一模型参数，确定输入的热图像中的障碍物；所述第一检测模型为预先根据样本热图像训练完成；
获取所述第一检测模型确定的所述热图像中的障碍物；
根据所述热图像中的障碍物，以及预设的所述热图像和非热图像之间的位置对应关系，确定所述非热图像中的障碍物；
获取惯性传感器采集的运动参数，根据所述运动参数，确定所述非热图像中的障碍物深度；
根据所述障碍物深度，确定所述障碍物与车辆之间的距离。
本实施例可以根据热图像、非热图像和惯性传感器采集的参数实现对障碍物距离的检测，即可以采用热成像单元、非热成像单元和惯性传感器实现对障碍物距离的检测。这些设备的总成本远低于激光雷达系统的设备成本，因此能够降低自主和辅助驾驶车辆的设备成本。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。
以上所述仅为本申请的较佳实施例而已，并非用于限定本申请的保护范围。凡在本申请的精神和原则之内所做的任何修改、等同替换、改进等，均包含在本申请的保护范围内。

Claims (9)

1.一种障碍物距离的确定方法，其特征在于，所述方法包括：
获取道路上的热图像和非热图像；
将所述热图像输入第一检测模型；其中，所述第一检测模型，用于根据所述第一检测模型训练完成时得到的第一模型参数，确定输入的热图像中的障碍物；所述第一检测模型为预先根据样本热图像训练完成；
获取所述第一检测模型确定的所述热图像中的障碍物；
根据所述热图像中的障碍物，以及预设的所述热图像和非热图像之间的位置对应关系，确定所述非热图像中的障碍物；
获取惯性传感器采集所述非热图像的运动参数，获取所述非热图像之前的连续多张非热图像和所述连续多张非热图像中，每一非热图像的运动参数，针对所述非热图像和所述连续多张非热图像中的每一非热图像，利用该非热图像的运动参数提取该非热图像中所述障碍物的特征点，基于连续非热图像中提取到的特征点形成特征流，基于所提取到的每一特征点，生成所述障碍物的深度流，从所述深度流中，提取所述障碍物的场景深度，作为所述非热图像中的障碍物深度，其中，所述深度流是场景深度和平移运动的函数，所述基于所提取到的每一特征点，生成所述障碍物的深度流，包括：通过所述惯性传感器测量摄像机的转动运动，针对每个特征点计算所述特征流中由摄像机的转动运动所引起的成分，从而生成所述深度流；
根据所述障碍物深度，确定所述障碍物与车辆之间的距离。
2.根据权利要求1所述的方法，其特征在于，所述第一检测模型采用以下方式训练得到：
获取样本热图像和所述样本热图像中的标记障碍物；
根据第一模型参数，提取所述样本热图像的特征；
根据所提取的特征，确定所述样本热图像中的样本障碍物；
确定所述样本障碍物与所述标记障碍物之间的差异，判断所述差异是否小于预设差异阈值；
如果否，则根据所述差异调整所述第一模型参数，返回执行所述根据第一模型参数，提取所述样本热图像的特征的步骤。
3.根据权利要求2所述的方法，其特征在于，各个样本热图像的背景不同；和/或，各个样本热图像的标记障碍物的类型不同；和/或，各个样本热图像的标记障碍物的姿势不同。
4.根据权利要求1所述的方法，其特征在于，所述根据所述热图像中的障碍物，以及预设的所述热图像和非热图像之间的对应关系，确定所述非热图像中的障碍物的步骤，包括：
将所述非热图像输入第二障碍物检测模型；其中，所述第二障碍物检测模型，用于根据所述第二障碍物检测模型训练完成时得到的第二模型参数，确定输入的非热图像中的参考障碍物；所述第二障碍物检测模型为预先根据样本非热图像训练完成；
获取所述第二障碍物检测模型确定的所述非热图像中的参考障碍物；
根据所述非热图像中的参考障碍物，所述热图像中的障碍物，以及预设的所述热图像和非热图像之间的对应关系，确定所述非热图像中的障碍物。
5.根据权利要求1所述的方法，其特征在于，在获取道路上的热图像和非热图像之后，所述方法还包括：
确定所述热图像中的道路区域；
所述将所述热图像输入第一检测模型的步骤，包括：
将所述热图像中的道路区域输入第一检测模型。
6.一种障碍物距离的确定装置，其特征在于，所述装置包括：
图像获取模块，用于获取道路上的热图像和非热图像；
模型输入模块，用于将所述热图像输入第一检测模型；其中，所述第一检测模型，用于根据所述第一检测模型训练完成时得到的第一模型参数，确定输入的热图像中的障碍物；所述第一检测模型为预先根据样本热图像训练完成；
障碍物获取模块，还用于获取所述第一检测模型确定的所述热图像中的障碍物；
障碍物确定模块，用于根据所述热图像中的障碍物，以及预设的所述热图像和非热图像之间的位置对应关系，确定所述非热图像中的障碍物；
深度确定模块，用于获取惯性传感器采集所述非热图像的运动参数，获取所述非热图像之前的连续多张非热图像和所述连续多张非热图像中，每一非热图像的运动参数，针对所述非热图像和所述连续多张非热图像中的每一非热图像，利用该非热图像的运动参数提取该非热图像中所述障碍物的特征点，基于连续非热图像中提取到的特征点形成特征流，基于所提取到的每一特征点，生成所述障碍物的深度流，从所述深度流中，提取所述障碍物的场景深度，作为所述非热图像中的障碍物深度，其中，所述深度流是场景深度和平移运动的函数，所述基于所提取到的每一特征点，生成所述障碍物的深度流，包括：通过所述惯性传感器测量摄像机的转动运动，针对每个特征点计算所述特征流中由摄像机的转动运动所引起的成分，从而生成所述深度流；
距离确定模块，用于根据所述障碍物深度，确定所述障碍物与车辆之间的距离。
7.根据权利要求6所述的装置，其特征在于，所述障碍物确定模块，具体用于：
将所述非热图像输入第二障碍物检测模型；其中，所述第二障碍物检测模型，用于根据所述第二障碍物检测模型训练完成时得到的第二模型参数，确定输入的非热图像中的参考障碍物；所述第二障碍物检测模型为预先根据样本非热图像训练完成；
获取所述第二障碍物检测模型确定的所述非热图像中的参考障碍物；
根据所述非热图像中的参考障碍物，所述热图像中的障碍物，以及预设的所述热图像和非热图像之间的对应关系，确定所述非热图像中的障碍物。
8.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现权利要求1-5任一所述的方法步骤。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-5任一所述的方法步骤。
CN201910635435.6A 2019-07-15 2019-07-15 一种障碍物距离的确定方法及装置 Active CN110414392B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910635435.6A CN110414392B (zh) 2019-07-15 2019-07-15 一种障碍物距离的确定方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910635435.6A CN110414392B (zh) 2019-07-15 2019-07-15 一种障碍物距离的确定方法及装置

Publications (2)

Publication Number Publication Date
CN110414392A CN110414392A (zh) 2019-11-05
CN110414392B true CN110414392B (zh) 2021-07-20

Family

ID=68361481

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910635435.6A Active CN110414392B (zh) 2019-07-15 2019-07-15 一种障碍物距离的确定方法及装置

Country Status (1)

Country Link
CN (1) CN110414392B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111027381A (zh) * 2019-11-06 2020-04-17 杭州飞步科技有限公司 利用单目相机识别障碍物的方法、装置、设备及存储介质
CN113310582A (zh) * 2020-02-27 2021-08-27 来达科技股份有限公司 深度热成像模块的系统及方法
US11454545B2 (en) 2020-02-27 2022-09-27 Compertum Microsystems Inc. System and method for depth thermal imaging module

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102435174A (zh) * 2011-11-01 2012-05-02 清华大学 基于混合式双目视觉的障碍物检测方法及装置
CN103745474A (zh) * 2014-01-21 2014-04-23 南京理工大学 基于惯性传感器和摄像机的图像配准方法
CN106485233A (zh) * 2016-10-21 2017-03-08 深圳地平线机器人科技有限公司 可行驶区域检测方法、装置和电子设备
CN106650708A (zh) * 2017-01-19 2017-05-10 南京航空航天大学 一种自动驾驶障碍物视觉检测方法与系统
CN108226949A (zh) * 2018-04-08 2018-06-29 广州市盛光微电子有限公司 一种可见光和中远红外光多镜头多传感器的信息融合装置及方法
CN109598187A (zh) * 2018-10-15 2019-04-09 西北铁道电子股份有限公司 障碍物识别方法、障碍物识别系统及轨道车自动驾驶装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7786898B2 (en) * 2006-05-31 2010-08-31 Mobileye Technologies Ltd. Fusion of far infrared and visible images in enhanced obstacle detection in automotive applications
CN101699512B (zh) * 2009-10-30 2011-09-21 无锡景象数字技术有限公司 一种基于背景差异抠图和稀疏光流法的深度的生成方法
US9171372B2 (en) * 2010-11-23 2015-10-27 Qualcomm Incorporated Depth estimation based on global motion
CN105225241B (zh) * 2015-09-25 2017-09-15 广州极飞科技有限公司 无人机深度图像的获取方法及无人机
CN106909141A (zh) * 2015-12-23 2017-06-30 北京机电工程研究所 障碍物探测定位装置及避障系统
CN107289910B (zh) * 2017-05-22 2020-06-19 上海交通大学 一种基于tof的光流定位系统
CN108830257A (zh) * 2018-06-29 2018-11-16 电子科技大学 一种基于单目光流的潜在障碍物检测方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102435174A (zh) * 2011-11-01 2012-05-02 清华大学 基于混合式双目视觉的障碍物检测方法及装置
CN103745474A (zh) * 2014-01-21 2014-04-23 南京理工大学 基于惯性传感器和摄像机的图像配准方法
CN106485233A (zh) * 2016-10-21 2017-03-08 深圳地平线机器人科技有限公司 可行驶区域检测方法、装置和电子设备
CN106650708A (zh) * 2017-01-19 2017-05-10 南京航空航天大学 一种自动驾驶障碍物视觉检测方法与系统
CN108226949A (zh) * 2018-04-08 2018-06-29 广州市盛光微电子有限公司 一种可见光和中远红外光多镜头多传感器的信息融合装置及方法
CN109598187A (zh) * 2018-10-15 2019-04-09 西北铁道电子股份有限公司 障碍物识别方法、障碍物识别系统及轨道车自动驾驶装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
IMU and multiple RGB-D Camera Fusion for Assisting Indoor Stop-and-Go 3D Terrestrial Laster Scanning;Jacky C.K Chow et al;《robotics》;20140711;全文 *
基于惯性传感器和Kinect摄像机的OFCM图像匹配算法;韩鲁 等;《半导体光电》;20140831;第35卷(第4期);全文 *

Also Published As

Publication number Publication date
CN110414392A (zh) 2019-11-05

Similar Documents

Publication Publication Date Title
CN110988912B (zh) 自动驾驶车辆的道路目标与距离检测方法、系统、装置
Shinzato et al. Road terrain detection: Avoiding common obstacle detection assumptions using sensor fusion
CN112149550B (zh) 一种基于多传感器融合的自动驾驶车辆3d目标检测方法
CN112215306B (zh) 一种基于单目视觉与毫米波雷达融合的目标检测方法
CN110414392B (zh) 一种障碍物距离的确定方法及装置
US11010622B2 (en) Infrastructure-free NLoS obstacle detection for autonomous cars
JP6650657B2 (ja) フィンガープリントを使用してビデオ内で移動オブジェクトを追跡するため方法及びシステム
JP4363295B2 (ja) ステレオ画像による平面推定方法
CN113192091B (zh) 一种基于激光雷达与相机融合的远距离目标感知方法
US11004233B1 (en) Intelligent vision-based detection and ranging system and method
JP7209115B2 (ja) 複数の相対的に接近する様に動いているリジッドなオブジェクトの検出、３ｄ再現および追跡
CN108645375B (zh) 一种用于车载双目系统快速车辆测距优化方法
CN111937036A (zh) 用于处理传感器数据的方法、设备和具有指令的计算机可读存储介质
JP2014071902A5 (zh)
US11436839B2 (en) Systems and methods of detecting moving obstacles
CN112172797B (zh) 泊车控制方法、装置、设备和存储介质
CN112753038B (zh) 识别车辆变道趋势的方法和装置
US11676403B2 (en) Combining visible light camera and thermal camera information
JP4344860B2 (ja) ステレオ画像を用いた道路平面領域並びに障害物検出方法
Goga et al. Fusing semantic labeled camera images and 3D LiDAR data for the detection of urban curbs
Berriel et al. A particle filter-based lane marker tracking approach using a cubic spline model
CN114841910A (zh) 车载镜头遮挡识别方法及装置
CN115187941A (zh) 目标检测定位方法、系统、设备及存储介质
CN115588047A (zh) 一种基于场景编码的三维目标检测方法
CN112733678A (zh) 测距方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant