CN111458723A - 对象检测 - Google Patents

对象检测 Download PDF

Info

Publication number
CN111458723A
CN111458723A CN202010043210.4A CN202010043210A CN111458723A CN 111458723 A CN111458723 A CN 111458723A CN 202010043210 A CN202010043210 A CN 202010043210A CN 111458723 A CN111458723 A CN 111458723A
Authority
CN
China
Prior art keywords
processor
low density
determining
region
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010043210.4A
Other languages
English (en)
Inventor
穆斯塔法·帕尔恰米
科德林·琼卡
胡安·恩里克·卡斯特雷纳马丁内斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ford Global Technologies LLC
Original Assignee
Ford Global Technologies LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ford Global Technologies LLC filed Critical Ford Global Technologies LLC
Publication of CN111458723A publication Critical patent/CN111458723A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G01C21/30—Map- or contour-matching
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/003—Transmission of data between radar, sonar or lidar systems and remote stations
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4802—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4808—Evaluating distance, position or velocity data
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
    • G05D1/028—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle using a RF signal
    • G05D1/0282—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle using a RF signal generated in a local control room
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/87—Combinations of systems using electromagnetic waves other than radio waves

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Automation & Control Theory (AREA)
  • Electromagnetism (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Traffic Control Systems (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

本公开提供“对象检测”。一种系统包括激光雷达传感器和处理器。所述处理器被编程为使用激光雷达传感器数据来检测包括小于阈值的多个激光雷达光束反射的低密度区域，确定所述区域的尺寸，并基于所述检测和确定来确定所述区域表示物理对象。

Description

对象检测
技术领域
本公开总体上涉及交通工具传感器，并且更具体地涉及交通工具传感器对象检测。
背景技术
自主交通工具(或自驾车)中的一个或多个计算机可以被编程为基于交通工具传感器数据和地图数据来导航交通工具。交通工具计算机可以依赖于对象检测数据，例如从激光雷达(光探测和测距)传感器数据生成的“点云”数据，以将交通工具导航到目的地。然而，例如，当对象具有非常光滑的反射表面和/或深色时，当前的方法和技术有时缺乏检测对象的能力。在交通工具依赖于对象检测数据来进行各种操作(例如，自动制动、转向和/或节气门控制)以避免与检测到的对象发生碰撞的情况下，错误检测可能会导致交通工具以危险方式操作。
发明内容
本文公开了一种系统，所述系统包括激光雷达传感器和处理器，所述处理器被编程为使用激光雷达传感器数据来检测包括小于阈值的多个激光雷达光束反射的低密度区域，确定所述区域的尺寸，以及基于所述检测和确定来确定所述区域表示物理对象。
确定所述区域表示所述对象还可以包括使用地图数据。
所述地图数据可以包括以下至少一者：(i)从远程计算机接收的地图数据，以及(ii)从交通工具对象检测传感器接收的历史地图数据。
所述处理器还可以被编程为基于激光雷达传感器数据和地图数据中的至少一者来检测第二对象，以及在确定所述检测到的低密度区域是由第二对象投射的阴影时，忽略所述检测到的低密度区域。
所述处理器还可以被编程为至少部分地基于以下各项来确定所述检测到的低密度区域是由所述第二对象投射的所述阴影：(i)第二对象形状、(ii)第二对象位置、(iii)激光雷达传感器位置以及(iv)激光雷达传感器高度。
所述激光雷达传感器可以安装到基础设施元件。
所述基础设施元件可以是安装在地面的杆。
所述系统还可以包括交通工具计算机，所述交通工具计算机被编程为接收由所述激光雷达传感器广播的数据，并至少部分地基于所述接收的数据来操作一个或多个交通工具致动器。
本文还公开了一种系统，所述系统包括：激光雷达传感器；以及处理器，其被编程为基于从所述激光雷达传感器接收的数据，生成包括多个网格单元的二维网格地图；在所述网格地图中，检测包括强度小于阈值的多个网格单元的低密度区域；确定所述低密度区域的尺寸；并基于所述检测和确定来确定所述低密度区域表示物理对象。
所述处理器还可以被编程为检测距所述低密度区域指定距离内的第二区域，所述第二区域包括强度超过第二阈值的第二多个网格单元，并基于所述检测到的低密度区域和第二区域来确定所述第二区域表示物理对象。
所述处理器还可以被编程为确定多个体积，其中每个体积具有放置在地面上的底部和与地面向上隔开的顶部，其中所述底部与所述网格地图的网格单元匹配；以及基于从相应体积内的点接收到的激光雷达反射的数量来确定每个网格单元的强度。
所述处理器还可以被编程为在未能识别第二对象时确定所述检测到的低密度区域是非预期的，所述第二对象投射与所述非预期低密度区域的位置、尺寸和形状中的至少一者匹配的阴影；以及确定所述非预期低密度区域表示所述物理对象。
所述处理器还可以被编程为选择所述网格地图的包括所述低密度区域的扩展区域，将具有第二阈值的滤波器应用于所述网格地图的所述扩展区域，以及在识别所述扩展区域内的已占用区域时，确定所述已占用区域表示所述物理对象。
确定所述低密度区域表示所述对象还可以包括使用地图数据。
所述地图数据可以包括以下至少一者：(i)从远程计算机接收的地图数据，以及(ii)从交通工具对象检测传感器接收的历史地图数据。
所述处理器还可以被编程为基于激光雷达传感器数据和地图数据中的至少一者来检测第二对象，以及在确定所述检测到的低密度区域是由第二对象投射的阴影时，忽略所述检测到的低密度区域。
本文还公开了一种系统，所述系统包括用于使用激光雷达传感器数据来检测包括小于阈值的多个激光雷达光束反射的低密度区域的装置；用于确定所述区域的尺寸的装置；以及用于基于所述检测和确定来确定所述区域表示物理对象的装置。
所述系统还可以包括用于生成地图数据的装置，其中确定所述区域表示所述物理对象是进一步基于地图数据。
用于检测所述低密度区域的装置可以安装到基础设施元件。
确定所述低密度区域表示所述物理对象还可以包括使用地图数据。
附图说明
图1是示出指向示例性地理区域的示例性传感器的透视图的框图。
图2示出了安装到杆上的图1的示例性传感器的局部透视图。
图3是图1中所示的示例性交通工具的示意图。
图4A示出了从图1的传感器接收的点云数据的示例性表示。
图4B示出了图4A的一部分的俯视图，其示出了示例性不可见交通工具。
图5示出了示例性地理区域的示例性网格地图。
图6示出了在应用具有第一强度阈值的滤波器之后的图5的示例性网格地图。
图7示出了具有低密度区域的网格地图的一部分。
图8示出了在应用具有第二强度阈值的第二滤波器之后的图7的网格地图的一部分。
图9A-图9B是用于检测对象的示例性过程的流程图。
图10是用于生成网格地图的示例性过程的流程图。
具体实施方式
陆地交通工具(例如，自主和/或半自主交通工具)的导航可以基于对象检测数据，例如，包括对象的位置、尺寸、类型等。交通工具计算机可以从诸如固定到基础设施元件(例如，杆)上的传感器的远程传感器接收对象检测数据。然而，由于反射表面对传感器的激光束的漫射较低，传感器可能无法检测到具有深色和/或反射表面的对象。本公开涉及用于检测引起低漫射并因此更难以检测的此类对象的系统和方法。此类对象(有时被称为“不可见对象”)可以基于它们的阴影(即，缺少来自不可见对象后面的表面的激光雷达反射)来检测。这种系统的非限制性示例可以包括激光雷达传感器和处理器，所述处理器可以被编程为使用激光雷达传感器数据来检测包括小于阈值的多个激光雷达光束反射的低密度区域，确定所述区域的尺寸，并基于所述检测和确定来确定所述区域表示物理对象。因此，可以通过检测由于激光雷达光束的漫射较低而可能无法检测到的物理对象来防止碰撞。
图1示出了包括传感器110的示例性地理区域100(例如，道路部分、市区等)的透视图。根据一个示例，传感器110可以是固定的，例如，安装到杆115、不动对象120例如一个或多个建筑物、植被、路面、交通信号灯杆等，和/或移动对象，诸如交通工具130。另外或可选地，区域100可以包括十字路口、人行道等。在区域100中可以存在其他类型的移动对象，诸如行人、自行车、卡车等。
当前背景中的地理区域100(或区域100)表示地球表面上的二维(2D)区域。区域100的边界或边缘可以由全球定位系统(GPS)坐标定义，例如，被定义为三角形或矩形区域100的顶点、圆形区域100的中心等。区域100可以具有任何合适的尺寸和/或形状，例如，矩形、椭圆形、圆形、非几何形状等。如上文所讨论的，区域100可以包括道路部分、十字路口等。区域100可以基于传感器110的检测视野和范围(即，距传感器110预定距离的一个或多个边界)来定义。
参考图1-图2，深度检测系统可以包括一个或多个传感器110，所述一个或多个传感器安装在道路的一侧、十字路口等的一个或多个杆115上和/或安装到诸如建筑物的任何不动对象120上。杆115可以固定到地面和/或建筑物。在当前背景中，传感器110的检测范围是在传感器110的视野200内距传感器110为距离d(例如，200米)，在其中可以检测到不动对象120和/或交通工具130。视野200是传感器110的观察区域，所述观察区域由来自单个点(例如，传感器110感测元件的位置)的2D或3D角度测量值界定。可选地，激光雷达传感器110可以是不动的但未安装到固定位置，例如，安装在停放在某个位置处的卡车上。
激光雷达传感器110可以包括处理器210和存储器220，所述存储器存储指令以经由有线和/或无线通信网络传输激光雷达数据。存储器220包括一种或多种形式的计算机可读介质，并存储可由处理器210执行的用于执行包括如本文所公开的各种操作的指令。如下文所讨论的，可以至少部分地基于从一个或多个传感器110接收的数据来操作交通工具130。激光雷达数据可以包括例如根据3维笛卡尔坐标系的不动对象120和/或交通工具130的坐标。激光雷达数据还可以包括与其他属性有关的其他数据，所述其他属性诸如大小、相对于激光雷达传感器110位置的速度等。
在图1-图2中所示的一个示例中，激光雷达传感器110可以通过发射激光束并从区域100中的对象接收背向反射来扫描示例性区域100，例如扫描视野200(例如，在0-360°之间)。激光雷达传感器110从诸如不动对象120和/或一个或多个交通工具130等的特征的外表面和/或地面接收光束的反射。因此，激光雷达数据可以包括在特征的外表面上引起发射光束的反射的点的位置坐标。换句话说，激光雷达传感器110数据可以包括激光雷达传感器110的视野200内的多个点的例如参考3D笛卡尔坐标系的3D位置坐标。
另外或可选地，多个传感器110可以共同收集关于区域100的激光雷达数据。在一个示例中，可以将多个激光雷达传感器110放置在某个位置处，例如安装到杆115上，每个激光雷达传感器都在指定方向上提供视野200。另外或可选地，多个激光雷达传感器110可以位于区域100中，例如，安装到各种不动对象120、杆115等。激光雷达传感器110可以经由有线和/或无线通信网络彼此通信。在一个示例中，远程计算机可以被编程为从多个传感器110接收激光雷达数据，并基于从多个传感器110接收的数据来生成区域100的激光雷达数据，并且经由无线通信网络将激光雷达数据广播到例如交通工具130。在又一示例中，每个激光雷达传感器110的处理器210可以被编程为将相应的激光雷达数据广播到例如区域100或更大区域。
处理器210可以被编程为使用诸如语义分段等的已知技术来确定对象的类型。例如，处理器210可以被编程为将对象分类为不动对象120或交通工具130。另外或可选地，处理器210可以被编程为将对象分类为交通工具、建筑物、行人、植被、交通信号杆、路面、交通标志、人行道等。
无线通信网络(其可以包括交通工具对交通工具(V对V)和/或交通工具对基础设施(V对I)通信网络)包括激光雷达传感器110、一个或多个远程计算机、一个或多个交通工具130等可以彼此通信所借助的一个或多个结构，所述一个或多个结构包括无线(例如，蜂窝、无线、卫星、微波和射频)通信机制与任何所需的网络拓扑(或当利用多个通信机制时的拓扑)的任何所需组合。示例性V对V或V对I通信网络包括提供数据通信服务的蜂窝、蓝牙、IEEE 802.11、专用短程通信(DSRC)和/或广域网(WAN)，所述广域网包括因特网。
处理器210可以被编程为从远程计算机(例如，基础设施计算机)接收地图数据。在当前背景中，地图数据包括描述测绘区域(例如，示例性区域100)内的对象和/或表面的位置、尺寸、形状、类型等的任何类型的数据。地图数据可以是地面上的二维(2D)描述数据或与区域100上方的体积(例如，具有在区域100上的底部和高度的体积)有关的三维(3D)描述数据。可以基于由在区域100中导航并从区域100收集相机数据、激光雷达数据、雷达数据的测绘交通工具收集的数据来生成地图数据。例如，地图数据可以包括点云，所述点云描述了测绘区域100内的对象表面和地面上的点的位置。另外或可选地，处理器210可以被编程为从交通工具130的对象检测传感器330接收历史地图数据，如参考图3所讨论的。另外，地图数据可以包括在地图中所包括的对象的类型，例如，路面、建筑物、交通标志、杆、植被等。
在当前背景中，“历史图像数据”(或历史地图数据或历史地图图像数据)包括在处理器210的实时操作时间之前由交通工具130捕获的图像数据。在一个示例中，历史图像数据可以在当前时间之前(例如，通过测绘交通工具)被收集数日、数月等。在另一个示例中，历史地图数据可以在当前时间之前几分钟或几秒在相同位置收集并且经由交通工具对交通工具通信接收。在另一个示例中，历史图像地图数据可以包括由交通工具130的激光雷达、相机、雷达传感器330(参见图3)收集的数据，例如图像数据、激光雷达数据等。
地图数据通常包括与不动对象120(例如建筑物、交通信号灯、交通标志、路面等)有关的数据。在一些示例中，地图数据还可以包括诸如交通工具130、行人等移动对象，所述移动对象在扫描区域100以生成地图数据时就已经存在了。因此，这样的移动对象数据对于定位可能没有用，这是因为在通过传感器110收集区域100的对象数据时，这样的对象数据可能是准确的。
现在参考图3，示例性交通工具130可以包括计算机310、一个或多个致动器320、传感器330、人机界面(HMI 340)和/或诸如在下文中讨论的其他部件。在图示中，交通工具130被示为乘用交通工具；然而，可以替代地使用其他合适的交通工具(例如，卡车、货车和全地形交通工具、无人机，仅举几例)。交通工具130可以包括参考点350，例如，交通工具130纵向轴线与横向轴线的交叉点(轴线可以限定交通工具130的相应纵向和横向中心线，使得参考点350可以被称为交通工具130中心点)。可以通过多种方式(例如，包括利用电动马达和/或内燃发动机)为交通工具130提供动力。
计算机310包括处理器和存储器。存储器包括一种或多种形式的计算机可读介质，并存储可由计算机310执行的用于执行包括如本文所公开的各种操作的指令。
计算机310可以在自主、半自主或非自主模式中操作交通工具130。出于本公开的目的，自主模式被定义为计算机310控制交通工具130的推进、制动和转向中的每一者的模式；在半自主模式中，计算机310控制交通工具130的推进、制动和转向中的一者或两者；在非自主模式中，操作人员控制交通工具推进、制动和转向。
计算机310可以包括编程以操作交通工具制动器、推进(例如，通过控制内燃发动机、电动马达、混合动力发动机等中的一者或多者来控制交通工具130的加速)、转向、气候控制、内部和/或外部灯等中的一者或多者，以及确定计算机310而不是操作人员是否以及何时控制此类操作。
计算机310可以包括或者例如经由如下面进一步描述的交通工具通信总线通信地耦合到一个以上的处理器，例如控制器等，其包括在交通工具中用于监控和/或控制各种交通工具控制器，所述各种交通工具控制器例如动力传动系统控制器、制动控制器、转向控制器等。计算机310通常被布置用于在交通工具通信网络上进行通信，所述交通工具通信网络诸如交通工具中的总线(诸如控制器局域网(CAN))等。经由交通工具网络，计算机310可以向交通工具130中的各种装置传输消息和/或从传感器330、致动器320等接收消息。
交通工具130的致动器320可以经由电路、芯片或可以根据已知的适当控制信号来致动各种交通工具子系统的其他电子部件来实施。致动器320可以用于控制第一交通工具130的制动、加速和转向。作为示例，交通工具130计算机310可以输出控制指令以控制致动器320。
交通工具130可以包括一个或多个传感器330，所述一个或多个传感器提供包含交通工具130的外部的至少一些的数据，例如GPS传感器、相机、雷达和/或激光雷达传感器。
计算机310可以被编程为基于从交通工具130的一个或多个传感器330和/或一个或多个传感器110接收的数据来操作交通工具130。例如，计算机310可以被编程为基于从一个或多个激光雷达传感器110接收的数据来确定不动对象120或第二交通工具130(未示出)相对于交通工具130的一个或多个位置，并基于所确定的一个或多个位置来操作交通工具130。交通工具130可以例如经由V对I无线通信网络与激光雷达传感器110进行通信。
参考图4A，示例性图像400示出了从传感器110(图4A中未示出)接收的描述了区域100的激光雷达数据(或点云数据)的图形表示。图像400中的每个点表示在激光雷达传感器110处从区域100中的表面上的相应点接收的激光束的反射。图像400基于位置坐标示出了区域100上方的体积的3D表示，所述位置坐标包括从激光雷达传感器110接收的纵向、侧向、标高坐标。地面上的曲线表示扫描光束从地面的反射，例如指示没有对象存在的平坦表面，诸如路面。
继续参考图4A，从杆115上的传感器110的角度来看，图像400的区域410表示盲点。例如，杆105和传感器110的壳体(在传感器110的底部处)可能阻碍对区域410的观察。区域420表示从对象120(例如，图1的植被、树木、建筑物等)接收的反射。区域430示出了交通工具130所处的位置。尽管区域440、450示出了交通工具130的轮和侧视镜的反射，然而，基本上不存在来自交通工具130的主体的反射。换句话说，缺少来自交通工具130主体的反射，这在图像400中表示为暗区。在表示点云数据的背景(例如，图像400)中，“暗”表示缺少接收到的反射点。这表示检测到具有高反射表面和深色的诸如交通工具130的不可见对象的技术挑战。不可见对象的高反射表面无法漫射(或最低程度地漫射)激光雷达110的激光束(类似于镜子)。根据一个示例，高反射表面表示反射率大于阈值，例如80％。
图4B示出了图4A的围绕交通工具130的位置的一部分。类似于图4A，激光雷达传感器110从轮和/或侧视镜接收反射，例如由于具有漫射表面，而激光雷达传感器110不从交通工具130接收反射(或接收的反射极少而导致不足以检测到对象)。
参考图4A-图4B，可以基于接收到的图像400中的阴影(或如下文所讨论的低密度区域)来检测具有高度反射主体表面和深色的诸如交通工具130的“不可见对象”。在当前背景中，“阴影”是指由于激光雷达传感器110与相应的阴影表面之间的诸如对象的障碍物而缺乏来自表面的一个或多个激光束反射。
示例性系统可以包括激光雷达传感器110和诸如激光雷达传感器110的处理器210的处理器，所述处理器可以被编程为使用激光雷达传感器110的数据来检测低密度区域，例如包括小于阈值的多个激光雷达光束反射的区域430，确定区域430的尺寸，并基于所述检测和确定来确定区域430表示物理对象，例如不可见交通工具130。
在当前背景中，“小于阈值的反射”表示来自在地面上的指定体积(例如，高度为1m且矩形底表面为20x20厘米(cm)的体积)中的点的反射数量。例如，阈值可以为来自20cm x20cm x 1m的体积内的点的20个反射，如下面参考等式(1)和图10所讨论的。
图9A-图9B示出了用于检测不可见对象(诸如，图4A-图4B中所示的交通工具130)并且还操作交通工具130(例如，不可见交通工具130和/或任何其他交通工具130)的示例性过程900。下面参考图5-图8讨论过程900的框。在一个示例中，处理器210可以被编程为执行过程900的框。如下所述，过程900仅是非限制性示例。本文描述的系统和/或方法不限于执行过程900的框的所呈现的顺序。另外或可选地，在所公开的系统和/或方法的实现方式中，可以省略过程900的一个或多个框。
过程900开始于框910，其中处理器210从远程计算机、交通工具130计算机310等接收地图数据，所述地图数据例如包括区域100中的不动对象120和/或一个或多个交通工具130的位置、尺寸等。可选地，可以省略框910，即，处理器210可以被编程为在不依赖于从远程计算机接收到的地图数据的情况下检测诸如交通工具130的不可见对象。
接下来，在框915中，处理器210接收交通工具130的激光雷达传感器330数据。例如，处理器210可以被编程为经由无线通信网络(例如，V对I通信网络)从一个或多个交通工具130接收激光雷达传感器330数据和/或其他对象检测传感器330(例如，相机、雷达等)数据。可选地，可以省略框915，即，处理器210可以被编程为在不依赖于从交通工具130接收到的对象检测数据的情况下检测诸如交通工具130的不可见对象。
接下来，在框920中，处理器210从传感器110接收激光雷达点云数据，处理点云数据，并由此识别物理对象。例如，处理器210可以被编程为基于从不动对象120和/或交通工具130的表面接收的反射来识别不动对象120和/或交通工具130。另外或可选地，处理器210可以被编程为基于接收到的地图数据和/或诸如从诸如交通工具130计算机310的其他计算机接收的历史数据的数据来检测不动对象120和/或交通工具130。如上文所讨论的，处理器210未能检测到具有高反射表面和深色的不可见对象，诸如交通工具130。
接下来，在框925中，处理器210生成区域110的强度网格地图。图5示出了区域100的示例性强度网格地图500(或网格地图)。例如，处理器210可以被编程为基于从激光雷达传感器110接收的点云数据来生成包括多个网格单元510的网格地图500。
如图5中所示，强度网格地图500是表示二维(2D)平面中的区域100的地图。因此，网格地图500可以是3D点云的点到2D地面上的投影，如下面参考等式(1)所讨论的。网格地图500包括多个单元510，例如，形成相同大小的单元510的网格；每个单元包括关于地图500的相应单元510的平均强度的信息。强度地图500的单元可以表示地面的一部分。在一个示例中，单元510的尺寸可以与地面上的20×20厘米(cm)正方形相关联。单元的“强度”可以由数值指定，例如以百分比指定，以从0(零)至255的数字指定等，所述强度表示与从被相应单元510包围的区域接收的反射的数量成比例相关的物理测量值。如图5中所示，单元510的亮度可以与其相应强度相关。在一个示例中，0(零)％的强度指定网格地图500上的暗单元510，而100％的强度指定亮单元510。
在一个示例中，处理器210可以被编程为基于从地面上的相应单元510的边界内接收到的反射的数量来确定单元510的强度。在另一个示例中，处理器210可以被编程为基于网格单元上方的体积内的反射点(例如，基于等式(1))来确定单元510的强度。反射点是从其接收反射的点。参数a、b表示网格单元的尺寸，例如20cm、20cm，并且参数c表示体积的高度，例如5米(m)。iX,Y是具有参考坐标系(诸如GPS参考点)的中心点位置坐标X,Y的网格单元的强度。参考等式(1)，网格地图500上的坐标X,Y的强度iX,Y包括从具有z坐标0(零)至c的所有点接收的反射。因此，等式(1)示出了利用例如诸如GPS参考点、网格地图500的几何中心点等参考点从3D坐标系到2D坐标系的示例性投影。例如，具有尺寸为1x1(m)的单元510的100x100网格地图500可以对应于尺寸为100x100(m)的区域。另外或可选地，可以基于图10中所示的示例性算法来生成网格地图500。
Figure BDA0002368468960000131
r(x,y,z)表示关于3D坐标系的位置坐标x,y,z处的反射。在一个示例中，处理器210可以在确定从位置坐标x,y,z处的点未接收到反射时确定坐标x,y,z处的反射值为值0(零)，并且可以确定当接收到反射时反射值为1(一)。在一个示例中，处理器210可以被编程为确定对于强度iX,Y在0与100之间的值。处理器210可以被编程为当等式(1)返回大于100的数字(即，接收到大于100个反射)时和/或参考图10当单元中的点的数量大于阈值(例如，100)来确定值100。
另外或可选地，处理器210可以被编程为进一步基于反射点的高度来确定强度iX,Y，这是因为具有高标高(例如，距地面超过50cm)的反射点可以指示存在不动对象120和/或交通工具130，而在低高度(例如，小于10cm)处的反射可以指示来自地面的反射。因此，处理器210可以被编程为考虑反射点的标高。
接下来，在框930中，为了识别网格地图500的低密度区域520A、520B、520C，处理器210将具有第一阈值th1的第一滤波器应用于网格地图500。在一个示例中，参考图6，处理器210可以被编程为基于等式(2)在网格地图500上应用第一滤波器，并且生成第二网格地图600。
Figure BDA0002368468960000141
处理器210可以被编程为检测网格地图500中包括具有小于阈值(例如，20)的强度iX,Y的多个网格单元510的低密度区域520A、520B、520C。在当前背景中，低密度区域520A、520B、520C是网格地图500(即，一个或多个单元510)的区域，其中在激光雷达传感器110处接收的激光反射的数量小于阈值，例如，强度iX,Y小于阈值(例如，20)。
处理器210可以被编程为基于等式(2)来通过识别网格地图600中占用值OX,Y为1的一个或多个网格单元来确定低密度区域520A、520B、520C。
处理器210可以被编程为确定所识别的低密度区域520A、520B、520C的尺寸。例如，处理器210可以被编程为确定低密度区域520A的纵向尺寸和横向尺寸d1、d2。另外或可选地，处理器210可以被编程为确定所识别的低密度区域520A、520B、520C的形状，例如圆形、三角形、矩形、非几何形状等。处理器210可以被编程为确定低密度区域520A、520B、520C的周边620A、620B、620C。周边620A、620B、620C是围绕低密度区域520A、520B、520C的线。例如，尺寸d1、d2可以是区域520C的尺寸，所述区域是物理对象(交通工具130)在地面上投射阴影(即，缺少对象的高度或对象130外表面的点的标高)的结果。
接下来，在判定框935中，处理器210确定是否检测到非预期低密度区域520A、520B、520C，即，任何检测到的低密度区域520A、520B、520C中的至少一者是否是非预期的。在当前背景中，“非预期”低密度区域是处理器210无法对其识别出可以投射与相应的低密度区域匹配的阴影的对象的区域。
在一个示例中，低密度区域520A可以起因于激光雷达传感器110的激光束的已知障碍物(例如，杆105、激光雷达传感器110的壳体等)(对应于图像400的区域410)。在另一个示例中，低密度区域520B可以起因于由处理器210基于激光雷达传感器110数据和/或地图数据检测到的不动对象120(例如，建筑物)，即，示例性低密度区域520A、520B是预期的。
处理器210可以被编程为例如使用已知的几何投影技术至少部分地基于以下各项来确定检测到的低密度区域520A、520B是由第二对象(例如，杆115、激光雷达传感器110的壳体、建筑物、不动对像120)投射的阴影：(i)第二对象形状，(ii)第二对象位置，(iii)激光雷达传感器位置，以及(iv)激光雷达传感器高度。例如，处理器210可以被编程为基于地图数据来检测第二对象，例如，杆115，并基于检测到的杆115来忽略检测到的低密度区域510A。地图数据可以包括包含杆115的位置、尺寸、形状等的数据。因此，处理器210可以被编程为估计杆115和/或传感器110的壳体的阴影的预期形状、尺寸等，并确定低密度区域520A是由杆115和/或传感器110的壳体投射的阴影。
在又一示例中，低密度区域520C可以起因于诸如交通工具130的不可见对象(对应于图像400的区域430)。因此，例如，当处理器210未能识别出第二对象时，低密度区域520C可能是非预期的，所述第二对象投射与非预期低密度区域520C的位置、尺寸d1、d2和/或形状匹配的阴影。在当前背景中，“匹配尺寸”可以表示具有小于指定阈值的差异，例如10％。此外，匹配形状可以表示具有相同类型的形状，例如矩形、梯形、圆形等。“匹配位置”可以表示阴影的位置(例如，其中心)与低密度区域之间的距离小于指定阈值，例如1米。如果处理器210识别出非预期低密度区域520C，则过程900前进到框945(参见图9B)；否则，过程900前进到框940。
在框940中，处理器210广播对象数据。例如，处理器210可以被编程为将包括在框920和/或框960、965中识别的对象数据的对象数据广播到远程计算机、交通工具130计算机310、其他传感器110处理器210等。在一个示例中，交通工具130计算机310可以至少部分地基于广播对象数据来操作交通工具130。在框940之后，过程900结束，或者可选地返回到框910，尽管图9A中未示出。
现在转向图9B，在框945中(当处理器210确定非预期低密度区域时，其从判定框935继续进行)，处理器210从网格地图500中选择与非预期低密度区域(诸如区域520C)相关联的扩展的非预期低密度区域700(参见图7)。在当前背景中，“扩展”表示具有比非预期低密度区域520C的尺寸更大的尺寸，例如通过在从低密度区域520C的周边620C向外的方向上添加指定数值e(例如，3个网格单元510)来实现。例如，扩展区域700可以具有d1+6、d2+6的尺寸(d1、d2是在多个网格单元510中指定的低密度区域520C的尺寸)。
接下来，在框950中，处理器210将具有第二阈值th2(例如，50)的第二滤波器应用于扩展的低密度区域700，并生成滤波后的扩展区域800。例如，处理器210可以被编程为基于具有第二阈值th2的示例性等式(3)来应用第二滤波器。处理器210可以将占用值c与滤波后的扩展区域800的网格510中的每一者相关联。
Figure BDA0002368468960000161
接下来，在判定框955中，进一步参考图8，处理器210确定在滤波后的扩展区域800中是否存在已占用区域810(例如，与交通工具130的深色反射主体相比可见的物理对象，诸如交通工具130轮或侧视镜)。在当前背景中，“已占用”表示占用值OX,Y为1。换句话说，“已占用”是在相应的一个或多个网格单元510中存在对象的指示。例如，参考图8，处理器210可以识别滤波后的扩展区域800中占用值OX,Y为1的已占用区域810。例如，图8的已占用区域810可以对应于图4的区域440、450(从不可见交通工具130的轮和侧视镜接收到的反射)。如果处理器210确定滤波后的扩展区域800中有已占用区域810，则过程900前进到框960；否则，过程900前进到框965。
在框960中，处理器210确定已占用区域810是物理对象。例如，处理器210可以将图8的区域810(包括交通工具130的轮和侧视镜的位置)确定为物理对象。在一个示例中，处理器210可以被编程为确定区域810周围的边界框，例如周边线，并确定相应位置中的物理对象。换句话说，处理器210可以被编程为更新在框920中确定的任何对象数据，以包括表示物理对象的区域810的位置和/或尺寸d1、d2。
在此应注意，网格地图500、600、700、800是2D地图，而物理对象(例如，不可见交通工具130)是3D的，即，物理对象表面上的点相对于地面具有一定的标高。在一个示例中，处理器210可以被编程为确定尺寸d1、d2，所述尺寸可以是由物理对象(交通工具130)在地面上投射的阴影区域(即，缺少对象的高度或对象130外表面上的点的标高)的尺寸。对于交通工具130计算机310，这可足以防止与不可见对象(例如，交通工具130)发生碰撞。
另外或可选地，处理器210可以基于与区域810相关联的网格单元510的强度来估计对象的高度。如上文参考等式(1)所讨论的，可以基于在地面上方位于位置坐标X,Y处的体积中接收到的反射来确定网格单元510的强度iX,Y。在一个示例中，处理器210可以被编程为基于区域440、450的最大强度iX,Y来确定物理对象的高度。
在此应理解，围绕区域810的边界框的位置和/或尺寸可能无法准确地反映交通工具130参考点350的位置和/或交通工具130的尺寸。然而，识别区域810的位置处的物理对象可能足以导航其他交通工具130，例如，防止与不可见交通工具130发生碰撞。在框960之后，过程900返回到框940(参见图9A)。换句话说，在该示例中，处理器210可以确定区域810表示物理对象。另外或可选地，处理器210可以被编程为确定区域810和区域520C表示物理对象。
在框965中，处理器210确定非预期低密度区域520C是物理对象。处理器210可以被编程为确定低密度区域520C(与图4的区域430相关联)表示物理对象，例如，不可见交通工具130。处理器210可以被编程为确定物理不可见对象的位置和/或尺寸d1、d2与非预期低密度区域520C的位置和/或尺寸相同。
在一个示例中，处理器210可以被编程为确定区域520C周围的边界框(例如，周边620C)，并确定相应位置中的物理对象。换句话说，处理器210可以被编程为更新在框920中确定的任何对象数据，以包括表示物理对象的区域520C的位置和/或尺寸。在框965之后，过程900前进到框940(参见图9A)。如参考框960所讨论的，区域520C是2D表面。处理器210可以被编程为识别具有预定高度(例如，1m)并且底部尺寸与区域520C的尺寸相同的物理对象(例如，交通工具130)。
图10示出了用于在地面上生成二维网格地图500的示例性过程1000。下面参考图5-图8讨论过程1000的框。在一个示例中，处理器210可以被编程为执行过程1000的框。如下所述，过程1000仅是非限制性示例。本文描述的系统和/或方法不限于执行过程1000的框的所呈现的顺序。另外或可选地，在所公开的系统和/或方法的实现方式中，可以省略过程1000的一个或多个框。
过程1000开始于框1100，其中处理器210定义尺寸为MxN(例如，100x100)的2D网格地图500。每个单元510可以具有指定尺寸W×L米(m)，例如1×2m。处理器210可以被编程为确定参考点，例如网格地图500的具有横向坐标M/2xW和纵向坐标N/2xL的中心点。
接下来，在框1200中，处理器210将来自3D激光雷达点的每个反射点X,Y,Z投影到2D地面上的点X,Y上。在此应注意，将3D激光雷达数据中的每个点投影到2D地面上，即，由于将第一3D点X,Y,Z1和第二点X,Y,Z2映射到2D坐标X,Y上而可能存在地面上的给定位置坐标X,Y处的多个投影点。
接下来，在框1300中，处理器210将每个投影点添加到网格地图500的具有坐标x,y的单元510。处理器210可以被编程为基于等式(4)-(5)来识别单元510的坐标x,y。在当前背景中，地板函数(floorfunction)采用实数(例如，X/W)作为输入，并返回小于或等于输入实数的最大整数。
Figure BDA0002368468960000191
Figure BDA0002368468960000192
因此，处理器210可以被编程为将投影点添加到具有坐标x,y的单元510。如上文所讨论的，可以将多个投影点添加到坐标为x,y的单元510。另外，处理器210可以被编程为基于坐标x,y和网格地图500的参考点来确定调整后坐标x’,y’。换句话说，2D网格地图500的参考点可以与3D激光雷达数据的参考点不同。因此，处理器210可以被编程为通过基于网格地图500的参考点映射坐标x,y来确定单元510的坐标x’,y’。在框1300之后，过程1000结束，或者可选地返回到框1100，尽管图10中未示出。
因此，已经描述了包括计算机和深度检测装置的对象检测系统。根据一个示例，所述装置提供计算机点云数据，并且所述计算机被编程为执行检测不可见对象的过程。交通工具计算机然后可以基于描述不可见对象的位置和/或尺寸的数据来操作交通工具。
如本文讨论的计算装置通常各自包括可由诸如上面识别的那些计算装置等一个或多个计算装置执行的并且用于执行上述过程的框或步骤的指令。计算机可执行指令可以由使用各种编程语言和/或技术创建的计算机程序来编译或解译，所述编程语言和/或技术单独地或组合地包括但不限于JavaTM、C、C++、Visual Basic、Java Script、Perl、HTML等。一般来说，处理器(例如，微处理器)例如从存储器、计算机可读介质等接收指令，并且执行这些指令，由此执行一个或多个过程，其包括本文所述的过程中的一者或多者。可以使用多种计算机可读介质来存储和传输此类指令和其他数据。计算装置中的文件通常是存储在计算机可读介质(诸如存储介质、随机存取存储器等)上的数据的集合。
计算机可读介质包括参与提供可以由计算机读取的数据(例如，指令)的任何介质。此类介质可以采用许多形式，其包括但不限于非易失性介质、易失性介质等。非易失性介质包括例如光盘或磁盘和其他永久性存储器。易失性介质包括通常构成主存储器的动态随机存取存储器(DRAM)。常见形式的计算机可读介质包括(例如)软磁盘、软盘、硬盘、磁带、任何其他磁性介质、CD-ROM、DVD、任何其他光学介质、穿孔卡、纸带、带有穿孔图案的任何其他物理介质、RAM、PROM、EPROM、FLASH-EEPROM、任何其他存储器芯片或存储器盒或者计算机可读的任何其他介质。
关于本文所述的介质、过程、系统、方法等，应当理解，尽管已经将此类过程等的步骤描述为根据某个有序序列发生，但是此类过程可以采用以本文所述顺序之外的顺序执行的所描述步骤来实践。还应当理解，可以同时执行某些步骤、可以添加其他步骤，或者可以省略本文所述的某些步骤。换句话说，本文对系统和/或过程的描述是为了示出某些实施例的目的而提供，而决不应当理解为限制所公开的主题。
因此，应当理解，包括以上描述和附图以及以下权利要求的本公开意图是说明性的而非限制性的。在阅读了以上描述之后，除了所提供的示例之外的许多实施例和应用对于所属领域技术人员而言将是明显的。本发明的范围不应当参考以上描述来确定，反而应当参考所附的和/或基于此包括在非临时专利申请中的权利要求连同此类权利要求所赋予权利的等效物的全部范围来确定。可以设想并预期未来的发展将在本文讨论的技术中发生，并且所公开的系统和方法将结合到此类未来实施例中。总之，应当理解，所公开的主题能够进行修改和变化。
根据本发明，提供了一种系统，所述系统具有激光雷达传感器和处理器，所述处理器被编程为使用激光雷达传感器数据来检测包括多个激光雷达光束的低密度区域，确定所述区域的尺寸，以及基于所述检测和确定来确定所述区域表示物理对象。
根据实施例，确定所述区域表示所述对象还包括使用地图数据。
根据实施例，所述地图数据包括以下至少一者：(i)从远程计算机接收的地图数据，以及(ii)从交通工具对象检测传感器接收的历史地图数据。
根据实施例，所述处理器还被编程为基于激光雷达传感器数据和地图数据中的至少一者来检测第二对象，以及在确定所述检测到的低密度区域是由第二对象投射的阴影时，忽略所述检测到的低密度区域。
根据实施例，所述处理器还被编程为至少部分地基于以下各项来确定所述检测到的低密度区域是由所述第二对象投射的所述阴影：(i)第二对象形状、(ii)第二对象位置、(iii)激光雷达传感器位置以及(iv)激光雷达传感器高度。
根据实施例，所述激光雷达传感器安装到基础设施元件。
根据实施例，所述基础设施元件是安装在地面的杆。
根据实施例，上述发明的特征还在于交通工具计算机，所述交通工具计算机被编程为接收由所述激光雷达传感器广播的数据，并至少部分地基于所述接收的数据来操作一个或多个交通工具致动器。
根据本发明，提供了一种系统，所述系统具有：激光雷达传感器；以及处理器，其被编程为基于从所述激光雷达传感器接收的数据，生成包括多个网格单元的二维网格地图；在所述网格地图中，检测包括强度小于阈值的多个网格单元的低密度区域；确定所述低密度区域的尺寸；并基于所述检测和确定来确定所述低密度区域表示物理对象。
根据实施例，所述处理器还被编程为检测距所述低密度区域指定距离内的第二区域，所述第二区域包括强度超过第二阈值的第二多个网格单元；并基于所述检测到的低密度区域和第二区域来确定所述第二区域表示物理对象。
根据实施例，所述处理器还被编程为确定多个体积，其中每个体积具有放置在地面上的底部和与地面向上隔开的顶部；其中所述底部与所述网格地图的网格单元匹配；以及基于从相应体积内的点接收到的激光雷达反射的数量来确定每个网格单元的强度。
根据实施例，所述处理器还被编程为在未能识别第二对象时确定所述检测到的低密度区域是非预期的，所述第二对象投射与所述非预期低密度区域的位置、尺寸和形状中的至少一者匹配的阴影；以及确定所述非预期低密度区域表示所述物理对象。
根据实施例，所述处理器还被编程为选择所述网格地图的包括所述低密度区域的扩展区域；将具有第二阈值的滤波器应用于所述网格地图的所述扩展区域；以及在识别所述扩展区域内的已占用区域时，确定所述已占用区域表示所述物理对象。
根据实施例，确定所述低密度区域表示所述对象还包括使用地图数据。
根据实施例，所述地图数据包括以下至少一者：(i)从远程计算机接收的地图数据，以及(ii)从交通工具对象检测传感器接收的历史地图数据。
根据实施例，所述处理器还被编程为基于激光雷达传感器数据和地图数据中的至少一者来检测第二对象，以及在确定所述检测到的低密度区域是由第二对象投射的阴影时，忽略所述检测到的低密度区域。
根据本发明，提供了一种系统，所述系统具有用于使用激光雷达传感器数据来检测包括小于阈值的多个激光雷达光束反射的低密度区域的装置；用于确定所述区域的尺寸的装置；以及用于基于所述检测和确定来确定所述区域表示物理对象的装置。
根据实施例，上述发明的特征还在于用于生成地图数据的装置，其中确定所述区域表示所述物理对象是进一步基于地图数据。
根据实施例，用于检测所述低密度区域的装置安装到基础设施元件。
根据实施例，确定所述低密度区域表示所述物理对象还包括使用地图数据。

Claims (15)

1.一种系统，其包括激光雷达传感器和处理器，所述处理器被编程为：
使用激光雷达传感器数据来检测包括小于阈值的多个激光雷达光束反射的低密度区域；
确定所述区域的尺寸；以及
基于所述检测和确定，确定所述区域表示物理对象。
2.如权利要求1所述的系统，其中确定所述区域表示所述对象还包括使用地图数据。
3.如权利要求2所述的系统，其中所述地图数据包括以下至少一者：(i)从远程计算机接收的地图数据，以及(ii)从交通工具对象检测传感器接收的历史地图数据。
4.如权利要求1所述的系统，其中所述处理器还被编程为：
基于激光雷达传感器数据和地图数据中的至少一者来检测第二对象，以及
在确定所述检测到的低密度区域是由所述第二对象投射的阴影时，忽略所述检测到的低密度区域。
5.如权利要求4所述的系统，其中所述处理器还被编程为至少部分地基于以下各项来确定所述检测到的低密度区域是由所述第二对象投射的所述阴影：(i)第二对象形状、(ii)第二对象位置、(iii)激光雷达传感器位置以及(iv)激光雷达传感器高度。
6.如权利要求1所述的系统，其中所述激光雷达传感器安装到基础设施元件。
7.如权利要求6所述的系统，其中所述基础设施元件是安装在地面的杆。
8.如权利要求1所述的系统，其还包括交通工具计算机，所述交通工具计算机被编程为：
接收由所述激光雷达传感器广播的数据；以及
至少部分地基于所述接收的数据来操作一个或多个交通工具致动器。
9.一种系统，其包括：
激光雷达传感器；以及
处理器，其被编程为：
基于从所述激光雷达传感器接收的数据，生成包括多个网格单元的二维网格地图；
在所述网格地图中，检测包括强度小于阈值的多个网格单元的低密度区域；
确定所述低密度区域的尺寸；以及
基于所述检测和确定，确定所述低密度区域表示物理对象。
10.如权利要求9所述的系统，其中所述处理器还被编程为：
检测距所述低密度区域指定距离内的第二区域，所述第二区域包括强度超过第二阈值的第二多个网格单元；以及
基于所述检测到的低密度区域和第二区域，确定所述第二区域表示物理对象。
11.如权利要求9所述的系统，其中所述处理器还被编程为
确定多个体积，其中每个体积具有放置在地面上的底部和与地面向上隔开的顶部；其中所述底部与所述网格地图的网格单元匹配；以及
基于从相应体积内的点接收到的激光雷达反射的数量来确定每个网格单元的强度。
12.如权利要求9所述的系统，其中所述处理器还被编程为：
在未能识别第二对象时确定所述检测到的低密度区域是非预期的，所述第二对象投射与所述非预期低密度区域的位置、尺寸和形状中的至少一者匹配的阴影；以及
确定所述非预期低密度区域表示所述物理对象。
13.如权利要求12所述的系统，其中所述处理器还被编程为：
选择所述网格地图的包括所述低密度区域的扩展区域；
将具有第二阈值的滤波器应用于所述网格地图的所述扩展区域；以及
在识别所述扩展区域内的已占用区域时，确定所述已占用区域表示所述物理对象。
14.如权利要求9所述的系统，其中所述处理器还被编程为执行如权利要求10、11、12和13的任意组合中所述的指令。
15.一种系统，其包括：
用于使用激光雷达传感器数据来检测包括小于阈值的多个激光雷达光束反射的低密度区域的装置；
用于确定所述区域的尺寸的装置；以及
用于基于所述检测和确定来确定所述区域表示物理对象的装置。
CN202010043210.4A 2019-01-18 2020-01-15 对象检测 Pending CN111458723A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/251,435 US11391574B2 (en) 2019-01-18 2019-01-18 Object detection
US16/251,435 2019-01-18

Publications (1)

Publication Number Publication Date
CN111458723A true CN111458723A (zh) 2020-07-28

Family

ID=71402661

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010043210.4A Pending CN111458723A (zh) 2019-01-18 2020-01-15 对象检测

Country Status (3)

Country Link
US (1) US11391574B2 (zh)
CN (1) CN111458723A (zh)
DE (1) DE102020100885A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114405834A (zh) * 2020-10-13 2022-04-29 菜鸟智能物流控股有限公司 数据处理方法、装置、拣选设备、电子设备和存储介质

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113970725A (zh) * 2020-07-24 2022-01-25 北京万集科技股份有限公司 雷达检测区域的标定方法、装置、设备及存储介质
US11423576B1 (en) * 2021-07-23 2022-08-23 Ford Global Technologies, Llc Infrastructure node localization with respect to alternative frame of reference

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100013615A1 (en) 2004-03-31 2010-01-21 Carnegie Mellon University Obstacle detection having enhanced classification
EP2041515A4 (en) 2006-07-13 2009-11-11 Velodyne Acoustics Inc HIGH DEFINITION LIDAR SYSTEM
US9329269B2 (en) 2012-03-15 2016-05-03 GM Global Technology Operations LLC Method for registration of range images from multiple LiDARS
US9111444B2 (en) * 2012-10-31 2015-08-18 Raytheon Company Video and lidar target detection and tracking system and method for segmenting moving targets
US8818609B1 (en) 2012-11-15 2014-08-26 Google Inc. Using geometric features and history information to detect features such as car exhaust in point maps
US9098754B1 (en) 2014-04-25 2015-08-04 Google Inc. Methods and systems for object detection using laser point clouds
EP3430427B1 (en) 2016-03-14 2021-07-21 IMRA Europe S.A.S. Processing method of a 3d point cloud
KR101784611B1 (ko) * 2016-06-09 2017-11-06 재단법인대구경북과학기술원 라이다 센서 및 레이더 센서를 이용한 사람 탐지 장치 및 방법
US10066946B2 (en) * 2016-08-26 2018-09-04 Here Global B.V. Automatic localization geometry detection
EP3526626A4 (en) 2016-10-11 2020-05-27 Kaarta, Inc. LASER SCANNER WITH ONLINE REAL MOTION ESTIMATION IN REAL TIME
US10783384B2 (en) * 2018-07-31 2020-09-22 Toyota Motor Engineering & Manufacturing North America, Inc. Object detection using shadows

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114405834A (zh) * 2020-10-13 2022-04-29 菜鸟智能物流控股有限公司 数据处理方法、装置、拣选设备、电子设备和存储介质

Also Published As

Publication number Publication date
US20200232799A1 (en) 2020-07-23
DE102020100885A1 (de) 2020-07-23
US11391574B2 (en) 2022-07-19

Similar Documents

Publication Publication Date Title
US10739459B2 (en) LIDAR localization
JP6622265B2 (ja) 交通信号とそれらに関連した状態を検出するためのロバスト法
US10955857B2 (en) Stationary camera localization
US11861784B2 (en) Determination of an optimal spatiotemporal sensor configuration for navigation of a vehicle using simulation of virtual sensors
US11237269B2 (en) Localization technique
US10836356B2 (en) Sensor dirtiness detection
US10783384B2 (en) Object detection using shadows
US11035679B2 (en) Localization technique
CN111458723A (zh) 对象检测
US10852146B2 (en) Localization technique selection
US20210302582A1 (en) A point cloud feature-based obstacle filter system
US20220402521A1 (en) Autonomous path generation with path optimization
US11544868B2 (en) Object location coordinate determination
US20220188553A1 (en) Estimating auto exposure values of camera by prioritizing object of interest based on contextual inputs from 3d maps
CN114089375A (zh) 运载工具、用于运载工具的方法和存储介质
Moras et al. Drivable space characterization using automotive lidar and georeferenced map information
CN109870681A (zh) 高清晰度3d映射
US20230089832A1 (en) Calibration courses and targets
CN115933627A (zh) 校准目标和校准系统
CN113811793B (zh) 基于近邻的点云过滤系统
US20240227792A9 (en) Method and device for operating a parking assistance system, parking garage, and vehicle
US20220414930A1 (en) Geometric intrinsic camera calibration using diffractive optical element
US20240127603A1 (en) Unified framework and tooling for lane boundary annotation
US20240127534A1 (en) Color map layer for annotation
JP2024139348A (ja) 外界認識装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination