CN105182358B - 用于使用激光点云进行物体检测的方法和系统 - Google Patents

用于使用激光点云进行物体检测的方法和系统 Download PDF

Info

Publication number
CN105182358B
CN105182358B CN201510411445.3A CN201510411445A CN105182358B CN 105182358 B CN105182358 B CN 105182358B CN 201510411445 A CN201510411445 A CN 201510411445A CN 105182358 B CN105182358 B CN 105182358B
Authority
CN
China
Prior art keywords
pixels
vehicle
environment
pixel
dimensional distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201510411445.3A
Other languages
English (en)
Other versions
CN105182358A (zh
Inventor
J·斯陶特
J·朱
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Giant Holdings
Waymo LLC
Original Assignee
Wai On LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wai On LLC filed Critical Wai On LLC
Publication of CN105182358A publication Critical patent/CN105182358A/zh
Application granted granted Critical
Publication of CN105182358B publication Critical patent/CN105182358B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optics & Photonics (AREA)
  • Traffic Control Systems (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本申请描述了一种用于使用激光点云进行物体检测的方法和系统。在示例实施方式例中，计算装置可从传感器接收指示车辆的环境的激光数据并生成二维(2D)距离图像，其包括基于激光数据指示环境中物体的相应位置的像素。计算装置可修正2D距离图像以向映射到缺少激光数据的环境中的物体的部分的给定像素提供值，这可涉及基于由给定像素定位的邻近像素的平均值来向给定像素提供值。另外，计算装置可基于修正的2D距离图像来确定与环境中的物体的表面相对应的像素组的法向量，并且可使用法向量来向车辆的系统提供物体识别信息。

Description

用于使用激光点云进行物体检测的方法和系统
相关申请的交叉引用
本申请要求于2014年4月25日提交的美国专利申请第14/262,651号的优先权，其全部内容通过引用结合于此。
背景技术
除非在本文中另有指示，否则本部分中描述的材料并不是本申请中的权利要求的现有技术，并且也不因包括在本部分中而被承认是现有技术。
车辆可使用由传感器提供的信息来导航行驶路线。因此，车辆的计算装置可处理从车辆传感器接收到的信息以避免与障碍物碰撞并确保正确的导航。这种车辆通常装备有各种类型的传感器以便检周遭中的物体。例如，自主车辆可包括激光、声纳、RADAR、相机以及其它扫描和记录来自车辆的周遭的数据的装置。来自这些装置中的一个或多个的传感器数据可用于检测物体及其各自的特性(位置、形状、前进方向、速度等)。该检测和识别对自主车辆的安全操作是有用的。
发明内容
本申请公开了涉及用于使用激光点云进行物体检测的方法和系统的实施例。
在一个示例中，本申请描述了一种方法。该方法可包括在计算装置处接收指示车辆的环境的激光数据，并且激光数据包括与环境中的一个或多个物体相关联的多个数据点。该方法还可包括，基于多个传感器数据点，生成包括指示相对于车辆的环境中的一个或多个物体的相应位置的多个像素的二维距离图像。另外，该方法可包括修正生成的二维距离图像以向多个像素中的映射到缺少激光数据的环境中的一个或多个物体的一个或多个部分的一个或多个给定像素提供相应值。在一些情况下，修正生成的二维距离图像以向一个或多个给定像素提供相应值是基于多个像素中的位于二维距离图像中的多个像素的一个或多个给定像素附近的各个邻近像素的。该方法可包括基于修正的二维距离图像，确定多个像素中的与环境中的一个或多个物体的相应表面(surface)相对应的一组或多组像素的多个法向量，并且基于一组或多组像素的多个法向量，将指示车辆的环境中的一个或多个物体的物体识别信息提供给车辆的一个或多个系统。
在另一示例中，本申请描述了一种非暂态计算机可读介质，其上存储有在由计算装置运行时引起该计算装置执行功能的指令。所述功能可包括接收指示车辆的环境的激光数据，并且激光数据包括与环境中的一个或多个物体相关联的多个数据点。所述功能还可包括，基于多个传感器数据点，生成包括指示相对于车辆的环境中的一个或多个物体的相应位置的多个像素的二维距离图像。另外，所述功能可包括修正生成的二维距离图像以向多个像素中的映射到缺少激光数据的环境中的一个或多个物体的一个或多个部分的一个或多个给定像素提供相应值。在一些情况下，修正生成的二维距离图像以向一个或多个给定像素提供相应值是基于多个像素中的位于二维距离图像中的多个像素的一个或多个给定像素附近的各个邻近像素的。所述功能可包括基于修正的二维距离图像，确定多个像素中的与车辆的环境中的一个或多个物体的相应表面相对应的一组或多组像素的多个法向量，并且基于一组或多组像素的多个法向量，将指示车辆的环境中的一个或多个物体的物体识别信息提供给车辆的一个或多个系统。
在又一示例中，本申请描述了一种系统。所述系统可包括至少一个处理器。所述系统还可包括其上存储有可运行指令的存储器，所述可运行指令在由至少一个处理器运行时引起该系统执行功能，所述功能包括接收指示车辆的环境的激光数据，并且激光数据包括与环境中的一个或多个物体相关联的多个数据点。所述功能还可包括，基于多个传感器数据点，生成包括指示相对于车辆的环境中的一个或多个物体的相应位置的多个像素的二维距离图像。另外，所述功能可包括，修正生成的二维距离图像以向多个像素中的映射到缺少激光数据的环境中的一个或多个物体的一个或多个部分的一个或多个给定像素提供相应值。在一些情况下，修正生成的二维距离图像以向一个或多个给定像素提供相应值是基于多个像素中的位于二维距离图像中的多个像素的一个或多个给定像素附近的各个邻近像素的。所述功能可包括基于修正的二维距离图像，确定多个像素中的与环境中的一个或多个物体的相应表面相对应的一组或多组像素的多个法向量，并且基于一组或多组像素的多个法向量，将指示车辆的环境中的一个或多个物体的物体识别信息提供给车辆的一个或多个系统。
在另一示例中，提供一种系统，其包括用于实时生成非结构化和结构化激光点云的装置。所述系统还可包括用于接收指示车辆的环境的激光数据的装置，并且激光数据包括与环境中的一个或多个物体相关联的多个数据点。所述系统还可包括用于基于多个传感器数据点生成包括指示相对于车辆的环境中的一个或多个物体的相应位置的多个像素的二维距离图像的装置。此外，所述系统还可包括用于修正生成的二维距离图像以向多个像素中的映射到缺少激光数据的环境中的一个或多个物体的一个或多个部分的一个或多个给定像素提供相应值的装置。在一些情况下，所述系统可包括用于修正生成的二维距离图像以向一个或多个给定像素提供相应值基于多个像素中的位于二维距离图像中的多个像素的一个或多个给定像素附近的各个邻近像素的装置。所述系统可包括用于基于修正的二维距离图像确定多个像素中的与环境中的一个或多个物体的相应表面相对应的一组或多组像素的多个法向量的装置，以及用于基于一组或多组像素的多个法向量将指示车辆的环境中的一个或多个物体的物体识别信息提供给车辆的一个或多个系统的装置。
前述概要仅是说明性的，并且并不意在以任何方式进行限制。除了上述的说明性方面、实施例及特征之外，进一步的方面、实施例及特征将通过参考图和下面的详细描述而变得明显。
附图说明
图1是依据示例实施例的示例车辆的简要框图。
图2图示了依据示例实施例的示例车辆。
图3是用于使用激光点云进行物体检测的示例方法的流程图。
图4是图示出二维距离图像的一部分中的像素的示例图。
图5A从前侧视图示出了示例车辆并图示了由示例车辆的计算装置使用传感器数据生成的虚拟二维距离图像的部分。
图5B从侧视图示出了示例车辆并图示了由示例车辆的计算装置使用传感器数据生成的二维距离图像的额外的部分。
图5C从后视图示出了示例车辆并图示了由示例车辆的计算装置使用传感器数据生成的二维距离图像的部分。
图5D从另一后视图示出了示例车辆并图示了由示例车辆的计算装置使用传感器数据生成的二维距离图像的部分。
图6是图示出一组像素的法向量计算的示例图。
图7是图示出包括在计算装置上运行计算机过程的计算机程序的示例计算机程序产品的概念性局部视图的示意图。
具体实施方式
以下详细描述参考附图对所公开的系统和方法的各种特征和功能进行了描述。在图中，除非上下文另外指出，否则相似的符号标识相似的组件。本文中所描述的说明性系统和方法实施例并非意图进行限制。可容易理解，所公开的系统和方法的某些方面可以按多种不同的配置进行布置和组合，所有这些都在本文中被设想到。
车辆，诸如自主或无人驾驶车辆，可在不需要驾驶员提供导引和控制的情况下导航行驶路线。为了实现安全、自主导航，车辆可利用从与车辆相关联的传感器获取的关于车辆周围的局部环境的数据。自主车辆可包括被配置为接收和处理在车辆操作时从传感器接收到的关于附近环境的信息的一个或多个计算装置。处理信息可使得计算装置能够在车辆行驶经过变化的环境时向车辆的系统提供信息和/或指令，以执行安全导航策略。
在一个示例实施例中，车辆在于车辆的一个或多个计算装置处接收到指示环境的激光数据的同时可进行导航。例如，车辆包括被配置为捕捉传感器数据的LIDAR模块，所述传感器数据诸如是由与环境中的一个或多个物体相关联的数据点组成的激光数据。类似地，车辆还可包括被配置为提供可用于物体检测的传感器数据的其它类型的传感器，诸如深度相机。例如，计算装置可接收在结构化三维(3D)点云和/或非结构化3D点云中的指示环境的数据点。在一些情况下，计算装置可接收在像栅格那样的点云内的数据点。激光数据可包括含有指示相对于车辆的环境中的物体的位置的信息的数据点。在其它示例中，激光数据可包括关于车辆的环境的其它信息。
在操作期间，计算装置可使用激光数据点来生成包括指示环境中的物体的位置的像素的二维(2D)距离图像。作为示例，计算装置可将激光数据点投影到位于车辆周围或在虚拟渲染中虚拟地位于车辆周围的概念性2D圆柱表面，以使得像素对应于激光数据点内的数据。作为结果的生成的2D距离图像可包括具有指示环境中的信息的值的像素，并且还可包括可不具有来自激光数据点的值的一些像素。缺失值的像素可对应于计算装置未接收到指示性的激光数据的物体的部分。在一些示例实施例中，计算装置可在完成接收整个点云之前开始生成2D距离图像的部分。例如，当从LIDAR模块接收到点时，计算装置可形成2D距离图像的部分。
此外，车辆的计算装置可修正2D距离图像来填充由没有值的像素造成的空白(gap)。例如，计算装置可使用2D距离图像中位于一个或多个空白附近的各个邻近元素来确定要分配给原本没有值的空白中的像素的平均值。计算装置可使用经修正的2D距离图像来确定可与车辆的环境中的一个或多个物体的相应表面相对应的像素组的一个或多个法向量。
在一些示例中，计算装置可使用表面法线(normal)和平面分割 (segmentation)过程来对所获取的传感器数据中的平面进行分类(例如，将像素组与环境中的表面关联)，这可帮助车辆进行物体识别和避障。当车辆导航时，计算装置可形成对环境内的物体的虚拟地图绘制(mapping)。另外，计算装置可使用像素组的法向量以及平面分割来将关于环境的物体识别信息提供给车辆系统，车辆可在操作期间使用所述物体识别信息来确定合适的导航策略。
现在将更详细地描述本公开范围内的示例系统。通常，示例系统可实现在汽车上或可采取汽车的形式。然而，示例系统还可实现在其它车辆上或采取其它车辆的形式，诸如轿车、卡车、摩托车、公交车、船、飞机、直升机、割草机、休旅车、游乐园车辆、农业设备、施工设备、有轨电车、高尔夫球车、火车和电车。其它车辆也是可能的。
现在参照图，图1是依据示例实施例的示例车辆100的简化框图。耦合到车辆100或包括在车辆100中的组件可包括推进系统102、传感器系统104、控制系统106、外围设备108、电源110、计算装置111以及用户接口112。计算装置111可包括处理器113和存储器114。计算装置111可以是车辆100 的控制器或控制器的一部分。存储器114可包括处理器113可运行的指令115，并且还可存储地图数据116。车辆100的组件可被配置为以与彼此互连和/或与耦合到各系统的其它组件互连的方式工作。例如，电源110可向车辆100 的所有组件提供电力。计算装置111可被配置为从推进系统102、传感器系统 104、控制系统106和外围设备108接收数据并对它们进行控制。计算装置 111可被配置为在用户接口112上生成图像的显示并从用户接口112接收输入。
在其它示例中，车辆100可包括更多、更少或不同的系统，并且每个系统可包括更多、更少或不同的组件。此外，示出的系统和组件可以按任意种的方式进行组合或划分。
推进系统102可被配置为为车辆100提供动力运动。如图所示，推进系统102包括引擎/发动机(engine/motor)118、能量源120、传动装置 (transmission)122和车轮/轮胎124。
引擎/发动机118可以是或包括内燃机、电动机、蒸汽机和斯特林发动机等的任意组合。其它发动机和引擎也是可能的。在一些示例中，推进系统102 可包括多种类型的引擎和/或发动机。例如，气电混合轿车可包括汽油发动机和电动机。其它示例是可能的。
能量源120可以是全部或部分向引擎/发动机118供能的能量的来源。也就是说，引擎/发动机118可被配置为将能量源120转换为机械能。能量源120 的示例包括汽油、柴油、其它基于石油的燃料、丙烷、其它基于压缩气体的燃料、乙醇、太阳能电池板、电池和其它电力来源。(一个或多个)能量源 120可以额外地或可替换地包括燃料箱、电池、电容器和/或飞轮的任意组合。在一些示例中，能量源120也可以为车辆100的其它系统提供能量。
传动装置122可被配置为把机械动力从引擎/发动机118传送到车轮/轮胎 124。为此，传动装置122可包括变速箱、离合器、差速器、驱动轴和/或其它元件。在传动装置122包括驱动轴的示例中，驱动轴可包括被配置为耦合到车轮/轮胎124的一个或多个轴。
车辆100的车轮/轮胎124可配置为各种形式，包括单轮车、自行车/摩托车、三轮车或者轿车/卡车四轮形式。其它车轮/轮胎形式也是可能的，诸如包括六个或更多个车轮的那些。车辆100的车轮/轮胎124可被配置为相对于其它车轮/轮胎124差速地旋转。在一些示例中，车轮/轮胎124可包括固定地附着到传动装置122的至少一个车轮和可与驾驶表面接触的耦合到车轮的边缘的至少一个轮胎。车轮/轮胎124可包括金属和橡胶的任意组合，或者其它材料的组合。
推进系统102可以额外地或可替换地包括除了所示出的那些以外的组件。
传感器系统104可包括被配置为感测关于车辆100所位于的环境的信息的若干个传感器。如图所示，传感器系统的传感器包括全球定位系统(Global Positioning System，GPS)126、惯性测量单元(inertial measurement unit，IMU) 128、无线电检测和测距(RADAR)单元130、激光测距仪和/或光检测和测距(LIDAR)单元132、相机134以及被配置为修改传感器的位置和/或朝向的致动器136。传感器系统104也可包括额外的传感器，包括例如监视车辆 100的内部系统的传感器(例如，O2监视器、燃油量表、机油温度，等等)。其它传感器也是可能的。
GPS模块126可以是被配置为估计车辆100的地理位置的任何传感器。为此，GPS模块126可包括被配置为基于星基定位数据估计车辆100相对于地球的位置的收发器。在示例中，计算装置111可被配置为结合地图数据116 地使用GPS模块126来估计车辆100可在其上行驶的道路上的车道边界的位置。GPS模块126也可采取其它形式。
IMU 128可以是被配置为基于惯性加速度来感测车辆100的位置和朝向变化的传感器的任意组合。在一些示例中，传感器的组合可包括例如加速度计和陀螺仪。传感器的其它组合也是可能的。
RADAR单元130可以被看作物体检测系统，其可被配置为使用无线电波来检测物体的特性，诸如物体的距离、高度、方向或速度。RADAR单元 130可被配置为传送无线电波或微波脉冲，其可从波的路线中的任何物体反弹。物体可将波的一部分能量返回至接收器(例如，碟形天线或天线)，该接收器也可以是RADAR单元130的一部分。RADAR单元130还可被配置为对接收到的信号(从物体反弹)执行数字信号处理，并且可被配置为识别物体。
其它类似于RADAR的系统已用在电磁波谱的其它部分上。一个示例是 LIDAR(光检测和测距)，其可被配置为使用来自激光的可见光，而非无线电波。
LIDAR单元132可包括传感器，该传感器被配置为使用光来感测或检测车辆100所位于的环境中的物体。通常，LIDAR是可通过利用光照射目标来测量到目标的距离或目标的其它属性的光学遥感技术。作为示例，LIDAR单元132可包括被配置为发射激光脉冲的激光源和/或激光扫描仪，和被配置为接收激光脉冲的反射的检测器。例如，LIDAR单元132可包括由转镜反射的激光测距仪，并且以一维或二维围绕数字化场景扫描激光，从而以指定角度间隔采集距离测量值。在示例中，LIDAR单元132可包括诸如光(例如，激光)源、扫描仪和光学系统、光检测器和接收器电子器件之类的组件，以及位置和导航系统。
在示例中，LIDAR单元132可被配置为使用紫外光(UV)、可见光或红外光对物体成像，并且可用于广泛的目标，包括非金属物体。在一个示例中，窄激光波束可用于以高分辨率对物体的物理特征进行地图绘制。
在示例中，从约10微米(红外)至约250纳米(UV)的范围中的波长可被使用。光通常经由后向散射被反射。不同类型的散射被用于不同的LIDAR 应用，诸如瑞利散射、米氏散射和拉曼散射以及荧光。基于不同种类的后向散射，作为示例，LIDAR可因此被称为瑞利激光RADAR、米氏LIDAR、拉曼LIDAR以及钠/铁/钾荧光LIDAR。波长的适当组合可允许例如通过寻找反射信号的强度的依赖波长的变化对物体进行远程地图绘制。
使用扫描LIDAR系统和非扫描LIDAR系统两者可实现三维(3D)成像。“3D选通观测激光RADAR(3D gated viewing laser radar)”是非扫描激光测距系统的示例，其应用脉冲激光和快速选通相机。成像LIDAR也可使用通常使用CMOS(互补金属氧化物半导体)和混合CMOS/CCD(电荷耦合器件) 制造技术在单个芯片上构建的高速检测器阵列和调制敏感检测器阵列来执行。在这些装置中，每个像素可通过以高速解调或选通来被局部地处理，以使得阵列可被处理成表示来自相机的图像。使用此技术，可同时获取上千个像素以创建表示LIDAR单元132检测到的物体或场景的3D点云。
点云可包括3D坐标系统中的一组顶点。这些顶点例如可由X、Y、Z坐标定义，并且可表示物体的外表面。LIDAR单元132可被配置为通过测量物体表面上的大量点来创建点云，并可将点云作为数据文件输出。作为通过 LIDAR单元132的对物体的3D扫描过程的结果，点云可用于识别并可视化物体。
在一个示例中，点云可被直接渲染以可视化物体。在另一示例中，点云可通过可被称为表面重建的过程被转换为多边形或三角形网格模型。用于将点云转换为3D表面的示例技术可包括德洛内三角剖分、阿尔法形状和旋转球。这些技术包括在点云的现有顶点上构建三角形的网络。其它示例技术可包括将点云转换为体积距离场，以及通过移动立方体算法重建这样定义的隐式表面。
相机134可以是被配置为捕捉车辆100所位于的环境的图像的任意相机 (例如，静态相机、视频相机等)。为此，相机可被配置为检测可见光，或可被配置为检测来自光谱的其它部分(诸如红外光或紫外光)的光。其它类型的相机也是可能的。相机134可以是二维检测器，或可具有三维空间范围。在一些示例中，相机134例如可以是距离检测器，其被配置为生成指示从相机134到环境中的若干点的距离的二维距离图像。为此，相机134可使用一种或多种距离检测技术。例如，相机134可被配置为使用结构光技术，其中车辆100利用预定光图案，诸如栅格或棋盘格图案，对环境中的物体进行照射，并且使用相机134检测从物体的预定光图案的反射。基于反射的光图案中的畸变，车辆100可被配置为检测到物体上的点的距离。预定光图案可包括红外光或其它波长的光。
致动器136例如可被配置为修改传感器的位置和/或朝向。
传感器系统104可额外地或可替换地包括除了所示出的那些以外的组件。
控制系统106可被配置为控制车辆100及其组件的操作。为此，控制系统106可包括转向单元138、油门140、制动单元142、传感器融合算法144、计算机视觉系统146、导航或路线控制(pathing)系统148以及避障系统150。
转向单元138可以是被配置为调整车辆100的前进方向或方向的机构的任意组合。
油门140可以是被配置为控制引擎/发动机118的操作速度和加速度并进而控制车辆100的速度和加速度的机构的任意组合。
制动单元142可以是被配置为使车辆100减速的机构的任意组合。例如，制动单元142可使用摩擦来减慢车轮/轮胎124。作为另一示例，制动单元142 可被配置为再生的(regenerative)并且将车轮/轮胎124的动能转换为电流。制动单元142也可采取其它形式。
传感器融合算法144可以包括例如计算装置111可运行的算法(或者存储算法的计算机程序产品)。传感器融合算法144可被配置为接受来自传感器 104的数据作为输入。所述数据可包括例如表示在传感器系统104的传感器处感测到的信息的数据。传感器融合算法144可包括例如卡尔曼滤波器、贝叶斯网络或者另外的算法。传感器融合算法144还可被配置为基于来自传感器系统104的数据来提供各种评价，包括例如对车辆100所位于的环境中的个体物体和/或特征的评估、对具体情形的评估和/或基于特定情形的可能影响的评估。其它评价也是可能的。
计算机视觉系统146可以是被配置为处理和分析由相机134捕捉的图像以便识别车辆100所位于的环境中的物体和/或特征的任何系统，所述物体和 /或特征包括例如车道信息、交通信号和障碍物。为此，计算机视觉系统146 可使用物体识别算法、从运动中恢复结构(Structure from Motion，SFM)算法、视频跟踪或其它计算机视觉技术。在一些示例中，计算机视觉系统146 可以额外地被配置为地图绘制环境、跟随物体、估计物体的速度，等等。
导航和路线控制系统148可以是被配置为确定车辆100的驾驶路线的任何系统。导航和路线控制系统148可以额外地被配置为在车辆100处于操作中的同时动态地更新驾驶路线。在一些示例中，导航和路线控制系统148可被配置为结合来自传感器融合算法144、GPS模块126和一个或多个预定地图的数据以便为车辆100确定驾驶路线。
避障系统150可以是被配置为识别、评估和避免或者以其它方式越过车辆100所位于的环境中的障碍物的任何系统。
控制系统106可以额外地或可替换地包括除了所示出的那些以外的组件。
外围设备108可被配置为允许车辆100与外部传感器、其它车辆和/或用户交互。为此，外围设备108可包括例如无线通信系统152、触摸屏154、麦克风156和/或扬声器158。
无线通信系统152可以是被配置为直接地或经由通信网络无线耦合至一个或多个其它车辆、传感器或其它实体的任何系统。为此，无线通信系统152 可包括用于直接或通过空中接口与其它车辆、传感器或其它实体通信的天线和芯片集。芯片集或整个无线通信系统152可被布置为根据一个或多个其它类型的无线通信(例如，协议)来通信，所述无线通信诸如蓝牙、IEEE 802.11 (包括任何IEEE 802.11修订版)中描述的通信协议、蜂窝技术(诸如GSM、 CDMA、UMTS、EV-DO、WiMAX或LTE)、紫蜂、专用短程通信(dedicated short rangecommunications，DSRC)以及射频识别(radio frequency identification，RFID)通信，等等。无线通信系统152也可采取其它形式。
触摸屏154可被用户用来向车辆100输入命令。为此，触摸屏154可被配置为经由电容感测、电阻感测或者表面声波过程等等来感测用户的手指的位置和移动中的至少一者。触摸屏154可能够感测在与触摸屏表面平行或与触摸屏表面在同一平面内的方向上、在与触摸屏表面垂直的方向上或者在这两个方向上的手指移动，并且还可能够感测施加到触摸屏表面的压力的水平。触摸屏154可由一个或多个半透明或透明绝缘层和一个或多个半透明或透明导电层形成。触摸屏154也可采取其它形式。
麦克风156可被配置为从车辆100的用户接收音频(例如，声音命令或其它音频输入)。类似地，扬声器158可被配置为向车辆100的用户输出音频。
外围设备108可以额外地或可替换地包括除了所示出的那些以外的组件。
电源110可被配置为向车辆100的一些或全部组件提供电力。为此，电源110可包括例如可再充电锂离子或铅酸电池。在一些示例中，一个或多个电池组可被配置为提供电力。其它电源材料和配置也是可能的。在一些示例中，电源110和能量源120可一起实现，如一些全电动车中那样。
包括在计算装置111中的处理器113可包括一个或多个通用处理器和/或一个或多个专用处理器(例如，图像处理器、数字信号处理器等)。就处理器 113包括多于一个处理器而言，这种处理器可单独工作或组合工作。计算装置111可被配置为例如基于通过用户接口112接收的输入控制车辆100的功能。
存储器114进而可包括一个或多个易失性存储组件和/或一个或多个非易失性存储组件，诸如光、磁和/或有机存储装置，并且存储器114可全部或部分与处理器113集成。存储器114可包含可由处理器113运行的指令115(例如，程序逻辑)，以运行各种车辆功能，包括本文中描述的功能或方法中的任何一个。
车辆100的组件可被配置为以与在其各自的系统内部和/或外部的其它组件互连的方式工作。为此，车辆100的组件和系统可通过系统总线、网络和/ 或其它连接机制(未示出)通信地链接在一起。
另外，尽管组件和系统的每一个被示出为集成到车辆100中，但是在一些示例中，一个或多个组件或系统可使用有线或无线连接来被可移除地安装在车辆100上或以其它方式连接(机械地或电气地)至车辆100。
车辆100可包括除了所示出的那些或代替所示出的那些的一个或多个元件。例如，车辆100可包括一个或多个额外的接口和/或电源。其它额外的组件也是可能的。在这些示例中，存储器114还包括指令，其可被处理器113 运行来控制额外的组件和/或与额外的组件通信。
图2图示了依据实施例的示例车辆200。具体地，图2示出了车辆200 的右侧视图、前视图、后视图和顶视图。虽然车辆200在图2中被图示为轿车，但其它示例是可能的。例如，车辆200可表示卡车、厢式货车、半挂卡车、摩托车、高尔夫球车、越野车或者农场车辆，以及其它示例。如图所示，车辆200包括第一传感器单元202、第二传感器单元204、第三传感器单元 206、无线通信系统208和相机210。
第一、第二和第三传感器单元202-206中的每一者可包括全球定位系统传感器、惯性测量单元、RADAR单元、LIDAR单元、相机、车道检测传感器和声学传感器的任意组合。其它类型的传感器也是可能的。
尽管第一、第二和第三传感器单元202被示为安装在车辆200上的特定位置中，但在一些示例中，传感器单元202可安装在车辆200上的别处，在车辆200内部或外部。另外，尽管只示出了三个传感器单元，但在一些示例中，车辆200中可包括更多或更少的传感器单元。
在一些示例中，第一、第二和第三传感器单元202-206中的一个或多个可包括一个或多个可移动底座，传感器可以可移动地安装在这些底座上。可移动底座可包括例如旋转平台。安装在旋转平台上的传感器可被旋转以使得传感器可获得来自车辆200周围的每个方向的信息。可替换地或额外地，可移动底座可包括倾斜平台。安装在倾斜平台上的传感器可在特定的角度和/或方位范围内被倾斜以使得传感器可获得来自各种角度的信息。可移动底座也可采取其它形式。
另外，在一些示例中，第一、第二和第三传感器单元202-206中的一个或多个可包括一个或多个致动器，这些致动器被配置为通过移动传感器和/或可移动底座来调整传感器单元中的传感器的位置和/或朝向。示例致动器包括马达(motor)、气动致动器、液压活塞、继电器、螺线管和压电致动器。其它致动器也是可能的。
无线通信系统208可以是被配置为直接地或者经由通信网络来无线地耦合到一个或多个其它车辆、传感器或其它实体的任何系统，如以上相对于图 1中的无线通信系统152所述的那样。尽管无线通信系统208被示为位于车辆200的顶盖上，但在其它示例中，无线通信系统208可以完全或部分地位于别处。
相机210可以是被配置为捕捉车辆200所位于的环境的图像的任何相机 (例如，静态相机、视频相机，等等)。为此，相机210可采取如以上相对于图1中的相机134所述的任何形式。尽管相机210被示为安装在车辆200的前挡风玻璃内部，但在其它示例中，相机210可安装在车辆200上的别处，在车辆200内部或外部。
车辆200可包括除了所示出的那些或代替所示出的那些的一个或多个其它组件。额外的组件可包括电气或机械功能。
车辆200的控制系统可被配置为依据来自多个可能的控制策略中的一控制策略控制车辆200。控制系统可被配置为从耦合到车辆200(在车辆200上或车辆200外)的传感器接收信息，基于该信息修改控制策略(以及相关联的驾驶行为)，并且依据经修改的控制策略控制车辆200。控制系统还可被配置为监视从传感器接收到的信息，并且持续评估驾驶环境；并且也可被配置为基于驾驶状况的变化修改控制策略和驾驶行为。
图3是用于使用激光点云进行物体检测的示例方法300的流程图。方法 300可包括一个或多个操作、功能或动作，如一个或多个方框302-310所图示的。虽然方框按相继顺序图示出，但这些方框在一些情况下可并行和/或按与本文中描述的顺序不同的顺序执行。另外，各种方框可基于期望的实现方式组合成更少的方框，分割成额外的方框，和/或被移除。
此外，对于本文中公开的方法300以及其它过程和方法，流程图示出了当前实施例的一个可能实现方式的功能和操作。就这一点而言，每个方框可代表程序代码的模块、片段或部分，其包括用于实现过程中的特定逻辑功能或步骤的处理器可运行的一个或多个指令。程序代码可被存储在任意类型的计算机可读介质或存储器中，诸如例如包括盘或硬盘驱动器的存储装置。计算机可读介质可包括非暂态计算机可读介质，诸如例如像寄存器存储器、处理器缓存和随机访问存储器(Random Access Memory，RAM)那样短时间存储数据的计算机可读介质。计算机可读介质还可包括诸如次级或永久长期存储装置之类的非暂态介质或存储器，例如像只读存储器(read only memory， ROM)、光盘或磁盘、致密盘只读存储器(compact-disc read only memory， CD-ROM)。计算机可读介质也可以是任何其它易失性或非易失性存储系统。计算机可读介质可被看作例如计算机可读存储介质、有形存储装置或者其它制品。
非暂态计算机可读介质也可分布在多个数据存储元件之间，这些数据存储元件的位置可彼此远离。运行所存储指令中的一些或全部的计算装置或系统可以是车辆，诸如图2中所图示的示例车辆200。可替换地，运行所存储指令中的一些或全部的计算装置或系统可以是另外的计算装置或系统，诸如服务器。
此外，对于本文中公开的方法300以及其它过程和方法，图3中的每个方框可代表被连线以执行过程中的特定逻辑功能的电路。
示例方法，诸如图3的方法300，可全部或部分由车辆及其子系统执行。因此，示例方法可在本文中以示例的方式被描述为由车辆实现。车辆例如可以是自主的、部分自主的、或者完全由用户控制的。然而，应当理解示例方法可全部或部分由车辆的其它计算装置或与车辆分离的其它计算装置实现。例如，示例方法可全部或部分由服务器系统实现，所述服务器系统从诸如与车辆相关联的那些那样的装置接收数据。在一些示例实现方式中，该方法还可由机器人装置或其它类型的计算装置运行。可实现示例方法的计算装置的其它示例或计算装置的组合是可能的。
在方框302，方法300可包括在计算装置处接收指示车辆的环境的激光数据。示例车辆或机器人装置可使用被配置为捕捉关于周围环境的测量值的 (一个或多个)传感器所提供的信息来起作用。具体地，操作车辆的计算装置或机器人装置从各种传感器接收传感器数据，并处理所述数据以供操作期间使用，包括供控制策略的确定和运行使用。
如图1-2中所示，示例车辆可包括多种传感器，包括被配置为执行对附近环境的扫描以捕捉与车辆附近的物体相对应的激光数据的LIDAR模块。 LIDAR模块可以按激光数据点的形式捕捉并提供关于环境的信息至车辆的计算装置，所述信息可以按点云的形式到达计算装置。取决于LIDAR模块的类型，计算装置可接收例如结构化或非结构化的点云中配置的任意数量的激光数据点。例如，计算装置可接收结构点云中的激光数据，其中每个数据点或每组数据点基于局部环境中的物体来布置。非结构化点云可包括不具有数据点的任何特定布置的随机接收的数据点。
此外，点云内的激光数据点可具有包括像栅格那样的结构，或者可以按缺少像栅格那样的形式的点云的形式到达计算装置。
在其它示例实施例中，车辆的计算装置可从其它传感器接收数据，例如从RGB-深度相机接收图像。除了使用LIDAR提供的数据点外，计算装置还还可从其它传感器接收数据。计算装置可组合从诸如LIDAR和相机之类的多个传感器接收到的信息。
在方框304，方法300可包括，基于多个激光数据点，生成二维距离图像，包括指示相对于车辆的环境中的一个或多个物体的相应位置的多个像素。随着车辆的计算装置从LIDAR和/或其它传感器接收到数据，计算装置可基于所接收的数据生成2D距离图像。计算装置可在形成2D距离图像之前等候完成从传感器接收整个3D点云，或可在完全接收3D点云之前继续确定2D 距离图像。例如，当从传感器接收到激光数据时，计算装置可形成2D距离图像的部分。计算装置可基于引入的激光数据生成二维距离图像，所述激光数据例如可在距离图像的像素内指示物体和车辆之间的距离。
在一个示例实施例中，车辆的计算装置可以按非结构化3D点云的形式从LIDAR接收到激光数据。计算装置可通过将数据点投影到车辆周围的概念性圆柱形2D表面来对这些数据点结构化。具体地，计算装置可使用传感器相对于环境中的物体的已知位置以及3D激光数据点来按合适的顺序将点投影到概念性圆柱形2D表面上以反映车辆的环境。结果，计算装置可使用激光数据点形成作为360度全景存在的图像，其中组成距离图像的每个像素的值反映原始3D激光数据点内的数据。在一些情况下，2D距离图像可包括可由没有分配值的像素组成的一个或多个空白。此外，计算装置可使用激光数据形成其它图像，诸如180度图像或其它形式。在示例实现方式中，计算装置可形成多个2D距离图像或者确定指示从传感器接收到的数据的3D格式结构。
将激光数据配置到概念性圆柱形2D表面上可使得计算装置能够将激光数据定位到可准确反映车辆的环境的2D距离图像内的像素中。不同的像素可提供关于环境的信息，包括关于物体相对于车辆的位置的信息。全景中的每个像素的值可对应于传感器数据中接收到的原始点。2D距离图像内的一些像素没有被分配值，这可导致2D距离图像总体上的空白。在其它示例实施例中，计算装置可将传感器数据格式化为其它配置以供分析。
在另一示例中，计算装置可以按结构化形式接收激光数据，诸如结构化 3D点云的形式。计算装置可利用激光数据来将所述数据投影到2D概念性图像中，所述2D概念性图像可以按2D形式反映激光数据点中包含的信息。例如，2D距离图像可包括指示环境中的物体相对于其它物体和车辆的位置的信息。
在一些情况下，计算装置可确定二维图像中的(一个或多个)梯度，并且使用积分图像平滑2D距离图像的(一个或多个)梯度。例如，计算装置可由于在先计算的依赖性而使用约简算法。计算装置可快速且有效地生成栅格的矩形子集(诸如2D距离图像内的若干个像素)中的值的总和。
计算装置可使用从多个传感器获取的和/或在连续扫描中接收到的传感器数据来生成用于分析的2D距离图像。例如，车辆的计算装置可从LIDAR 单元接收指示局部环境中的相同区域的多组激光数据。计算装置可使用多个扫描和多组激光数据来形成2D距离图像。例如，多组激光数据可确认或校正可能已在初始扫描中错误地接收到的区域。
在方框306，方法300可包括修正所生成的二维图像以向多个像素中的映射到缺少激光数据的环境中的一个或多个物体的一个或多个部分的一个或多个给定像素提供相应值。如先前所指示的，计算装置可使用(一个或多个) 传感器所提供的数据点来生成2D距离图像。2D距离图像的形成可导致以下 2D距离图像：其由包含数据点的数据的值的像素和可能不包括值的一些像素 (例如，图像中的空白)组成。对于2D距离图像内缺失值的各个像素，在邻近像素可用的情形下，计算装置可使用位于空像素附近或与其接近的附近邻近像素来粗略估计它们的位置和/或值。
为了给2D图像内缺少值的像素分配值，计算装置可执行一个或多个过程。例如，计算装置可修正2D距离图像以基于位于2D距离图像中的包含空像素值的空白附近的各个邻近像素的平均值填充空白。在一些示例中，计算装置可成对地使用邻近像素来确定没有值的空白中的像素的值。例如，计算装置可使用没有值的空像素上面的像素和下面的像素的平均值来确定空像素的值。同样地，计算装置可使用空白中的空像素左边的像素和右边的像素来确定要分配给空白中的空像素的平均值。在其它示例中，计算装置可使用其它组合中的额外的像素来确定2D距离图像中空白内的空像素的值。
在方框308，方法300可包括，基于修正的二维距离图像，确定多个像素中的与环境中的一个或多个物体的相应表面相对应的一组或多组像素的多个法向量。出于物体识别的目的，计算装置计算可与环境中的相同表面相对应的像素的法向量，这可帮助自主导航中的车辆。
为了改进物体识别和确保安全导航，当形成和处理2D距离图像时，计算装置可实时确定如在2D距离图像中所表示的表面的法向量。如此，计算装置可被配置为利用相对较少的CPU循环更有效地确定点云中接收到的激光数据内的法向量，并以最小延迟水平向车辆的各种系统提供所确定的法线。
在一个示例实施例中，计算装置可通过计算穿过和沿着(across and down) 图像的梯度并使用积分图像平滑所述梯度来确定像素组的法向量。结果，计算装置可计算梯度的归一化向量积(cross product)以产生如像素组指示的各个表面的法向量。例如，计算装置可计算在像素组的中心处正切于局部表面的两个向量。根据两个正切向量，计算装置可使用向量积来计算表面法线。例如，计算装置可计算左邻近像素和右邻近像素之间和上邻近像素和下邻近像素之间的表面法线。
在一些情况下，计算装置可通过计算像素的某一邻域内的平均向量来平滑正切向量。例如，计算装置可通过使用积分图像来平滑像素组内的梯度或正切向量，这可涉及创建正切向量的两个映射，一个关于水平方向，而一个关于垂直方向。计算装置随后可计算2D距离图像中的或点云中的相应3D点内的相应像素之间的映射的向量。计算装置可计算积分图像以计算平均正切向量，从而计算表面法线。
在一些示例中，在完成从相同点云接收传感器数据之前，计算装置可确定如由2D距离图像中的像素表示的不同表面的法向量。计算装置可被配置为例如在从传感器接收到传感器数据时，立即开始处理这些传感器数据。在其它示例中，在处理数据以确定表面的法向量之前，计算装置可等候从传感器接收环境的区域的整个点云。
作为示例实现方式，车辆的计算装置可使用诸如表面法线或点形式内的曲率之类的局部几何特征来确定指示车辆的环境的信息。计算装置可通过使平面适应(fit)点的局部邻域，诸如邻近点，来确定与一个点(例如，像素) 或一组点(例如，像素组)垂直的向量。在一些情况下，计算装置可通过使用最近邻处理或选择离像素一半径距离内的像素来确定2D距离图像的邻近像素以计算像素的表面法线。当计算装置聚焦于特定像素组以从中计算表面法线时，计算装置可例如通过分析该像素组的协方差矩阵的特征向量来估计局部表面法线。
用于确定表面法线的像素组的大小在不同示例内可变化。例如，计算装置可避免选择过大的一组像素，因为大量像素可导致对于准确确定表面法线，环境结构看起来过于平滑。在计算装置于一组内选择过少的像素用于分析表面法线的情况下，所估计的法线受接收到的传感器数据中的噪声的影响。计算装置可通过经由为估计表面法线所聚焦的特定像素计算像素组内的像素到局部平面的距离来补偿负面影响。计算装置在额外的运行中可使用距离来在协方差计算中对像素组中的像素进行加权。结果，计算装置可更好地粗略估计局部表面结构并且更准确地描绘表面的角落和边缘。
在另一示例实施例中，车辆的计算装置可使用固定的像素邻域来提取表面法线信息。例如，计算装置可使用固定的像素邻域并且可额外减去表面的某一最大范围外的预计算的邻域。这样，计算装置可以在不需要耗费计算的邻域搜索的情况下确定像素的表面法线。
在一些示例实现方式中，计算装置可在局部图像坐标框架中计算表面法线，或者可将基于像素信息的笛卡尔坐标和局部表面法线两者都转换成车辆的基本坐标框架。计算装置还可例如将局部表面法线的球面坐标用于处理表面法线。计算装置还可执行平面分割，这可涉及群聚具有相似表面法线的表面以确定车辆的环境中的表面。
在方框310，方法300可包括，基于一组或多组像素的多个法向量，将指示环境中的一个或多个物体的物体识别信息提供给车辆的一个或多个系统。车辆的系统可将包括法向量的信息用于例如物体检测和/或物体避让。
在一个示例实现方式中，车辆的计算装置可将物体识别信息提供给车辆的控制系统。控制系统可基于接收的信息来调整转向、油门、刹车、导航/路线控制系统或避障系统。例如，控制系统可基于计算装置所提供的信息来调整车辆的路线。
在另一示例实现方式中，机器人装置的计算装置可使用物体识别信息来识别房间内的特定物体或者将该信息用于避障。例如，计算装置可使用法向量以及利用表面法线的分割来识别环境中的物体以及避免碰撞。
在一个示例实施例中，车辆的计算装置可从LIDAR接收结构化点云。计算装置也可从其它传感器接收额外的传感器数据。当传感器数据到达时，计算装置可逐渐地投影数据点以构建2D距离图像。当计算装置从LIDAR或其它传感器累积足够用来填充2D距离图像中的矩形面片的数据点时，计算装置可继续计算仅针对该矩形面片的法线。这样，计算装置可处理引入的数据点以确定环境中的表面的法向量，而无需缓冲或整体等候完全接收到3D点云。这可减少计算延迟，以及使得计算装置能够更快地处理引入的传感器数据。
在另一示例实施例中，车辆的计算装置可以按特定形式或顺序从LIDAR 接收激光数据点。例如，计算装置可以相对于环境从左至右接收激光数据点，并且也可以按照锯齿状线而非直的垂直线来接收激光数据点。计算装置可被配置为基于锯齿状线来预测格式并且可以通过将最近的数据滞后线的粗糙度 (jaggedness)所指示的固定量来使用来自所确定的2D距离图像的从上至下的垂直的面片。
在一些示例实施例中，车辆的计算装置可从LIDAR和/或其它传感器接收激光数据点，并且可等候处理数据直到接收到足够的数据点来生成2D距离图像的更大的矩形。如此，计算装置在运行用于提取2D距离图像中与车辆的环境内的表面相对应的表面的法向量信息的算法时，可利用并行计算。在其它示例中，计算装置在完成接收LIDAR所提供的相同3D点云内的所有激光数据点之前，可处理2D距离图像的矩形中的激光数据点。
在又一示例实施例中，车辆的计算装置可将计算的表面法线以及平面片段和球面坐标用于检测环境中的障碍物。计算装置可通过将点投影到所确定的点所属的平面来补偿激光数据中的噪声和错误。此外，计算装置可使用其它过程来校正在所检测平面处的局部表面。计算装置可对所获取的激光数据中的平面进行分割和分类。
在又一示例实施例中，车辆的计算装置可接收传感器数据并且投影点云 (结构化的或非结构化的)以创建距离图像。计算装置可在接收完整的点云之前投影点云的点。结果，计算装置可从2D距离图像构造有序的3D点图像。计算装置随后可计算穿过和沿着3D图像的梯度，并且还可计算梯度的积分图像。另外，计算装置可根据积分图像重建经平滑的梯度，并且也可根据积分图像重建经平滑的梯度。在一些情况下，计算装置可计算经平滑的梯度的向量积，并且可以归一化和翻转(flip)该向量积来产生表面法线。
图4是图示二维距离图像的一部分中的像素的示例图。2D距离图像400 的部分示出了按正方形布置的9个像素402-408，但在其它示例内其可包括更多或更少的像素。车辆的计算装置可形成和使用包括像素402-408的2D距离图像以提取导航期间车辆的周围环境的物体识别信息，这可包括基于像素组确定环境中的特定表面的法向量。
在示例图中，中心像素402可表示指示2D距离图像内的可能的空白的空像素，所述2D距离图像由车辆的计算装置使用接收到的指示环境的激光数据确定。如先前所述的，车辆的计算装置可使用激光数据来投影和确定由基于如传感器所捕捉的指示环境的数据(诸如以点云形式接收的激光数据) 的像素组成的2D距离图像。计算装置形成的2D距离图像可包括一个或多个空白，所述空白可包含可能未对应于点云中接收的数据点从而可不具有值的像素。
在一些示例实施例中，为了填充2D距离图像中的空白，诸如图4中所示的中心像素402，计算装置可使用位于中心像素402附近的邻近像素的值来确定要给予中心像素402的值。通过这个操作，计算装置可填充2D距离图像内的空白，从而生成更完整的2D距离图像以用于确定可对应于车辆的环境中的表面的像素组的法向量。
作为一个示例，车辆的计算装置可使用位于中心像素402的左侧和右侧的邻近像素404来确定中心像素402的值。例如，计算装置可计算位于中心像素402的左边和右边的邻近像素404的平均值以将该平均值分配给中心像素402。在一些情况下，计算装置还可使用中心像素402侧面的额外像素来计算用于中心像素402的平均值。
类似地，在另一示例中，计算装置可使用位于中心像素402上方和下方的邻近像素406来确定要分配给中心像素402的可能值，以便填充2D图像内的空白。计算装置还可使用更多或更少的像素来为诸如中心像素402那样的空像素确定值。
在另一示例实施例中，计算装置可使用所有角落像素(诸如像素408) 来确定该值。同样地，计算装置可使用邻近中心像素402的所有像素404-408 来计算要分配给中心像素402的平均值。在其它示例中，计算装置可使用像素的其它组合来确定用于中心像素402的值，所述组合可涉及更多或更少的像素。
图5A-5D示出了使用生成的点云的示例车辆导航的概念性图示的不同视图。如先前所指示的，车辆可使用传感器，诸如LIDAR，来导航以提取关于车辆的周围环境的测量值。车辆的计算装置可处理引入的信息以避障和确保安全导航，如图5A-5D中所示。在一些示例中，随着从传感器接收到数据点，车辆的计算装置可形成2D距离图像的部分。类似地，计算装置可投影数据点以形成与车辆的环境相对应的虚拟2D图像的整个360度全景，诸如图5A-5D中示出的360度全景的部分。
图5A从前侧视图示出了示例车辆，并图示了由示例车辆的计算装置使用传感器数据生成的虚拟二维距离图像的部分。随着示例车辆502导航，车辆502的传感器可捕捉和提供指示环境的数据至车辆的计算装置。如先前所论述的，在从传感器接收到数据，诸如在使用LIDAR接收到激光数据时，计算装置可投影数据以确定概念性2D距离图像504，其包括基于与局部环境中的物体和其它表面相对应的数据的像素。计算装置可在例如接收到点云的一部分时开始形成2D距离图像504的部分。
在其它示例中，在确定2D距离图像504之前，计算装置可等候使用 LIDAR接收的整个点云。随着车辆持续导航，计算装置可从传感器持续接收新数据，诸如新数据点云，计算装置可使用这些新数据来更新其2D距离图像504或生成与变化的环境相对应的新2D图像以供处理和物体检测。此外，计算装置可使用2D距离图像504或2D距离图像的部分来计算与环境中的相同表面相对应的像素组的表面法线，计算装置可将所述表面法线和分割一起用来重建可用于避障和导航的环境的虚拟距离。2D距离图像可包括例如以 2D虚拟距离形式反映车辆的环境的像素。
图5B从侧视图示出了示例车辆，并图示了由示例车辆的计算装置使用传感器数据生成的二维距离图像的额外部分。车辆502的计算装置可基于随着车辆导航行驶路线而引入的传感器数据来持续更新其2D距离图像504或形成新的2D距离图像。图5B中示出的示例图示可表示图5A中所示的示例图示的另一视图，或者可图示在不同时间段(诸如在图5A中所示的时间段之前或之后)的示例车辆。
图5C从后视图示出了示例车辆，并图示了由示例车辆的计算装置使用传感器数据生成的二维距离图像的部分。类似于图5A-5B，图5C中的示例图示示出了示例车辆502可用来计算周围环境中的一个或多个表面的法向量以及用于物体识别目的的2D距离图像504的一部分。
图5D从另一后视图示出了示例车辆，并图示了由示例车辆的计算装置使用传感器数据生成的二维距离图像的部分。类似于图5C中示出的图示，图 5D从车辆502后侧的视图示出了示例车辆502，并且还包括位于车辆周围的概念性2D距离图像504的部分。示例图示示出了2D距离图像504相对于图 5C中示出的2D距离图像的部分的片段的变化。
图6是图示一组像素的法向量计算的示例图。示例图示出了由六个像素组成的像素组602，该六个像素可表示由车辆的计算装置根据激光数据确定的2D距离图像的一部分。虽然示例图示出了包括6个像素的像素组602，但其它示例可包括更多或更少的像素。在示例图中，像素组602可表示车辆的局部环境中的表面。例如，像素组602可表示诸如车辆、标志、边界之类的物体的表面，或者其它类型的表面。计算装置可使用各种过程来确定像素组602，诸如基于计算装置被配置为使用的预定数量来选择像素的邻域。计算装置还可将其它方法或过程用于确定对于像素组要将哪些像素以及多少像素用来提取表面法线。
车辆的计算装置可通过确定正切向量604-606来处理像素组602以便计算与所述组相关联的表面法线608。如示例图中所示，计算装置可确定连接以组成直角的水平向量604和垂直向量606。计算装置可在其它示例中确定用于计算表面法线的其它向量。
在确定正切向量604-606时，车辆的计算装置可计算表面法线向量608，表面法线向量608可使用正切向量604-606的向量积来计算。还可存在确定像素组602的表面法线的其它示例。如此，计算装置可将像素组602和法向量608用于物体检测。计算装置可将与像素组602相关联的法向量608以及其它像素组的表面法线和/或其它数据提供给车辆的系统以供导航期间使用。此外，计算装置还可使用分割来组合像素组以基于表面法线和接收到的传感器数据内的其它信息地图绘制环境。
图7是图示根据本文给出的至少一些实施例布置的包括用于在计算装置上运行计算机过程的计算机程序的示例计算机程序产品的概念性局部视图的示意图。
在一个实施例中，利用信号承载介质702来提供示例计算机程序产品 700。信号承载介质702可包括一个或多个编程指令704，这些编程指令704 在被一个或多个处理器运行时可提供以上相对于图1-6 描述的功能或功能的部分。在一些示例中，信号承载介质702可包含计算机可读介质 706，诸如但不限于硬盘驱动器、致密盘(Compact Disc，CD)、数字视频盘 (Digital Video Disk，DVD)、数字磁带、存储器，等等。另外，在一些实现方式中，信号承载介质702可包含计算机可记录介质708，诸如但不限于存储器、读/写(R/W)CD、R/W DVD，等等。在一些实现方式中，信号承载介质702可包含通信介质710，诸如但不限于数字和/或模拟通信介质(例如，光缆、波导、有线通信链路、无线通信链路，等等)。从而，例如，信号承载介质702可由无线形式的通信介质710来传达。
一个或多个编程指令704可以例如是计算机可运行的和/或逻辑实现的指令。在一些示例中，诸如图1的处理器112那样的计算装置可被配置为响应于由计算机可读介质706、计算机可记录介质708和/或通信介质710中的一个或多个传达到该处理器的编程指令704而提供各种操作、功能或动作。
非暂态计算机可读介质也可分布在多个数据存储元件之间，这些数据存储元件的位置可彼此远离。运行所存储指令中的一些或全部的计算装置可以是装置，诸如图1中所图示的装置100。可替换地，运行所存储指令中的一些或全部的计算装置可以是另外的计算装置，诸如服务器。
应当理解，本文中描述的布置仅用于示例的目的。因而，本领域技术人员将会理解，可以代替地使用其它布置和其它元件(例如机器、接口、功能、顺序和功能的分组等)，且根据期望的结果可以将一些元件一同省略。另外，描述的许多元件是功能实体，其可以按任何适当的组合和位置实现为分立或分布式的组件或与其它组件结合。
尽管本文已公开了各种方面和实施例，但其它方面和实施例对于本领域技术人员而言将是明显的。本文公开的各种方面和实施例是为了说明的目的，而不意在进行限制，真实的范围应当由所附权利要求以及这样的权利要求所被授权的等效物的全部范围指示。还要理解，本文中使用的术语仅是为了描述特定实施例的目的，而不意在进行限制。
因为可以对所描述的示例作出细节上的很多修改、变化和改变，但是意图在于前面的描述和附图中所示的所有事项被解释为说明性的，而不是限制的意思。

Claims (18)

1.一种用于物体检测的方法，包括：
在计算装置处接收指示车辆的环境的激光数据，其中，激光数据包括与环境中的一个或多个物体相关联的多个数据点；
基于多个数据点的一个或多个子集，生成包括指示相对于车辆的环境中的一个或多个物体的相应位置的多个像素的二维距离图像，其中，多个数据点的一个或多个子集对应于点云；
修正生成的二维距离图像以向多个像素中的映射到缺少激光数据的环境中的一个或多个物体的一个或多个部分的一个或多个给定像素提供相应值，其中，修正生成的二维距离图像以向一个或多个给定像素提供相应值是基于多个像素中位于二维距离图像中的多个像素的一个或多个给定像素附近的各个邻近像素的；
基于修正的二维距离图像，确定多个像素中的与环境中的一个或多个物体的相应表面相对应的一组或多组像素的多个法向量包括：
估计修正的二维距离图像中的一个或多个梯度；
使用积分图像过程来平滑修正的二维距离图像中的一个或多个梯度，其中，所述积分图像过程包括基于一个或多个梯度中的像素的相应总和来确定一组或多组平均正切向量；
使用一组或多组平均正切向量来确定一个或多个经平滑的梯度的一个或多个向量积；
基于一个或多个经平滑的梯度的一个或多个向量积，确定一组或多组像素的多个法向量；以及
基于一组或多组像素的多个法向量和平面分割，将指示环境中的一个或多个物体的物体识别信息提供给车辆的一个或多个系统来确定合适的导航策略。
2.如权利要求1所述的方法，其中，所述多个像素中的映射到缺少激光数据的环境中的一个或多个物体的一个或多个部分的一个或多个给定像素指示激光数据中的噪声。
3.如权利要求1所述的方法，其中，在计算装置处接收指示车辆的环境的激光数据包括：
以结构化点云的形式接收与环境中的一个或多个物体相关联的多个数据点。
4.如权利要求1所述的方法，其中，在计算装置处接收指示车辆的环境的激光数据包括：
以非结构化点云的形式接收与环境中的一个或多个物体相关联的多个数据点。
5.如权利要求1所述的方法，其中，在计算装置处接收指示车辆的环境的激光数据包括：
以除了像栅格那样的点云以外的点云形式接收与环境中的一个或多个物体相关联的多个数据点。
6.如权利要求1所述的方法，其中，基于多个数据点，生成包括指示相对于车辆的环境中的一个或多个物体的相应位置的多个像素的二维距离图像包括：
在接收到点云的多个数据点的第一部分时，生成二维距离图像的至少初始部分。
7.如权利要求1所述的方法，其中，修正生成的二维距离图像以向一个或多个给定像素提供相应值还基于多个像素中的位于二维距离图像中的多个像素的一个或多个给定像素附近的各个邻近像素的平均值。
8.如权利要求7所述的方法，其中，修正生成的二维距离图像以向一个或多个给定像素提供相应值还基于多个像素中的位于二维距离图像中的多个像素的一个或多个给定像素附近的各个邻近像素的平均值还包括：
使用位于相应像素的顶部和底部的各个邻近像素或位于相应像素的左边和右边的各个邻近像素来估计平均值。
9.如权利要求1所述的方法，其中，生成包括指示相对于车辆的环境中的一个或多个物体的相应位置的多个像素的二维距离图像包括：
将多个数据点投影到车辆周围的概念性圆柱形二维表面上以生成二维距离图像，其中，将多个数据点投影到概念性圆柱形二维表面上包括基于与多个数据点相关联的数据定位二维表面中的像素。
10.如权利要求1所述的方法，其中，生成的二维距离图像是指示车辆的环境的虚拟360度全景。
11.如权利要求1所述的方法，其中，除了二维距离图像中的一个或多个空像素外的多个像素对应于与环境中的一个或多个物体相关联的多个数据点。
12.一种用于物体检测的系统，包括：
至少一个处理器；以及
存储器，其上存储有在由至少一个处理器运行时引起系统执行功能的指令，所述功能包括：
接收指示车辆的环境的激光数据，其中，激光数据包括与环境中的一个或多个物体相关联的多个数据点；
基于多个数据点的一个或多个子集，生成包括指示相对于车辆的环境中的一个或多个物体的相应位置的多个像素的二维距离图像，其中，多个数据点的一个或多个子集对应于点云；
修正生成的二维距离图像以向多个像素中的映射到缺少激光数据的环境中的一个或多个物体的一个或多个部分的一个或多个给定像素提供相应值，其中，修正生成的二维距离图像以向一个或多个给定像素提供相应值是基于多个像素中位于二维距离图像中的多个像素的一个或多个给定像素附近的各个邻近像素的；
基于修正的二维距离图像，确定多个像素中的与环境中的一个或多个物体的相应表面相对应的一组或多组像素的多个法向量包括：
估计修正的二维距离图像中的一个或多个梯度；
使用积分图像过程来平滑修正的二维距离图像中的一个或多个梯度，其中，所述积分图像过程包括基于一个或多个梯度中的像素的相应总和来确定一组或多组平均正切向量；
使用一组或多组平均正切向量来确定一个或多个经平滑的梯度的一个或多个向量积；
基于一个或多个经平滑的梯度的一个或多个向量积，确定一组或多组像素的多个法向量；以及
基于一组或多组像素的多个法向量和平面分割，将指示环境中的一个或多个物体的物体识别信息提供给车辆的一个或多个系统来确定合适的导航策略。
13.如权利要求12所述的系统，其中，生成包括指示相对于车辆的环境中的一个或多个物体的相应位置的多个像素的二维距离图像还基于由车辆的深度相机系统提供的数据。
14.如权利要求12所述的系统，其中确定多个像素中的与环境中的一个或多个物体的相应表面相对应的一组或多组像素的多个法向量的功能包括：
使用固定像素邻域过程确定一组或多组像素，其中，固定像素邻域过程包括：
确定与环境中的一个或多个物体的相应表面相对应的中心像素；以及
基于多个像素中的给定像素相对于中心像素的相应距离，为一组或多组像素中的相应像素组选择预定数量的包括中心像素的像素。
15.如权利要求12所述的系统，其中，所述激光数据由车辆的LIDAR模块提供。
16.如权利要求12所述的系统，还包括：
基于一组或多组像素的多个法向量，执行平面分割过程以连接一组或多组像素；以及
基于执行平面分割过程，将指示环境的虚拟渲染提供给车辆的一个或多个系统。
17.一种非暂态计算机可读介质，其上存储有在由计算装置运行时引起该计算装置来执行功能的指令，所述功能包括：
接收指示车辆的环境的激光数据，其中，激光数据包括与环境中的一个或多个物体相关联的多个数据点；
基于多个数据点的一个或多个子集，生成包括指示相对于车辆的环境中的一个或多个物体的相应位置的多个像素的二维距离图像，其中，多个数据点的一个或多个子集对应于点云；
修正生成的二维距离图像以向多个像素中的映射到缺少激光数据的环境中的一个或多个物体的一个或多个部分的一个或多个给定像素提供相应值，其中，修正生成的二维距离图像以向一个或多个给定像素提供相应值是基于多个像素中的位于二维距离图像中的多个像素的一个或多个给定像素附近的各个邻近像素的；
基于修正的二维距离图像，确定多个像素中的与环境中的一个或多个物体的相应表面相对应的一组或多组像素的多个法向量包括：
估计修正的二维距离图像中的一个或多个梯度；
使用积分图像过程来平滑修正的二维距离图像中的一个或多个梯度，其中，所述积分图像过程包括基于一个或多个梯度中的像素的相应总和来确定一组或多组平均正切向量；
使用一组或多组平均正切向量来确定一个或多个经平滑的梯度的一个或多个向量积；
基于一个或多个经平滑的梯度的一个或多个向量积，确定一组或多组像素的多个法向量；以及
基于一组或多组像素的多个法向量和平面分割，将指示环境中的一个或多个物体的物体识别信息提供给车辆的一个或多个系统来确定合适的导航策略。
18.如权利要求17所述的非暂态计算机可读介质，还包括：
基于一组或多组像素的多个法向量，执行平面分割过程以连接环境的虚拟地图中的一组或多组像素；以及
基于环境的虚拟地图，确定控制策略以控制车辆。
CN201510411445.3A 2014-04-25 2015-04-27 用于使用激光点云进行物体检测的方法和系统 Expired - Fee Related CN105182358B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US14/262,651 2014-04-25
US14/262,651 US9098754B1 (en) 2014-04-25 2014-04-25 Methods and systems for object detection using laser point clouds

Publications (2)

Publication Number Publication Date
CN105182358A CN105182358A (zh) 2015-12-23
CN105182358B true CN105182358B (zh) 2018-06-26

Family

ID=53039264

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510411445.3A Expired - Fee Related CN105182358B (zh) 2014-04-25 2015-04-27 用于使用激光点云进行物体检测的方法和系统

Country Status (4)

Country Link
US (2) US9098754B1 (zh)
EP (1) EP2937815B1 (zh)
JP (3) JP6174073B2 (zh)
CN (1) CN105182358B (zh)

Families Citing this family (147)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9274673B2 (en) * 2013-12-31 2016-03-01 Google Inc. Methods, systems, and media for rewinding media content based on detected audio events
US9098754B1 (en) * 2014-04-25 2015-08-04 Google Inc. Methods and systems for object detection using laser point clouds
US9536311B2 (en) * 2014-09-29 2017-01-03 General Electric Company System and method for component detection
US10515259B2 (en) * 2015-02-26 2019-12-24 Mitsubishi Electric Research Laboratories, Inc. Method and system for determining 3D object poses and landmark points using surface patches
CN108271408B (zh) 2015-04-01 2020-12-04 瓦亚视觉有限公司 使用被动和主动测量生成场景的三维地图
US10282623B1 (en) * 2015-09-25 2019-05-07 Apple Inc. Depth perception sensor data processing
US9970756B2 (en) * 2015-10-06 2018-05-15 Bridger Photonics, Inc. High-sensitivity gas-mapping 3D imager and method of operation
CN105371818A (zh) * 2015-11-30 2016-03-02 湖北易瓦特科技股份有限公司 测距避障仪和无人机测距避障的方法
WO2017157967A1 (en) * 2016-03-14 2017-09-21 Imra Europe Sas Processing method of a 3d point cloud
JPWO2017159382A1 (ja) * 2016-03-16 2019-01-24 ソニー株式会社 信号処理装置および信号処理方法
CN107341804B (zh) * 2016-04-29 2020-11-06 成都理想境界科技有限公司 点云数据中平面的确定方法及装置、图像叠加方法及设备
KR101866764B1 (ko) * 2016-05-13 2018-06-18 충남대학교산학협력단 통합픽셀로 구성된 거리영상센서
JP6821957B2 (ja) * 2016-06-08 2021-01-27 アイシン精機株式会社 測距装置
CN106080397B (zh) * 2016-08-25 2019-11-26 北京奇虎科技有限公司 自适应巡航系统及车载设备
US10066946B2 (en) 2016-08-26 2018-09-04 Here Global B.V. Automatic localization geometry detection
CN106401643B (zh) * 2016-08-31 2018-08-21 中国铁路设计集团有限公司 基于激光点云的隧道超欠挖检测方法
US11092690B1 (en) * 2016-09-22 2021-08-17 Apple Inc. Predicting lidar data using machine learning
CN106225678B (zh) * 2016-09-27 2018-10-19 北京正安维视科技股份有限公司 基于3d相机的动态物体定位与体积测量方法
KR101909953B1 (ko) * 2016-10-06 2018-12-19 충북대학교 산학협력단 라이다 센서를 이용한 차량의 자세 추정 방법
CN107993276B (zh) * 2016-10-25 2021-11-23 杭州海康威视数字技术股份有限公司 一种全景图像的生成方法及装置
US11112237B2 (en) * 2016-11-14 2021-09-07 Waymo Llc Using map information to smooth objects generated from sensor data
ES2910112T3 (es) * 2016-11-14 2022-05-11 Opgal Optronic Ind Ltd Sistemas y métodos para cuantificar una fuga de gas
EP3548840B1 (en) 2016-11-29 2023-10-11 Blackmore Sensors & Analytics, LLC Method and system for classification of an object in a point cloud data set
KR102477195B1 (ko) 2016-11-30 2022-12-12 블랙모어 센서스 앤드 애널리틱스, 엘엘씨 광 처프 거리 검출의 도플러 검출 및 도플러 보정을 위한 방법 및 장치
CN110140063B (zh) 2016-11-30 2023-10-13 布莱克莫尔传感器和分析有限责任公司 利用光学测距系统进行自适应扫描的方法和系统
CN106769080A (zh) * 2016-11-30 2017-05-31 百度在线网络技术（北京）有限公司 用于测量无人驾驶车辆的行驶精度的方法和装置
EP3548925B1 (en) 2016-11-30 2024-05-22 Aurora Operations, Inc. Method and system for automatic real-time adaptive scanning with optical ranging systems
CN108268483A (zh) * 2016-12-30 2018-07-10 乐视汽车（北京）有限公司 生成用于无人车导航控制的网格地图的方法
US10422880B2 (en) 2017-02-03 2019-09-24 Blackmore Sensors and Analytics Inc. Method and system for doppler detection and doppler correction of optical phase-encoded range detection
US10078790B2 (en) 2017-02-16 2018-09-18 Honda Motor Co., Ltd. Systems for generating parking maps and methods thereof
CN108509820B (zh) * 2017-02-23 2021-12-24 百度在线网络技术（北京）有限公司 障碍物分割方法及装置、计算机设备及可读介质
US10438405B2 (en) * 2017-03-02 2019-10-08 Sony Corporation Detection of planar surfaces for use in scene modeling of a captured scene
US10552691B2 (en) * 2017-04-25 2020-02-04 TuSimple System and method for vehicle position and velocity estimation based on camera and lidar data
WO2018195996A1 (en) * 2017-04-28 2018-11-01 SZ DJI Technology Co., Ltd. Multi-object tracking based on lidar point cloud
CN110121716A (zh) * 2017-04-28 2019-08-13 深圳市大疆创新科技有限公司 用于网格分析的方法及相关系统
KR20200004840A (ko) 2017-05-15 2020-01-14 아우스터, 인크. 파노라마 lidar 결과의 컬러 보강
DE102017208700A1 (de) * 2017-05-23 2018-11-29 Robert Bosch Gmbh Verfahren und Vorrichtung zur Objekterfassung und LIDAR-System
CN107274487A (zh) * 2017-05-23 2017-10-20 武汉华高信息技术有限公司 安全飞行包线的估算方法
CN109145680B (zh) * 2017-06-16 2022-05-27 阿波罗智能技术(北京)有限公司 一种获取障碍物信息的方法、装置、设备和计算机存储介质
CN107215339B (zh) * 2017-06-26 2019-08-23 地壳机器人科技有限公司 自动驾驶车辆的换道控制方法和装置
US11373418B2 (en) * 2017-08-04 2022-06-28 Sony Corporation Information processing apparatus, information processing method, program, and mobile object
CN110997190B (zh) 2017-08-04 2021-12-10 住友电工烧结合金株式会社 用于制造烧结部件的方法以及烧结部件
CN113341397A (zh) * 2017-08-15 2021-09-03 百度在线网络技术（北京）有限公司 反射值地图构建方法和装置
CN109407073B (zh) * 2017-08-15 2020-03-10 百度在线网络技术（北京）有限公司 反射值地图构建方法和装置
SG11201810922VA (en) * 2017-08-25 2019-03-28 Beijing Didi Infinity Technology & Development Co Ltd Methods and systems for detecting environmental information of a vehicle
US10861196B2 (en) 2017-09-14 2020-12-08 Apple Inc. Point cloud compression
US11818401B2 (en) 2017-09-14 2023-11-14 Apple Inc. Point cloud geometry compression using octrees and binary arithmetic encoding with adaptive look-up tables
US10897269B2 (en) 2017-09-14 2021-01-19 Apple Inc. Hierarchical point cloud compression
US10909725B2 (en) 2017-09-18 2021-02-02 Apple Inc. Point cloud compression
US11113845B2 (en) 2017-09-18 2021-09-07 Apple Inc. Point cloud compression using non-cubic projections and masks
CN109521756B (zh) * 2017-09-18 2022-03-08 阿波罗智能技术(北京)有限公司 用于无人驾驶车辆的障碍物运动信息生成方法和装置
US10523880B2 (en) * 2017-09-28 2019-12-31 Waymo Llc Synchronized spinning LIDAR and rolling shutter camera system
WO2019070751A1 (en) 2017-10-02 2019-04-11 Bridger Photonics, Inc. PROCESSING TEMPORAL SEGMENTS OF LASER WAVE LENGTH FLUCTUATIONS AND EXAMPLES OF USE IN FREQUENCY MODULATED MAINTAINED WAVE LIDAR (FMCW) METHODS AND APPARATUSES
US10788831B2 (en) * 2017-10-06 2020-09-29 Wipro Limited Method and device for identifying center of a path for navigation of autonomous vehicles
US11592563B2 (en) 2017-10-17 2023-02-28 Bridger Photonics, Inc. Apparatuses and methods for a rotating optical reflector
US10962650B2 (en) 2017-10-31 2021-03-30 United States Of America As Represented By The Administrator Of Nasa Polyhedral geofences
US11112308B2 (en) 2017-11-14 2021-09-07 Bridger Photonics, Inc. Apparatuses and methods for anomalous gas concentration detection
US10699444B2 (en) 2017-11-22 2020-06-30 Apple Inc Point cloud occupancy map compression
US10607373B2 (en) 2017-11-22 2020-03-31 Apple Inc. Point cloud compression with closed-loop color conversion
JP7077013B2 (ja) 2017-12-27 2022-05-30 株式会社トプコン 三次元情報処理部、三次元情報処理部を備える装置、無人航空機、報知装置、三次元情報処理部を用いた移動体制御方法および移動体制御処理用プログラム
WO2019162564A1 (en) * 2018-02-22 2019-08-29 Nokia Technologies Oy An apparatus, a method and a computer program for volumetric video
US11093759B2 (en) * 2018-03-06 2021-08-17 Here Global B.V. Automatic identification of roadside objects for localization
US11618438B2 (en) * 2018-03-26 2023-04-04 International Business Machines Corporation Three-dimensional object localization for obstacle avoidance using one-shot convolutional neural network
CN108917752B (zh) * 2018-03-30 2022-11-11 深圳一清创新科技有限公司 无人船导航方法、装置、计算机设备和存储介质
US10909726B2 (en) 2018-04-10 2021-02-02 Apple Inc. Point cloud compression
US11010928B2 (en) 2018-04-10 2021-05-18 Apple Inc. Adaptive distance based point cloud compression
US10939129B2 (en) 2018-04-10 2021-03-02 Apple Inc. Point cloud compression
US10909727B2 (en) 2018-04-10 2021-02-02 Apple Inc. Hierarchical point cloud compression with smoothing
JP2021515241A (ja) 2018-04-23 2021-06-17 ブラックモア センサーズ アンド アナリティクス エルエルシー コヒーレント距離ドップラー光学センサを用いた自律走行車の制御方法およびシステム
US11017566B1 (en) 2018-07-02 2021-05-25 Apple Inc. Point cloud compression with adaptive filtering
US11202098B2 (en) 2018-07-05 2021-12-14 Apple Inc. Point cloud compression with multi-resolution video encoding
US11012713B2 (en) 2018-07-12 2021-05-18 Apple Inc. Bit stream structure for compressed point cloud data
US10598791B2 (en) 2018-07-31 2020-03-24 Uatc, Llc Object detection based on Lidar intensity
US11508049B2 (en) * 2018-09-13 2022-11-22 Nvidia Corporation Deep neural network processing for sensor blindness detection in autonomous machine applications
CN110941973B (zh) * 2018-09-21 2023-09-15 驭势科技（北京）有限公司 一种障碍物检测方法、装置、车载设备及存储介质
US11386524B2 (en) 2018-09-28 2022-07-12 Apple Inc. Point cloud compression image padding
US11367224B2 (en) 2018-10-02 2022-06-21 Apple Inc. Occupancy map block-to-patch information compression
US11430155B2 (en) 2018-10-05 2022-08-30 Apple Inc. Quantized depths for projection point cloud compression
US10878282B2 (en) * 2018-10-15 2020-12-29 Tusimple, Inc. Segmentation processing of image data for LiDAR-based vehicle tracking system and method
DK180774B1 (en) 2018-10-29 2022-03-04 Motional Ad Llc Automatic annotation of environmental features in a map during navigation of a vehicle
US11592524B2 (en) * 2018-11-02 2023-02-28 Waymo Llc Computation of the angle of incidence of laser beam and its application on reflectivity estimation
US11520331B2 (en) * 2018-12-28 2022-12-06 Intel Corporation Methods and apparatus to update autonomous vehicle perspectives
US11822010B2 (en) 2019-01-04 2023-11-21 Blackmore Sensors & Analytics, Llc LIDAR system
US11665372B2 (en) * 2019-01-07 2023-05-30 Samsung Electronics Co., Ltd. Fast projection method in video-based point cloud compression codecs
US11391574B2 (en) 2019-01-18 2022-07-19 Ford Global Technologies, Llc Object detection
WO2020185779A1 (en) * 2019-03-11 2020-09-17 Nvidia Corporation Intersection detection and classification in autonomous machine applications
US11057564B2 (en) 2019-03-28 2021-07-06 Apple Inc. Multiple layer flexure for supporting a moving image sensor
CN109917419B (zh) * 2019-04-12 2021-04-13 中山大学 一种基于激光雷达与图像的深度填充密集系统及方法
CN110133593B (zh) * 2019-05-23 2021-07-27 浙江厚达智能科技股份有限公司 无人驾驶室内车辆
CN110308423B (zh) * 2019-05-23 2021-07-27 浙江厚达智能科技股份有限公司 基于反光板的室内车载激光定位方法及系统
CN110161526A (zh) * 2019-05-24 2019-08-23 河南辉煌科技股份有限公司 一种基于三维成像的线路障碍物识别方法
JP7197433B2 (ja) 2019-06-11 2022-12-27 株式会社小松製作所 作業車両の制御装置、作業車両、および作業車両の制御方法
CN112384950A (zh) * 2019-06-12 2021-02-19 浙江大学 点云的编解码方法及装置
CN111683840B (zh) * 2019-06-26 2024-04-30 深圳市大疆创新科技有限公司 可移动平台的交互方法、系统、可移动平台及存储介质
DE102019117559A1 (de) * 2019-06-28 2020-12-31 Connaught Electronics Ltd. Verfahren und System zum Fusionieren von zweidimensionalen semantischen Informationen aus Bildern mit einer dreidimensionalen Punktwolke
US11630209B2 (en) * 2019-07-09 2023-04-18 Waymo Llc Laser waveform embedding
US11754715B2 (en) * 2019-07-11 2023-09-12 Baidu Usa Llc Point cloud format optimized for LiDAR data storage based on device property
GB2601438B (en) * 2019-07-26 2024-03-06 Deka Products Lp System and method for free space estimation
US11747443B2 (en) * 2019-08-05 2023-09-05 Tellus You Care, Inc. Non-contact identification of multi-person presence for elderly care
CN110456377B (zh) * 2019-08-15 2021-07-30 中国人民解放军63921部队 一种基于三维激光雷达的卫星来袭异物检测方法和系统
WO2021041854A1 (en) * 2019-08-30 2021-03-04 Nvidia Corporation Object detection and classification using lidar range images for autonomous machine applications
US11627314B2 (en) 2019-09-27 2023-04-11 Apple Inc. Video-based point cloud compression with non-normative smoothing
US11562507B2 (en) 2019-09-27 2023-01-24 Apple Inc. Point cloud compression using video encoding with time consistent patches
US11538196B2 (en) 2019-10-02 2022-12-27 Apple Inc. Predictive coding for point cloud compression
US11895307B2 (en) 2019-10-04 2024-02-06 Apple Inc. Block-based predictive coding for point cloud compression
JP7327077B2 (ja) * 2019-10-18 2023-08-16 トヨタ自動車株式会社 路上障害物検知装置、路上障害物検知方法、及び路上障害物検知プログラム
US11885907B2 (en) 2019-11-21 2024-01-30 Nvidia Corporation Deep neural network for detecting obstacle instances using radar sensors in autonomous machine applications
US11532168B2 (en) 2019-11-15 2022-12-20 Nvidia Corporation Multi-view deep neural network for LiDAR perception
US11531088B2 (en) * 2019-11-21 2022-12-20 Nvidia Corporation Deep neural network for detecting obstacle instances using radar sensors in autonomous machine applications
CN111027601B (zh) * 2019-11-25 2023-10-17 歌尔股份有限公司 一种基于激光传感器的平面检测方法、装置
US11765067B1 (en) * 2019-12-28 2023-09-19 Waymo Llc Methods and apparatus for monitoring a sensor validator
CN111142118B (zh) * 2020-01-07 2022-08-26 盟识(上海)科技有限公司 一种自卸车倒车检测方法
US11798196B2 (en) 2020-01-08 2023-10-24 Apple Inc. Video-based point cloud compression with predicted patches
US11625866B2 (en) 2020-01-09 2023-04-11 Apple Inc. Geometry encoding using octrees and predictive trees
CN113177427A (zh) * 2020-01-23 2021-07-27 宝马股份公司 道路预测的方法以及自主驾驶的方法、车辆及设备
EP3859390A1 (en) * 2020-01-29 2021-08-04 Visteon Global Technologies, Inc. Method and system for rendering a representation of an evinronment of a vehicle
CN111338336B (zh) * 2020-02-11 2021-07-13 腾讯科技（深圳）有限公司 一种自动驾驶方法及装置
KR102444879B1 (ko) * 2020-03-05 2022-09-19 고려대학교 산학협력단 라이다(Lidar)를 이용한 실내 공간의 3차원 모델링 방법
CN111340797B (zh) * 2020-03-10 2023-04-28 山东大学 一种激光雷达与双目相机数据融合检测方法及系统
US20210373173A1 (en) * 2020-06-02 2021-12-02 Motional Ad Llc Identifying background features using lidar
US11398095B2 (en) * 2020-06-23 2022-07-26 Toyota Research Institute, Inc. Monocular depth supervision from 3D bounding boxes
US11615557B2 (en) 2020-06-24 2023-03-28 Apple Inc. Point cloud compression using octrees with slicing
US11620768B2 (en) 2020-06-24 2023-04-04 Apple Inc. Point cloud geometry compression using octrees with multiple scan orders
US11605228B2 (en) 2020-06-26 2023-03-14 Nxp Usa, Inc. System and method for sensor fusion system having distributed convolutional neural network
US11508118B2 (en) * 2020-07-13 2022-11-22 Fujitsu Limited Provisioning real-time three-dimensional maps for autonomous vehicles
US11402510B2 (en) 2020-07-21 2022-08-02 Leddartech Inc. Systems and methods for wide-angle LiDAR using non-uniform magnification optics
EP4185888A1 (en) 2020-07-21 2023-05-31 Leddartech Inc. Beam-steering device particularly for lidar systems
KR20220011825A (ko) * 2020-07-21 2022-02-03 현대자동차주식회사 차량 및 그 제어방법
CA3198326A1 (en) 2020-07-21 2021-10-06 Leddartech Inc. Beam-steering device particularly for lidar systems
CN112102375B (zh) * 2020-07-22 2024-04-12 广州视源电子科技股份有限公司 一种点云配准可靠性检测的方法、装置、移动智慧设备
WO2022049842A1 (ja) 2020-09-07 2022-03-10 パナソニックＩｐマネジメント株式会社 情報処理方法及び情報処理装置
US11860304B2 (en) * 2020-10-01 2024-01-02 Huawei Technologies Co., Ltd. Method and system for real-time landmark extraction from a sparse three-dimensional point cloud
JP7452374B2 (ja) * 2020-10-20 2024-03-19 株式会社Soken 物体検知装置および物体検知プログラム
CN112417965B (zh) * 2020-10-21 2021-09-14 湖北亿咖通科技有限公司 激光点云处理方法、电子装置和存储介质
KR20230070253A (ko) * 2020-11-16 2023-05-22 웨이모 엘엘씨 포인트 클라우드들로부터의 효율적인 3차원 객체 검출
US20220155455A1 (en) * 2020-11-16 2022-05-19 GM Global Technology Operations LLC Method and system for ground surface projection for autonomous driving
CN112433529B (zh) * 2020-11-30 2024-02-27 东软睿驰汽车技术（沈阳）有限公司 运动物体确定方法、装置及设备
US20220179082A1 (en) * 2020-12-08 2022-06-09 Argo AI, LLC Methods and system for analyzing dynamic lidar point cloud data
CN112904315B (zh) * 2021-01-12 2024-04-26 广州广电研究院有限公司 一种激光雷达点云数据的校正方法、装置和介质
CN113050046B (zh) * 2021-03-23 2024-06-21 芜湖森思泰克智能科技有限公司 一种船舶靠岸安全监测方法及终端设备
US11948338B1 (en) 2021-03-29 2024-04-02 Apple Inc. 3D volumetric content encoding using 2D videos and simplified 3D meshes
CN113071498B (zh) * 2021-06-07 2021-09-21 新石器慧通（北京）科技有限公司 车辆控制方法、装置、系统、计算机设备及存储介质
CN114022607B (zh) * 2021-11-19 2023-05-26 腾讯科技（深圳）有限公司 一种数据处理方法、装置以及可读存储介质
JP2023080414A (ja) 2021-11-30 2023-06-09 スズキ株式会社 車両用センサー取付構造
DE102022206395A1 (de) 2022-06-24 2024-01-04 Siemens Aktiengesellschaft Verfahren zum Simulieren eines Raums als virtuelle Realität mittels einer Simulationsvorrichtung, Computerprogrammprodukt, computerlesbares Speichermedium sowie Simulationsvorrichtung
CN115953905B (zh) * 2023-03-15 2023-05-16 河北博士林科技开发有限公司 一种基于激光雷达的车路协同控制系统
CN117495891B (zh) * 2023-12-29 2024-04-30 法奥意威(苏州)机器人系统有限公司 点云边缘检测方法、装置和电子设备

Family Cites Families (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0526881B1 (en) * 1991-08-06 2002-02-06 Canon Kabushiki Kaisha Three-dimensional model processing method, and apparatus therefor
EP0600709B1 (en) * 1992-12-01 2000-03-29 Canon Kabushiki Kaisha Range-image processing apparatus and method
JP2807137B2 (ja) * 1992-12-15 1998-10-08 松下電工株式会社 立体形状検出方法
JP3139247B2 (ja) * 1993-11-09 2001-02-26 日産自動車株式会社 画像処理方法
JPH0934932A (ja) * 1995-07-20 1997-02-07 Matsushita Electric Ind Co Ltd ３次元データの凹凸検出方法および凹凸検出装置
JPH09161072A (ja) * 1995-12-13 1997-06-20 Tsushin Hoso Kiko 映像信号の構造情報を抽出する映像処理装置
US5988862A (en) 1996-04-24 1999-11-23 Cyra Technologies, Inc. Integrated system for quickly and accurately imaging and modeling three dimensional objects
US5751290A (en) * 1996-09-20 1998-05-12 Industrial Technology Research Institute Three dimensional graphics system and method with correction to z buffer value errors
JPH10143659A (ja) * 1996-11-06 1998-05-29 Komatsu Ltd 物体検出装置
US6577307B1 (en) * 1999-09-20 2003-06-10 Silicon Integrated Systems Corp. Anti-aliasing for three-dimensional image without sorting polygons in depth order
US6751338B1 (en) * 2000-12-15 2004-06-15 Cognex Corporation System and method of using range image data with machine vision tools
US20060111841A1 (en) * 2004-11-19 2006-05-25 Jiun-Yuan Tseng Method and apparatus for obstacle avoidance with camera vision
JP2006308378A (ja) * 2005-04-27 2006-11-09 Yokohama Rubber Co Ltd:The 厚み測定方法及びその装置
JP2006322852A (ja) * 2005-05-19 2006-11-30 Olympus Corp 距離計測装置、距離計測方法および距離計測プログラム
EP2078286A1 (en) * 2006-10-30 2009-07-15 Tele Atlas B.V. Method and apparatus for detecting objects from terrestrial based mobile mapping data
JP2008243184A (ja) * 2007-02-26 2008-10-09 Fujifilm Corp 濃淡画像の輪郭補正処理方法及びその装置
CN101715581B (zh) * 2007-04-20 2014-07-23 索夫特基奈蒂克软件公司 体积识别方法和系统
CA2725552A1 (en) * 2008-07-31 2010-02-04 Tele Atlas B.V. Computer arrangement and method for displaying navigation data in 3d
JP5448617B2 (ja) * 2008-08-19 2014-03-19 パナソニック株式会社 距離推定装置、距離推定方法、プログラム、集積回路およびカメラ
AT507618B1 (de) * 2008-11-26 2012-01-15 Riegl Laser Measurement Sys Verfahren zum bestimmen der relativlage eines laserscanners zu einem referenzsystem
US9415723B2 (en) * 2009-03-31 2016-08-16 Konica Minolta Holdings, Inc. Image integration unit and image integration method
JP5567908B2 (ja) * 2009-06-24 2014-08-06 キヤノン株式会社 ３次元計測装置、その計測方法及びプログラム
CN102055956B (zh) * 2009-11-02 2017-05-10 通用汽车环球科技运作公司 车载三维视频系统及用其监测车辆周围环境的方法
WO2011070927A1 (ja) * 2009-12-11 2011-06-16 株式会社トプコン 点群データ処理装置、点群データ処理方法、および点群データ処理プログラム
JP5430456B2 (ja) * 2010-03-16 2014-02-26 キヤノン株式会社 幾何特徴抽出装置、幾何特徴抽出方法、及びプログラム、三次元計測装置、物体認識装置
CN101975951B (zh) * 2010-06-09 2013-03-20 北京理工大学 一种融合距离和图像信息的野外环境障碍检测方法
JP5620200B2 (ja) * 2010-09-06 2014-11-05 株式会社トプコン 点群位置データ処理装置、点群位置データ処理方法、点群位置データ処理システム、および点群位置データ処理プログラム
JP5150698B2 (ja) * 2010-09-30 2013-02-20 株式会社東芝 デプス補正装置及び方法
EP2659458B1 (en) * 2010-12-30 2019-05-15 TomTom Global Content B.V. System and method for generating textured map object images
US8401242B2 (en) * 2011-01-31 2013-03-19 Microsoft Corporation Real-time camera tracking using depth maps
JP2013002909A (ja) * 2011-06-15 2013-01-07 Mitsubishi Electric Corp 物体識別装置及び物体識別プログラム
JP6143747B2 (ja) * 2011-06-24 2017-06-07 ソフトキネティック ソフトウェア 深度測定の品質の向上
WO2013018235A1 (en) 2011-08-04 2013-02-07 Mitsubishi Electric Corporation Method and system for determining defect of surface of model of object
JP2013088188A (ja) * 2011-10-14 2013-05-13 Fuji Architect Co Ltd 三次元測定対象物の形態調査方法
JP5817422B2 (ja) * 2011-10-18 2015-11-18 朝日航洋株式会社 建物抽出装置、方法及びプログラム
JP5515018B2 (ja) * 2011-12-06 2014-06-11 本田技研工業株式会社 環境認識装置
JP6066562B2 (ja) * 2012-01-26 2017-01-25 キヤノン株式会社 計測装置、計測方法及びプログラム
CN102607457B (zh) * 2012-03-05 2014-12-10 西安交通大学 基于惯性导航技术的大尺寸三维形貌测量装置及方法
JP2015089456A (ja) * 2013-11-06 2015-05-11 梨加 竹内 リネン折り畳み方法と装置
US9098754B1 (en) * 2014-04-25 2015-08-04 Google Inc. Methods and systems for object detection using laser point clouds

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
从车载激光扫描数据中提取复杂建筑物立面的方法;杨必胜 等;《测绘学报》;20130630;第42卷(第3期);第411-417页 *
利用RANSAC算法对建筑物立面进行点云分割;李娜 等;《测绘科学》;20110930;第36卷(第5期);第138、144-145页 *
车载LIDAR点云中建筑物立面位置边界的自动提取;魏征 等;《武汉大学学报·信息科学版》;20121130;第37卷(第11期);第1311-1315页 *

Also Published As

Publication number Publication date
EP2937815A2 (en) 2015-10-28
JP2017152049A (ja) 2017-08-31
CN105182358A (zh) 2015-12-23
JP2015212942A (ja) 2015-11-26
JP6174073B2 (ja) 2017-08-02
EP2937815B1 (en) 2019-02-06
US20160035081A1 (en) 2016-02-04
EP2937815A3 (en) 2016-01-06
JP2019050035A (ja) 2019-03-28
US9098754B1 (en) 2015-08-04
JP6441993B2 (ja) 2018-12-19
US9697606B2 (en) 2017-07-04

Similar Documents

Publication Publication Date Title
CN105182358B (zh) 用于使用激光点云进行物体检测的方法和系统
US12019443B2 (en) Use of detected objects for image processing
CN105022397B (zh) 用于使用多个传感器进行物体检测的方法和系统
US9315192B1 (en) Methods and systems for pedestrian avoidance using LIDAR
US9201424B1 (en) Camera calibration using structure from motion techniques
US8989944B1 (en) Methods and devices for determining movements of an object in an environment
US9207680B1 (en) Estimating multi-vehicle motion characteristics by finding stable reference points
US9097804B1 (en) Object and ground segmentation from a sparse one-dimensional range data
CN104411559B (zh) 用于检测交通信号及其关联状态的鲁棒方法
US9063548B1 (en) Use of previous detections for lane marker detection
US10678258B2 (en) Vison-based object detection using a polar grid
US11592524B2 (en) Computation of the angle of incidence of laser beam and its application on reflectivity estimation
US20200301440A1 (en) Use Of A Reference Image To Detect A Road Obstacle
CN110077407A (zh) 用于将对自主车辆的控制转移给驾驶员的系统和方法
CN107097787A (zh) 对控制车辆的速度的预测性推理

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20171107

Address after: California, USA

Applicant after: Weimo Co.,Ltd.

Address before: California, USA

Applicant before: Giant Holdings

Effective date of registration: 20171107

Address after: California, USA

Applicant after: Giant Holdings

Address before: California, USA

Applicant before: Google Inc.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20180626

CF01 Termination of patent right due to non-payment of annual fee