CN111615703B - 传感器数据分割 - Google Patents

传感器数据分割 Download PDF

Info

Publication number
CN111615703B
CN111615703B CN201880087064.6A CN201880087064A CN111615703B CN 111615703 B CN111615703 B CN 111615703B CN 201880087064 A CN201880087064 A CN 201880087064A CN 111615703 B CN111615703 B CN 111615703B
Authority
CN
China
Prior art keywords
image
sensor data
sensor
data
segmented
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880087064.6A
Other languages
English (en)
Other versions
CN111615703A (zh
Inventor
D·普法伊费尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zoox Inc
Original Assignee
Zoox Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zoox Inc filed Critical Zoox Inc
Priority to CN202410686234.XA priority Critical patent/CN118570472A/zh
Publication of CN111615703A publication Critical patent/CN111615703A/zh
Application granted granted Critical
Publication of CN111615703B publication Critical patent/CN111615703B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0253—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting relative motion information from a plurality of images taken successively, e.g. visual odometry, optical flow
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Electromagnetism (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

一种系统可以包括一个或多个处理器，所述处理器被配置为接收代表环境的多个图像。图像可以包括由图像捕获设备生成的图像数据。处理器还可以被配置为将图像数据传输到被配置为分割图像的图像分割网络。处理器还可以被配置为接收与环境相关联的传感器数据，包括由与图像捕获设备不同类型的传感器生成的传感器数据。处理器可以被配置为将传感器数据与分割的图像相关联以创建训练数据集。处理器可以被配置为将训练数据集传输到机器学习网络，该机器学习网络被配置为运行传感器数据分割模型，并使用训练数据集来训练传感器数据分割模型，使得传感器数据分割模型被配置为分割传感器数据。

Description

传感器数据分割
优先权要求
该PCT国际专利申请要求享有于2017年11月21日提交的美国专利申请第15/820,245号的优先权的利益，其公开内容通过引用方式并入本文。
背景技术
传感器可用于生成指示环境中的对象的传感器数据。然而，由传感器生成的传感器数据的原始形式可能使得难以使用或分析数据。因此，可以对传感器数据进行分割以将其转换成更有用的形式(例如，标识数据中的不同对象，可驱动的(即，可以在其上进行驱动)的传感器数据中的区域等)。分割数据通常涉及将传感器数据划分或组织为更有意义或更有组织的形式，使得例如可以标识或分类传感器数据中捕获的数据的区域。数据分割可以由人类手动执行。然而，手动分割可能会过分耗时且成本过高，通常使其不适合于许多应用。可以使用计算机将图像数据自动分割，这将图像划分为不同的片段，以提供图像的更有意义或更合用的表示。例如，可以对图像进行分割以唯一地标识图像内的对象，这在一些应用中可以是有用的，例如自主车辆的操作。然而，可能难以自动分割从其他类型的传感器获得的传感器数据。在这样的情况下，由人类进行手动分割可能是必要的，从而使从这样的传感器类型获得的传感器数据的成本过高或难以用于一些应用。
附图说明
参考附图描述了详细描述。在附图中，附图标记的最左边的数字标识该附图标记首次出现于其中的附图。不同附图中的相同附图标记指示相似或相同的项目。
图1是用于捕获图像数据和传感器数据、分割所捕获的图像、将传感器数据投影到分割的图像上以及生成训练数据集的示例过程的图形流程图。
图2是示例车辆通过其行进并捕获图像数据和传感器数据的示例环境。
图3是用于生成分割的图像、训练示例传感器数据分割模型以及分割传感器数据的示例架构。
图4A描绘了具有多个图像捕获设备和传感器的示例车辆的侧视图。
图4B描绘了图4A中所示的示例车辆的俯视图。
图5A描绘了示例图像，该示例图像包括图像数据和针对对象分割的示例图像的分割版本。
图5B描绘了图5A中所示的示例图像以及针对可驱动表面而分割的示例图像的分割版本。
图6是用于捕获图像数据和传感器数据的示例过程的图形流程图。
图7是用于分割图6中所示的图像、将图6中捕获的传感器数据投影到分割的图像上以及生成训练数据集的示例过程的图形流程图。
图8是用于捕获传感器数据和使用示例传感器数据分割网络来分割传感器数据以生成分割的传感器数据以供轨迹模块生成车辆轨迹的示例过程的图形流程图。
图9是用于使用包括分割的图像和传感器数据的示例训练数据集来训练示例传感器数据分割模型的示例过程的流程图。
图10是用于使用示例传感器数据分割模型来分割传感器数据的示例过程的流程图。
图11描绘了用于实现本文描述的过程的示例计算机架构的框图。
具体实施方式
本公开总体上涉及用于分割传感器数据的方法、装置和系统。传感器数据的这种分割可以通过更容易分割的其他类型的传感器数据的分割来辅助。例如，系统可以使用一个或多个图像捕获设备同时或基本同时捕获图像数据，并使用与图像捕获设备不同类型的一个或多个传感器同时或基本同时捕获传感器数据。因为图像数据的分割可能比(除了图像数据之外的)传感器数据的分割生成更准确的结果，所以图像数据可用于辅助或训练传感器数据的分割。该系统可以分割图像，并且将传感器数据与分割的图像相关联，以创建可以用于训练传感器数据分割模型的训练数据集。例如，传感器数据(例如，由LIDAR传感器捕获的传感器数据，如本文所讨论的)可以被投影到分割的图像上，并且与分割的图像相关联的分割信息可以被翻译或应用于传感器数据以创建训练数据集。训练的传感器数据分割模型可以用于自动分割从另一类型的传感器获得的传感器数据，从而使传感器数据对于许多应用(例如，自主车辆的操作)更加有用。考虑了其他应用。类似地，在一些示例中，任何一种类型的传感器数据可以用于辅助和/或训练另一种类型的传感器数据的分割。
本公开总体上涉及一种被配置为接收代表环境的多个图像的系统。图像可以包括由图像捕获设备生成的图像数据。该系统可以被配置为将图像数据发送到图像分割网络，该图像分割网络被配置为分割图像并生成分割的图像。该系统还可以接收与环境相关联的传感器数据。传感器数据可以包括由与图像捕获设备不同的类型的传感器生成的传感器数据。例如，图像捕获设备和传感器可以同时或基本同时(在技术能力内)捕获与环境相关联的数据。该图像捕获设备可以包括例如一个或多个相机(例如，RGB相机、单色相机、强度(灰度)相机、红外相机、紫外线相机、深度相机、立体相机等)。该传感器可以包括例如一个或多个光检测和测距(LIDAR)传感器、一个或多个无线电检测和测距(RADAR)传感器、一个或多个声音导航和测距(SONAR)传感器以及其他传感器。该系统还可以被配置为将传感器数据与分割的图像相关联以创建训练数据集。训练数据集可以被传输到被配置为传感器数据分割模型的机器学习网络。该系统还可以被配置为使用训练数据集来训练传感器数据分割模型，使得传感器数据分割模型被配置为分割从传感器类型获得的传感器数据。
在一些示例中，系统可以被配置为将传感器数据投影到分割的图像上，以将传感器数据与分割的图像的类(或分类)相关联。由图像捕获设备捕获的每个图像可以在相应图像时间被捕获，并且传感器数据的各个部分可以在各个传感器时间被捕获。在一些示例中，系统可以被配置为选择在图像时间捕获的图像，以最小化图像时间和与传感器数据的一部分相关联的传感器时间之间的差异，并且将传感器数据的该部分与所选图像或图像的部分相关联。以这种示例方式，可以最小化图像数据捕获和传感器数据捕获的时序上的差异，从而减小了分割的传感器数据中潜在错误的可能性。在一些示例中，多于一个的图像捕获设备可以捕获图像数据，并且在传感器数据与分割的图像相关联之前，图像数据可以被对准和融合。
在一些示例中，系统可以被配置为将传感器数据与分割的图像对准。可以从不同的角度捕获图像数据和/或可以将其与环境的与其他传感器的视图不同的视图相关联。例如，图像数据可以包含具有与传感器数据所包含的视图不同的宽度、高度和/或纵横比的视图。在一些示例中，系统可以被配置为将分割的图像与传感器数据在时间和/或空间上对准。另外，图像捕获设备的视场和另一个传感器的视场可以至少部分地重叠，使得图像数据和传感器数据包括与环境的对于图像捕获设备的视场和另一个传感器的视场是公共的部分相关的数据。
在一些示例中，系统可以被配置为在将传感器数据与分割的图像相关联以创建训练数据集时，识别与图像中的对象的局部表示相关联的图像数据并且忽略或以其他方式掩盖(mask)与该局部表示相关联的分割的图像数据。局部表示可以是训练数据中错误的来源，因此系统的一些示例可以配置为忽略此类数据，以减少在训练数据集中创建错误的可能性。在一些示例中，系统可以被配置为删除与传感器数据中的不连续性相关联的传感器数据。例如，传感器数据中的不连续性可以是对传感器已经检测到多于单个对象的指示，例如人和在该人身后的对象(例如，墙壁)。删除、掩盖或忽略与不连续性相关联的数据可能会降低在训练数据集中创建错误的可能性。考虑了用于减少错误可能性的其他技术。例如，识别不连续性可以包括确定与单个对象相关联的LIDAR数据点代表异常宽范围的距离。例如，人可能正站在坚固的墙壁前十英尺处。在分割相关联的图像时，背景可能会被捕获在“行人对象”中。然而，当将LIDAR数据投影到“行人对象”中时，一些LIDAR数据将与人实际相关联的数据相比距传感器远十英尺。在这样的情况下，如果距离高于阈值，则这指示不连续性，并且在一些示例中，数据可以被掩盖、忽略或删除，以避免在训练数据和机器学习网络中创建不准确性。
在一些示例中，不是使用分割的图像来生成用于训练机器学习网络的训练数据集，而是可以将先前从传感器获取并分割的数据用于生成用于训练传感器数据分割模型的训练数据集。
本公开总体上还涉及一种系统，该系统被配置为分割由与图像捕获设备不同的传感器生成的传感器数据。例如，系统可以被配置为从这样的传感器接收数据，例如，一个或多个LIDAR传感器、一个或多个RADAR传感器、一个或多个SONAR传感器以及其他传感器。例如，系统可以被配置为使用传感器数据分割模型来分割从LIDAR传感器接收的传感器数据，并生成分割的LIDAR数据。例如，系统可以使用机器学习模型(例如，神经网络)，该机器学习模型被配置为运行传感器数据分割模型以生成分割的传感器数据(例如，对于神经网络，在推理模式下使用经训练的网络对传感器数据进行分割)。以这种示例方式，系统可以自动分割传感器数据。通过分割传感器数据，分割的传感器数据可以具有更有用的形式。例如，分割的传感器数据可以由自主车辆的感知系统使用，该感知系统可以通知一个或多个系统，该系统至少部分地基于分割的传感器数据来生成用于自主车辆的操作的轨迹。考虑了分割传感器数据的其他用途。
本公开总体上还涉及用于分割传感器数据的方法。该方法可以包括接收一个或多个代表环境的图像。图像可以包括由一个或多个图像捕获设备生成的图像数据。该方法还可以包括将图像数据传输到被配置为分割图像的图像分割网络。该方法还可以包括接收由与图像捕获设备不同的传感器生成的传感器数据。传感器数据可以包括代表环境的数据。该方法还可以包括分割图像以生成分割的图像，以及将传感器数据与分割的图像相关联以创建训练数据集。该方法还可以包括将训练数据集传输到机器学习网络，该机器学习网络被配置为运行传感器数据分割模型(即，使用分割模型来分割传感器数据)，以及使用训练数据集来训练传感器数据分割模型，使得传感器数据分割模型被配置为对从传感器获得的传感器数据进行分割。
本公开总体上还涉及一种用于生成自主车辆的轨迹的方法。该方法可以包括：从与图像捕获设备不同的传感器接收传感器数据；以及使用传感器数据分割模型来对从传感器接收的传感器数据进行分割。该方法还可以包括至少部分地基于分割的传感器数据来生成用于自主车辆的一个或多个轨迹。
本文所述的训练数据的生成和机器学习模型的训练可以通过以更准确和可靠的方式生成训练数据来改善计算设备的运行，该更准确和可靠的方式改善了以传感器数据表示的对象的分割和/或分类的性能。在一些情况下，通过训练机器学习网络和/或算法以用于传感器数据的改善的自动分割和/或分类，改善的训练数据生成和相关系统可以提供更准确和/或更快的分割。使用本文所述的训练数据生成和训练操作来基于图像分割自动确定分割信息通过将附加数据暴露于机器学习算法引起对对象更准确和/或更快的分类。此外，本文描述的训练数据和训练技术可以允许提供改善的处理的深度学习技术。在一些情况下，可以在生成自主车辆的轨迹时利用更快和/或更准确的分割和/或分类，这可以改善自主车辆的乘员的安全性。在一些情况下，本文所述的训练数据生成和训练操作可以通过将机器学习操作(例如，人工神经网络)应用于简化的(例如，分割的)数据来减少存储器需求或减少处理量。在另外的示例中，可以容易地扩展这种方法以包括多个传感器类型和子类型，否则这可能需要创建多个训练集。本文讨论了对计算机运作的这些和其他改善。
本文描述的技术和系统可以以多种方式来实现。下面参考附图提供示例实施方式。
图1是用于捕获图像和传感器数据、分割捕获的图像、将传感器数据投影到分割的图像上并且生成用于训练传感器数据分割模型的训练数据集的示例过程的图形流程图100。在所示的示例中，示例车辆102行进通过环境104。例如，车辆102可以是自主车辆，例如本文相对于图2所描述的示例车辆。车辆102可以包括一个或多个图像捕获设备106和一个或多个传感器108(例如，一个或多个LIDAR传感器、雷达传感器、超声换能器等)，其被配置为分别捕获与其中存在一个或多个图像捕获设备106和一个或多个传感器108的环境104相关联的图像数据110和传感器数据112。虽然图1标识了单个图像捕获设备106和单个传感器10，考虑了更多的图像捕获设备106和/或更多的传感器1088，例如如本文关于图4A和4B所描述的。图像捕获设备106可以是被配置为捕获代表环境的图像的任何类型的图像捕获设备，例如一个或多个相机(例如，RGB相机、单色相机、强度(灰度)相机、红外相机、紫外线相机、深度相机、立体相机等)。传感器108可以是被配置为生成表示与图像捕获设备不同的传感器的环境的数据的任何类型的传感器。例如，传感器108可以是一个或多个LIDAR传感器、一个或多个RADAR传感器、一个或多个SONAR传感器以及其他传感器。
在图1所示的示例中，图像捕获设备106被描绘为以图像114A-114C的形式捕获图像数据110，图像114A-114C对应于在三个连续时间t1、t2、t3的三个相应视场。例如，如示意性所示，图像捕获设备106在时间t1捕获与视场相关联的图像114A，在时间t2捕获与视场相关联的图像114B，并且在时间t3捕获与视场相关联的图像114C。当图像捕获设备106行进通过环境104时，图像114A-114C中的每个图像可以具有略微不同的视场。在这样的示例中，每个图像114A-114C具有不同的并且包含环境104的不同部分的相应视角。在一些示例中，由图像114A-114C中的每一个捕获的图像数据110可以被融合以生成环境104的更完整或准确的表示。
出于说明的目的，图1中所示的示例传感器108是被配置为捕获LIDAR传感器数据形式的传感器数据112的LIDAR传感器。考虑了其他类型的传感器。LIDAR传感器可以具有光发射器和光传感器，其中光发射器包括一个或多个激光器，所述激光器将高度聚焦的光引向对象或表面，该对象或表面将光反射回光传感器。LIDAR传感器的测量可以被表示为三维LIDAR数据，其具有对应于由LIDAR传感器捕获的位置或距离的坐标(例如，笛卡尔坐标、极坐标等)。在一些示例中，转换操作可以用于将三维LIDAR数据转换为多通道二维数据，其中方位角和仰角被映射到X-Y坐标，一个通道包括范围，并且另一个通道包括强度。在一些示例中，LIDAR数据可以如本文所述被自动地分割，并且分割的LIDAR数据可以例如用作用于确定自主车辆的轨迹的输入。
在一些示例中，LIDAR传感器可以被配置为使得一个或多个激光器被安装以旋转(例如，绕基本垂直的轴线)，从而使激光器扫过例如360度以捕获与环境相关联的LIDAR数据。例如，如图1所示，一个或多个激光器可以扫过角度α，使得在时间t0，一个或多个激光器沿垂直位置p0对准环境104。类似地，在时间t1，一个或多个激光器沿垂直位置p1对准环境，在时间t2，一个或多个激光器沿垂直位置p2对准环境，并且在时间t3，一个或多个激光器沿垂直位置p3对准环境。
在一些示例中，示例传感器108被配置为捕获视场116，其可以不同于与由图像捕获设备106捕获的相应图像114A-114C中的每一个相关联的视场。虽然出于说明性目的在图1中描绘，但是这种视场可以例如高达并且包括360度。在所示的示例中，传感器108的示例视场116还具有与由图像捕获设备106捕获的相应图像114A-114C相关联的视场不同的纵横比。例如，与图像114A-114C相关联的相应视场相比，LIDAR传感器的视场116可以更广和更窄(例如，高度更短)。考虑了在一些示例中视场116可以与和由图像捕获设备106捕获的图像相关联的视场中的一个或多个视场相同。在示例中，传感器104的视场116与和由图像捕获设备106捕获的图像相关联的视场中的一个或多个视场不同(如本文中更详细地解释的)，本文所述的系统可以被配置为解决这样的差异以将图像与传感器数据112对准。另外，传感器104(例如，LIDAR传感器)可以被配置为在多个通道中和/或根据光束扩展来生成传感器数据，并且系统可以被配置为解决图像数据110和传感器数据112之间的这种差异，并将图像与传感器数据112对准。
如图1所示，示例过程100可以包括将包括图像114A-114C的图像数据110传输到图像分割网络118，该图像分割网络118被配置为例如经由算法和/或机器学习(其可以从输入图像预测分割的图像)来自动分割图像114A-114C以生成分割的图像120A-120C。机器学习通常指的是一大类这样的算法，其中基于学习的参数来生成输出，这将在下面进行详细讨论。在一些实施例中，可用于生成分割的图像120A-120C的示例机器学习算法是人工神经网络(ANN)。ANN是受生物学启发的算法，其将输入数据传递通过一系列连接的层以生成输出。ANN中的每个层可以包括任何数量的层，并且还可以包括另一个ANN。ANN的各个层相互连接的方式通常称为ANN的架构。考虑了用于分割图像的其他类型的图像分割网络。
图像分割可以用于将图像划分成不同的片段或超像素，以提供图像的更有意义的表示。例如，可以对图像进行分割以便唯一地标识图像内的对象，每个对象具有唯一的标识符。图像分割可以用于多个不同的应用中。例如，与环境中的场景相关联的分割的图像可以包含位于该环境中的一个或多个对象的表示。被包含在分割的图像中的对象的存在和/或位置可以反过来用于例如在使用机器视觉的一些方面的系统中的避障、对象检测和跟踪等。例如，如本文中所解释的，自主车辆的感知系统可以使用分割的图像和/或分割的传感器数据来生成用于操作自主车辆通过环境的车辆轨迹。在一些示例中，图像可以被分割以提供可驱动的表面。在这样的示例中，可以将像素大致分类为是否属于可驱动的表面。这样的分割的图像可以用于通知自主车辆哪些轨迹是可行的。
如图1所示，传感器108可以生成代表传感器108存在于的环境104的传感器数据112。在122处，传感器数据112可以被投影(例如，经由变换和非投影(un-projection))到分割的图像120A-120C上。如本文中所解释的，传感器数据112可以被投影到分割的图像120A-120C上，使得传感器数据112和分割的图像120A-120C基本上在时间上对准(在技术能力内)。另外，如本文中所解释的，传感器数据112可以被投影到分割的图像120A-120C上，使得与环境104中的对象相关联的传感器数据112在空间上与分割的图像120A-120C中的对象对准(在技术内能力)。
例如，传感器108可以是例如如上所述的LIDAR传感器，其包括一个或多个激光器，所述激光器绕轴线(例如，基本垂直的轴线)旋转并当一个或多个激光器旋转时捕获LIDAR传感器数据。当激光器旋转时，在时间t0、t1、t2和t3，它们捕获对应于垂直线p0、p1、p2和p3的传感器数据112。在一些示例中，LIDAR传感器可以以一定频率提供LIDAR传感器数据，在该频率上，LIDAR数据可以被映射到单个图像或图像组(在技术容许内)。在一些示例中，图像捕获设备106可以被配置为以比激光器完成对环境的扫描更快的速率捕获图像。因此，在一些示例中，传感器数据112可以与图像数据110在时间上对准。例如，在给定时间(例如，传感器时间)捕获的传感器数据112可以与在传感器数据112约相同时间(例如，图像时间)捕获的图像在时间上对准，例如通过选择在时间上最接近于捕获传感器数据112的时间(例如，在传感器时间)捕获的图像。
例如，如图1所示，LIDAR传感器在t0开始在环境104上的扫描，并继续其扫描直到t1。在t1，图像捕获设备106捕获图像114A。因此，在该示例中，传感器时间t1与捕获图像114A的图像时间t1在时间上对准。另外，在传感器时间t1，LIDAR传感器已经仅部分在被感测的环境104(例如，约在被感测的环境104的约三分之一的路)上扫描，并且在所示的示例中，这与约图像114A的最右三分之一相关。随着LIDAR传感器继续从传感器时间t1到t2扫描，图像捕获设备106在图像时间t2捕获图像114B。因此，在时间t1和t2之间的传感器时间期间捕获的LIDAR数据在时间上最接近对应于图像时间t2。另外，在传感器时间t1和t2之间，LIDAR传感器已经部分地在被感测的环境104(例如，从被感测的环境104上的约三分之一的路到被感测的环境104的约三分之二的路)上扫描，并且在所示的示例中，这与图像114B的最中心三分之一相关。随着LIDAR传感器继续从传感器时间t2到t3的扫描，图像捕获设备106在图像时间t3捕获图像114C。因此，在时间t2和t3之间的传感器时间期间捕获的LIDAR数据在时间上最接近对应于图像时间t3。另外，在传感器时间t2和t3之间，LIDAR传感器已经从部分在被感测的环境104上扫描(例如，从约被感测的环境104上的约三分之二的路到约完全在被感测的环境104上)，并且在所示示例中，这与图像114C的约最左三分之一有关。以这种示例方式，可以将由图像捕获设备106捕获的图像中的至少一些图像与由传感器108(例如，LIDAR传感器)捕获的传感器数据112的至少一部分相关。
在一些示例中，LIDAR传感器可以继续扫过360度，在此期间捕获的一些数据不与被感测的环境对应。在一些示例中，所捕获的不与被感测的环境对应的数据可以被忽略或用于其他目的，例如，校准LIDAR传感器。
在传感器数据112在空间上投影到分割的图像数据120中的那些情况下，这种投影可以包括使用传感器和图像设备的相对外在性确定的变换以及使用图像设备的相机矩阵的去均质化。
如图1所示，将传感器数据112的至少一部分投影到分割的图像120A-120C上创建训练数据集124，该训练数据集124可用于训练传感器数据分割模型126，以用于自动分割由与图像捕获设备不同的类型的传感器生成的传感器数据，如本文所解释的。例如，在分割的图像120A-120C中标识的环境104中的对象可以与传感器数据112相关，因此传感器数据112中的特征可以在将来用于使用与图像捕获设备不同的其他类型的传感器标识相似的对象。在一些示例中，传感器数据112可以用作用于训练传感器数据分割模型126的附加训练数据。
图2示出了示例车辆202正行进通过的示例环境200。示例车辆202可以是无人驾驶车辆，例如被配置为根据由美国国家公路交通安全管理局发布的5级分类进行操作的自主车辆，其描述了能够在整个行程中执行所有安全关键功能的车辆，其中驾驶员(或乘员)不被期望在任何时间控制车辆。在这样的示例中，因为车辆202可以被配置为控制从旅程的开始到结束的所有功能，包括所有停车功能，所以它可以不包括驾驶员和/或用于驾驶车辆202的控件，例如方向盘、加速踏板和/或制动踏板。这仅是示例，并且本文描述的系统和方法可以被包括到任何地面运输、空中运输或水运车辆中，包括从需要一直由驾驶员手动控制的车辆到部分或完全自主控制的车辆。
示例车辆202可以是车辆的任何配置，例如厢式货车、运动型多用途车、越野车、卡车、公共汽车、农用车和建筑车。车辆202可以由一个或多个内燃发动机、一个或多个电动机、氢能、其任何组合和/或任何其他合适的动力源提供动力。尽管示例车辆202具有四个车轮204，但是本文描述的系统和方法可以被包括到具有更少或更多数量的车轮、轮胎和/或履带的车辆中。示例车辆202可以具有四轮转向并且可以在所有方向上大体以等同的性能特性操作，例如，使得当在第一方向208上行进时，车辆202的第一端206是车辆202的前端，并且使得第一端206在相反的第二方向210上行进时成为车辆202的后端，如图2所示。类似地，车辆202的第二端212在第二方向210上行进时是车辆202的前端，并且使得第二端212在相反的第一方向208上行进时成为车辆202的后端。这些示例特性可以促进更大的可操作性，例如，在狭小空间或拥挤的环境中，例如停车场和市区。
诸如示例车辆202之类的车辆可以用于行进通过环境200，并收集数据以生成用于训练传感器数据分割模型126的训练数据集124。例如，该车辆可以包括一个或多个图像捕获设备102和与图像捕获设备102不同的类型的一个或多个传感器104。出于说明的目的，一个或多个传感器104可以是一个或多个LIDAR传感器。考虑了其他传感器类型。在一些示例中，一个或多个图像捕获设备102和一个或多个传感器104可以彼此紧邻地安装在车辆202上，例如，以减少图像捕获设备102和传感器104之间的视角和/或视场的差异。这可以减少由图像捕获设备102和传感器104在环境200中检测到的对象之间的差异。
当车辆202行进通过环境200时，图像捕获设备102和传感器104同时或基本同时(在技术能力内)在图像捕获设备和传感器104中的一个或多个的视场216内捕获与检测到的对象214(例如，车辆、行人、建筑物、障碍物等)相关联的数据。捕获的数据可用于创建训练数据集124，例如如关于图1、6和7所述。
图3示出了用于实现本文描述的一个或多个示例过程的示例架构300。例如，架构300可以包括一个或多个计算机系统302，该计算机系统302包括各种硬件和/或软件以实现本文描述的系统、方法和装置的各方面。例如，计算机系统302可以包括传感器模块304(例如，LIDAR模块)、图像捕获模块306、维度转换模块308、分割模块310、分类模块312和轨迹模块314。
在一些示例中，计算机系统302可以体现在自主车辆中，例如图2所示的示例车辆202。在一些示例中，计算机系统302可以为自主车辆提供感知和计划功能。通常，计算机系统302可以包括LIDAR感知、视觉(相机)感知、分割和分类、跟踪和融合以及预测/计划。
传感器模块304可以包括一个或多个传感器104，例如LIDAR传感器，以捕获用于训练数据、分割和/或分类的传感器数据114，如本文所述。例如，传感器模块304可以被配置为组合或合成来自多个LIDAR传感器的LIDAR数据以生成LIDAR数据的元旋转(meta spin)，其可以指代由多个LIDAR传感器生成的LIDAR数据。在LIDAR数据的元旋转的情况下，传感器模块304可以被配置为确定元旋转数据的虚拟原点(例如，通过将所有传感器数据映射到共同原点)。在一些示例中，传感器模块304可以被配置为确定LIDAR传感器与对象或表面的点之间的距离，并且在一些示例中，传感器模块304可以被配置为针对由传感器模块304捕获和/或感测的每个点确定表面法线矢量。作为非限制性示例，可以通过计算指示从该点到该点的最接近的相邻点中的两个的方向的矢量的矢量积的法线来执行这样的表面法线确定。如在本公开的上下文中可以理解的，传感器模块304可以捕获数据并且可以将数据集传输到计算机系统302以进行后续处理。
图像捕获模块306可以包括一个或多个图像捕获设备102，其被配置为捕获用于图像分割和/或分类的图像数据108，例如如本文所述。图像捕获模块306可以包括任何数量和/或类型的图像捕获传感器。例如，图像捕获模块306可以包括图像捕获设备，例如任何相机(例如，RGB相机、单色相机、强度(灰度)相机、红外相机、紫外线相机、深度相机、立体相机等)。如在本公开的上下文中可以理解的，图像捕获模块306可以捕获图像数据108，并且可以将数据集传输到计算机系统302以进行后续处理。例如，来自图像捕获模块306的数据可以被包括为多通道图像的一个或多个通道。
计算机系统302可以包括例如适合于在自主车辆中使用的任何数量或类型的其他传感器。各种传感器可以包括但不限于一个或多个LIDAR传感器、一个或多个RADAR传感器、一个或多个SONAR传感器、超声波换能器、车轮编码器、麦克风、惯性测量单元(IMU)、加速度计、陀螺仪、磁力计、温度传感器、湿度传感器、光传感器、全球定位系统(GPS)、惯性导航系统(INS)等。
在一些示例中，传感器模块304和图像捕获模块306可以向计算机系统302提供一个或多个数据集，以用于组合和/或合成数据以提供改善的图像分割和/或分类、生成训练数据集和/或提供传感器数据分割和/或分类。在一些示例中，计算机系统302可以被配置为接收和存储如本文所述的传感器数据集。在一些示例中，计算机系统302可以被配置为注释所存储的数据，其可以包括对数据进行检测、识别、分类、分割、标记等。
在一些示例中，计算机系统302还可以包括已经由计算机模拟算法生成的模拟数据，以部分用于测试中。在一些示例中，模拟数据可以包括任何类型的模拟数据，例如图像数据、传感器数据(例如，LIDAR数据)、GPS数据等。在一些示例中，计算机系统302可以被配置为对模拟数据进行修改、变换和/或执行转换操作，以验证操作和/或训练可由机器学习网络执行的模型。
维度转换模块308的一些示例可以被配置为将具有第一维度的数据转换、变换或映射为具有第二维度的数据。例如，维度转换模块308可以被配置为将一个或多个三维数据集转换为一个或多个多通道二维图像。例如，维度转换模块308可以被配置为将以三维存储的数据转换和/或映射为不同的维度的表示。这样的转换可以包括例如将以圆柱或球形坐标描述的传感器数据与平面坐标相关联。在一些示例中，可以将圆柱坐标到平面坐标的这种转换设想为“展开”圆柱坐标。在一些示例中，维度转换模块308可以被配置为执行任何转换操作以将三维数据转换为二维数据，包括但不限于球形投影(例如，立体和圆柱)、墨卡托投影、直接极性转换(例如，球形或等直角投影)等。这种表示的通道可以与范围(或距离)和强度相关联。
示例分割模块310可以被配置为对一个或多个多通道二维图像执行分割。例如，分割模块310可以被配置为将一个或多个多通道二维图像输入到一个或多个机器学习算法。例如，分割模块310可以执行图像分割以分割数据中表示的对象以用于后续图像分类。在一些示例中，被配置为对数据执行分割操作的硬件和/或软件可以被认为是“分割器”。在一些示例中，分割模块310可以被配置为在与二维图像相关联的任何数量的通道上进行操作。例如，分割模块310可以接收一个或多个通道作为输入，包括但不限于范围通道、x轴通道、y轴通道、z轴通道、表面法线矢量通道、反射率通道、时间通道等。在一些示例中，分割模块310可以使用一种或多种机器学习算法中的任何一种来执行分割。例如，分割模块310可以利用被训练以分割多通道二维数据的人工神经网络，例如一个或多个卷积神经网络(CNN)。在一些示例中，分割模块310可以被配置为使用不对称内核，从而导致数据金字塔化，如本文中更详细地讨论的。在一些情况下，可基于例如通道的数量(波束的数量)、每转的点数等来应用和选择内核的不对称步幅(例如，与y方向相比，在x方向上具有更高的步幅)，使得较高抽象度(即，金字塔的较高级别)处的数据表示在x和y方向二者上更加统一。
示例分类模块312可以被配置为接收分割的数据并标识由数据表示的对象的类型。例如，分类模块312可以对一个或多个对象进行分类，包括但不限于汽车、建筑物、行人、自行车、树、自由空间、占用空间、路牌、车道标记等。分类模块312和/或分割模块310可以包括任何机器学习算法(例如，神经网络)，以执行分割和分类的操作。
尽管在神经网络的上下文中进行了讨论，但是可以与本公开一致地使用任何类型的机器学习。例如，机器学习算法可以包括但不限于回归算法(例如，普通最小二乘回归(OLSR)、线性回归、逻辑回归、逐步回归、多元自适应回归样条(MARS)、局部估计的散点平滑(LOESS))、基于实例的算法(例如，脊回归、最小绝对收缩和选择算子(LASSO)、弹性网、最小角度回归(LARS))、决策树算法(例如，分类和回归树(CART)、迭代二分法器3(ID3)、卡方自动交互检测(CHAID)、决策树桩、条件决策树))、贝叶斯算法(例如，朴素贝叶斯、高斯朴素贝叶斯、多项式朴素贝叶斯、平均单依赖估计量(AODE)、贝叶斯信念网络(BNN)、贝叶斯网络)、聚类算法(例如，k均值、k中值、期望最大化(EM)、分层聚类)、关联规则学习算法(例如，感知器、反向传播、霍普菲尔德网络、径向基函数网络(RBFN))、深度学习算法(例如，深玻尔兹曼机(DBM)、深层信念网络(DBN)、卷积神经网络(CNN)、堆叠式自动编码器)、降维算法(例如，主成分分析(PCA)、主成分回归(PCR)、偏最小二乘回归(PLSR)、Sammon映射、多维标度(MDS)、投影追踪、线性判别分析(LDA)、混合物判别分析(MDA)、二次判别分析(QDA)、灵活判别分析(FDA))、集成算法(例如，增强、自展输入引导式聚合(聚集(Bagging))、自适应增强(AdaBoost)、堆栈泛化(混合)、梯度增强机(GBM)、梯度增强回归树(GBRT)、随机森林)、SVM(支持向量机)、监督学习、无监督学习、半监督学习等。
在一些示例中，可以使用多于一种的类型的机器学习来为所使用的每种类型的机器学习提供相应的结果。在一些示例中，置信度得分可以与每个结果相关联，并且所依赖的结果可以至少部分地基于与结果相关联的置信度得分。例如，可以在其他结果上选择与最高置信度得分相关联的结果，或者可以基于置信度得分(例如，基于统计方法，例如加权平均值等)将结果进行组合。
在一些示例中，轨迹模块314可以被配置为接收分割的和/或分类的数据以确定用于自主车辆(例如，示例车辆202)的操作的轨迹。例如，轨迹模块314可以将其配置为接收分割的图像数据、分割的传感器数据和/或相关分类信息，以标识道路上的自由空间以供自主车辆行进，并生成轨迹以供自主车辆跟随。在一些示例中，轨迹模块314可以如本文中所讨论的那样接收分割的和/或分类的对象作为输入，并且可以跟踪对象以至少部分地基于这样的对象来生成轨迹。
图4A是示例车辆202的侧视图400，其具有安装在车辆202上或由车辆202携带的多个传感器组装件。在一些示例中，来自多个传感器组装件的数据集可以被组合或合成以形成元旋转(例如，LIDAR数据表示多个LIDAR传感器)，或者可以使用传感器融合技术对其进行组合或融合，以改善分割、分类、预测、计划、轨迹生成等的准确性或处理。
如侧视图400所示，示例车辆202可以包括任何数量的采用任何组合或配置的传感器。例如，所示的示例车辆202包括传感器404、406和408。在一些示例中，传感器404可以包括具有被示为θ1的垂直视场的RADAR传感器。示例传感器406可以包括安装在车辆202的车顶上的LIDAR传感器，并且可以具有示出为θ2的垂直视场。在一些示例中，传感器408可以包括具有垂直视场θ3的图像捕获设备，例如相机。车辆202可以包括任何数量和类型的传感器，并且不限于关于图4A示出和描述的示例。
图4B是图4A中所示的示例车辆202的俯视图410。如图4B所示，示例车辆202还包括传感器412、414、416和418。例如，传感器408和418可以共置或彼此靠近地定位，但是可以包括具有各种视场的不同传感器类型或形态。在一些示例中，传感器412、414、416和418可以包括LIDAR传感器、RADAR传感器和/或图像捕获设备。
如图4B所示，传感器404可具有水平视场θ4、传感器406可具有水平视场θ5，传感器408可具有水平视场θ6，传感器412可具有水平视场θ7，传感器414可以具有水平视场θ8，传感器416可以具有水平视场θ9，并且传感器418可以具有水平视场θ10。传感器的安装位置和/或视场可以具有任何数量的配置。
图5A和5B示出了输入图像和对应的分割的图像的示例。图5A中所示的示例输入图像500可以对应于示例的对象分割的图像510。可以执行图像500的分割以确定图像的多个有意义的表示。例如，基于输入图像500中存在的对象来分割输入图像500可以得到如图所示的对象分割的图像510。如图5A所描绘的，对象分割的图像510的每个不同的阴影对应于不同的对象(例如，汽车、建筑物、行人、道路标记等)。以分割的形式(例如，所示的)，可以确定输入图像500中的特定对象的位置、分类和/或存在或不存在。
图5B示出了用于分割输入图像500的另一种可能的分割方案的示例。与图5A中所示的输入图像500的分割形成对比，输入图像500可以基于“自由空间”或车辆可以行进通过的潜在区域进行分割。图5B示出了自由空间分割的图像520的示例表示。自由空间分割的图像520可以提供用于可导航通路的置信度的信息(例如，各种阴影)。如所示示例中所描绘的，自由空间分割的图像520的较浅阴影对应于没有被对象(例如，其他车辆、建筑物或行人)阻挡的路面。这样的分割对于开发自主车辆的轨迹可能是有用的，使得车辆可以避免与环境中的对象碰撞。
图6是用于捕获图像和传感器数据的示例过程的图形流程图600。在所示的示例中，三个图像捕获设备102A-102C和示例LIDAR传感器602捕获与场景604相关联的数据，在场景604中存在图像捕获设备102A-102C和LIDAR传感器602。虽然6示出了三个图像捕获设备102A-102C和单个LIDAR传感器602，考虑了更少或更多的图像捕获设备，并且考虑了多于单个LIDAR传感器。图像捕获设备102A-102C可以是被配置为捕获代表环境的图像的任何类型的图像捕获设备，例如任何相机(例如，RGB相机、单色相机、强度(灰度)相机、红外相机、紫外线相机、深度相机、立体相机等)。
在图6所示的示例中，三个示例图像捕获设备102A-102C被描绘为以图像608的形式捕获图像数据606，其对应于图像捕获设备102A-102C的相应的视场610A-610C。例如，如示意性所示，图像捕获设备102A捕获与视场610A相关联的图像，图像捕获设备102B捕获与视场610B相关联的图像，并且图像捕获设备102C捕获与视场610C相关联的图像。尽管由于附图中固有的限制，图像608A-608C在图6中被示意性地描绘为相同，但一个或多个(例如，每个)图像608A-608C将略微不同，这是由于例如捕获图像608A-608C的视场和时间略微不同。在所示的示例中，每个图像捕获设备102A-102C具有与其他图像捕获设备102略微不同的视场610。在这样的示例中，每个图像捕获设备102A-102C可以提供具有相应视角的相应图像608A-608C，所述相应视角是不同的并包含场景604的不同部分。例如，图像608A可以对应于由图像捕获设备102A在相应的图像时间t1、t2和t3捕获的三个图像，图像608B可以对应于由图像捕获设备102B在相应图像时间t1、t2和t3捕获的三个图像，并且图像608C可以对应于由图像捕获设备102C在相应图像时间t1、t2和t3捕获的三个图像。在一些示例中，可以融合由每个图像捕获设备102A-102C捕获的图像数据606，以生成场景604的更完整的表示。
如图6所示，示例LIDAR传感器602被配置为从视场614捕获LIDAR传感器数据612，其可以不同于与图像捕获设备102A-102C相关联的视场610A-610C，例如如图6所示。在所示的示例中，LIDAR传感器602的示例视场614还具有与和图像捕获设备102A-102C相关联的视场610A-610C不同的纵横比。例如，LIDAR传感器602的视场614比图像捕获设备102A-102C的相应视场610A-610C更广和更窄(即，高度更短)。这可能归因于传感器的物理参数，例如光束扩展、通道数量等。在LIDAR 104的视场614与图像捕获设备102A-102C的视场610A-610C中的一个或多个视场不同的示例中，本文描述的系统可以被配置为解决这种差异。
图7是用于分割图像、将LIDAR传感器数据投影到分割的图像上以创建用于训练传感器数据分割网络的传感器数据分割模型的训练数据集的示例过程的图形流程图700。如图7所示，包括图像608(见图6)的图像数据606被传输到图像分割网络702，该图像分割网络702被配置为例如经由算法和/或机器学习来自动分割图像608以生成分割的图像704，该算法和/或机器学习可以根据输入图像预测分割的图像，例如如本文所述。
如图7所示，LIDAR传感器602(参见图6)生成LIDAR传感器数据612，该LIDAR传感器数据612表示其中存在LIDAR传感器602的场景604。在706处，将LIDAR传感器数据612投影到分割的图像704A-704C上。LIDAR传感器数据612被投影到分割的图像704A-704C上，使得LIDAR传感器数据612和分割的图像704A-704C基本上在时间上对准(在技术能力内)，例如如以上关于图1所描述的。另外，可以将LIDAR传感器数据612投影到分割的图像704A-704C上，使得与场景604中的对象相关联的LIDAR传感器数据612与分割的图像704A-704C中的对象在空间上基本对准(在技术能力内)，例如如以上关于图1所述。
如图7所示，将LIDAR传感器数据612投影到分割的图像704A-704C上创建训练数据集708，其可以用于训练传感器数据分割网络712的传感器数据分割模型710，以自动分割由LIDAR传感器生成的LIDAR传感器数据。例如，一旦被训练，这种分割模型710就可以将原始的传感器数据(例如，LIDAR传感器数据612)作为输入，以在将来使用LIDAR传感器来分割对象。在一些示例中，由LIDAR传感器捕获的传感器数据可以用作用于训练传感器数据分割网络712的传感器数据分割模型710的附加训练数据。
传感器数据分割网络712可以包括本文描述的任何类型的机器学习模型。例如，传感器数据分割网络712可以是CNN。在一些示例中，传感器数据分割网络712可以包括多于一个的机器学习网络。如本文所解释的，可以使用多于一种类型的机器学习来为所使用的每种类型的机器学习提供相应的结果。在一些示例中，置信度得分可以与每个结果相关联，并且所依赖的结果可以至少部分地基于与结果相关联的置信度得分。例如，可以在其他结果上选择与最高置信度得分关联的结果，或者可以基于置信度得分(例如，基于统计方法，例如加权平均值等)将结果进行组合。
在一些示例中(例如，使用CNN的那些示例)，传感器数据分割网络712可以包括对称和/或不对称内核(例如，正方形或非正方形的内核)来以步幅是不对称的方式(即，沿长度尺寸的内核应用之间的步长可以高于高度尺寸上的步长)分割传感器数据(例如，LIDAR传感器数据612)。在一些这样的示例中，使用不对称步幅的内核的连续应用可以以增加接收器场(receptor field)的方式引起数据金字塔化。可以基于例如传感器数据的物理参数来选择这样的步幅，所述物理参数例如但不限于通道的数量、通道之间的宽度、每转数据返回的数量等。这可以促进将传感器数据(例如，LIDAR传感器数据612)分割，这是因为这种金字塔化可以增加网络的接收器场，并在进行那些投影时引起数据和计算能力的更高效利用。
为了生成有效的输出，诸如CNN之类的机器学习网络必须首先学习一组参数或被“训练”。通过将数据集输入到网络中来完成训练，该数据集与期望的输出值相关联。这些期望的输出值通常可以称为“地面真相(ground truth)”。例如，地面真相可以包括图像中特定对象的标识，以及与该对象相关联的语义分类或标签(例如，以将对象标识和标记为汽车或建筑物)。网络的准确性可以基于在训练数据集中提供的数据的量和/或准确性。结果，用于训练网络以输出分割的传感器数据的适当数据集将包括具有已知的或先前确定的片段的传感器数据。在一些示例中，训练数据集可以包括与代表现实世界场景的一个或多个传感器数据集相关的代表现实世界场景的一个或多个分割的图像，其可以手动地或经由一种或多种被配置为进行分割、检测、分类和/或标记传感器数据集中的对象的算法来注释。作为非限制性示例，原始LIDAR传感器数据可以被输入到网络，其输出可以与LIDAR数据的对应的分割的集合(即，地面真相)进行比较以更新内部参数，如下面详细讨论的。作为示例，这种地面真相可以是具有由对应图像数据提供的相关联的分割的LIDAR数据。在一些示例中，训练数据集可以包括合成的(例如，计算机生成的)数据，其包括带注释的对象或者已经由计算机算法进行了注释。可以使用离线数据和/或在线数据进行训练。
损失函数可以用于在训练期间调整网络的内部参数。损失函数是数据集的期望输出(或地面真相)值和由网络输出的值的函数。损失函数中包含的信息可以作为反向传播通过网络发送，以调整内部参数，从而调节网络以提供有效的输出。在所有其他条件等同的情况下，用于训练网络的数据越多，该网络就可以越可靠(例如，在提供准确的分割和/或分类方面)。
可用于训练网络以分割传感器数据(例如，LIDAR数据)的这种损失函数的一个示例是softmax函数，但考虑了具有期望的或地面真相的分割的数据的输入数据的任何其他函数。其他示例性损失函数包括但不限于支持向量机(SVM)损失、铰链损失等。
在一些示例中，用于传感器数据分割网络712的地面真相可以由分割的图像704提供。在一些示例中，可以使用图像分割网络702(例如，CNN)自动对图像进行分割，以获取分割的图像704，并且与分割的图像704相关联的传感器数据可用作用于训练传感器数据分割网络712的传感器数据分割模型710的地面真相，以自动分割从非图像捕获设备的传感器获得的传感器数据。例如，与分割的图像704相关联的LIDAR传感器数据612可以用作用于从LIDAR传感器获得的LIDAR传感器数据的地面真相。如图7中示意性所示，可以在捕获图像数据606并将其分割的同时获得的LIDAR传感器数据612投影到分割的图像704上以获得训练数据集708，其可以用于训练由传感器数据分割网络712运行的传感器数据分割模型710，其可以是CNN或本文描述的任何类型的网络。如上所述，原始传感器数据可以输入到网络。然后可以将得到的输出与由分割的图像704提供的具有关联的分割的传感器数据进行比较(例如，地面真相)。这样的比较可以由损失函数(或成本函数)确定，其驱动网络参数的变化。在一些示例中，损失函数可以是交叉熵softmax损失、焦点损失、逻辑回归等。
在一些示例中，可以例如通过基于被包含在输入数据中的对象对输入数据进行分割，来训练传感器数据分割网络712以进行对象分割。考虑了其他分割类型。例如，可以训练传感器数据分割网络712以识别“自由空间”，或者传感器数据中的将提供用于规划自主车辆的轨迹的合适路径的区域，例如，类似于图5B所示的自由空间分割。在这样的示例中，在分割的传感器数据中定义的自由空间可以用于生成轨迹，以用于自主车辆的操作。另外，传感器数据分割网络712可以被训练以找到将不为自主车辆的轨迹提供合适路径的传感器所包含的空间或区域。
图8示意性地描绘了示例过程的图形流程图800，该示例过程用于捕获传感器数据并使用示例传感器数据分割网络来对该传感器数据进行分割以生成分割的传感器数据，以供轨迹模块使用，该轨迹模块被配置为生成用于自主车辆的车辆轨迹。在所示示例中，示例车辆202在道路804上自主地行进通过环境802。示例传感器806被安装在车辆202上，以用于检测环境802中的对象808。传感器806可以包括多种传感器类型，例如，本文描述的图像捕获设备和/或其他传感器类型，包括LIDAR传感器。传感器806感测环境802中的对象808，并生成指示对象808的信号形式传感器数据810。
在一些示例中，传感器806可以包括图像捕获设备和与图像捕获设备不同的第二传感器，例如LIDAR传感器。在这样的示例中，一个或多个LIDAR传感器可以被配置为生成LIDAR传感器数据810。LIDAR传感器数据810可以被传送到传感器数据分割网络812，该传感器数据分割网络812被配置为使用传感器数据分割模型814分割LIDAR传感器数据810(例如，自动分割LIDAR传感器数据810)。在一些示例中，传感器数据分割模型814可以被配置为标识和/或分类由一个或多个LIDAR传感器感测到的对象808和/或自由空间以提供分割的传感器数据816(例如，分割的LIDAR传感器数据)。分割的传感器数据816可以被传送到轨迹模块818，该轨迹模块818被配置为生成车辆轨迹820，以供车辆202在其行进通过环境802时跟随。
在各种实施方式中，本文所示的参数值和其他数据可以被包括在一个或多个数据存储库中，并且可以与未描述的其他信息组合，或者可以被不同地划分为更多、更少或不同的数据结构。在一些实施方式中，数据存储库可以物理地位于一个存储器中或者可以分布在两个或更多个存储器之中。
本领域技术人员将理解，示例架构300(参见图3)仅仅是说明性的，并且不旨在限制本公开的范围。特别地，计算系统和设备可以包括可以执行所指示的功能的硬件或软件的任何组合，包括计算机、网络设备、互联网设备、平板计算机、PDA、无线电话、寻呼机等。架构300也可以连接到未示出的其他设备，或者可以替代地充当独立系统。另外，在一些实施方式中，由所图示的组件提供的功能可以在更少的组件中组合或分布在附加的组件中。类似地，在一些实施方式中，可以不提供一些所示组件的功能和/或其他附加功能可以是可用的。
本领域技术人员还将理解，尽管示出了各种项目在使用的同时被存储在存储器或存储装置中，但是出于存储器管理和数据完整性的目的，这些项目或它们的部分可以在存储器和其他存储设备之间转移。可替代地，在其他实施方式中，一些或全部软件组件可以在另一设备上的存储器中执行并与所示的架构300通信。一些或全部系统组件或数据结构也可以被存储(例如，作为指令或结构化的数据)在非暂时性计算机可访问介质或便携式制品上，以供适当的驱动器读取，上面描述了其各种示例。在一些实施方式中，可以将存储在与架构300分离的计算机可访问介质上的指令经由传输介质或信号(例如，电、电磁或数字信号)传输至架构300，经由诸如无线链路之类的通信介质传送。各种实施方式还可以包括在计算机可访问介质上接收、发送或存储根据前述描述实现的指令和/或数据。因此，本文描述的技术可以用其他控制系统配置实践。下面讨论了关于车辆202(参见图2)的模块的操作的附加信息。
图9和图10是示出为逻辑流程图中的框的集合的示例过程的流程图，其表示可以以硬件、软件或其组合来实现的一系列操作。在软件的上下文中，框代表存储在一个或多个计算机可读存储介质上的计算机可执行指令，当由一个或多个处理器执行时，所述计算机可执行指令执行所记载的操作。通常，计算机可执行指令包括执行特定功能或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等。描述操作的顺序不旨在被理解为限制，并且可以以任何顺序和/或并行地组合任何数量的所描述的框以实现过程。
图9是用于使用包括分割的图像和传感器数据的示例训练数据集来训练示例传感器数据分割模型的示例过程900的流程图。在902处，示例过程可以包括接收一个或多个代表环境的图像，其中图像包括由图像捕获设备生成的图像数据。
在904处，示例过程900还可以包括将图像数据传输到图像分割网络，该图像分割网络被配置为分割图像并生成分割的图像。例如，可以使用机器学习网络(例如，CNN)自动分割图像。如本文中所解释的，考虑了通过其他类型的机器学习模型或计算机视觉技术的图像分割。
在906处，示例过程900可以包括分割图像数据以生成分割的图像。例如，图像可以由机器学习网络(例如，CNN)自动分割。例如，这种分割可以基于检测到的对象、基于自由空间确定等来划分图像。
在908处，示例过程900还可以包括接收由传感器生成的传感器数据，该传感器被配置为生成代表环境的数据。在一些示例中，传感器可以是与图像捕获设备不同的类型的传感器。例如，传感器可以是LIDAR传感器，并且传感器数据可以是LIDAR传感器数据。考虑了其他传感器类型和来自此类传感器的数据，例如但不限于RADAR、超声波换能器等。
在910处，示例过程900还可以包括将传感器数据与分割的图像相关联以创建训练数据集(例如，包括原始传感器数据的集合以及与对应的分割信息的传感器数据的关联集合)。例如，将传感器数据与分割的图像相关联可以包括将传感器数据投影到分割的图像上，以及将来自分割的图像的分割信息与传感器数据相关联。在一些示例中，在相应的图像时间捕获每个图像，并且在传感器时间捕获传感器数据。将传感器数据与分割的图像相关联可以包括：选择在图像时间捕获的图像数据，以最小化图像时间和传感器时间之间的差异；以及将传感器数据与所选的图像相关联。在一些示例中，将传感器数据与分割的图像相关联可以包括将传感器数据与分割的图像对准。在一些示例中，将传感器数据与分割的图像对准可以包括在时间上和/或空间上将传感器数据与分割的图像对准。在一些示例中，将传感器数据与分割的图像相关联还可以包括：识别与大深度不连续性相关联的图像数据；以及在将传感器数据与分割的图像相关联时，忽略与分割的图像的这种不连续性相关联的图像数据。这可以减少在训练数据集中产生错误的可能性。
示例过程900在912处还可以包括将训练数据集传输到机器学习网络，该机器学习网络被配置为运行传感器数据分割模型(即，使用传感器数据分割模型确定传感器数据分割)。
在914处，示例过程900还可以包括使用训练的数据集来训练传感器数据分割模型，使得传感器数据分割模型被配置为分割从传感器获得的传感器数据。例如，接收由传感器生成的传感器数据可以包括接收由LIDAR传感器生成的传感器数据，并且训练传感器数据分割模型可以包括使用训练数据集来训练传感器数据分割模型(例如，通过反向传播在与分割的图像数据和网络的输出相关联的传感器数据的损失函数中计算出的误差)，使得传感器数据分割模型被配置为分割从LIDAR获得的传感器数据。
图10是用于使用示例传感器数据分割模型来分割传感器数据的示例过程1000的流程图。在1002处，示例过程可以包括从传感器接收传感器数据，该传感器被配置为生成指示该传感器所位于的环境的信号。例如，传感器可以是与图像捕获设备不同的类型的传感器。例如，传感器可以是被配置为生成代表传感器所位于的环境的LIDAR传感器数据的LIDAR传感器，但是考虑了任何其他传感器类型。
在1004处，示例过程1000还可以包括使用传感器数据分割模型(例如，本文所述的传感器数据分割模型)来分割从传感器接收的传感器数据。例如，传感器数据分割模型可以被配置为促进由传感器检测到的环境中对象的识别和/或分类。在一些示例中，传感器数据分割模型可以被配置为促进识别环境中的自由空间。在一些示例中，可以使用分割的图像数据来训练传感器数据分割模型以提供地面真相，例如，如本文所述。在一些示例中，可以通过由传感器和/或相同类型和/或不同类型的其他传感器捕获的附加数据来训练传感器数据分割模型。
在1006处，示例过程1000还可以包括至少部分地基于分割的传感器数据来为自主车辆生成一个或多个轨迹。例如，感知系统的轨迹模块可以被配置为接收分割的传感器数据并至少部分地基于分割的传感器数据来生成一个或多个轨迹。
在1008处，示例过程1000还可以包括根据一个或多个轨迹来操作自主车辆。
图11是用于实现本文描述的过程的示例计算机架构1100的框图。该示例架构1100包括一个或多个计算机系统1102，其可以包括存储装置1104、一个或多个处理器1106以及包括操作系统1110的存储器1108。存储装置1104、处理器1106、存储器1108、以及操作系统1110可以在通信基础设施1112上通信地耦合。在一些示例中，计算机系统1102可以经由输入/输出(I/O)设备1114与用户或环境交互，以及经由通信基础设施1112在一个或多个网络1116上与一个或多个其他计算设备交互。操作系统1110可以与其他组件进行交互，以控制存储器1108中的一个或多个应用1118。
在一些示例中，计算机系统1102可以对应于图3的计算机系统302。计算机系统302可以实现任何硬件和/或软件以实现模块304、306、308、310、312和314，以执行本文讨论的图像分析和/或传感器数据分析。
本文描述的系统和方法可以以软件或硬件或其任何组合来实现。可以使用一个或多个彼此物理或逻辑上分离的计算设备来实现本文所述的系统和方法。方法可以由被布置为预置的硬件、预置的虚拟系统或托管私有实例的组件执行。另外，本文描述的方法的各个方面可以被组合或合并为其他功能。
处理器或计算机系统可以被配置为特别地执行本文描述的一些或全部方法。在一些示例中，方法可以由一个或多个计算机或处理器部分或完全自动化。可以使用硬件、软件、固件或其组合来实现本文描述的系统和方法(或其任何部分或功能)，并且可以在一个或多个计算机系统或其他处理系统中实现。在一些示例中，示出的系统元件可以被组合成单个硬件设备或被分离成多个硬件设备。如果使用多个硬件设备，则硬件设备可以物理上彼此靠近或远离地定位。所描述和示出的方法的示例旨在是说明性的而不是限制性的。例如，在不同示例中，可以组合、重新布置和/或省略方法的一些或全部步骤。
在一些示例中，本文描述的系统和方法可以涉及能够执行本文描述的功能的一个或多个计算机系统。示例计算设备可以是但不限于运行任何操作系统的个人计算机(PC)系统，例如但不限于OS XTM、iOSTM、LinuxTM、AndroidTM和MicrosoftTM WindowsTM。然而，本文描述的系统和方法可以不限于这些平台。相反，本文描述的系统和方法可以在运行任何适当的操作系统的任何适当的计算机系统上实现。本文描述的系统和方法的其他组件(例如但不限于，计算设备、通信设备、移动电话、智能手机、电话设备、电话、个人数字助理(PDA)、个人计算机(PC)、手持式PC、交互式电视(iTV)、数字录像机(DVD)、客户端工作站、瘦客户端、胖客户端、代理服务器、网络通信服务器、远程访问设备、客户端计算机、服务器计算机、路由器、Web服务器、数据、介质、音频、视频、电话系统或流式传输技术服务器等)也可以使用计算设备来实现。可以使用例如但不限于交互式电视(iTV)、视频点播系统(VOD)并经由数字视频记录器(DVR)或其他点播观看系统按需提供服务。
本文描述的系统可以包括一个或多个处理器。处理器可以连接到通信基础设施，例如但不限于通信总线、交叉条(cross-over bar)或网络等。过程和处理器不需要位于相同的物理位置处。换句话说，可以通过例如LAN或WAN连接在一个或多个地理上相距较远的处理器处执行过程。计算设备可以包括显示界面，该显示界面可以转发来自通信基础设施的图形、文本和其他数据，以在显示单元上显示。
在一些示例中，计算机系统还可以包括但不限于主存储器、随机存取存储器(RAM)和辅助存储器等。辅助存储器可以包括例如硬盘磁盘驱动器和/或可移动存储驱动器，例如压缩盘驱动器CD-ROM等。可移动存储驱动器可以从可移动存储单元读取和/或向其写入。如可以理解，可移动存储单元可以包括其中存储有计算机软件和/或数据的计算机可用存储介质。在一些示例中，机器可访问介质可以指用于存储可由计算机访问的数据的任何存储设备。机器可访问介质的示例可以包括但不限于磁性硬盘、软盘、光盘，至少类似于压缩盘只读存储器(CD-ROM)或数字多功能光盘(DVD)、磁带和/或存储器芯片等。
处理器还可以包括一个或多个用于存储数据的数据存储设备，或者可操作地与其耦合以与之通信。作为非限制性示例，这样的数据存储设备可以包括磁盘(包括内部硬盘和可移动磁盘)、磁光盘、光盘、只读存储器、随机存取存储器和/或闪存。适合于有形地体现计算机程序指令和数据的存储设备还可以包括所有形式的非易失性存储器，包括例如半导体存储设备，例如EPROM、EEPROM和闪存设备；磁盘，例如内部硬盘和可移动磁盘；磁光盘；磁光盘；以及CD-ROM和DVD-ROM光盘。处理器和存储器可以由ASIC(专用集成电路)补充或被包括在ASIC中。
处理系统可以与计算机化数据存储系统通信。数据存储系统可以包括非关系型或关系型数据存储，例如MySQLTM或其他关系型数据库。可以使用其他物理和逻辑数据库类型。数据存储库可以是数据库服务器，例如Microsoft SQL ServerTM、OracleTM、IBM DB2TM、SQLITETM或任何其他数据库软件(关系型或其他的)。数据存储库可以存储识别语法标签的信息以及对语法标签进行操作所需的任何信息。在一些示例中，处理系统可以使用面向对象编程并且可以将数据存储在对象中。在这样的示例中，处理系统可以使用对象关系型映射器(ORM)来将数据对象存储在关系型数据库中。可以使用任何数量的物理数据模型来实现本文描述的系统和方法。在一些示例中，可以使用关系型数据库管理系统(RDBMS)。在这样的示例中，RDBMS中的表可以包括代表坐标的列。数据可以被存储在RDBMS中的表中。这些表可以具有预先定义的它们之间关系。表还可以具有与坐标相关联的附件(adjunct)。
在一些示例中，辅助存储器可以包括用于允许将计算机程序或其他指令加载到计算机系统中的其他类似设备。这样的设备可以包括例如可移动存储单元和接口。这样的示例可以包括程序盒(program cartridge)和盒接口(例如但不限于，在视频游戏设备中找到的那些)、可移动存储器芯片(例如但不限于，可擦除可编程只读存储器(EPROM)或可编程只读存储器(PROM)和相关的插口)，以及其他可移动存储单元和接口，它们可以允许将软件和数据从可移动存储单元传输到计算机系统。
计算系统还可以包括输入设备，例如但不限于语音输入设备，例如麦克风、触摸屏、手势识别设备(例如，相机)、其他自然用户接口、鼠标或其他定点设备(例如，数字转换器)和键盘或其他数据录入设备。该计算机系统还可以包括输出设备，例如但不限于显示器和显示接口。该计算系统可以包括输入/输出(I/O)设备，例如但不限于通信接口、电缆和通信路径等。这些设备可以包括但不限于网络接口卡和调制解调器。通信接口可以允许软件和数据在计算机系统和一个或多个外部设备之间传输。
在一些示例中，计算机系统可以可操作地耦合至汽车系统。这样的汽车系统可以是手动操作的、半自主的或完全自主的。在这样的示例中，输入和输出设备可以包括一个或多个图像捕获设备、控制器、微控制器和/或其他处理器，以控制汽车功能，例如但不限于加速、制动和转向。此外，在这样的示例中的通信基础设施还可以包括控制器局域网(CAN)总线。
在一些示例中，计算机系统可以可操作地耦合到任何基于机器视觉的系统。例如，这样的基于机器视觉的系统可以包括但不限于手动操作的、半自主的或完全自主的工业或农业机器人、家用机器人、检查系统、安全系统等。例如，本文所描述的示例不限于一个特定的上下文，并且可以适用于利用机器视觉的任何应用。
一些示例可以在一个或多个计算机网络的环境中被实践。该网络可以包括专用网络或公共网络(例如，互联网)或二者的组合。网络可以包括硬件、软件或二者的组合。
从面向电信的角度看，网络可以被描述为一组由通信设施互连的硬件节点，其中一个或多个进程(硬件、软件或其组合)在每个节点处运作。进程可以使用进程间通信通路经由它们之间的通信通路与彼此通信并交换信息。在这些通路上，可以使用适当的通信协议。
示例计算机和/或电信网络环境可以包括节点，这些节点可以包括硬件、软件或者硬件和软件的组合。节点可以经由通信网络互连。每个节点可以包括一个或多个可由被包括在节点中的处理器执行的进程。例如，单个进程可以由多个处理器运行，或者多个进程可以由单个处理器运行。另外，每个节点可以提供网络和外部世界之间的接口点，并且可以包括子网的集合。
在一些示例中，进程可以通过进程间通信通路与彼此通信，该进程间通信通路支持通过任何通信协议的通信。这些通路可以顺序或并行运作(连续或间歇地)。除了由许多计算机使用的标准并行指令集之外，这些通路还可以使用本文中关于通信网络描述的任何通信标准、协议或技术。
节点可以包括能够执行处理功能的任何实体。可以与本文的示例一起使用的此类节点的示例可以包括计算机(例如，个人计算机、工作站、服务器或大型机)、手持式无线设备和有线设备(例如，个人数字助理(PDA)、具有处理能力的调制解调器手机)、无线电子邮件设备(包括但不限于，BlackBerryTM设备)、文档处理设备(例如，扫描仪、打印机、传真机或多功能文档机)或复杂实体(例如，局域网或广域网)，其被连接到处理器集合，如所述。例如，节点本身可以是广域网(WAN)、局域网(LAN)、专用网络(例如，虚拟专用网络(VPN))或网络的集合。
节点之间的通信可以通过通信网络来成为可能。节点可以连续或间歇地与通信网络连接。作为示例，通信网络可以是提供足够的带宽和信息安全性的数字通信基础设施。
通信网络可以使用任何类型的标准、协议或技术在任何频率处包括有线通信能力、无线通信能力或二者的组合。另外，在一些示例中，通信网络可以是专用网络(例如，VPN)或公共网络(例如，互联网)。
由通信网络使用的示例性无线协议和技术的非包括性列表可以包括BluetoothTM、通用分组无线电业务(GPRS)、蜂窝数字分组数据(CDPD)、移动解决方案平台(MSP)、多媒体消息传递(MMS)、无线应用协议(WAP)、码分多址(CDMA)、短消息服务(SMS)、无线标记语言(WML)、手持式设备标记语言(HDML)、无线二进制运行时环境(BREW)、无线电接入网(RAN)和分组交换核心网(PS-CN)。还包括各种世代的无线技术。由通信网络使用的主要有线协议和技术的非包括性列表包括异步传输模式(ATM)、增强型内部网关路由协议(EIGRP)、帧中继(FR)、高级数据链路控制(HDLC)、互联网控制消息协议(ICMP)、内部网关路由协议(IGRP)、互联网络分组交换(IPX)、ISDN、点对点协议(PPP)、传输控制协议/互联网协议(TCP/IP)、路由信息协议(RIP)和用户数据报协议(UDP)。可以使用任何其他已知或预期的无线或有线协议和技术。
本文公开的示例可以包括用于执行本文描述的操作的设备。可以出于期望的目的而专门构造装置，或者其可以包括由设备中存储的程序选择性地激活或重新配置的通用设备。
一些示例可以体现在机器可执行指令中。指令可用于使得处理设备(例如，通用或专用处理器，其用指令编程以执行本文描述的过程的步骤)。可替代地，本文描述的步骤可以由包含用于执行步骤的硬连线逻辑的特定硬件组件来执行，或者由编程的计算机组件和定制硬件组件的任何组合来执行。例如，可以将本文描述的系统和过程提供为计算机程序产品，如上所述。一些示例可以包括其上存储有指令的机器可读介质。指令可用于对任何一个或多个处理器(或其他电子设备)进行编程，以执行根据本文所述示例的过程或方法。另外，可以下载一些示例并将其存储在计算机程序产品上。在这样的示例中，可以通过体现在载波或其他传播介质中的数据信号经由通信链路(例如，调制解调器或网络连接)将程序从远程计算机(例如，服务器)传输到请求计算机(例如，客户端)，并且最终这些信号可以存储在计算机系统上，以供后续执行。
过程可以在可从计算机可用或计算机可读存储介质访问的计算机程序产品中实现，该计算机程序产品提供程序代码以供计算机或任何指令执行系统使用或与其结合使用。计算机可用或计算机可读存储介质可以是能够包含或存储由计算机或指令执行系统、设备或装置使用或与其结合使用的程序的任何装置。
适合于存储和/或执行对应程序代码的数据处理系统可以包括直接或间接耦合到计算机化数据存储设备(例如，存储器元件)的至少一个处理器。输入/输出(I/O)设备(包括但不限于键盘、显示器、指示设备等)可以耦合到系统。网络适配器也可以耦合到系统，以使得数据处理系统能够通过中间的专用或公共网络耦合到其他数据处理系统或远程打印机或存储设备。为了提供与用户的交互，可以在具有显示设备(例如，LCD(液晶显示器)或用于向用户显示信息的另一种类型的监视器)、用户可以通过其向计算机提供输入的键盘和输入设备(例如，鼠标或轨迹球)的计算机上实现这些特征。
计算机程序可以是可以在计算机中直接或间接使用的一组指令。可以使用诸如CUDA、OpenCL、FlashTM、JAVATM、C++、C、C#、Python、Visual BasicTM、JavaScriptTM PHP、XML、HTML等的编程语言或编程语言的组合(包括编译或解释的语言)来实现本文描述的系统和方法，并且可以以任何形式进行部署，包括作为独立程序或作为模块、组件、子例程或适合于在计算环境中使用的其他单元。该软件可以包括但不限于固件、驻留软件、微代码等。诸如SOAP/HTTP之类的协议可以用于实现编程模块之间的接口。本文所述的组件和功能可以使用适合于软件开发的任何编程语言在虚拟或非虚拟环境中执行的任何桌面操作系统上实现，所述桌面操作系统包括但不限于Microsoft WindowsTM、AppleTM MacTM、iOSTM、UnixTM/X-WindowsTM、LinuxTM等的不同版本。可以使用Web应用框架(例如，Ruby on Rails)来实现该系统。
用于执行指令程序的合适处理器包括但不限于通用和专用微处理器，以及任何类型计算机的唯一处理器或多个处理器或核心中的一个。处理器可以从计算机化的数据存储设备(例如，只读存储器、随机存取存储器、二者或本文所述的数据存储设备的任何组合)接收并存储指令和数据。处理器可以包括可操作以控制电子设备的操作和性能的任何处理电路或控制电路。
可以使用软件或硬件元素的任何组合来实现本文描述的系统、模块和方法。可以使用单独运行或与彼此组合运行的一个或多个虚拟机来实现本文所述的系统、模块和方法。任何适用的虚拟化解决方案都可以用于将物理计算机平台封装到虚拟机中，该虚拟机在硬件计算平台或主机上运行的虚拟化软件的控制下执行。虚拟机可以具有虚拟系统硬件和访客操作系统软件二者。
本文描述的系统和方法可以在计算机系统中实现，该计算机系统包括诸如数据服务器之类的后端组件，或者包括诸如应用服务器或互联网服务器之类的中间件组件，或者包括诸如具有图形用户界面或互联网浏览器的客户端计算机之类的前端组件，或它们的任何组合。系统的组件可以通过任何形式或介质的数字数据通信来连接，例如通信网络。通信网络的示例包括例如LAN、WAN以及形成互联网的计算机和网络。
本公开的一个或多个实施例可以用其他计算机系统配置来实践，包括手持式设备、微处理器系统、基于微处理器的或可编程的消费者电子产品、小型计算机、大型计算机等。本文描述的系统和方法还可以在分布式计算环境中实践，在分布式计算环境中，任务是由通过网络链接的远程处理设备执行的。
应当理解，本文呈现的主题可以被实现为计算机过程、计算机控制的装置、计算系统或诸如计算机可读存储介质之类的制品。尽管本文描述的主题是在一个或多个计算设备上执行的程序模块的一般上下文中呈现的，但本领域技术人员将认识到，可以结合其他类型的程序模块来执行其他实施方式。通常，程序模块包括例程、程序、组件、数据结构以及执行特定任务或实现特定抽象数据类型的其他类型的结构。
本领域技术人员还将意识到，本文描述的主题的各方面可以在本文描述之外的其他计算机系统配置上实践或结合其实践，其他计算机系统配置包括多处理器系统、基于微处理器的或可编程的消费者电子产品、小型计算机、大型计算机、手持式计算机、移动电话设备、平板计算设备、专用硬件设备、网络设备等。
基于前述，应当理解，本文已经呈现了用于操作系统和实现过程的技术。而且，尽管已经用特定于计算机结构特征、方法动作和计算机可读介质的语言描述了本文呈现的主题，但是应该理解，所附权利要求书中定义的本发明不必限于特定的特征、动作或本文描述的介质。相反，公开了特定的特征、动作和介质作为实现权利要求中记载的主题的示例形式。
上面描述的主题仅以说明的方式提供，并且不应解释为限制性的。此外，要求保护的主题不限于解决在本公开的任何部分中指出的任何或所有缺点的实施方式。可以在不遵循所示出和描述的示例和应用并且不脱离在所附权利要求中阐述的本发明的精神和范围的情况下，对本文所述的主题进行各种修改和改变。
示例条款
A、一种示例系统，包括：
一个或多个处理器；以及
一个或多个计算机可读存储介质，其通信地耦合到所述一个或多个处理器并且存储能够由所述一个或多个处理器执行以执行以下操作的指令：
接收代表环境的多个图像，所述多个图像包括由一个或多个图像捕获设备生成的图像数据；
将所述图像数据传输到图像分割网络，所述图像分割网络被配置为分割所述多个图像并且生成分割的图像；
接收与所述环境相关联的第一传感器数据，所述第一传感器数据是从光检测和测距(LIDAR)传感器接收的；
将所述第一传感器数据与所述分割的图像相关联以创建训练数据集；
将所述训练数据集传输到被配置为运行传感器数据分割模型的机器学习网络；以及
使用所述训练数据集来训练所述传感器数据分割模型，使得所述传感器数据分割模型被配置为分割从LIDAR传感器接收的第二传感器数据。
B、示例A的系统，其中所述指令还能够由所述一个或多个处理器执行以执行以下操作：
将所述第一传感器数据的至少第一部分投影到所述分割的图像的第一分割的图像上；以及
将所述第一传感器数据的至少第二部分投影到所述分割的图像的第二分割的图像上。
C、示例A或示例B的系统，其中：
所述多个图像中的第一图像是在第一图像时间捕获的；
所述多个图像中的第二图像是在第二图像时间捕获的；
所述第一传感器数据的第一部分与第一传感器时间相关联；
所述第一传感器数据的第二部分与第二传感器时间相关联；以及
所述指令还能够由所述一个或多个处理器进一步执行以执行以下操作：
确定所述第一图像时间与所述第一传感器时间之间的第一时间差；
确定所述第二图像时间与所述第一传感器时间之间的第二时间差；
确定所述第一时间差小于所述第二时间差；以及
至少部分地基于所述第一时间差小于所述第二时间差，将所述第一图像与所述第一传感器数据的所述第一部分相关联。
D、示例A至示例C中任一项的系统，其中，所述指令还能够由所述一个或多个处理器执行以从所述第一传感器接收第二传感器数据并且至少部分地基于所训练的传感器数据分割模型来分割第二传感器数据。
E、示例A至示例D中任一项的系统，其中，所述传感器数据分割模型包括一个或多个内核，所述一个或多个内核与不对称步幅相关联，以及
其中训练所述传感器数据分割模型包括计算损失函数，所述损失函数至少部分地基于所述训练数据集和所述传感器数据分割模型的输出，所述损失函数包括交叉熵softmax损失、焦点损失或逻辑回归损失中的一个或多个。
F、示例A至示例E中的任一项的系统，其中，所述指令还能够由所述一个或多个处理器执行以执行以下操作：
识别所述传感器数据中的不连续性；以及
删除与所述不连续性相关联的传感器数据。
G、示例A至示例F中的任一项的系统，其中，所述指令还能够由所述一个或多个处理器执行以执行以下操作：
从LIDAR传感器接收传感器数据；以及
使用所述传感器数据分割模型来分割从所述LIDAR传感器接收的传感器数据，并且生成分割的传感器数据。
H、示例A至示例G中的任一项的系统，其中，所述指令还能够由所述一个或多个处理器执行以至少部分地基于所述分割的传感器数据来生成用于自主车辆的轨迹。
I、一种示例方法，包括：
接收代表环境的多个图像，所述多个图像包括由图像捕获设备生成的图像数据；
将所述图像数据传输到图像分割网络，所述图像分割网络被配置为分割所述多个图像并且生成分割的图像；
接收由第一传感器生成的第一传感器数据，所述第一传感器数据包括代表所述环境的数据；
分割所述图像数据以生成分割的图像；
将所述第一传感器数据与所述分割的图像相关联以创建训练数据集；
将所述训练数据集传输到被配置为运行传感器数据分割模型的机器学习网络；以及
使用所述训练数据集来训练所述传感器数据分割模型，使得所述传感器数据分割模型被配置为分割从所述第一传感器获得的第二传感器数据。
J、示例I的方法，其中接收由所述第一传感器生成的所述第一传感器数据包括接收由光检测和测距(LIDAR)传感器生成的传感器数据，并且训练所述传感器数据分割模型包括使用所述训练数据集来训练所述传感器数据分割模型，使得所述传感器数据分割模型被配置为分割从LIDAR传感器获得的第二传感器数据。
K、示例I或示例J的方法，还包括将所述第一传感器数据的至少第一部分投影到所述分割的图像的第一分割的图像上。
L、根据示例I至示例K中任一项所述的方法，其中：
所述多个图像中的第一图像是在第一图像时间捕获的；
所述多个图像中的第二图像是在第二图像时间捕获的；
所述第一传感器数据的第一部分与第一传感器时间相关联；
所述第一传感器数据的第二部分与第二传感器时间相关联；以及
所述方法还包括：
确定所述第一图像时间与所述第一传感器时间之间的第一时间差；
确定所述第二图像时间与所述第一传感器时间之间的第二时间差；
确定所述第一时间差小于所述第二时间差；以及
至少部分地基于所述第一时间差小于所述第二时间差，将所述第一图像与所述第一传感器数据的所述第一部分相关联。
M、示例I至示例L中的任一项的方法，还包括：从所述第一传感器接收第二传感器数据，并且至少部分地基于所训练的传感器数据分割模型来分割所述第二传感器数据。
N.根据示例I至示例M中的任一项所述的方法，其中，所述传感器数据分割模型包括一个或多个内核，所述一个或多个内核与不对称步幅相关联，以及
其中训练所述传感器数据分割模型包括计算损失函数，所述损失函数至少部分地基于所述训练数据集和所述传感器数据分割模型的输出，所述损失函数包括交叉熵softmax损失、焦点损失或逻辑回归损失中的一个或多个。
O、示例I至示例N中任一项的方法，还包括：
识别所述第一传感器数据中的不连续性；以及
删除与所述不连续性相关联的第一传感器数据。
P、示例I至示例O中任一项的方法，还包括：
从传感器接收第二传感器数据；以及
使用所述传感器数据分割模型分割从所述传感器接收的所述第二传感器数据。
Q、根据示例I至示例P中的任一项所述的方法，还包括：至少部分地基于所述分割的第二传感器数据来生成用于自主车辆的轨迹。
R、一种示例计算机可读存储介质，其上存储有计算机可执行指令，当由计算机执行时，所述计算机可执行指令使得所述计算机执行以下操作：
接收代表环境的多个图像，所述多个图像包括由图像捕获设备生成的图像数据；
将所述图像数据传输到图像分割网络，所述图像分割网络被配置为分割所述图像并且生成分割的图像；
接收由第一传感器生成的第一传感器数据，所述第一传感器数据包括代表所述环境的数据；
分割所述图像以生成分割的图像；
将所述第一传感器数据与所述分割的图像相关联以创建训练数据集；
将所述训练数据集传输到被配置为运行传感器数据分割模型的机器学习网络；以及
使用所述训练数据集来训练所述传感器数据分割模型，使得所述传感器数据分割模型被配置为分割从传感器获得的第二传感器数据。
S、示例R的计算机可读存储介质，其中，所述第一传感器数据是由光检测和测距(LIDAR)传感器生成的，并且训练所述传感器数据分割模型包括使用所述训练数据集来训练所述传感器数据分割模型，使得所述传感器数据分割模型被配置为分割从LIDAR传感器获得的第二传感器数据。
T、示例R或示例S的计算机可读存储介质，其中：
所述多个图像中的第一图像是在第一图像时间捕获的；
所述多个图像中的第二图像是在第二图像时间捕获的；
所述第一传感器数据的第一部分与第一传感器时间相关联；
所述第一传感器数据的第二部分与第二传感器时间相关联；以及
所述计算机可执行指令使得所述计算机执行以下操作：
确定所述第一图像时间与所述第一传感器时间之间的第一时间差；
确定所述第二图像时间与所述第一传感器时间之间的第二时间差；
确定所述第一时间差小于所述第二时间差；以及
至少部分地基于所述第一时间差小于所述第二时间差，将所述第一图像与所述第一传感器数据的所述第一部分相关联。

Claims (64)

1.一种系统，包括：
一个或多个处理器；以及
一个或多个计算机可读存储介质，其通信地耦合到所述一个或多个处理器并且存储指令，所述指令能够由所述一个或多个处理器执行以执行以下操作：
接收代表环境的多个图像，所述多个图像包括由一个或多个图像捕获设备生成的图像数据；
将所述图像数据传输到图像分割网络，所述图像分割网络被配置为分割所述多个图像并且生成分割的图像；
接收与所述环境相关联的第一传感器数据，所述第一传感器数据是从光检测和测距(LIDAR)传感器接收的；
将所述第一传感器数据与所述分割的图像相关联以创建训练数据集；
将所述训练数据集传输到机器学习网络，所述机器学习网络被配置为运行传感器数据分割模型；以及
使用所述训练数据集来训练所述传感器数据分割模型，使得经训练的传感器数据分割模型被配置为在接收到包括附加LIDAR数据并且不包括附加图像数据的输入时，输出分割的附加LIDAR传感器数据。
2.根据权利要求1所述的系统，其中，所述指令还能够由所述一个或多个处理器执行以执行以下操作：
将所述第一传感器数据的至少第一部分投影到所述分割的图像的第一分割的图像上；以及
将所述第一传感器数据的至少第二部分投影到所述分割的图像的第二分割的图像上。
3.根据权利要求1所述的系统，其中：
所述多个图像中的第一图像是在第一图像时间捕获的；
所述多个图像中的第二图像是在第二图像时间捕获的；
所述第一传感器数据的第一部分与第一传感器时间相关联；
所述第一传感器数据的第二部分与第二传感器时间相关联；以及
所述指令还能够由所述一个或多个处理器进一步执行以执行以下操作：
确定所述第一图像时间与所述第一传感器时间之间的第一时间差；
确定所述第二图像时间与所述第一传感器时间之间的第二时间差；
确定所述第一时间差小于所述第二时间差；以及
至少部分地基于所述第一时间差小于所述第二时间差，将所述第一图像与所述第一传感器数据的所述第一部分相关联。
4.根据权利要求1所述的系统，其中，所述指令还能够由所述一个或多个处理器执行以从所述LIDAR传感器接收第二传感器数据并且至少部分地基于所述传感器数据分割模型来分割第二传感器数据。
5.根据权利要求1所述的系统，其中，所述传感器数据分割模型包括一个或多个内核，所述一个或多个内核与不对称步幅相关联，以及
其中，训练所述传感器数据分割模型包括计算损失函数，所述损失函数至少部分地基于所述训练数据集和所述传感器数据分割模型的输出，所述损失函数包括交叉熵softmax损失、焦点损失或逻辑回归损失中的一个或多个。
6.根据权利要求1所述的系统，其中，所述指令还能够由所述一个或多个处理器执行以执行以下操作：
识别所述第一传感器数据中的不连续性；以及
删除与所述不连续性相关联的传感器数据。
7.根据权利要求1所述的系统，其中，所述指令还能够由所述一个或多个处理器执行以执行以下操作：
从LIDAR传感器接收传感器数据；以及
使用所述传感器数据分割模型来分割从所述LIDAR传感器接收的传感器数据，并且生成分割的传感器数据。
8.根据权利要求7所述的系统，其中，所述指令还能够由所述一个或多个处理器执行以至少部分地基于所述分割的传感器数据来生成用于自主车辆的轨迹。
9.根据权利要求1所述的系统，其中，将所述第一传感器数据与所述分割的图像相关联以创建训练数据集的步骤包括将所述第一传感器数据与所述分割的图像在时间和/或空间上对准。
10.根据权利要求1所述的系统，其中：
所述多个图像中的第一图像是在第一图像捕获时间捕获的；
所述多个图像中的第二图像是在第二图像捕获时间捕获的；
所述第一传感器数据的第一部分与第一传感器时间相关联；以及
所述指令还能够由所述一个或多个处理器执行以执行以下操作：
确定所述第一图像捕获时间与所述第一传感器时间之间的第一时间差；
确定所述第二图像捕获时间与所述第一传感器时间之间的第二时间差；
确定所述第一时间差是否小于所述第二时间差；以及
当所述第一时间差被确定为小于所述第二时间差时，至少部分地基于所述第一时间差小于所述第二时间差，将所述第一图像与所述第一传感器数据的所述第一部分相关联。
11.一种方法，包括：
接收代表环境的多个图像，所述多个图像包括由图像捕获设备生成的图像数据；
将所述图像数据传输到图像分割网络，所述图像分割网络被配置为分割所述多个图像并且生成分割的图像；
接收由包括光检测和测距(LIDAR)传感器的第一传感器生成的第一传感器数据，所述第一传感器数据包括代表所述环境的数据；
将所述第一传感器数据与所述分割的图像相关联以创建训练数据集；
将所述训练数据集传输到机器学习网络，所述机器学习网络被配置为运行传感器数据分割模型；以及
使用所述训练数据集来训练所述传感器数据分割模型，使得经训练的传感器数据分割模型被配置为在接收到包括附加LIDAR数据并且不包括附加图像数据的输入时，输出分割的附加LIDAR数据。
12.根据权利要求11所述的方法，其中，接收由所述第一传感器生成的所述第一传感器数据包括接收由光检测和测距(LIDAR)传感器生成的传感器数据，并且训练所述传感器数据分割模型包括训练所述传感器数据分割模型。
13.根据权利要求11所述的方法，还包括：
将所述第一传感器数据的至少第一部分投影到所述分割的图像的第一分割的图像上；以及
将所述第一传感器数据的至少第二部分投影到所述分割的图像的第二分割的图像上。
14.根据权利要求11所述的方法，其中：
所述多个图像中的第一图像是在第一图像时间捕获的；
所述多个图像中的第二图像是在第二图像时间捕获的；
所述第一传感器数据的第一部分与第一传感器时间相关联；
所述第一传感器数据的第二部分与第二传感器时间相关联；以及
所述方法还包括：
确定所述第一图像时间与所述第一传感器时间之间的第一时间差；
确定所述第二图像时间与所述第一传感器时间之间的第二时间差；
确定所述第一时间差小于所述第二时间差；以及
至少部分地基于所述第一时间差小于所述第二时间差，将所述第一图像与所述第一传感器数据的所述第一部分相关联。
15.根据权利要求11所述的方法，还包括：
从所述第一传感器接收第二传感器数据，并且至少部分地基于传感器数据分割模型来分割所述第二传感器数据。
16.根据权利要求11所述的方法，其中，所述传感器数据分割模型包括一个或多个内核，所述一个或多个内核与不对称步幅相关联，以及
其中，训练所述传感器数据分割模型包括计算损失函数，所述损失函数至少部分地基于所述训练数据集和所述传感器数据分割模型的输出，所述损失函数包括交叉熵softmax损失、焦点损失或逻辑回归损失中的一个或多个。
17.根据权利要求11所述的方法，还包括：
识别所述第一传感器数据中的不连续性；以及
删除与所述不连续性相关联的第一传感器数据。
18.根据权利要求11所述的方法，还包括：
从传感器接收第二传感器数据；以及
使用所述传感器数据分割模型来对从所述传感器接收的所述第二传感器数据进行分割。
19.根据权利要求18所述的方法，还包括至少部分地基于所分割的第二传感器数据来生成用于自主车辆的轨迹。
20.根据权利要求11所述的方法，其中，将所述第一传感器数据与所述分割的图像相关联以创建训练数据集的步骤还包括将所述第一传感器数据与所述分割的图像在时间和/或空间上对准。
21.根据权利要求11所述的方法，其中：
所述多个图像中的第一图像是在第一图像捕获时间捕获的；
所述多个图像中的第二图像是在第二图像捕获时间捕获的；
所述第一传感器数据的第一部分与第一传感器时间相关联；以及
所述方法还包括：
确定所述第一图像捕获时间与所述第一传感器时间之间的第一时间差；
确定所述第二图像捕获时间与所述第一传感器时间之间的第二时间差；
确定所述第一时间差是否小于所述第二时间差；以及
当所述第一时间差被确定为小于所述第二时间差时，至少部分地基于所述第一时间差小于所述第二时间差，将所述第一图像与所述第一传感器数据的所述第一部分相关联。
22.一种计算机可读存储介质，其上存储有计算机可执行指令，所述计算机可执行指令在计算机执行时，使所述计算机：
接收代表环境的多个图像，所述多个图像包括由图像捕获设备生成的图像数据；
将所述图像数据传输到图像分割网络，所述图像分割网络被配置为分割所述多个图像并且生成分割的图像；
接收由包括光检测和测距(LIDAR)传感器的第一传感器生成的第一传感器数据，所述第一传感器数据包括代表所述环境的数据；
将所述第一传感器数据与所述分割的图像相关联以创建训练数据集；
将所述训练数据集传输到机器学习网络，所述机器学习网络被配置为运行传感器数据分割模型；以及
使用所述训练数据集来训练所述传感器数据分割模型，使得经训练的传感器数据分割模型被配置为在接收到包括附加LIDAR数据并且不包括附加图像数据的输入时，输出分割的附加LIDAR数据。
23.根据权利要求22所述的计算机可读存储介质，其中，所述第一传感器数据是由光检测和测距(LIDAR)传感器生成的。
24.根据权利要求22所述的计算机可读存储介质，其中：
所述多个图像中的第一图像是在第一图像时间捕获的；
所述多个图像中的第二图像是在第二图像时间捕获的；
所述第一传感器数据的第一部分与第一传感器时间相关联；
所述第一传感器数据的第二部分与第二传感器时间相关联；以及
所述计算机可执行指令使得所述计算机：
确定所述第一图像时间与所述第一传感器时间之间的第一时间差；
确定所述第二图像时间与所述第一传感器时间之间的第二时间差；
确定所述第一时间差小于所述第二时间差；以及
至少部分地基于所述第一时间差小于所述第二时间差，将所述第一图像与所述第一传感器数据的所述第一部分相关联。
25.一种系统，包括：
一个或多个处理器；以及
一个或多个计算机可读存储介质，其通信地耦合到所述一个或多个处理器并且存储指令，所述指令能够由所述一个或多个处理器执行以执行以下操作：
接收由图像捕获设备生成的代表环境的图像数据；
从图像分割网络获得通过分割所述图像数据而生成的分割的图像；
从除了图像捕获设备之外的一个或多个传感器类型接收传感器数据；
将所述传感器数据与所述分割的图像相关联以创建训练数据集；以及
使用所述训练数据集来训练传感器数据分割模型，使得经训练的传感器数据分割模型被配置为在接收到包括所述一个或多个传感器类型中的一个或多个的附加传感器数据并且不包括附加图像数据的输入时，输出所述一个或多个传感器类型中的一个或多个的分割的附加传感器数据中的至少一个，
其中，所述一个或多个传感器类型是光检测和测距(LIDAR)传感器、无线电检测和测距(RADAR)传感器、和声音导航和测距(SONAR)传感器中的一个或多个。
26.根据权利要求25所述的系统，其中，将所述传感器数据与所述分割的图像相关联包括将所述传感器数据与所述分割的图像在空间上对准。
27.根据权利要求25所述的系统，其中：
所述图像数据中包括的第一图像是在第一图像时间捕获的；
所述图像数据中包括的第二图像是在第二图像时间捕获的；
所述传感器数据的第一部分与第一传感器时间相关联；
所述传感器数据的第二部分与第二传感器时间相关联；以及
所述指令还能够由所述一个或多个处理器进一步执行以执行以下操作：
确定所述第一图像时间与所述第一传感器时间之间的第一时间差；
确定所述第二图像时间与所述第一传感器时间之间的第二时间差；
确定所述第一时间差小于所述第二时间差；以及
至少部分地基于所述第一时间差小于所述第二时间差，将所述传感器数据的所述第一部分与所述第一图像相关联。
28.根据权利要求25所述的系统，其中，所述指令还能够由所述一个或多个处理器执行以接收第二传感器数据并且至少部分地基于所述传感器数据分割模型来分割所述第二传感器数据。
29.根据权利要求25所述的系统，其中：
所述传感器数据分割模型包括一个或多个内核，所述一个或多个内核与不对称步幅相关联，以及
训练所述传感器数据分割模型包括计算损失，所述损失至少部分地基于所述训练数据集和所述传感器数据分割模型的输出，所述损失包括交叉熵softmax损失、焦点损失或逻辑回归损失中的一个或多个。
30.根据权利要求25所述的系统，其中，所述指令还能够由所述一个或多个处理器执行以执行以下操作：
识别所述传感器数据中的不连续性；以及
忽略与所述不连续性相关联的传感器数据。
31.根据权利要求25所述的系统，其中，所述传感器数据包括来自LIDAR传感器的LIDAR传感器数据，并且其中，所述指令还使所述一个或多个处理器：
使用所述传感器数据分割模型，将从所述LIDAR传感器接收的所述LIDAR传感器数据分割为分割的LIDAR传感器数据。
32.根据权利要求31所述的系统，其中，所述指令还能够由所述一个或多个处理器执行，以至少部分地基于所述分割的LIDAR传感器数据来生成用于自主车辆的轨迹。
33.一种方法，包括：
接收由一个或多个图像捕获设备生成的代表环境的图像数据；
接收由除了图像捕获设备之外的一个或多个传感器类型生成的第一传感器数据；
分割所述图像数据以获得分割的图像；
将所述第一传感器数据与所述分割的图像相关联以创建训练数据集；以及
使用所述训练数据集来训练传感器数据分割模型，使得经训练的传感器数据分割模型被配置为在接收到包括所述一个或多个传感器类型中的一个或多个的附加传感器数据并且不包括附加图像数据的输入时，输出所述一个或多个传感器类型中的一个或多个的分割的附加传感器数据，
其中，所述一个或多个传感器类型是光检测和测距(LIDAR)传感器、无线电检测和测距(RADAR)传感器、和声音导航和测距(SONAR)传感器中的一个或多个。
34.根据权利要求33所述的方法，其中，接收所述第一传感器数据包括：接收由光检测和测距(LIDAR)传感器生成的传感器数据。
35.根据权利要求33所述的方法，其中，将所述第一传感器数据与所述分割的图像相关联包括将所述第一传感器数据与所述分割的图像在空间上对准。
36.根据权利要求33所述的方法，其中：
所述图像数据中包括的第一图像是在第一图像时间捕获的；
所述图像数据中包括的第二图像是在第二图像时间捕获的；
所述第一传感器数据的第一部分与第一传感器时间相关联；
所述第一传感器数据的第二部分与第二传感器时间相关联；以及
所述方法包括：
确定所述第一图像时间与所述第一传感器时间之间的第一时间差；
确定所述第二图像时间与所述第一传感器时间之间的第二时间差；
确定所述第一时间差小于所述第二时间差；以及
至少部分地基于所述第一时间差小于所述第二时间差，将所述第一传感器数据的所述第一部分与所述第一图像相关联。
37.根据权利要求33所述的方法，还包括：
接收第二传感器数据；以及
至少部分地基于所述传感器数据分割模型来分割所述第二传感器数据。
38.根据权利要求33所述的方法，其中：
所述传感器数据分割模型包括一个或多个内核，所述一个或多个内核与不对称步幅相关联，以及
训练所述传感器数据分割模型包括计算损失，所述损失至少部分地基于所述训练数据集和所述传感器数据分割模型的输出，所述损失包括交叉熵softmax损失、焦点损失或逻辑回归损失中的一个或多个。
39.根据权利要求33所述的方法，还包括：
识别所述第一传感器数据中的不连续性；以及
忽略与所述不连续性相关联的第一传感器数据。
40.根据权利要求33所述的方法，还包括：
从传感器接收第二传感器数据；以及
使用所述传感器数据分割模型，将从所述传感器接收的所述第二传感器数据分割为分割的第二传感器数据。
41.根据权利要求40所述的方法，还包括：至少部分地基于所述分割的第二传感器数据，生成用于自主车辆的轨迹。
42.一种或多种非暂时性计算机可读存储介质，其上存储有计算机可执行指令，所述计算机可执行指令在由一个或多个处理器执行时，使所述一个或多个处理器执行操作，所述操作包括：
接收由图像捕获设备生成的代表环境的图像数据；
从图像分割网络获得通过分割所述图像数据而生成的分割的图像；
接收由传感器生成的传感器数据，所述传感器包括除了图像捕获设备之外的一个或多个传感器类型；
将所述传感器数据与所述分割的图像相关联以创建训练数据集；以及
使用所述训练数据集来训练传感器数据分割模型，使得经训练的传感器数据分割模型被配置为在接收到包括所述一个或多个传感器类型中的一个或多个的附加传感器数据并且不包括附加图像数据的输入时，输出所述一个或多个传感器类型中的一个或多个的分割的附加传感器数据，
其中，所述一个或多个传感器类型是光检测和测距(LIDAR)传感器、无线电检测和测距(RADAR)传感器、和声音导航和测距(SONAR)传感器中的一个或多个。
43.根据权利要求42所述的非暂时性计算机可读存储介质，其中，所述传感器数据是由光检测和测距(LIDAR)传感器生成的，并且
其中，所述操作还包括：至少部分地基于由所述传感器数据分割模型生成的分割的传感器数据来生成用于自主车辆的轨迹。
44.根据权利要求42所述的非暂时性计算机可读存储介质，其中，
所述图像数据中包括的第一图像是在第一图像时间捕获的；
所述图像数据中包括的第二图像是在第二图像时间捕获的；
所述传感器数据的第一部分与第一传感器时间相关联；
所述传感器数据的第二部分与第二传感器时间相关联；以及
所述操作还包括：
确定所述第一图像时间与所述第一传感器时间之间的第一时间差；
确定所述第二图像时间与所述第一传感器时间之间的第二时间差；
确定所述第一时间差小于所述第二时间差；以及
至少部分地基于所述第一时间差小于所述第二时间差，将所述传感器数据的所述第一部分与所述第一图像相关联。
45.一种系统，包括：
一个或多个处理器；以及
一个或多个非暂时性计算机可读存储介质，其通信地耦合至所述一个或多个处理器，并且存储能够由所述一个或多个处理器执行以执行操作的指令，所述操作包括：
从图像分割网络获得分割的图像，所述分割的图像是通过分割由图像捕获设备生成的代表环境的图像数据而生成的；
从除了图像捕获设备之外的一个或多个传感器类型接收传感器数据；
将所述传感器数据与所述分割的图像相关联以创建训练数据集；以及
使用所述训练数据集来训练传感器数据分割模型，使得经训练的传感器数据分割模型被配置为响应于接收到所述一个或多个传感器类型中的一个或多个的附加数据并且不包括附加图像数据，输出所述一个或多个传感器类型中的一个或多个的分割的附加数据，
其中，所述一个或多个传感器类型是光检测和测距(LIDAR)传感器、无线电检测和测距(RADAR)传感器、和声音导航和测距(SONAR)传感器中的一个或多个。
46.根据权利要求45所述的系统，其中，获得所述分割的图像包括确定与所述图像数据中的对象的类型相关联的分类。
47.根据权利要求45所述的系统，所述关联包括：
从所述图像数据中选择在第一图像时间捕获的分割的第一图像，以最小化所述第一图像时间与第一传感器时间之间的时间差，所述传感器数据的第一部分是在所述第一传感器时间捕获的；以及
将所述传感器数据的第一部分与分割的第一图像相关联；
其中，所述关联包括将所述传感器数据的第一部分与所述分割的第一图像在时间和/或空间上对准。
48.根据权利要求45所述的系统，所述操作还包括确定在所述分割的图像中对象的位置。
49.根据权利要求45所述的系统，其中，所述传感器数据分割模型包括一个或多个内核，所述一个或多个内核与不对称步幅相关联。
50.根据权利要求45所述的系统，所述操作还包括：
识别所述传感器数据中的不连续性；以及
忽略与所述不连续性相关联的传感器数据。
51.根据权利要求45所述的系统，其中，所述传感器数据包括从所述LIDAR传感器接收的LIDAR传感器数据，所述操作还包括：
使用所述传感器数据分割模型将所述LIDAR传感器数据分割为分割的LIDAR传感器数据。
52.根据权利要求51所述的系统，所述操作还包括：
至少部分地基于所述分割的LIDAR传感器数据来生成用于自主车辆的轨迹。
53.一种方法，包括：
从图像分割网络获得分割的图像，所述分割的图像是通过分割由一个或多个图像捕获设备生成的代表环境的图像数据而生成的；
从除了图像捕获设备之外的一个或多个传感器类型接收传感器数据；
将所述传感器数据与所述分割的图像相关联以创建训练数据集；以及
使用所述训练数据集来训练传感器数据分割模型，使得经训练的传感器数据分割模型被配置为响应于接收到所述一个或多个传感器类型中的一个或多个的附加数据并且不包括附加图像数据，输出所述一个或多个传感器类型中的一个或多个的分割的附加数据，
其中，所述一个或多个传感器类型是光检测和测距(LIDAR)传感器、无线电检测和测距(RADAR)传感器、和声音导航和测距(SONAR)传感器中的一个或多个。
54.根据权利要求53所述的方法，其中，获得所述分割的图像包括确定与所述图像数据中的对象的类型相关联的分类。
55.根据权利要求53所述的方法，所述关联包括：
从所述图像数据中选择在第一图像时间捕获的第一图像，以最小化所述第一图像时间与第一传感器时间之间的时间差，所述传感器数据的第一部分是在所述第一传感器时间捕获的；以及
将所述传感器数据的第一部分与分割的第一图像相关联；
其中，所述关联包括将所述传感器数据的第一部分与所述分割的第一图像在时间和/或空间上对准。
56.根据权利要求53所述的方法，还包括确定在所述分割的图像中对象的位置。
57.根据权利要求53所述的方法，其中，所述传感器数据分割模型包括一个或多个内核，所述一个或多个内核与不对称步幅相关联。
58.根据权利要求53所述的方法，还包括：
识别与所述传感器数据中的不连续性；以及
忽略与所述不连续性相关联的传感器数据。
59.根据权利要求53所述的方法，其中，所述传感器数据包括从所述LIDAR传感器接收的LIDAR传感器数据，所述方法还包括：
使用所述传感器数据分割模型将所述LIDAR传感器数据分割为分割的LIDAR传感器数据。
60.根据权利要求59所述的方法，还包括：至少部分地基于所述分割的LIDAR传感器数据来生成用于自主车辆的轨迹。
61.根据权利要求53所述的方法，还包括：
接收包括附加LIDAR数据、附加RADAR数据、或附加SONAR数据中的至少一个的附加传感器数据，所述附加传感器数据以圆柱坐标或球形坐标表示；
将所述附加传感器数据与平面坐标相关联；
通过所述传感器数据分割模型，将所述附加传感器数据分割为分割的传感器数据；以及
通过传感器数据分割模型，输出所述分割的传感器数据。
62.一种或多种非暂时性计算机可读存储介质，其上存储有计算机可执行指令，所述计算机可执行指令在由一个或多个处理器执行时，使所述一个或多个处理器执行操作，所述操作包括：
从图像分割网络获得分割的图像，所述分割的图像是通过分割由一个或多个图像捕获设备生成的代表环境的图像数据而生成的；
从除了图像捕获设备之外的一个或多个传感器类型接收传感器数据；
将所述传感器数据与所述分割的图像相关联以创建训练数据集；以及
使用所述训练数据集来训练传感器数据分割模型，使得经训练的传感器数据分割模型被配置为响应于接收到所述一个或多个传感器类型中的一个或多个的附加数据并且不包括附加图像数据，输出所述一个或多个传感器类型中的一个或多个的分割的附加数据，
其中，所述一个或多个传感器类型是光检测和测距(LIDAR)传感器、无线电检测和测距(RADAR)传感器、和声音导航和测距(SONAR)传感器中的一个或多个。
63.根据权利要求62所述的一种或多种非暂时性计算机可读存储介质，其中，所述传感器数据包括从所述LIDAR传感器接收的LIDAR传感器数据，所述操作还包括：
使用所述传感器数据分割模型将所述LIDAR传感器数据分割为分割的LIDAR传感器数据。
64.根据权利要求62所述的一种或多种非暂时性计算机可读存储介质，所述关联包括：
从所述图像数据中选择在第一图像时间捕获的第一图像，以最小化所述第一图像时间与第一传感器时间之间的时间差，所述传感器数据的第一部分是在所述第一传感器时间捕获的；以及
将所述传感器数据的第一部分与分割的第一图像相关联；
其中，所述关联包括将所述传感器数据的第一部分与所述分割的第一图像在时间和/或空间上对准。
CN201880087064.6A 2017-11-21 2018-11-06 传感器数据分割 Active CN111615703B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410686234.XA CN118570472A (zh) 2017-11-21 2018-11-06 传感器数据分割

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/820,245 US10535138B2 (en) 2017-11-21 2017-11-21 Sensor data segmentation
US15/820,245 2017-11-21
PCT/US2018/059304 WO2019103836A1 (en) 2017-11-21 2018-11-06 Sensor data segmentation

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202410686234.XA Division CN118570472A (zh) 2017-11-21 2018-11-06 传感器数据分割

Publications (2)

Publication Number Publication Date
CN111615703A CN111615703A (zh) 2020-09-01
CN111615703B true CN111615703B (zh) 2024-06-18

Family

ID=64650482

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201880087064.6A Active CN111615703B (zh) 2017-11-21 2018-11-06 传感器数据分割
CN202410686234.XA Pending CN118570472A (zh) 2017-11-21 2018-11-06 传感器数据分割

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202410686234.XA Pending CN118570472A (zh) 2017-11-21 2018-11-06 传感器数据分割

Country Status (5)

Country Link
US (4) US10535138B2 (zh)
EP (1) EP3714395A1 (zh)
JP (2) JP7433227B2 (zh)
CN (2) CN111615703B (zh)
WO (1) WO2019103836A1 (zh)

Families Citing this family (93)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018176000A1 (en) 2017-03-23 2018-09-27 DeepScale, Inc. Data synthesis for autonomous control systems
US11748877B2 (en) 2017-05-11 2023-09-05 The Research Foundation For The State University Of New York System and method associated with predicting segmentation quality of objects in analysis of copious image data
US10444759B2 (en) 2017-06-14 2019-10-15 Zoox, Inc. Voxel based ground plane estimation and object segmentation
US11157441B2 (en) 2017-07-24 2021-10-26 Tesla, Inc. Computational array microprocessor system using non-consecutive data formatting
US11893393B2 (en) 2017-07-24 2024-02-06 Tesla, Inc. Computational array microprocessor system with hardware arbiter managing memory requests
US11409692B2 (en) 2017-07-24 2022-08-09 Tesla, Inc. Vector computational unit
US10671349B2 (en) 2017-07-24 2020-06-02 Tesla, Inc. Accelerated mathematical engine
US10535138B2 (en) 2017-11-21 2020-01-14 Zoox, Inc. Sensor data segmentation
US20190164007A1 (en) * 2017-11-30 2019-05-30 TuSimple Human driving behavior modeling system using machine learning
US10572775B2 (en) * 2017-12-05 2020-02-25 X Development Llc Learning and applying empirical knowledge of environments by robots
US11429807B2 (en) 2018-01-12 2022-08-30 Microsoft Technology Licensing, Llc Automated collection of machine learning training data
US11481571B2 (en) * 2018-01-12 2022-10-25 Microsoft Technology Licensing, Llc Automated localized machine learning training
US11091162B2 (en) * 2018-01-30 2021-08-17 Toyota Motor Engineering & Manufacturing North America, Inc. Fusion of front vehicle sensor data for detection and ranging of preceding objects
US11561791B2 (en) 2018-02-01 2023-01-24 Tesla, Inc. Vector computational unit receiving data elements in parallel from a last row of a computational array
US11157527B2 (en) 2018-02-20 2021-10-26 Zoox, Inc. Creating clean maps including semantic information
EP3540691B1 (en) * 2018-03-14 2021-05-26 Volvo Car Corporation Method of segmentation and annotation of images
KR102423172B1 (ko) 2018-03-20 2022-07-22 모빌아이 비젼 테크놀로지스 엘티디 차량의 항법을 위한 시스템 및 방법
US10740914B2 (en) * 2018-04-10 2020-08-11 Pony Ai Inc. Enhanced three-dimensional training data generation
DE102018205879A1 (de) * 2018-04-18 2019-10-24 Volkswagen Aktiengesellschaft Verfahren, Vorrichtung und computerlesbares Speichermedium mit Instruktionen zur Verarbeitung von Sensordaten
CN115393536A (zh) 2018-04-18 2022-11-25 移动眼视力科技有限公司 利用相机进行车辆环境建模
US11164016B2 (en) * 2018-05-17 2021-11-02 Uatc, Llc Object detection and property determination for autonomous vehicles
US11099579B2 (en) * 2018-05-31 2021-08-24 Nissan North America, Inc. System for determining the number of remote vehicles following a host vehicle
US11215999B2 (en) 2018-06-20 2022-01-04 Tesla, Inc. Data pipeline and deep learning system for autonomous driving
US11361457B2 (en) 2018-07-20 2022-06-14 Tesla, Inc. Annotation cross-labeling for autonomous control systems
US11636333B2 (en) 2018-07-26 2023-04-25 Tesla, Inc. Optimizing neural network structures for embedded systems
US10884131B1 (en) * 2018-08-03 2021-01-05 GM Global Technology Operations LLC Conflict resolver for a lidar data segmentation system of an autonomous vehicle
EP3842304B1 (en) 2018-08-14 2024-09-18 Mobileye Vision Technologies Ltd. Systems and methods for navigating with safe distances
US11562231B2 (en) 2018-09-03 2023-01-24 Tesla, Inc. Neural networks for embedded devices
US10565476B1 (en) * 2018-09-04 2020-02-18 StradVision, Inc. Method and computing device for generating image data set for learning to be used for detection of obstruction in autonomous driving circumstances and learning method and learning device using the same
WO2020077117A1 (en) 2018-10-11 2020-04-16 Tesla, Inc. Systems and methods for training machine models with augmented data
US11196678B2 (en) 2018-10-25 2021-12-07 Tesla, Inc. QOS manager for system on a chip communications
US11592524B2 (en) * 2018-11-02 2023-02-28 Waymo Llc Computation of the angle of incidence of laser beam and its application on reflectivity estimation
WO2020112442A1 (en) * 2018-11-27 2020-06-04 Google Llc Methods and systems for colorizing infrared images
US10936902B1 (en) 2018-11-27 2021-03-02 Zoox, Inc. Training bounding box selection
US11010907B1 (en) * 2018-11-27 2021-05-18 Zoox, Inc. Bounding box selection
US11816585B2 (en) 2018-12-03 2023-11-14 Tesla, Inc. Machine learning models operating at different frequencies for autonomous vehicles
US11537811B2 (en) 2018-12-04 2022-12-27 Tesla, Inc. Enhanced object detection for autonomous vehicles based on field view
US11610117B2 (en) 2018-12-27 2023-03-21 Tesla, Inc. System and method for adapting a neural network model on a hardware platform
US11748903B2 (en) * 2019-01-02 2023-09-05 Zebra Technologies Corporation System and method for robotic object detection using a convolutional neural network
GB2589751B (en) * 2019-01-23 2023-05-17 Motional Ad Llc Automatically choosing data samples for annotation
US10890916B2 (en) * 2019-01-30 2021-01-12 StradVision, Inc. Location-specific algorithm selection for optimized autonomous driving
US10762393B2 (en) * 2019-01-31 2020-09-01 StradVision, Inc. Learning method and learning device for learning automatic labeling device capable of auto-labeling image of base vehicle using images of nearby vehicles, and testing method and testing device using the same
US10997461B2 (en) 2019-02-01 2021-05-04 Tesla, Inc. Generating ground truth for machine learning from time series elements
US11150664B2 (en) 2019-02-01 2021-10-19 Tesla, Inc. Predicting three-dimensional features for autonomous driving
US20200247309A1 (en) * 2019-02-06 2020-08-06 Ford Global Technologies, Llc Vehicle lamp-cleaning system
US11567514B2 (en) 2019-02-11 2023-01-31 Tesla, Inc. Autonomous and user controlled vehicle summon to a target
US10956755B2 (en) 2019-02-19 2021-03-23 Tesla, Inc. Estimating object properties using visual image data
US11313696B2 (en) * 2019-03-01 2022-04-26 GM Global Technology Operations LLC Method and apparatus for a context-aware crowd-sourced sparse high definition map
EP3935581A4 (en) * 2019-03-04 2022-11-30 Iocurrents, Inc. DATA COMPRESSION AND COMMUNICATION USING MACHINE LEARNING
US10929711B1 (en) * 2019-03-06 2021-02-23 Zoox, Inc. Time of flight data segmentation
US20200380085A1 (en) * 2019-06-03 2020-12-03 Robert Bosch Gmbh Simulations with Realistic Sensor-Fusion Detection Estimates of Objects
CN110456363B (zh) * 2019-06-17 2021-05-18 北京理工大学 三维激光雷达点云和红外图像融合的目标检测及定位方法
US20200406894A1 (en) 2019-06-28 2020-12-31 Zoox, Inc. System and method for determining a target vehicle speed
US20210004613A1 (en) * 2019-07-02 2021-01-07 DeepMap Inc. Annotating high definition map data with semantic labels
US11100329B1 (en) * 2019-08-14 2021-08-24 Lytx, Inc. Ranging system data utilization for marking of video data of interest
CN110766694B (zh) * 2019-09-24 2021-03-26 清华大学 一种三维医学图像的交互式分割方法
CN112578781B (zh) * 2019-09-29 2022-12-30 华为技术有限公司 数据处理方法、装置、芯片系统及介质
US11886514B2 (en) 2019-10-11 2024-01-30 Kinaxis Inc. Machine learning segmentation methods and systems
US11537825B2 (en) 2019-10-11 2022-12-27 Kinaxis Inc. Systems and methods for features engineering
US11526899B2 (en) 2019-10-11 2022-12-13 Kinaxis Inc. Systems and methods for dynamic demand sensing
CN110827253A (zh) * 2019-10-30 2020-02-21 北京达佳互联信息技术有限公司 一种目标检测模型的训练方法、装置及电子设备
US11361543B2 (en) * 2019-12-10 2022-06-14 Caterpillar Inc. System and method for detecting objects
US11891067B2 (en) * 2019-12-11 2024-02-06 Electronics And Telecommunications Research Institute Vehicle control apparatus and operating method thereof
US11462041B2 (en) 2019-12-23 2022-10-04 Zoox, Inc. Pedestrians with objects
US11789155B2 (en) 2019-12-23 2023-10-17 Zoox, Inc. Pedestrian object detection training
CN110874828B (zh) * 2020-01-20 2020-04-21 上海尽星生物科技有限责任公司 神经网络模型及基于神经网络模型的超声波束形成方法
US11562482B2 (en) 2020-03-30 2023-01-24 Varian Medical Systems International Ag Systems and methods for pseudo image data augmentation for training machine learning models
US11475249B2 (en) * 2020-04-30 2022-10-18 Electronic Arts Inc. Extending knowledge data in machine vision
US11628855B1 (en) * 2020-05-05 2023-04-18 Zoox, Inc. Object velocity detection from multi-modal sensor data
US11720782B2 (en) 2020-06-15 2023-08-08 Samsung Electronics Co., Ltd. Multi-sensor, multi-view, multi-frame, multi-task synthetic image fusion engine for mobile imaging system
CN112083462B (zh) * 2020-09-14 2022-12-13 哈尔滨工程大学 一种海洋精密单点定位方法
US11623661B2 (en) 2020-10-12 2023-04-11 Zoox, Inc. Estimating ground height based on lidar data
US11610206B2 (en) * 2020-10-14 2023-03-21 Paypal, Inc. Analysis platform for actionable insight into user interaction data
USD981819S1 (en) 2020-10-30 2023-03-28 Zoox, Inc. Vehicle with a door opening lever
USD971244S1 (en) * 2020-11-20 2022-11-29 Zoox, Inc. Display screen or portion thereof having an animated graphical user interface
US11618320B1 (en) 2020-11-20 2023-04-04 Zoox, Inc. Multi-passenger interaction
USD971255S1 (en) * 2020-11-20 2022-11-29 Zoox, Inc. Display screen or portion thereof having a graphical user interface
KR20220069845A (ko) * 2020-11-20 2022-05-27 주식회사 에이치엘클레무브 차선을 검출하고 분류하기 위한 시스템 및 방법
US12060076B2 (en) * 2020-12-09 2024-08-13 Zoox, Inc. Determining inputs for perception system
US11890544B2 (en) * 2020-12-30 2024-02-06 Blizzard Entertainment, Inc. Prop placement with machine learning
US12008403B2 (en) 2021-01-22 2024-06-11 Bank Of America Corporation System for electronic identification of attributes for performing maintenance, monitoring, and distribution of designated resources
US11836990B2 (en) * 2022-03-18 2023-12-05 GM Global Technology Operations LLC Methods and systems for two-phase camera to lidar alignment
US11778157B2 (en) * 2021-03-25 2023-10-03 Eys3D Microelectronics, Co. Image capture device and depth information calculation method thereof
US11858514B2 (en) 2021-03-30 2024-01-02 Zoox, Inc. Top-down scene discrimination
US11810225B2 (en) * 2021-03-30 2023-11-07 Zoox, Inc. Top-down scene generation
WO2022212915A1 (en) * 2021-04-01 2022-10-06 Giant.Ai, Inc. Spatio-temporal consistency embeddings from multiple observed modalities
CN113297527B (zh) * 2021-06-09 2022-07-26 四川大学 基于多源城市大数据的pm2.5全面域时空计算推断方法
CN113393657A (zh) * 2021-06-15 2021-09-14 江苏劲步科技有限公司 一种基于物联网软件开发的数据采集机器人及其采集方法
DE102022119216A1 (de) * 2021-08-04 2023-02-09 Motional Ad Llc Erzeugung eines skalierbaren und realistischen Kamerablockierungsdatensatzes
TWI775586B (zh) * 2021-08-31 2022-08-21 世界先進積體電路股份有限公司 多分支的檢測系統及多分支的檢測方法
CN114523985B (zh) * 2022-04-24 2023-01-06 新石器慧通（北京）科技有限公司 基于传感器的感知结果的无人车运动决策方法及装置
CN115292962B (zh) * 2022-09-14 2023-02-14 深圳市城市交通规划设计研究中心股份有限公司 基于轨迹抽稀的路径相似度匹配方法、设备及存储介质
US11972613B1 (en) 2022-10-28 2024-04-30 Zoox, Inc. Apparatus and methods for atmospheric condition detection

Family Cites Families (66)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IL117792A (en) * 1995-05-08 2003-10-31 Rafael Armament Dev Authority Autonomous command and control unit for mobile platform
US6102864A (en) 1997-05-07 2000-08-15 General Electric Company Three-dimensional ultrasound imaging of velocity and power data using average or median pixel projections
JP3766909B2 (ja) * 2001-11-30 2006-04-19 株式会社日立製作所 走行環境認識方法および装置
DE10253510A1 (de) * 2002-11-16 2004-05-27 Robert Bosch Gmbh Vorrichtung und Verfahren zur Verbesserung der Sicht in einem Kraftfahrzeug
US8655079B2 (en) * 2008-03-17 2014-02-18 Raytheon Company Reducing false alarms in identifying whether a candidate image is from an object class
US20090292468A1 (en) * 2008-03-25 2009-11-26 Shunguang Wu Collision avoidance method and system using stereo vision and radar sensor fusion
US8379020B2 (en) 2008-08-25 2013-02-19 Harris Corporation Image processing device using selective neighboring voxel removal and related methods
US9208612B2 (en) 2010-02-12 2015-12-08 The University Of North Carolina At Chapel Hill Systems and methods that generate height map models for efficient three dimensional reconstruction from depth information
US8458188B2 (en) 2010-02-17 2013-06-04 Lockheed Martin Corporation Voxel approach to terrain repositories for modeling and simulation
US8811748B2 (en) * 2011-05-20 2014-08-19 Autodesk, Inc. Collaborative feature extraction system for three dimensional datasets
US8913784B2 (en) 2011-08-29 2014-12-16 Raytheon Company Noise reduction in light detection and ranging based imaging
US9117281B2 (en) * 2011-11-02 2015-08-25 Microsoft Corporation Surface segmentation from RGB and depth images
JP5802279B2 (ja) 2011-11-22 2015-10-28 株式会社日立製作所 自律移動システム
TWI556194B (zh) * 2012-06-29 2016-11-01 希科母股份有限公司 對象檢出裝置、對象檢出方法及對象檢出用電腦程式
CN102800205B (zh) 2012-08-30 2015-06-24 南京大学 基于动态地图界面的车载虚拟终端系统
US9221461B2 (en) * 2012-09-05 2015-12-29 Google Inc. Construction zone detection using a plurality of information sources
US9811880B2 (en) * 2012-11-09 2017-11-07 The Boeing Company Backfilling points in a point cloud
US9523772B2 (en) 2013-06-14 2016-12-20 Microsoft Technology Licensing, Llc Object removal using lidar-based classification
US9110163B2 (en) 2013-06-14 2015-08-18 Microsoft Technology Licensing, Llc Lidar-based classification of object movement
US9542626B2 (en) * 2013-09-06 2017-01-10 Toyota Jidosha Kabushiki Kaisha Augmenting layer-based object detection with deep convolutional neural networks
JP6351240B2 (ja) * 2013-11-20 2018-07-04 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
US20150193971A1 (en) 2014-01-03 2015-07-09 Motorola Mobility Llc Methods and Systems for Generating a Map including Sparse and Dense Mapping Information
JP6315308B2 (ja) * 2014-01-15 2018-04-25 株式会社リコー 制御用対象物識別装置、移動体機器制御システム及び制御用対象物認識用プログラム
US9767371B2 (en) * 2014-03-27 2017-09-19 Georgia Tech Research Corporation Systems and methods for identifying traffic control devices and testing the retroreflectivity of the same
EP3123399A4 (en) 2014-03-27 2017-10-04 Hrl Laboratories, Llc System for filtering, segmenting and recognizing objects in unconstrained environments
US10387773B2 (en) * 2014-10-27 2019-08-20 Ebay Inc. Hierarchical deep convolutional neural network for image classification
GB2532948B (en) 2014-12-02 2021-04-14 Vivo Mobile Communication Co Ltd Object Recognition in a 3D scene
US9826149B2 (en) * 2015-03-27 2017-11-21 Intel Corporation Machine learning of real-time image capture parameters
EP3078935A1 (en) 2015-04-10 2016-10-12 The European Atomic Energy Community (EURATOM), represented by the European Commission Method and device for real-time mapping and localization
US9710714B2 (en) * 2015-08-03 2017-07-18 Nokia Technologies Oy Fusion of RGB images and LiDAR data for lane classification
GB2542115B (en) * 2015-09-03 2017-11-15 Rail Vision Europe Ltd Rail track asset survey system
US9612123B1 (en) 2015-11-04 2017-04-04 Zoox, Inc. Adaptive mapping to navigate autonomous vehicles responsive to physical environment changes
US9965719B2 (en) * 2015-11-04 2018-05-08 Nec Corporation Subcategory-aware convolutional neural networks for object detection
DE102016010909A1 (de) * 2015-11-11 2017-05-11 Adobe Systems Incorporated Strukturiertes Modellieren, Extrahieren und Lokalisieren von Wissen aus Bildern
US11514244B2 (en) * 2015-11-11 2022-11-29 Adobe Inc. Structured knowledge modeling and extraction from images
US20170154269A1 (en) * 2015-11-30 2017-06-01 Seematics Systems Ltd System and method for generating and using inference models
JP6682833B2 (ja) * 2015-12-04 2020-04-15 トヨタ自動車株式会社 物体認識アルゴリズムの機械学習のためのデータベース構築システム
CN107025642B (zh) * 2016-01-27 2018-06-22 百度在线网络技术（北京）有限公司 基于点云数据的车辆轮廓检测方法和装置
US9707961B1 (en) 2016-01-29 2017-07-18 Ford Global Technologies, Llc Tracking objects within a dynamic environment for improved localization
EP3430427B1 (en) 2016-03-14 2021-07-21 IMRA Europe S.A.S. Processing method of a 3d point cloud
JP6964596B2 (ja) * 2016-03-18 2021-11-10 プレジデント・アンド・フェロウズ・オブ・ハーバード・カレッジ 動物行動の自動分類方法
GB2549554A (en) * 2016-04-21 2017-10-25 Ramot At Tel-Aviv Univ Ltd Method and system for detecting an object in an image
CA2942048C (en) * 2016-04-27 2023-08-29 Sigma Space Corp. Methods and apparatus for adaptive multisensor analysis and aggregation
US9672446B1 (en) 2016-05-06 2017-06-06 Uber Technologies, Inc. Object detection for an autonomous vehicle
US20170359561A1 (en) 2016-06-08 2017-12-14 Uber Technologies, Inc. Disparity mapping for an autonomous vehicle
US9996944B2 (en) 2016-07-06 2018-06-12 Qualcomm Incorporated Systems and methods for mapping an environment
US10592805B2 (en) * 2016-08-26 2020-03-17 Ford Global Technologies, Llc Physics modeling for radar and ultrasonic sensors
US20180136332A1 (en) * 2016-11-15 2018-05-17 Wheego Electric Cars, Inc. Method and system to annotate objects and determine distances to objects in an image
CN106651863A (zh) * 2016-11-30 2017-05-10 厦门大学 一种基于点云数据的树木自动分割方法
CN106650721B (zh) * 2016-12-28 2019-08-13 吴晓军 一种基于卷积神经网络的工业字符识别方法
CN111542860B (zh) 2016-12-30 2024-08-27 辉达公司 用于自主车辆的高清地图的标志和车道创建
CN106650709A (zh) * 2017-01-22 2017-05-10 深圳市唯特视科技有限公司 一种基于传感器数据的深度学习脚步检测方法
US10445928B2 (en) 2017-02-11 2019-10-15 Vayavision Ltd. Method and system for generating multidimensional maps of a scene using a plurality of sensors of various types
US10147193B2 (en) * 2017-03-10 2018-12-04 TuSimple System and method for semantic segmentation using hybrid dilated convolution (HDC)
US10209718B2 (en) * 2017-03-14 2019-02-19 Starsky Robotics, Inc. Vehicle sensor system and method of use
CN106949895B (zh) 2017-04-13 2020-05-19 杭州申昊科技股份有限公司 一种适用于变电站环境下的巡检机器人定位方法
US10460180B2 (en) 2017-04-20 2019-10-29 GM Global Technology Operations LLC Systems and methods for visual classification with region proposals
US10444759B2 (en) 2017-06-14 2019-10-15 Zoox, Inc. Voxel based ground plane estimation and object segmentation
US10474160B2 (en) * 2017-07-03 2019-11-12 Baidu Usa Llc High resolution 3D point clouds generation from downsampled low resolution LIDAR 3D point clouds and camera images
EP3438776B1 (en) * 2017-08-04 2022-09-07 Bayerische Motoren Werke Aktiengesellschaft Method, apparatus and computer program for a vehicle
US10747999B2 (en) * 2017-10-18 2020-08-18 The Trustees Of Columbia University In The City Of New York Methods and systems for pattern characteristic detection
US11537868B2 (en) * 2017-11-13 2022-12-27 Lyft, Inc. Generation and update of HD maps using data from heterogeneous sources
US10535138B2 (en) 2017-11-21 2020-01-14 Zoox, Inc. Sensor data segmentation
US10768304B2 (en) * 2017-12-13 2020-09-08 Luminar Technologies, Inc. Processing point clouds of vehicle sensors having variable scan line distributions using interpolation functions
US11157527B2 (en) 2018-02-20 2021-10-26 Zoox, Inc. Creating clean maps including semantic information
US11104334B2 (en) * 2018-05-31 2021-08-31 Tusimple, Inc. System and method for proximate vehicle intention prediction for autonomous vehicles

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Super-sensor for 360-degree environment perception: Point cloud segmentation using image features;Robert Varga等;《2017 IEEE 20th International Conference on Intelligent Transportation Systems (ITSC)》;摘要、正文1-5小节 *

Also Published As

Publication number Publication date
CN111615703A (zh) 2020-09-01
JP2024012655A (ja) 2024-01-30
US20200126237A1 (en) 2020-04-23
US20230055888A1 (en) 2023-02-23
US10832414B2 (en) 2020-11-10
US20190156485A1 (en) 2019-05-23
CN118570472A (zh) 2024-08-30
WO2019103836A1 (en) 2019-05-31
US11798169B2 (en) 2023-10-24
US10535138B2 (en) 2020-01-14
US11475573B2 (en) 2022-10-18
JP7433227B2 (ja) 2024-02-19
JP2021504796A (ja) 2021-02-15
US20210056705A1 (en) 2021-02-25
EP3714395A1 (en) 2020-09-30

Similar Documents

Publication Publication Date Title
CN111615703B (zh) 传感器数据分割
US11302011B2 (en) Perspective conversion for multi-dimensional data analysis
US11714423B2 (en) Voxel based ground plane estimation and object segmentation
CN111742310B (zh) 创建包含语义信息的干净的地图
US10509947B1 (en) Converting multi-dimensional data for image analysis
US11062461B2 (en) Pose determination from contact points
Jebamikyous et al. Autonomous vehicles perception (avp) using deep learning: Modeling, assessment, and challenges
US11479213B1 (en) Sensor obstruction detection and mitigation
US20230311932A1 (en) Merging object and background radar data for autonomous driving simulations
US20230311930A1 (en) Capturing and simulating radar data for autonomous driving systems
CN116868239A (zh) 静态占用跟踪
Bhatia et al. Road Image Segmentation for Autonomous Car
Swain et al. Machine Learning Algorithms for Autonomous Vehicles
Bhandari Navigation of Autonomous Differential Drive Robot using End-to-End Learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant