CN113075922A - 来自多个传感器的数据集成 - Google Patents

来自多个传感器的数据集成 Download PDF

Info

Publication number
CN113075922A
CN113075922A CN201911306101.0A CN201911306101A CN113075922A CN 113075922 A CN113075922 A CN 113075922A CN 201911306101 A CN201911306101 A CN 201911306101A CN 113075922 A CN113075922 A CN 113075922A
Authority
CN
China
Prior art keywords
camera
objects
determining
vehicle
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911306101.0A
Other languages
English (en)
Inventor
葛灵庭
王一杰
甘奕乾
郝嘉楠
侯晓迪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tusimple Inc
Original Assignee
Tusimple Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tusimple Inc filed Critical Tusimple Inc
Priority to CN201911306101.0A priority Critical patent/CN113075922A/zh
Priority to US16/813,180 priority patent/US11718311B2/en
Priority to AU2020270486A priority patent/AU2020270486A1/en
Priority to EP20214442.4A priority patent/EP3839823A1/en
Publication of CN113075922A publication Critical patent/CN113075922A/zh
Priority to US18/363,541 priority patent/US20230399006A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0234—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using optical markers or beacons
    • G05D1/0236—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using optical markers or beacons in combination with a laser
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/20—Conjoint control of vehicle sub-units of different type or different function including control of steering systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/003—Transmission of data between radar, sonar or lidar systems and remote stations
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0094—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots involving pointing a payload, e.g. camera, weapon, sensor, towards a fixed or moving target
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0223—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving speed control of the vehicle
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0248—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means in combination with a laser
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0251—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0255—Control of position or course in two dimensions specially adapted to land vehicles using acoustic signals, e.g. ultra-sonic singals
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408—Radar; Laser, e.g. lidar
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/12—Bounding box

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Electromagnetism (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Acoustics & Sound (AREA)
  • Traffic Control Systems (AREA)

Abstract

公开了涉及自主驾驶的方法和设备。在一个方面，公开了一种方法。方法包括：确定由光检测和测距LIDAR传感器捕获的道路目标信息中的一个或多个第一对象的三维边界指示符；确定由相机传感器捕获的道路图像信息中一个或多个第二对象的相机边界指示符；处理道路图像信息以生成相机矩阵；根据相机矩阵和三维边界指示符来确定投影边界指示符；根据投影边界指示符和相机边界指示符来确定一个或多个第一对象与一个或多个第二对象之间的关联以生成组合目标信息；以及由自主驾驶系统应用组合目标信息以产生车辆控制信号。

Description

来自多个传感器的数据集成
技术领域
本文涉及自主驾驶。
背景技术
自主驾驶使用传感器和处理系统，该传感器和处理系统将自主车辆周围的环境纳入考虑范围，并做出确保自主车辆和周围车辆安全的决策。传感器应当准确地确定到潜在干扰车辆以及其他可移动和不可移动对象的距离及其速度。需要一种新技术来对自主车辆系统进行测试，并根据从实际传感器获取的实际驾驶数据对自主车辆系统进行训练。
发明内容
所公开的主题涉及自主驾驶，并且具体地涉及用于自主驾驶的感知系统以及用于对感知系统进行基准测试和训练的数据。在一个方面，公开了一种生成驾驶数据并将所述驾驶数据应用于自主驾驶系统的方法。所述方法包括：确定由光检测和测距LIDAR传感器捕获的道路目标信息中的一个或多个第一对象的三维边界指示符；确定由相机传感器捕获的道路图像信息中一个或多个第二对象的相机边界指示符；处理所述道路图像信息以生成相机矩阵；根据所述相机矩阵和所述三维边界指示符来确定投影边界指示符；根据所述投影边界指示符和所述相机边界指示符来确定所述一个或多个第一对象与所述一个或多个第二对象之间的关联以生成组合目标信息；以及由所述自主驾驶系统应用所述组合目标信息以产生车辆控制信号。
在另一方面，公开了一种用于生成数据并将所述数据应用于自主驾驶系统的装置。所述装置包括至少一个处理器以及包括可执行指令的存储器，所述可执行指令在被执行时执行前述方法。
在另一方面，公开了一种非暂时性计算机可读介质，用于存储用于生成数据并将所述数据应用于自主驾驶系统的可执行指令。当所述可执行指令由至少一个处理器执行时，它们执行前述方法。
以下特征可以包括在各种组合中。所述应用包括使用用于训练和测试的数据来训练系统，该训练和测试使用诸如机器感知系统、计算机视觉系统、深度学习系统等学习方法，该方法通过使用先前采集的道路图像信息和先前采集的道路目标信息来起作用，其中所述训练在感知系统被用于实况交通环境之前导致感知系统的变化。所述应用包括：在所述感知系统未在实况交通环境中操作的情况下，测试所述感知系统以评估所述感知系统的性能，其中，所述测试导致所述性能被评估为可接受或不可接受。所述一个或多个第一对象与所述一个或多个第二对象相同。所述相机矩阵包括外部矩阵参数和固有矩阵参数。所述固有矩阵参数包括像素坐标和相机坐标之间的一个或多个关系。所述外部矩阵参数包括关于所述相机的位置和取向的信息。所述相机边界指示符和投影边界指示符是二维的。所述关联是使用交并比(IOU)技术来执行的。所述车辆控制信号包括车辆转向控制输出、车辆油门控制输出和车辆制动控制输出中的一个或多个。
在附图、具体实施方式和权利要求中更详细地描述了所公开的技术的以上和其他方面和特征。
附图说明
图1是实施所公开的主题的示例性系统的示意图；
图2是根据一些实施例的流程图的示例；
图3A描绘了根据一些实施例的相机图像以及在感兴趣对象周围生成的边界框的示例；
图3B描绘了根据一些实施例的LIDAR图像以及在感兴趣对象周围生成的边界框的示例；
图4是根据一些实施例的流程图的另一示例；以及
图5描绘了根据一些实施例的硬件平台的示例。
具体实施方式
可以使用从多个传感器收集的传感器数据来测试或训练自主驾驶系统。例如，可以在实际驾驶场景中使用先前从多个传感器采集的数据来训练自主驾驶系统。传感器可以包括相机、光检测和测距(LIDAR)传感器和/或其他传感器。例如，可以在测试会话期间采集道路图像信息或数据，其中使用相机采集道路图像信息并将其存储以供后续对自主系统进行训练。该先前采集的图像数据可以被称为先前采集的道路图像信息。类似地，可以在测试会话期间采集道路目标信息，其中使用LIDAR传感器采集道路目标信息，并存储道路目标信息以供后续对自主驾驶系统进行训练。该先前采集的目标数据可以被称为先前采集的道路目标信息。
来自传感器的数据可以被组合以生成“地面真值(ground truth)”数据，然后该数据可以被自主驾驶系统用来训练该自主驾驶系统。地面真值数据还可以用于测试自主驾驶系统的性能，而无需自主驾驶系统实时在道路上行驶，而是使用先前采集和存储的相机和LIDAR信息。“地面真值”数据是表示传感器视野内的对象的数据，其具有驾驶场景内的车辆和对象的高度准确的位置、大小和速度信息。
为了训练或测试自主驾驶系统，可以将部分地面真值数据提供给自主驾驶系统，并且可以将其余的地面真值数据用于在测试期间评估性能或在训练期间提供反馈。例如，可以将来自一个车辆的相机和LIDAR数据提供给自主驾驶系统以进行训练或测试，并且可以添加来自另一车辆的相机和LIDAR数据以评估自主驾驶系统。在训练了自主驾驶系统之后，该系统可以用于在交通(其可以被称为实况交通环境)中实时地自主驾驶车辆。
图1是示例图100，其示出了车辆110、112、114和116在道路102上行进，其中车辆110和116分别以速度134和136行进。车辆110和116包括前视相机124和132以及后视相机118和128。车辆110和116还分别包括前视光检测和测距(LIDAR)122和130以及后视LIDAR120和126。
相机124、132、118和128可以是任何类型的视频相机或静物相机，例如电荷耦合器件(CCD)图像传感器、互补金属氧化物半导体(CMOS)图像传感器或任何其他类型的图像传感器。在一些实施方式中，相机可以在距相机所安装的车辆的宽距离范围内捕获图像。例如，相机可以捕获距其所安装的车辆非常近(例如，5米)的对象的图像，并且相机可以在相同的图像中捕获达到或超过1000米的以及它们之间所有距离的对象。相机124、132、118和128可以相对于对应车辆指向固定方向，或者可以经由相机的机械转向或光学转向而是可转向的。
LIDAR 122、120、126和130包括基于激光器或基于发光二极管(LED)的光学传感器，其包括机械地或以其他方式扫描的光学传感器。LIDAR可以确定距其视野内的对象的精确距离。LIDAR扫描然后使得能够确定对象的三维位置。例如，LIDAR可以确定附近车辆的各个暴露部分的位置。在一些实施方式中，LIDAR传感器可以限于比相机更短的距离。例如，一些LIDAR传感器被限于大约100m。根据所公开的主题，可以将来自相机的二维图像数据映射到三维LIDAR数据或与三维LIDAR数据相关联。
在图1的说明性示例中，车辆110以速度134移动。车辆116以速度136移动，该速度136可以与车辆110的速度相同。车辆112和114位于车辆110和116之间，并且可以以与车辆110和/或116相同的平均速度移动，但是随着时间的流逝可以移动得与车辆110和/或116越来越近和越来越远。在图1的说明性示例中，车辆110和116可以在道路102上相距1000m，车辆112可以在车辆110前方50m(并且距车辆116 950m)，并且车辆114可以在车辆110前方250m(并且在车辆116后面750m)。相机124捕获车辆112、114和116的图像/视频。LIDAR 122确定到车辆112的各个暴露部分的精确距离(也称为范围)以及关于车辆112的三维形状信息。在此说明性示例中，车辆114不在LIDAR 122的范围内，但被相机124捕获。后向相机128捕获车辆114、车辆112和车辆110的图像。车辆114和112不在后向LIDAR 126的范围内，在该示例中，该LIDAR 126具有100m的范围。
在图1的示例中，相机124捕获车辆112、114和116的图像。成像处理可用于确定图像中对象的相机边界框。相机边界框被确定为视图中对象最大部分的轮廓。例如，运货车或厢式卡车的相机边界框可以是厢式货车后部的轮廓。如果图像中有多个车辆或对象，则可以确定每个车辆或对象的相机边界框。相机图像本质上是相机看到的视野的二维表示。
也可以根据LIDAR数据确定边界框。对于根据LIDAR 122的每个对象，可以根据LIDAR数据确定三维边界框(在本文中也称为LIDAR边界框)。LIDAR数据还包括LIDAR与每个目标对象的视野内部分之间的准确距离(范围)和速度信息。可以使用进一步的图像处理来将从相机124生成的边界框与从LIDAR 122生成的三维边界框相关联以创建地面真值数据。例如，可以使用交并比(IOU)方法将道路图像边界框与三维边界框相关联。除了或代替IOU，可以使用其他技术来关联边界框。
如本文所使用的，边界框也可以被称为边界指示符，该边界指示符是与传感器结果中的对象有关的边界，该传感器结果例如是相机图像、LIDAR图像、RADAR图像或传感器的另一检测结果。边界(例如，边界框和/或边界指示符)可以具有诸如矩形、正方形、圆形、梯形、平行四边形或任何其他形状之类的形状。换言之，边界框的形状可以在一些实施例中为矩形，而在其他实施例中不是矩形(例如，圆形或其他非矩形形状)。在一些实施方式中，边界(例如，边界框和/或边界指示符)可以不具有指名的形状，或者可以遵循任意形状的对象的边界。边界(例如，边界框和/或边界指示符)可以是对象的二维边界或三维边界。边界(例如，边界框和/或边界指示符)可以是体素(voxel)或分割掩膜或图。
后向相机128捕获车辆114、112和110的图像。成像处理可用于确定图像中对象的相机边界框。在前述示例中，车辆114在车辆116后面750m，因此超出了车辆116上的后向LIDAR 126的范围。当相机和LIDAR捕获时，车辆115和114可以在可采集来自LIDAR 126的与车辆114有关的数据时，移动得彼此较靠近并移动到彼此的100m以内。在一些示例实施例中，LIDAR 120、122、126和130可以在超过100m的范围处操作，例如200m或更远的距离。
图像处理也可以用于将从LIDAR 126生成的三维边界框与从车辆116的后部可见的对象相关联。在一些示例实施例中，包括从车辆116上的LIDAR 126生成的三维边界框的LIDAR数据可以与来自车辆110上的相机124和LIDAR传感器122的图像数据组合，以产生地面真值数据。例如，可以将来自LIDAR传感器126的LIDAR数据与来自相机124的图像数据进行组合，以改善包括来自相机124和LIDAR 122的相机数据的数据的地面真值性。
例如，对于距车辆1101000m的车辆116和具有1000m视距的相机124以及具有100m视程的LIDAR 122和126，可以通过LIDAR 122从100m远的车辆110的位置确定地面真值数据，可以通过相机124在100m和900m之间的距离处生成仅图像数据，并且可以通过组合相机124的图像数据和来自LIDAR 126的LIDAR数据来确定900m和1000m之间的地面真值性。来自相机128的图像数据也可以用于生成地面真值数据。
在一些示例实施例中，随着采集图像和LIDAR数据，车辆110和车辆116之间的距离随时间变化，或者该距离随着数据采集的连续运行而变化。在一个示例中，车辆110和116之间的距离在单次数据采集运行期间变化。在另一示例中，针对一次运行，车辆110和116之间的距离是一个值，数据采集停止，距离改变，并且数据采集再次开始。来自后续运行的数据可以在以后使用后处理进行组合。
在一些示例实施例中，从相机124图像数据生成的边界框可以与从LIDAR 122数据生成的边界框相关联。类似地，从相机118图像数据生成的边界框可以与从LIDAR 120生成的边界框关联，从相机128图像数据生成的边界框可以与从LIDAR 126数据生成的边界框关联，并且从相机132图像数据生成的边界框可以与从LIDAR 130数据生成的边界框关联。
图2描绘了根据一些实施例的过程的示例。在步骤205，从LIDAR传感器接收LIDAR图像。在步骤210，从相机传感器接收相机图像。在步骤215，在所接收的LIDAR图像中检测对象。在步骤225，在所接收的相机图像中检测对象。图像检测包括在相机的视场中识别对象以及在LIDAR传感器的视场中识别对象。图像检测可以包括由计算机执行的图像处理，并且可以包括传统处理、并行处理或学习技术。
在步骤220，基于相机图像确定相机矩阵。相机矩阵可应用于将来自LIDAR传感器的3维(3D)图像转换为2维(2D)投影。例如，该过程可以根据LIDAR图像确定世界坐标中的精确3D边界框。然后，该过程可以使用相机外部矩阵将坐标从世界坐标转换为相机坐标。最后，该过程可以使用相机固有矩阵将坐标从相机坐标转换为图像平面(也称为像素坐标)，其中坐标是二维的。可以从离线校准获取相机矩阵。
在步骤230，从LiDAR图像中的检测到的对象生成边界框。在步骤240，使用在步骤220确定的相机矩阵，将具有LIDAR边界框的3-D LIDAR图像投影到2D中。在步骤235，从相机图像中的对象检测生成相机图像边界框。在步骤250，将LIDAR投影的边界框与相机图像边界框相关联。关联可以使用交并比(IOU)技术或其他技术。在步骤255，基于来自LiDAR图像的投影边界框与相机边界框的关联来生成地面真值数据。
在一些示例实施例中，在不执行LIDAR或相机图像检测的情况下确定边界框，或者在确定边界框之后执行图像检测。例如，可以直接根据在步骤205接收的LIDAR图像确定在步骤230生成的LIDAR边界框，和/或可以直接根据在步骤210接收的相机图像确定在步骤235生成的相机图像边界框。可以例如通过确定图像中在连续帧中一起移动的区域而无需检测那些区域中的任何对应对象来确定边界框。稍后，可以在边界框内的图像上执行对象检测，或者在一些实施方式中，不执行对象检测。
图3A描绘了从相机数据生成的边界框的示例。从LIDAR数据生成边界框310、320和330。从相机数据生成边界框305、315和325。使用例如IOU执行的关联已经确定边界框305和310对应于相同的对象(半挂车)，边界框315和320对应于相同的对象(第一轻型货车)，以及边界框325和330对应于对象(第二轻型货车)。
图3B描绘了从LIDAR数据生成的边界框的示例。340、345和350处的边界框对应于在执行与相机边界框相关联之前的LIDAR边界框的示例。
在一些实施方式中，可以使用两个车辆同时采集数据。在图1的示例中，车辆116可以被称为目标车辆并且在车辆110的前方，车辆110可以被称为源车辆。来自两个车辆的数据可用于确定来自源车辆的相机的图像中的对象的地面真值数据。在一些实施方式中，目标车辆具有LIDAR，而源车辆具有相机。在数据采集期间，可以动态地改变目标车辆与源车辆之间的距离，以便获取不同范围处的地面真值数据。
在一些实施方式中，在采集数据之后，经由后处理对采集的数据执行LIDAR检测和图像检测。这样，可以确定LIDAR中每个对象的3D信息以及图像中每个对象的位置。
在一些实施方式中，在相机图像中的对象检测和LIDAR图像中的对象检测之后，在LIDAR图像中检测到的对象与相机图像中检测到的对象之间进行一种或多种关联。
在一些示例实施例中，由于每个对象的边界框是根据LIDAR数据在3D空间中生成的，因此3D边界框可以通过相机外部矩阵和相机固有矩阵被投影到2D图像平面中。这样，来自LIDAR数据的3D边界框可以反映在来自源车辆的相机的图像中。这样，图像中的两种边界框包括来自图像检测的原始边界框，另一种是来自LIDAR数据的投影边界框。
然后将这两种类型的边界框相互关联，以确定这两种类型的边界框有多相似。诸如交并比(IOU)之类的技术可以用作度量来找到代表两个边界框的关联值。
交并比可以表示为两个边界框之间的交集面积除以两个边界框的并集面积之比。例如，两个完全重叠的边界框的IOU值为1，两个完全不重叠的边界框的IOU的IOU值为0。各种重叠区域将导致IOU值介于0和1之间。IOU值与1越接近，边界框越相关或关联。
用于确定两个边界框的相关性的技术的另一个示例是Dice系数。Dice系数是两个边界框的重叠面积的2倍除以两个边界框中的像素总数。另一种技术包括广义交并比(GIOU)。也可以使用其他技术。
图4描绘了根据一些示例实施例的另一过程400。该过程包括上述各种特征。在步骤430，该过程包括确定由光检测和测距(LIDAR)传感器捕获的道路目标信息中的一个或多个第一对象的三维边界框。
在步骤440，该过程包括确定由相机传感器捕获的道路图像信息中的一个或多个第二对象的相机边界框。在一些情况下，第一对象和第二对象可以彼此完全不同。在一些情况下，一些第一对象可以与一些第二对象相同。例如，对象可以是道路上的其他汽车、交通标志、行人、道路标记、建筑物、路缘等。作为另一示例，对象可以是前方车辆的左右转向信号、附近车辆的制动灯等。
在步骤450，该过程包括处理道路图像信息以生成相机矩阵。在各种实施例中，相机矩阵可以包括固有和/或外部参数，如本文档中所述。
在步骤460，该过程包括根据相机矩阵和三维边界框确定投影边界框。在一些实施例中，相机边界框和投影边界框是二维的。
在步骤470，该过程包括根据投影边界框和相机边界框确定一个或多个第一对象与一个或多个第二对象之间的关联以生成组合的目标信息。本申请公开了使用各种关联技术，例如IOU技术。
在步骤480，该过程包括通过自主驾驶系统应用组合的目标信息以产生车辆控制信号。车辆控制信号可以是用于导航车辆和/或用于控制车辆的另一操作的信号。一些示例包括：控制车辆移动方向的转向控制，控制供应给发动机的燃料量的车辆油门控制，控制为降低车辆速度而施加的制动量的车辆制动控制输出等等。
在一些实施例中，前述应用操作可以包括：使用先前采集的道路图像信息和先前采集的道路目标信息来训练感知系统。在一些实施例中，训练可导致在感知系统用于实况交通环境之前感知系统的改变(例如，新训练的决策算法或不同的逻辑流)。例如，实况交通环境可能会向感知系统呈现尚未被感知系统看到的模式和情况，并可能导致对感知系统的进一步训练。实况交通环境也可能会对感知系统施加处理时间限制，以处理数据并产生车辆控制信号。
在一些实施例中，应用操作可以包括：测试感知系统以评估感知系统的性能，而无需感知系统在实况交通环境中操作。例如，测试导致性能被评估为可接受或不可接受。可以由计算系统使用被应用于感知系统的响应以进行评估的一个或多个度量来执行评估，或者人类用户可以进行该评估。
图5描绘了可以用于实现本文档中描述的一些技术的硬件平台500的示例。例如，硬件平台500可以实施过程400或上述其他过程，和/或可以实施本文所述的各种模块。硬件平台500可以包括可以执行代码以实施方法的处理器502。硬件平台500可以包括存储器504，其可以用于存储处理器可执行代码和/或存储数据。硬件平台500还可以包括通信接口506。例如，通信接口506可以实施一个或多个有线或无线通信协议(以太网、LTE、Wi-Fi、蓝牙等)。
所公开技术的优点包括以下各项：首先，可以采集并生成地面真值(3D信息)数据，以用于基于相机的感知，该数据可用于训练、测试和基准测试。其次，通过使用两个数据采集车辆，可以生成远范围(例如，半径约为1000米)的地面真值数据，这并不限制典型LIDAR感知的短范围。此外，通过在数据采集期间随时间调整两个车辆的相对位置，不仅可以在源车辆的前方生成地面真值数据，而且还可以针对源车辆周围的区域生成地面真值数据。此外，可以使用多于两个车辆(即，具有相机和LIDAR传感器的诸如110和116之类的车辆)进行数据采集，以便可以生成较长范围的地面真值数据。在这种情况下，只有一个源车辆，而所有其他车辆都是目标车辆。
应当理解，公开了用于训练感知系统以用于自主驾驶的各种技术。在一些实施方式中，已知的道路和驾驶数据用于在自主驾驶流水线中对感知系统的训练和测试(基准测试)。机器学习是用于训练感知系统的技术之一。在可获得不同组计算资源的一些实施方式中，深度学习或计算机视觉可用于训练和测试。
本文档中描述的主题和功能操作的实施方式可以在各种系统、半导体器件、超声波测定设备、数字电子电路中或在计算机软件、固件或硬件中实现，包括在本说明书中公开的结构及其结构等同物、或其一个或多个的组合。在本说明书中描述的主题的方面的实施方式可以被实施为在有形非瞬时计算机可读介质上编码的一个或多个计算机程序程序，例如计算机程序指令的一个或多个模块，用于由数据处理装置执行或者控制数据处理装置的操作。计算机可读介质可以是机器可读存储设备、机器可读存储基板、存储器设备、影响机器可读传播信号的物质组成或它们中的一个或多个的组合。术语“数据处理单元”或“数据处理装置”涵盖用于处理数据的所有装置、设备和机器，例如包括可编程处理器、计算机或多个处理器或计算机。除了硬件以外，所述装置可以包括为所讨论的计算机程序创建运行环境的代码，例如，构成处理器固件、协议栈、数据库管理系统、操作系统、或者上述各项中的一项或多项的组合的代码。
可以以任何形式的编程语言来编写计算机程序(也称为程序、软件、软件应用、脚本或代码)，该编程语言包括：编译或解释语言，并且可以以任何形式来部署计算机程序，包括部署为独立的程序或者部署为适合于用于计算环境的模块、组件、子例程，或者其它单元。计算机程序不必与文件系统中的文件相对应。程序可以存储在保存其它程序或数据(例如，存储在标记语言文档中的一个或多个脚本)的文件的一部分中，存储在所讨论的程序专用的单个文件中，或存储在多个协调文件(例如存储一个或多个模块、子程序或代码的一部分的文件)中。计算机程序可以被部署为在一个计算机上或者在位于一个站点或分布在多个站点并且通过通信网络互连的多个计算机上执行。
本说明书中描述的过程和逻辑流可以由一个或多个可编程处理器来执行，所述一个或多个可编程计算机执行一个或多个计算机程序以通过操作输入数据并且产生输出来执行功能。所述处理和逻辑流程也可以由专用逻辑电路(例如FPGA(现场可编程门阵列)或ASIC(专用集成电路))执行，并且装置也可以实现为该专用逻辑电路。
适用于执行计算机程序的处理器包括例如通用和专用微处理器以及任何类型的数字计算机的任何一个或多个处理器。通常，处理器将从只读存储器或随机存取存储器或者这二者接收指令和数据。计算机的必不可少的元件是用于执行指令的处理器和用于存储指令和数据的一个或更多个存储器设备。通常，计算机还将包括用于存储数据的一个和或更多个大容量存储设备(例如，磁盘、磁光盘或光盘)，或可操作耦接以便从所述一个或更多个大容量存储设备接收或向其发送数据。然而，计算机不需要具有这些设备。适合于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器、介质和存储器设备，其包括例如半导体存储器设备、例如EPROM、EEPROM和闪存设备。处理器和存储器可以由专用逻辑电路来补充或者并入到专用逻辑电路中。
虽然本专利文件包含许多细节，但是这些不应该被解释为对任何发明或可以要求保护的内容的范围的限制，而是作为可以特定于特定发明的特定实施例的特征的描述。在本专利文件中在分开的实施例的上下文中描述的特定特征也可以以组合的形式实现在单个实施例中。相反，在单个实施例的上下文中描述的各种特征也可以在多个实施例中分开地实现或以任何合适的子组合的方式实现。此外，尽管特征可以在上面描述为在某些组合中起作用并且甚至最初如此要求保护，但是来自所要求保护的组合的一个或多个特征在一些情况下可以从组合中删除，并且所要求保护的组合可以针对子组合或子组合的变体。
类似地，尽管在附图中以特定顺序描绘了操作，但是这不应被理解为要求这些操作以示出的特定顺序或以顺序次序执行，或者需要执行所有示出的操作来实现期望的结果。此外，在本专利文件中描述的实施例中的各种系统组件的分离不应被理解为在所有实施例中都要求如此分离。
仅描述了几个实施方式和示例，并且可以基于本专利文件中描述和示出的内容来产生其他实施方式、增强和变化。

Claims (20)

1.一种生成驾驶数据并将所述驾驶数据应用于自主驾驶系统的方法，所述方法包括：
确定由光检测和测距LIDAR传感器捕获的道路目标信息中的一个或多个第一对象的三维边界指示符；
确定由相机传感器捕获的道路图像信息中一个或多个第二对象的相机边界指示符；
处理所述道路图像信息以生成相机矩阵；
根据所述相机矩阵和所述三维边界指示符来确定投影边界指示符；
根据所述投影边界指示符和所述相机边界指示符来确定所述一个或多个第一对象与所述一个或多个第二对象之间的关联，以生成组合目标信息；以及
由所述自主驾驶系统应用所述组合目标信息以产生车辆控制信号。
2.根据权利要求1所述的方法，其中，所述应用包括：使用先前采集的道路图像信息和先前采集的道路目标信息来训练感知系统，并且其中，所述训练在所述感知系统被用于实况交通环境中之前引起所述感知系统的改变。
3.根据权利要求1所述的方法，其中，所述应用包括：在感知系统未在实况交通环境中操作的情况下，测试所述感知系统以评估所述感知系统的性能，并且其中，所述测试导致所述性能被评估为可接受或不可接受。
4.根据权利要求1所述的方法，其中，所述一个或多个第一对象与所述一个或多个第二对象相同。
5.根据权利要求1所述的方法，其中，所述相机矩阵包括外部矩阵参数和固有矩阵参数。
6.根据权利要求5所述的方法，其中，所述固有矩阵参数包括像素坐标和相机坐标之间的一个或多个关系。
7.根据权利要求5所述的方法，其中，所述外部矩阵参数包括关于所述相机的位置和取向的信息。
8.根据权利要求1所述的方法，其中，所述相机边界指示符是二维的。
9.根据权利要求1所述的方法，其中，所述关联是使用交并比IOU技术来执行的。
10.根据权利要求1所述的方法，其中，所述车辆控制信号包括车辆转向控制输出、车辆油门控制输出和车辆制动控制输出中的一个或多个。
11.一种用于生成数据并将所述数据应用于自主驾驶系统的装置，包括：
至少一个处理器；以及
包括可执行指令的存储器，所述可执行指令在被执行时至少执行以下操作：
从相机传感器接收道路图像信息；
从光检测和测距LIDAR传感器接收道路目标信息；
确定由光检测和测距LIDAR传感器捕获的道路目标信息中的一个或多个第一对象的三维边界指示符；
确定由所述相机传感器捕获的道路图像信息中一个或多个第二对象的相机边界指示符；
处理所述道路图像信息以生成相机矩阵；
根据所述相机矩阵和所述三维边界指示符来确定投影边界指示符；
根据所述投影边界指示符和所述相机边界指示符来确定所述一个或多个第一对象与所述一个或多个第二对象之间的关联，以生成组合目标信息；以及
由所述自主驾驶系统应用所述组合目标信息以产生车辆控制信号。
12.根据权利要求11所述的装置，其中，所述应用包括：在感知系统被用于实况交通环境中之前，训练所述感知系统，并且其中，所述训练引起所述感知系统的改变。
13.根据权利要求11所述的方法，其中，所述应用包括：测试所述感知系统，所述感知系统被评估为可接受或不可接受。
14.根据权利要求11所述的装置，其中，所述一个或多个第一对象中的至少一个第一对象与所述一个或多个第二对象中的至少一个第二对象相同。
15.根据权利要求11所述的装置，其中，所述相机矩阵包括外部矩阵参数或固有矩阵参数中的至少一个。
16.根据权利要求11所述的装置，其中，所述投影边界指示符是二维的。
17.根据权利要求11所述的装置，其中，所述关联是使用与交并比IOU技术不同的关联技术来执行的。
18.根据权利要求11所述的装置，其中，所述车辆控制信号至少包括车辆转向。
19.一种非暂时性计算机可读介质，存储用于生成数据并将所述数据应用于自主驾驶系统的可执行指令，所述可执行指令在由至少一个处理器执行时至少执行以下操作：
确定在由光检测和测距LIDAR传感器捕获的道路目标信息中检测到的一个或多个第一对象的三维边界指示符；
确定在由相机传感器捕获的道路图像信息中检测到的一个或多个第二对象的相机边界指示符；
处理所述道路图像信息以生成相机矩阵；
根据所述相机矩阵和所述三维边界指示符来确定投影边界指示符；
根据所述投影边界指示符和所述相机边界指示符来确定所述一个或多个第一对象与所述一个或多个第二对象之间的关联以生成组合目标信息；以及
由所述自主驾驶系统应用所述组合目标信息以产生车辆控制信号。
20.根据权利要求19所述的非暂时性计算机可读介质，其中，所述应用包括训练感知系统，并且其中，所述训练导致所述感知系统的改变。
CN201911306101.0A 2019-12-17 2019-12-17 来自多个传感器的数据集成 Pending CN113075922A (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201911306101.0A CN113075922A (zh) 2019-12-17 2019-12-17 来自多个传感器的数据集成
US16/813,180 US11718311B2 (en) 2019-12-17 2020-03-09 Data integration from multiple sensors
AU2020270486A AU2020270486A1 (en) 2019-12-17 2020-11-17 Data integration from multiple sensors
EP20214442.4A EP3839823A1 (en) 2019-12-17 2020-12-16 Data integration from multiple sensors
US18/363,541 US20230399006A1 (en) 2019-12-17 2023-08-01 Data integration from multiple sensors

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911306101.0A CN113075922A (zh) 2019-12-17 2019-12-17 来自多个传感器的数据集成

Publications (1)

Publication Number Publication Date
CN113075922A true CN113075922A (zh) 2021-07-06

Family

ID=73854732

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911306101.0A Pending CN113075922A (zh) 2019-12-17 2019-12-17 来自多个传感器的数据集成

Country Status (4)

Country Link
US (2) US11718311B2 (zh)
EP (1) EP3839823A1 (zh)
CN (1) CN113075922A (zh)
AU (1) AU2020270486A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114092916A (zh) * 2021-11-26 2022-02-25 阿波罗智联(北京)科技有限公司 图像处理方法、装置、电子设备、自动驾驶车辆及介质

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2018365091B2 (en) 2017-11-13 2021-03-04 Raven Industries, Inc. Safety system for autonomous operation of off-road and agricultural vehicles using machine learning for detection and identification of obstacles
WO2021222279A1 (en) * 2020-04-28 2021-11-04 Raven Industries, Inc. Object detection and tracking for automated operation of vehicles and machinery
CN112740269B (zh) * 2020-05-13 2022-04-08 华为技术有限公司 一种目标检测方法及装置
CN116902003B (zh) * 2023-07-31 2024-02-06 合肥海普微电子有限公司 基于激光雷达与摄像头混合模态的无人驾驶方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10430641B2 (en) * 2017-03-08 2019-10-01 GM Global Technology Operations LLC Methods and systems for object tracking using bounding boxes
US10438371B2 (en) * 2017-09-22 2019-10-08 Zoox, Inc. Three-dimensional bounding box from two-dimensional image and point cloud data
US11017550B2 (en) * 2017-11-15 2021-05-25 Uatc, Llc End-to-end tracking of objects
US10726567B2 (en) * 2018-05-03 2020-07-28 Zoox, Inc. Associating LIDAR data and image data
US11010907B1 (en) * 2018-11-27 2021-05-18 Zoox, Inc. Bounding box selection
WO2020140047A1 (en) * 2018-12-28 2020-07-02 Nvidia Corporation Distance to obstacle detection in autonomous machine applications
US10937178B1 (en) * 2019-05-09 2021-03-02 Zoox, Inc. Image-based depth data and bounding boxes
US10699563B1 (en) * 2019-07-12 2020-06-30 GM Global Technology Operations LLC Multi-sensor multi-object tracking
GB2621701A (en) * 2019-11-14 2024-02-21 Motional Ad Llc Sequential fusion for 3D object detection
US11532168B2 (en) * 2019-11-15 2022-12-20 Nvidia Corporation Multi-view deep neural network for LiDAR perception
US11551414B2 (en) * 2019-12-02 2023-01-10 Woven Planet North America, Inc. Simulation architecture for on-vehicle testing and validation

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114092916A (zh) * 2021-11-26 2022-02-25 阿波罗智联(北京)科技有限公司 图像处理方法、装置、电子设备、自动驾驶车辆及介质
CN114092916B (zh) * 2021-11-26 2023-07-18 阿波罗智联(北京)科技有限公司 图像处理方法、装置、电子设备、自动驾驶车辆及介质

Also Published As

Publication number Publication date
AU2020270486A1 (en) 2021-07-01
US20210181351A1 (en) 2021-06-17
US11718311B2 (en) 2023-08-08
EP3839823A1 (en) 2021-06-23
US20230399006A1 (en) 2023-12-14

Similar Documents

Publication Publication Date Title
US20230399006A1 (en) Data integration from multiple sensors
EP3732657B1 (en) Vehicle localization
US10949684B2 (en) Vehicle image verification
US11204417B2 (en) Selective attention mechanism for improved perception sensor performance in vehicular applications
EP3438777B1 (en) Method, apparatus and computer program for a vehicle
JP6672212B2 (ja) 情報処理装置、車両、情報処理方法およびプログラム
CN107272021A (zh) 使用雷达和视觉定义的图像检测区域的对象检测
US11841434B2 (en) Annotation cross-labeling for autonomous control systems
EP3438872A1 (en) Method, apparatus and computer program for a vehicle
JP2018060512A (ja) 画像生成システム、プログラム及び方法並びにシミュレーションシステム、プログラム及び方法
US11204610B2 (en) Information processing apparatus, vehicle, and information processing method using correlation between attributes
CN110555407B (zh) 路面车辆空间识别方法及电子设备
JP2008298533A (ja) 障害物計測方法、障害物計測装置及び障害物計測システム
WO2018066352A1 (ja) 画像生成システム、プログラム及び方法並びにシミュレーションシステム、プログラム及び方法
JP6038422B1 (ja) 車両判定装置、車両判定方法及び車両判定プログラム
JP2020067698A (ja) 区画線検出装置及び区画線検出方法
JP2023184572A (ja) 電子機器、移動体、撮像装置、および電子機器の制御方法、プログラム、記憶媒体
KR20210112672A (ko) 객체를 검출하기 위한 프로세서 및 객체 검출 방법
Pidurkar et al. Monocular camera based computer vision system for cost effective autonomous vehicle
KR20160125803A (ko) 영역 추출 장치, 물체 탐지 장치 및 영역 추출 방법
Shan et al. Probabilistic egocentric motion correction of lidar point cloud and projection to camera images for moving platforms
JP2021092996A (ja) 計測システム、車両、計測方法、計測装置及び計測プログラム
CN109309785A (zh) 拍摄控制装置以及拍摄控制方法
US20210180960A1 (en) Road attribute detection and classification for map augmentation
JP2020076714A (ja) 位置姿勢推定装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination