CN113557524A - 用于表示移动平台环境的方法 - Google Patents

用于表示移动平台环境的方法 Download PDF

Info

Publication number
CN113557524A
CN113557524A CN202080022193.4A CN202080022193A CN113557524A CN 113557524 A CN113557524 A CN 113557524A CN 202080022193 A CN202080022193 A CN 202080022193A CN 113557524 A CN113557524 A CN 113557524A
Authority
CN
China
Prior art keywords
environment
mobile platform
sensors
neural network
sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080022193.4A
Other languages
English (en)
Inventor
V·菲舍尔
L·霍耶尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Publication of CN113557524A publication Critical patent/CN113557524A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/865—Combination of radar systems with lidar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0255—Control of position or course in two dimensions specially adapted to land vehicles using acoustic signals, e.g. ultra-sonic singals
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0257—Control of position or course in two dimensions specially adapted to land vehicles using a radar
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/20—Control system inputs
    • G05D1/24—Arrangements for determining position or orientation
    • G05D1/247—Arrangements for determining position or orientation using signals provided by artificial sources external to the vehicle, e.g. navigation beacons
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/20—Control system inputs
    • G05D1/24—Arrangements for determining position or orientation
    • G05D1/247—Arrangements for determining position or orientation using signals provided by artificial sources external to the vehicle, e.g. navigation beacons
    • G05D1/249—Arrangements for determining position or orientation using signals provided by artificial sources external to the vehicle, e.g. navigation beacons from positioning sensors located off-board the vehicle, e.g. from cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9323—Alternative operation using light waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9324—Alternative operation using ultrasonic waves

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Acoustics & Sound (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

公开了一种用于表示第一移动平台的环境的方法和系统，该方法包括：通过源自至少两个传感器和相应时间标记的传感器数据的离散时间序列来捕获环境的特征（S1）；确定第一移动平台到环境特征的距离（S2）；估计环境特征的语义信息（S3）；使用相应确定的距离和相应的时间标记，将环境特征的语义信息变换成移动空间参考系统（S4），其中第一移动平台的位置处于恒定位点；使用与所述至少两个传感器的传感器数据序列相对应的环境特征的变换语义信息序列来创建输入张量（S5）；使用深度神经网络和输入张量生成表示在请求的时间点的环境的输出张量（S6），其中用训练输入张量和真实信息训练输出张量来训练深度神经网络，以便准确地再现在请求的时间点的任意环境表示。

Description

用于表示移动平台环境的方法
技术领域
本发明涉及一种用于表示移动平台的环境的方法以及被配置为执行该方法的系统，其中该环境由多个传感器的数据序列表征。
背景技术
已经研究了深度学习方法来控制至少部分自主的系统，诸如自驾驶车辆，或者作为移动平台示例的机器人。此类至少部分自主的系统的必要部分是它们感知关于其环境中复杂情形的能力。这样的至少部分自主的系统安全且有效操作的要求将是解释其周围环境，并估计例如对于决策过程、诸如运动规划和控制的该环境随时间推移的状态。
为了使能实现智能决策，必须在用于感知环境和下游控制的多个不同传感器之间提供公共接口。
环境表示可以用作感知和其他系统组件之间的公共接口、例如用作决策，并且因此应该具有某些属性，作为对于至少部分自主的系统安全且有效操作以及对于多个传感器数据的融合的基础。
发明内容
因此，本发明针对一种用于表示移动平台周围的环境的方法和计算机程序产品、计算机可读存储介质以及至少部分自主的系统，它们被配置为执行具有如独立权利要求中描述的主题的方法。
在从属权利要求中陈述了本发明的有利修改。在说明书、权利要求书和附图中公开的至少两个特征的所有组合都落在本发明的范围内。为了避免重复，根据该方法公开的特征也应当适用，并且可以根据所提及的系统要求保护。
本发明的基本思想将是提供一种模块化构造的方法，用于基于表征移动平台环境的多个传感器的数据序列的融合，预测该平台在请求时间的环境表示。该方法利用深度神经网络，并且以这样的方式被模块化地构造，使得专家可访问和可解释该方法的模块的结果得到的接口。
由此，该方法关于个体模块的贡献是透明的，并且改进了环境感知的可靠性，以支持在安全关键系统（诸如至少部分自主的车辆）的情境中的稳健代理或至少部分自主系统的设计。
为了实现这些和其他优点，并且根据本发明的目的，如本文体现和广泛描述的，提供了一种用于表示第一移动平台的环境的方法，其中环境的特征由源自至少两个传感器的传感器数据和相应时间标记的离散时间序列捕获。
移动平台可以是至少部分自主的移动系统和/或驾驶员辅助系统。示例可以是至少部分自主的车辆，相应地是包括驾驶员辅助系统的车辆。这意味着在该情境中，至少部分自主的系统包括关于至少部分自主功能的移动平台，但是移动平台也包括车辆，以及包括驾驶员辅助系统的其他移动机器。移动平台的另外示例可以是利用多个传感器的驾驶员辅助系统、移动多传感器机器人，例如像机器人真空吸尘器或机器人割草机、多传感器监督系统、制造机器、个人助理或访问控制系统。这些系统中的每一个都可以是完全或部分自主的系统。
可以源自不同的传感器类型的这些传感器数据——其表征关于不同物理属性的传感器和/或移动平台的环境——可以在离散的时刻连同对应的时间标记一起被顺序提供，以将环境的数据分配给记录了传感器数据的时间。替代地，连续的传感器数据可以用对应的时间标记以离散的时间步骤被顺序收集，作为该方法的附加步骤。必须考虑到，用于该方法的传感器数量可能超过例如二十个传感器。
一些类型的此类传感器可以提供关于环境的直接物理信息，例如像直接提供关于环境特征的距离的LIDAR或RADAR传感器。如例如数字相机或数字视频相机的其他传感器提供用灰度值和/或用颜色数据表征环境的数字图像。此类数字图像可以是与例如RADAR传感器数据相比对环境的语义更丰富的表示。数字立体相机例如为数字图像的每个像素提供环境图像和对应的距离二者。
该方法的另一步骤确定第一移动平台相对于环境特征的距离。这可以通过特殊类型的传感器来完成，该特殊类型的传感器能够直接检测距离，如例如激光或雷达测量。替代地，该距离可以是来自单个数字图像的估计，例如通过使用专门训练的神经网络，或者通过基于模型的估计。立体相机系统可以提供图像和相应的距离。此外，距离的确定可以由一对传感器来执行，一个传感器直接测量距离，另一个传感器提供用于表征环境的其他属性的数据，并且校准过程可以将环境的特征链接到对应的距离。
如果表征平台环境的传感器位于平台外部，则除了环境特征到传感器的距离之外，还必须确定传感器相对于移动平台的位置，以确定环境特征到移动平台的距离。
该方法的另一个步骤是估计环境特征的语义信息。
可以利用基于模型的方法来估计环境特征的该语义信息，或者替代地，基于最先进的深度卷积神经网络（CNN）来确定特征的语义标签，该最先进的深度卷积神经网络（CNN）被训练来估计包括现实世界交通场景的环境的语义信息。
这意味着使用表征环境的每个传感器的数据序列作为所提及方法的输入数据来进行环境特征的语义信息的估计。例如，在相机数据的情况下，语义信息相对于传感器坐标系在空间上、例如在相机数据的像素空间中被引用。
语义信息的估计意味着由环境特征标识的对象被归于包括例如静态和动态对象的不同的语义类别。另外的类别可以包括例如行人、公共汽车、汽车、骑自行车的人、电线杆、交通标志、街道、人行道和交通灯等。
作为类别信息的语义信息在个体传感器源之间可能不同，例如，汽车由雷达传感器和数字相机检测，但行人仅由数字相机检测。
由直接提供物理数据的传感器类型产生的传感器数据不提供语义信息。为了便于理解本发明方法的该公开内容，术语环境特征的语义信息包括由这样类型的传感器收集的物理数据。这样的物理数据将以对应于传感器数据的方式由该方法处理，该传感器数据可以被语义表示。
由于对所有个体传感器的环境特征的语义信息的估计，该步骤的输出对于专家而言是可解释和可访问的，以改进可靠性、可追溯性和错误分析，这是由于该透明的接口，例如以便设计稳健的代理。
该方法的另一个步骤是将环境特征的语义信息变换成移动空间参考系统，其中使用相应确定的距离和相应的时间标记，第一移动平台的位置处于恒定位点。
传感器通常产生它们相对于其自身坐标系参考的数据。为了支持来自不同传感器的传感器数据的融合，所述不同传感器也可以指向环境的不同区域或者可以具有不同类型，描述的方法使用以自我为中心的、相应的以代理为中心的或者以平台为中心的参考系统来进行环境表示。替代地，参考系统的中心在平台的外部，但是参考系统以这样的方式建立，使得平台保持在移动参考系统内的恒定位点。即使在这种情况下，这样的参考系统也可以被命名为居中的。
环境特征的语义信息到移动参考系统、简称为网格的移动参考系统的变换是借助于空间参考信息和时间参考信息逐传感器特征来完成的，并基于模型变换成2维或3维网格表示。空间参考信息可以是例如环境特征到移动平台的距离或者特征相对于传感器的其他深度信息。时间参考信息可以是当拍摄图像时图像序列的时间标记。对于不同的传感器，这些2维或3维网格表示可能不同，例如，它们可能产生不同类别的语义分割。
此外，这些网格表示可以具有不同的空间分辨率。为了进一步处理，这些空间分辨率可以被放大或缩小到合适的空间分辨率。
构建环境特征的语义信息的这样的空间参考系统相应网格通过将传感器数据变换成移动的空间参考系统，特征的语义信息被存储在该空间网格中，其中网格的每个单元覆盖环境的某个区域。由它们的语义特征表示的对象可以被放置在这样的空间网格中，对于该空间网格，每个网格单元编码空间参考。
对于多个传感器的所有不同传感器数据使用统一的移动空间参考系统来表示环境，导致恒定的计算和内存复杂性，并且导致环境表示的计算时间和内存占用，其独立于环境场景中附近对象的密度或相应数量。
如果该方法用于控制至少部分自主的系统，该基于网格的环境表示形式可能有利于决策，因为在大多数情况下，至少部分自主的系统的决策可以取决于附近对象和至少部分自主的系统之间的交互。如这里描述的基于网格的环境表示将特征放置在空间网格中，其中每个网格单元可以覆盖特定区域。因此，基于网格的传感器数据表示具有恒定的计算和内存复杂性。此外，以自我为中心的环境表示对于移动长距离的至少部分自主的系统而言缩放更好，因为至少部分自主的系统的位点保持居中和远离，从而导致不相关的信息可以被丢弃。
该方法的另一步骤是使用与至少两个传感器的传感器数据序列相对应的环境特征的变换语义表示序列来创建输入张量。
对于2维参考系统，这意味着通过堆叠2维网格来创建张量，该2维网格通过将传感器的空间坐标变换到移动的空间参考系统来生成，包括来自多个不同传感器的数据的语义表示。对于至少部分自主的飞行系统的应用，如例如无人机，移动的空间坐标系将是3维坐标系，其中平台在该参考系统内的恒定位点。
来自个体传感器的数据的堆叠网格的次序应该处于恒定的按时间顺序的序列，其对应于通过使用捕获的时间标记捕获的传感器数据序列。除了来自每个单个传感器的帧的时间次序之外，来自不同传感器的网格对于每个帧也以相同的方式堆叠。
此外，该方法涉及使用深度神经网络和输入张量生成表示在请求的时间点的环境的输出张量的步骤，其中用训练输入张量和真实信息训练输出张量来训练深度神经网络，以便准确地再现在请求的时间点的任意环境表示。
深度神经网络可能是人工神经网络（ANN），它是一种计算系统，隐约受到构成动物大脑的生物神经网络启发。神经网络本身不是一种算法，而是许多不同的机器学习算法协同工作并处理复杂数据输入的框架。
这样的系统通过考虑示例来学习执行任务，通常不使用任何特定于任务的规则进行编程。ANN是基于被称为人工神经元的连接单元或节点的集合。每个连接可以将信号从一个人工神经元传输到另一个。接收信号的人工神经元可以处理信号，并且然后向连接到它的附加人工神经元发信号。
在常见的ANN实现中，人工神经元之间连接处的信号是实数，并且每个人工神经元的输出通过其输入之和的一些非线性函数来计算。人工神经元和连接——也称为边缘——通常具有随着学习进行而调整的权重。权重增加或减少连接处的信号强度。人工神经元可以具有阈值，使得仅当聚集信号跨越该阈值时才发送信号。典型地，人工神经元被聚集成层。不同的层可以对它们的输入执行不同种类的变换。信号从第一层（输入层）行进到最后一层（输出层），可能是在多次穿过各层之后。
如这里公开的并且包含所有可训练参数的深度神经网络可以将来自不同传感器和过去时间的对齐语义网格组合成一个预测，所述预测包括动态对象变换、时间滤波、多传感器融合和环境动态的预测。
为了从输入网格堆叠中生成预测和融合的输出网格，可以使用如适合用于语义分割的任何架构。典型地，这些架构可以分离为两部分：首先，层序列生成与包含所期望信息的输入相比较低分辨率的网格，以及其次，上采样层序列恢复所期望的输出分辨率（例如输入分辨率）。附加的跳跃连接可以与该向上采样相组合使用，以恢复详细的空间信息。在第一层序列中，通常使用的层是：卷积网络层，例如具有或不具有膨胀、具有或不具有逐深度分离；归一化层，例如批量归一化、层归一化、局部响应归一化；激活函数，例如校正线性单位（ReLU）、指数线性单位（eLU）、缩放指数线性单位（selu）；sigmoid函数，或tanh函数。
该深度神经网络可以用训练输入张量和真实信息训练输出张量来训练，以便准确地再现在请求的时间的任意环境表示。这意味着由神经网络生成的输出张量描述的环境表示描述了由网络训练确定的时间点处的环境。如果网络以这样的方式被训练以估计在未来的环境，则输出张量可以表示到未来相同时间跨度的环境。
这样，神经网络可以融合包括在输入张量中的所有个体传感器的语义网格，并在请求的时间产生预测语义网格输出张量。即使移动平台在传感器以离散时间序列捕获环境期间移动，神经网络也可以以为了估计环境表示的这样的方式融合语义网格。
作为语义网格和环境表示的估计的融合的该任务可以替代地由物理模型提供，而无需进行训练，例如通过逐网格的平均值计算。
请求的时间可以是在未来补偿系统固有等待时间的时间点，该系统固有等待时间是由传感器及其下游信号处理在例如执行语义表示生成计算时始发的，这可能在世界的实际当前状态和代理对该状态的或至少部分自主的系统信念之间引起时间延迟。通过根据系统固有的等待时间选择请求的时间，输出张量表示神经网络对环境实际情形的信念。通过所公开的方法的该设计，环境表示可以补偿短期的系统固有等待时间，这意味着神经网络估计短时间范围内的环境，直到所捕获的传感器数据序列的未来。
因为可以使用所公开的方法进行环境表示的至少部分自主的系统或代理经常与高度动态的环境交互，所以有必要处理此类系统固有的等待时间。
来自传感器的输入张量的数据提供了关于环境特征的直接物理信息，深度神经网络将不估计环境表示，但是将执行回归。为了便于理解，除了环境特征的语义表示之外，输入张量和输出张量可以包括环境特征的这样的物理表示，并且为了便于描述所公开的方法，术语语义表示将总是包括由这种类型的传感器产生的特征的物理表示。
总体而言，这意味着所公开的方法提供了一种环境表示（ER），即：以自我为中心，以支持将传感器数据融合到一个参考系统中，该参考系统与移动平台一起移动。因为在方法步骤的接口上存在可访问和可解释的结果，所以该方法对专家而言是透明的。此外，该方法是预测性的，以补偿系统固有的等待时间，并且是基于网格的，以与环境中的对象数量无关。
第一移动平台的这种环境表示方法的应用的示例可以是至少部分自主的车辆的环境的表示，其可以被视为移动平台的示例。移动平台的另外示例可以是利用多个传感器的驾驶员辅助系统、移动多传感器机器人，例如像机器人真空吸尘器或机器人割草机、多传感器监督系统、制造机器、个人助理或访问控制系统。这些系统中的每一个都可以是完全或部分自主的系统。
作为示例，所公开的方法可以用于紧急制动。如果请求的时间被定义为照此请求神经网络在未来进一步估计相应的环境表示，则可以预见在不久的将来可能导致事故、例如关于行人的关键情形，并且可以触发紧急系统的快速和预测动作。为了采用所公开的方法用于这样的应用，可以训练深度神经网络，例如，重点在于至少部分自主的系统和行人的交互。
如果将使用环境表示作为如至决策系统的输入所述来检测这样的关键情形，则可能导致紧急制动或由支持紧急制动系统控制的速度提前减速。
除了支持之外，本申请的重点可以放在训练神经网络以生成行人的语义表示，并且另外的决策步骤将利用所公开的环境呈现方法不断确定移动平台和标识的行人之间的距离。
本发明的环境表示方法的另一个示例性应用可以是向环境发出下一个动作的目标信令。这意味着使用所公开的方法生成环境呈现的至少部分自主系统的下一个动作可以用于选择性地将当前状态或至少部分自主系统的下一个动作传达给紧邻范围内的人员或车辆。
例如，可以向路过的骑自行车的人通知车门即将打开，或者至少部分自主系统将关闭，或者至少部分自主系统或移动平台可以使用用于生成环境预测的所公开方法向其他人员或车辆具体指示该人员或车辆被至少部分自主系统或移动平台感知。具体地，可以使用如公开的环境表示来标识其他人员或车辆的附近。
用于环境表示的所公开方法的另外应用利用环境呈现的固有属性，通过使用该方法将输出张量投影到移动平台环境的鸟瞰视图中，通过在二维网格中对语义信息进行颜色编码，将多个传感器收集的所有信息作为易于理解的接口来承载。这可以在事故事件或跟进移动平台的决策过程中使用。
例如，在至少部分自主的系统的错误行为的情况下，人们可以区分是感知错误还是错误的决策是根本原因。作为二维彩色编码地图的环境表示也可以直接或间接地使用像光信号或类似物的信令设备，用于向乘客呈现对至少部分自主的系统或移动平台的环境情形的瞬间理解。这样的系统可以由输出张量直接馈送，用于创建地图，并且分析工具可以确定距离，以决策必须向其他人提供什么信息。这也可以增加使至少部分自主系统正常工作的信任。
根据本发明的方面，传感器数据源自机械连接到第一移动平台的至少一个传感器。在该实施例中，机械连接到移动平台的传感器直接与平台一起移动。
根据本发明的另一方面，通过考虑第一移动平台的自我运动，完成将环境特征的语义信息和/或物理信息变换成移动空间参考系统。
移动平台的自我运动是在利用以传感器数据的离散时间序列形式的传感器捕获环境特征期间平台的移动，其中传感器与平台一起移动。这可能是因为传感器数据源自机械连接到平台的传感器的情况。该移动可能导致传感器数据的序列，所述序列可能源自在过去的不同时间点，并且其中静态对象看起来相对于移动参考系统在环境的场景中移动。
为了补偿该效果并改进环境表示，环境特征的语义表示的变换通过以这样的方式将环境特征的空间坐标变换到移动参考系统中使得环境的静态特征将它们的位点保持在移动参考系统内，来考虑平台或相应传感器的自我运动。对应地，计算基于分配给相应传感器数据序列的时间标记、生成输出张量所需的时间点以及平台的自我运动，该平台的自我运动可以直到所需的时间点相对于移动被线性估计。
移动平台自身的自我运动通常可以通过使用例如外部相机数据、里程计数据、来自惯性测量单元（IMU）的数据、全球定位数据（GPS）或提供关于移动平台自我运动的数据的其他方法在驾驶场景中容易地获得。
根据本发明的另一方面，至少两个传感器中的至少一个传感器机械连接到第二移动平台。如果所公开的方法用于第一至少部分自主车辆，则传感器数据可以由第二车辆提供，用于表示第一至少部分自主车辆的环境。
根据本发明的另一方面，至少两个传感器中的每一个都独立于第一移动平台移动。在本发明的这样的实施例中，必须提供相对于移动平台独立移动的每个移动传感器的位置，以便将传感器数据变换成移动参考系统。
根据本发明的另一方面，通过使用立体相机或LIDAR传感器或RADAR传感器或超声波传感器或基于数字相机的个体图像估计距离的神经网络技术来执行第一移动平台到环境特征的距离的确定。为此，通常使用具有产生视差或深度的回归输出层的深度卷积网络。
除了列出的用于确定相关距离的方法之外，也可以使用确定距离的其他方法来应用所公开的方法。
根据本发明的另一方面，可以通过使用神经网络来生成环境特征的语义表示。这样的网络可以是深度卷积神经网络，被训练用于现实世界交通场景的语义表示。
根据本发明的另一方面，深度神经网络可以是编码器-解码器卷积神经网络。
当描述本发明的实施例时，上面描述了这样的编码器-解码器卷积神经网络，并且下面将详细讨论。
根据本发明的另一方面，取决于输出张量的内容来执行至少部分移动平台的运动动作。
这样的运动动作可以取决于输出张量的内容，其用于将特定轨迹移出多个轨迹、平台速度的降低、平台的紧急停止或例如其目的是将至少部分移动平台保持在到目标的安全轨道上的其他运动动作。
根据本发明的另一方面，公开了一种包括指令的计算机程序产品，当该程序由计算机执行时，使得计算机实行所描述的方法。
根据本发明的另一方面，公开了一种包括指令的计算机可读存储介质，所述指令当由计算机执行时，使得计算机根据所描述的方法实行该方法。
根据本发明的另一方面，公开了一种包括控制器的至少部分自主的系统，该控制器被配置为实行如上所述的方法，并取决于输出张量的内容执行或发起至少部分移动平台的运动动作。
这样的至少部分自主的系统可以是移动平台，其中控制器可以执行平台本身的运动，它可以是移动平台，其中控制器发起驾驶员的动作，或者它可以是具有致动器的机器人，其中控制器可以执行致动器的运动动作。
作为示例，取决于输出张量内容的这样的运动动作可以是根据如下各项的移动：将特定轨迹移出多个轨迹、平台速度的降低、平台的紧急停止或例如其目的是将至少部分移动平台保持在到目标的安全轨道上的其他运动动作。
附图说明
附图被包括进来以提供对本发明的进一步理解，并且被并入本申请中并构成本申请的一部分，附图图示了本发明的实施例，并且与说明书一起用于解释本发明的原理。在附图中：
图1示出了生成环境表示的方法的示意概览；
图2示意性地示出了用于生成输出张量的编码器-解码器的细节；
图3a示出了语义标记的帧序列；
图3b示出了与图3a的帧和预测的语义网格以及目标网格相关联的语义网格；
图4示出了环境表示方法的步骤；和
图5示出了至少部分自主的系统。
本发明实施例的详细描述
在图1中示出了关于用于表示第一移动平台的环境的方法的实施例的示意性概览。环境的特征由两个传感器的传感器数据的离散时间序列捕获，这两个传感器在这里被表示为来自过去时间的两个数字相机的图像序列11a、11b。图像的相应时间标记当它们被拍摄时被记录，并与图像一起被捕获。至少两个图像序列可以以不同的速率以及在不同的时间拍摄。
两个数字相机以其数字图像序列表征移动平台的环境，并且可以安装在平台处或平台外部，或者一个安装在平台处并且其他传感器安装在平台外部的限定位点。替代地，至少一个传感器安装在另一个移动平台处。由传感器表征的环境部分可能不同。这意味着，例如在数字相机的情况下，它们可以相对于移动平台指向不同的方向。
通过例如通过如上所述的基于模型的方法或神经网络为数字相机数据的每个像素分配语义标签，对捕获的数字相机数据进行语义分类。这导致如下情况：数字相机的图像是具有关于每个像素的对象类别的语义标签12a、12b的图像或帧序列。
两个数字相机的语义分类图像12a、12b的这些序列分别被变换成空间参考系统，该空间参考系统与移动平台一起移动。关于环境特征相对于平台的必要距离信息可以由立体相机系统提供，或者它可以由配置为测量距离的附加传感器来确定。如果两个传感器中的一个在移动平台外部，则将提供关于该传感器相对于移动平台的位置的信息。语义分类网格的相应序列可以像鸟瞰视图一样基于平行于地面定向的2维参考系统，并且该参考系统以移动平台处的原点为中心。通过使用两个传感器的数据，该网格可以仅部分地填充有语义信息，因为所使用的传感器相对于移动平台以有限的角度指向特定方向，如在图1中通过表示环境13a或13b的网格序列所指示。
移动平台的任何移动都可以通过对图像序列的每个图像的自我运动进行线性外推而变换到移动参考系统中来考虑，直到用于估计环境呈现的预测的在未来的时间点。在未来的该点可能与深度神经网络被训练的要求时间一致。这可能导致对未来的更好预测，因为通过考虑到如果移动平台正在移动，则移动的移动平台周围环境的静态对象看起来移动，至少静态对象将停留在移动参考系统中的相同位点。这可以改进用于环境表示的估计的输入数据，并且可以在所公开的方法的后续步骤中产生深度神经网络的更好的输出张量。如果该方法用于补偿系统等待时间，则可以分别选择时间点。
这意味着环境网格的语义标记特征序列通过相对于传感器的空间方向的该变换而对齐，并且它们使用时间标记和平台的自我运动按时间顺序对齐，以将网格外推至在未来的时间点。
通过堆叠14这些网格来创建输入张量，这些网格是由两个数字相机的环境的语义标记特征序列产生的。
在输入张量的基础上，深度神经网络生成15表示在请求的时间点的环境的输出张量。因此，在应用用于环境表示的所公开方法之前，用训练输入张量和真实信息训练输出张量来训练深度神经网络，以便准确地再现在请求的时间点的任意环境表示。编码器-解码器深度神经网络（ED） 15主要关于不能使用自我运动被正确变换的动态对象融合由输入张量提供的这些网格，并且估计关于环境动态的预测，因为动态对象可能在第一图像的时间标记和在未来请求的时间之间移动。
深度神经网络的输出张量可以通过表示移动参考系统的网格被可视化16为具有语义信息的颜色编码类别的2维图，像移动平台周围环境场景上的鸟瞰视图。这样的网格16示意性地示出在图1中。
图2描述了深度神经网络20的内部结构，其可以用于生成输出张量，该输出张量表示在请求的时间点的环境。编码器解码器（ED）20可以由CNN编码器和CNN解码器构成。编码器由d块构建，例如d=3块，其中d是ED的深度。每个块可以包含2个卷积层21和一个最大池化层22，卷积层21包括批量归一化和ReLU激活。卷积内核大小可以是3×3，并且池化内核大小是2×2。这样，在第三个块之后，潜在空间的空间分辨率降低到1/8。从f特征开始，每个块使每个卷积层的特征图数量翻倍。最后一个块附加地可以具有在0.5脱落（dropout）率情况下的脱落层23。解码器可以由d-1块构成。每个块向上采样24其输入，并且可以应用2×2卷积。向上采样的输出可以通过跳跃连接28、29与具有相同大小的编码器块的输出组合，并被馈送到两个卷积层21中；这可以包括批量归一化和线性激活。最后一个块具有两个附加的卷积层21，从而减少了特征图的数量，直到它等于类别的数量。最后，可以应用softmax 25。
图3示意性地示出了由所公开的方法产生的预测序列30。上部图像3a）示出了图像31和32的语义分割序列，其中汽车从左向右行驶，并且目标图像33。对应的语义网格在3b）中示出，其中网格34和35是由语义分割图像31和32的序列产生的，网格36表示预测。该预测可以与示出良好匹配的目标网格37进行比较。
图4示出了第一移动平台的环境表示的方法40，其中环境的特征由源自至少两个传感器和相应时间标记的传感器数据的离散时间序列捕获S1。确定S2第一移动平台到环境特征的距离，以及估计S3环境特征的语义表示。使用相应确定的距离和相应的时间标记，环境特征的语义表示被变换S4成移动空间参考系统，其中第一移动平台的位置处于恒定位点。
使用与至少两个传感器的传感器数据序列相对应的环境特征的变换语义表示序列来创建S5输入张量。
使用深度神经网络和输入张量生成S6表示在请求的时间点的环境的输出张量，其中用训练输入张量和真实信息训练输出张量来训练深度神经网络，以便准确地再现在请求的时间点的任意环境表示。
图5示出了具有控制器51的至少部分自主的系统50，控制器51被配置为根据上述方法实行该方法，并取决于输出张量的内容执行至少部分移动平台50的运动动作。

Claims (13)

1.用于表示第一移动平台的环境的方法，所述方法包括：
通过源自至少两个传感器和相应时间标记的传感器数据的离散时间序列来捕获环境特征（S1）；
确定第一移动平台到环境特征的距离（S2）；
使用表征环境的每个传感器的数据序列，估计环境特征的语义信息（S3）；
借助于空间参考信息和时间参考信息逐传感器特征，将环境特征的语义信息变换成移动空间参考系统（S4），并基于模型变换成2维或3维网格表示，其中使用相应确定的距离和相应的时间标记，第一移动平台的位置处于恒定位点；
通过堆叠2维网格使用与至少两个传感器的传感器数据序列相对应的环境特征的变换语义表示序列来创建输入张量（S5），所述2维网格通过将传感器的空间坐标变换到移动的空间参考系统来生成，包括来自多个不同传感器的数据的语义表示；
使用深度神经网络和输入张量生成表示在请求的时间点的环境的输出张量（S6），以融合包括在输入张量中的所有个体传感器的语义网格，并在请求的时间产生预测语义网格输出张量，其中用训练输入张量和真实信息训练输出张量来训练深度神经网络，以便准确地再现在请求的时间点的任意环境表示。
2.根据权利要求1所述的方法，其中，所述传感器数据源自至少一个传感器，所述至少一个传感器机械连接到第一移动平台。
3.根据前述权利要求中的一项所述的方法，其中，通过考虑第一移动平台的自我运动，将环境特征的语义信息和/或物理信息变换成移动空间参考系统。
4.根据前述权利要求中的一项所述的方法，其中，所述至少两个传感器中的至少一个传感器机械连接到第二移动平台。
5.根据前述权利要求中的一项所述的方法，其中，所述至少两个传感器中的每一个独立于第一移动平台移动。
6.根据前述权利要求中的一项所述的方法，其中，通过使用立体相机、LIDAR传感器、RADAR传感器、超声波传感器或神经网络技术来执行第一移动平台到环境特征的距离的确定。
7.根据前述权利要求中的一项所述的方法，其中，通过使用神经网络来生成环境特征的语义信息。
8.根据前述权利要求中的一项所述的方法，其中，深度神经网络是编码器-解码器卷积神经网络。
9.根据前述权利要求中的一项所述的方法，其中，使用深度神经网络生成输出张量以预测环境，其中利用训练输入张量和现实世界训练输出张量来训练深度神经网络，以便准确地预测任意环境信息。
10.根据前述权利要求中的一项所述的方法，其中，取决于输出张量的内容来执行至少部分移动平台的运动动作。
11.一种包括指令的计算机程序产品，当所述程序由计算机执行时，所述指令使得计算机实行根据权利要求1至10的方法。
12.一种包括指令的计算机可读存储介质，所述指令当被计算机执行时，使得计算机实行根据权利要求1至10的方法。
13.一种至少部分自主的系统（50），包括控制器（51），所述控制器（51）被配置为实行根据权利要求1至10的方法，并且取决于输出张量的内容执行或发起至少部分自主的系统（50）的运动动作。
CN202080022193.4A 2019-03-19 2020-03-09 用于表示移动平台环境的方法 Pending CN113557524A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP19163822.0A EP3712802A1 (en) 2019-03-19 2019-03-19 Method for representing an environment of a mobile platform
EP19163822.0 2019-03-19
PCT/EP2020/056200 WO2020187625A1 (en) 2019-03-19 2020-03-09 Method for representing an environment of a mobile platform

Publications (1)

Publication Number Publication Date
CN113557524A true CN113557524A (zh) 2021-10-26

Family

ID=65903998

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080022193.4A Pending CN113557524A (zh) 2019-03-19 2020-03-09 用于表示移动平台环境的方法

Country Status (4)

Country Link
US (1) US11900257B2 (zh)
EP (1) EP3712802A1 (zh)
CN (1) CN113557524A (zh)
WO (1) WO2020187625A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200285255A1 (en) * 2019-03-08 2020-09-10 Here Global B.V. Method and apparatus for providing drone-based alerting of movement of a part of a vehicle into a path of travel
CN113537602B (zh) * 2021-07-20 2022-12-02 中国第一汽车股份有限公司 车辆行为预测方法、装置、设备及介质
GB2613336B (en) * 2021-11-24 2024-03-06 Xyz Reality Ltd Using a neural network scene representation for mapping

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2006207861A1 (en) * 2000-10-30 2006-10-05 Drake, Barry James Apparatus and method for the construction of spatial representations
CN101233036A (zh) * 2005-08-05 2008-07-30 罗伯特·博世有限公司 用于为驾驶员辅助功能产生环境假设的方法
US20140177941A1 (en) * 2012-12-21 2014-06-26 Canon Kabushiki Kaisha Optimal Patch Ranking for Coordinate Transform Estimation of Microscope Images from Sparse Patch Shift Estimates
CN105389850A (zh) * 2015-11-03 2016-03-09 北京大学（天津滨海）新一代信息技术研究院 一种大规模三维场景的新型可见性生成方法
CN106371442A (zh) * 2016-11-02 2017-02-01 河海大学常州校区 一种基于张量积模型变换的移动机器人控制方法
DE102016101455A1 (de) * 2016-01-27 2017-07-27 Terraloupe Gmbh Positionsbestimmungsvorrichtung und Erdoberflächenmodell-Datenbank
CN107063258A (zh) * 2017-03-07 2017-08-18 重庆邮电大学 一种基于语义信息的移动机器人室内导航方法
US20180120843A1 (en) * 2016-11-03 2018-05-03 Mitsubishi Electric Research Laboratories, Inc. System and Method for Controlling Vehicle Using Neural Network
CN109076310A (zh) * 2016-03-30 2018-12-21 英特尔公司 物理位置的自主语义标记
CN109116374A (zh) * 2017-06-23 2019-01-01 百度在线网络技术（北京）有限公司 确定障碍物距离的方法、装置、设备及存储介质
US20190034794A1 (en) * 2017-07-27 2019-01-31 Waymo Llc Neural Networks for Vehicle Trajectory Planning
CN109341694A (zh) * 2018-11-12 2019-02-15 哈尔滨理工大学 一种移动探测机器人的自主定位导航方法
US20190066373A1 (en) * 2017-08-31 2019-02-28 Nec Laboratories America, Inc. Dense correspondence estimation with multi-level metric learning and hierarchical matching

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102020100685A1 (de) * 2019-03-15 2020-09-17 Nvidia Corporation Vorhersage zeitlicher informationen in autonomenmaschinenanwendungen

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2006207861A1 (en) * 2000-10-30 2006-10-05 Drake, Barry James Apparatus and method for the construction of spatial representations
CN101233036A (zh) * 2005-08-05 2008-07-30 罗伯特·博世有限公司 用于为驾驶员辅助功能产生环境假设的方法
US20140177941A1 (en) * 2012-12-21 2014-06-26 Canon Kabushiki Kaisha Optimal Patch Ranking for Coordinate Transform Estimation of Microscope Images from Sparse Patch Shift Estimates
CN105389850A (zh) * 2015-11-03 2016-03-09 北京大学（天津滨海）新一代信息技术研究院 一种大规模三维场景的新型可见性生成方法
DE102016101455A1 (de) * 2016-01-27 2017-07-27 Terraloupe Gmbh Positionsbestimmungsvorrichtung und Erdoberflächenmodell-Datenbank
CN109076310A (zh) * 2016-03-30 2018-12-21 英特尔公司 物理位置的自主语义标记
CN106371442A (zh) * 2016-11-02 2017-02-01 河海大学常州校区 一种基于张量积模型变换的移动机器人控制方法
US20180120843A1 (en) * 2016-11-03 2018-05-03 Mitsubishi Electric Research Laboratories, Inc. System and Method for Controlling Vehicle Using Neural Network
CN107063258A (zh) * 2017-03-07 2017-08-18 重庆邮电大学 一种基于语义信息的移动机器人室内导航方法
CN109116374A (zh) * 2017-06-23 2019-01-01 百度在线网络技术（北京）有限公司 确定障碍物距离的方法、装置、设备及存储介质
US20190034794A1 (en) * 2017-07-27 2019-01-31 Waymo Llc Neural Networks for Vehicle Trajectory Planning
US20190066373A1 (en) * 2017-08-31 2019-02-28 Nec Laboratories America, Inc. Dense correspondence estimation with multi-level metric learning and hierarchical matching
CN109341694A (zh) * 2018-11-12 2019-02-15 哈尔滨理工大学 一种移动探测机器人的自主定位导航方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
P. DABOVE等: "Photogrammetric visual odometry with unmanned ground vehicle using low cost sensors", 2018 IEEE/ION POSITION, LOCATION AND NAVIGATION SYMPOSIUM (PLANS), 7 June 2018 (2018-06-07), pages 426 - 431 *
董孟高等: "复杂自适应多Agent系统的环境表示及感知", 计算机研究与发展, vol. 49, no. 02, 29 February 2012 (2012-02-29), pages 402 - 412 *
陈明志等: "基于语义信息的虚拟环境路径规划", 山东大学学报(工学版), vol. 41, no. 04, 31 August 2011 (2011-08-31), pages 106 - 112 *

Also Published As

Publication number Publication date
EP3712802A1 (en) 2020-09-23
WO2020187625A1 (en) 2020-09-24
US11900257B2 (en) 2024-02-13
US20210382495A1 (en) 2021-12-09

Similar Documents

Publication Publication Date Title
CN113348422B (zh) 用于生成预测占据栅格地图的方法和系统
JP7480302B2 (ja) 交通弱者の意図を予測する方法および装置
EP3278317B1 (en) Method and electronic device
US11691650B2 (en) Systems and methods for generating motion forecast data for a plurality of actors with respect to an autonomous vehicle
US11780472B2 (en) Systems and methods for generating motion forecast data for a plurality of actors with respect to an autonomous vehicle
US11960290B2 (en) Systems and methods for end-to-end trajectory prediction using radar, LIDAR, and maps
CN110796692A (zh) 用于同时定位与建图的端到端深度生成模型
CN112930554A (zh) 用于确定车辆环境的语义网格的电子设备、系统和方法
JP5278419B2 (ja) 運転シーンの遷移予測装置及び車両用推奨運転操作提示装置
US11900257B2 (en) Method for representing an environment of a mobile platform
US11691634B1 (en) On-vehicle driving behavior modelling
US20220301099A1 (en) Systems and methods for generating object detection labels using foveated image magnification for autonomous driving
Curiel-Ramirez et al. Towards of a modular framework for semi-autonomous driving assistance systems
JP2024019629A (ja) 予測装置、予測方法、プログラムおよび車両制御システム
JP2022035033A (ja) 情報処理システム、情報処理方法、プログラムおよび車両制御システム
Siddiqui et al. Object/Obstacles detection system for self-driving cars
US12026894B2 (en) System for predicting near future location of object
US20230222671A1 (en) System for predicting near future location of object
US20240062386A1 (en) High throughput point cloud processing
US11634156B1 (en) Aerial view generation for vehicle control
EP4361961A1 (en) Method of determining information related to road user
WO2024098161A1 (en) Implicit occupancy for autonomous systems
Zhang Learning-based monocular vision obstacle detection and avoidance for UAV navigation in urban airspace
Mahna Improving Steering Ability of an Autopilot in a Fully Autonomous Car
WO2023014998A1 (en) System and method for training a self-supervised ego vehicle

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination