CN111753629A - 车辆环境的环境数据处理 - Google Patents

车辆环境的环境数据处理 Download PDF

Info

Publication number
CN111753629A
CN111753629A CN202010212625.XA CN202010212625A CN111753629A CN 111753629 A CN111753629 A CN 111753629A CN 202010212625 A CN202010212625 A CN 202010212625A CN 111753629 A CN111753629 A CN 111753629A
Authority
CN
China
Prior art keywords
data
vehicle
thermal
environment
depth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010212625.XA
Other languages
English (en)
Inventor
P·拉杜
S·M·格雷戈雷斯库
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Elektrobit Automotive GmbH
Original Assignee
Elektrobit Automotive GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Elektrobit Automotive GmbH filed Critical Elektrobit Automotive GmbH
Publication of CN111753629A publication Critical patent/CN111753629A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01D—MEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
    • G01D21/00—Measuring or testing not otherwise provided for
    • G01D21/02—Measuring two or more variables by means not covered by a single other subclass
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/02—Constructional details
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/93—Sonar systems specially adapted for specific applications for anti-collision purposes
    • G01S15/931—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0214—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with safety or protection criteria, e.g. avoiding hazardous areas
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F7/00—Methods or arrangements for processing data by operating upon the order or content of the data handled
    • G06F7/22—Arrangements for sorting or merging computer data on continuous record carriers, e.g. tape, drum, disc
    • G06F7/32—Merging, i.e. combining data contained in ordered sequence on at least two record carriers to produce a single carrier or set of carriers having all the original data in the ordered sequence merging methods in general
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/803—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of input or preprocessed data
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0841—Registering performance data
    • G07C5/085—Registering performance data using electronic data carriers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J2005/0077—Imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/48—Thermography; Techniques using wholly visual means
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/93185—Controlling the brakes

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Data Mining & Analysis (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Electromagnetism (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Databases & Information Systems (AREA)
  • Computer Hardware Design (AREA)
  • Acoustics & Sound (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Business, Economics & Management (AREA)
  • Game Theory and Decision Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明涉及用于处理车辆环境的环境数据的方法、计算机程序代码和装置。本发明还涉及利用这种方法或装置的驾驶员辅助系统，以及包括这种驾驶员辅助系统的自主或半自主车辆。从车辆的至少一个深度传感器接收车辆环境的深度数据。此外，从车辆的至少一个热传感器接收车辆环境的热数据。深度数据和热数据然后被融合以生成融合的环境数据。

Description

车辆环境的环境数据处理
技术领域
本发明涉及用于处理车辆环境的环境数据的方法、计算机程序代码和装置。本发明还涉及利用这种方法或装置的驾驶员辅助系统，以及包括这种驾驶员辅助系统的自主或半自主车辆。
背景技术
人工智能已经成为许多需要图像分析的未来应用的主流技术。汽车工业已经逐渐采用人工智能，这主要归功于低功耗处理器制造商取得的成就，他们创造了专门用于机器学习特定任务的硬件设计。深度学习体系结构被用于解决从图像中进行特征学习的自动化，并且已经成为图像处理和计算机视觉中用于对象检测和分类的特征提取的优选选择。一种特定类型的深度学习神经网络是所谓的卷积神经网络，它模仿图像处理领域中的经典卷积运算。
在自主驾驶任务中最常用的传感器是雷达传感器。从雷达传感器接收到的数据可用于创建车辆周围障碍物的地图。使用人工智能概念，可以从这样的地图确定车辆周围的驾驶场景。然而，尽管存在许多类型的雷达传感器，但是它们的性能会受到例如暴雨或大雾等恶劣天气条件的影响。在这种情况下，距离读取不准确的风险会增加。
发明内容
本发明的一个目的是提供一种用于处理车辆环境的环境数据的改进的解决方案，其适用于应对不利的环境条件。
该目的通过根据权利要求1的用于处理车辆环境的环境数据的方法、根据权利要求12的计算机程序代码以及根据权利要求13的用于处理车辆环境的环境数据的装置来实现。从属权利要求包括如下所述的本原理的有利的进一步发展和改进。
根据第一方面，一种用于处理车辆环境的环境数据的方法包括:
-从车辆的至少一个深度传感器接收车辆环境的深度数据；
-从车辆的至少一个热传感器接收车辆环境的热数据；和
-融合深度数据和热数据以生成融合的环境数据。
类似地，计算机程序代码包括指令，当由至少一个处理器执行时，该指令通过执行以下步骤使至少一个处理器处理车辆环境的环境数据:
-从车辆的至少一个深度传感器接收车辆环境的深度数据；
-从车辆的至少一个热传感器接收车辆环境的热数据；和
-融合深度数据和热数据以生成融合的环境数据。
术语“计算机”必须做广义理解。特别是，它还包括电子控制单元和其他基于处理器的数据处理装置。
计算机程序代码可以例如能够被电子检索或者存储在计算机可读存储介质上。
根据另一方面，一种用于处理车辆环境的环境数据的装置包括:
-输入单元，用于从车辆的至少一个深度传感器接收车辆环境的深度数据，并从车辆的至少一个热传感器接收车辆环境的热数据；和
-融合单元，用于融合深度数据和热数据以生成融合的环境数据。
所提出的解决方案通过利用从热传感器获得的热数据来增强深度数据，解决了传统深度感测装置在自主驾驶中的局限性。融合的数据提供了图像中最热物体的信息以及到这些物体的距离。深度传感器例如可以是雷达传感器、激光雷达传感器或超声波传感器，而热传感器可以是热成像摄像机。超声波传感器通常用于反向驱动操作。在过去的几年里，用热成像摄像机获得的图像尺寸增加了，同时价格也降低了。因此，热成像摄像机非常适合于对目前正在道路上使用或测试的自动车辆中已经安装的传感器进行增强。通过融合深度数据和热数据，产生了高度可靠的信息，这是达到更高自主水平，特别是4级或5级的先决条件。
在一个有利的实施例中，通过融合深度数据和热数据来生成增强的占用栅格。术语“占用栅格”广泛用于与深度传感器(尤其是雷达传感器)结合的自动驾驶领域，并指示提供车辆周围空间的地图的一种方式。该地图为矩阵形式，其中如果雷达传感器在相应位置检测到物体，矩阵的单元被“占用”，在相应位置没有检测到物体则是“空闲”。雷达扫描生成的占用栅格通常会转换成灰度图像。灰度图像的像素值可以用作训练卷积神经网络的输入。
在一个有利的实施例中，融合的环境数据被提供给神经网络，例如卷积神经网络。为此，可以将增强的占用栅格转换成二维图像。一个典型的卷积神经网络由一系列的卷积层组成，散布着激活函数和池化层，以及位于网络输出端的完全连接层。第一层使用的过滤器通常试图检测原始特征，如曲线、边缘或圆。随着处理转移到下一层，将采用更复杂和更大的特征。
有利地，神经网络提供驾驶场景分类。例如，驾驶场景分类的输出是以下之一:内城、高速公路、乡村道路、隧道和停车场。当然，也可以考虑其他类型的驾驶场景。高度自主驾驶系统采用的驾驶策略取决于驾驶环境，即当自主车辆在高速公路上行驶、在乡村道路上行驶、在隧道中行驶、在城市中行驶或试图停车时，使用的驾驶策略不同。因此，为了使高度自主的驾驶系统能够选择最佳驾驶策略，它首先需要知道车辆驾驶的场景。融合的环境数据有助于提高驾驶场景的分类精度。
在一个有利的实施例中，基于融合的环境数据生成路径信息。路径信息可以描述了避开指示高温的增强占用栅格的单元的轨迹。以这种方式，融合的数据使得车辆的紧急制动辅助功能能够在夜间或不利的天气条件下区分冷的因而非活体的障碍物和热的即潜在的活体障碍物。通过在紧急制动操作期间将避免被占用和高温物体作为第一优先事项，在无法避免碰撞的情况下降低了死亡风险。
在一个有利的实施例中，为了生成路径信息，将权重作为与热数据成比例的函数分配给增强占用栅格的单元。例如，低的权重值可被分配给热物体。车辆可以遵循的轨迹将采取队列的形式，栅格中的单元将逐渐添加到队列结构中。权重较高的单元格是待添加到队列中的首选。权重的和最大的队列优于权重的和较低的轨迹。当然，同样可以给热物体分配较大的权重。在这种情况下，权重的和最小的队列是首选。
有利地，驾驶员辅助系统包括根据本发明的装置，或者被配置成执行根据本发明的方法，例如用于选择驾驶策略或者用于执行紧急制动操作。这种驾驶员辅助系统有利地用在自主或半自主车辆中。这样可以确保自动驾驶较少受到不利环境条件的影响。
附图说明
结合附图，从以下描述和所附权利要求中，本发明的进一步特征将变得显而易见。
图1示意性地示出了用于处理车辆环境的环境数据的方法；
图2示意性地示出了用于处理车辆环境的环境数据的装置的第一实施例；
图3示意性地示出了用于处理车辆环境的环境数据的装置的第二实施例；
图4示出了栅格占用算法的行为的示例；
图5描绘了用热成像摄像机获取的道路场景；和
图6示出了所提出的数据处理机制的系统架构。
具体实施方式
本说明书说明了本公开的原理。因此，应当理解，尽管在此没有明确描述或示出，本领域技术人员将能够设计各种体现了本公开的原理的布置。
本文所述的所有示例和条件语言都是为了教导目的，以帮助读者理解本公开的原理和发明人为推进本领域所贡献的概念，并被解释为不限于这些具体列举的示例和条件。
此外，这里列举本公开的原理、方面和实施例的所有陈述以及其具体示例旨在涵盖其结构和功能等同物。此外，这种等同物旨在包括当前已知的等同物以及将来开发的等同物，即，无论结构如何，开发的执行相同功能的任何元件。
因此，例如，本领域技术人员将会理解，这里呈现的图代表体现本公开原理的说明性电路的概念图。
附图中所示的各种元件的功能可以通过使用专用硬件以及能够执行与适当软件相关联的软件的硬件来提供。当由处理器提供时，功能可以由单个专用处理器、单个共享处理器或多个单独的处理器提供，其中一些处理器可以被共享。此外，术语“处理器”或“控制器”的明确使用不应被解释为专门指能够执行软件的硬件，而是可以隐含地包括但不限于数字信号处理器(DSP)硬件、用于存储软件的只读存储器(ROM)、随机存取存储器(RAM)和非易失性存储器。
也可以包括传统的和/或定制的其他硬件。同样，图中所示的任何开关都只是概念性的。它们的功能可以通过程序逻辑的运行、通过专用逻辑、通过程序控制和专用逻辑的交互或者甚至手动来实现，具体技术可以由实现者选择，如从上下文中更具体地理解的那样。
在权利要求中，表示为用于执行特定功能的装置的任何元件旨在包含执行该功能的任何方式，包括例如执行该功能的电路元件的组合或任何形式的软件，因此包括固件、微码等，与用于执行该软件以执行该功能的适当电路相结合。由这样的权利要求所定义的公开在于这样的事实，即由各种列举的装置提供的功能以权利要求所要求的方式被组合和集合在一起。因此，可以认为能够提供这些功能的任何装置都等同于这里所示的那些装置。
图1示意性地示出了用于处理车辆环境的环境数据的方法。在第一步骤中，从车辆的至少一个深度传感器接收车辆环境的深度数据(步骤10)，例如从雷达传感器、激光雷达传感器或超声波传感器。进一步地，从车辆的至少一个热传感器接收车辆环境的热数据(步骤11)，例如从热成像摄像机接收。深度数据和热数据然后被融合以生成融合的环境数据(步骤12)。例如，可以通过融合深度数据和热数据来生成增强的占用栅格。可以通过首先执行图像配准来执行融合，产生两通道结构，一个通道用于深度数据DD，一个通道用于热数据TD。每个通道都是二维图像。然后这两个通道可以融合成一个通道。最后，融合的环境数据被提供给神经网络(步骤13)。基于融合的环境数据，神经网络可以提供驾驶场景分类标签。举例来说，驾驶场景分类输出可以是内城、高速公路、乡村道路、隧道和停车场之一。此外，可以基于融合的环境数据生成路径信息。路径信息优选地描述为避开指示高温的增强占用栅格的单元的轨迹。为此，可以根据热数据将权重分配给增强的占用栅格的单元。路径信息可以用作执行紧急制动操作的基础。
图2示意性地示出了用于处理车辆40的环境的环境数据的装置20的第一实施例的框图。装置20具有输入单元21，用于从车辆40的至少一个深度传感器41接收车辆40的环境的深度数据DD，并且用于从车辆40的至少一个热传感器42接收车辆40的环境的热数据TD。例如，深度传感器41可以是雷达传感器、激光雷达传感器或超声波传感器，而热传感器42可以是热成像摄像机。预处理单元22可以例如通过执行图像配准来对深度数据DD或热数据TD应用预处理操作。装置20还具有融合单元23，用于融合深度数据DD和热数据TD以生成融合的环境数据FD。例如，可以通过融合深度数据DD和热数据TD来生成增强的占用栅格。可以通过首先执行图像配准来执行融合，产生两通道结构，一个通道用于深度数据DD，一个通道用于热数据TD。每个通道都是二维图像。然后这两个通道可以融合成一个通道。由装置20产生的数据可以存储在本地存储单元25中，或者通过输出单元26可用于进一步处理。输出单元26也可以与输入单元21组合成单个双向接口。有利地，融合的环境数据FD被提供给神经网络。基于融合的环境数据FD，神经网络可以提供驾驶场景分类。举例来说，驾驶场景分类可以是内城、高速公路、乡村道路、隧道和停车场中的一种。此外，可以基于融合的环境数据FD生成路径信息。路径信息优选地描述为避开指示高温的增强占用栅格的单元的轨迹。为此，可以根据热数据将权重分配给增强的占用栅格的单元。路径信息可以用作执行紧急制动操作的基础。
预处理单元22和融合单元23可以由控制器24控制。可以提供用户界面27，用于使用户能够修改预处理单元22、融合单元23或控制器24的设置。预处理单元22、融合单元23和控制器24可以具体化为专用硬件单元。当然，它们同样可以完全或部分地组合成单个单元，或者实现为在处理器上运行的软件。
图3示出了用于处理车辆环境的环境数据的装置30的第二实施例的框图。装置30包括处理装置31和存储装置32。例如，装置30可以是计算机或电子控制单元。存储装置32已经存储了指令，当由处理装置31执行时，这些指令使得装置30执行根据所描述的方法之一的步骤。因此，存储在存储装置32中的指令有形地体现了可由处理装置31执行的指令程序，以根据本原理执行这里描述的程序步骤。装置30具有用于接收数据的输入单元33。由处理装置31生成的数据可以通过输出单元34被获取。此外，这样的数据可以存储在存储装置32中。输入单元33和输出单元34可以组合成单个双向接口。
这里使用的处理装置31可以包括一个或多个处理单元，例如微处理器、数字信号处理器或其组合。
本地存储单元25和存储装置32可以包括易失性和/或非易失性存储区域和存储装置，例如硬盘驱动器、光驱和/或固态存储器。
在下文中，将参照图4至图6给出本方法的对处理车辆环境的环境数据的更详细描述。在本描述中，深度数据源自雷达传感器。当然，也可以使用其他类型的传感器来获得深度数据。
占用栅格背后的基本思想是将环境划分为2D单元，每个单元代表占用的概率或可信度。对于自主驾驶，声纳、激光雷达和雷达传感数据可用于模拟障碍物测量的不确定性，并推导出占用可信度。可信度被分配给与距离测量射线相交的每个单元。然后这些信息会随着时间的推移而累积，并融合到一个单独的栅格中。最初，栅格单元被认为代表空闲空间，并且栅格层的内容随着时间的推移通过逐渐减少占用信息而退化。栅格内容会随着每次传感测量而不断实时更新。
图4中示出了栅格占用算法的行为的教学示例，其中自主车辆在东北(NE)方向行驶时遇到障碍。图4a)示出了基础测量，图4b)示出了计算的占用栅格OG的示例，图4c)指示了可信度演变的相应数值。阴影密度大的单元代表占用的空间，而空闲空间用阴影密度小的单元来标记。因此，阴影密度代表了占用程度。阴影密度越小，单元空闲的概率就越高。
用上述方法计算的占用栅格首先被转换成图像表示，其中每个栅格单元被编码为图像像素。具有第一颜色强度值的像素代表障碍物；空闲空间用第二颜色强度值编码，而未知状态可以用黑色表示。特定颜色代码的像素强度越高，占用置信度越高。
热成像摄像机检测人眼不可见的红外辐射或热。红外辐射的频带范围从0.3THz到385THz。红外传感器构建了一个热像图，它基本上是一个温度模式。来自热像图的数据随后被转换成电信号，并被发送到摄相机中的处理单元。处理单元将热像图的原始数据转换成可视信号，然后显示在显示屏上。图5描绘了用热成像相机获取的道路场景。在该图中，显示了最终图像的灰度版本。从图中很明显可以看出，由于热物体的颜色表示的不同，行人60可以被识别。
根据本原理，雷达图像数据被用于通过结合深度信息来增强温度数据，深度信息即指示热/冷物体在驾驶场景中所处距离的信息。融合的信息然后可以被提供给自动驾驶功能，例如紧急制动辅助功能。融合后的信息可由自动驾驶功能在各种情况下使用。例如，碰撞的影响是无法避免的，但是可以通过将汽车转向不热的物体来减少碰撞的影响。这有助于将潜在的死亡人数降至最低。
图6示出了所提出的数据处理机制的系统架构。源自雷达传感器的深度数据DD以及源自热传感器的热数据TD被提供给图像配准模块50。例如，深度数据以占用栅格的形式提供。图像配准模块50的目的是使占用栅格中的像素尽可能接近地与属于相应对象的热图像中的像素匹配。融合模块51执行图像数据格局化，从而生成深度图像。深度图像可以通过用热数据TD增强占用栅格并将增强的占用栅格转换成类似视差图的图像来生成。一般来说，视差图是由立体摄像机生成的2D图像，对于靠近立体摄像机的对象，它具有较浅的颜色，而对于远离立体摄像机的对象，它具有较深的颜色。类似地，对应于“已占用单元”和“热”对象的占用栅格的像素将具有非常亮的颜色。与“空闲单元”和“热”对象相对应的占用栅格的像素通常会很远，例如房子里的人，并且具有中等暗度的颜色。对应于“被占用的单元”和“冷”对象的像素将具有中等亮度的颜色。最后，对应于“空闲单元”和“冷”对象的像素将具有暗色。得到的融合数据FD被提供给人工智能推理机52。人工智能推理机52使用深度学习体系结构——例如卷积神经网络——来实现。深度神经网络的各种结构可以被训练和微调，以增加所提出的方法的准确性。网络架构的选择可以基于天气信息或白天或夜晚的时间来决定，从而创建自适应的动态模型。
人工智能推理机52的一个输出是场景分类结果53，其提供关于驾驶环境的数据。例如，基于融合数据FD，可以在内城、高速公路和停车场之间进行区分。这种区分很有用，因为当自主车辆在高速公路上行驶、在乡村公路上行驶、在隧道中行驶、在内城行驶或试图停车时，高度自主的驾驶系统通常会采用不同的驾驶策略。例如，如果汽车在高速公路上高速行驶，自动驾驶功能不允许过度转向，因为汽车可能会失去稳定性并翻车。
人工智能推理机52的输出还可以被碰撞图生成器54使用，碰撞图生成器54创建附加的路径信息PI，用于最小化与热物体的碰撞。考虑到上述深度图像，由碰撞图生成器54创建的路径是向前的“最暗路径”。为此，可以将不同的权重分配给增强占用栅格的不同单元。例如，低的权重值可被分配给热物体。汽车可以遵循的轨迹将采取队列的形式，栅格中的单元将逐渐添加到队列结构中。权重较高的单元格是待添加到队列中的首选。权重之和最大的队列优于权重之和较低的轨迹。当然，同样可以给热物体分配较大的权重。在这种情况下，权重之和最小的队列是首选。碰撞图生成器54在驾驶期间保持路径持续更新。
场景分类结果53和由碰撞图生成器54生成的附加路径信息PI可以被提供给各种自主驾驶功能55，例如用于选择驾驶策略或用于执行紧急制动操作。

Claims (15)

1.一种用于处理车辆(40)的环境的环境数据的方法，该方法包括:
-从车辆(40)的至少一个深度传感器(41)接收车辆(40)的环境的深度数据(DD)；
-从车辆(40)的至少一个热传感器(42)接收车辆(40)的环境的热数据(TD)；和
-融合深度数据(DD)和热数据(TD)以生成融合的环境数据(FD)。
2.根据权利要求1所述的方法，其中通过融合深度数据(DD)和热数据(TD)来生成增强的占用栅格。
3.根据权利要求2所述的方法，其中融合包括执行图像配准，该图像配准产生两通道结构，一个通道用于深度数据(DD)，一个通道用于热数据(TD)，其中每个通道是2维图像。
4.根据权利要求2或3所述的方法，还包括向神经网络(52)提供融合的环境数据(FD)。
5.根据权利要求2至4中任一项所述的方法，其中基于融合的环境数据(FD)生成路径信息(PI)。
6.根据权利要求5所述的方法，其中，所述路径信息(PI)描述了避开指示高温的增强占用栅格的单元的轨迹。
7.根据权利要求6所述的方法，其中，为了生成路径信息(PI)，将权重作为与热数据(TD)成比例的函数分配给增强占用栅格的单元。
8.根据权利要求4所述的方法，其中所述神经网络(52)提供驾驶场景分类。
9.根据权利要求8所述的方法，其中所述驾驶场景分类是内城、高速公路、乡村道路、隧道和停车场之一。
10.根据前述权利要求中任一项的方法，其中车辆(40)的至少一个深度传感器(41)是雷达传感器、激光雷达传感器或超声波传感器。
11.根据前述权利要求中任一项的方法，其中车辆(40)的至少一个热传感器(42)是热成像摄像机。
12.一种包括指令的计算机程序代码，当由至少一个处理器执行时，所述指令使得所述至少一个处理器执行权利要求1至11中任一项的方法。
13.一种用于处理车辆(40)的环境的环境数据的装置(20)，该装置(20)包括：
-输入单元(21)，用于从车辆(40)的至少一个深度传感器(41)接收车辆(40)的环境的深度数据(DD)，并且用于从车辆(40)的至少一个热传感器(42)接收车辆(40)的环境的热数据(TD)；和
-融合单元(23)，用于融合深度数据(DD)和热数据(TD)，以生成融合的环境数据(FD)。
14.一种驾驶员辅助系统，包括根据权利要求13所述的装置(20)，或者被配置成执行根据权利要求1至11中任一项所述的用于处理车辆(40)的环境的环境数据的方法。
15.一种自主或半自主车辆(40)，包括根据权利要求14所述的驾驶员辅助系统。
CN202010212625.XA 2019-03-27 2020-03-24 车辆环境的环境数据处理 Pending CN111753629A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EPEP19465516 2019-03-27
EP19465516.3A EP3716140A1 (en) 2019-03-27 2019-03-27 Processing environmental data of an environment of a vehicle

Publications (1)

Publication Number Publication Date
CN111753629A true CN111753629A (zh) 2020-10-09

Family

ID=66092277

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010212625.XA Pending CN111753629A (zh) 2019-03-27 2020-03-24 车辆环境的环境数据处理

Country Status (3)

Country Link
US (1) US11741716B2 (zh)
EP (1) EP3716140A1 (zh)
CN (1) CN111753629A (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3739361A1 (en) * 2019-05-13 2020-11-18 Aptiv Technologies Limited Method and system for fusing occupancy maps
EP3745299A1 (en) * 2019-05-31 2020-12-02 Infineon Technologies AG Neural network device and method using a neural network for sensor fusion
US11972613B1 (en) * 2022-10-28 2024-04-30 Zoox, Inc. Apparatus and methods for atmospheric condition detection

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017123477A1 (en) * 2016-01-11 2017-07-20 Flir Systems, Inc. Vehicle based radar upsampling
US10460180B2 (en) * 2017-04-20 2019-10-29 GM Global Technology Operations LLC Systems and methods for visual classification with region proposals

Also Published As

Publication number Publication date
EP3716140A1 (en) 2020-09-30
US20200310753A1 (en) 2020-10-01
US11741716B2 (en) 2023-08-29

Similar Documents

Publication Publication Date Title
CN110588653B (zh) 自主车辆的控制系统、控制方法以及控制器
US11398097B2 (en) Target detection method based on fusion of prior positioning of millimeter-wave radar and visual feature
CN110531753B (zh) 自主车辆的控制系统、控制方法和控制器
US10940863B2 (en) Spatial and temporal attention-based deep reinforcement learning of hierarchical lane-change policies for controlling an autonomous vehicle
CN111582201B (zh) 一种基于几何注意力感知的车道线检测系统
EP3278317B1 (en) Method and electronic device
US11488392B2 (en) Vehicle system and method for detecting objects and object distance
CN111753629A (zh) 车辆环境的环境数据处理
CN112930554A (zh) 用于确定车辆环境的语义网格的电子设备、系统和方法
CN113348422A (zh) 用于生成预测占据栅格地图的方法和系统
US20220129726A1 (en) Determination of the driving context of a vehicle
US10635116B2 (en) Video calibration with illumination invariant image
CN112215306A (zh) 一种基于单目视觉与毫米波雷达融合的目标检测方法
Kim et al. An advanced object classification strategy using YOLO through camera and LiDAR sensor fusion
CN115876198A (zh) 基于数据融合的目标检测及预警方法、设备、系统和介质
CN116504053A (zh) 传感器融合
CN114419603A (zh) 一种自动驾驶车辆控制方法、系统和自动驾驶车辆
US20230048926A1 (en) Methods and Systems for Predicting Properties of a Plurality of Objects in a Vicinity of a Vehicle
CN113611008B (zh) 一种车辆行驶场景采集方法、装置、设备及介质
US20240089577A1 (en) Imaging device, imaging system, imaging method, and computer program
EP4099210A1 (en) Method for training a neural network for semantic image segmentation
CN112233079B (zh) 多传感器图像融合的方法及系统
Memon et al. Self-driving car using lidar sensing and image processing
US20240078787A1 (en) Systems and methods for hybrid real-time multi-fusion point cloud perception
Patel Master of Applied Science in Electrical and Computer Engineering

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination