DE102020201000B3 - Computerimplementiertes Verfahren und System zum Erhalten eines Umfeldmodells und Steuergerät für ein automatisiert betreibbares Fahrzeug - Google Patents

Computerimplementiertes Verfahren und System zum Erhalten eines Umfeldmodells und Steuergerät für ein automatisiert betreibbares Fahrzeug Download PDF

Info

Publication number
DE102020201000B3
DE102020201000B3 DE102020201000.5A DE102020201000A DE102020201000B3 DE 102020201000 B3 DE102020201000 B3 DE 102020201000B3 DE 102020201000 A DE102020201000 A DE 102020201000A DE 102020201000 B3 DE102020201000 B3 DE 102020201000B3
Authority
DE
Germany
Prior art keywords
image
gradient
occupancy
sensor
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
DE102020201000.5A
Other languages
English (en)
Inventor
Edoardo CASAPIETRA
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ZF Friedrichshafen AG
Original Assignee
ZF Friedrichshafen AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ZF Friedrichshafen AG filed Critical ZF Friedrichshafen AG
Priority to DE102020201000.5A priority Critical patent/DE102020201000B3/de
Application granted granted Critical
Publication of DE102020201000B3 publication Critical patent/DE102020201000B3/de
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804Creation or updating of map data
    • G01C21/3833Creation or updating of map data characterised by the source of data
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/93Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Automation & Control Theory (AREA)
  • Traffic Control Systems (AREA)

Abstract

Computerimplementiertes Verfahren zum Erhalten eines Umfeldmodells, das ein Umfeld eines Objekts (1) in Zellen (cij) mit einer jeweiligen Belegungswahrscheinlichkeit unterteilt, wobei ein Belegungsbildes (O) aus einer Kombination von Gradientenbilder bestimmt wird, wobei jeder Bildpunkt des Belegungsbildes (O) eine Belegungswahrscheinlichkeit darstellt. Die Erfindung bezieht sich ferner auf ein System zum Erhalten eines Umfeldmodells und ein Steuergerät (10) für ein automatisiert betreibbares Fahrzeug (1).

Description

  • Die Erfindung bezieht sich auf ein computerimplementiertes Verfahren und ein System zum Erhalten eines Umfeldmodells und ein Steuergerät für ein automatisiert betreibbares Fahrzeug.
  • Aus dem Stand der Technik sind gitterbasierte zweidimensionale und dreidimensionale Umfeldmodelle bekannt.
  • Beispielsweise offenbart die US 2017 / 0 203 692 A1 ein Verfahren und eine Vorrichtung zum verzerrungsfreien Anzeigen einer Fahrzeugumgebung. In einem gitterbasierten Umfeldmodell wird das Umfeld eines Fahrzeuges in Zellen unterteilt. In jeder Zelle wird ein das Umfeld beschreibendes Merkmal gespeichert und in „befahrbar“ und „belegt“ klassifiziert. Zusätzlich kann für jede Gitterzelle ein Höhenwert gespeichert werden, wodurch eine dreidimensionale Belegungskarte entsteht. Diese ist dynamisch und adaptiv anpassbar an die momentanen Sensordaten des Fahrzeugs.
  • Die EP 2 771 873 B1 beschreibt ein gitterbasiertes Umfeldmodell für ein Fahrzeug. Das Fahrzeugumfeld wird in Zellen unterteilt und in jeder Zelle ein das Umfeld beschreibendes Merkmal gespeichert. Anhand eines Schwellwerts für die Wahrscheinlichkeit, dass beispielsweise eine Zelle belegt oder nicht belegt ist, werden die Werte der Gitterzellen diskretisiert und somit der Speicherbedarf reduziert. Eine vorgegebene zeitliche Aktualisierung der Werte ändert die Zuordnung zu einer diskreten Klasse anhand des Schwellwertes in vielen Fällen nicht. Ein ähnliches Umfeldmodell wird in der DE 10 2015 207 978 B3 beschrieben.
  • Die DE 10 2015 201 867 A1 thematisiert eine optimierte Speicherung einer Umfeldkarte. Die Teilbereiche des Umfelds können in einer regelmäßigen Gitterstruktur aufgeteilt sein, die wiederum in einzelne Gitterzellen unterteilt ist. Jede Gitterzelle ist ein Speicherbereich und beinhaltet die Belegungswahrscheinlichkeit, bspw. dass die Zelle von einem Hindernis belegt ist, und/ oder die Höhe des Hindernisses. Der Speicherbereich weist zwei Zeiger auf, die zum Verweis auf einen vorhergehenden und auf einen nachfolgenden Speicherbereich dienen. Ein ähnliches Verfahren wird in der DE 10 2015 201 868 A1 beschrieben.
  • In I. Dryanovski et al., „Multi-volume occupancy grids: An efficient probabilistic 3D mapping model for micro aerial vehicles", in 2010 IEEE/RSJ International Conference on Intelligent Robots and Systems, 2010, S. 1553-1559‟ wird ein sogenanntes multi-volume occupancy grid diskutiert. Jede Zelle umfasst eine erste Liste umfassend Volumina, die bei einer Sensorabtastung positive Messungen, das heißt Hindernisse, enthalten. Jede Zelle umfasst ferner eine zweite Liste umfassend Volumina, die bei einer Sensorabtastung negative Messungen, das heißt Freiräume enthalten. Bei jeder Sensorabtastung wird ein Volumen einer der beiden Listen zugeordnet. Die vollständigen ersten und zweiten Listen werden abgespeichert. Anschließend werden die so erstellen ersten und zweiten Listen prozessiert.
  • Die US 2018 / 0 210 087 A1 beschreibt ein System zur Erstellung eines Cartesian occupancy grid aus dreidimensionalen Punktdaten. Die 3D-Punktdaten werden von einem Lidar-Sensor erzeugt und auf ein x-y-Gitter projiziert. Für jede Zelle im x-y-Gitter wird die Höhe der erfassten Objekte anhand von Referenzen bestimmt.
  • Die DE 10 2011 056 671 A1 betrifft ein Verfahren und eine Vorrichtung zur Bestimmung eines Höhenprofils einer Fahrzeugumgebung mittels einer 3D-Kamera. Mit der 3D-Kamera wird mindestens ein Bild von der Umgebung des Fahrzeugs aufgenommen. Aus den Bilddaten der 3D-Kamera wird ermittelt, ob mindestens ein Sprung im Höhenverlauf der Umgebungsoberfläche quer zur Fahrtrichtung. Die ermittelten Sprünge werden dabei bevorzugt aus 3D-Kanten-Informationen aus dem 3D- bzw. Tiefenbild durch Kombination mit separat ermittelten Farb- und/oder Grauwertbildkanten präzisiert.
  • Die DE 10 2009 022 278 A1 betrifft ein Verfahren zur Ermittlung eines hindernisfreien Raums, bei dem mittels eines Sensorsystems ein Entfernungsbild ermittelt und aus dem Entfernungsbild eine Tiefenkarte einer Umgebung bestimmt wird. Bei der Bildung der Tiefenkarte werden Oberflächen-Messpunkte auf einer Grundebene der Umgebung derart berücksichtigt, dass eine Evidenz und/oder Wahrscheinlichkeit von an der gleichen Position der Oberflächen-Messpunkte auf der Grundebene erfassten Hindernis-Messpunkten verringert wird.
  • Die bekannten Techniken zum Erstellen von gitterbasierten Umfeldmodellen basieren auf inversen Sensormodellen. Das sind Modelle, mit denen eine in einer Gitterzelle hinterlegte Information, beispielsweise die Belegungswahrscheinlichkeit, berechnet wird. Inverse Sensormodelle werden beispielsweise in R. Dia et al., „General Inverse Sensor Model for Probabilistic Occupancy Grid Maps using Multi-Target Sensors", in 23rd International Symposium on Mathematical Theory of Networks and Systems, Hong Kong University of Science and Technology, diskutiert 2018. Diese Techniken benötigen hohe Rechenleistungen, einen hohen Speicherbedarf und sind besonders zeitintensiv.
  • Die bekannten inversen Sensormodellen berechnen für jeden detektierten Punkt eine Belegungswahrscheinlichkeit dafür, dass eine entsprechende Zelle eines Gitternetzes belegt ist basierend auf der Lokalisation des detektierten Punktes. Für jeden Punkt wird dabei ein Strahl, im Englischen ray genannt, von dem Strahlensensor zu der Lokalisation des Punktes berechnet. Der detektierte Punkt dient dem Nachweis dafür, dass die Lokalisation belegt ist. Der Strahl wird verwendet als Nachweis dafür, dass der Raum zwischen dem Punkt und dem Sensor frei ist. Wenn der Raum zwischen dem Punkt und dem Sensor nicht frei ist, werden Reflexionen von Objekten, die in dem Raum zwischen dem Punkt und dem Sensor angeordnet sind, erhalten. Die Prozesszeit für die Strahlenberechnung skaliert mit der Anzahl der detektierten Punkte. Bei Lidar Strahlensensoren werden größenordnungsmäßig 104 Punkte detektiert. Bei einer derartig hohen Anzahl sind die bekannten inversen Sensormodelle hinsichtlich Echtzeitberechnungen nicht geeignet, auf jeden detektierten Punkt angewendet zu werden. Eine bekannte Lösung besteht darin, weniger bedeutende Punkte zu verwerfen. Beispielsweise werden Punkte der Bodenoberfläche ignoriert.
  • Eine Aufgabe der Erfindung war es, die aus dem Stand der Technik bekannten Techniken zum Erstellen von gitterbasierten Umfeldmodellen zu verbessern.
  • Die Erfindung löst diese Aufgabe durch ein computerimplementiertes Verfahren zum Erhalten eines Umfeldmodells, das ein Umfeld eines Objekts in Zellen mit einer jeweiligen Belegungswahrscheinlichkeit unterteilt. Bei dem Verfahren wird eine oder werden mehrere Sensorabtastung des Umfelds erhalten. Durch Prozessieren dieser Sensorabtastung wird ein Höhenbild und ein Tiefenbild erhalten. Bildpunkte des Höhenbildes und des Tiefenbildes stellen jeweils Reflexionen der Sensorabtastung dar. Zu dem Höhenbild und/oder dem Tiefenbild werden jeweils zugehörige Gradientenbilder durch Bestimmen von Gradienten von Bildhelligkeitsfunktionen des Höhenbildes und/oder des Tiefenbildes erhalten. Aus einer Kombination der Gradientenbilder wird ein Belegungsbild bestimmt. Jeder Bildpunkt des Belegungsbildes stellt eine Belegungswahrscheinlichkeit dar. Für jeden Bildpunkt des Belegungsbildes werden Weltkoordinaten bestimmt und damit Weltpunkte erhalten. Jedem Weltpunkt ist die Belegungswahrscheinlichkeit des entsprechenden Bildpunktes des Belegungsbildes zugeordnet. Das Umfeldmodell wird durch Addieren der Belegungswahrscheinlichkeiten der Weltpunkte in die zugehörigen Zellen des Umfeldes erhalten.
  • Gemäß dem erfindungsgemäßen Verfahren wird nach einem Aspekt ein bildbasiertes 2D Belegungsgitter aus Rohdaten einer Lidar Punktwolke erhalten, wobei ein Höhenbild und ein Tiefenbild zu einem Belegungsbild, dem occupancy grid, kombiniert werden und ein kartesisches Belegungsbild durch Koordinatentransformation erhalten.
  • Gemäß einem Aspekt stellt die Erfindung ein System zum Erhalten eines Umfeldmodells bereit. Das System umfasst einen Strahlensensor. In Betrieb erhält der Strahlensensor Sensorabtastungen eines Umfelds eines Objekts. Das System umfasst ferner eine Prozessiereinheit. Die Prozessiereinheit ist so angepasst, dass sie in Betrieb die Schritte des erfindungsgemäßen Verfahrens ausführt, wobei die Prozessiereinheit die Sensorabtastungen erhält und mittels eines erhaltenen Umfeldmodells eine Trajektorienplanung für ein Fahrzeug bestimmt. Die Prozessiereinheit erhält die Sensorabtastungen beispielsweise über eine Daten übertragende Schnittstelle zwischen der Prozessiereinheit und dem Strahlensensor. Die Prozessiereinheit umfasst einen internen Speicher und/oder mittels Schnittstellen lesbaren externen Speicher, die Programmbefehle umfassen, die beim Zugriff auf den Speicher die Prozessiereinheit veranlassen, die Schritte des erfindungsgemäßen Verfahrens auszuführen. Der < externe Speicher ist beispielsweise ein Datenträger, beispielsweise ein SSD Speicher, auf dem die Programmbefehle gespeichert sind.
  • Die Erfindung hat den Vorteil, dass jeder detektierte Punkt als Nachweis für ein Objekt in dem Umfeld verwendet wird. Punkte der Bodenoberfläche sind dabei Nachweis für freie Regionen, das heißt Regionen, die nicht mit hindernden Objekten belegt sind. Ein ray-tracing ist nicht erforderlich. Dadurch wird die Rechenzeit optimiert. Da das Belegungsbild aus einer Kombination von Gradientenbildern erhalten wird, sind keine rechenintensiven punktweise Berechnungen erforderlich. Dadurch wird die Rechenzeit des Verfahrens optimiert.
  • Gemäß einem weiteren Aspekt stellt die Erfindung ein Steuergerät für ein automatisiert betreibbares Fahrzeug bereit. Das Steuergerät umfasst eine Prozessiereinheit. Die Prozessiereinheit ist so angepasst, dass sie in Betrieb die Schritte des erfindungsgemäßen Verfahrens ausführt und mittels eines erhaltenen Umfeldmodells eine Trajektorienplanung für das Fahrzeug bestimmt. Das Steuergerät ist ausgeführt ist, Längs- und/oder Querführung des Fahrzeuges entsprechend der Trajektorienplanung zu regeln und/oder zu steuern. Damit wird eine automatisierte Steuerung des Fahrzeuges basierend auf dem mittels des erfindungsgemäßen Verfahrens erhaltenen Umfeldmodells ermöglicht.
  • Weitere Ausgestaltungen der Erfindung ergeben sich aus den Unteransprüchen, den Zeichnungen und der Beschreibung bevorzugter Ausführungsbeispiele.
  • Gemäß einer Ausführung der Erfindung werden ein Gradient erster Ordnung und ein Gradient zweiter Ordnung des Höhenbildes bestimmt. Das Belegungsbild wird aus einer Kombination des aus dem Gradienten erster Ordnung erhaltenen Gradientenbildes und des aus dem Gradienten zweiter Ordnung erhaltenen Gradientbildes bestimmt. Das Gradientenbild resultierend aus dem Gradienten erster Ordnung stellt die Steilheit einer Oberfläche dar. Bei zu großer Steilheit ist die Oberfläche nicht überfahrbar. Das Gradientenbild resultierend aus dem Gradienten zweiter Ordnung stellt die Glattheit einer Oberfläche dar. Mittels des Gradienten zweiter Ordnung sind auch plötzliche Sprünge, das heißt Unstetigkeiten, in der Höhe erfassbar. Mittels des Gradienten zweiter Ordnung werden bodennahe Objekte, das heißt Objekte mit niedriger Höhe, beispielsweise Bordsteinkanten oder Gras, als belegte Bereiche erfassbar, ohne diese über ray-tracing erfassen zu müssen. Damit wird das Belegungsbild ausschließlich aus Gradienten des Höhenbildes bestimmt, was die Rechenzeit verkürzt.
  • Gemäß einer weiteren Ausführung der Erfindung werden ein Gradient erster Ordnung und ein Gradient zweiter Ordnung des Höhenbildes und ein Gradient erster Ordnung des Tiefenbildes bestimmt. Der Gradient erster Ordnung des Tiefenbildes beschreibt ebenfalls die Steilheit einer Oberfläche und ergänzt den Gradienten erster Ordnung des Höhenbildes. Je niedriger der Gradient erster Ordnung des Tiefenbildes ist, desto vertikaler und damit nicht überfahrbar ist die Oberfläche.
  • Das Belegungsbild wird aus einer Kombination des aus dem Gradienten erster Ordnung erhaltenen Gradientenbildes des Höhenbildes, des aus dem Gradienten zweiter Ordnung erhaltenen Gradientbildes des Höhenbildes und des aus dem Gradienten erster Ordnung erhaltenen Gradientenbildes des Tiefenbildes bestimmt, beispielsweise wie folgt: O ( a ,  e ) = A * | dH ( a , e ) | + B * | d 2 H ( a , e ) | C * | dR ( a , e ) | D .
    Figure DE102020201000B3_0001
    O(a, e) ist das Belegungsbild. a bezeichnet den Azimutwinkel. e bezeichnet den Elevationswinkel. Bezugspunkt ist der Mittelpunkt der Sensoroberfläche. |dH(a,e)| ist der absolute Gradient erster Ordnung des Höhenbildes. |d2H(a,e)| ist der absolute Gradient zweiter Ordnung des Höhenbildes. |dR(a,e)| ist der absolute Gradient erster Ordnung des Tiefenbildes. A, B, C und D sind Parameter mit A, B, C, D größer oder gleich null. A liegt beispielsweise im Bereich [0.5; 2.0]. B liegt beispielsweise im Bereich [1.0; 4.0]. C ist beispielsweise kleiner oder gleich 0.2. D liegt beispielsweise im Bereich [0.3; 0.7].
  • Überraschenderweise werden mit der folgenden Parametrisierung die besten Ergebnisse erzielt: O ( a ,  e ) = 1 * | dH ( a , e ) | + 2 * | d 2 H ( a , e ) | 0 .1 * | dR ( a , e ) | 0 .5 .
    Figure DE102020201000B3_0002
  • Gemäß einer weiteren Ausführung der Erfindung werden die Gradienten der Bildhelligkeitsfunktionen des Höhenbildes und/oder des Tiefenbildes mittels diskreten Differentialoperatoren bestimmt. Diskrete Differentialoperatoren, auch Filter genannt, approximieren Ableitungen. Beispiele für diskrete Differentialoperatoren sind der Sobel Operator und der Scharr Operator. Nach einem Aspekt der Erfindung werden die Gradienten der Bildhelligkeitsfunktionen des Höhenbildes und/oder des Tiefenbildes mittels eines Sobel Operators oder eines Scharr Operators bestimmt.
  • Der Sobel Operator, der in dem erfindungsgemäßen Verfahren mithilfe einer Faltung als Sobel Algorithmus eingesetzt werden kann, berechnet die Ableitung der Bildhelligkeitswerte. Gefaltet wird mit einer Faltungsmatrix, beispielsweise einer 3×3 Matrix, die aus dem Höhenbild und dem Tiefenbild jeweils ein Gradientenbild erzeugt.
  • Die mittels der Sobel Operatoren Sx und Sy gefalteten Ergebnisse Gx und Gy des Höhenbildes H und/oder des Tiefenbildes R berechnen sich zu: G x = S x A = [ 1 0 1 2 0 2 1 0 1 ] A ;
    Figure DE102020201000B3_0003
    G y = S y A = [ 1 2 1 0 0 0 1 2 1 ] A
    Figure DE102020201000B3_0004
    mit A=H oder A=R, wobei Gx vertikale Kanten und Gy horizontale Kanten detektiert.
  • Die Bereiche der größten Intensität sind dort, wo sich die Helligkeit des Höhenbildes oder des Tiefenbildes am stärksten ändert. Nach einem Aspekt der Erfindung wird nach der Faltung eine Schwellwert Funktion als Sobel Operator angewendet. Mittels des Sobel Operators werden insbesondere die Kanten von Objekten herausgestellt. Die Kantendarstellung vereinfacht die Entscheidung bezüglich überfahrbarer oder nicht überfahrbarer Oberfläche.
  • Der Sobel Operator hat keine perfekte Rotationssymmetrie. Besser berücksichtigt wird dies mit dem Scharr Operator: G x = [ 47 0   47 162 0 162 47 0   47 ] A ;
    Figure DE102020201000B3_0005
    G y = [ 47 162 47 0 0 0 47 162 47 ] A .
    Figure DE102020201000B3_0006
  • Gemäß einer weiteren Ausführung der Erfindung werden aufeinanderfolgende Sensorabtastungen erhalten und das Verfahren wird in Zyklen der Sensorabtastungen wiederholt durchgeführt. Wurde beispielsweise in einem Zyklus der Sensorabtastung zum Zeitpunkt t-1 ein occupancy grid Gt-1(x,y) erhalten, dann ergibt sich erfindungsgemäß das occupancy grid Gt(x,y) aus dem in dem Zyklus der Sensorabtastung zum Zeitpunkt t erhaltenen Belegungsbildes Ot(x,y) einfach durch Addition: Gt(x,y)= Gt-1(x,y) + Ot(x,y).
  • Gemäß einer weiteren Ausführung der Erfindung werden Freiräume in dem aus den Weltpunkten erhaltenen Weltbelegungsbild aufgefüllt mittels Bildverarbeitungsalgorithmen und/oder Unsicherheiten in der Sensorabtastung modelliert mittels Bildverarbeitungsalgorithmen. Das Weltbelegungsbild, das heißt das Bild, dessen Bildpunkte kartesische Koordinaten sind und die Belegungswahrscheinlichkeit als Information umfassen, hat in der Regel eine höhere Auflösung als das als die Sensorabtastung, zum Beispiel 500x500 Bildpunkte. Damit ist das Weltbelegungsbild einer Sensorabtastung von beispielsweise 1024x64 Bildpunkte dünnbesetzt. Mehrere Bildpunkte bleiben auf null gesetzt. Die Bildverarbeitungsalgorithmen werden eingesetzt, um Unsicherheiten in Sensorabtastungen zu berücksichtigen und freie Bildpunkte zwischen aufeinanderfolgenden Sensorabtastungen aufzufüllen. Beispielsweise werden freie und belegte Regionen in dem Weltbelegungsbild mittels definierten Schwellenwerten segmentiert.
  • Ferner kann eine relativ breite Gaußmaske, auch Gaussian blur oder Gaussian smoothing, auf freie Regionen angewendet werden um Bildpunkte aufzufüllen.
  • Außerdem kann eine relativ schmale Gaußmaske auf belegte Regionen angewendet werden um Unsicherheiten in den Sensorabtastungen zu berücksichtigen. Eine Gaußmaske bezeichnet das Maskieren eines Bildes mit einer Gaußfunktion, das heißt das Falten des Bildes mit einem Kernel umfassend eine Gaußfunktion. Breit und schmal beziehen sich dabei auf die Standardabweichung der jeweiligen Gaußfunktion. Alternativ oder zusätzlich zu der breiten Gaußmaske kann eine Erosionsmaske angewendet werden. Erosion wird mit einer Strukturmaske realisiert. Die Strukturmaske ist eine kleine Teilmenge des Gesamtbildes, die zum Prüfen des zu untersuchenden Bildes benutzt wird. Für jede Maske wird ein Bezugspunkt definiert, welcher das Platzieren der Maske an einer bestimmten Pixelposition erlaubt. Die eigentliche Operation besteht aus der pixelweisen Verschiebung der Strukturmaske über das Gesamtbild. Alternativ oder zusätzlich zu der schmalen Gaußfunktion kann eine Dilationsmaske angewendet werden. In der digitalen Bildverarbeitung wird die Dilatation im Allgemeinen mittels strukturierenden Elements angewandt. Mathematisch gesehen handelt es sich dabei im Falle von Binärbildern um die Bildung der Minkowski-Summe von Bild und strukturierendem Element. Auf einem Grauwertbild funktioniert die Erosion und Dilation mit einem strukturierenden Element ähnlich einem Minimum-Filter. Bei der Erosion werden dunkle Strukturen vergrößert, hellere verkleinert. Bei der Dilation werden helle Strukturen vergrößert, dunklere verkleinert.
  • Gemäß einer weiteren Ausführung der Erfindung werden die Sensorabtastungen von Strahlensensoren eines automatisiert betreibbaren Fahrzeuges und das Umfeldmodell für das Fahrzeug erhalten. Damit werden Trajektorienplanungen für automatisiert betreibbare Fahrzeuge mittels des erfindungsgemäßen Umfeldmodells ermöglicht, insbesondere basierend auf mittels des erfindungsgemäßen Verfahrens erhaltenen occupancy grids.
  • Computerimplementiert bedeutet, dass das Verfahren von einem oder mehreren Prozessiereinheiten ausgeführt wird. Prozessiereinheiten umfassen programmierbare elektronische Schaltungen, zum Beispiel ein Logikbaustein, beispielsweise ein FPGA-Baustein, oder ein ASIC-Baustein, oder eine CPU oder eine GPU. Bevorzugt ist die Prozessiereinheit als ein System-on-a-Chip realisiert mit modularem Hardwarekonzept, das heißt alle oder zumindest ein großer Teil der Funktionen sind auf einem Chip integriert und können modular erweitert werden, beispielsweise mit mehreren CPUs oder GPUs. Der Chip ist in ein Steuergerät integrierbar.
  • Bei dem Umfeldmodell handelt es sich um ein gitterbasiertes, diskretes Umfeldmodell. Nach einem weiteren Aspekt der Erfindung ist das Umfeld eine Infrastruktur, die insbesondere Fremdfahrzeuge, Personen, Straßen, Straßenbegrenzungen, Schachtabdeckungen, Vegetation, Gebäude und/oder Verkehrsschilder umfasst.
  • Das Objekt, für das das Umfeldmodell erhalten wird, kann ein Roboter sein.
  • Nach einem Aspekt der Erfindung ist das Objekt ein Fahrzeug, insbesondere ein automatisiert betreibbares Fahrzeug. Fahrzeuge umfassen Straßen-, Land-, Wasser- oder Luftfahrzeuge. Automatisiert betreibbare Fahrzeuge umfassen eine technische Ausrüstung, um einen Fahrer wenigstens bei der Längs- oder Querführung des Fahrzeuges zu assistieren bis hin zur Durchführung der Längs- und Querführung unter jeder Fahrbahn und jeder Umgebungsbedingung ohne einen menschlichen Fahrer, auch vollautomatisiertes, fahrerloses oder autonomes Fahren genannt. Beispielsweise sind ein Peoplemover der SAE J3016 Stufe 4, ein Taxiroboter der SAE J3016 Stufe 5, ein selbstfahrender LKW, ein PKW mit Ein-und/oder Ausparkassistent oder Autobahnpilot oder ein PKW der SAE J3016 Stufe L2+ oder ein selbstfahrender PKW automatisiert betreibbare Fahrzeuge. Assistiert geführte oder vollständig automatisiert betriebene Baumaschinen, zum Beispiel Bagger, Baustellenkipper, Schwerkraftwagen, Tieflader, Fahrmischer, Kräne, Walzen, Raupen sind ebenfalls Beispiele für automatisiert betreibbare Fahrzeuge. Außerdem sind Yachten oder Frachtschiffe mit Fahrerassistenzsystemen Beispiele für automatisiert betreibbare Fahrzeuge. Drohnen sind auch Beispiele für automatisiert betreibbare Fahrzeuge.
  • Damit wird für diese Objekte ein Umfeldmodell, insbesondere für Straßenfahrzeuge ein Umfeldmodell für eine Verkehrsinfrastruktur erhalten, mittels dessen für die Straßenfahrzeuge eine Trajektorienplanung ermöglicht wird.
  • Nach einem Aspekt der Erfindung ist das Umfeldmodell eine Gitterkarte. Mit Hilfe einer derartigen Gitterkarte kann ein automatisiert betreibbares Fahrzeug in einem Umfeld mit nicht-ebenen Oberflächen, überfahrbaren und nicht überfahrbaren Oberflächen operieren. Insbesondere unterstützt eine derartige Gitterkarte das automatisiert betreibbare Fahrzeug bei der Trajektorienplanung und Lokalisierung. Teilbereiche des Umfeldes sind dabei in einer regelmäßigen Gitterstruktur aufgeteilt. Die Gitterstruktur ist in einzelne Gitterzellen, kurz Zellen, unterteilt, das heißt diskretisiert. Jede Zelle stellt einen Speicherbereich für eine Information dar.
  • Die Zellen können dreidimensionale Zellen sein, auch 3D voxel grids genannt. Mehrere dreidimensionale Zellen erhöhen aber den Speicherbedarf. Erfindungsgemäß sind die Zellen zweidimensionale Zellen, wobei in jeder Zelle mehrere Informationen speicherbar sind. Die zweidimensionalen Zellen werden durch Projektion der von Strahlensensoren ausgesandten Strahlen in die x-y-Ebene erhalten. Die x-y-Ebene beschreibt die Bodenoberfläche, auf der sich das Fahrzeug bewegt. Nach einem Aspekt der Erfindung wird in jeder Zelle eine Belegungswahrscheinlichkeit dieser Zelle gespeichert. Die Belegungswahrscheinlichkeit drückt aus, wie wahrscheinlich es ist, dass eine Zelle mit einem Hindernis belegt oder frei ist. Eine Gitterkarte, deren Gitterzellen jeweilige Belegungswahrscheinlichkeiten umfassen, heißt occupancy grid.
  • Nach einem Aspekt der Erfindung wird als Umfeldmodell ein occupancy grid erhalten. Dies hat den Vorteil, dass in der x-y-Ebene, also der Bodenoberfläche, auf der sich das Fahrzeug bewegt, für diskrete Bereiche die Wahrscheinlichkeit angegeben ist, mit der die jeweiligen Bereiche von dem Fahrzeug überfahrbar oder nicht überfahrbar sind.
  • Nach einem weiteren Aspekt der Erfindung werden in jeder Zelle weitere Informationen, beispielsweise Durchschnittshöhe und/oder Höhenbereich, dieser Zelle gespeichert. Befinden sich in einer Zelle beispielsweise mehrere Objekte verschiedener Höhe, dann wird der Höhenbereich begrenzt durch die Höhe des in dieser Zelle erkannten niedrigsten Objekts und durch die Höhe des in dieser Zelle erkannten höchsten Objekts. Mittels der Durchschnittshöhe und/oder des Höhenbereichs wird die Fahrentscheidung überfahrbar oder nicht überfahrbar verbessert.
  • Sensorabtastung oder Abtasten mit Strahlen bedeutet ein Umfeld mit Strahlen zu durchleuchten und Reflexionen, das heißt an Objekten reflektierte Strahlen, zu messen. Insbesondere werden Objekte durch Abtasten punktweise vermessen, es werden Punktmessungen erhalten. Dadurch wird, in Abhängigkeit der verwendeten Wellenlänge der Abtastungsstrahlen, eine vergleichsweise hohe Auflösung erhalten. Die Sensorabtastung erfolgt beispielsweise in Azimut- und Elevationswinkel relativ zu einem Bezugspunkt des Strahlensensors oder bei bekannter Anordnung des Strahlensensors an einem Fahrzeug zu einem Bezugspunkt des Fahrzeuges. Ein Bezugspunkt des Strahlensensors ist beispielsweise der Mittelpunkt einer Sensoroberfläche des Strahlensensors. Ein Bezugspunkt des Fahrzeuges ist beispielsweise der Mittelpunkt einer Frontstoßstange des Fahrzeuges.
  • Strahlensensoren umfassen Umfelderfassungssensoren, die ein Umfeld mit Strahlen abtasten oder scannen. Beispielsweise ist ein Radar, ein Lidar oder eine time-of-flight Kamera ein Strahlensensor. Ein Punkt eines Objekts, der einen Strahl reflektiert, ist ein Zielpunkt. Nach einem Aspekt der Erfindung umfasst eine Sensorabtastung ein Fusionsergebnis von mehreren Sensorabtastungen eines Strahlensensors oder einer Kombination verschiedener der oben genannten Strahlensensoren. Durch Fusion werden einzelne Sensorabtastungen plausibilisiert und/oder redundant.
  • Die Belegungswahrscheinlichkeiten der Bildpunkte des Belegungsbildes sind nach einem Aspekt der Erfindung Logitwerte. Der Logitwert oder logodds-Wert ist der Logarithmus des Quotienten der Belegungswahrscheinlichkeit p des zugeordneten Bildpunktes und der Gegenwahrscheinlichkeit 1-p. Wenn p eine Wahrscheinlichkeit ist, dann ist der Quotient p/(1-p) der odd-Wert. Der Logitwert der Wahrscheinlichkeit p ist damit der Logarithmus des odd-Wertes. Wenn der Logitwert negativ ist, das heißt p<0.5, dann ist der Bildpunkt frei. Wenn der Logitwert positiv ist, das heißt p>0.5, dann ist der Bildpunkt belegt.
  • Das Höhenbild und das Tiefenbild werden beispielsweise aus Punktwolken, auch point clouds genannt, der Sensorabtastung erhalten, siehe beispielsweise US 2018 / 0 210 087 A1 , deren Offenbarung hinsichtlich des Erhaltens von Höhenbildern durch Verweis hier miteinbezogen ist. Das Höhenbild und das Tiefenbild sind jeweils Bilder in den Dimensionen Azimut und Elevation, die die Höhe, insbesondere relativ zu der Bodenoberfläche, von Reflexionen von Sensorabtastungen in Abhängigkeit des Elevationswinkels und die Tiefe, das heißt Entfernungen von Reflexionen von Sensorabtastungen relativ zu dem Strahlensensor, in Abhängigkeit des Azimutwinkels darstellen. Beispielsweise sind das Höhenbild und das Tiefenbild 2D Grauskalenbilder, das heißt die Höhe und die Tiefe skalieren mit dem Grauwert in dem jeweiligen Bildpunkt. Der Grauwert liegt im Bereich von weiß bis schwarz. Schwarz entspricht beispielsweise der Höhe null, das heißt der Bodenoberfläche, und der Entfernung null Meter. Das Höhenbild und das Tiefenbild sind die Eingangsobjekte, das heißt die Inputs, um das Belegungsbild zu erhalten.
  • Eine Punktwolke ist eine Datenstruktur zum Speichern von Messungen von Sensorabtastungen. Punktwolken speichern alle Zielpunkte in einer Liste umfassend die jeweiligen Koordinaten der Zielpunkte und weitere Informationen, beispielsweise Helligkeit oder Intensität.
  • Nach einem Aspekt der Erfindung wird das Höhenbild und das Tiefenbild aus den Rohdaten einer Punktwolke einer Sensorabtastung eines Lidarsensors erhalten. Der Lidarsensor ist beispielsweise ein Velodyne 64 Lidarsensor mit einer Auflösung von 1024 x 64 Bildpunkten. Dadurch wird eine vergleichsweise hohe Auflösung für das Umfeldmodell erhalten.
  • Erfindungsgemäß entspricht jeder Bildpunkt des Höhenbildes und des Tiefenbildes höchstens einer Detektion. Das heißt, dass Echos nicht umfasst sind. Dadurch wird die Rechenzeit verkürzt. Alternativ umfasst das erfindungsgemäße Verfahren auch Echos.
  • Die Gradienten von Bildhelligkeitsfunktionen entsprechen Ableitungen der Bildhelligkeit, beispielsweise des Grauwertes, eines Bildes. Damit werden Änderungen der Bildhelligkeit dargestellt. Die aus den Gradienten resultierenden Gradientenbilder geben die jeweiligen Änderungen der Bildhelligkeit bildpunktweise an. Die Gradienten umfassen Gradienten erster Ordnung, das heißt Ableitungen erster Ordnung. Die Gradienten umfassen auch Gradienten höherer Ordnung, das heißt Ableitungen höherer Ordnung, beispielsweise Gradienten zweiter Ordnung. Die Gradienten sind beispielsweise absolute Gradienten.
  • Die Ableitungen umfassen Ableitungen nach Bildkoordinaten. Erfindungsgemäß umfassen die Ableitungen die Ableitungen, das heißt die Änderungen der Bildhelligkeit, nach der Entfernung zu dem Bezugspunkt des Strahlensensors oder dem Bezugspunkt des Fahrzeuges. Die Ableitungen nach der Entfernung zu dem Bezugspunkt modellieren eine reale Steigung eines Objekts in dem Umfeld des Fahrzeuges.
  • Nach einem Aspekt des erfindungsgemäßen Verfahrens wird die aus der Sensorabtastung erhaltenen Tiefe auf die Bodenoberfläche, auf der sich das Fahrzeug bewegt, mittels trigonometrischen Standardverfahren projiziert. Die Bildkoordinate kann als Variable dieser Projektion dargestellt werden. Aus der Kettenregel für Ableitungen ergibt sich dann die Ableitung nach der Entfernung zu dem Bezugspunkt, das heißt nach der Projektion, aus der Ableitung nach der Bildkoordinate und der Ableitung der Bildkoordinate nach der Projektion. Dies gilt analog für Gradienten höherer Ordnung.
  • Die Bildpunkte des Belegungsbildes geben die jeweilige Belegungswahrscheinlichkeit in diesen Bildpunkten an, das heißt die Information, ob ein Teil einer Oberfläche überfahrbar oder nicht überfahrbar ist. Beispielsweise ist eine Oberfläche überfahrbar, wenn sie hinreichend glatt, im Englischen auch smooth genannt, und flach ist. Glattheit und Flachheit wird durch die Gradienten definiert. Damit kann aus den Gradientenbildern auf ein Belegungsbilds geschlossen werden.
  • Die Kombination der Gradientenbilder, aus denen das Belegungsbild erhalten wird, ist beispielsweise eine Linearkombination der Gradientenbilder. Die Kombination der Gradientenbilder zum Erhalten des Belegungsbildes entspricht einem inversen Sensormodell. Im Vergleich zu den aus dem Stand der Technik bekannten inversen Sensormodellen wird mittels der erfindungsgemäßen Kombination der Gradientenbilder das Belegungbild in Bezug auf Rechenzeit und Rechenkomplexität schneller und einfacher erhalten. Insbesondere werden Reflexionen von Bodenoberflächen als Hinweis auf freien, das heißt überfahrbaren, Raum verwendet. Ein sogenanntes ray-tracing, das heißt Strahlenverfolgung, entfällt und damit die zur Durchführung des raytracings erforderliche hohe Rechenleistung. Das ray-tracing ist ein auf der Aussendung von Strahlen der Strahlensensoren basierender Algorithmus zur Ermittlung der Sichtbarkeit von dreidimensionalen Objekten von einem bestimmten Punkt im Raum aus, beispielsweise vom Bezugspunkt des Strahlensensors oder vom Bezugspunkt des Fahrzeuges. Bei den bekannten inversen Sensormodellen wird ray-tracing verwendet, um freie Räume zu bestimmen. Das inverse Sensormodell gemäß der Erfindung ist insbesondere ein inverses Sensormodell für Rohdaten einer Punktwolke einer Sensorabtastung eines Lidarsensors.
  • Die Weltkoordinaten sind die Ursprungskoordinaten, mit dem die Koordinaten in Azimut- und Elevationswinkel referenziert sind. Die Weltkoordinaten sind unabhängig von einer Bewegung des Strahlensensors oder des Fahrzeuges, an dem der Strahlensensor angeordnet ist. Die Weltkoordinaten sind beispielsweise kartesische Koordinaten. Für jedes Pixel des Belegungsbildes werden beispielsweise die zugehörigen zweidimensionalen kartesischen Koordinaten durch Koordinatentransformation berechnet.
  • Da die Belegungswahrscheinlichkeiten der Bildpunkte des Belegungsbildes Logitwerte sind, könne die den Weltpunkten zugeordneten Belegungswahrscheinlichkeiten einfach in die zugehörigen Zellen des Gittermodells des Umfeldes, insbesondere zu schon vorhandenen Werten, addiert werden. Damit wird ein occupancy grid als Umfeldmodell erhalten.
  • Das erfindungsgemäße Verfahren stellt damit insbesondere eine Berechnungsmethode oder einen Algorithmus bereit, ein bildbasiertes 2D Belegungsgitter aus Rohdaten einer Lidar Punktwolke zu erhalten, wobei ein Höhenbild und ein Tiefenbild zu einem Belegungsbild, dem occupancy grid, kombiniert werden und ein kartesisches Belegungsbild durch Koordinatentransformation erhalten wird.
  • Das erfindungsgemäße Steuergerät zur automatisierten Steuerung eines Fahrzeuges umfasst eine erste Schnittstelle zu einem Strahlensensor. Über die erste Schnittstelle werden Abtastungen eines Umfeldes eines Fahrzeuges zu erhalten. Ferner umfasst das Steuergerät eine Recheneinheit. Die Recheneinheit umfasst einen Speicher. Die Recheneinheit ist ausgeführt, ein erfindungsgemäßes Verfahren auszuführen, um ein Umfeldmodell zu erhalten. In Abhängigkeit des Umfeldmodells berechnet die Recheneinheit Signale für Fahrzeugaktuatoren. Das Steuergerät umfasst außerdem eine zweite Schnittstelle zu den Fahrzeugaktuatoren. Über die zweite Schnittstelle werden die Signale den Fahrzeugaktuatoren bereitgestellt.
  • Damit kann in Abhängigkeit des Umfeldmodells das Fahrzeug in Echtzeit automatisiert gesteuert werden. Da das Umfeldmodell aufgrund der erfindungsgemäßen Optimierung des Speicherbedarfs das Umfeld detailliert modelliert, wird die Sicherheit beim Betreiben von automatisierten Fahrzeugen erhöht.
  • Ein Steuergerät verarbeitet Eingangssignale mittels einer Prozessiereinheit und stellt Logik- und/oder Leistungspegel als Regel- oder Steuersignale bereit. Das Steuergerät kann Rohdaten von Sensoren aufbereiten um Eingangssignale zu erhalten. Mittels der Regel- oder Steuersignale werden Aktuatoren, beispielsweise Fahrzeugaktuatoren, geregelt und gesteuert. Das Steuergerät ist bevorzugt in ein Bordnetz des Fahrzeuges integriert. Beispielsweise ist das Steuergerät signaltechnisch mit einem CAN-Bus verbunden. Das Steuergerät ist insbesondere ein elektronisches Steuergerät, das mehrere Geräte eines Fahrzeugsystems, das heißt eine Fahrzeugdomäne, steuert. In diesem Zusammenhang ist das Steuergerät ein Domain elektronisches Steuergerät, im Englischen domain electronic control unit, abgekürzt domain ECU, genannt. Bevorzugt ist das Steuergerät eine ADAS/AD Domain ECU, das heißt ein Steuergerät für assistiertes, das heißt advanced driver assistance system, oder autonomes, das heißt autonomous driving, Fahren.
  • Fahrzeugaktuatoren sind beispielsweise Aktuatoren für Motorsteuerung, zum Beispiel Ventile, eines Bremssystems, zum Beispiel Bremsscheiben, oder eines Lenkungssystems, beispielsweise Lenkstange.
  • Die Erfindung wird anhand der Figuren beispielhaft erläutert. Es zeigen:
    • 1 ein Ausführungsbeispiel eines zweidimensionalen Gitters,
    • 2 Ausführungsbeispiele eines Höhenbildes, Tiefenbildes und Belegungsbilder,
    • 3 ein Ausführungsbeispiel eines erfindungsgemäßen Verfahrens,
    • 4 Ausführungsbeispiele von freien und belegten Regionen,
    • 5 ein Ausführungsbeispiel eines erfindungsgemäßen Steuergeräts und
    • 6 ein Ausführungsbeispiel eines Fahrzeuges mit einem Strahlensensor.
  • In den Figuren bezeichnen gleiche Bezugszeichen gleiche oder funktionsähnliche Bezugsteile. Übersichtshalber werden in den Figuren nur die jeweils relevanten Bezugsteile angegeben.
  • 1 zeigt eine multi-level surface Karte mit einem zweidimensionalen Gitter Gt(x,y) in der x-y-Ebene. Die Erfindung kann aber auch mit einer single-level surface Karte ausgeführt werden.
  • Von dem Gitter sind ausschnittsweise vier Zellen c11, c12, c21 und c22 dargestellt. Wird beispielsweise eine Fläche von 100m × 100m gescannt und erfasst eine Zelle einen Abschnitt des Umfeldes von 10cm × 10cm, sind 106 Zellen erforderlich, um mit dem Gitter das die Fläche vollständig abzudecken.
  • Beispielsweise wird in der Zelle c12 ein Objekt erfasst. Die Zelle c12 kann eine Maximalanzahl Nt von Nt=3 Zielpunkten T abspeichern. Das Objekt hat drei Höhenniveaus oder surface patches mit Durchschnittshöhen z1, z2 und z3, Höhenbereichen std1, std2 und std3 und Logitwerten P1, P2 und P3. Diese Größen werden als drei Zielpunkte T in der Zelle c12 gespeichert. Zur Ausführung des erfindungsgemäßen Verfahren ist mindestens ein Höhenniveau erforderlich, das heißt ein surface patch einer single-level surface Karte. Damit ist der Speicher der Zelle c12 zunächst gefüllt.
  • 2 zeigt beispielhaft ein Höhenbild H, ein Tiefenbild R und ein mittels des erfindungsgemäßen Verfahrens erhaltenen Belegungsbild O aus einer Kombination von Gradienten des Höhenbildes H und des Tiefenbildes R. Ferner zeigt 2 ein Weltpunktbelegungsbild C in kartesischen Koordinaten sowohl unbearbeitet und mittels Bildverarbeitungsalgorithmen verarbeitet.
  • Das erfindungsgemäße Verfahren ist in 3 gezeigt und umfasst die Schritte:
    • • V1: Erhalten einer Sensorabtastung des Umfelds,
    • • V2: Erhalten eines Höhenbildes H und eines Tiefenbildes R durch Prozessieren der Sensorabtastung, wobei Bildpunkte des Höhenbildes H und des Tiefenbildes R jeweils Reflexionen der Sensorabtastung darstellen,
    • • V3: Erhalten von zu dem Höhenbild H und/oder dem Tiefenbild R jeweils zugehörigen Gradientenbildern durch Bestimmen von Gradienten von Bildhelligkeitsfunktionen des Höhenbildes H und/oder des Tiefenbildes R,
    • • V4: Bestimmen eines Belegungsbildes O aus einer Kombination der Gradientenbilder, wobei jeder Bildpunkt des Belegungsbildes O eine Belegungswahrscheinlichkeit darstellt,
    • • V5: Bestimmen von Weltkoordinaten für jeden Bildpunkt des Belegungsbildes O und Erhalten von Weltpunkten, wobei jedem Weltpunkt die Belegungswahrscheinlichkeit des entsprechenden Bildpunktes des Belegungsbildes O zugeordnet ist, und
    • • V6: Erhalten des Umfeldmodells durch Addieren der Belegungswahrscheinlichkeiten der Weltpunkte in die zugehörigen Zellen cij des Umfeldes.
  • 4 zeigt mittels des erfindungsgemäßen Verfahrens als frei F und belegt B klassifizierte Regionen.
  • 5 zeigt ein erfindungsgemäßes Steuerungssystem 20. Das Steuerungssystem 20 umfasst den Strahlensensor 2. Ferner umfasst das Steuerungssystem 20 ein erfindungsgemäße Steuergerät 10. Das Steuerungssystem 20 umfasst außerdem Fahrzeugaktuatoren 3 und eine Anzeigeeinheit 4.
  • Der Strahlensensor 2 ist mittels einer ersten Schnittstelle 11 mit dem Steuergerät 10 signaltechnisch verbunden. Daten des Strahlensensors 2 werden mittels der ersten Schnittstelle 11 einer Prozessiereinheit 12 des Steuergeräts 10 bereitgestellt. Die Prozessiereinheit 12 erzeugt in Abhängigkeit der Sensorabtastungen ein Umfeld-modell in Form einer Gitterkarte gemäß dem erfindungsgemäßen Verfahren.
  • In Abhängigkeit des Umfeldmodells berechnet die Prozessiereinheit 12 Signale S für die Fahrzeugaktuatoren 3 und für die Anzeigeeinheit 4. Die Fahrzeugaktuatoren 3 steuern das Fahrzeug 1 in Abhängigkeit der Signale S. Die Anzeigeeinheit 4 stellt das Umfeldmodell graphisch dar.
  • 6 zeigt ein Straßenfahrzeug 1 umfassend einen Lidarsensor 2 als Strahlensensor. Signale S werden mittels einer zweiten Schnittstelle 13 des Steuergeräts 10 Fahrzeugaktuatoren 3 bereitgestellt. Mittels einer dritten Schnittstelle 14 des Steuergeräts werden die Signale S einer Anzeigeeinheit 4 bereitgestellt.

Claims (10)

  1. Computerimplementiertes Verfahren zum Erhalten eines Umfeldmodells, das ein Umfeld eines Objekts (1) in Zellen (cij) mit einer jeweiligen Belegungswahrscheinlichkeit unterteilt, mit den Schritten: • Erhalten einer Sensorabtastung des Umfelds (V1), • Erhalten eines Höhenbildes (H) und eines Tiefenbildes (R) durch Prozessieren der Sensorabtastung, wobei Bildpunkte des Höhenbildes (H) und des Tiefenbildes (R) jeweils Reflexionen der Sensorabtastung darstellen (V2), • Erhalten von zu dem Höhenbild (H) und/oder dem Tiefenbild (R) jeweils zugehörigen Gradientenbildern durch Bestimmen von Gradienten von Bildhelligkeitsfunktionen des Höhenbildes (H) und/oder des Tiefenbildes (R) (V3), • Bestimmen eines Belegungsbildes (O) aus einer Kombination der Gradientenbilder, wobei jeder Bildpunkt des Belegungsbildes (O) eine Belegungswahrscheinlichkeit darstellt (V4), • Bestimmen von Weltkoordinaten für jeden Bildpunkt des Belegungsbildes (O) und Erhalten von Weltpunkten, wobei jedem Weltpunkt die Belegungswahrscheinlichkeit des entsprechenden Bildpunktes des Belegungsbildes (O) zugeordnet ist (V5), und • Erhalten des Umfeldmodells durch Addieren der Belegungswahrscheinlichkeiten der Weltpunkte in die zugehörigen Zellen (cij) des Umfeldes (V6).
  2. Verfahren nach Anspruch 1, wobei ein Gradient erster Ordnung (ldHI) und ein Gradient zweiter Ordnung (|d2H|) des Höhenbildes (H) bestimmt werden und das Belegungsbild (O) aus einer Kombination des aus dem Gradienten erster Ordnung (|dH|) erhaltenen Gradientenbildes und des aus dem Gradienten zweiter Ordnung (|d2H|) erhaltenen Gradientbildes bestimmt wird.
  3. Verfahren nach Anspruch 1, wobei ein Gradient erster Ordnung (|dH|) und ein Gradient zweiter Ordnung (|d2H|) des Höhenbildes (H) und ein Gradient erster Ordnung (|dR|) des Tiefenbildes (R) bestimmt werden und das Belegungsbild (O) aus einer Kombination des aus dem Gradienten erster Ordnung (|dH|) erhaltenen Gradientenbildes des Höhenbildes (H), des aus dem Gradienten zweiter Ordnung (|d2H|) erhaltenen Gradientbildes des Höhenbildes (H) und des aus dem Gradienten erster Ordnung (|dR|) erhaltenen Gradientenbildes des Tiefenbildes (R) bestimmt wird.
  4. Verfahren nach Anspruch 3, wobei das Belegungsbild (O) aus der Kombination O = A*|dH| + B*|d2H| - C*|dR| - D erhalten wird mit A, B, C, D >=0, A ∈ [0.5; 2.0], B ∈ [1.0; 4.0], C <=0.2 und D ∈ [0.3; 0.7].
  5. Verfahren nach einem der Ansprüche 1 bis 4, wobei die Gradienten der Bildhelligkeitsfunktionen des Höhenbildes (H) und/oder des Tiefenbildes (R) mittels diskreten Differentialoperatoren bestimmt werden.
  6. Verfahren nach einem der Ansprüche 1 bis 5, wobei aufeinanderfolgende Sensorabtastungen erhalten werden und das Verfahren in Zyklen der Sensorabtastungen wiederholt durchgeführt wird.
  7. Verfahren nach einem der Ansprüche 1 bis 6, wobei Freiräume in dem aus den Weltpunkten erhaltenen Weltbelegungsbild mittels Bildverarbeitungsalgorithmen aufgefüllt werden und/oder Unsicherheiten in der Sensorabtastung mittels Bildverarbeitungsalgorithmen modelliert werden.
  8. Verfahren nach einem der Ansprüche 1 bis 7, wobei die Sensorabtastungen von Strahlensensoren (2) eines automatisiert betreibbaren Fahrzeuges (1) erhalten werden und das Umfeldmodell für das Fahrzeug (1) erhalten wird.
  9. System zum Erhalten eines Umfeldmodells umfassend einen Strahlensensor (2), der in Betrieb Sensorabtastungen eines Umfelds eines Objekts (1) erhält, und eine Prozessiereinheit (12), die so angepasst ist, dass sie in Betrieb die Schritte eines Verfahrens nach einem der Ansprüche 1 bis 8 ausführt, wobei die Prozessiereinheit (12) die Sensorabtastungen erhält und mittels eines erhaltenen Umfeldmodells eine Trajektorienplanung für ein Fahrzeug (1) bestimmt.
  10. Steuergerät (10) für ein automatisiert betreibbares Fahrzeug (1) umfassend eine Prozessiereinheit (12), die so angepasst ist, dass sie in Betrieb die Schritte eines Verfahrens nach einem der Ansprüche 1 bis 8 ausführt und mittels eines erhaltenen Umfeldmodells eine Trajektorienplanung für das Fahrzeug (1) bestimmt, wobei das Steuergerät (10) ausgeführt ist, Längs- und/oder Querführung des Fahrzeuges (1) entsprechend der Trajektorienplanung zu regeln und/oder zu steuern.
DE102020201000.5A 2020-01-28 2020-01-28 Computerimplementiertes Verfahren und System zum Erhalten eines Umfeldmodells und Steuergerät für ein automatisiert betreibbares Fahrzeug Active DE102020201000B3 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102020201000.5A DE102020201000B3 (de) 2020-01-28 2020-01-28 Computerimplementiertes Verfahren und System zum Erhalten eines Umfeldmodells und Steuergerät für ein automatisiert betreibbares Fahrzeug

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102020201000.5A DE102020201000B3 (de) 2020-01-28 2020-01-28 Computerimplementiertes Verfahren und System zum Erhalten eines Umfeldmodells und Steuergerät für ein automatisiert betreibbares Fahrzeug

Publications (1)

Publication Number Publication Date
DE102020201000B3 true DE102020201000B3 (de) 2021-07-29

Family

ID=76753870

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102020201000.5A Active DE102020201000B3 (de) 2020-01-28 2020-01-28 Computerimplementiertes Verfahren und System zum Erhalten eines Umfeldmodells und Steuergerät für ein automatisiert betreibbares Fahrzeug

Country Status (1)

Country Link
DE (1) DE102020201000B3 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113791625A (zh) * 2021-09-30 2021-12-14 深圳市优必选科技股份有限公司 全覆盖路径生成方法、装置、终端设备及存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102009022278A1 (de) 2009-05-22 2010-01-21 Daimler Ag Verfahren zur Ermittlung eines hindernisfreien Raums
DE102011056671A1 (de) 2011-12-20 2013-06-20 Conti Temic Microelectronic Gmbh Bestimmung eines Höhenprofils einer Fahrzeugumgebung mittels einer 3D-Kamera
DE102015207978B3 (de) 2015-04-30 2016-06-23 Bayerische Motoren Werke Aktiengesellschaft Analyse der Belegung von grid-basierten Umfeldkarten eines Fahrzeugs
DE102015201868A1 (de) 2015-02-03 2016-08-04 Bayerische Motoren Werke Aktiengesellschaft Optimierte Speicherung einer Umfeldkarte im Speicher eines Fahrzeugs
DE102015201867A1 (de) 2015-02-03 2016-08-04 Bayerische Motoren Werke Aktiengesellschaft Optimierte Speicherung einer Umfeldkarte im Speicher eines Fahrzeugs
US20170203692A1 (en) 2014-05-08 2017-07-20 Continental Automotive Gmbh Method and device for the distortion-free display of an area surrounding a vehicle
EP2771873B1 (de) 2011-10-28 2018-04-11 Conti Temic microelectronic GmbH Gitterbasiertes umfeldmodell für ein fahrzeug
US20180210087A1 (en) 2017-01-26 2018-07-26 The Regents Of The University Of Michigan Localization Using 2D Maps Which Capture Vertical Structures In 3D Point Data

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102009022278A1 (de) 2009-05-22 2010-01-21 Daimler Ag Verfahren zur Ermittlung eines hindernisfreien Raums
EP2771873B1 (de) 2011-10-28 2018-04-11 Conti Temic microelectronic GmbH Gitterbasiertes umfeldmodell für ein fahrzeug
DE102011056671A1 (de) 2011-12-20 2013-06-20 Conti Temic Microelectronic Gmbh Bestimmung eines Höhenprofils einer Fahrzeugumgebung mittels einer 3D-Kamera
US20170203692A1 (en) 2014-05-08 2017-07-20 Continental Automotive Gmbh Method and device for the distortion-free display of an area surrounding a vehicle
DE102015201868A1 (de) 2015-02-03 2016-08-04 Bayerische Motoren Werke Aktiengesellschaft Optimierte Speicherung einer Umfeldkarte im Speicher eines Fahrzeugs
DE102015201867A1 (de) 2015-02-03 2016-08-04 Bayerische Motoren Werke Aktiengesellschaft Optimierte Speicherung einer Umfeldkarte im Speicher eines Fahrzeugs
DE102015207978B3 (de) 2015-04-30 2016-06-23 Bayerische Motoren Werke Aktiengesellschaft Analyse der Belegung von grid-basierten Umfeldkarten eines Fahrzeugs
US20180210087A1 (en) 2017-01-26 2018-07-26 The Regents Of The University Of Michigan Localization Using 2D Maps Which Capture Vertical Structures In 3D Point Data

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
DIA, Roxana [u.a.]: General inverse sensor model for probabilistic occupancy grid maps using multi-target sensors. In: 23rd International Symposium on Mathematical Theory of Networks and Systems, July 16-20, 2018, Hong Kong, 2018, S. 941-948. URL: mtns2018.ust.hk/media/files/0190.pdf [abgerufen am 2020-06-22].
DRYANOVSKI, Ivan ; MORRIS, William ; XIAO, Jizhong: Multi-volume occupancy grids: An efficient probabilistic 3D mapping model for micro aerial vehicles. In: 2010 IEEE/RSJ International Conference on Intelligent Robots and Systems, 2010, S. 1-7. - ISSN 2153-0866 (E) ; 2153-0858 (P). DOI: 10.1109/IROS.2010.5652494. URL: https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=5652494 [abgerufen am 2019-08-01].
I. Dryanovski et al., „Multi-volume occupancy grids: An efficient probabilistic 3D mapping model for micro aerial vehicles", in 2010 IEEE/RSJ International Conference on Intelligent Robots and Systems, 2010, S. 1553-1559‟
Norm SAE J3016 2018-06-15. Taxonomy and definitions for terms related to driving automation systems for on-road motor vehicles.
R. Dia et al., „General Inverse Sensor Model for Probabilistic Occupancy Grid Maps using Multi-Target Sensors", in 23rd International Symposium on Mathematical Theory of Networks and Systems, Hong Kong University of Science and Technology, diskutiert 2018

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113791625A (zh) * 2021-09-30 2021-12-14 深圳市优必选科技股份有限公司 全覆盖路径生成方法、装置、终端设备及存储介质

Similar Documents

Publication Publication Date Title
DE102011100927B4 (de) Objekt- und Fahrzeugdetektion und -verfolgung unter Verwendung von 3-D-Laserentfernungsmesser
DE102019121140A1 (de) Sensorfusion
DE102007013023B4 (de) Probabilistische Rasterkarte
DE102019133703A1 (de) Verfahren und systeme zur herstellung und lokalisierung für ein fahrzeug
DE102020113848A1 (de) Ekzentrizitätsbildfusion
DE102011111440A1 (de) Verfahren zur Umgebungsrepräsentation
DE102019126542A1 (de) Lokalisierung einer stationären kamera
DE102020126973A1 (de) Verfahren und system zur lokalisierten fahrspurwahrnehmung
DE112021006111T5 (de) Systeme und Verfahren zur monokularisierten Objekterkennung
DE102014208967A1 (de) Umfeldkarte für Fahrflächen mit beliebigem Höhenverlauf
DE102021124810A1 (de) Neuronales fahrzeugnetzwerk
DE102022128884A1 (de) Sensoroptimierung
DE102023104789A1 (de) Verfolgung mehrerer objekte
EP2577614B1 (de) Vorrichtung zur darstellung von gelände auf einer anzeigevorrichtung eines flugkörpers
DE102021103774A1 (de) Fahrzeugsensorfusion
DE102020201000B3 (de) Computerimplementiertes Verfahren und System zum Erhalten eines Umfeldmodells und Steuergerät für ein automatisiert betreibbares Fahrzeug
DE102019203274B3 (de) Computerimplementiertes Verfahren zum Erstellen eines Umfeldmodells für ein automatisiert betreibbares Fahrzeug, Steuergerät und Computerprogrammprodukt zur automatisierten Steuerung eines Fahrzeuges und Steuerungssystem für ein Fahrzeug
DE102021121712A1 (de) Gruppenobjektnachverfolgung
DE102020003662A1 (de) Verfahren zur Bestimmung einer Eigenbewegung mittels Lidar-Odometrie und Fahrzeug
DE102021107914A1 (de) Verbesserter fahrzeugbetrieb
DE102020124331A1 (de) Fahrzeugspurkartierung
DE112020003551T5 (de) Straßenkurvenerzeugung in Bildern der realen Welt als ein Verfahren zur Datenaugmentierung
EP3809316A1 (de) Vorhersage eines strassenverlaufs auf basis von radardaten
DE102020205468A1 (de) Autonomes und/oder assistiertes Kuppeln eines Anhängers unter Berücksichtigung des Höhenprofils des Untergrunds
DE102004050690A1 (de) Verfahren, Computer-Programm mit Programm-Code-Mitteln, Computer-Programm-Produkt und Gerät zur Modellierung der Umwelt eines autonomen mobilen Systems

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R016 Response to examination communication
R018 Grant decision by examination section/examining division
R020 Patent grant now final