DE102019214319A1 - Verfahren zur Verbesserten Umfelderfassung - Google Patents

Verfahren zur Verbesserten Umfelderfassung Download PDF

Info

Publication number
DE102019214319A1
DE102019214319A1 DE102019214319.9A DE102019214319A DE102019214319A1 DE 102019214319 A1 DE102019214319 A1 DE 102019214319A1 DE 102019214319 A DE102019214319 A DE 102019214319A DE 102019214319 A1 DE102019214319 A1 DE 102019214319A1
Authority
DE
Germany
Prior art keywords
environment
sensor data
sensor
vehicle
areas
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102019214319.9A
Other languages
English (en)
Inventor
Martin Iudica
Sebastien Reisinger
Ahmed Abdeldaym
Frank Edling
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Continental Autonomous Mobility Germany GmbH
Original Assignee
Continental Automotive GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Continental Automotive GmbH filed Critical Continental Automotive GmbH
Priority to DE102019214319.9A priority Critical patent/DE102019214319A1/de
Priority to JP2020148739A priority patent/JP2021049972A/ja
Priority to CN202010991506.9A priority patent/CN112537309A/zh
Priority to US17/027,099 priority patent/US20210086687A1/en
Publication of DE102019214319A1 publication Critical patent/DE102019214319A1/de
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/02—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments
    • B60Q1/04—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights
    • B60Q1/06—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights adjustable, e.g. remotely-controlled from inside vehicle
    • B60Q1/08—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights adjustable, e.g. remotely-controlled from inside vehicle automatically
    • B60Q1/085—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights adjustable, e.g. remotely-controlled from inside vehicle automatically due to special conditions, e.g. adverse weather, type of road, badly illuminated road signs or potential dangers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/0017—Devices integrating an element dedicated to another function
    • B60Q1/0023—Devices integrating an element dedicated to another function the element being a sensor, e.g. distance sensor, camera
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/865—Combination of radar systems with lidar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4802—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo or light sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Mechanical Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Electromagnetism (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Physics (AREA)
  • Transportation (AREA)
  • Traffic Control Systems (AREA)
  • Lighting Device Outwards From Vehicle And Optical Signal (AREA)

Abstract

Verfahren zur verbesserten Umfelderfassung mittels zumindest einem ersten Umfelderfassungssensor (1) eines Fahrzeugs, wobei der zumindest eine erste Umfelderfassungssensor (1) ein optischer Sensor ist, mit den Schritten:- Erfassen (S1) eines Umfelds des Fahrzeugs mittels des zumindest einen ersten Umfelderfassungssensors (1),- Erstellen (S2) eines ersten Umfeldmodells basierend auf Sensordaten des Umfelderfassungssensors (1),- Ermitteln (S3) von Bereichen mit geringer Güte in dem Umfeldmodell durch Auswertung optischer Sensordaten mittels einer Bildauswerteeinrichtung (3),- Verbessern (S4) der Detektierbarkeit der Bereiche mit geringer Güte durch Ergreifen einer ausgewählten Maßnahme,- Erneutes Erfassen (S5) des Umfelds des Fahrzeugs mit zumindest einem optischen Sensor (1),- Vergleich (S6) der Sensordaten des optischen Sensors (1) nach Ergreifen der Maßnahme mit den Sensordaten des optischen Sensors (1) vor Ergreifen der Maßnahme,- Fusionierung (S7) der Sensordaten nach der Maßnahme mit bereits bestehenden Sensordaten des zumindest einen ersten Umfelderfassungssensors (1) zur Erstellung eines zweiten Umfeldmodells.

Description

  • Die Erfindung betrifft ein Verfahren zur verbesserten Umfelderfassung.
  • Aus dem Stand der Technik sind Systeme bekannt, welche sich ein aus verschiedenen Sensor- und Kartendaten ein Umfeldmodell berechnen. Weiterhin finden sich Konzepte für Systeme welche dieses Umfeldmodell mit Hilfe von externen Quellen (andere Fahrzeuge, Infrastrukturobjekte, Car-2-X) plausibilisieren oder in räumlich eng begrenzten (statischen) Bereichen erweitern.
  • Der aktuelle Stand der Technik erlaubt es bereits vom Zielfahrzeug (Ego-Fahrzeug) erkannte Eigenschaften des Umfeldes zu plausibilisieren bzw. deren Genauigkeit zu erweitern. Weisen die Erfassungsbereiche der Sensoren aufgrund der aktuellen Umfeldsituation Lücken oder Unsicherheiten auf, ist es dem Ego-Fahrzeug nach aktuellem Stand der Technik nicht möglich die Lücken oder Unsicherheiten selbständig zu verringern.
  • Es ist demnach eine Aufgabe der Erfindung ein Verfahren zur verbesserten Umfelderfassung bereitzustellen und daraus resultierend die Güte eines erstellten Umfeldmodells zu erhöhen.
  • Diese Aufgabe wird durch den Gegenstand der unabhängigen Ansprüche 1 und 9 gelöst. Weitere vorteilhafte Ausgestaltungen und Ausführungsformen sind Gegenstand der Unteransprüche.
  • Das Umfeldmodell stellt für (hoch-) automatisierte Fahrzeuge den Rahmen dar, in welchem sich Fahrzeugbewegungen (Trajektorien) planen lassen. In ersten, der Erfindung zugrunde liegenden Überlegungen, wurde festgestellt, dass, wenn das Umfeldmodell aufgrund der aktuellen Gegebenheiten (unzureichend ausgeleuchtete Fahrbahnbereiche, Prädiktionshorizont durch die Sensorreichweite kleiner als für eine sichere Traj ektorienplanung benötigt) Unzulänglichkeiten aufweist, kann das (hoch-) automatisierte Fahrzeug nur eine reduzierte Anzahl an möglichen Fahrzeugtrajektorien berechnen, was die Wahrscheinlichkeit erhöht, keine ideale bzw. hinreichend komfortable oder sichere Trajektorie durch das reale Fahrzeugumfeld zur Verfügung stellen zu können. Somit war es ein Ziel eine Möglichkeit zu schaffen, die Abdeckung und Güte des Fahrzeugumfelds so zu erweitern, dass sich gegenüber dem bekannten Stand der Technik eine größere Übereinstimmung des Umfeldmodells mit dem realen Fahrzeugumfeld ergibt und hierdurch die Wahrscheinlichkeit für das Finden einer hinreichend komfortablen bzw. hinreichend sicheren Trajektorie relevant erhöht wird.
  • Erfindungsgemäß wird demnach ein Verfahren zur verbesserten Umfelderfassung mittels zumindest einem ersten Umfelderfassungssensor eines Fahrzeugs vorgeschlagen, wobei der erste Umfelderfassungssensor ein optischer Sensor ist mit den Schritten:
    • - Erfassen eines Umfelds des Fahrzeugs mittels des zumindest einen ersten Umfelderfassungssensors,
    • - Erstellen eines ersten Umfeldmodells basierend auf Sensordaten des ersten Umfelderfassungssensors,
    • - Ermitteln von Bereichen mit geringer Güte in dem Umfeldmodell durch Auswertung optischer Sensordaten mittels einer Bildauswerteeinrichtung,
    • - Verbessern der Detektierbarkeit der Bereiche mit geringer Güte durch Ergreifen einer ausgewählten Maßnahme,
    • - Erneutes Erfassen des Umfelds des Fahrzeugs mit zumindest einem optischen Sensor,
    • - Vergleich der Sensordaten des optischen Sensors nach Ergreifen der Maßnahme mit den Sensordaten des optischen Sensors vor Ergreifen der Maßnahme,
    • - Fusionierung der Sensordaten nach der Maßnahme mit bereits bestehenden Sensordaten des zumindest einen ersten Umfelderfassungssensors zur Erstellung eines zweiten Umfeldmodells.
  • Das Ermitteln von Bereichen mit geringer Güte ist vorteilhaft, da diese Bereiche zu Unsicherheiten und Ungenauigkeiten im Umfeldmodell führen, was für die Trajektorienplanung nachteilig ist. Basierend auf der Ermittlung dieser Bereiche können Maßnahmen bzw. zumindest eine Maßnahme ergriffen werden, durch welche die Detektierbarkeit dieser Bereiche verbessert wird. Dies ist vorteilhaft, um die Unsicherheiten bzw. Ungenauigkeiten zu reduzieren und somit die Güte des Umfeldmodells zu erhöhen.
  • Bei der Verbesserung der Detektierbarkeit der Bereiche mit geringer Güte wird insbesondere die Detektierbarkeit durch den optischen Sensor verbessert.
  • Bei der Fusionierung werden also die Objekte, welche nach der Maßnahme durch den optischen Sensor erfasst werden, in dem Umfeldmodell mit den bestehenden Objekten fusioniert. Denkbar wäre auch, ein Umfeldmodell aus zwei Sensoren zu fusionieren. Hierbei könnte als zweiter Sensor ein Radar-, Lidar-, oder ein Ultraschallsensor verwendet werden. Bei der Verwendung eines zweiten Sensors können beispielsweise die Sensordaten nach der Maßnahme mit den Sensordaten des zweiten Umfelderfassungssensors fusioniert werden, wodurch ein noch genaueres Umfeldmodell erzeugt und somit die Güte des Umfeldmodells weiter verbessert werden kann.
  • In einer besonders bevorzugten Ausführungsform umfasst die Maßnahme die Ausleuchtung der Bereiche mit geringer Güte. Unter dem Begriff Ausleuchtung wird im Lichte der Erfindung nicht nur das Beleuchten eines Bereichs mit einem Licht im sichtbaren Bereich verstanden, sondern ebenso die Beleuchtung mit nichtsichtbarem Licht bzw. die Beleuchtung mit variierenden Wellenlängen. Besonders bevorzugt wird zunächst die Beleuchtung mit nichtsichtbarem Licht durchgeführt. Dies ist voreilhaft, da auf diese Weise der Fahrer von der Beleuchtung nicht irritiert bzw. abgelenkt wird.
  • Für die Ausleuchtung der Bereiche mit geringer Güte wird besonders bevorzugt zumindest eine Beleuchtungseinrichtung des Fahrzeugs angesteuert.
  • In einer weiteren bevorzugten Ausführungsform umfasst die zumindest eine Beleuchtungseinrichtung einen Frontscheinwerfer, Fernlicht, einen Nebelscheinwerfer, Matrixlicht, Laserlicht, eine Infrarotlichtquelle und/oder eine zusätzliche an dem Fahrzeug befestigte Lichtquelle. Die zusätzliche Lichtquelle kann dabei beispielsweise Licht außerhalb des sichtbaren Bereichs aussenden. Allgemein sind all die genannten Lichtquellen so in dem Fahrzeug angebracht, dass dieses Licht in den Erfassungsbereich mindestens eines der im Fahrzeug angebrachten optischen Sensoren aussenden.
  • Durch gezieltes einschalten oder aufblenden der Hauptscheinwerfer (Frontscheinwerfer), sowie der Nebelscheinwerfer werden gezielt Teile des Erfassungsbereichs von nach vorne gerichteten optischen Sensoren ausgeleuchtet. In Situationen, in denen die Kontrastverhältnisse bei natürlicher Beleuchtung unzureichenden Informationsgehalt haben, werden hierdurch zusätzliche Informationen über die Umfeldbeschaffenheit sowie Objektentfernungen gewonnen.
  • Nach aktuellem Stand der Technik ist die Verwendung von im Fahrzeug fest verbauten Lichtquellen zur aktiven, bedarfsgerechten Ausleuchtung des Fahrzeugumfelds nicht vorgesehen. Durch aktive Ansteuerung der verbauten Lichtquellen sowie den damit verbundenen Aktoren erfolgt eine gezielte Ausleuchtung von defizitär beleuchteten Arealen im Erfassungsbereich der optischen Sensoren ohne zusätzliche Hardwareaufwände. Hindernisse werden früher erkannt, bisher schlecht ausgeleuchtete Bereiche können für die Trajektorienplanung genutzt werden und durch die Verwendung bereits verbauter Lichtquellen lassen sich auch bestehende Systeme um die beschriebenen Funktionen erweitern.
  • In einer weiteren bevorzugten Ausführungsform ist die zusätzliche Lichtquelle eine Lichtquelle, welche dazu ausgestaltet ist Licht in einer auswählbaren Frequenz abzustrahlen, wobei durch die spezielle Frequenz bestimmte Objekte mit bekannter Rückstrahlcharakteristik im erfassten Umfeld hervorgehoben werden.
  • Durch die Nutzung unterschiedlicher Frequenzen bzw. Wellenlängen in der aktiven Umfeldbeleuchtung ist es zudem möglich, Rückschlüsse auf Fahrbahnart und Fahrbahnbeschaffenheit zu treffen. Hierzu wird in festen Intervallen mit definierten Wellenlängen, beispielsweise IR oder UV impulsartig beleuchtet und mit Hilfe von Bildsensoren mit passenden Filtern für diese Wellenlängen jeweils ein eigenes Bild pro Wellenlänge detektiert. Durch abwechselnde pulsierende Ansteuerung bzw. impulsartiges Beleuchten in verschiedenen Wellenlängen und anschließender Fusion der Bilder lassen sich zusätzliche Bild- bzw. Kontrastinformationen gewinnen, wodurch Fahrbahn- und Fahrspurbegrenzungen deutlicher abgrenzbar sind und sich auch dann Informationen aus Sensorbildern extrahieren lassen, wenn der Sensor im Bereich des sichtbaren Lichts, beispielsweise durch Gegenverkehr, geblendet ist.
  • Bei Licht einer anderen Frequenz bzw. Wellenlänge oder einer anderen Zusammensetzung von Wellenlängen wie im Standard-Scheinwerferlicht oder natürlichen Licht treten Kontrastunterschiede anders hervor. Beispielsweise kann eine Szene „hellgraue Fahrbahn begrenzt durch hellgraue Betonbarrieren“ unter natürlicher Beleuchtung kaum Kontrast haben, aber unter IR-Beleuchtung einen starken Kontrast zeigen.
  • Durch aktive Beleuchtung bzw. pulsierende/impulsartige Ansteuerung verbauter Leuchtmittel lassen sich plötzliche Fahrbahnübergänge, wie beispielsweise Schlaglöcher, Baugruben, Reibwertsprünge, Fahrbahngrenzen, fehlende Fahrbahn, Hafenbecken etc., anhand des Reflektionsverhaltens besser erkennen und im Umfeldmodell berücksichtigen.
  • Denkbar wäre auch, dass die in den Fahrspurmarkierungen genutzten Pigmente und dessen Reflektionsverhalten berücksichtigt werden und dafür Leuchtmittel in an die Pigmente angepassten Wellenlängen im Fahrzeug verbaut werden. Hierdurch wird es möglich, durch pulsierende Ansteuerung bzw. impulsartiges Beleuchten die Fahrspur und Fahrbahnmarkierungen für die optischen Sensoren besonders hervorzuheben sowie unterschiedliche Arten von Markierungen (reguläre, weiße Markierung; gelbe Baustellenmarkierung sowie generell unterschiedliche Farben) zu erkennen. Zusätzlich wäre es möglich explizite Fahrbahnmarkierungen für automatisierte Fahrzeuge zu definieren, welche ein Reflektionsverhalten aufweisen, welches nur für die Kameras des (hoch-) automatisierten Fahrzeugs mit entsprechenden Leuchtmitteln sichtbar sind. Hierdurch ließen sich einzelne Straßen oder Fahrspuren speziell für (hoch-) automatisierte Fahrzeuge vorbereiten, ohne dass sich ein menschlicher Fahrer auf diese veränderten bzw. zusätzlichen Markierungen einstellen muss. Dies wäre auch ohne spezielle Farbpigmente möglich indem beispielsweise für gelbe Markierungen die entsprechende Wellenlänge bzw. Frequenz für gelbes Licht ausgewählt wird. Auf diese Weise erscheint die gelbe Linie im Kamerabild heller.
  • Weiter wird bevorzugt nach dem Vergleich der Sensordaten geprüft, ob weitere Bereiche mit geringer Güte vorliegen. Hiermit soll geprüft werden, ob die Maßnahme ausreichend war und die vorher schwer erkennbaren Bereiche mit geringer Güte nun eine höhere Güte aufweisen. Unter weiteren Bereichen mit geringer Güte können entweder neue Bereiche oder aber die schon zuvor erkannten Bereiche mit geringer Güte verstanden werden.
  • Besonders bevorzugt wird bei Vorliegen von weiteren Bereichen mit geringer Güte die ausgewählte Maßnahme wiederholt. Denkbar wäre auch, dass bei vorliegen weiterer Bereiche mit geringer Güte bzw. falls dieselben Bereiche immer noch eine geringe Güte aufweisen, eine andere Maßnahme einzuleiten. Beispielsweise könnten Daten über diese Bereiche von der Infrastruktur oder anderen Verkehrsteilnehmern abgerufen werden.
  • Besonders bevorzugt werden zur Bewertung der Güte der optischen Sensordaten Kontraste, Ausleuchtung des Erfassungsbereichs, Wellenlänge des erfassten Lichts und/oder Verteilung der unterschiedlichen erfassten Wellenlängen über den Erfassungsbereich analysiert. Diese Analyse ist vorteilhaft, da auf diese Weise feststellbar ist, welche Art der Ausleuchtung bzw. allgemein welche Maßnahme geeignet ist die Detektierbarkeit der Bereiche mit geringer Güte zu verbessern.
  • Weiterhin wird erfindungsgemäß ein System zur Verwendung in einem Fahrzeug vorgeschlagen, wobei das System zur Durchführung des erfindungsgemäßen Verfahrens geeignet ist, umfassend zumindest einen ersten und einem zweiten Umfelderfassungssensor, wobei der erste Umfelderfassungssensor ein optischer Sensor ist und der zweite Umfelderfassungssensor ein Radar, Lidar oder Ultraschallsensor ist, zur Erfassung eines Umfelds eines Fahrzeugs, eine Bildauswerteeinrichtung zur Auswertung und Vergleichen optischer Sensordaten, zumindest einen Aktuator zum Ansteuern zumindest einer Beleuchtungseinrichtung sowie eine Recheneinheit zur Erstellung eines Umfeldmodells sowie zum Fusionieren von Sensordaten. Die Recheneinheit gibt fernen die Parameter vor, wie die Beleuchtungseinrichtung mittels des Aktuators angesteuert werden muss, um gezielt die entsprechenden Bereiche auszuleuchten.
  • Weitere vorteilhafte Ausgestaltungen ergeben sich aus den Zeichnungen. Darin zeigen:
    • 1: ein schematisches Ablaufdiagramm einer Ausführungsform der Erfindung;
    • 2: eine schematische Darstellung eines Systems gemäß einer Ausführungsform der Erfindung.
  • 1 zeigt schematisches Ablaufdiagramm einer Ausführungsform der Erfindung. Das Ablaufdiagramm beschreibt ein Verfahren zur verbesserten Umfelderfassung mittels zumindest einem ersten Umfelderfassungssensor eines Fahrzeugs, wobei der erste Umfelderfassungssensor ein optischer Sensor ist. In Schritt S1 wird ein Umfeld des Fahrzeugs mittels des zumindest einen ersten Umfelderfassungssensors erfasst. In Schritt S2 wird ein erste Umfeldmodell basierend auf Sensordaten des zumindest einen ersten Umfelderfassungssensors erstellt. In einem darauffolgenden Schritt S3 werden Bereiche mit geringer Güte in dem Umfeldmodell durch Auswertung optischer Sensordaten mittels einer Bildauswerteeinrichtung ermittelt. In Schritt S4 wird die Detektierbarkeit der Bereiche mit geringer Güte durch Ergreifen einer ausgewählten Maßnahme verbessert. In einem nächsten Schritt S5 wird das Umfeld des Fahrzeugs erneut mit zumindest dem optischen Sensor erfasst. Daraufhin werden in Schritt S6 die Sensordaten des optischen Sensors nach Ergreifen der Maßnahme mit den Sensordaten des optischen Sensors vor Ergreifen der Maßnahme verglichen. Abschließend werden in Schritt S7 die Sensordaten nach der Maßnahme mit bereits bestehenden Sensordaten des zumindest einen ersten Umfelderfassungssensors zur Erstellung eines zweiten Umfeldmodells fusioniert.
  • 2 zeigt eine schematische Darstellung eines Systems 7 gemäß einer Ausführungsform der Erfindung. Das System 7 ist dabei zur Verwendung in einem Fahrzeug vorgesehen, wobei das System zur Durchführung des erfindungsgemäßen Verfahrens geeignet ist, umfassend zumindest einen ersten 1 und einem zweiten Umfelderfassungssensor 2, wobei der erste Umfelderfassungssensor 1 ein optischer Sensor ist und der zweite Umfelderfassungssensor 2 ein Radar, Lidar oder Ultraschallsensor ist, zur Erfassung eines Umfelds eines Fahrzeugs, eine Bildauswerteeinrichtung 3 zur Auswertung und Vergleichen optischer Sensordaten, zumindest einen Aktuator 5 zum Ansteuern zumindest einer Beleuchtungseinrichtung 6 sowie eine Recheneinheit 4 zur Erstellung eines Umfeldmodells sowie zum Fusionieren von Sensordaten.
  • Bezugszeichenliste
    • 1
    erster Umfelderfassungssensor
    2
    zweiter Umfelderfassungssensor
    3
    Bildauswerteeinheit
    4
    Recheneinheit
    5
    Aktuator
    6
    Beleuchtungseinrichtung
    7
    System
    S1-S7
    Verfahrensschritte

Claims (9)

  1. Verfahren zur verbesserten Umfelderfassung mittels zumindest einem ersten Umfelderfassungssensor (1) eines Fahrzeugs, wobei der zumindest eine erste Umfelderfassungssensor (1) ein optischer Sensor ist, mit den Schritten: - Erfassen (S1) eines Umfelds des Fahrzeugs mittels des zumindest einen ersten Umfelderfassungssensors (1), - Erstellen (S2) eines ersten Umfeldmodells basierend auf Sensordaten des Umfelderfassungssensors (1), - Ermitteln (S3) von Bereichen mit geringer Güte in dem Umfeldmodell durch Auswertung optischer Sensordaten mittels einer Bildauswerteeinrichtung (3), - Verbessern (S4) der Detektierbarkeit der Bereiche mit geringer Güte durch Ergreifen einer ausgewählten Maßnahme, - Erneutes Erfassen (S5) des Umfelds des Fahrzeugs mit zumindest einem optischen Sensor (1), - Vergleich (S6) der Sensordaten des optischen Sensors (1) nach Ergreifen der Maßnahme mit den Sensordaten des optischen Sensors (1) vor Ergreifen der Maßnahme, - Fusionierung (S7) der Sensordaten nach der Maßnahme mit bereits bestehenden Sensordaten des zumindest einen ersten Umfelderfassungssensors (1) zur Erstellung eines zweiten Umfeldmodells.
  2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die Maßnahme die Ausleuchtung der Bereiche mit geringer Güte umfasst.
  3. Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass für die Ausleuchtung der Bereiche mit geringer Güte zumindest eine Beleuchtungseinrichtung (6) des Fahrzeugs angesteuert wird.
  4. Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass die zumindest eine Beleuchtungseinrichtung (6) einen Frontscheinwerfer, einen Nebelscheinwerfer, eine Infrarotlichtquelle und/oder eine zusätzliche an dem Fahrzeug befestigte Lichtquelle umfasst.
  5. Verfahren nach Anspruch 4, dadurch gekennzeichnet, dass die zusätzliche Lichtquelle eine Lichtquelle ist, welche dazu ausgestaltet ist Licht in einer auswählbaren Frequenz abzustrahlen, wobei durch die spezielle Frequenz bestimmte Objekte mit bekannter Rückstrahlcharakteristik im erfassten Umfeld hervorgehoben werden.
  6. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass nach dem Vergleich der Sensordaten geprüft wird, ob weitere Bereiche mit geringer Güte vorliegen.
  7. Verfahren nach Anspruch 6, dadurch gekennzeichnet, dass bei Vorliegen von weiteren Bereichen mit geringer Güte die ausgewählte Maßnahme wiederholt oder modifiziert angewendet wird.
  8. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass zur Bewertung der Güte der optischen Sensordaten Kontraste, Ausleuchtung des Erfassungsbereichs, Wellenlänge des erfassten Lichts, eine Verteilung der unterschiedlichen erfassten Wellenlängen über den Erfassungsbereich und/oder eine Überschreitung einer minimalen Grauwertschwelle im Bildbereich analysiert werden.
  9. System (7) zur Verwendung in einem Fahrzeug, wobei das System zur Durchführung des Verfahrens nach den Ansprüchen 1 bis 8 geeignet ist, umfassend zumindest einen ersten Umfelderfassungssensor(1), wobei der erste Umfelderfassungssensor (1) ein optischer Sensor ist, zur Erfassung eines Umfelds eines Fahrzeugs, eine Bildauswerteeinrichtung (3) zur Auswertung und Vergleichen optischer Sensordaten, zumindest einen Aktuator (5) zum Ansteuern zumindest einer Beleuchtungseinrichtung (6) sowie eine Recheneinheit (4) zur Erstellung eines Umfeldmodells sowie zum Fusionieren von Sensordaten.
DE102019214319.9A 2019-09-20 2019-09-20 Verfahren zur Verbesserten Umfelderfassung Pending DE102019214319A1 (de)

Priority Applications (4)

Application Number Priority Date Filing Date Title
DE102019214319.9A DE102019214319A1 (de) 2019-09-20 2019-09-20 Verfahren zur Verbesserten Umfelderfassung
JP2020148739A JP2021049972A (ja) 2019-09-20 2020-09-04 改善された周辺検出方法
CN202010991506.9A CN112537309A (zh) 2019-09-20 2020-09-17 用于改善周围环境检测的方法
US17/027,099 US20210086687A1 (en) 2019-09-20 2020-09-21 Method for improved surroundings detection

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102019214319.9A DE102019214319A1 (de) 2019-09-20 2019-09-20 Verfahren zur Verbesserten Umfelderfassung

Publications (1)

Publication Number Publication Date
DE102019214319A1 true DE102019214319A1 (de) 2021-03-25

Family

ID=74846408

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102019214319.9A Pending DE102019214319A1 (de) 2019-09-20 2019-09-20 Verfahren zur Verbesserten Umfelderfassung

Country Status (4)

Country Link
US (1) US20210086687A1 (de)
JP (1) JP2021049972A (de)
CN (1) CN112537309A (de)
DE (1) DE102019214319A1 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102021127180A1 (de) 2021-10-20 2023-04-20 Cariad Se Verfahren zum Betreiben einer Scheinwerfervorrichtung für ein Fahrzeug sowie Kraftfahrzeug mit einer Scheinwerfervorrichtung

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210215798A1 (en) * 2020-01-10 2021-07-15 Continental Automotive Systems, Inc. Lidar system

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102006041857A1 (de) * 2005-09-06 2007-04-05 GM Global Technology Operations, Inc., Detroit Verfahren und System zur Verbesserung der Verkehrssicherheit
DE102010033387A1 (de) * 2010-08-04 2011-03-17 Daimler Ag Umgebungserfassungsvorrichtung und Verfahren zum Erfassen einer Fahrzeugumgebung
DE102010015731A1 (de) * 2010-04-21 2011-10-27 Audi Ag Verfahren zur Steuerung eines Scheinwerfersystems eines Kraftfahrzeugs und Kraftfahrzeug
DE102011017644A1 (de) * 2011-04-28 2012-10-31 Robert Bosch Gmbh Verfahren zur Steuerung einer Scheinwerferanlage eines Fahrzeugs und Vorrichtung zur Ansteuerung einer Scheinwerferanlage eines Fahrzeugs
DE102013002212A1 (de) * 2013-02-06 2014-08-07 GM Global Technology Operations LLC (n. d. Ges. d. Staates Delaware) Spurhalteassistenzsystem für ein Kraftfahrzeug
DE102017206247A1 (de) * 2017-04-11 2018-10-11 Conti Temic Microelectronic Gmbh Verfahren zur prädiktiven Belichtungssteuerung einer Fahrzeugkamera

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ES2258399B1 (es) * 2005-02-04 2007-11-16 Fico Mirrors, S.A. Metodo y sistema para mejorar la supervision de un ambiente exterior de un vehiculo automovil.
US11042770B2 (en) * 2017-10-09 2021-06-22 EagleSens Systems Corporation Artificial intelligence based image data processing method and image sensor
KR102533860B1 (ko) * 2017-12-04 2023-05-19 소니그룹주식회사 화상 처리 장치 및 화상 처리 방법
JP7226440B2 (ja) * 2018-05-24 2023-02-21 ソニーグループ株式会社 情報処理装置、情報処理方法、撮影装置、照明装置、及び、移動体
DK201970129A1 (en) * 2018-12-14 2020-07-09 Aptiv Tech Ltd Determination of an optimal spatiotemporal sensor configuration for navigation of a vehicle using simulation of virtual sensors
US11422265B2 (en) * 2019-03-04 2022-08-23 Ouster, Inc. Driver visualization and semantic monitoring of a vehicle using LiDAR data
US11748991B1 (en) * 2019-07-24 2023-09-05 Ambarella International Lp IP security camera combining both infrared and visible light illumination plus sensor fusion to achieve color imaging in zero and low light situations

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102006041857A1 (de) * 2005-09-06 2007-04-05 GM Global Technology Operations, Inc., Detroit Verfahren und System zur Verbesserung der Verkehrssicherheit
DE102010015731A1 (de) * 2010-04-21 2011-10-27 Audi Ag Verfahren zur Steuerung eines Scheinwerfersystems eines Kraftfahrzeugs und Kraftfahrzeug
DE102010033387A1 (de) * 2010-08-04 2011-03-17 Daimler Ag Umgebungserfassungsvorrichtung und Verfahren zum Erfassen einer Fahrzeugumgebung
DE102011017644A1 (de) * 2011-04-28 2012-10-31 Robert Bosch Gmbh Verfahren zur Steuerung einer Scheinwerferanlage eines Fahrzeugs und Vorrichtung zur Ansteuerung einer Scheinwerferanlage eines Fahrzeugs
DE102013002212A1 (de) * 2013-02-06 2014-08-07 GM Global Technology Operations LLC (n. d. Ges. d. Staates Delaware) Spurhalteassistenzsystem für ein Kraftfahrzeug
DE102017206247A1 (de) * 2017-04-11 2018-10-11 Conti Temic Microelectronic Gmbh Verfahren zur prädiktiven Belichtungssteuerung einer Fahrzeugkamera

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102021127180A1 (de) 2021-10-20 2023-04-20 Cariad Se Verfahren zum Betreiben einer Scheinwerfervorrichtung für ein Fahrzeug sowie Kraftfahrzeug mit einer Scheinwerfervorrichtung

Also Published As

Publication number Publication date
CN112537309A (zh) 2021-03-23
US20210086687A1 (en) 2021-03-25
JP2021049972A (ja) 2021-04-01

Similar Documents

Publication Publication Date Title
EP2674326B1 (de) Verfahren und Vorrichtung zum Betreiben eines Scheinwerfers für ein Kraftfahrzeug
DE102015008774B4 (de) Verfahren und Vorrichtung zur Erfassung eines Fahrzeug-Umfelds
DE102011077038A1 (de) Verfahren und Vorrichtung zur Erkennung von Objekten in einem Umfeld eines Fahrzeugs
EP2700536A2 (de) Verfahren zum Betreiben eines Scheinwerfersystems und Scheinwerfersystem für ein Fahrzeug
EP2116958B1 (de) Verfahren und Vorrichtung zum Ermitteln des Fahrbahnverlaufs im Bereich vor einem Fahrzeug
EP2773531B1 (de) Verfahren und vorrichtung zur gruppierung von beleuchtungseinheiten
DE102015016375A1 (de) System und Verfahren zur objektbasierten Ansteuerung eines hochauflösenden Scheinwerfers für ein Kraftfahrzeug
DE102007036081A1 (de) Beleuchtungseinrichtung für ein Kraftfahrzeug und Verfahren zur Steuerung einer Leuchte
DE102014108239A1 (de) Verfahren zur adaptiven Steuerung eines hochauflösenden Scheinwerfersystems
EP3380362B1 (de) Kraftfahrzeugscheinwerfer mit einer intelligenten autobahn-lichthupe
DE102016205689A1 (de) Fahrzeuganzeigesystem
EP3592604A1 (de) Kraftfahrzeug mit einem beleuchtungsmodul zur generierung einer symbolik
DE102019214319A1 (de) Verfahren zur Verbesserten Umfelderfassung
DE102015200131A1 (de) Verfahren und Fahrerassistenzsystem zum Unterstützen eines Fahrers eines Fahrzeugs
DE102014009254B4 (de) Verfahren zum Steuern einer Lichtverteilung eines Scheinwerfers eines Fahrzeugs
DE102014003585A1 (de) Verfahren und Vorrichtung zur automatischen Einstellung eines Front-Scheinwerfers
WO2021224004A1 (de) Simulationsverfahren für ein pixelscheinwerfersystem
EP3548337A1 (de) Steuern eines scheinwerfers eines kraftfahrzeuges
DE102015115354A1 (de) Verfahren und Vorrichtung zum Projizieren einer temporären Fahrbahnmarkierung auf eine Fahrbahn
DE102018209809A1 (de) Verfahren zum Erstellen einer Lichtkarte
WO2018019413A1 (de) Steuereinrichtung für einen scheinwerfer und verfahren zum betreiben eines scheinwerfers
DE102008025749A1 (de) Verfahren und Vorrichtung zum Klassifizieren eines in mindestens einem Bild einer Abbildung eines Bereichs vor einem Fahrzeug detektierten Objekts
DE102014019246B4 (de) Fahrerassistenzeinrichtung für ein Kraftfahrzeug sowie Verfahren zum Betreiben einer solchen
DE102020007760A1 (de) Verfahren zur Klassifizierung von Fahrbahnmarkierungen und Fahrzeug
EP1962245B1 (de) Verfahren und Vorrichtung zum Ermitteln des Bewegungszustands von Objekten

Legal Events

Date Code Title Description
R163 Identified publications notified
R012 Request for examination validly filed
R081 Change of applicant/patentee

Owner name: CONTINENTAL AUTONOMOUS MOBILITY GERMANY GMBH, DE

Free format text: FORMER OWNER: CONTINENTAL AUTOMOTIVE GMBH, 30165 HANNOVER, DE