DE102019008079A1 - Verfahren zum Erkennen mindestens eines Objekts in einem Fahrbereich eines Fahrzeugs, Vorrichtung eingerichtet zum Druchführen eines solchen Verfahrens, und Fahrzeug mit einer solchen Vorrichtung - Google Patents

Verfahren zum Erkennen mindestens eines Objekts in einem Fahrbereich eines Fahrzeugs, Vorrichtung eingerichtet zum Druchführen eines solchen Verfahrens, und Fahrzeug mit einer solchen Vorrichtung Download PDF

Info

Publication number
DE102019008079A1
DE102019008079A1 DE102019008079.3A DE102019008079A DE102019008079A1 DE 102019008079 A1 DE102019008079 A1 DE 102019008079A1 DE 102019008079 A DE102019008079 A DE 102019008079A DE 102019008079 A1 DE102019008079 A1 DE 102019008079A1
Authority
DE
Germany
Prior art keywords
vehicle
imaging camera
thermal imaging
driving area
thermal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
DE102019008079.3A
Other languages
English (en)
Inventor
Fridtjof Stein
Chrysa Bozatzidou
Sebastian Dingler
Stefan Heyer
Sebastian Renken
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mercedes Benz Group AG
Original Assignee
Daimler AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Daimler AG filed Critical Daimler AG
Priority to DE102019008079.3A priority Critical patent/DE102019008079A1/de
Publication of DE102019008079A1 publication Critical patent/DE102019008079A1/de
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/165—Anti-collision systems for passive traffic, e.g. including static obstacles, trees
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9323—Alternative operation using light waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9324—Alternative operation using ultrasonic waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9327—Sensor installation details
    • G01S2013/93271—Sensor installation details in the front of the vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Automation & Control Theory (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)

Abstract

Verfahren zum Erkennen mindestens eines Objekts (1) in einem Fahrbereich (3) eines Fahrzeugs (5) mit mindestens einer an dem Fahrzeug (5) angeordneten Wärmebildkamera (7), umfassend die folgenden Schritte: Erfassen des Fahrbereichs (3) des Fahrzeugs (5) mit der mindestens einen Wärmebildkamera (7), wobei mindestens ein Wärmebild des Fahrbereichs (3) erhalten wird, Auswerten des mittels der mindestens einen Wärmebildkamera (7) erhaltenen mindestens einen Wärmebilds, wobei mindestens eine Funktionslücke der mindestens einen Wärmebildkamera (7) berücksichtigt wird, Erkennen mindestens eines Objekts (1) im Fahrbereich (3) des Fahrzeugs (5) in Abhängigkeit des mindestens einen ausgewerteten Wärmebilds, wobei eine Art und/oder eine Position des mindestens einen Objekts (1) ermittelt wird, und Anpassen und/oder Berechnen einer Geschwindigkeit und/oder einer Trajektorie des Fahrzeugs (5) in Abhängigkeit einer Art und/oder einer Position des mindestens einen erkannten Objekts (1).

Description

  • Die Erfindung betrifft ein Verfahren zum Erkennen mindestens eines Objekts in einem Fahrbereich eines Fahrzeugs, eine Vorrichtung zum Erkennen mindestens eines Objekts in einem Fahrbereich eines Fahrzeugs, sowie ein Fahrzeug mit einer solchen Vorrichtung.
  • Zumindest teilweise autonom fahrende Fahrzeuge müssen auch bei hohen Geschwindigkeiten sicher durch Fahrassistenzsysteme gesteuert werden. Fahrassistenzsysteme greifen hierzu auf verschiedene Typen von Sensoren zurück, aber auch auf Kartendaten, durch welche sich die Fahrzeuge in der Umgebung lokalisieren und ihr Fahrverhalten abstimmen. Die dafür installierten Sensoren haben Vermessungscharakteristiken die durch Sensortyp, Bauform und physikalische Randbedingungen bestimmt sind. Typischerweise sind die eingebauten Sensoren ein Kompromiss aus verschiedenen Aufgaben. Daraus abgeleitete Anforderungen bestimmen die Sensor-Parameter wie Basisbreite, Brennweite, Öffnungswinkel, Pixeldichte und Sensortyp. Es gibt jedoch bestimmte Anwendungsfälle oder Situationen in denen ein Sensor Probleme bei der Erfassung der Umgebung aufweist, beispielsweise bei einer Fahrt in der Nacht mit hoher Reichweitenanforderung.
  • Durch eine Wärmebildkamera aufgenommenes Wärmebild können Objekte erkannt werden, welche sonst aufgrund von Dunkelheit nicht wahrgenommen werden können. Mit einer Wärmebildkamera ist es möglich, Wärme abstrahlende Objekte, wie Lebewesen, selbst bei völliger Dunkelheit in großer Entfernung von über 150 m zu erkennen.
  • Die deutsche Offenlegungsschrift DE 10 2004 028 324 A1 offenbart ein Erkennungssystem mit einer Wärmebildkamera womit ein Wärmebild aufgenommen wird und Lebewesen erkannt werden, wobei Umgebungsdaten erfasst, und ein Lebewesen aus einem Lebewesen-Modell ausgewählt wird. Dabei werden verschiedene Lebewesen-Modelle eingesetzt, wobei die Lebewesen-Modelle zusätzlich an Umgebungsdaten angepasst werden. Beim Erkennen eines Lebewesens wird ein Abbild des Lebewesens in einem Wärmebild, welches Bildwiedergabemitteln zur Wiedergabe zugeführt wird, kenntlich gemacht.
  • Kein Sensor funktioniert allerdings in allen Fällen, sondern weist Funktionslücken auf. Bei einer Wärmebildkamera und der Auswertung der durch eine Wärmebildkamera aufgenommenen Wärmebilder gibt es insbesondere die Funktionslücken einer Umgebungstemperatur ähnlich der Temperatur eines zu erkennenden Objekts, und einer Wetterbedingung, die eine Temperatur eines zu erkennenden Objekts schnell auf die Umgebungstemperatur absenkt, wodurch das Objekt nur schwer erkennbar ist.
  • Der Erfindung liegt daher die Aufgabe zugrunde, ein Verfahren zum Erkennen mindestens eines Objekts in einem Fahrbereich eines Fahrzeugs, eine Vorrichtung eingerichtet zum Durchführen eines solchen Verfahrens zum Erkennen mindestens eines Objekts in einem Fahrbereich eines Fahrzeugs, sowie ein Fahrzeug mit einer solchen Vorrichtung bereitzustellen, wobei die genannten Nachteile nicht auftreten.
  • Die Aufgabe wird gelöst, indem die Gegenstände der unabhängigen Ansprüche geschaffen werden. Vorteilhafte Ausgestaltungen ergeben sich aus den Unteransprüchen.
  • Die Aufgabe wird insbesondere gelöst, indem ein Verfahren zum Erkennen mindestens eines Objekts in einem Fahrbereich, bevorzugt einem Fahrschlauch, eines Fahrzeugs mit mindestens einer an dem Fahrzeug angeordneten Wärmebildkamera bereitgestellt wird. Das Verfahren umfasst die folgenden Schritte:
    1. a) Erfassen des Fahrbereichs des Fahrzeugs mit der mindestens einen Wärmebildkamera, wobei mindestens ein Wärmebild des Fahrbereichs erhalten wird,
    2. b) Auswerten des mittels der mindestens einen Wärmebildkamera erhaltenen mindestens einen Wärmebilds, wobei mindestens eine Funktionslücke der mindestens einen Wärmebildkamera berücksichtigt wird,
    3. c) Erkennen mindestens eines Objekts im Fahrbereich des Fahrzeugs in Abhängigkeit des mindestens einen ausgewerteten Wärmebilds, wobei eine Art und/oder eine Position des mindestens einen Objekts ermittelt wird, und
    4. d) Anpassen und/oder Berechnen einer Geschwindigkeit und/oder einer Trajektorie des Fahrzeugs in Abhängigkeit einer Art und/oder einer Position des mindestens einen erkannten Objekts. Dadurch wird insbesondere ein Unfall des Fahrzeugs mit dem mindestens einen Objekt vermieden.
  • Vorzugsweise wird mittels mindestens einer Wärmebildkamera ein Fahrbereich erfasst, wobei eine Funktionslücke der mindestens einen Wärmebildkamera im Rahmen einer Bildauswertung berücksichtigt wird und die Geschwindigkeit und/oder die Trajektorie des Fahrzeugs in Abhängigkeit der Funktionslücke angepasst wird.
  • In einer bevorzugten Ausführungsform der Erfindung ist die mindestens eine Wärmebildkamera auf die vorausliegende Fahrbahn nach vorne ausgerichtet.
  • In einer bevorzugten Ausführungsform der Erfindung wird das mindestens eine Objekt in dem Verfahren automatisch erkannt.
  • Unter einer Trajektorie wird insbesondere ein Pfad eines Fahrzeugs entlang von Orten im Raum verstanden, wobei jedem Ort des Pfads eine longitudinale Geschwindigkeit (in Fahrzeugfahrtrichtung) und eine laterale Geschwindigkeit (in Fahrzeugquerrichtung) zugeordnet ist. Eine longitudinale Anpassung der Trajektorie ist insbesondere dann notwendig, wenn einerseits ein Objekt nicht überfahrbar ist und andererseits ein laterales Ausweichen nicht möglich ist. Ein laterales Ausweichen ist insbesondere dann nicht möglich, wenn sich auf einem zum Fahrbahnbereich des Fahrzeugs parallelen Fahrstreifen ein Fahrzeug befindet und/oder auf einem Fahrstreifen eines entgegenkommenden Verkehrs ein Fahrzeug entgegenkommt. In diesem Fall ist es insbesondere notwendig, dass eine Vollbremsung, also ein longitudinales Ausweichen, geplant und durchgeführt wird. Eine laterale Anpassung der Trajektorie ist insbesondere dann notwendig, wenn eine drohende Kollision mit einem Objekt durch eine Veränderung der lateralen Geschwindigkeit möglich ist, und wenn das Objekt umfahren werden kann.
  • In einer bevorzugten Ausführungsform der Erfindung wird der Fahrbereich des Fahrzeugs mittels eines Kartenmaterials, einer Eigen-Lokalisation und/oder einer Spurerkennung ermittelt.
  • In einer bevorzugten Ausführungsform der Erfindung wird das Verfahren mittels mindestens eines Steuergeräts durchgeführt. Unter einem Steuergerät wird insbesondere ein Element mit zumindest einer elektronischen Einheit verstanden, insbesondere mit einer Prozessoreinheit und einem Speicher, das dazu ausgebildet ist, ein mittels der mindestens einen Wärmebildkamera erhaltenes Wärmebild auszuwerten, ein Objekt auf dem Wärmebild zu erkennen, und/oder eine Geschwindigkeit und/oder eine Trajektorie eines Fahrzeugs anzupassen und/oder zu berechnen. Vorzugsweise ist das Steuergerät mit Bildverarbeitungsmitteln ausgestattet, um auf dem mindestens einen Wärmebild Objekte zu erkennen.
  • Unter einem Fahrzeug wird insbesondere ein Personenkraftwagen, ein Motorrad, ein Lastkraftwagen, ein Bus, ein Wohnmobil, ein Baufahrzeug, ein Nutzfahrzeug oder auch ein Schienenfahrzeug verstanden.
  • Das Verfahren zum Erkennen mindestens eines Objekts im Fahrbereich eines Fahrzeugs weist Vorteile im Vergleich zum Stand der Technik auf. Vorteilhafterweise ermöglicht das Verfahren das sichere Erkennen eines Lebewesens oder Gegenstände, so dass Objekte im Bereich einer Funktionslücke einer Wärmebildkamera sicher erkannt werden. Vorteilhafterweise kann das Fahrzeug ein Ausweichmanöver durchführen oder rechtzeitig bremsen. Vorteilhafterweise nimmt das Fahrzeug auf die Funktionslücke der Wärmebildkamera Rücksicht, insbesondere werden die Geschwindigkeit und/oder die Trajektorienplanung entsprechend beeinflusst. Vorteilhafterweise kann das Fahrzeug auf verschiedene Objekte, insbesondere auf verunfallte Personen in seinem Fahrbereich in angemessener Weise reagieren.
  • Gemäß einer Weiterbildung der Erfindung ist vorgesehen, dass das Objekt ein Hindernis ist, bevorzugt ein Gegenstand oder ein Lebewesen. Vorzugsweise ist der Gegenstand ein weiteres Fahrzeug, insbesondere ein Motorrad.
  • Gemäß einer Weiterbildung der Erfindung ist vorgesehen, dass Daten mindestens eines weiteren Sensors bei dem Auswerten des mittels der mindestens einen Wärmebildkamera erhaltenen mindestens einen Wärmebilds und/oder bei dem Erkennen des mindestens einen Objekts berücksichtigt werden, bevorzugt Daten eines Lidars, einer weiteren Kamera, eines Radars, und/oder eines Ultraschalls. Vorzugsweise werden die Daten des mindestens einen weiteren Sensors mit dem mittels der mindestens einen Wärmebildkamera erfassten mindestens einen Wärmebild fusioniert.
  • Gemäß einer Weiterbildung der Erfindung ist vorgesehen, dass eine Relevanz des mindestens einen erkannten Objekts bewertet wird, und in Abhängigkeit der Relevanz des mindestens einen Objekts die Geschwindigkeit und/oder die Trajektorie angepasst und/oder berechnet werden, bevorzugt das mindestens eine erkannte Objekt berücksichtigt wird. Vorzugsweise wird mittels der Relevanz eine Wahrscheinlichkeit ermittelt mit der das Fahrzeug mit dem mindestens einen Objekt kollidiert und/oder das Fahrzeug beschädigt wird.
  • Zum Erkennen eines Objekts auf einem Wärmebild ist eine bestimmte Temperaturdifferenz des Objekts zu seiner Umgebung notwendig, ist diese bestimmte Temperaturdifferenz nicht gegeben, unterscheidet sich das Objekt auf dem Wärmebild weitgehend nicht von der Umgebung.
  • Gemäß einer Weiterbildung der Erfindung ist vorgesehen, dass die mindestens eine Funktionslücke der mindestens einen Wärmebildkamera eine Umgebungstemperatur ähnlich der Temperatur des mindestens einen Objekts ist, bevorzugt die Temperatur eine Differenz von maximal einem Grad aufweist, und/oder eine Umweltbedingung ist, bevorzugt ein Nebel, ein Regen und/oder ein Schneefall. In einer bevorzugten Ausführungsform der Erfindung wird bei einer höheren Geschwindigkeit sichergestellt, dass eine Temperatur der Umgebung nicht zu nah an der Temperatur eines Objekts liegt und/oder keine Umweltbedingung vorliegt, die das Erkennen des Objekts mit der Wärmebildkamera einschränkt.
  • Gemäß einer Weiterbildung der Erfindung ist vorgesehen, dass das in Schritt c) erkannte mindestens eine Objekt einem Fahrer des Fahrzeugs akustisch und/oder optisch mitgeteilt wird, insbesondere mittels einer Anzeigenvorrichtung, bevorzugt hervorgehoben im Vergleich zur Umgebung.
  • Gemäß einer Weiterbildung der Erfindung ist vorgesehen, dass das mindestens eine Objekt in Abhängigkeit von Umgebungsdaten im Fahrbereich, bevorzugt eine Temperatur, eine Uhrzeit, eine Jahreszeit und/oder eine Luftfeuchtigkeit, und/oder eine Wetterbedingung, insbesondere Nebel, Regen und/oder Schnee, erkannt wird.
  • Gemäß einer Weiterbildung der Erfindung ist vorgesehen, dass das Auswerten des durch die mindestens eine Wärmebildkamera erhaltenen mindestens einen Wärmebilds und/oder das Erkennen des mindestens einen Objekts mittels eines Neuronalen Netzes durchgeführt wird. Damit werden semantische Aussagen über eventuell auftretende Objekte gemacht.
  • Die Aufgabe der vorliegenden Erfindung wird auch gelöst, indem eine Vorrichtung zum Durchführen eines Verfahrens zum Erkennen mindestens eines Objekts im Fahrbereich eines Fahrzeugs bereitgestellt wird, insbesondere nach einem der zuvor beschriebenen Ausführungsbeispiele. Dabei ergeben sich für die Vorrichtung insbesondere die Vorteile, die bereits in Zusammenhang mit dem Verfahren zum Erkennen mindestens eines Objekts im Fahrbereich eines Fahrzeugs erläutert wurden. Die Vorrichtung weist mindestens eine Wärmebildkamera zum Erfassen eines Fahrbereichs eines Fahrzeugs, mindestens ein Steuergerät zum Auswerten des mittels der mindestens einen Wärmebildkamera erhaltenen mindestens einen Wärmebilds, zum Erkennen mindestens eines Objekts, und/oder zum Anpassen und/oder Berechnen einer Geschwindigkeit und/oder einer Trajektorie des Fahrzeugs auf. Das Steuergerät ist insbesondere eingerichtet zum Durchführen des Verfahrens zum Erkennen des mindestens einen Objekts im Fahrbereich des Fahrzeugs.
  • In einer bevorzugten Ausführungsform der Erfindung weist die Vorrichtung eine Planungsvorrichtung auf, welche eine Geschwindigkeit und/oder eine Trajektorie des Fahrzeugs ermittelt, bevorzugt wenn das mindestens eine erkannte Objekt als relevant eingestuft wird, insbesondere nicht überfahren werden kann. In einer bevorzugten Ausführungsform der Erfindung weist die Vorrichtung eine Steuervorrichtung auf, welche eine Geschwindigkeit und/oder eine Trajektorie mit dem Fahrzeug ausführt.
  • Die Aufgabe der vorliegenden Erfindung wird auch gelöst, indem ein Fahrzeug mit einer Vorrichtung, eingerichtet zum Durchführen eines Verfahrens zum Erkennen mindestens eines Objekts im Fahrbereich eines Fahrzeugs bereitgestellt wird, insbesondere nach einem der zuvor beschriebenen Ausführungsbeispiele. Dabei ergeben sich für das Fahrzeug insbesondere die Vorteile, die bereits in Zusammenhang mit dem Verfahren zum Erkennen mindestens eines Objekts im Fahrbereich eines Fahrzeugs und mit der Vorrichtung, eingerichtet zum Durchführen eines Verfahrens zum Erkennen mindestens eines Objekts im Fahrbereich eines Fahrzeugs, erläutert wurden.
  • Gemäß einer Weiterbildung der Erfindung ist das Fahrzeug ein zumindest teilweise autonom fahrendes Fahrzeug.
  • Die Erfindung wird im Folgenden anhand der Zeichnungen näher erläutert. Dabei zeigen
    • 1 eine schematische Darstellung eines Ausführungsbeispiels eines Verfahrens zum Erkennen mindestens eines Objekts in einem Fahrbereich eines Fahrzeugs mit mindestens einer an dem Fahrzeug angeordneten Wärmebildkamera in einem Fließdiagramm; und
    • 2 eine schematische Darstellung eines Ausführungsbeispiels einer Vorrichtung zum Erkennen mindestens eines Objekts in einem Fahrbereich eines Fahrzeugs in einer Seitenansicht.
  • 1 zeigt eine schematische Darstellung eines Ausführungsbeispiels eines Verfahrens zum Erkennen mindestens eines Objekts 1 in einem Fahrbereich 3 eines Fahrzeugs 5 mit mindestens einer an dem Fahrzeug 5 angeordneten Wärmebildkamera 7 in einem Fließdiagramm.
  • Das Verfahren zum Erkennen des mindestens einen Objekts 1 in dem Fahrbereich 3 des Fahrzeugs 5, mit der mindestens einen an dem Fahrzeug 5 angeordneten Wärmebildkamera 7, umfasst die folgenden Schritte: a) Erfassen des Fahrbereichs 3 des Fahrzeugs 5 mit der mindestens einen Wärmebildkamera 7, wobei mindestens ein Wärmebild des Fahrbereichs 3 erhalten wird, b) Auswerten des mittels der mindestens einen Wärmebildkamera 7 erhaltenen mindestens einen Wärmebilds, wobei mindestens eine Funktionslücke der mindestens einen Wärmebildkamera 7 berücksichtigt wird, c) Erkennen mindestens eines Objekts 1 im Fahrbereich 3 des Fahrzeugs 5 in Abhängigkeit des mindestens einen ausgewerteten Wärmebilds, wobei eine Art und/oder eine Position des mindestens einen Objekts 1 ermittelt wird, und d) Anpassen und/oder Berechnen einer Geschwindigkeit und/oder einer Trajektorie des Fahrzeugs 5 in Abhängigkeit einer Art und/oder einer Position des mindestens einen erkannten Objekts 1. Die Wärmebildkamera 7 erfasst dabei insbesondere den Fahrbereich 3 des Fahrzeugs 5 zumindest teilweise in ihrem Erfassungsbereich 13. Dabei sind insbesondere die Parameter Einbauhöhe, Brennweite der Kamera und die Auflösung des Sensors der Kamera für den Erfassungsbereich 13 und eine Auflösung der Wärmebildkamera 7 verantwortlich.
  • Dadurch wird das sichere Erkennen eines Lebewesens oder Gegenstände ermöglicht, insbesondere kann das Fahrzeug ein Ausweichmanöver durchführen oder rechtzeitig bremsen. Vorteilhafterweise nimmt das Fahrzeug dabei auf die Funktionslücke der Wärmebildkamera Rücksicht, insbesondere werden die Geschwindigkeit und/oder die Trajektorienplanung entsprechend beeinflusst.
  • In einer Ausgestaltung der Erfindung ist das Objekt 1 ein Hindernis, bevorzugt ein Gegenstand oder ein Lebewesen.
  • In einer weiteren Ausgestaltung der Erfindung werden Daten mindestens eines weiteren Sensors 9 dem Auswerten des mittels der mindestens einen Wärmebildkamera 7 erhaltenen mindestens einen Wärmebilds und/oder bei dem Erkennen des mindestens einen Objekts 1 berücksichtigt, bevorzugt Daten eines Lidars, einer weiteren Kamera, eines Radars, und/oder eines Ultraschalls.
  • In einer weiteren Ausgestaltung der Erfindung wird eine Relevanz des mindestens einen erkannten Objekts 1 bewertet, und in Abhängigkeit der Relevanz des mindestens einen Objekts 1 die Geschwindigkeit und/oder die Trajektorie angepasst und/oder berechnet, wobei bevorzugt das mindestens eine erkannte Objekt 1 berücksichtigt wird.
  • In einer weiteren Ausgestaltung der Erfindung ist die mindestens eine Funktionslücke der mindestens einen Wärmebildkamera 7 eine Umgebungstemperatur ähnlich der Temperatur des mindestens einen Objekts 1, bevorzugt weist die Temperatur eine Differenz von maximal einem Grad auf, und/oder eine Umweltbedingung, bevorzugt ein Nebel, ein Regen und/oder ein Schneefall.
  • In einer weiteren Ausgestaltung der Erfindung wird das in Schritt c) erkannte mindestens eine Objekt 1 einem Fahrer des Fahrzeugs 5 akustisch und/oder optisch mitgeteilt, insbesondere mittels einer Anzeigenvorrichtung, bevorzugt hervorgehoben im Vergleich zur Umgebung.
  • In einer weiteren Ausgestaltung der Erfindung wird das mindestens eine Objekt 1 in Abhängigkeit von Umgebungsdaten im Fahrbereich 3, bevorzugt eine Temperatur, eine Uhrzeit, eine Jahreszeit und/oder eine Luftfeuchtigkeit, und/oder eine Wetterbedingung, insbesondere Nebel, Regen und/oder Schnee, erkannt.
  • In einer weiteren Ausgestaltung der Erfindung wird das Auswerten des durch die mindestens eine Wärmebildkamera 7 erhaltenen mindestens einen Wärmebilds und/oder das Erkennen des mindestens einen Objekts 1 in Schritt c) mittels eines Neuronalen Netzes durchgeführt.
  • 2 zeigt eine schematische Darstellung eines Ausführungsbeispiels einer Vorrichtung zum Erkennen mindestens eines Objekts 1 in einem Fahrbereich 3 eines Fahrzeugs 5 in einer Seitenansicht. Gleiche und funktionsgleiche Elemente sind mit gleichen Bezugszeichen versehen, so dass insofern auf die vorangegangene Beschreibung verwiesen wird.
  • Die Vorrichtung zum Erkennen mindestens eines Objekts 1 in einem Fahrbereich 3 eines Fahrzeugs 5 weist mindestens eine Wärmebildkamera 7 zum Erfassen eines Fahrbereichs 3 eines Fahrzeugs 5, mindestens ein Steuergerät 11 zum Auswerten des mittels der mindestens einen Wärmebildkamera 7 erhaltenen mindestens einen Wärmebilds, zum Erkennen mindestens eines Objekts 1, und/oder zum Anpassen und/oder Berechnen einer Geschwindigkeit und/oder einer Trajektorie des Fahrzeugs 5 auf, wobei das Steuergerät 11 zum Durchführen eines Verfahrens zum Erkennen mindestens eines Objekts 1 in einem Fahrbereich 3 eines Fahrzeugs 5 eingerichtet ist.
  • In dem vorliegenden Ausführungsbeispiel fährt das Fahrzeug 5 mit einer bestimmten Geschwindigkeit. Auf der Straße vor dem Fahrzeug 5 liegt ein Objekt 1, in diesem Ausführungsbeispiel eine liegende Person. Andere im Wärmebild sichtbare Objekte 1, insbesondere andere Fahrzeuge, beispielsweise ein liegendes Motorrad, werden auch erkannt und entsprechend berücksichtigt. Mit der für das Fahrzeug 5 typischen maximalen Verzögerung bei einer eingeleiteten Vollbremsung lässt sich aus der Eigengeschwindigkeit und impliziten Totzeitparametern die Anpassung der Geschwindigkeit und/oder der Trajektorie ermitteln, um kollisionsfrei vor der liegenden Person zum Stehen zu kommen oder die liegende Person zu umfahren.
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • DE 102004028324 A1 [0004]

Claims (10)

  1. Verfahren zum Erkennen mindestens eines Objekts (1) in einem Fahrbereich (3) eines Fahrzeugs (5) mit mindestens einer an dem Fahrzeug (5) angeordneten Wärmebildkamera (7), umfassend die folgenden Schritte: a) Erfassen des Fahrbereichs (3) des Fahrzeugs (5) mit der mindestens einen Wärmebildkamera (7), wobei mindestens ein Wärmebild des Fahrbereichs (3) erhalten wird, b) Auswerten des mittels der mindestens einen Wärmebildkamera (7) erhaltenen mindestens einen Wärmebilds, wobei mindestens eine Funktionslücke der mindestens einen Wärmebildkamera (7) berücksichtigt wird, c) Erkennen mindestens eines Objekts (1) im Fahrbereich (3) des Fahrzeugs (5) in Abhängigkeit des mindestens einen ausgewerteten Wärmebilds, wobei eine Art und/oder eine Position des mindestens einen Objekts (1) ermittelt wird, und d) Anpassen und/oder Berechnen einer Geschwindigkeit und/oder einer Trajektorie des Fahrzeugs (5) in Abhängigkeit einer Art und/oder einer Position des mindestens einen erkannten Objekts (1).
  2. Verfahren nach Anspruch 1, wobei das Objekt (1) ein Hindernis ist, bevorzugt ein Gegenstand oder ein Lebewesen.
  3. Verfahren nach Anspruch 1 oder 2, wobei Daten mindestens eines weiteren Sensors (9) bei dem Auswerten des mittels der mindestens einen Wärmebildkamera (7) erhaltenen mindestens einen Wärmebilds und/oder bei dem Erkennen des mindestens einen Objekts (1) berücksichtigt werden, bevorzugt Daten eines Lidars, einer weiteren Kamera, eines Radars, und/oder eines Ultraschalls.
  4. Verfahren nach einem der vorhergehenden Ansprüche, wobei eine Relevanz des mindestens einen erkannten Objekts (1) bewertet wird, und in Abhängigkeit der Relevanz des mindestens einen Objekts (1) die Geschwindigkeit und/oder die Trajektorie angepasst und/oder berechnet werden, bevorzugt das mindestens eine erkannte Objekt (1) berücksichtigt wird.
  5. Verfahren nach einem der vorhergehenden Ansprüche, wobei die mindestens eine Funktionslücke der mindestens einen Wärmebildkamera (7) eine Umgebungstemperatur ähnlich der Temperatur des mindestens einen Objekts (1) ist, bevorzugt die Temperatur eine Differenz von maximal einem Grad aufweist, und/oder eine Umweltbedingung ist, bevorzugt ein Nebel, ein Regen und/oder ein Schneefall.
  6. Verfahren nach einem der vorhergehenden Ansprüche, wobei das in Schritt c) erkannte mindestens eine Objekt (1) einem Fahrer des Fahrzeugs (5) akustisch und/oder optisch mitgeteilt wird, insbesondere mittels einer Anzeigenvorrichtung, bevorzugt hervorgehoben im Vergleich zur Umgebung.
  7. Verfahren nach einem der vorhergehenden Ansprüche, wobei das mindestens eine Objekt (1) in Abhängigkeit von Umgebungsdaten im Fahrbereich (3), bevorzugt eine Temperatur, eine Uhrzeit, eine Jahreszeit und/oder eine Luftfeuchtigkeit, und/oder eine Wetterbedingung, insbesondere Nebel, Regen und/oder Schnee, erkannt wird.
  8. Verfahren nach einem der vorhergehenden Ansprüche, wobei das Auswerten des durch die mindestens eine Wärmebildkamera (7) erhaltenen mindestens einen Wärmebilds und/oder das Erkennen des mindestens einen Objekts (1) mittels eines Neuronalen Netzes durchgeführt wird.
  9. Vorrichtung zum Erkennen mindestens eines Objekts (1) im Fahrbereich (3) eines Fahrzeugs (5), eingerichtet zum Durchführen eines Verfahrens nach einem der Ansprüche 1 bis 8, aufweisend mindestens eine Wärmebildkamera (7) zum Erfassen eines Fahrbereichs (3) eines Fahrzeugs (5), mindestens ein Steuergerät (11) zum Auswerten des mittels der mindestens einen Wärmebildkamera (7) erhaltenen mindestens einen Wärmebilds, zum Erkennen mindestens eines Objekts (1), und/oder zum Anpassen und/oder Berechnen einer Geschwindigkeit und/oder einer Trajektorie des Fahrzeugs (5).
  10. Fahrzeug (5) mit einer Vorrichtung nach Anspruch 9, wobei das Fahrzeug (5) ein zumindest teilweise autonom fahrendes Fahrzeug (5) ist.
DE102019008079.3A 2019-11-21 2019-11-21 Verfahren zum Erkennen mindestens eines Objekts in einem Fahrbereich eines Fahrzeugs, Vorrichtung eingerichtet zum Druchführen eines solchen Verfahrens, und Fahrzeug mit einer solchen Vorrichtung Withdrawn DE102019008079A1 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102019008079.3A DE102019008079A1 (de) 2019-11-21 2019-11-21 Verfahren zum Erkennen mindestens eines Objekts in einem Fahrbereich eines Fahrzeugs, Vorrichtung eingerichtet zum Druchführen eines solchen Verfahrens, und Fahrzeug mit einer solchen Vorrichtung

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102019008079.3A DE102019008079A1 (de) 2019-11-21 2019-11-21 Verfahren zum Erkennen mindestens eines Objekts in einem Fahrbereich eines Fahrzeugs, Vorrichtung eingerichtet zum Druchführen eines solchen Verfahrens, und Fahrzeug mit einer solchen Vorrichtung

Publications (1)

Publication Number Publication Date
DE102019008079A1 true DE102019008079A1 (de) 2020-08-20

Family

ID=71843763

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102019008079.3A Withdrawn DE102019008079A1 (de) 2019-11-21 2019-11-21 Verfahren zum Erkennen mindestens eines Objekts in einem Fahrbereich eines Fahrzeugs, Vorrichtung eingerichtet zum Druchführen eines solchen Verfahrens, und Fahrzeug mit einer solchen Vorrichtung

Country Status (1)

Country Link
DE (1) DE102019008079A1 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102022112332A1 (de) 2022-05-17 2023-11-23 Spleenlab GmbH Verfahren und Detektionsvorrichtung zum Detektieren einer Person in einem Beobachtungsbereich sowie Fahrzeug

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102022112332A1 (de) 2022-05-17 2023-11-23 Spleenlab GmbH Verfahren und Detektionsvorrichtung zum Detektieren einer Person in einem Beobachtungsbereich sowie Fahrzeug

Similar Documents

Publication Publication Date Title
EP2888604B1 (de) Verfahren zur bestimmung eines fahrspurverlaufs für ein fahrzeug
DE102015224192A1 (de) Erkennen einer Freifläche
DE102016212326A1 (de) Verfahren zur Verarbeitung von Sensordaten für eine Position und/oder Orientierung eines Fahrzeugs
DE102011081614A1 (de) Verfahren und Vorrichtung zur Analysierung eines von einem Fahrzeug zu befahrenden Streckenabschnitts
DE102008041679A1 (de) Vorrichtung und Verfahren zur erinnerungsbasierten Umfelderkennung
DE102015116542A1 (de) Verfahren zum Bestimmen einer Parkfläche zum Parken eines Kraftfahrzeugs, Fahrerassistenzsystem sowie Kraftfahrzeug
DE202014006923U1 (de) Fahrassistenzsystem, Computerprogrammprodukt sowie Kraftfahrzeug
DE102017118651A1 (de) Verfahren und System zur Kollisionsvermeidung eines Fahrzeugs
DE102016117712A1 (de) Verfahren zum zumindest semi-autonomen Manövrieren eines Kraftfahrzeugs unter Berücksichtigung eines Erfassungsbereichs eines Sensors, Fahrerassistenzsystem sowie Kraftfahrzeug
DE102017211387A1 (de) System und Verfahren zum automatisierten Manövrieren eines Ego-Fahrzeugs
WO2015010901A1 (de) Effizientes bereitstellen von belegungsinformationen für das umfeld eines fahrzeugs
DE102014221675A1 (de) Verfahren und Steuer- und Erfassungseinrichtung zum Plausibilisieren einer Falschfahrt eines Kraftfahrzeugs
DE102018219482A1 (de) Verfahren und Vorrichtung zur Steuerung eines Fahrzeugs
DE102016012345A1 (de) Verfahren zum Erkennen von Objekten
DE102013021587A1 (de) Vorrichtung und Verfahren für ein Fahrzeug zur Erzeugung einer Fahrspurbegrenzung
DE102012112164A1 (de) Videobasierte erkennung von hindernissen auf einer fahrbahn
DE102018210852A1 (de) Verfahren zum Ermitteln von rechtswidrigem Fahrverhalten durch ein Fahrzeug
DE102016209242B4 (de) Einheiteneinstellvorrichtung und einheiteneinstellverfahren
DE102019008079A1 (de) Verfahren zum Erkennen mindestens eines Objekts in einem Fahrbereich eines Fahrzeugs, Vorrichtung eingerichtet zum Druchführen eines solchen Verfahrens, und Fahrzeug mit einer solchen Vorrichtung
DE102019007642A1 (de) Verfahren zur Prädiktion von Seitenwind
DE102019129737A1 (de) Verfahren zum Klassifizieren einer Umgebung eines Fahrzeugs
DE102019132967A1 (de) Verfahren und Vorrichtung zur Ermittlung einer Fahrspur-Hypothese
DE102021201060B4 (de) Verfahren zum Betreiben eines Notbremsassistenzystems sowie Notbremsassistenzsystem
DE102016119592A1 (de) Verfahren zum Erkennen von Objekten in einem Umgebungsbereich eines Kraftfahrzeugs unter Berücksichtigung von Sensordaten im infraroten Wellenlängenbereich, Objekterkennungsvorrichtung, Fahrerassistenzsystem sowie Kraftfahrzeug
DE102020101375A1 (de) Verfahren zur Querverkehrswarnung für ein Fahrzeug mit Erkennung von Fahrspuren, Recheneinrichtung sowie Fahrerassistenzsystem

Legal Events

Date Code Title Description
R230 Request for early publication
R081 Change of applicant/patentee

Owner name: DAIMLER AG, DE

Free format text: FORMER OWNER: DAIMLER AG, 70327 STUTTGART, DE

R119 Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee