DE102016006044A1

DE102016006044A1 - Verfahren zum Erkennen von Hindernissen

Info

Publication number: DE102016006044A1
Application number: DE102016006044.1A
Authority: DE
Inventors: Bernd Woltermann
Original assignee: Daimler AG
Current assignee: Mercedes Benz Group AG
Priority date: 2016-05-18
Filing date: 2016-05-18
Publication date: 2016-11-17

Abstract

Die Erfindung betrifft ein Verfahren zum Erkennen von Hindernissen in einer Umgebung eines Fahrzeugs, wobei mittels einer Kamera erfasste Bilder (B) der Umgebung in einem mehrstufigen Klassifikationsverfahren ausgewertet werden. Erfindungsgemäß wird in einem ersten Schritt (S1) des Klassifikationsverfahrens für jeden Bildpunkt eines Bildes (B) eine Freiraumanalyse durchgeführt und jeder Bildpunkt mit einer Eigenschaft vom Fahrzeug als ”überfahrbar” oder ”nicht überfahrbar” klassifiziert. In einem zweiten Schritt (S2) des Klassifikationsverfahrens werden in der Umgebung befindliche, von einer Fahrbahnoberfläche erhabene Objekte mittels zumindest eines Objektklassifikationsverfahrens und/oder mittels eines kamerabasierten Bildauswerteverfahrens klassifiziert und anhand einer Fusion von Ergebnissen des ersten Schritts (S1) und Ergebnissen des zweiten Schritts (S2) wird eine Plausibilisierung durchgeführt.

Description

Die Erfindung betrifft ein Verfahren zum Erkennen von Hindernissen gemäß dem Oberbegriff des Anspruchs 1.
Aus der DE 100 25 678 A1 ist ein Verfahren zur Detektion von Verkehrsteilnehmern und Hindernissen auf der Grundlage von Kamerabildern zu einer Bestimmung deren Entfernung vom Beobachter und zu deren Klassifikation bekannt. Dabei werden mittels eines auf die Erkennung von Verkehrsteilnehmern und Hindernissen ausgerichteten Klassifikators Regionen innerhalb eines zweidimensionalen, nicht entfernungsaufgelösten Kamerabildes identifiziert. In einem weiteren Schritt werden diese so identifizierten Regionen markiert und sodann mittels eines entfernungsmessenden Sensors bezüglich ihrer Entfernung vom Beobachter vermessen. Anschließend werden ausgewählte Regionen einer Typ-Klassifikation zur Erkennung der Verkehrsteilnehmer oder Hindernisse zugeführt.
Weiterhin ist aus der DE 10 2013 225 778 A1 ein Verfahren zur Querführung eines Fahrzeugs bekannt, wobei mittels eines Objektsdetektionssensors Hindernisse erkannt und Informationen bezüglich deren Position zum Fahrzeug und bezüglich mindestens einer weiteren Eigenschaft ermittelt werden. Die Hindernisse werden bezüglich Ihrer Eigenschaft als ”überfahrbar” oder ”nicht überfahrbar” klassifiziert und es wird eine Trajektorie für das Fahrzeug ermittelt, die einen kollisionsfreien Fahrkorridor abseits der detektierten Hindernisse beschreibt. Weiterhin werden Lenksignale gemäß der Trajektorie bestimmt und an einen Querregler zur Ausweichunterstützung oder zum selbsttätigen Ausweichen des Fahrzeugs ausgegeben. Die Klassifikation ”überfahrbar” oder ”nicht überfahrbar” wird aufgrund der mit dem Objektdetektionssensor ermittelten Höhe des Hindernisses durchgeführt.
Der Erfindung liegt die Aufgabe zu Grunde, ein gegenüber dem Stand der Technik verbessertes Verfahren zum Erkennen von Hindernissen anzugeben.
Die Aufgabe wird erfindungsgemäß mit einem Verfahren gelöst, welches die im Anspruch 1 angegebenen Merkmale aufweist.
Vorteilhafte Ausgestaltungen der Erfindung sind Gegenstand der Unteransprüche.
Die Erfindung betrifft ein Verfahren zum Erkennen von Hindernissen in einer Umgebung eines Fahrzeugs, wobei mittels einer Kamera erfasste Bilder der Umgebung in einem mehrstufigen Klassifikationsverfahren ausgewertet werden.
Erfindungsgemäß wird in einem ersten Schritt des Klassifikationsverfahrens für jeden Bildpunkt eines Bildes eine Freiraumanalyse durchgeführt und jeder Bildpunkt wird mit einer Eigenschaft vom Fahrzeug als ”überfahrbar” oder ”nicht überfahrbar” klassifiziert. In einem zweiten Schritt des Klassifikationsverfahrens werden in der Umgebung befindliche, von einer Fahrbahnoberfläche erhabene Objekte mittels zumindest eines Objektklassifikationsverfahrens und/oder mittels eines kamerabasierten Bildauswerteverfahrens klassifiziert. Anhand einer Fusion von Ergebnissen des ersten Schritts und Ergebnissen des zweiten Schritts wird anschließend eine Plausibilisierung durchgeführt.
Mittels des Verfahrens sind Objekte in der Umgebung des Fahrzeugs besonders zuverlässig, insbesondere auch bei Dunkelheit, erkennbar. In besonders vorteilhafter Weise ist hierbei lediglich eine Kamera, insbesondere eine Mono-Kamera, zur Bilderfassung und für das kamerabasierte Bildauswerteverfahren erforderlich, so dass das Verfahren mit besonders geringem Material- und Kostenaufwand durchführbar ist.
Ausführungsbeispiele der Erfindung werden im Folgenden anhand einer Zeichnung näher erläutert.
Dabei zeigt:
1 schematisch einen Ablauf eines Verfahrens zum Erkennen von Hindernissen in einer Umgebung eines Fahrzeugs.
In der einzigen 1 ist ein Ablauf eines möglichen Ausführungsbeispiels eines erfindungsgemäßen Verfahrens zum Erkennen von Hindernissen in einer Umgebung eines Fahrzeugs dargestellt.
Zum Erkennen von Hindernissen in der Umgebung des Fahrzeugs werden mittels einer fahrzeugeigenen Kamera, insbesondere einer Mono-Kamera, erfasste Bilder B der Umgebung in einem mehrstufigen Klassifikationsverfahren ausgewertet.
Dabei wird in einem ersten Schritt S1 des Klassifikationsverfahrens für jeden Bildpunkt eines mittels der Kamera erfassten Bildes B eine Freiraumanalyse durchgeführt. In der Freiraumanalyse wird ermittelt, ob ein mittels des jeweiligen Bildpunktes dargestellter Umgebungsbereich von dem Fahrzeug überfahrbar ist oder nicht. Als Ergebnis wird jeder Bildpunkt mit einer Eigenschaft vom Fahrzeug ”überfahrbar” oder ”nicht überfahrbar” klassifiziert. Bei Dunkelheit wird die Freiraumanalyse insbesondere für solche Bildpunkte durchgeführt, welche mittels einer Fahrzeugbeleuchtung beleuchtete Umgebungsbereiche zeigen.
In einem zweiten Schritt S2 des Klassifikationsverfahrens werden in der Umgebung befindliche, von einer Fahrbahnoberfläche erhabene Objekte mittels zumindest eines Objektklassifikationsverfahrens klassifiziert, wobei bei der Durchführung des Objektklassifikationsverfahrens insbesondere sehr geringe Schwellwerte verwendet werden. Mittels des Objektklassifikationsverfahrens werden dabei Menschen und/oder Tiere klassifiziert.
Alternativ oder zusätzlich werden in dem zweiten Schritt S2 des Klassifikationsverfahrens von der Fahrbahnoberfläche erhabene Objekte mittels eines kamerabasierten Bildauswerteverfahrens klassifiziert, wobei das kamerabasierte Bildauswerteverfahren anhand der mittels der Kamera erfassten Bilder B durchgeführt wird. Insbesondere erfolgt die Erfassung und Erkennung der von der Fahrbahnoberfläche erhabenen Objekte mittels des kamerabasierten Bildauswerteverfahrens durch Ermittlung eines optischen Flusses und/oder durch Verwendung eines so genannten Structure-from-Motion-Algorithmus.
Anschließend wird in einem dritten Schritt S3 anhand einer Fusion von Ergebnissen des ersten Schritts S1 und Ergebnissen des zweiten Schritts S2 eine Plausibilisierung durchgeführt, anhand welcher entschieden wird, ob es sich um ein Hindernis für das Fahrzeug handelt oder nicht. Hierbei wird berücksichtigt, ob sich das Objekt auf einem Fahrpfad des Fahrzeugs befindet.
Die so durchgeführte Erkennung von Hindernissen ist sehr zuverlässig und robust, insbesondere auch bei Dunkelheit, und kann zur Unterstützung eines Fahrers beim Führen des Fahrzeugs verwendet werden. Beispielsweise wird bei einem Erkennen von Hindernissen im Fahrpfad des Fahrzeugs eine automatische Längs- und/oder Quersteuerung des Fahrzeugs ausgeführt, um einen Zusammenstoß des Fahrzeugs mit dem Hindernis zu vermeiden. Zusätzlich oder alternativ wird eine Warnung an den Fahrer ausgegeben. Zur zuverlässigen Ausführung der Längs- und/oder Quersteuerung und zur zuverlässigen Ausgabe der Warnung wird insbesondere eine Gesamtwahrscheinlichkeit für einen Zusammenstoß zwischen Fahrzeug und Hindernis bestimmt, wobei insbesondere in Abhängigkeit von Ergebnissen der Fusion ein so genanntes Tracking, d. h. eine Verfolgung, des vermeintlichen Hindernisses in zeitlich nacheinander erfassten Bildern B durchgeführt wird. Kann nicht sicher festgestellt werden, ob sich ein Hindernis im Fahrpfad des Fahrzeugs befindet, wird beispielsweise ausschließlich eine Warnung ausgegeben und/oder eine Teilbremsung anstatt einer Vollbremsung ausgeführt.
Bezugszeichenliste

B

Bild

S1 bis S3

Schritt

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

DE 10025678 A1 [0002]
DE 102013225778 A1 [0003]

Claims

Verfahren zum Erkennen von Hindernissen in einer Umgebung eines Fahrzeugs, – wobei mittels einer Kamera erfasste Bilder (B) der Umgebung in einem mehrstufigen Klassifikationsverfahren ausgewertet werden, dadurch gekennzeichnet, dass – in einem ersten Schritt (S1) des Klassifikationsverfahrens für jeden Bildpunkt eines Bildes (B) eine Freiraumanalyse durchgeführt wird und jeder Bildpunkt mit einer Eigenschaft vom Fahrzeug als ”überfahrbar” oder ”nicht überfahrbar” klassifiziert wird, – in einem zweiten Schritt (S2) des Klassifikationsverfahrens in der Umgebung befindliche, von einer Fahrbahnoberfläche erhabene Objekte mittels zumindest eines Objektklassifikationsverfahrens und/oder mittels eines kamerabasierten Bildauswerteverfahrens klassifiziert werden und – anhand einer Fusion von Ergebnissen des ersten Schritts (S1) und Ergebnissen des zweiten Schritts (S2) eine Plausibilisierung durchgeführt wird.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass mittels des Objektklassifikationsverfahrens Menschen und/oder Tiere klassifiziert werden.
Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass als Kamera eine Mono-Kamera verwendet wird und das kamerabasierte Bildauswerteverfahren anhand der mittels der Kamera erfassten Bilder (B) durchgeführt wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass in dem kamerabasierten Bildauswerteverfahren ein optischer Fluss ermittelt wird und/oder ein Structure-from-Motion-Algorithmus ausgeführt wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Freiraumanalyse für Bildpunkte durchgeführt wird, welche mittels einer Fahrzeugbeleuchtung beleuchtete Umgebungsbereiche zeigen.