DE102016124074A1

DE102016124074A1 - Ermitteln einer Befahrbarkeit eines Fahrbahnabschnitts anhand eines Bildes

Info

Publication number: DE102016124074A1
Application number: DE102016124074.5A
Authority: DE
Inventors: Swaroop Kaggere Shivamurthy
Original assignee: Connaught Electronics Ltd
Current assignee: Connaught Electronics Ltd
Priority date: 2016-12-12
Filing date: 2016-12-12
Publication date: 2018-06-14

Abstract

Die Erfindung betrifft ein Verfahren zum Erfassen eines Umgebungsbereichs (U) eines Kraftfahrzeugs (1). Um den Umgebungsbereichs (U) der Kraftfahrzeugs (1) bei unterschiedlichen Umgebungsbedingungen zuverlässig zu erfassen, sind folgende Schritte vorgesehen:Empfangen von zumindest einem Bild (3) von einer Kamera (11, 12), welches den Umgebungsbereich beschreibt,Unterteilen des Bildes (3) in Sektoren (32), die durch Sektorgrenzen (31) getrennt sind, die strahlenförmig von einem Mittelpunkt (30) ausgehen,Ermitteln von Regionen (8) in jedem Sektor (32) in dem zumindest einen Bild (3) nach einem ersten vorbestimmten Kriterium,Definieren einer Gesamtheit derjenigen der Regionen (40), die gemäß mindestens einem zweiten vorbestimmten Kriterium eine Fahrbahn (4) repräsentieren, auf der sich das Kraftfahrzeug (1) befindet, als Fahrbahnbereich (41),Definieren einer Gesamtheit derjenigen der Regionen (20), die gemäß mindestens einem dritten vorbestimmten Kriterium zumindest ein Objekt (2) in dem Umgebungsbereich (U) repräsentieren, als zumindest einen Objektbereich (21), undKlassifizieren der Sektoren (32) bezüglich ihrer Befahrbarkeit anhand des Fahrbahnbereichs (41) und des zumindest einen Objektbereichs (21).

Description

Die Erfindung betrifft ein Verfahren zum Erfassen eines Umgebungsbereichs eines Kraftfahrzeugs. Dabei werden in einem Bild des Umgebungsbereichs ein Fahrbahnbereich, der eine Fahrbahn repräsentiert, und zumindest ein Objektbereich, der zumindest ein Objekt in dem Umgebungsbereich repräsentiert, definiert. Anhand des Fahrbahnbereichs und anhand des zumindest einen Objektbereichs werden Sektoren in dem Bild, welche insbesondere potentielle Fahrtrichtungen des Kraftfahrzeugs beschreiben, bezüglich ihrer Befahrbarkeit klassifiziert. Ein zweiter Aspekt der Erfindung betrifft ein Verfahren zum autonomen Steuern eines Kraftfahrzeugs, wobei ein Umgebungsbereich des Kraftfahrzeugs gemäß dem genannten Verfahren erfasst wird. Ein dritter Aspekt der Erfindung betrifft ein Steuergerät zum Erfassen eines Umgebungsbereichs eines Kraftfahrzeugs. Weitere Aspekte der Erfindung betreffen ein Fahrerassistenzsystem mit dem genannten Steuergerät sowie ein Kraftfahrzeug mit einem solchen Fahrerassistenzsystem.
Aus dem Stand der Technik bekannt sind Kameras, mittels welcher eine Umgebung eines Kraftfahrzeugs erfasst wird. Zur Extraktion von Daten aus Bildern der Kamera, beispielsweise zum Bereitstellen einer teilautonomen oder autonomen Fahrfunktion oder zum Bereitstellen einer Fahrerassistenzeinrichtung, sind nach dem Stand der Technik komplizierte Verfahren zur Bilderkennung, insbesondere Objekterkennung und/oder Fahrbahnerkennung, nötig. Der Umgebungsbereich des Kraftfahrzeugs muss bei unterschiedlichen äußeren Bedingungen, beispielsweise Belichtung, Verkehrssituation, Fahrbahnbedingungen und Wetterbedingungen, sicher erfasst werden.
Es ist Aufgabe der vorliegenden Erfindung, eine Umgebung eines Kraftfahrzeugs bei unterschiedlichen Umgebungsbedingungen zuverlässig zu erfassen.
Diese Aufgabe wird erfindungsgemäß gelöst durch die Gegenstände der unabhängigen Patentansprüche. Vorteilhafte Ausführungsformen mit zweckmäßigen Weiterbildungen sind Gegenstand der Unteransprüche, der Beschreibung und der Figuren. Vorteilhafte Ausführungsformen und zweckmäßige Weiterbildungen des erfindungsgemäßen Verfahrens sowie damit einhergehende Vorteile gelten analog auch für das erfindungsgemäße Steuergerät, das erfindungsgemäße Fahrerassistenzsystem und das erfindungsgemäße Kraftfahrzeug.
In einem ersten Schritt (i) des vorliegenden Verfahrens zum Erfassen eines Umgebungsbereichs eines Kraftfahrzeugs wird zumindest ein Bild von einer Kamera empfangen, wobei das Bild den Umgebungsbereich beschreibt oder betrifft. Das zumindest eine Bild kann von der Kamera aufgenommen werden beziehungsweise erfasst werden. Bei dem zumindest einen Bild kann es sich um ein Einzelbild, eine Bildfolge oder ein einzelnes Bild der Bildfolge handeln. Bei der Bildfolge handelt es sich vorzugsweise um eine Videoaufnahme des Umgebungsbereichs. Das zumindest eine Bild ist vorzugsweise eine digitale Bildaufnahme des Umgebungsbereichs.
In einem Schritt (ii) des Verfahrens wird das zumindest eine Bild in Sektoren unterteilt, welche durch Sektorgrenzen getrennt sind, wobei die Sektorgrenzen strahlenförmig von einem Mittelpunkt ausgehen. Die Sektorgrenzen können fest vorgegeben sein und nicht von dem zumindest einen Bild abhängen oder dynamisch an das zumindest eine Bild angepasst werden. Die Sektorgrenzen können von dem Mittelpunkt radial ausgehen beziehungsweise radial um den Mittelpunkt angeordnet sein. Vorzugsweise sind die Sektorgrenzen bezüglich des Mittelpunktes radial ausgerichtet und schneiden sich in dem Mittelpunkt.
Anschließend werden in einem Schritt (iii) die Regionen in jedem Sektor beziehungsweise in jedem der Sektoren in dem zumindest einen Bild nach einem ersten vorbestimmten Kriterium ermittelt. Insbesondere wird das zumindest eine Bild zunächst in jedem Sektor einzeln beziehungsweise sektorweise ausgewertet. Nach dem ersten vorbestimmten Kriterium können beispielsweise Regionen gleicher Farbe, gleicher Helligkeit oder gleicher Textur in jedem der Sektoren ermittelt werden.
In einem weiteren Schritt (iv) wird eine Gesamtheit derjenigen der Regionen, die gemäß mindestens einem zweiten vorbestimmten Kriterium eine Fahrbahn repräsentieren, auf der sich das Kraftfahrzeug befindet, als Fahrbahnbereich definiert. Beispielsweise können gemäß dem zweiten vorbestimmten Kriterium diejenigen Regionen eine Fahrbahn repräsentieren, deren Helligkeit und/oder Textur in einem vorbestimmten Helligkeitsbereich beziehungsweise vorbestimmten Texturbereich liegt.
In einem anderen Schritt (v) wird eine Gesamtheit derjenigen Regionen, die gemäß mindestens einem dritten vorbestimmten Kriterium zumindest ein Objekt in dem Umgebungsbereich repräsentieren, als zumindest einen Objektbereich definiert. Beispielsweise können diejenigen Regionen als der zumindest eine Objektbereich definiert werden, deren Helligkeit und/oder deren Textur und/oder deren Position im Bild einer vorbestimmten, von den Erfordernissen des Einzelfalls abhängigen Bedingung folgen. Beispielsweise ist als die Bedingung vorgegeben, dass die Helligkeit und/oder die Textur der Region in einem weiteren vorbestimmten Helligkeitsbereich beziehungsweise weiteren vorbestimmten Texturbereich liegt. Beispiele für Objekte, die durch den Objektbereich repräsentiert werden können sind Hindernisse der Umgebung, zum Beispiel Mauern oder Häuser, und andere Fahrzeuge, beispielsweise ein Personenkraftwagen oder ein Lastkraftwagen.
Die Sektoren werden anhand des Fahrbahnbereichs und des Objektbereichs bezüglich ihrer Befahrbarkeit klassifiziert. Beispielsweise können die Sektoren anhand der relativen Lage des Fahrbahnbereichs und des Objektbereichs klassifiziert werden. Insbesondere wird einer der Sektoren zumindest dann als nicht befahrbar klassifiziert, wenn in dem jeweiligen Sektor der zumindest eine Objektbereich vorliegt beziehungsweise wenn der jeweilige Sektor den zumindest einen Objektbereich überlappt. Der Sektor ist dann nicht befahrbar, da eine Fahrt die die Richtung, die durch den Sektor repräsentiert wird, zu einer Kollision mit dem Objekt führen würde, welches durch den Objektsbereich repräsentiert ist. Das Klassifizieren der Sektoren bezüglich ihrer Befahrbarkeit kann anhand von zwei Klassen, beispielsweise befahrbar und nicht befahrbar, oder anhand mehrerer Klassen erfolgen. Im Falle mehrerer Klassen sind Abstufungen der Befahrbarkeit ermöglicht. Beispielsweise kann zwischen primär und sekundär befahrbaren Sektoren unterschieden werden, wobei primär befahrbare Sektoren vorzugsweise zu befahren sind. Durch das Unterteilen des Bildes in Sektoren, insbesondere durch radiale Sektorgrenzen, kann ein besonders robustes Verfahren bereitgestellt werden, welches eine zuverlässige Bilderkennung auch bei starker Sonneneinstrahlung und entsprechender Spiegelung von Sonnenlicht ermöglicht. Die Sektoren können anschließend bezüglich ihrer Befahrbarkeit klassifiziert werden, wobei jeder Sektor eine potentielle Fahrtrichtung repräsentiert. Insbesondere kann durch jeden der Sektoren eine potentielle Fahrtrichtung von dem Mittelpunkt aus und entlang des jeweiligen Sektors repräsentiert sein.
In weiterer Ausgestaltung der Erfindung ist vorgesehen, dass die Regionen nach dem ersten vorbestimmten Kriterium durch folgende Schritte ermittelt werden. Zunächst erfolgt ein Unterteilen des zumindest einen Bildes in Blöcke, wobei jeder der Sektoren eine Mehrzahl von Blöcken umfasst. Beispielsweise werden die Blöcke durch ein Gitternetz eingeteilt. Insbesondere sind die Blöcke gleich groß. Vorzugsweise ist die Anzahl an Blöcken in Hochrichtung des Bildes und/oder Querrichtung des Bildes ein Vielfaches von 8. Jeder der Blöcke kann einem jeweiligen Sektor zugeordnet werden. Anschließend kann für jeden der Blöcke zumindest ein jeweiliger Blockwert extrahiert werden, wobei jeder Block beziehungsweise jeder der Blöcke durch den zumindest einen jeweiligen Blockwert charakterisiert ist. Beispielsweise gibt der Blockwert eine Luminanz innerhalb des jeweiligen Blocks an. Als Luminanz kann die Helligkeit von Pixeln bezeichnet werden. Vorzugsweise wird zumindest ein Abbild des zumindest einen Bildes erstellt, wobei das Bild allein durch die Blöcke und den zumindest einen jeweiligen Blockwert beschrieben ist. Insbesondere wird für jeden der Blöcke mehr als ein Blockwert extrahiert, wobei die mehreren Blockwerte beispielsweise gleiche und/oder unterschiedliche Pixeleigenschaften beschreiben. Die Sektoren können die Regionen eingeteilt werden, wobei die jeweiligen Blockwerte der Blöcke innerhalb einer der Regionen höchstens um einen vorgebbaren Wert voneinander abweichen. Insbesondere werden die Sektoren unabhängig voneinander in die Regionen eingeteilt. Vorzugsweise kann eine Verteilung der jeweiligen Blockwerte innerhalb eines Sektors, insbesondere nach Art eines Histogramms, ermittelt werden. Der vorgebbare Wert kann derart ermittelt werden, dass Blöcke, deren jeweilige Blockwerte sich um einen bestimmten Wert gruppieren, eine Region bilden. Alternativ oder zusätzlich können Häufungspunkte der Verteilung der Blockwerte beziehungsweise des Histogramms ermittelt werden und diejenigen Blöcke einer Region zugeordnet werden, deren Blockwerte sich um denselben Häufungspunkt gruppieren.
Vorzugsweise betreffen die jeweiligen Blockwerte eine maximale Luminanz und/oder eine minimale Luminanz und/oder ein Helligkeitsspektrum innerhalb des jeweiligen Blocks. Beispielsweise wird für jeden Pixel innerhalb eines Blocks eine Luminanz beziehungsweise Helligkeit ermittelt. Die Luminanz ist beispielsweise durch das Y - Signal eines YUV - Bildsignals gegeben. Das Helligkeitsspektrum kann der Differenz zwischen der Luminanz des hellsten Pixels und der Luminanz des dunkelsten Pixels innerhalb des Blocks entsprechen. Der zumindest eine Blockwert für den jeweiligen Block ist beispielsweise die Luminanz des hellsten Pixels in dem Block und/oder die Luminanz des dunkelsten Pixels in dem Block und/oder die Differenz zwischen der Luminanz des hellsten Pixels und der Luminanz des dunkelsten Pixels innerhalb des Blocks. Vorzugsweise werden für jeden der Blöcke drei Blockwerte extrahiert, nämlich die maximale Luminanz, die minimale Luminanz und das Helligkeitsspektrum. Das Helligkeitsspektrum innerhalb des jeweiligen Blocks wird im Folgenden auch Textur genannt.
In weiterer Ausgestaltung der Erfindung ist vorgesehen, dass das zweite vorbestimmte Kriterium umfasst, dass zumindest diejenigen Regionen als der Fahrbahnbereich definiert werden, die an den Mittelpunkt angrenzen. Insbesondere ist der Mittelpunkt derart gewählt, dass dieser in einem normalen Betrieb des Kraftfahrzeugs stets an den Fahrbahnbereich angrenzt oder durch den Fahrbahnbereich umgeben ist. Diejenigen Regionen als den Fahrbahnbereich zu definieren, welche an den Mittelpunkt angrenzen, ist eine besonders einfache Methode den Fahrbahnbereich zu definieren. Wird ein Schatten des Kraftfahrzeugs, insbesondere als Region, erkannt, so wird eine daran angrenzende Region als Fahrbahnbereich definiert.
In weiterer Ausgestaltung der Erfindung ist vorgesehen, dass zwei benachbarte Regionen unterschiedlicher Sektoren zusammengefasst werden, wenn deren Luminanzen und/oder Texturen, insbesondere in deren Grenzbereich, höchstens um ein vorbestimmtes Maß voneinander abweichen. Somit können Regionen, welche beispielsweise dasselbe Objekt oder denselben Fahrbahnbereich betreffen, über mehrere Sektoren hinweg zusammengefasst werden. Dies kann insbesondere nötig sein, wenn die Regionen für jeden Sektor einzelnen ermittelt werden. Das vorbestimmte Maß ist aber in dem Einzelfall derart zu wählen, dass zwei benachbarte Regionen unterschiedlicher Sektoren insbesondere genau dann zusammengefasst werden, wenn diese dasselbe Objekt oder denselben Fahrbahnbereich repräsentieren. Beispielsweise kann vorgesehen sein, dass gemäß dem vorbestimmten Maß die zwei benachbarten Regionen dieselben Luminanzen und/oder Texturen aufweisen müssen. Durch das Zusammenfassen der Regionen ist einerseits das Erkennen eines Objekts und auf der anderen Seite die robuste Einteilung der Regionen anhand einzelner Sektoren möglich.
Die benachbarten Regionen unterschiedlicher Sektoren werden insbesondere ausgehend von einem Sektor, der sich bezogen auf das Bild links/rechts außen befindet, Sektor für Sektor beziehungsweise sektorweise zusammengefasst, wenn ihre jeweiligen Regionengrenzen entlang der betroffenen Sektorgrenze gleich lang sind. Der Sektor, der sich links/rechts außen befindet ist vorzugsweise der äußerste Sektor beziehungsweise ein Randsektor. Wenn zwei benachbarte Regionen unterschiedlicher Sektoren gleichlange Regionengrenzen entlang der betroffenen Sektorgrenze beziehungsweise der sie teilenden Sektorgrenze aufweisen, ist insbesondere anzunehmen, dass die benachbarten Regionen dasselbe Objekt repräsentieren. Alternativ oder zusätzlich können benachbarte Regionen unterschiedlicher Sektoren zusammengefasst werden, wenn ihre jeweiligen Regionengrenzen entlang der betroffenen Sektorgrenze deckungsgleich sind beziehungsweise übereinstimmen. Die Regionengrenze einer Region ist insbesondere durch eine Umfangslinie der Region gegeben.
In weiterer Ausgestaltung der Erfindung ist vorgesehen, dass den Regionen innerhalb jedes der Sektoren durch von dem Mittelpunkt radial ausgehendes Durchnummerieren ein Rang zugewiesen wird. Beispielsweise wird derjenigen der Regionen innerhalb eines der Sektoren, deren Schwerpunkt sich dem Mittelpunkt am nächsten/am zweitnächsten/am drittnächsten befindet, der niedrigste/zweitniedrigste/drittniedrigste Rang zugewiesen. Durch das Durchnummerieren können die Regionen besonders einfache Art und Weise bezüglich ihrer Lage in dem Sektor charakterisiert werden.
Vorteilhafterweise können zwei benachbarte Regionen unterschiedlicher Sektoren zusammengefasst werden, wenn ihnen derselbe Rang zugewiesen wurde. Insbesondere werden zwei benachbarte Regionen unterschiedlicher Sektoren und gleichen Ranges dann zusammengefasst, wenn zusätzlich deren Luminanzen und/oder Texturen höchstens um ein vorbestimmtes Maß voneinander abweichen oder ihre jeweiligen Regionengrenzen entlang der betroffenen Sektorgrenze gleich lang sind. Durch das Durchnummerieren der Regionen und das Zusammenfassen zweier benachbarte Regionen gleichen Ranges ist ein besonders einfaches Kriterium zum Erkennen von Regionen, welche dasselbe Objekt repräsentieren, gegeben.
In einer Ausführungsform der Erfindung ist vorgesehen, dass die radial äußersten Regionen beziehungsweise die Regionen höchsten Ranges zusammengefasst werden, wenn deren Luminanzen und/oder Texturen, insbesondere in deren Grenzbereich, höchstens um ein vorbestimmtes Maß voneinander abweichen. Dadurch werden insbesondere gezielt die radial äußersten beziehungsweise ranghöchsten Regionen daraufhin untersucht, ob diese dasselbe Objekt repräsentieren. Anschließend können Regionen niedrigeren Ranges untersucht werden. Auf diese Weise ist beispielsweise eine zuverlässige Erkennung eines Himmelbereichs ermöglicht, da der Himmelbereich insbesondere die radial äußersten Regionen umfassen kann.
Eine Weiterbildung der Erfindung sieht vor, dass das Definieren des Fahrbahnbereichs ein Validieren der die Fahrbahn repräsentierenden Regionen entsprechend einem vorgegebenen Randkriterium aufweist. Beispielsweise kann überprüft werden beziehungsweise validiert werden ob eine Grenzlinie des Fahrbahnbereichs, insbesondere eine radial außen liegende Grenzlinie des Fahrbahnbereichs, dem vorbestimmten Randkriterium genügt. Vorzugsweise wird gemäß des vorgegebenen Randkriteriums validiert, ob die Grenzlinie des Fahrbahnbereichs eine vorgegebene Form, beispielsweise zumindest im Wesentlichen die Form eines Kreisbogens, aufweist. Durch das Validieren des Fahrbahnbereichs kann die Zuverlässigkeit der Erkennung des Fahrbahnbereichs weiter gesteigert werden.
In einer Weiterbildung der Erfindung wird überprüft, ob der Fahrbahnbereich alle Sektoren zumindest teilweise beinhaltet. Insbesondere ist der Mittelpunkt so gewählt, dass der Fahrbahnbereich in einem Normalbetrieb des Kraftwagens alle Sektoren zumindest teilweise beinhaltet. Die korrekte Definition des Fahrbahnbereichs kann dann auf einfache Art und Weise validiert werden.
In einer Ausführungsform der Erfindung wird eine radial äußerste zusammengefasste Region, welche einen mittigen Sektor überlappt, als der Himmelbereich definiert. Insbesondere ist die Ausrichtung des Bildes derart gewählt, dass in der äußersten Region des mittigen Sektors in einem Normalbetrieb des Kraftfahrzeugs zu jeder Zeit der Himmel abgebildet ist. Der Himmelbereich repräsentiert insbesondere den Himmel in dem zumindest einen Bild. Auf diese Weise ist eine einfache Unterscheidung von Himmelbereich und Objekten gewährleistet.
Eine Weiterbildung der Erfindung sieht vor, dass eine radial innenliegende Grenzlinie des Himmelbereichs als obere Objektgrenze und/oder eine radial außen liegende Grenzlinie des Fahrbahnbereichs als untere Objektgrenze definiert wird. Mit anderen Worten befindet sich der zumindest eine Objektbereich radial innerhalb des Himmelbereichs und radial außerhalb des Fahrbahnbereichs. Durch die beiden Objektgrenzen kann auf vorteilhafte Weise der Bereich, in dem das zumindest eine Objekt zu erfassen ist, eingegrenzt werden.
Beispielsweise umfasst das dritte Kriterium, dass diejenigen Regionen, welche weder als Teil des Himmelbereichs noch als Teil des Fahrbahnbereichs definiert sind, als der zumindest eine Objektbereich definiert werden. Mit anderen Worten werden alle Regionen, welche weder als den Himmel repräsentierend noch als die Fahrbahn repräsentierend definiert sind, als das zumindest eine Objekt repräsentierend definiert. Auf diese Weise können Objekte in dem Bild besonders leicht erkannt werden.
Vorteilhafterweise repräsentiert der Mittelpunkt eine Kameraposition der Kamera in dem zumindest einen Bild. Beispielsweise ist der Mittelpunkt der Sektorgrenzen gleichzeitig auch der Mittelpunkt des Bildes. Auf diese Weise ist eine besonders vorteilhafte Ausrichtung der Sektoren beziehungsweise der Sektorgrenzen gewährleistet. Der Mittelpunkt kann alternativ oder zusätzlich eine Position des Kraftfahrzeugs in dem zumindest einen Bild repräsentieren. In diesem Fall ist eine besonders vorteilhafte Verknüpfung des zumindest einen Bildes des Umgebungsbereichs mit dem Kraftfahrzeug gewährleistet.
In einer Ausführungsform wird eine seitliche Ausbuchtung des Fahrbahnbereichs als potentielle Seitenstraße definiert. Als seitliche Ausbuchtung kann eine Abweichung der radial außen liegenden Grenzlinie des Fahrbahnbereichs nach außen hin über ein vorbestimmtes Maß hinaus bezeichnet werden. Beispielsweise wird eine seitliche Ausbuchtung erkannt, wenn die Grenzlinie des Fahrbahnbereichs partiell über das vorbestimmte Maß hinaus von dem Verlauf eines Kreisbogens abweicht. Alternativ oder zusätzlich kann die Grenzlinie des Fahrbahnbereichs geglättet beziehungsweise gemittelt werden, wobei bei einer Abweichung von der angenäherten beziehungsweise gemittelten Grenzlinie über das vorbestimmte Maß hinaus eine seitliche Ausbuchtung erkannt wird. Durch das Erkennen potentieller Seitenstraßen kann eine Gefahr durch potentiell querende Kraftfahrzeuge frühzeitig erkannt werden und zum Klassifizieren der Sektoren bezüglich ihrer Befahrbarkeit herangezogen werden.
In einer Weiterbildung der Erfindung ist vorgesehen, dass in dem Fahrbahnbereich eine Veränderung der Textur und/oder Luminanz in vertikaler oder radialer Richtung als zu einem Fahrbahnmerkmal, insbesondere einer Fahrbahnmarkierung, gehörig definiert wird. In vertikaler Richtung bezieht sich dabei insbesondere auf das zumindest eine Bild und beschreibt vorzugsweise dessen y-Richtung. Insbesondere wird die Veränderung der Textur und/oder Luminanz gemäß der y-Richtung beziehungsweise von unten nach oben oder von oben nach unten in dem zumindest einen Bild ermittelt. In radialer Richtung ist insbesondere auf den Mittelpunkt beziehungsweise die Sektorgrenzen bezogen, wobei die Veränderung der Textur und/oder Luminanz radial von dem Mittelpunkt ausgehend beziehungsweise radial zu dem Mittelpunkt hin ermittelt werden kann. Die Veränderung der Textur und/oder Luminanz kann beispielsweise durch Bilden eines Bildgradienten, im englischen auch „image gradient“ genannt, und/oder anhand der Blockwerte ermittelt werden. Insbesondere kann auf diese Weise ein Fahrbahnmerkmal in dem zumindest einen Bild ermittelt werden. Wird als das Fahrbahnmerkmal eine Fahrbahnmarkierung erkannt, kann ein Spurverlauf einer oder mehrerer vorausliegender Spuren, insbesondere Fahrspuren, ermittelt werden. Insbesondere ist eine Erkennung von zusammengeführten Spuren, beispielsweise an Autobahnausfahrten, oder von Spurteilungen, beispielsweise an einer Abzweigung, möglich. Die Befahrbarkeit der Sektoren kann in diesem Fall zusätzlich anhand des Spurverlaufs der vorausliegenden Fahrspur klassifiziert werden.
Durch das Definieren des Fahrbahnbereichs ist das Erkennen von Fahrbahnmerkmalen insbesondere nur innerhalb des Fahrbahnbereichs nötig.
Eine Weiterbildung der Erfindung sieht vor, dass zumindest ein weiteres Bild von der Kamera empfangen wird, welches den Umgebungsbereich beschreibt und in einem definierten zeitlichen Abstand von dem zumindest einen Bild aufgenommen wird. Die Schritte ii) bis v) werden zusätzlich für das zumindest eine weitere Bild durchgeführt. Alternativ oder zusätzlich können alle weiteren offenbarten Verfahrensschritte für das zumindest eine weitere Bild durchgeführt werden. Zumindest eine Relativbewegung des zumindest einen Objekts wird durch Vergleichen einer Position des zumindest einen Objektbereichs in dem zumindest einen Bild mit einer Position des zumindest einen Objektbereichs in dem zumindest einen weiteren Bild ermittelt. Die Sektoren können bezüglich ihrer Befahrbarkeit zusätzlich anhand der zumindest einen Relativbewegung klassifiziert werden. Das zumindest eine weitere Bild kann Teil derselben Bildfolge, insbesondere Teil derselben Videoaufnahme, wie das zumindest eine Bild sein. Der definierte zeitliche Abstand kann vorbestimmt oder beliebig sein. Vorzugsweise ist der definierte zeitliche Abstand bekannt. Zum Vergleichen der Position des zumindest einen Objektbereichs in dem zumindest einen Bild mit der Position des zumindest einen Objektbereichs in dem zumindest einen weiteren Bild kann beispielsweise durch Vergleichen der Position eines jeweiligen Schwerpunkts des jeweiligen Objektbereichs und/oder durch Vergleichen der Position einer jeweiligen Objektgrenze des jeweiligen Objektbereichs durchgeführt werden. Insbesondere kann zum Ermitteln der Relativbewegung eine Positionsveränderung zwischen den beiden Positionen mit dem definierten zeitlichen Abstand in Bezug gesetzt werden. Beispielsweise können Sektoren, in deren Richtung sich ein Objektbereich relativ bewegt, als nicht befahrbar oder als gefährlich klassifiziert werden.
In weiterer Ausgestaltung der Erfindung ist vorgesehen, dass eine Relativbewegung des Fahrbahnmerkmals durch Vergleichen einer Position des Fahrbahnmerkmals in dem zumindest einen Bild mit einer Position des Fahrbahnmerkmals in dem zumindest einen weiteren Bild ermittelt wird. Insbesondere kann die Relativbewegung des Fahrbahnmerkmals mit der Relativbewegung des zumindest einen Objektbereichs in Bezug gesetzt werden. In diesem Fall ist ein besonders umfassendes Erfassen des Umgebungsbereichs möglich.
In weiterer Ausgestaltung der Erfindung ist vorgesehen, dass zumindest ein Sektor als Notfallsektor für einen Nothalt definiert wird beziehungsweise klassifiziert wird. Der Notfallsektor ist insbesondere ein sekundär befahrbarer Sektor beziehungsweise ein Sektor, der in einem Normalbetrieb des Kraftfahrzeugs nicht befahren wird. Beispiele für Notfallsektoren sind Seitenstreifen und Nothaltebuchten, welche anhand von Fahrbahnmarkierungen erkannt werden können, oder Grünstreifen. Durch die, insbesondere vorausschauende, Definition des Notfallsektors steht im Falle einer bevorstehenden Kollision vorzugsweise stets ein Freiraum zum Ausweichen bereit.
Ein weiterer Aspekt der Erfindung betrifft ein Verfahren zum autonomen Steuern eines Kraftfahrzeugs, wobei ein Umgebungsbereich des Kraftfahrzeugs gemäß einem oben genannten Verfahren erfasst wird. Dabei kann das Kraftfahrzeug durch das vorliegende Verfahren zum Erfassen des Umgebungsbereichs besonders vorteilhaft und sicher gesteuert werden.
Ein dritter Aspekt der Erfindung betrifft ein Steuergerät zum Erfassen eines Umgebungsbereichs eines Kraftfahrzeugs. Ein Empfangsteil des Steuergerätes dazu ausgebildet, zumindest ein Bild von einer Kamera zu empfangen, wobei das Bild den Umgebungsbereich betrifft. Das Steuergerät weist eine Recheneinheit auf, die zum Unterteilen des Bildes in Sektoren, die durch Sektorgrenzen getrennt sind, die strahlenförmig von einem Mittelpunkt ausgehen, ausgebildet ist. Weiterhin ist die Recheneinheit zum Ermitteln von Regionen in jedem Sektor in dem zumindest einen Bild nach einem ersten vorbestimmten Kriterium ausgebildet. Weiterhin die Recheneinheit dazu ausgebildet, eine Gesamtheit derjenigen der Regionen, die gemäß mindestens einem zweiten vorbestimmten Kriterium eine Fahrbahn repräsentieren, auf der sich das Kraftfahrzeug befindet, als Fahrbahnbereich, sowie eine Gesamtheit derjenigen der Regionen, die gemäß mindestens einem dritten vorbestimmten Kriterium zumindest ein Objekt in dem Umgebungsbereich repräsentieren, als zumindest einen Objektbereich, zu definieren. Die Recheneinheit ist zum Klassifizieren der Sektoren bezüglich ihrer Befahrbarkeit anhand des Fahrbahnbereichs und des Objektbereichs ausgebildet.
Ein weiterer Aspekt der Erfindung betrifft ein Fahrerassistenzsystem mit einer Kamera und einem Steuergerät der oben genannten Art. Die Kamera ist dazu ausgebildet, zumindest ein Bild, insbesondere eine Bildfolge oder eine Videoaufnahme, eines Umgebungsbereichs eines Kraftfahrzeugs aufzunehmen beziehungsweise zu erfassen.
Ein fünfter Aspekt der Erfindung betrifft ein Kraftfahrzeug mit dem oben genannten Fahrerassistenzsystem.
Weitere Merkmale der Erfindung ergeben sich aus den Ansprüchen, den Figuren und der Figurenbeschreibung. Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in den Figuren alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen verwendbar, ohne den Rahmen der Erfindung zu verlassen. Es sind somit auch Ausführungen von der Erfindung als umfasst und offenbart anzusehen, die in den Figuren nicht explizit gezeigt und erläutert sind, jedoch durch separierte Merkmalskombinationen aus den erläuterten Ausführungen hervorgehen und erzeugbar sind. Es sind auch Ausführungen und Merkmalskombinationen als offenbart anzusehen, die somit nicht alle Merkmale eines ursprünglich formulierten unabhängigen Anspruchs aufweisen. Es sind darüber hinaus Ausführungen und Merkmalskombinationen, insbesondere durch die oben dargelegten Ausführungen, als offenbart anzusehen, die über die in den Rückbezügen der Ansprüche dargelegten Merkmalskombinationen hinausgehen oder abweichen.
Dabei zeigen:

1 Eine schematische Seitenansicht eines Kraftfahrzeugs mit zwei Kameras und einem Steuergerät zum Erfassen eines Umgebungsbereichs,
2 ein Flussdiagramm eines ersten Ausführungsbeispiels des vorliegenden Verfahrens,
3 ein Flussdiagramm eines zweiten Ausführungsbeispiels des vorliegenden Verfahrens,
4 ein Beispiel für ein Bild des Umgebungsbereichs,
5 eine schematischen Überblick über die Ermittlung von Regionen in einem Sektor,
6 unterschiedliche Regionen in dem Bild des Umgebungsbereichs,
7 ein Bild des Umgebungsbereichs mit einer Ausbuchtung des Fahrbahnbereichs, welche als Seitenstraße definiert wird,
8 ein Bild und ein weiteres Bild des Umgebungsbereichs, wobei die Bilder in einem definierten zeitlichen Abstand aufgenommen wurden,
9 ein schematisches Bild einer klassifizierten Befahrbarkeit von Sektoren.

Die 1 zeigt eine schematische Seitenansicht eines Kraftfahrzeugs 1 mit zwei Kameras 11, 12. Bei der Kamera 11 handelt es sich vorliegend um eine Frontkamera mit einem Erfassungsbereich 13, welche bezüglich des Kraftfahrzeugs 1 nach vorne gerichtet ist. Bei der Kamera 12 handelt es sich vorliegend um eine Heckkamera, deren Erfassungsbereich 14 in Bezug auf das Kraftfahrzeug 1 nach hinten gerichtet ist. Die Kamera 11, 12 ist dazu ausgebildet, zumindest ein Bild 3 eines Umgebungsbereichs U des Kraftfahrzeugs 1 in ihrem Erfassungsbereich 13, 14 aufzunehmen beziehungsweise zu erfassen. Bei dem zumindest einen Bild 3 kann es sich um ein Einzelbild, um ein Serienbild oder um eine Videoaufnahme handeln. Im Falle mehrerer Bilder 3 handelt es sich vorzugsweise um eine Folge von Einzelbildern, auch Frames genannt, der Videoaufnahme. Die Kamera 11, 12 ist vorliegend durch eine Datenleitung 18 mit einem Steuergerät 17 verbunden. Das Steuergerät 17 ist insbesondere dazu ausgebildet, ein im Folgenden beschriebenes Verfahren zum Erfassen des Umgebungsbereichs U des Kraftfahrzeugs 1 durchzuführen. Vorliegend umfasst das Steuergerät 17 einen Empfangsteil 15 zum Empfangen des zumindest einen Bildes 3 von der Kamera 11, 12 sowie einen Rechenteil 16.
4 zeigt beispielhaft ein Bild 3 des Umgebungsbereichs U. Das Bild 3 wird in mehreren Schritten zum Erfassen des Umgebungsbereichs U des Kraftfahrzeugs 1 ausgewertet. Die 2 und die 3 bieten jeweils einen beispielhaften Überblick über die einzelnen Schritte des Verfahrens in verschiedenen Ausführungsformen. In einem Schritt S0 kann das Verfahren gestartet werden. Beispielsweise wird in dem Schritt S0 das zumindest eine Bild 3 von der Kamera 11, 12 empfangen. In einem Schritt S1 können für die folgenden Schritte notwendig Ressourcen, beispielsweise Datenstrukturen und Speicherbereiche, insbesondere Arbeitsspeicher, des Steuergerät 17 beziehungsweise der Recheneinheit 16 initialisiert und den folgenden Schritten zugewiesen werden. In einem Schritt S2 können Konfigurationsparameter, beispielsweise vorbestimmte Grenzwerte und vorbestimmte Kriterien, initialisiert und festgelegt werden.
Ein Schritt S3, auch Modul zur regionalen Clusterbildung genannt, ist vorliegend zum Ermitteln unterschiedlicher Regionen 8 in dem Bild 3, insbesondere in einem Nutzbereich, im Englischen auch „region of interest“ genannt, vorgesehen. Der Nutzbereich des Bildes 3 ist insbesondere ein um irrelevante Randbereiche 39 bereinigter Bildbereich des Bildes 3. Zunächst kann in dem Schritt S3 eine Luminanz beziehungsweise ein Wert für die Luminanz jedes Pixels des Bildes 3 bestimmt werden. Alternativ wird die Luminanz beziehungsweise der Wert für die Luminanz nur für die Pixel in den Nutzbereich des Bildes 3 bestimmt. Bei Nutzung eines YUV-Bildsignals kann die Luminanz besonders einfach aus dem Y-Signal bestimmt werden. Anschließend wird das Bild 3 in eine Vielzahl gleich großer Blöcke 34 unterteilt. Die Blöcke 34 sind insbesondere quadratisch oder rechteckig. Vorliegend wird das Bild 3 durch ein Gitternetz 33 als jeweilige Blockgrenzen in die Blöcke 34 aufgeteilt. Beispielsweise wird das Bild 3 in N x N Blöcke aufgeteilt, wobei N vorzugsweise ein Vielfaches von 8 ist. Außerdem wird das Bild 3 in unterschiedliche Sektoren 32 unterteilt. Sektorgrenzen 31, welche die Sektoren 32 begrenzen, schneiden sich in einem Mittelpunkt 30. Die Sektorgrenzen 31 gehen, insbesondere radial, von dem Mittelpunkt 30 aus. Die Sektorgrenzen 31 können einen konstanten oder einen unterschiedlichen Winkel zwischen einander aufweisen. Beispielsweise können die Sektoren 32 jeweils einen gleichgroßen oder einen unterschiedlich großen Winkelbereich umfassen. Jeder der Sektoren 32 kann eine Vielzahl von Blöcken 34 umfassen. Der Mittelpunkt 30 kann insbesondere eine Kameraposition der Kamera 11, 12 in dem Bild 3 repräsentieren. Alternativ oder zusätzlich kann der Mittelpunkt 30 eine Position des Kraftfahrzeugs 1 in dem Bild 3 und/oder in dem Umgebungsbereich U repräsentieren.
Für jeden der Blöcke 34 kann ein jeweiliger Blockwert extrahiert werden. Vorliegend werden mehrere jeweilige Blockwerte für jeden der Blöcke 34 extrahiert. Ein erster jeweiliger Blockwert betrifft vorliegend eine maximale Luminanz des jeweiligen Blocks 34. Der erste jeweilige Blockwert kann durch Ermitteln des Pixels mit der größten Luminanz in dem jeweiligen Block 34 ermittelt werden und gibt insbesondere die Luminanz dieses Pixels an. Ein zweiter jeweiliger Blockwert betrifft vorliegend eine minimale Luminanz des jeweiligen Blocks 34. Der zweite jeweilige Blockwert kann durch Ermitteln des Pixels mit der geringsten Luminanz innerhalb des jeweiligen Blocks 34 ermittelt werden, wobei der zweite jeweilige Blockwert insbesondere die Luminanz dieses Pixels angibt. Ein dritter jeweiliger Blockwert kann ein Helligkeitsspektrum oder eine Textur innerhalb des jeweiligen Blocks 34 betreffen. Der dritte jeweilige Blockwert kann beispielsweise durch Subtrahieren des zweiten jeweiligen Blockwertes von dem ersten jeweiligen Blockwert ermittelt werden.
Anhand der Blöcke 34 und der jeweiligen Blockwerte kann zumindest ein Abbild des Bildes 3 erstellt werden. In dem Abbild wird das Bild 3 insbesondere allein anhand der Blöcke 34 und eines jeweiligen Blockwertes beschrieben. Die jeweiligen Blockwerte können für das jeweilige Abbild quantisiert werden. Beispielsweise ist hierfür ein Quantisierungsparameter, Q-Step genannt, als konfigurierbarer Parameter vorgesehen. Beispielsweise können die jeweiligen Blockwerte anhand von 256 Quantisierungsintervallen quantisiert werden. Die Intervalle werden insbesondere an einen Wertebereich der Blockwerte angepasst. Für jedes Abbild können eigene Quantisierungsparameter gewählt werden. Insbesondere ist für den ersten Blockwert, den zweiten Blockwert und den dritten Blockwert, beispielsweise aufgrund deutlich unterschiedlicher Wertebereiche, ein unterschiedlicher jeweiliger Quantisierungsparameter beziehungsweise unterschiedliche jeweilige Quantisierungsintervalle vorgesehen.
Die Abbilder beziehungsweise die, insbesondere quantisierten, Blockwerte können auf Häufungspunkte oder Häufungsintervalle R1, R2, R3 hin untersucht werden. Ein Häufungspunkt ist insbesondere ein Wert, um den sich eine Vielzahl von Blockwerten gruppiert. Beispielsweise kann das Ermitteln der Häufungspunkte anhand eines Histogramms erfolgen. Dies ist in 5 beispielhaft dargestellt. Dabei zeigt ein Histogramm 98 eine Häufigkeitsverteilung über die ersten Blockwerte, also die maximale Luminanz, der Blöcke 34 eines der Sektoren 32. Ein weiteres Histogramm 99 zeigt eine Häufigkeitsverteilung über die dritten Blockwerte, also die Textur, der Blöcke 34 desselben Sektors 32. Dabei gruppieren sich die Blockwerte in beiden Histogrammen in 98, 99 um jeweils 3 Werte beziehungsweise innerhalb von 3 Häufungsintervalle R1, R2, R3. Innerhalb der Häufungsintervalle R1, R2, R3 weichen die jeweiligen Blockwerte höchstens um einen vorgebbaren Wert voneinander ab. Der vorgebbaren Wert wird vorliegend derart vorgegeben, dass eine scharfe Abgrenzung der einzelnen Häufungsintervalle gegeben ist. Insbesondere weichen die jeweiligen Blockwerte der Blöcke innerhalb einer der Regionen höchstens um den vorgebbaren Wert oder einen weiteren vorgebbaren Wert von dem Häufungspunkt beziehungsweise dem Wert des Häufungspunktes ab. Die Häufungsintervalle R1, R2, R3 und/oder der zugehörige Häufungspunkt können im Rahmen des vorliegenden Verfahrens ermittelt werden. Anschließend können die Häufungsintervalle R1, R2, R3 und/oder Blöcke 34, deren Blockwerte sich um einen Häufungspunkt gruppieren beziehungsweise höchstens um den vorgebbaren Wert voneinander abweichen beziehungsweise höchstens um den vorgebbaren Wert oder den weiteren vorgebbaren Wert von dem Wert des Häufungspunkt abweichen in Regionen 8 eingeteilt werden. Dies kann anhand der ersten jeweiligen Blockwerte und/oder der zweiten jeweiligen Blockwerte und/oder der dritten jeweiligen Blockwerte erfolgen. Die auf diese Weise eingeteilten Regionen 8 repräsentieren mit einer sehr hohen Wahrscheinlichkeit dasselbe Objekt in dem Bild 3 und in dem Umgebungsbereich U.
6 gibt einen Überblick über das Bild 3, wobei jeder der Sektoren 32 in eine oder mehrere Regionen 8 unterteilt ist. Die Regionen 8 betreffen zu diesem Zeitpunkt des vorliegenden Verfahrens jeweils ausschließlich einen einzigen Sektor 32. Das bedeutet die Regionen 8 werden zunächst für jeden Sektor einzeln ermittelt. Jeder der Regionen 8 in einem Sektor 32 kann ein Rang zugewiesen werden. Hierzu können die Regionen 8 innerhalb eines Sektors von dem Mittelpunkt 30 ausgehend nach außen durchnummeriert werden. Beispielsweise wird den Regionen 40, die sich am nächsten zum Mittelpunkt 30 befinden, der Rang 1 zugewiesen. Den Regionen 60, die sich am zweitnächsten zu dem Mittelpunkt 30 befinden, kann der Rang 2 zugewiesen werden. Den Regionen 61 kann dementsprechend der Rang 3 zugewiesen werden und den Regionen 62 der Rang 4 zugewiesen werden. Auf diese Weise ist eine einfache Klassifizierung der Regionen 8 möglich.
Der Schritt S3 des vorliegenden Verfahrens kann, insbesondere wie beschrieben, dem Ermitteln der Regionen 8 dienen. Insbesondere teilt sich der Schritt S3 in folgende Unterschritte auf: Extrahieren einer Luminanz für jeden Pixel des Bildes S3, Unterteilen des Bildes 3 in die Blöcke 34, Unterteilen des Bildes 3 in die Sektoren 32, Extrahieren zumindest eines jeweiligen Blockwertes für die Blöcke 34, optional Erstellen eines Histogramms 98, 99 über die Blockwerte in einem Sektor 32, Ermitteln von Regionen 8 in jedem der Sektoren 32 anhand des Histogramms 98, 99 und/oder den Block werden, optional Zuweisen des Ranges für die Regionen 8 und ebenfalls optional zusammenfassen von ähnlichen Regionen 8 in unterschiedlichen Sektoren 32. Das Zusammenfassen der Regionen 8 erfolgt vorliegend in weiteren Schritten.
In einem Schritt S4 werden vorliegend diejenigen Regionen 40 ermittelt, welche nach einem zweiten vorbestimmten Kriterium eine Fahrbahn 4 repräsentieren. Die Gesamtheit der Regionen 40 wird als ein Fahrbahnbereich 41 definiert. Vorliegend umfasst das zweite vorbestimmte Kriterium, dass diejenigen Regionen 40 als der Fahrbahnbereich 41 definiert werden, welche direkt an den Mittelpunkt 30 angrenzen. Alternativ oder zusätzlich kann das zweite vorbestimmte Kriterium umfassen, dass zumindest diejenigen Regionen 40 als der Fahrbahnbereich 41 definiert werden, welche den Rang 1 haben beziehungsweise welchen der Rang 1 zugewiesen wird. Wird ein Schatten des Kraftfahrzeugs 1 in dem Bild 3 erkannt, so wird eine direkt an den Schatten angrenzende Region, insbesondere radial außenseitig an den Schatten angrenzende Region 8, als Teil des Fahrbahnbereichs 41 definiert. Auf diese Weise kann ermittelt werden, welche Bereiche des Bildes 3 die Fahrbahn 4 repräsentieren. Vorzugsweise werden die Regionen 40 bezogen auf das Bild entweder von links nach rechts oder von rechts nach links zu dem Fahrbahnbereich 41 zusammengefasst. Dabei wird insbesondere darauf geachtet, ob die Regionen 40 der verschiedenen Sektoren 32 eine vergleichbare Luminanz und/oder Textur aufweisen. Insbesondere wird zum Zusammenfassen der Regionen überprüft, ob die Regionen 40, erste Blockwerte und/oder zweite Blockwerte und/oder dritte Blockwerte aufweisen, welche maximal um ein vorbestimmtes Maß voneinander abweichen.
Zusätzlich kann ein Verlauf einer Grenzlinie 42 des Fahrbahnbereichs 41 zum Definieren des Fahrbahnbereichs 41 und/oder zum validieren des Fahrbahnbereichs 41 herangezogen werden. Beispielsweise wird vorausgesetzt, dass der Fahrbahnbereich 41 eine Grenzlinie 42, welche zumindest im Wesentlichen dem Verlauf eines Kreisbogens folgt, aufweist. Mittels eines vorgegebenen Randkriteriums kann validiert werden, inwieweit der Verlauf der Grenzlinie 42 von einem vorgegebenen Verlauf abweicht. Weicht der Verlauf der Grenzlinie 42 mehr als gemäß des Randkriteriums zulässig ab, so kann ein Fehler erkannt werden.
Alternativ oder zusätzlich kann zum Validieren des Fahrbahnbereichs 41 überprüft werden, ob dieser alle Sektoren zumindest teilweise beinhaltet. Insbesondere ist die Kamera 11, 12 derart an dem Kraftfahrzeug 1 angeordnet, dass der Fahrbahnbereich 41 jeden der Sektoren 32 zumindest überlappt. Wird festgestellt, dass der Fahrbahnbereich 41 einen oder mehrere der Sektoren 32 nicht überlappt, so kann eine Fehlermeldung ausgegeben werden.
In einem weiteren Schritt S5 werden Objektbereiche 21, 24, 26 definiert. Hierzu werden vorliegend zunächst die äußersten Regionen 8 jedes der Sektoren 32 zusammengefasst, wenn deren Luminanzen und/oder Texturen maximal um ein vorbestimmtes Maß voneinander abweichen. Im Allgemeinen kann dann festgestellt werden, dass die Luminanzen und/oder Texturen höchstens um das vorbestimmte Maß voneinander abweichen, wenn die Blockwerte der Blöcke 34 der Regionen 8 höchstens um das vorbestimmte Maß voneinander abweichen. Insbesondere werden dabei die Blockwerte in einem Grenzbereich 27 zweier benachbarter Regionen 8 ausgewertet. Insbesondere werden dabei die Regionen 8 höchsten Ranges jedes der Sektoren 32 zusammengefasst, wenn deren Luminanzen oder Texturen höchstens um das vorbestimmte Maß voneinander abweichen. Dabei handelt es sich vorzugsweise um die Regionen 8, welche am weitesten von dem Mittelpunkt 30 entfernt sind. Eine radial äußerste Region, welche einen mittigen Sektor 46 überlappt, wird als Teil eines Himmelbereichs 44 definiert. Insbesondere werden die Regionen 43, welche einen Himmel 5 repräsentieren, zusammengefasst, da deren Luminanzen und/oder Texturen höchstens um das vorbestimmte Maß voneinander abweichen. Eine zusammengefasste Region, welche sich aus den Regionen 43 zusammensetzt, welche den Himmel 5 repräsentieren, wird als der Himmelbereich 44 definiert, da die zusammengefasste Region einen mittigen Sektor 46 überlappt. Die Kamera 10, 11 ist aber insbesondere derart ausgerichtet, dass radial außenseitig des mittigen Sektor 46 stets der Himmel 5 aufgenommen wird.
Eine radial innenliegende Grenzlinie 45 des Himmelbereichs 44 wird vorliegend als obere Objektgrenze definiert. Analog wird vorliegend die radial außen liegende Grenzlinie 42 des Fahrbahnbereichs 41 als untere Objektgrenze definiert. Demnach befinden sich die Objektbereiche 21, 24, 26 zwischen den beiden Grenzlinien 42, 45. Diejenigen Regionen 8 zwischen den beiden Grenzlinien 42, 45 können als Teil eines der Objektbereiche 21, 24, 26 definiert werden.
Die Regionen 20, welche vorliegend ein Objekt 2 repräsentieren, werden vorliegend zu dem Objektbereich 21 zusammengefasst. Die Regionen 20 werden vorliegend zusammengefasst, wenn deren Luminanzen und/oder Texturen höchstens um das vorbestimmte Maß voneinander abweichen. Alternativ oder zusätzlich können die Regionen 20 zusammengefasst werden, da ihre jeweiligen Regionengrenzen 28 entlang einer betroffenen Sektorgrenze 31 gleich lang sind. Insbesondere sind die Sektorgrenzen deckungsgleich. Alternativ oder zusätzlich kann überprüft werden, ob die Regionen 20 denselben Rang aufweisen. In diesem Fall können die Regionen 20 dann zusammengefasst werden, ihnen derselbe Rang zugewiesen wurde. Nach denselben Kriterien können die Regionen 25 zu dem Objektbereich 26 sowie die Regionen 23 zu dem Objektbereich 24 zusammengefasst werden. Auf diese Weise sind alle Objektbereiche 21, 24, 26 für das vorliegende Bild 3 definiert. Insbesondere ist der Objektbereich 21 ermittelt, welcher das Objekt 2 repräsentiert.
Die 8a zeigt ein weiteres Beispiel für ein Bild 3 und die 8b ein Beispiel für ein weiteres Bild 55. Das Bild 3 sowie das weitere Bild 55 werden in einem definierten zeitlichen Abstand voneinander, insbesondere von derselben Kamera 11, 12, aufgenommen. Vorzugsweise sind das Bild 3 und das weitere Bild 55 aufeinanderfolgende Einzelbilder, auch Frames genannt, einer Videoaufnahme der Kamera 11, 12. Vorliegend handelt es sich bei den Bildern 3, 55 insbesondere um Bilder der Heckkamera des Kraftfahrzeugs 1. Für beide Bilder 3, 55 werden unabhängig voneinander die Schritte S3, S4 und S5 durchgeführt. Der Übersichtlichkeit halber sind in der 8a und in der 8b die Sektorgrenzen 31, die Regionen 8, der Fahrbahnbereich 41 sowie der Himmelbereich 44 nicht eingezeichnet.
Sowohl in dem Bild 3 als auch in den weiteren Bild 55 werden in einem Schritt S6 Fahrbahnmerkmale 52, insbesondere Fahrbahnmarkierungen ermittelt. Hierzu wird vorliegend die Luminanz und/oder die Textur bezogen auf das jeweilige Bild 3, 55 in vertikaler Richtung beziehungsweise von unten nach oben oder von oben nach unten auf Veränderungen untersucht. Insbesondere werden die Fahrbahnmerkmale 52 nur in dem Fahrbahnbereich 41 ermittelt. Die Veränderungen in der Textur und/oder Luminanz können beispielsweise durch Ermitteln eines Bildgradienten und/oder durch Auswerten der Blockwerte erkannt werden. Insbesondere können die jeweiligen ersten Blockwerte und/oder die jeweilige zweiten Blockwerte und/oder vorzugsweise die jeweiligen dritten Blockwerte der Blöcke 34 in dem Fahrbahnbereich 41 zum Erkennen der Fahrbahnmerkmale 52 ausgewertet werden. Wird eine Veränderung der Textur und/oder Luminanz ermittelt, die ein vorbestimmtes Maß überschreitet, so wird die Veränderung als zu der Fahrbahnmarkierung 52 gehörig definiert. Beispielsweise können die Fahrbahnmarkierungen 52 zu klein sein, um durch eine eigene Region 8 repräsentiert zu werden. In einer anderen Ausführungsform kann es vorgesehen sein, die Veränderung der Textur und/oder Luminanz nicht in vertikaler Richtung zu ermitteln sondern in radialer Richtung. Insbesondere wird die Veränderung der Textur und/oder Luminanz radial in Bezug auf den Mittelpunkt 30, insbesondere entlang der Sektorgrenzen 31, ermittelt.
In den Bildern 3, 55 wird für den Objektbereich 21 eine jeweilige Position in dem jeweiligen Bild 3, 55 ermittelt. Durch Vergleichen der jeweiligen Positionen des Objektbereichs 21 in den jeweiligen Bildern kann in einem Schritt S7 eine Relativbewegung 65 des Objektbereichs 21 beziehungsweise des Objekts 2 ermittelt werden. Insbesondere kann eine Relativbewegungsrichtung aus den beiden Bildern 3, 55 extrahiert werden. Da das Bild 3 und das weitere Bild 55 in einem definierten zeitlichen Abstand voneinander aufgenommen werden, kann alternativ oder zusätzlich zu der Relativbewegungsrichtung der Relativbewegung 65 des Objekts 2 eine Relativgeschwindigkeit der Relativbewegung 65 aus den beiden Bildern 3, 55 extrahiert werden. Alternativ oder zusätzlich zum Ermitteln der Relativbewegung 65 anhand des Objektbereichs 21 kann die Relativbewegung 65 anhand einer Objektgrundlinie 67 ermittelt werden. Die Objektgrundlinie 67 ist insbesondere gebildet durch eine Grenzlinie zwischen dem Objektbereich 21 und dem Fahrbahnbereich 41. Vorzugsweise wird anhand der jeweiligen zweiten Blockwerte beziehungsweise dem Abbild, welches anhand der zweiten Blockwerte erstellt wird, die Objektgrundlinie 67 auf einen dünnen Objektschatten hin untersucht. Der dünne Objektschatten ist anhand des zweiten Blockwertes, welcher die geringste Luminanz innerhalb eines Blocks 34 beschreibt, besonders gut ersichtlich. Auf diese Weise kann der Objektbereich 21 beziehungsweise die Objektgrundlinie 67 validiert werden.
In den Bildern 3, 55 wird für die Fahrbahnmerkmale 52 eine jeweilige Position in dem jeweiligen Bild 3, 55 ermittelt. Durch Vergleichen der jeweiligen Positionen der Fahrbahnmerkmale 52 in den jeweiligen Bildern kann, beispielsweise als Teil des Schrittes S6, eine Relativbewegung 66 des Fahrbahnmerkmals 52 ermittelt werden. Insbesondere kann eine Relativbewegungsrichtung aus den beiden Bildern 3, 55 extrahiert werden. Da das Bild 3 und das weitere Bild 55 in einem definierten zeitlichen Abstand voneinander aufgenommen werden, kann alternativ oder zusätzlich zu der Relativbewegungsrichtung der Relativbewegung 66 des Fahrbahnmerkmals 52 eine Relativgeschwindigkeit der Relativbewegung 66 aus den beiden Bildern 3, 55 extrahiert werden.
Die Relativbewegung 65 des Objekts 2 und die Relativbewegung 66 eines der Fahrbahnmerkmale 52, insbesondere ein Fahrbahnmerkmal 52 neben dem Objekt 2, können miteinander verglichen werden. Insbesondere werden die Relativgeschwindigkeiten des Objekts 2 und des Fahrbahnmerkmals 52 verglichen. Bewegt sich das Objekt 2 mit einer anderen Relativgeschwindigkeit als das Fahrbahnmerkmal 52, so handelt es sich um ein dynamisches Objekt. Bewegt sich das Objekt 2 mit derselben Relativgeschwindigkeit als das Fahrbahnmerkmal 52, so handelt es sich um ein statisches Objekt.
7 zeigt ein anderes Beispiel für ein Bild 3. Dabei weist die Grenzlinie 42 des Fahrbahnbereichs 41 eine Ausbuchtung 51 auf. Die Ausbuchtung 51 kann beispielsweise durch Vergleichen des Verlaufs der Grenzlinie 42 mit einem vorbestimmten Verlauf ermittelt werden. Alternativ oder zusätzlich kann die Ausbuchtung 51 dadurch erkannt werden, dass der Verlauf der Grenzlinie 42 partiell mehr als ein vorbestimmtes Maß von einem geglätteten beziehungsweise gemittelten Verlauf der Grenzlinie 42 abweicht. Die Ausbuchtung 51 wird vorliegend als Seitenstraße definiert. An der Seitenstraße besteht eine höhere Gefahr durch querende Kraftfahrzeuge und/oder auf die vorausliegende Fahrbahn abbiegende Kraftfahrzeuge.
Zuletzt zeigt 9 ein Beispiel für das Bild 3, wobei die Sektoren 32 in einem Schritt S8 bezüglich ihrer Befahrbarkeit klassifiziert werden. Dabei fließen insbesondere alle in den vorherigen Schritten gewonnenen Erkenntnisse über den Umgebungsbereich U ein. Sektoren 72, welche mit einem Objektbereich 21 überlappen, können als nicht befahrbare Sektoren klassifiziert werden. Die Sektoren 72 sind insbesondere unter keinen Umständen befahrbar, da sonst eine Kollision mit dem Objekt 2 erfolgen kann. Sektoren 73, in deren Richtung sich das Objekt 2 beziehungsweise die Objektbereich 21 orientiert, werden als Objektorientierungssektoren klassifiziert. Diese können als nicht befahrbar gelten, da das Objekt 2 beziehungsweise der Objektbereich 21 diese Sektoren zukünftig überlappen wird. Bei einer Fahrt in Richtung eines solchen Sektors 73 kann eine Kollision mit dem Objekt 2 erfolgen. Sektoren 71, die nicht mit dem Objektbereich 21 überlappen und nicht in naher Zukunft aufgrund der Relativbewegung 65 durch den Objektbereich 21 überlappt werden gelten als freie Sektoren beziehungsweise als primär befahrbare Sektoren. Die freien Sektoren 71 sind besonders sicher zu befahren und werden vorteilhafterweise durch das Kraftfahrzeug 1 bevorzugt angesteuert. Sektoren 70, die nicht mit dem Objektbereich 21 überlappen, jedoch nicht der gewünschten Fahrtrichtung entsprechen werden als sekundär befahrbare Sektoren klassifiziert. Beispielsweise weicht die Ausrichtung dieser Sektoren 70 um mehr als ein vorbestimmtes Maß von der Ausrichtung der zu befahrenden Fahrbahn 4 ab und/oder die Sektoren 70 repräsentieren eine potentielle Fahrtrichtung des Kraftfahrzeugs 1, welche in einem Verlassen der Fahrbahn 4 oder einer Fahrspur auf der Fahrbahn 4 resultiert. Beispielsweise handelt es sich bei den sekundär befahrbaren Sektoren 70 um Nothaltebuchten oder Grünstreifen jenseits der Fahrbahn 4. Im Falle einer sich ändernden Verkehrssituation und/oder einer bevorstehenden Kollision des Kraftfahrzeugs 1 stehen die sekundär befahrbaren Sektoren 70 als Notfallsektoren für einen Nothalt zur Verfügung.
Die Einteilung des Bildes 3, 55 gemäß radialer Sektoren 32 liefert ein besonders robustes Verfahren zum Auswerten des Bildes 3, 55, insbesondere bei schwierigen Lichtverhältnissen, beispielsweise aufgrund von Reflexionen oder einer tiefstehenden Sonne. Auf der anderen Seite können die Sektoren 32 bezüglich ihrer Befahrbarkeit besonders vorteilhaft klassifiziert werden, da jede der Sektoren 32 eine potentielle Fahrtrichtung des Kraftfahrzeugs 1 repräsentiert. Anhand des Ausführungsbeispiels ist gezeigt, wie eine Umgebung des Kraftfahrzeugs 1 bei unterschiedlichen Umgebungsbedingungen zuverlässig erfasst werden kann. Zudem kann der Umgebungsbereich U vorrausschauend, insbesondere durch Erfassen der Relativbewegung 65 des Objekts 2, erfasst werden. Die Befahrbarkeit der Sektoren 32 wird vorausschauend klassifiziert.

Claims

Verfahren zum Erfassen eines Umgebungsbereichs (U) eines Kraftfahrzeugs (1), mit den Schritten: i) Empfangen von zumindest einem Bild (3) von einer Kamera (11, 12), welches den Umgebungsbereich beschreibt, ii) Unterteilen des Bildes (3) in Sektoren (32), die durch Sektorgrenzen (31) getrennt sind, die strahlenförmig von einem Mittelpunkt (30) ausgehen, iii) Ermitteln von Regionen (8) in jedem Sektor (32) in dem zumindest einen Bild (3) nach einem ersten vorbestimmten Kriterium, iv) Definieren einer Gesamtheit derjenigen der Regionen (40), die gemäß mindestens einem zweiten vorbestimmten Kriterium eine Fahrbahn (4) repräsentieren, auf der sich das Kraftfahrzeug (1) befindet, als Fahrbahnbereich (41), v) Definieren einer Gesamtheit derjenigen der Regionen (20), die gemäß mindestens einem dritten vorbestimmten Kriterium zumindest ein Objekt (2) in dem Umgebungsbereich (U) repräsentieren, als zumindest einen Objektbereich (21), und vi) Klassifizieren der Sektoren (32) bezüglich ihrer Befahrbarkeit anhand des Fahrbahnbereichs (41) und des zumindest einen Objektbereichs (21).
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die Regionen (8) nach dem ersten vorbestimmten Kriterium durch folgende Schritte ermittelt werden: - Unterteilen des zumindest einen Bildes (3) in Blöcke (34), wobei jeder der Sektoren (32) eine Mehrzahl von Blöcken (34) umfasst, - Extrahieren zumindest eines jeweiligen Blockwertes für die Blöcke (34), wobei jeder Block (34) durch den zumindest einen jeweiligen Blockwert charakterisiert ist, - Einteilen der Sektoren (32) in die Regionen (8), wobei die jeweiligen Blockwerte der Blöcke (34) innerhalb einer der Regionen (8) höchstens um einen vorgebbaren Wert voneinander abweichen.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die jeweiligen Blockwerte eine maximale Luminanz und/oder eine minimale Luminanz und/oder ein Helligkeitsspektrum innerhalb des jeweiligen Blocks (34) betreffen.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das zweite vorbestimmte Kriterium umfasst, dass zumindest diejenigen Regionen (40) als der Fahrbahnbereich (41) definiert werden, die an den Mittelpunkt (30) angrenzen.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass zwei benachbarte Regionen (40) unterschiedlicher Sektoren (32) zusammengefasst werden, wenn deren Luminanzen und/oder Texturen, insbesondere in deren Grenzbereich (27), höchstens um ein vorbestimmtes Maß voneinander abweichen.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass benachbarte Regionen (8) unterschiedlicher Sektoren (32) ausgehend von einem Sektor (32), der sich bezogen auf das Bild (3) links/rechts außen befindet, Sektor für Sektor zusammengefasst werden, wenn ihre jeweiligen Regionengrenzen (28) entlang der betroffenen Sektorgrenze (31) gleich lang sind.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass den Regionen (8) innerhalb jedes der Sektoren (32) durch von dem Mittelpunkt (30) radial ausgehendes Durchnummerieren ein Rang zugewiesen wird.
Verfahren nach Anspruch 7, dadurch gekennzeichnet, dass zwei benachbarte Regionen (8) unterschiedlicher Sektoren (32) zusammengefasst werden, wenn ihnen derselbe Rang zugewiesen wurde.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die radial äußersten Regionen (8) zusammengefasst werden, wenn deren Luminanzen und/oder Texturen, insbesondere in deren Grenzbereich (27), höchstens um ein vorbestimmtes Maß voneinander abweichen.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Definieren des Fahrbahnbereichs (41) ein Validieren der die Fahrbahn (4) repräsentierenden Regionen (40) entsprechend einem vorgegebenen Randkriterium aufweist.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass überprüft wird, ob der Fahrbahnbereich (41) alle Sektoren (32) zumindest teilweise beinhaltet.
Verfahren nach einem der Ansprüche 5 bis 11, dadurch gekennzeichnet, dass eine radial äußerste zusammengefasste Region, welche einen mittigen Sektor (46) überlappt, als Himmelbereich (44) definiert wird.
Verfahren nach Anspruch 12, dadurch gekennzeichnet, dass eine radial innenliegende Grenzlinie (45) des Himmelbereichs (44) als obere Objektgrenze und/oder eine radial außenliegende Grenzlinie (42) des Fahrbahnbereichs (41) als untere Objektgrenze definiert wird.
Verfahren nach einem der Ansprüche 12 oder 13, dadurch gekennzeichnet, dass das dritte Kriterium umfasst, diejenigen Regionen (20), welche weder als Teil des Himmelbereichs (44) noch als Teil des Fahrbahnbereichs (41) definiert sind, als der zumindest eine Objektbereich (21) definiert werden.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der Mittelpunkt (30) eine Kameraposition der Kamera (11, 12) in dem zumindest einen Bild (3) repräsentiert.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass eine seitliche Ausbuchtung (51) des Fahrbahnbereichs (41) als potentielle Seitenstraße definiert wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass in dem Fahrbahnbereich (41) eine Veränderung der Textur und/oder Luminanz in vertikaler oder radialer Richtung als zu einem Fahrbahnmerkmal (52), insbesondere zu einer Fahrbahnmarkierung, gehörig definiert wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass - zumindest ein weiteres Bild (55) von der Kamera (11, 12) empfangen wird, welches den Umgebungsbereich (U) beschreibt und in einem definierten zeitlichen Abstand von dem zumindest einen Bild (3) aufgenommen wird, - die Schritte ii) bis v) für das zumindest eine weitere Bild (55) durchgeführt werden, - eine Relativbewegung (65) des zumindest einen Objekts (2) durch Vergleichen einer Position des zumindest einen Objektbereichs (21) in dem zumindest einen Bild (3) mit einer Position des zumindest einen Objektbereichs (21) in dem zumindest einen weiteren Bild (55) ermittelt wird, und - die Sektoren (32) zusätzlich bezüglich ihrer Befahrbarkeit anhand der zumindest einen Relativbewegung (65) klassifiziert werden.
Verfahren nach Anspruch 17 und 18, dadurch gekennzeichnet, dass eine Relativbewegung (66) des Fahrbahnmerkmals (52) durch Vergleichen einer Position des Fahrbahnmerkmals (52) in dem zumindest einen Bild (3) mit einer Position des Fahrbahnmerkmals (52) in dem zumindest einen weiteren Bild (55) ermittelt wird.
Verfahren nach einem der Ansprüche 18 oder 19, dadurch gekennzeichnet, dass zum Beschreiben der Relativbewegung (65) eine Relativgeschwindigkeit und/oder eine Relativbewegungsrichtung aus den zumindest zwei Bildern (3, 55) extrahiert wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass zumindest ein Sektor (32) als Notfallsektor (70) für einen Nothalt vorgesehen ist.
Verfahren zum autonomen Steuern eines Kraftfahrzeugs, wobei ein Umgebungsbereich (U) des Kraftfahrzeugs (1) gemäß einem Verfahren nach einem der vorhergehenden Ansprüche erfasst wird.
Steuergerät (17) zum Erfassen eines Umgebungsbereichs (U) eines Kraftfahrzeugs (1), mit - einem Empfangsteil (15) zum Empfangen von zumindest einem Bild (3) von einer Kamera (11, 12), welches den Umgebungsbereich (U) beschreibt, und einer Recheneinheit (16), - zum Unterteilen des Bildes (3) in Sektoren (32), die durch Sektorgrenzen (31) getrennt sind, die strahlenförmig von einem Mittelpunkt (30) ausgehen, - zum Ermitteln von Regionen (8) in jedem Sektor (32) in dem zumindest einen Bild (3) nach einem ersten vorbestimmten Kriterium, - zum Definieren einer Gesamtheit derjenigen der Regionen (40), die gemäß mindestens einem zweiten vorbestimmten Kriterium eine Fahrbahn (4) repräsentieren, auf der sich das Kraftfahrzeug befindet, als Fahrbahnbereich (41), - zum Definieren einer Gesamtheit derjenigen der Regionen (20), die gemäß mindestens einem dritten vorbestimmten Kriterium zumindest ein Objekt (2) in dem Umgebungsbereich (U) repräsentieren, als zumindest einen Objektbereich (21), und - zum Klassifizieren der Sektoren (32) bezüglich ihrer Befahrbarkeit anhand des Fahrbahnbereichs (41) und des Objektbereichs (21).
Fahrerassistenzeinrichtung mit einer Kamera (11, 12) zum Erfassen zumindest eines Bildes (3) und einem Steuergerät (17) nach Anspruch 23.
Kraftfahrzeug (1) mit einer Fahrerassistenzeinrichtung nach Anspruch 24.