-
Die Erfindung betrifft ein Verfahren zum Betreiben eines Fahrerassistenzsystems eines Kraftfahrzeugs, mit den Verfahrensschritten Erfassen einer Umgebung des Kraftfahrzeugs durch eine Erfassungsvorrichtung des Fahrerassistenzsystems und Detektieren eines durch das Kraftfahrzeug befahrbaren Freiraums in der erfassten Umgebung durch eine Rechenvorrichtung des Fahrerassistenzsystems, wobei der Freiraum vorzugsweise an das Kraftfahrzeug angrenzt. Die Erfindung betrifft auch ein Fahrerassistenzsystem für ein Kraftfahrzeug, mit einer Erfassungsvorrichtung zum Erfassen einer Umgebung des Kraftfahrzeugs und mit einer Rechenvorrichtung zum Detektieren eines durch das Kraftfahrzeug befahrbaren Freiraums in der erfassten Umgebung.
-
Die Detektion von befahrbarem Freiraum, das heißt, die Detektion eines Bereichs in der Umgebung des Kraftfahrzeugs, der frei von Hindernissen ist und daher durch das Kraftfahrzeug befahren werden kann oder diesem zugänglich ist, ist wichtig für Fahrerassistenzsysteme. Dies ist insbesondere der Fall, wenn es zu teilweise oder vollständig automatisiertem Fahren kommt, aber kann auch wertvoll sein, um dem Fahrer beim manuellen Fahren eine Warnung zukommen zu lassen. Insbesondere in Parkszenarios ist dies sehr wichtig, da in solch einem Szenario viele statische und dynamische Hindernisse vorhanden sind. Dabei ist die Detektion von Freiraum nicht nur die logische Umkehrung einer Detektion eines Hindernisses. Grundsätzlich detektiert jede Art von Objektdetektoren Objekte innerhalb eines spezifischen Verarbeitungsbereichs von Interesse (Region of Interest ROI). Allerdings hat jeder Objektdetektor eine begrenzte Leistungsfähigkeit, das heißt, es gibt immer Objekte, die übersehen werden. Daher kann der Objektdetektor allein nicht eingesetzt werden, um den Freiraum zu definieren, da sich ein übersehenes Objekt in dem angenommenen Freiraum befinden könnte.
-
Folglich wird die Freiraumdetektion einerseits eingesetzt, um auf einer im Fahrerassistenzsystem gespeicherten Umgebungskarte dynamische Hindernisse zu löschen, die nicht in der Umgebungskarte verfolgt werden können. Das heißt, dass eine gute Freiraumdetektion dynamische Hindernisse in ihrer vorherigen Position sehr schnell löschen wird ohne statische Hindernisinformationen zu löschen. Andererseits soll eine Freiraumdetektion fälschlicherweise detektierte Hindernisse löschen. Ein Fahrerassistenzsystem muss sicherstellen, dass statische Hindernisse in der Umgebungskarte behalten werden, die vorherige Position eines dynamischen Hindernisses schnell gelöscht wird und falsche Positive (false positives) durch schnelles Löschen fälschlicherweise detektierter Hindernisse reduziert werden. Des Weiteren kann Freiraumdetektion eingesetzt werden, um teilweise den Fehler einer fahrzeugeigenen Odometrieberechnung zu korrigieren, wenn eine erneute Detektion eines statischen Hindernisses nicht dieselbe Position liefert. In diesem Fall muss bei der Freiraumdetektion das Hindernis aus vorherigen Detektionen korrekt gelöscht werden. Gewöhnlich beruht eine solche Freiraumdetektion auf Tiefen- oder Abstandsinformation für verschiedene Sensorkanäle und/oder verschiedene Abschnitte oder Sektoren, die fächerartig von der Position der Erfassungsvorrichtung, beispielsweise einer Kamera, aus in die Umgebung verlaufen können. Eine solche Freiraumdetektion ist beispielsweise in der
DE 10 2015 115 012 A1 beschrieben.
-
Es ist eine Aufgabe der vorliegenden Erfindung, verbesserte Sicherheit beim Fahren, insbesondere beim halbautomatisierten oder vollautomatischen Fahren mit einem Kraftfahrzeug zu gewährleisten.
-
Diese Aufgabe wird durch die Gegenstände der unabhängigen Ansprüche gelöst. Vorteilhafte Ausführungsformen sind aus den abhängigen Ansprüchen, der Beschreibung und der Figur ersichtlich.
-
Ein Aspekt der Erfindung betrifft ein Verfahren zum Betreiben eines Fahrerassistenzsystems, insbesondere eines Parkassistenzsystems, eines Kraftfahrzeugs, mit mehreren Verfahrensschritten. Ein Verfahrensschritt ist das Erfassen einer Umgebung einer Erfassungsvorrichtung des Fahrerassistenzsystems. Insbesondere kann die Erfassungsvorrichtung eine Kameravorrichtung mit einer oder mehreren, beispielsweise vier, Kameras aufweisen. Hier ist es vorteilhaft, wenn die Erfassungsvorrichtungen einen oder mehrere Hardware-Beschleuniger einschließt, der oder die beispielsweise eine Verarbeitung von 16 Megapixeln pro Sekunde oder mehr ermöglicht. Zu diesem Zweck kann die Erfassungsvorrichtung beispielsweise vier Kameras mit jeweils mindestens 1 Megapixel umfassen, welche, wie unten beschrieben, eine Aktualisierungsrate von mindestens 15 Bildern pro Sekunde, aufweist.
-
Ein weiterer Verfahrensschritt ist das Detektieren eines befahrbaren Freiraums in der erfassten Umgebung durch eine Rechenvorrichtung des Fahrerassistenzsystems. Insbesondere grenzt der Freiraum an das Kraftfahrzeug an. Das Detektieren kann durch Bestimmen des Abstands von dem Kraftfahrzeug für mehrere Sektoren durchgeführt werden, die fächerartig von der Erfassungsvorrichtung des Kraftfahrzeugs aus in die Umgebung des Kraftfahrzeugs verlaufen, wie beispielsweise im oben angegebenen Stand der Technik. So ein Abstandssatz kann auch als Tiefenkarte bezeichnet werden, da die Abstände die Tiefe des befahrbaren Freiraums aus der Perspektive des Fahrzeugs beschreiben. Alternativ kann ein Segmentierungsalgorithmus, der sich die bekannten perzeptuellen Gruppierungsmechanismen zunutze macht, verwendet werden, um eine derartige Tiefenkarte zu verbessern. Vorzugsweise wird eine sogenannte dichtbesetzte oder dichte („dense“) Tiefenkarte auf der Grundlage von Millionen anstatt der herkömmlichen Tausenden von Strömungsvektoren in einer lückenhaften („sparse“) Tiefenkarte in der Freiraumdetektion verwendet. So wird eine solche dichte Tiefenkarte auf Grundlage eines sogenannten dichten optischen Fluss („dense optical flow“) mit vorzugsweise einem Megapixel oder mehr erstellt. Im Gegensatz dazu weist der traditionelle lückenhafte optische Fluss nur ein Kilopixel auf. Wegen der rechnerischen Komplexität der Verarbeitung von Millionen von Strömungsvektoren ist es effizient, diese uaf Kacheln verteilt anzuordnen („Tiling“) und über verschiedene Kacheln der jeweiligen Bilder an die Komplexität der Szene angepasst zu verteilen. Beispielsweise sind Bereiche am Himmel sehr gleichmäßig und auf Grundlage des Vertrauensniveaus eines jeden Merkmals- oder Strömungsvektors können hier weniger Merkmals- oder Strömungsvektoren angeordnet werden, wobei das Vertrauensniveau insbesondere als nachträgliche Schätzung bereitgestellt wird.
-
Des Weiteren kann auch vorheriges wissensbasiertes Lernen übernommen werden, was bedeutet, dass Bereiche des Himmels, der Straße, und anderer Regionen über das räumliche Layout typischer Verteilungen in dem optischen Fluss gelernt werden können. Insbesondere können diese Strömungsvektoren in statische und dynamische Vektoren unterteilt werden. Dies kann vorzugsweise nach dem Tiling der Strömungsvektoren erfolgen. Die statischen und dynamischen Vektoren können berechnet werden, indem unterschiedliche Einschränkungen, beispielsweise eine epi-polare geometrische Einschränkung und/oder eine räumliche Konsistenzeinschränkung und/oder eine zeitliche Verbreitungseinschränkung genutzt werden. Die sich bewegenden Punkte können aussortiert werden und einen gitterbasierten Clustering-Algorithmus durchlaufen. Im Gegensatz zu einem gewöhnlichen Clustering-Verfahren, können hier die Punkte auf einem regelmäßigen Gitter verteilt und die teilweise vorhandene Ordnung der Punkte innerhalb des Gitters ausgenutzt werden, um einen besseren Clustering-Algorithmus zu erhalten. Die statischen Punkte können durch eine Mehrbild-Photogrammetrie Pipeline (Structure-From-Motion-Pipeline, SFM-Pipeline) verarbeitet werden. Darin kann die relative Pose der Kamera durch eine Kombination von planarer Homographie auf Grundlage der Bodenpunktebene und einer wesentlichen Matrixberechnung für Nicht-Bodenpunkte berechnet werden.
-
Diese komplementäre Kombination verleiht der Schätzung Robustheit, was für die Genauigkeit der nächsten Schritte in der SFM-Pipeline von Vorteil ist. Eine 3D-Rekonstruktion kann berechnet werden, indem eine Zurück-Projektions-Fehler-Metrik (reprojection error metric) und die Methode der kleinsten Quadrate iterativ (iterative least squares) angewendet wird.
-
Typischerweise ist eine derartige 3D-Rekonstruktion sehr verrauscht. Aufgrund der Uneindeutigkeit wenig texturierter Bereiche, paralleler sich bewegender Objekte oder verrauschter Triangulation-Schätzwerte gibt es auch viele Löcher oder unabgedeckte Bereiche in der Rekonstruktion. Die Löcher können hinsichtlich der Anzahl an Strömungsvektoren im Verhältnis zu korrekten Schätzwerten in einem schwierigen Szenario sogar dominieren. Es ist daher von Vorteil, einen Regularisierungsalgorithmus mit vollständiger Variation (total variation based regularization algorithm) zu verwenden, der die Löcher auffüllen und eine glattere Tiefenkarte bilden kann. Dies ist sehr hilfreich, um einen genauen Freiraum-Schätzwert zu erhalten. Zur Freiraumdetektion ist es wichtig, die Boden- oder Grundebene so genau wie möglich zu rekonstruieren. Insbesondere kann die Verwendung eines dichten optischen Flusses (insbesondere in der oben bezeichneten Bedeutung), beispielsweise bei einer zeitlichen Mittelung, zu einer glatten und präzisen Bodenebenenrekonstruktion führen, was mit einer lückenhaften oder dünnen („sparse“) Repräsentation der Umgebung nicht immer möglich ist.
-
Ein weiterer Verfahrensschritt ist das Detektieren und/oder Klassifizieren mindestens eines Objektes in der erfassten Umgebung, welches sich an einer Grenze des Freiraums, insbesondere des detektierten Freiraums, befindet, durch ein neurales Netzwerk des Fahrerassistenzsystems oder in dem Fahrerassistenzsystem. So wird mindestens ein Objekt, das heißt ein Objekt oder mehrere Objekte, die angrenzend an den detektierten Freiraum lokalisiert sind, detektiert und klassifiziert. Hier kann die Benutzung eines neuralen Netzwerkes zum Detektieren und Klassifizieren eines Objektes über die bekannte „Objektdetektion mit gleitendem Fenster“ („sliding window object detection“) zum Detektieren von Fußgängern, Radfahrern und Fahrzeugen erfolgen. Diese Objektdetektion mit gleitendem Fenster ist rechenaufwändig und eine der Herausforderungen besteht darin, ein effizientes Netzwerk zu entwickeln, welches das Verfahren mit vertretbaren Rechenaufwand durchführt. Da lediglich die Objekte nahe der Grenze des detektierten Freiraums relevant für das vorgeschlagene Verfahren sind, kann beispielsweise die Objektdetektion mit gleitendem Fenster angewendet werden, wobei diese auf einen Bereich mit vorgegebenem maximalen Abstand von der Grenze des detektierten Freiraums beschränkt ist. Dies spart viel Rechenaufwand ein.
-
Da die üblichen Herangehensweisen mit regionalen faltenden Netzwerken (region convolution neural networks, R-CNN) und kaskadierenden faltenden neuralen Netzwerken (cascade convolution neural networks, C-CNN) Löcher in den Merkmalskarten lassen, sind sie nicht für das vorgeschlagene Verfahren geeignet. Stattdessen wird insbesondere ein auf generischen Funktionen basierender Lernansatz vorgeschlagen, bei welchem ein neurales Netzwerk für ein Erkennen abstrakter Merkmale anstatt einer vollständigen Objektklassifizierung trainiert wird. Im Gegensatz zu einer vollständigen Objektklassifizierung, wo beispielsweise die Kontur von Fußgängern, Fahrradfahrern und Fahrzeugen gelernt werden muss, muss bei der vorliegenden Herangehensweise das neurale Netzwerk nur lernen, die Teile des Objekts zu erkennen, die sich an der Grenze des Freiraums befinden. Daher ist es zum Beispiel ausreichend, die Füße eines Fußgängers oder Räder eines Fahrradfahrers oder Fahrzeuges zu erkennen. Daher sind die abstrakten Merkmale, die das neurale Netzwerk lernen muss nicht notwendigerweise an Bilder oder Konzepte geknüpft, da sie von Menschen wahrgenommen oder verstanden werden - daher der Name „abstraktes Merkmal“.
-
Wir nennen dies „auf generischen Funktionen basierenden Lernansatz“ (generic function learning approach), da dies die Menge und/oder Qualität des notwendigen Lernens reduziert. Dies kann einem Fahrerassistenzsystem (beziehungsweise einer Engine eines Fahrerassistenzsystems) helfen, Rauschen besser zu handhaben und Verwirrung zwischen zwei Objekten durch holistischen Synthetisieren der verfügbaren Information aufzulösen. So kann das neurale Netzwerk eine Merkmalskarte bilden, worin Merkmale, insbesondere die oben erwähnten abstrakten Merkmale, verschiedenen Teilabschnitten der erfassten Umgebung zugeordnet sind, beispielsweise verschiedenen Teilabschnitten eines Kamerabildes. Auf der Grundlage dieser Merkmale können die Objekte in dem jeweiligen Teilabschnitt detektiert und/oder mit einem jeweiligen Vertrauenswert klassifiziert werden. Wenn also viele Merkmale einer Objektklasse in der Merkmalskarte für einen bestimmten Bereich oder Teilbereich aktiviert oder detektiert werden, kann dieser Teilbereich als zu einer jeweiligen Objektklasse gehörig klassifiziert werden. Es ist anzumerken, dass ein bestimmter Teilbereich als zu verschiedenen Klassen gehörig klassifiziert werden kann, und zwar je nach den aktivierten oder detektierten Merkmalen in diesem Teilbereich mit unterschiedlichen durch den Vertrauenswert repräsentierten Wahrscheinlichkeiten. So muss die Klassifikation nicht auf eine Klasse pro Objekt und/oder Teilabschnitt eingeschränkt sein. Im Gegenteil, kann die Merkmalskarte verwendet werden, um eine jeweilige Wahrscheinlichkeit für mehr als eine Objektklasse pro jeweiligen Unterabschnitt oder Bereich zuzuordnen. Auf Grundlage der Merkmalskarte kann also eine Wahrscheinlichkeit für einen Fußgänger in einem bestimmten Teilabschnitt beispielsweise als 55 % und eine Wahrscheinlichkeit für einen Fahrradfahrer in genau diesem gleichen Teilabschnitt als 35 % bestimmt werden.
-
Ein weiterer Verfahrensschritt ist das Zuordnen eines Teils der Grenze, der an das detektierten und/oder klassifizierten Objekt angrenzt, zu dem detektierten und/oder klassifizierten Objekt durch die Rechenvorrichtung. Dieses Zuordnen kann Teil des Klassifizierens sein. Wenn mehrere Objekte detektiert und/oder klassifiziert werden, können daher verschiedene Teile der Grenze verschiedenen Objekten zugeordnet werden. Insbesondere kann ein bestimmter Teil der Grenze nur einem einzigen Objekt zugeordnet oder zuordenbar sein.
-
Ein weiterer Verfahrensschritt ist das Kategorisieren eines Teils des Freiraumes, der an den Teil der Grenze angrenzt, der dem detektierten und/oder klassifizierten Objekt in Abhängigkeit von der Klasse diese (detektierten und/oder klassifizierten) Objekts zugeordnet ist, welches an den Teil der Grenze (und damit dem zu kategorisierenden Teil des Freiraums) angrenzt, durch die Rechenvorrichtung. So werden verschiedene Teile des Freiraums als zu verschiedenen Kategorien gehörig kategorisiert, was zu etwas führt, das als „sematischer Freiraum“ oder „semantische Freiraumdetektion“ zu bezeichnen ist, wobei Freiraum nicht als einheitlicher Freiraum, der durch das Kraftfahrzeug zugänglich oder befahrbar ist, betrachtet wird, sondern als Freiraum mit verschiedenen Teilen oder Teilbereichen mit unterschiedlichen Adjektiven, die Eigenschaften des Teilbereichs beschreiben und durch dem Begriff „semantisch“ zusammengefasst sind, welche dem Fahrerassistenzsystem anzeigen, wie das Kraftfahrzeug sich verhalten soll, wenn es in verschiedene Teile des Freiraums eintritt und/oder sich diesen nähert. Hier kann Rauschen in der Schätzung, das heißt der Detektion und/oder Klassifikation der Objekte und der Messung der Tiefe, das heißt der jeweilige Abstände, die verschiedenen Abschnitten des Freiraums zugeordnet sind, in räumlichen und zeitlichen Dimensionen über raum-zeitliche Fusion des kategorisierten Freiraums ausgeglichen werden. In der raum-zeitlichen Fusion können Daten aus verschiedenen Kameras als Erfassungseinheiten fusioniert werden. Die Annahme, dass die Daten aus verschiedenen Zeitschritten nicht unabhängig sind führt zu Vorteilen der raum-zeitlichen Fusion. Hier kann zum Beispiel ein Conditional Random Field (CRF) für die Erfassung von Übergängen und die Kombination der sogenannten Tiefenkarte mit der Merkmalskarte des neuralen Netzwerkes verwendet werden. CRFs eignen sich auch auf elegante Weise für eine effiziente rekursive Schätzung mit einer sogenannten „loop belief propagation“ und können mit anderen probabilistischen grafischen Modellen (probabilistic graphical models, PGM) für darauffolgende Sensoren oder andere Sensoren und Inferenzengines fusioniert werden. Dies führt zu einer stabilen und robusten semantischen Freiraumdetektion und/oder einer robusten semantischen Freiraumkarte.
-
Das vorgeschlagene Verfahren sieht vor, was hier als semantische Freiraumdetektion bezeichnet wird, das heißt eine Freiraumdetektion, worin Bereiche oder Teile des Freiraums individuell entsprechend dem Objekt an der Kante oder Grenze des jeweiligen Bereichs des Freiraums kategorisiert sind, anstatt den Freiraum als einen einzigen Bereich mit homogenen Eigenschaften oder Charakteristika zu detektieren und kategorisieren. Das Ergebnis der Freiraumdetektion kann ein Abstand von dem Kraftfahrzeug für jeden einer Anzahl von Abschnitten sein, in die der Freiraum unterteilt ist. Solch ein Abstand kann als Tiefe bezeichnet werden, daher kann der detektierte Freiraum als eine Tiefenkarte oder als eine Tiefenkarte einschließend bezeichnet werden. Die Abschnitte können ausgehend von der Position der Erfassungsvorrichtung, beispielsweise der Kamera, fächerartig angeordnet sein, und sich zu der Kante oder Grenze des durch die jeweiligen Objekte oder durch eine Reichweite der Erfassungsvorrichtung bestimmten Freiraums hin erstrecken.
-
Was die sogenannte semantische Freiraumdetektion angeht, umfasst der Freiraum eine Semantik, das heißt weitere Informationen, die auch jeweilige Bereiche oder Teile oder Teilabschnitte des Freiraums betreffen, was bedeutet, dass es eine Objektdetektion gibt, die mit der Freiraumdetektion assoziiert ist. Kenntnis der Bereiche oder Teile des Freiraums hilft bei dem Anpassen des Freiraums an sich bewegenden Objekte und bei dem Einschätzen des Risikos einer Kollision, was beispielsweise verbesserte Manövrieralgorithmen für automatisches Fahren ermöglicht. Dies hilft auch dabei, Änderungen im Freiraum für zeitliche Verarbeitung vorherzusagen oder vorherzusehen. Beispielsweise können sich schnell bewegende Objekte oder Fahrzeuge den Freiraum drastisch ändern.
-
Bei dem vorgeschlagenen Verfahren wird eine auf neuralem Lernen basierende Erkennung, zum Beispiel eine auf tiefem neuralen Lerne oder tiefen Lernen (deep learning) basierende Erkennung, mit klassischen Algorithmen wie SFM-Segmentierung und/oder Farbsegmentierung kombiniert, um eine Freiraumdetektion zu erhalten, in welcher verschiedene Teile oder Bereiche des Freiraums mit verschiedenen Eigenschaften assoziiert sind und daher ein differenziertes, an die jeweilige Umgebung und die Eigenschaften der darin detektierten Objekte angepasstes Fahrverhalten ermöglicht. So können beispielsweise verschiedene Geschwindigkeitsbeschränkungen für das Kraftfahrzeug vorgegeben werden, wenn es sich in oder hin zu Teilen oder Bereichen des Freiraums bewegt, welche an verschiedene Objekte angrenzen. Beispielsweise kann für das Kraftfahrzeug in Teilen des Freiraums, die an einen Fußgänger angrenzen, kein schnelleres Fahren als Gehgeschwindigkeit zugelassen werden. Im Gegensatz dazu kann beispielsweise in Teilen des Freiraums, die an Autos angrenzen, keine Geschwindigkeitsbeschränkung vorgesehen sein.
-
Insgesamt schafft die neue Herangehensweise der Benutzung eines neuralen Netzwerks zur Klassifizierung von Objekten und folglich Kategorisierung verschiedener Teile oder Bereiche des Freiraums in Kombination mit der herkömmlichen (Tiefen-)Information für die Berechnung des Freiraums in Form der Detektion des semantischen Freiraums eine besonders genaue und zuverlässige Freiraumdetektion. Es ist sogar möglich, die herkömmliche Freiraumdetektion mit den Ergebnissen des neuralen Netzwerks gegenzuprüfen. Eine dichte Merkmalsdetektion kann dabei helfen, vollständige Information über glatte Texturen auf Oberflächen zu liefern, was bei der herkömmlichen lückenhaften oder dünnen Merkmalsdetektion aufgrund von fehlenden Punkten auf der glatten Oberfläche nicht möglich ist. Daher ist das vorgeschlagene Verfahren insbesondere effektiv bei der Verwendung von dichter Merkmalsdetektion (dense feature detection).
-
In einer bevorzugten Ausführungsform ist vorgesehen, dass ein Teil des Freiraums, der an einen weiteren Teil der Grenze angrenzt, das heißt an einem Teil der Grenze, der nicht dem Objekt oder den Objekten zugeordnet ist, insbesondere ein Teil des Freiraums, der an die restliche Grenze angrenzt, durch die Rechenvorrichtung als sicher befahrbarer Freiraum kategorisiert wird. Dies ergibt den Vorteil einer sinnvollen Standardklassifizierung für Freiraum, der durch die Reichweite der Erfassungsvorrichtung beschränkt ist.
-
Hierbei kann die Detektion von befahrbarem Freiraum insbesondere vor oder nach dem Detektieren und/oder Klassifizieren des Objekts/der Objekte erfolgen. Eine vorhergehende Detektion des befahrbaren Freiraums ergibt den Vorteil, dass nur Objekte an der Grenze oder Kante des detektierten Freiraums detektiert und/oder klassifiziert werden müssen.
-
In einer weiteren vorteilhaften Ausführungsform ist vorgesehen, dass ein jeweiliges Risiko und/oder eine jeweilige Gefahr den Kategorien des Freiraums, in welche der Teil oder die Teile des Freiraums kategorisiert werden kann oder können, zugeordnet ist, insbesondere ein Risiko für eine Kollision mit dem an den jeweiligen Teil des Freiraums angrenzenden Objekt. Dies ergibt den Vorteil, dass die Kategorien besonders hilfreich für das Fahren, insbesondere das halb-automatisierte oder vollautomatische Fahren sind.
-
Hierbei kann vorgesehen sein, dass die Kategorien für den Freiraum eine Kategorie für sicher zugänglichen oder befahrbaren Freiraum und/oder eine Kategorie für potenziell gefährlichen Freiraum, in welchem zum Beispiel eine erste Geschwindigkeitsbeschränkung vorgegeben ist, und/oder eine Kategorie für gefährlichen Freiraum, in welchem zum Beispiel eine zweite, vorzugsweise im Vergleich zur ersten niedrigere, Geschwindigkeitsbeschränkung vorgegeben ist oder in die zu fahren verboten ist, umfassen. So kann beispielsweise durch die Kategorien das Kraftfahrzeug am Befahren eines an einen Fußgänger angrenzenden Freiraums gehindert werden, da der Fußgänger besonders verletzlich ist. Zu diesem Zweck könnte der Teil des Freiraums, der an ein Objekt angrenzt, das als Fußgänger klassifiziert ist, als gefährlicher Freiraum gekennzeichnet werden. Der Teil des Freiraums, der an ein als Auto klassifiziertes Objekt angrenzt, könnte beispielsweise als potenziell gefährlicher Freiraum kategorisiert werden, in welchem eine Geschwindigkeitsbeschränkung gilt, da Autos sich schnell bewegen können, aber weniger verwundbar sind als ein Fußgänger. Ein Teil des Freiraums, der an ein Objekt angrenzt, das als stationäres Objekt klassifiziert ist, beispielsweise ein Baum, kann als sicher befahrbarer Freiraum kategorisiert werden, da ein stationäres Objekt sich nicht bewegen wird. Die Kategorien können auch mit einer Tiefen- oder Abstandsinformation verknüpft sein. So kann der Freiraum auch auf der Grundlage von dem jeweiligen Abstand des detektierten und/oder klassifizierten Objekts von dem Kraftfahrzeug kategorisiert werden.
-
Dies ergibt den Vorteil, dass verschiedene Teile des Freiraums mit verschiedenen Charakteristika oder Eigenschaften assoziiert werden. Dies erlaubt eine sehr spezifische und adaptive Anpassung des Fahrverhaltens, insbesondere des Fahrverhaltens beim halbautomatisierten oder vollautomatischen Fahrens, an die gegebene Situation, was zu verbesserter Sicherheit und verbessertem Komfort führt.
-
In einer weiteren vorteilhaften Ausführungsform ist vorgesehen, dass die Klassen für das Objekt zumindest eine Klasse für statische Hindernisse umfassen, insbesondere eine Klasse für Hindernisse, über die man fahren kann, insbesondere Bordsteine, und/oder zumindest eine Klasse für Hindernisse, über die man nicht fahren kann, und/oder zumindest eine Klasse für dynamische Hindernisse, insbesondere eine Klasse für Fußgänger und/oder eine Klasse für Fahrradfahrer und/oder eine Klasse für Kraftfahrzeuge, wie Motorräder, Autos oder Lastwagen. Diese Klassen für das Objekt haben sich als besonders nützlich erwiesen für eine sinnvolle und daher hilfreiche semantische Freiraumdetektion, welche die Fahrsicherheit verbessert.
-
In einer weiteren vorteilhaften Ausführungsform ist es vorgesehen, dass bei dem Klassifizieren des mindestens einem Objekts dem klassifizierten Objekt mehr als eine Klasse zugewiesen ist und ein Vertrauenswert (der die Wahrscheinlichkeit dafür repräsentiert, dass die für die jeweilige, dem klassifizierten Objekt zugewiesene Klasse zutreffend ist) jeder dem Objekt zugewiesenen Klasse zugeordnet ist, und das Kategorisieren des Teils des Freiraums in Abhängigkeit von den Klassen des klassifizierten Objekts und der jeweiligen Vertrauenswerte erfolgt. Dies ergibt den Vorteil, dass die Kategorisierung besonders flexibel und zuverlässig ist.
-
Hierbei kann vorgesehen sein, dass bei dem Kategorisieren des Teils des Freiraums die Vertrauenswerte für die Klassen des klassifizierten Objekts verglichen werden, und der Freiraum in die Kategorie für den Freiraum kategorisiert wird, der der Klasse mit dem höchsten Vertrauenswert entspricht, wenn dieser (höchste) Vertrauenswert von dem zweithöchsten Vertrauenswert der dem klassifizierten Objekt zugewiesenen Klasse mehr als um einen vorgegebenen Schwellwert abweicht, und insbesondere der Freiraum in die Kategorie kategorisiert wird, der das höchste jeweilige Risiko zugewiesen ist, wenn der höchste Vertrauenswert von dem zweithöchsten Vertrauenswert um weniger als diesen Schwellwert abweicht. Beispielsweise kann bei einem vorgegebenen Schwellwert von 10%, wenn ein Objekt mit der Wahrscheinlichkeit von 60 % als zu der Objektklasse von Kraftfahrzeugen gehörig klassifiziert ist und mit einer Wahrscheinlichkeit von 40 % als zu der Objektklasse von Fußgängern gehörig klassifiziert ist, der Freiraum in die Kategorie kategorisiert werden, die der Kraftfahrzeugklasse entspricht. Beispielsweise kann der Freiraum dann als potenziell gefährlicher Freiraum kategorisiert werden. Wenn in diesem Beispiel andererseits der Vertrauenswert für das klassifizierte Objekt eine Wahrscheinlichkeit von 51% dafür beträgt, dass das Objekt ein Kraftfahrzeug ist, und 49% dafür, dass das Objekt ein Fußgänger ist, ist der Unterschied der Vertrauenswerte geringer als der hier vorgegebene Schwellwert. Daher wird der Freiraum vorliegend in die Kategorie mit dem höchsten jeweiligen zugewiesenen Risiko kategorisiert. Das heißt bei dem vorliegenden Beispiel wird der am das Objekt angrenzende Freiraum als gefährlicher Freiraum kategorisiert (obwohl das Objekt in als ein Kraftfahrzeug klassifiziert ist und die Kategorie potenziell gefährlicher Freiraum den Vertrauenswerten nach angemessener wäre).
-
Dies ergibt den Vorteil, dass die Kategorisierung flexibler sein kann und in uneindeutigen Situationen ein potenzielles Risiko für Kollisionen auf ein Minimum reduziert werden kann.
-
In einer weiteren Ausführungsform ist vorgesehen, dass die Erfassungsvorrichtung mehrere Kameras umfasst und das Detektieren des befahrbaren Freiraums sowie das Detektieren und/oder Klassifizieren des mindestens einen Objekts sowie das Zuordnen des Teils der Grenze und das Kategorisieren des Teils des Freiraums für Bilder der erfassten Umgebung erfolgt, die von verschiedenen Kameras aufgenommen werden, und Ergebnisse der Kategorisierung, die auf verschiedenen Bildern derselben Kamera und/oder auf verschiedenen Bildern unterschiedlicher Kameras basieren, in ein Gesamtergebnis der Kategorisierung kombiniert werden, in der Annahme, dass die Ergebnis wie von einer vorgegebenen Regel beschrieben voneinander abhängen. Hier erfolgt das Kombinieren bevorzugt, indem ein Conditional Random Field verwendet wird. Dies kann als räumlich-zeitliche Bildfusion bezeichnet werden.
-
Dadurch ergibt sich der Vorteil, dass die Daten, also die Ergebnisse, die auf den individuellen Einzelbildern basieren, benutzt werden können, um die Ergebnisse bei der Verarbeitung darauffolgender Bilder derselben Kamera oder Bilder der anderen Kameras zu verbessern. Entsprechend wird die Wirksamkeit des Verfahrens verbessert.
-
In einer weiteren Ausführungsform weist das neurale Netzwerk ein faltendes neurales Netzwerk (convolutional neural network), insbesondere ein tiefes neurales Netzwerk (deep neural network) mit mehreren verborgenen Schichten (hidden layers) auf. Dies ergibt den Vorteil, dass das neurale Netzwerk besonders geeignet ist für die Detektion und/oder Klassifizierung von Objekten beispielsweise in Bildern. Das Verfahren ist daher besonders wirksam.
-
In einer weiteren vorteilhaften Ausführungsform ist vorgesehen, dass das neurale Netzwerk darauf trainiert wird, das Objekt zu klassifizieren, insbesondere das Objekt zu detektieren und zu klassifizieren, (bereits oder rein, das heißt allein,) auf Grundlage eines Teils des Objektes, welcher an der Grenze angrenzt. Der Teil kann weniger als 80%, insbesondere weniger als 50% und vorzugsweise weniger als 20% des Objekts abdecken. Dies ergibt den Vorteil, dass das Netzwerk nicht notwendigerweise darauf trainiert werden muss, das gesamte Objekt zu detektieren und/oder das Objekt auf Grundlage des gesamten Objekts zu klassifizieren, beispielsweise den gesamten Umriss, sondern dass ein Teil des Objekts für das Detektieren und/oder Klassifizieren des Objekts ausreichend sein kann. Dies macht das Training für das neurale Netzwerk einfacher und spart Ressourcen und kann zu schnelleren Ergebnissen führen.
-
In einer weiteren Ausführungsform ist vorgesehen, dass das Erfassen durch eine Erfassungsvorrichtung mit mindestens einer Kamera erfolgt, wobei jede Kamera mindestens 0,1 Megapixel, insbesondere mindestens 1 Megapixel, vorzugsweise mindestens 4 Megapixel umfasst. Dies ergibt den Vorteil, dass die oben erwähnte dichte Verarbeitung, die dichte Tiefenkarte und die dichte Merkmalsdarstellung ermöglicht werden.
-
Ein weiterer Aspekt der Erfindung betrifft ein Fahrerassistenzsystem oder ein Kraftfahrzeug, mit einer Erfassungsvorrichtung zum Erfassen einer Umgebung des Kraftfahrzeugs und einer Rechenvorrichtung zum Detektieren eines befahrbaren Freiraums in der erfassten Umgebung. Hierbei umfasst das Fahrerassistenzsystem ein neurales Netzwerk, das ausgebildet ist, mindestens ein Objekt in der erfassten Umgebung zu detektieren und/oder zu klassifizieren, welches an einer Grenze des Freiraums, insbesondere des detektierten Freiraums, angeordnet ist.
-
Des Weiteren ist die Rechenvorrichtung ausgebildet, einen Teil der Grenze dem detektierten und/oder klassifizierten Objekt zuzuordnen sowie einen Teil des an den Teil der Grenze, der dem detektierten und/oder klassifizierten Objekt zugeordnet ist, angrenzenden Freiraums in Abhängigkeit von dem klassifizierten Objekt zu kategorisieren.
-
Vorteile und vorteilhafte Ausführungsformen des Fahrerassistenzsystems und des Kraftfahrzeugs entsprechen Vorteilen und vorteilhaften Ausführungsformen des beschriebenen Verfahrens. Die Erfindung betrifft des Weiteren ein Kraftfahrzeug mit einem solchen Fahrerassistenzsystem.
-
Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen, sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in den Figuren alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar, ohne den Rahmen der Erfindung zu verlassen. Es sind somit auch Ausführungen von der Erfindung als umfasst und offenbart anzusehen, die in den Figuren nicht explizit gezeigt und erläutert sind, jedoch durch separierte Merkmalskombinationen aus den erläuterten Ausführungen hervorgehen und erzeugbar sind. Es sind auch Ausführungen und Merkmalskombinationen als offenbart anzusehen, die somit nicht alle Merkmale eines ursprünglich formulierten unabhängigen Anspruchs aufweisen. Es sind darüber hinaus Ausführungen und Merkmalskombinationen, insbesondere durch die oben dargelegten Ausführungen, als offenbart anzusehen, die über die in den Rückbezügen der Ansprüche dargelegten Merkmalskombinationen hinausgehen oder abweichen.
-
Im Folgenden werden Ausführungsbeispiele der Erfindung anhand einer schematischen Zeichnung genauer beschrieben. Dabei zeigt die einzige Figur eine schematische Darstellung eines Kraftfahrzeugs mit einer beispielhaften Ausführungsform eines Fahrerassistenzsystems in einem beispielhaften Szenario.
-
Darin ist das Kraftfahrzeug 1 mit einem Fahrerassistenzsystem 2 ausgestattet, das eine Erfassungsvorrichtung 3 zum Erfassen einer Umgebung 4 des Kraftfahrzeugs 1 umfasst und mit einer Rechenvorrichtung 5 zum Detektieren eines befahrbaren Freiraums 6. Hier grenzt der Freiraum 6 in dem vorliegenden Beispiel an das Kraftfahrzeug 1 an.
-
Die Rechenvorrichtung 5 umfasst in dem gegenwärtigen Beispiel ein neurales Netzwerk 9. Das neurale Netzwerk 9 ist ausgebildet, mindestens ein Objekt, vorliegend mehrere Objekte 7a bis 7b, in der umfassten Umgebung 4 zu detektieren und zu klassifizieren, also Objekte 7a bis 7b welche sich vorliegend an einer Grenze 8 des Freiraums 6 befinden. Die Rechenvorrichtung 5 ist ausgebildet, einen jeweiligen Teil 10a bis 10e der Grenze 8 dem detektierten und klassifizierten Objekten 7a bis 7e zuzuordnen sowie jeweilige Teile 11a bis 11e des Freiraums 6, die an den jeweiligen Teilen 10a bis 10e der Grenze 8 angrenzen (die den detektierten und klassifizierten Objekten 7a bis 7e zugeordnet sind) in Abhängigkeit von der Klasse des klassifizierten 7a bis 7e zu kategorisieren.
-
So werden in dem vorliegenden Beispiel die Bereiche oder Teile 11a, 11b, 11c in Abhängigkeit von der Klasse der Objekte 7a, 7b und 7c kategorisiert. Da die Objekte 7a, 7b, 7c vorliegend als Fahrzeuge klassifiziert sind, sind die Teile 11a, 11b, 11c des Freiraums 6 hier als potenziell gefährlicher Freiraum kategorisiert. So kann beispielsweise eine Geschwindigkeitsbeschränkung für das Kraftfahrzeug 1 vorgegeben werden, wenn dieses sich zu den oder in die jeweiligen Bereiche oder Teile 11a, 11b, 11c bewegt. Der Teil 11d des Freiraums 6 wird in Abhängigkeit von der Klasse des Objekts 7d kategorisiert, welches vorliegend als Fußgänger klassifiziert ist. Daher ist in dem vorliegenden Beispiel der Bereich oder der Teil 11d des Freiraums 6 als gefährlicher Freiraum kategorisiert. So kann es beispielsweise für das Kraftfahrzeug 1 verboten sein in den Teil 11d des Freiraums 6 zu fahren. Der Bereich oder Teil 11e des Freiraums 6 ist in dem vorliegenden Beispiel in Abhängigkeit von der Klasse des Objekts 7e kategorisiert, welches vorliegend als Bordstein klassifiziert ist. Daher ist der Teil 11e hier in einen bedingt befahrbaren Freiraum kategorisiert. Beispielsweise wird eine zweite Geschwindigkeitsbeschränkung, die höher sein kann als die oben erwähnte erste Geschwindigkeitsbeschränkung, vorgegeben, wenn das Fahrzeug 1 sich in diesen Teil 11e des Freiraums 6 bewegt.
-
In dem vorliegenden Beispiel wird der Teil 10 der Grenze 8 keinem Objekt zugewiesen. Der Teil 11 des Freiraums 6, der an den Teil 10 der Grenze angrenzt, ist in dem vorliegenden Beispiel, folglich als sicher befahrbarer Freiraum kategorisiert. Daher wird hierbeispielsweise bei einem halbautomatisierten oder vollautomatischen Fahren keine Geschwindigkeitsbeschränkung vorgegeben, wenn das Fahrzeug 1 sich in den Teil 11 des Freiraums 6 bewegt.
-
In dem vorliegenden Beispiel wird das neurale Netzwerk 9, welches vorzugsweise ein faltendes neurales Netzwerk ist beziehungsweise ein solches umfasst, trainiert, die Objekte 7a bis 7e auf Grundlage eines Teils des jeweiligen Objekts 7a bis 7e, der an die Grenze 8 angrenzt, zu klassifizieren. So ist das neurale Netzwerk 9 imstande, die Objekte 7a bis 7e zu klassifizieren, indem nur der Anteil oder Bruchteil der jeweiligen Objekte 7a bis 7e, der an der Grenze 8 des Freiraums 6 angrenzt, analysiert wird. Hierbei kann ein Objekt 7a bis 7e nicht nur in eine Klasse, sondern in mehr als eine Klasse, eingeordnet werden, wobei jeder der Klassen, dem die klassifizierten Objekte 7a bis 7e zugeordnet sind, ein jeweiliger Vertrauenswert zugewiesen ist. So kann das neurale Netzwerk 9 trainiert werden, indem ein auf generischen Funktionen basierenden Lernansatz mit abstrakter Merkmalskarte angewendet wird. Dabei müssen die abstrakte Merkmale nicht notwendigerweise intuitiv für Menschen verständlich sein. Die abstrakten Merkmale können für die Klassifizierung oder Detektion des jeweiligen Objekts in einem jeweiligen Bereich eines Bildes, beispielsweise des Kamerabildes der Erfassungsvorrichtung 3, ausgewertet werden.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- DE 102015115012 A1 [0003]
