DE102020208308A1

DE102020208308A1 - Verfahren zur Absicherung einer Anfahrt eines teil- oder vollautomatisierten Fahrzeugs

Info

Publication number: DE102020208308A1
Application number: DE102020208308.8A
Authority: DE
Inventors: Roland Schmid
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2020-07-02
Filing date: 2020-07-02
Publication date: 2022-01-05
Also published as: US20220001856A1; CN113879287A

Abstract

Es wird ein Verfahren zur Absicherung einer Anfahrt eines teil- oder vollautomatisierten Fahrzeugs vorgeschlagen, wobei das Fahrzeug mindestens einen bildgebenden Sensor aufweist, der eingerichtet ist, Bilder eines Nahbereichs des Fahrzeugs zu erfassen. Erfindungsgemäß wird eine Erkennung von Objekten im Nahbereich des Fahrzeugs durchgeführt, indem mindestens einer, bevorzugt eine Kombination, der folgenden Schritte durchgeführt wird bzw. werden:a) Erfassen eines aktuellen Bildes eines Nahbereichs des Fahrzeugs und Erkennen von Objekten, die sich in dem Nahbereich des Fahrzeugs befinden durch Vergleich des aktuellen Bilds mit einem zuvor abgespeicherten Vergleichsbild, wobei auf ein, insbesondere gefährdetes, Objekt in dem Nahbereich geschlossen wird, wenn der Vergleich ergibt, dass eine Struktur des Vergleichsbildes nicht komplett sichtbar, sondern von einem Objekt in Teilen abgedeckt ist. Hierbei kann bevorzugt das zuvor abgespeicherte Vergleichsbild nach Beendigung des zuvor durchgeführten Abstellvorgangs des Fahrzeugs oder bereits im Neuzustand des Fahrzeugs erzeugt und abgespeichert worden sein;b) Alternativ oder zusätzlich erfolgt ein zeitlich aufeinanderfolgendes Erfassen von mindestens zwei aktuellen Bildern und Erkennen von sich bewegenden Objekten im Nahbereich des Fahrzeugs durch Vergleich der aufeinanderfolgend erfassten Bilder durch Auswerten des optischen Flusses oder mittels anderer Differenzverfahren.c) Alternativ oder zusätzlich ist der bildgebende Sensor zwischen mindestens zwei räumlichen Positionen am Fahrzeug verstellbar ausgebildet. Als alternativer oder zusätzlicher Schritt zur Erkennung von Objekten in einem Nahbereich des Fahrzeugs wird der bildgebende Sensor bei stillstehendem Fahrzeug zwischen mindestens zwei Positionen verstellt und an jeder der Positionen wird mindestens ein Bild

Description

Die Erfindung betrifft ein Verfahren zur Absicherung einer Anfahrt eines teil- oder vollautomatisierten Fahrzeugs. Bei dem Fahrzeug kann es sich beispielsweise um ein sogenanntes AVP-Fahrzeug handeln, das eingerichtet ist, sich im Rahmen eines Automated-Valet-Parking (AVP) Systems vollautomatisch innerhalb einer Parkumgebung zu bewegen, wobei die Parkumgebung eine zentrale Einrichtung und eine Vielzahl von ortsfesten Sensoreinrichtungen aufweisen kann und wobei die Parkumgebung oder das AVP-Fahrzeug selbst eingerichtet sein kann, das Fahrzeug zu einer Zielposition in der Parkumgebung zu führen. Weitere Aspekte der Erfindung betreffen eine Vorrichtung, die eingerichtet ist, ein entsprechendes Verfahren durchzuführen, sowie ein teil- oder vollautomatisiert führbares Fahrzeug mit einer solchen Vorrichtung. Weiterhin betrifft die Erfindung ein Computerprogramm.
Stand der Technik
Moderne Fahrzeuge sind mit Fahrerassistenzsystemen ausgestattet, um den Fahrer eines Fahrzeugs bei der Durchführung verschiedener Fahrmanöver zu unterstützen. Dabei sind im Stand der Technik vollautomatisierte und teilautomatisierte Systeme bekannt. Bei vollautomatisierten Systemen wird das durchzuführende Fahrmanöver automatisch vom Fahrerassistenzsystem sowohl hinsichtlich der Längsführung als auch hinsichtlich der Querführung des Fahrzeugs durchgeführt ohne dass ein Fahrer in die Fahrmanöver eingreift oder diese überwacht. Hierbei wird unter Längsführung das Beschleunigen bzw. Abbremsen des Fahrzeugs verstanden und unter Querführung wird die Lenkung des Fahrzeugs verstanden. Bei einem teilautomatisierten System überwacht der Fahrer die vom System vollautomatisch ausgeführten Fahrmanöver oder der Fahrer des Fahrzeugs führt entweder die Längsführung durch und die Querführung wird vom Fahrerassistenzsystem übernommen, oder die Querführung wird vom Fahrer des Fahrzeugs durchgeführt und die Längsführung wird vom Fahrerassistenzsystem übernommen.
Im Stand der Technik sind Verfahren bekannt, um einem Fahrzeug in einer Parkumgebung eine Zielposition zuzuweisen, das Fahrzeug automatisiert ohne das Eingreifen eines Fahrers zu der Zielposition zu führen und das Fahrzeug an der Zielposition abzustellen. Derartige Verfahren sind als automatisierte Valet-Parking (AVP) Verfahren bekannt.
Die Offenlegungsschrift WO 2019/028464 A1 offenbart ein Verfahren zur automatischen Steuerung einer Aktivierung und Deaktivierung eines autonomen Betriebs von Fahrzeugen.
Automatisiert bzw. autonom fahrende Fahrzeuge, die insbesondere keinen Fahrer mehr im Fahrzeug haben, müssen nach Pausen, Ladungsvorgängen, Beladevorgängen, Anhaltevorgängen, usw. wieder anfahren und benötigen die Gewissheit, dass sich niemand direkt neben dem Fahrzeug, im sogenannten Nahbereich des Fahrzeugs befindet. Beispielsweise könnte sich ein Kind neben dem Fahrzeug befinden. Weiterhin könnten Gegenstände im Nahbereich neben dem Fahrzeug stehen, die bei einem Losfahren beschädigt werden oder das Fahrzeug beschädigen könnten.
Automatisiert bzw. autonom fahrende Fahrzeuge, die basierend auf einer Onboard-Sensorik betrieben werden, müssen im Allgemeinen durch eine fahrzeugeigene Sensorik die Fahrzeugumgebung erkennen, interpretieren und die Fahrmanöver so durchführen, dass keine Kollisionen auftreten, weder mit Fahrzeugen, stationären Hindernissen noch mit Personen. Bei derartigen Fahrzeugen werden Hindernisse in der näheren Umgebung beispielsweise mit Ultraschallsensoren, Nahbereichskameras und teilweise auch mit Lidar- und/oder Radarsensoren erfasst. Durch die begrenzte Anzahl der verbauten Sensoren verbleiben Detektionslücken insbesondere im Nahbereich des Fahrzeugs zwischen den einzelnen Sensoren.
Die bekannten Detektionsalgorithmen bei fahrzeuggebundenen Kameras, üblicherweise Monokameras, beruhen beispielsweise auf folgenden Verfahren: Ein erstes bekanntes Detektionsverfahren in der digitalen Bildverarbeitung ist die Objektklassifikation auf Basis der Objektform. Damit können z.B. Fahrzeuge, Motorradfahrer, Fahrradfahrer oder Fußgänger detektiert werden. Zur sicheren Detektion ist häufig die Verfolgung des Objekts über mehrere Bilder erforderlich.
Ein zweites bekanntes Detektionsverfahren ist die Stereoskopische Vermessung von Objekten nach dem „Structure from Motion (SfM)“ Prinzip. Dabei werden mindestens zwei bei bewegtem Fahrzeug aufeinanderfolgend aufgenommene Bilder ausgewertet. Durch die Fahrzeugbewegung werden Objekte im ersten und zweiten Bild aus unterschiedlichen Perspektiven betrachtet, woraus Objektgrößen und Abstände zur Kamera ermittelt werden können.
Weiterhin ist es bekannt, das Fahrzeug und die Raumbereiche um das Fahrzeug durch stationär in einer Infrastruktur angeordnete Kameras, insbesondere Monokameras, zu überwachen. Bei solchen stationären, d.h. nicht fahrzeuggebundenen Monokameras können Objekte mit zwei unterschiedlichen Methoden/Verfahren detektiert werden. Die erste Methode ist die Objektklassifikation gemäß dem oben beschriebenen ersten Verfahren. Die zweite Methode ist die Erkennung von sich bewegenden Objekten durch Auswerten von Bilddifferenzen in Bildern, die zu unterschiedlichen Zeitpunkten aufgenommen wurden. Mit stationären Kameras ist jedoch keine „Structure from Motion“-Analyse möglich, da sich die stationäre Kamera im Allgemeinen nicht bewegt. Weiterhin stehen stationäre Kameras nicht überall zur Verfügung und es können sich bedingt durch den Anbringungsort der stationären Kameras nicht einsehbare Bereiche ergeben, insbesondere in einem Nahbereich des abgestellten Fahrzeugs.
Für ein automatisches, fahrerloses Wiederanfahren stellen insbesondere die Bereiche der Fahrzeugfront und des Fahrzeughecks, aber auch die Fahrzeugseiten, besonders kritische Bereiche dar, da beim Wiederanfahren beispielsweise ein Mitziehen und Überrollen von Personen, insbesondere Kleinkindern, die sich in diesen kritischen Bereichen aufhalten, auch an der Seite möglich ist. Nahbereichskameras, auch als Nahfeldkameras bezeichnet, die üblicherweise in der Fahrzeugfront, im Heck und/oder in den Seitenspiegeln eingebaut sind, können derartige Objekte bei stillstehendem Fahrzeug möglicherweise nicht als solche detektieren. Dies gilt insbesondere dann, wenn aufgrund der Nähe des Objekts zum Fahrzeug nur Teile des Objekts von der Kamera erfasst werden können und eine Form-basierte Objektklassifizierung durch digitale Bildverarbeitung deshalb nicht möglich ist.
Offenbarung der Erfindung
Eine Aufgabe der Erfindung kann darin gesehen werden, eine Anfahrt eines teil- oder vollautomatisierten bzw. hochautomatisierten und insbesondere fahrerlosen Fahrzeugs derart abzusichern, dass Kollisionen des Fahrzeugs mit Personen oder Gegenständen, die in der Zwischenzeit zwischen dem Abstellen und der Anfahrt des Fahrzeugs in einen Raumbereich sehr nahe an dem Fahrzeug, dem sogenannten Nahbereich des Fahrzeugs, gelangt sind, verhindert werden.
Diese Aufgabe wird mittels des jeweiligen Gegenstands der unabhängigen Ansprüche gelöst. Vorteilhafte Ausgestaltungen der Erfindung sind Gegenstand von jeweils abhängigen Unteransprüchen.
Autonom fahrende Fahrzeuge können z.B. fahrerlose Shuttles zur Personenbeförderung oder AVP-Fahrzeuge zum fahrerlosen Parken sein. AVP-Fahrzeuge sollen in Parkhäusern oder auf Parkplätzen fahren, die auch für Mischverkehr mit manuell gefahrenen Fahrzeugen zugelassen sind. Dadurch können während des gesamten AVP-Manövers insbesondere auch Personen gefährdet werden. Eine besonders kritische Situation kann sich ergeben, wenn z.B. eine Mutter ihre zwei Kinder aus ihrem Fahrzeug auslädt und zunächst das erste Kind zwischen ihr eigenes Fahrzeug und ein nebenan abgestelltes AVP-Fahrzeug platziert, um dann das zweite Kind auf der anderen Seite auszuladen. Genau in diesem Augenblick kann das AVP-Fahrzeug die Aufforderung zum Wiederanfahren bekommen, da der Fahrer sein Fahrzeug abholen will.
Zur sicheren Erkennung von Personen oder Gegenständen (Objekten) in der unmittelbaren Fahrzeugumgebung mittels bildgebender Sensoren, z.B. Nahbereichskameras, vor dem fahrerlosen, automatischen Wiederanfahren wird gemäß der Erfindung eine Kombination mehrerer Erkennungsalgorithmen vorgesch lagen.
Nach einem ersten Aspekt der Erfindung wird ein Verfahren zur Absicherung einer Anfahrt eines teil- oder vollautomatisierten Fahrzeugs vorgeschlagen, wobei das Fahrzeug mindestens einen bildgebenden Sensor aufweist, der eingerichtet ist, Bilder eines Nahbereichs des Fahrzeugs zu erfassen. Beispielsweise kann der bildgebende Sensor eine Nahfeldkamera aufweisen. Bevorzugt weist das Fahrzeug eine Mehrzahl von bildgebenden Sensoren auf, z.B. Kameras an den Seitenspiegeln und/oder eine Frontkamera und/oder eine Rückfahrkamera. Alternativ oder zusätzlich kann das Fahrzeug ein Kamerasystem zur Erzeugung einer sogenannten Bird-View Ansicht aufweisen.
Erfindungsgemäß wird eine Erkennung von Objekten im Nahbereich des Fahrzeugs durchgeführt, indem eine Kombination von mindestens zwei der folgenden Schritte durchgeführt wird:

a) Erfassen eines aktuellen Bildes eines Nahbereichs des Fahrzeugs mittels des bildgebenden Sensors und Erkennen von Objekten, die sich in dem Nahbereich des Fahrzeugs befinden durch Vergleich des aktuellen Bilds mit einem zuvor abgespeicherten Vergleichsbild, wobei auf ein, insbesondere gefährdetes, Objekt in dem Nahbereich geschlossen wird, wenn der Vergleich ergibt, dass eine Struktur des Vergleichsbildes nicht komplett sichtbar, sondern von einem Objekt in Teilen abgedeckt ist. Hierbei kann bevorzugt das zuvor abgespeicherte Vergleichsbild nach Beendigung des zuvor durchgeführten Abstellvorgangs des Fahrzeugs oder bereits im Neuzustand des Fahrzeugs erzeugt und abgespeichert worden sein.
b) Alternativ oder zusätzlich erfolgt ein zeitlich aufeinanderfolgendes Erfassen von mindestens zwei aktuellen Bildern mittels des bildgebenden Sensors und Erkennen von sich bewegenden Objekten im Nahbereich des Fahrzeugs durch Vergleich der aufeinanderfolgend erfassten Bilder durch ein Differenzverfahren der digitalen Bildverarbeitung, insbesondere durch Auswerten des optischen Flusses.
c) Alternativ oder zusätzlich ist der bildgebende Sensor zwischen mindestens zwei räumlichen Positionen am Fahrzeug verstellbar ausgebildet, beispielsweise kann der bildgebende Sensor an einem automatisch ausklapp- oder ausfahrbaren Seitenspiegel des Fahrzeugs angeordnet sein. Als alternativer oder zusätzlicher Schritt zur Erkennung von Objekten in einem Nahbereich des Fahrzeugs wird der bildgebende Sensor bei stillstehendem Fahrzeug zwischen mindestens zwei Positionen verstellt, beispielsweise indem der zunächst eingeklappte Seitenspiegel ausgeklappt wird, und an jeder der Positionen mindestens ein Bild erfasst wird. Durch einen Vergleich mittels eines Differenzverfahrens oder bevorzugt mittels der Structure-from-motion Analyse (SfM) der so an den verschiedenen Positionen des bildgebenden Sensors erfassten Bilder kann ein Objekt in dem Nahbereich des Fahrzeugs erkannt werden.

Eine Anfahrt des Fahrzeugs wird verhindert, wenn in mindestens einem der durchgeführten Schritte ein Objekt erkannt wurde.
Als Nahbereich des Fahrzeugs wird hierbei der Bereich um das Fahrzeug, insbesondere ein Bereich von 0 Meter, was einer Berührung des Fahrzeugs durch das Objekt entspricht, bis etwa 1 Meter um die Fahrzeugkontur verstanden.
Besonders vorteilhaft ist es, wenn alle Schritte a), b) und c) durchgeführt werden. Die Schritte a), b) und/oder c) können in beliebiger Reihenfolge ausgeführt werden und/oder zumindest teilweise gleichzeitig erfolgen.
Die Erkennung eines Objektes gemäß Schritt a) erfolgt in einer möglichen Ausführung der Erfindung dadurch, dass die Struktur des Vergleichsbildes eine Fahrzeugkontur bzw. eine Fahrzeug-Silhouette umfasst und ein Objekt erkannt wird, wenn die Fahrzeugkontur in dem aktuellen Bild nicht komplett sichtbar, sondern von einem Objekt in Teilen abgedeckt ist.
So können vorteilhaft Objekte, die sich direkt am Fahrzeug befinden, also beispielsweise an eine Seite des Fahrzeugs lehnen, zuverlässig erkannt werden, insbesondere Objekte im Bereich einer Seite des Fahrzeugs zwischen den beiden Kotflügeln. Objekte im Bereich der Front bzw. des Hecks des Fahrzeugs können erkannt werden, wenn das Objekt über den Stoßfänger ragt.
Alternativ oder zusätzlich kann die Struktur des Vergleichsbildes eine Bodenstruktur umfassen. Ein Objekt wird erkannt, wenn die Bodenstruktur in dem aktuellen Bild nicht komplett sichtbar, sondern von einem Objekt in Teilen abgedeckt ist. Dabei werden bevorzugt Bildinhalte des aktuellen Bildes und des zuvor gespeicherten Vergleichsbildes verglichen und es werden Bereiche detektiert, die sich geändert haben. Daraus kann eine zweidimensionale Größenschätzung und Relevanzbewertung für ein erkanntes Objekt abgeleitet werden. Es können hierdurch auch Objekte mit einem gewissen Abstand zum Fahrzeug erkannt werden.
Alternativ oder zusätzlich zu Schritt a) wird Schritt b) ausgeführt, um bewegte Objekte zu erfassen. Dies erfolgt durch den Vergleich mindestens zweier zeitlich aufeinanderfolgend erfasster Bilder und Auswertung des optischen Flusses oder anderer Differenzverfahren. Damit können bewegte Objekte im Sichtfeld des bildgebenden Sensors erfasst werden. Es werden damit auch Objekte erfasst, die zwar insgesamt stehen, aber an denen sich Teile bewegen, etwa eine winkende Person. Wenn sich das Objekt als Ganzes bewegt, kann mit dieser durch Auswertung des optischen Flusses auf eine Bewegungsrichtung des Objekts geschlossen werden. Gegebenenfalls kann außerdem auf die Größe durch Triangulation oder über die Disparität geschlossen werden.
Die gemäß Schritt a) durchgeführte Objekterkennung kann unter Umständen fehlerbehaftet sein, wenn sich zum Beispiel die Lichtverhältnisse zwischen dem Aufnahmezeitpunkt des Vergleichsbildes und dem Aufnahmezeitpunkt des aktuellen Bildes verändert haben oder starke Lichtreflexe auftreten.
Die gemäß Schritt b) durchgeführte Objekterkennung setzt voraus, dass sich zumindest Teile des Objekts bewegen. Dies ist nicht in jedem Fall gegeben.
Um diese Nachteile auszugleichen und/oder die Zuverlässigkeit der Objekterkennung weiter zu erhöhen, kann alternativ oder zusätzlich eine Objekterkennung gemäß Schritt c) ausgeführt werden.
Hierbei erfolgt eine dreidimensionale Erfassung von Objekten im Nahbereich des Fahrzeugs durch Verändern der räumlichen Position des bildgebenden Sensors und Erfassen von mindestens zwei Bildern an jeweils unterschiedlichen räumlichen Position des bildgebenden Sensors bei ansonsten stillstehendem Fahrzeug und Erkennen von stehenden Objekten im Nahbereich des Fahrzeugs durch Vergleich der an den unterschiedlichen Positionen des bildgebenden Sensors erfassten Bilder. Dies kann beispielsweise durch einen Kameraschwenk einer an einem schwenkbar oder ausklappbar ausgebildeten Seitenspiegel des Fahrzeugs angeordneten Kamera verwirklicht werden. Auch andere Halterungen, die eine Bewegung der Kamera bei ansonsten stillstehendem Fahrzeug ermöglichen, sind denkbar, beispielsweise eine verfahrbare Halterung für den bildgebenden Sensor. Insbesondere bei einer Anordnung des bildgebenden Sensors an einem schwenkbaren bzw. ein- und ausklappbaren Seitenspiegel ergeben sich die Vorteile, dass Objekte im Seitenbereich des Fahrzeugs im Überlappungsbereich der beiden Bilder dreidimensional erfasst werden können ohne dass eine zusätzliche Halterung für den bildgebenden Sensor nötig ist. Es kann außerdem eine Objektgröße und -position relativ zum Fahrzeug bestimmt und dadurch eine konkrete Kollisionsrelevanz angegeben werden. Hierbei können die bestmöglichen Ergebnisse erzielt werden, wenn eine Position eines bildgebenden Sensors derart zwischen mindestens zwei räumlichen Positionen am Fahrzeug verändert wird, dass zum einen ein großer Erfassungsbereich (Field of View) abgedeckt wird und zum anderen ein großer Überlapp der Erfassungsbereich an den verschiedenen Positionen gewährleistet wird.
Die Schritte a), b) und c) können je nach Situation bzw. Bedarf einzeln oder in Kombination ausgeführt werden. Es kann also vorgesehen sein, dass zunächst nur eine Objekterkennung gemäß den Schritten a) und/oder b) ausgeführt wird. Wenn dabei kein Objekt erkannt wird, wird zusätzlich noch eine Objekterkennung gemäß Schritt c) durchgeführt. Auch jede andere Kombination ist denkbar und Gegenstand der Erfindung.
Durch eine Kombination der Schritte a), b) und c) kann vorteilhaft eine Erkennung eines Objektes im Nahbereich des Fahrzeugs, wie beispielsweise eines Kindes oder einer geöffneten Fahrzeugtür eines benachbarten Fahrzeugs mit hoher Zuverlässigkeit erkannt werden.
Bevorzugt wird, falls in keinem der Schritte a), b) oder c) ein Objekt erkannt wurde, ein langsames Anfahren des Fahrzeugs eingeleitet, insbesondere mit einer Beschleunigung von weniger als 0,1 m/s². Das Anfahren kann vorwärts oder rückwärts erfolgen, in Richtung eines bevorstehenden Ausparkvorgangs oder entgegen der Richtung des bevorstehenden Ausparkvorgangs. Während des langsamen Anfahrens können mittels des bildgebenden Sensors weitere Bilder des Nahbereichs des Fahrzeugs erfasst werden. Es erfolgt nun bevorzugt ein Erkennen von sich nicht bewegenden Objekten im Nahbereich des Fahrzeugs durch eine Structure-from-Motion-Analyse von Bildveränderungen in den während der langsamen Anfahrt des Fahrzeugs erfassten Bildern. Hierbei ist es ausreichend, wenn das Fahrzeug ca. 5 cm bewegt wird und damit das Risiko einer Kollision klein gehalten werden kann.
Eine Weiterfahrt des Fahrzeugs wird bevorzugt sofort gestoppt, falls auf diese Weise ein Objekt in einem Nahbereich des Fahrzeugs erkannt wurde.
Das Risiko einer Kollision mit einem Objekt während der langsamen Anfahrt kann in einer weiter bevorzugten Ausführung weiter verkleinert werden, indem das Fahrzeug zunächst langsam wenige Zentimeter in die einer regulären Ausparkrichtung entgegengesetzte Richtung bewegt wird und anschließend langsam in die Ausparkrichtung. Die reguläre Ausparkrichtung bezeichnet die Fahrtrichtung, in die ein regulärer Ausparkvorgang des Fahrzeugs erfolgt. Die Ausparkrichtung kann vorwärts oder rückwärts sein. Dadurch kann ein einen größerer räumlicher Abstand zwischen den zu vergleichenden Bildern erzielt werden, was die Qualität der SfM-Auswertung verbessern kann.
Bevorzugt ist insgesamt nur eine Differenz von ca. 5 - 10 cm zwischen den Kamerapositionen bzw. Fahrzeugpositionen nötig an denen die verschiedenen Bilder für eine SfM-Auswertung aufgenommen werden, um eine ausreichende Genauigkeit zu erzielen. Bei einer Anfahrt, die zunächst in die einer regulären Ausparkrichtung entgegengesetzte Richtung erfolgt, resultiert dies darin, dass in jede Richtung nur 2,5-5cm gefahren werden muss, was das Kollisionsrisiko mit einem Objekt im Nahbereich des Fahrzeugs nochmals deutlich verringert.
Nach einem zweiten Aspekt wird eine Vorrichtung bereitgestellt, die eingerichtet ist, alle Schritte des Verfahrens nach dem ersten Aspekt auszuführen. Die Vorrichtung umfasst mindestens einen bildgebenden Sensor, insbesondere eine Kamera, eine Auswerteeinheit und eine Speichereinheit. Die Auswerteeinheit ist ausgebildet, Bilder, die von dem bildgebenden Sensor von einem Nahbereich des Fahrzeugs erfasst werden, auszuwerten und basierend auf der Auswertung Objekte in einem Nahbereich des Fahrzeugs zu erkennen, wobei die Auswerteeinheit eingerichtet ist, Objekte, die sich in dem Nahbereich des Fahrzeugs befinden durch Vergleich eines aktuellen Bilds mit einem zuvor abgespeicherten und in der Speichereinheit vorliegenden Vergleichsbild zu erkennen, wobei auf ein gefährdetes Objekt in dem Nahbereich geschlossen wird, wenn der Vergleich ergibt, dass eine Struktur des Vergleichsbildes nicht komplett sichtbar, sondern von einem Objekt in Teilen abgedeckt ist; und/oder die Auswerteeinheit eingerichtet ist, sich bewegende Objekte, die sich in dem Nahbereich des Fahrzeugs befinden durch Vergleich von mindestens zwei zeitlich aufeinanderfolgend erfassten Bildern durch Auswerten des optischen Flusses zu erkennen; und/oder
dass der bildgebende Sensor derart an einem Fahrzeug anbringbar ist, dass der bildgebende Sensor zwischen mindestens zwei räumlichen Positionen verstellbar ist und wobei die Auswerteeinheit zusätzlich ausgebildet ist, zur Erkennung von Objekten in einem Nahbereich des Fahrzeugs Bilder, die an den verschiedenen räumlichen Positionen erfasst wurden zu vergleichen und basierend auf dem Vergleich ein Objekt in dem Nahbereich des Fahrzeugs zu erkennen. Die Auswerteeinheit ist eingerichtet, ein Signal auszugeben, wodurch eine Anfahrt des Fahrzeugs verhindert wird, wenn durch die Auswerteeinheit ein Objekt erkannt wurde.
Nach einem dritten Aspekt wird ein Kraftfahrzeug bereitgestellt, welches die Vorrichtung gemäß dem zweiten Aspekt umfasst.
Nach einem vierten Aspekt wird ein Computerprogramm bereitgestellt, welches Befehle umfasst, die bei Ausführung des Computerprogramms durch einen Computer, beispielsweise durch die Vorrichtung nach dem zweiten Aspekt, diesen veranlassen, ein Verfahren gemäß dem ersten Aspekt auszuführen.
Nach einem fünften Aspekt wird ein maschinenlesbares Speichermedium bereitgestellt, auf den das Computerprogramm nach dem vierten Aspekt gespeichert ist.
Die Erfindung basiert auf der Erkenntnis und schließt diese mit ein, dass die obige Aufgabe dadurch gelöst werden kann, dass verschiedene Methoden zur bildbasierten Erkennung von Objekten aus Bildern, die von einem bildgebenden Sensor am Fahrzeug erfasst wurden effizient kombiniert werden können, um Objekte in einem Nahbereich des Fahrzeugs sicher zu erkennen. Hierbei muss nicht zwingend auf eine Objekterkennung und Klassifizierung auf Basis eines Einzelbildes abgestellt werden, stattdessen werden vergleichende Methoden verwendet, die weniger rechenintensiv sind und mittels derer sowohl bewegte als auch stationäre Objekte sicher erkannt werden können. Es werden mehrere Rückfallebenen gebildet, die ein Erkennen eines gefährdeten Objektes sicherstellen, auch bei beispielsweise schwierigen Lichtverhältnissen oder veränderten Wetterbedingungen. Damit kann vorteilhaft die Sicherheit von Personen im Umfeld von automatisierten bzw. autonom agierenden Fahrzeugen gewährleistet werden.
Nur wenn basierend auf der Umfelderfassung des oder der bildgebenden Sensoren des Fahrzeugs bestimmt wurde, dass sich im Nahbereich des Fahrzeugs kein Objekt befindet, welches durch ein Losfahren des Fahrzeugs gefährdet sein könnte und/oder welches durch ein Losfahren des Fahrzeugs das Fahrzeug gefährden könnte, wird eine Freigabe für eine zumindest teilautomatisiert geführte Fahrt des Fahrzeugs erteilt, andernfalls wird das Anfahren verhindert.
Dadurch wird insbesondere der technische Vorteil bewirkt, dass eine Gefährdung für Objekte, welche sich in einem Nahbereich des Fahrzeugs befinden, reduziert bzw. ausgeschlossen werden kann.
Weiter wird dadurch der technische Vorteil bewirkt, dass das Fahrzeug durch ein entsprechendes Objekt nicht beschädigt wird.
Nach allem wird insbesondere der technische Vorteil bewirkt, dass ein Konzept zum effizienten Absichern einer zumindest teilautomatisiert geführten Anfahrt eines Kraftfahrzeugs bereitgestellt ist.
Zusätzlich können bevorzugt auf den von dem bildgebenden Sensor erfassten Bildern mittels Methoden der digitalen Bildverarbeitung Objekte in den erfassten Bildern anhand ihrer Form erkannt und klassifiziert werden. Dadurch kann vorteilhaft eine weitere Plausibilisierung der gemäß den Schritten a), b) und/oder c) erhaltenen Ergebnisse erfolgen und die Sicherheit und Zuverlässigkeit des Verfahrens weiter erhöht werden.
Weiter bevorzugt können zusätzlich mittels mindestens eines an dem Fahrzeug angeordneten Abstandssensors ein oder mehrere Abstände zwischen dem Fahrzeug und Objekten in der Umgebung des Fahrzeugs bestimmt werden. Damit können ebenfalls Objekte in dem Nahbereich des Fahrzeugs erfasst werden. Beispielsweise kann eine Abstandsmessung erfolgen, wenn gemäß mindestens einem der Schritte a., b. oder c. ein Objekt erkannt wurde. Durch Bestimmung des Abstands des Objekts zu dem Fahrzeug können genauere Informationen über das Objekt erlangt werden. Eine Abstandsmessung kann auch unabhängig vom Ergebnis der Schritte a., b. oder c. durchgeführt werden. Als Abstandssensor kann beispielsweise ein Ultraschallsensor, Radarsensor oder Lidarsensor eingesetzt werden. Bevorzugt können Abstandssensoren dort am Fahrzeug angeordnet sein, wo der bzw. die Erfassungsbereiche des oder der bildgebenden Sensoren des Fahrzeugs Lücken oder keinen Überlapp aufweisen. So kann die Anfahrt des Fahrzeugs ebenfalls verhindert oder abgebrochen werden, wenn durch mindestens einen der Abstandsensoren ein Objekt in einem Nahbereich des Fahrzeugs detektiert wird. Damit kann die Sicherheit weiter erhöht werden.
Figurenliste
Ein Ausführungsbeispiel der Erfindung ist in den Zeichnungen dargestellt und in der nachfolgenden Beschreibung näher erläutert.

1 stellt schematisch einen automatischen Valet-Parking (AVP) Vorgang dar, wobei in 1 a) die Situation bei der Abgabe des Fahrzeugs darstellt und 1 b) den Abholvorgang darstellt.
2 zeigt ein Fahrzeug nach einer möglichen Ausführung der Erfindung. 2 a) zeigt eine Seitansicht des Fahrzeugs, 2 b) zeigt eine Draufsicht des Fahrzeugs.
3 a), b) und 3 c) zeigen jeweils einen ausklappbaren Seitenspiegel mit einer Kamera eines gemäß einer Ausführung der Erfindung ausgebildeten Fahrzeugs in drei verschiedenen Positionen.
4 zeigt eine Objekterkennung während eines langsamen Anfahrens eines Fahrzeugs gemäß einer bevorzugten Ausführung der Erfindung.
5 zeigt schematisch eine Vorrichtung nach einem Ausführungsbeispiel der Erfindung.
6 zeigt ein Ablaufdiagramm eines Verfahrens nach einer möglichen Ausführung der Erfindung.

Die Figuren stellen den Gegenstand der Erfindung nur schematisch dar.
Ausführungsformen der Erfindung
Die 1 zeigt schematisch ein Beispiel für eine Anwendung des erfindungsgemäßen Verfahrens für eine Parkumgebung 20 eines AVP-Systems, wobei in diesem Beispiel ein AVP-System dargestellt ist, bei dem sich die Steuereinheit der AVP-Fahrt in der Parkumgebung befindet. Die nachfolgende Beschreibung basiert auf dieser Systemaufteilung mit Steuereinheit in der Parkumgebung. Dabei ist die Parkumgebung 20 hier als ein Parkdeck eines Parkhauses ausgestaltet ist. Die Parkumgebung 20 umfasst eine Vielzahl von Stellplätzen 22, 23, eine zentrale Einrichtung 17 und eine Vielzahl von stationären Sensoreinrichtungen (nicht dargestellt). Die zentrale Einrichtung 17 umfasst eine Recheneinrichtung und eine Kommunikationseinrichtung, die jeweils der Übersichtlichkeit halber nicht separat dargestellt sind. In einem weiteren Ausführungsbeispiel eines AVP-Systems kann sich die Steuereinheit für die AVP-Fahrt im Fahrzeug selbst befinden.
Die Parkumgebung 20 ist eingerichtet, ein Fahrzeug 10 ausgehend von einem Abgabebereich 18 zu einem der Stellplätze 22' zu führen und dort abzustellen. Wird das Fahrzeug 10 wieder benötigt, wird es von der Parkumgebung 20 zu einem Abholbereich 19 geführt, der in diesem Beispiel mit dem Abgabebereich 18 identisch ist. Dabei verlässt ein Fahrer 15 des Fahrzeugs 10 nach einem Abstellen im Abgabebereich 18 das Fahrzeug 10 und nimmt es später im Abholbereich 19 wieder entgegen.
Für eine automatische Fahrt innerhalb der Parkumgebung 20 verfügt das Fahrzeug 10 über eine Steuereinrichtung, welche entsprechende Aktuatoren für die Längs- und die Querführung des Fahrzeugs 10 ansteuert. Die Steuereinrichtung folgt dabei einer Trajektorie 40, die ihr von der Parkumgebung 20 zur Verfügung gestellt wird. Beispielsweise wird diese Trajektorie 40 mittels einer Kommunikationseinrichtung der zentralen Einrichtung 17 an das Fahrzeug 10 übermittelt.
Die Erfindung kommt insbesondere zum Tragen, wenn das Fahrzeug 10, wie in 1 b) dargestellt, den Befehl bekommt, den Stellplatz 22' zu verlassen und autonom, also ohne dass sich eine Person in dem Fahrzeug 10 befindet, zum Abholbereich 19 zu fahren. Es ist denkbar, dass sich insbesondere in den Bereichen zwischen dem Fahrzeug 10 und den Nachbarfahrzeugen inzwischen ein gefährdetes Objekt 30 eingefunden hat. Das Fahrzeug 10 weist daher mindestens eine Kamera auf, bevorzugt jedoch mehrere Kameras.
In 2 ist eine beispielhafte Ausführung eines Fahrzeugs 10 dargestellt. Dabei zeigt 2 a) eine Seitenansicht des Fahrzeugs 10 und 2 b) eine Draufsicht von oben. Das Fahrzeug 10 weist an seinen Seitenspiegeln 11 jeweils eine Kamera 12 auf. Der Sichtbereich bzw. Erfassungsbereich der linksseitigen Kamera 12 ist schematisch durch den Bereich 13 dargestellt und umfasst einen Nahbereich des Fahrzeugs 10 auf dessen linker Seite. Der rechtsseitige Sichtbereich ist analog ausgebildet und nicht extra dargestellt. Der Sichtbereich der Kamera 12 umfasst die jeweilige Seite des Fahrzeugs 10, insbesondere die Fahrzeugkontur 110 auf der jeweiligen Seite, sowie die Fahrbahn 32 an der jeweiligen Seite.
Ein gefährdetes Objekt 30, in diesem Beispiel ein Kind, befindet sich an der linken Seite des Fahrzeugs 10 im Bereich zwischen den Türen.
Die Kamera 12 erfasst nun ein aktuelles Bild des Seitenbereichs des Fahrzeugs 10. Das erfasste aktuelle Bild wird mit einem zuvor abgespeicherten Vergleichsbild verglichen. Wenn der Vergleich ergibt, dass eine Struktur des Vergleichsbildes nicht komplett sichtbar, sondern von einem Objekt in Teilen abgedeckt ist, wird auf gefährdetes Objekt 30 in dem Erfassungsbereich 13 der Kamera 12 geschlossen. Dazu kann beispielsweise geprüft werden, ob die Fahrzeugkontur 110 im Vergleich zu dem Vergleichsbild unterbrochen bzw. verdeckt ist. Wird eine Verdeckung oder Unterbrechung der Fahrzeugkontur 110 in dem aktuellen Bild erkannt, so wird auf ein Objekt 30 geschlossen.
Die Erkennung eines Objektes 30 durch die Prüfung der Fahrzeugkontur 110 kann jedoch scheitern, wenn das Objekt 30 einen Abstand zum Fahrzeug 10 aufweist, so dass die Fahrzeugkontur 110 nicht verdeckt oder unterbrochen wird, oder wenn das Objekt 30 sich beispielsweise im Bereich des vorderen oder hinteren Kotflügels des Fahrzeugs 10 aufhält. Daher kann alternativ oder zusätzlich eine Bodenstruktur des Vergleichsbildes mit dem aktuellen Bild verglichen werden und ein Objekt erkannt werden, wenn die Bodenstruktur in dem aktuellen Bild nicht komplett sichtbar, sondern von dem Objekt 30 zumindest in Teilen abgedeckt ist.
Die beschriebene Erkennung eines Objektes 30 durch Vergleich eines aktuell mittels der Kamera 12 erfassten Bildes mit einem zuvor gespeicherten Vergleichsbild kann auf Probleme stoßen, wenn sich die Lichtverhältnisse zwischen der Aufnahme des aktuellen Bildes und des Vergleichsbildes stark unterscheiden, oder wenn beispielsweise Lichtreflexe oder starker Schattenwurf auftreten. In diesen Fällen können Objekte erkannt werden, obwohl in der Realität kein Objekt 30 vorhanden ist (false positive).
Um auch bewegte Objekte zu erfassen und als solche zu erkennen, können zusätzlich oder alternativ zeitlich kurz aufeinanderfolgend mindestens zwei Bilder durch die Kamera 12 erfasst werden. Ein sich bewegendes Objekt im Nahbereich des Fahrzeugs 10 bzw. im Erfassungsbereich 13 der Kamera 12 kann nun durch Vergleich der zeitlich aufeinanderfolgend erfassten Bilder durch Auswerten mittels eines Differenzverfahren oder vorzugsweise mittels optischem Fluss erfolgen. Wird ein optischer Fluss festgestellt, so kann auf ein zumindest teilweise bewegtes Objekt 30 geschlossen werden. Probleme im Bildvergleich durch wechselnde Lichtverhältnisse stellen bei dieser Auswertung kein größeres Problem dar, da die zu vergleichenden Bilder bevorzugt in kurzem zeitlichen Abstand (typischerweise ca. 1 s) aufgenommen werden.
Um die Objekterkennung weiter zu verbessern kann nun alternativ oder zusätzlich ein Verändern der räumlichen Position der Kameras 12 und Erfassen von mindestens zwei Bildern an jeweils unterschiedlichen räumlichen Positionen einer Kamera 12 durchgeführt werden. Die Größe und Position von Objekten 30 im Nahbereich des Fahrzeugs 10 wird durch eine SfM-Analyse der an den unterschiedlichen Positionen des bildgebenden Sensors erfassten Bilder bestimmt. Die Veränderung der räumlichen Position der Kamera 12 erfolgt bei ansonsten stillstehendem Fahrzeug 10, beispielsweise, indem der Seitenspiegel 11, an dem die Kamera 12 angeordnet ist, automatisch in eine andere Position verfahren wird, beispielsweise ausgeklappt oder angeklappt wird. Eine mögliche Ausführung ist in 3 näher dargestellt.
In 3 a) ist eine Draufsicht eines Ausschnitts eines Fahrzeugs 10 im Bereich eines Seitenspiegels 11 in einer ersten Position des dargestellt. Der Seitenspiegel 11 ist in seiner Betriebsposition zu einer Beobachtung eines neben und hinter dem Fahrzeug 10 befindlichen rückwärtigen Bereichs vorgesehen. Im oder unmittelbar am Seitenspiegel 11 ist eine Kamera 12 angeordnet, welche beispielsweise zu einer Erfassung von Bildern zur Erzeugung einer Darstellung des Fahrzeugs 1 und seiner Umgebung vorgesehen ist. Hierzu weist die Kamera 12 in der Betriebsposition des Seitenspiegels 11 einen Erfassungsbereich 13 auf, welcher einen unmittelbar neben dem Fahrzeug 10 und sich in Längsrichtung des Fahrzeugs 10 vor und hinter dem Seitenspiegel 11 erstreckenden Umgebungsbereich abdeckt.
Der Seitenspiegel 11 ist automatisch von der Betriebsposition, die in 3 a) gezeigt ist, in die in den 3 b) und c) näher dargestellten zweiten und dritten Positionen in Richtung einer Fahrzeugkarosserie anklappbar.
Die Kamera 12 im dargestellten Ausführungsbeispiel ist an einer der Fahrzeugkarosserie abgewandten Seite des Seitenspiegels 11 insbesondere an einem Übergang von einer Unterseite desselben zu einer der Fahrzeugkarosserie abgewandten Seitenfläche desselben angeordnet. Dabei weist die Kamera 3 in den vollständig oder teilweise angeklappten Ruhepositionen des Seitenspiegels 11 gemäß 3 b) und 3 c) einen Erfassungsbereich 13' bzw. 13" welcher einen neben dem Fahrzeug 10 und sich in Längsrichtung des Fahrzeugs 10 hinter dem Seitenspiegel 11 erstreckenden Umgebungsbereich abdeckt, der zumindest teilweise mit dem Erfassungsbereich 13 überlappt.
An jeder der Positionen bzw. an mindestens zwei der Positionen gemäß 3a), b) und 3 c) kann nun mindestens ein Bild der Fahrzeugumgebung durch die Kamera 12 erfasst werden. In einem Überlappungsbereich der Bilder kann durch Vergleich der Bilder ein Objekt 30 erkannt werden.
4 a) zeigt die Situation, in der das Fahrzeug 10 die Aufforderung zum Anfahren erhalten hat und bei der Durchführung der Schritte a)-c) kein Objekt 30 im Nahbereich des Fahrzeugs 10 erkannt wurde. In einer bevorzugten Ausführung der Erfindung kann das Fahrzeug 10 nun, wie in 4 b) angedeutet, eine Anfahrt mit sehr langsamer Geschwindigkeit beginnen. Während dieser langsamen Anfahrt werden weiterhin Bilder des Nahbereichs des Fahrzeugs 10 mit den Kameras 12 erfasst. Durch eine Structure-from-Motion-Analyse von Bildveränderungen der während der langsamen Anfahrt des Fahrzeugs 10 erfassten Bilder kann das Objekt 30 nun erkannt werden, wobei eine Weiterfahrt des Fahrzeugs 10 gestoppt wird, sobald das Objekt 30 erkannt wurde. Insbesondere kann das Fahrzeug zunächst in die der regulären Ausparkrichtung entgegengesetzte Richtung fahren, in diesem Beispiel vorwärts, und anschließend langsam in die Ausparkrichtung fahren, in diesem Beispiel rückwärts. Das Fahrzeug 10 beschleunigt dabei bevorzugt mit weniger als 0,1 m/s² und fährt in die jeweilige Richtung eine Strecke von ca. 5 -10 cm. Dabei kann beispielsweise bei der Vorwärtsfahrt mindestens ein erstes Bild erfasst werden. Ein zweites Bild kann beispielsweise erfasst werden, wenn das Fahrzeug bei der anschließenden Rückwärtsfahrt bereits rückwärts eine bestimmte Weglänge zurückgelegt hat, so dass ein möglichst großer räumlicher Abstand zwischen den Positionen, an denen die Bilder erfasst werden, besteht. Dadurch wird die Genauigkeit der eine Structure-from-Motion-Analyse verbessert.
5 zeigt schematisch eine Vorrichtung 2 nach einem Ausführungsbeispiel der Erfindung. Die Vorrichtung umfasst mindestens einen bildgebenden Sensor, in diesem Beispiel eine Kamera 12, eine Auswerteeinheit 25 und eine Speichereinheit 27. Die Auswerteeinheit 25 ist ausgebildet, Bilder, die von der Kamera 12 von einem Nahbereich eines Fahrzeugs 10 erfasst werden, auszuwerten und basierend auf der Auswertung Objekte 30 in einem Nahbereich des Fahrzeugs 10 zu erkennen, wobei die Auswerteeinheit eingerichtet ist, Objekte 30, die sich in dem Nahbereich des Fahrzeugs 10 befinden, durch Vergleich eines aktuellen Bilds mit einem zuvor abgespeicherten und in der Speichereinheit 27 vorliegenden Vergleichsbild zu erkennen, wobei auf ein gefährdetes Objekt 30 in dem Nahbereich geschlossen wird, wenn der Vergleich ergibt, dass eine Struktur des Vergleichsbildes nicht komplett sichtbar, sondern von einem Objekt 30 in Teilen abgedeckt ist.
Weiterhin ist die die Auswerteeinheit 25 eingerichtet, sich bewegende Objekte 30, die sich in dem Nahbereich des Fahrzeugs 10 befinden, durch Vergleich von mindestens zwei zeitlich aufeinanderfolgend erfassten Bildern durch Auswerten des optischen Flusses oder durch Anwendung anderer Differenzverfahren zu erkennen.
Die Kamera 12 ist derart an einem Fahrzeug 10 anbringbar, dass die Kamera zwischen mindestens zwei räumlichen Positionen verstellbar ist, beispielsweise wie in 3 dargestellt, durch Anbringung der Kamera 12 in einem beweglichen Seitenspeigel 11 des Fahrzeugs 10. Die Auswerteeinheit 25 ist zusätzlich ausgebildet, zur Erkennung von Objekten in einem Nahbereich des Fahrzeugs Bilder, die an den verschiedenen räumlichen Positionen der Kamera 12 erfasst wurden zu vergleichen und basierend auf dem Vergleich ein Objekt 30 in dem Nahbereich des Fahrzeugs zu erkennen.
Die Auswerteeinheit 25 ist eingerichtet, ein Signal auszugeben, das beispielsweise von einem Steuergerät des Fahrzeugs 10 weiterverarbeitet werden kann, wodurch eine Anfahrt verhindert wird, wenn durch die Auswerteeinheit 25 ein Objekt 30 erkannt wurde.
In 6 ist der Ablauf eines nach einem Ausführungsbeispiel der Erfindung ausgeführten Verfahrens dargestellt. In Schritt 301 erhält ein abgestelltes Fahrzeug die Aufforderung zur Anfahrt. Daraufhin wird das Erkennen von Objekten in einem Nahbereich des Fahrzeugs gestartet. Dazu wird in Schritt 302 ein aktuellen Bild eines Nahbereichs des Fahrzeugs mittels eines bildgebenden Sensors des Fahrzeugs erfasst. Ein Objekt in dem Nahbereich des Fahrzeugs wird durch Vergleich des erfassten aktuellen Bilds mit einem zuvor abgespeicherten Vergleichsbild erkannt, wobei auf ein, insbesondere gefährdetes, Objekt in dem Nahbereich geschlossen wird, wenn der Vergleich ergibt, dass eine Struktur des Vergleichsbildes nicht komplett sichtbar, sondern von einem Objekt in Teilen abgedeckt ist. Zusätzlich oder alternativ wird in Schritt 303 ein bewegtes Objekt erkannt, indem zeitlich aufeinanderfolgend mindestens zwei Bilder des Nahbereichs des Fahrzeugs durch den bildgebenden Sensor erfasst werden. Ein sich bewegendes Objekt im Nahbereich des Fahrzeugs wird durch Vergleich der zeitlich aufeinanderfolgend erfassten Bilder und durch Auswerten des optischen Flusses erkannt. Zusätzlich oder alternativ wird in Schritt 304 eine räumliche Position des bildgebenden Sensors relativ zu dem ansonsten stillstehenden Fahrzeug verändert und es werden mindestens zwei Bilder an jeweils unterschiedlichen räumlichen Position des bildgebenden Sensors erfasst. Ein stehendes Objekt im Nahbereich des Fahrzeugs wird durch Vergleich der an den unterschiedlichen Positionen des bildgebenden Sensors erfassten Bilder erkannt.
Wenn in den Schritten 302, 303 und 304 kein Objekt erkannt wurde, kann optional der Schritt 305 ausgeführt werden. Hierbei erfolgt ein langsames Anfahren des Fahrzeugs, insbesondere mit einer Beschleunigung von weniger als 0,1 m/s², wobei mittels des bildgebenden Sensors Bilder des Nahbereichs des Fahrzeugs erfasst werden. Es erfolgt ein Erkennen von sich nicht bewegenden Objekten im Nahbereich des Fahrzeugs, durch eine Structure-from-Motion-Analyse von Bildveränderungen der während der langsamen Anfahrt des Fahrzeugs erfassten Bilder.
In Schritt 306 wird abgefragt, ob in einem der vorangegangene Schritte ein Objekt erkannt wurde. Falls ein Objekt erkannt wurde, wird die Anfahrt des Fahrzeugs unterbunden bzw. eine Weiterfahrt des Fahrzeugs wird unmittelbar gestoppt.
Die Erfindung ist nicht auf die hier beschriebenen Ausführungsbeispiele und die darin hervorgehobenen Aspekte beschränkt. Vielmehr ist innerhalb des durch die Ansprüche angegebenen Bereichs eine Vielzahl von Abwandlungen möglich, die im Rahmen fachmännischen Handelns liegen.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

WO 2019/028464 A1 [0004]

Claims

Verfahren zur Absicherung einer Anfahrt eines teil- oder vollautomatisierten Fahrzeugs (10), wobei das Fahrzeug (10) mindestens einen bildgebenden Sensor, insbesondere eine Nahfeldkamera (12), aufweist, der eingerichtet ist, Bilder eines Nahbereichs des Fahrzeugs (10) zu erfassen, dadurch gekennzeichnet, dass vor einer Anfahrt des Fahrzeugs (10), bei stehendem Fahrzeug (10) eine Erkennung von Objekten (30) im Nahbereich des Fahrzeugs (10) durchgeführt wird, indem eine Kombination von mindestens zwei der folgenden Schritte, durchgeführt wird: a) Erfassen eines aktuellen Bildes eines Nahbereichs des Fahrzeugs (10) mittels des bildgebenden Sensors und Erkennen von Objekten (30), die sich in dem Nahbereich des Fahrzeugs (10) befinden durch Vergleich des aktuellen Bilds mit einem zuvor abgespeicherten Vergleichsbild, wobei auf ein, insbesondere gefährdetes, Objekt (30) in dem Nahbereich geschlossen wird, wenn der Vergleich ergibt, dass eine Struktur (110) des Vergleichsbildes nicht komplett sichtbar, sondern von einem Objekt in Teilen abgedeckt ist; und/oder b) zeitlich aufeinanderfolgendes Erfassen von mindestens zwei Bildern mittels des bildgebenden Sensors und Erkennen von sich bewegenden Objekten (30) im Nahbereich des Fahrzeugs (10) durch Vergleich der zeitlich aufeinanderfolgend erfassten Bilder, insbesondere durch Auswerten des optischen Flusses oder mittels anderer Differenzverfahren; und/oder c) Verändern der räumlichen Position des bildgebenden Sensors und Erfassen von mindestens zwei Bildern an jeweils unterschiedlichen räumlichen Position des bildgebenden Sensors und Erkennen von Objekten (30) im Nahbereich des Fahrzeugs (10) durch Analyse von Veränderungen, insbesondere durch eine Structure-from-Motion-Analyse, der an den unterschiedlichen Positionen des bildgebenden Sensors erfassten Bilder; wobei eine Anfahrt des Fahrzeugs (10) verhindert wird, wenn mindestens ein Objekt erkannt wurde.
Verfahren nach Anspruch 1, wobei, wenn bei stehendem Fahrzeug (10) durch die Schritte a) und/oder b) und/oder c) kein Objekt (30) erkannt wurde, ein langsames Anfahren des Fahrzeugs (10) erfolgt, wobei mittels des bildgebenden Sensors Bilder des Nahbereichs des Fahrzeugs erfasst werden, dabei Erkennen von Objekten (30) im Nahbereich des Fahrzeugs, durch eine Analyse, insbesondere durch eine Structure-from-Motion-Analyse, von Bildveränderungen der während der langsamen Anfahrt des Fahrzeugs erfassten Bilder, wobei eine Weiterfahrt des Fahrzeugs (10) gestoppt wird, wenn ein Objekt (30) erkannt wurde.
Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass das Fahrzeug zunächst in die einer Ausparkrichtung entgegengesetzte Richtung fährt und anschließend langsam in die Ausparkrichtung fährt, wobei die Ausparkrichtung die Fahrtrichtung ist, in die ein regulärer Ausparkvorgang des Fahrzeugs erfolgt.
Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass die Struktur des Vergleichsbildes eine Fahrzeugkontur (110) umfasst und ein Objekt (30) erkannt wird, wenn die Fahrzeugkontur (110) in dem aktuellen Bild nicht komplett sichtbar, sondern von einem Objekt (30) in Teilen abgedeckt ist.
Verfahren nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass die Struktur des Vergleichsbildes eine Bodenstruktur umfasst und ein Objekt erkannt wird, wenn die Bodenstruktur in dem aktuellen Bild nicht komplett sichtbar, sondern von einem Objekt (30) in Teilen abgedeckt ist.
Verfahren nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, dass zusätzlich auf den von dem bildgebenden Sensor erfassten Bildern mittels Methoden der digitalen Bildverarbeitung Objekte (30) erkannt und anhand ihrer Form klassifiziert werden.
Verfahren nach einem der Ansprüche 1 bis 6, dadurch gekennzeichnet, dass zusätzlich mittels mindestens eines an dem Fahrzeug angeordneten Abstandssensors, der insbesondere als Ultraschallsensors und/oder Radarsensor und/oder eines Lidarsensor ausgebildet ist, ein oder mehrere Abstände zwischen dem Fahrzeug (10) und Objekten (30) in der Umgebung des Fahrzeugs (10) bestimmt werden.
Vorrichtung (2) zur Durchführung eines Verfahrens nach einem der Ansprüche 1 bis 7 umfassend mindestens einen bildgebenden Sensor, insbesondere eine Kamera (12), eine Auswerteeinheit (25) und eine Speichereinheit (27), dadurch gekennzeichnet, dass die Auswerteeinheit (25) ausgebildet ist, Bilder, die von dem bildgebenden Sensor von einem Nahbereich eines Fahrzeugs (10) erfasst werden, auszuwerten und basierend auf der Auswertung Objekte (30) in einem Nahbereich des Fahrzeugs (10) zu erkennen, wobei a) die Auswerteeinheit (25) eingerichtet ist, Objekte (30), die sich in dem Nahbereich des Fahrzeugs (10) befinden durch Vergleich eines aktuellen Bilds mit einem zuvor abgespeicherten und in der Speichereinheit (27) vorliegenden Vergleichsbild zu erkennen, wobei auf ein Objekt (30) in dem Nahbereich geschlossen wird, wenn der Vergleich ergibt, dass eine Struktur des Vergleichsbildes nicht komplett sichtbar, sondern von einem Objekt (30) zumindest in Teilen abgedeckt ist; und/oder b) die Auswerteeinheit (25) eingerichtet ist, sich bewegende Objekte (30), die sich in dem Nahbereich des Fahrzeugs (10) befinden durch Vergleich von mindestens zwei zeitlich aufeinanderfolgend erfassten Bildern, insbesondere durch Auswerten des optischen Flusses, zu erkennen; und/oder c) dass der bildgebende Sensor derart an einem Fahrzeug (10) anbringbar ist, dass der bildgebende Sensor zwischen mindestens zwei räumlichen Positionen verstellbar ist und wobei die Auswerteeinheit (25) zusätzlich ausgebildet ist, zur Erkennung von Objekten in einem Nahbereich des Fahrzeugs Bilder, die an den verschiedenen räumlichen Positionen erfasst wurden zu vergleichen und basierend auf dem vergleich ein Objekt (30) in dem Nahbereich des Fahrzeugs zu erkennen; wobei die Auswerteeinheit (25) eingerichtet ist, ein Signal auszugeben wodurch eine Anfahrt des Fahrzeugs (10) verhindert wird, wenn durch die Auswerteeinheit (25) ein Objekt (30) erkannt wurde.
Vorrichtung (2) nach Anspruch 8, wobei die Auswerteeinheit eingerichtet ist, wenn bei stehendem Fahrzeug durch die Schritte a) und/oder b) und/oder c) kein Objekt (30) erkannt wurde, ein Signal zum langsamen Anfahren des Fahrzeugs (10) auszugeben, und während des langsamen Anfahrens Objekte (30) im Nahbereich des Fahrzeugs (10) durch eine Structure-from-Motion-Analyse von Bildveränderungen von während der langsamen Anfahrt des Fahrzeugs (10) erfassten Bildern zu erkennen, wobei die Auswerteeinheit (25) eingerichtet ist, ein Signal auszugeben wodurch eine Weiterfahrt des Fahrzeugs (10) gestoppt wird, wenn durch die Auswerteeinheit (25) ein Objekt (30) erkannt wurde.
Vorrichtung (2) nach einem der Ansprüche 8 oder 9, dadurch gekennzeichnet, dass der bildgebende Sensor an einem ausklappbaren Außenspiegel (11) eines Fahrzeugs (10) anbringbar ist.
Vorrichtung (2) nach einem der Ansprüche 8 bis 10, dadurch gekennzeichnet, dass die Vorrichtung (2) zusätzlich mindestens einen Abstandssensor umfasst, insbesondere einen Ultraschallsensor und oder einen Radarsensor und/oder einen Lidarsensor.
Fahrzeug (10), das für einen teil- oder vollautomatisierten Betrieb ausgebildet ist, umfassend eine Vorrichtung (2) nach einem der Ansprüche 8 bis 11
Computerprogramm, umfassend Befehle, die bei Ausführung des Computerprogramms durch einen Computer diesen veranlassen, ein Verfahren gemäß einem der Ansprüche 1 bis 7 auszuführen.
Maschinenlesbares Speichermedium, auf dem das Computerprogramm nach Anspruch 13 gespeichert ist.