-
Die Erfindung ist auf ein computerimplementiertes Verfahren zur Berechnung von Höheninformationen eines Bordsteins in einer Umgebung eines Fahrzeugs gerichtet, auf ein Verfahren zum teilautomatischen oder vollautomatischen Einparken eines Fahrzeugs in eine Parklücke, die zumindest teilweise durch einen Bordstein begrenzt ist, auf ein elektronisches Fahrzeugführungssystem, auf Computerprogramme und auf ein computerlesbares Speichermedium.
-
Automatische oder teilautomatische Fahrfunktionen eines Fahrzeugs, insbesondere automatische oder teilautomatische Einparkfunktionen, verwenden Bilder, die von einer Kamera des Fahrzeugs erzeugt werden, um die Umgebung zu erfassen und einen Fahrer des Fahrzeugs zu unterstützen und/oder das Fahrzeug automatisch oder teilautomatisch entsprechend zu führen, indem Objekte in der Umgebung berücksichtigt werden. Bordsteine sind besonders relevante Objekte in bestimmten Anwendungen inklusive Einparkfunktionen. Objekterkennungsalgorithmen und semantische Segmentierungsalgorithmen können verwendet werden, um Bordsteine in Bildern zu identifizieren und lokalisieren.
-
Nicht nur die Position des Bordsteins kann für die genannten Fahrzeugfunktionen relevant sein, sondern auch seine Höhe, beispielsweise um abzuschätzen, ob ein Stoßfänger des Fahrzeugs Gefahr läuft, an den Bordstein zu stoßen.
-
Dokument
US 2017/0220878 A1 beschreibt ein Verfahren zum Detektieren eines Bordsteins in einer Umgebung eines Fahrzeugs. Das Verfahren beinhaltet die Erkennung wenigstens eines Liniensegments, das zu dem Bordstein gehört, mit Hilfe von Bilddaten, die mit einer Schnittstelle zu einer Kameravorrichtung des Fahrzeugs eingelesen werden. Das Liniensegment wird auf eine Bodenebene der Umgebung projiziert, um ein projiziertes Liniensegment zu erzeugen. Eine Untermenge einer Vielzahl dreidimensionaler triangulierter Punkte in der Umgebung des Fahrzeugs wird dem Liniensegment als Funktion einer Position der Punkte relativ zu einer Position der Kameravorrichtung relativ zu einem Startpunkt des projizierten Liniensegments und relativ zu einem Endpunkt des projizierten Liniensegments, zugeordnet. Eine Flankenebene des Bordsteins wird mit Hilfe der zugeordneten Punkt ermittelt.
-
Dabei werden die dreidimensional triangulierten Punkte unter Verwendung einer Strukturaus-Bewegung, SfM (englisch: „Structure from Motion“), erhalten, die 3D-Informationen aus überlappenden, zeitlich verschobenen Bildern unter Ausnutzung der Parallaxe erhalten kann. Folglich kann das Verfahren die Höhe des Bordsteins nicht aus einem einzelnen Bild extrahieren.
-
Es ist ein Ziel der vorliegenden Erfindung, eine Möglichkeit zur Berechnung von Höheninformationen eines Bordsteins aus einem Bild, welches den Bordstein abbildet, ohne dass zu unterschiedlichen Zeitpunkten aufgenommene Bilder erforderlich sind, anzugeben.
-
Dieses Ziel wird durch den jeweiligen Gegenstand der unabhängigen Ansprüche erreicht. Weitere Implementierungen und bevorzugte Ausführungsformen sind Gegenstand der abhängigen Ansprüche.
-
Die Erfindung basiert auf der Idee, zwei verschiedene Liniensegmente und deren relative Position zueinander auszuwerten anstelle einer zeitlichen Verschiebung eines einzelnen Liniensegments.
-
Gemäß einem Aspekt der Erfindung wird ein computerimplementiertes Verfahren zur Berechnung von Höheninformationen eines Bordsteins in einer Umgebung eines Fahrzeugs, insbesondere eines Kraftfahrzeugs, angegeben. Das computerimplementierte Verfahren beinhaltet zumindest die folgenden Schritte i) bis viii). Es wird angemerkt, dass die Nummerierung der Schritte i) bis viii) nicht notwendigerweise eine strenge Ordnung, gemäß welcher diese Schritte auszuführen sind, impliziert.
-
In Schritt i) wird ein Bild, das den Bordstein abbildet, insbesondere die Umgebung des Fahrzeugs und den Bordstein in der Umgebung, von einer Kamera des Fahrzeugs erhalten. Ein Satz gerader Liniensegmente, der eine Projektion eines Umrisses des Bordsteins auf eine vorgegebene Bodenebene annähert, insbesondere eine Bodenebene der Umgebung, auf der sich das Fahrzeug befindet, wird abhängig von dem Bild bestimmt.
-
Insbesondere wird der Satz gerader Liniensegmente derart erhalten, dass er den projizierten Umriss des Bordsteins annähert. Dazu können beispielsweise entsprechende Ecken des Bordsteins in dem Bild identifiziert werden, die Ecken können auf die Bodenebene projiziert werden, und der Satz gerader Liniensegmente kann basierend auf den projizierten Ecken bestimmt werden. Alternativ kann das Bild in eine Draufsichtperspektive mit einer Blickrichtung senkrecht zur Bodenebene transformiert werden. Das resultierende Draufsichtbild bildet dann bereits den projizierten Bordstein ab. Folglich können die projizierten Ecken des Bordsteins direkt aus dem Draufsichtbild erhalten werden, und der Satz gerader Liniensegmente kann daraus bestimmt werden. Jedes Segment des Satzes gerader Liniensegmente kann als durch zwei Endpunkte definiert betrachtet werden, die entsprechenden projizierten Endpunkten des Bordsteins entsprechen.
-
In Schritt ii) wird für ein erstes Segment des Satzes gerader Liniensegmente eine Mittelsenkrechte berechnet, und ein zweites Segment des Satzes gerader Liniensegmente bestimmt, welches die Mittelsenkrechte des ersten Segments in einem Schnittpunkt schneidet.
-
Die Mittelsenkrechte entspricht einer Linie, welche das erste Segment bei 90 Grad halbiert. Mit anderen Worten schneidet die Mittelsenkrechte das erste Segment an dem Mittelpunkt mit 90 Grad und teilt es in zwei gleiche Teile.
-
In Schritt iii) wird eine erste Ebene, die senkrecht zur Bodenebene ist und das erste Segment enthält, insbesondere liegt das erste Segment vollständig innerhalb der ersten Ebene, bestimmt, und eine zweite Ebene, die senkrecht zu der Bodenebene ist und das zweite Segment enthält, insbesondere liegt das zweite Segment vollständig innerhalb der zweiten Ebene, wird bestimmt. In Schritt iv) wird mittels entsprechender perspektivischer Projektionen unter Verwendung einer vorgegebenen Position der Kamera als Fluchtpunkt ein Mittelpunkt des ersten Segments auf die zweite Ebene projiziert, und der Schnittpunkt des zweiten Segments wird auf die erste Ebene projiziert. In Schritt v) wird eines des ersten und des zweiten Segments als oberes Segment klassifiziert, und das andere des ersten und des zweiten Segments wird als unteres Segment klassifiziert, abhängig von entsprechenden Höhen über der Bodenebene des projizierten Mittelpunkts und des projizierten Schnittpunkts.
-
Insbesondere entspricht das untere Segment einem Teil des genäherten Umrisses des Bordsteins, der auf der Bodenebene liegt, und das obere Segment entspricht einem Teil des angenäherten Umrisses des Bordsteins, der oberhalb der Bodenebene liegt.
-
In Schritt vi) wird ein Paar von Punkten bestimmt, wobei das untere Segment einen unteren Punkt des Paares von Punkten beinhaltet und das obere Segment einen oberen Punkt des Paares von Punkten beinhaltet. Dabei wird der obere Punkt gemäß Schritt vii) mittels einer perspektivischen Projektion unter Verwendung der Position der Kamera als Fluchtpunkt auf eine weitere Ebene projiziert, die senkrecht zu der Bodenebene ist und das untere Segment beinhaltet. Eine Höhe des projizierten oberen Punkts über der Bodenebene wird bestimmt.
-
Die weitere Ebene gemäß Schritt vii) ist senkrecht zu der Bodenebene und beinhaltet das untere Segment. Daher ist die weitere Ebene identisch zu der ersten Ebene, wenn das erste Segment als das untere Segment klassifiziert wird, und die weitere Ebene ist identisch zu der zweiten Ebene, wenn das zweite Segment als das untere Segment klassifiziert wird.
-
In Schritt viii) werden Höheninformationen bestimmt, welche eine Position des unteren Punkts in der Bodenebene und Höhe des projizierten oberen Punkts, welche dem unteren Punkt zugeordnet wird, speichern, beispielsweise auf einem Speichergerät des Fahrzeugs.
-
Soweit nicht anders angegeben, können alle Schritte des computerimplementierten Verfahrens durch wenigstens eine Recheneinheit durchgeführt werden, insbesondere des Fahrzeugs, die auch als Datenverarbeitungsvorrichtung bezeichnet werden kann. Insbesondere beinhaltet die wenigstens eine Recheneinheit wenigstens einen Verarbeitungsschaltkreis, der dazu eingerichtet oder angepasst ist, die Schritte des computerimplementierten Verfahrens auszuführen. Zu diesem Zweck kann die wenigstens eine Recheneinheit beispielsweise ein Computerprogramm mit Befehlen speichern, die, wenn sie durch die wenigstens eine Recheneinheit ausgeführt werden, die wenigstens eine Recheneinheit dazu veranlassen, das computerimplementierte Verfahren durchzuführen.
-
Unter einer Recheneinheit kann insbesondere ein Datenverarbeitungsgerät verstanden werden, das einen Verarbeitungsschaltkreis enthält. Die Recheneinheit kann also insbesondere Daten zur Durchführung von Rechenoperationen verarbeiten. Darunter fallen gegebenenfalls auch Operationen, um indizierte Zugriffe auf eine Datenstruktur, beispielsweise eine Umsetzungstabelle, LUT (englisch: „look-up table“), durchzuführen.
-
Die Recheneinheit kann insbesondere einen oder mehrere Computer, einen oder mehrere Mikrocontroller und/oder einen oder mehrere integrierte Schaltkreise enthalten, beispielsweise eine oder mehrere anwendungsspezifische integrierte Schaltungen, ASIC (englisch: „application-specific integrated circuit“), eines oder mehrere feldprogrammierbare Gate-Arrays, FPGA, und/oder eines oder mehrere Einchipsysteme, SoC (englisch: „system on a chip“). Die Recheneinheit kann auch einen oder mehrere Prozessoren, beispielsweise einen oder mehrere Mikroprozessoren, eine oder mehrere zentrale Prozessoreinheiten, CPU (englisch: „central processing unit“), eine oder mehrere Grafikprozessoreinheiten, GPU (englisch: „graphics processing unit“) und/oder einen oder mehrere Signalprozessoren, insbesondere einen oder mehrere digitale Signalprozessoren, DSP, enthalten. Die Recheneinheit kann auch einen physischen oder einen virtuellen Verbund von Computern oder sonstigen der genannten Einheiten beinhalten.
-
In verschiedenen Ausführungsbeispielen beinhaltet die Recheneinheit eine oder mehrere Hardware- und/oder Softwareschnittstellen und/oder eine oder mehrere Speichereinheiten.
-
Eine Speichereinheit kann als flüchtiger Datenspeicher, beispielsweise als dynamischer Speicher mit wahlfreiem Zugriff, DRAM (englisch: „dynamic random access memory“) oder statischer Speicher mit wahlfreiem Zugriff, SRAM (englisch: „static random access memory“), oder als nicht-flüchtiger Datenspeicher, beispielsweise als Festwertspeicher, ROM (englisch: „read-only memory“), als programmierbarer Festwertspeicher, PROM (englisch: „programmable read-only memory“), als löschbarer programmierbarer Festwertspeicher, EPROM (englisch: „erasable programmable read-only memory“), als elektrisch löschbarer programmierbarer Festwertspeicher, EEPROM (englisch: „electrically erasable programmable read-only memory“), als Flash-Speicher oder Flash-EEPROM, als ferroelektrischer Speicher mit wahlfreiem Zugriff, FRAM (englisch: „ferroelectric random access memory“), als magnetoresistiver Speicher mit wahlfreiem Zugriff, MRAM (englisch: „magnetoresistive random access memory“) oder als Phasenänderungsspeicher mit wahlfreiem Zugriff, PCRAM (englisch: „phase-change random access memory“), ausgestaltet sein.
-
Die Kamera ist insbesondere an dem Fahrzeug montiert. Der Satz gerader Liniensegmente kann direkt aus dem Bild bestimmt werden, oder das Bild kann vorverarbeitet werden, beispielsweise gemäß einer vorgegebenen Perspektive transformiert wird, und der Satz gerader Liniensegmente kann aus dem vorverarbeiteten Bild bestimmt werden.
-
Das Bild ist ein zweidimensionales Bild oder, mit anderen Worten, die Kamera ist eine monokulare Kamera und insbesondere keine stereoskopische Kamera.
-
Einen Punkt mittels einer perspektivischen Projektion unter Verwendung eines bestimmten Fluchtpunkts auf eine Projektionsebene zu projizieren, kann derart verstanden werden, dass eine Gerade, welche den zu projizierenden Punkt mit dem Fluchtpunkt verbindet, konstruiert wird und der Schnittpunkt dieser Geraden mit der Projektionsebene berechnet wird. Der Schnittpunkt entspricht dann dem projizierten Punkt.
-
Die Position der Kamera kann beispielsweise während einer Kalibrierung, insbesondere einer extrinsischen Kalibrierung, bestimmt werden, während der die Pose der Kamera bezüglich des Fahrzeugs bestimmt wird.
-
Die Höheninformationen enthalten die Kombination des unteren Punkts, insbesondere seine Koordinaten, und die zugeordnete Höhe, die für den projizierten oberen Punkt bestimmt wurde. Die beschriebenen Schritte des Verfahrens können auch für weitere Paare von Segmenten des Satzes gerader Liniensegmente durchgeführt werden, und die Höheninformationen können daher die entsprechenden weiteren unteren Punkte und ihre zugeordneten Höhen der zugehörigen weiteren projizierten oberen Punkte beinhalten. Die Höheninformationen können daher als eine dreidimensionale Darstellung des Bordsteins oder eines Teils des Bordsteins angesehen werden, die durch einen oder mehrere Punkte der Bodenebene und zugeordnete Höhen gegeben ist. Durch Ausnutzung der geometrischen Beziehungen des ersten und des zweiten Segments zueinander und bezüglich der Position der Kamera kann die dreidimensionale Darstellung des Bordsteins oder des Teils des Bordsteins erhalten werden, ohne zu verschiedenen Zeitpunkten aufgenommene Bilder zu nutzen.
-
Gemäß mehrerer Ausführungsformen des computerimplementierten Verfahrens ist das obere Segment gemäß Schritt v) durch das erste Segment gegeben, und das untere Segment ist durch das zweite Segment gegeben, wenn eine Höhe des projizierten Mittelpunkts über der Bodenebene größer ist als eine Höhe des projizierten Schnittpunkts über der Bodenebene. Andererseits ist das obere Segment durch das zweite Segment gegeben und das untere Segment durch das erste Segment gegeben, wenn die Höhe des projizierten Mittelpunkts über der Bodenebene kleiner ist als die Höhe des projizierten Schnittpunkts über der Bodenebene.
-
Auf diese Weise können die Segmente zuverlässig als oberes beziehungsweise unteres Segment klassifiziert werden.
-
Gemäß mehrerer Ausführungsformen wird entsprechend Schritt (vi) eine projizierte Position der Kamera durch Projizieren der Position der Kamera auf die Bodenebene bestimmt. Der untere Punkt entspricht einem Endpunkt des unteren Segments, und der obere Punkt entspricht einem Schnittpunkt des oberen Segments mit einer geraden Linie, die durch die projizierte Position der Kamera und dem unteren Punkt verläuft.
-
Alternativ entspricht der obere Punkt einem Endpunkt des oberen Segments, und der untere Punkt entspricht einem Schnittpunkt des unteren Segments mit einer geraden Linie, die durch die projizierte Position der Kamera und den oberen Punkt verläuft.
-
Der entsprechende Schnittpunkt kann beispielsweise nur für eine der beiden genannten Definitionen existieren. Die entsprechende Definition für den unteren Punkt und den oberen Punkt kann dann verwendet werden.
-
Gemäß mehrerer Ausführungsformen wird ein weiteres Paar von Punkten bestimmt, wobei das untere Segment einen weiteren unteren Punkt des weiteren Paars von Punkten beinhaltet und das obere Segment einen weiteren oberen Punkt des weiteren Paars von Punkten beinhaltet. Der weitere obere Punkt wird in die Ebene projiziert, die senkrecht zu der Bodenebene ist und das untere Segment beinhaltet, mittels einer perspektivischen Projektion unter Verwendung der Projektion der Kamera als Fluchtpunkt, und eine Höhe des projizierten weiteren oberen Punkts über der Bodenebene wird bestimmt. Die Höheninformationen beinhalten eine Position des weiteren unteren Punkts in der Bodenebene und die Höhe des projizierten weiteren oberen Punkts, welche dem weiteren unteren Punkt zugeordnet ist.
-
Folglich kann eine detailliertere oder vollständigere dreidimensionale Darstellung des Bordsteins erhalten werden.
-
Gemäß mehreren Ausführungsformen entspricht der weitere untere Punkt einem weiteren Endpunkt des unteren Segments, und der weitere obere Punkt entspricht einem Schnittpunkt des weiteren oberen Segments mit einer geraden Linie, welche durch die projizierte Position der Kamera und den weiteren unteren Punkt verläuft.
-
Alternativ entspricht der weitere obere Punkt einem weiteren Endpunkt des oberen Segments, und der weitere untere Punkt entspricht einem Schnittpunkt des unteren Segments mit einer geraden Linie, welche durch die projizierte Position der Kamera und den weiteren oberen Punkt verläuft.
-
Beispielsweise kann der entsprechende Schnittpunkt nur für eine der genannten Definitionen existieren. Die entsprechende Definition für den weiteren unteren Punkt und den weiteren oberen Punkt kann dann verwendet werden.
-
Gemäß mehreren Ausführungsformen wird ein semantisch segmentiertes Bild durch Anwendung eines semantischen Segmentierungsalgorithmus auf das Bild erzeugt. Der Satz der geraden Liniensegmente wird abhängig von dem semantisch segmentierten Bild bestimmt.
-
Der semantische Segmentierungsalgorithmus ist insbesondere ein Algorithmus, der, wenn er auf das Bild angewendet wird, einen eines vordefinierten Satzes von Objektklassen jedem Pixel des Kamerabilds zuweist. Das Ergebnis ist das semantisch segmentierte Bild. Alternativ kann der Algorithmus die entsprechende Objektklasse jedem eines Clusters von zwei oder mehr benachbarten Pixeln des Kamerabilds zugewiesen werden. Semantische Segmentierungsalgorithmen zur Verarbeitung von Kamerabildern sind wohlbekannt und können beispielsweise auf einem trainierten künstlichen neuronalen Netzwerk beruhen.
-
Insbesondere kann eine der Objektklassen eine Bordsteinklasse sein. Mit anderen Worten weist der semantische Segmentierungsalgorithmus die Bordsteinklasse allen Pixeln oder Clustern von Pixeln des Bilds zu, die zu dem Bordstein gehören. Daher kann der Umriss des Bordsteins auf einfache Weise aus dem semantisch segmentierten Bild extrahiert werden.
-
Gemäß mehreren Ausführungsformen wird eine Vielzahl von Endpunkten des Bordsteins durch Anwendung eines Eckdetektionsalgorithmus auf das semantisch segmentierte Bild bestimmt. Die Vielzahl von Eckpunkten wird, insbesondere alle Endpunkte der Vielzahl von Endpunkten werden, auf die Bodenebene projiziert. Der Satz gerader Liniensegmente wird abhängig von der projizierten Vielzahl von Eckpunkten bestimmt.
-
Gemäß einem weiteren Aspekt der Erfindung wird ein Verfahren zum halbautomatischen oder vollautomatischen Parken eines Fahrzeugs in eine Parklücke angegeben, welche wenigstens zum Teil durch einen Bordstein begrenzt wird. Dabei wird ein computerimplementiertes Verfahren zum Berechnen von Höheninformationen des Bordsteins gemäß der Erfindung durch wenigstens eine Recheneinheit des Fahrzeugs ausgeführt. Fahrerassistenzinformationen zum Führen des Fahrzeugs zu der Parklücke werden an einen Fahrer des Fahrzeugs abhängig von den Höheninformationen ausgegeben und/oder das Fahrzeug wird wenigstens zum Teil automatisch zu der Parklücke geführt, indem wenigstens ein Steuersignal zur Beeinflussung einer Längs- und/oder Quersteuerung des Fahrzeugs erzeugt wird.
-
Wenigstens ein Teil der Fahrerassistenzinformationen können beispielsweise visuell durch ein Display des Fahrzeugs, welches durch die wenigstens eine Recheneinheit gesteuert wird, ausgegeben werden. Wenigstens ein weiterer Teil der Fahrerassistenzinformationen kann beispielsweise akustisch durch ein Lautsprechersystem des Fahrzeugs, welches von der wenigstens einen Recheneinheit gesteuert wird, ausgegeben werden.
-
Zum wenigstens teilweise automatischen Führen des Fahrzeugs kann die wenigstens eine Recheneinheit beispielsweise ein oder mehrere Steuersignale abhängig von den Höheninformationen erzeugen und das eine oder die mehreren Steuersignale an einen oder mehrere Aktuatoren des Fahrzeugs übermitteln, welche eine Längs- und/oder Quersteuerung des Fahrzeugs abhängig von dem einen oder den mehreren Steuersignalen beeinflussen können.
-
Gemäß einem weiteren Aspekt der Erfindung wird eine Datenverarbeitungsvorrichtung angegeben, die wenigstens eine Recheneinheit beinhaltet, die dazu eingerichtet ist, ein computerimplementiertes Verfahren zum Berechnen von Höheninformationen eines Bordsteins gemäß der Erfindung durchzuführen.
-
Gemäß einem weiteren Aspekt der Erfindung wird ein elektronisches Fahrzeugführungssystem zum teilautomatischen oder vollautomatischen Einparken eines Fahrzeugs in eine Parklücke angegeben, welcher wenigstens zum Teil durch einen Bordstein begrenzt ist. Dabei beinhaltet das elektronische Fahrzeugführungssystem eine Kamera, die dazu eingerichtet ist, ein Bild zu erzeugen, welches den Bordstein abbildet, sowie eine Datenverarbeitungsvorrichtung gemäß der Erfindung. Die wenigstens eine Recheneinheit der Datenverarbeitungsvorrichtung ist dazu eingerichtet, Fahrerassistenzinformationen zum Führen des Fahrzeugs zu der Parklücke für einen Fahrer des Fahrzeugs abhängig von den Höheninformationen zu erzeugen und/oder wenigstens ein Steuersignal zur Beeinflussung einer Längs- und/oder Quersteuerung des Fahrzeugs zum wenigstens teilweise automatischen Führen des Fahrzeugs zu der Parklücke abhängig von den Höheninformationen zu erzeugen.
-
Mit anderen Worten ist das elektronische Fahrzeugführungssystem dazu eingerichtet, ein Verfahren zum halbautomatischen oder vollautomatischen Einparken des Fahrzeugs gemäß der Erfindung auszuführen oder führt ein solches Verfahren aus.
-
Unter einem elektronischen Fahrzeugführungssystem kann ein elektronisches System verstanden werden, das dazu eingerichtet ist, ein Fahrzeug vollautomatisch oder vollautonom zu führen, insbesondere ohne dass ein Eingriff in eine Steuerung durch einen Fahrer erforderlich ist. Das Fahrzeug führt alle erforderlichen Funktionen, wie Lenk, Brems- und/oder Beschleunigungsmanöver, die Beobachtung und Erfassung des Straßenverkehrs sowie entsprechende Reaktionen automatisch durch. Insbesondere kann das elektronische Fahrzeugführungssystem einen vollautomatischen oder vollautonomen Fahrmodus des Kraftfahrzeugs nach Stufe 5 der Klassifizierung gemäß SAE J3016 implementieren. Unter einem elektronischen Fahrzeugführungssystem kann auch ein Fahrerassistenzsystem (englisch: „advanced driver assistance system“, ADAS) verstanden werden, welches den Fahrer beim teilweise automatisierten oder teilautonomen Fahren unterstützt. Insbesondere kann das elektronische Fahrzeugführungssystem einen teilweise automatisierten oder teilautonomen Fahrmodus nach den Stufen 1 bis 4 gemäß der SAE J3016-Klassifizierung implementieren. Hier und im Folgenden bezieht sich „SAE J3016“ auf die entsprechende Norm in der Version vom Juni 2018.
-
Die wenigstens teilweise automatische Fahrzeugführung kann es daher beinhalten, das Fahrzeug gemäß eines vollautomatischen oder vollautonomen Fahrmodus der Stufe 5 nach SAE J3016 zu führen. Die wenigstens teilweise automatische Fahrzeugführung kann auch beinhalten, das Fahrzeug gemäß eines teilweise automatisierten oder teilautonomen Fahrmodus nach den Stufen 1 bis 4 nach SAE J3016 zu führen.
Gemäß einem weiteren Aspekt der Erfindung wird ein Computerprogramm angegeben, das Befehle aufweist, die, wenn sie durch eine Datenverarbeitungsvorrichtung ausgeführt werden, die Datenverarbeitungsvorrichtung dazu veranlassen, ein computerimplementiertes Verfahren zur Berechnung von Höheninformationen eines Bordsteins gemäß der Erfindung auszuführen.
-
Gemäß einem weiteren Aspekt der Erfindung wird ein weiteres Computerprogrammprodukt angegeben, das weitere Befehle aufweist, die, wenn sie durch ein elektronisches Fahrzeugführungssystem gemäß der Erfindung, insbesondere die Datenverarbeitungsvorrichtung des elektronischen Fahrzeugführungssystems, ausgeführt werden, das elektronische Fahrzeugführungssystem dazu veranlassen, ein Verfahren zum halbautomatischen oder vollautomatischen Einparken des Fahrzeugs gemäß der Erfindung auszuführen.
-
Die Befehle und/oder weiteren Befehle können als Programmcode angegeben sein. Der Programmcode kann als Binärcode als Assembler und/oder als Quellcode einer Programmiersprache, beispielsweise C, und/oder als Programmskript, beispielsweise Python, angegeben sein.
-
Gemäß einem weiteren Aspekt der Erfindung wird ein computerlesbares Speichermedium, welches ein Computerprogramm und/oder ein weiteres Computerprogramm gemäß der Erfindung speichert, angegeben.
-
Weitere Merkmale der Erfindung ergeben sich aus den Ansprüchen, den Figuren und der Figurenbeschreibung. Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in den Figuren gezeigten Merkmale und Merkmalskombinationen können nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen von der Erfindung umfasst sein. Es können insbesondere auch Ausführungen und Merkmalskombinationen von der Erfindung umfasst sein, die nicht alle Merkmale eines ursprünglich formulierten Anspruchs aufweisen. Es können darüber hinaus Ausführungen und Merkmalskombinationen von der Erfindung umfasst, die über die in den Rückbezügen der Ansprüche dargelegten Merkmalskombinationen hinausgehen oder von diesen abweichen.
-
Die Erfindung wird im Folgenden anhand konkreter Ausführungsbeispiele und zugehöriger schematischer Zeichnungen näher erläutert. In den Figuren können gleiche oder funktionsgleiche Elemente mit denselben Bezugszeichen versehen sein. Die Beschreibung gleicher oder funktionsgleicher Elemente wird gegebenenfalls nicht notwendigerweise bezüglich verschiedener Figuren wiederholt.
-
In den Figuren zeigen:
- 1 eine schematische Darstellung eines Fahrzeugs mit einer beispielhaften Ausführungsform eines elektronischen Fahrzeugführungssystems gemäß der Erfindung;
- 2 eine schematische Darstellung von Verfahrensschritten einer beispielhaften Ausführungsform eines computerimplementierten Verfahrens zur Berechnung von Höheninformationen eines Bordsteins gemäß der Erfindung;
- 3 eine schematische Illustration weiterer Verfahrensschritte einer beispielhaften Ausführungsform eines computerimplementierten Verfahrens zur Berechnung von Höheninformationen eines Bordsteins gemäß der Erfindung;
- 4 eine schematische Illustration weiterer Verfahrensschritte einer beispielhaften Ausführungsform eines computerimplementierten Verfahrens zur Berechnung von Höheninformationen eines Bordsteins gemäß der Erfindung;
- 5 eine schematische Illustration weiterer Verfahrensschritte einer beispielhaften Ausführungsform eines computerimplementierten Verfahrens zur Berechnung von Höheninformationen eines Bordsteins gemäß der Erfindung;
- 6 eine schematische Illustration weiterer Verfahrensschritte einer beispielhaften Ausführungsform eines computerimplementierten Verfahrens zur Berechnung von Höheninformationen eines Bordsteins gemäß der Erfindung;
- 7 eine schematische Illustration weiterer Verfahrensschritte einer beispielhaften Ausführungsform eines computerimplementierten Verfahrens zur Berechnung von Höheninformationen eines Bordsteins gemäß der Erfindung.
-
1 zeigt ein Fahrzeug 1 mit einer beispielhaften Ausführungsform eines elektronischen Fahrzeugführungssystems 2 zum teilautomatischen oder vollautomatischen Einparken des Fahrzeugs 1 in eine Parklücke, die wenigstens zum Teil durch einen Bordstein 5 (siehe 2) begrenzt ist. Das elektronische Fahrzeugführungssystem 2 ist dazu eingerichtet, ein Verfahren zum teilautomatischen oder vollautomatischen Einparken des Fahrzeugs 1 gemäß der Erfindung durchzuführen. Das elektronische Fahrzeugführungssystem 2 beinhaltet eine Kamera 3 für das Fahrzeug 1, insbesondere eine Frontkamera oder eine Seitenkamera oder eine Rückkamera des Fahrzeugs 1. Die Kamera 3 ist dazu eingerichtet, ein Bild zu erzeugen, das den Bordstein 5 abbildet. Das elektronische Fahrzeugführungssystem beinhaltet weiterhin eine Datenverarbeitungsvorrichtung, die eine Recheneinheit 4 aufweist, die derart verstanden werden kann, dass sie eine oder mehrere Recheneinheiten repräsentiert. Die Recheneinheit 4 ist dazu eingerichtet, ein computerimplementiertes Verfahren zum Berechnen von Höheninformationen des Bordsteins 5 gemäß der Erfindung auszuführen.
-
Die Recheneinheit 4 ist dazu eingerichtet, Fahrerassistenzinformationen zum Führen des Fahrzeugs 1 zu der Parklücke für einen Fahrer des Fahrzeugs 1 abhängig von den Höheninformationen zu erzeugen und/oder mindestens ein Steuersignal zur Beeinflussung einer Längs- und/oder Quersteuerung des Fahrzeugs 1 zum wenigstens teilweise automatischen Führen des Fahrzeugs 1 zu der Parklücke abhängig von den Höheninformationen zu erzeugen.
-
Um das computerimplementierte Verfahren zum Berechnen von Höheninformationen des Bordsteins 5 auszuführen, bestimmt die Recheneinheit einen Satz gerader Liniensegmente 7, wie in 2 illustriert, der eine Projektion eines Umrisses des Bordsteins 5 auf die Bodenebene 6 (siehe 4) annähert, abhängig von dem Bild. Beispielsweise können Bordsteinkonturen auf Bildebene unter Verwendung eines Eckerkennungsalgorithmus untersucht werden, und erkannte Ecken werden in die Bodenebene 6 projiziert. Aneinandergrenzende Ecken werden vereinigt, um die initialen Liniensegmente zu erzeugen. Aneinandergrenzende Liniensegmente, die ähnliche Orientierungen haben, können vereinigt werden.
-
Nachdem die Liniensegmente erzeugt wurden, werden sie basierend darauf, ob sie zu der oberen beziehungsweise unteren Kante des Bordsteins 5 gehören, klassifiziert. Um ein erstes Segment zu klassifizieren, wird es mit einem zweiten Segment auf der gegenüberliegenden Kante des Bordsteins 5 gepaart. Dies wird in 3 illustriert. Insbesondere wird für ein erstes Segment des Satzes gerader Liniensegmente 7, beispielsweise für Segment 7a in 3, eine Mittelsenkrechte berechnet, und ein zweites Segment des Satzes gerader Liniensegmente 7 wird bestimmt, dass die Mittelsenkrechte des ersten Segments in einem Schnittpunkt schneidet, beispielsweise Segment 7c in der Illustration von 3. Analogerweise kann Segment 7d als erstes Segment mit Segment 7a als zweites Segment gepaart werden.
-
In einigen Ausführungsformen kann das Paaren weiteren Bedingungen unterliegen. Beispielsweise können zwei Segmente nur dann gepaart werden, wenn deren Abstand unterhalb eines vorgegebenen Schwellwerts und/oder sie können nur dann gepaart werden, wenn der Winkel, den sie einschließen, kleiner ist als ein bestimmter weiterer Schwellwert. In dem Beispiel von 3 könnten die Segmente 7b und 7e aufgrund der genannten Bedingungen nicht mit einem anderen Segment gepaart sein.
-
Wie in 4 illustriert, wird eine erste Ebene 12 bestimmt, die senkrecht zu der Bodenebene 6 ist und das erste Segment beinhaltet, und eine zweite Ebene 13 wird bestimmt, die senkrecht zu der Bodenebene 6 ist und das zweite Segment beinhaltet. Ein Mittelpunkt 8 des ersten Segments wird auf die zweite Ebene 13 projiziert, und der Schnittpunkt 9 des zweiten Segments mit der Mittelsenkrechten des ersten Segments wird auf die erste Ebene 12 projiziert mittels entsprechender perspektivischer Projektionen unter Verwendung einer vordefinierten Position der Kamera 3 als Fluchtpunkt. Abhängig von entsprechenden Höhen über der Bodenebene 6 des projizierten Mittelpunkts 8' und des projizierten Schnittpunkts 9' wird eines des ersten und des zweiten Segments als oberes Segment klassifiziert, und das andere des ersten und des zweiten Segments wird als unteres Segment klassifiziert. Insbesondere ist das obere Segment durch das erste Segment gegeben, und das untere Segment ist durch das zweite Segment gegeben, wenn die Höhe des projizierten Mittelpunkts 8' größer ist. Anderenfalls, wie es im Beispiel der 3 der Fall ist, ist das obere Segment durch das zweite Segment gegeben, und das untere Segment ist durch das erste Segment gegeben.
-
Dann, wie in 6 illustriert, wird ein Paar von Punkten 10, 11 bestimmt, wobei das untere Segment einen unteren Punkt 10 des Paars von Punkten 10, 11 beinhaltet, und das obere Segment einen oberen Punkt 11 des Paars von Punkten 10, 11. Wie in 5 illustriert, kann, um das Paar von Punkten 10, 11 zu definieren, eine projizierte Position der Kamera 3 bestimmt werden, indem die Position der Kamera 3 auf die Bodenebene 6 projiziert wird. Der untere Punkt 10 entspricht einem Endpunkt des unteren Segments, und der obere Punkt 11 entspricht einem Schnittpunkt des oberen Segments mit einer geraden Linie, welche durch die projizierte Position der Kamera 3 und den unteren Punkt 10 verläuft. Dies ist beispielsweise in 6 der Fall. Alternativ entspricht der obere Punkt 11 einem Endpunkt des oberen Segments, und der untere Punkt 10 entspricht einem Schnittpunkt des unteren Segments mit einer geraden Linie, welche durch die projizierte Position der Kamera 3 und den oberen Punkt 11 verläuft.
-
Erneut Bezug nehmend auf 6 wird der obere Punkt 11 auf eine weitere Ebene projiziert, die senkrecht zu der Bodenebene 6 ist und das untere Segment beinhaltet, durch eine perspektivische Projektion unter Verwendung der Position der Kamera 3 als Fluchtpunkt. Im Beispiel der 6 ist die weitere Ebene identisch zur ersten Ebene 12. Eine Höhe H des projizierten oberen Punkts 11' über der Bodenebene 6 wird bestimmt. Höheninformationen, welche eine Position des unteren Punkts 10 in der Bodenebene 6 beinhalten, sowie die Höhe H des projizierten oberen Punkts 11 `, welche dem unteren Punkt 10 zugeordnet ist, werden gespeichert.
-
Folglich kann eine dreidimensionale Darstellung des Bordsteins 5 angegeben werden, wie in 8 für zwei Beispiele illustriert. Dabei entspricht jeder Kreis einem Punkt des entsprechenden unteren Segments, und eine zugehörige Höhe H ist ihm zugewiesen.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
