-
Stand der Technik
-
Die Erfindung geht aus von einer Vorrichtung oder einem Verfahren nach Gattung der unabhängigen Ansprüche. Gegenstand der vorliegenden Erfindung ist auch ein Computerprogramm.
-
Ein Fahrzeug kann beispielsweise mit einer Fahrzeugkamera ausgerüstet sein. Eine solche Fahrzeugkamera kann ausgebildet sein, um eine Umgebung des Fahrzeugs aufzunehmen. In der Umgebung können Objekte angeordnet sein, wie beispielsweise stationäre Objekte in Gestalt von Hindernissen oder dergleichen.
-
Offenbarung der Erfindung
-
Vor diesem Hintergrund werden mit dem hier vorgestellten Ansatz ein Verfahren, weiterhin eine Vorrichtung, welche dieses Verfahren verwendet, sowie schließlich ein entsprechendes Computerprogramm gemäß den Hauptansprüchen vorgestellt. Durch die in den abhängigen Ansprüchen aufgeführten Maßnahmen sind vorteilhafte Weiterbildungen und Verbesserungen der im unabhängigen Anspruch angegebenen Vorrichtung möglich.
-
Gemäß Ausführungsformen kann beispielsweise eine Randsteinerfassung unter Verwendung einer Kamera mit Fischaugenobjektiv realisiert werden. Dabei kann die Randsteinerfassung beispielsweise auch durch ein System auf Basis einer Nahbereichskamera-Plattform ermöglicht werden. Insbesondere kann für ein Fahrzeug eine Erfassung eines Randsteins in einer Fahrzeugumgebung und zusätzlich oder alternativ eine Kontrolle bezüglich einer Lage eines Randsteins relativ zu dem Fahrzeug durchgeführt werden, wobei zum Beispiel auch auf Basis einer einzigen Kamera eine dreidimensionale Darstellung des Randsteins generiert und genutzt werden kann.
-
Vorteilhafterweise können gemäß Ausführungsformen beispielsweise Position und Gestalt eines Randsteins zuverlässig erfasst werden. Dies kann insbesondere auch unter Verwendung lediglich einer einzigen Fahrzeugkamera ermöglicht werden. Ferner kann zum Beispiel auch eine Lagebeziehung zwischen dem Randstein und dem Fahrzeug überwacht und kontrolliert werden. Somit kann eine Fahrzeugführung verbessert werden und kann eine Fahrsicherheit erhöht werden. Dabei können die Randsteinerfassung bzw. die Randsteinkontrolle exakt, sicher und unaufwendig ausgeführt werden.
-
Es wird ein Verfahren zum Erfassen eines Randsteins in einer Umgebung eines Fahrzeugs vorgestellt, wobei das Verfahren folgende Schritte aufweist:
Erkennen zumindest eines zu dem Randstein gehörenden Liniensegments unter Verwendung von Bilddaten, die von einer Schnittstelle zu mindestens einer Kameraeinrichtung des Fahrzeugs eingelesen sind, wobei die Bilddaten die Umgebung des Fahrzeugs repräsentieren;
Projizieren des zumindest einen Liniensegments auf eine Bodenebene der Umgebung, um ein projiziertes Liniensegment zu generieren;
Zuweisen zumindest einer Teilmenge aus einer Mehrzahl von dreidimensional triangulierten Punkten in der Umgebung des Fahrzeugs dem zumindest einen Liniensegment abhängig von einer Lage der Punkte relativ zu einer Position der Kameraeinrichtung, relativ zu einem Startpunkt des projizierten Liniensegments und relativ zu einem Endpunkt des projizierten Liniensegments, wobei die dreidimensional triangulierten Punkte Objektpunkten in der Umgebung des Fahrzeugs entsprechen; und
Bestimmen einer Flankenebene des Randsteins unter Verwendung der zugewiesenen Punkte.
-
Dieses Verfahren kann beispielsweise in Software oder Hardware oder in einer Mischform aus Software und Hardware beispielsweise in einem Steuergerät implementiert sein. Bei dem Fahrzeug kann es sich um ein Kraftfahrzeug handeln, insbesondere ein Straßenfahrzeug, wie beispielsweise ein Personenkraftwagen, Lastkraftwagen oder der gleichen. Die mindestens eine Kameraeinrichtung kann ein Fischaugenobjektiv aufweisen. Im Schritt des Zuweisens können dreidimensional triangulierte Punkte dem zumindest einen Liniensegment und zusätzlich oder alternativ dem Randstein zugewiesen oder zugeordnet werden. Die Flankenebene kann ein erkanntes Liniensegment aufweisen. Die Flankenebene kann eine bezüglich der Bodenebene geneigte Fläche des Randsteins repräsentieren. Die Bodenebene kann ein Fahrbahnniveau oder eine zum Fahrbahnniveau parallel verschobene Ebene repräsentieren.
-
Gemäß einer Ausführungsform kann im Schritt des Zuweisens überprüft werden, ob die dreidimensional triangulierten Punkte maximal einen vordefinierten Abstand von einer Trennungsebene entfernt angeordnet sind. Hierbei kann die Trennungsebene durch die Position der Kameraeinrichtung, den Startpunkt des projizierten Liniensegments und den Endpunkt des projizierten Liniensegments definiert sein. Eine solche Ausführungsform bietet den Vorteil, dass potenziell zu einem Randstein gehörende Merkmale zuverlässig identifiziert werden können. Insbesondere können hierbei Ausreißerpunkte bezüglich einer ersten Dimension verworfen werden.
-
Auch kann im Schritt des Zuweisens überprüft werden, ob die dreidimensional triangulierten Punkte bei Projektion derselben in eine Trennungsebene, die durch die Position der Kameraeinrichtung, den Startpunkt des projizierten Liniensegments und den Endpunkt des projizierten Liniensegments definiert ist, innerhalb eines Dreiecks angeordnet sind, das durch die Position der Kameraeinrichtung, den Startpunkt des projizierten Liniensegments und den Endpunkt des projizierten Liniensegments definiert ist. Eine solche Ausführungsform bietet den Vorteil, dass die zu einem Randstein gehörenden Merkmale sicher und genau identifiziert werden können. Insbesondere können hierbei Ausreißerpunkte bezüglich einer zweiten Dimension und einer dritten Dimension verworfen werden.
-
Ferner kann im Schritt des Bestimmens die Flankenebene abhängig davon bestimmt werden, ob die zugewiesenen Punkte in einem vordefinierten Abstandsintervall von der Bodenebene der Umgebung angeordnet sind. Anders ausgedrückt kann der Schritt des Bestimmens ausgeführt werden, wenn die zugewiesenen Punkte in dem vordefinierten Abstandsintervall von der Bodenebene der Umgebung angeordnet sind. Hierbei kann auch ein durchschnittlicher Abstand der Punkte verwendet werden. Eine solche Ausführungsform bietet den Vorteil, dass der Randstein noch zuverlässiger und genauer erfasst werden kann.
-
Zudem kann im Schritt des Bestimmens die Flankenebene abhängig davon bestimmt werden, ob im Schritt des Zuweisens eine vordefinierte Mindestanzahl von Punkten zugewiesen wurde. Anders ausgedrückt kann der Schritt des Bestimmens ausgeführt werden, wenn im Schritt des Zuweisens die vordefinierte Mindestanzahl von Punkten zugewiesen wurde. Eine solche Ausführungsform bietet den Vorteil, dass Fehlerfassungen weiter minimiert werden können.
-
Insbesondere kann im Schritt des Bestimmens die Flankenebene des Randsteins unter Verwendung eines berechneten Massenmittelpunkts der zugewiesenen Punkte bestimmt werden. Eine solche Ausführungsform bietet den Vorteil, dass eine Lage der Flankenebene noch sicherer und genauer bestimmt werden kann.
-
Auch kann im Schritt des Erkennens ein erstes Koordinatensystem verwendet werden. Hierbei kann im Schritt des Projizierens, im Schritt des Zuweisens und zusätzlich oder alternativ im Schritt des Bestimmens ein zweites Koordinatensystem verwendet werden. Dabei kann das erste Koordinatensystem Bildkoordinaten aufweisen, wobei das zweite Koordinatensystem Weltkoordinaten aufweisen kann. Eine solche Ausführungsform bietet den Vorteil, dass eine zuverlässige Randsteinerfassung ermöglicht werden kann, wobei ein das Fahrzeug und den Randstein umfassender Referenzrahmen genutzt werden kann.
-
Des weiteren kann das Verfahren einen Schritt des Berechnens eines Abstandes zwischen dem Fahrzeug und der im Schritt des Bestimmens bestimmten Flankenebene des Randsteins aufweisen. Der Abstand kann unter Verwendung von Weltkoordinaten berechnet werden. Insbesondere kann im Schritt des Berechnens ein Abstand zwischen zumindest einem Rad oder Reifen des Fahrzeugs und der im Schritt des Bestimmens bestimmten Flankenebene des Randsteins berechnet werden. Eine solche Ausführungsform bietet den Vorteil, dass eine sichere Abstandskontrolle zwischen Fahrzeug und Randstein ermöglicht wird.
-
Dabei kann das Verfahren einen Schritt de aufweisen s Bereitstellens eines Warnsignals, wenn der im Schritt des Berechnens berechnete Abstand einen vordefinierten Sicherheitsabstand unterschreitet. Eine solche Ausführungsform bietet den Vorteil, dass eine Fahrsicherheit erhöht werden kann und ein Fahrkomfort gesteigert werden kann.
-
Ferner kann das Verfahren einen Schritt des Verfolgens des zumindest einen Liniensegments, der zugewiesenen Punkte und zusätzlich oder alternativ der Flankenebene über die Zeit und zusätzlich oder alternativ bei einer Bewegung des Fahrzeugs aufweisen. Der Schritt des Verfolgens kann unter Verwendung von Bilddaten erfolgen, die von der Kameraeinrichtung des Fahrzeugs zeitlich aufeinanderfolgend erfasste Bilddaten darstellen. Eine solche Ausführungsform bietet den Vorteil, dass eine Plausibilisierung der Randsteinerfassung ermöglicht werden kann sowie eine Detektionssicherheit weiter erhöht werden kann.
-
Zudem kann das Verfahren einen Schritt des Ermittelns der Mehrzahl von dreidimensional triangulierten Punkten in der Umgebung des Fahrzeugs aufweisen. Hierbei können die dreidimensional triangulierten Punkte Objektpunkten in der Umgebung des Fahrzeugs entsprechen. Der Schritt des Ermittelns kann unter Verwendung von Bilddaten von der mindestens einen Kameraeinrichtung ausgeführt werden. Insbesondere kann der Schritt des Ermittelns unter Verwendung eines Algorithmus zum Gewinnen von Struktur aus Bewegung ausgeführt werden. Eine solche Ausführungsform bietet den Vorteil, dass eine zuverlässige und zutreffende Darstellung der Fahrzeugumgebung gewonnen werden kann.
-
Der hier vorgestellte Ansatz schafft ferner eine Vorrichtung, die ausgebildet ist, um die Schritte einer Variante eines hier vorgestellten Verfahrens in entsprechenden Einrichtungen durchzuführen, anzusteuern bzw. umzusetzen. Auch durch diese Ausführungsvariante der Erfindung in Form einer Vorrichtung kann die der Erfindung zugrunde liegende Aufgabe schnell und effizient gelöst werden.
-
Hierzu kann die Vorrichtung zumindest eine Recheneinheit zum Verarbeiten von Signalen oder Daten, zumindest eine Speichereinheit zum Speichern von Signalen oder Daten, zumindest eine Schnittstelle zu einem Sensor oder einem Aktor zum Einlesen von Sensorsignalen von dem Sensor oder zum Ausgeben von Daten- oder Steuersignalen an den Aktor und/oder zumindest eine Kommunikationsschnittstelle zum Einlesen oder Ausgeben von Daten aufweisen, die in ein Kommunikationsprotokoll eingebettet sind. Die Recheneinheit kann beispielsweise ein Signalprozessor, ein Mikrocontroller oder dergleichen sein, wobei die Speichereinheit ein Flash-Speicher, ein EPROM oder eine magnetische Speichereinheit sein kann. Die Kommunikationsschnittstelle kann ausgebildet sein, um Daten drahtlos und/oder leitungsgebunden einzulesen oder auszugeben, wobei eine Kommunikationsschnittstelle, die leitungsgebundene Daten einlesen oder ausgeben kann, diese Daten beispielsweise elektrisch oder optisch aus einer entsprechenden Datenübertragungsleitung einlesen oder in eine entsprechende Datenübertragungsleitung ausgeben kann.
-
Unter einer Vorrichtung kann vorliegend ein elektrisches Gerät verstanden werden, das Sensorsignale verarbeitet und in Abhängigkeit davon Steuer- und/oder Datensignale ausgibt. Die Vorrichtung kann eine Schnittstelle aufweisen, die hard- und/oder softwaremäßig ausgebildet sein kann. Bei einer hardwaremäßigen Ausbildung können die Schnittstellen beispielsweise Teil eines sogenannten System-ASICs sein, der verschiedenste Funktionen der Vorrichtung beinhaltet. Es ist jedoch auch möglich, dass die Schnittstellen eigene, integrierte Schaltkreise sind oder zumindest teilweise aus diskreten Bauelementen bestehen. Bei einer softwaremäßigen Ausbildung können die Schnittstellen Softwaremodule sein, die beispielsweise auf einem Mikrocontroller neben anderen Softwaremodulen vorhanden sind.
-
In einer vorteilhaften Ausgestaltung erfolgt durch die Vorrichtung eine Verarbeitung von Bilddaten. Hierzu kann die Vorrichtung beispielsweise auf Sensorsignale wie Kamerasignale und Videosignale von der mindestens einen Kameraeinrichtung zugreifen. Die Vorrichtung kann ausgebildet sein, um verarbeitete Bilddaten bereitzustellen, die einen Randstein beschreiben.
-
Es wird ein System zur Randsteinkontrolle für ein Fahrzeug vorgestellt, wobei das System folgende Merkmale aufweist:
mindestens eine Kameraeinrichtung zum Bereitstellen von Bilddaten einer Umgebung des Fahrzeugs; und
eine Ausführungsform der vorstehend genannten Vorrichtung, die datenübertragungsfähig mit der zumindest einen Kameraeinrichtung verbindbar oder verbunden ist.
-
In Verbindung mit dem System zur Randsteinkontrolle kann eine Ausführungsform der vorstehend genannten Vorrichtung vorteilhaft eingesetzt oder verwendet werden, um einen Randstein in der Umgebung des Fahrzeugs zu erfassen.
-
Von Vorteil ist auch ein Computerprogrammprodukt oder Computerprogramm mit Programmcode, der auf einem maschinenlesbaren Träger oder Speichermedium wie einem Halbleiterspeicher, einem Festplattenspeicher oder einem optischen Speicher gespeichert sein kann und zur Durchführung, Umsetzung und/oder Ansteuerung der Schritte des Verfahrens nach einer der vorstehend beschriebenen Ausführungsformen verwendet wird, insbesondere wenn das Programmprodukt oder Programm auf einem Computer oder einer Vorrichtung ausgeführt wird.
-
Ausführungsbeispiele des hier vorgestellten Ansatzes sind in den Zeichnungen dargestellt und in der nachfolgenden Beschreibung näher erläutert. Es zeigt:
-
1 eine schematische Darstellung eines Systems gemäß einem Ausführungsbeispiel;
-
2 ein Ablaufdiagramm eines Verfahrens gemäß einem Ausführungsbeispiel;
-
3 eine schematische Darstellung eines Fahrzeugs mit dem System aus 1 sowie einer Umgebung des Fahrzeugs;
-
4 eine schematische Darstellung der Umgebung des Fahrzeugs aus 3 bei einer Randsteinerfassung; und
-
5 eine schematische Darstellung der Umgebung des Fahrzeugs aus 3 bzw. 4 bei der Randsteinerfassung.
-
In der nachfolgenden Beschreibung günstiger Ausführungsbeispiele der vorliegenden Erfindung werden für die in den verschiedenen Figuren dargestellten und ähnlich wirkenden Elemente gleiche oder ähnliche Bezugszeichen verwendet, wobei auf eine wiederholte Beschreibung dieser Elemente verzichtet wird.
-
1 zeigt eine schematische Darstellung eines Systems 100 gemäß einem Ausführungsbeispiel. Das System 100 ist ausgebildet, um eine Randsteinkontrolle bzw. Randsteinüberwachung für ein Fahrzeug auszuführen. Somit ist das System 100 in einem Fahrzeug nutzbar, insbesondere in einem Kraftfahrzeug bzw. Straßenfahrzeug.
-
Das System 100 weist dabei mindestens eine Kameraeinrichtung 105 zum Bereitstellen von Bilddaten 110 einer Umgebung des Fahrzeugs auf. Gemäß dem in 1 gezeigten Ausführungsbeispiel weist das System 100 beispielhaft lediglich eine Kameraeinrichtung 105 auf. Die Bilddaten 110 repräsentieren die Umgebung des Fahrzeugs. Bei der Kameraeinrichtung 105 handelt es sich beispielsweise um eine Fahrzeugkamera, die als eine Standbildkamera und/oder Videokamera ausgeführt sein kann. Gemäß dem in 1 gezeigten Ausführungsbeispiel weist die Kameraeinrichtung 105 ein Fischaugenobjektiv auf. Die Kameraeinrichtung 105 ist ausgebildet, um die Bilddaten 110 bereitzustellen.
-
Ferner weist das System 100 eine Erfassungsvorrichtung 120 bzw. Vorrichtung 120 zum Erfassen eines Randsteins in der Umgebung des Fahrzeugs auf. Die Erfassungsvorrichtung 120 ist datenübertragungsfähig mit der Kameraeinrichtung 105 verbunden. Somit ist die Erfassungsvorrichtung 120 ausgebildet, um die Bilddaten 110 von der Kameraeinrichtung 105 zu empfangen oder einzulesen.
-
Die Erfassungsvorrichtung 120 ist ausgebildet, um einen Randstein in der Umgebung des Fahrzeugs, in dem das System 100 zur Verwendung angeordnet ist, zu erfassen. Dabei ist die Erfassungsvorrichtung 120 ausgebildet, um den Randstein unter Verwendung der Bilddaten 110 von der Kameraeinrichtung 105 zu erfassen. Die Erfassungsvorrichtung 120 weist eine Erkennungseinrichtung 122, eine Projektionseinrichtung 124, eine Zuweisungseinrichtung 126 und eine Bestimmungseinrichtung 128 auf.
-
Die Ermittlungseinrichtung 122 ist ausgebildet, um die Bilddaten 110 von der Kameraeinrichtung 105 zu verwenden. Beispielsweise ist die Ermittlungseinrichtung 122 ausgebildet, um die Bilddaten 110 von der Kameraeinrichtung 105 bzw. von einer Schnittstelle zu der Kameraeinrichtung 105 einzulesen. Die Ermittlungseinrichtung 122 ist ausgebildet, um unter Verwendung der eingelesenen Bilddaten 110 zumindest ein zu dem Randstein gehörendes Liniensegment zu erkennen. Die Ermittlungseinrichtung 122 ist auch ausgebildet, um das erkannte Liniensegment oder eine Information über das erkannte Liniensegment an die Projektionseinrichtung 124 zu übergeben.
-
Die Projektionseinrichtung 124 ist ausgebildet, das zumindest eine Liniensegments auf eine Bodenebene der Umgebung zu projizieren, um ein projiziertes Liniensegment zu generieren. Ferner ist die Ermittlungseinrichtung 124 ausgebildet, um das projizierte Liniensegment für die Zuweisungseinrichtung 126 bereitzustellen.
-
Die Zuweisungseinrichtung 126 ist ausgebildet, um zumindest eine Teilmenge aus einer Mehrzahl von dreidimensional triangulierten Punkten in der Umgebung des Fahrzeugs dem zumindest einen Liniensegment zuzuweisen. Dabei ist die Zuweisungseinrichtung 126 ausgebildet, um die dreidimensional triangulierten Punkte abhängig von einer Lage der Punkte relativ zu einer Position der Kameraeinrichtung 105, relativ zu einem Startpunkt des projizierten Liniensegments und relativ zu einem Endpunkt des projizierten Liniensegments dem zumindest einen Liniensegment zuzuweisen. Die dreidimensional triangulierten Punkte entsprechen hierbei Objektpunkten in der Umgebung des Fahrzeugs. Die Zuweisungseinrichtung 126 ist ferner ausgebildet, um die zugewiesenen Punkte bzw. eine Information über die zugewiesenen Punkte an die Bestimmungseinrichtung 128 weiterzuleiten.
-
Die Bestimmungseinrichtung 128 ist ausgebildet, um unter Verwendung der zugewiesenen Punkte eine Flankenebene des Randsteins zu bestimmen. Insbesondere ist die Bestimmungseinrichtung 128 ausgebildet, um zumindest die Flankenebene des Randsteins zu bestimmen.
-
Eine Funktionsweise der Erfassungsvorrichtung 120 wird im folgenden unter Bezugnahme auf nachfolgende Figuren noch weiter erläutert.
-
2 zeigt ein Ablaufdiagramm eines Verfahrens 200 zum Erfassen gemäß einem Ausführungsbeispiel. Das Verfahren 200 ist ausführbar, um einen Randstein in einer Umgebung eines Fahrzeugs zu erfassen. Dabei ist das Verfahren 200 zum Erfassen in Verbindung mit bzw. unter Verwendung der Erfassungsvorrichtung 120 aus 1 oder einer ähnlichen Erfassungsvorrichtung ausführbar.
-
Das Verfahren 200 zum Erfassen weist einen Schritt 210 des Erkennens auf, in dem unter Verwendung von Bilddaten zumindest ein zu dem Randstein gehörendes Liniensegment erkannt wird. Die Bilddaten sind hierbei von einer Schnittstelle zu mindestens einer Kameraeinrichtung des Fahrzeugs eingelesen und repräsentieren die Umgebung des Fahrzeugs. In einem bezüglich des Schrittes 210 des Erkennens nachfolgend ausführbaren Schritt 220 des Projizierens wird das zumindest eine im Schritt 210 des Erkennens erkannte Liniensegment auf eine Bodenebene der Umgebung projiziert, um ein projiziertes Liniensegment zu generieren.
-
Nachfolgend wird in einem Schritt 230 des Zuweisens zumindest eine Teilmenge aus einer Mehrzahl von dreidimensional triangulierten Punkten in der Umgebung des Fahrzeugs abhängig von einer Lage der Punkte relativ zu einer Position der Kameraeinrichtung, relativ zu einem Startpunkt des projizierten Liniensegments und relativ zu einem Endpunkt des projizierten Liniensegments dem zumindest einen Liniensegment zugewiesen. Die dreidimensional triangulierten Punkte entsprechen Objektpunkten in der Umgebung des Fahrzeugs. In einem Schritt 240 des Bestimmens wird unter Verwendung der im Schritt 230 des Zuweisens zugewiesenen Punkte eine Flankenebene des Randsteins bestimmt.
-
Gemäß einem Ausführungsbeispiel weist das Verfahren 200 ferner einen Schritt 250 des Berechnens auf, bei dem ein Abstand zwischen dem Fahrzeug und der im Schritt 240 des Bestimmens bestimmten Flankenebene des Randsteins berechnet wird. In einem weiteren, optionalen Schritt 260 des Bereitstellens wird ein Warnsignal bereitgestellt, wenn der im Schritt 250 des Berechnens berechnete Abstand einen vordefinierten Sicherheitsabstand unterschreitet.
-
Gemäß einem weiteren Ausführungsbeispiel weist das Verfahren 200 auch einen Schritt 270 des Verfolgens des zumindest einen Liniensegments, der zugewiesenen Punkte und/der Flankenebene über die Zeit und/oder bei einer Bewegung des Fahrzeugs auf. Der Schritt 270 des Verfolgens ist hierbei nach dem Schritt 240 des Bestimmens oder nach dem Schritt 250 des Berechnens ausführbar.
-
Das Verfahren 200 weist gemäß einem Ausführungsbeispiel auch einen Schritt 280 des Ermittelns der Mehrzahl von dreidimensional triangulierten Punkten in der Umgebung des Fahrzeugs auf. Dabei ist der Schritt 280 des Ermittelns vor dem Schritt 230 des Zuweisens ausführbar.
-
Gemäß einem Ausführungsbeispiel wird bei dem Verfahren 200 zum Erfassen im Schritt 210 des Erkennens ein erstes Koordinatensystem verwendet, wobei im Schritt 220 des Projizierens, im Schritt 230 des Zuweisens und/oder im Schritt 240 des Bestimmens ein zweites Koordinatensystem verwendet wird. Das erste Koordinatensystem weist hierbei Bildkoordinaten auf, wobei das zweite Koordinatensystem Weltkoordinaten aufweist. Optional kann auch im Schritt 250 des Berechnens, im Schritt 270 des Verfolgens und/oder im Schritt 280 des Ermittelns das zweite Koordinatensystem verwendet werden.
-
Gemäß einem weiteren Ausführungsbeispiel wird im Schritt 240 des Bestimmens die Flankenebene abhängig davon bestimmt wird, ob die zugewiesenen Punkte in einem vordefinierten Abstandsintervall von der Bodenebene der Umgebung angeordnet sind und/oder ob im Schritt 230 des Zuweisens eine vordefinierte Mindestanzahl von Punkten zugewiesen wurde. Insbesondere wird im Schritt 240 des Bestimmens die Flankenebene des Randsteins unter Verwendung eines berechneten Massenmittelpunkts der zugewiesenen Punkte bestimmt.
-
3 zeigt eine schematische Darstellung eines Fahrzeugs 300 mit dem System aus 1 sowie einer Umgebung des Fahrzeugs 300. Das Fahrzeug 300 weist somit das System aus 1 auf. Gemäß einer Ausführungsform kann das Fahrzeug 300 auch ein dem System aus 1 ähnliches System zur Randsteinkontrolle aufweisen. Von dem System ist in 3 darstellungsbedingt lediglich die Kameraeinrichtung 105 gezeigt.
-
In der Umgebung des Fahrzeugs 300 ist ein Randstein 330 angeordnet. Durch die Erfassungsvorrichtung des Systems sind beispielsweise mehrere Liniensegmente des Randsteins 330 erkannt, wobei in 3 beispielhaft lediglich ein Liniensegment 335 mit Bezugszeichen bezeichnet ist. Das Liniensegment 335 repräsentiert hierbei eine Kante des Randsteins 330. Ferner ist zu Zwecken der Veranschaulichung in der Umgebung des Fahrzeugs 300 eine Projektion 340 des Randsteins auf den Boden bzw. die Bodenebene symbolisch eingezeichnet. Anders ausgedrückt ist zumindest ein projiziertes Liniensegment 340 gezeigt, das eine Projektion des Liniensegments 335 repräsentiert. Das projizierte Liniensegment 340 weist einen Startpunkt 342 und einen Endpunkt 344 auf. Zwischen der Kameraeinrichtung 105 und dem Startpunkt 342 erstreckt sich ein erster Sichtstrahl 352 zu dem Startpunkt 342. Zwischen der Kameraeinrichtung 105 und dem Endpunkt 344 erstreckt sich ein zweiter Sichtstrahl 354 zu dem Endpunkt 344.
-
Anders ausgedrückt zeigt 3 eine schematische Draufsicht auf das Fahrzeug 300 und die Umgebung des Fahrzeugs 300. Als eine Ausgabe eines Liniendetektionsalgorithmus der Erfassungsvorrichtung des Systems ergibt sich das Liniensegment 335, das an der Kante des Randsteins 330 erfasst wurde und das als projiziertes Liniensegment 340 auf den Boden projiziert wird.
-
4 zeigt eine schematische Darstellung der Umgebung des Fahrzeugs aus 3 bei einer Randsteinerfassung. In der Darstellung von 4 sind hierbei die Kameraeinrichtung 105, der Randstein 330, das Liniensegment 335, das projizierte Liniensegment 340, das eine Projektion des Randsteins 330 auf den Boden von der Kameraeinrichtung 105 aus repräsentiert, der Startpunkt 342, der Endpunkt 344, der erste Sichtstrahl 352 und der zweite Sichtstrahl 354 sowie eine perpendikulare Projektion 430 des Randsteins 330 auf den Boden bzw. auf die Bodenebene und eine Punktwolke bzw. Mehrzahl von dreidimensional triangulierten Punkten 460 gezeigt.
-
Durch den Startpunkt 342, den Endpunkt 344 und eine Position der Kameraeinrichtung 105 ist ein Dreieck definiert bzw. aufgespannt. Die Mehrzahl von dreidimensional triangulierten Punkten 460 sind innerhalb und außerhalb des Dreiecks angeordnet. Ferner ist durch den Startpunkt 342, den Endpunkt 344 und die Position der Kameraeinrichtung 105 eine Trennungsebene definiert bzw. aufgespannt.
-
Durch die Erfassungsvorrichtung des Systems aus 1 bzw. durch das Verfahren aus 2 wird zum Zuweisen von dreidimensional triangulierten Punkten 460 zu dem zumindest einen Liniensegment 335 des Randsteins 330 oder zu dem projizierten Liniensegment 340 eine Überprüfung durchgeführt. Die Überprüfung wird dahin gehend durchgeführt, ob die dreidimensional triangulierten Punkte 460 bei Projektion derselben in die Trennungsebene innerhalb des in 4 dargestellten Dreiecks angeordnet sind. Somit wird die Überprüfung anhand eines Dreieckskriteriums durchgeführt. Innerhalb des Dreiecks angeordnete und somit das Dreieckskriterium erfüllende Punkte 460 werden zugewiesen, wobei außerhalb des Dreiecks angeordnete Punkte 460 verworfen werden.
-
Anders ausgedrückt zeigt 4 eine schematische Vorderansicht, wobei die durch das Dreieck repräsentierte Trennungsebene durch den Startpunkt 342, den Endpunkt 344 und die Position der Kameraeinrichtung 105 definiert ist. Es werden jene triangulierten Punkte 460 aus der Punktwolke gesucht, die nahe genug an der Trennungsebene liegen. Es wird beispielsweise ferner angenommen, dass diese Punkte 460 um die Kante des Randsteins 330 herum liegen.
-
5 zeigt eine schematische Darstellung der Umgebung des Fahrzeugs aus 3 bzw. 4 bei der Randsteinerfassung. Im Unterschied zu 4 ist die Umgebung des Fahrzeugs in 5 hierbei in einer schematischen Seitenansicht dargestellt. In der Darstellung von 5 sind hierbei die Kameraeinrichtung 105, der Randstein 330, das projizierte Liniensegment 340, die Mehrzahl von dreidimensional triangulierten Punkten 460, eine die Flankenebene repräsentierende, hier vertikale Ebene 530 des Randsteins 330, die Trennungsebene 570, eine Bodenebene 580 und eine Höhe h gezeigt. Dabei entspricht die Höhe h beispielsweise einer angenommenen oder ermittelten Höhe des Randsteins 330 bzw. einer Kante des Randsteins 330.
-
In der Darstellung von 5 sind die Punkte 460 beidseits der Trennungsebene 570 sowie beispielhaft auch in der Trennungsebene 570 angeordnet. Durch die Erfassungsvorrichtung des Systems aus 1 bzw. durch das Verfahren aus 2 wird zum Zuweisen von dreidimensional triangulierten Punkten 460 zu dem zumindest einen Liniensegment 335 des Randsteins 330 oder zu dem projizierten Liniensegment 340 eine Überprüfung durchgeführt. Die Überprüfung wird dahin gehend durchgeführt, ob die dreidimensional triangulierten Punkte 460 maximal einen vordefinierten Abstand von der Trennungsebene 570 entfernt angeordnet sind. Somit wird die Überprüfung anhand eines Ebenenabstandskriteriums durchgeführt. Punkte 460, die maximal den vorbestimmten Abstand von der Trennungsebene 570 angeordnet sind und somit das Ebenenabstandskriterium erfüllen, werden zugewiesen, wobei andere Punkte 460, die mehr als den vorbestimmten Abstand von der Trennungsebene 570 entfernt angeordnet sind, verworfen werden.
-
Anders ausgedrückt wird ein Abstand, insbesondere ein perpendikularer Abstand, der triangulierten Punkte 460 von der Trennungsebene 570 gemessen. Wenn genug Punkte 460 vorliegen, lässt sich die vertikale Ebene 530 des Randsteins 330 unter der Annahme rekonstruieren, dass der Randstein 330 selbst parallel zu der Bodenebene 580 ist, sodass die vertikale Ebene 530 bzw. Flankenebene 530 desselben im Wesentlichen perpendikular zu der Bodenebene 580 ist. Nun ist ein Abstand, insbesondere perpendikularer Abstand, zwischen der vertikalen Ebene 530 und Reifen oder Rädern des Fahrzeugs messbar. Es kann ein Warnsignal ausgegeben oder bereitgestellt werden, falls beispielsweise eines der Räder zu nahe an den Randstein 330 kommt.
-
Unter Bezugnahme auf die 1 bis 5 wird nachfolgend ein beispielhafter Algorithmus zur Randsteinerfassung bzw. Randsteinkontrolle mit lediglich beispielhaft sechs oder bis zu sechs Hauptschritten beschrieben.
-
Bei einem Schritt einer Liniendetektion bzw. Linienerkennung wird mittels der Erfassungsvorrichtung 120 bzw. bei Ausführung des Verfahrens 200 zumindest ein Liniensegment 335 erkannt. Da eine Struktur eines Randsteins 330 meist gerade Linien aufweist, nutzt der vorgeschlagene Algorithmus diese Tatsache aus.
-
Bei einem Schritt einer Linienprojektion wird mittels der Erfassungsvorrichtung 120 bzw. bei Ausführung des Verfahrens 200 insbesondere zumindest eine kalibrierte Kamera bzw. Kameraeinrichtung 105 mit Fischaugenobjektiv genutzt. Hierbei ist beispielsweise die Position der Kameraeinrichtung 105 in Weltkoordinaten bekannt, sodass Bildkoordinaten in Weltkoordinaten umgewandelt werden können. Dies bedeutet, dass die Linien bzw. Liniensegmente 335, die bei der Linienerkennung in Bildkoordinaten berechnet wurden, auf den Boden bzw. die Bodenebene 580 projiziert werden können und auf eine dreidimensionale Weltkartendarstellung umgeschaltet werden kann.
-
Bei einem Schritt einer Triangulation bzw. Ermittlung von dreidimensional triangulierten Punkten 460 wird beispielsweise ein Algorithmus verwendet, der gemäß dem Prinzip der sogenannten Structure from Motion (SfM, Struktur aus Bewegung) arbeitet. Es bestehen jedoch mehrere Arten von verfügbaren Verfahren zum Rekonstruieren der Umgebung als eine Punktwolke. Diese Wolke kann eine Vielzahl von dreidimensional triangulierten Punkten 460 um das Fahrzeug 300 herum aufweisen, welche der vorgeschlagene Algorithmus nutzt, um unter anderem eine Höheninformation über eine Höhe h der Kante des Randsteins 330 aus der Umgebung bzw. den Bilddaten 110 zu gewinnen.
-
Bei dem Schritt 230 des Zuweisens werden die Punkte 460 unter Verwendung der gewonnenen Eingangsdaten beispielsweise anhand des Ebenenabstandskriteriums, siehe 5, und des Dreieckskriteriums, siehe 4, den Liniensegmenten 335 zugewiesen oder verworfen.
-
Für das Ebenenabstandskriterium sind drei Punkte in einer dreidimensionalen Welt gegeben. Diese sind der Anfangspunkt 342 bzw. Startpunkt 342 eines projizierten Liniensegments 340 am Boden, der Endpunkt 344 des projizierten Liniensegments 340 ebenfalls auf dem Boden und die Kameraposition bzw. Position der Kameraeinrichtung 105. Nun ist es möglich, die Trennungsebene 570 aus diesen drei Punkten zu definieren und dann den perpendikularen Abstand der Punkte 460 bzw. Elemente der Punktwolke von der Trennungsebene 570 zu messen bzw. zu bestimmen. Es kann ein minimaler Toleranzbereich für diesen zulässigen Abstand berücksichtigt werden. Falls der Abstand innerhalb dieses Toleranzbereichs liegt, dann kann das Dreieckskriterium ausgewertet werden, andernfalls wird der Punkt 460, der das aktuelle Liniensegment 335 betrifft, verworfen.
-
Das Dreieckskriterium ist geeignet, um mögliche ungeeignete Zuweisungen zu begrenzen, welche das Ebenenabstandskriterium potenziell noch zulässt, da eine Ebene ein unendliches Objekt darstellt. Dazu werden erneut der Startpunkt 342 und der Endpunkt 344 des projizierten Liniensegments 340 auf dem Boden und auch die Kameraposition betrachtet, doch nun wird die Tatsache ausgenutzt, dass diese Punkte stets ein Dreieck in der gleichen Ebene bilden, die als Trennungsebene 570 definiert ist. Interessant sind jene Punkte 460 aus der Punktwolke bzw. der Projektion derselben auf der Trennungsebene 570, die innerhalb der Grenzen dieses Dreiecks liegen. Anders ausgedrückt wird eine interessierende Region in drei Dimensionen auf der Trennungsebene 570 definiert.
-
Falls ein triangulierter dreidimensionaler Punkt 460 die vorstehend genannten Kriterien erfüllt, dann gehört dieser Punkt 460 zu dem aktuellen Liniensegment 335. Koordinaten des Punktes 460 werden zusammen mit dem Liniensegment 335 gespeichert, beispielsweise in einer Struktur. Es wird eine Überprüfung zwischen jedem Liniensegment 335 und triangulierten dreidimensionalen Punkten 460 durchgeführt und es werden die Punkte für 160 der nächstgelegenen Ebene zugewiesen, falls mehr als eine die Kriterien erfüllt.
-
Wenn die Zuweisung vorgenommen ist, so wird in einem Entscheidungsschritt entschieden, ob die durchschnittliche Höhe h der Punkte hoch genug ist, um als ein Randstein 330 angesehen zu werden. Eine Faustregel besagt, dass umso mehr Punkte 330 zugewiesen werden könnten, je mehr Sicherheit darüber besteht, dass es ein derartiges Objekt mit einer berechneten Höhe h gibt. Es kann eine Untergrenze bzw. Mindestanzahl für eine Anzahl zugewiesener Punkte 460 berücksichtigt werden, um falsche Schlussfolgerungen zu verhindern.
-
Es sei angenommen, dass die durchschnittliche Höhe h der Punkte 460 in einem vorhergehend definierten Intervall liegt, das als ein Randstein 330 betrachtet werden kann. In diesem Fall kann der Schwerpunkt bzw. Massenmittelpunkt der zugewiesenen Punkte 460, die auf die Trennungsebene 570 projiziert sind, berechnet werden. Unter der Annahme, dass das obere Ende eines Randsteins 330 parallel zu und dessen Flanke geneigt oder perpendikular zu der Bodenebene 580 ist, lässt sich die vertikale Ebene 530 einer Seite des Randsteins 330 anhand eines Punktes 460 und einer Linie auf der Trennungsebene 570 definieren, die durch diesen Punkt 460 verläuft. Nun ist beispielsweise der perpendikulare Abstand der Räder des Fahrzeugs zu dieser vertikalen Ebene 530 messbar und es kann entschieden werden, ob der resultierende Wert unter einem Schwellenwert liegt oder nicht.
-
Um sich hinsichtlich des Vorhandenseins eines Randsteins 330 noch sicherer zu sein und eine Anzahl möglicherweise irrtümlicher Detektionen zu verringern, können die Objekte über die Zeit verfolgt werden. Dazu kann eine Linienverfolgung bzw. ein sogenanntes Line Tracking durchgeführt werden.
-
Umfasst ein Ausführungsbeispiel eine „und/oder“-Verknüpfung zwischen einem ersten Merkmal und einem zweiten Merkmal, so ist dies so zu lesen, dass das Ausführungsbeispiel gemäß einer Ausführungsform sowohl das erste Merkmal als auch das zweite Merkmal und gemäß einer weiteren Ausführungsform entweder nur das erste Merkmal oder nur das zweite Merkmal aufweist.
