-
Die vorliegende Erfindung betrifft ein Verfahren für Kraftfahrzeuge zur Höhenerkennung von erhabenen Objekten. Zusätzlich betrifft die Erfindung eine Einrichtung zum Durchführen eines solchen Verfahrens.
-
Stand der Technik
-
Viele Fahrzeuge sind mit Videokameras ausgestattet, die ein Fahrzeugumfeld optisch erfassen. Aus einem Kamerabild ist es jedoch schwierig eine Höhe von Objekte, wie beispielsweise Randsteinen, Radstoppern, Bodenschwellen oder auch Bodenmarkierungen zu ermitteln. Für einen autonomen oder assistierten Fahrbetrieb ist es jedoch wichtig, eine Höhe verschiedener Objekte frühzeitig richtig einzuordnen, um einen sicheren Fahrbetrieb zu gewährleisten.
-
Die
US 9,725,040 B2 offenbart Fahrzeug-Objekterkennungssystem, mit welchem die Höhe von Objekten bestimmt wird, wenn sich das Fahrzeug den Objekten nähert. Das Fahrzeug-Objekterkennungssystem umfasst eine Video-Kamera, ein Steuergerät und ein Video-Display. Die über die Video-Kamera erfassten optischen Daten werden an das Steuergerät übermittelt, welches anhand dieser Daten eine Höhe des Objektes bestimmt und dem Fahrer auf dem Video-Display anzeigt.
-
Bestehende Algorithmen zur Erkennung von niedrigen Objekten oder Bodenmarkierungen verwenden oft eine 3D-Punktwolke, die zur Bestimmung der Abmessungen solcher Objekte geeignet ist. Um eine zuverlässige Punktwolke zu erzeugen, ist jedoch oft eine recht komplizierte Lösung erforderlich.
-
Die der Erfindung zugrunde liegende Aufgabe liegt somit darin, ein Verfahren für Kraftfahrzeuge zur Höhenerkennung von erhabenen Objekten anzugeben, mit welchem eine einfachere Ermittlung der Höhe möglich ist.
-
Die Aufgabe wird gelöst durch ein Verfahren für Kraftfahrzeuge zur Höhenerkennung von erhabenen Objekten mit den Merkmalen von Anspruch 1. Zusätzlich gibt die Erfindung eine Einrichtung zum Durchführen eines solchen Verfahrens mit den Merkmalen nach Anspruch 6 an. Bevorzugte Ausführungsformen sind den abhängigen Ansprüchen zu entnehmen.
-
Offenbarung der Erfindung
-
Die Erfindung gibt ein Verfahren für Kraftfahrzeuge zur Höhenerkennung von erhabenen Objekten an, umfassend wenigstens eine Kamera, mit welcher Bildinformationen von Objekten in wenigstens zwei verschiedenen lateralen Positionen des Kraftfahrzeuges zum Objekt optisch erfassbar sind. Das Verfahren umfasst dabei den Schritt des Ermittelns von Objektkantenabschnitten der erhabenen Objekte in den wenigstens zwei Bildinformationen. Als Objektkantenabschnitt wird dabei lediglich ein Teil einer in der Realität vorliegenden gesamten Objektkante verstanden. Die Objektkante ist dabei beispielsweise aufgrund von in der Realität vorliegender Unregelmäßigkeiten oder Erkennungsproblemen in der Regel nicht vollständig erfassbar und wird somit in mehrere erkannte Objektkantenabschnitte zerlegt.
-
Ein erhabenes Objekt ist dabei etwas, welches gegenüber einer Ebene, auf welcher das Kraftfahrzeug fährt, eine gewisse Höhe aufweist. Ein erhabenes Objekt können dabei beispielsweise Randsteine eines Bürgersteigs, Radstopper oder Bodenwellen sein. Ob es sich bei dem erkannten Objekt dabei um ein erhabenes Objekt handelt, wird jedoch erst am Ende des Verfahrens ermittelt, so dass auch zu nicht erhabenen Objekten Objektkantenabschnitte ermittelt werden. Die zwei Bildinformationen sind dabei Bilder, bei welcher das Fahrzeug eine in lateraler Richtung unterschiedliche Position zu dem Objekt aufweist. Vorzugsweise werden jedoch mehr als zwei Bildinformationen verwendet, wodurch die Genauigkeit des Verfahrens verbessert wird. Für die Durchführung des Verfahrens weist das erhabene Objekt eine maximale Höhe auf, welche kleiner als eine Einbauhöhe der Kamera ist.
-
Das Verfahren umfasst weiter den Schritt der Projektion der Objektkantenabschnitten der Objekte ausgehend von der Kamera auf einen für die Kamera kalibrierten Boden. Der kalibrierte Boden ist dabei eine bekannte Höhe der Kamera über Grund. Der kalibrierte Boden entspricht dabei der Ebene, auf welcher das Kraftfahrzeug fährt. Durch die Projektion wird die in Wirklichkeit 3-dimensionale Umgebung auf ein 2-dimensionales Kamerabild abgebildet. Dadurch wird die Erkennung der Objekte und die Ermittlung der Höhe erleichtert.
-
In einem daran anschließenden Schritt werden die Objektkantenabschnitte zu verschiedenen Objekten zugeordnet und eine gemeinsame Objektkantenlinie ermittelt. Zwischen den lediglich als Objektkantenabschnitte erkannten Objektkantenlinie wird somit ein Zusammenhang erkannt, so dass die Objektkantenabschnitte zu einer gesamten Objektkantenlinie verbunden werden. Die derart erhaltene Objektkantenlinie kann somit verschiedenen im Bild dargestellten Objekten zugeordnet werden.
-
Das Verfahren umfasst zusätzlich den Schritt des Ermittelns von Sichtstrahllinien zwischen Kamera und der auf den Boden projizierten Objektkantenlinie in den wenigstens zwei Positionen. Die Sichtstrahllinie ist dabei eine Linie, welche ausgehend von der Kamera zu der Objektkantenlinie verläuft.
-
In den nächsten Verfahrensschritten wird ein Schnittpunkt der wenigstens zwei in einer gleichen Ebene liegenden Sichtstrahllinien der gleichen Objekte ermittelt, und eine Höhe des Schnittpunktes über dem kalibrierten Boden des jeweiligen Objektes bestimmt. Die Ebene ist dabei derart gewählt, dass die Objektkantenlinie senkrecht zur der Ebene liegt. Die Objektkantenlinie ist in der Ebene dadurch lediglich punktförmig ausgebildet. Dadurch wird für die Bestimmung der Höhe des erhabenen Objektes lediglich eine Sichtstrahllinie in einer Position benötigt, die in der Ebene liegt. Der Schnittpunkt der Sichtstrahllinien entspricht dabei der wirklichen Position der Objektkante oberhalb des kalibrierten Bodens. Aufgrund des derart erhaltenen Schnittpunktes in einer 2-dimensionalen Ansicht kann auf einfache Weise die Höhe über dem kalibrierten Boden ermittelt werden. Aufgrund des Verfahrens müssen lediglich drei 2-dimensionale Probleme gelöst werden, so dass eine Ermittlung einer Höhe eines erhabenen Objektes vereinfacht wird.
-
Unter idealen Bedingungen schneiden sich mehrere Sichtstrahllinien, die durch mehrere Positionen erhalten werden, alle in demselben Schnittpunkt. Aufgrund von Messungenauigkeiten können sich jedoch Abweichungen zwischen den ermittelten Schnittpunkten ergeben. Über die Formel
wird dabei ein gemeinsamer Schnittpunkt P ermittelt, bei welchem die Abweichung d aller ermittelten Schnittpunkte der Sichtstrahllinien e
i minimal ist. Dadurch ist es trotz alledem möglich, einen gemeinsamen Schnittpunkt zu ermitteln.
-
Die Zuordnung von Objektkantenabschnitten zu verschiedenen Objekten umfasst dabei vorzugsweise den Verfahrensschritt des Bildens von Clustern von in gleicher Richtung verlaufender Objektkantenabschnitten. Als Cluster im Sinne der Erfindung wird eine Ansammlung von Elementen verstanden, welche gleiche vorgegebene Attribute aufweisen. Dadurch können Elemente, welche nicht zu einem Objekt gehören leichter rausgefiltert werden, so dass eine Ermittlung der gemeinsamen Objektkantenlinie vereinfacht wird.
-
Der nächste Schritt umfasst dabei ein Bilden von Clustern bezüglich der Cluster der in gleicher Richtung verlaufenden Objektkantenabschnitten hinsichtlich eines senkrechten Abstandes, so dass Objektkantenabschnitte, deren senkrechter Abstand über einem Grenzwert liegt einem separatem Cluster zugeordnet werden. Der senkrechte Abstand bezieht sich dabei auf den entsprechenden Abstand senkrecht zu einer Erstreckungsrichtung zwischen einem Objektkantenabschnitt zu anderen Objektkantenabschnitten der gleichen Richtung. Dieser Abstand wird für alle Objektkantenabschnitte und für alle Cluster überprüft. Dadurch werden die Cluster zusätzlich in Bezug auf einen senkrechten Abstand voneinander unterschieden.
-
Der Grenzwert wird dabei vorzugsweise oberhalb einer üblichen Streuungsbreite des senkrechten Abstands der Objektkantenabschnitte gewählt. Weitere Objekte, welche zwar parallel zu einem ersten Objekt verläuft, jedoch von der Entfernung versetzt sind, können somit voneinander unterschieden werden. Dadurch wird die Ermittlung der gemeinsamen Objektkantenlinie zusätzlich vereinfacht.
-
In einem weiteren Schritt werden Cluster gebildet, bei denen ein paralleler Abstand zwischen benachbarten Objektkantenabschnitten einen Grenzwert überschreitet. Der Grenzwert wird dabei entsprechend üblicher paralleler Abstände gewählt. Der parallele Abstand ist dabei ein Abstand zwischen zwei benachbarten Objektkantenabschnitte, welcher in Erstreckungsrichtung der Objektkantenabschnitte verläuft, und somit parallel zu den Objektkantenabschnitten ist. Die Ermittlung der gemeinsamen Objektkante sowie der Objekte selber wird dadurch vereinfacht und verbessert.
-
In einer bevorzugten Ausführung der Erfindung werden Cluster, welche eine Anzahl an Objektkantenabschnitten aufweist die kleiner als ein Grenzwert ist, verworfen. Der Grenzwert wird dabei entsprechend des Anwendungsfalls gewählt. Vorzugsweise liegt der Grenzwert zwischen 1-3 Objektkantenabschnitten. Durch diesen Schritt wird ein durch ein Messfehler erkannter Objektkantenabschnitt oder eine unbedeutende Objektkante herausgefiltert, um den Rechenaufwand zu reduzieren. Dieser Schritt wird dabei bei jedem Erstellen von Clustern durchgeführt. Dadurch werden die relevanten Objektkanten berechnet.
-
Vorzugsweise wird nach einer Bestimmung der Höhe des Objektes ein zum Boden paralleler Abstand zur Objektkante bestimmt. Der parallele Abstand entspricht dabei dem horizontalen Abstand zwischen Kamera und der Objektkante. Die Kenntnis dieses Abstands ist dabei wichtig für den autonomen Fahrbetrieb, so dass dadurch die Sicherheit im autonomen Fahrbetrieb verbessert wird.
-
In einer vorteilhaften Weiterbildung wird vor einem Ermitteln von Objektkantenabschnitten eine optische Verzerrung durch die Linse durch ein Kameramodel kompensiert. Eine Verzerrung tritt insbesondere an den Rändern der Linse auf. Dies trifft insbesondere auf eine Fischaugenlinse zu. Durch das Kameramodel wird dieser Verzerrung kompensiert, so dass ein ideales 2-dimensionales Bild entsteht. Die Ermittlung der Höhe von erhabenen Objekten wird dadurch wesentlich verbessert.
-
Die der Erfindung zugrunde liegende Aufgabe wird zusätzlich durch eine Einrichtung für Kraftfahrzeuge, zur Höhenerkennung von erhabenen Objekten gelöst. Die Einrichtung umfasst dabei wenigstens eine Kamera, mit welcher Bildinformationen erfassbar sind, und eine Verarbeitungseinheit, mit der das erfindungsgemäße Verfahren durchführbar ist. Mit einer solchen Einrichtung werden im Wesentlichen die zuvor beschriebenen Vorteile erzielt. Vorzugsweise ist die Kamera dabei eine Fischaugenkamera, so dass ein großes Umfeld erfassbar ist.
-
Das zuvor beschriebene Verfahren kann insbesondere beispielsweise computerimplementiert und somit in einer Software verkörpert sein. Die Erfindung bezieht sich daher auch auf ein Computerprogramm mit maschinenlesbaren Anweisungen, die wenn sie auf einer oder mehreren Verarbeitungseinheiten ausgeführt werden, den oder die Verarbeitungseinheit dazu veranlassen, das beschriebene Verfahren auszuführen.
-
Ebenso bezieht sich die Erfindung auch auf einen maschinenlesbaren Datenträger und/oder auf ein Downloadprodukt mit dem Computerprogramm. Ein Downloadprodukt ist ein über ein Datennetzwerk übertragbares, d.h. von einem Benutzer des Datennetzwerks downloadbares, digitales Produkt, das beispielsweise in einem Online-Shop zum sofortigen Download feilgeboten werden kann.
-
Weiterhin kann eine Verabeitungseinheit mit dem Computerprogramm, mit dem maschinenlesbaren Datenträger bzw. mit dem Downloadprodukt ausgerüstet sein.
-
Ausführungsbeispiele der Erfindung sind in der Zeichnung dargestellt und in der nachfolgenden Beschreibung näher erläutert. Es zeigt:
- 1 Bild einer Kamera mit eingezeichneten Objektkantenabschnitten,
- 2 Projektion der Objektkantenabschnitten auf einen kalibrierten Boden und Bilden von Clustern von in gleicher Richtung verlaufender Objektkantenabschnitten,
- 3 Bilden von Clustern hinsichtlich eines senkrechten Abstandes,
- 4 Bilden von Clustern hinsichtlich eines parallelen Abstandes,
- 5 Darstellung der erhaltenen Cluster,
- 6 Ermitteln einer Sichtstrahllinie zwischen der Kamera und einer auf den Boden projizierten Objektkante bei einem Zeitpunkt t,
- 7 Ermitteln einer Sichtstrahllinie zwischen der Kamera und einer auf den Boden projizierten Objektkante bei einem Zeitpunkt t+1 und Ermitteln Schnittpunkt der Linien.
-
In 1 ist ein Bild einer Kamera 10 (siehe 6) eines Kraftfahrzeuges gezeigt. In diesem Bild sind verschiedene erhabene Objekte 14, wie beispielsweise Bürgersteigkanten etc. zu sehen. Die in diesem Bild dargestellten Kanten werden mittels des Verfahrens teilweise erkannt und mit Objektkantenabschnitten 18 in dem Bild gekennzeichnet.
-
Die in dem Bild erkannten Objektkantenabschnitte 18 werden, wie in 2 dargestellt, in einem nächsten Schritt auf einen für die Kamera 10 kalibrierten Boden 22 (siehe auch 6) projiziert. Der kalibrierte Boden 22 wird dabei ausgehend von der bekannten Einbauhöhe H (siehe 6) der Kamera 10 ermittelt. Zusätzlich werden Cluster 26 gebildet von den in gleicher Richtung verlaufenden Objektkantenabschnitten 18. Hierbei werden in dem gezeigten Ausführungsbeispiel insgesamt vier verschiedene Cluster 26 von Objektkantenabschnitten 18 gebildet, welche durch eine unterschiedliche Umrandung gekennzeichnet sind. Zwei von diesen Clustern 26 umfassen lediglich einen einzigen Objektkantenabschnitt 18, so dass diese Cluster 26 in einem nächsten Schritt verworfen werden.
-
In 3 ist gezeigt, wie Cluster 26 hinsichtlich eines senkrechten Abstandes As gebildet werden. Dazu können die Objektkantenabschnitte 18 auf eine zu der Ausrichtung des Clusters 26 senkrechte Linie Ls projiziert werden. Zum Bilden der Cluster 26 wird anschließend geprüft, ob der senkrechte Abstand As zwischen zwei benachbarten projizierten Linien 30 einen Grenzwert überschreitet. Falls dies der Fall ist, wird ein neues Cluster 26 gebildet. Bei den neu gebildeten Clustern 26 umfassen zwei Cluster 26 lediglich einen einzigen Objektkantenabschnitt 18. Da diese Zahl unterhalb eines vorgegebenen Grenzwertes liegt, werden diese Cluster 26 in einem nächsten Schritt verworfen.
-
4 zeigt, wie Cluster 26 hinsichtlich eines parallelen Abstandes AP gebildet werden. In dieser Figur wird der parallele Abstand AP beispielhaft an einem Cluster 26 bestimmt. Hierbei werden alle Objektkantenabschnitte 18 in Bezug auf ihren parallelen Abstand AP zu einem benachbarten Objektkantenabschnitt 18 untersucht. In der gezeigten Figur wird lediglich beispielhaft der parallele Abstand AP zwischen zwei benachbarten Objektkantenabschnitten 18 untersucht. Es wird dabei untersucht, ob der parallele Abstand AP unterhalb eines Grenzwertes liegt. Falls der Abstand AP oberhalb des Grenzwertes liegen sollte, wird der benachbarte Objektkantenabschnitt 18 einem neuen Cluster 26 zugeordnet. Auch in diesem Schritt werden Cluster 26, welche lediglich eine Anzahl an Objektkantenabschnitten 18 aufweist die unterhalb eines Grenzwertes liegt in einem nächsten Schritt verworfen. In der 4 ist dies für einen abseits angeordnete Objektkantenabschnitten 18 der Fall.
-
In 5 sind die aus den vorangegangen Schritte gebildeten Cluster 26 gezeigt. Jedes Cluster 26 ist dabei mit einem Rahmen umfasst. Aus den in einem Cluster 26 angeordneten Objektkantenabschnitten 18 wird anschließend eine in 6 gezeigte Objektkantenlinie 34 gebildet.
-
6 zeigt die Ermittlung einer Sichtstrahllinie 38 zwischen der Kamera 10 und einer auf den Boden 22 projizierten Objektkantenlinie 34 bei einem Zeitpunkt t. Hierin ist ein Bild 42 mit einer zuvor ermittelten Objektkantenlinie 34 gezeigt. Aufgrund der Brennweite des Kamera 10 und der Position der Objektkantenlinie 34 in dem Bild 42 wird in einer Ebene Π eine Sichtstrahllinien 38 zwischen Kamera 10 und der auf den Boden projizierten Objektkantenlinie 34 ermittelt. Die Objektkantenlinie 34 ist dabei senkrecht zur Ebene Π ausgerichtet, so dass die Objektkantenlinie 34 als Punkt dargestellt ist.
-
7 zeigt ein Ermitteln einer Sichtstrahllinie 38' zwischen der Kamera 10' und einer auf den Boden projizierten Objektkantenlinie 34' bei einem Zeitpunkt t+1. Der Schritt aus 6 wird ebenso bei einer weiteren Position des Kraftfahrzeuges durchgeführt. Dadurch wird eine Sichtstrahllinien 38 bei t und eine Sichtstrahllinie 38' bei t+1 erhalten. Durch Ermitteln eines Schnittpunktes P zwischen der Sichtstrahllinie 38 bei t und der Sichtstrahllinie 38' bei t+1, wird die eigentliche Position der Objektkante 46 in der Seitenansicht ermittelt. Daraus kann wiederrum die Höhe h der Objektkante 46 über dem kalibrierten Boden 22 ermittelt werden. Ebenso wird dazu der horizontale Abstand a zwischen Kamera 10 und der Objektkante 46 bestimmt.
-
Mit mehrerer solcher Sichtstrahllinien 38, welche anhand mehrerer lateraler Positionen zu der Objektkantenlinie 34 erzeugt werden, kann die Genauigkeit der Ermittlung des Schnittpunktes P erhöht werden. Im Idealfall schneiden sich dann alle Sichtstrahllinien im Schnittpunkt P. Aufgrund von Messungenauigkeiten können sich jedoch Abweichungen zwischen den ermittelten Schnittpunkten P ergeben. Über die Formel
wird dabei ein gemeinsamer Schnittpunkt P in der Ebene Π ermittelt. Wobei e
i in der Formel die Sichtstrahllinien 38 angibt. Die Variable d entspricht jeweils dem Abstand der Sichtstrahllinie 38 zum Punkt P.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
