-
Die Erfindung betrifft ein Verfahren zur Überwachung eines Unterbodenbereichs unterhalb eines Fahrzeugs.
-
Es ist bekannt, dass zur Realisierung von Fahrerassistenzsystemen eine Vielzahl von Sensoren, wie beispielsweise Kamerasysteme, Radarsysteme, Lidarsysteme und Ultraschallsysteme, Anwendung findet. Für parkspezifische Assistenzfunktionen werden meist Kameras und Ultraschallsensoren verwendet. Mittels dieser Sensoren wird eine Umgebung eines Fahrzeugs dreidimensional vermessen. Somit können Parklücken erkannt werden und anhand erfasster Daten sind eine Segmentierung und Klassifikation von Verkehrsteilnehmern in der Fahrzeugumgebung durchführbar. Darüber hinaus kann durch eine spezifische Merkmalsextraktion eine Eigenbewegung des Fahrzeugs ermittelt werden. Übergeordnete Funktionen von Fahrerassistenzsystemen bauen dabei auf fusionierten Sensorergebnissen auf und erlauben so ein automatisiertes Einparken sowie eine visuelle und akustische Hinderniswarnung. Solche Fahrerassistenzsysteme sind nach SAE Einschätzung so genannte Level-2-Systeme, bei denen ein Fahrzeugfahrer in der Verantwortung verbleibt. Demgegenüber sind bereits Level-3- und Level-4-Systeme bekannt, bei welchen die Verantwortung sukzessive auf das Fahrzeug übergeht. Eine solche Funktion stellt beispielsweise ein hochautomatisiertes Einparken auf Privatgeländen dar. Bei einer Anfahrt in Privatgeländen muss zuvor eine Hindernisfreiheit der Fahrzeugumgebung sowie eines Fahrzeugunterbodens sichergestellt werden. Eine Detektion im Bereich unter einem Fahrzeugunterboden ist sehr schwierig, da in diesem Bereich im Allgemeinen keine Sensorsysteme verbaut sind. Auch ist der Fahrzeugunterboden stark exponiert gegenüber Spritzwasser und Schmutz, was zu einer Einschränkung eines Sichtfelds einer entsprechenden Sensorik führen kann.
-
Aus der
DE 10 2019 115 134 A1 ist ein Verfahren zum Überwachen eines Unterbodenbereichs unterhalb eines Fahrzeugs bekannt, bei welchem mit einer ersten Gruppe von Ultraschallsensoren ausgehend von einer ersten Seite an dem Unterboden des Fahrzeugs und mit einer zweiten Gruppe von Ultraschallsensoren ausgehend von einer zur ersten Seite gegenüberliegenden, zweiten Seite an dem Unterboden Ultraschallsignale in den Unterbodenbereich ausgesendet werden und in dem Unterbodenbereich reflektierte Ultraschallsignale empfangen werden, wobei anhand der ausgesendeten und empfangenen Ultraschallsignale ein Vorhandensein eines Objekts in dem Unterbodenbereich erkannt wird. Die Ultraschallsensoren der ersten Gruppe senden die Ultraschallsignale ausgehend von jeweiligen Einbaupositionen, welche bezogen auf eine Längsachse des Fahrzeugs nicht symmetrisch zu jeweiligen Einbaupositionen der Ultraschallsensoren der zweiten Gruppe sind, aus und empfangen diese.
-
Der Erfindung liegt die Aufgabe zu Grunde, ein neuartiges Verfahren zur Überwachung eines Unterbodenbereichs unterhalb eines Fahrzeugs anzugeben.
-
Die Aufgabe wird erfindungsgemäß gelöst durch ein Verfahren, welches die im Anspruch 1 angegebenen Merkmale aufweist.
-
Vorteilhafte Ausgestaltungen der Erfindung sind Gegenstand der Unteransprüche.
-
In dem erfindungsgemäßen Verfahren zur Überwachung eines Unterbodenbereichs unterhalb eines Fahrzeugs
- - werden Kameras eines zur perspektivischen Rundum-Darstellung des Fahrzeugs und von dessen Umgebung vorgesehenen Kamerasystems extrinsisch und intrinsisch kalibriert und es wird eine Projektionsmatrix erzeugt,
- - wird ein Kameraspektrum in einem Cropping derart festgelegt, dass ausschließlich ein definierter Bereich des Kameraspektrums ausgewertet wird,
- - werden nach der Kalibrierung und dem Cropping mittels der Kameras Referenzbilder eines objektfreien Unterbodenbereichs erfasst,
- - werden mittels der Kameras Bilder der Umgebung des Fahrzeugs erfasst,
- - werden die erfassten Bilder derart maskiert, dass das Fahrzeug zeigende Bildbereiche ausgeschnitten werden,
- - werden zyklisch Silhouetten einer unter dem Fahrzeug vorhandenen Wärmestrahlung in dem definierten Kameraspektrum in den maskierten Bildern gemessen und ein Oberflächenmodell wird erzeugt,
- - wird eine Konturen-Karte auf Basis aggregierter Silhouetten abgeleitet,
- - wird eine Startphase erfasst,
- - wird nach Erfassen der Startphase eine aktuell akquirierte Silhouette mit der Konturen-Karte verglichen und ein Metrikwert wird erzeugt und
- - wird der erzeugte Metrikwert mit einer zuvor definierten und/oder kalibrierten Schwelle verglichen und wird eine Detektionsausgabe, welche zumindest wiedergibt, ob der Unterbodenbereich objektfrei oder objektbehaftet ist, erzeugt.
-
Mittels des vorliegenden Verfahrens wird ermöglicht, eine Objektpräsenz im Unterbodenbereich eines Fahrzeugs, beispielsweise auf verwundbare Straßennutzer bezogen, auch als Vulnerable Road Users bezeichnet, anhand von mittels parkspezifischer Kamerasysteme eines Fahrzeugs, auch als Surround View Systeme bezeichnet, zu ermitteln. Somit ist das Verfahren mit bereits am Fahrzeug vorhandener, für Einparkfunktionen genutzter Kamerasensorik ausführbar, so dass keine hardwareseitigen Änderungen erforderlich sind. Auch ist das Verfahren unabhängig von einer spezifischen Definition verwundbarer Straßennutzer. Weiterhin ist keine Eigenbewegung des Fahrzeugs zur Realisierung des Verfahrens erforderlich und dessen Funktionsweise ist auch bei statischen Objekten unter der Voraussetzung einer Emission von Wärmestrahlung möglich.
-
Insbesondere wird hierbei gegenüber Systemen, welche zur Unterbodenüberwachung am Fahrzeugunterboden angeordnete Ultraschallsensoren verwenden, eine geringere Fehleranfälligkeit bei verringertem Wartungs- und Reinigungsaufwand realisiert. Dabei verlangt das Verfahren keine aufwändigen Reinigungs-oder Packaginglösungen.
-
Ausführungsbeispiele der Erfindung werden im Folgenden anhand von Zeichnungen näher erläutert.
-
Dabei zeigen:
- 1 schematisch einen Verlauf einer Quanteneffizienz einer Farbkamera für verschiedene Farben,
- 2 schematisch einen Verlauf einer Quanteneffizienz einer monochromen Kamera,
- 3 schematisch einen Ablauf eines Verfahrens zur Überwachung eines Unterbodenbereichs unterhalb eines Fahrzeugs,
- 4 schematisch eine Visualisierung eines ersten Verfahrensschritts des Verfahrens gemäß 3,
- 5 schematisch eine Visualisierung eines zweiten Verfahrensschritts des Verfahrens gemäß 3,
- 6 schematisch eine Visualisierung eines dritten Verfahrensschritts des Verfahrens gemäß 3,
- 7 schematisch eine Visualisierung eines vierten Verfahrensschritts des Verfahrens gemäß 3,
- 8 schematisch eine Visualisierung eines fünften Verfahrensschritts des Verfahrens gemäß 3,
- 9 schematisch eine Visualisierung eines sechsten Verfahrensschritts des Verfahrens gemäß 3,
- 10 schematisch eine Visualisierung eines siebten Verfahrensschritts des Verfahrens gemäß 3,
- 11 schematisch eine Visualisierung eines achten Verfahrensschritts des Verfahrens gemäß 3,
- 12 schematisch eine Visualisierung eines neunten Verfahrensschritts des Verfahrens gemäß 3 und
- 13 schematisch eine Visualisierung eines zehnten Verfahrensschritts des Verfahrens gemäß 3.
-
Einander entsprechende Teile sind in allen Figuren mit den gleichen Bezugszeichen versehen.
-
In 1 ist ein einen Verlauf einer Quanteneffizienz QE einer Farbkamera für verschiedene Farben von Licht, das heißt rotem Licht R, grünem Licht G und blauem Licht B, in Abhängigkeit einer Wellenlänge λ dargestellt.
-
2 zeigt einen Verlauf einer Quanteneffizienz QE einer monochromen Kamera in Abhängigkeit von der Wellenlänge λ.
-
In 3 ist ein Ablauf eines möglichen Ausführungsbeispiels eines Verfahrens zur Überwachung eines Unterbodenbereichs unterhalb eines Fahrzeugs 2 mittels eines in 4 näher dargestellten Kamerasystems 1 des Fahrzeugs 2 mit mehreren Verfahrensschritten VS1 bis VS10 dargestellt. In den 4 bis 13 sind jeweils Visualisierungen der Verfahrensschritte VS1 bis VS10 dargestellt.
-
Mittels des im Folgenden beschriebenen möglichen Ausführungsbeispiels des Verfahrens wird der Unterbodenbereich unter dem Fahrzeug 2 anhand eines fahrzeugeigenen existenten Kamerasystems 1 auf das Vorhandensein von Objekten, beispielsweise Lebewesen, überwacht. Dabei umfasst das Kamerasystem 1 in nicht näher dargestellter Weise eine Mehrzahl von Kameras, welche eine Umgebung des Fahrzeugs 2 erfassen. Mittels der Kameras erfasste Bilder B1, B2 (dargestellt beispielsweise in den 7 und 8) werden dabei insbesondere derart verarbeitet, dass eine perspektivische Rundum-Darstellung des Fahrzeugs 2 und von dessen Umgebung erzeugt wird. Die mittels der Kameras erfassten Daten werden insbesondere zu einem Betrieb eines Fahrerassistenzsystems zur Unterstützung eines Fahrers des Fahrzeugs bei einem Einparkvorgang verwendet. Das heißt, es wird überprüft, ob eine objektfreie Anfahrt im Kontext von automatisierten und hochautomatisierten Parkfunktionen möglich ist.
-
Für einen zuverlässigen Betrieb des Kamerasystems 1 ist eine Kalibrierung desselben erforderlich. Hierzu erfolgen in einem ersten Verfahrensschritt VS1, veranschaulicht in 4, eine intrinsische und extrinsische Initialkalibrierung der Kamera 1, beispielsweise während einer Produktion des Fahrzeugs 2 mittels spezifischen Targets oder auch im Feldbetrieb des Fahrzeugs 2 durch ein Tracking charakteristischer Merkmale. Diese Kalibrierung erfolgt beispielsweise unter Verwendung von mittels weiteren zur Umgebungserfassung ausgebildeten Sensoren 3 bis 7 erfassten Daten. Die Sensoren 3 bis 7 umfassen beispielsweise Radarsensoren, Ultraschallsensoren, weitere Kameras und/oder Lidarsensoren.
-
Eine hierbei ermittelte Kalibrierungsinformation kann gemäß
ausgebildet sein.
-
Gleichung (1) beschreibt dabei eine Projektion dreidimensionalen Punkts auf die Kamerabildebene mit einer intrinsischen Kalibriematrix, dargestellt durch das Formelzeichen K, einer extrinsischen Kalibriermatrix in Form einer Rotationsmatrix R, einem dreidimensionalen Objektpunkt I und einem Translationsvektor Xo.
-
Ergebnisse der Kalibrierung sind die intrinsische Kalibriematrix und die extrinsische Kalibriermatrix. Die intrinsische Kalibriermatrix definiert eine innere Beschreibung der Kameras, beispielsweise deren Brennweite, Brennpunkte und Bildmittelhauptpunktverschiebungen. Die extrinsische Kalibriermatrix definiert eine extrinsische Position der Kameras in Relation zu einem übergeordneten Koordinatensystem. Beispielsweise werden eine Translation (x, y, z) und eine Rotation um eine Rollachse, Nickachse und Gierachse des Fahrzeugs 2 entsprechend einem Fahrzeugursprung, beispielsweise einem Mittelpunkt einer Fahrzeughinterachse, bestimmt.
-
Eine Kombination von extrinsischer und intrinsischer Kalibriermatrix ergibt eine so genannte Projektionsmatrix, mittels welcher eine Kameraabbildung in ein übergeordnetes Referenzsystem projiziert wird.
-
In einem zweiten Verfahrensschritt VS2, visualisiert in 5, wird eine so genannte Imager Maskierung durchgeführt. Dabei wird ein Kameraspektrum des Kamerasystems 1 in einem Cropping derart festgelegt, dass ausschließlich ein definierter Bereich des Kameraspektrums ausgewertet wird. Dies ist in 5 beispielhaft an einem Bild B1 dargestellt. Nach einem Cropping in einem Wellenlängenbereich von beispielsweise mehr als 850 nm werden Bilder B1', B1" erzeugt, deren Darstellung nur auf Photonen mit einer Wellenlänge λ von beispielsweise mehr als 850 nm basiert. Das Verfahren baut dabei auf der Tatsache auf, dass ein Lebewesen, beispielsweise der menschliche Körper, im nahen Infrarotspektrum Strahlen emittiert. Ein Peak liegt hier zwar bei ungefähr 7000 nm, ist jedoch bereits bei 1000 nm nachweisbar, was zumindest im Wesentlichen einer Detektionsgrenze einer Kamera in einem roten Farbkanal entspricht, wie dies in 1 verdeutlicht ist. In anderen möglichen Ausgestaltungen des Verfahrens können auch andere Wellenlängenbereiche für das Cropping vorgesehen sein.
-
In einem dritten Verfahrensschritt VS3, visualisiert in 6, werden nach der Kalibrierung und dem Cropping mittels der Kameras des Kamerasystems 1 Referenzbilder und gegebenenfalls mittels der weiteren Sensoren 3 bis 7 Referenzdaten eines objektfreien Unterbodenbereichs erfasst. Dabei erfolgt insbesondere eine Detektion eines so genannten Referenzlaufs, bei welchem von einem objektfreien Fahrzeugunterboden ausgegangen wird. Hierzu wird beispielsweise eine Detektion eines Raums in einem Bereich vor dem Fahrzeug durchgeführt, wobei keine Einschränkung auf eine spezifische Sensorik erforderlich ist. Weiterhin wird ein Tracking anhand einer bekannten Ego-Bewegungsschätzung des Fahrzeugs 2 durchgeführt. Hierdurch kann bis zu einem definierten Zeitbereich nach einem Stillstand des Fahrzeugs 2 ein objektfreier Unterbodenbereich sichergestellt werden.
-
In einem vierten Verfahrensschritt VS4, visualisiert in 7, werden mittels der Kameras des Kamerasystems 1 Bilder B1, B2 der Umgebung des Fahrzeugs erfasst.
-
In einem fünften Verfahrensschritt VS5, visualisiert in 8, werden die erfassten Bilder B1, B2 derart maskiert, dass das Fahrzeug 2 zeigende Bildbereiche BB1, BB2, welche beispielsweise einen Schweller, eine Kofferraumklappe etc. zeigen, ausgeschnitten werden. Somit werden Bereiche des Fahrzeugs 2 nicht in den Bildern B1, B2 akquiriert.
-
Die Maskierung erfolgt dabei in Abhängigkeit der im Verfahrensschritt VS1 durchgeführten Kalibrierung der Kameras, insbesondere in Abhängigkeit der Kalibrierungsinformation gemäß Gleichung (1). Eine derartige Maskierung kann beispielsweise unter Berücksichtigung von Konstruktionsdaten, welche in das Kamerasystem 1 projiziert werden, erfolgen.
-
In einem sechsten Verfahrensschritt VS6, visualisiert in 9, werden zyklisch Silhouetten S1 bis Sn einer unter dem Fahrzeug vorhandenen Wärmestrahlung in dem definierten Kameraspektrum in den maskierten Bildbereichen BB1, BB2 gemessen und es wird ein Oberflächenmodell erzeugt. Diese Silhouetten S1 bis Sn werden beispielsweise auch als Infrarot-Silhouetten, Infrarot-Fußabdruck oder Infrared Footprint bezeichnet.
-
Da das Fahrzeug 2 verschiedene Betriebszustände einnehmen kann, beispielsweise ein Antrieb des Fahrzeugs 2 etc. unterschiedliche Temperaturen aufweisen kann, werden die Silhouetten S1 bis Sn wiederkehrend mit einem definierten zeitlichen Abstand eingemessen. Die Silhouetten-Extraktion kann beispielsweise - ausgehend von einer Fahrzeugkontur - durch so genannte Region Growing Algorithmen erfasst werden. Im Rahmen der zyklischen Erfassung wird so ein Array von Silhouetten S1 bis Sn bzw. um das Fahrzeug 2 mit charakteristischen Punkten entlang der Silhouetten S1 bis Sn ermittelt. Die Punkte sind dabei beschrieben durch ihre x- und y-Koordinaten auf einer Kamerabildebene und den jeweiligen RGB Farbwert und R-Wert bei der Maskierung. Auf deren Basis kann nun beispielhaft das Oberflächenmodell bestimmt werden.
-
Anschließend wird in einem siebten Verfahrensschritt VS7, visualisiert in 10, eine Konturen-Karte KK, auch als Contour-Map bezeichnet, auf Basis aggregierter Silhouetten S1 bis Sn abgeleitet. Hierbei resultiert durch die zyklische Aufnahme von Silhouetten S1 bis Sn in einer Referenzphase ein Array von Splines, die darauf aufbauend in die Konturen-Karte KK überführt wird. Als Referenzphase wird jene Phase verstanden, in welcher durch Überfahren einer Fläche und aktives Vermessen dieser Fläche sichergestellt werden kann, dass sich keine Objekte unter dem Unterboden des Fahrzeugs 1 befinden.
-
Anschließend wird in einem achten Verfahrensschritt VS8, visualisiert in 11, eine Startphase detektiert. Diese Detektion kann beispielsweise in einer Phase erfolgen, in welche eine Objektfreiheit des Unterbodens nicht sichergestellt werden kann, beispielsweise nach jedem Klemmenwechsel an Klemme 15, einer Standphase des Fahrzeugs 2, größer einem definierten Schwellwert, einem Aufstarten aus einer Datenbusruhe, einem Überschreiten von einer minimalen Zeitschwelle, einer Blockage des Kamerasystems 1 und/oder der Sensoren 3 bis 7 und/oder bei einem hochdynamischen Umfeld.
-
In einer solchen Startphase wird in einem neunten Verfahrensschritt VS9, visualisiert in 12, eine aktuell akquirierte Silhouette S1 bis Sn mit der Konturen-Karte KK aus der Referenzphase verglichen und es wird ein Metrikwert erzeugt.
-
Das heißt, die jeweilige Silhouette S1 bis Sn wird aus der Kamerabildebene analog zur vorherigen Schicht gelöst. Ein daraus resultierendes Spline wird mit einer rekonstruierten Fläche bzw. Konturen-Karte KK aus der Referenzphase verglichen. Dieser Vergleich kann beispielsweise darüber ermöglicht werden, dass jeder Punkt auf der zu analysierenden Kontur mit dem nächstgelegenen orthogonalen Punkt auf einer Linie der Konturen-Karte KK verglichen wird. Liegt eine optimale Deckung vor, so nimmt eine Distanz d1 bis d10 über sämtliche Punkte einen konstanten Wert an, woraus eine unimodale Verteilung resultiert. Ist hingegen ein Objekt unter dem Fahrzeug 2, resultiert die Verteilung der Punkte in einer bi- und/oder trimodalen Verteilung.
-
Mit anderen Worten: Es erfolgt eine Berechnung einer Deckungsgleichheit, in welcher ein Vergleich einer aktuell akquirierten Silhouette S1 bis Sn zur Konturen-Karte KK aus dem Verfahrensschritt VS7, beispielsweise über eine orthogonale Distanz d1 bis d10 zu den jeweiligen Konturlinien der Konturen-Karte KK erfolgt. Hierbei wird eine Berechnung der Zugehörigkeit von Startsplinen zu Initialsplinen in der Konturen-Karte, beispielsweise über eine geringste mittlere orthogonale Distanz d1 bis d10, durchgeführt. Auf Basis der orthogonalen Distanzen d1 bis d10 wird ein Metrikwert σ berechnet, welcher eine Deckungsgleichheit der Splines zueinander angibt, beispielsweise durch 1 Sigma der Distanzen d1 bis d10.
-
Übersteigt jener Metrikwert σ einen zuvor definierten Schwellwert SW, wird die Detektion eines Objekts im Unterbodenbereich in einem weiteren Verfahrensschritt VS10, visualisiert in 13, ausgegeben. Der Schwellwert SW wurde in einer Kalibrierphase bestimmt, wobei bei Überschreiten des Schwellwerts SW auf Basis der zuvor eingeführten Verteilung die Detektion eines Objekts unterhalb des Fahrzeugs 1 bewirkt wird.
-
Insbesondere erfolgt dann in einem Unter-Verfahrensschritt VS10' ein Stopp der pilotierten bzw. assistierten Funktion des Fahrzeugs 2, beispielsweise einer Einpark-Assistenzfunktion. Eine Weiterfahrt ist beispielsweise nach einer Freimessung, beispielsweise durch Wiederholung der Verfahrensschritte VS3 bis VS9, potentiell möglich.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- DE 102019115134 A1 [0003]
