-
Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur Detektion von einzelnen freien markierten Zielflächen, wie z.B. Park-/Lande-/Andockplätzen, aus Bildern eines Kamerasystems einer Bewegungsvorrichtung durch ein maschinelles Lernsystem sowie ein Verfahren zum Trainieren des maschinellen Lernsystems.
-
EP 2486513 B1 zeigt ein Fahrerassistenzsystem für ein Kraftfahrzeug mit einer Kamera zur Erkennung von Fahrbahnmarkierungen; erfindungsgemäß ist eine Einrichtung zur Erkennung eines Park- oder Haltemodus des Fahrzeugs vorgesehen, ferner empfängt im Park- oder Haltemodus des Fahrzeugs ein Steuergerät Bilddaten des Umfelds des Fahrzeugs von der Kamera und wertet diese hinsichtlich Park- und/oder Halteverbote anzeigende Fahrbahnmarkierungen aus, wobei das Steuergerät eine Signalisierungsvorrichtung derart ansteuert, dass die Signalisierungsvorrichtung eine Warnmeldung ausgibt, falls im Umfeld des haltenden oder parkenden Fahrzeugs eine ein Parkverbot oder ein Halteverbot anzeigende Fahrbahnmarkierung detektiert wird. Anstelle von einer Kamera ist auch der Einsatz mehrerer Kameras bzw. Bildaufnahmeeinheiten mit unterschiedlichen Blickrichtungen (z.B. Bereiche seitlich des Fahrzeugs) und Einbaupositionen (z.B. in den Außenrückspiegeln) möglich.
-
DE 102018214915 A1 zeigt ein System und ein Verfahren für ein Fahrzeug zur Erkennung einer Parklücke in Fahrtrichtung. Die Lücke muss mindestens eine vordefinierte Länge und/oder mindestens eine vordefinierte Breite entsprechend der Fahrzeuglänge bzw. -breite aufweisen. Ein Sensor ist dazu eingerichtet ist, eine Außenkontur von Begrenzungen zu bestimmen. Dabei kann der Sensor ein einzelner Sensor sein, z.B. eine Kamera, oder eine Vielzahl von Sensoren, z.B. mehrere Kameras, oder auch mehrere Arten von Sensoren, beispielsweise eine Kamera und ein Radar-Sensor.
-
Eine Karte ist dazu eingerichtet, die Außenkontur der Begrenzungen einem Ort in der Karte zuzuordnen. Ein Zuordnungsmodul ist dazu eingerichtet, ein Rechteck mit der vordefinierten Länge und der vordefinierten Breite in der Lücke zwischen den Begrenzungen anzuordnen, so dass, wenn das Rechteck in der Lücke anordbar ist, die identifizierte Lücke geeignet ist, das Fahrzeug aufzunehmen. Die Begrenzungen können Fahrbahnmarkierungen umfassen.
-
Fahrbahnmarkierungen sind beispielsweise Sperrflächen oder Zebrasteifen oder auch Parkplatzbegrenzungen. Dabei können Fahrbahnmarkierungen in manchen Ausführungsformen in anderer Weise berücksichtigt werden als die Außenkontur. Beispielsweise könnte eine Lücke, die von den Außenkonturen her groß genug ist, die aber unter Berücksichtigung der Parkplatzbegrenzungen nicht mehr groß genug ist, von einem Fahrer des Fahrzeugs eine Entscheidung „Parkplatzbegrenzungen ignorieren“ verlangen.
-
EP 3731138 A1 zeigt eine Bildverarbeitungsvorrichtung und ein Fahrzeugkamerasystem, mit dem über eine Kantenerkennung Eckmarkierungen an einem Ende einer Parkplatzmarkierung erkannt werden können. Ein vorläufiger Parkplatzrahmen wird dann auf Grundlage der erkannten Eckmarkierungen gesetzt und verifiziert. Dadurch können freie Parkplätze identifiziert werden.
-
Es ist eine Aufgabe der Erfindung, verbesserte Lösungen zum Identifizieren von freien Zielflächen in Bildern eines Kamerasystems bereitzustellen.
-
Die Lösung ist Gegenstand der unabhängigen Patentansprüche. Vorteilhafte Weiterbildungen sind Gegenstand der abhängigen Patentansprüche.
-
Ausgangspunkt der Lösungsentwicklung ist die Beobachtung von Problemen bei möglichen Konzepten im Bereich der Automatisierung des Parkens.
Eine Möglichkeit besteht darin, Algorithmen zur Parklückendetektion auf Grundlage einer separaten Detektion von Parklinien und Freiraum zu verwenden. Im ersten Schritt wird unter Verwendung der statischen Kamerakalibrierung und der Flache-Welt-Annahme ein Draufsichtbild erzeugt, um gekrümmte Linien (Fischaugen-Domäne) in gerade Linien zu überführen (virtuelle Lochkamera). Auf diesem Bild werden durch klassische Bilderverarbeitung (z.B. Hough-Transformation) Parklinien erkannt, anhand derer modelbasiert Parklücken-Kandidaten detektiert werden. Zusätzlich wird über einen zweiten Algorithmus (z.B. Occupancy-Grid) eine Freiraumerkennung extrahiert. Mit Hilfe dieser zweiten Information kann dann eine freie Parklücke erkannt werden.
-
Zentrale Voraussetzung dieses möglichen Konzepts ist die korrekte Kalibrierung der Kamera und eine flache Umgebung. Ist die Kalibrierung der Kamera inkorrekt, z.B. durch einseitige Beladung des Fahrzeugs, oder die Umgebung nicht flach (Parken an geneigten Flächen), reduziert sich die Qualität des Draufsichtbilds und damit die Güte der Parklückenerkennung. Zusätzlich wird für die Freiraumerkennung in der Regel eine sehr spärliche objekt-basierte Punktwolken-Information verwendet, welche für homogene Oberflächen, wie Straßenbelag, nur sehr wenig Information liefert und die Funktion nur Anhand von starren Annahmen ermöglicht werden kann.
-
Deshalb wird im Rahmen der Erfindung ein neuartiges Lösungskonzept verfolgt.
-
Ein erfindungsgemäßes Verfahren zum Trainieren eines maschinellen Lernsystems zur Segmentierung und Identifizierung von einzelnen freien markierten Zielflächen, wie z.B. Parkplätze für Fahrzeuge, Landeplätze für Flugzeuge oder Drohnen, Andockplätze für Raumschiffe oder Roboter, aus einem Bild eines umgebungserfassenden Kamerasystems einer Bewegungsvorrichtung (10) im Rahmen einer semantischen Segmentierung des Bildes sieht folgendes vor. Trainingsdaten werden bereitgestellt, die Trainings-Eingabebilder und zugeordnete Trainings-Zielsegmentierungen umfassen. Mittels der Trainingsdaten werden Parameter des maschinellen Lernsystems derart angepasst werden, dass das maschinelle Lernsystem bei Eingabe der Trainings-Eingabebilder Ausgabedaten erzeugt, die den Trainings-Zielsegmentierungen ähnlich sind. Ähnlich kann bedeuten, dass die Unterschiede zwischen den erzeugten Ausgabedaten und den Trainings-Zielsegmentierungen gering sind. Die Anpassung kann durch eine Minimierung einer Funktion erfolgen, die diese Unterschiede rechnerisch beschreibt. Die Trainings-Zielsegmentierungen umfassen mindestens ein erstes Segment (z.B. Position und Ausdehnung bzw. Größe des Segments), das der einzelnen freien markierten Zielfläche entspricht. Ein erstes Segment soll dabei jeweils genau einer einzelnen (d.h. einer Instanz einer) freien markierten Zielfläche entsprechen. Markiert kann beispielsweise bedeuten, dass die Zielfläche durch eine Begrenzungslinie markiert ist oder anderweitig als Zielfläche optisch erkennbar ist. Die Trainings-Zielsegmentierungen umfassen mindestens ein zweites Segment, das mindestens einer weiteren Klasse der erfassten Umgebung der Bewegungsvorrichtung entspricht. In den meisten Fällen können mehrere zweite Segmente vorliegen, die unterschiedlichen Klassen entsprechen.
Das maschinelle Lernsystem umfasst beispielsweise ein künstliches neuronales Netzwerk, dessen Parameter (z.B. Gewichte) mittels der Trainingsdaten angepasst werden.
-
In einer Ausführungsform gegen die Trainings-Zielsegmentierungen einen Typ eines ersten Segments an. Sofern die Zielfläche einem Parkplatz entspricht, kann als Typ des Parkplatz beispielsweise ein Behindertenparkplatz, Frauenparkplatz, Elektrofahrzeugparkplatz und/oder ein Parkplatz für Familien mit Kindern angegeben werden.
-
Gemäß einer Ausführungsvariante umfassen die zweiten Segmente Objekte in der Umgebung der Bewegungsvorrichtung und es wird mindestens eine Klasseninformation des Objekts angegeben. Beispiele für Klasseninformation der zweiten (semantischen) Segmente sind:
- Bebauung, Schilder, Pflanzen, Fahrzeuge, Zweiräder, Anhänger, Container, Personen, Tiere, etc. Auch Bodenmarkierungen können als Objekte vorgesehen sein, z.B. Fahrspurbegrenzungslinien, Parkplatzbegrenzungslinien 52, Bodenpfeile, Bodenverkehrssymbole, Haltelinien etc.
-
In einer Ausführungsform umfasst das Kamerasystem eine Kamera mit einer Fischaugenoptik. Die Fischaugenoptikkamera kann einen Erfassungswinkel von mehr als 180°, z.B. etwa 195° aufweisen. Dann sind die Trainings-Eingabebilder Bilder der Fischaugenoptikkamera. Diese können ohne Rektifizierung (Korrektur der optischen Abbildungseigenschaften der Fischaugenoptik) verwendet werden. In diesem Fall entsprechen auch die Trainings-Zielsegmentierungen der Fischaugen-Abbildung. Diese Ausführungsform bietet den Vorteil, dass eine Segmentierung auf der Basis von Fischaugenoptikbildern das Verfahren sehr robust gegenüber Rotationen des Kamerasystems macht.
-
Ein erfindungsgemäßes (computerimplementiertes) Verfahren zur Segmentierung und Identifizierung von einzelnen freien markierten Zielflächen aus Bildern eines Kamerasystems einer Bewegungsvorrichtung, umfasst die Schritte:
- - Erfassen mindestens eines Bildes von der Umgebung der Bewegungsvorrichtung durch das Kamerasystem;
- - Segmentierung der einzelnen freien markierten Zielflächen aus dem mindestens einen Bild mittels eines nach einem der vorhergehenden Ansprüche trainierten maschinellen Lernsystems,
- - Ausgeben eines ersten Segments, das der (identifizierten) einzelnen freien markierten Zielfläche entspricht, und zweiter Segmente mindestens einer weiteren Klasse der erfassten Umgebung der Bewegungsvorrichtung, an eine Steuereinheit. Die Steuereinheit kann auf der Grundlage der empfangenen Segmente eine Bewegung der Bewegungsvorrichtung zu der freien Zielfläche unterstützen oder autonom, d.h. vollautomatisiert durchführen. Hierzu können die Segmente in Informationen zur Geometrie der realen Umgebung übersetzt werden, beispielsweise über ein präzise kalibriertes Kamerasystem. Auch kann die Annahme getroffen werden, dass die Umgebungsoberfläche, auf der sich die Bewegungsvorrichtung befindet, im Wesentlich eben ist. Manche Kamerasysteme bieten besondere Möglichkeiten der 3D-Rekonstruktion der erfassten Umgebung, z.B. Stereoverfahren via Triangulation bei zwei Einzelkameras mit überlappendem Sichtbereich.
-
In einer Ausführungsform kann das Kamerasystem mehrere (Fischaugen-) Kameras umfassen, die derart angeordnet und konfiguriert sind, dass eine 360° Erfassung der Umgebung der Bewegungsvorrichtung erfolgt.
-
Gemäß einer Ausführungsvariante kann durch die Steuereinheit auf der Grundlage der ausgegebenen Segmente eine Unterstützung zum Bewegen der Bewegungsvorrichtung zu der freien Zielfläche durch eine optische Anzeige erfolgen. Beispielsweise kann die Umgebung der Bewegungsvorrichtung visualisiert werden und die freie Zielfläche kann dabei visuell hervorgehoben werden. Diese Visualisierung kann in einem Display der Bewegungsvorrichtung angezeigt werden.
-
In einer Ausführungsform erfolgt durch die Steuereinheit auf der Grundlage der ausgegebenen Segmente eine Unterstützung zum Bewegen der Bewegungsvorrichtung zu der freien Zielfläche durch akustische, haptische oder die Bewegung der Bewegungsvorrichtung teilweise steuernde Maßnahmen (z.B. Lenk- oder Bremsunterstützung bei einem Einparkvorgang).
-
Gemäß einer Ausführungsvariante erfolgt durch die Steuereinheit auf der Grundlage der ausgegebenen Segmente ein vollautomatisiertes Bewegen der Bewegungsvorrichtung zu der freien Zielfläche erfolgt, z.B. ein autonomes bzw. vollautomatisiertes Einparken.
-
In einer Ausführungsform wir durch die Steuereinheit auf der Grundlage der ausgegebenen Segmente, die einzelnen freien markierten Zielflächen entsprechen, eine Information zur Lokalisierung der freien markierten Zielflächen an eine Infrastruktureinrichtung außerhalb der Bewegungsvorrichtung (drahtlos) übermittelt wird. Die Infrastruktureinrichtung kann beispielsweise ein Kontrollzentrum eines Parkhauses betreffen oder ein Backbone (Cloud) eines Telematik-Anbieters. Dadurch können aktuell freien Parkflächen in einer Karte markiert und anderen Verkehrsteilnehmern über V2X angeboten werden.
-
Gemäß einer Ausführungsvariante ist das Bewegungsmittel ein Fahrzeug und die freie markierte Zielfläche ist ein freier Parkplatz oder eine Fläche zum induktiven Laden eines (in diesem Falle) elektrischen Fahrzeugs. Dadurch kann das Elektrofahrzeug präzise über der induktiven Ladefläche (dem induktiven Charging Pad) positioniert werden.
-
Ein weiterer Gegenstand der Erfindung betrifft eine Vorrichtung bzw. ein System zur Segmentierung und Identifizierung von einzelnen freien markierten Zielflächen aus Bildern eines Kamerasystems einer Bewegungsvorrichtung.
-
Die Vorrichtung umfasst
- - eine Eingabeeinheit, die zum Empfangen mindestens eines Bildes des Kamerasystems ausgebildet ist;
- - eine Datenverarbeitungseinheit, die zum Ausführen eines erfindungsgemäßen Verfahrens ausgebildet ist; und
- - eine Ausgabeeinheit, die ausgebildet ist zum Ausgeben eines ersten Segments, das der einzelnen freien markierten Zielfläche entspricht, und zweiter Segmente mindestens einer weiteren Klasse der erfassten Umgebung der Bewegungsvorrichtung, an eine Steuereinheit.
-
Die Vorrichtung bzw. die Datenverarbeitungseinheit kann insbesondere einen Mikrocontroller oder -prozessor, eine Zentrale Verarbeitungseinheit (CPU), ein Grafische Verarbeitungseinheit (GPU), einen Digital Signal Processor (DSP), einen ASIC (Application Specific Integrated Circuit), einen FPGA (Field Programmable Gate Array) und dergleichen mehr sowie Software zur Durchführung der entsprechenden Verfahrensschritte umfassen.
-
Die Erfindung betrifft ferner ein Bewegungsmittel, das das Kamerasystem, die Steuereinheit und eine erfindungsgemäße Vorrichtung umfasst.
-
Die Erfindung betrifft weiterhin ein Computer Programmelement, welches, wenn damit eine Datenverarbeitungseinheit programmiert wird, die Datenverarbeitungseinheit dazu anweist, ein Verfahren zur Segmentierung und Identifizierung von einzelnen freien markierten Zielflächen aus Bildern eines Kamerasystems einer Bewegungsvorrichtung durchzuführen.
-
Die Erfindung betrifft weiterhin ein Computerlesbares Speichermedium, auf dem ein solches Programmelement gespeichert ist.
-
Die vorliegende Erfindung kann somit in digitalen elektronischen Schaltkreisen, Computer-Hardware, Firmware oder Software implementiert sein.
-
Mit anderen Worten ermöglicht die Erfindung eine direkte, hochpräzise Detektion und Vektorisierung instanziierter, freier Parkplätze mittels Verwendung neuronaler Netzwerke, zur effektiveren Automatisierung von automatischen Einparkvorgängen. Sowohl Labeling als auch Detektion, direkt auf Fischaugen(195°)-Images, ohne zusätzliche (Top-View)-Rektifizierung, verbessern die Genauigkeit der Form von freien markierten Zielflächen.
-
Ein Aspekt betrifft die direkte Detektion freier Parkflächen durch semantische Segmentierung in der Fischaugen-Domäne. Hierzu kann eine bestehende Liste an detektierbaren Klassen (Bordstein, Straße, Person, Auto, Fahrbahnmarkierung) um die Klasse „Parklücke“ erweitert, Labeldaten erzeugt und das neuronale Netz auf Basis entsprechender Trainingsdaten trainiert.
Dabei wird der Bereich zwischen den Parklinien detektiert und direkt vom Algorithmus ausgegeben. Eine separate Detektion von begrenzenden Parklinien kann im Rahmen der Klasse Fahrbahnmarkierung stattfinden.
Im letzten Schritt werden die Punktwolken zu Clustern fusioniert, um dem nachfolgenden Environment Modell eine geometrische Beschreibung in Form eines Polygons zur Verfügung zu stellen und die Trajektorienplanung zu ermöglichen.
-
Zusätzlich können noch Höheninformationen, indirekt abgeleitet aus der Klassifizierung der statischen und dynamischen Objekte, zur Unterstützung der Trajektorienplanung / Parkfunktion, ausgegeben werden.
-
Wesentliche Vorteile der Erfindung werden darin gesehen, dass die direkte Parklückendetektion bekannte Verfahren vereinfacht, da bei bekannten Verfahren die Parklücke erst aufwändig und fehleranfällig die Parklücke mittels vorhandener Parkmarker gebildet werden muss, inkl. manueller Anpassungen bzgl. der hohen Variabilität der Linienmarkierungen weltweit (weiße Linien, rote Pflastersteine, etc.).
-
Bei der direkten Parklückendetektion hingegen wird die Parkfläche als solches direkt durch das verwendete neuronale Netz detektiert und kann mittels Training auf alle möglichen Variationen weltweit bei überschaubarem Aufwand (Recording, Labeling, Tracking) trainiert und angepasst werden.
-
Dieser Ansatz behandelt auch direkt Situationen, die ein Einparken unmöglich machen würden (Personen, Gegenstände auf der Parkfläche). Da nur wirklich freie Bereiche als freie Parkflächen im Training verwendet werden.
-
Anwendungsgebiete der Erfindung betreffen alle Arten von markierten Zielflächen, die hochpräzise angesteuert werden müssen. Z.B. automatisierte Induktions-Ladeflächen für Elektrofahrzeuge, Hubschrauberlandeplätze, Drop-Zones- für automatisierte Paketlieferungen, etc.
-
Im Folgenden werden Ausführungsbeispiele und Fig. näher beschrieben. Dabei zeigen
- 1: eine erste schematische Darstellung einer erfindungsgemäßen Vorrichtung in einer Ausgestaltung;
- 2: eine zweite schematische Darstellung einer erfindungsgemäßen Vorrichtung in einer Ausgestaltung in einem Fahrzeug;
- 3: ein System mit einem neuronalen Netz zur Detektion von einzelnen freien markierten Zielflächen; und
- 4: ein Umgebungsszenario, in dem einzelne freie markierte Parkplätze detektiert werden.
-
Wie man aus 1 erkennen kann, kann eine erfindungsgemäße Vorrichtung 1 zur Detektion von einzelnen freien markierten Zielflächen aus Bilddaten von mehreren Kameras eines Rundumsichtkamerasystems mehrere Einheiten bzw. Schaltungskomponenten aufweisen. Bei dem in 1 dargestellten Ausführungsbeispiel weist die Vorrichtung 1 mehrere (Einzel-) Kameras 2-i auf, die jeweils Kamerabilder bzw. Videodaten erzeugen. Bei dem in 1 dargestellten Ausführungsbeispiel weist die Vorrichtung 1 vier Kameras 2-i zur Erzeugung von Kamerabildern auf. Die Anzahl der Kameras 2-i kann für unterschiedliche Anwendungen variieren. Die erfindungsgemäße Vorrichtung 1 weist mindestens zwei Kameras zur Erzeugung von Kamerabildern auf.
-
Die Vorrichtung 1 enthält eine Datenverarbeitungseinheit 3, welche die von den Kameras 2-i erzeugten Kamerabilder verarbeitet. Beispielsweise können die Kamerabilder zu einem Gesamtbild zusammengesetzt werden. Wie in 1 dargestellt, weist die Datenverarbeitungseinheit 3 ein künstliches neuronales Netzwerk 4 auf. Das künstliche neuronale Netzwerk 4 wurde mittels eines maschinellen Lernverfahrens dahingehend trainiert, dass es Eingangsbilddaten (Ini) der Kameras (2-i) semantisch segmentiert und dabei freie markierte Zielflächen, wie z.B. freie Parkplätze mit einer Begrenzungsmarkierung, instantiiert. Die Ergebnisse der semantischen Segmentierung werden von der Bildverarbeitungseinheit 3 an eine Steuereinheit 5 ausgegeben. Die Steuereinheit kann eine Bewegung der Bewegungsvorrichtung zu einer detektierten freien Zielfläche unterstützen oder eine autonome Bewegung der Bewegungsvorrichtung zu der Zielfläche steuern.
-
2 zeigt eine weitere schematische Darstellung einer erfindungsgemäßen Vorrichtung 1 in einer Ausgestaltung. Die in 2 dargestellte Vorrichtung 1 wird in einem Surround View System eines Fahrzeugs 10, insbesondere eines Personenkraftwagens oder eines Lastkraftwagens, eingesetzt. Hierbei können sich die vier verschiedenen Kameras 2-1, 2-2, 2-3, 2-4 an verschiedenen Seiten des Fahrzeugs 10 befinden und weisen entsprechende Sichtbereiche (gestrichelte Linien) vor V, hinter H, links L und rechts R dem bzw. des Fahrzeug(s) 10 auf. Beispielsweise befindet sich die erste Fahrzeugkamera 2-1 an einer Vorderseite des Fahrzeugs 10, die zweite Fahrzeugkamera 2-2 an einer Hinterseite des Fahrzeugs 10, die dritte Fahrzeugkamera 2-3 an der linken Seite des Fahrzeugs 10 und die vierte Fahrzeugkamera 2-4 an der rechten Seite des Fahrzeugs 10. Bei den Fahrzeugkameras 2-i handelt es sich bei einer möglichen Ausführungsform um sogenannte Fischaugenkameras, die einen Blickwinkel von mindestens 195° aufweisen. Die Fahrzeugkameras 2-i können die Kamerabilder bzw. Kamera-Bild-Frames bzw. Videodaten bei einer möglichen Ausführungsform über eine Ethernet-Verbindung an die Datenverarbeitungseinheit 3 übertragen. Die Datenverarbeitungseinheit 3 kann aus den Kamerabildern der Fahrzeugkameras 2-i ein zusammengesetztes Surround-View-Kamerabild, das über eine Steuereinheit 5 und ein Display dem Fahrer und/oder einem Passagier angezeigt werden kann. Bei der Anzeige können freie Parkplätze hervorgehoben werden. Anzeigen ist eine Möglichkeit, den Fahrer beim Ansteuern der markierten Parkfläche zu unterstützen. Bei (teil-) automatisierten Fahrzeugen, kann die Steuereinheit 5 die Steuerung (Beschleunigen, Bremsen, Fahrtrichtung vorwärts/rückwärts ändern, Lenken) des Fahrzeugs (teilweise) übernehmen, so dass das Fahrzeug (teil-) autonom auf einen freien Parkplatz fährt.
Diese Ausführungsform entspricht einer Surround View basierten „Environment Perception“ (Umgebungswahrnehmung), die eine instanziierte Parkflächen Extraktion ermöglicht.
-
3 zeigt ein System mit einem künstlichen neuronalen Netzwerk 4 zur semantischen Segmentierung und Identifizierung von einzelnen freien markierten Zielflächen aus Kamerabildern.
Im oberen Teil ist sehr schematisch ein Bild (R-4) einer Fischaugenoptikkamera dargestellt, auf dem z.B. ein Parkplatzgelände mit Markierungslinien, Fahrzeugen, Fahrbahnflächen sowie im Hintergrund Straßenlampen, Bäumen und Sträuchern und Gebäuden zu erkennen sind. Das künstliche neuronalen Netzwerk 4 lernt im Rahmen des Trainings, diesem Bild eine Segmentierung (S-4) zuzuordnen, wie sie auszugsweise im unteren Teil von 3 dargestellt ist. Hier werden mittels einer semantischen Segmentierung jedem Pixel Klassen zugeordnet. Von Bedeutung sind insbesondere Objektklassen, wie z.B. die auf der linken Seite parkenden Fahrzeuge 30. Auch Parkmarkierungslinien 32 können im Rahmen der semantischen Segmentierung zugeordnet werden. Dagegen unterscheidet sich die Oberfläche eines Parkplatzes nicht zwingend von der Fahrbahnoberfläche. Das künstliche neuronale Netzwerk 4 ist jedoch dahingehend trainiert, dass es einzelne (Instanzen von) freie markierte Parkplätze 35 im Rahmen der Segmentierung identifiziert. Vorliegend befinden sich mehrere einzelne freie Parkplätze 35 rechts des am weitesten rechts parkenden Fahrzeugs 30 und ein einzelner freier Parkplatz 35 links dieses Fahrzeugs 30. Nach Abschluss des Trainings ordnet das künstliche neuronale Netzwerk einem bislang unbekannten Fischaugenkamerabild eine entsprechende Segmentierung mit identifizierten Parkplatzinstanzen zu.
-
4 zeigt schematisch eine Sicht aus der Vogelperspektive auf ein Parkplatzgelände 44, beispielsweise vor einem Supermarkt oder auf einer Ebene eines Parkhauses. Das Parkplatzgelände 44 weist Markierungslinien 52 auf, die (einzelne) Parkplätze 46 definieren. Das Ego-Fahrzeug 20 kommt auf dem Parkgelände 44 an und hat Bedarf an einem freien Parkplatz 46. Andere Fahrzeuge 50 sind auf einzelnen markierten Parkplätzen bereits abgestellt. Im Idealfall befinden sich die anderen Fahrzeuge 50 innerhalb der Linien 52 der Parkplätze, auf denen sie abgestellt wurden. Das Ego-Fahrzeug 20 nimmt während es sich bewegt Bilder (R-4) mit mindestens einer (Fischaugenoptik-) Kamera (2-1; 2-2; 2-3; 2-4) auf, wodurch das Parkplatzgelände 44, die Markierungslinien 52 und die weiteren Fahrzeuge 50 erfasst werden.
Die Bilder (R-4) der Fahrzeugkamera (2-1; 2-2; 2-3; 2-4) werden durch eine Datenverarbeitungseinheit 3 prozessiert. Das trainierte künstliche neuronale Netzwerk 4 der Datenverarbeitungseinheit 3 ermittelt Segmente aus den Bildern, die einer semantischen Klasse zugeordnet sind.
Beispiele für Klassen von semantischen Segmenten sind beispielsweise:
- Objekte, wie z.B.: Bebauung, Schilder, Pflanzen, Fahrzeuge 50, Zweiräder, Anhänger, Container, Personen, Tiere und auch Bodenmarkierungen, z.B. Fahrspurbegrenzungslinien, Parkplatzbegrenzungslinien 52, Bodenpfeile, Bodenverkehrssymbole, Haltelinien etc.
-
Aufgrund des anhand von 3 erläuterten Trainings ist das künstliche neuronale Netzwerk in der Lage, einzelne freie Parkplätze 46 innerhalb von Markierungen 52 im Rahmen der semantischen Segmentierung zu identifizieren. Dadurch kann das Ego-Fahrzeug 20 automatisiert auf einem freien Parkplatz 46 einparken.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- EP 2486513 B1 [0002]
- DE 102018214915 A1 [0003]
- EP 3731138 A1 [0006]
