-
Die Erfindung betrifft ein Verfahren, eine Vorrichtung sowie ein korrespondierendes Computerprogramm zum Betreiben einer Fahrzeugkamera, insbesondere zur Nutzung einer Nahfeldkamera. Die Fahrzeugkamera kann eine Fahrzeugkamera eines Fahrerassistenzsystems des Fahrzeugs, insbesondere eines Fahrerassistenzsystems auf Basis von Nahfeldkameras und Ultraschall, sein. Die Fahrzeugkamera bzw. das Betreiben der Fahrzeugkamera kann ein oder mehrere Fahrzeugfunktionen, die auf Basis der Fahrzeugkamera betreibbar sind, umfassen bzw. betreffen. Das Betreiben der Fahrzeugkamera kann eine Nutzung der Fahrzeugkamera (ggf. zu diversen Zwecken) sein oder umfassen.
-
Ein Fahrzeug kann ein Parksystem aufweisen, das ausgebildet ist, den Fahrer des Fahrzeugs bei einem Einpark- bzw. Ausparkmanöver zu unterstützen. Das Ein- bzw. Ausparken kann dabei zumindest teilweise automatisiert erfolgen. Im Rahmen des Parksystems können Bilddaten einer Fahrzeugkamera genutzt werden.
-
Das vorliegende Dokument befasst sich mit der technischen Aufgabe, die Güte eines Fahrzeugsystems, das eine Fahrzeugkamera, insbesondere ein Park-Fahrzeugkamera, nutzt, in effizienter und zuverlässiger Weise zu erhöhen. Ferner kann die technische Aufgabe auch eine Erweiterung der Nutzbarkeit der Fahrzeugkamera (auch zu verstehen: der Daten auf Basis der Fahrzeugkamera), z.B. auf neue oder verbesserte Funktionalitäten, betreffen. Insbesondere betrifft die technische Aufgabe ein neues bzw. verbessertes Verfahren zum Trainieren eines neuronalen Netzes eines Fahrzeugkamerasystems bzw. zum Betreiben eines Fahrzeugkamerasystems.
-
Die Aufgabe wird durch jeden der unabhängigen Ansprüche gelöst. Vorteilhafte Ausführungsformen werden u.a. in den abhängigen Ansprüchen beschrieben. Es wird darauf hingewiesen, dass zusätzliche Merkmale eines von einem unabhängigen Patentanspruch abhängigen Patentanspruchs ohne die Merkmale des unabhängigen Patentanspruchs oder nur in Kombination mit einer Teilmenge der Merkmale des unabhängigen Patentanspruchs eine eigene und von der Kombination sämtlicher Merkmale des unabhängigen Patentanspruchs unabhängige Erfindung bilden können, die zum Gegenstand eines unabhängigen Anspruchs, einer Teilungsanmeldung oder einer Nachanmeldung gemacht werden kann. Dies gilt in gleicher Weise für in der Beschreibung beschriebene technische Lehren, die eine von den Merkmalen der unabhängigen Patentansprüche unabhängige Erfindung bilden können.
-
Gemäß einem Aspekt wird ein Verfahren zum Betreiben einer Fahrzeugkamera eines Fahrzeugs, insbesondere Kraftfahrzeugs, beschrieben. Dabei kann das Verfahren insbesondere darauf ausgelegt sein, die Fahrzeugkamera für einen anderen Zweck, etwa für eine neue bzw. andere Fahrzeugfunktion, als den ursprünglich vorgesehenen Zweck (z.B. als die reine Wiedergabe von Umgebungs-Bildern z.B. auf einem Bildschirm des Fahrzeugs) zu verwenden.
-
Das Verfahren umfasst das Ermitteln eines ersten Messwertes in Bezug auf ein Objekt in der (direkten) Umgebung des Fahrzeugs (ggf. allein) auf Basis von Bilddaten der Fahrzeugkamera unter Verwendung eines ersten neuronalen Netzes.
-
Die Fahrzeugkamera kann dabei eine weitwinklige Fahrzeugkamera sein, insbesondere mit einem Öffnungswinkel von mehr als 80°, 120°, 150°, 180° 190°. Besonders bevorzugt handelt es sich um eine sogenannte Fish-Eye-Kamera. Alternativ oder ergänzend kann die optische Achse der Fahrzeugkamera zu der von dem Kraftfahrzeug befahrenen Fahrbahn hin ausgerichtet sein (z.B. mit einem Winkel von 20° oder mehr gegenüber der horizontalen Achse). Die Fahrzeugkamera 102 kann insbesondere eine Fahrzeugkamera für einen Parkassistenten des Kraftfahrzeugs sein. Diese an sich für viele Anwendungen vorteilhafte bzw. notwendige Beschaffenheit der Fahrzeugkamera macht diese normalerweise nicht bzw. nur schwer zum Ermitteln der Abstände (z.B. zu bzw. zwischen Objekten) und/oder Abmessungen der Objekte auf eine herkömmliche Art und Weise verwendbar.
-
Der Begriff „Fahrzeugkamera“ ist insbesondere auch als ein eine oder mehrere Kameras umfassendes System des Fahrzeugs zu verstehen. Dieses kann eine Recheneinheit zur Verarbeitung der Fahrzeugkameradaten (z.B. Bildverarbeitung) und/oder ggf. eine oder mehrere (abhängig oder auf Basis der Fahrzeugkamera betreibbaren) Funktionalitäten umfassen.
-
Das neuronale Netz kann ein Deep Neural Network (DNN) sein. Das neuronale Netz kann ausgebildet sein, abhängig, auf Basis, insbesondere im Wesentlichen nur, auf Basis der Bilddaten der Fahrzeugkamera einen ersten Messwert in Bezug auf ein Objekt in der Umgebung des Fahrzeugs bereitzustellen.
-
Das Verfahren umfasst ferner das Ermitteln eines zweiten Messwertes in Bezug auf das Objekt anhand eines weiteren Sensors. Der weitere Sensor kann einen Ultraschallsensor (auch zu verstehen als einen oder mehrere Ultraschallsensoren) umfassen. Alternativ oder ergänzend kann der weitere Sensor ein Teil des Kraftfahrzeugs sein.
-
Bevorzugt beziehen sich der erste Messwert und der zweite Messwert etwa auf dasselbe Zeitintervall und/oder auf denselben Raumbereich in der Umgebung des Fahrzeugs. Insbesondere können sich der erste Messwert und der zweite Messwert teilweise, überwiegend im Wesentlichen nur, auf dieselben ein oder mehreren Objekte in der Umgebung des Fahrzeugs beziehen. Die jeweiligen (derart miteinander korrespondierenden) ersten und zweiten Messwerte können jeweils als Paare betrachtet werden bzw. aus diesen Paar gebildet werden.
-
Der erste Messwert und/oder der zweite Messwert können einen Abstand, insbesondere etwa einen Lotabstand, zwischen dem Objekt und dem Fahrzeug und/oder zwischen dem Objekt und einem weiteren Objekt in der Umgebung des Fahrzeugs kennzeichnen.
-
Der erste Messwert und/oder der zweite Messwert können, müssen aber nicht, den Messwerten entsprechen, die in einem Kundenbetrieb der Fahrzeuge bzw. zum Betreiben einer Fahrerassistenzfunktion (typischerweise) ermittelt werden.
-
Der erste Messwert und/oder der zweite Messwert können Messwerte sein, die sich von den Messwerten für den (aktuellen und/oder späteren) Betrieb einer für den Nutzer des Fahrzeugs bestimmten Funktionalität des Fahrzeugs unterscheiden.
-
Das Verfahren kann eine Auswahl von Objekten in der Umgebung des Fahrzeugs umfassen, deren Messwerte bzw. mit den Messwerten korrespondierende Daten zum Trainieren des (ersten) neuronalen Netzes verwendet werden und/oder eine Auswahl von Objekten deren Messwerte bzw. mit den Messwerten korrespondierende Daten nicht zum Trainieren des (ersten) neuronalen Netzes verwendet werden. Somit kann die Qualität des Trainierens sowie die von dem trainieren neuronalen Netz ausführbare Performance weiter erhöht werden.
-
Die Daten, die mit dem ersten Messwert korrespondieren und/oder mit dem zweiten Messwert korrespondieren, können (spezielle) im Verfahren vorgesehene bzw. im Verlauf des Verfahrens (automatisch bzw. nach einem bestimmten Kriterium) gewählte Daten sein. Diese können (nur, überwiegend, im Wesentlichen nur) zum Trainieren des ersten neuronalen Netzes bestimmt sein. Dementsprechend können es (sonst im Fahrzeug nicht dauerhaft benötigte) für das (konkrete) Trainieren ausgewählte bzw. auf das Trainieren zugeschnittene Daten sein.
-
Des Weiteren umfasst das Verfahren das Verarbeiten von Daten, die mit dem ersten Messwert und dem zweiten Messwert korrespondieren, zum Trainieren des ersten neuronalen Netzes.
-
Beispielsweise können die (ersten) Daten, die mit dem ersten Messwert korrespondieren, Daten auf Basis der Fahrzeugkamera sein. Diese können teilweise, überwiegend (bzw. am ehesten) den (vor)verarbeiteten oder auf eine bestimmte Art und Weise verarbeitete Bilddaten der Fahrzeugkamera, auf ein oder mehrere sogenannte Area-of-Interest und/oder Objekte innerhalb der Bilddaten hervorgehobene oder begrenzte Daten, Daten betreffend ein oder mehrere Objekte (z.B. extrahierte Objekte), weitere Messwerte (z.B. in Bezug auf bestimmte Winkel oder Raumteile) repräsentieren.
-
Ferner können Daten, die mit dem ersten Messwert bzw. dem zweiten Messwert korrespondieren, den Messwert selbst und/oder einen oder mehrere dem Messwert jeweils vorangegangene Messwerte und/oder einen oder mehrere Messwerte, die dem Messwert jeweils folgen, umfassen.
-
Beispielsweise können die (zweiten) Daten, die mit dem zweiten Messwert korrespondieren, Daten auf Basis des Ultraschallsensors (auch zu verstehen auf Basis der ein oder mehreren Ultraschallsensoren) sein. Diese können teilweise, überwiegend (bzw. am ehesten) den Rohdaten des Ultraschallsensors, den (vor)verarbeiteten oder auf eine bestimmte Art und Weise verarbeiteten Daten, z.B. Auswertungen von Echos und/oder Kreuzechos, gefilterten und/oder fusionierten Daten, entsprechen oder diese umfassen.
-
Dabei kann der zweite Messwert insbesondere als Referenzwert für den Ausgangswert des ersten neuronalen Netzes verwendet werden, um das erste neuronale Netz derart zu trainieren, dass durch das erste neuronale Netz (bzw. in einem späteren Betrieb durch das zweite neuronale Netz) ein erster Messwert bereitgestellt wird (ggf. allein auf Basis der Bilddaten der Fahrzeugkamera), der (zumindest im statistischen Mittel) möglichst gut dem ersten Messwert entspricht. Dabei kann eine zumindest statistische Abweichung (z.B. eine Normalabweichung bzw. eine Abweichung im Sinne einer bestimmten Kostenfunktion) eines (mit dem trainierten neuronalen Netz ermittelten) zweiten Messwerts von einem korrespondierenden ersten Messwert verwendet werden.
-
Als ein Kriterium zum Trainieren des (ersten) neuronalen Netzes kann eine Verringerung einer Abweichung zwischen dem zweiten Messwert und dem ersten Messwert, und/oder eine Verringerung der Inkonsistenz (auch zu verstehen als eine Erhöhung der Konsistenz) zwischen den zweiten Messwerten und den ersten Messwerten dienen.
-
Zumindest teilweise kann das Trainieren des neuronalen Netzes innerhalb des Fahrzeugs, insbesondere des Fahrzeugs, in dem sich die Fahrzeugkamera und/oder der weitere Sensor befinden, erfolgen. Beispielsweise kann das Trainieren des ersten neuronalen Netzes innerhalb einer Recheneinheit des Fahrzeugs erfolgen. Beispielsweise können mehrere Paare der ersten Messwerte und der entsprechenden zweiten Messwerte, insbesondere im Fahrbetrieb, Park- oder Rangierbetrieb (insbesondere zu verstehen in einem entsprechenden Betrieb bzw. Betriebsmodus der Recheneinheit des Fahrzeugs) und/oder im Stand des Fahrzeugs erfasst werden. Diese können zwischengespeichert werden. Sofern eine gewisse Menge an zwischengespeicherten Werten gespeichert wird und/oder sofern die Recheneinheit des Fahrzeugs in einen bestimmten Betriebsmodus versetzt wurde und/oder einen vergleichsweise geringen Verbrauch von Ressourcen (z.B. Rechenleistung, Speicher, Datenrate, etc.) aufweist, kann das Trainieren des neuronalen Netzes erfolgen. In diesem Fall kann das zweite neuronale Netz ein (hinreichend) trainiertes erstes neuronales Netz sein.
-
Das Trainieren kann auf Basis einer Vielzahl von (insbesondere hierfür ausgewählten) Paaren von ersten und zweiten Messwerten (z.B. mehrere Tausend oder mehrere Millionen Paare) erfolgen.
-
Insbesondere kann das Trainieren des neuronalen Netzes auch ein Testen, Referenzieren, und/oder Zertifizieren des neuronalen Netzes umfassen oder sein.
-
Das Verfahren kann ferner das Bestimmen der Daten und/oder das Betreiben eines oder mehrerer der zweiten neuronalen Netzte abhängig von dem trainierten ersten neuronalen Netz umfassen. Das zweite neuronale Netz kann dabei dem (trainierten) ersten neuronalen Netz entsprechen oder auf Basis der Daten des ersten neuronalen Netzes eingerichtet und/oder betrieben werden. Das zumindest eine zweite neuronale Netz kann zur Verarbeitung von Daten einer Fahrzeugkamera in ein oder mehreren (ggf. anderen) Fahrzeugen, insbesondere im Rahmen einer Fahrzeugfunktion der ein oder mehreren Fahrzeuge, bereitgestellt und/oder betrieben (auch zu verstehen als „verwendet“) werden.
-
Beispielsweise können beim Trainieren des ersten neuronalen Netzes erfolgte Veränderungen und/oder Anpassungen des ersten neuronalen Netzes (insgesamt oder auswahlweise) zum Betreiben des (zweiten) Fahrzeugkamerasystems mittels eines zweiten neuronalen Netzes verwendet werden.
-
Das Verfahren kann es somit ermöglichen oder verbessern, das Betreiben (auch zu verstehen als, das Nutzen) einer (weitwinkligen) Fahrzeugkamera (die z.B. für einen Parkassistenten vorgesehen ist) bzw. eines auf der zumindest einen Fahrzeugkamera basierenden Fahrzeugsystems in effizienter und präziser Weise zu verbessern bzw. erweitern.
-
Bevorzugt kann dabei das Ermitteln der Messwerte auf Basis der Bilddaten einer (z.B. weitwinkligen und/oder nicht in Fahrtrichtung bzw. geneigt verbauten Fahrzeugkamera) mittels des zweiten neuronalen Netzes erfolgen.
-
So können der Funktionsumgang und/oder die Güte einer (Fahrzeug-)Funktion auf Basis der Fahrzeugkamera und/oder der Nutzen der Fahrzeugkamera erhöht werden.
-
Das Verfahren kann umfassen, das Vergleichen des ersten Messwertes mit dem zweiten Messwert. Das Vergleichen kann gemäß einer vorausbestimmten Abhängigkeit erfolgen. Dabei können Vergleichsdaten ermittelt werden, die das Ergebnis des Vergleichs einer Vielzahl von Paaren der Messwerte kennzeichnet. Dabei kann das Vergleichen des ersten Messwertes mit dem zweiten Messwert das Ermitteln eines Maßes eines Unterschieds, z.B. einer Abweichung, eines Faktors oder Koeffizienten (z.B. einer vorausbestimmten Formel) zwischen dem ersten Messwert und dem zweiten Messwert umfassen.
-
Beispielsweise kann das Vergleichen der ersten mit dem ersten Messwert korrespondierenden Daten und der zweiten mit dem zweiten Messwert korrespondierenden Daten ein Ermitteln eines Musters aus den ersten Daten (z.B. den Verlauf der ersten Sensordaten) und den zweiten Daten (z.B. den Verlauf der zweiten Sensordaten) sein oder umfassen. Dabei kann das Ergebnis des Vergleichs das ermittelte Muster (insbesondere ein oder mehrere Parameter des Musters) sein und/oder ein Ähnlichkeitsmaß kennzeichnend eine Ähnlichkeit der Daten mit einem oder mehreren bestimmten Mustern sein. Beispielsweise kann das Maß der Konsistenz und/oder Inkonsistenz der ersten Daten und der zweiten Daten ein Ähnlichkeitsmaß der ersten Daten mit einem ersten Muster und ein Ähnlichkeitsmaß der zweiten Daten zu einem zweiten Muster kennzeichnen. Dabei kann das zweite Muster abhängig von dem ersten Muster oder das zweite Muster abhängig von dem zweiten Muster gewählt oder eingestellt (z.B. konfiguriert bzw. parametriert) sein.
-
Das Maß der Konsistenz und/oder Inkonsistenz kann ein Maß der Plausibilität und/oder der Unplausibilität eines oder mehrerer Paare aus dem ersten Messwert (oder einem Verlauf der ersten Messwerte) und dem zweiten Messwert (oder einem Verlauf der zweiten Messwerte) kennzeichnen.
-
Es können dann abhängig von dem Vergleich Vergleichsdaten ermittelt werden, die mit dem ersten Messwert und dem zweiten Messwert bzw. mit den jeweiligen Paaren der Messwerte korrespondieren. Vergleichsdaten, insbesondere auf Basis einer Vielzahl von Paaren können, zum Trainieren des ersten neuronalen Netzes verarbeitet werden. Beispielsweise können eine Auswahl, ein Verarbeiten, und/oder ein Übermitteln der ersten Messwerte bzw. der mit diesen korrespondierenden Daten, der zweiten Messwerte bzw. der mit diesen korrespondierenden Daten an eine Fahrzeug-externe Einheit abhängig von dem Ergebnis des Vergleichs erfolgen.
-
Beispielsweise wird im Zusammenhang mit den zweiten mit dem zweiten Messwert korrespondierenden Daten eine positive Stimulation des (zu trainierenden) ersten neuronalen Netzes (das „Belohnen“) ausgeführt, wenn der zweite Messwert mit dem entsprechenden ersten Messwert konsistent bzw. weitgehend übereinstimmend ist, und/oder eine negative Stimulation des ersten neuronalen Netzes (das „Bestrafen“) ausgeführt, wenn der zweite Messwert mit dem entsprechenden ersten Messwert nicht konsistent bzw. von diesem stark abweichend ist. So kann die Güte, insbesondere die Genauigkeit und/oder Verlässlichkeit, der Verarbeitung der Fahrzeugkameradaten des trainierten ersten neuronalen Netzes weiter erhöht werden.
-
Bevorzugt kann das Trainieren des neuronalen Netzes abhängig von dem Ergebnis des Vergleichs der zweiten Messwerte (und/oder der mit diesen korrespondierenden Daten) und der entsprechenden ersten Messwerte (und/oder der mit diesen korrespondierenden Daten) erfolgen.
-
Das Verarbeiten von Daten, die mit dem ersten Messwert und dem zweiten Messwert korrespondieren, kann dann zumindest teilweise innerhalb des Kraftfahrzeugs und/oder zumindest teilweise innerhalb der Fahrzeug-externen Einheit erfolgen.
-
Besonders bevorzugt werden in der Fahrzeug-externen Einheit die mit einer Vielzahl von Messwerten aus einer Vielzahl von Fahrzeugen korrespondierenden (jeweils von den mit dem ersten Messwert und mit dem zweiten Messwert korrespondierenden) Daten verarbeitet. Dabei kann ein (weiteres) Vergleichen der Daten und/oder das Trainieren des (ersten) neuronalen Netzes bevorzugt in der Fahrzeug-externen Einheit erfolgen. Durch die Verarbeitung der Daten in einer Fahrzeug-externen Einheit kann die Güte der Datenverarbeitung weiter erhöht werden (insbesondere durch Einbezug von Messwerten von unterschiedlichen Fahrzeugen).
-
Das Verfahren kann umfassen, das Ermitteln einer Mehrzahl von ersten Messwerten und einer entsprechenden Mehrzahl von zweiten Messwerten, sowie das Ermitteln, für jedes Paars aus jeweils einem ersten Messwert und einem zweiten Messwert, eines Maßes für eine Abweichung zwischen dem ersten und dem zweiten Messwert. Die Mehrzahl von Paaren aus jeweils einem ersten und einem zweiten Messwert kann dann in Abhängigkeit von dem jeweiligen Maß für die Abweichung zu mehreren unterschiedlichen Gruppen zugeordnet werden. Ferner können die Daten, die mit einem Paar aus jeweils einem ersten Messwert und einem zweiten Messwert korrespondieren, in Abhängigkeit von der Gruppe, der das Paar zugeordnet wurde, verarbeitet werden (insbesondere um das erste neuronale Netz zu trainieren). Durch das Gruppieren von Paaren von Messwerten kann die Güte des trainierten neuronalen Netzes weiter erhöht werden.
-
Gemäß einem weiteren Aspekt wird ein Computerprogramm, insbesondere ein Computerprogrammprodukt umfassend ein Computerprogramm, beschrieben, wobei das Computerprogramm ausgebildet ist, bei seiner Ausführung auf zumindest einer Recheneinheit das in diesem Dokument beschriebene Verfahren auszuführen.
-
Das Computerprogrammprodukt kann als ein Update eines bisherigen Computerprogramms ausgebildet sein, welches beispielsweise im Rahmen einer Funktionserweiterung, beispielsweise im Rahmen eines sogenannten „Remote Software Update“ die Teile des Computerprogramms bzw. des entsprechenden Programmcodes umfasst. Das Computerprogrammprodukt umfasst insbesondere ein von der Datenverarbeitungsvorrichtung lesbares Medium, auf dem der Programmcode gespeichert ist, oder zumindest eine verschlüsselte Datei. Gemäß einem weiteren Aspekt wird ein Programmprodukt beschrieben, das ein autorisiertes Zugriffsrecht auf abgelegte Daten des Computerprogrammprodukts umfasst.
-
Alternativ oder zusätzlich kann das Computerprogramm ein Update für das zweite neuronale Netz umfassen, wobei das Update abhängig von dem ersten trainierten neuronalen Netz eingerichtet ist. Beispielsweise kann das Update Daten zum Einrichten oder Aktualisieren des zweiten neuronalen Netzes (in einem oder mehreren) zweiten Fahrzeugen umfassen. Diese können auf den Daten beim Trainieren des ersten neuronalen Netzes basieren. Beispielsweise kann ein Datensatz auf Basis eines (ausgewählten, hinreichend performanten) Checkpoints des ersten neuronalen Netzes an mehrere (zweite) Fahrzeuge mit dem Computerprogramm und/oder durch das Computerprogramm bereitgestellt bzw. aktualisiert werden.
-
Gemäß einem weiteren Aspekt wird eine Vorrichtung zum Betreiben (z.B. zur verbesserten bzw. erweiterten Nutzung) einer Fahrzeugkamera eines Kraftfahrzeugs beschrieben. Die Vorrichtung kann eingerichtet sein, einen ersten Messwert in Bezug auf ein Objekt in einer Umgebung des Fahrzeugs (ggf. allein) auf Basis von Bilddaten der Fahrzeugkamera unter Verwendung eines ersten neuronalen Netzes zu ermitteln. Des Weiteren kann die Vorrichtung eingerichtet sein, einen zweiten Messwert in Bezug auf das Objekt anhand eines weiteren Sensors zu ermitteln. Die Vorrichtung kann ferner eingerichtet sein, Daten, die mit dem ersten Messwert und dem zweiten Messwert korrespondieren, zum Trainieren des ersten neuronalen Netzes zu verwenden.
-
Gemäß einem weiteren Aspekt wird ein (Straßen-)Kraftfahrzeug (insbesondere ein Personenkraftwagen oder ein Lastkraftwagen oder ein Bus oder ein Motorrad) beschrieben, das die in diesem Dokument beschriebene Vorrichtung umfasst.
-
Es ist zu beachten, dass die in diesem Dokument beschriebenen Verfahren, Vorrichtungen und Systeme sowohl alleine, als auch in Kombination mit anderen in diesem Dokument beschriebenen Verfahren, Vorrichtungen und Systemen verwendet werden können. Des Weiteren können j egliche Aspekte der in diesem Dokument beschriebenen Verfahren, Vorrichtungen und Systemen in vielfältiger Weise miteinander kombiniert werden. Insbesondere können die Merkmale der Ansprüche in vielfältiger Weise miteinander kombiniert werden.
-
Im Weiteren wird die Erfindung ohne Einschränkung der Allgemeinheit anhand von Ausführungsbeispielen näher beschrieben. Dabei zeigen
- 1a beispielhafte Komponenten eines Fahrzeugs;
- 1b einen beispielhaften Erfassungsbereich einer Fahrzeugkamera
- 2 einen beispielhaften Sensierungsbereich eines Fahrzeugs in der Umgebung des Fahrzeugs; und
- 3 ein Ablaufdiagramm eines beispielhaften Verfahrens, insbesondere betreffend die Auswertung der Sensordaten einer Fahrzeugkamera.
-
Wie eingangs dargelegt, befasst sich das vorliegende Dokument mit der Erhöhung der Güte eines Fahrzeugsystems und/oder mit der Erweiterung der Nutzbarkeit einer Fahrzeugkamera. In diesem Zusammenhang zeigt 1a beispielhafte Komponenten eines Fahrzeugs 100. Das Fahrzeug 100 kann, z.B. an einem Außenspiegel des Fahrzeugs 100, eine Fahrzeugkamera 102 umfassen, die eingerichtet ist, erste Sensordaten, insbesondere Fahrzeugkamera- und/oder Bilddaten, in Bezug auf ein Umfeld des Fahrzeugs 100 zu erfassen. Des Weiteren kann das Fahrzeug 100 ein oder mehrere Ultraschallsensoren 103 umfassen, die eingerichtet sind, zweite Sensordaten, insbesondere Ultraschalldaten, in Bezug auf das Umfeld des Fahrzeugs 100 zu erfassen. Ein (Steuer- und/oder Auswerte-) Vorrichtung 101 des Fahrzeugs 100 kann eingerichtet sein, auf Basis der ersten und/oder der zweiten Sensordaten ein oder mehrere Objekte 110 im Umfeld des Fahrzeugs 100 zu detektieren. Ein Fahrzeugsystem, insbesondere ein Parksystem, des Fahrzeugs 100 kann dann in Abhängigkeit von den ein oder mehreren detektieren Objekten 110 bereitgestellt, insbesondere betrieben, werden, z.B. um ein automatisiertes Einpark- und/oder Ausparkmanöver zu bewirken.
-
1b zeigt eine beispielhafte Fahrzeugkamera 102 mit einem bestimmten Erfassungsbereich 122. Des Weiteren veranschaulicht 1b eine bestimmte Erfassungsrichtung, insbesondere eine optische Achse, 121 der Fahrzeugkamera 102, die einen bestimmten Winkel 123 relativ zu der horizontalen Achse aufweist.
-
In diesem Dokument werden Maßnahmen beschrieben, die ein Fahrzeug 100 befähigen, quasi von selbst zu lernen, den Abstand 111, 112 zu ein oder mehreren Objekten 110 in der unmittelbaren Umgebung, z.B. zu hinten oder seitlich angeordneten Objekten 110, mit einer weitwinkligen Fahrzeugkamera 102, z.B. mittels einer Park- bzw. Rangierkamera, zu vermessen.
-
Für eine derartige Fahrzeugkamera 102 sind keine allgemeingültigen Regeln bestimmbar oder anwendbar, um Abstände 111, 112 zu Objekten 110 bzw. Abmessungen von Objekten 110 in einer verlässlichen Art und Weise zu bestimmen. Besonders problematisch kann das Vermessen der Objekte 110 aufgrund der extremen optischen Verzerrung und/oder der Perspektive, aus welcher typischerweise Objekte 110 im Nahfeld des Fahrzeugs 100 in der Fahrzeugkamera 102 abgebildet werden, sein. Daher ist die Anwendung des Verfahrens bei einer solchen Fahrzeugkamera 102 besonders vorteilhaft.
-
Da die physikalischen bzw. informationstechnischen Prozesse beim Betrieb der Fahrzeugkamera 102 (umfassend die entsprechende Bildverarbeitung) sowie des Ultraschallsensoren 103 (umfassend die entsprechende Signalverarbeitung) äußerst komplex und von einer sehr großen Anzahl von diversen Faktoren abhängig sind, wäre eine (z.B. theoretische und/oder auf einem Laborversuch basierende) Ableitung von (allgemeingültigen) Regeln äußerst schwierig bzw. uneffektiv. Spätestens wenn (typisch für das Kraftfahrzeug 100) zusätzlich eine Bewegung z.B. in Relation zur Fahrbahn und/oder zu Objekten 110 erfolgt und/oder diverse Faktoren, wie z.B. jeweilige Latenzzeiten und/oder Messzeiten, sich verändern bzw. verändert werden müssen, stößt die Qualität und/oder die Verlässlichkeit der Messwerte an ihre Grenzen.
-
Durch das Trainieren des zumindest einen (ersten) neuronalen Netzes kann ein trainiertes erstes neuronales Netz resultieren, das in dem Fahrzeug 100 bzw. als Daten zum Betreiben eines oder mehrerer zweiten neuronalen Netzte in einem oder mehreren weiteren Fahrzeugen 100 zur Verarbeitung der Daten auf Basis der einen oder mehrerer (zweiten) Fahrzeugkameras 102 verwendet werden kann. Dabei kann eine Vielzahl der vorgenannten Faktoren durch das zweite neuronale Netz eingelesen und berücksichtigt werden.
-
Das Trainieren des ersten neuronalen Netzes kann mit dem Ziel ausgeführt werden, die Verarbeitung der Bilddaten der Fahrzeugkamera (auch auf den Bilddaten basierender Daten) zum Ermitteln der ersten Messwerte durch das neuronale Netz präziser und/oder verlässlicher zu machen. Beispielsweise wird das neuronale Netz trainiert (verlässlichere, präzisere) Messwerte, insbesondere quantitative Messwerte betreffend einen Abstand 111, 112 zu Objekten 110 und/oder Abmessungen von Objekten 110 (ggf. nur oder überwiegend) auf Basis von Bilddaten zu ermitteln.
-
Beispielsweise wird das neuronale Netz trainiert, die Messwerte bei unterschiedlichen Geschwindigkeiten des Fahrzeugs 100 und/oder der Objekte 110 (z.B. trotz teilweise verwaschener Bilddaten der Fahrzeugkamera 102) zu ermitteln.
-
Unter dem Trainieren des neuronalen Netzes kann im Rahmen des vorliegenden Dokuments auch ein Anpassen, insbesondere ein Anpassen der Struktur, der Architektur des neuronalen Netzes, eine Anpassung der Vorverarbeitung der Eingangsdaten und/oder der Ausgangsdaten für den Betrieb des neuronalen Netzes.
-
Das Ermitteln der Messwerte (z.B. das Vermessen bzw. Schätzen des Abstands 111, 112) durch das trainierte neuronale Netz verbessert sich dahingehend, dass im Laufe des Trainierens (z.B. von Epoche zu Epoche) nach und nach präzisere Werte des Abstands 111, 112 auf Basis der Fahrzeugkameradaten der Fahrzeugkamera 102 durch das neuronale Netz ermittelbar sind. Dies kann erreicht werden, auch ohne, dass dafür bestimmte Regeln bzw. Algorithmen erstellt bzw. upgedatet werden müssen. Insbesondere ist es dafür ggf. nicht erforderlich, eine bestimmte Logik zu hinterlegen bzw. eine Programmierung eines bestimmten Algorithmus zur Bildverarbeitung zu erstellen (zumal dies wie bereits diskutiert für derartige weitwinklige Fahrzeugkameras 102 typischerweise nicht möglich ist).
-
Vielmehr können als Basis bzw. als Feedbackgeber zur Ausführung des Trainierens des neuronalen Netzes (auch zu Verstehen zum Ausführen des entsprechenden nicht-regelbasierten bzw. maschinellen Lernens) die Messwerte auf Basis der Ultraschallsignale der ein oder mehreren Ultraschallsensoren 103 genutzt werden. Dies ist vorteilhaft, da Ultraschallsensoren 103 den Abstand 111, 112, insbesondere den lateralen bzw. den Lot-Abstand, zu einem Objekt 110 in präziser und/oder verlässlicheren Art und Weise messen können (im Gegensatz zu einer weitwinkligen Fahrzeugkamera 102).
-
Zur Ausführung des maschinellen Lernens können viele Tausend oder Millionen konkrete Messvorgänge (bzw. Paare der ersten und der zweiten Messwerte) mit diversen in der Umgebung des jeweiligen Fahrzeugs 100 befindlichen bzw. erkannten Objekten 110 und/oder bei verschiedenen Randbedingungen in der Umgebung des Fahrzeugs 100, Bewegungsparametern des Fahrzeugs 100 und/oder der Objekte 110 in der Umgebung des Fahrzeugs 1000 erfolgen. Dies erfolgt bevorzugt mittels einer Vielzahl von Fahrzeugen 100, insbesondere von Fahrzeugen 100, die sich im Nutzbetrieb befinden.
-
Dadurch bzw. erst dadurch kann ein Trainieren der einen oder mehreren ersten neuronalen Netze erfolgen, bei dem alle wesentlichen, im reellen Betrieb (z.B. Fahrbetrieb, Park bzw. Rangierbetrieb) vorkommenden Kombinationen der einflussnehmenden Parameter (in der hinreichenden Quantität, Vielfalt und Differenzierung) berücksichtigt werden können.
-
Dabei können eine Vielzahl unterschiedlicher Anordnungen von Objekten 110 vermessen werden, und die Daten, die zu den Messvorgängen korrespondieren, können zur Verbesserung des in diesem Dokument beschriebenen Fahrzeugkamerasystems, insbesondere zum Trainieren des Systems, verwendet werden. Die Messvorgänge können auf eine bestimmte Art und Weise erfolgen. Insbesondere können die Messvorgänge ggf. nur bzw. speziell zu diesem Zweck in Fahrzeugen 100 veranlasst bzw. durchgeführt werden.
-
Im Verfahren können eine Aktivierung, Veränderung des Betriebsmodus und/oder eine Ansteuerung der Fahrzeugkamera 102 (auch: eines Teils der entsprechenden Datenverarbeitung) und/oder des Ultraschallsensors 103 (auch: eines Teils der entsprechenden Datenerarbeitung), und/oder das Erfassen und/oder Verarbeiten der mit dem ersten Messwert und/oder mit dem zweiten Messwert korrespondierender Daten erfolgen, die von einem Bedarf an den entsprechenden Daten im Fahrzeug 100 unabhängig sind. Beispielsweise kann das Veranlassen einer ersten sensorischen Erfassung (betreffend Bilddaten) bzw. zweiten sensorischen Erfassung (betreffend Ultraschallsignale) erfolgen, die für den (aktuellen, funktionalen) Betrieb des Fahrzeugs 100 nicht notwendig oder zumindest teilweise kontraproduktiv ist. Im Verfahren können sowohl ein (mehr oder minder passives) Ermitteln der ersten Daten und/oder der zweiten Daten (z.B. mit einem aktiven Auswählen der Datenabschnitte) erfolgen, als auch zumindest teilweise ein aktives Erzeugen der ersten Daten und der zweiten Daten ausgeführt werden.
-
Eine bestimmte Situation, insbesondere eine bestimmte Anordnung eines oder mehrerer Objekte 110 zu einem Fahrzeug 100 oder eine bestimmte Anordnung von einem oder mehreren Objekten 110 zueinander in der Umgebung des Fahrzeugs 100, kann
- • einmal mittels eines, insbesondere nicht oder lediglich teilweise trainierten, neuronalen Netzes auf Basis von Fahrzeugkameradaten der Fahrzeugkamera 102 ausgewertet werden; und
- • einmal auf Basis der Sensordaten der ein oder mehreren Ultraschallsensoren 103 ausgewertet werden, z.B. durch Auswertung der Echo- bzw. Kreuzechosignale.
-
Die beiden Ergebnisse werden verarbeitet und zum Trainieren des neuronalen Netzes verwendet.
-
Die beiden Messvorgänge können ausgeführt und die entsprechenden, z.B. den Messvorgang betreffende und/oder mit diesem korrespondierende, Daten können erfasst werden. Dies kann (speziell) erfolgen, um das maschinelle Lernen auszuführen bzw. um ein hierzu eingerichtetes neuronales Netz zu trainieren.
-
Die (ersten und zweiten) Messvorgänge werden bevorzugt zumindest teilweise unabhängig von einer funktionalen Nutzung der Fahrzeugkamera 102 bzw. des Ultraschallsensors 103 und/oder unabhängig von einer Ausführung einer bestimmten Fahrzeugfunktion auf Basis der Bilddaten der Fahrzeugkamera 102 durchgeführt. Insbesondere können die beiden Vorgänge (quasi: eine Doppelmessung) alternativ oder zusätzlich zu einer Nutzung des Fahrzeugkamerasystems 102 zu einem funktionalen Zweck (aktiv) veranlasst werden. Dies kann auch außerhalb der funktionalen Use-Cases, z.B. nicht nur beim Parken bzw. Rangieren, oder bei bestimmten, insbesondere ein Parken und/oder Rangieren betreffenden, Fällen, erfolgen. Dabei kann kein oder im Wesentlichen nur das zweite Messergebnis, z.B. das auf den ein oder mehreren Ultraschallsensoren 103 basierte Ergebnis, funktional verwendet werden. Das erste, mit dem neuronalen Netz generierte, Messergebnis kann ggf. (zumindest für die ersten Tausende oder Millionen von Vorgängen) nur zum Trainieren verwendet werden. Dies hat eine besondere Bedeutung, weil während das erste neuronale Netz noch nicht hinreichend trainiert ist, die resultierenden Messergebnisse fehlerhaft sein können bzw. eine unvorteilhafte Abweichung aufweisen können. Daher ist es im Verfahren bevorzugt vorgesehen, dass die (während des Trainierens) mittels des ersten neuronalen Netzes ermittelten Messwerte nicht funktional, z.B. nicht zum Betreiben einer Nutzerfunktionalität, nicht zur Ansteuerung von Aktoren, nicht zur Ausgabe von Fahrerinformation, etc., genutzt werden.
-
Bis zum Erreichen eines hinreichenden Trainingsgrads des neuronalen Netzes können die Daten auf Basis der Fahrzeugkamera 102 somit ggf. nur zu einem anderen Zweck, z.B. zu einem herkömmlichen Zweck für eine Anzeige an einem Bildschirm des Fahrzeugs 100, nicht aber als erster Messwert für einen Abstand 111, 112 verwendet werden. Die Messergebnisse auf Basis des noch nicht (hinreichend) trainierten neuronalen Netzes zur Verarbeitung der Daten des Fahrzeugkamerasystems 102 werden somit bevorzugt ganz oder überwiegend zum Trainieren, z.B. zum Generieren der Daten eines sogenannten Checkpoints, des trainierten neuronalen Netzes, z.B. zum Anlernen von Gewichtsinformationen, zum Anlernen eines Bias Terms, etc., der nächsten Generation der Fahrzeugkamera 102 und/oder der ein oder mehreren Funktionalitäten auf Basis der Fahrzeugkamera 102 verwendet.
-
Mit anderen Worten kann es sich zumindest bei dem Prozessieren der Daten mit dem noch nicht hinreichend trainierten neuronalen Netz um einen speziell veranlassten (für sonstige Zwecke nicht funktional erforderlichen) Vorgang handeln. Es können eine Vielzahl dieser Vorgänge ausgeführt bzw. veranlasst werden, die (ggf. nur) zu dem besagten Zweck und der besagten Verwendung bestimmt sind, insbesondere um das neuronale Netz anzulernen.
-
Das Veranlassen der (einen oder mehreren ersten und/oder zweiten) Messvorgänge kann abhängig von einer vorausbestimmten Bedingung, insbesondere einer Triggerbedingung, erfolgen. Die Triggerbedingung kann z.B. kennzeichnend dafür sein, dass sich bestimmte Objekte 110, z.B. Objekte 110 einer bestimmten Art, z.B. ein Bordstein, ein Schlagloch, Tiere, insbesondere bestimmte Tierarten (Katzen, Hunde, Marder, etc.), menschliche Beine bzw. Füße, Teile, z.B. Karosserieteile und/oder Reifen, eines Fahrzeugs, unförmige und/oder noch nicht bekannte Objekte 110, in dem betreffenden Umfeld des Fahrzeugs 100 befinden bzw. dass bestimmte Objekte 110 erkannt werden.
-
Die Triggerbedingung kann z.B. von einem Parameter, Typ und/oder Muster des Objekts 110 in der Umgebung des Fahrzeugs 100 abhängen. Mit anderen Worten kann das Verfahren (aktiv) eine Auswahl von Objekten 110 umfassen, die zum Trainieren des (ersten) neuronalen Netzes verwendet werden, und/oder eine Auswahl von Objekten 110, die nicht zum Trainieren des neuronalen Netzes verwendet werden. Somit kann die Qualität des Trainierens sowie der von dem trainieren neuronalen Netzt ausführbaren Performance weiter erhöht werden.
-
Insbesondere können Messvorgänge derart ausgeführt werden, dass zumindest vorrangig die ersten Daten bzw. Messwerte (der Fahrzeugkamera 102) und/oder die zweiten Daten bzw. Messwerte (des Ultraschallsensors 103) generiert, insbesondere ins Backend übermittelt, erfasst, und/oder im Verfahren weiterverarbeitet werden, die mit bestimmten Objekten 110, Anordnungen von Objekten 110, Randbedingungen und/oder Situationen korrespondieren. Als Daten, die mit einem Messvorgang korrespondieren, werden insbesondere Daten aufgefasst, die sich auf dasselbe (relativ kurze) Zeitintervall beziehen, wie der jeweilige Messvorgang, auf ein (relativ kurzes) Zeitintervall vor dem Messvorgang und/oder nach dem jeweiligen Messvorgang. Mit anderen Worten können sich die in diesem Dokument als korrespondierend bezeichneten Daten bzw. Messwerte auf Parameter beziehen, was vor, während oder nach dem Zustandekommen des jeweiligen Messvorgangs war, ist oder sein wird. Daher kann zumindest eine vorausbestimmte Bedingung entsprechend definiert sein. Die Parameter derselben Art können daraufhin auch beim Betreiben des zweiten neuronalen Netzes berücksichtigt, insbesondere als Inputgrößen des zweiten neuronalen Netzes verwendet, werden.
-
Insbesondere können Messvorgänge derart ausgeführt werden, dass zumindest vorrangig die ersten Daten bzw. Messwerte und/oder die zweiten Daten bzw. Messwerte generiert, insbesondere ins Backend übermittelt, erfasst, und/oder im Verfahren weiterverarbeitet werden, die (zumindest statistisch) eine erhöhte, insbesondere eine (besonders) hohe, Abweichung zwischen dem ersten Messvorgang auf Basis des neuronalen Netzes und der Fahrzeugkameradaten und dem zweiten Messvorgang auf Basis der Ultraschallsensorik 103 verursachen.
-
Bevorzugt kann das (erste) neuronale Netz nur, vorrangig und/oder im Wesentlichen mit den Daten (nach)trainiert werden, die mit Messwerten korrespondieren, die bestimmte Maße der Abweichungen der Messwerte (innerhalb eines Paares bzw. zwischen den zwei Messvorgängen), insbesondere Abweichungen in eine bestimmte Richtung bzw. in einer bestimmten Größenordnung, aufweisen. Dabei können (auch) Daten verwendet werden, die mit einer vergleichsweise großen Abweichung der Messwerte oder mit einem fehlerhaften zweiten Messwert korrespondieren. Diese können zum Bestrafen des neuronalen Netzes verwendet werden.
-
Zur Auswahl der Daten kann zumindest eine vorausbestimmte Bedingung überprüft werden. Diese kann (bevorzugt) in einer Triggerbedingung entsprechend hinterlegt sein. Durch die Verwendung einer vorausbestimmten Bedingung, insbesondere einer Triggerbedingung, z.B. wie oben beschrieben, kann die nötige Übermittlung und Verarbeitung von Daten signifikant vereinfacht werden. Im Rahmen des in diesem Dokument beschriebenen Verfahrens kann somit überprüft werden, ob eine Triggerbedingung erfüllt ist. Wenn die Triggerbedingung erfüllt ist, können ein erster Messwert und ein zweiter Messwert ermittelt werden, um das neuronale Netz anzutrainieren.
-
Ferner können ein oder mehrere Parameter einer Situation, insbesondere einer Fahrsituation bzw. Park- oder Rangiersituation, ermittelt und berücksichtigt werden. Ferner kann ein Parameter einer Randbedingung (z.B. einer Randbedingung, die gehäuft bzw. vermehrt zu nicht zueinander passenden Ergebnissen des ersten Messvorgangs und des zweiten Messvorgangs führen) zu dem ersten Messvorgang und/oder dem zweiten Messvorgang, z.B. kennzeichnend für die Temperatur, die Lichtverhältnisse, die Luftfeuchtigkeit, etc. ermittelt und berücksichtigt werden. Insbesondere kann die zumindest eine vorausbestimmte Bedingung, z.B. die Triggerbedingung, abhängig von einem oder mehreren Parametern der Situation und/oder Randbedingung ermittelt werden.
-
Bevorzugt kann die zumindest eine Triggerbedingung abhängig von einer Mustererkennung sein, wobei sich die Mustererkennung auf eine oder mehrere Gegebenheiten aus folgender Liste beziehen kann:
- • Daten der Fahrzeugkamera 102;
- • Daten des Ultraschallsensors 103;
- • ein Maß der Abweichung zwischen bestimmten ersten Daten korrespondierend mit dem ersten Messvorgang und zweiten Daten korrespondierend mit dem zweiten Messvorgang;
- • Parameter der Randbedingung, betreffend den zweiten und/oder ersten Messvorgang; und/oder
- • Parameter der Situation, insbesondere der Fahr, Park oder Rangiersituation.
-
Dabei können eine oder mehrere der Gegebenheiten gemäß einer vorausbestimmten Bedingung ausgewertet werden, z.B. abhängig von bestimmten Schwellwerten, erkannten Mustern verglichen werden.
-
Die ein oder mehreren Parameter einer Situation (z.B. Fahrsituation, Park- und/oder Rangiersituation) und/oder die ein oder mehrere Parameter der Randbedingung können, insbesondere zusammen mit dem jeweiligen ersten Messwert und/oder dem zweiten Messwert, zum Trainieren des (ersten) neuronalen Netzes verwendet werden. Diese können ebenfalls zum Trainieren des (ersten) neuronalen Netzes eingelesen werden.
-
Ein oder mehrere Schritte des Verfahrens, insbesondere das Veranlassen der sensorischen Erfassungen, die Auswahl der Daten zu (untereinander) konsistenten oder nicht konsistenten Messwerten und/oder das maschinelle Lernen (das Trainieren des ersten neuronalen Netzes), können zumindest teilweise in dem Fahrzeug 100 (z.B. in einem Ultraschall bzw. Fahrzeugkamerasteuergerät), z.B. in einem Zentralsteuergerät des Fahrzeugs 100 (z.B. Bordcomputer), und/oder zumindest teilweise in einem Backend (z.B. mit Vorteil einer größeren Rechenleistung) ausgeführt werden. Das Trainieren kann mit oder mittels einer Recheneinheit, die die Recheneinheit des Fahrzeugs 100 (z.B. im Backend oder als eine stationär gelagerte Variante der Recheneinheit) nachbildet bzw. emuliert, erfolgen.
-
Das Ergebnis des maschinellen Lernens bzw. des Trainierens des (zweiten) neuronalen Netzes kann, z.B. in Form von Checkpoints, z.B. nach einer sogenannten Epoche, als Daten repräsentierend die Gewichtsinformationen und/oder die Bias Terms, etc. im selben Fahrzeug 100 und/oder in einer Vielzahl weiterer Fahrzeuge 100 in dem (dann eingelernten bzw. trainierten neuronalen Netz) genutzt werden.
-
Beispielsweise kann der Checkpoint eines, z.B. in einem Backend, hinreichend und erfolgreich eingelernten ersten neuronalen Netzes auf das (dann zum Nutzbetrieb eingerichtete) zweite neuronale Netz in den entsprechenden Recheneinheiten in den Fahrzeugen 100 für einen Feld- bzw. Nutzbetrieb aufgespielt und (in den j eweiligen Fahrzeugen) verwendet werden. Diese können z.B. mittels eines SW-Updates, etwa bei den bereits bei Nutzern befindlichen Fahrzeugen 100, aktualisiert werden. Zumindest im Ergebnis kann daher ein Fahrzeug 100 auch von anderen Fahrzeugen 100 lernen, Messvorgänge auf Basis der Fahrzeugkameradaten (ggf. mit dem Ziel einer zyklischen Verbesserung) zu ermitteln. Auf diesem Wege kann die Performance im Vergleich zu regelbasierten, programmierten bzw. programmierbaren Algorithmen, die auf vorausbestimmten Zusammenhängen basieren bzw. basieren müssen, übertroffen werden.
-
Ein derart trainiertes System (z.B. ein Fahrzeugkamerasystem 102 mit dem trainierten neuronalen Netz) kann für eine weitere Umfeldsensierung, Objekterkennung und/oder Vermessung verwendet werden. Das trainierte System kann auch in Fusion mit einem anderen Sensor oder Sensorsystem (auch ggf. mit demselben Ultraschallsensor 103, wobei dabei das bereits zumindest zu einem bestimmten Grad trainierte System zur Fusion genutzt wird) betrieben werden.
-
Es werden ferner ein oder mehrere Fahrzeugfunktionalitäten beschrieben, die mit dem trainierten neuronalen Netz auf Basis der Fahrzeugkameradaten 102 betrieben werden bzw. betreibbar sind. Beispielsweise kann, z.B. innerhalb einer Sensorfusion oder auf Basis des mit dem (zweiten) neuronalen Netz ermittelter Messwerte, eine beliebige Fahrerinformation, z.B. eine sogenannte augmentierte Realität, ausgeführt werden. Ferner können, z.B. innerhalb einer Sensorfusion oder auf Basis der mit dem (zweiten) neuronalen Netz ermittelten Daten, eine Steuerung oder Regelung von Längsführung, Querführung, und/oder eine Manöverausführung des Fahrzeugs 100 ausgeführt werden. Beispielsweise kann das zweite trainierte neuronale Netz zum Veranlassen von Bremsen, Lenken, Beschleunigen, Ausweichen, Manöverausführung, z.B. von einem Park- und/oder Rangiermanöver, oder zu einer beliebig gestalteten Unterstützung des Nutzers des Fahrzeugs 100 verwendet werden. Je nach Ausgestaltung des Verfahrens kann das zweite neuronale Netz ein ähnliches, gleiches oder dasselbe neuronale Netz wie das erste neuronale Netz sein. Dabei kann ein, z.B. lediglich für eingeschränkte Verwendungsszenarien und/oder sehr niedrige Geschwindigkeiten bestimmtes, Fahrzeugkamerasystem (z.B. ein System auf Basis von mehreren Kameras und Ultraschallsensoren) zum Betreiben neuer bzw. verbesserter Funktionalitäten befähigt werden.
-
Es wird somit in diesem Dokument ein verbessertes Verfahren zur Nutzung eines Fahrzeugkamerasystems 102, insbesondere eines Einparkkamerasystems eines Fahrzeugs 100, eine entsprechende Vorrichtung 101, ein Fahrzeug 100 sowie ein korrespondierendes Computerprogramm beschrieben. Insbesondere wird ein Verfahren für eine verbesserte Erkennung und/oder Vermessung der Objekte 110 bzw. des Abstands 111, 112 zu einem Objekt 110 in der Umgebung eines Fahrzeugs 100 beschrieben.
-
3 zeigt ein Ablaufdiagramm eines beispielhaften (ggf. Computerimplementierten) Verfahrens 300 zur Nutzung einer Fahrzeugkamera 102 eines Kraftfahrzeugs 100. Die Fahrzeugkamera 102 kann eine weitwinklige Fahrzeugkamera 102 umfassen und/oder kann Teil eines Parksystems des Fahrzeugs 100 sein, insbesondere um einem Nutzer des Fahrzeugs 100 bei einem Parkvorgang auf einem Bildschirm ein Bild in Bezug auf die rückwärtige und/oder seitliche Umgebung des Fahrzeugs 100 anzuzeigen.
-
Das Verfahren 300 umfasst das Ermitteln 301 eines ersten Messwertes in Bezug auf ein Objekt 110 in einer Umgebung des Fahrzeugs 100 auf Basis von Bilddaten der Fahrzeugkamera 102 unter Verwendung eines ersten neuronalen Netzes.
-
Das erste neuronale Netz kann darauf ausgelegt sein, Bilddaten, insbesondere ein Bild oder eine zeitliche Sequenz von Bildern, als Eingangswerte aufzunehmen. Des Weiteren kann das erste neuronale Netz ausgebildet sein, den ersten Messwert als entsprechenden Ausgangswert bereitzustellen. Der erste Messwert kann z.B. einen (ggf. allein) auf Basis der Bilddaten der Fahrzeugkamera 102 ermittelten Abstand 111, 112 eines Objektes 110 in der Umgebung des Fahrzeugs 100 anzeigen (z.B. den Abstand 111 zwischen dem Fahrzeug 100 und dem Objekt 110 und/oder den Abstand 112 zwischen dem Objekt 110 und einem anderen Objekt 110).
-
Das Verfahren 300 umfasst ferner das Ermitteln 302 eines zweiten Messwertes in Bezug auf das Objekt 110 anhand eines weiteren Sensors 103 (insbesondere anhand eines Ultraschallsensors). Der weitere Sensor 103 kann Teil des Kraftfahrzeugs 100 sein. Der zweite Messwert kann ebenfalls den Abstand 111, 112 des Objektes 110 anzeigen. Dabei kann der zweite Messwert als Referenz für den ersten Messwert betrachtet werden und/oder dienen. Insbesondere kann der weitere Sensor 103 eingerichtet sein, einen zweiten Messwert zu ermitteln, der sich auf die gleiche Messgröße (z.B. den Abstand 111, 112 und/oder Abmessungen der Objekte 110) bezieht, wie der erste Messwert, der aber eine höhere Zuverlässigkeit und/oder Genauigkeit aufweist, als der erste Messwert.
-
Des Weiteren umfasst das Verfahren 300 das Verarbeiten 303 von Daten, die mit dem ersten Messwert und dem zweiten Messwert korrespondieren, zum Trainieren des ersten neuronalen Netzes. Insbesondere kann die Abweichung zwischen dem ersten Messwert und dem zweiten Messwert dazu verwendet werden, das erste neuronale Netz anzupassen. Dabei (bei dem Trainieren des neuronalen Netzes) können insbesondere Gewichte und/oder Offsets von Neuronen des ersten neuronalen Netzes angepasst werden. So können die Zuverlässigkeit und die Genauigkeit des ersten neuronalen Netzes (das dann als „zweites“, antrainiertes, neuronales Netz bzw. Daten auf Basis eines entsprechenden Checkpoints bereitgestellt werden kann) erhöht werden.
-
Insbesondere kann es so ermöglicht werden, ggf. allein auf Basis von Bilddaten einer (weitwinkligen) Fahrzeugkamera 102 Messwerte in Bezug auf den Abstand 111, 112 von ein oder mehreren Objekten 110 in der Umgebung eines Fahrzeugs 100 in einer (zum Betreiben unterschiedlicher Funktionalitäten) präzisen und/oder verlässlichen Qualität zu ermitteln.
-
Es wird somit ein Verfahren 300 zur (erweiterten) Nutzung eines Fahrzeugkamerasystems 102, insbesondere eines Einparkkamerasystems, eines Fahrzeugs 100 beschrieben. Das Verfahren 300 umfasst das Ermitteln eines ersten Messwerts betreffend ein Objekt 110 in der Umgebung des Fahrzeugs 100, mittels eines ersten neuronalen Netzes auf Basis der Bilddaten einer Fahrzeugkamera 102. Des Weiteren kann das Verfahren 300 umfassen, das Ermitteln eines zweiten Messwerts betreffend das Objekt 102 auf Basis eines weiteren Fahrzeugsensors 103, insbesondere eines weiteren Fahrzeugsensors 103 des Fahrzeugs 100.
-
Die Daten, die mit dem zweiten Messwert und/oder mit dem ersten Messwert korrespondieren, können zum Trainieren des ersten neuronalen Netzes verwendet werden, wobei mit dem Ergebnis des Trainierens des ersten neuronalen Netzes ein oder mehrere zweite neuronale Netze zur Verarbeitung der Daten einer Fahrzeugkamera 102 in (entsprechenden) einem oder mehreren Fahrzeugen 100 betrieben werden können oder betreibbar sind.
-
Das erste neuronale Netz kann z.B. in dem Fahrzeug 100 eingesetzt werden (in dem der erste und/oder der zweite Messwert ermittelt wird). Das erste neuronale Netz kann ein nicht trainiertes bzw. nicht hinreichend trainiertes neuronales Netz sein. Dieses neuronale Netz kann einem vorangegangenen Checkpoint entsprechen oder zunächst mit diesem betrieben werden. Es kann das erste zu trainierende neuronale Netz und/oder ein neuronales Netz von demselben (oder ähnlichen) Typ wie das zweite neuronale Netz sein, welches dann mit dem Ergebnis des Trainierens (z.B. in weiteren Fahrzeugen 100) betrieben wird. Das erste neuronale Netz kann im Fahrzeug 100, insbesondere in einem oder mehreren im Nutzbetrieb befindlichen Fahrzeugen 100, betrieben werden. Alternativ oder ergänzend kann sich das erste oder das zweite neuronale Netz in einer beabstandeten Recheneinheit, z.B. in einem Backend, befinden und/oder dort trainiert werden.
-
Bei einer bevorzugten Variante des Verfahrens 300 können in einer Vielzahl von Fahrzeugen 300, z.B. aus einer Fahrzeug-Flotte, Daten der jeweiligen Fahrzeugkameras 102, insbesondere Bilder, erfasst werden. Diese können, z.B. zusammen mit Daten des weiteren Sensors 103 des jeweiligen Fahrzeugs 100 und den korrespondierenden Daten, an ein Backend übermittelt werden. Dabei kann das Trainieren des ersten neuronalen Netzes im Backend erfolgen.
-
Bevorzugt kann es sich bei dem weiteren Sensor 103 um einen in einem Fahrzeug 100 zu einem anderen Zweck nutzbaren Sensor handeln. Bevorzugt handelt es sich bei dem weiteren Fahrzeugsensor 103 um einen Ultraschallsensor des Fahrzeugs 100, insbesondere um ein Ultraschallsystem umfassend mehrere, z.B. vorne, hinten, seitlich, vorne-seitlich bzw. hinten am Fahrzeug 100 seitlich angeordnete, Ultraschallsensoren. Beispielsweise kann es sich um ein entsprechend eingerichtetes Park- und Rangiersystem, insbesondere um ein Park-Distance-Control System, handeln. Es ergibt sich somit der Vorteil, dass dieses zur Verbesserung des Fahrzeugkamerasystems 102 genutzt werden kann.
-
Der erste Messwert und/oder der zweite Messwert können für einen Abstand 111, 112 zu zumindest einem Objekt 110 kennzeichnend, insbesondere repräsentierend, sein. Die Messwerte können sich auf einen Abstand 111 von dem Fahrzeug 100 und/oder auf einen Abstand 112 von einem weiteren Objekt 110 beziehen. Beispielsweise kann sich ein Messwert auf einen Abstand 112 zwischen zumindest zwei Objekten 110 in der Umgebung des Fahrzeugs 100 beziehen.
-
Ferner kann ein Messwert auch eine Beschaffenheit, Form, Klasse (Art), Abmessung, Muster, etc. eines Objekts 110 kennzeichnen. Dabei kann das erste neuronale Netz (auch) trainiert werden, Beschaffenheit, Form, Klasse (Art), Abmessung, Muster, etc. eines Objekts 110 in einer verbesserten Art und Weise zu bestimmen. Bei einem Objekt 110 kann es sich um ein dreidimensionales und/oder über der Fahrbahnebene erhabenes Objekt handeln.
-
Besonders bevorzugt wird das neuronale Netz abhängig (nur oder vorrangig) trainiert, insbesondere abhängig von:
- • den Daten, die zu den (nach einem bestimmten Kriterium) untereinander überwiegend übereinstimmenden ersten Messwerten und zweiten Messwerten korrespondieren; und/oder
- • den Daten, die mit nicht übereinstimmenden ersten Messwerten und zweiten Messwerten und/oder von nicht (nach einem bestimmten Kriterium) passenden ersten und zweiten Messwerten korrespondieren.
-
Die erstgenannten Fälle bzw. Daten können für eine Belohnung des neuronalen Netzes verwendet werden. Die letztgenannten Fälle bzw. Daten können für eine Bestrafung des neuronalen Netzes verwendet werden.
-
Die ersten Fälle und die zweiten Fälle können, insbesondere bereits im Fahrzeug 100, als solche erkannt und/oder voneinander unterschieden, werden. Ferner können die ersten Fälle und die zweiten Fälle einer unterschiedlichen Verarbeitung unterzogen werden.
-
Insbesondere handelt es sich bei dem (ersten und/oder zweiten) neuronalen Netz um ein Netz mit der Anzahl von Schichten von größer als 7, 11, oder 19. Mit den Daten korrespondierend zu dem ersten Messvorgang und/oder dem zweiten Messvorgang kann ein Deep Learning des neuronalen Netzes ausgeführt werden.
-
Bei der Fahrzeugkamera 102 kann es sich um eine weitwinklige Fahrzeugkamera handeln, deren optische Achse 121 nach unten geneigt ist. Der erste und/oder zweite Messwert können einen Abstand 111, 112, insbesondere und/oder überwiegend einen lateralen bzw. Lot-Abstand 112, kennzeichnen, insbesondere repräsentieren. Bevorzugt handelt es sich um eine Fahrzeugkamera 102 mit einem Öffnungswinkel 122 von größer als 80, 100, 120, 140, 170, 180° und/oder um eine Fahrzeugkamera 102, die zumindest ein Objekt 110 in einem Abweichungswinkel von größer als 30, 60, 90° von der eigenen optischen Achse 121 erfasst. Dementsprechend kann es sich auch bei dem Objekt 110 um ein Objekt 110 und/oder bei dem Abstand 111, 112 zu dem Objekt 110 um einen Abstand 111, 112 handeln, das bzw. der sich in einem Abweichungswinkel von größer als 30, 60, 90° von der optischen Achse 121 der Fahrzeugkamera 102 befindet.
-
Bevorzugt handelt es sich bei der Fahrzeugkamera 102 um eine überwiegend hinten, seitlich, vorne, vorne-seitlich, hinten-seitlich am Fahrzeug 100 angeordnete bzw. verbaute Fahrzeugkamera 102. Besonders bevorzugt handelt es sich um eine (weitwinklige) Rückfahrkamera, um eine vordere (weitwinklige) Fahrzeugkamera oder um eine seitliche (weitwinklige) Fahrzeugkamera, die zumindest vorwiegend zu einer Erfassung einer nahen, unmittelbaren Umgebung des Fahrzeugs 100 verwendet wird bzw. ausgelegt, insbesondere optimiert, ist. Die Fahrzeugkamera 102 kann einen Erfassungsbereich 122 aufweisen, der sich von einer Geraden senkrecht nach unten bis zu dem Horizont, insbesondere bis zu einem Winkel größer als 15, 20, 30° über dem Horizont erstreckt. Beispielsweise kann die optische Achse 121 der Fahrzeugkamera 102 eine Neigung 123 ausgehend vom Horizont nach unten von zumindest 30, 45, 60° aufweisen.
-
Als die Fahrzeugkamera 102 ist im Rahmen des vorliegenden Dokuments insbesondere auch ein System mit zwei oder mehr als zwei Kameras, z.B. ein auf einer Fusion der Daten von zumindest zwei Fahrzeugkameras basierendes System, zu verstehen. Insbesondere handelt es sich bei der Fahrzeugkamera 102 um eine Fahrzeugkamera, die ausgebildet ist, die überwiegende Mehrheit der realen Pixel, welche die Umgebung des Fahrzeugs 100 in einem Abstand von höchstens 3, 5, 10, 20 Meter vom Fahrzeug 100 beschreiben, abzubilden.
-
Bevorzugt kann das von der Fahrzeugkamera 102 erfasste Blickfeld 122 einen Teil des Fahrzeugs 100 umfassen. Bei dem erfassten Blickfeld handelt es sich insbesondere um ein von der Fahrzeugkameraoptik und dem Fahrzeugkamerasensor erfasstes Blickfeld. Dieses Blickfeld kann sich von dem (etwa für ein anzeigendes System) verarbeitetes Blickfeld unterscheiden.
-
Derartige weitwinklige Fahrzeugkameras 102 sind aufgrund der geometrischen Verhältnisse, extremer Verzerrungen (und meistens a-priori unbekannter Beschaffenheit von Objekten 110 in der Umgebung des Fahrzeugs 100) typischerweise zur Anzeige bzw. Bildinterpretation durch Menschen geeignet und ausgelegt. Die in diesem Dokument beschriebenen Maßnahmen ermöglichen es, eine solche Fahrzeugkamera 102 für weitere Funktionen nutzbar zu machen.
-
Im Rahmen des Verfahrens 300 kann ein Vergleich zwischen dem ersten Messwert und dem zweiten Messwert erfolgen. Im Rahmen des Vergleichs kann ein Maß der Abweichung, insbesondere ein Faktor, eine Differenz, eine Funktion, insbesondere ein Koeffizient einer Funktion, zwischen dem ersten Messwert und dem zweiten Messwert und/oder Daten jeweils korrespondierend mit dem ersten Messvorgang und dem zweiten Messvorgang, ermittelt und berücksichtigt werden. Die Auswahl der Daten zum Trainieren des neuronalen Netzes, insbesondere die Auswahl der Daten für die Belohnung und/oder Bestrafung des neuronalen Netzes, und/oder das Trainieren des ersten neuronalen Netzes können abhängig von dem Ergebnis des Vergleichs ausgeführt werden.
-
Eine Verarbeitung, insbesondere ein Vergleich der Daten, die mit dem ersten Messvorgang und dem zweiten Messvorgang korrespondieren, kann zumindest teilweise innerhalb des Fahrzeugs 100 und/oder zumindest teilweise in einer Fahrzeug-externen (beabstandet angeordneten) Recheneinheit ausgeführt werden.
-
Abhängig von einem Ergebnis des Vergleichs des ersten Messwerts auf Basis des ersten Messvorgangs mit dem zweiten Messwert auf Basis der zweiten Messvorgangs können erste Daten korrespondierend zu dem ersten Messwert und/oder zweite Daten korrespondierend zu dem zweiten Messwert ermittelt werden und zu der beabstandet angeordneten Recheneinheit übermittelt werden.
-
Die Daten korrespondierend mit dem ersten Messwert und dem zweiten Messwert, insbesondere die zugrundeliegenden Sensordaten bzw. die vorverarbeiteten Sensordaten, können zunächst in einen Speicher, insbesondere einen sogenannten Ringspeicher oder einer sinngemäß ausgestalteten Struktur im Fahrzeug 100, z.B. in einem entsprechenden Steuergerät, gespeichert werden. Diese Daten können bei einem (auch nachträglichen) Erkennen einer vorausbestimmten Bedingung, insbesondere der Triggerbedingung, aus dem Ringspeicher ausgelesen und in einem oder mehreren Schritten des Verfahrens verwendet werden.
-
Daher ermöglichen die in diesem Dokument beschriebenen Maßnahmen auch eine (für die praktische Anwendung des Verfahrens sehr wichtige) Gewinnung sowie die Auswahl der zum Trainieren verwendbaren Daten. Auch handelt es sich bei den (zur Fahrzeug-externen Einheit übertragenen) Daten um Daten, die für einen (reellen, typischen) Nutzbetrieb besonders relevant sind.
-
Dadurch kann die Menge der zu übermittelnden bzw. zu verarbeitenden Daten (z.B. um einen Faktor von 1000 oder mehr, oder 1 Million oder mehr) gesenkt werden. Ferner können durch eine derartige Auswahl der Daten die Qualität des Trainierens des neuronalen Netzes wesentlich erhöht werden bzw. fehlerhaftes Einlernen verhindert werden.
-
Bevorzugt können zunächst die zweiten Messwerte (und die Daten die einhergehend mit diesen ermittelt werden) bestimmt werden, die eine bestimmte, besondere, z.B. einen Schwellwert überschreitende und/oder einem bestimmten Kriterium entsprechende Abweichung von den ersten Messwerten aufweisen. Vorrangig zu diesen zweiten Messwerten und insbesondere zu den ersten Messwerten können auch umfangreichere korrespondierende Daten erfasst werden.
-
Die mit dem ersten Messvorgang bzw. mit dem zweiten Messvorgang korrespondierenden Daten können z.B. die Messwerte selbst, korrespondierende, z.B. im Wesentlichen nicht verarbeitete (überwiegend rohe) Daten auf Basis eines Sensors, z.B. Bilder, diverse Parameter, der mit den Messwerten korrespondierenden Randbedingungen, etc. kennzeichnen oder sein.
-
Diese können zur Ausführung des Trainierens des ersten neuronalen Netzes (zur Ausführung des entsprechenden maschinellen bzw. nicht-regelbasierten Lernens), insbesondere in der Fahrzeug-externen Einheit, z.B. im Backend, verwendet werden.
-
Im Rahmen des Verfahrens 300 können mehrere Datensätze zu jeweils einem ersten und zweiten Messvorgang, insbesondere im Fahrzeug 100, zu mehreren unterschiedlichen Gruppen zugeordnet werden, wobei die Zuordnung (bzw. Aufteilung) in Gruppen abhängig von dem Maß ihrer Abweichung und/oder dem Maß ihrer, insbesondere gegenseitigen Plausibilität, ausgeführt werden kann.
-
Das Zuordnen zu mehreren (unterschiedlichen) Gruppen kann auch als Aufteilen in mehrere, unterschiedliche Gruppen, sozusagen als ein „Sortieren“, verstanden werden. Dieses kann mittels einer Musterkennung ausgeführt werden.
-
Der erste Messwert und/oder der zweite Messwert können einen Abstand 111 zwischen dem Fahrzeug 100 und dem Objekt 110, zwischen dem Objekt 110 und einem weiteren Objekt 110, die Beschaffenheit und/oder die Klasse des Objekts 110 kennzeichnen. Der erste Messwert und/oder der zweite Messwert können im Wesentlichen den kürzesten und/oder lateralen Abstand (bzw. Lotabstand) zwischen dem Fahrzeug 100 und dem Objekt 110 oder zwischen zumindest zwei Objekten 110 in der Umgebung des Fahrzeugs 100 kennzeichnen.
-
Des Weiteren wird in diesem Dokument ein Verfahren zur Ermittlung eines zweiten neuronalen Netzes für ein oder mehrere zweite Fahrzeuge beschrieben. Ferner wird ein Fahrzeugkamerasystem umfassend eine Fahrzeugkamera 102 und das zumindest eine (zweite) neuronale Netz beschrieben. Außerdem wird ein System, insbesondere umfassend eine oder mehrere erste neuronale Netze, sowie zumindest eine Vorrichtung und/oder ein Backend zum Trainieren des neuronalen Netzes beschrieben. Ferner wird ein Verfahren zum Veranlassen der in diesem Dokument beschriebenen Messvorgänge zur Nutzung im Rahmen der Entwicklung des Fahrzeugkamera- und/oder Ultraschallsystems eines Fahrzeugs 100 beschrieben. Die erfassten Messwerte können (auch) zur Parametrierung und Absicherung eines solchen Systems genutzt werden.
-
Die in diesem Dokument beschriebenen Maßnahmen ermöglichen es, diverse Fahrzeugfunktionalitäten auf Basis des derart trainierten Systems bereitzustellen, beispielsweise Funktionalitäten für das Parken und Rangieren, z.B. Fahrerinformation oder Automatisierung; beispielsweise für das Fahren, z.B. zur Handhabung seitlicher Objekte 110, Ausweichen, etc.; beispielsweise zur Einblendung von augmentierten Grafiken beliebiger Art in ein Fahrzeugkamerabild, in ein Umgebungsmodell bzw. in eine Darstellung, die eine Umgebung des Fahrzeugs repräsentiert.
-
Es können Funktionalitäten mit einer höheren Automatisierung (auch zu verstehen als „Selbständigkeit“) bereitgestellt werden, insbesondere weil die Verlässlichkeit und Präzision von sensorisch erfassten Messwerten die Verlässlichkeit, Präzision und Performance der Funktionalität ermöglicht. Die Messwerte auf Basis des (trainierten) neuronalen Netzes können (ggf. auch) für die Ausführung einer Umfeldmodellierung (zum Berechnen, Aktualisieren und/oder Betreiben des sogenannten Umfeldmodells) und/oder für das zumindest teilweise automatisierte Fahren bzw. Parken oder Rangieren verwendet werden.
-
Des Weiteren ermöglichen es die in diesem Dokument beschriebenen Maßnahmen, eine bereits für andere Zwecke bereitgestellte, insbesondere weitwinklige, Fahrzeugkamera 102 für weitere, neue Anwendungen zu nutzen und/oder zu trainieren. Ferner kann ggf. eine Reduktion der Komplexität und somit der Kosten des Ultraschallsensorsystems 1ß3 eines Fahrzeugs 100 bewirkt werden. Das maschinelle Lernen kann auf Basis der Daten aus realen Park- und Rangiersituationen trainiert werden. Es können somit für die Praxis des Parkens bzw. Rangierens besonders relevante bzw. repräsentative Daten verwendet werden (um ein neuronales Netz zu trainieren). So kann die Performance des Systems erhöht werden.
-
Die vorliegende Erfindung ist nicht auf die gezeigten Ausführungsbeispiele beschränkt. Insbesondere ist zu beachten, dass die Beschreibung und die Figuren nur beispielhaft das Prinzip der vorgeschlagenen Verfahren, Vorrichtungen und Systeme veranschaulichen sollen.
