-
Die vorliegende Erfindung betrifft ein Verfahren, eine Vorrichtung und ein Fortbewegungsmittel zur Verwendung einer Funktionalität eines ersten Umfeldsensors in Verbindung mit einem dritten Umfeldsensor des Fortbewegungsmittels.
-
Durch eine stetige Zunahme einer Anzahl von Fahrerassistenzsystemen und durch einen vermehrten Einsatz von Systemen zur vollautomatisierten Steuerung in modernen Fortbewegungsmitteln werden heutzutage zu deren Realisierung u.a. hochwertige Kameratechnologien für eine Erfassung des Umfeldes der Fortbewegungsmittel eingesetzt. Weitere, bereits in der Vergangenheit eingesetzte Sensoren anderer Gattungen bleiben im Stand der Technik meist ebenfalls im Fortbewegungsmittel integriert und stellen somit einen entsprechenden Kostenfaktor dar. Die vorliegende Erfindungsmeldung zielt auf einen Abbau dieser Sensoren durch eine Nutzung der durch die Kameras erfassten Umfeldinformationen ab, wobei auf Basis dieser Umfeldinformationen die Funktionalitäten der weiteren Sensoren ersetzt werden können.
-
EP1674356 A1 schlägt ein Verfahren und eine Vorrichtung zur kombinierten Auswertung der Signale eines Regensensors und einer Kamera vor. Die Kamera soll den Regensensor unterstützen, um insbesondere bei nicht optimalen Umweltbedingungen verbesserte Erkennungsraten hinsichtlich einer Regendetektion zu erzielen. Die funktionale Kopplung der beiden Sensoren soll einerseits zu einer Verbesserung der jeweiligen Sensorfunktionalität und andererseits zur Verbesserung der Funktionalität korrespondierender Fahrerassistenzsysteme führen.
-
DE102006008274 A1 beschreibt ein Kamerasystem eines Kraftfahrzeugs zur Außenraumbeobachtung, Objekterkennung der Umgebung, sowie Ermittlung der Witterungsverhältnisse im Umfeld des Kraftfahrzeugs. In Abhängigkeit der Witterungsverhältnisse wird eine Scheibenwischanlage des Kraftfahrzeugs angesteuert. In diesem Zusammenhang ist vorgesehen, dass eine Lichtquelle der Kamera ein Lichtmuster aussendet, welches durch die Kamera im Umfeld des Kraftfahrzeugs erfasst wird. Anhand des erfassten Lichtmusters erfolgt die Beurteilung der Witterungsverhältnisse.
-
DE102015007493 A1 schlägt ein Verfahren zum Trainieren eines in einem Steuergerät eines Kraftfahrzeugs eingesetzten, auf maschinellem Lernen basierenden Entscheidungsalgorithmus vor, wobei der Entscheidungsalgorithmus in Abhängigkeit von den aktuellen Betriebszustand und/oder die aktuelle Fahrsituation beschreibenden Eingangsdaten zur Steuerung des Betriebs des Kraftfahrzeugs zu berücksichtigende Ausgangsdaten und einen die Verlässlichkeit der Ausgangsdaten beschreibenden Zuverlässigkeitswert ermittelt und vor der Nutzung in dem Kraftfahrzeug anhand eines Basistrainingsdatensatzes trainiert wurde, wobei bei einem einen Schwellwert unterschreitenden Zuverlässigkeitswert die der Ermittlung der dem Zuverlässigkeitswert zugeordneten Ausgangsdaten zugrundeliegenden Eingangsdaten als Beurteilungseingangsdaten gespeichert und zu einem späteren Zeitpunkt einer menschlichen Beurteilungsperson dargestellt werden, wonach Ausgangsdaten entsprechende Beurteilungsausgangsdaten durch eine Bedieneingabe der Beurteilungsperson entgegengenommen werden und der Entscheidungsalgorithmus anhand eines aus den Beurteilungseingangsdaten und den zugeordneten Beurteilungsausgangsdaten gebildeten Verbesserungstrainingsdatensatzes trainiert wird.
-
Die im Stand der Technik vorgeschlagenen Verfahren sehen keine Möglichkeit vor, bestehende Sensoren von Fortbewegungsmitteln durch andere bestehende Sensoren der Fortbewegungsmittel zur Reduzierung von Kosten zu ersetzen, ohne die als Ersatz dienenden Sensoren durch zusätzliche technische Vorrichtungen zu erweitern. Ferner sehen die vorgeschlagenen Verfahren keine Möglichkeit vor, eine Funktionalität bestehender Sensoren auf Basis eines selbstlernenden neuronalen Netzes auf andere bestehende Sensoren zu übertragen.
-
Es ist daher eine Aufgabe der vorliegenden Erfindung, die vorstehend genannten Nachteile des Standes der Technik zu lindern bzw. auszuräumen.
-
Die Lösung der vorstehend identifizierten Aufgabe erfolgt durch die Merkmale der unabhängigen Ansprüche. Die Unteransprüche haben bevorzugte Weiterbildungen der Erfindung zum Inhalt.
-
Gemäß einem ersten Aspekt der vorliegenden Erfindung wird ein Verfahren zur Verwendung einer Funktionalität eines ersten Umfeldsensors eines Trainingsfortbewegungsmittels in Verbindung mit einem dritten Umfeldsensor eines Fortbewegungsmittels vorgeschlagen. Das Fortbewegungsmittel und das Trainingsfortbewegungsmittel können beispielsweise jeweils ein Straßenfahrzeug (z.B. Motorrad, PKW, Transporter, LKW) oder ein Luftfahrzeug/Flugzeug oder ein Wasserfahrzeug sein, wobei eine Art des Fortbewegungsmittels und eine Art des Trainingsfortbewegungsmittels identisch oder verschieden sein kann. Der erste Umfeldsensor kann beispielsweise ein Regen- und Lichtsensor des Trainingsfortbewegungsmittels sein, der eingerichtet ist, einen Niederschlag und/oder eine Helligkeit im Umfeld des Trainingsfortbewegungsmittels zu erfassen. Des Weiteren kann der erste Umfeldsensor bevorzugt ein sogenannter intelligenter Sensor (engl. Smart-Sensor) sein, der in der Lage ist, die durch eine Sensoreinheit des ersten Umfeldsensors erfassten Messsignale selbst mittels einer im Gehäuse des ersten Umfeldsensors integrierten Signalverarbeitungsvorrichtung zu verarbeiten. Auf diese Weise ist ein solcher intelligenter Sensor in der Lage, in Übereinstimmung mit einer durch den Sensor zu erfüllenden Funktionalität, ein mit dieser Funktionalität korrespondierendes vorverarbeitetes erstes Signal auszugeben. Im Falle des Regen- und Lichtsensors kann ein solches vorverarbeitetes erstes Signal beispielsweise normierte Werte für eine Helligkeit in einem vordefinierten Wertebereich von 0-127 umfassen und an ein informationstechnisch angebundenes Bussystem des Fortbewegungsmittels ausgegeben werden. Ein vorverarbeitetes Signal, welches eine durch den Regen- und Lichtsensor erfasste Niederschlagsituation im Umfeld des Fortbewegungsmittels repräsentiert, kann beispielsweise die Werte „0“ und „1“ umfassen, wobei „0“ für „kein Niederschlag“ und „1“ für „Niederschlag“ stehen kann. Es wird insbesondere darauf hingewiesen, dass der erste Umfeldsensor nicht auf einen Regen- und Lichtsensor beschränkt ist, sondern grundsätzlich einer beliebigen Gattung von Umfeldsensoren (z.B. Ultraschallsensor, Radarsensor usw.) angehören kann, die im Zusammenhang mit einem Fortbewegungsmittel zur Umfelderfassung eingesetzt wird. Unter „Funktionalität eines ersten Umfeldsensors“ soll eine vordefinierte Wechselwirkung eines Ereignisses im Umfeld des Fortbewegungsmittels mit einem durch den ersten Umfeldsensor ausgegebenen ersten Signal verstanden werden. Das heißt am Beispiel des Regen- und Lichtsensors konkret, dass sich die Funktionalität des ersten Umfeldsensors u.a. durch ein Abbilden eines Ereignisses „Regen“ in Form eines vordefinierten Signalzustands des ersten Signals (z.B. „0“ für „kein Regen“ und „1“ für „Regen“) ergeben kann.
-
Unter „Verwendung einer Funktionalität eines ersten Umfeldsensors eines Trainingsfortbewegungsmittels in Verbindung mit einem dritten Umfeldsensor“ soll verstanden werden, dass eine ursprünglich durch den ersten Sensor bereitgestellte Funktionalität zusätzlich oder alternativ zum ersten Umfeldsensor durch den dritten Umfeldsensor bereitgestellt werden kann, auch wenn der dritte Umfeldsensor ein Umfeldsensor einer anderen Gattung ist. Ferner kann der dritte Umfeldsensor beispielsweise auch an einer anderen Position am oder im Fortbewegungsmittel angeordnet sein, als der erste Umfeldsensor am oder im Trainingsfortbewegungsmittel. Während ein Regen- und Lichtsensor i.d.R. im Innenraum des Fortbewegungsmittels an einer oberen Position der Windschutzscheibe angeordnet wird, kann der dritte Umfeldsensor beispielsweise in Form einer Kamera eines bestehenden Umfelderfassungssystems im Bereich der Frontschürze des Fortbewegungsmittels angeordnet sein. Darüber hinaus kann der dritte Umfeldsensor, wie auch der erste Umfeldsensor, grundsätzlich einer beliebigen Gattung von Umfeldsensoren angehören. Die folgende Beschreibung der Verfahrensschritte orientiert sich überwiegend am Beispiel der Kamera als ein dritter Umfeldsensor, ohne diesen auf diese Gattung von Umfeldsensoren zu beschränken.
-
Als Trainingsfortbewegungsmittel kann ein Fortbewegungsmittel verstanden werden, das eingerichtet ist, die Funktionalität des ersten Umfeldsensors mittels des erfindungsgemäßen Verfahrens auf den dritten Umfeldsensor zu übertragen. Dieser Vorgang zur Übertragung der Funktionalität wird im Folgenden auch als „Trainingsphase“ bezeichnet und wird weiter unten im Zuge der Beschreibung weiterer vorteilhafter Ausgestaltungen im Detail beschrieben. Der hier beschriebene erste Aspekt der vorliegenden Erfindung bezieht sich hingegen auf eine Phase nach der Übertragung der Funktionalität des ersten Umfeldsensors auf den dritten Umfeldsensor, die im Folgenden auch als Anwendungsphase bezeichnet wird.
-
In einem dritten Schritt des erfindungsgemäßen Verfahrens wird ein Umfeld des Fortbewegungsmittels mittels des dritten Umfeldsensors, der wie oben beschrieben eine Kamera sein kann, erfasst. Zu diesem Zweck kann die Kamera informationstechnisch an eine erfindungsgemäße Vorrichtung des Fortbewegungsmittels angebunden oder selbst ein Bestandteil dieser Vorrichtung sein. Die Vorrichtung kann eine Auswerteeinheit umfassen, die bevorzugt über einen Dateneingang und einen Datenausgang verfügt. Die Auswerteeinheit kann beispielsweise als ASIC, FPGA, Prozessor, digitaler Signalprozessor, Mikrocontroller, o.ä., ausgestaltet und informationstechnisch an eine interne und/oder externe Speichereinheit angebunden sein. Die Auswerteeinheit kann eingerichtet sein, das erfindungsgemäße Verfahren in Verbindung mit einem durch die Auswerteeinheit ausgeführten Computerprogramm durchzuführen. Die mittels der Kamera erzeugten dritten Signale, die beispielsweise ein aktuelles Umfeld des Fortbewegungsmittels repräsentieren, können mittels des Dateneingangs der Auswerteeinheit von der Auswerteeinheit empfangen und für eine weitere Verarbeitung in der an die Auswerteeinheit angebunden Speichereinheit abgelegt werden. In einem vierten Schritt des erfindungsgemäßen Verfahrens wird ein fünftes Signal repräsentierend eine hypothetische Auswirkung eines Ereignisses einer Ereigniskategorie im Umfeld des Fortbewegungsmittels auf den ersten Umfeldsensor unter Verwendung eines neuronalen Netzes ermittelt, wobei das neuronale Netz die Funktionalität des ersten Umfeldsensors in Verbindung mit dem dritten Umfeldsensor nachbildet.
-
Ein Beispiel für eine Ereigniskategorie im Zusammenhang mit einem Regen- und Lichtsensor des Fortbewegungsmittels kann „Niederschlag“ oder auch ein konkreter Niederschlag wie Regen sein, wobei die Ereigniskategorie sämtliche Arten von Regen bzw. Niederschlägen unabhängig von einer Intensität, einem Ort oder einem Zeitpunkt umfassen kann, während ein Ereignis einer jeweiligen Ereigniskategorie eine konkrete Art von Regen bzw. eines Niederschlags mit einer konkreten Intensität, zu einem konkreten Zeitpunkt an einem konkreten Ort beschreibt. Analog dieser Unterscheidung lassen sich beliebige weitere Ereigniskategorien und jeweilige korrespondierende Ereignisse definieren, die mittels eines oder mehrerer Umfeldsensoren des Fortbewegungsmittels erfasst werden können.
-
Das neuronale Netz kann beispielsweise mittels des durch die Auswerteeinheit ausgeführten Computerprogramms unter Verwendung der an die Auswerteeinheit angebunden Speichereinheit realisiert werden, wobei in der Speichereinheit insbesondere die Gewichte des neuronalen Netzes abgelegt sein können. Darüber hinaus kann das eingesetzte neuronale Netz bevorzugt ein auf Deep-Learning-Basis ausgestaltetes neuronales Netz sein, welches über eine Mehrzahl von Zwischenschichten von Neuronen zwischen einer Eingangsschicht von Neuronen und einer Ausgangsschicht von Neuronen des neuronalen Netzes verfügt. In der hier beschriebenen Ausführungsphase befindet sich das neuronale Netz bereits in einem trainierten Zustand, welcher in der vorangegangenen Trainingsphase erzeugt wurde. Es wird darauf hingewiesen, dass die Trainingsphase des neuronalen Netzes nicht durch dieselbe erfindungsgemäße Vorrichtung ausgeführt werden muss, welche das neuronale Netz in der Anwendungsphase ausführt. Stattdessen kann das neuronale Netz bevorzugt in einem dedizierten Trainingsfortbewegungsmittel trainiert werden und im Anschluss an die Trainingsphase durch eine informationstechnische Übertragung der Eigenschaften des neuronalen Netzes des Trainingsfortbewegungsmittels auf ein oder mehrere Fortbewegungsmittel übertragen werden.
-
Am Beispiel der Funktionalität des Regen- und Lichtsensors kann das hier beschriebene dritte Signal der Kamera des Fortbewegungsmittels durch das trainierte neuronale Netz des Fortbewegungsmittels derart verarbeitet werden, dass ein Ergebnis der Verarbeitung, welches durch das fünfte Signal repräsentiert wird, identisch oder ähnlich einem Ergebnis der Verarbeitung im Regen- und Lichtsensor ist, welches durch das erste Signal im Trainingsfortbewegungsmittel repräsentiert wird. D.h., dass das fünfte Signal (erzeugt aus dem dritten Signal in Verbindung mit dem trainierten neuronalen Netz) im Ansprechen auf ein Ereignis einer Ereigniskategorie gemäß dem erfindungsgemäßen Verfahren bevorzugt identisch oder ähnlich dem ersten Signal (erzeugt durch den ersten Umfeldsensor) ist. Des Weiteren kann der dritte Umfeldsensor in Verbindung mit dem trainierten neuronalen Netz auf Basis des erzeugten fünften Signals einen Empfänger (z.B. eine Scheibenwischanlage) ansteuern, der ursprünglich eingerichtet wurde, das erste Signal des Regen- und Lichtsensors des Trainingsfortbewegungsmittels auszuwerten. Da das fünfte Signal identisch oder zumindest hinreichend ähnlich zum ersten Signal sein kann, kann dieser Empfänger im Ansprechen auf ein Empfangen des fünften Signals eine identische oder ähnliche Reaktion ausführen (z.B. Aktivierung der Scheibenwischanalage), wie im Ansprechen auf das erste Signal.
-
Da das fünfte Signal die Funktionalität des ersten Umfeldsensors nachbildet, ist es somit nicht erforderlich, den ersten Umfeldsensor zusätzlich zum dritten Umfeldsensor im Fortbewegungsmittel vorzusehen. D.h., dass der erste Umfeldsensor im Fortbewegungsmittel u.a. aus Kostengründen eingespart werden kann, ohne auf die Funktionalität des ersten Umfeldsensors im Fortbewegungsmittel verzichten zu müssen. Eine Kostenersparnis ergibt sich insbesondere dann, wenn der als Ersatz für den ersten Umfeldsensor eingesetzte dritte Umfeldsensor bereits zur Bereitstellung einer anderen Funktionalität des Fortbewegungsmittels eingesetzt wird und daher nicht zusätzlich verbaut werden muss. Darüber hinaus kann auch das Computerprogramm, welches das neuronale Netz realisiert, durch eine bestehende Auswerteeinheit des Fortbewegungsmittels ausgeführt werden, um Kosten für eine andernfalls zusätzlich erforderliche, erfindungsgemäße Vorrichtung zu vermeiden.
-
Es sei allgemein darauf hingewiesen, dass sowohl der erste Umfeldsensor, als auch der dritte Umfeldsensor nicht zwingend auf jeweils einen einzelnen Umfeldsensor beschränkt sein müssen, stattdessen können der erste und/oder dritte Umfeldsensor auch aus einer Anordnung mehrerer Umfeldsensoren bestehen, die zur Bereitstellung einer jeweiligen Funktionalität zusammenwirken können (z.B. eine Anordnung einer Front-, einer Rück,- und zweier Seitenkameras, zur Realisierung einer Rundumsicht für das Fortbewegungsmittel). Dies gilt auch für die im Folgenden beschriebenen weiteren Umfeldsensoren.
-
In einer weiteren vorteilhaften Ausgestaltung der vorliegenden Erfindung kann das erfindungsgemäße Verfahren weitere Verfahrensschritte umfassen, die bevorzugt vor der Ausführung der oben beschriebenen Verfahrensschritte ausgeführt werden. In einem ersten Schritt des erfindungsgemäßen Verfahrens wird in einer Trainingsphase das Umfeld des Trainingsfortbewegungsmittels mittels des ersten Umfeldsensors und mittels eines zweiten Umfeldsensors des Trainingsfortbewegungsmittels erfasst, wobei der zweite Umfeldsensor mit dem dritten Umfeldsensor des Fortbewegungsmittels korrespondiert. D.h., dass der erste und zweite Umfeldsensor ein im Umfeld des Trainingsfortbewegungsmittels auftretendes Ereignis, wie z.B. ein einsetzender Regen, zu einem identischen Zeitpunkt erfassen können. Der erste Umfeldsensor kann beispielsweise der oben beschriebene Regen- und Lichtsensor sein, während der zweite Umfeldsensor bevorzugt identisch, oder zumindest ähnlich zum dritten Umfeldsensor des Fortbewegungsmittels ist und insbesondere an einer identischen, oder ähnlichen Position am Trainingsfortbewegungsmittel angeordnet ist, an der auch der dritte Umfeldsensor am Fortbewegungsmittel angeordnet ist. Der erste Umfeldsensor und der zweite Umfeldsensor können in unmittelbarer Nähe zueinander, oder auch an voneinander entfernten Positionen am Trainingsfortbewegungsmittel angeordnet sein. Entscheidend für die Positionierung des zweiten Umfeldsensors ist, dass er ein und dasselbe im Umfeld des Trainingsfortbewegungsmittels auftretende Ereignis zu einem identischen oder zumindest nahegelegenen Zeitpunkt erfassen kann, wie der erste Umfeldsensor. Das Trainingsfortbewegungsmittel kann über eine identische erfindungsgemäße Vorrichtung wie das Fortbewegungsmittel verfügen, wobei im Trainingsfortbewegungsmittel statt des dritten Umfeldsensors des Fortbewegungsmittels der erste und der zweite Umfeldsensor an den Dateneingang der erfindungsgemäßen Auswerteeinheit angeschlossen sein können. Auf diese Weise ist die Auswerteeinheit des Trainingsfortbewegungsmittels in der Lage, das erste Signal des ersten Umfeldsensors und das zweite Signal des zweiten Umfeldsensors zu empfangen und die durch die beiden Signale übermittelten Informationen in der an die Auswerteeinheit angebunden Speichereinheit für eine weitere Verarbeitung abzulegen. In einem zweiten Schritt des erfindungsgemäßen Verfahrens wird das neuronale Netz hinsichtlich einer Übernahme der Funktionalität des ersten Umfeldsensors durch das neuronale Netz in Verbindung mit dem zweiten Umfeldsensor unter Verwendung des ersten Signals des ersten Umfeldsensors und des zweiten Signals des zweiten Umfeldsensors trainiert. D.h. am Beispiel des Regen- und Lichtsensors als der erste Umfeldsensor und einer Verwendung einer Kamera als der zweite Umfeldsensor, dass einem Eingang des neuronalen Netzes mittels des zweiten Signals Bildinformationen über ein aktuelles Umfeld des Trainingsfortbewegungsmittels zur Verfügung gestellt werden können, während einem Ausgang des neuronalen Netzes die vorverarbeiteten Signale des Regen- und Lichtsensors zur Verfügung gestellt werden können. Mittels entsprechender Algorithmen für ein maschinelles Lernen, ist das durch die Auswerteeinheit ausgeführte Computerprogramm in der Lage, das neuronale Netz dahingehend zu trainieren, das jeweilige zweite Signale am Eingang des neuronalen Netzes zu entsprechenden fünften Signalen am Ausgang des neuronalen Netzes führen, die identisch oder hinreichend ähnlich zu den ersten Signalen des ersten Umfeldsensors sind. Sobald die fünften Signale identisch oder hinreichend ähnlich zu den ersten Signalen sind, kann die Trainingsphase des neuronalen Netzes beendet werden, da das neuronale Netz nun in Verbindung mit dem zweiten Umfeldsensor eingerichtet ist, die Funktionalität des ersten Umfeldsensors nachzubilden. Die Eigenschaften eines auf diese Weise trainierten neuronalen Netzes können anschließend mittels einer Datenübertragung auf entsprechende Auswerteeinheiten eines oder mehrere Fortbewegungsmittel (auch: „Serienfahrzeuge“) übertragen werden, so dass ein jeweiliges neuronales Netz des Fortbewegungsmittels oder der Fortbewegungsmittel in Verbindung mit jeweiligen dritten Sensoren statt zweiten Sensoren die Funktionalität des ersten Umfeldsensors in den jeweiligen Fortbewegungsmitteln bereitstellen kann.
-
Darüber hinaus kann das Trainieren des neuronalen Netzes zusätzlich unter Verwendung eines vierten Signals eines vierten Umfeldsensors des Trainingsfortbewegungsmittels erfolgen, wobei der vierte Umfeldsensors insbesondere einer anderen Gattung angehören kann, als der erste und der zweite Umfeldsensor. Das bedeutet, dass beispielsweise das erste Signal eines Regen- und Lichtsensors durch ein neuronales Netz in Verbindung mit dem zweiten und dem vierten Umfeldsensor gleichzeitig trainiert werden kann. Dies kann insbesondere dann von Vorteil sein, wenn eine alleinige Verwendung des zweiten Sensors in Verbindung mit dem neuronalen Netz nicht ausreicht, um die Funktionalität des ersten Umfeldsensors in vollem Umfang bzw. in voller Güte nachzubilden. Ein weiterer Grund für eine Hinzunahme des vierten Sensors kann auch eine gewünschte Verbesserung einer Erkennungsleistung des ersten Umfeldsensors sein. Der vierte Umfeldsensor kann in diesem Zusammenhang z.B. eine zweite Kamera sein, die an einer vom zweiten Umfeldsensor abweichenden Position am Trainingsfortbewegungsmittel angeordnet sein kann, oder er kann ein Umfeldsensor einer anderen Gattung sein, wie z.B. ein LIDAR-Sensor. Ein vierter Umfeldsensor einer anderen Gattung, als der zweite Umfeldsensor kann eine Erkennungsleistung der erfindungsgemäßen Vorrichtung ggf. erhöhen, da ein durch den unterschiedlichen Sensor verwendetes unterschiedliches Messverfahren bestimmte Ereignisse im Umfeld des Trainingsfortbewegungsmittels evtl. besser erfassen kann. Das zu trainierende neuronale Netz kann somit die Signale des zweiten und vierten Umfeldsensors am Eingang des neuronalen Netzes entgegennehmen und wie oben beschrieben mit dem ersten Signal des Regen- und Lichtsensors am Ausgang des neuronalen Netzes abgleichen.
-
Es sei darauf hingewiesen, dass es darüber hinaus denkbar ist, neben dem vierten Umfeldsensor ggf. weitere Umfeldsensoren in die Trainingsphase des neuronalen Netzes einzubeziehen. Für eine nachfolgende Anwendungsphase bedeutet dies, dass der oder die zusätzlichen Sensoren bevorzugt in identischer oder ähnlicher Form auch im Fortbewegungsmittel vorhanden sind, damit ein derart trainiertes neuronales Netz die Funktionalität des ersten Umfeldsensors im Fortbewegungsmittel auf Basis des dritten, vierten und evtl. weiterer Sensoren optimal nachbilden kann.
-
Ferner kann das Trainingsfortbewegungsmittel zur Durchführung der Trainingsphase des neuronalen Netzes und das Fortbewegungsmittel zur Durchführung der Anwendungsphase des neuronalen Netzes ein und dasselbe Fortbewegungsmittel sein und der zweite Umfeldsensor und der dritte Umfeldsensor können somit ein und derselbe Umfeldsensor sein. Konkret kann ein solches Fortbewegungsmittel, mit dem folglich sowohl die Trainingsphase, als auch die Anwendungsphase durchgeführt werden kann, ein Entwicklungsfahrzeug sein, in welchem ein neuronales Netz stellvertretend trainiert wird, um die Eigenschaften des trainierten neuronalen Netzes beispielsweise auf eine Mehrzahl von Serienfahrzeugen übertragen zu können. In den Serienfahrzeugen kann der erste Umfeldsensor infolgedessen aus Kostengründen entfallen. Dies schließt nicht aus, dass der erste Umfeldsensor nicht zusätzlich zum dritten Umfeldsensor und dem trainierten neuronalen Netz in einem solchen Serienfahrzeug eingesetzt werden kann, um beispielsweise den ersten Umfeldsensor hinsichtlich einer Erkennungsleistung bzw. Zuverlässigkeit zu unterstützen.
-
Der erste, zweite, dritte und vierte Umfeldsensor können beispielsweise jeweils einer oder mehrerer der folgenden Sensorgattungen angehören: Regensensor und/oder Lichtsensor und/oder Ultraschallsensor und/oder Odometriesensor und/oder Radarsensor und/oder LIDAR-Sensor und/oder Kamera, wobei sie nicht auf die genannten Gattungen beschränkt sind und die unterschiedlichen Sensorgattungen prinzipiell in beliebiger Weise kombiniert werden können.
-
Darüber hinaus kann in einer weiteren vorteilhaften Ausgestaltung der vorliegenden Erfindung eine Funktionsverbesserung und/oder ein Funktionshub durch das erfindungsgemäße Verfahren erreicht werden, indem das erste Signal und das fünfte Signal eine Auswirkung eines Ereignisses einer Ereigniskategorie auf den ersten Umfeldsensor zu unterschiedlichen Zeitpunkten repräsentieren. Dies wird im Folgenden weiter erläutert. Eine Erkennung einer Tunnelfahrt durch einen Lichtsensor kann i.d.R. erst zu einem Zeitpunkt erfasst und ermittelt werden, wenn sich ein Fortbewegungsmittel, das diesen Umfeldsensor einsetzt, bereits im Tunnel befindet. D.h., dass auch eine an den Lichtsensor gekoppelte, automatische Aktivierung der Lichter des Fortbewegungsmittels erst ausgeführt werden kann, wenn sich das Fortbewegungsmittel bereits vollständig im Tunnel befindet. Hier kann es aus Gründen einer verbesserten Sicht für einen Fahrer des Fortbewegungsmittels, oder aus Gründen einer besseren Sichtbarkeit des Fortbewegungsmittels für einen Gegenverkehr von Vorteil sein, wenn die Lichter des Fortbewegungsmittels bereits vor der Einfahrt in den Tunnel automatisch aktiviert werden. Zu diesem Zweck kann die Signalverarbeitung im Trainingsfortbewegungsmittel derart angepasst werden, dass die durch den zweiten Umfeldsensor erzeugten zweiten Signale vor deren Einspeisung in den Eingang des neuronalen Netzes einer vordefinierten Verzögerung (z.B. 3 s, oder 5 s) unterzogen werden, während das erste Signal des Lichtsensors, das am Ausgang des neuronalen Netzes verwendet wird, weiterhin verzögerungsfrei am Ausgang des neuronalen Netzes bereitgestellt wird. Auf diese Weise wird das neuronale Netz so trainiert, dass das verzögerte zweite Signale zu einem Zeitpunkt, an dem das erste Signal eine bereits erfolgte Einfahrt in den Tunnel repräsentiert, ein Umfeld des Fortbewegungsmittels vor der Einfahrt in den Tunnel repräsentiert. In einer nachfolgenden Anwendungsphase, in der ein auf diese Weise trainiertes neuronales Netz verwendet wird, kann somit schon vor der Einfahrt in einen Tunnel eine Aktivierung der Lichter des Fortbewegungsmittels auf Basis des neuronalen Netzes in Verbindung mit dem dritten Umfeldsensor erfolgen, da das erzeugte fünfte Signal bereits vor der Einfahrt in den Tunnel eine entsprechende Signalisierung zur Aktivierung der Lichter des Fortbewegungsmittels umfassen kann.
-
Gemäß einem zweiten Aspekt der vorliegenden Erfindung wird eine Vorrichtung für ein Fortbewegungsmittel zur Verwendung einer Funktionalität eines ersten Umfeldsensors eines Trainingsfortbewegungsmittels in Verbindung mit einem dritten Umfeldsensor des Fortbewegungsmittels vorgeschlagen. Die Vorrichtung umfasst einen dritten Umfeldsensor, der insbesondere eine Kamera sein kann, eine Auswerteinheit, die mittels eines Computerprogramms ein neuronales Netz realisiert und eine intern und/oder extern an die Auswerteeinheit angebundene Speichereinheit. Die Auswerteeinheit ist eingerichtet, in Verbindung mit dem dritten Umfeldsensor und der Speichereinheit ein Umfeld des Fortbewegungsmittels zu erfassen, und in Verbindung mit der Speichereinheit ein fünftes Signal repräsentierend eine hypothetische Auswirkung eines Ereignisses einer Ereigniskategorie (z.B. Regen, Helligkeitsveränderungen usw.) im Umfeld des Fortbewegungsmittels auf den ersten Umfeldsensor unter Verwendung eines neuronalen Netzes zu ermitteln, wobei das neuronale Netz die Funktionalität des ersten Umfeldsensors in Verbindung mit dem dritten Umfeldsensor nachbildet.
-
Gemäß einem dritten Aspekt der vorliegenden Erfindung wird ein Fortbewegungsmittel vorgeschlagen, welches eine Vorrichtung gemäß dem zweitgenannten Erfindungsaspekt umfasst. Die Merkmale, Merkmalskombinationen sowie die sich aus diesen ergebenden Vorteile entsprechen den in Verbindung mit dem erst- und zweitgenannten Erfindungsaspekt ausgeführten derart ersichtlich, dass zur Vermeidung von Wiederholungen auf die obigen Ausführungen verwiesen wird.
-
Weitere Einzelheiten, Merkmale und Vorteile der Erfindung ergeben sich aus der nachfolgenden Beschreibung und den Figuren. Es zeigen:
- 1 eine schematische Übersicht über Komponenten einer erfindungsgemäßen Vorrichtung in Verbindung mit einem Fortbewegungsmittel und einem Trainingsfortbewegungsmittel; und
- 2 ein Flussdiagramm veranschaulichend Schritte eines Ausführungsbeispiels eines erfindungsgemäßen Verfahrens.
-
1 zeigt eine schematische Übersicht über Komponenten einer erfindungsgemäßen Vorrichtung in Verbindung mit einem Fortbewegungsmittel 60 und einem Trainingsfortbewegungsmittel 50. Beide Fortbewegungsmittel 50, 60 verfügen über eine identisch aufgebaute erfindungsgemäße Vorrichtung, welche jeweils eine Auswerteeinheit 10, und eine an die Auswerteeinheit 10 informationstechnisch angebundene Speichereinheit 20 umfasst. Die jeweiligen Auswerteeinheiten 10 umfassen jeweilige Mikrocontroller, die eingerichtet sind, ein Computerprogramm auszuführen, welches ein neuronales Netz 30 realisiert. Das Trainingsfortbewegungsmittel 50 umfasst darüber hinaus eine Kamera 54, die im Bereich einer Frontschürze des Trainingsfortbewegungsmittels 50 angeordnet ist, einen Regen- und Lichtsensor 52 und einen optionalen vierten Umfeldsensor 56, der ebenfalls eine Kamera ist und in identischer Form auch am Fortbewegungsmittel 60 vorgesehen ist. Das Trainingsfortbewegungsmittel 50 ist ferner eingerichtet, eine Funktionalität des Regen- und Lichtsensors 52 im Zuge einer Trainingsphase mittels des neuronalen Netzes 30 in Verbindung mit der Kamera 54, der Kamera 56 und der Speichereinheit 20 nachzubilden. Die Eigenschaften des auf diese Weise trainierten neuronalen Netzes 30 des Trainingsfortbewegungsmittels 50 werden mittels eines Datenübertragungsvorgangs 70 auf das neuronale Netz 30 des Fortbewegungsmittels 60 übertragen. Da das Fortbewegungsmittel 60 ferner über eine Kamera 64 verfügt, die identisch zur Kamera 54 des Trainingsfortbewegungsmittels 50 ist, ist das Fortbewegungsmittel 60 eingerichtet, die Funktionalität des Regen- und Lichtsensors 52 des Trainingsfortbewegungsmittels 50 mittels des trainierten neuronalen Netzes 30 und der Kamera 64 nachzubilden. Der Regen- und Lichtsensor 52 ist aus diesem Grund im Fortbewegungsmittel 60 nicht mehr erforderlich und ist deshalb aus Kosten- und Massegründen nicht vorgesehen.
-
2 zeigt Schritte eines Ausführungsbeispiels eines erfindungsgemäßen Verfahrens zur Verwendung einer Funktionalität eines Regen- und Lichtsensor 52 eines Trainingsfortbewegungsmittels 50 in Verbindung mit einer Kamera 64 eines Fortbewegungsmittels 60. Dabei wird im ersten Schritt 100 ein Umfeld des Trainingsfortbewegungsmittels 50 mittels des Regen- und Lichtsensors 52 und mittels einer Kamera 54 des Trainingsfortbewegungsmittels 50 erfasst, wobei die Kamera 54 identisch zur Kamera 64 des Fortbewegungsmittels 60 ist. Darüber hinaus ist die Kamera 54 an einer Position im Bereich der Frontschürze des Trainingsfortbewegungsmittels 50 angeordnet, die mit einer Position im Bereich der Frontschürze des Fortbewegungsmittels 60 korrespondiert. Ferner verfügen beide Fortbewegungsmittel 50, 60 über eine identisch aufgebaute erfindungsgemäße Vorrichtung, welche jeweils eine Auswerteeinheit 10, und eine an die Auswerteeinheit 10 informationstechnisch angebundene Speichereinheit 20 umfasst. Die jeweiligen Auswerteeinheiten 10 sind eingerichtet, ein Computerprogramm auszuführen, welches ein neuronales Netz 30 realisiert.
-
Im zweiten Schritt 200 wird das neuronale Netz 30 des Trainingsfortbewegungsmittels 50 hinsichtlich einer Übernahme der Funktionalität des Regen- und Lichtsensors 52 durch das neuronale Netz 30 in Verbindung mit der Kamera 54 des Trainingsfortbewegungsmittels 50 unter Verwendung eines ersten Signals des Regen- und Lichtsensors 52 und eines zweiten Signals der Kamera 54 trainiert. Zu diesem Zweck wird das zweite Signal der Kamera 54 des Trainingsfortbewegungsmittels 50 an einem Eingang des neuronalen Netzes 30 bereitgestellt, während das erste Signal des Regen- und Lichtsensors 52 einem Ausgang des neuronalen Netzes 30 bereitgestellt wird. Auf diese Weise kann das zunächst untrainierte neuronale Netz 30 des Trainingsfortbewegungsmittels 60 im Zuge einer Mehrzahl von Trainingsfahrten die Funktionalität des Regen- und Lichtsensors 52 in Verbindung mit dem zweiten Signal der Kamera 54 des Trainingsfortbewegungsmittels 50 nachbilden, indem sich das neuronale Netz 30 so anpasst, dass die zweiten Signale identisch oder zumindest hinreichend ähnlich zu den ersten Signalen sind. Auf diese Weise können durch ein trainiertes neuronale Netz 30 fünfte Signale am Ausgang des neuronalen Netzes 30 ausgegeben werden.
-
Im dritten Schritt 300 wird ein Umfeld des Fortbewegungsmittels 60 mittels der Kamera 64 des Fortbewegungsmittels 60 erfasst. Das durch die Kamera 64 erzeugte dritte Signal wird über einen Dateneingang der Auswerteeinheit 10 des Fortbewegungsmittels 60 empfangen. Zuvor wurden die Eigenschaften des neuronalen Netzes 30 des Trainingsfortbewegungsmittels 50 mittels eines Datenübertragungsvorgangs 70 auf Basis einer Drahtloskommunikationsverbindung an das neuronale Netz 30 des Fortbewegungsmittels 60 übertragen, wodurch sich das neuronale Netz 30 des Fortbewegungsmittels 60 ebenfalls in einem trainierten Zustand befindet.
-
Im vierten Schritt 400 wird mittels des neuronalen Netzes 30 des Fortbewegungsmittels 60 auf Basis der dritten Signale der Kamera 64 ein Umfeld des Fortbewegungsmittels 60 hinsichtlich eines vorhandenen oder nicht vorhandenen Regens bewertet. Da das neuronale Netz 30 des Fortbewegungsmittels 60 in Verbindung mit der Kamera 64 die Funktionalität des Regen- und Lichtsensors 52 des Trainingsfortbewegungsmittels 50 nachbildet, kann das durch das neuronale Netz 30 des Fortbewegungsmittels 60 ermittelte fünfte Signal statt des ersten Signals des Regen- und Lichtsensors 52 für eine Ansteuerung einer Scheibenwischanlage des Fortbewegungsmittels 60 eingesetzt werden.
-
Bezugszeichenliste
-
- 10
- Auswerteeinheit
- 20
- Speichereinheit
- 30
- neuronales Netz
- 50
- Trainingsfortbewegungsmittel
- 52
- Regen- und Lichtsensor (erster Sensor)
- 54
- Kamera des Trainingsfortbewegungsmittels (zweiter Sensor)
- 56
- vierter Umfeldsensor
- 60
- Fortbewegungsmittel
- 64
- Kamera des Fortbewegungsmittels (dritter Sensor)
- 70
- Datenübertragung
- 100-400
- Verfahrensschritte
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- EP 1674356 A1 [0003]
- DE 102006008274 A1 [0004]
- DE 102015007493 A1 [0005]
