-
Die Erfindung betrifft ein Verfahren zum Wiedererkennen von Gegenständen in einem Fahrzeug nach der im Oberbegriff von Anspruch 1 näher definierten Art. Des Weiteren betrifft die Erfindung eine Vorrichtung zum Wiedererkennen von Gegenständen nach der im Oberbegriff von Anspruch 6 näher definierten Art.
-
Prinzipiell sind Verfahren und Vorrichtungen zum Wiedererkennen von Gegenständen in einem Fahrzeug aus dem Stand der Technik bekannt. Bei den Gegenständen kann es sich um mitgebrachte Gegenstände der Fahrzeuginsassen handeln, beispielsweise um einen Golfball, eine Krawatte oder auch einen Teddybär. Diese mitgebrachten Gegenstände sollen mit Fahrzeugfunktionalitäten, wie beispielsweise einer Navigation, einem Business-Mode oder einem Hörbuch, verknüpft werden. Dazu ist eine Komponente zur visuellen Objekterkennung notwendig.
-
So zeigt die
DE 10 2017 218 100 A1 ein Verfahren zum Konfigurieren von Fahrzeuginformationen. Dabei wird ein Kamerabild mittels einer in einem Fahrzeug angeordneten Kamera erfasst und ausgewertet, um einen in dem Kamerabild abgebildeten Gegenstand zu erkennen. Anschließend wird eine Fahrzeugfunktion basierend auf dem in dem Kamerabild erkannten Gegenstand konfiguriert.
-
Nachteilig muss zur Erkennung des Gegenstands dieser in einer Datenbank hinterlegt sein. Da bei bekannten Verfahren die Datenbank auf Bilddateien beruht, kann ein sicheres Erkennen des Gegenstands bei unterschiedlichen Blickwinkeln nicht immer sichergestellt werden.
-
Die Aufgabe der hier vorliegenden Erfindung besteht nun darin, ein Verfahren und eine Vorrichtung zum Wiedererkennen von Gegenständen in einem Fahrzeug zu schaffen, welche die zuvor genannten Nachteile überwinden.
-
Erfindungsgemäß wird diese Aufgabe durch ein Verfahren mit den Merkmalen im Anspruch 1 sowie durch eine Vorrichtung mit den Merkmalen im Anspruch 6, und hier insbesondere im kennzeichnenden Teil der Ansprüche 1 und 6 gelöst. Vorteilhafte Ausgestaltungen und Weiterbildungen ergeben sich aus den hiervon abhängigen Unteransprüchen.
-
Im Kern des erfindungsgemäßen Verfahrens wird mittels einem neuronalen Netz für das Kamerabild ein Vektor-Datenwert für den Gegenstand ermittelt, wobei der Vektor-Datenwert mit einer von einem Nutzer zugewiesenen Fahrzeugfunktion gespeichert wird, welche beim erneuten Erfassen des Gegenstands ausgelöst wird. Es wird daher ein Verfahren vorgeschlagen, bei welchem ein Gegenstand einem eine Kamera umfassenden System präsentiert wird. Das System führt das Kamerabild einem neuronalen Netz zu. Mit Hilfe des Systems kann ein den Gegenstand repräsentierender Datenwert in Form eines Vektors bzw. Featurevektors ermittelt werden. Weiterhin wird der Datenwert mit einer vom Nutzer zugewiesenen Fahrzeugfunktion gespeichert. Bei einem erneuten Zeigen desselben Gegenstands wird der Datenwert erneut ermittelt und die einem gespeicherten, insbesondere nächstliegenden, Datenwert zugeordnete Funktion ausgelöst. Mit dem erfindungsgemäßen Verfahren können daher Objekte in einem Fahrzeuginnenraum detektiert und nach einmaligem Zeigen wiedererkannt werden.
-
Bei dem Verfahren wird über ein Kamerabild einer Kamera zumindest ein Gegenstand erfasst. Im Unterschied zu bekannten Verfahren wird kein spezifisches Objekt erkannt, sondern lediglich anhand des Vektors festgestellt, dass der Gegenstand schon einmal gezeigt wurde. Somit ist die Erkennung des Gegenstands unabhängig von einer Datenbank mit Bilddateien. Eine hinterlegte Menge von Daten, die eine abgeschlossene Menge von Gegenständen enthält, welche mit einem Objektnamen gelabelt sind, ist daher nicht notwendig.
-
Nach Generierung des Datenwerts kann eine den Gegenstand repräsentierende Visualisierung generiert und beispielsweise auf einem Bildschirm im Fahrzeuginnenraum angezeigt werden. Dies kann bei jeder Wiedererkennung des Gegenstands wiederholt werden. Der Nutzer erhält dadurch eine sichere Rückmeldung, dass der Gegenstand korrekt erkannt wurde. Bevorzugt wird nach Anzeige der Visualisierung die mit dem Gegenstand verknüpfte Fahrzeugfunktion automatisch oder nach Bestätigung durch den Nutzer ausgeführt. Liegt beispielsweise keine eindeutige Erkennung eines eindeutigen Gegenstands vor, können mehrere dem erkannten Vektor bzw. Featurevektor nächstliegende Gegenstände angezeigt werden, sodass der Nutzer den gewünschten Gegenstand auswählen kann.
-
Vorteilhafterweise kann dadurch der Komfort für die Nutzer eines Fahrzeugs erhöht werden, indem die Nutzer intuitiv persönliche Objekte mit Fahrzeugfunktionen verknüpfen können, ohne lange durch Bedienmenüs navigieren zu müssen. Das erfindungsgemäße Verfahren kann dadurch, insbesondere personalisierte, Funktionsschalter sowie Bedienelemente im Fahrzeug ersetzen und überflüssig machen. Dies betrifft beispielsweise eine Favoriten-Taste im Fahrzeugmenü. Durch den erreichten vergrößerten Funktionsumfang kann bei den Nutzern eine Steigerung der Akzeptanz des persönlichen Fahrzeugassistenten erreicht werden.
-
Bevorzugt wird nur der Gegenstand erfasst, wobei Teile des Innenraums des Fahrzeugs in einem Objekterkennungsprozess ausgeschnitten werden. Mit anderen Worten wird der Gegenstand detektiert, indem Objekte, die nicht zum Fahrzeuginnenraum gehören identifiziert und markiert werden. Bestandteile des Fahrzeuginnenraums, die explizit nicht als Gegenstand erkannt werden, beispielsweise ein Gurtschloss, werden explizit ausgeschlossen. Dadurch kann beispielsweise die Datenmenge reduziert werden. Des Weiteren kann eine präzisere Bestimmung des Gegenstands erfolgen.
-
Gemäß einer sehr vorteilhaften Weiterbildung der Idee kann es dabei vorgesehen sein, dass das Kamerabild an einen Server übermittelt wird, wobei ein neuronales Netz auf den Server bei einem erneuten Erkennen des gleichen Gegenstands weiter trainiert wird, um den Vektor-Datenwert zu präzisieren. Damit werden immer präzisere Datenwerte ermittelt. In einer weiteren Ausführung können Kamerabilder von unterschiedlichen Benutzern desselben Fahrzeugs und/oder derselben Flotte eines Fahrzeugs einbezogen werden, wodurch ebenso die Trainingsbreite für sich wiederholende Gegenstände erhöht und präzisere Vektor-Datenwerte hinterlegt werden können. Dadurch kann die Wahrscheinlichkeit einer Fehlerkennung durch Streuung bei unterschiedlichen Aufnahmen reduziert werden. Aus den so ermittelten Daten können beispielsweise Vektoren bzw. Featurevektoren eines Gegenstands für weitere Perspektiven ermittelt und gespeichert werden. Vorteilhafterweise wird das auf dem Server trainierte Modell ins Fahrzeug zurückgespielt. Insbesondere können die Vektor-Datenwerte der unterschiedlichen Nutzer einer Flotte an den Server übermittelt und an ein EGO-Fahrzeug, d. h. an das eigene Fahrzeug eines Nutzers, als Verknüpfungsoption für einen Gegenstand zur Auswahl vorgeschlagen werden. Durch die so erreichte erweiterte Datensammlung von Gegenständen kann eine kontinuierliche Verbesserung der Funktionalität, insbesondere durch eine Cloudanbindung, erzielt werden. Durch die große Anzahl an Aufnahmen kann die Objekterkennung an die spezifische Domäne des Fahrzeuginnenraums einer Flotte mit echten Gegenständen von Nutzern angepasst werden.
-
Dabei kann es gemäß einer vorteilhaften Ausgestaltung vorgesehen sein, dass bei einem Verwerfen einer Erkennung eines Gegenstands durch den Nutzer die Erkennung verworfen wird. Die Falscherkennung kann als eine Rückmeldung mit einem Vektor bzw. Featurevektor im Fahrzeug oder auf dem Server gespeichert werden. Der diesem Vektor bzw. Featurevektor nächstliegende Vektor bzw. Featurevektor wird zukünftig nicht ausgewertet. Folglich wird das dem nächstliegenden Vektor bzw. Featurevektor zugehörige Objekt nicht mehr angezeigt.
-
Eine weitere vorteilhafte Ausgestaltung kann es vorsehen, dass der Gegenstand in einem vorgesehenen Ablagebereich im Fahrzeug erfasst werden kann. Bei dem Ablagebereich kann es sich beispielsweise um ein Ablagefach in der Mittelkonsole handeln. Dadurch kann gewährleistet werden, dass das Kamerabild immer aus einer gleichen Perspektive den Gegenstand erfasst, wodurch der Datenwert präzise ermittelt werden kann. Bevorzugt kann mit Ablage des Gegenstands zur Präsentation vor der Kamera automatisch eine Innenraumbeleuchtung aktiviert werden, um die Erkennung des Gegenstands zu verbessern.
-
Gegenstand der Erfindung ist weiterhin eine Vorrichtung, wobei zumindest eine Kamera umfasst ist. Bevorzugt ist die Kamera auf einen Ablagebereich ausgerichtet, in welchem der Gegenstand von einem Nutzer präsentiert wird. Bei der Kamera kann es sich beispielsweise um eine zentrale Gestenkamera zu Überwachung eines Fahrer- bzw. eines Beifahrersitzes handeln. Weist die Gestenkamera einen großen Erfassungsbereich auf, wird viel Innenraum des Fahrzeugs miterfasst, welcher bei der Ermittlung des Gegenstands ausgeschnitten werden kann.
-
Weitere Vorteile des erfindungsgemäßen Verfahrens bzw. der erfindungsgemäßen Vorrichtung ergeben sich ferner aus den restlichen abhängigen Unteransprüchen und werden anhand des Ausführungsbeispiels deutlich, welches nachfolgend unter Bezugnahme auf die Figur näher beschrieben wird.
-
Dabei zeigt:
- 1 eine mögliche Ausführungsform des Verfahrens bzw. der Vorrichtung im Innenraum eines Fahrzeugs.
-
In der Darstellung der 1 ist eine mögliche Ausführungsform des Verfahrens bzw. der Vorrichtung zum Wiedererkennen von einem Gegenstand 1 in einem Fahrzeug 2 dargestellt. Über ein Kamerabild einer Kamera 3 kann der Gegenstand 1 erfasst werden. Mittels einem neuronalen Netz wird für das Kamerabild ein Vektor-Datenwert für den Gegenstand 1 ermittelt, wobei der Vektor-Datenwert mit einer von einem Nutzer zugewiesenen Fahrzeugfunktion gespeichert wird, welche beim erneuten Erfassen des Gegenstands 1 ausgelöst wird. Das Kamerabild kann an einen Server 5, beispielsweise eine Cloud, übermittelt werden. Ein neuronales Netz auf dem Server 5 kann bei einem erneuten Erkennen des gleichen Gegenstands 1 trainiert werden, um den Vektor-Datenwert zu präzisieren.
-
Durch die Cloud-Anbindung und ein direktes Einbinden von Kamerabildern, die im Fahrzeuginnenraum aufgenommene Objekte bzw. Gegenstände zeigen, kann die Objekterkennung verbessert werden. Anonymisierte Aufnahmen jedes Nutzers können zur allgemeinen Verbesserung für alle Nutzer unterschiedlicher Fahrzeuge, insbesondere einer Flotte, mit einbezogen werden. Dadurch kann das neuronale Netz weiter trainiert werden. Aufgrund der großen Anzahl an Aufnahmen kann dadurch die Objekterkennung an die spezifische Domäne des Fahrzeuginnenraums mit echten Gegenständen von Nutzern angepasst werden.
-
In dieser Ausführungsform ist der Gegenstand 1 in einem Ablagebereich 6 abgelegt dargestellt. Bei dem Gegenstand 1 kann es sich um einen persönlichen Gegenstand des Nutzers handeln, wie beispielsweise einen Dienstausweis. Bevorzugt wird nur der Gegenstand 1 erfasst, wobei Teile des Innenraums 4 des Fahrzeugs 2 in einem Objekterkennungsprozess ausgeschnitten werden.
-
Das Verfahren bzw. die Vorrichtung sind nicht auf das dargestellte Ausführungsbeispiel begrenzt. Abweichend von der Darstellung in 1 können beispielsweise der Ablagebereich 6 und/oder die Kamera 3 an einer anderen Position im Fahrzeug 1 angeordnet sein.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- DE 102017218100 A1 [0003]
