DE102022206603A1

DE102022206603A1 - Verfahren zur Handdetektion, Computerprogramm, und Vorrichtung

Info

Publication number: DE102022206603A1
Application number: DE102022206603.0A
Authority: DE
Inventors: Jonas Kaste; Felix Stahl; Felix KALLMEYER
Original assignee: Volkswagen AG
Current assignee: Volkswagen AG
Priority date: 2022-06-29
Filing date: 2022-06-29
Publication date: 2024-01-04
Also published as: WO2024002777A1

Abstract

Ausführungsbeispiele der vorliegenden Erfindung schaffen Verfahren 100 zur Verbesserung einer Handdetektion an einem Lenkrad eines Fahrzeugs. Das Verfahren 100 umfasst Bestimmen 110 eines Parameters zur Bewertung einer Sicherheitsrelevanz einer Situation und Durchführen 120 der Handdetektion basierend auf zumindest einem von einem maschinellen Lernen Algorithmus und einem modellbasierten Algorithmus basierend auf dem Parameter.

Description

Ausführungsbeispiele der vorliegenden Erfindung beziehen sich auf ein Verfahren zur Handdetektion, ein Computerprogramm, und eine Vorrichtung. Insbesondere aber nicht ausschließlich, beziehen sich Ausführungsbeispiele der vorliegenden Erfindung auf ein Verfahren zur Verbesserung einer Erkennung einer Handdetektion an einem Lenkrad eines Fahrzeugs.
Fahrerassistenzsysteme sollen einen Fahrzeugführer situativ unterstützen, entlasten und die Fahraufgabe so komfortabel und sicher wie möglich gestalten. Trotz eines sukzessiv gesteigerten Automatisierungsgrades ist der Fahrer als aktiver Teil der Regelstrategie für Längs- und Querführung sowohl für die Überwachung der Systeme, sowie der jeweiligen Situation ausschlaggebend. Ein Teil dieser aktiven Rolle ist das Anlegen der Hände am Lenkrad, um in kritischen Situationen schnell die volle Kontrolle und fahrerseitige Stabilisierung des Systems zu gewährleisten.
DE 10 2016 005 013 A1 offenbart ein Steer-by-Wire-Lenksystem für Kraftfahrzeuge mit einem auf die gelenkten Räder wirkenden, in Abhängigkeit eines Fahrerlenkwunsches elektronisch geregelten Lenksteller, mit einem Rückwirkungen der Straße auf ein Steuer übertragenden Feedback-Aktuator, und einer Steuereinheit, die den Feedback-Aktuator und den Lenksteller ansteuert. Die Steuereinheit umfasst einen Schätzer umfassend einen Beobachter und ein Modell des Feed-back-Aktuators. Der Schätzer ist dazu eingerichtet, basierend auf Messwerten des Feedback-Aktuators und mithilfe des Modells und des Beobachters ein Fahrerlenkmoment zu schätzen und als Ergebnis bereitzustellen.
DE 10 2018 129 563 A1 offenbart ein Verfahren zum Bestimmen des Steuermodus eines Lenkrads eines Fahrzeugs, wobei der Steuermodus ein erster Steuermodus ist, in dem ein Fahrer das Lenkrad steuert, oder wobei der Steuermodus ein zweiter Steuermodus ist, in dem der Fahrer das Lenkrad nicht steuert. Das Verfahren umfasst die Schritte Erfassen mindestens eines Lenkparameters und Bestimmen des Steuermodus des Lenkrads unter Verwendung einer maschinellen Lerntechnik.
EP 2 371 649 B1 offenbart ein Verfahren zur Ermittlung von auf die Blickrichtung eines Fahrers und die Position der Hände des Fahrers bezüglich des Lenkrads bezogenen Informationen in einem Kraftfahrzeug.
Entsprechend ist die Detektion der Hände am Lenkrad für den Betrieb unterschiedlicher Assistenzfunktionen im Bereich der Längs- und Querführung notwendig. Die Integration eines kapazitiven Sensors im Lenkrad löst dieses Problem robust, verursacht jedoch erhebliche Mehrkosten. Eine Möglichkeit diese Kosten zu reduzieren ist die Umsetzung eines virtuellen Sensors, der aus verfügbaren Signalverläufen (z.B. messbare Größen am Lenkrad wie Lenkmoment,
Lenkradwinkel, Lenkradwinkelgeschwindigkeit oder der Fahrzeugreaktion) das Festhalten des Lenkrades durch den Fahrer schätzt, also eine Handdetektion durchführt.
Zu diesem Zweck kann beispielsweise ein neuronales Netzwerk eingesetzt werden. Aufgrund der bisher nicht zu gewährleistenden Absicherung maschineller Lernverfahren ist dieses Verfahren für Teilfunktionen mit automotive safety integrity level (ASIL) Anforderungen jedoch ungeeignet. Ein weiterer Ansatz ist die Verwendung von klassischen modellbasierten oder mathematisch/ regelbasierten Ansätzen. Diese können jedoch aufgrund der komplexen Unterscheidung zwischen fahrerinduzierter Anregung am Lenkrad, systemseitiger Anregung, die beispielsweise aus Unebenheiten der Straße resultiert, sowie systemseitiger Reibung, die gewünschte Identifikation der Hände am Lenkrad nur wesentlich ungenauer bestimmen.
Es besteht daher ein Bedarf daran, eine verbesserte Handdetektion an einem Lenkrad, beispielsweise in bestimmten Fahrsituation, wie einem Anfahren, bereitzustellen. Diesem Bedarf tragen das Verfahren, die Vorrichtung und das Computerprogramm nach den unabhängigen Ansprüchen Rechnung.
Ausführungsbeispiele basieren auf dem Kerngedanken, dass eine Handdetektion an einem Lenkrad eines Fahrzeugs verbessert werden kann, indem ein hybrider Ansatz verwendet wird, der situationsabhängig zumindest einen Algorithmus von einem maschinellen Lernen (ML) Algorithmus oder einem modellbasierten Algorithmus (z. B. ein klassischer, mathematischer Ansatz) zur Detektion der Hände am Lenkrad verwendet. Dadurch kann beispielsweise eine Handdetektion mittels Algorithmus an eine Situation angepasst werden. Beispielsweise kann in einer sicherheitskritischen Situation die Handdetektion mittels eines Algorithmus bestimmt werden, der eine ASIL Anforderung erfüllt (beispielsweise ein modellbasierter Algorithmus).
Ausführungsbeispiele betreffen ein Verfahren zur Verbesserung einer Handdetektion an einem Lenkrad eines Fahrzeugs. Das Verfahren umfasst Bestimmen eines Parameters zur Bewertung einer Sicherheitsrelevanz einer Situation und Durchführen der Handdetektion basierend auf zumindest einem von einem maschinellen Lernen Algorithmus und einem modellbasierten Algorithmus basierend auf dem Parameter. Dadurch kann ein Algorithmus ausgewählt werden, der für eine jeweilige Situation geeignet ist, beispielsweise kann für eine nicht sicherheitskritische Situation ein Algorithmus ausgewählt werden, der den ASIL Anforderungen nicht genügt (beispielsweise ein ML Algorithmus). Dadurch kann beispielsweise eine Genauigkeit erhöht werden.
In einem Ausführungsbeispiel kann, sofern der Parameter einen Grenzwert überschreitet, die Handdetektion basierend auf dem modellbasierten Algorithmus durchgeführt werden. Dadurch kann für verschiedene Situationen eine vereinfachte Zuordnung erfolgen. Beispielsweise kann der Grenzwert so gewählt sein, dass der Parameter für eine sicherheitskritische Situation, welche einer ASIL Anforderungen genügen muss, oberhalb des Grenzwerts liegt.
In einem Ausführungsbeispiel kann, sofern der Parameter einen Grenzwert unterschreitet, die Handdetektion basierend auf dem maschinellen Lernen Algorithmus durchgeführt werden. Dadurch kann für verschiedene Situationen eine vereinfachte Zuordnung erfolgen. Beispielsweise kann der Grenzwert so gewählt sein, dass der Parameter für eine nicht sicherheitskritische Situation, welche keiner ASIL Anforderungen erfordert, unterhalb des Grenzwerts liegt.
In einem Ausführungsbeispiel kann das Verfahren ferner umfassen Erhalten einer Umgebungsinformation des Fahrzeugs und Bestimmen des Parameters zur Bewertung der Sicherheitsrelevanz basierend auf der erhaltenen Umgebungsinformation. Dadurch kann insbesondere eine Erkennung der Sicherheitsrelevanz verbessert werden. Beispielsweise kann eine sicherheitskritische Situation erkannt werden, wenn ein bewegliches Objekt (beispielsweise ein Mensch) einen Mindestabstand zu dem Fahrzeug (beispielsweise vor dem Fahrzeug) unterschreitet.
In einem Ausführungsbeispiel kann das Verfahren ferner umfassen Erhalten einer Zustandsinformation über einen Zustand des Fahrzeugs und Bestimmen des Parameters zur Bewertung der Sicherheitsrelevanz basierend auf der erhaltenen Zustandsinformation. Dadurch kann beispielsweise eine Geschwindigkeit des Fahrzeugs zu Bewertung einer Situation verwendet werden.
In einem Ausführungsbeispiel kann das Verfahren ferner umfassen Erhalten einer Innenrauminformation des Fahrzeugs und Verwenden der Innenrauminformation zur Handdetektion. Dadurch kann eine Verlässlichkeit der Handdetektion durch einen weiteren Eingangsparameter zur Bestimmung oder zur Überprüfung verbessert werden.
Ausführungsbeispiele schaffen auch ein Computerprogramm zur Durchführung eines der hierin beschriebenen Verfahren, wenn das Computerprogramm auf einem Computer, einem Prozessor, oder einer programmierbaren Hardwarekomponente abläuft.
Ein weiteres Ausführungsbeispiel ist eine Vorrichtung zur Verbesserung einer Erkennung einer Handdetektion an einem Lenkrad eines Fahrzeugs. Die Vorrichtung umfasst eine oder mehrere Schnittstellen zur Kommunikation (z. B. mit dem Sensor zum Bestimmen von Umgebungsinformationen) und eine Datenverarbeitungsschaltung, die zur Durchführung zumindest eines der hierin beschriebenen Verfahren ausgebildet ist. Ausführungsbeispiele schaffen darüber hinaus ein Fahrzeug mit einer Vorrichtung wie hierin beschrieben.
Ausführungsbeispiele werden nachfolgend bezugnehmend auf die beiliegenden Figuren näher erläutert:

1 zeigt eine schematische Darstellung eines Beispiels eines Verfahrens zur Verbesserung einer Handdetektion an einem Lenkrad eines Fahrzeugs;
2 zeigt ein Blockdiagramm eines Ausführungsbeispiels einer Vorrichtung in einem Fahrzeug zur Verbesserung einer Handdetektion an einem Lenkrad eines Fahrzeugs; und
3 zeigt Ausführungsbeispiele zur Integration eines virtuellen Sensors.

Verschiedene Ausführungsbeispiele werden nun ausführlicher unter Bezugnahme auf die beiliegenden Zeichnungen beschrieben, in denen einige Ausführungsbeispiele dargestellt sind. In den Figuren können die Dickenabmessungen von Linien, Schichten und/oder Regionen um der Deutlichkeit Willen übertrieben dargestellt sein.
1 zeigt eine schematische Darstellung eines Beispiels eines Verfahrens 100 zur Verbesserung einer Handdetektion an einem Lenkrad eines Fahrzeugs. Das Verfahren 100 umfasst Bestimmen 110 eines Parameters zur Bewertung einer Sicherheitsrelevanz einer Situation und Durchführen 120 der Handdetektion basierend auf zumindest einem von einem maschinellen Lernen Algorithmus und einem modellbasierten Algorithmus basierend auf dem Parameter. Dadurch kann mittels des Parameters eine Auswahl eines zu verwendeten Algorithmus getroffen werden. Insbesondere kann durch die Verwendung des Parameters ein geeigneter Algorithmus ausgewählt werden, beispielsweise um eine ASIL Anforderung zu erfüllen. Durch die Kombination verschiedener Algorithmen kann eine Handdetektion verbessert werden, sodass ein kapazitiver Sensor eingespart werden kann, wodurch Kosten reduziert werden können. Auch kann eine fehleranfällige Handdetektion mittels Beobachtung des Innenraums des Fahrzeugs ersetzt/vermieden bzw. robuster gestaltet werden.
Durch die Verwendung einer Mehrzahl an Algorithmen kann ein Algorithmus an eine Situation angepasst werden. Beispielsweise kann ein erster Algorithmus, z. B., der ML Algorithmus, einen Vorteil bei einer Genauigkeit der Bestimmung der Handdetektion aufweisen. Der ML Algorithmus kann sensitiv gegenüber Störungen von außen durch z.B. Fahrbahnanregung, geringe Momente durch den Fahrer, Reibung im System sein. Dadurch kann eine robustere Performance bei Störungen erzielt werden. Ferner kann eine verbesserte/robustere Performance in einem breiten Spektrum unterschiedlicher Situationen erreicht werden, insbesondere ohne einen Ansatz, der einer händischen situationsabhängigen Parametrisierung bedarf.
Beispielsweise kann ein zweiter Algorithmus, z. B., der modellbasierte Algorithmus einen Vorteil bei einer Bestimmung nach ASIL Anforderungen aufweisen, weil dieser ASIL konform ist.
Durch die Auswahl eines oder die Synthese verschiedener Algorithmen aus ML Algorithmus und klassischen mathematischen/modellbasierten Algorithmus kann eine Handdetektion verbessert werden, beispielsweise eine Hands off Detection (HOD). Beispielsweise können in nicht sicherheitskritischen Situationen die Vorteile einer nichtlinearen Mustererkennung aus ML Algorithmen verwendet werden. In sicherheitskritischen Situationen und/oder beim Betrieb kritischer Teilfunktionen, die mit einer ASIL-Einstufung versehen sind, können mathematische/modellbasierte Verfahren eingesetzt werden, die entsprechend der ASIL Anforderungen abgesichert werden können. Durch die Beschränkung des Zustandsraumes auf eine Teilmenge (beispielsweise dadurch, dass der ML Algorithmus die andere Teilmenge abdeckt, abhängig vom Parameter zur Bewertung der Sicherheitsrelevanz) des Betriebsbereiches können diese Funktionen zusätzlich arbeitspunktabhängig optimiert werden, wodurch ein Performanzgewinn erreicht werden kann.
Die Beurteilung ob eine Situation sicherheitskritisch ist oder nicht, kann für jede Situation im Voraus erfolgen. Insbesondere kann eine Beurteilung für eine Vielzahl von Situationen in einer Datenbank, beispielsweise einer look-up-table, einem Dateisystem oder in einer Datenstruktur gespeichert sein. Die Datenbank kann beispielsweise auf einer Speichereinheit einer Vorrichtung (siehe 2) zur Durchführung eines erfindungsgemäßen Verfahrens gespeichert sein. Beispielsweise kann einer Situation ein Wert in einem Wertebereich zugewiesen werden, wobei ein höherer Wert für eine höhere Kritikalität der Situation steht. Dadurch können verschiedenen Situationen mit verschiedenen Parametern für eine Kritikalität bewertet werden. Durch Kombination mit einem Grenzwert kann dann insbesondere eine Auswahl getroffen werden, welche Situation als sicherheitskritisch oder als nicht sicherheitskritisch eingeordnet wird. Insbesondere kann diese Auswahl durch Variation der Grenzwerte verändert werden.
Durch die Auswahl/Kombination eines Algorithmus kann ein performanter, absicherbarer, virtueller Sensor, der die Nachteile einzelner Ansätze reduziert und im Vergleich zu einem realen Sensor (beispielsweise einem kapazitiven Sensor) erhebliche Kostenreduzierung bietet, realisiert werden. Die Auswahl basierend auf dem Parameter zur Bewertung der Sicherheitsrelevanz kann es insbesondere ermöglichen, die einzelnen Algorithmen auf die jeweiligen Situationen anzupassen, z. B., durch die Definition von Schwellwerten.
Ferner kann damit eine rein softwarebasierte Lösung zur Handdetektion bereitgestellt werden, die unabhängig von zusätzlicher Hardware in einem Fahrzeug implementiert werden kann. Dadurch kann beispielsweise eine Kostenreduktion, eine erhöhte Absicherbarkeit, eine erhöhte Robustheit und/oder ein Performanzgewinn durch arbeitspunktabhängige Umsetzung erzielt werden.
In einem Ausführungsbeispiel kann, sofern der Parameter einen Grenzwert überschreitet, die Handdetektion basierend auf dem modellbasierten Algorithmus durchgeführt werden. Dadurch kann der modellbasierte Algorithmus beispielsweise für bestimmte Situation, insbesondere sicherheitskritische Situationen, mit einem zugehörigen Schwellwert versehen werden. Insbesondere kann auch eine Mehrzahl an modellbasierten Algorithmen verwendet werden, welche verschiedene ASIL Anforderungen erfüllen. Eine Auswahl eines modellbasierten Algorithmus aus der Mehrzahl an modellbasierten Algorithmen kann dann beispielsweise basierend auf dem Parameter erfolgen. Der Grenzwert kann spezifisch für eine Situation oder eine Mehrzahl an Situationen sein.
In einem Ausführungsbeispiel kann, sofern der Parameter einen Grenzwert unterschreitet, die Handdetektion basierend auf dem maschinellen Lernen Algorithmus durchgeführt werden. Dadurch kann der ML Algorithmus insbesondere nur für Situationen verwendet werden, welche nicht sicherheitskritisch sind, also insbesondere keine ASIL Anforderungen erfüllen müssen. Hiermit kann insbesondere für nicht sicherheitskritische Situationen eine erhöhte Genauigkeit des ML Algorithmus ausgenutzt werden. Insbesondere kann auch eine Mehrzahl an ML Algorithmen verwendet werden, welche für verschiedenen Situationen trainiert wurden. Eine Auswahl eines ML Algorithmus aus der Mehrzahl an ML Algorithmen kann dann beispielsweise basierend auf dem Parameter erfolgen.
Alternativ oder optional kann auch eine Kombination aus ML Algorithmus und modellbasierten Algorithmus verwendet werden. Beispielsweise kann ein Algorithmus, z. B., der ML Algorithmus, verwendet werden um ein Ergebnis des anderen Algorithmus, beispielsweise des modellbasierten Algorithmus, zu überprüfen.
In einem Ausführungsbeispiel kann das Verfahren ferner umfassen Erhalten einer Umgebungsinformation des Fahrzeugs und Bestimmen des Parameters zur Bewertung der Sicherheitsrelevanz basierend auf der erhaltenen Umgebungsinformation. Dadurch kann eine Beurteilung einer sicherheitskritischen Situation verbessert werden.
Beispielsweise kann die Umgebungsinformation durch die Bestimmung von Informationen über die Umgebung mithilfe eines oder mehrerer Sensoren des Fahrzeugs und/oder durch den Empfang von Informationen über die Umgebung (beispielsweise durch eine cooperative awareness message) erhalten werden. Die Umgebungsinformation kann von einem Fahrzeug, einer Infrastruktur, einem Smartphone, einer Basisstation, etc. empfangen werden. Der eine oder die mehreren Sensoren können beispielsweise zu einer Vielzahl von Fahrzeug-Sensoren gehören, z. B. ein Radarsensor, ein Lidarsensor, ein Ultraschallsensor oder ein bildgebender Sensor wie eine Kamera oder Infrarotsensoren.
Durch die Umgebungsinformation kann insbesondere eine Bestimmung der Sicherheitsrelevanz verbessert werden. Beispielsweise kann in einer Umgebung mit wenig Hindernissen, beweglichen Objekten, etc. die Sicherheitsrelevanz geringer sein als in einer Umgebung mit mehr Hindernissen, beweglichen Objekten, etc. Dadurch kann insbesondere eine adaptive Anpassung der Bestimmung des Parameters zur Bewertung der Sicherheitsrelevanz erfolgen.
In einem Ausführungsbeispiel kann das Verfahren ferner umfassen Erhalten einer Zustandsinformation über einen Zustand des Fahrzeugs und Bestimmen des Parameters zur Bewertung der Sicherheitsrelevanz basierend auf der erhaltenen Zustandsinformation. Dadurch kann beispielsweise eine Geschwindigkeit des Fahrzeugs zur Bestimmung des Parameters berücksichtigt werden. Beispielsweise kann für ein stehendes Fahrzeug, welches anfährt, eine Situation kritischer sein, als für ein sich auf einer Autobahn mit einer charakteristischen Geschwindigkeit für die Autobahn fahrendes Fahrzeug.
In einem Ausführungsbeispiel kann das Verfahren ferner umfassen Erhalten einer Zustandsinformation über einen Zustand des Fahrzeugs und Bestimmen des Parameters zur Bewertung der Sicherheitsrelevanz basierend auf der erhaltenen Zustandsinformation. Dadurch kann beispielsweise eine Geschwindigkeit des Fahrzeugs zu Bewertung einer Situation verwendet werden.
In einem Ausführungsbeispiel kann das Verfahren ferner umfassen Bestimmen einer Innenrauminformation des Fahrzeugs und Verwenden der Innenrauminformation zur Handdetektion. Eine Bestimmung kann beispielsweise mittels einer Kamera, einer Infrarotkamera, etc. erfolgen. Durch die Innenrauminformation kann dann beispielsweise ein mittels des Algorithmus bestimmtes Ergebnis verifiziert werden.
Beispielsweise kann eine Fahrerbeobachtungskamera eingesetzt werden um die Aufmerksamkeit des Fahrers und/oder die Position der Hände zu detektieren und/oder zu schätzen. Neben der robusten Entwicklung entsprechender bildverarbeitender Algorithmen ist dabei jedoch sicherzustellen, dass die Informationen aus der Kamera trotz potenzieller Überdeckung oder visueller Störeinflüsse robuste Informationen liefern.
Weitere Einzelheiten und Aspekte werden im Zusammenhang mit den unten beschriebenen Ausführungsbeispielen erwähnt. Das in 1 gezeigte Ausführungsbeispiel kann ein oder mehrere optionale zusätzliche Merkmale umfassen, die einem oder mehreren Aspekten entsprechen, die im Zusammenhang mit dem vorgeschlagenen Konzept oder einem oder mehreren unten beschriebenen Ausführungsbeispielen (z. B. 2 - 3) erwähnt wurden.
2 zeigt ein Blockdiagramm eines Ausführungsbeispiels einer Vorrichtung in einem Fahrzeug 200 zur Verbesserung einer Handdetektion an einem Lenkrad eines Fahrzeugs. Die Vorrichtung 30 umfasst eine oder mehrere Schnittstellen 32 zur Kommunikation. Die Vorrichtung 30 umfasst ferner eine Datenverarbeitungsschaltung 34, die zur Durchführung zumindest eines der hierin beschriebenen Verfahren ausgebildet ist, beispielsweise des Verfahrens, welches mit Bezug zu 1 beschrieben ist. Weitere Ausführungsbeispiele sind ein Fahrzeug mit einer Vorrichtung 30.
Die eine oder mehreren Schnittstellen 32 können beispielsweise einem oder mehreren Eingängen und/oder einem oder mehreren Ausgängen zum Empfangen und/oder Übertragen von Informationen entsprechen, etwa in digitalen Bitwerten, basierend auf einem Code, innerhalb eines Moduls, zwischen Modulen, oder zwischen Modulen verschiedener Entitäten. Die zumindest eine oder mehreren Schnittstellen 32 kann beispielsweise ausgebildet sein, um über ein (Funk)-Netzwerk oder ein lokales Verbindungsnetzwerk mit anderen Netzwerkkomponenten zu kommunizieren.
Wie in 2 dargestellt, sind die eine oder mehreren Schnittstellen 32 mit der jeweiligen Datenverarbeitungsschaltung 34 der Vorrichtung 30 gekoppelt. In Beispielen kann die Vorrichtung 30 durch eine oder mehrere Verarbeitungseinheiten, ein oder mehrere Verarbeitungsgeräte, ein beliebiges Mittel zur Verarbeitung, wie z.B. einen Prozessor, einen Computer oder eine programmierbare Hardwarekomponente, die mit entsprechend angepasster Software betrieben werden kann, implementiert werden. Ebenso können die beschriebenen Funktionen der Datenverarbeitungsschaltung 34 auch in Software implementiert werden, die dann auf einer oder mehreren programmierbaren Hardwarekomponenten ausgeführt wird. Solche Hardwarekomponenten können ein Mehrzweckprozessor, ein digitaler Signalprozessor (DSP), ein Mikrocontroller usw. sein. Die Datenverarbeitungsschaltung 34 kann in der Lage sein, die eine oder mehrere Schnittstellen 32 zu steuern, so dass jede Datenübertragung, die über die eine oder mehrere Schnittstellen 32 erfolgt, und/oder jede Interaktion, an der die eine oder mehrere Schnittstellen 32 beteiligt sein können, von der Datenverarbeitungsschaltung 34 gesteuert werden kann.
In Ausführungsbeispielen kann die Datenverarbeitungsschaltung 34 einem beliebigen Controller oder Prozessor oder einer programmierbaren Hardwarekomponente entsprechen. Beispielsweise kann die Datenverarbeitungsschaltung 34 auch als Software realisiert sein, die für eine entsprechende Hardwarekomponente programmiert ist. Insofern kann die Datenverarbeitungsschaltung 34 als programmierbare Hardware mit entsprechend angepasster Software implementiert sein. Dabei können beliebige Prozessoren, wie Digitale Signalprozessoren (DSPs) zum Einsatz kommen. Ausführungsbeispiele sind dabei nicht auf einen bestimmten Typ von Prozessor eingeschränkt. Es sind beliebige Prozessoren oder auch mehrere Prozessoren zur Implementierung der Datenverarbeitungsschaltung 34 denkbar.
In einer Ausführungsform kann die Vorrichtung 30 einen Speicher und mindestens eine Datenverarbeitungsschaltung 34 umfassen, das funktionsfähig mit dem Speicher gekoppelt und so konfiguriert ist, dass sie das unten beschriebene Verfahren durchführt.
In Beispielen können die eine oder mehrere Schnittstellen 32 jedem Mittel zum Erhalten, Empfangen, Übertragen oder Bereitstellen von analogen oder digitalen Signalen oder Informationen entsprechen, z. B. jedem Anschluss, Kontakt, Stift, Register, Eingangsanschluss, Ausgangsanschluss, Leiter, Spur usw., der die Bereitstellung oder den Erhalt eines Signals oder einer Information ermöglicht. Die eine oder mehreren Schnittstellen 32 können drahtlos oder drahtgebunden sein und können so konfiguriert sein, dass sie mit weiteren internen oder externen Komponenten kommunizieren können, z. B. Signale oder Informationen senden oder empfangen können.
In zumindest manchen Ausführungsbeispielen kann das Fahrzeug beispielsweise einem Landfahrzeug, einem Wasserfahrzeug, einem Luftfahrzeug, einem Schienenfahrzeug, einem Straßenfahrzeug, einem Auto, einem Bus, einem Motorrad, einem Geländefahrzeug, einem Kraftfahrzeug, oder einem Lastkraftfahrzeug entsprechen. Die Datenverarbeitungsschaltung kann beispielsweise ein Teil eines Steuergeräts des Fahrzeugs sein.
Weitere Einzelheiten und Aspekte werden im Zusammenhang mit den unten und/oder oben beschriebenen Ausführungsbeispielen erwähnt. Das in 2 gezeigte Ausführungsbeispiel kann ein oder mehrere optionale zusätzliche Merkmale umfassen, die einem oder mehreren Aspekten entsprechen, die im Zusammenhang mit dem vorgeschlagenen Konzept oder einem oder mehreren oben (z. B. 1) und/oder unten beschriebenen Ausführungsbeispielen (z. B. 3) erwähnt wurden.
3 zeigt verschieden Beispiele für ein Hands off Detection. 3a zeigt verschiedene aus dem Stand der Technik bekannte HOD-Konzepte. Beispielsweise kann ein virtueller Sensor, der günstig ist verwendet werden oder ein zusätzlicher Sensor, der mit höheren Kosten verbunden ist. Die Verwendung von virtuellen Sensoren kann in modellbasierte Algorithmen (ASIL kompatibel) und ML Algorithmen (erhöhte Performance durch bessere Berücksichtigung von Umwelteinflüssen wie z. B. Reibung, Straßenrückanregung, etc.) unterschieden werden. Bei zusätzlichen Sensoren können beispielsweise kapazitive Sensoren (ASIL kompatibel) oder Fahrerbeobachtungskameras (für ein Vielzahl an Zwecken einsetzbar) verwendet werden.
3b zeigt ein Ausführungsbeispiel eines hybriden Ansatzes, der situationsabhängig maschinelle Lernverfahren oder klassische, mathematische modellbasierte Ansätze zur HOD verwendet. Die Kombination beider Algorithmen/Ansätze basierend auf einem situationsabhängigen Parameter kann eine Ausnutzung einer verbesserten Performanz des ML Algorithmus, sowie eine situationsabhängige Absicherung, beispielsweise nach ASIL, des modellbasierten Algorithmus ermöglichen.
3c zeigt ein Ausführungsbeispiel einer Modellbildung für einen virtuellen Sensor. Als Trainingsdaten für den ML Algorithmus können Fahrzeugreaktionen, bzw. Bewegungsinformationen (z.B. Geschwindigkeit, Gierrate, Querbeschleunigung), eine Ausgabe aus einem Assistenzsystem (z.B. Wunsch-Krümmung, Unterstützungsmoment, Wunschlenkwinkel), eine Lenkradinformationen (z.B. Lenkwinkel, Lenkwinkelgeschwindigkeit, Lenkmoment) verwendet werden. Als Bewertungsdaten (Ground Truth) für ein Ergebnis des ML Algorithmus können Daten von Fahrzeugen mit integrierten, kapazitiven Hardwaresensoren dienen. Insbesondere können diese integrierten Hardwaresensoren durch den Einsatz eines virtuellen Sensors bestehend aus der Kombination von ML und modellbasierten Algorithmus ersetzt werden. In einem ersten Schritt kann eine Modellbildung für den virtuellen Sensor erfolgen. Hierzu können insbesondere Hardwaresensoren (beispielsweise von anderen Fahrzeugen) verwendet werden. Diese Hardwaresensoren können Trainingsdaten liefern, insbesondere Ground Truth Daten, auf deren Basis eine softwarebasierte Lösung entwickelt und optional getestet werden kann.
Ein System zum Trainieren des ML Algorithmus kann so konfiguriert werden, dass es Informationen (Trainings-Eingangsdaten) über Fahrzeugreaktionen, bzw. Bewegungsinformationen (z.B. Geschwindigkeit, Gierrate, Querbeschleunigung), eine Ausgabe aus einem Assistenzsystem (z.B. Wunsch-Krümmung, Unterstützungsmoment, Wunschlenkwinkel), eine Lenkradinformationen (z.B. Lenkwinkel, Lenkwinkelgeschwindigkeit, Lenkmoment) als Eingabe für ein maschinelles Lernmodell bereitstellt. Maschinelles Lernen bezieht sich auf Algorithmen und statistische Modelle, die Computersysteme verwenden können, um eine bestimmte Aufgabe ohne explizite Anweisungen auszuführen und sich stattdessen auf Modelle und Schlussfolgerungen zu stützen. Beispielsweise kann beim maschinellen Lernen anstelle einer regelbasierten Umwandlung von Daten eine Umwandlung von Daten verwendet werden, die aus einer Analyse von historischen und/oder Trainingsdaten abgeleitet wird.
Modelle des maschinellen Lernens werden anhand von Trainingsdaten trainiert. Zum Trainieren eines maschinellen Lernmodells können viele verschiedene Ansätze verwendet werden. So kann beispielsweise überwachtes Lernen, halbüberwachtes Lernen oder unüberwachtes Lernen eingesetzt werden. Beim überwachten Lernen wird das maschinelle Lernmodell unter Verwendung einer Vielzahl von Trainingsmustern trainiert, wobei jedes Muster eine Vielzahl von Eingabedatenwerten und eine Vielzahl von gewünschten Ausgabewerten umfassen kann, z. B. ist jedes Trainingsmuster mit einem gewünschten Ausgabewert verbunden. Durch die Angabe sowohl von Trainingsmustern als auch von gewünschten Ausgabewerten „lernt“ das maschinelle Lernmodell, welchen Ausgabewert es auf der Grundlage eines Eingangsmusters liefern soll, das den während des Trainings gelieferten Mustern ähnlich ist. Neben dem überwachten Lernen kann auch das halbüberwachte Lernen eingesetzt werden. Beim halbüberwachten Lernen fehlt einigen der Trainingsmuster ein entsprechender gewünschter Ausgabewert. Überwachtes Lernen kann auf einem überwachten Lernalgorithmus beruhen, z. B. einem Klassifizierungsalgorithmus, einem Regressionsalgorithmus oder einem Ähnlichkeitslernalgorithmus. Beim unüberwachten Lernen können (nur) Eingabedaten geliefert werden, und ein unüberwachter Lernalgorithmus kann verwendet werden, um eine Struktur in den Eingabedaten zu finden, z. B. durch Gruppieren oder Clustern der Eingabedaten, um Gemeinsamkeiten in den Daten zu finden.
Das maschinelle Lernmodell kann zum Beispiel ein künstliches neuronales Netz (ANN) sein. ANN sind Systeme, die sich an biologischen neuronalen Netzen orientieren, wie sie beispielsweise im Gehirn zu finden sind. ANNs bestehen aus einer Vielzahl miteinander verbundener Knoten und einer Vielzahl von Verbindungen, sogenannten Kanten, zwischen den Knoten. In der Regel gibt es drei Arten von Knoten: Eingabeknoten, die Eingabewerte empfangen, versteckte Knoten, die mit anderen Knoten verbunden sind, und Ausgabeknoten, die Ausgabewerte liefern. Jeder Knoten kann ein künstliches Neuron darstellen. Jede Kante kann Informationen von einem Knoten zu einem anderen übertragen. Die Ausgabe eines Knotens kann als (nicht lineare) Funktion der Summe seiner Eingaben definiert werden. Die Eingaben eines Knotens können in der Funktion auf der Grundlage eines „Gewichts“ der Kante oder des Knotens, der die Eingabe liefert, verwendet werden. Die Gewichtung von Knoten und/oder Kanten kann während des Lernprozesses angepasst werden. Mit anderen Worten, das Training eines künstlichen neuronalen Netzes kann die Anpassung der Gewichte der Knoten und/oder Kanten des künstlichen neuronalen Netzes umfassen, z. B., um eine gewünschte Ausgabe für eine gegebene Eingabe zu erreichen. In zumindest einigen Beispielen kann das maschinelle Lernmodell ein tiefes neuronales Netz sein, z. B. ein neuronales Netz mit einer oder mehreren Schichten verborgener Knoten (z. B. verborgene Schichten), vorzugsweise einer Vielzahl von Schichten verborgener Knoten.
Das Training von maschinellen Lernmodellen erfordert einen erheblichen Aufwand, so dass die Wiederverwendung eines maschinellen Lernmodells für verschiedene Problemgrößen die gesamte Trainingszeit reduzieren kann. In verschiedenen Beispielen der vorliegenden Offenbarung kann das maschinelle Lernmodell auf eine unterschiedliche Anzahl Vorrichtung bzw. Fahrzeugen angewendet werden.
Die Trainings-Eingangsdaten können beispielsweise über eine Schnittstelle, z.B. eine Schnittstelle des Systems, bezogen werden. Die Trainingseingangsdaten können aus einer Datenbank, aus einem Dateisystem oder aus einer Datenstruktur, die in einem Computerspeicher gespeichert ist, bezogen werden. Die Trainingseingangsdaten können Trainingsinformationen über Fahrzeugreaktionen, bzw. Bewegungsinformationen (z.B. Geschwindigkeit, Gierrate, Querbeschleunigung), eine Ausgabe aus einem Assistenzsystem (z.B. Wunsch-Krümmung, Unterstützungsmoment, Wunschlenkwinkel), eine Lenkradinformationen (z.B. Lenkwinkel, Lenkwinkelgeschwindigkeit, Lenkmoment umfassen. Der Begriff „Trainingsinformationen“ kann lediglich darauf hinweisen, dass die jeweiligen Daten für das Training des maschinellen Lernmodells geeignet, z.B. ausgelegt sind. Beispielsweise können die Trainingsinformationen Informationen über Fahrzeugreaktionen, bzw. Bewegungsinformationen (z.B. Geschwindigkeit, Gierrate, Querbeschleunigung), eine Ausgabe aus einem Assistenzsystem (z.B. Wunsch-Krümmung, Unterstützungsmoment, Wunschlenkwinkel), eine Lenkradinformationen (z.B. Lenkwinkel, Lenkwinkelgeschwindigkeit, Lenkmoment umfassen, die repräsentativ für die jeweiligen Daten sind, die von dem maschinellen Lernmodell verarbeitet werden sollen, z.B. um ein maschinelles Lernmodell zu erhalten, das für die vorliegende Aufgabe geeignet ist, z.B. geeignet für eine Handdetektion an einem Lenkrad.
Zum Beispiel kann das maschinelle Lernmodell eine Information über eine Handdetektion bereitstellen, die auf den Trainingsinformationen wie oben beschrieben basiert, die am Eingang des maschinellen Lernmodells bereitgestellt werden können. Mit anderen Worten, das maschinelle Lernmodell kann mit den Trainingseingangsdaten, die eine Vielzahl an Parameter zur Beurteilung einer Handdetektion darstellen, und mit der Aufgabe, eine Handdetektion zu verbessern, versehen werden.
Das maschinelle Lernmodell kann beispielsweise trainiert werden, indem eine Gruppe von Trainingsaufgaben (oder Verfahrensschritten) wiederholt (z. B. mindestens zweimal, mindestens fünfmal, mindestens zehnmal, mindestens 20mal, mindestens 50mal, mindestens 100mal, mindestens 1000mal) durchgeführt wird. Beispielsweise kann das maschinelle Lernmodell trainiert werden, indem die Trainings-Eingangsdaten wiederholt in das maschinelle Lernmodell eingegeben werden, eine Handdetektion durchgeführt wird, die Handdetektion auf Grundlage von Ground Truth eines Hardwaresensors bewertet wird und das maschinelle Lernmodell basierend auf einem Ergebnis der Bewertung angepasst wird.
Eine Wiederholung der oben genannten Aufgaben kann beim Reinforcement Learning als „Epoche“ bezeichnet werden. Eine Epoche bedeutet, dass der gesamte Satz von Trainings-Eingabedaten einmal vorwärts und rückwärts durch das maschinelle Lernmodell geleitet wird. Innerhalb einer Epoche kann eine Vielzahl von Stapeln von Trainingsdaten in das maschinelle Lernmodell eingegeben werden, um eine Handdetektion zu bestimmen. Um die Problemgröße klein zu halten, können die Trainingsdaten beispielsweise in eine Vielzahl von Stapeln unterteilt werden, die dem maschinellen Lernmodell separat zur Verfügung gestellt werden können. Jeder Stapel aus der Vielzahl der Stapel kann separat in das maschinelle Lernmodell eingegeben werden.
Wie in 3c erkennbar ist, kann in 310 eine Information (ein Szenario, eine Fahrsituation, eine Fahraufgabe, eine Kritikalität, etc.) zur Bestimmung einer Situation zur Verfügung gestellt werden. Diese Information kann beispielsweise verwendet werden, um den Parameter zur Bewertung einer Sicherheitsrelevanz einer Situation zu bestimmen. Ein Assistenzsystem 320 kann eine Teilfunktion 330 zur HOD umfassen. Zum Anlernen des ML Algorithmus kann eine Hardwaresensor vorhanden sein, welcher Bewertungsdaten für den ML Algorithmus zur Verfügung stellt. Dadurch kann eine Modellbildung des ML Algorithmus auf Grundlage von Bewertungsdaten verbessert werden. Das Assistenzsystem 320 kann dann beispielsweise eine Information an einen Fahrer ausgeben, beispielsweise eine Warnung, dass dieser seine Hände an das Lenkrad nehmen soll und/oder eine Steuerung des Fahrzeugs durchführen, beispielsweise einen Bremsvorgang, Manöverabbruch, etc. (beispielsweise, wenn keine Hände am Lenkrad in einer kritischen Situation erkannt wurden).
Nach einem Anlernen des ML Algorithmus kann dieser in Synergie mit einem modellbasierten Algorithmus eingesetzt werden. Wie in 3d und 3e gezeigt kann abhängig von einer Bewertung einer Situation 340d, 340e ein jeweiliger Algorithmus verwendet werden. In 3d führt die Bereitstellung 310 der Information zu einer Bewertung der Situation 340d als nicht sicherheitskritische Situation. Dementsprechend wird in der Teilfunktion 330 ein ML Ansatz, also ein ML Algorithmus zur HOD verwendet. Dieser Algorithmus kann eine verbesserte Performance bieten. Wie bereits oben ausgeführt kann die Beurteilung einer Kritikalität einer Situation im Voraus erfolgen und dann durch Vergleich mit einer Datenbank, einem Dateisystem oder aus einer Datenstruktur erfolgen.
In 3e führt die Bereitstellung 310 der Information zu einer Bewertung der Situation 340e als sicherheitskritische Situation. Dementsprechend wird in der Teilfunktion 330 ein mathematischer Ansatz, also ein modellbasierter Algorithmus zur HOD verwendet. Dieser Algorithmus kann insbesondere ASIL Anforderungen genügen.
Durch den Einsatz des 2. Pfad mit dem virtuellen Sensor kann der 1. Pfad mit dem Hardwaresensor entfallen. Dadurch kann ein Bedarf eines teuren Hardwaresensors entfallen, wodurch insbesondere Kosten eingespart werden können.
Weitere Einzelheiten und Aspekte werden im Zusammenhang mit den oben beschriebenen Ausführungsbeispielen erwähnt. Das in 3 gezeigte Ausführungsbeispiel kann ein oder mehrere optionale zusätzliche Merkmale umfassen, die einem oder mehreren Aspekten entsprechen, die im Zusammenhang mit dem vorgeschlagenen Konzept oder einem oder mehreren oben (z. B. 1 - 2) beschriebenen Ausführungsbeispielen erwähnt wurden.
Weitere Ausführungsbeispiele sind Computerprogramme zur Durchführung eines der hierin beschriebenen Verfahren, wenn das Computerprogramm auf einem Computer, einem Prozessor, oder einer programmierbaren Hardwarekomponente abläuft. Je nach bestimmten Implementierungsanforderungen können Ausführungsbeispiele der Erfindung in Hardware oder in Software implementiert sein. Die Implementierung kann unter Verwendung eines digitalen Speichermediums, beispielsweise einer Floppy-Disk, einer DVD, einer Blu-Ray Disc, einer CD, eines ROM, eines PROM, eines EPROM, eines EEPROM oder eines FLASH-Speichers, einer Festplatte oder eines anderen magnetischen oder optischen Speichers durchgeführt werden, auf dem elektronisch lesbare Steuersignale gespeichert sind, die mit einer programmierbaren Hardwarekomponente derart zusammenwirken können oder zusammenwirken, dass das jeweilige Verfahren durchgeführt wird.
Eine programmierbare Hardwarekomponente kann durch einen Prozessor, einen Computerprozessor (CPU = Central Processing Unit), einen Grafikprozessor (GPU = Graphics Processing Unit), einen Computer, ein Computersystem, einen anwendungsspezifischen integrierten Schaltkreis (ASIC = Application-Specific Integrated Circuit), einen integrierten Schaltkreis (IC = Integrated Circuit), ein Ein-Chip-System (SOC = System on Chip), ein programmierbares Logikelement oder ein feldprogrammierbares Gatterarray mit einem Mikroprozessor (FPGA = Field Programmable Gate Array) gebildet sein.
Das digitale Speichermedium kann daher maschinen- oder computerlesbar sein. Manche Ausführungsbeispiele umfassen also einen Datenträger, der elektronisch lesbare Steuersignale aufweist, die in der Lage sind, mit einem programmierbaren Computersystem oder einer programmierbare Hardwarekomponente derart zusammenzuwirken, dass eines der hierin beschriebenen Verfahren durchgeführt wird. Ein Ausführungsbeispiel ist somit ein Datenträger (oder ein digitales Speichermedium oder ein computerlesbares Medium), auf dem das Programm zum Durchführen eines der hierin beschriebenen Verfahren aufgezeichnet ist.
Allgemein können Ausführungsbeispiele der vorliegenden Erfindung als Programm, Firmware, Computerprogramm oder Computerprogrammprodukt mit einem Programmcode oder als Daten implementiert sein, wobei der Programmcode oder die Daten dahin gehend wirksam ist bzw. sind, eines der Verfahren durchzuführen, wenn das Programm auf einem Prozessor oder einer programmierbaren Hardwarekomponente abläuft. Der Programmcode oder die Daten kann bzw. können beispielsweise auch auf einem maschinenlesbaren Träger oder Datenträger gespeichert sein. Der Programmcode oder die Daten können unter anderem als Quellcode, Maschinencode oder Bytecode sowie als anderer Zwischencode vorliegen.
Die oben beschriebenen Ausführungsbeispiele stellen lediglich eine Veranschaulichung der Prinzipien der vorliegenden Erfindung dar. Es versteht sich, dass Modifikationen und Variationen der hierin beschriebenen Anordnungen und Einzelheiten anderen Fachleuten einleuchten werden. Deshalb ist beabsichtigt, dass die Erfindung lediglich durch den Schutzumfang der nachstehenden Patentansprüche und nicht durch die spezifischen Einzelheiten, die anhand der Beschreibung und der Erläuterung der Ausführungsbeispiele hierin präsentiert wurden, beschränkt sei.
Bezugszeichenliste

30: Vorrichtung
32: Schnittstelle
34: Datenverarbeitungseinheit
100: Verfahren Verbesserung einer Handdetektion an einem Lenkrad
110: Bestimmen eines Parameters zur Bewertung einer Sicherheitsrelevanz einer Situation
120: Durchführen der Handdetektion
200: Fahrzeug
310: Information zur Bestimmung einer Situation
320: Assistenzsystem
330: Teilfunktion zur Handdetektion
340d, 340e: Bewertung der Situation

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

DE 102016005013 A1 [0003]
DE 102018129563 A1 [0004]
EP 2371649 B1 [0005]

Claims

Ein Verfahren (100) zur Verbesserung einer Handdetektion an einem Lenkrad eines Fahrzeugs, umfassend: Bestimmen eines Parameters zur Bewertung einer Sicherheitsrelevanz einer Situation; und Durchführen der Handdetektion basierend auf zumindest einem von einem maschinellen Lernen Algorithmus und einem modellbasierten Algorithmus basierend auf dem Parameter.
Das Verfahren (100) nach Anspruch 1, wobei sofern der Parameter einen Grenzwert überschreitet, die Handdetektion basierend auf dem modellbasierten Algorithmus durchgeführt wird.
Das Verfahren (100) nach Anspruch 1 oder 2, wobei sofern der Parameter einen Grenzwert unterschreitet, die Handdetektion basierend auf dem maschinellen Lernen Algorithmus durchgeführt wird.
Das Verfahren (100) nach einem der vorangegangenen Ansprüche, ferner umfassend Erhalten einer Umgebungsinformation des Fahrzeugs; und Bestimmen des Parameters zur Bewertung der Sicherheitsrelevanz basierend auf der erhaltenen Umgebungsinformation.
Das Verfahren (100) nach einem der vorangegangenen Ansprüche, ferner umfassend Erhalten einer Zustandsinformation über einen Zustand des Fahrzeugs; und Bestimmen des Parameters zur Bewertung der Sicherheitsrelevanz basierend auf der erhaltenen Zustandsinformation.
Das Verfahren (100) nach einem der vorangegangenen Ansprüche, ferner umfassend Bestimmen einer Innenrauminformation des Fahrzeugs; und Verwenden der Innenrauminformation zur Handdetektion.
Das Verfahren (100) nach Anspruch 6, wobei sofern der Parameter einen Grenzwert überschreitet, die Handdetektion basierend auf der Innenrauminformation und dem maschinellen Lernen Algorithmus durchgeführt wird.
Ein Computerprogramm zur Durchführung eines der Verfahren (100) nach einem der vorangegangenen Ansprüche, wenn das Computerprogramm auf einem Computer, einem Prozessor, oder einer programmierbaren Hardwarekomponente abläuft.
Eine Vorrichtung zur Verbesserung einer Erkennung einer Handdetektion an einem Lenkrad eines Fahr-zeugs umfassend: eine oder mehrere Schnittstellen (32) zur Kommunikation; und eine Datenverarbeitungsschaltung (34), die eingerichtet ist, um die ein oder mehreren Schnittstellen (32) zu steuern und unter Verwendung der einen oder mehreren Schnitt-stellen (32) ein Verfahren (100) gemäß einem der Ansprüche 1 bis 7 auszuführen.
Fahrzeug (200) mit einer Vorrichtung (30) gemäß Anspruch 9.