DE102021100249A1

DE102021100249A1 - Fahrzeugcomputer-befehlssystem mit einem gehirn maschinenschnittstelle

Info

Publication number: DE102021100249A1
Application number: DE102021100249.4A
Authority: DE
Inventors: Ali Hassani; Aniruddh RAVINDRAN; Vijay Nagasamy
Original assignee: Ford Global Technologies LLC
Current assignee: Ford Global Technologies LLC
Priority date: 2020-01-13
Filing date: 2021-01-08
Publication date: 2021-07-15
Also published as: US11780445B2; US20210213958A1; CN113104044A

Abstract

Diese Offenbarung stellt ein Fahrzeugcomputer-Befehlssystem mit einem Gehirn bereit. Ausführungsformen beschreiben ein Fahrzeug, das mit einer Gehirn-Maschine-Schnittstelle (BMI) für ein Fahrzeugrechensystem konfiguriert ist, um Fahrzeugfunktionen unter Verwendung von elektrischen Impulsen von einer Aktivität des Motorcortexes in einem Gehirn eines Benutzers zu steuern. Ein BMI-Trainingssystem trainiert die BMI-Vorrichtung, um neuronale Daten zu interpretieren, die durch einen Motorcortex eines Benutzers generiert werden, und die neuronalen Daten mit einem Fahrzeugsteuerungsbefehl zu korrelieren, der mit einer Emulationsfunktion für neuronale Gesten assoziiert ist. Ein BMI-System an Bord des Fahrzeugs kann unter Verwendung der trainierten BMI-Vorrichtung einen Feed neuronaler Daten der neuronalen Daten von dem Benutzer empfangen, unter Verwendung des Feeds neuronaler Daten eine Benutzerabsicht für eine Steuerungsanweisung zum Steuern eines Fahrzeug-Infotainmentssystems bestimmen und auf Grundlage der Steuerungsanweisung eine Handlung durchführen. Das Fahrzeug kann eine Kopfstütze beinhalten, die als eine Mensch-Maschine-Schnittstellen-Vorrichtung (HMI-Vorrichtung) konfiguriert ist und die elektrischen Impulse ohne invasive Elektrodenverbindung ausliest.

Description

GEBIET DER TECHNIK
Die vorliegende Offenbarung betrifft Gehirn-Maschine-Schnittstellen und insbesondere Aspekte der Steuerung eines Kraftfahrzeugs über eine Gehirn-Maschine-Schnittstelle mit einem Fahrzeug-Infotainmentsystem.
ALLGEMEINER STAND DER TECHNIK
Bei der Gehirn-Maschine-Schnittstelle (brain machine interface -BMI) handelt es sich um eine Technologie, die es Menschen ermöglicht, einem Computer unter Verwendung menschlicher Gehirnaktivität Befehle bereitzustellen. BMI-Systeme stellen Steuereingaben bereit, indem sie eine Elektrodenanordnung mit der Motorcortexregion des Gehirns entweder extern oder intern verbinden und die Aktivitätssignale unter Verwendung eines trainierten neuronalen Decodierers decodieren, der Neuronenfeuermuster im Gehirn des Benutzers in diskrete Steuerbefehle umsetzt , die in der vorliegenden Offenbarung in Kraftfahrzeugen als Fahrzeugsteuerungsbefehle umgesetzt sind.
BMI-Schnittstellen können entweder invasive Techniken von Elektrodenschnittstellen mit direktem Kontakt beinhalten, die mit internem direkten Kontakt mit Motorcortexregionen arbeiten, oder nicht invasive Techniken von Elektrodenschnittstellen beinhalten, bei denen drahtlose Empfänger Sensoren verwenden, um die elektrische Aktivität des Gehirns zu messen, um sowohl die tatsächliche als auch die potenzielle elektrische Feldaktivität unter Verwendung von Empfängern mit funktioneller MRI (fMRI), Elektroenzephalographie (EEG) oder Elektrofeld-Enzephalographie (EFEG) zu bestimmen, welche die Kopfhaut, Schläfe, Stirn oder andere Bereiche des Kopfes des Benutzers berühren können. BMI-Systeme arbeiten im Allgemeinen durch Erfassen der potenziellen elektrischen Feldaktivität, Verstärken der Daten und Verarbeiten der Signale durch einen digitalen Signalprozessor, um gespeicherte Muster neuronaler Aktivität des Gehirns mit Funktionen zu assoziieren, die Vorrichtungen steuern oder eine Ausgabe unter Verwendung der verarbeiteten Signale bereitstellen können. Jüngste Fortschritte in der BMI-Technologie haben Aspekte der Fahrzeugsteuerung unter Verwendung von BMI in Betracht gezogen.
Ein BMI-System, das zum Steuern eines Fahrzeugs unter Verwendung von EFEG verwendet wird, ist in der koreanischen Patentanmeldungsveröffentlichung Nr. KR101632830 (im Folgenden „die '830-Veröffentlichung) offenbart, die das Erkennen von Steuerbits beschreibt, die von einer EEG-Vorrichtung zur Antriebssteuerung eines Fahrzeugs erlangt werden. Während das in der '830-Veröffentlichung beschriebene System einige Aspekte von EFEG-Daten zur Fahrzeugsignalsteuerung verwenden kann, offenbart die '830-Veröffentlichung kein BMI-integriertes Infotainmentsystem in einem halbautonomen Fahrzeug.
KURZDARSTELLUNG
Die offenbarten Systeme und Verfahren beschreiben ein BMI-System, das in einem Fahrzeug umgesetzt ist. In einigen Ausführungsformen kann ein Benutzer die Steuerung der Bordcomputerfunktionen (z. B. eines Infotainmentsystems) unter Verwendung des BMI-Systems, um elektrische Impulse aus dem Motorcortex des Gehirns des Benutzers auszulesen, einen kontinuierlichen Feed neuronaler Daten zu decodieren und Steuerbefehle in Echtzeit oder im Wesentlichen in Echtzeit zu erteilen, ausüben.
In einer Ausführungsform kann das BMI-System ein EFEG-System beinhalten, das dazu konfiguriert ist, Feldsignaturen elektrischen Potenzials von dem Motorcortex des Benutzers unter Verwendung von (externen) Kontakten zwischen Kopfhaut und Elektrode, welche die Signale auslesen und verarbeiten, zu empfangen. In anderen Aspekten können die Elektroden ohne physischen externen Kontakt mit der Kopfhautoberfläche in der Nähe der Kopfhaut des Benutzers, jedoch innerhalb eines relativ kurzen Betriebsbereichs in Bezug auf die physische Entfernung zur Signalerfassung, angeordnet sein. In einer Ausführungsform kann die Gehirn-Maschine-Schnittstellen-Vorrichtung eine Kopfstütze in einem Fahrzeug beinhalten, die dazu konfiguriert ist, EFEG-Signale zu empfangen.
Ausführungsformen beschreiben ein Fahrzeug, das mit einer Gehirn-Maschine-Schnittstelle (BMI) für ein Fahrzeugrechensystem konfiguriert ist, um Fahrzeugfunktionen unter Verwendung von elektrischen Impulsen von einer Aktivität des Motorcortexes in einem Gehirn eines Benutzers zu steuern. Ein BMI-Trainingssystem trainiert die BMI-Vorrichtung, um neuronale Daten zu interpretieren, die durch einen Motorcortex eines Benutzers generiert werden, und die neuronalen Daten mit einem Fahrzeugsteuerungsbefehl zu korrelieren, der mit einer Emulationsfunktion für neuronale Gesten assoziiert ist. Ein BMI-System an Bord des Fahrzeugs kann unter Verwendung der trainierten BMI-Vorrichtung einen kontinuierlichen Feed neuronaler Daten der neuronalen Daten von dem Benutzer (wenn der Benutzer in dem Fahrzeug physisch anwesend ist) empfangen, unter Verwendung des kontinuierlichen Feeds neuronaler Daten eine Benutzerabsicht für eine Steuerungsanweisung, welche dem Fahrer beim Steuern eines Fahrzeug-Infotainmentssystems unterstützt, bestimmen und auf Grundlage der Steuerungsanweisung eine Handlung durchführen. Das Fahrzeug kann eine Kopfstütze beinhalten, die als eine Mensch-Maschine-Schnittstellen-Vorrichtung (HMI-Vorrichtung) (human machine interface - HMI) konfiguriert ist und die elektrischen Impulse des Gehirns des Benutzers ohne invasive Elektrodenverbindung ausliest. Ausführungsformen der vorliegenden Offenbarung können eine zusätzliche Granularität der Benutzersteuerung bereitstellen, wenn mit Fahrzeugrechensystemen ohne langwierige manuelle Steuervorgänge interagiert wird. In anderen Aspekten können in der vorliegenden Offenbarung beschriebene Ausführungsformen Benutzerinteraktionen mit Fahrzeug-Infotainmentsystemen auf eine Art und Weise optimieren, die sowohl bequem ist als auch die Aufmerksamkeit des Benutzers nicht von der Aufgabe des Steuerns des Fahrzeugs, wenn es betrieben wird, ablenkt.
Diese und andere Vorteile der vorliegenden Offenbarung sind in dieser Schrift näher aufgeführt.
Figurenliste
Die detaillierte Beschreibung wird unter Bezugnahme auf die beigefügten Zeichnungen dargelegt. Die Verwendung der gleichen Bezugszeichen kann ähnliche oder identische Elemente angeben. Für verschiedene Ausführungsformen können andere Elemente und/oder Komponenten genutzt werden als diejenigen, die in den Zeichnungen veranschaulicht sind, und einige Elemente und/oder Komponenten sind in verschiedenen Ausführungsformen unter Umständen nicht vorhanden. Die Elemente und/oder Komponenten in den Figuren sind nicht zwingend maßstabsgetreu gezeichnet. Für die gesamte Offenbarung gilt, dass Terminologie im Singular und Plural in Abhängigkeit des Kontexts austauschbar verwendet werden kann.

1 stellt eine beispielhafte Rechenumgebung dar, in der Techniken und Strukturen zum Bereitstellen der in dieser Schrift offenbarten Systeme und Verfahren umgesetzt sein können.
2 veranschaulicht ein funktionelles Schema einer beispielhaften Architektur eines Kraftfahrzeugsteuerungssystems zur Verwendung mit dem Fahrzeug gemäß der vorliegenden Offenbarung.
3 veranschaulicht ein beispielhaftes BMI-System gemäß einer Ausführungsform der vorliegenden Offenbarung.
4 ist ein Diagramm funktionaler Blöcke des BMI-Systems 107 gemäß einer Ausführungsform der vorliegenden Offenbarung.
5 stellt ein Ablaufdiagramm gemäß der vorliegenden Offenbarung dar.

DETAILLIERTE BESCHREIBUNG
Die Offenbarung wird nachfolgend unter Bezugnahme auf die beigefügten Zeichnungen, in denen beispielhafte Ausführungsformen der Offenbarung gezeigt sind, näher beschrieben, und soll nicht einschränkend sein.
1 stellt eine beispielhafte Rechenumgebung 100 dar, die ein oder mehrere Fahrzeuge 105 beinhalten kann, welche ein Fahrzeug-Infotainmentsystem 145, eine Vielzahl von elektronischen Steuereinheiten (electronic control unit - ECU) 117 und eine Gehirn-Maschine-Schnittstellen-Vorrichtung (BMI-Vorrichtung) 108 (brain machine interface - BMI) umfassen, wobei die BMI-Vorrichtung 108 in Kommunikation mit dem Fahrzeug-Infotainmentsystem 145 und den ECU 117 angeordnet ist. Eine mobile Vorrichtung 120, die mit einem Benutzer 140 und dem Fahrzeug 105 assoziiert sein kann, kann sich unter Verwendung von drahtgebundenen und/oder drahtlosen Kommunikationsprotokollen und Sendeempfängern mit den ECU 117 und/oder dem Fahrzeug-Infotainmentsystem 145 verbinden. Die mobile Vorrichtung 120 kann über ein oder mehrere Netzwerke 125, die über einen oder mehrere drahtlose Kanäle 130 kommunizieren können, kommunikativ mit dem Fahrzeug 105 gekoppelt sein und/oder kann sich unter Verwendung von Nahfeldkommunikationsprotokollen (NFC-Protokollen) (near field communication -NFC), Bluetooth^®-Protokollen, Wi-Fi und anderen möglichen Übertragungstechniken direkt mit dem Fahrzeug 105 verbinden. Die mobile Vorrichtung 120 beinhaltet im Allgemeinen einen Speicher 123 zum Speichern von Programmanweisungen, die mit einer Anwendung 135 assoziiert sind, die bei Ausführung durch einen Prozessor 121 der mobilen Vorrichtung Aspekte der vorliegenden Offenbarung ausführt. Die Anwendung 135 kann Teil des BMI-Systems 107 sein oder kann dem BMI-System 107 Informationen bereitstellen und/oder Informationen vom BMI-System 107 empfangen.
1 veranschaulicht das Fahrzeug-Infotainmentsystem 145, bei dem es sich um ein fahrzeugbasiertes Rechensystem handeln kann, das in Kommunikation mit der BMI-Vorrichtung 108 konfiguriert ist. Ein Beispiel für ein derartiges fahrzeugbasiertes Rechensystem ist das von THE FORD MOTOR COMPANY hergestellte SYNC-System. Ein Fahrzeug, das mit dem Fahrzeug-Infotainmentsystem 145 ausgestattet ist, kann eine visuelle Frontend-Schnittstelle (in 1 nicht gezeigt) enthalten, die sich in der Fahrzeugkabine befindet. Der Benutzer 140 kann zudem in der Lage sein, mit der Schnittstelle, sofern sie bereitgestellt ist, zu interagieren, beispielsweise über einen berührungsempfindlichen Bildschirm (in 1 ebenfalls nicht gezeigt). Bei der herkömmlichen Verwendung kann die Benutzer-Maschine-Interaktion mit dem Fahrzeug-Infotainmentsystem 145 durch Tastenbetätigungen und ein Sprachdialogsystem mit automatischer Spracherkennung und Sprachsynthese erfolgen. Das Fahrzeug-Infotainmentsystem 145 kann Steueraspekte für eine Vielfalt von Unterhaltungs- und Fahrzeugsteuerungen beinhalten, wie etwa Mediensteuerungen, Interaktionssteuerungen von Mobilvorrichtungen, Kabinenkomfortsteuerungen usw. Verschiedene mit dem Fahrzeug-Infotainmentsystem 145 assoziierte Steuermechanismen werden im Allgemeinen als Menüs beschrieben. In einem Aspekt kann sich ein Hauptmenü auf ein Menü auf Systemebene beziehen, das eine selektive Steuerung verschiedener Systeme bereitstellt, die unter Verwendung des Fahrzeug-Infotainmentsystems 145 gesteuert werden können. Ein Vorgang zum Scrollen nach links kann eine Scrollhandlung in eine Richtung nach links bereitstellen, ein Vorgang zum Scrollen nach rechts kann eine Scrollhandlung in eine Richtung nach rechts bereitstellen und eine Menüelementauswahl kann ein Klicken auf ein Menüelementsymbol oder eine alphanumerische Darstellung sowie dessen/deren Auswahl sein.
Gemäß Ausführungsformen, die nachstehend in Bezug auf die folgenden Figuren ausführlicher beschrieben sind, kann die BMI-Vorrichtung 108 unter Verwendung der BMI-Vorrichtung 108 einen kontinuierlichen Feed neuronaler Daten der neuronalen Daten von einem Benutzer (z. B. dem Benutzer 140) empfangen und anhand des kontinuierlichen Feeds neuronaler Daten eine Benutzerabsicht für eine Befehlssteuerungsanweisung zum Steuern des Fahrzeug-Infotainmentsystems 145 bestimmen. Das Fahrzeug-Infotainmentsystem 145 kann auf Grundlage der Steuerungsanweisung eine Handlung durchführen, wie etwa Navigieren eines Menüs durch Scrollen des Menüs nach links, rechts, Fortschreiten zu einem nächsten Menü, Auswählen eines vorherigen Menüs, Auswählen eines Menüelements usw.
Das Fahrzeug-Infotainmentsystem 145 kann in einigen beispielhaften Ausführungsformen in Kommunikation mit der Mobilvorrichtung 120 und einem oder mehreren Servern 170 angeordnet sein, die mit einem Telematikdienstbereitstellungsnetz (Service Delivery Network - SDN) assoziiert sein und/oder dieses beinhalten können.
Wenngleich es als Geländelimousine veranschaulicht ist, kann das Fahrzeug 105 die Form eines anderen Personen- oder Nutzkraftfahrzeugs annehmen, und zum Beispiel ein Auto, ein Truck, ein Geländewagen, ein Crossover-Fahrzeug, ein Van, ein Minivan, ein Taxi, ein Bus usw. sein. Ferner kann das Fahrzeug 105 ein manuell gefahrenes Fahrzeug sein und/oder dazu konfiguriert sein, in einem vollautonomen (z. B. fahrerlosen) Modus oder teilautonomen Modus betrieben zu werden.
Ferner kann das Fahrzeug 105 ein manuell gefahrenes Fahrzeug sein und/oder dazu konfiguriert sein, in einem vollständig autonomen (z. B. fahrerlosen) Modus (z. B. Autonomiestufe 5) oder in einem oder mehreren Teilautonomiemodi betrieben zu werden. Beispiele für Teilautonomiemodi werden in der Technik weithin als Autonomiestufen 1 bis 5 verstanden. Ein autonomes Fahrzeug (autonomous vehicle - AV) mit Autonomiestufe 1 kann im Allgemeinen ein einzelnes automatisiertes Fahrerunterstützungsmerkmal, wie etwa Lenk- oder Beschleunigungsunterstützung, beinhalten. Die adaptive Geschwindigkeitsregelung ist ein solches Beispiel eines autonomen Systems der Stufe 1, das Aspekte sowohl der Beschleunigung als auch manchmal der Lenkung beinhaltet. Autonomie der Stufe 2 bei Fahrzeugen kann eine teilweise Automatisierung der Lenk- und Beschleunigungsfunktionen bereitstellen, wobei das/die automatisierte(n) System(e) von einem menschlichen Fahrer überwacht wird/werden, der nicht automatisierte Vorgänge, wie etwa Bremsen und andere Steuerungen, durchführt. Autonomie der Stufe 3 bei einem Fahrzeug kann im Allgemeinen eine bedingte Autonomisierung und Steuerung von Fahrmerkmalen bereitstellen. Zum Beispiel beinhaltet die Fahrzeugautonomie der Stufe 3 typischerweise Fähigkeiten zur „Umgebungserfassung“ und kann eigenständig informierte Entscheidungen treffen, wie etwa das Beschleunigen an einem sich langsam bewegenden Fahrzeug vorbei, während der Fahrer bereit bleibt, wieder die Kontrolle über das Fahrzeug zu übernehmen, wenn das System nicht in der Lage ist, die Aufgabe auszuführen. Autonomie der Stufe 4 beinhaltet Fahrzeuge mit hohen Autonomiestufen, die unabhängig von einem menschlichen Fahrer betrieben werden können, jedoch weiterhin menschliche Steuerungen für Überbrückungsvorgänge beinhalten. Autonomisierung der Stufe 4 kann zudem ermöglichen, dass ein Selbstfahrmodus als Reaktion auf einen vordefinierten bedingten Auslöser eingreift, wie etwa eine Straßengefahr oder ein Systemausfall. Autonomie der Stufe 5 ist mit autonomen Fahrzeugsystemen assoziiert, die keine menschliche Eingabe für den Betrieb erfordern, und im Allgemeinen keine Bedienelemente für menschliches Fahren beinhalten.
In einigen Aspekten kann die mobile Vorrichtung 120 mit dem Fahrzeug 105 über den einen oder die mehreren drahtlosen Kanäle 130 kommunizieren, die verschlüsselt und zwischen der mobilen Vorrichtung 120 und einer Telematiksteuereinheit (telematics control unit - TCU) 160 eingerichtet sein können. Die mobile Vorrichtung 120 kann unter Verwendung eines drahtlosen Senders, der mit der TCU 160 in dem Fahrzeug 105 assoziiert ist, mit der TCU 160 kommunizieren. Der Sender kann unter Verwendung eines drahtlosen Kommunikationsnetzwerks, wie etwa zum Beispiel des einen oder der mehreren Netzwerke 125 und/oder einem Satellitennetzwerk 175 des Global-Position-Systems (GPS), mit der mobilen Vorrichtung 120 kommunizieren. Der drahtlose Kanal/Die drahtlosen Kanäle 130 sind in 1 dargestellt, wie sie über das eine oder die mehreren Netzwerke 125 und auch über Direktkommunikation mit dem Fahrzeug 105 kommunizieren.
Das eine oder die mehreren Netzwerke 125 veranschaulichen ein Beispiel einer möglichen Kommunikationsinfrastruktur, in der die verbundenen Vorrichtungen kommunizieren können. Das eine oder die mehreren Netzwerke 125 können das Internet, ein privates Netzwerk, ein öffentliches Netzwerk oder eine andere Konfiguration sein und/oder beinhalten, die unter Verwendung eines oder mehrerer bekannter Kommunikationsprotokolle betrieben werden, wie zum Beispiel Transmission Control Protocol/Internet Protocol (TCP/IP), Bluetooth^®, Wi-Fi basierend auf dem IEEE-Standard 802.11 (Institute of Electrical and Electronics Engineers - IEEE), Ultrabreitband (ultra-wide band - UWB) und Mobilfunktechnologien, wie etwa Zeitmultiplexverfahren (time division multiple access - TDMA), Codemultiplexverfahren (code division multiple access - CDMA), High Speed Packet Access (HSPDA), Long-Term Evolution (LTE), Global System for Mobile Communications (GSM) und Fünfte Generation (5G), um nur einige Beispiele zu nennen.
Das Fahrzeug-Infotainmentsystem 145 kann gemäß der Offenbarung in einem Motorraum des Fahrzeugs 105 (oder an einer anderen Stelle in dem Fahrzeug 105) installiert sein und als funktionaler Teil des BMI-Systems 107 betrieben werden. Das Fahrzeug-Infotainmentsystem 145 kann einen oder mehrere Prozessoren 150 und einen computerlesbaren Speicher 155 beinhalten. Das Fahrzeug-Infotainmentsystem 145 kann in einem Beispiel den einen oder die mehreren Prozessoren 150 und den computerlesbaren Speicher 155 beinhalten.
Die BMI-Vorrichtung 108 kann in Kommunikation mit den ECU 117 angeordnet und dazu konfiguriert sein, (in Verbindung mit den ECU 117) Steuerung des Fahrzeugs 105 auf Systemebene bereitzustellen. Die ECU 117 können in Kommunikation mit dem Fahrzeug-Infotainmentsystem 145 angeordnet sein und/oder Teil davon sein und können sich einen gemeinsamen Leistungsbus 178 mit dem Fahrzeug-Infotainmentsystem 145 und dem BMI-System 107 teilen. Die BMI-Vorrichtung 108 kann ferner einen oder mehrere Prozessoren 148, einen Speicher 149, der in Kommunikation mit dem/den Prozessor(en) 148 angeordnet ist, und eine Mensch-Maschine-Schnittstellen-Vorrichtung (HMI-Vorrichtung) 146 beinhalten, die dazu konfiguriert ist, sich durch Empfangen von Signalen des Motorcortexes mit dem Benutzer 140 zu verbinden, wenn der Benutzer das Fahrzeug unter Verwendung der BMI-Vorrichtung 108 bedient.
Der eine oder die mehreren Prozessoren 148 und/oder 150 können in Kommunikation mit einer oder mehreren Speichervorrichtungen, die mit entsprechenden Rechensystemen verbunden sind, angeordnet sein (z. B. dem Speicher 149, dem Speicher 155 und/oder einer oder mehreren externen Datenbanken, die in 1 nicht gezeigt sind). Der eine oder die mehreren Prozessoren 148 und 150 können den Speicher verwenden, um Programme in Code zu speichern und/oder Daten zum Durchführen von Aspekten gemäß der vorliegenden Offenbarung zu speichern. Der Speicher 149 und 155 kann ein nicht transitorischer computerlesbarer Speicher sein, der einen BMI-Decodierer 144 speichert. Der Speicher 149 und 155 kann ein beliebiges oder eine Kombination aus flüchtigen Speicherelementen (z. B. dynamischem Direktzugriffsspeicher (dynamic random access memory - DRAM), synchronem dynamischen Direktzugriffsspeicher (synchronous dynamic random access memory - SDRAM) usw.) beinhalten und kann ein beliebiges oder mehrere beliebige nicht flüchtige Speicherelemente (z. B. löschbaren programmierbaren Festwertspeicher (erasable programmable read-only memory - EPROM), Flash-Speicher, elektronisch löschbaren programmierbaren Festwertspeicher (electronically erasable programmable read-only memory - EEPROM), programmierbaren Festwertspeicher (programmable read-only memory - PROM) usw.) beinhalten.
Die ECU 117 können eine beliebige Anzahl verschiedener Steuermodule beinhalten, wie etwa zum Beispiel ein Karosseriesteuermodul (body control module - BCM) 193, ein Motorsteuermodul (engine control module - ECM) 185, ein Getriebesteuermodul (transmission control module - TCM) 190, eine Telematiksteuereinheit (TCU) 160, ein Rückhaltesteuermodul (restraint control module - RCM) 187 usw. In einigen Aspekten können die ECU 117 Aspekte des Fahrzeugs 105 durch die ECU 117 steuern und einen oder mehrere Sätze von Anweisungen, die von der Anwendung 135 empfangen werden, die auf der mobilen Vorrichtung betrieben wird 120, einen oder mehrere Sätze von Anweisungen, die von der BMI-Vorrichtung 108 empfangen werden, und/oder Anweisungen, die von Fahrerunterstützungstechnologien (driver assisted technology - DAT) empfangen werden, wie etwa einer DAT-Steuerung 245, die in Bezug auf 2 beschrieben wird, umsetzen.
Die TCU 160 kann dazu konfiguriert sein, Fahrzeugkonnektivität für drahtlose Rechensysteme an Bord des Fahrzeugs 105 und außerhalb des Fahrzeugs 105 bereitzustellen. Die TCU 160 kann einen Navigations-/GPS-Empfänger 188 und/oder ein Bluetooth^® Low-Energy-Modul (BLEM) 195 und/oder andere Steuermodule beinhalten, die für eine drahtlose Kommunikation zwischen dem Fahrzeug 105 und anderen Systemen, Computern und Modulen konfiguriert werden können. Zudem kann die TCU 160 unter Verwendung eines Controller Area Network-Busses (CAN-Busses) 180 durch Abrufen und Senden von Daten von dem CAN-Bus 180 und Koordinieren der Daten zwischen Systemen des Fahrzeugs 105, verbundenen Servern (z. B. dem/den Server(n) 170) und anderen Fahrzeugen (in 1 nicht gezeigt), die als Teil einer Fahrzeugflotte betrieben werden, die Kommunikation und den Steuerungszugriff zwischen den ECU 117 bereitstellen.
Das BLEM 195 kann drahtlose Kommunikation unter Verwendung von Bluetooth^®-Kommunikationsprotokollen durch Aussenden und/oder Horchen nach der Übertragung von kleinen Werbepaketen sowie Einrichten von Verbindungen mit reagierenden Vorrichtungen, die gemäß hierin beschriebenen Ausführungsformen konfiguriert sind, einrichten. Zum Beispiel kann das BLEM 195 GATT-Vorrichtungskonnektivität (generic attribute profile - GATT) für Clientvorrichtungen beinhalten, die auf GATT-Befehle und -Anfragen reagieren oder diese initiieren.
Der CAN-Bus 180 kann als ein serieller Multimaster-Busstandard zum Verbinden von zwei ECU als Knoten unter Verwendung eines nachrichtenbasierten Protokolls konfiguriert sein, das dazu konfiguriert und/oder programmiert sein kann, den ECU 117 zu ermöglichen, miteinander zu kommunizieren. Der CAN-Bus 180 kann ein Highspeed-CAN sein (der Bit-Geschwindigkeiten von bis zu 1 Mb/s auf dem CAN, 5 Mbit/s auf dem CAN mit flexibler Datenrate (CAN-FD) aufweisen kann) oder dieses beinhalten und kann ein niedrige Geschwindigkeiten oder Fehler tolerierendes CAN (bis zu 125 Kbit/s) beinhalten, das in einigen Konfigurationen eine lineare Buskonfiguration verwenden kann. In einigen Aspekten können die ECU 117 mit einem Host-Computer (z. B. dem Fahrzeug-Infotainmentsystem 145, dem BMI-System 107 und/oder dem/den Server(n) 170 usw.) kommunizieren und können auch ohne die Notwendigkeit eines Host-Computers miteinander kommunizieren. Der CAN-Bus 180 kann die ECU 117 mit dem Fahrzeug-Infotainmentsystem 145 verbinden, sodass das Fahrzeug-Infotainmentsystem 145 Informationen von den ECU 117 abrufen, an diese senden und anderweitig mit diesen interagieren kann, um Schritte, die gemäß Ausführungsformen der vorliegenden Offenbarung beschrieben sind, durchzuführen.
Wenn sie als Knoten in dem CAN-Bus 180 konfiguriert sind, können die ECU 117 jeweils eine zentrale Verarbeitungseinheit, eine CAN-Steuerung und einen Sendeempfänger (in 1 nicht gezeigt) beinhalten. In einer beispielhaften Ausführungsform können die ECU 117 Aspekte des Fahrzeugbetriebs und der Kommunikation unter anderem auf Grundlage von Eingaben von menschlichen Fahrern, einer DAT-Steuerung, dem BMI-System 107 und über drahtlose Signaleingaben, die von anderen verbundenen Vorrichtungen, wie etwa der mobilen Vorrichtung 120, empfangen werden, steuern.
Die ECU 117 können verschiedene Verbraucher direkt über die Kommunikation des CAN-Busses 180 steuern oder eine derartige Steuerung in Verbindung mit dem BCM 193 umsetzen. Die ECU 117 werden nur für beispielhafte Zwecke beschrieben und sollen nicht einschränkend oder ausschließend sein. Eine Steuerung und/oder Kommunikation mit anderen Steuermodulen, die in 1 nicht gezeigt sind, ist möglich und eine derartige Steuerung wird in Betracht gezogen.
Das BCM 193 beinhaltet im Allgemeinen die Integration von Sensoren, Fahrzeugleistungsindikatoren und variablen Drosseln, die mit Fahrzeugsystemen assoziiert sind, und kann prozessorbasierte Leistungsverteilungsschaltungen beinhalten, die Funktionen in Bezug auf die Autokarosserie überwachen und steuern, wie etwa Lichter, Fenster, Sicherheit, Türverriegelungen und Zugangskontrolle sowie verschiedene Komfortsteuerungen. Das zentrale BCM 193 kann auch als Gateway für Bus- und Netzwerkschnittstellen betrieben werden, um mit entfernten ECU (in 1 nicht gezeigt) zu interagieren.
Das BCM 193 kann eine beliebige oder mehrere Funktionen aus einem breiten Spektrum von Fahrzeugfunktionen koordinieren, einschließlich Energieverwaltungssystemen, Alarmen, Wegfahrsperren, Fahrer- und Mitfahrerzugangsautorisierungssystemen, Phone-as-a-Key-Systemen (PaaK-Systemen), Fahrerassistenzsystemen, Steuersysteme des autonomen Fahrzeugs, elektrische Fensterheber, Türen, Aktoren und andere Funktionen usw. Das BCM 193 kann für Fahrzeugenergieverwaltung, Außenbeleuchtungssteuerung, Scheibenwischerfunktion, elektrische Fensterheber- und Türfunktion, Heizlüftungs- und Klimatisierungssysteme und Fahrerintegrationssysteme konfiguriert sein. In anderen Aspekten kann das BCM 193 die Funktion der Zusatzausrüstung steuern und/oder für die Integration einer solchen Funktion verantwortlich sein. In einem Aspekt kann ein Fahrzeug, das ein Anhängersteuerungssystem aufweist, das System zumindest teilweise unter Verwendung des BCM 193 integrieren.
Die Rechensystemarchitektur des Fahrzeug-Infotainmentsystems 145, der ECU 117 und/oder des BMI-Systems 107 kann bestimmte Rechenmodule weglassen. Es versteht sich ohne Weiteres, dass die in 1 dargestellte Rechenumgebung ein Beispiel für eine mögliche Umsetzung gemäß der vorliegenden Offenbarung ist, und sie sollte somit nicht als einschränkend oder ausschließend betrachtet werden.
2 veranschaulicht ein funktionelles Schema einer beispielhaften Architektur eines Kraftfahrzeugsteuerungssystems 200, das gemäß der vorliegenden Offenbarung zum Steuern des Fahrzeugs 105 verwendet werden kann. Das Steuersystem 200 kann das BMI-System 107 beinhalten, das in Kommunikation mit dem Fahrzeug-Infotainmentsystem 145, und Fahrzeugsteuerungshardware angeordnet sein kann, einschließlich zum Beispiel eines Motors/Elektromotors 215, Treibersteuerkomponenten 220, Fahrzeughardware 225, (eines) Senors/Sensoren 230, der mobilen Vorrichtung 120 und anderer Komponenten, die in 2 nicht gezeigt sind.
Das Fahrzeug 105 in der in 2 dargestellten Ausführungsform kann eine beliebge Autonomiestufe beinhalten und in einigen beispielhaften Ausführungsformen ein autonomes Fahrzeug der Stufe 3, der Stufe 4 oder der Stufe 5 sein. Das BMI-System 107, das den BMI-Decodierer 144 ausführt, kann den kontinuierlichen Feed neuronaler Daten von dem Benutzer verarbeiten und eine Benutzerabsicht für eine Fahrzeugbefehlssteuerungsanweisung aus dem kontinuierlichen Feed neuronaler Daten bestimmen. Der BMI-Decodierer 144 kann eine gespeicherte Emulationsfunktion für neuronale Gesten auswählen, wobei die Gesten verschiedene Positionen oder Bewegungen der Hand oder des Handgelenks beinhalten können, die mit der Benutzerabsicht assoziiert sind, und mittels der Emulationsfunktion für neuronale Gesten die Befehlssteuerungsanweisung generieren.
Das Interpretieren von neuronalen Daten, die von dem Motorcortex des Gehirns eines Benutzers empfangen und verarbeitet werden, ist möglich, wenn die BMI-Vorrichtung 108 trainiert und auf die neuronalen Aktivitätsmuster eines bestimmten Benutzers abgestimmt wurde. Die Trainingsprozeduren können das systematische Zuordnen eines kontinuierlichen Feeds neuronaler Daten beinhalten, der von diesem Benutzer erlangt und durch das System gespeichert wird, wobei die Verarbeitungsergebnisse des Datenfeeds quantitative Werte bereitstellen, die mit der Gehirnaktivität des Benutzers assoziiert sind, wenn der Benutzer eine manuelle Eingabe in eine Cursorvorrichtung bereitstellt. Das Trainingssystem kann Assoziationen für Muster der Aktivität des neuronalen Cortexes (z. B. ein Korrelationsmodell) bilden, während der Benutzer Simulationsübungen durchführt, die mit dem Echtzeitbetrieb des Fahrzeugs assoziiert sind. Dementsprechend kann die DAT-Steuerung 245, wenn sie mit der trainierten BMI-Vorrichtung konfiguriert ist, die das trainierte Korrelationsmodell verwendet, das Fahrzeug-Infotainmentsystem 145 und andere Fahrzeugsysteme steuern, indem sie zumindest einige Aspekte des Fahrzeugbetriebs autonom durchführt, und kann dem Benutzer andere Aspekte der Fahrzeugsteuerung durch das trainierte BMI-System 107 bereitstellen.
3 veranschaulicht ein beispielhaftes BMI-Trainingssystem 300 gemäß einer Ausführungsform der vorliegenden Offenbarung. Das BMI-Trainingssystem 300 kann ein Erfassungssystem 305 für neuronale Daten, einen Trainingscomputer 315 mit digitaler Signalverarbeitungs-Decodierung (DSP-Decodierung) (digital signal processing - DSP) und eine Anwendungsprogrammierschnittstelle (application programming interface - API) 335 beinhalten.
Das Erfassungssystem 305 für neuronale Daten und der Trainingscomputer 315 können Komponenten von einem herkömmlichen neuronalen Überbrückungssystem sein und/oder dieses beinhalten.
Als kurzen Überblick stellen die folgenden Absätze eine allgemeine Beschreibung für ein beispielhaftes Verfahren zum Trainieren des BMI-Systems 107 unter Verwendung des BMI-Trainingssystems 300 bereit. In einem Aspekt kann ein Benutzer 310 mit einer manuellen Eingabevorrichtung 312 interagieren und kontinuierliche wiederholte Eingaben bereitstellen, die gut verstandene handmotorische Steuerbefehle des Gehirns in das BMI-Trainingssystem simulieren. Das BMI-Trainingssystem 300 kann dann auf Grundlage der Benutzereingaben ein Decodierungsmodell zum Interpretieren der Aktivität des neuronalen Cortexes in diesem Bereich generieren, das für diesen bestimmten Benutzer angepasst wurde. Zum Beispiel kann das Trainingssystem 300 einen Zeiger 338 auf einer Anzeigevorrichtung eines Trainingscomputers 340 darstellen. Der Benutzer 310 kann unter Verwendung der manuellen Eingabevorrichtung 312 vielleicht Dutzende oder Hunderte von Beispielen sich wiederholender, aber dennoch aufmerksamer manueller Eingaben und Gesten bereitstellen. Diese manuelle Eingabe kann eine Arm-, Hand-, Fingerbeugungsgeste oder eine andere Bewegung beinhalten, wobei die Bewegung mit einem Zeiger 338 auf der Anzeigevorrichtung des Trainingscomputers 340 interagiert. In einem Aspekt kann der Benutzer 310 diese Simulationsgesten für die manuelle Steuereingabe bereitstellen, während ein Fahrsimulationsprogramm 345 betrieben wird. Während der Benutzer 310 die simulierten manuellen Eingabegesten durchführt, kann das System 300 zudem die neuronalen Daten des Benutzers unter Verwendung des Erfassungssystems für neuronale Daten 305 erlangen, sodass Assoziationen zwischen den simulierten manuellen Eingabegesten und den neuronalen Daten gebildet werden können. Das BMI-Trainingssystem 300 kann die neuronalen Daten des Benutzers (z. B. Rohdateneingabe) sammeln und eine Vergleichsprozedur durchführen, bei welcher der Benutzer 310 eine Reihe von imaginierten, gut verstandenen Gehirnbefehlen von handmotorischen Steuerungsbewegungen 350 unter Verwendung eines Eingabearms 355 durchführt (wobei die imaginierten Eingaben solche Gesten wie ein Schließen der Hand, ein Öffnen der Hand, ein Fingerbeugen, eine Unterarmpronation und eine Unterarmsupination neben anderen gut verstandenen handmotorischen Steuerungsbewegungsgesten beinhalten können). Einige Ausführungsformen können das Durchführen der Vergleichsprozedur beinhalten, während das Erfassungssystem 305 für neuronale Daten Rohsignaldaten von einem kontinuierlichen Feed neuronaler Daten erlangt, die eine Gehirnaktivität angibt, die mit wiederholten Arm-/Hand-/Fingergesten des Benutzers 310 korreliert sind.
Das Erlangen des kontinuierlichen Feeds neuronaler Daten kann das Verarbeiten des Empfangs derartiger Gesten bei dem Trainingscomputer 340 als eine Zeitreihe von Decodiererwerten von einer Mikroelektrodenanordnung 346 beinhalten. Zum Beispiel kann das Erfassungssystem 305 für neuronale Daten die neuronalen Daten durch Abtasten des Feeds neuronaler Daten mit einer vorbestimmten Rate (z. B. 4 Decodiererwerte alle 100 ms, 2 Decodiererwerte alle 100 ms, 10 Decodiererwerte alle 100 ms usw.) erlangen. Das BMI-Trainingssystem 300 kann ein Korrelationsmodell (in 3 nicht gezeigt) generieren, das die Eingabe des kontinuierlichen Feeds neuronaler Daten mit dem Fuzzy-Zustand korreliert, der mit einer ersten Fahrzeugsteuerungsfunktion assoziiert ist. Das BMI-Trainingssystem kann die Decodiererwerte 325 in einem Computerspeicher 330 speichern und die Decodiererwerte dann unter Verwendung von Pulsbreitenmodulation und anderen DSP-Techniken über den digitalen Signalprozessor 320 in Motorcortex-Zuordnungsdaten des Gehirns umwandeln. Der BMI-Decodierer 144 kann gespeicherte Daten Aspekten der Steuerung des Fahrzeug-Infotainmentsystems 145 zuordnen, wie etwa zum Beispiel dem Navigieren zu einem bestimmten Menü, dem Scrollen durch verschiedene Menüelemente, dem Auswählen eines Menüelements und dem Ausführen des Menüelements.
Die Mikroelektrodenanordnung 346 kann dazu konfiguriert sein, den kontinuierlichen Feed neuronaler Daten der neuronalen Daten von dem Benutzer 310 zu empfangen, wobei die neuronalen Daten von dem Benutzer für ein gelerntes Modell repräsentativ sind, das aus einer Vielzahl von aufgezeichneten aufmerksamen und wiederholten Simulationen von Arm-/Hand-/Fingergesten abgeleitet ist, wobei die Gesten mit der Fahrzeugsteuerung und/oder der Durchführung manueller Bewegungen assoziiert sind, die eine derartige Steuerung darstellen sollen. In einer beispielhaften Prozedur kann eine Bewegung, die von dem Benutzer imaginiert und über die Arm-/Hand-/Fingergesten wiederholt simuliert wird, zugeordnet werden, um einen Zustand in einen nächstfolgenden Zustand zu erhöhen (z. B. von einer niedrigen Geschwindigkeit zu einer mittleren Geschwindigkeit). In einem anderen Aspekt kann eine Bewegung, die von dem Benutzer imaginiert und über die Arm-/Hand-/Fingergesten wiederholt simuliert wird, zugeordnet werden, um einen Zustand in einen nächstfolgenden Zustand zu verringern (z. B. eine im Vergleich zum Erhöhungsvorgang umgekehrte Handlung). In einem anderen Beispiel kann der Benutzer eine Bewegung zum Versetzen des Fahrzeugs in bestimmte Zustände oder Kombinationen von Zuständen (z. B. eine niedrige Geschwindigkeit während einer leichten Rechtslenkfunktion) imaginieren und über Arm-/ Hand-/Fingergesten wiederholt simulieren.
Der Benutzer 310 kann der gleiche wie der in 1 gezeigte Benutzer sein, der das Fahrzeug mit dem trainierten BMI-System 107 betreiben kann, wobei die Trainingsprozedur für diesen konkreten Benutzer spezifisch ist. In einem anderen Aspekt kann die Trainingsprozedur ein Korrelationsmodell bereitstellen, das eine Vielzahl von aggregierten Informationen des Feeds neuronaler Daten mit Fahrzeugsteuerbefehlen korreliert, die mit einer Emulationsfunktion für neuronale Gesten assoziiert sind. Die normale Emulationsfunktion für neuronale Gesten kann mit Steuerungsanweisungen zum Auswählen eines Menüelements, zum Navigieren in einer Menüstruktur und zum Durchführen anderer Vorgänge assoziiert sein. Das verallgemeinerte Korrelationsmodell wendet eine verallgemeinerte Verarbeitung des neuronalen Cortexes auf ein breiteres Feld möglicher neuronaler Muster an, sodass das verallgemeinerte Modell mit einer begrenzten Abstimmung und einem begrenzten Training ohne Weiteres von jedem Benutzer übernommen werden kann. Ein Verfahren, das zum Erzeugen eines verallgemeinerten Modells in Betracht gezogen wird, kann zum Beispiel die Verwendung von maschinellen Lerntechniken beinhalten, welche die Entwicklung eines tiefen neuronalen Netzwerkkorrelationsmodells beinhalten.
Die Mikroelektrodenanordnung 346 kann dazu konfiguriert sein, neuronale Daten von dem primären Motorcortex eines Benutzers 310 zu erfassen, die durch eine nicht invasive oder möglicherweise invasive Verbindung mit dem neuronalen Motorcortex erlangt werden. Zum Beispiel kann in einem Aspekt unter Verwendung eines nicht invasiven Ansatzes die Mikroelektrodenanordnung 346 eine Vielzahl von drahtlosen Empfängern beinhalten, die drahtlos potenzielle elektrische Felder des Gehirns unter Verwendung einer Elektrofeld-Enzephalographie-Vorrichtung (EFEG-Vorrichtung) misst. Ein Beispiel für einen invasiven Ansatz zur Erfassung neuronaler Daten kann eine implantierte intrakortikale Mikroelektrodenanordnung mit 96 Kanälen beinhalten, die dazu konfiguriert ist, über eine Anschlussschnittstelle (z. B. eine NeuroPort^® -Schnittstelle, die derzeit durch Blackrock Microsystems, Salt Lake, Utah verfügbar ist) zu kommunizieren.
Der Trainingscomputer 315 kann den Datenfeed zur neuronalen Aktivität des Motorcortexes des Benutzers 310 über eine drahtlose oder drahtgebundene Verbindung (z. B. unter Verwendung einer Ethernet-zu-PC-Verbindung) von dem Erfassungssystem 305 für neuronale Daten empfangen. In einer beispielhaften Ausführungsform kann der Trainingscomputer 315 eine Arbeitsstation sein, auf der ein MATLAB^®-basierter Signalverarbeitungs- und Signaldecodierungsalgorithmus ausgeführt wird. Andere mathematische Verarbeitungs- und DSP-Eingabesoftwares sind möglich und werden in Betracht gezogen. Das BMI-Trainingssystem kann das Korrelationsmodell generieren, das den Feed neuronaler Rohdaten unter Verwendung von Support-Vector-Machine-Lernalgorithmen (support vector machine - SVM) (library for support vector machines LIBSVM), um neuronale Daten in Arm-/Hand-/Fingerbewegungen zu klassifizieren (z. B. Supination, Pronation, Hand offen, Hand geschlossen, Fingerbeugen usw.), in verschiedene Fuzzy-Zustände korreliert, die mit den Fahrzeugsteuerungsfunktionen (ausführlicher in Bezug auf 4 beschrieben) assoziiert sind.
Die Arm-, Hand- und Fingerbewegungen (nachstehend gemeinsam als „Handbewegungen 350“ bezeichnet) können vom Benutzer nach ihrer Intuitivität bei der Darstellung von Steuerungen von Infotainmentsystemen ausgewählt werden (Scrollen nach rechts, Scrollen nach links, Navigation zum vorherigen Menü, Navigation zum vorherigen Menü, Elementauswahl, Elementausführung usw.). Das BMI-Trainingssystem kann zum Beispiel kann ein Eingabeprogramm beinhalten, das dazu konfiguriert ist, den Benutzer 310 dazu aufzufordern, eine Geste durchzuführen, die das Vorwärtsscrollen, Zurückscrollen, Navigieren zu einem Hauptmenü, Auswählen eines Elements, Ausführen eines Elements usw. darstellt. Das BMI-Trainingssystem kann die manuelle Eingabe und die Gehirnaktivität des neuronalen Cortexes, die mit der reagierenden Benutzereingabe assoziiert ist, aufzeichnen. Decodierte Handbewegungen sind in 3 als Benutzerbewegungen einer Handgestensimulation gezeigt. In einer Ausführungsform kann das BMI-Trainingssystem ein neuromuskuläres elektrisches Stimulatorsystem (in 3 nicht gezeigt) beinhalten, um eine neuronale Rückkopplung neuronaler Aktivität zu erlangen und die Rückkopplung an den Benutzer 310 auf Grundlage der motorischen Absicht des Benutzers bereitzustellen.
Das BMI-Trainingssystem 300 kann ein Korrelationsmodell generieren, das den Feed neuronaler Daten mit Emulationsfunktion für neuronale Gesten korreliert, wobei die Emulationsfunktion für neuronale Gesten mit einer Steuerungsanweisung zum Auswählen des Menüelements assoziiert ist. Wenn es mit dem Fahrzeug 105 konfiguriert ist, kann das BMI-System 107 die neuronalen Daten in eine Steuerungsanweisung zum Steuern eines Fahrzeug-Infotainmentsystems umwandeln. Wie in Bezug auf 4 ausführlicher beschrieben, ist ein Fahrzeugsteuerungsfunktionsauswähler 415 während der Trainingsprozedur (z. B. der Ausgabe des Trainingssystems 300) dazu konfiguriert, die Emulationsfunktionen für Gesten, die mit der Menüauswahl und der Menünavigation assoziiert sind, mit der neuronalen Decodierung der neuronalen Daten von dem Benutzer abzugleichen.
In einigen Aspekten kann ein Benutzer ermüden, nachdem er über einen längeren Zeitraum in einer halbautonomen Fahrfunktion involviert war. Daher ist es vorteilhaft, eine Basisgestenbelohnungsfunktion bereitzustellen, die das Maschinenlernsystem trainieren kann, solche Ermüdungsabweichungen bei der Verwendung zu kompensieren. Das Lernen von Basisgesten kann im anfänglichen Trainingsprozess durchgeführt werden. Sobald der Benutzer 310 eine halbautonome Fahrfunktion aktiviert hat, kann das System 300 eine Belohnungsfunktion verwenden, um einen Abweichungsversatz für Gestenbefehle zu berechnen. Wenn der Benutzer 310 zum Beispiel mit der Durchführung der kanonischen Geometrie begonnen hat und die Geste für einen Zeitraum aufrechterhalten hat, kann Ermüdung ein Problem sein. Somit kann das System 300 die Neuronenfeuermuster durch Beobachten der neuronalen Aktivität aus einem Satz von Startzuständen oder -positionen berechnen und die Zündmuster im Zeitverlauf auf einen Versatz aufgrund von geistiger Ermüdung beobachten. Das System 300 kann den Versatz auf Grundlage eines erwarteten Werts (z. B. der kanonischen Geometrie) zusammen mit einem Ausgleichsfaktor berechnen, der die Ermüdungsabweichung berücksichtigt.
Die Belohnungsfunktion sollte belohnen, wenn die kompensierte Gestenerkennung den erwarteten Befehl bereitstellt (z. B. Abschluss der kanonischen Geometrie oder Bereitstellen des „Los“ -Signals). Diese Belohnung würde es dem BMI-Trainingssystem 300 ermöglichen, die aktuellsten Versatzdaten für eine größere Toleranz einzuschließen. Wenn im Gegensatz dazu die kompensierte neuronale Ausgabe nicht die erwartete Gestenerkennung erzeugt, kann das System 300 die Toleranz der Belohnungsfunktion bei der Gestenerkennung reduzieren und erfordern, dass die Fahrfunktion für einen vorbestimmten Zeitraum pausiert wird.
4 ist ein Diagramm 400 funktionaler Blöcke das ein Fahrzeug-Infotainmentsystem darstellt, welches das BMI-Systems 107 verwendet, gemäß einer Ausführungsform der vorliegenden Offenbarung. Der BMI-Decodierer 144 kann die neuronalen Daten 405 von der Mensch-Maschine-Schnittstellen-Vorrichtung (HMI-Vorrichtung) 146 empfangen. In einem beispielhaften Szenario kann ein Benutzer (in 4 nicht gezeigt) mit der HMI-Vorrichtung 146 verbunden sein und Gedankensteuerungsschritte durchführen, die mit der in Bezug auf die in 3 beschriebenen Trainingsprozeduren übereinstimmen.
In einem Aspekt kann der Decodierer des Feeds neuronaler Daten 410 die neuronalen Daten 405 decodieren, um eine Gestenabsicht des Benutzers zu bestimmen, indem (ein) Muster in den neuronalen Daten 405 mit Mustern der Aktivität des neuronalen Cortexes des Benutzers abgeglichen werden, die während des Trainingsvorgangs von 3 aufgezeichnet wurden. Die neuronalen Daten können zum Beispiel eine Menünavigationsfunktion 440 angeben, die einen Satz von Funktionen beinhaltet, der mit der Menünavigation assoziiert ist. Die Menünavigationsfunktionen 440 können in einem Beispiel eine Hauptmenüfunktion 450, eine Funktion 455 für das vorherige Menü, eine Vorwärtsfunktion 460 des Menüs und eine Rückwärtsfunktion 465 des Menüs beinhalten.
Die neuronalen Daten 405 können ferner eine Menüauswahlfunktion 445 angeben, die einen Satz von Funktionen beinhaltet, welcher mit der Menüauswahl assoziiert ist. Die Menüauswahlfunktionen 445 können in einem Beispiel eine Elementauswahlfunktion 470 und eine Elementausführungsfunktion 475 beinhalten.
Der BMI-Decodierer 144 kann eine Emulationsfunktion 435 für neuronale Gesten auswählen (zum Beispiel eine der Menüauswahlfunktionen 440 und/oder die Menüauswahlfunktion 445), die mit der Gestenabsicht des Benutzers assoziiert ist, und mittels der ausgewählten Emulationsfunktion für neuronale Gesten die Befehlssteuerungsanweisung generieren.
Nach dem Abgleichen der Gestenabsicht des Benutzers, die von dem Decodierer 410 des Feeds neuronaler Daten empfangenen wurde, mit einer Emulationsfunktion für neuronale Gesten, die mit einer Benutzerabsicht assoziiert ist, kann das BMI-System 107 dem Fahrzeug-Infotainmentsystem 145 eine Fahrzeug-Infotainment-Befehlssteuerungsanweisung 480 bereitstellen. Die Befehlssteuerungsanweisung 480 veranlasst das Fahrzeug-Infotainmentsystem 145, auf Grundlage der Navigationsfunktionen 440 und der Menüauswahlfunktionen 445 zu navigieren oder ein Menüelement auszuwählen.
5 ist ein Ablaufdiagramm eines beispielhaften Verfahrens 500 zum Steuern eines Fahrzeugs unter Verwendung des BMI-Systems 107 gemäß der vorliegenden Offenbarung. 5 kann unter fortgesetzter Bezugnahme auf Elemente vorheriger Figuren, einschließlich der 1-4, beschrieben werden. Der folgende Prozess ist beispielhaft und nicht auf die nachfolgend beschriebenen Schritte beschränkt. Darüber hinaus können alternative Ausführungsformen mehr oder weniger Schritte beinhalten, die in dieser Schrift gezeigt oder beschrieben sind, und können diese Schritte in einer anderen Reihenfolge als die in den folgenden beispielhaften Ausführungsformen beschriebene Reihenfolge beinhalten.
Unter Bezugnahme zuerst auf 5 kann das Verfahren 500 bei Schritt 505 mit dem Trainieren der BMI-Vorrichtung beginnen, um neuronale Daten zu interpretieren, die durch einen Motorcortex eines Benutzers generiert werden, und die neuronalen Daten mit einem Fahrzeugsteuerungsbefehl korrelieren, der mit einer Emulationsfunktion für neuronale Gesten assoziiert ist. In einigen Aspekten kann der Schritt das Empfangen eines Datenfeeds von einer Dateneingabevorrichtung, der eine Körpergeste des Benutzers angibt, das Erlangen eines kontinuierlichen Feeds neuronaler Daten von dem Benutzer, der die Körpergeste des Benutzers wiederholt ausführt, und das Generieren eines Korrelationsmodells, das den Feed neuronaler Daten mit der Emulationsfunktion für neuronale Gesten korreliert, beinhalten. In einigen Aspekten kann die Emulationsfunktion für neuronale Gesten mit einer Steuerungsanweisung zum Auswählen eines Menüelements assoziiert sein. Es versteht sich, dass von der Dateneingabevorrichtung empfangene Daten kontinuierlich oder diskret sind und für die hierin beschriebenen beispielhaften Zwecke werden die kontinuierlichen Daten als ein Beispiel beschrieben.
Als Nächstes beinhaltet das Verfahren einen Schritt 510 zum Empfangen eines kontinuierlichen Feeds neuronaler Daten der neuronalen Daten von dem Benutzer unter Verwendung der BMI-Vorrichtung.
Bei Schritt 515 kann das Verfahren 500 ferner das Bestimmen einer Benutzerabsicht für eine Steuerungsanweisung zum Steuern eines Fahrzeug-Infotainmentsystems aus dem kontinuierlichen Feed neuronaler Daten beinhalten. Das Bestimmen der Benutzerabsicht kann das Auswählen der Emulationsfunktion für neuronale Gesten, die mit der Benutzerabsicht assoziiert ist, und das Generieren der Steuerungsanweisung mittels der Emulationsfunktion für neuronale Gesten beinhalten. Die Emulationsfunktion für neuronale Gesten ist ein Element eines Satzes von Zugehörigkeitsfunktionen eines Gaußschen Kernels.
Bei Schritt 520 beinhaltet das Verfahren 500 das Durchführen einer Handlung auf Grundlage der Steuerungsanweisung. In einem Beispiel kann die Handlung das Bereitstellen einer Steuerungsanweisung an das Fahrzeug-Infotainmentsystem beinhalten, wobei die Steuerungsanweisung das Fahrzeug-Infotainmentsystem dazu veranlasst, zu navigieren oder ein Menüelement auszuwählen. In einem anderen Beispiel kann die Handlung beinhalten, dass das Fahrzeug-Infotainmentsystem dazu veranlasst wird, ein Menüsystem zu einem Hauptmenü zu navigieren. In einem anderen Aspekt kann die Handlung das Scrollen nach rechts in einem aktuellen Menü oder das Scrollen nach links in einem aktuellen Menü beinhalten. Die Handlung kann ferner das Navigieren zu einem vorherigen Menü beinhalten. In noch anderen Aspekten der vorliegenden Offenbarung kann die Handlung das Auswählen eines Menüelements und/oder das Ausführen eines Menüelements beinhalten.
In der vorstehenden Offenbarung wurde auf die beigefügten Zeichnungen Bezug genommen, die einen Teil hiervon bilden und konkrete Umsetzungen veranschaulichen, in denen die vorliegende Offenbarung umgesetzt werden kann. Es versteht sich, dass auch andere Umsetzungen genutzt und strukturelle Änderungen vorgenommen werden können, ohne vom Umfang der vorliegenden Offenbarung abzuweichen. Bezugnahmen in der Beschreibung auf „eine Ausführungsform“, „eine beispielhafte Ausführungsform“ usw. geben an, dass die beschriebene Ausführungsform ein(e) spezifische(s) Merkmal, Struktur oder Eigenschaft beinhalten kann, doch es muss nicht notwendigerweise jede Ausführungsform diese(s) spezifische Merkmal, Struktur oder Eigenschaft beinhalten. Darüber hinaus beziehen sich derartige Formulierungen nicht unbedingt auf dieselbe Ausführungsform. Ferner wird, wenn ein(e) Merkmal, Struktur oder Eigenschaft in Verbindung mit einer Ausführungsform beschrieben ist, der Fachmann ein(e) derartige(s) Merkmal, Struktur oder Eigenschaft in Verbindung mit anderen Ausführungsformen erkennen, ob dies nun ausdrücklich beschrieben ist oder nicht.
Es versteht sich zudem, dass das Wort „Beispiel“, wie es in dieser Schrift verwendet wird, nicht ausschließender und nicht einschränkender Natur sein soll. Insbesondere gibt das Wort „beispielhaft“, wie es in dieser Schrift verwendet wird, eines von mehreren Beispielen an, und es versteht sich, dass keine übermäßige Betonung oder Bevorzugung auf das konkrete beschriebene Beispiel gerichtet ist.
Ein computerlesbares Medium (auch als prozessorlesbares Medium bezeichnet) beinhaltet ein beliebiges nicht transitorisches (z. B. greifbares) Medium, das am Bereitstellen von Daten (z. B. Anweisungen) beteiligt ist, die durch einen Computer (z. B. durch einen Prozessor eines Computers) ausgelesen werden können. Ein derartiges Medium kann viele Formen annehmen, einschließlich unter anderem nicht flüchtiger Medien und flüchtiger Medien. Rechenvorrichtungen beinhalten computerausführbare Anweisungen, wobei die Anweisungen durch eine oder mehrere Rechenvorrichtungen ausgeführt werden können, wie etwa durch die vorstehend aufgeführten, und auf einem computerlesbaren Medium gespeichert werden können.
Hinsichtlich der in dieser Schrift beschriebenen Prozesse, Systeme, Verfahren, Heuristiken usw. versteht es sich, dass die Schritte derartiger Prozesse usw. zwar als gemäß einer bestimmten Reihenfolge erfolgend beschrieben worden sind, derartige Prozesse jedoch praktisch umgesetzt werden könnten, wobei die beschriebenen Schritte in einer Reihenfolge durchgeführt werden, die von der in dieser Schrift beschriebenen Reihenfolge abweicht. Es versteht sich ferner, dass bestimmte Schritte gleichzeitig durchgeführt, andere Schritte hinzugefügt oder bestimmte in dieser Schrift beschriebene Schritte weggelassen werden könnten. Anders ausgedrückt, dienen die Beschreibungen von Prozessen in dieser Schrift dem Zwecke der Veranschaulichung verschiedener Ausführungsformen und sie sollten keinesfalls dahingehend ausgelegt werden, dass sie die Ansprüche einschränken.
Dementsprechend versteht es sich, dass die vorstehende Beschreibung veranschaulichend und nicht einschränkend sein soll. Aus der Lektüre der vorangehenden Beschreibung ergeben sich viele andere Ausführungsformen und Anwendungen als die aufgeführten Beispiele. Der Umfang sollte nicht unter Bezugnahme auf die vorangehende Beschreibung, sondern stattdessen unter Bezugnahme auf die beigefügten Ansprüche bestimmt werden, zusammen mit der gesamten Bandbreite an Äquivalenten, zu denen diese Ansprüche berechtigen. Es wird erwartet und ist beabsichtigt, dass zukünftige Entwicklungen in den in dieser Schrift beschriebenen Techniken eintreten werden und dass die offenbarten Systeme und Verfahren in solche zukünftige Ausführungsformen aufgenommen werden. Insgesamt ist zu verstehen, dass die Anmeldung modifiziert und variiert werden kann.
Allen in den Ansprüchen verwendeten Ausdrücken soll deren allgemeine Bedeutung zugeordnet werden, wie sie Fachleuten auf dem Gebiet der in dieser Schrift beschriebenen Technologien bekannt ist, sofern in dieser Schrift kein ausdrücklicher Hinweis auf das Gegenteil erfolgt. Insbesondere ist die Verwendung der Singularartikel wie etwa „ein“, „eine“, „der“, „die“, „das“ usw. dahingehend auszulegen, dass ein oder mehrere der aufgeführten Elemente genannt werden, sofern ein Anspruch nicht eine ausdrückliche gegenteilige Einschränkung enthält. Mit Formulierungen, die konditionale Zusammenhänge ausdrücken, wie unter anderem „kann“, „könnte“, „können“ oder „könnten“, soll im Allgemeinen vermittelt werden, dass gewisse Ausführungsformen gewisse Merkmale, Elemente und/oder Schritte beinhalten könnten, wohingegen andere Umsetzungen diese nicht beinhalten können, es sei denn, es ist konkret etwas anderes angegeben oder es ergibt sich etwas anderes aus dem jeweils verwendeten Kontext. Somit sollen derartige Formulierungen, die konditionale Zusammenhänge ausdrücken, nicht implizieren, dass Merkmale, Elemente und/oder Schritte für eine oder mehrere Ausführungsformen in irgendeiner Weise erforderlich sind.
Gemäß einer Ausführungsform der vorliegenden Erfindung ist die Erfindung ferner durch das Navigieren zu einem vorherigen Menü gekennzeichnet.
Gemäß der vorliegenden Erfindung wird ein nicht flüchtiges computerlesbares Speichermedium in einer Gehirn-Maschinen-Schnittstellen-Vorrichtung (BMI-Vorrichtung) bereitgestellt, auf der Anweisungen gespeichert sind, die bei Ausführung durch einen Prozessor den Prozessor zu Folgendem veranlassen: Empfangen eines Feeds neuronaler Daten der neuronalen Daten von einem Benutzer unter Verwendung der BMI-Vorrichtung; Bestimmen, aus dem Feed neuronaler Daten, einer Benutzerabsicht für eine Steuerungsanweisung zum Steuern eines Fahrzeug-Infotainmentsystems; und Bereitstellen einer Steuerungsanweisung an das Fahrzeug-Infotainmentsystem, wobei die Steuerungsanweisung das Fahrzeug-Infotainmentsystem dazu veranlasst, zu navigieren oder ein Menüelement auszuwählen.
Gemäß einer Ausführungsform ist die Erfindung ferner dadurch gekennzeichnet, dass sie darin gespeicherte Anweisungen aufweist, um eine Emulationsfunktion für neuronale Gesten, die mit einer Benutzerabsicht assoziiert ist, auszuwählen und mittels der Emulationsfunktion für neuronale Gesten eine Steuerungsanweisung zu generieren.
Gemäß einer Ausführungsform ist die Emulationsfunktion für neuronale Gesten ein Element eines Satzes von Zugehörigkeitsfunktionen eines Gaußschen Kernels.
Gemäß einer Ausführungsform ist die Erfindung ferner dadurch gekennzeichnet, dass sie darin gespeicherte Anweisungen aufweist, um dem Fahrzeug-Infotainmentsystem eine Steuerungsanweisung bereitzustellen, wobei die Steuerungsanweisung das Fahrzeug-Infotainmentsystem veranlasst, zu navigieren oder ein Menüelement auszuwählen.

Claims

Verfahren zum Steuern eines Fahrzeugs unter Verwendung einer Gehirn-Maschine-Schnittstellen-Vorrichtung (BMI-Vorrichtung), das Folgendes umfasst: Trainieren einer BMI-Vorrichtung, um neuronale Daten zu interpretieren, die durch einen Motorcortex eines Benutzers generiert werden, und die neuronalen Daten mit einem Fahrzeugsteuerungsbefehl zu korrelieren, der mit einer Emulationsfunktion für neuronale Gesten assoziiert ist. Empfangen eines Feeds neuronaler Daten der neuronalen Daten von dem Benutzer unter Verwendung der BMI-Vorrichtung; Bestimmen, aus dem Feed neuronaler Daten, einer Benutzerabsicht für eine Steuerungsanweisung zum Steuern eines Fahrzeug-Infotainmentsystems; und Durchführen einer Handlung auf Grundlage der Steuerungsanweisung.
Verfahren nach Anspruch 1, wobei das Trainieren Folgendes umfasst: Empfangen, von einer Dateneingabevorrichtung, eines Datenfeeds, der eine Körpergeste des Benutzers angibt; Erlangen des Feeds neuronaler Daten von dem Benutzer, der die Körpergeste des Benutzers durchführt; und Generieren eines Korrelationsmodells, das den Feed neuronaler Daten mit der Emulationsfunktion für neuronale Gesten korreliert, wobei die Emulationsfunktion für neuronale Gesten mit einer Steuerungsanweisung zum Auswählen eines Menüelements assoziiert ist.
Verfahren nach Anspruch 1, wobei das Bestimmen der Benutzerabsicht Folgendes umfasst: Auswählen der Emulationsfunktion für neuronale Gesten, die mit der Benutzerabsicht assoziiert ist, und Generieren der Steuerungsanweisung mittels der Emulationsfunktion für neuronale Gesten.
Verfahren nach Anspruch 1, wobei die Emulationsfunktion für neuronale Gesten ein Element eines Satzes von Zugehörigkeitsfunktionen eines Gaußschen Kernels ist.
Verfahren nach Anspruch 1, wobei die Handlung Folgendes umfasst: Bereitstellen, an das Fahrzeug-Infotainmentsystem, einer Steuerungsanweisung, wobei die Steuerungsanweisung das Fahrzeug-Infotainmentsystem dazu veranlasst, zu navigieren oder ein Menüelement auszuwählen.
Verfahren nach Anspruch 1, wobei die Handlung Folgendes umfasst: Bereitstellen, an das Fahrzeug-Infotainmentsystem, einer Steuerungsanweisung, wobei die Steuerungsanweisung das Fahrzeug-Infotainmentsystem dazu veranlasst, zu navigieren oder ein Menüelement auszuwählen.
Verfahren nach Anspruch 6, wobei das Veranlassen, dass das Fahrzeug-Infotainmentsystem durch das Fahrzeug-Infotainmentsystem navigiert, Folgendes umfasst: Navigieren eines Menüsystems zu einem Hauptmenü.
Verfahren nach Anspruch 6, das ferner das Scrollen nach rechts in einem aktuellen Menü oder das Scrollen nach links in einem aktuellen Menü umfasst.
Verfahren nach Anspruch 6, das ferner das Navigieren zu einem vorherigen Menü umfasst.
Gehirn-Maschine-Schnittstellen-Vorrichtung (BMI-Vorrichtung) zum Steuern eines Fahrzeugs, die Folgendes umfasst: einen Prozessor; und einen Speicher zum Speichern von ausführbaren Anweisungen, wobei der Prozessor dazu konfiguriert ist, die Anweisungen für Folgendes auszuführen: Empfangen eines Feeds neuronaler Daten der neuronalen Daten von einem Benutzer unter Verwendung der BMI-Vorrichtung; Bestimmen, aus dem Feed neuronaler Daten, einer Benutzerabsicht für eine Steuerungsanweisung zum Steuern eines Fahrzeug-Infotainmentsystems; und Durchführen einer Handlung auf Grundlage der Steuerungsanweisung.
BMI-Vorrichtung nach Anspruch 10, wobei der Prozessor ferner dazu konfiguriert ist, die Anweisungen für Folgendes auszuführen: Auswählen einer Emulationsfunktion für neuronale Gesten, die mit der Benutzerabsicht assoziiert ist, und Generieren der Steuerungsanweisung mittels der Emulationsfunktion für neuronale Gesten.
BMI-Vorrichtung nach Anspruch 11, wobei die Emulationsfunktion für neuronale Gesten ein Element eines Satzes von Zugehörigkeitsfunktionen eines Gaußschen Kernels ist.
BMI-Vorrichtung nach Anspruch 10, wobei der Prozessor ferner dazu konfiguriert ist, die Anweisungen für Folgendes auszuführen: Bereitstellen einer Steuerungsanweisung an das Fahrzeug-Infotainmentsystem, wobei die Steuerungsanweisung das Fahrzeug-Infotainmentsystem dazu veranlasst, zu navigieren oder ein Menüelement auszuwählen.
BMI-Vorrichtung nach Anspruch 13, wobei das Veranlassen, dass das Fahrzeug-Infotainmentsystem durch das Fahrzeug-Infotainmentsystem navigiert, Folgendes umfasst: Navigieren eines Menüsystems zu einem Hauptmenü.
BMI-Vorrichtung nach Anspruch 13, wobei das Veranlassen, dass das Fahrzeug-Infotainmentsystem durch das Fahrzeug-Infotainmentsystem navigiert, Folgendes umfasst: Scrollen nach rechts in einem aktuellen Menü oder Scrollen nach links in einem aktuellen Menü.