DE102020000763A1 - Fahrzeugsitz mit integriertem Brain-Computer-Interface (BCI) und Verfahren zur Entstörung eines Magnetoenzephalogramm (MEG) - Signales eines in einem Fahrzeugsitz integrierten Brain-Computer-Interface (BCI) - Google Patents

Abstract

Die Erfindung betrifft ein Verfahren zur Entstörung eines Roh-Magnetoenzephalogramm (MEG)-Signales (y(t)), das von einem in einem Fahrzeugsitz integrierten Brain-Computer-Interface (BCI) (10) umfassend mindestens einen MEG-Sensor (11) erfasst wird und das durch elektromagnetische Einstreuung von mindestens einem ebenfalls in dem Fahrzeugsitz integrierten Lautsprecher (12) gestört ist, wobei jeder Lautsprecher (12) durch ein Audiosignal (x(t)) angesteuert wird. Für die Übertragung einer elektromagnetischen Störung von einem Lautsprecher (12) auf den mindestens einen MEG-Sensor (11) wird jeweils eine kanalbezogene Störübertragungsfunktion (G(s)) ermittelt. Für jeden Lautsprecher (12) wird die jeweils auf den mindestens einen MEG-Sensor (11) eingestreute Störung durch Anwendung der kanalbezogenen Störübertragungsfunktion (G(s)) auf das Audiosignal (x(t)), das den jeweiligen Lautsprecher (12) ansteuert, ermittelt. Ein entstörtes MEG-Signalwird dadurch gebildet, dass von dem Roh-MEG-Signal (y(t)) die Summe aller ermittelten Störungen abgezogen wird.Die Erfindung betrifft ferner einen Fahrzeugsitz mit mindestens einem Lautsprecher (12) und einem für die Durchführung dieses Verfahrens eingerichteten BCI (10).

Description

• Die Erfindung betrifft ein Verfahren zur Entstörung eines Magnetoenzephalogramm (MEG) Signales, das von einem in einem Fahrzeugsitz integrierten Brain-Computer-Interface (BCI) erfasst wird, gemäß dem Oberbegriff des Anspruchs 1.
• Die Erfindung betrifft zudem einen Fahrzeugsitz mit einem zur Durchführung eines solchen Verfahrens eingerichteten BCI gemäß dem Oberbegriff des Anspruchs 4.
• Das Dokument US 2012/0139733 A1 beschreibt eine Vorrichtung und ein Verfahren zur Vermeidung von Schläfrigkeit. Es werden Hirnwellen eines Nutzers dadurch ermittelt, dass ein Signal im Umfeld des Kopfes des Nutzers kontaktlos ermittelt werden. Ein Zustand des Nutzers wird anhand der ermittelten Hirnwellen detektiert und auf den Zustand des Nutzers angepasste Funktionen ausgeführt. Dadurch wird eine Verbesserung des Komforts bei der kontaktlosen Messung von Hirnwellen eines Fahrzeugführers erzielt.
• Der Erfindung liegt die Aufgabe zu Grunde, ein verbessertes Verfahren zur Entstörung eines Magnetoenzephalogramm (MEG) Signales, das von einem in einem Fahrzeugsitz integrierten Brain-Computer-Interface (BCI) erfasst wird, anzugeben. Diese Aufgabe wird erfindungsgemäß von einem Verfahren mit den Merkmalen des Anspruchs 1 gelöst.
• Der Erfindung liegt ferner die Aufgabe zu Grunde, einen verbesserten Fahrzeugsitz mit einem zur Steuerung von Fahrzeugfunktionen eingerichteten BCI anzugeben. Diese Aufgabe wird erfindungsgemäß von einem Fahrzeugsitz mit den Merkmalen des Anspruchs 4 gelöst.
• Vorteilhafte Ausgestaltungen der Erfindung sind Gegenstand der Unteransprüche.
• Bei einem Verfahren zur Entstörung eines Roh-Magnetoenzephalogramm (MEG)-Signales, das von einem in einem Fahrzeugsitz integrierten Brain-Computer-Interface, umfassend mindestens einen MEG-Sensor, erfasst wird und das durch elektromagnetische Einstreuung von mindestens einem ebenfalls in dem Fahrzeugsitz integrierten Lautsprecher gestört ist, wobei jeder Lautsprecher durch ein Audiosignal angesteuert wird, wird erfindungsgemäß eine kanalbezogene Störübertragungsfunktion ermittelt, welche die Übertragung einer elektromagnetischen Störung von jeweils einem Lautsprecher auf den mindestens einen MEG-Sensor beschreibt.
• Für jeden Lautsprecher wird die jeweils auf den mindestens einen MEG-Sensor eingestreute Störung dadurch ermittelt, dass die auf diesen Lautsprecher und diesen MEG-Sensor jeweils kanalbezogene Störübertragungsfunktion auf das Audiosignal angewendet wird. welches den jeweiligen Lautsprecher ansteuert.
• Ein entstörtes MEG-Signal wird dadurch gebildet, dass von dem Roh-MEG-Signal, welches von dem jeweiligen MEG-Sensor erfasst wurde, die Summe der für alle Lautsprecher ermittelten Störungen abgezogen wird.
• Ein Vorteil der Erfindung besteht darin, dass zur Entstörung des Roh-MEG-Signals nur bekannte, vorhandene Audiosignale herangezogen werden und somit eine zusätzliche Referenzsensorik entfallen kann. Dies ermöglicht Bauraum- und Kostenvorteile, welche einen Einsatz in einem Fahrzeug, insbesondere in einem Personenkraftwagen, befördern.
• Die Integration sowohl des mindestens einen Lautsprechers, als auch des BCI in einen Fahrzeugsitz ist besonders vorteilhaft, weil dadurch die von dem mindestens einen Lautsprecher auf den mindestens einen MEG-Sensor des BCI einstreuenden Störungen besonders gut ermittelt und korrigiert werden können.
• In Ausführungsformen der Erfindung wird das vorgeschlagene Verfahren mit bekannten Verfahren zur Signalentmischung oder zur Signalentstörung kombiniert. Beispielsweise können die entstörten MEG-Signale einer Hauptkomponentenanalyse (principle component analysis, PCA) oder einer Analyse unabhängige Komponenten (independent component analysis, ICA) unterzogen werden, um weitere Rauschanteile und Störungen zu eliminieren. Ferner sind Verfahren der adaptiven Filterung bekannt und anwendbar, um das von einem MEG-Sensor mit einer bekannten Rauschcharakteristik bereitgestellte Signal zu verbessern. Ein Vorteil dieser Ausführungsform besteht in der weiteren Verbesserung des Signal-Rausch-Verhältnisses und somit in einer genaueren und besser reproduzierbaren Erkennungsleistung des BCI.
• Ausführungsbeispiele der Erfindung werden im Folgenden anhand einer Zeichnung näher erläutert.
• Dabei zeigt:
• 1 schematisch den Signalfluss in einem fahrzeugsitzintegrierten BCI.
• 1 zeigt schematisch ein Steuergerät 1, das zur Steuerung von Fahrzeugfunktionen eines nicht näher dargestellten Fahrzeugs eingerichtet ist. Die Fahrzeugfunktionen werden durch Aktionen gesteuert, die ein Nutzer 2 an dem Steuergerät 1 vornimmt.
• Steuergeräte 1, welche gezielte manuelle Aktionen eines Nutzers 2, beispielsweise die Bedienung von Schaltelementen (Tastern oder Schaltern) oder die Bedienung eines Touchscreens, auswerten und in die Steuerung von Fahrzeugfunktionen umsetzen, sind aus dem Stand der Technik bekannt.
• Vorliegend wird der Bedienwunsch eines Nutzers 2 hinsichtlich des Steuergeräts 1 durch ein Brain-Computer-Interface (BCI) 10 erfasst und an das Steuergerät 1 übermittelt. Das BCI 10 wertet Hirnaktivität, insbesondere kortikale Hirnaktivität, des Nutzers 2 aus und leitet daraus Parameter des mentalen und/oder kognitiven Zustands und/oder Planungs- oder Handlungsabsichten des Nutzers 2 ab. BCIs 10, welche durch Auswertung von Elektroenzephalographie (EEG) - Signalen und/oder durch Auswertung von Magnetoenzephalographie (MEG) - Signalen und/oder durch Auswertung von Elektrookulographie (EOG) - Signalen konkrete Handlungsabsichten eines Nutzers 2 ermitteln, sind aus dem Stand der Technik bekannt.
• Beispielsweise sind sogenannte Brainspeller bekannt, welche durch Auswertung von ereigniskorrelierten Potentialen, die als Antwort eines Nutzers 2 auf visuell oder auditorisch dargebotene Reize bestimmt werden, einen vom Nutzer 2 gewählten Buchstaben ermitteln und einer durch das BCI 10 erstellten Zeichenkette hinzufügen. In gleicher Weise lassen sich anstelle einer vom Nutzer 2 intendierten, zu buchstabierenden Zeichenkette Anweisungen an das Steuergerät 1 ermitteln, mit denen Fahrzeugfunktionen ausgewählt oder parametrisiert werden.
• Ferner sind aus dem Stand der Technik BCIs 10 bekannt, mit denen der emotionale und/oder kognitive Status des Nutzer 2 durch Auswertung evozierter Potentiale oder durch Auswertung ereigniskorrelierter Potentiale bestimmt wird. Durch Bestimmung vigilanzabhängiger Parameter eines evozierten Potentials, beispielsweise der Latenz der P300 - Welle eines visuell evozierten Potentials, kann die Aufmerksamkeit oder die Müdigkeit eines Nutzers 2 bestimmt werden.
• Das Steuergerät 1 kann dann so eingerichtet und konfiguriert sein, dass Fahrzeugfunktionen abhängig von dem emotionalen und/oder kognitiven Status eines Nutzers 2, der das Fahrzeug führt, parametrisiert werden. Beispielsweise könnte eine Höchstgeschwindigkeit des Fahrzeugs bei erhöhter Müdigkeit begrenzt werden.
• Für den Einsatz in einem Fahrzeug ist die kontaktlose Erfassung eines Biosignals, welches die Hirnaktivität des Nutzers 2 charakterisiert, besonders vorteilhaft. Zudem ist es vorteilhaft, wenn die zur Bestimmung eines evozierten oder eines ereigniskorrelierten Potentials erforderlichen Reize nicht visuell dargeboten werden, um die Aufmerksamkeit des Nutzers 2 von der visuell geführten Steuerung des Fahrzeugs und vom Geschehen im Verkehr nicht abzulenken.
• Es wird ein BCI 10 vorgeschlagen, das mindestens einen superconducting quantum interference device (SQUID) Sensor 11 umfasst, der zur Erfassung eines magnetischen Wechselfeldes eingerichtet ist, welches durch die Aktivität von Neuronenensembles im Hirn des Nutzers 2 erzeugt und durch dessen Schädelkalotte hindurch emittiert wird. Das von dem mindestens einen SQUID Sensor 11 erfasste Roh-Magnetoenzephalogramm (MEG)-Signal y_i(t) wird durch eine Signalauswerteeinheit 13 ausgewertet, wobei der Index i = 1,2, ... N die Nummer des zugeordneten SQUID Sensors 11 beziehungsweise die Nummer des MEG-Kanals bezeichnet. Die Signalauswerteeinheit 13 kann beispielsweise als Digitaler Signalprozessor ausgebildet sein.
• Ferner umfasst das BCI 10 mindestens einen Lautsprecher 12, der zur Wiedergabe jeweils eines Audiosignals x_i(t), i = 1,2, ... M eingerichtet ist, wobei der Index i die Nummer des Lautsprechers 12 beziehungsweise die Nummer des Audiokanals bezeichnet. Die Audiosignale x_i(t) können als Musiksignale, Sprachsignale und/oder als Triggersignale zur Auslösung von akustisch evozierten Potentialen und/oder zur Auslösung von akustischen ereigniskorrelierten Potentialen ausgebildet sein.
• Erfindungsgemäß sind die Lautsprecher 12 in einen nicht näher dargestellten Fahrzeugsitz integriert. Dadurch wird ein besonders guter akustischer Eindruck der von dem mindestens einen Lautsprecher 12 wiedergegebenen Audiosignale x_i(t) erzielt. Hinsichtlich der als Triggersignale ausgebildeten Audiosignale x_i(t) wird durch die Integration des mindestens einen Lautsprechers 12 in den Fahrzeugsitz erreicht, dass die akustische Reizung des Nutzers 2 besonders direkt und deutlich erfolgt und dass der Einfluss von akustischen Störsignalen vermindert wird, die keinen Bezug zum akustischen Triggersignal aufweisen und die Bestimmung eines akustischen evozierten Potentials oder eines akustischen ereigniskorrelierten Potentials verfälschen könnten.
• Die Audiosignale x_i(t) werden von einem Audiogenerator 14 erzeugt. Der Audiogenerator 14 wird von dem Steuergerät 1 konfiguriert und zur Generierung eines konkreten Audiosignals x_i(t) angesteuert. Die Signalauswerteeinheit 13 ermittelt nach einem nachfolgend beschriebenen Entstörungsverfahren aus dem Roh-MEG-Signal y_i(t) ein entstörtes MEG-Signal $y_{\text{i}}^{\text{'}}\left(t\right)$

  

  und übermittelt dieses an das Steuergerät 1.
• Somit ist es möglich, auf dem Steuergerät 1 den Bezug zwischen einem Triggersignal und einer von diesem Triggersignal ausgelösten kortikalen Antwort (das heißt: einem evozierten oder ereigniskorrelierten Potential) zu bestimmen und hieraus einen emotionalen und/oder kognitiven Zustand des Nutzers 2 und/oder dessen Handlungsabsichten zu ermitteln. Verfahren hierfür, insbesondere triggerzeitpunktbezogene Mittelungsverfahren, Verfahren zur Auswertung der Signalform und zur Identifizierung von typischen Graphoelementen in derartigen Signalen und Verfahren zur Anwendung eines realistischen Kopfmodells zur Lokalisierung eines MEG-Herdes, der primär mit einer kortikalen Antwort korreliert ist, sind aus dem Stand der Technik bekannt.
• Die Bestimmung einer kortikalen Antwort aus mindestens einem Roh-MEG-Signal y_i(t) wird jedoch dadurch erschwert, dass magnetoenzephalographische Signale sehr schwach, beispielsweise wesentlich schwächer als elektroenzephalographische Signale sind und somit wesentlich empfindlicher gegenüber Störungen sind.
• Beispielsweise können als Wechselspannung übertragene oder in einem Lautsprecher 12 in elektromagnetische Wechselfelder umgesetzte Audiosignale x_i(t) über elektromagnetische Interferenz auf die von den SQUID-Sensoren 11 erfassten Roh-MEG-Signale y_i(t) einstreuen und diese überlagern. Die Überlagerung der vom l-ten Lautsprecher 12 auf dem k-ten SQUID-Sensor 11 erzeugten Störung ψ_k,l(t) kann über die kanalbezogene Störübertragungsfunktion G_k,l(s) eines linearen, zeitinvarianten Übertragungssystems modelliert werden: $$G_{k,l}\left(s\right)=\frac{{\mathrm{\Psi }}_{k,l}\left(s\right)}{X_l\left(s\right)}$$

  

  wobei ψ_k,l(s) die Laplace-Transformierte der Störung ψ_k,l(t) auf dem k-ten SQUID-Sensor 11 und wobei X_l(s) die Laplace-Transformierte des Audiosignals x_l(t) ist, welches den l-ten Lautsprecher 12 ansteuert.
• Erfindungsgemäß wird jede der M x N möglichen kanalbezogenen Störübertragungsfunktionen G_k,l(s); k = 1,2, ... N; l = 1,2, ... M messtechnisch ermittelt oder geschätzt. Messverfahren hierfür sind aus dem Stand der Technik bekannt. Beispielsweise kann jeweils ein Lautsprecher 12 mit einem als Impulssignal δ(t) ausgebildeten Audiosignal x_l(t) angesteuert werden und die daraus resultierende Impulsantwort g_k,l(t) für jeden der N SQUID-Sensoren 11 vermessen werden, wobei alle übrigen Audiosignale x_i(t), i ≠l auf Null gesetzt werden und wobei keinerlei Roh-MEG-Signale y_k(t) abgeleitet werden. Die jeweilige Störübertragungsfunktionen G_k,l(s) ergibt sich dann als Laplace-Transformierte der Impulsantwort g_k,l(t).
• Erfindungsgemäß wird eine Störung ψ_k,l(t), die von einem Audiosignal x_l(t) in einem Roh-MEG-Signal y_k(t) bewirkt wird, durch Filterung dieses Audiosignals x_l(t) ermittelt. Die Filterung erfolgt mit einem linearen, zeitinvarianten Filter mit der zuvor ermittelten kanalbezogenen Störübertragungsfunktion G_k,l(s). Die Filterung kann durch Multiplikation der Laplace-Transformierten des Audiosignals x_l(t) mit der kanalbezogenen Störübertragungsfunktion G_k,l(s) erfolgen. Alternativ kann die Filterung durch Faltung im Zeitbereich mit einer Impulsantwort g_k,l(t) erfolgen, dessen Laplace-Transformierte gleich der kanalbezogenen Störübertragungsfunktion G_k,l(s) ist.
• Ein entstörtes MEG-Signal $y_{\text{i}}^{\text{'}}\left(t\right)$

  

  wird dann dadurch gebildet, dass von dem gemessenen Roh-MEG-Signal y_i(t) die von allen Lautsprechern 12 darauf einstreuenden Störsignale abgezogen werden: $$y_{\text{i}}^{\text{'}}\left(t\right)=y_i\left(t\right)-{\displaystyle \sum _{l=1}^M{s}_{i,l}\left(t\right)=y_i\left(t\right)-{\displaystyle \sum _{l=1}^M{g}_{i,j}\left(t\right)\ast x_l\left(t\right)\text{,}}i=\mathrm{1,2,}\dots \text{N}}$$

  
• Dadurch ist es möglich, Lautsprecher 12 nahe an einer MEG-Ableitevorrichtung, beispielsweise nahe an SQUID-Sensoren 11 und/oder nahe an elektrischen Leitungen, die von den SQUID-Sensoren 11 zu der Signalauswerteeinheit 13 führen, anzuordnen. Insbesondere ist es möglich, Lautsprecher 12 und/oder SQUID-Sensoren 11 in einen Fahrzeugsitz zu integrieren, wobei eine zusätzliche, das heißt: über die SQUID-Sensoren 11 hinausgehende, Referenzsensorik zur Erfassung von Störungen nicht erforderlich ist. Somit kann, durch Auswertung der ohnehin erfassten und im Steuergerät 1 verfügbaren Audiosignale x_i(t), zusätzlicher Hardwareaufwand eingespart werden.
• In einer Ausführungsform kann das vorgeschlagene Entstörungsverfahren mit weiteren, aus dem Stand der Technik bekannten Verfahren zur Signalentmischung oder zur Signalentstörung kombiniert werden. Beispielsweise können die entstörten MEG-Signale $y_{\text{i}}^{\text{'}}\left(t\right)$

  

  einer Hauptkomponentenanalyse (principle component analysis, PCA) oder einer Analyse unabhängige Komponenten (independent component analysis, ICA) unterzogen werden, um weitere Rauschanteile und Störungen zu eliminieren. Ferner sind Verfahren der adaptiven Filterung bekannt und anwendbar, um das von einem SQUID-Sensor 11 mit einer bekannten Rauschcharakteristik bereitgestellte Signal zu verbessern. Ein Vorteil dieser Ausführungsform besteht in der weiteren Verbesserung des Signal-Rausch-Verhältnisses und somit in einer genaueren und besser reproduzierbaren Erkennungsleistung des BCI 10.
• Eine Übertragung der vorstehend dargelegten technischen Lehre für Signale mit kontinuierlicher Zeit auf Signale mit diskreter Zeit ist für den Fachmann ohne weiteres möglich, indem zeitkontinuierliche Signale unter Einhaltung des Abtasttheorems abgetastet werden und anstelle der Laplace-Transformierten die Z-Transformierte zur Bestimmung einer kanalbezogenenG_k,l(s) Störübertragung verwendet wird. Ausführungsformen des Verfahrens mit zeitdiskreten Signalen bieten den Vorteil einer leichteren Implementierbarkeit, beispielsweise unter Verwendung von Digitalen Signalprozessoren.
• ZITATE ENTHALTEN IN DER BESCHREIBUNG
• Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
• Zitierte Patentliteratur
• US 2012/0139733 A1 [0003]

Claims (4)

1. Verfahren zur Entstörung eines Roh-Magnetoenzephalogramm (MEG)-Signales (y_i(t)), das von einem in einem Fahrzeugsitz integrierten Brain-Computer-Interface (BCI) (10), umfassend mindestens einen MEG-Sensor (11), erfasst wird und das durch elektromagnetische Einstreuung von mindestens einem ebenfalls in dem Fahrzeugsitz integrierten Lautsprecher (12) gestört ist, wobei jeder Lautsprecher (12) durch ein Audiosignal (x_l(t)) angesteuert wird, dadurch gekennzeichnet, dass - für eine Übertragung einer elektromagnetischen Störung von einem Lautsprecher (12) auf den mindestens einen MEG-Sensor (11) jeweils eine kanalbezogene Störübertragungsfunktion (G_i,l(s)) ermittelt wird, - für jeden Lautsprecher (12) die jeweils auf den mindestens einen MEG-Sensor (11) eingestreute Störung durch Anwendung der kanalbezogenen Störübertragungsfunktion (G_i,l(s)) auf das Audiosignal (x_l(t)), das den jeweiligen Lautsprecher (12) ansteuert, ermittelt wird und - ein entstörtes MEG-Signal $\left(y_{\text{i}}^{\text{'}}\left(t\right)\right)$

   

   dadurch gebildet wird, dass von dem Roh-MEG-Signal (y_i(t)) die Summe aller ermittelten Störungen abgezogen wird.
2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die Anwendung der kanalbezogenen Störübertragungsfunktion (G_i,l(s)) auf das Audiosignal (x_l(t)) durch Multiplikation der Laplace-Transformierten oder der Fourier-Transformierten des Audiosignals (x_l(t)) mit der Störübertragungsfunktion (G_i,l(s)) im Frequenzbereich erfolgt.
3. Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass die Anwendung der kanalbezogenen Störübertragungsfunktion (G_i,l(s)) auf das Audiosignal (x_l(t)) durch Faltung des Audiosignals (x_l(t) mit einer Impulsantwort im Zeitbereich erfolgt, wobei die Impulsantwort so gewählt ist, dass ihre Laplace-Transformierte oder Fourier-Transformierte die Störübertragungsfunktion (G_i,l(s)) approximiert.
4. Fahrzeugsitz, umfassend ein zur Steuerung von Fahrzeugfunktionen eingerichtetes Brain-Computer-Interface (BCI) (10) mit mindestens einem MEG-Sensor (11), dadurch gekennzeichnet, dass der Fahrzeugsitz zusätzlich mindestens einen Lautsprecher (12) umfasst, wobei das Brain-Computer-Interface (BCI) (10) zur Entstörung des von dem mindestens einen MEG-Sensor (11) erfassten Roh-Magnetoenzephalogramm (MEG)-Signales (y_i(t)) mit einem Verfahren nach einem der Ansprüche 1 bis 3 eingerichtet ist.

Images