DE102019209441A1

DE102019209441A1 - Verfahren zum Betreiben eines Eingabegeräts sowie Eingabegerät für Gedankensteuerung von technischen Geräten

Info

Publication number: DE102019209441A1
Application number: DE102019209441.4A
Authority: DE
Inventors: Frank Schmidt; Volker Fischer; Andreas Brenneis; Felix Michael Stuerner
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2019-06-28
Filing date: 2019-06-28
Publication date: 2020-12-31

Abstract

Die Erfindung betrifft Verfahren zum Betreiben eines Eingabesystems zum Erzeugen einer Instruktion, mit folgenden Schritten:- Zeitgleiches Erfassen (S1) von Verläufen von Magnetfeldern an verschiedenen Positionen nahe eines Kopfes (K) eines Benutzers, um für einen Zeitraum mehrere zeitliche Abfolgen von Magnetfeldvektoren zu erhalten, die jeweils ein Maß eines Magnetfelds an den verschiedenen Positionen an dem Kopf (K) zu einem jeweiligen Erfassungszeitpunkt angeben;- Generieren eines Eingangsgrößenvektors aus den zeitlichen Abfolgen von Magnetfeldvektoren;- Bereitstellen (S2) eines datengetriebenen Klassifikationsmodells, das trainiert ist, um einem Eingangsgrößenvektor eine Instruktion zuzuordnen;- Ermitteln (S3) einer den zeitlichen Abfolgen von Magnetfeldvektoren zugeordneten Instruktion mithilfe des Klassifikationsmodells.

Description

Technisches Gebiet
Die Erfindung betrifft elektronische Eingabegeräte für die Steuerung technischer Geräte durch Neuronenaktivität. Insbesondere betrifft die vorliegende Erfindung ein Verfahren zur verbesserten Detektion von Aktivitätsmustern in einem Gehirn eines Benutzers mithilfe einer Erfassung von Magnetfeldern, die durch eine Neuronenaktivität im Gehirn bewirkt werden.
Technischer Hintergrund
Technische Geräte benötigen für die Mensch-Maschine-Interaktion in der Regel Eingabegeräte, die eine manuelle Betätigung mit einer oder beiden Händen erfordern. Dies führt dazu, dass situationsabhängig ein technisches Gerät nicht oder nur eingeschränkt bedient werden kann. Für Menschen mit eingeschränkten Bewegungsmöglichkeiten kann eine Bedienung eines solchen Eingabegeräts für eine Benutzung eines technischen Geräts beschwerlich oder gar unmöglich sein.
Im Gehirn kommt es bei Gedankenvorgängen zu Neuronenaktivitäten in Aktivitätszentren. Die Neuronenaktivitäten äußern sich durch kleinste Stromflüsse, die Magnetfelder mit sehr geringen magnetischen Flussdichten bewirken. Diese können durch sehr sensitive Magnetfeldsensoren außerhalb des Kopfes erfasst werden.
Eine Bedienung eines technischen Geräts mithilfe eines Eingabegeräts, dass bewusst hervorgerufene Neuronenaktivitäten in Aktivitätszentren im Gehirn erfasst, ist wünschenswert, da diese vollständig ohne Bewegungsinteraktion auskommen kann. Aufgrund der schwachen und rauschbehafteten Sensorsignale kann eine solche Eingabemöglichkeit zurzeit nur in abgeschirmten Räumen in stark kontrollierten Umgebungen realisiert werden.
Als Beispiel für sehr sensitive Magnetfeldsensoren sind diamantbasierte Magnetfeldsensoren bekannt, die Stickstoff-Fehlstellenzentren in einem Diamantgitter aufweisen, wie beispielsweise aus Taylor, J. M., „High-sensitivity diamond magnetometer with nanoscale resolution", Nature Physic, 4, Seiten 810-816, doi:10.1038/nphys 1075 und Wolf, T. et al., „Subpicotesla Diamond Magnetometry", Physical Review X, 5(4),041001 bekannt ist. Unter Nutzung des Zeeman-Effekts kann bei einer Anregung durch Mikrowellenstrahlung für verschiedene Mikrowellenfrequenzen eine Abschwächung eines Fluoreszenzverhaltens detektiert werden, die von der Flussdichte des zu messenden Magnetfeldes abhängt.
Die Empfindlichkeit von diamantbasierten Magnetfeldsensoren reicht aus, um magnetische Felder zu detektieren, die durch Neuronenaktivitäten erzeugt werden. Weiterhin ermöglicht es diese Sensortechnologie, auch bei großen Hintergrundmagnetfeldern, wie z. B. dem Erdmagnetfeld, die benötigte Empfindlichkeit zu erzielen. Des Weiteren können derartige Magnetfeldsensoren verwendet werden, um das magnetische Feld in drei Raumachsen zu vermessen, da die Stickstofffehlstellenzentren vier mögliche Ausrichtungen im Diamantgitter einnehmen können und eine unterschiedliche Projektion des zu erfassenden Magnetfelds erfahren, woraus die vektorielle Magnetfeldinformation bestimmt werden kann. Eine Anordnung einer Anzahl derartiger hochempfindlicher Magnetfeldsensoren um einen Kopf ermöglicht es somit, Muster von Neuronenaktivitäten zu vermessen und die örtliche Verteilung der Stromflüsse in Aktivitätszentren zu rekonstruieren.
Offenbarung der Erfindung
Erfindungsgemäß sind ein Verfahren zum Klassifizieren von Gehirnaktivitätsmustern gemäß Anspruch 1 sowie ein Verfahren zum Betreiben eines Eingabegeräts, eine Klassifizierungsvorrichtung sowie ein Eingabegerät gemäß den nebengeordneten Ansprüchen vorgesehen.
Weitere Ausgestaltungen sind in den abhängigen Ansprüchen angegeben.
Gemäß einem ersten Aspekt ist ein Verfahren zum Betreiben eines Eingabesystems zum Erzeugen einer Instruktion vorgesehen, mit folgenden Schritten:

- Zeitgleiches Erfassen von Verläufen von Magnetfeldern an verschiedenen Positionen nahe eines Kopfes eines Benutzers, um für einen Zeitraum mehrere zeitliche Abfolgen von Magnetfeldvektoren zu erhalten, die jeweils ein Maß eines Magnetfelds an den verschiedenen Positionen an dem Kopf zu einem jeweiligen Erfassungszeitpunkt angeben;
- Generieren eines Eingangsgrößenvektors aus den zeitlichen Abfolgen von Magnetfeldvektoren;
- Bereitstellen eines datengetriebenen Klassifikationsmodells, das trainiert ist, um einem Eingangsgrößenvektor eine Instruktion zuzuordnen;
- Ermitteln einer den zeitlichen Abfolgen von Magnetfeldvektoren zugeordneten Instruktion mithilfe des Klassifikationsmodells.

Das obige Verfahren sieht vor, mithilfe hochempfindlicher Magnetfeldsensoren gemessene zeitliche Magnetfeldverläufe dazu zu nutzen, Muster von Gehirnaktivitäten zu erkennen. Dazu kann ein datengetriebenes Klassifikationsmodell, z.B. in Form eines künstlichen tiefen neuronalen Netzes, basierend auf den raumzeitlichen Sensordaten trainiert werden, so dass bestimmte Aktivierungsmuster erkannt werden. Bei der Verwendung eines solchen Klassifizierungsverfahrens in einem Eingabegerät für ein zu steuerndes technisches Gerät können die entsprechenden erkannten Aktivierungsmuster bestimmten Aktionen des zu steuernden Geräts zugeordnet werden.
Das Klassifikationsmodell, das einen Eingangsgrößenvektor nutzt und über entsprechende Parameter (wie z.B. Gewichtungsparameter des tiefen neuronalen Netzes) parametriert ist, kann so trainiert sein, dass dieser einem Eingangsgrößenvektor ein bestimmtes Label, d.h. eine bestimmte Instruktion zuordnet. Die Labels geben also die zu trainierenden Instruktionen an, die dem jeweiligen Eingangsgrößenvektor zugeordnet sind. Der Eingangsgrößenvektor kann den zeitlichen Verläufen der Magnetfeldvektoren der einzelnen Magnetfeldsensoren entsprechen oder einem daraus abgeleiteten 3D-Modell der zeitlichen Stromverläufe in den Aktivitätszentren des Gehirns entsprechen. Diese können aus den Verläufen der Magnetfeldvektoren der Magnetfeldsensoren und der relativen Position der Magnetfeldsensoren zum Kopf bzw. zum Gehirn rekonstruiert werden, so dass man ein raumzeitliches Vektorfeld der Stromdichte erhält.
Weiterhin kann das Klassifikationsmodell basierend auf den Toleranzen der Magnetfeldvektoren trainiert sein. Insbesondere können die Magnetfeldvektoren mithilfe von diamantbasierten Magnetfeldsensoren erfasst werden, wobei die Toleranzen der Magnetfeldvektoren durch eine durch das Photonenschrotrauschen bestimmtes Rauschverhalten bestimmt werden.
Bei der Verwendung von diamantbasierten Magnetfeldsensoren besteht ein Vorteil darin, dass das Rauschen eines solchen Magnetfeldsensors auf das Photonen-Schrotrauschen beschränkt ist. Damit lässt sich die Standardabweichung des Rauschens bezüglich einer gemessenen magnetischen Flussdichte angeben wie folgt: $σ_{i} (t) = N F \cdot \frac{Δ ν_{i}}{γ_{e}} \cdot \frac{1}{c_{i}} \cdot \frac{1}{\sqrt{R (t) \cdot τ}}$
wobei NF einen numerischen Faktor, der von der Form der Resonanz abhängt und aus einem zuvor gemessenen Spektrum abgeleitet werden kann, bezeichnet und in der Regel zwischen 0,7 und 1 beträgt. Δν_i entspricht der Linienbreite der Resonanz, die mit der Richtung und Position des Sensors verknüpft ist. c_i entspricht dem relativen Kontrast der Resonanz, die mit der Richtung und Position verknüpft ist. τ ist die Integrationszeit. R(t) entspricht der detektierten Photonenrate in Hertz. Diese kann aus Kenntnis der Verstärkung des Photodetektors basierend auf dem Photodetektorsignal abgeleitet werden. γ_e entspricht dem gyromagnetischen Verhältnis des NV-Zentrums und beträgt ungefähr 28024 GHz/T.
Somit können die Magnetfeldvektoren, deren zeitliche Verläufe für jeden der Magnetfeldsensoren erfasst werden, jeweils mit einer bekannten Toleranz/Standardabweichung versehen werden. Beim Trainieren des Klassifikators kann die Standardabweichung der Magnetfeldvektoren als Rauschgröße genutzt werden, um das Training an das Sensorwissen zu adaptieren. Insbesondere kann bei einem Training des Klassifikationsmodells anstelle einer herkömmlichen Loss-Funktion eine rauschangepasste Loss-Funktion $l (x; θ) = min_{{‖ x^{*} - x ‖}_{2 \leq σ}} l_{0} (y, ϕ (x^{*}, θ))$
verwendet werden.
Dabei entspricht x* einem Eingangsvektor, der im Rahmen jeder der Magnetfeldvektoren zugeordneten Standardabweichung variiert ist, so dass der Verlust bezüglich des gewünschten Klassifizierungsergebnisses minimiert ist. Basierend auf dem so angepassten Eingangsvektor x* wird nun das Training des Klassifikators durch Bestimmen der Netzparameter θ durchgeführt. Mit anderen Worten, die Toleranzen der Magnetfeldvektoren können berücksichtigt werden, indem das Klassifikationsmodell basierend auf angepassten Eingangsgrößenvektoren trainiert wird, wobei die Eingangsgrößenvektoren innerhalb der Toleranzen der Magnetfeldvektoren so angepasst werden, dass der Loss zu dem zugeordneten Label minimiert wird.
Auf diese Weise kann das Vorwissen über das Rauschverhalten der Magnetfeldsensoren beim Training des Klassifikators verwendet werden und somit die Klassifizierungsgenauigkeit erheblich verbessert werden. Ein Vorteil der Nutzung der diamantbasierten Magnetfeldsensoren besteht darin, dass das Rauschen ausschließlich auf das Photonen-Schrotrauschen beschränkt ist, das zudem rechnerisch ermittelbar ist. Dies gilt dann, wenn keine anderen Rauschquellen, wie z.B. ein ungenauer Photodetektor, zu einem größerem Rauschbeitrag führen.
Weiterhin kann die in dem Eingabesystem generierte Instruktion eine Auswahl aus einem angezeigten Auswahlmenü, eine Zeicheneingabe oder einer Bewegung eines Cursors oder eines Mauszeigers auf einer Anzeige einer Datenverarbeitungseinrichtung ermöglichen.
Gemäß einem weiteren Aspekt ist ein Eingabesystem zum Steuern eines technischen Geräts mithilfe einer einer Neuronenaktivität zugeordneten Instruktion vorgesehen, umfassend:

- eine Sensoranordnung (11), die ausgebildet ist, um Verläufe von Magnetfeldern an verschiedenen Positionen nahe eines Kopfes (K) eines Benutzers zeitgleich zu erfassen, um für einen Zeitraum mehrere zeitliche Abfolgen von Magnetfeldvektoren zu erhalten, die jeweils ein Maß eines Magnetfelds an den verschiedenen Positionen an dem Kopf (K) zu einem jeweiligen Erfassungszeitpunkt angeben;
- eine Recheneinheit (14), die ausgebildet ist,
- ◯ um einen Eingangsgrößenvektor aus den zeitlichen Abfolgen von Magnetfeldvektoren zu generieren;
- ◯ um einer den zeitlichen Abfolgen von Magnetfeldvektoren zugeordnete Instruktion mithilfe eines datengetriebenen Klassifikationsmodells zu ermitteln, das trainiert ist, um einem Eingangsgrößenvektor eine entsprechende Instruktion zuzuordnen;
- ◯ um insbesondere ein technisches Gerät mithilfe der Instruktion zu steuern.

Figurenliste
Ausführungsformen werden nachfolgend anhand der beigefügten Zeichnungen näher erläutert. Es zeigen:

1 eine schematische Darstellung eines Systems mit einer Eingabevorrichtung zum Steuern eines technischen Geräts durch Gehirnaktivierungsmuster;
2 eine schematische Darstellung eines diamantbasierten Magnetfeldsensors;
3 eine Darstellung einer Kristallstruktur eines diamantbasierten Magnetfeldsensors;
4 eine Darstellung der magnetischen Resonanzen des Magnetfeldsensors bei verschiedenen Flussdichten in einer Fehlstellenorientierung, und
5 ein Flussdiagramm zur Veranschaulichung eines Verfahrens zum Betreiben einer Eingabevorrichtung zum Steuern eines technischen Geräts.

Beschreibung von Ausführungsformen
1 zeigt eine schematische Darstellung eines Eingabesystems 1 zum Steuern eines technischen Geräts 2.
Das technische Gerät kann beispielsweise ein herkömmlicher Computer (PC) umfassen, der zur Ausgabe eine Bildschirmeinheit aufweist.
Das Eingabesystem 1 umfasst eine Sensoranordnung 11 mit einem oder mehreren Magnetfeldsensoren 12, die vorzugsweise an einem Träger 13 zum Halten und Anordnen der Magnetfeldsensoren 12 an einem Kopf K eines Benutzers vorgesehen sind.
Die Magnetfeldsensoren 12 sind so an dem Kopf K des Benutzers angeordnet, dass diese die obere Hälfte des Kopfes umgeben. Der Träger 13 kann beispielsweise eine Haube aufweisen, in die die Magnetfeldsensoren 12 eingebettet sind. Das Eingabesystem 1 weist weiterhin eine Recheneinheit 14 auf, die mit jedem der Magnetfeldsensoren 12 verbunden ist und die Steuersignale S zum Steuern des technischen Geräts 2 bereitstellt. Die Recheneinheit 14 kann einen Mikroprozessor oder dergleichen aufweisen, in dem ein nachfolgend beschriebener Algorithmus zur Klassifizierung von Magnetfeldsignalen in Software und/oder Hardware implementiert ist.
Die Recheneinheit 14 ist ausgebildet, um räumliche und zeitliche Muster der Magnetfeldsignale, die durch die Magnetfeldsensoren 12 erfasst werden, auszuwerten und zu klassifizieren, um Instruktionen an das technische Gerät 2 in Form von Steuersignalen zu generieren.
Die Magnetfeldsensoren 12 sind hochempfindlich und vorzugsweise diamantbasiert. Im Folgenden wird das Eingabesystem 1 basierend auf diamantbasierten Magnetfeldsensoren beschrieben.
Ein diamantbasierter Magnetfeldsensor 20 weist eine Anordnung auf, wie sie schematisch in 2 dargestellt ist.
Dazu wird ein Diamantkristall 21, durch den ein Magnetfeldvektor in drei Raumdimensionen erfasst werden soll, mit einer Mikrowellenstrahlung aus einer Mikrowellenquelle 22, die in einem Frequenzbereich variierbar ist, beaufschlagt und ein Fluoreszenzverhalten mithilfe eines durch eine Optik 23 fokussierten Lasers 24 und eines Photodetektors 25 gemessen. Die Detektorsignale stehen dann bezogen auf die Frequenz der eingestrahlten Mikrowellenstrahlung zur Verfügung. Der Photodetektor 25 ist mit einer Auswerteeinheit 26 gekoppelt, die die Detektorsignale in Bezug zu der Frequenz der eingestrahlten Mikrowellenstrahlung digitalisiert und als Flussdichteangabe an die Recheneinheit 14 übermittelt.
Der Diamantkristall weist ein Diamantgitter auf, das mit negativ geladenen Stickstoff-Fehlstellenzentren (im Text als NV-Zentrum abgekürzt) versehen ist. 3 zeigt schematisch die Struktur eines Diamantkristalls mit einem NV-Zentrum. Die Stickstoff-Fehlstellenzentren können bezüglich des Kristallgitters vier mögliche Ausrichtungen im Diamantkristall haben, die für den Magnetfeldsensor 20 im Wesentlichen gleich verteilt vorliegen.
Weiterhin ist der Diamantkristall 21 mit einem Offset-Magnetfeld beaufschlagt, um eine Referenz einer Magnetfeldrichtung zu definieren. Im Ergebnis erhält man abhängig von einer Kristallorientierung eine Verringerung der Fluoreszenz für jede Raumrichtung an zwei verschiedenen Mikrowellenfrequenzbereichen, wobei der Abstand der Einbrüche der Fluoreszenz von der Stärke des anliegenden Magnetfelds bezüglich der entsprechenden Fehlstellenzentrenorientierung ist. Ein Verlauf der Fluoreszenzverhaltens F über einem Frequenzbereich f der Mikrowellenstrahlung bei verschiedenen magnetischen Flussdichten B ist in 4 dargestellt. Herkömmlich wird von einem Diamantkristall ausgegangen bei dem die Fehlstellenzentrenorientierungen gleichverteilt sind.
Für einen Diamantkristall mit vier verschiedenen Ausrichtungen von Stickstoff-Fehlstellenzentren ergibt sich eine Überlagerung der optisch detektierten magnetischen Resonanz. Durch eine Signalverarbeitung, die in der Recheneinheit 14 implementiert sein kann, wird es ermöglicht, in jedem der Magnetfeldsensoren 12 einen Magnetfeldvektor der magnetischen Flussdichte B zu einem vorgegebenen Zeitpunkt zu ermitteln. Zeitlich aufeinanderfolgende Magnetfeldvektoren werden nun mithilfe der Magnetfeldsensoren 12 über einen bestimmten Zeitraum aufgezeichnet und in der Recheneinheit 14 zwischengespeichert. Die Erfassungsrate für die aufeinanderfolgend erfassten Magnetfeldvektoren kann zwischen 100 µs und 50 ms betragen.
Die zeitlichen Verläufe der Magnetfeldvektoren können nun in der Recheneinheit 14 mithilfe eines trainierbaren datengetriebenen Klassifikators, insbesondere in Form eines klassifizierenden tiefen neuronalen Netzes, klassifiziert werden. Dazu können die zeitlichen Verläufe der Magnetfeldvektoren als Eingangsvektor für das tiefe neuronale Netz genutzt werden.
Ein künstliches tiefes neuronales Netz kann in an sich bekannter Weise eine Anzahl von Neuronen aufweisen, die in mehreren aufeinanderfolgenden Schichten angeordnet sind. Die Neuronen entsprechen Funktionen, die durch Netzparameter parametriert sind. Die Netzparameter können Bias-Größen und Gewichtungen für die einzelnen Eingänge erhalten. In der Regel erhält jedes Neuron einer nachfolgenden Schicht die Ausgangswerte der Funktionen der Neuronen der vorangehenden Schicht, gewichtet und summiert diese und wendet eine wählbare Aktivierungsfunktion an, um den Neuronenausgangswert zu erhalten.
Zur Verwendung für das Eingabesystem 1 kann das tiefe neuronale Netz nun so trainiert werden, dass räumliche und zeitliche Muster in den Magnetfeldvektoren erkannt werden und diese klassifiziert werden, um diese bestimmten Instruktionen bzw. Steuersignalen zuzuordnen. Beim Anlegen eines Eingangsgrößenvektors, der in vorbestimmter Weise die zeitlichen Abfolgen der Magnetfeldvektoren aller Magnetfeldsensoren 12 umfasst, können dann die Steuersignale S bzw. die Instruktionen bestimmt werden, die dann übermittelt werden, um das technische Gerät 2 zu steuern.
Das tiefe neuronale Netz kann durch die über einen bestimmten Zeitraum zurückliegenden Verläufe von Magnetfeldvektoren als Eingangsgrößenvektoren und eine gewünschte entsprechende Instruktion (Label) in an sich bekannter Weise trainiert, insbesondere mithilfe eines Backpropagation-Verfahrens. Beim Training werden die Eingangsgrößenvektoren an das tiefe neuronale Netz angelegt und mithilfe einer Loss-Funktion basierend auf dem Unterschied zwischen der Ausgangsgröße des tiefen neuronalen Netzes und des zu trainierenden Labels die Netzparameter des neuronalen Netzes trainiert. Als Sample werden dabei die Verläufe der Magnetfeldvektoren aller Magnetfeldsensoren 12 über einen identischen Zeitraum verwendet.
Beim Training kann beispielsweise eine Testreihe genutzt werden, die die zeitlichen Verläufe der Magnetfeldvektoren sowie eine diskrete Zeitreihe von semantisch relevanten Ausgaben, wie z. B. einen Knopfdruck, eine Steuerung eines Mauszeigers, eines Bewegens eines künstlichen Körperglieds, die entsprechenden Ausgangsgrößen zugeordnet sind, umfassen.
Dabei kann sich die Testreihe z. B. auf eine einzelne Versuchsperson oder eine Gruppe von Versuchspersonen erstrecken, wobei das trainierte tiefe neuronale Netz im Falle einer Menge von Versuchspersonen auch auf immer neue Benutzer angewendet werden kann.
Anstelle der zeitlichen Verläufe der Magnetfeldvektoren kann auch ein 3D-Modell der Stromflüsse im Inneren des Gehirns erstellt werden, die in den gemessenen Magnetfeldern resultieren und die durch eine Neuronenaktivität bewirkt werden. Das 3D-Modell stellt dann ein räumlich zeitliches Vektorfeld der Stromstärke bzw. Stromdichte der Neuronenaktivitäten dar. Das tiefe neuronale Netz kann entsprechend oben beschriebenen Vorgehensweise auch alternativ oder zusätzlich mit durch das 3D-Modell repräsentierten Eingangsgrößenvektoren trainiert und zum Generieren der Instruktion verwendet werden.
Im Folgenden wird anhand des Flussdiagramms der 5 ein Verfahren zum Betreiben des Eingabesystems näher beschrieben.
In Schritt S1 werden entsprechend die Testreihen, die bestimmten Eingabeaktionen entsprechen sollen, aufgezeichnet. Die Testreihen enthalten wie oben beschrieben die zeitlichen Verläufe der Magnetfeldvektoren der Magnetfeldsensoren 12 und/oder ein zeitlicher Verlauf eines daraus abgeleiteten 3D-Modells der Stromflüsse in den räumlichen Bereichen des Gehirns. Die Testreihen werden als gelabelte Trainingsdaten, d.h. mit der Zeitreihe zugeordneter gewünschter Instruktion, zum Training eines datengetriebenen Klassifikationsmodells verwendet.
Das datengetriebene Klassifikationsmodell kann, wie oben beschrieben, beispielsweise als tiefes neuronales Netz oder Ähnliches ausgebildet sein. Das Klassifikationsmodell ϕ(·, θ) nutzt die Verläufe der Magnetfeldvektoren B_i,k (i Index für die Raumrichtungen, k Index für die zeitliche Abfolge der Erfassungszeitpunkte) als Eingangsgrößenvektor und ist über die Netzparameter θ parametriert. Die Eingangsgrößen können alternativ anstelle der Magnetfeldvektoren B_i auch eine Rekonstruktion von V_k als das räumlich-zeitliche Vektorfeld der Stromflüsse, die aus den zeitlichen Verläufen der Flussdichten B_i,k gebildet werden, verwenden.
In Schritt S2 wird das Klassifikationsmodell trainiert. Das Training erfolgt basierend auf der aus dem bestehenden aktuellen Trainingszustand sich ergebenden Ausgangsgröße und dem Label bzw. der entsprechenden Instruktion. Die Loss-Funktion lautet ℓ (y, ϕ(x ,θ), wobei x einem Eingangsgrößenvektor entspricht
Eine Eigenschaft von diamantbasierten Magnetfeldsensoren ist, dass diese ein bekanntes Rauschverhalten aufweisen. Das Rauschverhalten derartiger Magnetfeldsensoren ist auf das Photonen-Schrotrauschen beschränkt. Die Standardabweichung des Rauschens der magnetischen Flussdichte B_i(t) entspricht: $σ_{i} (t) = N F \cdot \frac{Δ ν_{i}}{γ_{e}} \cdot \frac{1}{c_{i}} \cdot \frac{1}{\sqrt{R (t) \cdot τ}}$
wobei NF einen numerischen Faktor, der von der Form der Resonanz abhängt und aus einem zuvor gemessenen Spektrum abgeleitet werden kann, bezeichnet und in der Regel zwischen 0,7 und 1 beträgt. Δν_i entspricht der Linienbreite der Resonanz, die mit der Richtung und Position des Sensors verknüpft ist. c_i entspricht dem relativen Kontrast der Resonanz, die mit der Richtung und Position verknüpft ist. τ ist die Integrationszeit. γ_e entspricht dem gyromagnetischen Verhältnis des NV-Zentrums und beträgt ungefähr 28024 MHz/T.R(t) entspricht der detektierten Photonenrate in Hertz. Diese kann aus Kenntnis der Verstärkung des Photodetektors 25 basierend auf dem Photodetektorsignal abgeleitet werden mit R(t) = V/ (Q * G * Ephoton), wobei V der Ausgangsspannung des Photodetektors in Volt, Q der (gemittelten) Responsitivität des Photodetektors in in A / W für den relevanten Wellenlängenbereich, G der Transimpedanzverstärkung des Photodetektors in V / A und Ephoton der (gemittelten) Photonenenergie in J für den relevanten Wellenlängenbereich der detektierten Fluoreszenz entsprechen.
Da das Wissen über das Rauschverhalten der Magnetfeldsensoren bekannt ist, kann dieses in der Loss-Funktion berücksichtigt werden wie folgt: $l (x; θ) = min_{{‖ x^{*} - x ‖}_{2 \leq σ}} l_{0} (y, ϕ (x^{*}, θ))$
wobei x* einem Eingangsgrößenvektor entspricht, der im Rahmen jeder der Magnetfeldvektoren zugeordneten Standardabweichung variiert ist, so dass der Verlust bezüglich des gewünschten Klassifizierungsergebnisses minimiert ist. Basierend auf dem so angepassten Eingangsgrößenvektor x* wird nun das Training des Klassifikators durch Bestimmen der Netzparameter θ durchgeführt.
Mit anderen Worten, es werden zum Training des Klassifikationsmodells nicht die gemessenen Magnetfeldvektoren verwendet, sondern derjenige Magnetfeldvektor innerhalb der Standardabweichung verwendet, der innerhalb eines Abstands einer oder eines sonstigen vorgebbaren Vielfachen der Standardabweichung von dem tatsächlichen gemessenen Magnetfeldvektor liegt und durch den Loss, d. h. der Unterschied zu dem zu trainierenden Label als Ausgangsgröße minimal ist.
In Schritt S3 kann das Eingabesystem 1 verwendet werden, basierend auf dem trainierten Klassifikationsmodell. Dazu wird für jede mögliche Ausgangsgröße entsprechend der Klassifikation der Klassen j = 1, ..., n zunächst berechnet $x_{k} = \underset{{‖ x^{*} - x ‖}_{2 \leq σ}}{argmin} l_{0} (j, ϕ (x^{*}, θ))$
Die Vorhersage $j^{*} = \underset{j = 1, \dots, n}{argmin} l_{0} (j, ϕ (x^{*}, θ))$
wird nun an das technische Gerät 2 weitergeleitet, um dieses entsprechend der gemessenen Gehirnaktivität zu steuern.
Mithilfe der Instruktion kann eine Datenverarbeitungseinrichtung als technisches Gerät 2 gesteuert werden. Die Datenverarbeitungseinrichtung kann eine Anzeige aufweisen, die einem Benutzer eine Eingabe- und/oder Auswahlmöglichkeit zur Verfügung stellt. Die Steuerung durch das Eingabesystem 1 kann beispielsweise in Form einer Auswahl aus einem angezeigten Auswahlmenü, einer Zeicheneingabe oder einer Bewegung eines Cursors oder eines Mauszeigers auf der Anzeige der Datenverarbeitungseinrichtung erfolgen.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Nicht-Patentliteratur

Taylor, J. M., „High-sensitivity diamond magnetometer with nanoscale resolution“, Nature Physic, 4, Seiten 810-816, doi:10.1038/nphys 1075 [0005]
Wolf, T. et al., „Subpicotesla Diamond Magnetometry“, Physical Review X, 5(4),041001 [0005]

Claims

Verfahren zum Betreiben eines Eingabesystems (1) mithilfe einer einer Neuronenaktivität zugeordneten Instruktion, mit folgenden Schritten: - Zeitgleiches Erfassen (S1) von Verläufen von Magnetfeldern an verschiedenen Positionen nahe eines Kopfes (K) eines Benutzers, um für einen Zeitraum mehrere zeitliche Abfolgen von Magnetfeldvektoren zu erhalten, die jeweils ein Maß eines Magnetfelds an den verschiedenen Positionen an dem Kopf (K) zu einem jeweiligen Erfassungszeitpunkt angeben; - Generieren eines Eingangsgrößenvektors aus den zeitlichen Abfolgen von Magnetfeldvektoren; - Bereitstellen (S2) eines datengetriebenen Klassifikationsmodells, das trainiert ist, um einem Eingangsgrößenvektor eine Instruktion zuzuordnen; - Ermitteln (S3) einer den zeitlichen Abfolgen von Magnetfeldvektoren zugeordneten Instruktion mithilfe des Klassifikationsmodells.
Verfahren nach Anspruch 1, wobei der Eingangsgrößenvektor die einzelnen Magnetfeldkomponenten der Magnetfeldvektoren zu den Erfassungszeitpunkten beinhaltet.
Verfahren nach Anspruch 1 oder 2, wobei der Eingangsgrößenvektor eines 3D-Modells zeitliche Verläufe von Stromflüssen und/oder Stromdichten innerhalb des Gehirns beinhaltet, das basierend auf den zeitlichen Verläufen der Magnetfeldvektoren erstellt wird.
Verfahren nach einem der Ansprüche 1 bis 3, wobei das Klassifikationsmodell ein tiefes neuronales Netz umfasst.
Verfahren nach einem der Ansprüche 1 bis 4, wobei das Klassifikationsmodell mit Eingangsgrößenvektoren und zugeordneten Labels trainiert ist, wobei die Labels die zu trainierenden Instruktionen angeben, die dem jeweiligen Eingangsgrößenvektor zugeordnet sind.
Verfahren nach Anspruch 5, wobei das Klassifikationsmodell abhängig von den Toleranzen der Magnetfeldvektoren trainiert ist/wird.
Verfahren nach Anspruch 6, wobei die Magnetfeldvektoren mithilfe von diamantbasierten Magnetfeldsensoren (12) erfasst werden, wobei die Toleranzen der Magnetfeldvektoren durch eine durch ein Photonenschrotrauschen bestimmtes Rauschverhalten bestimmt werden.
Verfahren nach Anspruch 6 oder 7, wobei die Toleranzen der Magnetfeldvektoren berücksichtigt werden, indem das Klassifikationsmodell basierend auf angepassten Eingangsgrößenvektoren trainiert wird, wobei die Eingangsgrößenvektoren innerhalb der Toleranzen der Magnetfeldvektoren so angepasst werden, dass der Loss, insbesondere ein Unterschied, zu dem zugeordneten Label minimiert wird.
Verfahren nach einem der Ansprüche 1 bis 8, wobei die in dem Eingabesystem (1) generierte Instruktion zum Steuern eines technischen Geräts (2) verwendet wird.
Verfahren nach Anspruch 9, wobei die in dem Eingabesystem generierte Instruktion eine Auswahl aus einem angezeigten Auswahlmenü, eine Zeicheneingabe oder einer Bewegung eines Cursors oder eines Mauszeigers auf einer Anzeige einer Datenverarbeitungseinrichtung ermöglicht.
Eingabesystem zum Steuern eines technischen Geräts mithilfe einer einer Neuronenaktivität zugeordneten Instruktion, umfassend: - eine Sensoranordnung (11), die ausgebildet ist, um Verläufe von Magnetfeldern an verschiedenen Positionen nahe eines Kopfes (K) eines Benutzers zeitgleich zu erfassen, um für einen Zeitraum mehrere zeitliche Abfolgen von Magnetfeldvektoren zu erhalten, die jeweils ein Maß eines Magnetfelds an den verschiedenen Positionen an dem Kopf (K) zu einem jeweiligen Erfassungszeitpunkt angeben; - eine Recheneinheit (14), die ausgebildet ist, ◯ um einen Eingangsgrößenvektor aus den zeitlichen Abfolgen von Magnetfeldvektoren zu generieren; ◯ um einer den zeitlichen Abfolgen von Magnetfeldvektoren zugeordnete Instruktion mithilfe eines datengetriebenen Klassifikationsmodells zu ermitteln, das trainiert ist, um einem Eingangsgrößenvektor eine entsprechende Instruktion zuzuordnen.
Computerprogramm mit Programmcodemitteln, das dazu eingerichtet ist, ein Verfahren nach einem der Ansprüche 1 bis 10 auszuführen, wenn das Computerprogramm auf einer Recheneinheit (14) ausgeführt wird.
Maschinenlesbares Speichermedium mit einem darauf gespeicherten Computerprogramm nach Anspruch 12.