DE112020007589T5

DE112020007589T5 - Bestimmung von merkmalen aus biometrischen signalen

Info

Publication number: DE112020007589T5
Application number: DE112020007589.3T
Authority: DE
Inventors: Jishang Wei; Rafael Ballagas
Original assignee: Hewlett Packard Development Co LP
Current assignee: Hewlett Packard Development Co LP
Priority date: 2020-09-08
Filing date: 2020-09-08
Publication date: 2023-09-14
Also published as: WO2022055474A1; US20230274186A1; CN116097198A

Abstract

Ein Beispielsystem umfasst eine Mehrzahl von biometrischen Sensoren. Das System umfasst ebenfalls eine erste Klassifizierermaschine, um eine erste latente Raumdarstellung eines ersten Signals aus einem ersten biometrischen Sensor von der Mehrzahl von biometrischen Sensoren herzustellen. Das System umfasst eine zweite Klassifizierermaschine, um eine zweite latente Raumdarstellung eines zweiten Signals aus einem zweiten biometrischen Sensor der Mehrzahl von biometrischen Sensoren herzustellen. Das System umfasst eine Aufmerksamkeitsmaschine, um die erste latente Raumdarstellung und die zweite latente Raumdarstellung basierend auf einer Korrelation zwischen latenten Raumdarstellungen zu gewichten. Das System umfasst eine finale Klassifizierermaschine, um ein Merkmal eines Benutzers basierend auf der gewichteten ersten und zweiten latenten Raumdarstellung zu bestimmen.

Description

HINTERGRUND
Ein System kann biometrische Signale eines Benutzers messen. Beispielsweise kann das System ein am Kopf getragenes Display umfassen, das eine Virtuelle-Realität-(VR, Virtual Reality)-Erfahrung, eine Erhöhte-Realität-(AR, Augmented Reality)-Erfahrung, eine Gemischte-Realität-(MR)-Erfahrung oder dergleichen herstellen kann. VR, AR und MR können gemeinsam als erweiterte Realität (XR, Extended Reality) bezeichnet werden. Das System kann außerdem Steuerungen, Haptisches-Feedback-Vorrichtungen oder dergleichen umfassen. Das System kann biometrische Signale von dem Benutzer messen. Beispielsweise können das am Kopf getragene Display, die Steuerung oder die Haptisches-Feedback-Vorrichtungen die biometrischen Signale messen.
KURZBESCHREIBUNG DER ZEICHNUNGEN

1 ist ein Blockdiagramm eines Beispielsystems, um Merkmale aus biometrischen Signalen zu bestimmen.
2 ist ein Blockdiagramm eines weiteren Beispielsystems, um Merkmale aus biometrischen Signalen zu bestimmen.
3 ist ein Flussdiagramm eines Beispielverfahrens, um Merkmale aus biometrischen Signalen zu bestimmen.
4 ist ein Flussdiagramm eines weiteren Beispielverfahrens, um Merkmale aus biometrischen Signalen zu bestimmen.
5 ist ein Blockdiagramm eines beispielhaften computerlesbaren Mediums, das Anweisungen umfasst, die einen Prozessor dazu veranlassen, Merkmale aus biometrischen Signalen zu bestimmen.
6 ist ein Blockdiagramm eines weiteren beispielhaften computerlesbaren Mediums, das Anweisungen umfasst, die einen Prozessor dazu veranlassen, Merkmale aus biometrischen Signalen zu bestimmen.

DETAILLIERTE BESCHREIBUNG
Ein System, beispielsweise ein XR-System, kann verschiedene biometrische Signale messen. Die biometrischen Signale können beispielsweise ein Herzfrequenzsignal (z. B. ein Photoplethysmographie-(PPG)-Signal, ein Elektrokardiogramm-(EKG)-Signal etc.), ein Galvanische-Hautreaktion-Signal, ein Pupillometrie-Signal, ein Blickerfassungssignal, ein Elektromyographie-(EMG)-Signal, ein Atemfrequenzsignal, ein Blutdrucksignal oder dergleichen sein. Die verschiedenen Signale können auf einen Zustand eines Benutzers schließen lassen. Das System kann anhand des Zustands des Benutzers eine Benutzererfahrung anpassen. Beispielsweise kann das System eine kognitive Beanspruchung (ist der Benutzer gelangweilt, überfordert etc.) eines Benutzers erkennen und die Erfahrung anpassen, um eine ideale kognitive Beanspruchung herzustellen. Das System kann den Grad der Veränderungsblindheit des Benutzers erkennen und basierend darauf, dass die Veränderungsblindheit einen Grenzwert überschreitet, eine Szene abändern.
Ein System, das mehrere biometrische Signale empfängt, kann basierend auf den mehreren Signalen eine Entscheidung über den Zustand des Benutzers treffen. Beispielweise kann das System die Signale fusionieren, um die Entscheidung über den Zustand des Benutzers zu treffen. Es gibt verschiedene Arten und Weisen für das System, die Signale zu fusionieren. Bei einem Beispiel kann das System eine Entscheidungsstufenfusion durchführen. Um eine Entscheidungsstufenfusion durchzuführen, kann das System mehrere Entscheidungen über den Zustand des Benutzers kombinieren, die jeweils aus einem individuellen Signal getroffen werden. Beispielsweise kann jedes Signal durch ein entsprechendes neuronales Netzwerk analysiert werden, um eine Entscheidung über den Zustand eines Benutzers zu treffen. Die Entscheidungen können kombiniert werden, um eine finale Entscheidung über den Zustand des Benutzers zu treffen, beispielsweise durch Mitteln der Entscheidungen, Auswählen einer mittleren Entscheidung, Hinzuziehen einer Nachschlagetabelle oder dergleichen.
Bei einem Beispiel kann das System eine Eigenschaftsstufenfusion durchführen. Um eine Eigenschaftsstufenfusion durchzuführen, kann das System jedes Signal in einen Eigenschaftsvektor umwandeln und die Eigenschaftsvektoren kombinieren. Das System kann basierend auf den kombinierten Eigenschaftsvektoren eine Entscheidung treffen. Beispielsweise kann ein einzelnes neuronales Netzwerk basierend auf den kombinierten Eigenschaftsvektoren eine Entscheidung über den Zustand des Benutzers treffen. Die Eigenschaftsvektoren für die verschiedenen Signale können verkettet sein und der verkettete Vektor kann als ein Eingang in das neuronale Netzwerk verwendet werden.
Eine Verwendung der Entscheidungsstufenfusion und der Eigenschaftsstufenfusion können jeweils Nachteile mit sich bringen. Beim Durchführen der Entscheidungsstufenfusion können Informationen über Korrelationen zwischen den Signalen verloren gehen, da die finalen Entscheidungen möglicherweise ohne zusätzliche Informationen über die Signale fusioniert werden und da die Signale ansonsten separat verarbeitet werden. Dementsprechend ist die finale Entscheidung möglicherweise nicht so genau, wie sie sein könnte, wenn die Korrelationen und Beziehungen zwischen den Signalen berücksichtigt würden. Beim Durchführen der Eigenschaftsstufenfusion sind Entscheidungen möglicherweise nicht robust gegenüber Signalverlust. Wenn ein Signal offline geht oder eine vorübergehende Störung erfährt, so ist das neuronale Netzwerk möglicherweise nicht in der Lage, eine genaue Entscheidung in Bezug auf den Zustand des Benutzers zu treffen. Beispielsweise können eine Bewegung, Blinzeln etc. des Benutzers Messungen durch biometrische Sensoren stören. Die biometrischen Sensoren können möglicherweise häufig genug erfahren, dass die Entscheidungsfehler die Benutzererfahrung beeinträchtigen können. Dementsprechend können Entscheidungen über den Benutzerzustand verbessert werden, indem für Entscheidungen gesorgt wird, die die Korrelationen und Beziehungen zwischen bzw. unter mehreren Signalen beeinflussen und gleichzeitig gegenüber dem Verlust von individuellen Signalen robust sind.
1 ist ein Blockdiagramm eines Beispielsystems 100, um Merkmale aus biometrischen Signalen zu bestimmen. Das System 100 kann eine Mehrzahl von biometrischen Sensoren umfassen, einschließlich eines ersten biometrischen Sensors 101 und eines zweiten biometrischen Sensors 102. Wie hierin verwendet, bezieht sich der „biometrische Sensor“ auf einen Sensor, der ein Merkmal eines biologischen Wesens, beispielsweise eines Menschen, misst, das sich basierend auf freiwilligen oder unfreiwilligen biologischen Funktionen des biologischen Wesens verändert. Bei manchen Beispielen kann der erste biometrische Sensor 101 ein erstes Merkmal eines Benutzers des Systems 100 messen und der zweite biometrische Sensor 102 kann ein zweites Merkmal des Benutzers messen, das sich von dem ersten unterscheidet.
Das System 100 kann eine erste Klassifizierermaschine 110 und eine zweite Klassifizierermaschine 120 umfassen. Wie hierin verwendet, bezieht sich der Begriff „Maschine“ (bzw. Engine) auf Hardware (z. B. einen analogen oder digitalen Schaltkreis, einen Prozessor, beispielsweise eine integrierte Schaltung oder einen anderen Schaltkreis) oder eine Kombination von Software (z. B. eine Programmierung wie etwa maschinen- oder prozessorausführbare Anweisungen, Befehle, oder Code wie etwa Firmware, ein Gerätetreiber, eine Programmierung, Objektcode etc.) und Hardware. Hardware umfasst ein Hardware-Element ohne Software-Elemente, beispielsweise eine anwendungsspezifische integrierte Schaltung (ASIC, Application Specific Integrated Circuit), ein feldprogrammierbares GatterArray (FPGA, Field Programmable Gate Array), etc. Eine Kombination von Hardware und Software umfasst Software, die an einer Hardware gehostet ist (z. B. ein Software-Modul, das an einem prozessorlesbaren Speicher wie etwa einem Direktzugriffsspeicher (RAM, Random Access Memory), einem Festplatten- oder Festkörperlaufwerk, einem Widerstandsspeicher oder einem optischen Medium, beispielsweise einer DVD, gespeichert ist und/oder durch einen Prozessor ausgeführt oder interpretiert wird) oder Hardware und Software, die an einer Hardware gehostet sind. Die erste Klassifizierermaschine 110 kann eine erste latente Raumpräsentation eines ersten Signals von dem ersten biometrischen Sensor herstellen. Die zweite Klassifizierermaschine kann eine zweite latente Raumdarstellung eines zweiten Signals von dem zweiten biometrischen Sensor herstellen. Wie hierin verwendet, bezieht sich der Begriff „latente Raumdarstellung“ auf eine multidimensionale Repräsentation eines Signals in einem multidimensionalen Raum. Die latente Raumdarstellung kann einen Eigenschaftsvektor umfassen, der auf Eigenschaften in dem Signal schließen lässt, und kann eine komprimierte Repräsentation des Signals sein. Die erste oder zweite Klassifizierermaschine kann jeweils ein maschinelles Lernmodell wie etwa ein neuronales Netzwerk umfassen, um die erste oder zweite latente Raumdarstellung zu erzeugen.
Das System 100 kann auch eine Aufmerksamkeitsmaschine 130 umfassen, um basierend auf einer Korrelation zwischen latenten Raumdarstellungen die erste latente Raumdarstellung und die zweite latente Raumdarstellung zu gewichten. Beispielsweise kann die Aufmerksamkeitsmaschine eine Gewichtung für jede latente Raumdarstellung in Übereinstimmung damit berechnen, wie stark jene latente Raumdarstellung mit anderen latenten Raumdarstellungen korreliert ist. Die Aufmerksamkeitsmaschine 130 kann die berechnete Gewichtung für eine bestimmte latente Raumdarstellung auf jene latente Raumdarstellung anwenden.
Das System kann eine finale Klassifizierermaschine 140 umfassen. Die finale Klassifizierermaschine 140 kann basierend auf den gewichteten ersten und zweiten latenten Raumdarstellungen ein Merkmal eines Benutzers bestimmen. Beispielsweise kann die finale Klassifizierermaschine 140 ein Maschinelles-Lernen-Modell wie etwa ein neuronales Netzwerk umfassen, um das Merkmal zu bestimmen. Das maschinelle Lernmodell kann möglicherweise trainiert worden sein, um basierend auf den gewichteten latenten Raumdarstellungen das Merkmal zu bestimmen.
2 ist ein Blockdiagramm eines weiteren Beispielsystems 200, um Merkmale aus biometrischen Signalen zu bestimmen. Das System 200 kann eine Mehrzahl von biometrischen Sensoren umfassen, einschließlich eines ersten biometrischen Sensors 201, eines zweiten biometrischen Sensors 202, eines dritten biometrischen Sensors 203 und eines vierten biometrischen Sensors 204. Die Sensoren 201-204 können Sensoren in einem Headset, in Steuereinrichtungen, in Bekleidung, in einem Rucksack oder dergleichen sein, die von einem Benutzer des Systems getragen oder gehalten werden. Die Sensoren 201-204 können verschiedene Merkmale des Benutzers messen. Jeder Sensor 201-204 kann ein Signal erzeugen, z. B. ein Herzfrequenzsignal (z. B. ein Photoplethysmographie (PPG)-Signal, ein Elektrokardiogramm (EKG)-Signal etc.), ein Galvanische-Hautreaktion-Signal, ein Pupillometrie-Signal, ein Blickerfassungssignal, ein Elektromyographie-(EMG)-Signal, ein Atemfrequenzsignal, ein Blutdrucksignal oder dergleichen.
Das System 200 kann außerdem eine Mehrzahl von Vorverarbeitungsmaschinen umfassen, einschließlich einer ersten Vorverarbeitungsmaschine 211, einer zweiten Vorverarbeitungsmaschine 212, einer dritten Vorverarbeitungsmaschine 213 und einer vierten Vorverarbeitungsmaschine 214. Die Vorverarbeitungsmaschinen 211-214 können jedes Signal in eine Zeitfolge umwandeln. Die Vorverarbeitungsmaschinen 211-214 können die Signale vorbereiten, so dass Eigenschaften aus diesen extrahiert werden können. Beispielsweise können die Vorverarbeitungsmaschinen 211-214 Rauschen aus dem Signal entfernen, das Signal trendbereinigen oder dergleichen. Die Vorverarbeitungsmaschinen 211-214 können die nicht-stationären Signale verarbeiten, um zu bewirken, dass sie den stationären Signalen stärker ähneln. Die Art der Vorverarbeitung kann von dem jeweiligen Signal abhängen.
Das System 200 kann eine Mehrzahl von Eigenschaftsextrahierungsmaschinen 221-224, einschließlich einer ersten Eigenschaftsextrahierungsmaschine 221, einer zweiten Eigenschaftsextrahierungsmaschine 222, einer dritten Eigenschaftsextrahierungsmaschine 223 und einer vierten Eigenschaftsextrahierungsmaschine 224 umfassen. Jede Eigenschaftsextrahierungsmaschine 221-224 kann einen Eigenschaftsvektor auf der Basis des vorverarbeiteten Signals von der entsprechenden Vorverarbeitungsmaschine 211-214 erzeugen. Beispielsweise kann die Eigenschaftsextrahierungsmaschine 221-224 einen Eigenschaftsvektor auf der Basis einer Zeitabfolge bestimmen, die von der Vorverarbeitungsmaschine 211-214 erzeugt wird. Verschiedene Aspekte des vorverarbeiteten Signals können in Abhängigkeit von dem jeweiligen Signal als Eigenschaften verwendet werden. Beispielweise können die Eigenschaften einen Mittelwert, eine Variation oder dergleichen umfassen. Die Eigenschaftsextrahierungsmaschine 221-224 kann das Signal in die Häufigkeitsdomäne umwandeln und Häufigkeitsdomäneninformationen umfassen. Für ein domänenspezifisches Signal kann die Eigenschaftsextrahierungsmaschine 221-224 einen aussagekräftigen Wert für die Anwendung berechnen. Beispielsweise kann die Eigenschaftsextrahierungsmaschine 221-224 eine Lidschlussfrequenz basierend auf einem Blickverfolgungs- oder Pupillometrie-Signal berechnen.
Das System 200 kann eine Mehrzahl von Klassifizierermaschinen 231-233 umfassen, um die Eigenschaftsvektoren von den Eigenschaftsextrahierungsmaschinen 221-224 zu empfangen und latente Raumdarstellungen basierend auf den Eigenschaftsvektoren zu erzeugen. Bei manchen Beispielen sind die Klassifizierermaschinen 231-233 möglicherweise trainiert worden, um ein Merkmal des Benutzers unabhängig von den anderen Klassifizierermaschinen 231-233 und unabhängig von der Aufmerksamkeitsmaschine 240 und der finalen Klassifizierermaschine 250 zu identifizieren. Die Klassifizierermaschinen 231-233 können maschinelle Lernmodelle, beispielsweise neuronale Netzwerke, umfassen, die trainiert sind, um die Merkmale des Benutzers basierend auf Beispielen von verschiedenen Signal-/Eigenschaftsvektoren, die jedem Merkmal entsprechen, zu identifizieren. Die Ausgabe von jeder Klassifizierermaschine 231-233 kann ein Vektor von weichen Bestimmungen sein. Wie hierin verwendet, bezieht sich der Begriff „weiche Bestimmungen“ (bzw. soft determinations) auf Werte, die angeben, wie wahrscheinlich es ist, dass jede Bestimmung wahr ist. Beispielsweise kann der Vektor ein Softmax-Vektor sein, bei dem jeder Wert in dem Vektor die Wahrscheinlichkeit angibt, dass der Benutzer das Merkmal entsprechend dem Wert aufweist. Das bedeutet, dass die latente Raumdarstellung ein Vektor von Softmax-Werten sein kann.
Wie bei dem Beispiel von 2 zu sehen ist, können die Klassifizierermaschinen die latente Raumdarstellung auf der Basis eines Eigenschaftsvektors, der einem einzelnen Sensor (beispielsweise den ersten und zweiten Klassifizierermaschinen 231-232) zugeordnet ist, oder auf der Basis eines Eigenschaftsvektors, der mehreren Sensoren (beispielsweise der dritten Klassifizierermaschine 233) zugeordnet ist, erzeugen. Die dritte und vierte Eigenschaftsextrahierungsmaschine 223, 224 können jeweils dritte und vierte Eigenschaftsvektoren erzeugen. Die dritten und vierten Eigenschaftsvektoren können verkettet sein und die dritte Klassifizierermaschine 233 kann eine dritte latente Raumdarstellung basierend auf der Verkettung der dritten und vierten Eigenschaftsvektoren erzeugen. Andere Variationen werden in Betracht gezogen, beispielsweise ein Eigenschaftsvektor, der mehreren Klassifizierermaschinen (mit oder ohne Verkettung mit anderen Eigenschaftsvektoren) zur Verfügung gestellt wird, oder eine Erzeugung von mehreren verschiedenen Eigenschaftsvektoren aus einem einzelnen Sensor, die einem einzelnen Klassifizierer oder mehreren Klassifizierern zur Verfügung gestellt werden können.
Das System 200 kann eine Aufmerksamkeitsmaschine 240 umfassen. Die Aufmerksamkeitsmaschine 240 kann die ersten, zweiten und dritten latenten Raumdarstellungen von den Klassifizierermaschinen 231-233 empfangen. Die Aufmerksamkeitsmaschine 240 kann die ersten, zweiten und dritten latenten Raumdarstellungen basierend auf Korrelationen zwischen den latenten Raumdarstellungen gewichten. Beispielsweise kann eine erste latente Raumdarstellung, die stärker mit anderen latenten Raumdarstellungen korreliert, stärker gewichtet sein als ein zweiter latenter Raumvektor, der nicht so stark mit anderen latenten Raumvektoren korreliert.
Bei manchen Beispielen kann die Aufmerksamkeitsmaschine 240 die Korrelation berechnen durch Berechnen von: $S = s o f t m a x (\frac{Q K^{T}}{\sqrt{d_{k}}})$
wobei Q und K Matrizen sind, die durch Stapeln der Ausgabe der latenten Raumdarstellungen aus den Klassifizierermaschinen 231-233 gebildet sind, d_k die Länge der latenten Raumdarstellungen ist und softmax die Softmax-Funktion ist, die die Verteilung der Eingabe normalisiert. Die Aufmerksamkeitsmaschine 240 kann die latenten Raumdarstellungen gewichten durch Berechnen von: $G e w i c h t e t e l a t e n t e R a u m d a r s t e l l u n g e n = S * V$
wobei V eine Matrix ist, die durch Stapeln der Ausgabe der latenten Raumdarstellungen aus den Klassifizierermaschinen 231-233 gebildet ist. V kann gleich K sein, was gleich Q sein kann.
Die Aufmerksamkeitsmaschine 240 kann ferner die gewichteten latenten Raumdarstellungen basierend auf einem individuellen Aufmerksamkeitsmodell gewichten und kombinieren. Die Aufmerksamkeitsmaschine 240 kann die Gewichtungen berechnen, indem zunächst Folgendes berechnet wird: $h_{n} = W c'_{n} + b$
wobei c'_n die n-te gewichtete latente Raumdarstellung ist, W und b Parameter sind, die aus einem Trainingsprozess erzeugt sind, und h_n ein Skalar ist. Die Aufmerksamkeitsmaschine 240 kann die Gewichtungen indem dann Folgendes berechnet wird: $α_{1}, α_{2}, \dots, α_{n} = s o f t m a x (h_{1}, h_{2}, \dots h_{n})$
wobei α₁, α₂, ..., α_n Gewichtungen sind, die auf die gewichteten latenten Raumdarstellungen anzuwenden sind. Die Aufmerksamkeitsmaschine 240 kann die gewichteten latenten Raumdarstellungen gewichten und kombinieren, indem Folgendes berechnet wird: $c = \sum_{i = 1}^{n} α_{i} c'_{i}$
wobei c die latente Raumdarstellung ist, die aus dem Gewichten und Kombinieren hervorgeht.
Das System 200 kann eine finale Klassifizierermaschine 250 umfassen. Die finale Klassifizierermaschine 250 kann ein Merkmal eines Benutzers basierend auf den gewichteten latenten Raumdarstellungen bestimmen. Die finale Klassifizierermaschine 250 kann die Ausgabe der latenten Raumdarstellung von der Aufmerksamkeitsmaschine empfangen (z. B. die oben berechnete latente Raumdarstellung c) und eine finale Klassifikation aus der Ausgabe berechnen. Beispielsweise kann die finale Klassifizierermaschine 250 ein neuronales Netzwerk sein, das eine einzelne, lineare Kombinationsschicht umfasst und eine Softmax-Ausgabe herstellt. Die Ausgabe aus dem finalen Klassifizierer 250 kann ein Vektor sein, wobei jeder Wert in dem Vektor einem möglichen Zustand des Merkmals des Benutzers entspricht. Jeder Wert kann die Wahrscheinlichkeit angeben, dass sich das Merkmal des Benutzers in jenem Zustand befindet. Die finale Klassifizierermaschine 250 kann das Merkmal des Benutzers bestimmen, indem bestimmt wird, welcher Vektorwert der größte ist, und der Zustand ausgewählt wird, der jenem Vektorwert entspricht.
Bei Beispielen kann das Merkmal des Benutzers ein mentaler Zustand des Benutzers (z. B. eine kognitive Beanspruchung, eine Wahrnehmungsbeanspruchung etc.), ein emotionaler Zustand des Benutzers, ein körperlicher Zustand des Benutzers oder dergleichen sein. Damit ein System eine kognitive Beanspruchung oder eine Wahrnehmungsbeanspruchung bestimmt, können die möglichen Zustände des Merkmals eine hohe Beanspruchung, eine mittlere und eine niedrige Beanspruchung sein oder können mehr oder weniger mögliche Zustände umfassen. Für einen emotionalen Zustand des Benutzers können mögliche Zustände eine ausgewählte Reihe von Gefühlen (z. B. glücklich, traurig, ärgerlich, ängstlich gelangweilt etc.) umfassen. Die körperlichen Zustände können Gesundheitszustände, körperliche Anstrengung, körperliche Erschöpfung, Müdigkeit, Stress etc. umfassen. Beispielsweise kann das System trainiert sein, bestimmte ungünstige Gesundheitszustände zu erkennen. Körperliche Anstrengung, körperliche Erschöpfung, Müdigkeit, Stress etc. können in einer vorbestimmten Anzahl von Behältern, wie etwa hoch, mittel und niedrig oder dergleichen, gruppiert sein.
Das System 200 kann ein am Kopf getragenes Display 260 umfassen. Das System 200 kann eine Audio- oder Video-Ausgabe durch das am Kopf getragene Display 260 basierend auf dem bestimmten Merkmal des Benutzers abändern. Wenn beispielsweise eine kognitive Beanspruchung zu hoch ist, kann das System 200 die Audioinhalte oder die Videoinhalte abändern, um eine kognitive Beanspruchung zu reduzieren, z. B. durch Reduzieren der Anzahl oder Intensität von Reizen in den Audioinhalten bzw. Videoinhalten. Wenn dagegen die kognitive Beanspruchung zu niedrig ist, kann das System 200 die Audioinhalte oder die Videoinhalte abändern, um die kognitive Beanspruchung zu erhöhen. In ähnlicher Weise kann das System 200 dann, wenn sich der Benutzer in einem unerwünschten emotionalen oder körperlichen Zustand befindet, die Audioinhalte oder die Videoinhalte auf eine Weise abändern, die erwartungsgemäß bewirkt, dass der Benutzer den gewünschten emotionalen oder körperlichen Zustand erreicht. Die Audioinhalte oder die Videoinhalte können durch das am Kopf getragene Display 260 oder durch eine separate Maschine, die die Audioinhalte oder die Videoinhalte zum Rendern durch das am Kopf getragene Display erzeugt, abgeändert werden. Das am Kopf getragene Display 260 kann Display-Elemente, um dem Benutzer modifizierte Videoinhalte zu liefern, oder Kopfhörer oder Lautsprecher umfassen, um dem Benutzer modifizierte Audioinhalte zu liefern.
Das System 200 führt eine Entscheidungsstufenfusion durch, aber das System 200 berücksichtigt auch die Korrelationen zwischen den Signalen unter Verwendung der Aufmerksamkeitsmaschine 240. Dementsprechend ist das System 200 in der Lage, die Vorteile der Entscheidungsstufenfusion zu nutzen und gleichzeitig die Nachteile zu mindern. Das System 200 ist robust gegen Signalverlust und gleichzeitig in der Lage, die Korrelationen und Beziehungen zwischen den Signalen zu berücksichtigen, um ein genaueres Ergebnis herzustellen.
3 ist ein Flussdiagramm eines Beispielverfahrens 300, um Merkmale aus geometrischen Signalen zu bestimmen. Ein Prozessor kann Elemente des Verfahrens 300 durchführen. Zur Veranschaulichung ist das Verfahren 300 in Verbindung mit der Vorrichtung von 2 beschrieben. Jedoch können andere Vorrichtungen das Verfahren bei anderen Beispielen durchführen. Bei Block 302 kann das Verfahren 300 ein Messen eines ersten biometrischen Signals und eines zweiten biometrischen Signals von einem Benutzer eines am Kopf getragenen Displays umfassen. Beispielsweise können der erste und zweite Sensor 201, 202 das erste und zweite biometrische Signal auf eine der vorhergehend erläuterten Arten messen.
Block 304 kann ein Erzeugen einer ersten latenten Raumdarstellung basierend auf dem ersten biometrischen Signal umfassen und Block 306 kann ein Erzeugen einer zweiten latenten Raumdarstellung basierend auf dem zweiten biometrischen Signal umfassen. Beispielsweise kann die erste Klassifizierermaschine 231 die erste latente Raumdarstellung basierend auf dem ersten biometrischen Signal aus dem ersten Sensor 201 auf eine der vorhergehend erläuterten Arten erzeugen. Die zweite Klassifizierermaschine 232 kann die zweite latente Raumdarstellung basierend auf dem zweiten biometrischen Signal aus dem zweiten Sensor 202 auf eine der vorhergehend erläuterten Arten erzeugen.
Bei Block 308 kann das Verfahren 300 ein Gewichten der ersten latenten Raumdarstellung und der zweiten latenten Raumdarstellung basierend auf Korrelationen zwischen latenten Raumdarstellungen umfassen. Beispielsweise kann die Aufmerksamkeitsmaschine 240 Korrelationen zwischen den latenten Raumdarstellungen auf eine der zuvor erläuterten Arten berechnen. Ebenfalls kann die Aufmerksamkeitsmaschine 240 die Gewichtungen auf eine der zuvor erläuterten Arten auf die erste und zweite latente Raumdarstellung anwenden.
Block 310 kann ein Bestimmen eines Merkmals des Benutzers basierend auf der gewichteten ersten und zweiten Raumdarstellung umfassen. Beispielsweise kann die finale Klassifizierermaschine 250 das Merkmal des Benutzers basierend auf der gewichteten ersten und zweiten latenten Raumdarstellung auf eine der zuvor erläuterten Arten bestimmen. Das Merkmal kann eines der Merkmale sein, die zuvor erläutert wurden.
Bei Block 312 kann das Verfahren 300 ein Modifizieren eines Audio- oder Videoinhalts basierend auf dem bestimmten Merkmal umfassen. Beispielsweise kann das am Kopf getragene Display 260 oder eine separate Rendering-Maschine den Audio- oder Videoinhalt basierend auf dem bestimmten Merkmal auf eine der zuvor erläuterten Arten modifizieren.
Block 314 umfasst ein Liefern von modifiziertem Audio- oder Videoinhalt an den Benutzer des am Kopf getragenen Displays. Beispielsweise kann das am Kopf getragene Display 260 den modifizierten Audio- oder Videoinhalt auf eine der zuvor erläuterten Arten an den Benutzer liefern.
4 ist ein Flussdiagramm eines weiteren Beispielverfahrens 400, um Merkmale aus biometrischen Signalen zu bestimmen. Ein Prozessor kann Elemente des Verfahrens 400 durchführen. Zur Veranschaulichung ist das Verfahren 400 in Verbindung mit der Vorrichtung von 2 beschrieben. Jedoch können andere Vorrichtungen das Verfahren bei anderen Beispielen durchführen. Block 402 kann ein Trainieren eines ersten Klassifizierers umfassen, um das Merkmal basierend auf dem ersten biometrischen Signal zu bestimmen, und Block 404 kann ein Trainieren eines zweiten Klassifizierers umfassen, um das Merkmal basierend auf dem zweiten biometrischen Signal zu bestimmen. Beispielsweise können der erste und zweite Klassifizierer mit einem gekennzeichneten Trainingssatz trainiert werden, der eine Mehrzahl von Beispielsignalen und den Zustand des Merkmals umfasst, der jedem Beispielsignal zugeordnet ist. Bei manchen Beispielen können der erste und zweite Klassifizierer neuronale Netzwerke sein und Klassifizierungsfehler können durch die neuronalen Netzwerke zurückgeführt werden, um die Gewichtungen der neuronalen Netzwerke anzupassen. Bei manchen Beispielen können eine Trainingsmaschine und eine zweite Trainingsmaschine jeweils den ersten und zweiten Klassifizierer trainieren.
Bei Block 406 kann das Verfahren 400 ein Messen eines ersten biometrischen Signals und eines zweiten biometrischen Signals von einem Benutzer eines am Kopf getragenen Displayumfassen. Beispielsweise können der erste und zweite Sensor 201, 202 das erste und zweite biometrische Signal auf eine der zuvor erläuterten Arten messen. Eine Vorverarbeitungs- und eine Eigenschaftsextraktion können an dem ersten und zweiten biometrischen Signal auf eine der zuvor erläuterten Arten durchgeführt werden.
Block 408 kann ein Erzeugen einer ersten latenten Raumdarstellung basierend auf dem ersten biometrischen Signal umfassen und Block 410 kann ein Erzeugen einer zweiten latenten Raumdarstellung basierend auf dem zweiten biometrischen Signal umfassen. Beispielsweise kann die erste Klassifizierermaschine 231 die erste latente Raumdarstellung basierend auf dem ersten biometrischen Signal unter Verwendung des ersten Klassifizierers auf eine der zuvor erläuterten Arten erzeugen und die zweite Klassifizierermaschine 232 kann die zweite latente Raumdarstellung basierend auf dem zweiten biometrischen Signal unter Verwendung des zweiten Klassifizierers auf eine der zuvor erläuterten Arten erzeugen. Der erste und zweite Klassifizierer können Softmax-Funktionen umfassen, um die erste und zweite latente Raumdarstellung herzustellen.
Bei Block 412 kann das Verfahren 400 ein Berechnen der Korrelation zwischen der ersten latenten Raumdarstellung und der zweiten latenten Raumdarstellung umfassen. Beispielsweise kann die Aufmerksamkeitsmaschine 240 die Korrelation zwischen der ersten latenten Raumdarstellung und der zweiten latenten Raumdarstellung und etwaigen zusätzlichen latenten Raumdarstellungen auf eine der zuvor erläuterten Arten berechnen. Block 414 kann ein Gewichten der ersten latenten Raumdarstellung und der zweiten latenten Raumdarstellung basierend auf der Korrelation zwischen latenten Raumdarstellungen umfassen. Beispielsweise kann die Aufmerksamkeitsmaschine 240 die erste latente Raumdarstellung und die zweite latente Raumdarstellung basierend auf der Korrelation zwischen latenten Raumdarstellungen auf eine der zuvor erläuterten Arten gewichten.
Bei Block 416 kann das Verfahren 400 ein Bestimmen einer kognitiven Beanspruchung des Benutzers basierend auf der gewichteten ersten und zweiten latenten Raumdarstellung umfassen. Beispielsweise kann die kognitive Beanspruchung das Merkmal des Benutzers sein, das bestimmt wird, und die finale Klassifizierermaschine 250 kann das Merkmal auf eine der zuvor erläuterten Arten bestimmen.
Block 418 kann ein Modifizieren eines Audio- oder Videoinhalts umfassen, um eine Zunahme oder Abnahme der kognitiven Beanspruchung des Benutzers hin zu einer vorbestimmten kognitiven Beanspruchung herbeizuführen. Das am Kopf getragene Display 260 oder eine separate Rendering-Maschine kann den Audio- oder Videoinhaltmodifizieren, um die Zunahme oder Abnahme der kognitiven Beanspruchung des Benutzers hin zu der vorbestimmten kognitiven Beanspruchung auf eine der zuvor erläuterten Arten herbeizuführen. Bei Block 420 kann das Verfahren 400 ein Liefern des modifizierten Audio- oder Videoinhalts an den Benutzer des am Kopf getragenen Display 260 umfassen. Beispielsweise kann das am Kopf getragene Display 260 den modifizierten Audio- oder Videoinhalt an den Benutzer auf eine der zuvor erläuterten Arten liefern.
5 ist ein Blockdiagramm eines beispielhaften computerlesbaren Mediums 500, das Anweisungen umfasst, die, wenn sie von einem Prozessor 502 ausgeführt werden, den Prozessor 502 veranlassen, Merkmale aus biometrischen Signalen zu bestimmen. Das computerlesbare Medium 500 kann ein nicht-transitorisches computerlesbares Medium wie etwa ein flüchtiges computerlesbares Medium (z. B. ein flüchtiger Arbeitsspeicher (RAM, Random Access Memory), ein Prozessor-Cache, ein Prozessor-Register etc.), ein nichtflüchtiges computerlesbares Medium (z. B. ein Magnetspeichergerät, ein optisches Speichergerät, ein Papierspeichergerät, ein Flash-Speicher, ein Nur-Lese-Speicher, ein nichtflüchtiger Direktzugriffsspeicher (RAM, Random Access Memory) etc.) oder dergleichen sein. Der Prozessor 502 kann ein Universalprozessor oder eine Speziallogikeinrichtung wie etwa ein Mikroprozessor (z. B. eine zentrale Verarbeitungseinheit, eine Grafikprozessoreinheit etc.), ein digitaler Signalprozessor, ein Mikrocontroller, eine anwendungsspezifische integrierte Schaltung (ASIC, Application Specific Integrated Circuit), ein feldprogrammierbares Gatterarray (FPGA, Field Programmable Gate Array), ein programmierbarer Logikbaustein (PAL, Programmable Array Logic), ein programmierbares logisches Array (PLA, Programmable Logic Array), ein programmierbares Logikgerät (PLD, Programmable Logic Device) etc. sein.
Das computerlesbare Medium kann ein erstes Darstellungsmodul 510, ein zweites Darstellungsmodul 520, ein drittes Darstellungsmodul 530, ein Korrelationsmodul 540, ein Gewichtungsmodul 550 und ein Merkmalsbestimmungsmodul 560 umfassen. Wie hierin verwendet, ist ein „Modul“ (bei manchen Beispielen als „Softwaremodul“ bezeichnet) eine Reihe von Anweisungen, die, wenn sie von einem Prozessor ausgeführt oder interpretiert werden oder in einem Prozessor-lesbaren Medium gespeichert sind, eine Komponente realisiert oder ein Verfahren durchführt. Das erste Darstellungsmodul 510 kann Anweisungen umfassen, die, wenn sie ausgeführt werden, den Prozessor 502 veranlassen, eine erste latente Raumdarstellung zu erzeugen, die ein Merkmal eines Benutzers basierend auf einem ersten Signal aus einem ersten biometrischen Sensor angibt. Das zweite Darstellungsmodul 520 kann den Prozessor 502 veranlassen, eine zweite latente Raumdarstellung zu erzeugen, die das Merkmal eines Benutzers basierend auf einem zweiten Signal aus einem zweiten biometrischen Sensor angibt. Das dritte Darstellungsmodul 530 kann den Prozessor 502 veranlassen, eine dritte latente Raumdarstellung zu erzeugen, die das Merkmal eines Benutzers basierend auf einem dritten Signal aus einem dritten biometrischen Sensor angibt. Bei manchen Beispielen können das erste, zweite und dritte Repräsentationsmodul 510, 520, 530 bei Ausführung die erste, zweite und dritte Klassifizierermaschine 231, 232, 233 implementieren, und können die latenten Raumdarstellungen, die das Merkmal des Benutzers basierend auf den Signalen aus den biometrischen Sensoren auf eine der zuvor erläuterten Arten angeben, erzeugen.
Das Korrelationsmodul 540 kann den Prozessor 502 veranlassen, Korrelationen zwischen der ersten, zweiten und dritten weichen latenten Raumdarstellung zu berechnen. Das Gewichtungsmodul 550 kann den Prozessor 502 veranlassen, jede der ersten, zweiten und dritten latenten Raumdarstellungen basierend auf den Korrelationen jener latenten Raumdarstellung mit anderen latenten Raumdarstellungen zu gewichten. Beispielsweise können das Korrelationsmodul 540 und das Gewichtungsmodul 550 bei Ausführung die Aufmerksamkeitsmaschine 240 implementieren. Das Korrelationsmodul 540 kann den Prozessor 502 veranlassen, die Korrelationen zwischen der ersten, zweiten und dritten weichen latenten Raumdarstellung auf eine der zuvor erläuterten Arten zu berechnen, und das Gewichtungsmodul 550 kann den Prozessor 502 veranlassen, jede der ersten, zweiten und dritten latenten Raumdarstellung basierend auf den Korrelationen von jener latenten Raumdarstellung mit den anderen latenten Raumdarstellungen auf jede der zuvor erläuterten Arten zu gewichten.
Das Merkmalsbestimmungsmodul 560 kann den Prozessor 502 veranlassen, das Merkmal eines Benutzers basierend auf der gewichteten ersten, zweiten und dritten latenten Raumdarstellung zu bestimmen. Bei manchen Beispielen kann das Merkmalsbestimmungsmodul 560 bei Ausführung die finale Klassifizierermaschine 250 implementieren und kann das Merkmal des Benutzers basierend auf der gewichteten ersten, zweiten und dritten latenten Raumdarstellung auf eine der zuvor erläuterten Arten bestimmen.
6 ist ein Blockdiagramm eines weiteren beispielhaften computerlesbaren Mediums 600, das Anweisungen umfasst, die, wenn sie von einem Prozessor 602 ausgeführt werden, den Prozessor 602 veranlassen, Merkmale aus biometrischen Signalen zu bestimmen. Das computerlesbare Medium 600 kann ein erstes Klassifikationsmodul 610, ein zweites Klassifikationsmodul 620, ein drittes Klassifikationsmodul 630, ein Korrelationsmodul 640, ein Skalierungsmodul 642, ein Gewichtungsmodul 650 und ein finales Klassifikationsmodul 660 umfassen. Das erste Darstellungsmodul 610 kann Anweisungen umfassen, die, wenn sie ausgeführt werden, den Prozessor 602 veranlassen, eine erste latente Raumdarstellung zu erzeugen, die ein Merkmal eines Benutzers basierend auf einem ersten Signal aus einem ersten biometrischen Sensor angibt. Das zweite Darstellungsmodul 620 kann den Prozessor 602 veranlassen, eine zweite latente Raumdarstellung zu erzeugen, die das Merkmal eines Benutzers basierend auf einem zweiten Signal aus einem zweiten biometrischen Sensor angibt. Das dritte Darstellungsmodul 630 kann den Prozessor 602 veranlassen, eine dritte latente Raumdarstellung zu erzeugen, die das Merkmal eines Benutzers basierend auf einem dritten Signal aus einem dritten biometrischen Sensor angibt. Bei manchen Beispielen können das erste, zweite und dritte Darstellungsmodul 610, 620, 630 bei Ausführung die erste, zweite und dritte Klassifizierermaschine 231, 232, 233 implementieren und können die latenten Raumdarstellungen, die das Merkmal des Benutzers angeben, basierend auf den Signalen aus den biometrischen Sensoren auf eine der zuvor erläuterten Arten erzeugen. Die erste, zweite oder dritte latente Raumdarstellung können weiche Bestimmungen sein, die jeweils durch den ersten, zweiten oder dritten Klassifizierer basierend auf dem ersten, zweiten oder dritten Signal berechnet werden.
Das Korrelationsmodul 640 kann den Prozessor 602 veranlassen, Korrelationen zwischen der ersten, zweiten und dritten weichen latenten Raumdarstellung zu berechnen. Beispielsweise kann das Korrelationsmodul 640 den Prozessor 602 veranlassen, die erste, zweite und dritte latente Raumdarstellung zu stapeln, um eine Matrix zu bilden und die Matrix mit ihrer Transponierten zu multiplizieren, um eine Korrelationsmatrix herzustellen. Das Korrelationsmodul 640 kann ein Skalierungsmodul 642 umfassen. Das Skalierungsmodul 642 kann den Prozessor 602 veranlassen, die Korrelationsmatrix zu skalieren, um eine skalierte Korrelationsmatrix herzustellen. Das Korrelationsmodul 640 und das Skalierungsmodul 642 können bei Ausführung die Aufmerksamkeitsmaschine 240 implementieren und können die erste, zweite und dritte latente Raumdarstellung stapeln, um die Matrix zu bilden, die Matrix mit ihrer Transponierten multiplizieren, um die Korrelationsmatrix herzustellen, und die Korrelationsmatrix skalieren, um die skalierte Korrelationsmatrix auf eine der zuvor erläuterten Arten herzustellen.
Das Gewichtungsmodul 650 kann den Prozessor 602 veranlassen, jede der ersten, zweiten und dritten latenten Raumdarstellung basierend auf den Korrelationen jener latenten Raumdarstellung mit den anderen latenten Raumdarstellungen zu gewichten. Beispielsweise kann das Gewichtungsmodul 650 den Prozessor 602 veranlassen, die skalierte Korrelationsmatrix mit der Matrix zu multiplizieren, die durch Stapeln der latenten Raumdarstellungen gebildet ist. Das Gewichtungsmodul 650 kann den Prozessor ebenfalls veranlassen, jede der gewichteten ersten, zweiten und dritten Raumdarstellungen basierend auf Werten jener Darstellung weiter zu gewichten. Bei manchen Beispielen kann das Gewichtungsmodul 650 bei Ausführung die Aufmerksamkeitsmaschine 240 implementieren und kann die skalierte Korrelationsmatrix mit der Matrix multiplizieren, die durch das Stapeln der latenten Raumdarstellungen gebildet ist, und jede der gewichteten ersten, zweiten und dritten latenten Raumdarstellung basierend auf Werten jener Darstellung auf eine der zuvor erläuterten Arten weiter gewichten.
Das finale Klassifikationsmodul 660 kann den Prozessor 602 veranlassen, das Merkmal eines Benutzers basierend auf der gewichteten ersten, zweiten und dritten latenten Raumdarstellung zu bestimmen. Beispielsweise kann das finale Klassifikationsmodul 660 den Prozessor 602 veranlassen, das Merkmal basierend auf der weiter gewichteten ersten, zweiten und dritten latenten Raumdarstellung zu bestimmen. Bei manchen Beispielen kann das finale Klassifikationsmodul 660 bei Ausführung die finale Klassifizierermaschine 250 implementieren und kann das Merkmal basierend auf der nochmalig gewichteten ersten, zweiten und dritten latenten Raumdarstellung auf eine der zuvor erläuterten Arten bestimmen.
Die obige Beschreibung ist beispielhaft für verschiedene Prinzipien und Implementierungen der vorliegenden Offenbarung. Zahlreiche Variationen und Modifikationen der hierin erläuterten Beispiele sind vorgesehen. Dementsprechend sollte der Umfang der vorliegenden Anwendung nur anhand der folgenden Patentansprüche bestimmt werden.

Claims

Ein System, das folgende Merkmale aufweist: eine Mehrzahl von biometrischen Sensoren; eine erste Klassifizierermaschine, um eine erste latente Raumdarstellung eines ersten Signals aus einem ersten biometrischen Sensor der Mehrzahl von biometrischen Sensoren herzustellen; eine zweite Klassifizierermaschine, um eine zweite latente Raumdarstellung eines zweiten Signals aus einem zweiten biometrischen Sensor der Mehrzahl von biometrischen Sensoren herzustellen; eine Aufmerksamkeitsmaschine, um die erste latente Raumdarstellung und die zweite latente Raumdarstellung basierend auf einer Korrelation zwischen latenten Raumdarstellungen zu gewichten; und eine finale Klassifizierermaschine, um ein Merkmal eines Benutzers basierend auf der gewichteten ersten und zweiten latenten Raumdarstellung zu bestimmen.
Das System gemäß Anspruch 1, bei dem die Aufmerksamkeitsmaschine dazu dient, eine erste Gewichtung auf die erste latente Raumdarstellung anzuwenden, wobei die erste Gewichtung größer als die zweite Gewichtung ist, die auf die zweite latente Raumdarstellung angewendet wird, basierend darauf, dass die erste latente Raumdarstellung stärker mit anderen latenten Raumdarstellungen korreliert als die zweite latente Raumdarstellung.
Das System gemäß Anspruch 1, das ferner eine Vorverarbeitungsmaschine, um das erste Signal in eine erste Zeitreihe umzuwandeln, und eine Eigenschaftsextrahierungsmaschine aufweist, um einen ersten Eigenschaftsvektor basierend auf der ersten Zeitreihe zu bestimmen.
Das System gemäß Anspruch 1, das ferner eine dritte Klassifizierermaschine umfasst, um einen dritten Eigenschaftsvektor aus einem dritten biometrischen Sensor mit einem vierten Eigenschaftsvektor aus einem vierten biometrischen Sensor zu verketten und eine dritte latente Raumdarstellung basierend auf der Verkettung des dritten Eigenschaftsvektors und des vierten Eigenschaftsvektors herzustellen, wobei die Aufmerksamkeitsmaschine dazu dient, die dritte latente Raumdarstellung zu gewichten, und wobei die finale Klassifizierermaschine dazu dient, das Merkmal basierend auf der gewichteten dritten latenten Raumdarstellung zu bestimmen.
Das System gemäß Anspruch 1, das ferner ein am Kopf getragenes Display aufweist, wobei das System dazu dient, eine Audio- oder Videoausgabe von dem am Kopf getragenen Display basierend auf dem bestimmten Merkmal des Benutzers abzuändern.
Ein Verfahren, das folgende Schritte aufweist: Messen eines ersten biometrischen Signals und eines zweiten biometrischen Signals eines Benutzers eines am Kopf getragenen Displays; Erzeugen einer ersten latenten Raumdarstellung basierend auf dem ersten biometrischen Signal; Erzeugen einer zweiten latenten Raumdarstellung basierend auf dem zweiten biometrischen Signal; Gewichten der ersten latenten Raumdarstellung und der zweiten latenten Raumdarstellung basierend auf Korrelationen zwischen latenten Raumdarstellungen; Bestimmen eines Merkmals des Benutzers basierend auf der gewichteten ersten und zweiten latenten Raumdarstellung; Modifizieren eines Audio- oder Videoinhalts basierend auf dem bestimmten Merkmal; und Zuführen des modifizierten Audio- oder Videoinhalts an den Benutzer des am Kopf getragenen Displays.
Das Verfahren gemäß Anspruch 6, das ferner ein Trainieren eines ersten Klassifizierers aufweist, um das Merkmal basierend auf dem ersten biometrischen Signal zu bestimmen, und ein Trainieren eines zweiten Klassifizierers, um das Merkmal basierend auf dem zweiten biometrischen Signal zu bestimmen, aufweist, wobei das Erzeugen der ersten latenten Raumdarstellung ein Erzeugen der ersten latenten Raumdarstellung unter Verwendung des ersten Klassifizierers aufweist, und wobei das Erzeugen der zweiten latenten Raumdarstellung ein Erzeugen der zweiten latenten Raumdarstellung unter Verwendung des zweiten Klassifizierers aufweist.
Das Verfahren gemäß Anspruch 7, bei dem der erste und zweite Klassifizierer Softmax-Funktionen umfassen, um die erste und zweite latente Raumdarstellung herzustellen, und wobei das Verfahren ferner ein Berechnen der Korrelation zwischen der ersten latenten Raumdarstellung und der zweiten latenten Raumdarstellung aufweist.
Das Verfahren gemäß Anspruch 6, bei dem das Bestimmen des Merkmals des Benutzers ein Bestimmen einer kognitiven Beanspruchung des Benutzers umfasst.
Das Verfahren gemäß Anspruch 9, bei dem das Modifizieren des Audio- oder Videoinhalts ein Modifizieren des Audio- oder Videoinhalts aufweist, um eine Zunahme oder Abnahme der kognitiven Beanspruchung des Benutzers hin zu einer vorbestimmten kognitiven Beanspruchung herbeizuführen.
Ein nicht-transitorisches computerlesbares Medium, das Anweisungen aufweist, die, wenn sie von einem Prozessor ausgeführt werden, den Prozessor zu Folgendem veranlassen: Erzeugen einer ersten latenten Raumdarstellung, die ein Merkmal eines Benutzers angibt, basierend auf einem ersten Signal von einem ersten biometrischen Sensor; Erzeugen einer zweiten latenten Raumdarstellung, die das Merkmal eines Benutzers angibt, basierend auf einem zweiten Signal von einem zweiten biometrischen Sensor; Erzeugen einer dritten latenten Raumdarstellung, die das Merkmal eines Benutzers angibt, basierend auf einem dritten Signal von einem dritten biometrischen Sensor; Berechnen von Korrelationen zwischen der ersten, zweiten und dritten weichen latenten Raumdarstellung; Gewichten jeder der ersten, zweiten und dritten latenten Raumdarstellung basierend auf den Korrelationen von jener latenten Raumdarstellung mit den anderen latenten Raumdarstellungen; und Bestimmen des Merkmals eines Benutzers basierend auf der gewichteten ersten, zweiten und dritten latenten Raumdarstellung.
Das computerlesbare Medium gemäß Anspruch 11, bei dem die Anweisungen, die Korrelationen zu berechnen, Anweisungen umfassen, die den Prozessor veranlassen, die erste, zweite und dritte latente Raumdarstellung zu stapeln, um eine Matrix zu bilden, die Matrix mit ihrer Transponierten zu multiplizieren, um eine Korrelationsmatrix herzustellen, und die Korrelationsmatrix zu skalieren, um eine skalierte Korrelationsmatrix herzustellen.
Das computerlesbare Medium gemäß Anspruch 11, bei dem die Anweisungen, jede der ersten, zweiten und dritten latenten Raumdarstellung zu gewichten, Anweisungen umfassen, die den Prozessor veranlassen, die skalierte Korrelationsmatrix mit der Matrix zu multiplizieren.
Das computerlesbare Medium gemäß Anspruch 11, bei dem die erste latente Raumdarstellung eine weiche Bestimmung ist, die durch einen Klassifizierer basierend auf dem ersten Signal berechnet wird.
Das computerlesbare Medium gemäß Anspruch 11, das ferner Anweisungen aufweist, jede der gewichteten ersten, zweiten und dritten latenten Raumdarstellung basierend auf Werten jener Darstellung weiter zu gewichten, wobei die Anweisungen, das Merkmal zu bestimmen, Anweisungen aufweisen, die den Prozessor veranlassen, das Merkmal basierend auf der weiter gewichteten ersten, zweiten und dritten latenten Raumdarstellung zu bestimmen.