DE102016110902A1

DE102016110902A1 - Head-Mounted-Devices zur Erfassung thermischer Messwerte

Info

Publication number: DE102016110902A1
Application number: DE102016110902.9A
Authority: DE
Inventors: Arie Tzvieli; Ari M. Frank; Gil Thieberger
Original assignee: Facense Ltd
Current assignee: Facense Ltd
Priority date: 2015-06-14
Filing date: 2016-06-14
Publication date: 2016-12-15
Also published as: US9867546B2; US20160363483A1; US10376153B2; US10165949B2; DE102016110903A1; US20190029528A1; US20160360970A1

Abstract

Wearable-Geräte zur Erfassung symmetrischer thermischer Messwerte. Ein Gerät umfasst eine erste und eine zweite Wärmekamera, die physikalisch mit einem Gestell verbunden sind, das am Kopf eines Benutzers getragen wird. Die erste Wärmekamera erfasst thermische Messwerte einer ersten interessierenden Region (Region of Interest, ROI), die zumindest einen Teil der rechten Seite der Stirn des Benutzers umfasst. Die zweite Wärmekamera erfasst thermische Messwerte einer zweiten ROI, die zumindest einen Teil der linken Seite der Stirn des Benutzers umfasst. Wobei die erste und die zweite Wärmekamera sich nicht in physikalischem Kontakt mit ihrer jeweiligen ROI befinden und die Wärmekameras aufgrund ihrer Verbindung mit dem Gestell auf ihre jeweilige ROI gerichtet bleiben, wenn der Kopf des Benutzers winkelförmige Bewegungen macht.

Description

TECHNISCHES GEBIET
Dieser Patentantrag betrifft am Kopf befestigte Wearable-Geräte (Head-Mounted-Devices), die Wärmekameras zur Erfassung thermischer Messwerte umfassen.
STAND DER TECHNIK
Viele physiologische Reaktionen manifestieren sich als Temperaturen (und Änderungen der Temperaturen), die an verschiedenen Regionen des menschlichen Gesichts gemessen werden. Zum Beispiel können die Gesichtstemperaturen hilfreich sein, um das Maß an Stress, dem eine Person ausgesetzt sein kann, oder den Grad der Konzentration der Person zu einem bestimmten Zeitpunkt zu bestimmen. In einem anderen Beispiel können die Gesichtstemperaturen hilfreich sein, um zu bestimmen, wie sich ein Benutzer fühlt, z. B. ob ein Benutzer nervös, ruhig oder glücklich ist.
Das Monitoring und die Analyse von Gesichtstemperaturen können somit nützlich für viele Applikationen in Bezug auf Gesundheit und Lebensprotokollierung sein. Üblicherweise kann die zeitliche Erfassung solcher Daten jedoch sehr schwierig sein, wenn die Personen ihren täglichen Aktivitäten nachgehen. Üblicherweise beinhaltet die Erfassung solcher Daten die Anwendung von Wärmekameras, die unhandlich und teuer sind und ständig auf das Gesicht einer Person gerichtet sein müssen. Aufgrund der Bewegungen der Personen bei ihren täglichen Aktivitäten müssen darüber hinaus verschiedene komplexe Bildanalyseverfahren (z. B. Gesichtstracking und -registrierung) zur Erfassung der erforderlichen Messwerte durchgeführt werden.
Demzufolge besteht eine Notwendigkeit für eine Methode, die die Erfassung von Messwerten der Gesichtstemperaturen und/oder Änderungen der Gesichtstemperaturen an verschiedenen Regionen des Gesichts einer Person ermöglicht. Vorzugsweise sollten die Messwerte über einen langen Zeitraum, während dem die Person verschiedene Alltagsaktivitäten durchführen kann, erfasst werden können.
ZUSAMMENFASSUNG DER ERFINDUNG
Gemäß einer Ausführungsform umfasst ein System: eine erste und eine zweite Wärmekamera, die physikalisch mit einem Gestell verbunden sind, das dazu konfiguriert ist, am Kopf eines Benutzers getragen zu werden; die erste Wärmekamera ist dazu konfiguriert, thermische Messwerte einer ersten interessierenden Region (TH_ROI1) zu erfassen, wobei die ROI₁ zumindest einen Teil der rechten Seite der Stirn des Benutzers umfasst; und die zweite Wärmekamera ist dazu konfiguriert, thermische Messwerte einer zweiten interessierenden Region (TH_ROI2) zu erfassen, wobei die ROI₂ zumindest einen Teil der linken Seite der Stirn des Benutzers umfasst; wobei die erste und die zweite Wärmekamera sich nicht in physikalischem Kontakt mit ihrer jeweiligen interessierenden Region (Region of Interest, ROI) befinden, die Überschneidung zwischen der ROI₁ und ROI₂ kleiner als 80 % des kleinsten Bereichs aus der Menge der Bereiche von ROI₁ und ROI₂ ist und die Wärmekameras aufgrund ihrer Verbindung mit dem Gestell auf ihre jeweilige ROI gerichtet bleiben, wenn der Kopf des Benutzers winkelförmige Bewegungen macht.
Gemäß einer anderen Ausführungsform umfasst ein System: eine erste und eine zweite Wärmekamera, die physikalisch mit einem Gestell verbunden sind, das dazu konfiguriert ist, am Kopf eines Benutzers getragen zu werden; die erste Wärmekamera ist dazu konfiguriert, thermische Messwerte einer ersten interessierenden Region (TH_ROI1) zu erfassen, wobei die ROI₁ zumindest einen Teil des Stirnasts der rechten oberflächlichen Schläfenarterie des Benutzers umfasst; und die zweite Wärmekamera ist dazu konfiguriert, thermische Messwerte einer zweiten interessierenden Region (TH_ROI2) zu erfassen, wobei die ROI₂ zumindest einen Teil des Stirnasts der linken oberflächlichen Schläfenarterie des Benutzers umfasst; wobei die erste und die zweite Wärmekamera sich nicht in physikalischem Kontakt mit ihrer jeweiligen ROI befinden und die Wärmekameras aufgrund ihrer Verbindung mit dem Gestell auf ihre jeweilige ROI gerichtet bleiben, wenn der Kopf des Benutzers winkelförmige Bewegungen macht.
Gemäß einer weiteren Ausführungsform umfasst ein System: eine erste und eine zweite Wärmekamera, die physikalisch mit einem Gestell verbunden sind, das dazu konfiguriert ist, am Kopf eines Benutzers getragen zu werden; die erste Wärmekamera ist dazu konfiguriert, thermische Messwerte einer ersten interessierenden Region (TH_ROI1) zu erfassen, wobei die ROI₁ zumindest einen Teil der rechten oberflächlichen Schläfenarterie des Benutzers umfasst; und die zweite Wärmekamera ist dazu konfiguriert, thermische Messwerte einer zweiten interessierenden Region (TH_ROI2) zu erfassen, wobei die ROI₂ zumindest einen Teil der linken oberflächlichen Schläfenarterie des Benutzers umfasst; wobei die erste und die zweite Wärmekamera sich nicht in physikalischem Kontakt mit ihrer jeweiligen ROI befinden und die Wärmekameras aufgrund ihrer Verbindung mit dem Gestell auf ihre jeweilige ROI gerichtet bleiben, wenn der Kopf des Benutzers winkelförmige Bewegungen macht.
Gemäß noch einer weiteren Ausführungsform umfasst ein Wearable-System, das zur Erfassung thermischer Messwerte konfiguriert ist, die die Erkennung einer physiologischen Reaktion ermöglichen: ein Gestell, das dazu konfiguriert ist, am Kopf eines Benutzers getragen zu werden; eine erste und eine zweite Wärmekamera, die physikalisch mit dem Gestell an Stellen verbunden sind, die sich rechts und links von der das Gesicht des Benutzers in die rechte beziehungsweise linke Seite unterteilenden Symmetrieachse und weniger als 15 cm von der rechten beziehungsweise linken Pupille des Benutzers entfernt befinden; die erste Wärmekamera ist dazu konfiguriert, thermische Messwerte einer ersten interessierenden Region (TH_ROI1) zu erfassen, wobei die ROI₁ zumindest einen Teil der rechten Seite der Stirn des Benutzers umfasst; die zweite Wärmekamera ist dazu konfiguriert, thermische Messwerte einer zweiten interessierenden Region (TH_ROI2) zu erfassen, wobei die ROI₂ zumindest einen Teil der linken Seite der Stirn des Benutzers umfasst; eine dritte und vierte Wärmekamera, die physikalisch mit dem Gestell an Stellen verbunden sind, die sich rechts beziehungsweise links von der Symmetrieachse, weniger als 15 cm von der Oberlippe des Benutzers entfernt und unterhalb der ersten und zweiten Wärmekamera befinden; die dritte Wärmekamera ist dazu konfiguriert, thermische Messwerte einer dritten ROI zu erfassen (TH_ROI3), wobei die ROI₃ zumindest einen Teil der rechten Oberlippe des Benutzers umfasst; die vierte Wärmekamera ist dazu konfiguriert, thermische Messwerte einer vierten interessierenden Region (TH_ROI4) zu erfassen, wobei die ROI₄ zumindest einen Teil der linken Oberlippe des Benutzers umfasst; wobei sich die dritte und vierte Wärmekamera außerhalb der Ausatemströme des Mundes und der Nasenlöcher befinden, und wobei sich die Wärmekameras nicht in physikalischem Kontakt mit ihrer jeweiligen ROI befinden; und das System ist dazu konfiguriert, TH_ROI1, TH_ROI2, TH_ROI3 und TH_ROI4 an einen Prozessor weiterzuleiten, der dazu konfiguriert ist, die physiologische Reaktion zu erkennen.
Gemäß noch einer weiteren Ausführungsform umfasst ein System, das zur Erfassung von thermischen Messwerten und Messwerten sichtbaren Lichts des Gesichts eines Benutzers aus ortsfesten relativen Positionen konfiguriert ist: ein Gestell, das dazu konfiguriert ist, am Kopf des Benutzers getragen zu werden; eine erste Wärmekamera, eine zweite Wärmekamera und eine Kamera für sichtbares Licht, die physikalisch mit dem Gestell verbunden sind; die erste Wärmekamera ist dazu konfiguriert, thermische Messwerte einer ersten interessierenden Region (TH_ROI) zu erfassen, wobei die ROI₁ zumindest einen Teil des Bereichs um die Augen des Benutzers umfasst; die zweite Wärmekamera ist dazu konfiguriert, thermische Messwerte einer zweiten interessierenden Region (TH_ROI2) zu erfassen, wobei die ROI₂ zumindest einen Teil der Oberlippe des Benutzers umfasst; und die Kamera für sichtbares Licht ist dazu konfiguriert, Bilder einer dritten interessierenden Region zu erfassen (IM_ROI3), wobei die ROI₃ zumindest einen Teil des Gesichts des Benutzers umfasst; wobei die Wärmekameras und die Kamera für sichtbares Licht eine ortsfeste Positionierung relativ zueinander und relativ zu ihrer jeweiligen ROI beibehalten, wenn der Kopf des Benutzers winkelförmige Bewegungen macht.
KURZE BESCHREIBUNG DER ZEICHNUNGEN
Die Ausführungsformen werden hierin lediglich beispielshalber mit Bezug auf die beiliegenden Zeichnungen beschrieben. Es wird nicht versucht, die baulichen Einzelheiten der Ausführungsformen detaillierter darzustellen, als es für ein grundlegendes Verständnis der Ausführungsformen notwendig ist. In den Zeichnungen zeigen:
1, 2 und 3 verschiedene Arten von Head-Mounted-Systemen (HMS) mit daran befindlichen Kameras, wobei die gestrichelten Linien die Sichtfelder der Kameras angeben. Die Kameras können Wärmekameras und/oder Kameras für sichtbares Licht sein;
4, 5 und 6 verschiedene potenzielle Stellen, an denen die Wärmekameras so mit verschiedenen Gestellen eines Head-Mounted-Displays verbunden werden können, dass zumindest ein Teil der periorbitalen interessierenden Region (Region of Interest, ROI) im Sichtfeld einer oder mehrerer der Wärmekameras ist. Da sich die Wärmekamera in der Nähe der ROI befindet, kann sie klein und leicht sein und an vielen potenziellen Stellen in Sichtlinie zu der ROI positioniert werden;
7 die Periorbitalregion 300 und die wärmsten Regionen (301 und 302) in der Periorbitalregion;
8 eine schematische Darstellung eines Computers 400, der in der Lage ist, eine oder mehrere der hierin erörterten Ausführungsformen auszuführen; und
9, 10, 11 und 12 verschiedene Arten von Head-Mounted-Systemen mit daran befindlichen Kameras, wobei die gestrichelten Kreise und Ellipsen die interessierenden Regionen der Kameras darstellen. Die Kameras können Wärmekameras und/oder Kameras für sichtbares Licht sein.
DETAILLIERTE BESCHREIBUNG
Gemäß der Verwendungsweise hierin bezieht sich der Begriff „Wärmekamera” auf ein berührungsloses Gerät, das einen Wärmesensor umfasst, der sich für die Messung von Wellenlängen von mehr als 2500 nm eignet. Der Wärmesensor kann zur Messung der spektralen Abstrahlcharakteristiken eines schwarzen Körpers bei der Körpertemperatur des Benutzers (ca. 310 K) gemäß dem planckschen Strahlungsgesetz verwendet werden. Obgleich die Wärmekamera auch Wellenlängen unter 2500 nm messen kann, wird eine Kamera, die nahes Infrarot (wie beispielsweise 700–1200 nm) misst und sich nicht zur Messung von Wellenlängen von mehr als 2500 nm eignet, hierin als Nahinfrarotkamera bezeichnet, und gilt diese Kamera hierin nicht als eine Wärmekamera, da sie üblicherweise nicht zur effektiven Messung der Temperaturen eines schwarzen Körpers bei ca. 310 K verwendet werden kann. Eine Wärmekamera kann einen oder mehrere Sensoren enthalten, wobei jeder Sensor ein oder mehrere Sensorelemente (auch als Pixel bezeichnet) enthalten kann. Zum Beispiel kann eine Wärmekamera nur ein Sensorelement (d. h. ein Pixel, wie beispielsweise einen Thermosäulensensor oder einen pyroelektrischen Sensor) oder eine Matrix mit Tausenden oder sogar Millionen von Pixeln (wie beispielsweise einen Vektor oder eine Matrix von ungekühlten Bolometersensorelementen) enthalten. Wenn ein Temperaturerfassungsgerät eine Optik für seinen Betrieb nutzt, dann kann sich der Begriff „Wärmekamera” auf die Optik (z. B. eine oder mehrere Linsen) beziehen. Wenn ein Temperaturerfassungsgerät einen optischen Begrenzer umfasst, der den Blickwinkel einschränkt (wie beispielsweise in einer Lochkamera oder ein Thermosäulensensor innerhalb eines standardmäßigen TO-5-, TO-18- oder TO-39-Gehäuses mit einem Fenster oder ein Thermosäulensensor mit einem Feldbegrenzer aus poliertem Metall), dann kann sich der Begriff „Wärmekamera” auf den optischen Begrenzer beziehen. Ein „optischer Begrenzer” kann hierin auch als ein „Feldbegrenzer” oder als ein „Sichtfeldbegrenzer” bezeichnet werden. Optional kann der Feldbegrenzer aus einem Material mit geringem Emissionsgrad und einer geringen thermischen Masse, wie etwa Neusilber- und/oder Aluminiumfolie, bestehen.
Der Begriff „Wärmekamera” kann sich zudem auf eine an den Wärmesensor angrenzende Ausleseschaltung beziehen und des Weiteren das den Wärmesensor enthaltende Gehäuse umfassen.
Der Begriff „thermische Messwerte einer interessierenden Region (ROI)” (in der Regel als TH_ROI bezeichnet) kann sich auf mindestens einen der folgenden Messwerte beziehen: (i) „Temperaturmesswerte einer ROI” (üblicherweise als T_ROI bezeichnet), die zum Beispiel mit einem Thermosäulensensor oder einem Bolometersensor erfasst werden, die die Temperatur an der ROI messen, und (ii) „Temperaturdifferenzmesswerte einer ROI” (üblicherweise als ∆T_ROI bezeichnet), die zum Beispiel mit einem pyroelektrischen Sensor erfasst werden, der die Temperaturänderung an der ROI misst, oder die durch eine Beobachtung der Änderung der zu unterschiedlichen Zeitpunkten durch einen Thermosäulensensor oder einen Bolometersensor erfassten Messwerte bestimmt werden.
Sätze wie „die Wärmekamera berührt die ROI nicht” weisen ausdrücklich darauf hin, dass die Wärmekamera keinen Kontakt mit der Haut des Benutzers hat, was bedeutet, dass in einem normalen Betriebszustand ein Abstand von mindestens 1 mm zwischen der Wärmekamera (einschließlich ihrer Optik und ihrem Gehäuse) und der Haut des Benutzers bestehen sollte.
Der Begriff „Schaltung” ist hierin als ein elektronisches Gerät definiert, das analog und/oder digital sein kann, wie beispielsweise eines oder mehrere der folgenden elektronischen Geräte: ein Verstärker, ein Differenzverstärker, ein Filter, eine analoge und/oder digitale Logik, ein Prozessor, ein Controller, ein Computer, eine ASIC und ein FPGA.
Bekannte Systeme für die Analyse von Gesichtssignalen auf der Grundlage von Temperaturmesswerten erhalten Reihen von Wärmebildern, die sich aus Pixeln zusammensetzen, welche Messwerte der Temperatur (T) darstellen. Die Messung der Temperatur ist erforderlich, um einen Tracker laufen zu lassen und eine Bilderfassung durchzuführen, welche die Bewegungen des Benutzers in Bezug auf die Wärmekamera ausgleichen und die Bilder in eine präzise Ausrichtung für eine Analyse und einen Vergleich bringen.
In einer Ausführungsform ist eine Wärmekamera (auch als ein Wärmesensor bezeichnet) mit einem Gestell verbunden, das am Kopf eines Benutzers getragen wird. In dieser Konfiguration bewegt sich die Wärmekamera mit dem Kopf des Benutzers, wenn der Kopf seine Position und Orientierung im Raum ändert, und kann somit ein Tracker und/oder eine Bilderfassung nicht notwendig sein. Dadurch ist es möglich, die Bildverarbeitungs- und/oder Signalverarbeitungsalgorithmen in Bezug auf die Reihe der durch jedes Wärmesensorelement gemessenen Temperaturdifferenzen (∆T) auszuführen. Die Ausführung der Bildverarbeitungs-/Signalverarbeitungsalgorithmen in Bezug auf die gemessenen ∆T erhöht die Genauigkeit des Systems signifikant im Vergleich zu dem Fall, in dem ∆T aus Bildern/Signalen abgeleitet wird, die Temperaturmesswerte (T) darstellen.
Optional wird die zeitliche Temperaturänderung an der ROI (∆T_ROI) in Bezug auf einen anderen Parameter (wie beispielsweise der Reiz, gegenüber dem der Benutzer exponiert ist) und/oder andere physiologische Messwerte (wie beispielsweise EEG, Hautleitfähigkeit, Puls, Atemfrequenz und/oder Blutdruck) analysiert.
Beispiele für Thermosäulensensoren, die für zumindest einige der hierin beschriebenen Ausführungsformen nützlich sein können, umfassen Texas Instruments „TMP006B Infrared Thermopile Sensor in Chip-Scale Package”, Melexis „MLX90614 Family Single and Dual Zone Infra-Red Thermometer in TO-39”, HL-Planartechnik GmbH „TS118-3 Thermopile Sensor”, Dexter Research Center, Inc. „DX-0875 Detector”, Dexter Research Center, Inc. „Temperature Sensor Module (TSM) with ST60 Thermopile and Onboard ASIC for Amplification, Digitizing, Temperature Compensation and Calibration”. Wenn vorausgesetzt wird, dass der Sensor dauernd denselben Bereich auf dem Objekt misst, können diese Beispiele der Thermosäulensensoren Messwerte von ∆T liefern, wobei der Messfehler von ∆T häufig viel kleiner als der Messfehler von T ist. Wenn die Wärmekamera somit auch bei winkelförmigen Bewegungen des Kopfes des Benutzers auf die ROI gerichtet bleibt, ermöglicht dies, dass zumindest einige der Ausführungsformen den genaueren ∆T-Messwert zum Erkennen feiner Signale verwenden können, die anhand einer Bildverarbeitung von Temperaturmesswerten (T), die von einer Kamera erhalten werden, die nicht kontinuierlich auf die ROI gerichtet ist, nicht erkannt werden können (vorausgesetzt, dass in beiden Szenarien Sensoren mit gleichen Eigenschaften verwendet werden). In einigen Ausführungsformen können die Leistungen eines Thermosäulen- und/oder Bolometersensors durch Anwendung von Verfahren, wie beispielsweise der im US-Patent Nummer 6129673 beschriebenen Verfahren, verbessert werden.
In einigen Ausführungsformen umfasst eine Wärmekamera einen Thermosäulensensor, der dazu konfiguriert ist, Temperaturmesswerte in einer Frequenz unterhalb mindestens einer der folgenden Frequenzen zu liefern: 15 Hz, 10 Hz, 5 Hz und 1 Hz.
In einigen Ausführungsformen wird das Sichtfeld der Wärmekamera durch einen Feldbegrenzer begrenzt. Zum Beispiel kann die Wärmekamera auf einer Texas-Instruments-TMP006B-IR-Thermosäule, die einen Feldbegrenzer aus dünnem poliertem Metall verwendet, oder auf Melexis-MLX90614-IR-Thermometern in einem TO-39-Gehäuse basieren. Es ist zu beachten, dass das Gewicht der TMP006B- oder MLX90614-basierten Wärmekameras jeweils unter 2 g liegt.
Für ein besseres Verständnis einiger der offengelegten Ausführungsformen und nicht etwa, weil die folgende theoretische Erörterung für die Herstellung und/oder Anwendung der offengelegten Ausführungsformen notwendig ist, erklärt die folgende nicht ausschließliche theoretische Erörterung, warum die Genauigkeit der Messwerte der Temperaturänderung eines Objekts (∆T) im Fall von Temperatur messenden Sensoren, wie beispielsweise Thermosäulen, erwartungsgemäß häufig besser als die Genauigkeit der Messwerte der Temperatur des Objekts (T) ist. Wenn die folgende theoretische Erörterung inkorrekt ist, dann sollte sie außer Betracht gelassen werden und den Umfang der offengelegten Ausführungsformen in keiner Weise einschränken.
Ein Problem im Zusammenhang mit Thermometern besteht darin, dass die Objekttemperatur schwer messbar ist. Der exakte Output eines Sensors für die Temperatur eines bestimmten Objekts hängt von den Eigenschaften jedes einzelnen Sensorpixels ab, wobei jedes Sensorpixel desselben Sensormodells seinen spezifischen Nullpunkt, spezifische nichtlineare Koeffizienten und spezifische elektrische Eigenschaften haben kann. Wenn es sich jedoch um eine sehr geringe Änderung der Objekttemperatur handelt, wie beispielsweise von 35,7 °C zu 35,9 °C, dann hat der Nullpunkt bei der Messung der Differenz zwischen zwei Messwerten eine geringe Auswirkung und sind die nichtlinearen Effekte gering, da die Differenz selbst gering ist. Obgleich zum Beispiel die Gleichförmigkeit verschiedener Texas-Instruments-TMP006B-Infrarot-Thermosäulensensoren üblicherweise nicht gut ist, ist die Reaktion jedes einzelnen Sensors ziemlich linear und stabil, was bedeutet, dass mit einer richtigen Kalibrierung und Filterung eine Präzision der Temperaturdifferenz von 0,1 °C oder sogar besser erreicht werden kann.
Die Genauigkeit einer Matrix von Sensorpixeln wird in Bezug auf die Temperaturgenauigkeit angegeben. Zum Beispiel bedeutet eine Genauigkeit von 0,2 °C, dass jedes Pixel in der Matrix dieselbe ±0,2-Grad-Celsius-Temperatur für ein bestimmtes Objekt liefern wird. Wenn jedoch der aktuelle Messwert eines bestimmten Pixels mit seinen vorangegangenen Messwerten verglichen wird (im Gegensatz zu dem Fall, in dem der aktuelle Messwert des bestimmten Pixels mit den vorangegangenen Messwerten anderer Pixel verglichen wird), dann hat die Variabilität zwischen den Pixeln im Wesentlichen keinen Einfluss auf die Genauigkeit der von dem bestimmten Pixel erhaltenen ∆T. Beispielsweise ist die Abweichung in der Array-Gleichförmigkeit des von Sofradir-EC hergestellten Wärmebildsensors Micro80P < 1,5 %; diese hohe Array-Gleichförmigkeit kann die Genauigkeit einer von einem bestimmten Pixel erhaltenen ∆T in dem besonderen Fall, in dem das bestimmte Pixel auch dann auf die ROI gerichtet bleibt, wenn der Kopf des Benutzers winkelförmige Bewegungen macht, nicht beeinträchtigen.
Die spezifische Detektivität, als D* bezeichnet, von Bolometern und Thermosäulen hängt von der Frequenz der Bereitstellung der Temperaturmesswerte ab. In einigen Ausführungsformen besteht für ein Tracking und/oder eine Bilderfassung im Grunde keine Notwendigkeit und ist es somit möglich, die Thermosäule zur Bereitstellung von Temperaturmesswerten in Frequenzen wie beispielsweise 15 Hz, 10 Hz, 5 Hz und sogar 1Hz oder niedriger zu konfigurieren. Wie zum Beispiel in der Veröffentlichung „Dillner, U., Kessler, E., & Meyer, H. G. (2013), Figures of merit of thermoelectric and bolometric thermal radiation sensors, J. Sens. Sens. Syst, 2, 85–94” dargestellt, kann eine Thermosäule mit einer Reaktionszeit von ca. 5–10 Hz dasselbe Maß an Detektivität wie ein Bolometer erbringen. In einigen Fällen kann der Betrieb bei niedrigen Frequenzen Vorteile bieten, die nicht erreicht werden können, wenn eine Notwendigkeit zur Anwendung einer Bilderfassung und eines Trackers besteht, wodurch eine Minderung des Preises der niederfrequenten Sensoren, die angewendet werden können, möglich ist.
In einigen Ausführungsformen von Thermosäulen gibt es viele Thermoelemente, wobei eine Seite eines jeden Elements (Paars) thermisch mit einer Messmembran verbunden ist, während eine andere Seite mit dem Hauptteil des Thermometers verbunden ist. In jedem Thermoelement wird gemäß dem Seebeck-Effekt eine Spannung erzeugt, die von der Temperaturdifferenz abhängt. Wenn diese Thermoelemente in Reihe geschaltet sind, wird der Effekt um die Anzahl der beteiligten Thermoelemente vervielfacht. Für jedes Thermoelement wird die erzeugte Spannung durch die Seebeck-Formel (dV = S·dT) definiert, wobei dV die erzeugte Spannungsdifferenz, dT die Temperaturdifferenz und S ein Seebeck-Koeffizient ist, welcher ein materialabhängiger Koeffizient ist (zum Beispiel 0,5 mV/K). Da eine präzise Messung der Spannung von mehreren Mikrovolt erreichbar ist, kann diese Methode die Detektion von ∆T mit einer Auflösung von 0,01 K oder weniger ermöglichen. Da ein Thermoelement allerdings die Differenz zwischen zwei Enden und nicht die Objekttemperatur erkennt, ist es erforderlich, dass die Temperatur des Hauptteils des Thermometers mit hoher Genauigkeit bekannt ist; anderenfalls nimmt die Genauigkeit ab. Weitere Informationen über den Seebeck-Effekt und mikrobearbeitete Thermosäulen finden sich in der Veröffentlichung „Graf, A., Arndt, M., & Gerlach, G. (2007), Seebeck’s effect in micromachined thermopiles for infrared detection. A review, Proc. Estonian Acad. Sci. Eng, 13(4), 338–353”.
In einigen Ausführungsformen von Bolometern ist die Messmembran mit einem Material verbunden, das seinen Widerstand wie folgt signifikant ändert, wenn die Temperatur geändert wird: R = R0(1 + a·dT), wobei R der Widerstand bei einer gegebenen Temperatur ist und R0 und a materialabhängige Parameter sind. In einem Beispiel von Vanadiumpentoxid hängt die Empfindlichkeit in hohem Maße von der Technologie der Schichtherstellung ab und kann die Widerstandsänderung sogar 4 % pro Kelvin betragen, wobei 2 % ein typischer Wert sein kann. Da der Widerstandswert von der Temperatur abhängt, sind die Messwerte theoretisch unabhängig von der Temperatur des Hauptteils des Thermometers. In der Praxis kann es jedoch einen Wärmestrom zwischen der Messmembran und dem Hauptteil geben, was der maximalen Temperaturdifferenz eine praktische Grenze auferlegt. Darüber hinaus kann die maximale Temperaturdifferenz in sowohl positiven als auch negativen Richtungen nicht gleich sein, wobei größere Differenzen eine Erhöhung des Messfehlers verursachen.
Sowohl Bolometer als auch Thermosäulen funktionieren besser, wenn die Objekttemperatur sich in der Nähe der Detektortemperatur befindet. Die Konstanthaltung der Temperatur des Detektors ist hilfreich, um kleine Differenzen der Objekttemperatur präzise zu detektieren; in einer Ausführungsform werden die Detektoren folglich auf eine Platte platziert, die aus einem Metall mit einer hohen Wärmeleitfähigkeit, wie beispielsweise Aluminium oder Kupfer, besteht und optional Peltier-Elemente und mehrere hochpräzise Kontaktthermometer zur Temperaturregelung hat.
Die Anwendung mehrerer Detektoren anstelle eines einzelnen Detektors kann das Signalrauschen verringern und die Stabilität erhöhen. Wenn die Messelektronik eines bestimmten Sensors eine langzeitige Messwertdrift hat (die durch die On-Chip-Schaltung hinzugefügt werden kann), dann kann die Anwendung mehrerer Sensoren eine praktische Methode zum Entfernen der Drift sein, wie beispielsweise in einer kleinen temperaturstabilisierten Plattform mit mehreren Sensoren.
Die Möglichkeit zur Konstanthaltung der Temperatur des Sensors ist häufig eine Einschränkung, wenn es um die Detektion von Differenzen der Temperatur eines Objekts geht. Zumindest mit mehreren relativ kostengünstigen, handelsüblichen Sensoren wird die Temperatur mit Schritten von 0,01–0,02 °C gemessen, was bedeutet, dass sogar ein einziger Sensor in der Lage sein kann, eine ∆T von 0,04 °C oder weniger zu detektieren. Für Thermosäulensensoren ist das detektierte Signal jedoch die Differenz zwischen der Objekttemperatur und der Temperatur des Thermometergehäuses, sodass die Gehäusetemperatur mit der richtigen Genauigkeit gemessen werden muss. In einem Beispiel können solche hochpräzisen Messwerte unter Anwendung einer hochwertigen Temperaturstabilisierung der Bodenplatte des Thermometers erhalten werden, was mehrere hochpräzise Kontaktthermometer und Peltier-Elemente zur Kontrolle der Temperatur erforderlich machen kann. In einem anderen Beispiel verwendet die Wärmekamera Bolometer, die nicht so empfindlich gegenüber der Gehäusetemperatur sind und, solange die Umgebung mit Änderungen von nicht mehr als ±3 °C konstant gehalten wird, einen Betrieb bei Raumtemperatur ermöglichen.
Beispiele von pyroelektrischen Sensoren, die sich für mindestens einige der hierin beschriebenen Ausführungsformen eignen, umfassen: (i) Excelitas Technologies Analog Pyroelectric Non-Contact Sensor Series mit einem, zwei, vier oder mehr Elementen; (ii) Excelitas Technologies DigiPyro^® Digital Pyroelectric Non-Contact Sensor Series mit zwei, vier oder mehr Elementen und (ii) Murata Manufacturing Co., Ltd. Dual Type Pyroelectric Infrared Sensor Series oder Parallel Quad Type Pyroelectric Infrared Sensor Series.
In einigen Ausführungsformen bleibt eine Wärmekamera auf Grund ihrer physikalischen Verbindung mit dem Gestell auf die ROI gerichtet, wenn der Kopf des Benutzers winkelförmige Bewegungen macht. Es ist darauf hinzuweisen, dass Sätze wie „die Wärmekamera ist physikalisch mit dem Gestell verbunden” sich sowohl auf eine direkte physikalische Verbindung mit dem Gestell (d. h. die Wärmekamera ist an dem Gestell befestigt / in das Gestell integriert ist) als auch auf eine indirekte physikalische Verbindung mit dem Gestell (d. h. die Wärmekamera ist an einem Element befestigt / in ein Element integriert ist, das physikalisch mit dem Gestell verbunden ist) beziehen. Sowohl in den Ausführungsformen mit direkter physikalischer Verbindung als auch in den Ausführungsformen mit indirekter physikalischer Verbindung bleibt die Wärmekamera auf die ROI gerichtet, wenn der Kopf des Benutzers winkelförmige Bewegungen macht. In einigen Beispielen ist die Geschwindigkeit der in Sätzen wie „wenn der Kopf des Benutzers winkelförmige Bewegungen macht” bezeichneten winkelförmigen Bewegung größer als 0,02 rad/s, 0,1 rad/s oder 0,4 rad/s. Des Weiteren bedeuten Sätze wie „die Wärmekamera ... befindet sich nicht in physikalischem Kontakt mit der ROI”, dass die Wärmekamera einen berührungslosen Sensor verwendet, der ungleich einem Thermistor, der zur Messung der ROI in physikalischem Kontakt mit der ROI sein muss, die ROI nicht direkt berührt.
In einigen Ausführungsformen kann eine Wärmekamera einen ungekühlten Wärmesensor umfassen. Ein ungekühlter Wärmesensor bezeichnet hierin einen Sensor, der sich zur Messung von Wellenlängen größer als 2500 nm eignet und der: (i) bei Umgebungstemperatur arbeitet oder (ii) bei einer Temperatur stabilisiert wird, die nicht mehr als ±20 °C von der Umgebungstemperatur abweicht. Optional verwendet die Wärmekamera für ihren Betrieb einen Thermosäulensensor. Die Literaturquelle „Pezzotti, G., Coppa, P., & Liberati, F. (2006), Pyrometer at low radiation for measuring the forehead skin temperature, Revista Facultad de Ingeniería Universidad de Antioquia, (38), 128–135” beschreibt ein Beispiel für eine Messung der Temperatur der Stirn mit einem Thermosäulensensor, der eine Genauigkeit von besser als 0,2 °C liefert, keinen physikalischen Kontakt mit der Stirn erfordert und mit einem Arbeitsabstand zwischen 350 und 400 mm arbeitet. In diesem Beispiel umfasst die Optik einen einzelnen asphärischen Spiegel, der erforderlich oder nicht erforderlich sein kann, wenn die Wärmekamera sich nur ein paar Zentimeter von der ROI entfernt befindet.
In einigen Ausführungsformen verwendet eine Wärmekamera für ihren Betrieb mindestens einen der folgenden ungekühlten Wärmesensoren: einen Bolometersensor, einen pyroelektrischen Sensor und einen ferroelektrischen Sensor. In anderen Ausführungsformen umfasst eine Wärmekamera einen gekühlten Wärmesensor.
Die Wärmekameras können für verschiedene Zwecke an bestimmten Stellen positioniert werden, z. B. um Messwerte einer bestimmten interessierenden Region (ROI) erfassen zu können. Um nützliche Messwerte zu liefern, kann eine Wärmekamera optional von einer bestimmten Region entfernt platziert werden, wie beispielsweise außerhalb der Ausatemströme des Mundes und der Nasenlöcher. Sätze wie „außerhalb der Ausatemströme des Mundes und der Nasenlöcher platziert” bedeuten hierin „außerhalb des überwiegenden Teils des normalerweise erwarteten Ausatemstroms des Mundes platziert” und „außerhalb des überwiegenden Teils der normalerweise erwarteten Ausatemströme der Nasenlöcher platziert”. Die normalerweise erwarteten Ausatemströme werden gemäß einem normalen Menschen bestimmt, der normal atmet und dabei ein entspanntes (neutrales) Gesicht hat und dessen Hals-, Unterkiefer- und Gesichtsmuskeln weder gedehnt noch kontrahiert sind. Zum Beispiel gilt eine Wärmekamera als außerhalb der Ausatemströme der Nasenlöcher platziert, wenn sie sich rechts vom rechten Nasenloch und/oder links vom linken Nasenloch und/oder außerhalb eines dreidimensionalen Rechtecks befindet, das sich von unterhalb der Nasenspitze bis zum unteren Teil des Kinns erstreckt und eine Grundfläche von mindestens 4 × 4 cm aufweist. In einem anderen Beispiel gilt eine Wärmekamera als außerhalb des Ausatemstroms des Mundes platziert, wenn sie sich außerhalb eines horizontalen Zylinders mit einer Höhe von 10–20 cm und einem Durchmesser von 4–10 cm befindet, wobei die Oberseite des Zylinders die Unterseite der Nase berührt.
Im Falle einer Wärmekamera, die auf einem Wärmesensor wie beispielsweise auf einer Thermosäule basiert, können die Vergleichsstellen der Thermosäule die Veränderungen der Temperatur der ROI ausgleichen. Wenn die Vergleichsstellentemperatur festgelegt ist, zum Beispiel indem die Vergleichsstellen über einem Kühlkörper platziert und/oder isoliert werden, dann können die Ausatemströme aus den Nasenlöchern und/oder aus dem Mund die Temperaturdifferenz zwischen der ROI und den Messstellen nicht beeinflussen. Wenn die Vergleichsstellentemperatur jedoch nicht festgelegt ist, dann kann der über den Sensor passierende Atem den Messwert der Thermosäule allein dadurch ändern, dass die Temperatur des Ausatemstroms nahe der Körpertemperatur ist. Wenn beispielsweise die Thermosäule Raumtemperatur hat und die Temperatur der Vergleichsstellen im Wesentlichen festgelegt ist, dann würde die Thermosäule eine Spannung registrieren, die proportional zu einer Änderung der Temperatur zwischen der ROI und der Raumtemperatur ist. Wenn die Messstellen jedoch dem Ausatemstrom ausgesetzt sind, dann kann die Thermosäule eine falsche Temperatur der ROI messen. Um einen solchen Fehler zu vermeiden, wird eine nicht gut isolierte Wärmekamera in einer Ausführungsform außerhalb der Ausatemströme platziert, was bedeutet, dass die Wärmekamera nicht vor die Nasenlöcher und/oder vor den Mund, sondern seitlich, darüber, darunter und/oder an einer anderen möglichen, von den Nasenlöchern und dem Mund entfernten Stelle platziert wird. In einigen Ausführungsformen kann sich eine zusätzliche Wärmekamera in den Ausatemströmen des Mundes und/oder der Nasenlöcher befinden.
In einem Beispiel wird „ein Gestell, das dazu konfiguriert ist, am Kopf des Benutzers getragen zu werden” als ein Gestell interpretiert, das den Kopf des Benutzers mit mehr als 50 % seines Gewichts belastet. Zum Beispiel umfasst das Gestell in Oculus Rift und HTC Vive den Schaumstoff, der am Gesicht des Benutzers platziert wird, und die Riemen; das Gestell in Microsoft HoloLens umfasst das Einstellrad im Kopfbügel, der am Kopf des Benutzers platziert wird. In einem anderen Beispiel kann „ein Gestell, das dazu konfiguriert ist, am Kopf des Benutzers getragen zu werden”, einem Brillengestell ähnlich sein, das Korrekturgläser- und/oder UV-Schutzgläser enthält.
In einem Beispiel werden weite winkelförmige Bewegungen als winkelförmige Bewegungen von mehr als 45 Grad interpretiert. In einem Beispiel ändern sich die Positionen der ersten und zweiten Kameras relativ zum Kopf des Benutzers auch dann nicht, wenn der Kopf des Benutzers weite winkelförmige und seitliche Bewegungen macht, wobei weite winkelförmige und seitliche Bewegungen als winkelförmige Bewegungen von mehr als 60 Grad und als seitliche Bewegungen von mehr als 1 Meter interpretiert werden.
In einem Beispiel ähnelt das Gestell Brillen mit sich erstreckenden Seitenbügeln (d. h. mit Brillenbügeln). Das Gestell kann sich zum Befestigen des Head-Mounted-Systems (HMS) an einem Benutzer bis hinter die Ohren des Benutzers erstrecken. Darüber hinaus kann das Gestell sich um einen hinteren Teil des Kopfes des Benutzers erstrecken und so das HMS an dem Benutzer befestigen. Zusätzlich oder alternativ kann das Gestell mit einer am Kopf montierbaren Helmstruktur verbunden oder im Inneren einer am Kopf montierbaren Helmstruktur angebracht sein.
Die Stellen der Kameras in den Zeichnungen dienen nur zur Veranschaulichung. Die Kameras können an anderen Stellen an dem HMS platziert werden. Eine oder mehrere der Kameras für sichtbares Licht können dazu konfiguriert sein, Bilder mit verschiedenen Auflösungen oder mit verschiedenen Bildfrequenzen zu erfassen. Viele Videokameras mit einem kleinen Formfaktor, wie beispielsweise in Handys oder Webcams verwendete Videokameras, können in einigen der Ausführungsformen enthalten sein.
Weiterhin repräsentieren die Darstellungen und Erörterungen einer Kamera eine oder mehrere Kameras, wobei jede Kamera dazu konfiguriert sein kann, dasselbe Sichtfeld und/oder verschiedene Sichtfelder zu erfassen (d. h. sie können im Wesentlichen dasselbe Sichtfeld oder unterschiedliche Sichtfelder haben). In einer Ausführungsform kann/können eine oder mehrere der Kameras ein oder mehrere Elemente, wie beispielsweise ein Gyroskop, einen Beschleunigungssensor und/oder einen Näherungssensor, umfassen. Es können weitere Sensorgeräte in der Kamera und/oder zusätzlich zu der Kamera enthalten sein, und es können andere Sensorfunktionen durch eine oder mehrere der Kameras durchgeführt werden.
Da die Gesichtsstrukturen von Benutzer zu Benutzer unterschiedlich sein können, kann das HMS in einer Ausführungsform die Richtung, Position, Algorithmen und/oder Eigenschaften einer oder mehrerer der Kameras und/oder Lichtquellen auf der Grundlage der Gesichtsstruktur des Benutzers kalibrieren. In einem Beispiel kalibriert das HMS die Positionierung einer Kamera in Bezug auf ein bestimmtes Merkmal auf dem Gesicht des Benutzers. In einem anderen Beispiel ändert das HMS die Positionierung einer Kamera in Bezug auf das Gestell mechanisch und/oder optisch, um sich an eine bestimmte Gesichtsstruktur anzupassen.
Verschiedene in dieser Offenlegung beschriebene Systeme können ein Display umfassen, das mit einem Gestell verbunden ist, das am Kopf eines Benutzers getragen wird, z. B. ein Gestell eines Head-Mounted Systems (HMS). In einigen Ausführungsformen ist das mit dem Gestell verbundene Display dazu konfiguriert, dem Benutzer einen digitalen Inhalt zu zeigen. Sätze in Form von „ein mit dem Gestell verbundenes Display” sind im Kontext einer oder mehrerer der folgenden Konfigurationen zu interpretieren: (i) ein Gestell, das zusammen mit dem Display getragen und/oder abgenommen wird, sodass der Benutzer auch das Display trägt/abnimmt, wenn er/sie das HMS trägt/abnimmt, (ii) ein in das Gestell integriertes Display; optional wird das Display zusammen mit dem HMS verkauft, und/oder (iii) das HMS und das Display teilen sich mindestens ein elektronisches Element wie beispielsweise eine Schaltung, einen Prozessor, einen Speicher, eine Batterie, ein optisches Element und/oder eine Kommunikationseinheit zur Kommunikation mit einem nicht am Kopf befestigten Computer.
Ein Display kann hierin ein jedwedes Gerät sein, das einem Benutzer visuelle Bilder bereitstellt (z. B. Text, Bilder und/oder Video). Die durch das Display bereitgestellten Bilder können zweidimensionale oder dreidimensionale Bilder sein. Einige nicht ausschließliche Beispiele für Displays, die in den in dieser Offenlegung beschriebenen Ausführungsformen verwendet werden können, umfassen: (i) Bildschirme und/oder Videodisplays verschiedener Geräte (z. B. Fernseher, Computermonitore, Tablets, Smartphones oder Smartwatches), (ii) an einem Headset oder Helm befestigte Displays wie beispielsweise Augmented-Reality-Systeme (z. B. HoloLens), Virtual-Reality-Systeme (z. B. Oculus Rift, Vive oder Samsung GearVR) und Mixed-Reality-Systeme (z. B. Magic Leap) und (iii) Bildprojektionssysteme, die Bilder auf die Netzhaut eines Benutzers projizieren wie beispielsweise virtuelle Netzhautanzeigen (Virtual-Retinal-Displays, VRD), die Bilder erzeugen, indem sie energiearmes Laserlicht direkt auf die Netzhaut scannen.
In einer Ausführungsform ist ein Helm mit dem Gestell verbunden und dazu konfiguriert, die Kopfhaut des Benutzers zu schützen; wobei der Helm aus der Gruppe folgender Helme ausgewählt wird: ein Sporthelm, ein Motorradhelm, ein Fahrradhelm und ein Gefechtshelm. Ausdrücke in Form von „ein mit dem Gestell verbundener Helm” sind im Kontext einer oder mehrerer der folgenden Konfigurationen zu interpretieren: (i) ein Gestell, das zusammen mit dem Helm getragen und/oder abgenommen wird, sodass der Benutzer auch das HMS trägt/abnimmt, wenn er/sie den Helm trägt/abnimmt, (ii) ein in den Helm integriertes Gestell, und/oder der Helm selbst bildet das Gestell; optional wird das HMS zusammen mit dem Helm verkauft, und/oder (iii) das HMS und das Display teilen sich mindestens ein elektronisches Element wie beispielsweise einen inertialen Messsensor, eine Schaltung, einen Prozessor, einen Speicher, eine Batterie, einen Bildsensor und/oder eine Kommunikationseinheit zur Kommunikation mit einem nicht am Kopf befestigten Computer.
In einer Ausführungsform ist ein Gehirnwellen-Headset mit dem Gestell verbunden und dazu konfiguriert, Gehirnwellensignale des Benutzers zu erfassen. Ausdrücke in Form von „ein mit dem Gestell verbundenes Gehirnwellen-Headset” sind im Kontext einer oder mehrerer der folgenden Konfigurationen zu interpretieren: (i) ein Gestell, das zusammen mit dem Gehirnwellen-Headset getragen und/oder abgenommen wird, sodass der Benutzer auch das HMS trägt/abnimmt, wenn er/sie das Gehirnwellen-Headset trägt/abnimmt, (ii) ein in das Gehirnwellen-Headset integriertes Gestell, und/oder das Gehirnwellen-Headset selbst bildet das Gestell; optional wird das HMS zusammen mit dem Gehirnwellen-Headset verkauft, und/oder (iii) das HMS und das Gehirnwellen-Headset teilen sich mindestens ein elektronisches Element wie beispielsweise einen inertialen Messsensor, eine Schaltung, einen Prozessor, einen Speicher, eine Batterie und/oder eine Kommunikationseinheit.
Wie oben erörtert kann die Erfassung von thermischen Messwerten der verschiedenen Regionen des Kopfes eines Benutzers viele gesundheitsbezogene (und andere) Applikationen haben. Die Bewegungen des Benutzers und/oder des Kopfes des Benutzers können jedoch die Erfassung dieser Daten für viele bekannte Verfahrensweisen schwierig machen. Wie die Beschreibungen der folgenden Ausführungsformen zeigen, verwenden einige hierin beschriebene Ausführungsformen aus diesem Grund verschiedene Kombinationen von Wärmekameras, die mit einem Gestell eines Head-Mounted-Systems (auch als ein „Wearable-System” oder einfach als ein „System” bezeichnet) verbunden sind.
In einer Ausführungsform umfasst ein System eine erste und eine zweite Wärmekamera, die physikalisch mit einem Gestell verbunden sind, das dazu konfiguriert ist, am Kopf eines Benutzers getragen zu werden. Die erste Wärmekamera ist dazu konfiguriert, thermische Messwerte einer ersten interessierenden Region (TH_ROI1) zu erfassen, wobei die ROI₁ zumindest einen Teil der rechten Seite der Stirn des Benutzers umfasst, und die zweite Wärmekamera ist dazu konfiguriert, thermische Messwerte einer zweiten ROI (TH_ROI2) zu erfassen, wobei die ROI₂ zumindest einen Teil der linken Seite der Stirn des Benutzers umfasst. Des Weiteren befinden sich die erste und die zweite Wärmekamera nicht in physikalischem Kontakt mit ihrer jeweiligen ROI, ist die Überschneidung zwischen der ROI₁ und ROI₂ kleiner als 80 % des kleinsten Bereichs aus der Menge der Bereiche von ROI₁ und ROI₂ und bleiben die Wärmekameras aufgrund ihrer Verbindung mit dem Gestell auf ihre jeweilige ROI gerichtet, wenn der Kopf des Benutzers winkelförmige Bewegungen macht.
In einer Ausführungsform ist das oben beschriebene System dazu konfiguriert, TH_ROI1 und TH_ROI2 an einen Prozessor weiterzuleiten, der dazu konfiguriert ist, eine physiologische Reaktion auf der Grundlage von TH_ROI1 und TH_ROI2 zu erkennen. Optional ist die physiologische Reaktion indikativ für mindestens einen der folgenden Zustände: Stress, psychische Arbeitsbelastung, Furcht, sexuelle Erregung, Angst, Schmerz, Puls, Kopfschmerzen und Schlaganfall.
In den verschiedenen Ausführungsformen können die oben genannten interessierenden Regionen geringfügig unterschiedliche Regionen auf dem Gesicht des Benutzers umfassen. In einem Beispiel umfasst die rechte Seite der Stirn des Benutzers mindestens 30 % der ROI₁ und umfasst die linke Seite der Stirn des Benutzers mindestens 30 % der ROI₂. In einem anderen Beispiel umfasst die rechte Seite der Stirn des Benutzers mindestens 80 % der ROI₁ und umfasst die linke Seite der Stirn des Benutzers mindestens 80 % der ROI₂.
Die Messwerte der Wärmekameras können in den verschiedenen Ausführungsformen für verschiedene Berechnungen verwendet werden. Beispielsweise messen die erste und die zweite Wärmekamera in einer Ausführungsform die Temperaturen an der ROI₁ beziehungsweise ROI₂. In dieser Ausführungsform kann das System zudem eine Schaltung umfassen, die dazu konfiguriert ist, eine Reihe von Temperaturmesswerten an der ROI₁ zu erhalten und die Temperaturänderungen an der ROI₁ (∆T_ROI1) zu berechnen, eine Reihe von Temperaturmesswerten an der ROI₂ zu erhalten und die Temperaturänderungen an der ROI₂ (∆T_ROI2) zu berechnen und ∆T_ROI1 und ∆T_ROI2 zum Erkennen einer physiologischen Reaktion zu verwenden. Optional ist der normale Messfehler der Temperaturen an der ROI₁ des Systems mindestens doppelt so groß wie der normale Messfehlers der Temperaturänderungen an der ROI₁ des Systems, wenn der Kopf des Benutzers winkelförmige Bewegungen mit über 0,02 rad/s macht. Optional ist der normale Messfehler der Temperaturen an der ROI₁ des Systems mindestens fünfmal so groß wie der normale Messfehler der Temperaturänderungen an der ROI₁ des Systems, wenn der Kopf des Benutzers winkelförmige Bewegungen mit über 0,2 rad/s macht.
Es folgt eine Beschreibung einer weiteren Ausführungsform eines Systems, das Wärmekameras umfasst, die Messwerte anderer Regionen des Gesichts eines Benutzers erfassen.
In einer Ausführungsform umfasst ein System eine erste und eine zweite Wärmekamera, die physikalisch mit einem Gestell verbunden sind, das dazu konfiguriert ist, am Kopf eines Benutzers getragen zu werden. Die erste Wärmekamera ist dazu konfiguriert, thermische Messwerte einer ersten interessierenden Region (TH_ROI1) zu erfassen, wobei die ROI₁ zumindest einen Teil des Stirnasts der rechten oberflächlichen Schläfenarterie des Benutzers umfasst, und die zweite Wärmekamera ist dazu konfiguriert, thermische Messwerte einer zweiten interessierenden Region (TH_ROI2) zu erfassen, wobei die ROI₂ zumindest einen Teil des Stirnasts der linken oberflächlichen Schläfenarterie des Benutzers umfasst. Des Weiteren befinden sich die erste und die zweite Wärmekamera nicht in physikalischem Kontakt mit ihrer jeweiligen ROI und bleiben die Wärmekameras aufgrund ihrer Verbindung mit dem Gestell auf ihre jeweilige ROI gerichtet, wenn der Kopf des Benutzers winkelförmige Bewegungen macht.
In einer Ausführungsform ist das oben beschriebene System dazu konfiguriert, TH_ROI1 und TH_ROI2 an einen Prozessor weiterzuleiten, der dazu konfiguriert ist, eine physiologische Reaktion auf der Grundlage von TH_ROI1 und TH_ROI2 zu erkennen. Optional ist die physiologische Reaktion indikativ für den arteriellen Puls des Benutzers. Zusätzlich oder alternativ kann die physiologische Reaktion indikativ für mindestens einen der folgenden Zustände sein: Stress, psychische Arbeitsbelastung, Furcht, Angst, Schmerz, Kopfschmerzen und Schlaganfall.
In einem Beispiel hat das physiologische Signal (z. B. Puls oder Atmung) periodische Eigenschaften, umfasst die Wärmekamera mehrere Sensorelemente und kann der Computer abhängend von der Bewegung und dem Rauschpegel zeitliche Signale für einzelne Pixel innerhalb der ROI₂ extrahieren und/oder zeitliche Signale für Pixel-Cluster innerhalb der ROI₂ extrahieren. Die Berechnung des physiologischen Signals kann eine harmonische Analyse, wie beispielsweise eine schnelle Fourier-Transformation, des Temperatursignals und/oder Temperaturänderungssignals jedes einzelnen Pixels oder Pixel-Clusters im Zeitablauf in einem Sliding-Window beinhalten, auf welche ein nichtlinearer Filter zur Reduzierung des Leck-Effekts für niederfrequente Signale in dem gemessenen Frequenzbereich folgen kann. In den Fällen, in denen einige Pixel weniger informativ als andere Pixel sein können, kann ein Clusterbildungsverfahren zum Entfernen von Ausreißern durchgeführt werden. Dann können die Frequenzspitzen in der Menge der interessierenden Pixel zur Auswahl der dominanten Frequenzkomponente verwendet werden; der Bin mit den meisten Stimmen wird als die dominante Frequenz ausgewählt, und die Schätzung des physiologischen Signals kann durch die medianen gefilterten Ergebnisse der dominanten Frequenzkomponenten in einem kleinen Sliding-Window erhalten werden.
Ein Beispiel für eine berührungslose Herzfrequenz- und Atemfrequenzdetektion durch Messung von Modulationen von in der Nähe der oberflächlichen Blutgefäße oder (beziehungsweise) einem nasalen Bereich emittiertem Infrarotlicht wird in der Literaturquelle „Yang, M., Liu, Q., Turner, T., & Wu, Y (2008), Vital sign estimation from passive thermal video, In Computer Vision and Pattern Recognition, 2008 (pp. 1–8), CVPR 2008 IEEE” beschrieben. Ein pulsierender Blutfluss induziert subtile periodische Temperaturänderungen der Haut über den oberflächlichen Gefäßen durch Wärmediffusion, die durch ein Wärmevideo zur Bestimmung der zugehörigen Herzfrequenz detektiert werden können. Die Temperaturmodulationen können durch die Änderungen der Pixelintensität in der ROI unter Verwendung einer Wärmekamera detektiert werden, und die zugehörige Herzfrequenz kann durch eine harmonische Analyse dieser Änderungen an dem Hautbereich über der oberflächlichen Schläfenarterie quantitativ gemessen werden (in diesem Kontext bezieht sich der „Hautbereich über der Arterie” auf den „Hautbereich auf der Arterie”).
In einer Ausführungsform werden Anforderungen, wie beispielsweise der Umgang mit durch Bewegungen des Benutzers verursachten Komplikationen, ROI-Ausrichtung, auf Hotspots oder Markierungen basierendes Tracking und Bewegungskompensation in dem IR-Video, durch die Verbindung der Wärmekamera mit dem Gestell vereinfacht und möglicherweise sogar eliminiert.
Der Grad der Temperaturmodulation aufgrund des Blutpulses ist weitaus geringer als die normale Hauttemperatur; folglich werden die subtilen periodischen Änderungen der Temperatur in einer Ausführungsform auf der Grundlage von Differenzen zwischen Einzelbildern quantifiziert. Zum Beispiel werden die Einzelbilddifferenzen gegenüber einem bestimmten Referenzbild nach einer optionalen Ausrichtung für jedes Einzelbild auf der Grundlage zugehöriger Pixel oder zugehöriger Pixel-Cluster berechnet. Die Temperaturdifferenzen können in den ersten Einzelbildern wie Zufallsrauschen aussehen, nahe der halben Pulsperiode zeigt sich jedoch ein bestimmtes Muster; dann werden die Temperaturdifferenzen mit Annäherung an die Pulsperiode wieder verrauscht. Die Herzfrequenz wird durch eine harmonische Analyse der Hauttemperaturmodulation über der oberflächlichen Schläfenarterie geschätzt. In einer Ausführungsform wird eine ähnliche Methode zur Schätzung der Atemfrequenz durch Messung der periodischen Temperaturänderungen im und um den Nasenbereich angewendet.
Zeichnung 7 im US-Patent 8,360,986 von Farag et al. zeigt die ROI des Stirnasts der rechten und linken oberflächlichen Schläfenarterie einer Person. Die örtliche Lage und Abmessungen der ROI des Stirnasts der rechten und linken oberflächlichen Schläfenarterie können bis zu einem gewissen Grad zwischen unterschiedlichen Personen variieren. Aufgrund der inhärenten Vorteile der offengelegten Head-Mounted-Wärmekameras kann es ausreichen, dass die ROI₁ und ROI₂ nur einen Teil der ROI des Stirnasts der rechten und linken oberflächlichen Schläfenarterie umfassen. Zusätzlich oder alternativ können die ROI₁ und ROI₂ Bereiche umfassen, die größer als die in Zeichnung 7 im US-Patent 8,360,986 dargestellten interessierenden Regionen sind.
Es folgt eine weitere Beschreibung einer Ausführungsform eines Systems, das Wärmekameras umfasst, die Messwerte bestimmter Regionen des Gesichts eines Benutzers erfassen. In einer Ausführungsform umfasst ein System eine erste und eine zweite Wärmekamera, die physikalisch mit einem Gestell verbunden sind, das dazu konfiguriert ist, am Kopf eines Benutzers getragen zu werden. Die erste Wärmekamera ist dazu konfiguriert, thermische Messwerte einer ersten interessierenden Region (TH_ROI1) zu erfassen, wobei die ROI₁ zumindest einen Teil der rechten oberflächlichen Schläfenarterie des Benutzers umfasst. Die zweite Wärmekamera ist dazu konfiguriert, thermische Messwerte einer zweiten interessierenden Region (TH_ROI2) zu erfassen, wobei die ROI₂ zumindest einen Teil der linken oberflächlichen Schläfenarterie des Benutzers umfasst. Des Weiteren befinden sich die erste und die zweite Wärmekamera nicht in physikalischem Kontakt mit ihrer jeweiligen ROI und bleiben die Wärmekameras aufgrund ihrer Verbindung mit dem Gestell auf ihre jeweilige ROI gerichtet, wenn der Kopf des Benutzers winkelförmige Bewegungen macht.
In einer Ausführungsform ist das oben beschriebene System dazu konfiguriert, TH_ROI1 und TH_ROI2 an einen Prozessor weiterzuleiten, der dazu konfiguriert ist, eine physiologische Reaktion auf der Grundlage von TH_ROI1 und TH_ROI2 zu erkennen. Optional ist die physiologische Reaktion indikativ für den arteriellen Puls des Benutzers. Zusätzlich oder alternativ ist die physiologische Reaktion indikativ für mindestens einen der folgenden Zustände: Stress, psychische Arbeitsbelastung, Furcht, Angst, Schmerz, Kopfschmerzen und Schlaganfall.
Zeichnung 7 im US-Patent 8,360,986 von Farag et al. zeigt die ROI der rechten und linken oberflächlichen Schläfenarterie einer Person. Die örtliche Lage und Abmessungen der ROI der rechten und linken oberflächlichen Schläfenarterie können bis zu einem gewissen Grad zwischen unterschiedlichen Personen variieren. Aufgrund der inhärenten Vorteile der offengelegten Head-Mounted-Wärmekameras kann es ausreichen, dass die ROI₁ und ROI₂ nur einen Teil der ROI der rechten und linken oberflächlichen Schläfenarterie umfassen. Zusätzlich oder alternativ können die ROI₁ und ROI₂ Bereiche umfassen, die größer als die in Zeichnung 7 im US-Patent 8,360,986 dargestellten interessierenden Regionen sind.
1, 2 und 3 zeigen verschiedene Arten von Head-Mounted-Systemen mit daran befindlichen Kameras, wobei die gestrichelten Linien die Sichtfelder der Kameras angeben. Die Kameras können Wärmekameras und/oder Kameras für sichtbares Licht sein.
7 zeigt die Periorbitalregion 300 und die wärmsten Regionen (301 und 302) in der Periorbitalregion.
9, 10, 11 und 12 zeigen verschiedene Arten von Head-Mounted-Systemen mit daran befindlichen Kameras, wobei die gestrichelten Kreise und Ellipsen die interessierenden Regionen der Kameras darstellen. Die Kameras können Wärmekameras und/oder Kameras für sichtbares Licht sein.
In der folgenden Beschreibung wird ein weiteres Beispiel eines Systems, das Wärmekameras umfasst, die Messwerte bestimmter Regionen des Gesichts eines Benutzers erfassen, angeführt. In einer Ausführungsform umfasst ein Wearable-System, das dazu konfiguriert ist, thermische Messwerte zu erfassen, die eine Erkennung einer physiologischen Reaktion ermöglichen, mindestens ein Gestell und eine erste, zweite, dritte und vierte Wärmekamera. Das Gestell ist dazu konfiguriert, am Kopf eines Benutzers getragen zu werden, und die erste, zweite, dritte und vierte Wärmekamera bleiben auf ihre jeweilige ROI gerichtet, wenn der Kopf des Benutzers winkelförmige Bewegungen macht.
Die erste und die zweite Wärmekamera sind physikalisch mit dem Gestell an Stellen verbunden, die sich rechts und links von der das Gesicht des Benutzers in die rechte beziehungsweise linke Seite unterteilenden Symmetrieachse und weniger als 15 cm von der rechten beziehungsweise linken Pupille des Benutzers entfernt befinden. Die erste Wärmekamera ist dazu konfiguriert, thermische Messwerte einer ersten interessierenden Region (TH_ROI1) zu erfassen, wobei die ROI₁ zumindest einen Teil der rechten Seite der Stirn des Benutzers umfasst. Die zweite Wärmekamera ist dazu konfiguriert, thermische Messwerte einer zweiten interessierenden Region (TH_ROI2) zu erfassen, wobei die ROI₂ zumindest einen Teil der linken Seite der Stirn des Benutzers umfasst.
Die dritte und vierte Wärmekamera sind physikalisch mit dem Gestell an Stellen verbunden, die sich rechts beziehungsweise links von der Symmetrieachse, weniger als 15 cm von der Oberlippe des Benutzers entfernt und unterhalb der ersten und zweiten Wärmekamera befinden. Die dritte Wärmekamera ist dazu konfiguriert, thermische Messwerte einer dritten ROI (TH_ROI3) zu erfassen, wobei die ROI₃ zumindest einen Teil der rechten Oberlippe des Benutzers umfasst. Die vierte Wärmekamera ist dazu konfiguriert, thermische Messwerte einer vierten ROI (TH_ROI4) zu erfassen, wobei die ROI₄ zumindest einen Teil der linken Oberlippe des Benutzers umfasst. Des Weiteren befinden sich die dritte und vierte Wärmekamera außerhalb der Ausatemströme des Mundes und der Nasenlöcher und haben die Wärmekameras keinen physikalischen Kontakt mit ihrer jeweiligen ROI.
Das System ist dazu konfiguriert, TH_ROI1, TH_ROI2, TH_ROI3 und TH_ROI4 an einen Prozessor weiterzuleiten, der dazu konfiguriert ist, die physiologische Reaktion zu erkennen. Optional ist die physiologische Reaktion indikativ für einen emotionalen Zustand des Benutzers. Optional ist der emotionale Zustand indikativ für ein Ausmaß, mit dem der Benutzer zumindest eine der folgenden Emotionen gefühlt hat: Ärger, Ekel, Furcht, Freude, Traurigkeit und Überraschung. Zusätzlich oder alternativ kann die physiologische Reaktion indikativ für ein durch den Benutzer gefühltes Stressniveau sein. Zusätzlich oder alternativ kann die physiologische Reaktion indikativ für eine allergische Reaktion des Benutzers sein. Zusätzlich oder alternativ kann die physiologische Reaktion indikativ für ein durch den Benutzer gefühltes Schmerzniveau sein.
In den verschiedenen Ausführungsformen können die oben genannten interessierenden Regionen geringfügig unterschiedliche Regionen auf dem Gesicht des Benutzers umfassen. In einer Ausführungsform ist die Überschneidung zwischen der ROI₁ und ROI₂ kleiner als 50 % des kleinsten Bereichs aus der Menge der Bereiche von ROI₁ und ROI₂ und ist die Überschneidung zwischen der ROI₃ und ROI₄ kleiner als 50 % des kleinsten Bereichs aus der Menge der Bereiche von ROI₃ und ROI₄. In einer anderen Ausführungsform gibt es keine Überschneidung zwischen der ROI₁ und ROI₂ und keine Überschneidung zwischen der ROI₃ und ROI₄.
In einer Ausführungsform kann das oben beschriebene System eine fünfte Wärmekamera umfassen, die mit dem Gestell verbunden und auf eine fünfte interessierende Region (ROI₅) gerichtet ist, wobei die ROI₅ zumindest einen Teil der Nase des Benutzers umfasst und die fünfte Wärmekamera sich nicht in physikalischem Kontakt mit der ROI₅ befindet. In einer anderen Ausführungsform kann das oben beschriebene System eine fünfte Wärmekamera umfassen, die mit dem Gestell verbunden und auf eine fünfte interessierende Region (ROI₅) gerichtet ist, wobei die ROI₅ zumindest einen Teil der Periorbitalregion des Gesichts des Benutzers umfasst und die fünfte Wärmekamera sich nicht in physikalischem Kontakt mit der ROI₅ befindet.
Wie in dem folgenden Beispiel beschrieben, können einige Systeme zusätzlich zu Wärmekameras Kameras für sichtbares Licht umfassen. In einer Ausführungsform umfasst ein System, das dazu konfiguriert ist, thermische Messwerte und Messwerte sichtbaren Lichts des Gesichts eines Benutzers aus ortsfesten relativen Positionen zu erfassen, mindestens ein Gestell, eine erste Wärmekamera, eine zweite Wärmekamera und eine Kamera für sichtbares Licht. Das Gestell ist dazu konfiguriert, am Kopf des Benutzers getragen zu werden. Die erste Wärmekamera, die zweite Wärmekamera und die Kamera für sichtbares Licht sind physikalisch mit dem Gestell verbunden. Darüber hinaus behalten die Wärmekameras und die Kamera für sichtbares Licht eine ortsfeste Positionierung relativ zueinander und relativ zu ihrer jeweiligen ROI bei, wenn der Kopf des Benutzers winkelförmige Bewegungen macht.
Die erste Wärmekamera ist dazu konfiguriert, thermische Messwerte einer ersten interessierenden Region (TH_ROI1) zu erfassen, wobei die ROI₁ zumindest einen Teil des Bereichs um die Augen des Benutzers umfasst. Die zweite Wärmekamera ist dazu konfiguriert, thermische Messwerte einer zweiten ROI (TH_ROI2) zu erfassen, wobei die ROI₂ zumindest einen Teil der Oberlippe des Benutzers umfasst. Die Kamera für sichtbares Licht ist dazu konfiguriert, Bilder einer dritten interessierenden Region (IM_ROI3) zu erfassen, wobei die ROI₃ zumindest einen Teil des Gesichts des Benutzers umfasst.
In einer Ausführungsform umfasst das System einen Prozessor, der dazu konfiguriert ist, ein auf maschinellem Lernen basierendes Modell für den Benutzer auf der Grundlage von TH_ROI1 und TH_ROI2 zu trainieren. Optional erkennt das Modell eine affektive Reaktion des Benutzers.
Der Begriff „Kamera für sichtbares Licht” bezieht sich hierin auf eine Kamera, die dazu bestimmt ist, zumindest einen Teil des sichtbaren Spektrums zu detektieren. Beispiele für Sensoren für sichtbares Licht umfassen Active-Pixel-Sensoren in einem komplementären Metall-Oxid-Halbleiter (Complementary-Metal-Oxide-Semiconductor, CMOS) und Halbleiter-Charge-Coupled-Devices (CCD).
Es folgen einige Beispiele für Systeme, die Wärmekameras für verschiedene Applikationen verwenden.
In einer Ausführungsform umfasst ein Wearable-System, wie beispielsweise ein HMS, das zur Schätzung eines Stressniveaus konfiguriert ist, ein Gestell, eine Wärmekamera und eine Schaltung. Das Gestell ist dazu konfiguriert, am Kopf eines Benutzers getragen zu werden. Die Wärmekamera ist physikalisch an einer Stelle mit dem Gestell verbunden, die weniger als 15 cm von einem Auge des Benutzers entfernt ist, befindet sich nicht in physikalischem Kontakt mit dem Auge und ist dazu konfiguriert, thermische Messwerte einer interessierenden Region (TH_ROI) zu erfassen, wobei die ROI zumindest einen Teil einer Periorbitalregion des Auges des Benutzers umfasst. Die Schaltung ist dazu konfiguriert, das Stressniveau des Benutzers auf der Grundlage von von der Wärmekamera erhaltenen Änderungen der Temperatur der Periorbitalregion zu schätzen. Optional bezieht sich das Stressniveau auf ein stressvolles Ereignis, beträgt die Verzögerung zwischen einem stressvollen Ereignis und seiner Manifestation auf dem zumindest einen Teil der Periorbitalregion weniger als eine Minute und lässt ein Großteil der Manifestation innerhalb von weniger als fünf Minuten nach dem Ende des stressvollen Ereignisses nach.
In einer Ausführungsform umfasst das oben beschriebene System ein mit dem Gestell verbundenes Eye-Tracking-Modul, das dazu konfiguriert ist, den Blick des Benutzers zu verfolgen. Das Wearable-System ist ein optisches, durchsichtiges Head-Mounted-Display (HMD), das dazu konfiguriert ist, zusammen mit einer zweiten Kamera zu arbeiten, die dazu konfiguriert ist, Bilder von Objekten zu erfassen, die der Benutzer betrachtet, und das dazu konfiguriert ist, zusammen mit einem Prozessor zu arbeiten, der dazu konfiguriert ist, den Objekten, die der Benutzer betrachtet, die aus den thermischen Messwerten abgeleiteten Stressniveaus zuzuordnen.
In einer Ausführungsform umfasst das oben beschriebene System ein mit dem Gestell verbundenes Display, das dazu konfiguriert ist, ein Objekte enthaltendes Video darzustellen, und ein mit dem Gestell verbundenes Eye-Tracking-Modul, das dazu konfiguriert ist, den Blick des Benutzers zu verfolgen. Das Wearable-System ist dazu konfiguriert, zusammen mit einem Prozessor zu arbeiten, der dazu konfiguriert ist, den Objekten, die der Benutzer betrachtet, die aus den thermischen Messwerten abgeleiteten Stressniveaus zuzuordnen.
Die Periorbitalregion des Gesichts des Benutzers wird zum Beispiel in der Literaturquelle „Tsiamyrtzis, P., Dowdall, J., Shastri, D., Pavlidis, I. T., Frank, M. G., & Ekman, P. (2007), Imaging facial physiology for the detection of deceit, International Journal of Computer Vision, 71(2), 197–214” erörtert. 7 zeigt die periorbitale ROI durch schematische Darstellung als Rechteck 300. Die Regionen 301 und 302, als Bereiche in der Nähe der Tränenkanäle bezeichnet, machen schematisch etwa 10 % des wärmsten Bereichs innerhalb der periorbitalen ROI aus, welche zu Detektion der „Kampf-oder-Flucht-Reaktion” bei Stress (auch als „Fight-or-Flight-Syndrom” bekannt) ausreichen können.
Des Weiteren zeigt die Literaturquelle „Pavlidis, I., Levine, J., & Baukol, S. (2000), Thermal imaging for anxiety detection, In Computer Vision Beyond the Visible Spectrum: Methods and Applications, 2000. Proceedings. IEEE Workshop on (pp. 104–109)” die Periorbitalregion zusammen mit dem Nasenbereich, der rechten und linken Wange sowie dem Kinn- und Halsbereich.
4, 5 und 6 zeigen verschiedene potenzielle Stellen, an denen die Wärmekameras so mit verschiedenen Gestellen eines Head-Mounted-Displays verbunden werden können, dass zumindest ein Teil der periorbitalen ROI im Sichtfeld einer oder mehrerer der Wärmekameras ist. Da sich die Wärmekamera in der Nähe der ROI befindet, kann sie klein und leicht sein und an vielen potenziellen Stellen in Sichtlinie zu der ROI positioniert werden.
In einer anderen Ausführungsform umfasst ein System, das dazu konfiguriert ist, ein Niveau der Kampf-oder-Flucht-Reaktion eines ein Head-Mounted-System (HMS) tragenden Benutzers zu schätzen, mindestens ein Gestell, eine Wärmekamera und eine Schaltung. Das Gestell ist dazu konfiguriert, am Kopf des Benutzers getragen zu werden. Die Wärmekamera ist physikalisch an einer Stelle mit dem Gestell verbunden, die weniger als 15 cm von einem Auge des Benutzers entfernt ist, befindet sich nicht in physikalischem Kontakt mit dem Auge und ist dazu konfiguriert, thermische Messwerte einer interessierenden Region (TH_ROI) zu erfassen, wobei die ROI zumindest einen Teil einer Periorbitalregion des Auges des Benutzers umfasst. Die Schaltung ist dazu konfiguriert, das Niveau der Kampf-oder-Flucht-Reaktion des Benutzers auf der Grundlage von TH_ROI zu schätzen.
In einer Ausführungsform umfasst das oben beschriebene System eine Benutzerschnittstelle, die dazu konfiguriert ist, den Benutzer zu benachrichtigen, wenn das Niveau der Kampf-oder-Flucht-Reaktion einen vorgegebenen Schwellenwert erreicht. Optional verwendet die Benutzerschnittstelle eine akustische und/oder optische Anzeige zum Benachrichtigen des Benutzers.
In einer Ausführungsform umfasst das oben beschriebene System: ein Display, das dazu konfiguriert ist, dem Benutzer ein Objekte enthaltendes Video zu zeigen, und ein Dokumentationsmodul, das dazu konfiguriert ist, das mit den betrachteten Objekten verbundene geschätzte Niveau der Kampf-oder-Flucht-Reaktion zu speichern.
In einer weiteren Ausführungsform umfasst ein System, das dazu konfiguriert ist, ein Stressniveau eines ein Head-Mounted-System (HMS) tragenden Benutzers zu schätzen, ein Gestell, eine Wärmekamera und eine Schaltung. Das Gestell ist dazu konfiguriert, am Kopf des Benutzers getragen zu werden. Die Wärmekamera, die physikalisch an einer Stelle mit dem Gestell verbunden ist, die weniger als 15 cm von der Nasenspitze des Benutzers entfernt ist, ist dazu konfiguriert, thermische Messwerte einer interessierenden Region (TH_ROI) zu erfassen, wobei die ROI zumindest einen Teil des Bereichs der und um die Nase des Benutzers umfasst.
Optional basiert die Wärmekamera auf einem Thermosäulensensor und/oder einem pyroelektrischen Sensor. Ein Beispiel für die interessierende Region um die Nasenlöcher wird in der Literaturquelle „Shastri, D., Papadakis, M., Tsiamyrtzis, P., Bass, B., & Pavlidis, I. (2012), Perinasal imaging of physiological stress and its affective potential, Affective Computing, IEEE Transactions on, 3(3), 366–378” beschrieben. Die Schaltung ist dazu konfiguriert, das Stressniveau auf der Grundlage von TH_ROI zu schätzen.
In einer Ausführungsform umfasst das oben beschriebene System zudem einen Biofeedbackmechanismus, der dazu konfiguriert ist, den Benutzer zu alarmieren, wenn das Stressniveau einen vorgegebenen Schwellenwert erreicht.
In noch einer weiteren Ausführungsform umfasst ein Wearable-System, das dazu konfiguriert ist, eine physiologische Reaktion eines Benutzers zu schätzen, ein Gestell, eine erste und eine zweite Wärmekamera und eine Schaltung. Das Gestell ist dazu konfiguriert, am Kopf des Benutzers getragen zu werden. Die erste und die zweite Wärmekamera sind physikalisch an Stellen mit dem Gestell verbunden, die weniger als 20 cm von der Stirn des Benutzers entfernt sind. Die erste Wärmekamera ist dazu konfiguriert, thermische Messwerte einer ersten interessierenden Region (TH_ROI1) zu erfassen, wobei die ROI₁ zumindest einen Teil der rechten Seite der Stirn des Benutzers umfasst. Die zweite Wärmekamera ist dazu konfiguriert, thermische Messwerte einer zweiten interessierenden Region (TH_ROI2) zu erfassen, wobei die ROI₂ zumindest einen Teil der linken Seite der Stirn des Benutzers umfasst. Die Schaltung ist dazu konfiguriert, die physiologische Reaktion des Benutzers auf der Grundlage von TH_ROI1 und TH_ROI2 zu schätzen. Optional sind TH_ROI1 und TH_ROI2 mit dem Blutfluss in dem Stirngefäß der Stirn des Benutzers korreliert. Optional ist die physiologische Reaktion ein psychischer Stress und ist die Schaltung außerdem dazu konfiguriert, den Blutfluss der Stirn, welcher indikativ für psychischen Stress ist, auf der Grundlage von TH_ROI zu schätzen. Optional ist die Schaltung außerdem dazu konfiguriert, die periorbitale Durchblutung, welche indikativ für eine Kampf-oder-Flucht-Reaktion ist, auf der Grundlage von TH_ROI zu schätzen.
In einer Ausführungsform umfasst das oben beschriebene System einen Biofeedbackmechanismus, der dazu konfiguriert ist, den Benutzer zu alarmieren, wenn das Stressniveau einen vorgegebenen Schwellenwert erreicht.
Wie das folgende Beispiel zeigt, kann ein Head-Mounted-System (HMS) eine Wärmekamera zur Schätzung der emotionalen Reaktion eines Benutzers gegenüber einem dem Benutzer gezeigten digitalen Inhalt verwenden. „Digitaler Inhalt” bezieht sich hierin auf jede Art von Inhalt, der auf einem Computer gespeichert und einem Benutzer durch den Computer gezeigt werden kann.
In einer Ausführungsform umfasst ein System, das dazu konfiguriert ist, thermische Messwerte eines ein Head-Mounted-Display (HMD) tragenden Benutzers zu erfassen, ein Display, eine Wärmekamera und eine Schaltung. Das Display, das durch den Benutzer getragen wird (es ist z. B. an einem Gestell des HMS angebracht), ist dazu konfiguriert, dem Benutzer einen digitalen Inhalt zu zeigen. Die Wärmekamera, die physikalisch mit dem HMD verbunden ist, ist dazu konfiguriert, thermische Messwerte einer interessierenden Region (TH_ROI) auf dem Gesicht des Benutzers zu erfassen; die Wärmekamera befindet sich nicht in physikalischem Kontakt mit der ROI und bleibt auf die ROI gerichtet, wenn der Kopf des Benutzers winkelförmige Bewegungen macht. Die Schaltung ist dazu konfiguriert, eine affektive Reaktion des Benutzers auf den digitalen Inhalt auf der Grundlage von TH_ROI zu schätzen.
In einer Ausführungsform ist die affektive Reaktion Stress, umfasst die ROI zumindest einen Teil der Periorbitalregion des Gesichts des Benutzers und ist das Stressniveau des Benutzers umso höher, desto größer die Änderung der ROI-Temperatur ist. In einer anderen Ausführungsform ist die affektive Reaktion Stress, umfasst die ROI zumindest einen Teil der Nase des Benutzers und ist das Ausmaß des Stresses proportional zu der Änderung der ROI-Temperatur. In einer weiteren Ausführungsform ist ein Wert aus der Menge mehrerer TH_ROI-Werte, der einen Schwellenwert erreicht, indikativ für die affektive Reaktion. In noch einer weiteren Ausführungsform basiert mindestens ein Merkmalswert, der durch einen Prädiktor verwendet wird, der Vorkommnisse der affektiven Reaktion prognostiziert, auf TH_ROI.
In einer Ausführungsform umfasst das oben beschriebene System einen Computer, der dazu konfiguriert ist, den digitalen Inhalt, der dem Benutzer gezeigt wird, auf der Grundlage der geschätzten affektiven Reaktion zu ändern.
In einer Ausführungsform misst die Wärmekamera die Temperatur an der ROI und ist der normale Messfehler der Temperatur an der ROI (ERR_TROI) des Systems mindestens doppelt so groß wie der normale Messfehler der Temperaturänderung an der ROI (ERR_∆TROI) des Systems, wenn der Kopf des Benutzers winkelförmige Bewegungen mit über 0,02 rad/s macht. Die Schaltung ist darüber hinaus in der Lage, eine affektive Reaktion zu erkennen, die eine Änderung der Temperatur an der ROI verursacht, die unterhalb von ERR_TROI und oberhalb von ERR_∆TROI ist.
In einer anderen Ausführungsform misst die Wärmekamera die Temperatur an der ROI und ist der normale Messfehler der Temperatur an der ROI (ERR_TROI) des Systems mindestens fünfmal so groß wie der normale Messfehler der Temperaturänderung an der ROI (ERR_∆TROI) des Systems, wenn der Kopf des Benutzers winkelförmige Bewegungen mit über 0,1 rad/s macht. Darüber hinaus ist die Schaltung in der Lage ist, eine affektive Reaktion zu erkennen, die eine Änderung der Temperatur an der ROI verursacht, die unterhalb von ERR_TROI und oberhalb von ERR_∆TROI ist.
In einer Ausführungsform umfasst ein Sicherheitssystem, das dazu konfiguriert ist, eine irreguläre Aktivität zu detektieren: ein Head-Mounted-Display (HMD), das ein Gestell, ein Display-Modul und eine Wärmekamera umfasst. Die Wärmekamera ist dazu konfiguriert, thermische Messwerte einer interessierenden Region (TH_ROI) auf dem Gesicht des Benutzers zu erfassen; wobei die Wärmekamera sich nicht in physikalischem Kontakt mit der ROI befindet und auf die ROI gerichtet bleibt, wenn der Kopf des Benutzers winkelförmige Bewegungen macht. Eine Schaltung ist dazu konfiguriert, für den Benutzer ein als Basislinie dienendes Wärmeprofil auf der Grundlage von TH_ROI zu berechnen, die erfasst werden, während der Benutzer als Basislinie dienende sensible Daten ansieht, die auf dem Display-Modul dargestellt werden. Wobei die Schaltung außerdem dazu konfiguriert ist, für den Benutzer ein bestimmtes Wärmeprofil auf der Grundlage von TH_ROI zu berechnen, die erfasst werden, während der Benutzer bestimmte sensible Daten ansieht, die auf dem Display-Modul dargestellt werden, und eine Alarmmeldung zu erstellen, wenn die Differenz zwischen dem bestimmten Wärmeprofil und dem als Basislinie dienenden Wärmeprofil einen vorgegebenen Schwellenwert erreicht.
In einer Ausführungsform wird TH_ROI als Temperatur an der ROI ausgedrückt und drückt das als Basislinie dienende Wärmeprofil die Temperatur aus, die normalerweise an der ROI auftritt, während der Benutzer gegenüber sensiblen Daten exponiert ist. In einer anderen Ausführungsform wird TH_ROI als Änderung der Temperatur an der ROI ausgedrückt und drückt das als Basislinie dienende Wärmeprofil die Änderungen der Temperatur aus, die normalerweise etwa zum Zeitpunkt des Wechsels vom „Exponiertsein gegenüber nichtsensiblen Daten” zum „Exponiertsein gegenüber sensiblen Daten” an der ROI auftreten. In einer weiteren Ausführungsform wird TH_ROI als Änderung der Temperatur an der ROI ausgedrückt und drückt das als Basislinie dienende Wärmeprofil die Änderungen der Temperatur aus, die normalerweise etwa zum Zeitpunkt des Wechsels vom „Exponiertsein gegenüber sensiblen Daten” zum „Exponiertsein gegenüber nichtsensiblen Daten” an der ROI auftreten.
In einer Ausführungsform umfasst die Wärmekamera einen ungekühlten Wärmesensor.
In einer Ausführungsform bezieht sich die Alarmmeldung auf einen Vorgang zur Detektion einer illegalen Aktivität. Optional beträgt die Verzögerung zwischen dem Zeitpunkt der Durchführung der illegalen Aktivität und dem Zeitpunkt des Erreichens des vorgegebenen Schwellenwerts weniger als zwei Minuten.
In einer anderen Ausführungsform verwendet das System die Alarmmeldung zur Schätzung eines Job-Burn-outs; wobei der Job-Burn-out umso gravierender ist, desto größer die Differenz zwischen dem bestimmten Wärmeprofil und dem als Basislinie dienenden Wärmeprofil ist.
In einer Ausführungsform betrachtet der Benutzer die bestimmten sensiblen Daten innerhalb von weniger als 15 Minuten vor oder nach dem Ansehen der als Basislinie dienenden sensiblen Daten. Da der negative Effekt von Umgebungsveränderungen und normalen physiologischen Veränderungen umso kleiner sein kann, desto kürzer die Zeit zwischen dem Ansehen der als Basislinie dienenden sensiblen Daten und dem Ansehen der bestimmten sensiblen Daten ist, kann es in einigen Fällen nützlich sein, zeitnahe Ereignisse zu vergleichen. In einem Beispiel betrachtet der Benutzer die bestimmten sensiblen Daten unmittelbar vor und/oder nach dem Ansehen der als Basislinie dienenden sensiblen Daten. In einem anderen Beispiel betrachtet der Benutzer die bestimmten sensiblen Daten innerhalb von weniger als 5 Minuten vor und/oder nach dem Ansehen der als Basislinie dienenden sensiblen Daten.
In einer Ausführungsform ist die Schaltung außerdem dazu konfiguriert, Charakteristika der Umgebung zu erhalten, in der sich der Benutzer während des Ansehens der bestimmten sensiblen Daten befindet, und als Basislinie ein Ereignis auszuwählen, bei dem der Benutzer die als Basislinie dienenden sensiblen Daten während eines Aufenthalts in einer ähnlichen Umgebung angesehen hat. In einem Beispiel ist die Differenz der Umgebungstemperaturen ähnlicher Umgebungen kleiner als 2 °C. In einem anderen Beispiel ist die Differenz der Luftfeuchtigkeit ähnlicher Umgebungen kleiner als 5 Prozent. In einem weiteren Beispiel ist die Differenz des Sauerstoffanteils der Luft ähnlicher Umgebungen kleiner als 2 Prozent.
In einer Ausführungsform detektiert das System außerdem, dass der Benutzer das HMD bewegt hat, während er/sie gegenüber den bestimmten sensiblen Daten exponiert war, und erlaubt es dann dem Benutzer das Durchführen eines bestimmten Arbeitsvorgangs in Bezug auf die bestimmten sensiblen Daten nicht. In einem Beispiel umfasst der bestimmte Arbeitsvorgang mindestens einen der folgenden Arbeitsvorgänge: Kopieren, Lesen und Ändern der bestimmten sensiblen Daten. In einem anderen Beispiel beziehen sich die bestimmten sensiblen Daten auf Geld und umfasst der bestimmte Arbeitsvorgang einen elektronischen Zahlungsverkehr von einer Person oder Entität an eine andere Person oder Entität.
In einer anderen Ausführungsform detektiert das System außerdem, dass der Benutzer das HMD bewegt hat, während er/sie gegenüber den bestimmten sensiblen Daten exponiert war, und markiert es dann die Beziehung zwischen dem Benutzer und den bestimmten sensiblen Daten als verdächtig; und umfasst das System außerdem das Erstellen eines Sicherheitsalarms, nachdem das System detektiert hat, dass der Benutzer das HMD erneut bewegt hat, während er/sie gegenüber anderen sensiblen Daten exponiert war, die vom gleichen Typ wie die bestimmten sensiblen Daten sind.
Optional umfasst die ROI zumindest einen Teil einer Periorbitalregion des Gesichts des Benutzers.
8 ist eine schematische Darstellung eines Computers 400, der in der Lage ist, eine oder mehrere der hierin erörterten Ausführungsformen auszuführen. Der Computer 400 kann auf verschiedene Weise implementiert werden, wie beispielsweise jedoch nicht beschränkt auf: ein Server, ein Client, ein Personal Computer, eine Set-Top-Box (STB), ein Netzwerkgerät, ein Handheld-Gerät (z. B. ein Smartphone), in Wearable-Geräte integrierte Computergeräte (z. B. eine Smartwatch oder ein Computer, der in Kleidung integriert ist), in den menschlichen Körper implantierte Computergeräte und/oder jedwede andere Computerform, die in der Lage ist, eine Computeranweisung auszuführen. Darüber hinaus umfassen Verweise auf einen Computer jede Zusammenstellung aus einem oder mehreren Computern, die eine oder mehrere Computeranweisungen zur Durchführung einer oder mehrerer der offengelegten Ausführungsformen einzeln oder gemeinsam ausführen.
Der Computer 400 beinhaltet eine oder mehrere der folgenden Komponenten: Prozessor 401, Speicher 402, computerlesbarer Datenträger 403, Benutzerschnittstelle 404, Kommunikationsschnittstelle 405 und Bus 406. In einem Beispiel kann der Prozessor 401 eine oder mehrere der folgenden Komponenten umfassen: eine allgemeine Verarbeitungseinheit, ein Mikroprozessor, eine zentrale Verarbeitungseinheit, ein Complex-Instruction-Set-Computer-Mikroprozessor (CISC-Mikroprozessor), ein Reduced-Instruction-Set-Computer-Mikroprozessor (RISC-Mikroprozessor), ein Very-Long-Instruction-Word-Mikroprozessor (VLIW-Mikroprozessor), eine spezielle Verarbeitungseinheit, eine anwendungsspezifische integrierte Schaltung (ASIC), ein Field-Programmable-Gate-Array (FPGA), ein digitaler Signalprozessor (DSP), eine verteilte Verarbeitungseinheit und/oder ein Netzwerkprozessor. Des Weiteren kann der Speicher 402 des obigen Beispiels eine oder mehrere der folgenden Speicherkomponenten umfassen: CPU-Cache, Hauptspeicher, Festwertspeicher (Read-only-Memory, ROM), Dynamic-Random-Access-Memory (dynamisches RAM, DRAM) wie beispielsweise synchrones DRAM (SDRAM), Flash-Speicher, Static-Random-Access-Memory (statisches RAM, SRAM) und/oder ein Datenträger. Der Prozessor 401 und die eine oder mehreren Speicherkomponenten können miteinander über einen Bus, wie beispielsweise der Bus 406, kommunizieren.
Weiterhin kann die Kommunikationsschnittstelle 405 des obigen Beispiels eine oder mehrere Komponenten zur Verbindung mit einem oder mehreren der folgenden Kommunikationsnetze umfassen: LAN, Ethernet, Intranet, Internet, ein Glasfaserkommunikationsnetz, ein drahtgebundenes Kommunikationsnetz und/oder ein drahtloses Kommunikationsnetz. Optional wird die Kommunikationsschnittstelle 405 zur Herstellung einer Verbindung mit dem Netzwerk 408 verwendet. Zusätzlich oder alternativ kann die Kommunikationsschnittstelle 405 zur Herstellung einer Verbindung mit anderen Netzwerken und/oder anderen Kommunikationsschnittstellen verwendet werden. Des Weiteren kann die Benutzerschnittstelle 404 des obigen Beispiels eine oder mehrere der folgenden Komponenten umfassen: (i) ein Bilderzeugungsgerät wie beispielsweise ein Video-Display, ein Augmented-Reality-System, ein Virtual-Reality-System und/oder ein Mixed-Reality-System, (ii) ein Tonerzeugungsgerät wie beispielsweise ein oder mehrere Lautsprecher, (iii) ein Eingabegerät wie eine Tastatur, eine Maus, ein gestenbasiertes Eingabegerät, das aktiv oder passiv sein kann, und/oder eine Gehirn-Computer-Schnittstelle.
Zumindest einige der in dieser Offenlegung beschriebenen Verfahren, welche auch als „computerimplementierte Verfahren” bezeichnet werden können, werden auf einem Computer, wie beispielsweise der Computer 400, implementiert. Beim Implementieren eines Verfahrens aus der Menge der zumindest einigen Verfahren werden zumindest einige der zu dem Verfahren gehörenden Schritte durch den Prozessor 401 durch Ausführung von Anweisungen durchgeführt. Darüber hinaus können zumindest einige der Anweisungen zur Ausführung der in dieser Offenlegung beschriebenen Verfahren und/oder zur Implementierung der in dieser Offenlegung beschriebenen Systeme auf einem nichttransitorischen, computerlesbaren Datenträger gespeichert werden.
Ein vorgegebener Wert, wie beispielsweise ein vorgegebenes Konfidenzniveau oder ein vorgegebener Schwellenwert, ist hierin ein Festwert und/oder ein Wert, der zu einem beliebigen Zeitpunkt vor der Durchführung einer Berechnung, die einen bestimmten Wert mit dem vorgegebenen Wert vergleicht, bestimmt wird. Des Weiteren gilt ein Wert als ein vorgegebener Wert, wenn die Logik, die verwendet wird, um zu bestimmen, ob ein den Wert verwendender Schwellenwert erreicht wird, vor dem Beginn der Durchführung der Berechnungen zur Feststellung, ob der Schwellenwert erreicht wird, bekannt ist.
In dieser Beschreibung bedeuten Bezugnahmen auf „eine Ausführungsform”, dass das betreffende Merkmal in mindestens einer Ausführungsform der Erfindung enthalten sein kann. Darüber hinaus beziehen sich separate Bezugnahmen auf „eine Ausführungsform” oder „einige Ausführungsformen” in dieser Beschreibung nicht zwangsläufig auf dieselbe Ausführungsform. Darüber hinaus können sich Bezugnahmen auf „eine Ausführungsform”, „eine andere Ausführungsform” und „eine weitere Ausführungsform” nicht zwangsläufig auf verschiedene Ausführungsformen beziehen, können jedoch Begriffe sein, die bisweilen zur Darstellung verschiedener Aspekte einer Ausführungsform verwendet werden.
Die Ausführungsformen der Erfindung können jede Variante von Kombinationen und/oder Integrationen der Merkmale der hierin beschriebenen Ausführungsformen umfassen. Obgleich einige Ausführungsformen serielle Operationen darstellen können, können die Ausführungsformen bestimmte Operationen in paralleler und/oder in von den dargestellten Reihenfolgen abweichenden Reihenfolgen durchführen. Die Verwendung von wiederholten Referenzziffern und/oder -buchstaben im Text und/oder in den Zeichnungen erfolgt darüber hinaus im Sinne der Einfachheit und Übersichtlichkeit und schreibt an sich keine Beziehung zwischen den verschiedenen erörterten Ausführungsformen und/oder Konfigurationen vor. Die Ausführungsformen sind hinsichtlich ihrer Applikationen nicht auf die in der Beschreibung, in den Zeichnungen oder in den Beispielen festgelegte Reihenfolge der Schritte der Verfahren oder auf die in der Beschreibung, in den Zeichnungen oder in den Beispielen festgelegten Details der Implementierung der Geräte beschränkt. Darüber hinaus können die in den Zeichnungen dargestellten einzelnen Blöcke von funktioneller Natur sein und deshalb nicht zwangsläufig separaten Hardware-Elementen entsprechen. In den Patentansprüchen sind die Begriffe „erste”, „zweite” und so weiter lediglich als Ordnungsbezeichnungen zu interpretieren und sollen diese Begriffe nicht auf sich beschränkt sein.
Obgleich die hierin offengelegten Verfahren mit Bezug auf bestimmte, in einer bestimmten Reihenfolge durchgeführte Schritte beschrieben und dargestellt wurden, wird davon ausgegangen, dass diese Schritte zur Bildung eines äquivalenten Verfahrens ohne Abweichung von den Lehren der Ausführungsformen kombiniert, unterteilt und/oder umgeordnet werden können. Sofern nicht ausdrücklich hierin angegeben, stellen die Reihenfolge und Gruppierung der Schritte folglich keine Einschränkung der Ausführungsformen dar. Darüber hinaus werden die Verfahren und Mechanismen der Ausführungsformen aus Gründen der Übersichtlichkeit manchmal in der Singularform beschrieben. Sofern nicht anders angegeben, können einige Ausführungsformen jedoch mehrere Iterationen eines Verfahrens oder mehrere Instanziierungen eines Mechanismus enthalten. Wenn beispielsweise ein Prozessor in einer Ausführungsform offengelegt wird, soll der Umfang der Ausführungsform auch die Verwendung mehrerer Prozessoren umfassen. Bestimmte Merkmale der Ausführungsformen, die aus Gründen der Übersichtlichkeit im Kontext separater Ausführungsformen beschrieben worden sein können, können zudem in einer einzigen Ausführungsform in verschiedenen Kombinationen bereitgestellt werden. Umgekehrt können verschiedene Merkmale der Ausführungsformen, die aus Platzgründen im Kontext einer einzigen Ausführungsform beschrieben worden sein können, zudem separat oder in jedweder geeigneten Unterkombination bereitgestellt werden. In Verbindung mit konkreten Beispielen beschriebene Ausführungsformen werden beispielshalber und nicht einschränkungshalber dargestellt. Darüber hinaus ist es offensichtlich, dass auf dem Gebiet der Technik qualifizierten Personen viele Alternativen, Modifikationen und Variationen ersichtlich sein werden. Es ist davon auszugehen, dass andere Ausführungsformen angewendet und strukturelle Veränderungen vorgenommen werden können, ohne vom Umfang der Ausführungsformen abzuweichen. Dementsprechend soll diese Offenlegung alle solche Alternativen, Modifikationen und Variationen umfassen, die im Geist und Umfang der angefügten Patentansprüche und ihrer Entsprechungen liegen.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

US 6129673 [0024]
US 8360986 [0064, 0064, 0067, 0067]

Zitierte Nicht-Patentliteratur

Dillner, U., Kessler, E., & Meyer, H. G. (2013), Figures of merit of thermoelectric and bolometric thermal radiation sensors, J. Sens. Sens. Syst, 2, 85–94 [0030]
Graf, A., Arndt, M., & Gerlach, G. (2007), Seebeck’s effect in micromachined thermopiles for infrared detection. A review, Proc. Estonian Acad. Sci. Eng, 13(4), 338–353 [0031]
Pezzotti, G., Coppa, P., & Liberati, F. (2006), Pyrometer at low radiation for measuring the forehead skin temperature, Revista Facultad de Ingeniería Universidad de Antioquia, (38), 128–135 [0038]
Yang, M., Liu, Q., Turner, T., & Wu, Y (2008), Vital sign estimation from passive thermal video, In Computer Vision and Pattern Recognition, 2008 (pp. 1–8), CVPR 2008 IEEE [0061]
Tsiamyrtzis, P., Dowdall, J., Shastri, D., Pavlidis, I. T., Frank, M. G., & Ekman, P. (2007), Imaging facial physiology for the detection of deceit, International Journal of Computer Vision, 71(2), 197–214 [0085]
Pavlidis, I., Levine, J., & Baukol, S. (2000), Thermal imaging for anxiety detection, In Computer Vision Beyond the Visible Spectrum: Methods and Applications, 2000. Proceedings. IEEE Workshop on (pp. 104–109) [0086]
Shastri, D., Papadakis, M., Tsiamyrtzis, P., Bass, B., & Pavlidis, I. (2012), Perinasal imaging of physiological stress and its affective potential, Affective Computing, IEEE Transactions on, 3(3), 366–378 [0092]

Claims

System, umfassend: eine erste und eine zweite Wärmekamera, die physikalisch mit einem Gestell verbunden sind, das dazu konfiguriert ist, am Kopf eines Benutzers getragen zu werden; die erste Wärmekamera ist dazu konfiguriert, thermische Messwerte einer ersten interessierenden Region (TH_ROI1) zu erfassen, wobei die erste interessierende Region (ROI₁) zumindest einen Teil der rechten Seite der Stirn des Benutzers umfasst; und die zweite Wärmekamera ist dazu konfiguriert, thermische Messwerte einer zweiten interessierenden Region (TH_ROI2) zu erfassen, wobei die zweite interessierende Region (ROI₂) zumindest einen Teil der linken Seite der Stirn des Benutzers umfasst; wobei die erste und die zweite Wärmekamera sich nicht in physikalischem Kontakt mit ihrer jeweiligen interessierenden Region (ROI) befinden, die Überschneidung zwischen der ROI₁ und ROI₂ kleiner als 80 % des kleinsten Bereichs aus der Menge der Bereiche von ROI₁ und ROI₂ ist und die Wärmekameras aufgrund ihrer Verbindung mit dem Gestell auf ihre jeweilige ROI gerichtet bleiben, wenn der Kopf des Benutzers winkelförmige Bewegungen macht.
System, umfassend: eine erste und eine zweite Wärmekamera, die physikalisch mit einem Gestell verbunden sind, das dazu konfiguriert ist, am Kopf eines Benutzers getragen zu werden; die erste Wärmekamera ist dazu konfiguriert, thermische Messwerte einer ersten interessierenden Region (TH_ROI1) zu erfassen, wobei die ROI₁ zumindest einen Teil des Stirnasts der rechten oberflächlichen Schläfenarterie des Benutzers umfasst; und die zweite Wärmekamera ist dazu konfiguriert, thermische Messwerte einer zweiten interessierenden Region (TH_ROI2) zu erfassen, wobei die ROI₂ zumindest einen Teil des Stirnasts der linken oberflächlichen Schläfenarterie des Benutzers umfasst; wobei die erste und die zweite Wärmekamera sich nicht in physikalischem Kontakt mit ihrer jeweiligen ROI befinden und die Wärmekameras aufgrund ihrer Verbindung mit dem Gestell auf ihre jeweilige ROI gerichtet bleiben, wenn der Kopf des Benutzers winkelförmige Bewegungen macht.
System, umfassend: eine erste und eine zweite Wärmekamera, die physikalisch mit einem Gestell verbunden sind, das dazu konfiguriert ist, am Kopf eines Benutzers getragen zu werden; die erste Wärmekamera ist dazu konfiguriert, thermische Messwerte einer ersten interessierenden Region (TH_ROI1) zu erfassen, wobei die ROI₁ zumindest einen Teil der rechten oberflächlichen Schläfenarterie des Benutzers umfasst; und die zweite Wärmekamera ist dazu konfiguriert, thermische Messwerte einer zweiten interessierenden Region (TH_ROI2) zu erfassen, wobei die ROI₂ zumindest einen Teil der linken oberflächlichen Schläfenarterie des Benutzers umfasst; wobei die erste und die zweite Wärmekamera sich nicht in physikalischem Kontakt mit ihrer jeweiligen ROI befinden und die Wärmekameras aufgrund ihrer Verbindung mit dem Gestell auf ihre jeweilige ROI gerichtet bleiben, wenn der Kopf des Benutzers winkelförmige Bewegungen macht.
System des Anspruchs 3, wobei das System dazu konfiguriert ist, TH_ROI1 und TH_ROI2 an einen Prozessor weiterzuleiten, der dazu konfiguriert ist, eine physiologische Reaktion auf der Grundlage von TH_ROI1 und TH_ROI2 zu erkennen.
System des Anspruchs 4, wobei die physiologische Reaktion indikativ für den arteriellen Puls des Benutzers ist.
System des Anspruchs 4, wobei die physiologische Reaktion indikativ für mindestens einen der folgenden Zustände ist: Stress, psychische Arbeitsbelastung, Furcht, Angst, Schmerz, Kopfschmerzen und Schlaganfall.
Wearable-System, das dazu konfiguriert ist, thermische Messwerte zu erfassen, die eine Erkennung einer physiologischen Reaktion ermöglichen, umfassend: ein Gestell, das dazu konfiguriert ist, am Kopf eines Benutzers getragen zu werden; eine erste und eine zweite Wärmekamera, die physikalisch mit dem Gestell an Stellen verbunden sind, die sich rechts und links von der das Gesicht des Benutzers in die rechte beziehungsweise linke Seite unterteilenden Symmetrieachse und weniger als 15 cm von der rechten beziehungsweise linken Pupille des Benutzers entfernt befinden; die erste Wärmekamera ist dazu konfiguriert, thermische Messwerte einer ersten interessierenden Region (TH_ROI1) zu erfassen, wobei die ROI₁ zumindest einen Teil der rechten Seite der Stirn des Benutzers umfasst; die zweite Wärmekamera ist dazu konfiguriert, thermische Messwerte einer zweiten interessierenden Region (TH_ROI2) zu erfassen, wobei die ROI₂ zumindest einen Teil der linken Seite der Stirn des Benutzers umfasst; eine dritte und vierte Wärmekamera, die physikalisch mit dem Gestell an Stellen verbunden sind, die sich rechts beziehungsweise links von der Symmetrieachse, weniger als 15 cm von der Oberlippe des Benutzers entfernt und unterhalb der ersten und zweiten Wärmekamera befinden; die dritte Wärmekamera ist dazu konfiguriert, thermische Messwerte einer dritten interessierenden Region (TH_ROI3) zu erfassen, wobei die ROI₃zumindest einen Teil der rechten Oberlippe des Benutzers umfasst; die vierte Wärmekamera ist dazu konfiguriert, thermische Messwerte einer vierten interessierenden Region (TH_ROI4) zu erfassen, wobei die ROI₄ zumindest einen Teil der linken Oberlippe des Benutzers umfasst; wobei sich die dritte und vierte Wärmekamera außerhalb der Ausatemströme des Mundes und der Nasenlöcher befinden und wobei sich die Wärmekameras nicht in physikalischem Kontakt mit ihrer jeweiligen ROI befinden; und das System ist dazu konfiguriert, TH_ROI1, TH_ROI2, TH_ROI3 und TH_ROI4 an einen Prozessor weiterzuleiten, der dazu konfiguriert ist, die physiologische Reaktion zu erkennen.
System, das dazu konfiguriert ist, thermische Messwerte und Messwerte sichtbaren Lichts des Gesichts eines Benutzers aus ortsfesten relativen Positionen zu erfassen, umfassend: ein Gestell, das dazu konfiguriert ist, am Kopf des Benutzers getragen zu werden; eine erste Wärmekamera, eine zweite Wärmekamera und eine Kamera für sichtbares Licht, die physikalisch mit dem Gestell verbunden sind; die erste Wärmekamera ist dazu konfiguriert, thermische Messwerte einer ersten interessierenden Region (TH_ROI1) zu erfassen, wobei die ROI₁ zumindest einen Teil des Bereichs um die Augen des Benutzers umfasst; die zweite Wärmekamera ist dazu konfiguriert, thermische Messwerte einer zweiten interessierenden Region (TH_ROI2) zu erfassen, wobei die ROI₂ zumindest einen Teil der Oberlippe des Benutzers umfasst; und die Kamera für sichtbares Licht ist dazu konfiguriert, Bilder einer dritten interessierenden Region (IM_ROI3) zu erfassen, wobei die ROI₃ zumindest einen Teil des Gesichts des Benutzers umfasst; wobei die Wärmekameras und die Kamera für sichtbares Licht eine ortsfeste Positionierung relativ zueinander und relativ zu ihrer jeweiligen ROI beibehalten, wenn der Kopf des Benutzers winkelförmige Bewegungen macht.