CH720203A2 - Verfahren und Vorrichtung für die Modifikation der affektiven visuellen Information im Blickfeld eines Benutzers - Google Patents

Abstract

Gemäss der vorliegenden Erfindung wird die affektive (emotionale) Kommunikation zwischen Gesichtern in solcher Art moduliert, dass die automatisierte kognitive Verarbeitung der Information beim Beobachter, durch Interponierung z.B. einer AR-Brille oder Kontaktlinse verändert wird. Bei emphatischen Individuen erfolgt diese Verarbeitung unbemerkt und ist für die Entstehung von Stresssymptomen verantwortlich. Durch die Reduktion des Informationsgehaltes im Überlagerungsbereiches des interponierten Gerätes mit dem Bereich des gesehenen Gesichtes wird die Stressreaktion reduziert bzw. verhindert. Der Ursprung des Informationsaustausches zwischen Gesichtern ist die triangulierte Mikrorotation des Blickpunktes beim Beobachter zwischen Auge-Auge-Mund. Das Gehirn überlagert Schicht über Schicht (eine pro Rotation) auf der Zeitachse und leitet daraus unbemerkt Informationen ab die emotional wahrgenommen und automatisiert interpretiert werden. Dabei werden auch Gesichtsausdrücke miteinbezogen die nicht für den Beobachter gedacht sind und dadurch irrtümlich den Stresslevel erhöhen und auf längere Sicht den Selbstwert des Beobachters unbemerkt reduzieren. Man kann die interponierte Aperatur als „Sonnenbrille“ gegen negative, „ansteckende Affekte“ bezeichnen.

Description

[0001] Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur Veränderung der affektiven visuellen Information im Gesichtsfeld, insbesondere im Blickfeld, eines Benutzers. Die Vorrichtung weist zumindest einen Bildsensor und zumindest eine Anzeige sowie eine Verarbeitungseinheit auf, die mit dem Bildsensor und der Anzeige verbunden ist, wobei der Bildsensor zur Erfassung eines Bilds eines Sichtfelds der Vorrichtung eingerichtet ist, wobei die Anzeige zum Überlagern des Gesichtsfelds eines Benutzers in einem Uberlagerungsbereich der Anzeige mit alternativen Bilddaten eingerichtet ist.

[0002] Als Gesichtsfeld des Benutzers wird hier jener Raumwinkel bzw. Bereich des Außenraums bezeichnet, aus dem zumindest ein Auge des Benutzers Lichtimpulse aufnehmen und auswerten kann. Es setzt sich aus den monokularen Gesichtsfeldern der beiden Augen zusammen. Im Vergleich dazu wird als Blickfeld hier jener Bereich bezeichnet, der alle bei ruhiger Kopf- und Körperhaltung mit den Augen nacheinander zentral fixierbaren Sehobjekte im Außenraum enthalt; dieser Bereich wird genauer auch als monokulares Blickfeld bezeichnet. Das Sichtfeld bezeichnet schließlich den Bereich im Bildwinkel eines optischen Instruments oder einer optischen Vorrichtung, d.h. den durch die Vorrichtung sichtbaren (mit einem Auge) oder abbildbaren (z.B. mit einem Bildsensor) Bereich des Außenraums.

[0003] Es sind Vorrichtungen und Verfahren bekannt, mit denen eine Einblendung von zusätzlicher, d.h. über die Wiedergabe der Umgebung hinausgehender, Information im Gesichtsfeld eines Benutzers möglich ist. Solche Vorrichtungen und Verfahren werden unter dem Begriff „Augmented Reality“ (AR) zusammengefasst. Beispielsweise zeigt die US 2011/0214082 A1 eine solche Vorrichtung in der Art einer am Kopf getragenen (Head-Mounted) Sichtvorrichtung mit Durchsicht-Displays, die kurz als „AR-Brille“ bezeichnet werden kann. Diese Vorrichtung umfasst eine Kamera zur Erfassung von Bildern der Umgebung, insbesondere eines Sichtfelds der Vorrichtung. Diese Bilder können verarbeitet und die Ergebnisse der Verarbeitung zur Auswahl der eingeblendeten Information verwendet werden. Derartige AR-Vorrichtungen verfolgen generell das Ziel, den Benutzer mit Information zu versorgen, die über die in der Umgebung unmittelbar optisch wahrnehmbare Information hinaus geht („to augment“ bedeutet erweitern, anreichern) und sich davon unterscheidet.

[0004] In einem anderen technischen Zusammenhang, bei Videokonferenzsystemen, ist es bekannt, durch Überblendungen bestimmter Bildbereiche die vom Benutzer unmittelbar optisch wahrnehmbare Information zu verändern. Die US 9,060,095 B2 beschreibt ein Verfahren, bei dem das Gesicht eines Teilnehmers an einer Videokonferenz durch ein Ersatzbild, z.B. ein schematisches Gesicht oder ein fremdes Gesicht, ersetzt wird. Damit wird das Ziel verfolgt, die Identität des Teilnehmers vor den anderen Teilnehmern der Videokonferenz zu verbergen. Das überblendete Gesicht des betreffenden Teilnehmers ist für die anderen Teilnehmern nicht sichtbar oder erkennbar. Ein solcher Schutz der Identität ist naturgemäß nicht auf AR-Anwendungen übertragbar, weil ein Träger einer AR-Vorrichtung wie oben beschrieben diese abnehmen kann, um das tatsächliche Gesicht seines Gegenüber zu sehen. Dementsprechend würde es dem Zweck des Verfahrens zuwider laufen, es für Personen in der Umgebung eines Trägers einer AR-Vorrichtung verwenden zu wollen.

[0005] Es ist eine Aufgabe der Erfindung, ein Verfahren und eine Vorrichtung vorzuschlagen, mit denen eine Anpassung der affektiven Perzeption eines Benutzers beim Betrachten seiner Umgebung erzielbar ist.

[0006] Das erfindungsgemäße Verfahren zur Veränderung der affektiven visuellen Information im Gesichtsfeld, insbesondere im Blickfeld, eines Benutzers einer Vorrichtung mit zumindest einem Bildsensor und zumindest einer Anzeige umfasst die Schritte: Erfassen eines Bilds eines Sichtfelds der Vorrichtung mit dem Bildsensor, Durchführen einer Gesichtserkennung mit dem erfassten Bild zur Erkennung zumindest eines Gesichts, Ermitteln der Positionen von Augen und Mund des erkannten Gesichts, Berechnen eines Überlagerungsbereichs in der Anzeige der Vorrichtung in Abhängigkeit von den ermittelten Positionen von Augen und Mund, und Überlagern des Gesichtsfelds eines Benutzers der Vorrichtung in dem berechneten Überlagerungsbereich der Anzeige mit alternativen Bilddaten. Das Sichtfeld der Vorrichtung ist in der Regel ein Ausschnitt aus dem Gesichtsfeld des Benutzers. Es entspricht nicht notwendiger Weise dem vom Bildsensor abgebildeten Bereich, insbesondere kann der abgebildete Bereich das Sichtfeld der Vorrichtung umfassen und über dieses hinaus gehen. Der Bildsensor kann z.B. Teil einer Blickfeldkamera sein, die ein größeres Sichtfeld als die Vorrichtung selbst hat. Die Vorrichtung kann z.B. eine Brille, eine Kamera, ein Fernglas, ein Visier, oder eine andere optische Vorrichtung sein. Der Bildsensor und die Anzeige sind Teil derselben Vorrichtung und haben vorzugsweise eine feste relative Anordnung. Bei der Gesichtserkennung werden die Anzahl und die Positionen von Gesichtern in dem mit dem Bildsensor erfassten Bild erkannt. Eine solche Gesichtserkennung kann mit herkömmlichen Mitteln und Algorithmen erfolgen. Beim Berechnen des Überlagerungsbereichs werden im Wesentlichen die Position und Abmessungen des Überlagerungsbereichs in der Anzeige berechnet. Das Überlagern des Gesichtsfelds oder Blickfelds des Benutzers wird insbesondere durch Einblenden in ein Sichtfeld der Vorrichtung mit der Anzeige erzielt.

[0007] Die erfindungsgemaße Vorrichtung der eingangs angeführten Art zur Veränderung der affektiven visuellen Information im Gesichtsfeld, insbesondere im Blickfeld, eines Benutzers, ist dadurch gekennzeichnet, dass die Verarbeitungseinheit eingerichtet ist, eine Gesichtserkennung mit einem vom Bildsensor erfassten Bild durchzufuhren, Positionen von Augen und Mund eines bei der Gesichtserkennung erkannten Gesichts zu ermitteln und einen Überlagerungsbereich in der Anzeige für das Überlagern des Gesichtsfelds in Abhängigkeit von den ermittelten Positionen von Augen und Mund zu berechnen. Bei der Vorrichtung handelt es sich vorzugsweise um eine AR-Vorrichtung. Der Inhalt der Anzeige wird unter Verwendung der vom Bildsensor erfassten Daten gesteuert, wobei sich Anzeige und Bildsensor im Wesentlichen am selben Ort befinden, namentlich als Teil derselben Vorrichtung.

[0008] Durch das Überlagern des Gesichtsfelds des Benutzers in einem Überlagerungsbereich, welcher von den Positionen von Augen und Mund erkannter Gesichter abhängt, kann eine spezifische Überlagerung dieser Gesichter erzielt werden, welche für eine Regulation der visuellen Wahrnehmung von Affekten an Personen im Gesichtsfeld bzw. Blickfeld des Benutzers verwendet werden kann.

[0009] Es hat sich herausgestellt, dass eine solche Regulation der visuellen Wahrnehmung von Affekten einen signifikanten Einfluss auf die Empathiefähigkeit der so unterstützten Personen hat. Beispielsweise konnte bei Personen mit AD(H)S ein positiver Einfluss einer solchen Regulation auf das Selbstvertrauen und eine auf eine gute Selbstwirksamkeit festgestellt werden. Außerdem können Stressreaktionen in der sozialen Interaktion kontrolliert und gedampft werden.

[0010] Als affektive Information werden in diesem Zusammenhang sämtliche Signale bezeichnet, welche eine Emotion eines Individuums ausdrucken. Abhängig von der psychischen Verfassung des Individuums umfassen diese Informationen graduelle Ausdrucke tatsächlicher Emotionen und Ausdrücke zur Überdeckung der tatsächlichen Emotionen („affektive Fassade“) bzw. bei Fehlen spezifischer Emotionen Ausdrücke kognitiv erzeugter, als erwartet oder nutzlich eingeschatzter Emotionen. Ebenso wie die Ausdrucksstärke ist auch die Perzeptionsstärke für affektive Informationen individuell verschieden und abhängig von der psychischen Verfassung sowie auch genetisch veranlagt.

[0011] Das Überlagern des Gesichtsfelds umfasst vorzugsweise ein Darstellen der alternativen Bilddaten im Überlagerungsbereich der Anzeige.

[0012] Dementsprechend kann die Anzeige ein Bildschirm oder ein Display, insbesondere ein transparentes Display, sein.

[0013] Vorzugsweise entspricht die Veränderung der affektiven visuellen Information einer graduelle Senkung oder Verstärkung der affektiven visuellen Information. D.h. die affektive visuelle Information wird vorzugsweise nicht vollständig gelöscht oder überschrieben. Die graduelle Senkung oder Verstärkung kann beispielsweise durch lokale, graduelle Veränderung der Durchsichtigkeit eines Displays erzielt werden. Beispielsweise kann die Durchsichtigkeit in einem Überlagerungsbereich auf einen geeigneten Prozentsatz, z.B. auf 50 %, gesenkt werden.

[0014] Dementsprechend ist das vorliegende Verfahren vorzugsweise ein Verfahren zur, insbesondere graduellen, Verringerung/Senkung/Störung oder Verstärkung/Steigerung der affektiven visuellen Information im Gesichtsfeld eines Benutzers der vorliegenden Vorrichtung.

[0015] Vorteilhafter Weise kann ein fließender Übergang an der Grenze oder Kante des Überlagerungsbereichs vorgesehen sein. Beispielsweise kann ein gradueller Kantenverlauf mittels linearer Variation der Durchsichtigkeit erzielt werden. Dabei kann die Durchsichtigkeit in einem Ubergangsbereich des Überlagerungsbereichs an der Grenze des Überlagerungsbereichs in Richtung normal zu der Grenze des Überlagerungsbereichs von innerhalb des Überlagerungsbereichs nach außerhalb des Überlagerungsbereichs zunehmen. Der Ubergangsbereich entspricht im Wesentlichen einem Streifen entlang der Grenze des Überlagerungsbereichs. Die Breite des Übergangsbereichs ist vorzugsweise an die Breite des Überlagerungsbereichs angepasst; sie betragt z.B. zwischen 5 und 30 % der Breite des Überlagerungsbereichs, vorzugsweise zwischen 15 und 25 %. Die Variation der Durchsichtigkeit ist vorzugsweise linear über die Breite des Ubergangsbereichs und variiert vorzugsweise zwischen vollständiger Durchsichtigkeit (oder maximaler Durchsichtigkeit der verwendeten Anzeige) an der Grenze des Überlagerungsbereichs und der gewählten Durchsichtigkeit außerhalb des Übergangsbereichs (d.h. im Rest des Überlagerungsbereichs), z.B. vollständiger Undurchsichtigkeit (oder minimaler Durchsichtigkeit der Anzeige). Der Durch den Übergangsbereich erzielte fließende Übergang verringert eine durch die Überlagerung verursachte Irritation des Benutzers.

[0016] Vorzugsweise weist die Vorrichtung zwei voneinander in einem festen Abstand angeordnete Bildsensoren auf. Dadurch wird die Bestimmung des Abstands zu einem erkannten Gesicht ermöglicht, wodurch eine genauere Berechnung der Abmessungen des Überlagerungsbereichs in der Anzeige ermöglicht wird.

[0017] Besonders bevorzugt umfasst die Vorrichtung eine Augmented Reality Brille. Geeignete Brillen werden beispielsweise von Osterhout Design Group, 153 Townsend Street, Suite 570 San Francisco, CA 94107 angeboten, insbesondere deren Produkte „R-6“ oder „R-7 Smartglasses System“.

[0018] Der Überlagerungsbereich kann im Wesentlichen einem zwischen den Positionen der beiden Augen und des Munds aufgespannten Dreieck entsprechen. D.h. das Berechnen des Uberlagerungsbereichs umfasst ein Verbinden der Positionen und Ermitteln der in dem (oder den) eingeschlossenen Dreieck(en) angeordneten Bildpunkte der Anzeige. Alternativ können auch andere geometrische Formen verwendet werden, deren Größe entsprechend dem besagten Dreieck skaliert wird. Beispielsweise kann ein symmetrisches Trapez verwendet werden, bei dem die breitere Grundseite im Bereich der Augenpositionen angeordnet ist. Optional kann die breitere Grundseite durch ein Rechteck nach oben verlängert sein. Es hat sich herausgestellt, dass im Bereich des Auge-Auge-Mund Dreiecks die größte affektive Datenmenge transportiert wird, insbesondere durch die mimische Muskulatur. Ein vergleichsweise geringerer Teil der affektiven Information wird in der üblichen zwischenmenschlichen Interaktion durch die Stimmlage und die Körperhaltung vermittelt. Ein Überlagern der Informationen in diesem Bereich des Gesichtsfelds hat daher eine Verringerung der vom Benutzer wahrgenommenen affektiven Information zur Folge, was zur Regulation genutzt werden kann. Somit kann die von Benutzern mit ungewöhnlich starker affektiver Perzeption wahrgenommenen affektiven Information auf ein Niveau gesenkt werden, welches einer durchschnittlichen affektiven Perzeption entspricht.

[0019] Andererseits kann der Überlagerungsbereich auch im Wesentlichen das gesamte Blickfeld außerhalb eines zwischen den Positionen der beiden Augen und des Munds aufgespannten Dreiecks umfassen. D.h. in diesem Fall umfasst das Berechnen des Überlagerungsbereichs ein Verbinden der Positionen und Ermitteln der außerhalb des oder der eingeschlossenen Dreiecks bzw. Dreiecke angeordneten Bildpunkte der Anzeige. Ein Überlagern des Bereichs außerhalb der so genannten Auge-Auge-Mund Dreiecke ermöglicht ein Hervorheben der Auge-Auge-Mund Dreiecke und ein Lenken der Aufmerksamkeit auf diese Dreiecke, z.B. durch Abblenden des übrigen, überlagerten Bereichs. Die Überlagerung hat dann eine Verstärkung der vom Benutzer wahrgenommenen affektiven Information zur Folge. Somit kann die von Benutzern mit ungewöhnlich schwacher affektiver Perzeption wahrgenommenen affektiven Informationen auf ein Niveau gehoben werden, welches einer durchschnittlichen affektiven Perzeption entspricht.

[0020] Die Verarbeitungseinheit der gegenständlichen Vorrichtung kann vorzugsweise eine Gesichtserkennungssoftware aufweisen. Mittels der Gesichtserkennungssoftware können einerseits Gesichter in den erfassten Bilddaten erkannt und die Positionen von Augen und Mund der einzelnen erkannten Gesichter bestimmt werden.

[0021] Die alternativen Bilddaten können vorzugsweise einer veränderten Abbildung des Sichtfelds der Vorrichtung im Uberlagerungsbereich entsprechen, wobei die Veränderung der Abbildung eine Veränderung der Helligkeit, eine Verringerung einer Bildauflösung, eine Veränderung der Zeichnung (auch als Scharfe bezeichnet) und/oder des Kontrastes, eine farbliche Markierung (z.B. mittels eines Rahmens und/oder einer farblichen Tonung) und/oder eine Manipulation der Gesichtszuge umfasst. Die genannten Veränderungen der Abbildung erhalten einen Teil der ursprünglichen Information im Uberlagerungsbereich. D.h. es werden nicht alle optischen Informationen im Überlagerungsbereich ersetzt. Dadurch ist die Überlagerung weniger auffällig für den Benutzer, sodass dessen Aufmerksamkeit nicht ungewollt auf den Uberlagerungsbereich gelenkt wird. Eine solche für die Umgebung unwillkürlich erscheinende Ablenkung könnte unnatürlich und irritierend auf ein Gegenüber des Benutzers wirken, was mit den vorgeschlagenen Veränderungen vermeidbar ist. Als besonders günstig hat sich eine im Wesentlichen hautfarbene Färbung im Überlagerungsbereich herausgestellt. Eine besonders geringe Irritation der Wahrnehmung bei zugleich effektiver Störung der affektiven visuellen Information kann mit einem teilweise transparenten, vorzugsweise horizontalen, Streifenmuster im Überlagerungsbereich erzielt werden. Die Anzahl der Streifen innerhalb eines erkannten Gesichtsbereichs ist vorzugsweise großer als vier und kleiner als 50. Die Farbe des Streifenmusters kann zwischen der Farbe von erkannten Gesichtsfalten (dunkel) und relativ planen Gesichtsflachen (hell) variieren und so auf das jeweils erkannte Gesicht abgestimmt sein.

[0022] Weiters ist es günstig, im Rahmen des vorliegenden Verfahrens ein Erfassen des Signals zumindest eines Biofeedback-Sensors vorzusehen, wobei die Überlagerung in Abhängigkeit von dem Signal des Biofeedback-Sensors aktiviert wird. Vorzugsweise kann eine Überlagerung nur bei einem vom Biofeedback-Sensor ermittelten Stress-Level oberhalb einer vordefinierten Schwelle aktiviert werden, sodass unterhalb der Schwelle eine unveränderte Wahrnehmung der Umgebung möglich ist. Die Überlagerung wird dabei vorzugsweise nur für eine festgelegte kurze Zeitspanne aktiviert, nach deren Ablauf wieder das unveränderte Sichtfeld wahrnehmbar ist. Als Biofeedback-Sensor kann insbesondere ein Stress-Sensor, z.B. ein Photoplethysmogram (PPG) oder ein Sensor zur Messung des Hautwiderstands, der Hauttemperatur, der Herzfrequenz und/oder der Bewegung des Körpers verwendet werden. Ein derartiger Biofeedback-Sensor ist beispielsweise das Produkt „Q Sensor“ der Firma Affectiva, 465 Waverley Oaks Road, Suite 320, Waltham, MA 02452, United States oder die Produkte „Embrace“ und „E4“ der Firma Empatica Inc, 1 Broadway, 14th Floor, Cambridge, MA 02142, United States.

[0023] Dementsprechend kann die gegenständliche Vorrichtung einen Biofeedback-Sensor umfassen, wobei die Verarbeitungseinheit mit dem Biofeedback-Sensor verbunden und eingerichtet ist, die Überlagerung in Abhängigkeit von einem Signal des Biofeedback-Sensors zu aktivieren.

[0024] Im Zusammenhang mit der Auswertung des Signals eines Biofeedback-Sensors ist es besonders vorteilhaft, wenn ein Ausmaß der Veränderung der Abbildung in Abhängigkeit von dem Signal des Stress-Sensors ermittelt wird. Beispielsweise kann auf diese Weise mit zunehmenden Stress-Level eine stärkere Abblendung der affektiven Information vorgenommen werden und umgekehrt. Dadurch kann ein negativer Kreislauf, bei dem die Wahrnehmung des Gegenübers von erhöhtem Stress beim Benutzer zu einer affektiven Information beiträgt, die den Stress weiter erhöht, frühzeitig durchbrochen werden. Zugleich kann die Veränderung der Abbildung auf jene Situationen beschränkt werden, in denen sie erforderlich oder hilfreich ist (z.B. bei Stress oder Angst). Außerhalb dieser Situationen wird die Veränderung der affektiven Information auf ein Minimum beschränkt, sodass eine natürliche gegenseitige Wahrnehmung erzielt wird.

[0025] Ebenfalls im Zusammenhang mit dem Erfassen des Signals zumindest eines Biofeedback-Sensors können im Rahmen des vorliegenden Verfahrens die alternativen Bilddaten einer Referenzaufnahme des überlagerten Gesichtsbereichs entsprechen. Die Referenzaufnahme kann bei einem festgestellten geringen oder normalen Stress-Level gespeichert werden. Somit zeigt die Referenzaufnahme beispielsweise einen Gesichtsausdruck mit geringer visueller affektiver Information und/oder mit positiver oder beruhigender visueller affektiver Information. Sobald ein hohes Stress-Level festgestellt wird, kann die Referenzaufnahme zur Überlagerung desselben Gesichts verwendet werden. Zur Skalierung und Ausrichtung der Referenzaufnahme wird das sowohl in der Referenzaufnahme als auch im Überlagerungsbereich erkannte Auge-Auge-Mund Dreieck verwendet. Durch die Überlagerung z.B. eines Gesichtsbereichs mit einer Referenzaufnahme desselben Gesichtsbereichs kann ein besonders natürliches Bild und folglich eine besonders geringe Irritation des Benutzers erzielt werden.

[0026] Bei Vorrichtungen, bei denen abhängig von der Augenposition des Benutzers bei der Verwendung der Vorrichtung von der Position der Augen abhangt, ist es vorteilhaft, wenn das vorliegende Verfahren vor dem Berechnen des Überlagerungsbereichs, ein Kalibrieren der Anzeige der Vorrichtung für einen Benutzer, wobei ein Augenabstand und eine Distanz zwischen den Augen und der Anzeige ermittelt werden, wobei der ermittelte Augenabstand und die ermittelte Distanz beim Berechnen eines Überlagerungsbereichs in der Anzeige berücksichtigt werden, vorsieht. Durch die Kalibrierung kann der Überlagerungsbereich genauer berechnet werden, sodass eine gezielte Überlagerung bestimmter, genau abgegrenzter Bereiche im Sichtfeld der Vorrichtung ermöglicht wird. Ohne eine Kalibrierung muss demgegenüber der Fehler einer Schätzung des Augenabstands und der Distanz zur Anzeige berücksichtigt werden, weshalb ein vergleichsweise größerer Überlagerungsbereich berechnet werden muss, um die gewünschte Überlagerung zuverlässig zu erzielen.

[0027] Weiters hat es sich als günstig herausgestellt, im Rahmen des gegenständlichen Verfahrens ein Auslosen einer optionalen Benutzerbenachrichtigung vorzusehen, wenn ein gekoppelter Biofeedback-Sensor, insbesondere ein gekoppelter Stresssensor, aktiviert wird (z.B. mittels Messung von Pulsfrequenz, Muskeltonus, EEG-Messung und/oder Hautleitgeschwindigkeit), d.h. wenn ein Signal eines gekoppelten Biofeedback-Sensors eine vordefinierte Schwelle überschreitet, und/oder wenn die Gesichtserkennung (z.B. in Form einer Gesichtserkennungssoftware) eine affektive Auslenkung oder Resonanz oberhalb einer vordefinierten Schwelle an einem erkannten Gesicht (d.h. an der Person gegenüber) detektiert und/oder wenn eine Stimmerkennung eine Stimme einer Person erkennt, die als Stressor in einer Datenbank vorab gespeichert wurde. Eine solche Benutzerbenachrichtigung oder Notifikation kann mit einem haptischen Signal (z.B. Vibration), akustischen Signal (z.B. Alarm) oder optischen Signal (z.B. blinkende Anzeige) erzielt werden, welche von einem Impulsgeber abgegeben werden.

[0028] In entsprechender Weise kann die gegenständliche Vorrichtung vorzugsweise eine Benachrichtigungseinrichtung umfassen, welche zur Abgabe eines optischen, akustischen oder haptischen Signals eingerichtet ist, wobei die Verarbeitungseinheit mit der Benachrichtigungseinrichtung verbunden und eingerichtet ist, ein optisches, akustisches oder haptisches Signal auszulösen, wenn ein spezifisches affektives Muster und/oder eine einem spezifischen Affekt zugeordnete Person erkannt wird. Als spezifisches affektives Muster wird hier sowohl eine affektive Reaktion des Benutzers der Vorrichtung verstanden, welche z.B. mittels eines Biofeedback-Sensors festgestellt werden kann, als auch eine affektive Reaktion des Gegenübers, d.h. an dem zumindest einen erkannten Gesicht, welche beispielsweise im Rahmen der Gesichtserkennung anhand des Gesichtsausdrucks festgestellt werden kann. Eine einem spezifischen Affekt zugeordnete Person kann beispielsweise im Rahmen einer zusätzlichen Stimmerkennung in Verbindung mit einer Datenbank von vorab als Stressor gespeicherten Personen bzw. deren Stimmcharakteristika festgestellt werden.

[0029] Die Benachrichtigung ermöglicht einem Benutzer mit geringer affektiver Perzeptionsstärke, sich die von einem Gegenüber transportierte affektive Information bewusst zu machen bzw. bewusst wahrzunehmen und entsprechend zu reagieren. Bei Anwendung der Vorrichtung oder des Verfahrens über einen längeren Zeitraum wird die Aufmerksamkeit für affektive Information durch die Benachrichtigungen trainiert und so die natürliche Empathie-Fähigkeit des Benutzers gesteigert.

[0030] Vorzugsweise kann die Überlagerung in Abhängigkeit von der oben erwähnten Stimmerkennung aktiviert werden, wobei die Überlagerung nur dann aktiviert wird, wenn die Stimme einer in einer dafür vorgesehenen Datenbank (von Stressoren) hinterlegten Person erkannt wird.

[0031] In einer weiteren bevorzugten Ausfuhrungsform kann die Überlagerung in Abhängigkeit von der Identifizierung eines erkannten Gesichts aktiviert werden, wobei die Überlagerung nur dann aktiviert wird, wenn das Gesicht einer in einer dafür vorgesehenen Datenbank (von Stressoren) hinterlegten Person erkannt und identifiziert wird.

[0032] Vorzugsweise kann im Rahmen der Erfindung vom Benutzer aus mindestens drei Betriebsmodi ausgewählt werden: 1) eine permanent aktivierte Überlagerung, d.h. jedes erkannten Gesichts; 2) eine personenspezifische Überlagerung, wobei die Überlagerung abhängig von einer Stimmerkennung und/oder Gesichtserkennung aktiviert wird; 3) Aktivierung der Überlagerung mittels Biofeedback-Sensor (bzw. Stresssensor), d.h. wobei die Überlagerung in Abhängigkeit vom Stress-Level des Benutzers aktiviert wird.

[0033] Neben den bisher beschriebenen Anwendungen betrifft die Erfindung auch ein Verfahren zur Messung der Empfindlichkeit eines Subjekts für affektive visuelle Information, insbesondere zur alleinigen oder ergänzenden Diagnostik von Angsterkrankungen und Depressionen im Allgemeinen sowie speziell der Diagnostik von AD(H)S bzw. Erkrankungen aus dem autistischen Formenkreis. Dieses Verfahren umfasst das oben beschriebene Verfahren zur Veränderung der affektiven visuellen Information, wobei das Subjekt der Benutzer der erfindungsgemäßen Vorrichtung ist und wobei die Überlagerung zeitlich variiert wird (z.B. abwechselnd für einige Minuten deaktiviert, dann für einige Minuten aktiviert) und gleichzeitig mit einem Stress-Sensor die affektive Reaktion des Subjekts ermittelt wird. Aus der zeitlichen Korrelation zwischen dem zeitlichen Verlauf eines mit dem Stress-Sensor gemessenen Stress-Levels und dem zeitlichen Verlauf der Überlagerung kann ein Maß für die Empfindlichkeit für affektive visuelle Information abgeleitet werden oder zumindest eine Unempfindlichkeit festgestellt werden.

[0034] Darüber hinaus betrifft die Erfindung die Verwendung eines Verfahrens oder einer Vorrichtung der eingangs angeführten Art, mit den oben beschriebenen bevorzugten Ausführungsformen, zum Verhindern von sozialen Stresssituationen, zum Vorbeugen von Angsterkrankungen und Depressionen, oder zur Stressreduktion bei einem Teil depressiver und angstkranker Personen. Je nach der Varianz der Affektwahrnehmung kann bei depressiven Erkrankungen sowie bei Angsterkrankungen, in der jeweiligen Ursächlichkeit, (a) eine affektabhängige und (b) eine kaum bis nicht affektabhängige Form in der Entstehung dieser Erkrankungen gefunden werden. Dem Idealtypus entspricht bei (a) eine starke Perzeption der Affekte im Gesicht einer gesehenen Person, wie z.B. bei AD(H)S (ICD-10 Code F90.-) und bei (b) eine geringe bis fehlende Perzeption in diesem Bereich wie z.B. bei Autismus (Icd-10 Code F84.-). Konkordant zu den bisherigen Testungen in der Ordination des Erfinders ist der „Lazar-Effekt“, also eine Stressreduktion durch die Beeinflussung der Affektwahrnehmung (im Sinne einer Reduktion des Informationsgehalt im entsprechenden Visusbereich), bei einem Teil depressiver und angstkranker Patienten (ICD-10 Code F3-.- und F4-.-), sowie bei allen AD(H)S Patienten, feststellbar. Für diese Personengruppen ist die Verwendung der vorliegenden Erfindung daher besonders vorteilhaft. Dies, während ein anderer Teil Depressiver und Angstkranker, keinerlei Stressreduktion erlebt, dies ausschließlich bei Betroffenen mit geringer bis fehlender automatisierter Affektwahrnehmung gegenüber anderen Person. An zwei Patienten mit Erkrankungen aus dem autistischen Formenkreis, beide leiden unter einem Asperger-Syndrom, konnte ebenfalls keinerlei Stressreduktion in der Verwendung der vorliegenden Erfindung festgestellt werden. Dies entspricht exakt der Hypothese bzgl. des zu erwartenden Lazar-Effektes und dessen Bedeutung für die, unter (a) beschriebenen, Patientengruppe. Da die Perzeptionsfähigkeit von nicht erkrankten Personen, ebenfalls in zwei, dem jeweiligen Idealtypus entsprechenden Gruppen eingeteilt werden kann und es infolge zu Missverständnissen bzgl. der Semantik von emotionaler Perzeption bzw. Affektwahrnehmung kommen kann, weil die meisten Personen davon ausgehen, das Gegenüber habe die selbe Affektwahrnehmung, werden diese beiden Begriffe im Folgenden noch genauer definiert: Die (a) entsprechende Gruppe meint hier mit affektabhängig, die automatisierte und von der gedanklichen Kontrolle und dem Bewusstsein unabhängige Wahrnehmung von Affekten (insbesondere von Muskelkontraktionen im Gesicht) bei gesehenen Personen. Dieser Verarbeitungsprozess liegt bei der Gruppe (b) und bei Personen aus dem nicht erkrankten Bereich, die diesem Idealtypus entsprechen, nicht vor. Er wird von diesen daher, mangels der eigenen Gegebenheit, zumeist nicht verstanden. Letzteres basiert auf einem Mechanismus der Wahrnehmung anderer Personen bei psychiatrischen Laien, oft als allgemeine Menschenkenntnis bezeichnet. Diese geht von der falschen Annahme aus, dass andere Personen nach denselben Prinzipien funktionieren und wahrnehmen. Die (b) entsprechende Gruppe nimmt Affekte ausschließlich über einen willentlichen also bewussten Akt wahr, der sofort sistiert, wenn der gesehenen Person die Aufmerksamkeit entzogen wird. Vergleichbar dem Verstehen einer Nichtmuttersprache, die nur verstanden wird, wenn die Aufmerksamkeit auf diese gerichtet ist. Die affektabhängige Perzeption meint hingegen die konstante Wahrnehmung der Affekte des Gegenübers, dem automatischen Hören und Verstehen der Muttersprache entsprechend.

[0035] Die Erfindung wird nachfolgend anhand eines besonders bevorzugten Ausführungsbeispiels, auf das sie jedoch nicht beschränkt sein soll, und unter Bezugnahme auf die Zeichnungen noch weiter erläutert. Dabei zeigen im Einzelnen: Fig. 1 schematisch einen Teil einer erfindungsgemaßen Vorrichtung in Form einer AR-Brille; Fig. 2 schematisch ein Blockschaltbild der Funktionselemente einer erfindungsgemäßen Vorrichtung; Fig. 3 schematisch eine Illustration der Berechnung eines Überlagerungsbereichs; Fig. 4 ein Anwendungsbeispiel des erfindungsgemäßen Verfahrens; Fig. 5 schematisch einen elliptischen Überlagerungsbereich mit einem Übergangsbereich mit linear nach außen ansteigender Durchsichtigkeit; Fig. 6A, 6B, 6C und 6D vier Anwendungsbeispiele für einen elliptischen Überlagerungsbereich mit einem Übergangsbereich mit linear nach außen ansteigender Durchsichtigkeit bei jeweils unterschiedlichen Breiten des Übergangsbereichs; Fig. 7 schematisch ein Flussdiagramm eines Verfahrens zur Verwendung einer Referenzaufnahme zur Überlagerung eines Gesichtsbereichs.

[0036] Fig. 1 zeigt eine vereinfachte Darstellung einer AR-Brille 1, wie beispielsweise den von Osterhout Design Group (ODG) angebotenen „R7 Smart Glasses“. Die Brillengläser der AR-Brille 1 sind zwei Anzeigen 2, die jeweils als transparentes Display (Durchsicht-Display) ausgeführt sind. Die auf diesen Displays angezeigte graphische Oberflache wird durch eine Verarbeitungseinheit (nicht gezeigt) erzeugt, welche mit dem Betriebssystem (OS) Android mit der OS-Erweiterung „ReticleOS“ (ebenfalls von ODG) betrieben wird.

[0037] Eine in der AR-Brille 1 integrierte Kamera 3 umfasst einen Bildsensor und liefert ein Bild der Umgebung. Das Sichtfeld der Kamera 3 deckt im Wesentlichen den Halbraum vor den Brillengläsern ab und ist somit größer als das Sichtfeld der AR-Brille 1. Das Sichtfeld der AR-Brille 1 entspricht jenem Teil des Gesichtsfeld eines Benutzers, welcher durch die Brillengläser wahrgenommen wird. Das von der Kamera 3 erfasst Bild der Umgebung wird über eine Verkabelung im Brillengestell 4 und eine Verbindungsleitung 5 zu einer Verarbeitungseinheit 6 (siehe Fig. 2) übertragen und dort laufend von einer Gesichtserkennungssoftware analysiert, welche die Koordinaten des oder der Gesichter in der Umgebung ausgibt.

[0038] Ein auf der Verarbeitungseinheit 6 laufendes Anwendungsprogramm ermittelt zunächst aus dem zuvor kalibrierten Augenabstand die Entfernung des erkannten Gesichts. Dann berechnet sie laufend aus den Koordinaten und den im Rahmen der Kalibrierung festgelegten Parameter zur Physiognomie des Brillenträgers (Augenabstand, Distanz zwischen Brillengläser und Auge) für jedes Brillenglas die Koordinaten des Schnittpunktes der Blickachse zum Gesicht des Gegenübers mit den Brillengläsern, also jener Stelle in jedem Brillenglas, die geeignet ist, das Auge-Auge-Mund-Dreieck (AAM-Dreieck) des Gegenübers zu verdecken. Diese Daten werden wiederum an die API (Programmierschnittstelle) des ReticleOS übergeben, welches ein zuvor festgelegtes Bild oder Muster an der entsprechenden Stelle im Brillenglas einblendet.

[0039] Der Aufbau des Anwendungsprogramms erlaubt das Einbinden von Software-Erweiterungen. Dazu zählen beispielsweise Erweiterungen zur laufenden Veränderung des zur Überblendung verwendeten Musters oder Bildes. Das Anwendungsprogramm lässt sich somit z.B. dahingehend erweitern, dass als eingeblendetes Bild jenes Gesicht verwendet wird, das mit der Kamera aufgenommen, von der Gesichtserkennungssoftware erkannt und ausgegeben wurde und bei dem die Gesichtszüge gezielt manipuliert wurden.

[0040] Wie in Fig. 2 dargestellt, kann die Verarbeitungseinheit 6 optional mit Sensoren 7 und Eingabeelementen 8 verbunden sein. Die Sensoren 7 können einen Biofeedback-Sensor zur Messung von Stressparametern umfassen. Die gemessenen Parameter können dazu herangezogen werden, die Daten der Gesichtserkennungssoftware auszuwerten und einer Qualität zuzuordnen. Hierzu können z.B. Messungen des Hautwiderstandes, der Hauttemperatur, der Herzfrequenz oder der Bewegung des Körpers als Stressparameter herangezogen werden.

[0041] Die Verarbeitungseinheit 6 bildet zusammen mit der AR-Brille 1 eine erfindungsgemäße Vorrichtung. Diese ist außerdem mit einer Energieverwaltungseinheit 9 und einer wiederaufladbaren Batterie 10 verbunden.

[0042] Die Überlagerung des Gesichtsfelds mittels der AR-Brille 1 kann prinzipiell für zwei Arten der Beeinflussung verwendet werden: Erstens eine Reduktion des affektiven Informationsgehaltes durch eine generische Veränderung der Bilddaten (Helligkeit, Kontrast, Zeichnung, etc.) oder zweitens eine Überlagerung des Gesichtes mit einem anderem Gesicht bzw. einem Gesicht derselben Person mit einem modifizieren affektiven Informationsgehalt, insbesondere einen geringeren negativen emotionalen Inhalt als das Originalbild. Letzteres kann von der Kamera 3 davor aufgenommen zu werden.

[0043] Der Grad der akzeptablen Einflussnahme auf die Kommunikation ist durch die kommunikative Plausibilität begrenzt und wird, in Anlehnung an die psychiatrische Einteilung des psychopathologischen Status, als gegeben Adäquatheit definiert.

[0044] Bei Überschreiten dieses Wertes kommt es zu einem raschen Anstieg der vom beobachteten Gegenüber transportierten affektiven Information und infolge, durch deren Perzeption beim Benutzer/Brillenträger, zu einem starken Ausschlag der Stresssensoren bei diesem. Letzteres führt außerdem zu einem Umschalten der emotionalen Wahrnehmung von unwillkürlich zu willkürlicher Perzeption sowie zu einer Senkung der Adaquatheit.

[0045] Es ist ein Ziel der vorliegenden Erfindung, die Kommunikation unwillkürlich und langsam in Richtung positiver Expression und Perzeption der Emotionen bei den Gesprächspartnern zu steuern ohne den Schwellenwert der Adaquatheit zu erreichen oder zu überschreiten.

[0046] In Fig. 3 sind die Verfahrensschritte zur Berechnung des Uberlagerungsbereichs anhand einer AR-Brille 1 gemäß Fig. 1 illustriert.

[0047] In der dargestellten beispielhaften Situation sind die Augen AL (linkes Auge) und AR (rechtes Auge) eines beobachtenden Subjekts (der Benutzer und Trager der AR-Brille 1) schematisch dargestellt. Die Augen AL, AR sind jeweils durch die Pupillenöffnung und den runden Augapfel mit der Netzhaut auf dessen hinteren Innenseite dargestellt. Die Koordinaten der Punkte AL und AR entsprechen denen des Mittelpunktes des jeweiligen Auges. Die Mittelpunkte der Pupillen sind mit PL und PR für die Pupille des linken bzw. rechten Auges eingezeichnet. Die Stecke aPDentspricht der gemessenen Pupillendistanz und steht für die Distanz zwischen den Mittelpunkten der beiden Augen AL, AR.

[0048] Das Subjekt trägt eine AR-Brille mit zwei Anzeigen 2 als Brillengläsern, die als transparente Displays realisiert sind. DL bezeichnet das aus Sicht des Subjekts linke Brillenglas bzw. Display und DR das rechte. Die Punkte DL und DR sind als Mittelpunkt der jeweiligen Anzeige 2 definiert. Auf der Brille sind zwei Kameras 11, 12 montiert, welche jeweils als Kamera Obscura dargestellt sind, bestehend aus einer Blende 13 und einem CCD-Bildsensor 14. Der Punkt C (für Camera) ist im Mittelpunkt der Blende definiert.

[0049] Die Koordinaten x und y beziehen sich auf das Koordinatensystem, dessen Ursprung im Mittelpunkt des Bildsensors 14 bzw. im linken oder rechten Display DL, DR liegt. Dabei sind x die horizontale und y die vertikale Koordinate. Die Indizes geben an, um welches Koordinatensystem es sich handelt. So beziehen sich die Koordinaten xDI, yDLauf das Koordinaten-System mit dem Ursprungspunkt DL im Raum und die Koordinaten xDP, yDRauf jenes mit dem Ursprungspunkt DR, also den Mittelpunkt der linken bzw. rechten Anzeige 2. Die Koordinaten xCund yCbeziehen sich auf jenes Koordinatensystem, dessen Ursprung im Mittelpunkt des Bildsensors 14 liegt. Die Anzeigen 2 sowie der Bildsensor 14 der Kamera 11 sind parallel zur x-y-Ebene im Raum. Die normal dazu stehende z-Koordinate entspricht der Richtung der Kamera. Die Bildebene der Fig. 3 entspricht der x-z-Ebene im Raum.

[0050] Das Gegenüber, dessen Gesichtszüge gelesen werden, wird als Objekt (O) bezeichnet. Die Augen des dem Beobachter/Subjekt (S) zugewandten Gesichts des Objekts, werden aus Sicht des Subjekts mit OL für das linke Auge und OR für das rechte Auge bezeichnet. Der Mund wird als OM bezeichnet, dessen Gesichtsmittelpunkt als OC. Abstände in x-Richtung werden mit a bezeichnet, jene in Y-Richtung mit d und jene in Z-Richtung mit b. Diese Wahl orientierte sich an den üblichen Seitenbenennungen der im folgenden berechneten Dreiecke. Die Indizes dieser Langen bezeichnen die Endpunkte der dazugehörigen Strecken.

[0051] Die Zeichnung gemäß Fig. 3 stellt die Projektion der Stecken im Raum auf die x-z-Ebene dar. Es sei f der Abstand der Blende 13 zum Bildsensor 14, der durch die Kenntnis der verwendeten Kamera bekannt ist. Nun sei bCdie noch unbekannte Entfernung der Kamera 11 zum Objekt (O). Die Abbildung am Bildsensor 14 ergibt die Entfernung der Abbildung des linken Auges OL des Objektes am Bildsensor 14 zur Zentral-Achse xC,CLsowie die Entfernung der Abbildung des rechten Auges OR des Objektes am Bildsensor 14 zur Zentral-Achse xC,OP. Die Strahlendreiecke rechts von (vor) der Blende 13 zum Objekt sowie links von (hinter) der Blende 13 zum Bildsensor 14 sind ähnlich. Es gilt daher: sowie Nun wird der Augenabstand des Objekts l,PD(oder kurz 1) mit einem Durchschnitts-Wert von 65 mm angenommen und

[0052] Daraus ergibt sich ein Gleichungssystem aus zwei Gleichungen und zwei Unbekannten: sowie

[0053] Aus diesen kann die Entfernung der Kamera zum Objekt bCsowie die Entfernung aC,OCdes Gesichtsmittelpunktes OC des Objekts von der Zentralachse der Kamera 11 berechnet werden.

[0054] Das Zentrum der Abdunkelung des Displays ergibt sich nun aus: und analog für das linke Display:

[0055] Hierbei wurde noch angenommen, dass der Koordinatenursprung des Displays auf derselben Achse liegt, wie der Mittelpunkt des Auges. Ist dies nicht der Fall, sind die Koordinaten entsprechend zu verschieben. In der Praxis wird es umgekehrt sein: In der Kalibrierungsphase ist der Verdunkelungspunkt manuell verschiebbar. Der Augenmittelpunkt wird dann aus xrerrechnet bzw. die Koordinatentransformation iterativ aus allen manuellen Eingriffen angenähert.

[0056] Für die Transformation der y-Koordinate des Bildsensors 14 auf die y-Koordinate des Displays sei dU,OAdie Projektion der Strecke vom Kamera-Blende zu den Augen OR, OL des Gegenübers/Objekts auf die y-z-Ebene und dC,OMdie Projektion der Stecke von der Blende 13 zum Mund (OM) des Gegenübers/Objekts auf diese Ebene und yC,OA= yC,OR= yC,OLund yC,OMdie y-Koordinaten der Abbildung dieser Punkte am Bildsensor 14 der Kamera 11: sowie

[0057] Da bCbereits aus den Gleichungen (3) und (4) bekannt ist, kann aus diesem Gleichungssystem dC,OMund dC,OAberechnet werden. Analog zur Gleichung (5) lässt sich nun die y-Koordinate auf beiden Displays aus den (bei der Kalibrierung ermittelten) Abständen zwischen Kamera und Auge dC,Aauf der Y-Z-Ebene berechnen: sowie

[0058] Liegt der Ursprung der Koordinaten des Displays nicht wie hier angenommen auf der Höhe des Augen-Mittelpunktes, müssen die Koordinaten wieder entsprechend verschoben werden.

[0059] Bei der Transformation der y-Koordinaten wurden bereits die Eckpunkte yD,A, yD,Mdes Überlagerungsbereichs und somit auch dessen Abmessungen bestimmt. Analog dazu kann dies bei der Transformation der x-Koordinaten geschehen, was jedoch aus Gründen der Übersichtlichkeit, weggelassen wurde. Hierbei kann genauso wie bei der Berechnung des Zentralpunktes des Uberlagerungsbereichs vom Augen-Mittelpunkt ausgegangen werden, da das Dreieck (in der x-z-Ebene) vom Augen-Mittelpunkt zu OL und OR das Dreieck von der Pupille zu OL komplett überlagert.

[0060] Bei der Berechnung der Ausdehnung des Überlagerungsbereichs kann darüber hinaus noch jener Fehler berücksichtigt werden, der sich aus den unterschiedlichen Größen des AugenabstandsO,PDdes Gegenübers/Objekts ergibt, d.h. der Fehler des angenommenen Durchschnittswerts von 65 mm. Eine Fehlerrechnung ergibt dann die notwendige Vergrößerung der Ausdehnung des Überlagerungsbereichs.

[0061] Bei einer Verwendung der zweiten Kamera 12 liefern zwei Winkel den erfassten Bezugspunkt beim Objekt. Da die Entfernung aCCzwischen den beiden Kameras bekannt ist, lässt sich das Dreieck zwischen der ersten Kamera 11, der zweiten Kamera 12 und dem Objekt bzw. dessen Augen OR, OL mithilfe des WSW-Satzes konstruieren, bzw. mithilfe des Sinus-Satzes berechnen. Der Abstand bCder Kameras 11, 12 zum Objekt entspricht dann der Hohe des Dreiecks. Man ist somit nicht mehr auf die Schätzung des Augenabstands des Objekts angewiesen und kann auf die oben erwähnte Fehlerrechnung und die daraus resultierende Vergrößerung des Überlagerungsbereichs verzichten.

[0062] Beispielsweise lässt sich mithilfe der Gleichung: das System aus den Gleichungen (3) und (4) auch ohne die Kenntnis des Augenabstandes lO,PDlösen.

[0063] In Fig. 4 ist ein Anwendungsbeispiel des erfindungsgemäßen Verfahrens anhand einer beispielhaften AR-Brille 15 schematisch dargestellt. Eine Blickfeldkamera 16 an der Vorderseite der AR-Brille 15 erfasst ein Bild des Sichtfelds 17 der AR-Brille 15 mit einem integrierten Bildsensor. Eine integrierte Verarbeitungseinheit fuhrt eine Gesichtserkennung mit dem erfassten Bild zur Erkennung zumindest eines Gesichts 18 durch. Dabei wird die Position von Augen und Mund des erkannten Gesichts 18 ermittelt und anschließend werden Überlagerungsbereiche 19, 20 in den Anzeigen 21, 22 der AR-Brille 15 in Abhängigkeit von den ermittelten Positionen von Augen und Mund berechnet (vgl. Fig. 3 und diesbezügliche Beschreibung oben). Schließlich wird das Gesichtsfelds eines Benutzers der Vorrichtung in den berechneten Überlagerungsbereichen 19, 20 der Anzeigen 21, 22 mit alternativen Bilddaten überlagert. Die alternativen Bilddaten sind jeweils teilweise transparente schwarze Flächen, welche somit eine lokale Abdunkelung des Gesichtsfelds in den Überlagerungsbereichen 19, 20 erzielen und dadurch die wahrnehmbare affektive Information des Gesichts 18 reduzieren. Alternativ können die alternativen Bilddaten durch jeweils teilweise transparente hautfarbene Flächen gebildet sein, was weniger irritierende wirkt als schwarze Flachen. Außerhalb der Überlagerungsbereiche 19, 20 sind die Anzeigen 21, 22 gleichmäßig, vorzugsweise vollständig, transparent vergleichbar eine gewöhnlichen optischen Brille oder Sonnenbrille. Das Gesicht 18 ist auf den Anzeigen 21, 22 nur zum besseren Verständnis der Anordnung der Überlagerungsbereiche 19, 20 eingezeichnet und soll stellt die Perspektive des Benutzers der AR-Brille 15, d.h. welcher durch die Anzeigen 21, 22 hindurch blickt, dar.

[0064] In Fig. 5 ist schematisch eine Ansicht durch eine der Anzeigen 21, 22 mit einem elliptischen Überlagerungsbereich 23 zur Überlagerung eines Gesichts 24 dargestellt. Der Überlagerungsbereich 23 umfasst einen Übergangsbereich 25 mit linear nach außen ansteigender Durchsichtigkeit. Außerhalb des Übergangsbereichs 25 ist die Durchsichtigkeit des Überlagerungsbereich 23 im Wesentlichen konstant. Die Breite des Übergangsbereichs 25 entspricht etwa 10 % der Breite des Überlagerungsbereichs 23 an der breitesten Stelle, parallel zu einer Verbindungslinie zwischen den erkannten Augen 26 des Gesichts 24 gemessen. Durch den Übergangsbereich 25 wird ein fließender Übergang zwischen dem Überlagerungsbereich 23 und dessen Umgebung erzielt, welcher für einen Benutzer weniger irritierend wirkt als eine harte Kante an der Grenze des Überlagerungsbereichs 23.

[0065] Fig. 6A, 6B, 6C und 6D zeigen vier Anwendungsbeispiele für den im Zusammenhang mit Fig. 5 beschriebenen Ubergangsbereich. Dabei ist jeweils ein Gesicht mit einem elliptischen, hautfarbenen Überlagerungsbereich 23 dargestellt. Der Überlagerungsbereich 23 deckt im Wesentlichen den gesamten Gesichtsbereich zwischen den Ohren und vom Kinn bis zum Haaransatz ab. In Fig. 6A ist der Überlagerungsbereich 23 ohne Übergangsbereich 25 dargestellt; das entspricht einer Breite des Übergangsbereichs 25 von Null. In Fig. 6B, 6C und 6D ist der Überlagerungsbereich 23 mit einem Ubergangsbereich 25 gemäß Fig. 5 dargestellt. Die Breite des Übergangsbereichs 25 ist in Fig. 6B 10 % der Breite des Überlagerungsbereichs 23, in Fig. 6C 20 % der Breite des Überlagerungsbereichs 23 und in Fig. 6D 30 % der Breite des Überlagerungsbereichs 23. In Fig. 6C und 6D sind die Brauen des Gesichts erkennbar. In Fig. 6D sind auch die äußeren Augenwinkel, der obere Stirnbereich und die Mundwinkel des Gesichts erkennbar. Die Breite des Übergangsbereichs kann dementsprechend zur Einstellung der erkennbaren visuellen affektiven Information verwendet werden.

[0066] Fig. 7 zeigt ein vereinfachtes Flussdiagramm eines Verfahrens zur Verwendung einer Referenzaufnahme zur Überlagerung eines Gesichtsbereichs gemäß eines Ausfuhrungsbeispiels des vorliegenden Verfahrens. Dabei wird zunächst in einer Schleife 27 gewartet, bis eine Gesichtserkennung 28 ein Gesicht in den vom Bildsensor 14 erfassten Bilddaten erkennt. Sobald ein Gesicht erkannt wurde, wird mittels eines Stress-Sensors (z.B. eines Biofeedback-Sensors) ein Stress-Level ermittelt (Ermittlung 29). Falls das Stress-Level durchschnittlich oder niedrig ist (Pfad 30), werden die Bilddaten in einem Gesichtsbereich des erkannten Gesichts als Referenzaufnahme gespeichert (Speicherung 31). Zusammen mit der Referenzaufnahme werden die Positionen der Eckpunkte des Auge-Auge-Mund Dreiecks in der Referenzaufnahme ermittelt und gespeichert (Ermittlung und Speicherung 32), um eine spatere Skalierung und Ausrichtung der Referenzaufnahme zu beschleunigen. Falls das Stress-Level hoch ist (Pfad 33), wird eine aktuelle Referenzaufnahme geladen (Laden 34), welche dem erkannten Gesicht entspricht. Die Zuordnung der passenden Referenzaufnahme erfolgt über biometrische Merkmale der erfassten Gesichter in an sich bekannter Weise. Nach dem Laden 34 wird die Referenzaufnahme durch Skalierung, Rotation und Verschiebung an die Größe, Ausrichtung und Position des erkannten Gesichts angepasst und anschließend als alternative Bilddaten in der Anzeige 21, 22 eingeblendet (Anpassen und Einblenden 35). In weiterer Folge wird überprüft, ob weitere Gesichter erkannt wurden (Überprüfung 36). Falls nein, wird das Stress-Level neu ermittelt und die Verwendung der Überlagerung neu bewertet und gegebenenfalls die Anpassung aktualisiert (Schleife 37). Falls ja, wird das Verfahren ausgehend von der Gesichtserkennung 28 für das nächste Gesicht wiederholt (Schleife 38).

Claims (15)

1. Verfahren zur Veränderung der affektiven visuellen Information im Gesichtsfeld eines Benutzers einer Vorrichtung mit zumindest einem Bildsensor (14) und zumindest einer Anzeige (2), umfassend die Schritte: Erfassen eines Bilds eines Sichtfelds der Vorrichtung mit dem Bildsensor (14), Durchführen einer Gesichtserkennung mit dem erfassten Bild zur Erkennung zumindest eines Gesichts, Ermitteln der Positionen von Augen und Mund des erkannten Gesichts, Berechnen eines Überlagerungsbereichs in der Anzeige (2) der Vorrichtung in Abhängigkeit von den ermittelten Positionen von Augen und Mund, Überlagern des Gesichtsfelds eines Benutzers der Vorrichtung in dem berechneten Überlagerungsbereich der Anzeige (2) mit alternativen Bilddaten.

2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass das Überlagern des Gesichtsfelds ein Darstellen der alternativen Bilddaten im Überlagerungsbereich der Anzeige (2) umfasst.

3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass der Uberlagerungsbereich im Wesentlichen einem zwischen den Positionen der beiden Augen und des Munds aufgespannten Dreieck entspricht.

4. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass der Überlagerungsbereich im Wesentlichen das gesamte Blickfeld außerhalb eines zwischen den Positionen der beiden Augen und des Munds aufgespannten Dreiecks umfasst.

5. Verfahren nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass die alternativen Bilddaten einer veränderten Abbildung des Sichtfelds der Vorrichtung im Uberlagerungsbereich entsprechen, wobei die Veränderung der Abbildung eine Veränderung der Helligkeit, eine Verringerung einer Bildauflösung, eine Veränderung der Zeichnung und/oder des Kontrastes, eine farbliche Markierung und/oder eine Manipulation der Gesichtszüge umfasst.

6. Verfahren nach einem der Ansprüche 1 bis 5, gekennzeichnet durch ein Erfassen des Signals zumindest eines Biofeedback-Sensors, wobei die Überlagerung in Abhängigkeit von dem Signal des Biofeedback-Sensors aktiviert wird.

7. Verfahren nach Anspruch 5 und 6, dadurch gekennzeichnet, dass ein Ausmaß der Veränderung der Abbildung in Abhängigkeit von dem Signal des Biofeedback-Sensors ermittelt wird.

8. Verfahren nach einem der Ansprüche 1 bis 6, gekennzeichnet durch, vor dem Berechnen des Uberlagerungsbereichs, Kalibrieren der Anzeige (2) der Vorrichtung für einen Benutzer, wobei ein Augenabstand und eine Distanz zwischen den Augen und der Anzeige (2) ermittelt werden, wobei der ermittelte Augenabstand und die ermittelte Distanz beim Berechnen eines Uberlagerungsbereichs in der Anzeige (2) berücksichtigt werden.

9. Verfahren nach einem der Anspruche 1 bis 6, gekennzeichnet durch Auslösen einer Benutzerbenachrichtigung, wenn ein Signal eines gekoppelten Biofeedback-Sensors eine vordefinierte Schwelle überschreitet und/oder wenn die Gesichtserkennung eine affektive Auslenkung oder Resonanz oberhalb einer vordefinierten Schwelle an einem erkannten Gesicht detektiert und/oder wenn eine Stimmerkennung eine Stimme einer Person erkennt, die als Stressor in einer Datenbank vorab gespeichert wurde.

10. Vorrichtung zur Veränderung der affektiven visuellen Information im Gesichtsfeld eines Benutzers, wobei die Vorrichtung zumindest einen Bildsensor (14) und zumindest eine Anzeige (2) sowie eine Verarbeitungseinheit (6) aufweist, die mit dem Bildsensor (14) und der Anzeige (2) verbunden ist, wobei der Bildsensor (14) zur Erfassung eines Bilds eines Sichtfelds der Vorrichtung eingerichtet ist, wobei die Anzeige (2) zum Überlagern des Gesichtsfelds eines Benutzers in einem Überlagerungsbereich der Anzeige (2) mit alternativen Bilddaten eingerichtet ist, dadurch gekennzeichnet, dass die Verarbeitungseinheit (6) eingerichtet ist, eine Gesichtserkennung mit einem vom Bildsensor (14) erfassten Bild durchzuführen, Positionen von Augen und Mund eines bei der Gesichtserkennung erkannten Gesichts zu ermitteln und einen Überlagerungsbereich in der Anzeige (2) für das Überlagern des Gesichtsfelds in Abhängigkeit von den ermittelten Positionen von Augen und Mund zu berechnen.

11. Vorrichtung nach Anspruch 10, dadurch gekennzeichnet, dass die Anzeige (2) ein Bildschirm oder ein Display, insbesondere ein transparentes Display, ist.

12. Vorrichtung nach Anspruch 11, dadurch gekennzeichnet, dass sie eine Augmented Reality Brille (1) ist.

13. Vorrichtung nach einem der Anspruche 10 bis 12, dadurch gekennzeichnet, dass die Verarbeitungseinheit (6) eine Gesichtserkennungssoftware aufweist.

14. Vorrichtung nach einem der Anspruche 10 bis 13, dadurch gekennzeichnet, dass sie einen Biofeedback-Sensor umfasst, wobei die Verarbeitungseinheit (6) mit dem Biofeedback-Sensor verbunden und eingerichtet ist, die Überlagerung in Abhängigkeit von einem Signal des Biofeedback-Sensors zu aktivieren.

15. Vorrichtung nach einem der Ansprüche 10 bis 14, dadurch gekennzeichnet, dass sie eine Benachrichtigungseinrichtung umfasst, welche zur Abgabe eines optischen, akustischen oder haptischen Signals eingerichtet ist, wobei die Verarbeitungseinheit (6) mit der Benachrichtigungseinrichtung verbunden und eingerichtet ist, ein optisches, akustisches oder haptisches Signal auszulosen, wenn ein spezifisches affektives Muster und/oder eine einem spezifischen Affekt zugeordnete Person erkannt wird.