DE69837107T2 - Gerät und verfahren zum feststellen von gefühlen - Google Patents

Gerät und verfahren zum feststellen von gefühlen Download PDF

Info

Publication number
DE69837107T2
DE69837107T2 DE69837107T DE69837107T DE69837107T2 DE 69837107 T2 DE69837107 T2 DE 69837107T2 DE 69837107 T DE69837107 T DE 69837107T DE 69837107 T DE69837107 T DE 69837107T DE 69837107 T2 DE69837107 T2 DE 69837107T2
Authority
DE
Germany
Prior art keywords
information
intonation
person
plateaus
sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
DE69837107T
Other languages
English (en)
Other versions
DE69837107D1 (de
Inventor
Amir Liberman
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Publication of DE69837107D1 publication Critical patent/DE69837107D1/de
Application granted granted Critical
Publication of DE69837107T2 publication Critical patent/DE69837107T2/de
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00Speaker identification or verification techniques
    • G10L17/26Recognition of special voice characteristics, e.g. for use in lie detectors; Recognition of animal voices
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10STECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S128/00Surgery
    • Y10S128/92Computer assisted medical diagnostics

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Health & Medical Sciences (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
  • User Interface Of Digital Computer (AREA)
  • Analysing Materials By The Use Of Radiation (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Steroid Compounds (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Description

  • BEREICH DER ERFINDUNG
  • Die vorliegende Erfindung betrifft Vorrichtungen und Verfahren zum Beobachten von Gefühlszuständen.
  • HINTERGRUND DER ERFINDUNG
  • Die PCT-Offenlegungsschrift WO 97/01984 (PCT/IL96/00027) beschreibt ein Verfahren zum Bewirken einer Biofeedback-Regulierung von wenigstens einer physiologischen, variablen Eigenschaft des Gefühlszustandes einer Person, enthaltend die Schritte, wenigstens einen für den Gefühlszustand der Person charakteristischen Sprachparameter zu beobachten, so dass ein Anzeigesignal erzeugt wird, und das Anzeigesignal dazu zu verwenden, der Person die wenigstens eine physiologische Variable anzuzeigen. Ein System ermöglicht die Durchführung des Verfahrens im selbständigen Modus oder über die Telefonleitung, wobei dann das Anzeigesignal an einem von der Person entfernt gelegenen Standort abgeleitet werden kann. Informationen bezüglich des Gefühlszustandes der Person können einem Fernteilnehmer mündlich oder textlich über das Internet übermittelt und dann entsprechend verarbeitet werden.
  • Die Europäische Offenlegungsschrift Nr. 94850185.3 (Veröffentlichungsnummer 306 664 537 A2) beschreibt ein Verfahren und eine Anordnung zum Ermitteln von Betonungen/Anspannung (stresses) in einer gesprochenen Sequenz. Aus einer in der gesprochenen Sprache erkannten Sequenz wird ein Modell der Sprache erzeugt. Durch Vergleichen der gesprochenen Sequenz mit der modellierten Sprache erhält man eine Differenz zwischen den beiden.
  • Das US-Patent 1,384,721 beschreibt ein Verfahren und eine Vorrichtung zur physiologischen Reaktionsanalyse.
  • Das US-Patent 3,855,416 von Fuller beschreibt ein Verfahren und eine Vorrichtung zur Phonationsanalyse mit dem Ergebnis gültiger Wahrheit/Lüge-Entscheidungen durch Beurteilung grundlegender, nach Sprechenergie gewichteter "Vibratto"-Komponenten.
  • Das US-Patent 3,855,417 von Fuller beschreibt ein Verfahren und eine Vorrichtung zur Phonationsanalyse mit dem Ergebnis gültiger Wahrheit/Lüge-Entscheidungen durch Spektralenergie-Regionsvergleich.
  • Das US-Patent 3,855,418 von Fuller beschreibt ein Verfahren und eine Vorrichtung zur Phonationsanalyse mit dem Ergebnis gültiger Wahrheit/Lüge-Entscheidungen durch "Vibratto"-Komponenten-Beurteilung.
  • Die Offenbarungen aller in der Beschreibung erwähnten Veröffentlichungen und der darin zitierten Veröffentlichungen werden hierin durch Verweis aufgenommen.
  • Das US-Patent 4,093,821 von Williamson beschreibt ein Verfahren und eine Vorrichtung zum Bestimmen des Gefühlszustandes einer Person durch Bestimmen von Plateaus in ihrem frequenz-demodulierten Sprachsignal.
  • ZUSAMMENFASSUNG DER ERFINDUNG
  • Die vorliegende Erfindung soll eine verbesserte Einrichtung und verbesserte Verfahren zum Beobachten von Gefühlszuständen zur Verfügung stellen, wie in den unabhängigen Ansprüchen des vorliegenden Patentes definiert.
  • Bevorzugte Ausführungsformen der Erfindung sind in den abhängigen Ansprüchen spezifiziert.
  • Dementsprechend wird gemäß einer bevorzugten Ausführungsform der vorliegenden Erfindung eine Einrichtung zum Erkennen eines Gefühlszustandes einer Person zur Verfügung gestellt, wobei die Einrichtung einen Stimmanalysator aufweist, der dafür funktionsfähig ist, eine von der Person erzeugte Sprechprobe einzugeben und daraus Intonationsinformationen abzuleiten, und einen Gefühlsanzeiger (emotion reporter), der dafür funktionsfähig ist, auf Basis der Intonationsinformationen eine Ausgabeanzeige des Gefühlszustandes der Person zu generieren.
  • Gemäß einer weiteren bevorzugten Ausführungsform der vorliegenden Erfindung wird die Sprechprobe dem Stimmanalysator telefonisch zugeführt.
  • Wiederum gemäß einer weiteren bevorzugten Ausführungsform der vorliegenden Erfindung enthält der Bericht über den Gefühlszustand der Person einen Lügenerkennungsbericht auf Basis des Gefühlszustandes der Person.
  • Gemäß einer weiteren bevorzugten Ausführungsform der vorliegenden Erfindung enthalten die Intonationsinformationen mehrdimensionale Intonationsinformationen.
  • Wiederum gemäß einer weiteren bevorzugten Ausführungsform der vorliegenden Erfindung enthalten die mehrdimensionalen Informationen wenigstens dreidimensionale Informationen.
  • Gemäß einer weiteren bevorzugten Ausführungsform der vorliegenden Erfindung enthalten die mehrdimensionalen Informationen wenigstens vierdimensionale Informationen.
  • Wiederum gemäß einer weiteren bevorzugten Ausführungsform der vorliegenden Erfindung enthalten die Intonationsinformationen Informationen bezüglich Spitzen (Dornen).
  • Gemäß einer weiteren bevorzugten Ausführungsform der vorliegenden Erfindung enthalten die auf Spitzen bezogenen Informationen die Anzahl Spitzen in einem vorgegebenen Zeitraum.
  • Gemäß einer weiteren bevorzugten Ausführungsform der vorliegenden Erfindung enthalten die auf Spitzen bezogenen Informationen die zeitliche Verteilung von Spitzen.
  • Gemäß einer zusätzlichen bevorzugten Ausführungsform der vorliegenden Erfindung enthalten die Intonationsinformationen Informationen bezüglich Plateaus.
  • Gemäß einer weiteren bevorzugten Ausführungsform der vorliegenden Erfindung enthalten die auf Plateaus bezogenen Informationen die Anzahl Plateaus in einem vorgegebenen Zeitraum.
  • Wiederum gemäß einer weiteren bevorzugten Ausführungsform der vorliegenden Erfindung enthalten die auf Plateaus bezogenen Informationen Informationen bezüglich der Länge von Plateaus.
  • Gemäß einer zusätzlichen bevorzugten Ausführungsform der vorliegenden Erfindung enthalten die Informationen bezüglich der Länge von Plateaus eine mittlere Plateaulänge für einen vorgegebenen Zeitraum.
  • Wiederum gemäß einer weiteren bevorzugten Ausführungsform der vorliegenden Erfindung enthalten die Informationen bezüglich der Länge von Plateaus den Standardfehler der Plateaulänge für einen vorgegebenen Zeitraum.
  • Gemäß einer weiteren bevorzugten Ausführungsform der vorliegenden Erfindung wird außerdem ein Lügenerkennungssystem zur Verfügung gestellt, enthaltend einen mehrdimensionalen Stimmanalysator, der so funktioniert, dass eine von einer Person erzeugte Sprechprobe eingegeben wird und mehrere Eigenschaften der Sprechprobe quantifiziert werden, sowie einen Glaubwürdigkeitsbewertungsanzeiger, der so funktioniert, dass eine Ausgabeanzeige der Glaubwürdigkeit der Person generiert wird, einschließlich Erkennung von Lügen und basierend auf den mehreren quantifizierten Eigenschaften.
  • Gemäß einer weiteren bevorzugten Ausführungsform der vorliegenden Erfindung wird außerdem ein Erkennungsverfahren zur Verfügung gestellt, enthaltend das Empfangen einer von einer Person erzeugten Sprechprobe und das Quantifizieren mehrerer Eigenschaften der Sprechprobe sowie das Generieren einer Ausgabeanzeige der Glaubwürdigkeit der Person, einschließlich der Erkennung von Lügen, auf Basis der mehreren quantifizierten Eigenschaften.
  • Gemäß einer weiteren bevorzugten Ausführungsform der vorliegenden Erfindung enthält die Sprechprobe eine Hauptsprachwelle mit einer Periode, wobei der Stimmanalysator so funktioniert, dass er die Sprechprobe analysiert, um die Auftrittsrate von Plateaus zu bestimmen, wobei jedes Plateau anzeigt, dass die Hauptsprachwelle mit einer eine lokalen, relativ niederfrequenten Welle überlagert wird, und der Gefühlsanzeiger so funktioniert, dass eine geeignete Ausgabeanzeige auf Basis der Auftrittsrate von Plateaus geliefert wird. Beispielsweise kann der Gefühlsanzeiger eine entsprechende Ausgabeanzeige liefern, wenn festgestellt wird, dass die Auftrittsrate von Plateaus sich ändert.
  • In ähnlicher Weise zeigt jede Spitze an, dass die Hauptsprachwelle mit einer lokalen, relativ hochfrequenten Welle überlagert wird. Ein besonderer Vorteil der Analyse von Plateaus und Spitzen, wie vorliegend dargestellt und beschrieben, besteht darin, dass im Wesentlichen alle Frequenzen der Sprachwelle analysiert werden können.
  • Gemäß einer weiteren bevorzugten Ausführungsform der vorliegenden Erfindung wird außerdem ein Verfahren zum Erkennen von Gefühlszuständen zur Verfügung gestellt, das folgendes beinhaltet: Feststellen eines mehrdimensionalen, charakteristischen Bereiches, der den Gefühlsbereich einer Person im Ruhezustand charakterisiert, indem die Person während einer ersten Periode, während derer die Person sich in emotional neutralem Zustand befindet, hinsichtlich mehrerer gefühlsbezogener Parameter beobachtet wird, und Definieren des mehrdimensionalen, charakteristischen Bereiches als Funktion des Bereiches der mehreren gefühlsbezogenen Parameter während der ersten Periode sowie Beobachten der Person hinsichtlich der mehreren gefühlsbezogenen Parameter während einer zweiten Periode, während derer der Gefühlszustand der Person erkannt werden soll, um so eine Messung der mehreren gefühlsbezogenen Parameter zu erlangen, und Anpassen der Messung, so dass der Bereich berücksichtigt wird.
  • Gemäß einer weiteren bevorzugten Ausführungsform der vorliegenden Erfindung wird außerdem ein Verfahren zum Erkennen des Gefühlszustandes einer Person zur Verfügung gestellt, wobei das Verfahren folgendes beinhaltet: Empfangen einer von der Person erzeugten Sprechprobe und Ableiten von Intonationsinformationen daraus sowie Generieren einer Ausgabeanzeige des Gefühlszustandes der Person auf Basis der Intonationsinformationen.
  • KURZE BESCHREIBUNG DER ZEICHNUNGEN
  • Die vorliegende Erfindung wird aus der folgenden detaillierten Beschreibung in Verbindung mit den Zeichnungen verständlich und deutlich, wobei
  • 1A eine bildliche Darstellung eines Systems zur Online-Beobachtung des Gefühlszustandes eines Sprechers ist,
  • 1B eine vereinfachte Flussdiagramm-Darstellung eines bevorzugten Verfahrens zur Online-Beobachtung des Gefühlszustandes eines Sprechers ist,
  • 2 eine grafische Darstellung eines Stimmsegmentes einschließlich einer Anzahl Spitzen ist,
  • 3 eine grafische Darstellung eines Stimmsegmentes einschließlich einer Anzahl Plateaus ist,
  • 4 eine vereinfachte Flussdiagrammdarstellung eines bevorzugten Verfahrens zur Durchführung von Schritt 40 aus 1B ist,
  • 5 eine vereinfachte Flussdiagrammdarstellung eines bevorzugten Verfahrens zum Implementieren des Schrittes des Aufbaus eines Wahrheit/Neutral-Profils aus 1B ist,
  • 6 eine vereinfachte Flussdiagrammdarstellung eines bevorzugen Verfahrens zur Durchführung von Schritt 90 aus 1B auf einem bestimmten Segment ist,
  • 7 eine vereinfachte Flussdiagrammdarstellung eines bevorzugten Verfahrens zur Durchführung von Schritt 100 aus 1B ist,
  • 8 eine vereinfachte Flussdiagrammdarstellung eines bevorzugten Verfahrens zur Durchführung von Schritt 105 aus 1B ist,
  • 9 eine bildliche Darstellung einer Bildschirmanzeige ist, die das Formular im Entwurfsmodus kurz vor dem Start der Anwendung aus Anlage A zeigt,
  • 10 eine bildliche Darstellung einer Bildschirmanzeige ist, die das Formular im Ausführungsmodus des Systems aus Anlage A während der Kalibrierung auf eine bestimmte Person hin zeigt,
  • 11 eine bildliche Darstellung einer Bildschirmanzeige ist, die das Formular im Ausführungsmodus des Systems aus Anlage A während des Testens einer Person zeigt und
  • 12 eine vereinfachte Blockdiagrammdarstellung eines bevorzugten Systems zum Durchführen des Verfahrens aus 1B ist.
  • Folgende Anlage ist beigefügt, die zum Verständnis und zur Verdeutlichung einer bevorzugten Ausführungsform der vorliegend gezeigten und beschriebenen Erfindung dient:
    Anlage A ist ein Computer-Listing einer bevorzugten Software-Implementierung einer bevorzugten Ausführungsform der vorliegend gezeigten und beschriebenen Erfindung.
  • DETAILLIERTE BESCHREIBUNG BEVORZUGTER AUSFÜHRUNGSFORMEN
  • Ein Teil der Offenbarung des vorliegenden Patentdokumentes enthält urheberrechtlich geschütztes Material. Der Urheberrechtsinhaber hat keine Einwände gegen die von beliebiger Seite vorgenommene Wiedergabe des Patentdokumentes oder der Patentoffenlegung als Kopie in der Form, wie sie in der Patentakte oder anderen Akten des Patent- und Markenamtes erscheint, behält sich aber ansonsten alle urheberrechtsbezogenen Rechte vor.
  • 1A ist eine bildliche Darstellung eines Systems zur Online-Beobachtung des Gefühlszustandes eines Sprechers. Wie dargestellt, wird in der gezeigten Ausführungsform von dem System eine Spracheingabe empfangen, die über eine Telefonleitung eintrifft. Das System analysiert die Spracheingabe, um eine Anzeige des Gefühlszustandes des Sprechers zu erhalten, die dem Nutzer vorzugsweise in Echtzeit zur Verfügung gestellt wird, z.B. wie dargestellt auf dem Bildschirm.
  • 1B ist eine vereinfachte Flussdiagramm-Darstellung eines bevorzugten Verfahrens zur Online-Beobachtung des Gefühlszustandes eines Sprechers. Das Verfahren aus 1B enthält vorzugsweise die folgenden Schritte:
    Initialisierungsschritt 10: Konstanten werden definiert, beispielsweise die Schwellenwerte verschiedener Parameter, wobei Bereiche definiert werden, die als Indikatoren für verschiedene Gefühle angesehen werden, wie unten detailliert beschrieben.
  • Schritt 20: Aufnehmen einer Stimme, periodisch oder auf Anforderung. Beispielsweise können kontinuierlich, z.B. alle 0,5 Sekunden, Stimmsegmente von 0,5 Sekunden aufgezeichnet werden. Alternativ kommen Segmente von jeder anderen geeigneten Länge in Betracht, die sich überlagern können oder auch nicht. Beispielsweise können benachbarte Segmente sich bis auf eine oder einige Abtastungen (samples) nahezu völlig überlagern.
  • Digitalisieren der Stimmaufnahme.
  • Zusätzlich oder alternativ können einander überlagernde Segmente der Aufnahme abgetastet werden.
  • Schritt 30: Analysieren des Stimmsegmentes, um den relevanten Abschnitt des Stimmsegmentes zu markieren; d.h. den Abschnitt des Stimmsegmentes, von dem angenommen wird, dass er tatsächlich Sprachinformationen im Gegensatz zum Grundgeräusch enthält. Ein geeignetes Kriterium für die Erkennung von Sprachinformationen ist die Amplitude; z.B. wird das erste Auftreten einer Amplitude, die einen Schwellenwert übersteigt, als der Anfang der Sprachinformationen angesehen, und als das Ende der Sprachinformationen wird der Punkt angesehen, ab dem während einer vorgegebenen Zeit kein schwellenüberschreitendes Geräusch mehr festgestellt wird.
  • Vorzugsweise werden die Abtastungen in dem relevanten Abschnitt normalisiert, indem z.B. die Abtastungen verstärkt werden, um den gesamten Amplitudenbereich auszunutzen, der in Speicher untergebracht werden kann, z.B. +/– 127 Amplitudeneinheiten bei Verwendung eines 8-Bit-Speichers.
  • Schritt 40: Zählen der Spitzen und Plateaus im relevanten Abschnitt. Berechnen der Länge jedes identifizierten Plateaus sowie Berechnen der mittleren Plateaulänge für den relevanten Abschnitt und des Standardfehlers für die Plateaulänge.
  • Eine "Spitze" ist ein schartenförmiges Merkmal. Beispielsweise kann der Ausdruck "Spitze" definiert werden als
    • a. eine Abfolge von 3 nebeneinander liegenden Abtastungen, wobei die erste und die dritte Abtastungen höher sind als die mittlere Abtastung, oder
    • b. eine Abfolge von 3 nebeneinander liegenden Abtastungen, wobei die erste und die dritte Abtastung niedriger sind als die mittlere Abtastung.
  • Vorzugsweise wird das Vorliegen einer Spitze auch dann festgestellt, wenn die erste und die dritte Abtastung nur sehr geringfügig von der mittleren Abtastung abweichen, d.h. vorzugsweise gibt es keinen minimalen Schwellenwert für die Differenz zwischen Abtastungen. Jedoch gibt es vorzugsweise einen minimalen Schwellenwert für die Basis (baseline) der Spitze; d.h. Spitzen, die bei sehr niedrigen Amplituden auftreten, werden nicht beachtet, weil angenommen wird, dass sie eher zum Grundgeräusch als zur Stimme gehören.
  • 2 ist eine grafische Darstellung eines Stimmsegmentes 32 einschließlich einer Anzahl Spitzen 34.
  • Ein "Plateau" ist eine lokale Flachheit in der Stimmwelle. Beispielsweise lässt sich ein Plateau als flache Sequenz definieren, deren Länge über einem vorgegebenen minimalen Schwellenwert liegt und unter einem vorgegebenen maximalen Schwellenwert liegt. Der maximale Schwellenwert soll eine lokale Flachheit von einer Stilleperiode unterscheiden. Eine Sequenz lässt sich als flach ansehen, wenn die Amplitudendifferenz zwischen aufeinander folgenden Abtastungen geringer ist als ein vorgegebener Schwellenwert wie z.B. 5 Amplitudeneinheiten bei Verwendung eines 8-Bit-Speichers.
  • 3 ist eine grafische Darstellung eines Stimmsegmentes 36, das eine Anzahl Plateaus 38 enthält. In Anlage A werden Plateaus als "Sprünge" (jumps) bezeichnet.
  • Das erfindungsgemäße System funktioniert typischerweise in einem von zwei Modi:
    • a. Kalibrierung – Aufbau eines Profils des Wahrheit/Neutral-Gefühlzustandes der Person durch Beobachten einer Person, während die Person nicht lügt und/oder sich in neutralem Gefühlszustand befindet.
    • b. Testen – Vergleich der Sprache einer Person mit dem Profil des während der Kalibrierung festgestellten Wahrheit/Neutral-Gefühlszustandes der Person, um den Gefühlszustand festzustellen und/oder festzustellen, ob die Person die Wahrheit sagt oder nicht.
  • Wenn das System im Kalibrierungsmodus verwendet werden soll, wird das Verfahren von Schritt 50 aus mit Schritt 60 fortgesetzt. Wenn das System im Testmodus verwendet werden soll, wird das Verfahren von Schritt 50 aus mit Schritt 80 fortgesetzt.
  • Schritt 60: Wenn Schritt 60 erreicht wird, so zeigt dies an, dass das aktuelle Segment zu Kalibrierungszwecken verarbeitet worden ist. Daher werden die in Schritt 40 abgeleiteten Spitzen- und Plateau-Informationen in einer Kalibrierungstabelle gespeichert.
  • Die Prozesse aus den Schritten 2050 werden hier als "Stimmaufnahmen-Eingabeprozesse" bezeichnet. Wenn weitere Stimmaufnahmen zu Kalibrierungszwecken eingegeben werden sollen, kehrt das Verfahren zu Schritt 20 zurück. Wenn die Eingabe aller Stimmaufnahmen zu Kalibrierungszwecken beendet ist (Schritt 70), wird das Verfahren mit Schritt 80 fortgesetzt.
  • Schritt 80: Aufbau eines Profils des Wahrheit/Neutral-Gefühlszustandes für die Person, die gerade getestet wird. Damit wird der Betrieb im Kalibrierungsmodus abgeschlossen. Anschließend tritt das System in den Testmodus ein, in dem die Stimmaufnahmen der Person mit deren Wahrheit/Neutral-Gefühlsprofil verglichen wird, um das Auftreten von Unwahrhaftigkeit oder erhöhter Emotion zu identifizieren. Das Profil der Person spiegelt typischerweise zentrale Tendenzen der Spitzen-/Plateau-Informationen wider und wird typischerweise so angepasst, dass Artefakte der Kalibrierungssituation berücksichtigt werden. Beispielsweise sind aufgrund der natürlichen Anspannung zu Beginn des Kalibrierungsprozesses die ersten Stimmaufnahmen möglicherweise weniger zuverlässig als darauffolgende Stimmaufnahmen. Vorzugsweise können zur Erlangung einer zuverlässigen Anzeige zentraler Tendenzen extreme Einträge in der Kalibrierungstabelle verworfen werden.
  • Die Schritte ab 90 beziehen sich auf den Testmodus.
  • Schritt 90: Vergleichen von Spitzen-/Plateau-Informationen des aktuellen Segmentes mit dem in Schritt 80 errechneten Wahrheit/Neutral-Gefühlsprofil.
  • Schritt 100: Schwellenwertabgleich der Ergebnisse des Vergleichsprozesses aus Schritt 90, um das aktuelle Segment danach zu kategorisieren, ob es verschiedene Gefühle und/oder Unwahrhaftigkeit anzeigt.
  • Schritt 105: optionales Ausgleichen von Nachwirkung (carryover). Der Ausdruck "Nachwirkung" bezieht sich auf einen Rest eines Gefühlszustandes, der aus einem "tatsächlichen", durch eine erste wahrgenommene Situation hervorgerufenen Gefühlszustand übertragen wird, wobei der Rest des Gefühlszustandes noch anhält, nachdem die erste wahrgenommene Situation bereits beendet ist. Ein Beispiel einer geeigneten Implementierung für Schritt 105 wird vorliegend in dem Flussdiagramm aus 8 beschrieben.
  • Schritt 110: Anzeigen einer Nachricht, die die in Schritt 100 bestimmte Kategorie anzeigt.
  • Schritt 120: Rückkehr zu Schritt 20, wenn noch weitere Stimmsegmente zu analysieren sind. Sonst Abbruch. Für die Kalibrierung kann jede geeignete Segmentanzahl m verwendet werden, z.B. 5 Segmente.
  • 4 ist eine vereinfachte Flussdiagramm-Darstellung eines bevorzugten Verfahrens zur Durchführung von Schritt 40 aus 1B. Wie oben beschrieben, werden in Schritt 40 Spitzen-/Plateau-Informationen für den relevanten Abschnitt eines aktuellen Stimmaufnahme-Segmentes generiert.
  • Die aktuelle Länge des Plateaus wird mit "jj" bezeichnet.
  • "Jjmap(jj)" ist die Anzahl der Plateaus, deren Länge genau jj ist.
  • "Plat" ist der Zähler, mit dem die Anzahl Plateaus unabhängig von der Länge gezählt wird.
  • "Thorn" ist der Zähler, mit dem die Anzahl Spitzen gezählt wird.
  • n ist die Anzahl Abtastungen in einem relevanten Abschnitt im Test.
  • In Schritt 150 werden der Spitzen- und der Plateauzähler zurückgesetzt.
  • In Schritt 160 beginnt die Schleife für alle Abtastungen des relevanten Abschnitts. Die Schleife beginnt mit der ersten relevanten Abtastung und endet mit der letzten relevanten Abtastung minus 2.
  • In Schritt 164 werden die Amplituden der in der Schleife befindlichen Abtastungen aufgezeichnet.
  • In Schritt 170 und 180 werden die Spitzen erkannt, und in Schritt 190, 195, 200 und 210 werden die Plateaus erkannt.
  • In Schritt 200 wird, wenn die Länge des Kandidaten-Plateaus innerhalb angemessener Grenzen liegt, z.B. zwischen 3 und 20, die Zahl der Plateaus von der Länge jj inkrementiert und Plat, die Gesamtzahl Plateaus, ebenfalls inkrementiert. Andernfalls, d.h. wenn die Länge des Kandidaten-Plateaus unter 3 oder über 20 liegt, wird das Kandidaten-Plateau nicht als Plateau angesehen.
  • Gleichgültig ob das Kandidaten-Plateau als "echtes" Plateau angesehen wird, wird die Plateaulänge jj auf Null gesetzt (Schritt 210).
  • Schritt 220 ist das Schleifenende, d.h. der Punkt, an dem alle Abtastungen in der Sequenz geprüft sind.
  • In Schritt 230 wird der Mittelwert (AVJ) und der Standardfehler (JQ) der Plateaulängenvariable Jjmap errechnet.
  • In Schritt 240 werden SPT und SPJ berechnet. SPT ist die mittlere Anzahl Spitzen pro Abtastung, vorzugsweise entsprechend normalisiert. SPJ ist die mittlere Anzahl Plateaus pro Abtastung, vorzugsweise entsprechend normalisiert.
  • Gemäß der dargestellten Ausführungsform ist die Gefühlszustandserkennung mehrdimensional, d.h. der Gefühlszustand wird aus der Sprachinformation über mehrere, vorzugsweise unabhängige Zwischenvariablen abgeleitet.
  • 5 ist eine vereinfachte Flussdiagramm-Darstellung eines bevorzugten Verfahrens zum Implementieren des Schrittes zum Aufbau des Wahrheit/Neutral-Gefühlsprofiles aus 1B.
  • In 5 ist SPT(i) der SPT-Wert für das Segment i.
  • MinSPT ist der minimale SPT-Wert, der in einem der m Segmente gemessen wurde.
  • MaxSPT ist der maximale SPT-Wert, der in einem der m Segmente gemessen wurde.
  • MinSPJ ist der minimale SPJ-Wert, der in einem der m Segmente gemessen wurde.
  • MaxSPJ ist der maximale SPJ-Wert, der in einem der m Segmente gemessen wurde.
  • MinJQ ist der minimale JQ-Wert, der in einem der m Segmente gemessen wurde.
  • MaxJQ ist der maximale JQ-Wert, der in einem der m Segmente gemessen wurde.
  • ResSPT ist die Größe des Bereiches der während der Kalibrierung aufgetretenen SPT-Werte. Allgemeiner kann ResSPT jede geeignete Anzeige der Variationsbreite in der Anzahl Spitzen umfassen, die zu erwarten ist, wenn die Person sich in einem Wahrheit/Neutral-Gefühlszustand befindet. Wenn also die Anzahl der Spitzen in einem Sprachsegment bezüglich ResSPT nicht der Norm entspricht, lässt sich sagen, dass die Person sich in einem nicht-neutralen Gefühlszustand befindet, beispielsweise einem durch Erregung bzw. Anregung gekennzeichneten Gefühlszustand. ResSPT ist daher typischerweise eine Eingabe in den Prozess der Beurteilung von SPT-Werten, die während unbekannter emotionaler Umstände entstehen.
  • ResSPJ ist die Größe des Bereiches der während der Kalibrierung aufgetretenen SPJ-Werte. Allgemeiner kann ResSPJ jede geeignete Anzeige der Variationsbreite in der Anzahl Plateaus umfassen, die zu erwarten ist, wenn die Person sich in einem Wahrheit/Neutral-Gefühlszustand befindet. Wenn also die Anzahl Plateaus in einem Sprachsegment bezüglich ResSPJ nicht der Norm entspricht, lässt sich sagen, dass sich die Person in einem nicht-neutralen Gefühlszustand befindet, beispielsweise einem durch ein Gefühl inneren Widerspruchs oder kognitiver Dissonanz gekennzeichneten Gefühlszustand. Daher ist ResSPJ typischerweise eine Eingabe in den Prozess der Beurteilung von SPJ-Werten, die während unbekannter emotionaler Umstände entstehen.
  • ResJQ ist die Größe des Bereiches von während der Kalibrierung aufgetretenen JQ-Werten, die als Basiswert für die Beurteilung von JQ-Werten dient, die während unbekannter emotionaler Umstände entstehen.
  • Es versteht sich, dass die Basis nicht unbedingt eine 4-dimensionale Basis wie in 5 sein muss, sondern alternativ sogar eindimensional sein oder weit mehr als 4 Dimensionen aufweisen kann.
  • 6 ist eine vereinfachte Flussdiagramm-Darstellung eines bevorzugten Verfahrens zum Ausführen von Schritt 90 aus 1B auf einem bestimmten Segment. Wie oben beschrieben, werden in Schritt 90 Spitzen-/Plateau-Informationen eines aktuellen Segmentes mit der Wahrheit/Neutral-Gefühls-Basis verglichen, die in Schritt 80 errechnet wurde.
  • Schritt 400 ist ein Initialisierungsschritt.
  • Schritt 410 berechnet die Abweichung eines aktuellen relevanten Abschnitts von dem zuvor errechneten Wahrheit/Neutral-Gefühlszustandsprofil der Person. In der dargestellten Ausführungsform umfasst die Abweichung einen vierdimensionalen Wert mit einer ersten Komponente, die sich auf die Anzahl Spitzen bezieht, einer zweiten Komponente, die sich auf die Anzahl Plateaus bezieht, einer dritten Komponente, die sich auf den Standardfehler in der Plateaulänge bezieht, und einer vierten Komponente, die sich auf die mittlere Plateaulänge bezieht. Es versteht sich jedoch, dass in anderen Anwendungen andere Komponenten verwendet werden können. In manchen Anwendungen kann zum Beispiel die Verteilung von Spitzen (gleichmäßig, erratisch usw.) über ein Zeitintervall nützlich sein, um Informationen hinsichtlich des Gefühlszustandes der Person abzuleiten.
  • "BreakpointT" (Haltepunkt) ist ein Schwellenwert, der den akzeptablen Bereich von Verhältnissen zwischen der mittleren Anzahl Spitzen unter Wahrheit/Neutral-Gefühlsumständen und der bestimmten Anzahl Spitzen in dem aktuellen relevanten Abschnitt kennzeichnet.
  • "BreakpointJ" ist ein Schwellenwert, der den akzeptablen Bereich von Verhältnissen zwischen der mittleren Anzahl Plateaus unter Wahrheit/Neutral-Gefühlsumständen und der bestimmten Anzahl Plateaus in dem aktuellen relevanten Abschnitt kennzeichnet.
  • "BreakpointQ" ist ein Schwellenwert, der den akzeptablen Bereich von Verhältnissen zwischen einem mittleren Standardfehler der Anzahl Plateaus unter Wahrheit/Neutral-Gefühlsumständen und dem bestimmten Standardfehler in der Anzahl Plateaus im aktuellen relevanten Abschnitt kennzeichnet.
  • "BreakpointA" ist ein Schwellenwert, der den akzeptablen Bereich von Verhältnissen zwischen der mittleren Plateaulänge unter Wahrheit/Neutral-Gefühlsumständen und der bestimmten mittleren Plateaulänge im aktuellen relevanten Abschnitt kennzeichnet.
  • In den Schritten 420470 wird das Profil der Person unter Berücksichtigung der neuen, aus dem aktuellen Segment gewonnenen Informationen aktualisiert. In der dargestellten Ausführungsform werden nur die Werte von ResSPT und ResSPJ aktualisiert, und dies nur dann, wenn die Abweichung eines aktuellen relevanten Abschnitts von dem zuvor errechneten Wahrheit/Neutral-Gefühlszustandsprofil der Person entweder sehr groß ist (z.B. vorgegebene obere Grenzwerte (ceiling values) überschreitet) oder sehr gering ist (z.B. unter bestimmte, typischerweise negative, vorgegebene untere Grenzwerte (floor values) fällt). Wenn die Abweichung des aktuellen relevanten Abschnittes von dem Wahrheit/Neutral-Profil weder sehr groß noch sehr gering ist (z.B. wenn sie zwischen den oberen und den unteren Grenzwert fällt), bleibt das Profil der Person zu diesem Zeitpunkt typischerweise unverändert.
  • In den Schritten 460 und 470 wird, wenn zzSPT bzw. zzSPJ sehr nahe bei Null liegen, die Empfindlichkeit des Systems erhöht, indem ResSPT bzw. ResSPJ dekrementiert werden.
  • Schritt 480 erzeugt geeignete, typischerweise anwendungsspezifische Kombinationen aus den in Schritt 410 errechneten Abweichungskomponenten. Diese Kombinationen werden als Basis für geeignete Gefühlsklassifikationskriterien verwendet, z.B. die in 7 spezifizierten Gefühlsklassifikationskriterien. Die Gefühlsklassifikationskriterien aus 7 bestimmen, ob eine Person dahingehend klassifiziert wird, dass sie gerade übertreibt, unwahrhaftig ist, ausweicht, verwirrt oder unsicher ist, aufgeregt ist oder sarkastisch ist. Es versteht sich jedoch, dass in anderen Situationen andere Gefühlsklassifikationen verwendet werden können.
  • In der dargestellten Ausführungsform werden die SPT-Informationen hauptsächlich dazu verwendet, den Erregungsgrad zu bestimmen. Im Einzelnen wird zzSPT zur Bestimmung des Wertes von crEXCITE verwendet, der auch von zusätzlichen Parametern abhängen kann, etwa crSTRESS. Zum Beispiel kann ein crEXCITE-Wert zwischen 70 und 120 als normal angesehen werden, während Werte zwischen 120 und 160 als Indikatoren für mittlere Erregung angesehen werden können und Werte von über 160 als Indikatoren für hochgradige Erregung angesehen werden können.
  • In der dargestellten Ausführungsform wird die SPJ-Information hauptsächlich dazu verwendet, Gefühle psychischer Dissonanz zu bestimmen. Zum Beispiel kann ein zzSPJ-Wert zwischen 0,6 und 1,2 als normal angesehen werden, während ein Wert zwischen 1,2 und 1,7 als Indikator für Verwirrung oder Unsicherheit angesehen werden kann. Ein Wert von über 1,7 kann als Indikator dafür angesehen werden, dass die Person sich ihrer Stimme bewusst ist und/oder versucht, ihre Stimme zu kontrollieren.
  • In der dargestellten Ausführungsform werden die Werte zzJQ und crSTRESS hauptsächlich dazu verwendet, den Grad der Anspannung zu bestimmen. Beispielsweise kann ein crSTRESS-Wert zwischen 70 und 120 als normal angesehen werden, während Werte von über 120 als Indikatoren für hochgradige Anspannung angesehen werden können.
  • In der dargestellten Ausführungsform werden die AVJ-Informationen dazu verwendet, die Menge an Nachdenken zu bestimmen, das für gesprochene Wörter oder Sätze aufgewendet wird. Zum Beispiel ist, wenn crTHINK einen Wert von 100 übersteigt, die Menge des für einen zuletzt gesprochenen Satz aufgewendeten Nachdenkens größer als die während der Kalibrierungsphase aufgewendete Menge. Das bedeutet, dass die Person mehr darüber nachdenkt, was sie sagt, als in der Kalibrierungsphase. Wenn der Wert unter 100 liegt, denkt die Person weniger darüber nach, was sie sagt, als in der Kalibrierungsphase.
  • In der dargestellten Ausführungsform wird der Parameter crLIE verwendet, um die Wahrhaftigkeit zu bestimmen. Ein crLIE-Wert bis 50 kann als Indikator für Unwahrhaftigkeit angesehen werden, Werte zwischen 50 und 60 können als Indikatoren für Sarkasmus oder Humor angesehen werden, Werte zwischen 60 und 130 können als Indikatoren für Wahrhaftigkeit angesehen werden, Werte zwischen 130 und 170 können als Indikatoren für Ungenauigkeit oder Übertreibung angesehen werden, und Werte über 170 können als Indikatoren für Unwahrhaftigkeit angesehen werden.
  • Unter Rückbezug auf 6 können die oben genannten Parameter folgende Werte annehmen:
    BreakpointT = BreakpointJ = BreakpointQ = BreakpointA = 1,1
    CeilingT = CeilingJ = 1,1
    FloorJ = FloorT = –0,6
    IncrementT = IncrementJ = DecrementT = DecrementJ = 0,1
    MinimalT = MinimalJ = 0,1
  • Es versteht sich, dass alle Zahlenwerte lediglich Beispiele und typischerweise anwendungsabhängig sind.
  • 7 stellt das Verfahren dar, um die verschiedenen Parameter in Meldungen umzuwandeln, die angezeigt werden können, wie z.B. in 1 gezeigt.
  • 8 stellt ein Verfahren zur Feineinstellung des Wahrheit/Neutral-Gefühlszustandes dar.
  • Anlage A ist ein Computer-Listing einer Software-Implementierung einer bevorzugten Ausführung der vorliegend gezeigten und beschriebenen Erfindung, die von der vorliegend mit Bezugnahme auf die Zeichnungen gezeigten und beschriebenen Ausführungsform leicht abweicht.
  • Ein geeignetes Verfahren zum Erstellen der Software-Implementierung ist folgendes:
    • a. Erstellen eines neuen Projektes auf einem PC, der mit einem Mikrofon, einer Soundkarte und der Software Visual BasicTM, Version 5, ausgestattet ist. Die Aufnahmeeinstellung der Soundkarte kann folgenden Parametern entsprechen: 11 KHz, 8 Bit, Mono, PCM.
    • b. Positionieren eines Timer-Objektes auf dem Standardformular, das in dem neuen Projekt erscheint. Das Timer-Objekt ist mit "timer1" bezeichnet.
    • c. Positionieren eines MCI-Multimedia-Steuerobjektes auf dem Formular. Dieses Objekt ist mit "mmcontroll" bezeichnet.
    • d. Positionieren von 5 Bezeichnungs-Objekten auf dem Formular. Diese Bezeichnungen sind mit "Bezeichnung1", "Bezeichnung2", "Bezeichnung3", "Bezeichnung4" und "Bezeichnung6" bezeichnet.
    • e. Erstellen von 4 Bezeichnungs-Arrays auf dem Formular. Diese Arrays werden wie folgt umbenannt: SPT(0..4), SPJ(0..4), JQ(0..4), AVJ(0..4).
    • f. Positionieren einer Befehlsschaltfläche auf dem Formular und Ändern der "Caption"-Eigenschaft zu "Ende". Die Befehlsschaltfläche ist mit "command1" bezeichnet.
    • g. Erstellen von Code für das Formular durch Eingabe der Seiten aus Anlage A, die mit "form1" betitelt sind.
    • h. Hinzufügen eines Moduls zu dem Projekt. Erstellen von Code für das Modul durch Eingabe der Seiten aus Anlage A, die mit "Feelings_detector" betitelt sind.
    • i. Anschließen eines Mikrofons an den PC.
    • j. Drücken von (F5) oder "Ausführung", um die Anwendung zu starten.
  • 9 ist eine bildliche Darstellung einer Bildschirmanzeige, auf der das Formular im Entwurfsmodus kurz vor dem Start der Anwendung abgebildet ist.
  • 10 ist eine bildliche Darstellung einer Bildschirmanzeige, auf der das Formular im Ausführungsmodus während der Kalibrierung auf eine bestimmte Person abgebildet ist.
  • 11 ist eine bildliche Darstellung einer Bildschirmanzeige, auf der das Formular im Ausführungsmodus abgebildet ist, während eine Person getestet wird.
  • Die Variable CoR_msgX in Anlage A hat folgende Werte:
    1 – Wahrhaftigkeit, 2 – Sarkasmus, 3 – Erregung, 4 – Verwirrung/Unsicherheit, 5 – hochgradige Erregung, 6 – Stimmmanipulation, 7 – Lüge/unwahre Aussage, 8 – Übertreibung/Ungenauigkeit.
  • Variablen, die Daten aus dem aktuellen relevanten Abschnitt enthalten, haben Namen, die mit folgenden Zeichen beginnen: cor_.
  • Basisfaktoren haben Namen, die mit folgenden Zeichen beginnen: cal_.
  • Haltepunktfaktoren (breakpoint factors) haben Namen, die mit folgenden Zeichen beginnen: bp_.
  • ResSPT und resSPJ werden mit ResT bzw. ResJ benannt.
  • 12 ist eine vereinfachte Funktionsblockdiagrammdarstellung eines Systems zum Erkennen von Gefühlszuständen, das gemäß einer bevorzugten Ausführungsform der vorliegenden Erfindung aufgebaut ist und funktioniert, und das dafür funktionsfähig ist, das Verfahren aus 1B auszuführen. Wie dargestellt, enthält das System aus 12 eine Stimmeingabeeinrichtung wie z.B. ein Bandaufzeichnungsgerät 700, ein Mikrofon 710 oder Telefon 720, das Sprache erzeugt, die über einen A/D-Wandler 740 in eine Gefühlserkennungs-Workstation 735 eingegeben wird. Typischerweise unterteilt eine Stimmfenster-Aufzeichnungsvorrichtung (voice window recorder) 750 die eingehenden, Sprache repräsentierenden Signale in Stimmfenster bzw. -segmente, die von einem Stimmfenster-Analysator 760 analysiert werden. Der Stimmfenster-Analysator vergleicht die Stimmfenster bzw. -segmente mit in der Einheit 770 gespeicherten Kalibrierungsdaten. Die Kalibrierungsdaten werden typischerweise individuell für jede individuelle Person abgeleitet, wie oben detailliert beschrieben. Eine Anzeigeeinheit bzw. ein Drucker 780 ist zum Anzeigen bzw. Ausdrucken eines Gefühlsstatusberichts, vorzugsweise online, für den Anwender des Systems vorgesehen.
  • Es versteht sich, dass die Software-Komponenten der vorliegenden Erfindung falls gewünscht in ROM-(Festspeicher)-Form implementiert sein können. Die Software-Komponenten können generell, falls gewünscht, unter Verwendung gängiger Techniken in Hardware implementiert sein.
  • Es versteht sich, dass die besondere, in der Anlage beschriebene Ausführungsform nur eine äußerst detaillierte Offenbarung der vorliegenden Erfindung bieten soll und nicht als einschränkend zu verstehen ist.
  • Es versteht sich, dass verschiedene Merkmale der Erfindung, die aus Gründen der Klarheit im Zusammenhang mit separaten Ausführungsformen beschrieben werden, auch in Kombination in einer einzigen Ausführungsform vorgesehen sein können. Umgekehrt können verschiedene Merkmale der Erfindung, die der Kürze halber im Zusammenhang mit einer einzigen Ausführungsform beschrieben werden, auch separat oder in jeder geeigneten Unter-Kombinationen vorgesehen werden.
  • Dem Fachmann wird ersichtlich sein, dass die vorliegende Erfindung nicht auf das oben Dargestellte und Beschriebene beschränkt ist. Vielmehr wird der Umfang der vorliegenden Erfindung nur durch die folgenden Ansprüche definiert.

Claims (31)

  1. Vorrichtung zum Erkennen des Gefühlszustands einer Person, die Vorrichtung umfasst: einen Sprachanalysator, funktionsfähig, um ein Stimmsegment einer abgetasteten Sprechprobe (32), die durch die Person erzeugt wird, zu analysieren und um direkt daraus Intonationsinformationen abzuleiten, wobei die Intonationsinformationen wenigstens eine von Information in Bezug auf die Anzahl von Dornen (thorns) in dem Stimmsegment, Information in Bezug auf die Anzahl von Plateaus in dem Stimmsegment und Information in Bezug auf die Länge von Plateaus in dem Stimmsegment enthalten, und einen Gefühlsanzeiger, funktionsfähig, um auf Basis der Intonationsinformationen eine Ausgabeanzeige des Gefühlszustands der Person zu erzeugen, wobei ein Dorn (thorn) ein Merkmal in der Sprechprobe ist, das eine Sequenz von einer benachbarten ersten Abtastung, mittleren Abtastung und dritten Abtastung enthält, wobei die erste Abtastung und die dritte Abtastung beide höher oder niedriger als die mittlere Abtastung sind, und wobei ein Plateau ein flaches Segment in der Sprechprobe ist, die Lange des flachen Segmentes größer als ein vorgegebener Mindestschwellenwert ist und kleiner als ein vorgegebener Höchstschwellenwert ist und wobei eine Differenz in der Amplitude zwischen aufeinanderfolgenden Abtastungen in dem flachen Segment kleiner als ein vorgegebener Amplitudenschwellenwert ist.
  2. Vorrichtung nach Anspruch 1, wobei die Sprechprobe (32) über das Telefon (720) für den Sprachanalysator bereitgestellt wird.
  3. Vorrichtung nach Anspruch 1, wobei der Bericht über den Gefühlszustand der Person einen auf dem Gefühlszustand der Person basierenden Lügenerkennungsbericht enthält.
  4. Vorrichtung nach einem der Ansprüche 1 bis 3, wobei die Intonationsinformationen mehrdimensionale Intonationsinformationen umfassen.
  5. Vorrichtung nach Anspruch 4, wobei die mehrdimensionalen Intonationsinformationen wenigstens dreidimensionale Informationen umfassen.
  6. Vorrichtung nach Anspruch 4, wobei die mehrdimensionalen Intonationsinformationen wenigstens vierdimensionale Informationen umfassen.
  7. Vorrichtung nach Anspruch 1, wobei die Intonationsinformationen Informationen in Bezug auf die Anzahl von Dornen in dem Stimmsegment enthalten und der Gefühlszustand den Erregungsgrad enthält.
  8. Vorrichtung nach Anspruch 1, wobei die Intonationsinformationen Informationen in Bezug auf die Anzahl von Dornen in dem Stimmsegment enthalten und die Informationen in Bezug auf die Anzahl von Dornen Informationen in Bezug auf die Verteilung von Dornen im Zeitablauf enthalten.
  9. Vorrichtung nach Anspruch 1, wobei die Intonationsinformationen Informationen in Bezug auf die Anzahl von Plateaus in dem Stimmsegment enthalten und der Gefühlszustand Gefühle psychischer Dissonanz enthält.
  10. Vorrichtung nach Anspruch 1, wobei die Intonationsinformationen Informationen in Bezug auf die Länge von Plateaus in dem Stimmsegment enthalten und die Informationen in Bezug auf die Länge von Plateaus eine mittlere Plateaulänge für einen vorgegebenen Zeitraum enthalten.
  11. Vorrichtung nach Anspruch 10, wobei der Gefühlszustand die Menge von Denken enthält, die in gesprochene Wörter oder Sätze investiert wird.
  12. Vorrichtung nach Anspruch 10, wobei die Intonationsinformationen Informationen in Bezug auf die Lange von Plateaus in dem Stimmsegment enthalten und die Informationen in Bezug auf die Lange von Plateaus einen Standardfehler der Plateaulänge für einen vorgegebenen Zeitraum umfassen.
  13. Vorrichtung nach Anspruch 12, wobei der Gefühlszustand den Grad der Anspannung enthält.
  14. Vorrichtung nach Anspruch 7, wobei der Gefühlszustand die Wahrhaftigkeit enthält.
  15. Vorrichtung nach Anspruch 1, wobei der Sprachanalysator einen mehrdimensionalen Sprachanalysator, funktionsfähig, um eine durch eine Person erzeugte Sprechprobe (32) einzugeben und um eine Vielzahl von Eigenschaften der Sprechprobe (32) zu quantifizieren, umfasst und wobei der Gefühlsanzeiger einen Glaubwürdigkeitsbewertungsanzeiger umfasst, funktionsfähig, um auf Basis der Vielzahl von quantifizierten Eigenschaften eine Ausgabeanzeige der Glaubwürdigkeit der Person, einschließlich Lügenerkennung, zu erzeugen.
  16. Vorrichtung nach einem der Ansprüche 1 bis 6 und 9 bis 13, wobei die Sprechprobe (32) eine Hauptsprachwelle mit einer Periode umfasst und wobei der Sprachanalysator funktionsfähig ist, um die Sprechprobe (32) zu analysieren, um die Häufigkeitsrate von Plateaus (38) zu bestimmen, wobei jedes Plateau anzeigt, dass eine lokal niederfrequente Welle auf die Hauptsprachwelle überlagert wird, und wobei der Gefühlsanzeiger funktionsfähig ist, um auf Basis der Häufigkeitsrate von Plateaus (38) eine geeignete Ausgabeanzeige bereitzustellen.
  17. Verfahren zum Erkennen des Gefühlszustands einer Person, das Verfahren umfasst: Empfangen eines Stimmsegmentes einer abgetasteten Sprechprobe (32), die durch die Person erzeugt wird, und direktes Ableiten daraus von Intonationsinformationen, wobei die Intonationsinformationen wenigstens eine von Information in Bezug auf die Anzahl von Dornen in dem Stimmsegment, Information in Bezug auf die Anzahl von Plateaus in dem Stimmsegment und Information in Bezug auf die Länge von Plateaus in dem Stimmsegment enthalten, und Erzeugen einer Ausgabeanzeige des Gefühlszustands der Person auf Basis der Intonationsinformationen, wobei ein Dorn ein Merkmal in der Sprechprobe ist, das eine Sequenz von einer benachbarten ersten Abtastung, mittleren Abtastung und dritten Abtastung enthält, wobei die erste Abtastung und die dritte Abtastung beide höher oder niedriger als die mittlere Abtastung sind, und wobei ein Plateau ein flaches Segment in der Sprechprobe ist, die Länge des flachen Segmentes größer als ein vorgegebener Mindestschwellenwert ist und kleiner als ein vorgegebener Höchstschwellenwert ist und wobei eine Differenz in der Amplitude zwischen aufeinanderfolgenden Abtastungen in dem flachen Segment kleiner als ein vorgegebener Amplitudenschwellenwert ist.
  18. Verfahren nach Anspruch 17, wobei das Empfangen der Sprechprobe über das Telefon durchgeführt wird.
  19. Verfahren nach Anspruch 17, wobei das Ableiten von Intonationsinformationen umfasst: Quantifizieren einer Vielzahl von Eigenschaften der Sprechprobe (32) und wobei das Erzeugen einer Ausgabeanzeige umfasst: Erzeugen einer Ausgabeanzeige der Glaubwürdigkeit der Person, einschließlich Lügenerkennung, auf Basis der Vielzahl von quantifizierten Eigenschaften.
  20. Verfahren nach einem der Ansprüche 17 bis 19, wobei die Intonationsinformationen Informationen in Bezug auf die Anzahl von Dornen in dem Stimmsegment enthalten und das Ableiten von Intonationsinformationen Ableiten von mehrdimensionalen Intonationsinformationen beinhaltet.
  21. Verfahren nach Anspruch 17, wobei die Intonationsinformationen Informationen in Bezug auf die Anzahl von Dornen in dem Stimmsegment enthalten und das Ableiten von Intonationsinformationen Zählen der Anzahl von Dornen in einem vorgegebenen Zeitraum in dem Stimmsegment beinhaltet.
  22. Verfahren nach Anspruch 21, wobei der Gefühlszustand den Erregungsgrad enthält.
  23. Verfahren nach Anspruch 17, wobei die Intonationsinformationen Informationen in Bezug auf die Anzahl von Dornen in dem Stimmsegment enthalten und das Ableiten von Intonationsinformationen Berechnen der Verteilung von Dornen im Zeitablauf in dem Stimmsegment beinhaltet.
  24. Verfahren nach Anspruch 17, wobei die Intonationsinformationen Informationen in Bezug auf die Anzahl von Plateaus in dem Stimmsegment enthalten und das Ableiten von Intonationsinformationen Zählen der Anzahl von Plateaus in einem vorgegebenen Zeitraum beinhaltet.
  25. Verfahren nach Anspruch 24, wobei der Gefühlszustand Gefühle psychischer Dissonanz enthält.
  26. Verfahren nach Anspruch 17, wobei die Intonationsinformationen Informationen in Bezug auf die Länge von Plateaus in dem Stimmsegment enthalten und das Ableiten von Intonationsinformationen Berechnen einer mittleren Plateaulänge für einen vorgegebenen Zeitraum beinhaltet.
  27. Verfahren nach Anspruch 26, wobei der Gefühlszustand die Menge von Denken enthält, die in gesprochene Wörter oder Sätze investiert wird.
  28. Verfahren nach Anspruch 26, wobei das Ableiten von Intonationsinformationen des Weiteren beinhaltet: Berechnen eines Standardfehlers der Plateaulänge für den vorgegebenen Zeitraum.
  29. Verfahren nach Anspruch 28, wobei der Gefühlszustand den Grad der Anspannung enthält.
  30. Verfahren nach Anspruch 17, wobei der Gefühlszustand Wahrhaftigkeit enthält.
  31. Verfahren nach Anspruch 17, wobei das Empfangen eines Stimmsegmentes umfasst: Einrichten eines charakteristischen Bereichs, der den Gefühlsbereich der Person im ruhigen Zustand charakterisiert, durch: Überwachen der Person in Bezug auf die Intonationsinformationen über einen ersten Zeitraum, in dem die Person in einem neutralen Gefühlszustand ist, und Definieren des charakteristischen Bereichs als eine Funktion des Bereichs der Intonationsinformationen während dieses ersten Zeitraums, wobei das Erzeugen einer Ausgabeanzeige umfasst: Überwachen der Person in Bezug auf Intonationsinformationen über einen zweiten Zeitraum, während dessen erwünscht ist, den Gefühlszustand der Person zu erkennen, um dadurch eine Messung der Intonationsinformationen zu erhalten, und Anpassen der Messung, so dass der charakteristische Bereich berücksichtigt wird.
DE69837107T 1997-12-16 1998-12-16 Gerät und verfahren zum feststellen von gefühlen Expired - Lifetime DE69837107T2 (de)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
IL12263297A IL122632A0 (en) 1997-12-16 1997-12-16 Apparatus and methods for detecting emotions
IL12263297 1997-12-16
PCT/IL1998/000613 WO1999031653A1 (en) 1997-12-16 1998-12-16 Apparatus and methods for detecting emotions

Publications (2)

Publication Number Publication Date
DE69837107D1 DE69837107D1 (de) 2007-03-29
DE69837107T2 true DE69837107T2 (de) 2007-11-22

Family

ID=11070983

Family Applications (1)

Application Number Title Priority Date Filing Date
DE69837107T Expired - Lifetime DE69837107T2 (de) 1997-12-16 1998-12-16 Gerät und verfahren zum feststellen von gefühlen

Country Status (19)

Country Link
US (1) US6638217B1 (de)
EP (1) EP1038291B1 (de)
JP (1) JP4309053B2 (de)
CN (1) CN1174373C (de)
AT (1) ATE354159T1 (de)
AU (1) AU770410B2 (de)
BR (1) BR9814288A (de)
CA (1) CA2313526C (de)
DE (1) DE69837107T2 (de)
ES (1) ES2283082T3 (de)
HK (1) HK1034796A1 (de)
HU (1) HU226537B1 (de)
IL (1) IL122632A0 (de)
PL (1) PL341296A1 (de)
PT (1) PT1038291E (de)
RU (1) RU2294023C2 (de)
TR (1) TR200001765T2 (de)
TW (1) TW446933B (de)
WO (1) WO1999031653A1 (de)

Families Citing this family (53)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IL129399A (en) * 1999-04-12 2005-03-20 Liberman Amir Apparatus and methods for detecting emotions in the human voice
US6275806B1 (en) 1999-08-31 2001-08-14 Andersen Consulting, Llp System method and article of manufacture for detecting emotion in voice signals by utilizing statistics for voice signal parameters
US7590538B2 (en) 1999-08-31 2009-09-15 Accenture Llp Voice recognition system for navigating on the internet
US6463415B2 (en) * 1999-08-31 2002-10-08 Accenture Llp 69voice authentication system and method for regulating border crossing
US7222075B2 (en) 1999-08-31 2007-05-22 Accenture Llp Detecting emotions using voice signal analysis
US6480826B2 (en) * 1999-08-31 2002-11-12 Accenture Llp System and method for a telephonic emotion detection that provides operator feedback
US6427137B2 (en) 1999-08-31 2002-07-30 Accenture Llp System, method and article of manufacture for a voice analysis system that detects nervousness for preventing fraud
TWI221574B (en) * 2000-09-13 2004-10-01 Agi Inc Sentiment sensing method, perception generation method and device thereof and software
ES2177437B1 (es) * 2000-12-13 2003-09-01 Neturin S L Dispositivo analizador animico para mamiferos.
IL144818A (en) 2001-08-09 2006-08-20 Voicesense Ltd Method and apparatus for speech analysis
US6721704B1 (en) 2001-08-28 2004-04-13 Koninklijke Philips Electronics N.V. Telephone conversation quality enhancer using emotional conversational analysis
EP1300831B1 (de) * 2001-10-05 2005-12-07 Sony Deutschland GmbH Verfahren zur Detektion von Emotionen, unter Verwendung von Untergruppenspezialisten
US7191134B2 (en) * 2002-03-25 2007-03-13 Nunally Patrick O'neal Audio psychological stress indicator alteration method and apparatus
CN100534103C (zh) * 2004-09-10 2009-08-26 松下电器产业株式会社 用于通告人的情感的信息处理终端和方法
US20060229882A1 (en) * 2005-03-29 2006-10-12 Pitney Bowes Incorporated Method and system for modifying printed text to indicate the author's state of mind
US7580512B2 (en) * 2005-06-28 2009-08-25 Alcatel-Lucent Usa Inc. Selection of incoming call screening treatment based on emotional state criterion
WO2007017853A1 (en) * 2005-08-08 2007-02-15 Nice Systems Ltd. Apparatus and methods for the detection of emotions in audio interactions
JP2009508553A (ja) * 2005-09-16 2009-03-05 アイモーションズ−エモーション テクノロジー エー/エス 眼球性質を解析することで、人間の感情を決定するシステムおよび方法
US8078470B2 (en) * 2005-12-22 2011-12-13 Exaudios Technologies Ltd. System for indicating emotional attitudes through intonation analysis and methods thereof
US8204747B2 (en) * 2006-06-23 2012-06-19 Panasonic Corporation Emotion recognition apparatus
JP2009543611A (ja) * 2006-07-12 2009-12-10 メディカル サイバーワールド、インコーポレイテッド コンピュータ化医療訓練システム
CA2663078A1 (en) * 2006-09-07 2008-03-13 The Procter & Gamble Company Methods for measuring emotive response and selection preference
JP2010506206A (ja) * 2006-10-03 2010-02-25 エヴゲニエヴィッチ ナズドラチェンコ、アンドレイ 声に応じて人のストレス状態を測定する方法およびこの方法を実行する装置
US20080260212A1 (en) * 2007-01-12 2008-10-23 Moskal Michael D System for indicating deceit and verity
US20110022395A1 (en) * 2007-02-15 2011-01-27 Noise Free Wireless Inc. Machine for Emotion Detection (MED) in a communications device
EP1998452A1 (de) * 2007-06-01 2008-12-03 EADS Deutschland GmbH Verfahren zur Komprimierung und Erweiterung von Audiosignalen
US8346559B2 (en) * 2007-12-20 2013-01-01 Dean Enterprises, Llc Detection of conditions from sound
US8219397B2 (en) * 2008-06-10 2012-07-10 Nuance Communications, Inc. Data processing system for autonomously building speech identification and tagging data
US20090318773A1 (en) * 2008-06-24 2009-12-24 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Involuntary-response-dependent consequences
US20100010370A1 (en) 2008-07-09 2010-01-14 De Lemos Jakob System and method for calibrating and normalizing eye data in emotional testing
WO2010018459A2 (en) 2008-08-15 2010-02-18 Imotions - Emotion Technology A/S System and method for identifying the existence and position of text in visual media content and for determining a subject's interactions with the text
US8340974B2 (en) * 2008-12-30 2012-12-25 Motorola Mobility Llc Device, system and method for providing targeted advertisements and content based on user speech data
US9295806B2 (en) 2009-03-06 2016-03-29 Imotions A/S System and method for determining emotional response to olfactory stimuli
RU2532619C2 (ru) * 2009-04-17 2014-11-10 Конинклейке Филипс Электроникс Н.В. Система эмбиентной телефонной связи, подвижный элемент, способ и машиночитаемый носитель для нее
US20140025385A1 (en) * 2010-12-30 2014-01-23 Nokia Corporation Method, Apparatus and Computer Program Product for Emotion Detection
US20120182211A1 (en) * 2011-01-14 2012-07-19 Research In Motion Limited Device and method of conveying emotion in a messaging application
US20120182309A1 (en) * 2011-01-14 2012-07-19 Research In Motion Limited Device and method of conveying emotion in a messaging application
GB2500362A (en) * 2011-02-03 2013-09-25 Research In Motion Ltd Device and method of conveying emotion in a messaging application
GB2500363A (en) * 2011-02-03 2013-09-25 Research In Motion Ltd Device and method of conveying emotion in a messaging application
US10445846B2 (en) 2011-04-14 2019-10-15 Elwha Llc Cost-effective resource apportionment technologies suitable for facilitating therapies
US10853819B2 (en) 2011-04-14 2020-12-01 Elwha Llc Cost-effective resource apportionment technologies suitable for facilitating therapies
US10373508B2 (en) * 2012-06-27 2019-08-06 Intel Corporation Devices, systems, and methods for enriching communications
RU2553413C2 (ru) * 2012-08-29 2015-06-10 Федеральное государственное бюджетное образовательное учреждение высшего профессионального образования "Воронежский государственный университет" (ФГБУ ВПО "ВГУ") Способ выявления эмоционального состояния человека по голосу
RU2525284C2 (ru) * 2012-11-16 2014-08-10 Валерий Викторович Курышев Способ определения степени эмоционального воздействия развлекательных мероприятий на зрителя
US9378741B2 (en) 2013-03-12 2016-06-28 Microsoft Technology Licensing, Llc Search results using intonation nuances
TWI500023B (zh) 2013-04-11 2015-09-11 Univ Nat Central 透過視覺的聽覺輔助裝置
WO2015019345A1 (en) * 2013-08-06 2015-02-12 Beyond Verbal Communication Ltd Emotional survey according to voice categorization
CN103829958B (zh) * 2014-02-19 2016-11-09 广东小天才科技有限公司 一种监测人情绪的方法及装置
US9786299B2 (en) 2014-12-04 2017-10-10 Microsoft Technology Licensing, Llc Emotion type classification for interactive dialog system
JP2018515155A (ja) 2015-03-09 2018-06-14 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. ウェアラブルデバイスを用いてユーザの良好さを遠隔からモニタするためのシステム、デバイス、及び方法
EP3674951A1 (de) * 2018-12-31 2020-07-01 Nederlandse Organisatie voor toegepast- natuurwetenschappelijk onderzoek TNO System und verfahren zur gewinnung von authentifizierungsinformationen für benutzereingabeinformationen
US11138379B2 (en) 2019-04-25 2021-10-05 Sorenson Ip Holdings, Llc Determination of transcription accuracy
CN110265063B (zh) * 2019-07-22 2021-09-24 东南大学 一种基于固定时长语音情感识别序列分析的测谎方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3971034A (en) * 1971-02-09 1976-07-20 Dektor Counterintelligence And Security, Inc. Physiological response analysis method and apparatus
US3855418A (en) * 1972-12-01 1974-12-17 F Fuller Method and apparatus for phonation analysis leading to valid truth/lie decisions by vibratto component assessment
DE2431458C2 (de) * 1974-07-01 1986-05-28 Philips Patentverwaltung Gmbh, 2000 Hamburg Verfahren und Anordnung zur automatischen Sprechererkennung
US4093821A (en) * 1977-06-14 1978-06-06 John Decatur Williamson Speech analyzer for analyzing pitch or frequency perturbations in individual speech pattern to determine the emotional state of the person
US5148483A (en) * 1983-08-11 1992-09-15 Silverman Stephen E Method for detecting suicidal predisposition
US5029214A (en) * 1986-08-11 1991-07-02 Hollander James F Electronic speech control apparatus and methods
JPH01107240U (de) * 1988-01-08 1989-07-19
JPH0512023A (ja) * 1991-07-04 1993-01-22 Omron Corp 感情認識装置
IL108401A (en) * 1994-01-21 1996-12-05 Hashavshevet Manufacture 1988 Method and apparatus for indicating the emotional state of a person
JP3280825B2 (ja) * 1995-04-26 2002-05-13 富士通株式会社 音声特徴分析装置
JPH09265378A (ja) * 1996-03-28 1997-10-07 Hitachi Ltd オペレータの支援方法および支援システム
US5853005A (en) * 1996-05-02 1998-12-29 The United States Of America As Represented By The Secretary Of The Army Acoustic monitoring system
US5875427A (en) * 1996-12-04 1999-02-23 Justsystem Corp. Voice-generating/document making apparatus voice-generating/document making method and computer-readable medium for storing therein a program having a computer execute voice-generating/document making sequence
US6055501A (en) * 1997-07-03 2000-04-25 Maccaughelty; Robert J. Counter homeostasis oscillation perturbation signals (CHOPS) detection

Also Published As

Publication number Publication date
JP4309053B2 (ja) 2009-08-05
AU770410B2 (en) 2004-02-19
ES2283082T3 (es) 2007-10-16
HU226537B1 (en) 2009-03-30
DE69837107D1 (de) 2007-03-29
BR9814288A (pt) 2000-10-03
CA2313526C (en) 2009-08-11
WO1999031653A1 (en) 1999-06-24
CA2313526A1 (en) 1999-06-24
PT1038291E (pt) 2007-05-31
HUP0101836A3 (en) 2004-04-28
IL122632A0 (en) 1998-08-16
EP1038291B1 (de) 2007-02-14
PL341296A1 (en) 2001-04-09
EP1038291A4 (de) 2000-11-22
TW446933B (en) 2001-07-21
US6638217B1 (en) 2003-10-28
TR200001765T2 (tr) 2000-11-21
AU1575099A (en) 1999-07-05
EP1038291A1 (de) 2000-09-27
CN1174373C (zh) 2004-11-03
JP2002509267A (ja) 2002-03-26
ATE354159T1 (de) 2007-03-15
RU2294023C2 (ru) 2007-02-20
CN1282445A (zh) 2001-01-31
HUP0101836A1 (hu) 2001-09-28
HK1034796A1 (en) 2001-11-02

Similar Documents

Publication Publication Date Title
DE69837107T2 (de) Gerät und verfahren zum feststellen von gefühlen
DE60014063T2 (de) Vorrichtung und verfahren zur erkennung von gefühlen in der menschlichen stimme
DE60020865T2 (de) System, Verfahren und Computerprogramm für einen telefonischen Emotionsdetektor mit Rückmeldung an einen Bediener
DE60031432T2 (de) System, verfahren und hergestellter gegenstand zur detektion von emotionen in sprachsignalen mittels statistischer analyse von sprachsignalparametern
DE3854806T2 (de) Gerät zur Bestimmung der verschiedenen Phasen des Schlafens in Wechselwirkung mit Bedienungspersonen
DE69736552T2 (de) Intelligente anwenderunterstützungsfunktion
DE60024269T2 (de) Messung der gesamtkonzentration von hämoglobin
DE69025065T2 (de) Lungengeräusch-nachweissystem
DE69723564T2 (de) Gerät zur überwachung eines patienten
DE69637337T2 (de) Verbesserungen in Bezug auf physiologische Überwachung
EP0828225A1 (de) Verfahren und Vorrichtung zum Auswerten von EEG-Daten
DE602004007753T2 (de) Verfahren zur Qualitätskontrolle eines industriellen Verfahrens, insbesondere eines Laserschweissverfahrens
DE60025333T2 (de) Sprachdetektion mit stochastischer konfidenzmassbewertung des frequenzspektrums
DE4324292C1 (de) Verfahren zur Ermittlung einer die Qualität einer digitalen Sprachübertragung kennzeichnenden Größe
DE4327429A1 (de) Verfahren und Vorrichtung zur Gehirnwellenanalyse
DE69025932T2 (de) Einrichtung und verfahren zum erzeugen von stabilisierten darstellungen von wellen
DE60110541T2 (de) Verfahren zur Spracherkennung mit geräuschabhängiger Normalisierung der Varianz
DE3732122C2 (de) Vorrichtung zur Bewertung einer periodischen Folge von Herzgeräuschsignalen
DE69723741T2 (de) Messverfahren für optische Aufzeichnungsverfahren
DE4331018C2 (de) Verfahren zur Bewertung von Blutproben
DE4428658A1 (de) Verfahren zur Erkennung von Signalen mittels Fuzzy-Klassifikation
DE3246025T1 (de) Mapping der elektrischen Gehirnaktivität
EP0885423B1 (de) Verfahren und vorrichtung zur klassifikation einer zeitreihe eines elektrischen signals durch einen rechner
DE4228934C2 (de) Vorrichtung zur Bestimmung des Vertrauensbereichs von Perzentil-Meßwerten kontinuierlicher stochastischer Schallsignale
DE1547027B2 (de) Verfahren und anordnung zur konsonantenbestimmung in sprachsignalen

Legal Events

Date Code Title Description
8364 No opposition during term of opposition