EP4179550A1 - System and method for recognising emotions - Google Patents

System and method for recognising emotions

Info

Publication number
EP4179550A1
EP4179550A1 EP21769367.0A EP21769367A EP4179550A1 EP 4179550 A1 EP4179550 A1 EP 4179550A1 EP 21769367 A EP21769367 A EP 21769367A EP 4179550 A1 EP4179550 A1 EP 4179550A1
Authority
EP
European Patent Office
Prior art keywords
user
data
primary data
recording
server
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP21769367.0A
Other languages
German (de)
French (fr)
Inventor
Rebecca Johnson
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens AG
Original Assignee
Siemens AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens AG filed Critical Siemens AG
Publication of EP4179550A1 publication Critical patent/EP4179550A1/en
Pending legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16Y—INFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
    • G16Y20/00—Information sensed or collected by the things
    • G16Y20/40—Information sensed or collected by the things relating to personal data, e.g. biometric data, records or preferences
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/0205—Simultaneously evaluating both cardiovascular conditions and different types of body conditions, e.g. heart and respiratory condition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/163—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A61B5/384—Recording apparatus or displays specially adapted therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6802—Sensor mounted on worn items
    • A61B5/681—Wristwatch-type devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16Y—INFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
    • G16Y40/00—IoT characterised by the purpose of the information processing
    • G16Y40/20—Analytics; Diagnosis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A61B5/0255—Recording instruments specially adapted therefor
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H15/00—ICT specially adapted for medical reports, e.g. generation or transmission thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture

Definitions

  • the invention relates to a system and method for the emotional recognition of a user within a defined period of time, in particular a system and method that can be used both mobile—ie on site—and via a screen.
  • a face recognition system established in Russia recognizes all Asian faces as "in a good mood” or "happy” because their eye creases curve in a certain way.
  • optical data classified as "angry” - for example video recordings - from users who show wrinkles simply because of aging and not because of their current state of mind.
  • the object of the present invention is to provide a system and/or a method for—preferably automated—emotional recognition that overcomes the disadvantages of the prior art. This object is achieved by the subject matter of the present invention, as described in the description, the figure and the claims.
  • the solution to the problem and the subject matter of the present invention is a method for recognizing the emotional tendency of a user recorded over a defined period of time by two or more recording and/or detection devices, comprising the following method steps:
  • the subject of the invention is a system for recognizing the emotional tendency of a recorded user and/or a user recorded by sensors, comprising at least the following modules: at least two devices for recording and/or recording primary data of the user, appropriate means for managing the primary data generated in this way to a server, the server processing the primary data, a connection between the server and an output device, and the output device for outputting the result of the computer-aided processing of the secondary data in the form of a report one or more secondary emotional tendency(s) of the user recorded and/or recorded over a defined period of time.
  • the system includes the following modules, for example:
  • - a server that receives, stores, processes the primary data and generates, sends, stores and/or processes secondary data
  • modules can be mounted in a stationary manner, with the output device being designed to be mobile, for example, and the recording device to be stationary, or vice versa.
  • an effective system for detecting emotional tendencies advantageously includes several devices for recording and/or recording, which simultaneously, for example in real time, the emotions of the user from different perspectives, i.e. optically, acoustically - related on the volume of the sounds -, from the spoken word and/or from the gestures, the posture, the facial expression.
  • This data is then collected in relation to the point in time and in relation to a user and processed using artificial intelligence - AI.
  • the AI can then not only validate the accuracy of the individual results through cross-checks, but she can also recognize patterns .
  • the AI will assign a result to it with regard to the associated emotion - verified by the other results of processing the primary data. For this user, the AI is then z. B. trained to match the raising of the eyebrows with an emotion supported by other data, e.g. B. Assigns "skepticism" .
  • the present method is not only used to check mechanically recorded emotions, but also to complete an emotion recognized—via primary data—by recording many different signals that the user consciously or unconsciously sends out and that reflect his or her emotional state.
  • the AI is trained in a personalized way for the user or users.
  • Principal data means audio, video and/or other data obtained by devices used to detect the user's condition before being processed by the server.
  • the audio, video and/or other data obtained through processing and/or logical comparison of the primary data are referred to as "secondary data".
  • a “data record” refers to a group of data that belongs together in terms of content and has identical structures, for example the value of the heart rate assigned to a point in time over a certain period of time.
  • a data record can be generated from data, processed with the aid of a computer, stored, compared, and compared with others datasets are combined, calculated, etc... This usually happens on a server.
  • Devices for recording the status of the user are, for example, recording devices and/or sensors that before , the user’s facial expression, gestures, posture, heart rate, pulse, brain waves and/or muscle tension are recorded and converted into data.
  • an artificial intelligence can be trained with the primary and/or secondary data.
  • the assignment of primary data to basic emotional tendency(s) can be trained automatically and/or via individual decisions of the user in iterative optimization steps and/or in a personalized manner.
  • the personalized training for the user or for the group of users - z. B. over 60-year-olds with typical wrinkles, people with slanting eyes, people with droopy eyelids and/or drooping eyelids, people with particularly pronounced eyebrows, etc... - AI avoids misinterpretations of unchanging facial features, because e.g. B. the forehead wrinkle initially recorded as "angry", which remains recognizable in the user even in the best of moods and in a happy mood, has nothing to do with annoyance for this user and the AI is trained in a personalized, individualized way.
  • the AI can then assign them to a corresponding group of users and carry out a correction of the emotion recognition that is typical for this group. If necessary, the AI can also assign different values to the recorded primary data, so that, for example, an involuntary gesture or a facial movement that cannot be controlled voluntarily is given a higher value than a classic smile and/or the voice recognition of the sentence “I’m fine! " . This is particularly because these two last-mentioned emotions, which can be recognized by machine, do not always mean "happiness", but can sometimes simply be assigned to a good expression and do not really reflect a good mood.
  • the system needs a large number of primary data that decodes the true meaning of the spoken word.
  • the method disclosed here can do this via the many different devices for recording the primary data, which, in addition to recording the spoken word, also makes statements about the pitch of the voice, the expression of the eyes, the tension of the lips, the gestures of the hands, the posture, the body tension, the environment , in which the user is - e.g. B. the boss stands behind him/her - etc. each record and, because this primary data of "non-verbal communication" is available at the same time as the primary data of "verbal communication" of speech recognition for processing, interpret it correctly and deliver secondary data and results that precisely identify the sarcasm.
  • audio and/or video data of a user are recorded simultaneously and can subsequently be assigned according to the question "what happened at the same time?" as part of the - computer-aided - logical comparison and / or the generation of the secondary data are : optical and/or acoustic data from two or more acquisition devices such as
  • the combined data can be automatically compared in the server for each time interval, so that data are obtained from internally compared and therefore conclusive results which, as secondary data, form the basis for the secondarily determined emotional tendency at a given point in time.
  • the “recording and/or detection device” includes, for example, one or more
  • - Input device for a computer, such as a keyboard, mouse, pen, stick,
  • EEG Electroencephalography ie “EEG” device, in particular a so-called “EEG cap”,
  • a device for eye tracking which, for example, captures points that are viewed closely, fast eye movements and/or other eye movements of a user and generates primary data from this, - other devices with sensors for recording body-specific and/or physical data of the user
  • All of the aforementioned devices are used in the system at least in pairs and/or in any combination and also in combination with other recording and/or recording devices to record an overall recording of the user.
  • This primary data is sent to a computer-aided device, in particular to a server.
  • the primary data is stored, for example, in the form of primary data sets and/or processed into primary data sets.
  • Each primary data record to which usually only one recording and/or recording device can be assigned, is assigned a primarily recorded emotional tendency, related to a respective point in time of the data recording and the generating device, through processing in the server.
  • This intermediate result is stored for each device as a primary data set and primarily determined emotional tendency - each related to a point in time.
  • 360° camera technology is used when the cameras give the user the opportunity to package what they have experienced in a 360 degree panorama film. This can take place in augmented, virtual and/or mixed reality A feeling of closeness to the action is given 360 degree cameras are available on the market 360 degree camera recordings can also be mixed with virtual elements . For example, elements can be highlighted by markings. This is e.g. B. a common technique in football reporting.
  • a 360° 3D camera for example, has a certain number of lenses that are built into the 3D camera.
  • 3D cameras with only one lens can cover 360° via the fisheye principle, at least they can film in an angle of 360° x 235°.
  • the digital data generated by the 3D cameras in the recording room are transmitted to one or more servers.
  • the system can, for example, recognize who is behind the user or who is behind the 2D camera capturing the user.
  • a “server” is a computer program and/or a device that generally provides functionalities for other programs and/or devices.
  • a hardware server is a computer on which one or more "servers" are running.
  • all primary data is transferred to one or more servers.
  • the "server” first assigns this data to primary emotional tendencies, then processes it into secondary data and assigns this computer-aided secondary emotional tendency(s).
  • the server sends and/or forwards the result of this calculation to an output device.
  • the terms “process”, “perform”, “generate”, “computer-aided”, “calculate”, “transmit”, “generate” and the like preferably refer to actions and/or processes and/or processing steps that change and/or generate data and/or convert the data into other data, with the data being represented or being present in particular as physical quantities, for example as electrical impulses.
  • server should be interpreted as broadly as possible, in particular to cover all electronic devices with data processing properties. Servers can thus be, for example, personal computers, handheld computer systems, Pocket PC devices, mobile radio devices and other communication devices that can process computer-aided data, processors and other electronic devices for data processing.
  • “computer-aided” can be understood, for example, as an implementation of the method in which, in particular, a server executes at least one method step of the method using a processor.
  • All primarily recorded emotional tendencies are calculated in the server as a result of the processing. These are then available as data and form the database for generating the secondary data and/or secondary data sets and the resulting secondary emotional tendency at the respective point in time, which is ultimately forwarded to the output device.
  • Moods and feelings that are expressed through the recorded primary data are referred to as "emotional tendencies". For example, a smile, in combination with wide-open eyes and a raised head, is a sign of a good mood, existing self-confidence, etc. There are also combinations are the indicators of fear, anger, pain, sadness, surprise, calm, relaxation, disgust, etc.
  • secondary data are generated which result in a secondary or resulting emotional tendencies of the respective user at the respective point in time.
  • irony, sarcasm, age, etc. can fold through the combinatorial consideration of all available primary data. correct or at least significantly better than individual consideration of the primary data, as is the state of the art.
  • the secondary data can also be used to identify, delete and/or sort out implausible data from the primary dataset(s). For example, this can be done individually via a decision by the user or also automatically via a correspondingly trained artificial intelligence.
  • the secondary data and/or the secondary datasets are only based on the user's primary data, which make sense when all the primary data are considered together in the context of the resulting secondary dataset.
  • Primary data that "doesn't fit into the picture" in this way is, for example, identified and separately evaluated, sorted out and/or deleted when primary data records are processed into secondary data.
  • Corresponding processing of the secondary data yields - each related to the same point in time - the secondary emotional tendency that is the result of the investigation.
  • An overall result is then generated from the secondary data via an algorithm and made visible via the output device.
  • Artificial intelligence can then, for example, make recurring gestures and patterns, combinations and connections automatically recognized and specifically searched for within the period under consideration. These allow the user to draw conclusions about the emotional impact of a certain society, environment, situation, color, daylight.
  • the user can also draw conclusions that he may not be aware of, such as e.g. B. that he always grimaces in pain when he reaches for a certain shelf or the associated rotating movement of the wrist. If he pushes the screw box a little to the left, he avoids the pain that he would not have been aware of without tools such as the method and system proposed here for the first time.
  • the assignments of the primary data are corrected in a personalized manner by an individual user, so that an artificial intelligence can be trained, for example, which then in turn modifies the rules for the assignment of the primary data in a personalized manner.
  • an artificial intelligence can be trained, for example, which then in turn modifies the rules for the assignment of the primary data in a personalized manner.
  • the method and the system can then learn to distinguish a person's well-intentioned smile from the malicious grin of the same person.
  • a user-trained system with pattern recognition is disclosed here for the first time, which provides solutions of the recorded primary data that are specially tailored to the user and that, for example, recognize a poker face as what it is and not as what a conventional one is face recognition would interpret .
  • the user can then also automatically query in which situation he was particularly relaxed, happy and/or satisfied.
  • automated or "automatic” or “automated” stands for an automatic, in particular a computer-aided automatic, sequence of one or more technical processes according to a code, a fixed plan and/or in relation to specified states.
  • the range of automated processes is as large as the possibilities for computer-aided processing of data itself.
  • a monitor, a handheld, an I-Pad, a smartphone, a printer, a voice output, etc. can be used as an "output device".
  • the "report" may take the form of a hard copy, a display, a voice output, a pop-up window, an email, or any other form of rendering a result.
  • the primary data such as the audio and video data of a film recording of a user in a situation over a defined period of time, can of course also be followed directly and made accessible via playback devices.
  • the data sets with which the AI is trained are preferably generated as results that have already been compared according to the method defined above.
  • the general knowledge of the invention is that the already accessible methods for recognizing the basic emotional tendencies of a user each have sources of error, but these sources of error can be minimized by comparing the results of different recognition methods with one another.
  • the sources of error can be avoided in a personalized way by the individual user training his device on his emotional expressions. ned .
  • the AI can then develop advanced detection methods based on the training. In the end, an AI can then assign a user to a specific cluster, whereby the users of similar "clusters" can then be recognized emotionally more accurately without personalized training of a system.
  • the invention is further illustrated by a figure that shows schematically an example of an embodiment of the system for detecting the emotional tendency of a user who is recorded and/or detected by sensors.
  • the head of a user 1 who is active is shown in the center of the figure. His conscious and unconscious utterances are recorded by a video camera 2 , a 360° camera 3 , a microphone 4 , a heart rate monitor 5 , for example in the form of a smartwatch 6 . These devices forward primary data individually to a server 8 via the data line 7 . In the server, primary emotional tendencies are first calculated from this primary data and then compared. Finally, the server 8 uses the secondary data to calculate the secondary emotional tendencies during the period under consideration. These results are forwarded to an output device 10 via the data line 9 .
  • the microphone 4 recognizes an emotional text based on the keywords, but the video camera 2 records angry facial features for face recognition and the voice recognition via the microphone 4 finally recognizes a loud and rather angry voice, then the system can through processing in the server 8 Mapping "sarcasm" as a secondary recognized emotional tendency .
  • the present invention presents for the first time a method and a system for recognizing the emotions of a user, in which not every recognition sensor system is considered individually, but rather the individual results in the form of the primary emotional tendencies together and in their combination result in a resulting, so-called "secondary calculated" emotional tendency, which is evaluated as the result of the investigation.
  • secondary calculated emotional tendency

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Psychiatry (AREA)
  • Surgery (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychology (AREA)
  • Child & Adolescent Psychology (AREA)
  • Cardiology (AREA)
  • Multimedia (AREA)
  • Educational Technology (AREA)
  • Physiology (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Developmental Disabilities (AREA)
  • Computing Systems (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Pulmonology (AREA)
  • Computational Linguistics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

The invention relates to a system and a method for recognising emotions of a user within a defined period of time, in particular a system for both mobile – i.e. on-site – use and for use via a screen, and a method. The present invention presents for the first time a method and a system for recognising the emotions of a user, in which every recognition sensor system is not considered separately, but rather the individual results in the form of primary emotional tendencies together and in combination produce a resulting "secondary calculated" emotional tendency, which is assessed as a result of the analysis. Not only are a wide range of sensor technology methods combined in this respect, but they may also be individually trained, i.e. assigned and/or interpreted manually or automatically, wherein their relevance in respect of the individual user is evaluated. A corresponding user profile can thus be created.

Description

Beschreibung description
System und Verfahren zur emotionalen Erkennung System and method for emotional recognition
Die Erfindung betri f ft ein System und Verfahren zur emotionalen Erkennung eines Nutzers innerhalb einer definierten Zeitspanne , insbesondere ein sowohl mobil - also vor Ort - als auch über Bildschirm einsetzbares System und Verfahren . The invention relates to a system and method for the emotional recognition of a user within a defined period of time, in particular a system and method that can be used both mobile—ie on site—and via a screen.
Es ist bekannt , dass eine Aussage , sei sie schri ftlich, mündlich und/oder optisch kommuni ziert , einer emotionalen Grundtendenz wie „entspannt" , „lustig" , „aggressiv" , „ängstlich" zugeordnet werden kann . Für verschiedenste Erhebungen von Daten, beispielsweise auch zur optimalen Auslegung eines Arbeitsplatzes in einer Fabrik, ist es sinnvoll , die bewussten und/oder unbewussten Reaktionen eines Nutzers auf die Umgebung zu kennen, damit diese individualisiert optimiert werden kann . It is known that a statement, be it in writing, verbally and/or visually, can be assigned to a basic emotional tendency such as "relaxed", "funny", "aggressive", "anxious". For a wide variety of data collections, for example also for the optimal design of a workplace in a factory, it makes sense to know the conscious and/or unconscious reactions of a user to the environment so that this can be optimized individually.
Es gibt bereits eine Reihe von Verfahren und Systemen zur emotionalen Erkennung . So kann innerhalb eines Textes durch Auf finden von verschiedenen Schlüsselwörtern wie beispielsweise „Lachen, Spaß , Witz , Freude" etc . dem Autor des Textes , sei er schri ftlich und/oder mündlich kommuni ziert , zum Zeitpunkt der Schaf fung des Textes eine bestimmte emotionale Grundtendenz zugeordnet werden . A number of methods and systems for emotional recognition already exist. Thus, by finding different key words such as "laughter, fun, joke, joy" etc. within a text, the author of the text, whether communicated in writing and/or verbally, can be given a certain emotional feeling at the time the text was created assigned to the basic trend.
Obwohl diese Technik zur Erkennung von emotionalen Grundtendenzen schon funktioniert , ist sie doch noch nicht ausgerei ft , weil typische menschliche Verhalten, wie beispielsweise Ironie , oft nicht erkannt und/oder missinterpretiert werden . Beispielsweise würde der Ausdruck „na, das wird aber lustig ! " den ein Mensch leicht als ironisch erkennt , mit der bestehenden Technik wohl falsch zugeordnet . Auch ist „lachen" an sich nicht gut identi fi zierbar und wird manchmal komplett falsch, beispielsweise als „schreien" zugeordnet . Andererseits können emotionale Tendenzen auch durch biometrische Körper- und/oder Gesichtserkennung erfasst werden, wobei ein entsprechend ausgestattetes System die Zuordnung durch Erkennen von hinterlegten Gesichts zügen wie Zornes falte , Lachfalten, Mundwinkel nach oben, Zeigen der Zähne etc . automatisiert zuordnen kann . Although this technique for recognizing basic emotional tendencies already works, it is not yet mature because typical human behavior, such as irony, is often not recognized and/or misinterpreted. For example, the expression "well, that's going to be fun!"" which a person easily recognizes as ironic, probably wrongly assigned with the existing technology. Also, "laughing" in itself is not well identifiable and is sometimes assigned completely wrongly, for example as "screaming". On the other hand, emotional tendencies can also be detected by biometric body and/or face recognition, with a correspondingly equipped system making the assignment by recognizing stored facial features such as frown lines, laughter lines, the corners of the mouth pointing upwards, showing teeth, etc. can assign automatically.
Dies ist besonders wichtig, weil gerade die Gesichtserkennung ein starker Indikator für Emotionen ist . Wenn wir lachen oder weinen, erlauben wir der Umgebung, in unser Innerstes zu schauen und dementsprechend zu reagieren . Aber auch viel weniger starke Ausdrücke verraten Emotionen, die nutzbringend einsetzbar und deshalb wert sind, automatisiert erkannt zu werden . This is particularly important because facial recognition is a strong indicator of emotions. When we laugh or cry, we allow those around us to look inside and respond accordingly. But expressions that are much less strong also betray emotions that can be used usefully and are therefore worth being recognized automatically.
Zwar gibt es von Google , Amazon und Microsoft emotionale Erkennungsmethoden, die sich der Gesichtserkennung bedienen, allerdings sind diese emotionalen Erkennungsmethoden noch nicht ausgerei ft . Although there are emotional recognition methods from Google, Amazon and Microsoft that use facial recognition, these emotional recognition methods are not yet mature.
So erkennt beispielsweise ein in Russland etabliertes Ge- sichtserkennungssystem alle asiatischen Gesichter als „gut gelaunt" oder „fröhlich" , weil deren Augenfalten in einer bestimmten Art kurvig verlaufen . Gleiches gilt für als „zornig" eingestufte optische Daten - beispielsweise Videoaufnahmen - von Nutzern, die einfach durch das Altern Falten zeigen und nicht wegen ihrer momentanen Gemütsverfassung . For example, a face recognition system established in Russia recognizes all Asian faces as "in a good mood" or "happy" because their eye creases curve in a certain way. The same applies to optical data classified as "angry" - for example video recordings - from users who show wrinkles simply because of aging and not because of their current state of mind.
Durch die fortschreitende Automatisierung besteht der Bedarf , ein Verfahren zur emotionalen Erkennung zur Verfügung zu stellen, welches die Fehler der bestehenden Techniken zur emotionalen Erkennung zumindest zum Teil vermeidet . Due to the ongoing automation, there is a need to provide a method for emotional recognition that at least partially avoids the errors of the existing techniques for emotional recognition.
Aufgabe der vorliegenden Erfindung ist es , ein System und/oder ein Verfahren zur - vorzugsweise automatisierten - emotionalen Erkennung zur Verfügung zu stellen, welches die Nachteile des Standes der Technik überwindet . Diese Aufgabe wird durch den Gegenstand der vorliegenden Erfindung, wie er in der Beschreibung, der Figur, sowie in den Ansprüchen beschrieben ist , gelöst . The object of the present invention is to provide a system and/or a method for—preferably automated—emotional recognition that overcomes the disadvantages of the prior art. This object is achieved by the subject matter of the present invention, as described in the description, the figure and the claims.
Dementsprechend ist Lösung der Aufgabe und Gegenstand der vorliegenden Erfindung ein Verfahren zur Erkennung der emotionalen Tendenz eines über einen definierten Zeitraum von zwei oder mehr Aufnahme- und/oder Erfassungsgeräten auf genommenen Nutzers , folgende Verfahrensschritte umfassend : Accordingly, the solution to the problem and the subject matter of the present invention is a method for recognizing the emotional tendency of a user recorded over a defined period of time by two or more recording and/or detection devices, comprising the following method steps:
- Erzeugen von primären Daten des Nutzers pro Aufnahme- und/oder Erfassungsgerät , - Generation of primary user data per recording and/or acquisition device,
- Weiterleiten der primären Daten an einen Server, - Forwarding the primary data to a server,
- Zusammenfassung der primären Daten im Server zu j eweils primären Datensätzen pro Aufnahme- und/oder Erfassungsgerät durch Verarbeitung der primären Daten, - Summary of the primary data in the server for each primary data set per recording and/or acquisition device by processing the primary data,
- Zuordnung j edes primären Datensatzes einzeln und rechnergestützt , vorzugsweise automatisiert , zu einer oder mehreren primär festgestellten emotionalen Tendenz ( en) des Nutzers , - Assignment of each primary data set individually and computer-aided, preferably automated, to one or more primarily determined emotional tendency(s) of the user,
- Erzeugen sekundärer Daten durch rechnergestütztes und/oder automatisiertes logisches Abgleichen der gleichzeitig auf getretenen primär festgestellten emotionalen Tendenzen, - Generation of secondary data through computer-assisted and/or automated logical comparison of the primarily determined emotional tendencies that occurred at the same time,
- Erzeugen eines Ergebnisses in Form einer oder mehrerer sekundärer emotionaler Tendenz ( en) des auf genommenen und/oder erfassten Nutzers durch Verarbeitung der sekundären Daten . - Generating a result in the form of one or more secondary emotional tendency(s) of the recorded and/or recorded user by processing the secondary data.
Außerdem ist Gegenstand der Erfindung ein System zur Erkennung der emotionalen Tendenz eines auf genommenen und/oder durch Sensorik erfassten Nutzers zumindest folgende Module umfassend : zumindest zwei Geräte zur Aufnahme und/oder Erfassung primärer Daten des Nutzers , entsprechende Mittel zur Leitung der so generierten primären Daten an einen Server, den Server, der die primären Daten verarbeitet , eine Verbindung zwischen dem Server und einem Ausgabegerät und das Ausgabegerät zur Ausgabe des Ergebnisses der rechnergestützten Verarbeitung der sekundären Daten in Form eines Berichts über eine oder mehrere sekundäre emotionale Tendenz ( en) des über einen definierten Zeitraum auf genommenen und/oder erfassten Nutzers . In addition, the subject of the invention is a system for recognizing the emotional tendency of a recorded user and/or a user recorded by sensors, comprising at least the following modules: at least two devices for recording and/or recording primary data of the user, appropriate means for managing the primary data generated in this way to a server, the server processing the primary data, a connection between the server and an output device, and the output device for outputting the result of the computer-aided processing of the secondary data in the form of a report one or more secondary emotional tendency(s) of the user recorded and/or recorded over a defined period of time.
Das System umfasst beispielsweise folgende Module : The system includes the following modules, for example:
- Zwei oder mehrere Aufnahme- und/oder Erfassungsgerät ( e ) zur Erzeugung der primären Daten, - Two or more recording and/or acquisition device(s) to generate the primary data,
- eine Leitung, insbesondere zu einem Server, - a line, in particular to a server,
- einen Server, der die primären Daten empfängt , speichert , verarbeitet und sekundäre Daten erzeugt , sendet , speichert und/oder verarbeitet - a server that receives, stores, processes the primary data and generates, sends, stores and/or processes secondary data
- eine Leitung vom Server zu einem Auslesegerät - a line from the server to a readout device
- ein Auslesegerät . - a reader.
Da alle diese Module leicht in Versionen zu erhalten sind, bei denen sie in eine Aktentasche und/oder einen Kof fer passen, kann das gesamte System mobil ausgeführt und an transportabel angeboten werden . Because all of these modules are readily available in versions that fit in a briefcase and/or suitcase, the entire system can be made mobile and offered as portable.
Andererseits können einzelne , alle oder mehrere der Module stationär fix montiert sein, wobei das Ausgabegerät beispielsweise mobil und das Erfassungsgerät stationär oder umgekehrt konzipiert sein kann . On the other hand, individual, all or several of the modules can be mounted in a stationary manner, with the output device being designed to be mobile, for example, and the recording device to be stationary, or vice versa.
Allgemeine Erkenntnis der Erfindung ist es , dass ein wirksames System zur Erkennung der emotionalen Tendenz vorteilhafterweise mehrere Geräte zur Erfassung und/oder Aufnahme umfasst , die gleichzeitig, beispielsweise auch in Echtzeit , die Emotionen des Nutzers aus verschiedenen Blickwinkeln, also beispielsweise optisch, akustisch - bezogen auf die Lautstärke der Laute - , vom gesprochenen Wort her und/oder durch die Gestik, die Haltung, den Gesichtsausdruck her erkennen . Diese Daten werden dann, bezogen auf den Zeitpunkt und bezogen auf einen Nutzer gesammelt und mittels künstlicher Intelligenz - KI - verarbeitet . Die KI kann dann nicht nur durch Querprüfungen die Richtigkeit der einzelnen Ergebnisse validieren, sondern sie kann auch Muster erkennen . So wird die KI , wenn oft genug eine Geste , insbesondere auch eine unwillkürliche Geste , wie beispielsweise Hochziehen von Augenbrauen, wiederkehrt , diesem ein Ergebnis hinsichtlich der damit verknüpften Emotion - durch die anderen Ergebnisse der Verarbeitung der primären Daten veri fi ziert - zuordnen . Für diesen Nutzer ist dann die KI z . B . dahingehend trainiert , dass sie dem Hochziehen der Augenbrauen eine durch andere Daten belegte Emotion, z . B . „Skepsis" zuordnet . The general finding of the invention is that an effective system for detecting emotional tendencies advantageously includes several devices for recording and/or recording, which simultaneously, for example in real time, the emotions of the user from different perspectives, i.e. optically, acoustically - related on the volume of the sounds -, from the spoken word and/or from the gestures, the posture, the facial expression. This data is then collected in relation to the point in time and in relation to a user and processed using artificial intelligence - AI. The AI can then not only validate the accuracy of the individual results through cross-checks, but she can also recognize patterns . For example, if a gesture recurs often enough, especially an involuntary gesture such as raising an eyebrow, the AI will assign a result to it with regard to the associated emotion - verified by the other results of processing the primary data. For this user, the AI is then z. B. trained to match the raising of the eyebrows with an emotion supported by other data, e.g. B. Assigns "skepticism" .
Das vorliegende Verfahren dient nicht nur zur Überprüfung maschinell erfasster Emotionen, sondern zur Komplettierung einer - über primäre Daten - erkannten Emotion durch Erfassung vieler verschiedener Signale , die der Nutzer bewusst oder unbewusst aussendet und die seine Gefühlslage wiedergeben . Die KI wird dabei personalisiert auf den oder die Nutzer trainiert . The present method is not only used to check mechanically recorded emotions, but also to complete an emotion recognized—via primary data—by recording many different signals that the user consciously or unconsciously sends out and that reflect his or her emotional state. The AI is trained in a personalized way for the user or users.
Als „primäre Daten" werden vorliegend die Audio- , Video- und/oder sonstige , durch Geräte zur Erfassung des Zustands des Nutzers , vor der Verarbeitung durch den Server erhaltene Daten bezeichnet . "Primary data" means audio, video and/or other data obtained by devices used to detect the user's condition before being processed by the server.
Als „sekundäre Daten" werden vorliegend die Audio- , Video- und/oder sonstige , durch Verarbeitung und/oder logischen Abgleich der primären Daten erhaltenen Daten bezeichnet . The audio, video and/or other data obtained through processing and/or logical comparison of the primary data are referred to as "secondary data".
Als „Datensatz" wird vorliegend eine Gruppe inhaltlich zusammengehöriger und identische Strukturen aufweisender Daten bezeichnet , beispielsweise der Wert der Herz frequenz j eweils einem Zeitpunkt zugeordnet über einen gewissen Zeitraum hinweg . Ein Datensatz kann aus Daten erzeugt , rechnergestützt verarbeitet , gespeichert , verglichen, mit anderen Datensätzen kombiniert , berechnet , etc... werden . In der Regel passiert das in einem Server . In the present case, a "data record" refers to a group of data that belongs together in terms of content and has identical structures, for example the value of the heart rate assigned to a point in time over a certain period of time. A data record can be generated from data, processed with the aid of a computer, stored, compared, and compared with others datasets are combined, calculated, etc... This usually happens on a server.
„Geräte zur Erfassung" des Zustands des Nutzers sind beispielsweise Aufnahmegeräte und/oder Sensoren, die die Spra- ehe , den Ausdruck des Gesichts , die Gestik, die Körperhaltung, die Herz frequenz , den Puls , die Gehirnströme und/oder die Muskelanspannung, des Nutzers erfassen und zu Daten wandeln . "Devices for recording" the status of the user are, for example, recording devices and/or sensors that before , the user’s facial expression, gestures, posture, heart rate, pulse, brain waves and/or muscle tension are recorded and converted into data.
Mit den primären und/oder sekundären Daten kann beispielsweise eine künstliche Intelligenz (KI ) trainiert werden . Dabei kann automatisiert und/oder über Einzelentscheidung des Nutzers in iterativen Optimierungsschritten die Zuordnung primärer Daten zu emotionalen Grundtendenz ( en) automatisiert und/oder personalisiert trainiert werden . For example, an artificial intelligence (AI) can be trained with the primary and/or secondary data. The assignment of primary data to basic emotional tendency(s) can be trained automatically and/or via individual decisions of the user in iterative optimization steps and/or in a personalized manner.
Dabei ist insbesondere vorteilhaft , dass die auf den Nutzer oder auf die Gruppe von Nutzern personalisiert trainierte - z . B . über 60-j ährige mit typischen Falten, Personen mit schräg stehenden Augen, Personen mit Schlupf lidern und/oder hängenden Augenlidern, Personen mit besonders stark ausgeprägten Augenbrauen, etc... - KI Fehlinterpretationen von unveränderlichen Gesichtsmerkmalen vermeidet , weil z . B . die als „ärgerlich" zunächst erfasste Stirnfalte , die bei dem Nutzer auch in bester Laune und bei fröhlicher Stimmung erkennbar bleibt , für diesen Nutzer eben nichts mit Ärgerlichkeit zu tun hat und die KI personalisiert individualisiert trainiert ist . It is particularly advantageous that the personalized training for the user or for the group of users - z. B. over 60-year-olds with typical wrinkles, people with slanting eyes, people with droopy eyelids and/or drooping eyelids, people with particularly pronounced eyebrows, etc... - AI avoids misinterpretations of unchanging facial features, because e.g. B. the forehead wrinkle initially recorded as "angry", which remains recognizable in the user even in the best of moods and in a happy mood, has nothing to do with annoyance for this user and the AI is trained in a personalized, individualized way.
Auch die als „rassistisch" einzustufende Einteilung in die 6 klassischen Gesichtsausdrücke „ärgerlich" , „angeekelt" „ängstlich" „fröhlich" , „traurig" und „erstaunt" bei denen j apanische Gesichter immer wieder als „fröhlich" wegen der Augenstellung und afrikanische Gesichter immer wieder als „ärgerlich" auch wegen der Augenstellung, eingestuft werden, entfällt beim Einsatz des erfindungsgemäßen Verfahrens und Systems . Also the classification as "racist" into the 6 classic facial expressions "angry", "disgusted", "anxious", "happy", "sad" and "astonished" in which Japanese faces are repeatedly described as "happy" because of the position of the eyes and African Faces are always classified as "annoying", also because of the position of the eyes, does not apply when using the method and system according to the invention.
Die KI kann bei der Verarbeitung der primären Daten diese dann einer entsprechenden Gruppe von Nutzern zuordnen und eine für diese Gruppe typische Korrektur der Emotionserkennung durchführen . Die KI kann außerdem gegebenenfalls den erfassten primären Daten verschiedene Wertigkeiten zuordnen, so dass beispielsweise eine unwillkürliche Geste oder eine nicht willentlich steuerbare Gesichtsregung eine höhere Wertigkeit erhält als ein klassisches Lächeln und/oder die Spracherkennung des Satzes „es geht mir gut ! " . Dies insbesondere deshalb, weil diese beiden maschinell erkennbaren letztgenannten Emotionen eben nicht immer „Fröhlichkeit" bedeuten, sondern manchmal einfach einer guten Miene zuzuordnen sind und nicht wirklich gute Stimmung wiedergeben . When processing the primary data, the AI can then assign them to a corresponding group of users and carry out a correction of the emotion recognition that is typical for this group. If necessary, the AI can also assign different values to the recorded primary data, so that, for example, an involuntary gesture or a facial movement that cannot be controlled voluntarily is given a higher value than a classic smile and/or the voice recognition of the sentence “I’m fine! " . This is particularly because these two last-mentioned emotions, which can be recognized by machine, do not always mean "happiness", but can sometimes simply be assigned to a good expression and do not really reflect a good mood.
Dies insbesondere deshalb, weil die Spracherkennung beispielsweise Höflichkeit und freundliche Stimmung erkennt , wenn der Nutzer lediglich seine „Fassade" zeigt und sich in angespannter Stimmung befindet . Noch extremer ist es , wenn Ironie oder Sarkasmus im Spiel sind, da erkennt ein herkömmliches System in der Regel gerade das Gegenteil vom emotionalen Zustand, in dem sich der Nutzer befindet . This is particularly so because the speech recognition recognizes politeness and a friendly mood, for example, when the user is merely showing his "facade" and is in a tense mood. It is even more extreme when irony or sarcasm are involved, since a conventional system recognizes in the Usually just the opposite of the emotional state in which the user is.
Um Sarkasmus oder Ironie zu erkennen, braucht das System eine Viel zahl primärer Daten, die den wahren Sinngehalt des gesprochenen Wortes entschlüsseln . Das hier of fenbarte Verfahren kann das über die vielen verschiedenen Geräte zur Erfassung der primären Daten, die neben der Erfassung des gesprochenen Wortes auch Aussagen über die Stimmlage , den Augenausdruck, die Lippenspannung, die Gestik der Hände , die Körperhaltung, die Körperspannung, die Umgebung, in der sich der Nutzer befindet - z . B . der Chef steht hinter ihm/ ihr - etc . j eweils erfassen und dadurch, dass diese primären Daten der „non-verbalen Kommunikation" gleichzeitig mit den primären Daten der „verbalen Kommunikation" der Spracherkennung zur Verarbeitung vorliegen, richtig interpretieren und sekundäre Daten und Ergebnisse liefern, die eben den Sarkasmus identifi zieren . Durch die Aufnahme und/oder Erfassung des Nutzers werden beispielsweise Audio- und/oder Videodaten eines Nutzers gleichzeitig erfasst und können hinterher entsprechend der Frage „was geschah gleichzeitig?" im Rahmen des - rechnergestützten - logischen Abgleichs und/oder der Erzeugung der sekundären Daten zugeordnet werden : optische und/oder akustische Daten von zwei oder mehr Erfassungsgeräten wie In order to recognize sarcasm or irony, the system needs a large number of primary data that decodes the true meaning of the spoken word. The method disclosed here can do this via the many different devices for recording the primary data, which, in addition to recording the spoken word, also makes statements about the pitch of the voice, the expression of the eyes, the tension of the lips, the gestures of the hands, the posture, the body tension, the environment , in which the user is - e.g. B. the boss stands behind him/her - etc. each record and, because this primary data of "non-verbal communication" is available at the same time as the primary data of "verbal communication" of speech recognition for processing, interpret it correctly and deliver secondary data and results that precisely identify the sarcasm. By recording and/or recording the user, audio and/or video data of a user, for example, are recorded simultaneously and can subsequently be assigned according to the question "what happened at the same time?" as part of the - computer-aided - logical comparison and / or the generation of the secondary data are : optical and/or acoustic data from two or more acquisition devices such as
1 ) Erfassung biometrischer Gesichts züge , 1 ) capturing biometric facial features ,
2 ) Zuordnung von Schlüsselwörtern im gesproche- nen/geschriebenen Text , 2 ) assignment of keywords in the spoken/written text,
3 ) Zuordnung a ) der Stimmlage des akustischen Vortrags , b ) der Lautstärke der Stimme , 3 ) Assignment a ) the pitch of the acoustic presentation , b ) the volume of the voice ,
4 ) Zuordnung der Kopfhaltung des Sprechers beim Sprechen bestimmter Stellen im Text , und so weiter... 4 ) Allocation of the speaker's head position when speaking certain passages in the text , and so on...
Die kombinierten Daten können automatisiert im Server für j edes Zeitintervall abgeglichen werden, so dass Daten von in sich abgeglichenen und daher schlüssigen Ergebnissen erhalten werden, die als sekundäre Daten die Basis für die sekundär ermittelte emotionale Tendenz zu einem gegebenen Zeitpunkt bilden . The combined data can be automatically compared in the server for each time interval, so that data are obtained from internally compared and therefore conclusive results which, as secondary data, form the basis for the secondarily determined emotional tendency at a given point in time.
Das „Aufnahme- und/oder Erfassungsgerät" umfasst beispielsweise ein oder mehrere The "recording and/or detection device" includes, for example, one or more
- Eingabegerät für einen Computer, wie ein Keyboard, Mouse , Sti ft , Stick, - Input device for a computer, such as a keyboard, mouse, pen, stick,
- Kamera, 3D-Kamera, 360 ° Kamera-Technik, - Camera, 3D camera, 360° camera technique,
- Mikrofon, - microphone,
- Elektroenzephalograf ie- „EEG"-Vorrichtung, insbesondere eine so genannte „EEG-Haube" , - Electroencephalography ie "EEG" device, in particular a so-called "EEG cap",
- Pulsmessgerät , Herz frequenzmessgerät , beispielsweise in Form einer Smartwatch, - Pulse monitor, heart rate monitor, for example in the form of a smartwatch,
- ein Gerät zur Blickerfassung, das beispielsweise Punkte , die man genau betrachtet , schnelle Augenbewegungen und/oder sonstige Blickbewegungen eines Nutzers erfasst und daraus primäre Daten erzeugt , - sonstige Geräte mit Sensorik zur Erfassung körperspezifischer und/oder körperlicher Daten des Nutzers - a device for eye tracking, which, for example, captures points that are viewed closely, fast eye movements and/or other eye movements of a user and generates primary data from this, - other devices with sensors for recording body-specific and/or physical data of the user
- alle vorgenannten Geräte sind im System zumindest zu zweit und/oder in beliebigen Kombinationen und auch in Kombination mit sonstigem Aufnahme- und/oder Erfassungsgeräten zur Erfassung einer Gesamtaufnahme des Nutzers eingesetzt . - All of the aforementioned devices are used in the system at least in pairs and/or in any combination and also in combination with other recording and/or recording devices to record an overall recording of the user.
Durch die Aufnahme und/oder Erfassung der Primärdaten des Nutzers , der in der Regel ein Mensch sein wird, über einen bestimmten Zeitraum durch das und/oder die Aufnahme- und/oder Erfassungsgerät ( e ) , werden sichtbare und nicht sichtbare , bewusst artikulierte und/oder unbewusst gezeigte Gesichts- Ausdrücke und Gesichts-Mikroausdrücke , Ausdrücke , der Körperhaltung, Gesten und/oder messbare Veränderungen des Blutkreislaufs des Nutzers über einen bestimmten Zeitraum erfasst und entsprechend in primäre Daten gewandelt . By recording and/or capturing the primary data of the user, who will usually be a human, over a certain period of time by the recording and/or capturing device(s), visible and non-visible, consciously articulated and /or subconsciously displayed facial expressions and facial micro-expressions, expressions, posture, gestures and/or measurable changes in the user's blood circulation over a certain period of time and converted accordingly into primary data.
Diese primären Daten werden an ein rechnergestütztes Gerät , insbesondere an einen Server, geleitet . Dort werden die primären Daten beispielsweise in Form von primären Datensätzen gespeichert und/oder zu primären Datensätzen verarbeitet . Jedem primären Datensatz , dem in der Regel auch nur ein Aufnahme- und/oder Erfassungsgerät zuordenbar ist , wird eine primär erfasste emotionale Tendenz , bezogen auf einen j eweiligen Zeitpunkt der Datenerfassung und das erzeugende Gerät , durch die Verarbeitung im Server zugeordnet . Dieses Zwischenergebnis wird pro Gerät als primärer Datensatz und primär ermittelte emotionale Tendenz - j eweils bezogen auf einen Zeitpunkt- gespeichert . This primary data is sent to a computer-aided device, in particular to a server. There, the primary data is stored, for example, in the form of primary data sets and/or processed into primary data sets. Each primary data record, to which usually only one recording and/or recording device can be assigned, is assigned a primarily recorded emotional tendency, related to a respective point in time of the data recording and the generating device, through processing in the server. This intermediate result is stored for each device as a primary data set and primarily determined emotional tendency - each related to a point in time.
Als „360 ° Kamera Technik" wird bezeichnet , wenn die Kameras , dem Benutzer die Möglichkeit geben, Erlebtes in einem 360 Grad Panoramabild-Film zu verpacken . Dies kann in augmented- , virtual- und/oder mixed- reality stattfinden . Dem Zuschauer wird ein Gefühl von Nähe zum Geschehen gegeben . 360-Grad- Kameras sind am Markt erhältlich . Es können auch 360-Grad- Kameraaufnahmen mit virtuellen Elementen vermischt werden . Dabei können beispielsweise Elemente durch Markierungen hervorgehoben werden . Das ist z . B . im Fußballreportagen eine gängige Technik . "360° camera technology" is used when the cameras give the user the opportunity to package what they have experienced in a 360 degree panorama film. This can take place in augmented, virtual and/or mixed reality A feeling of closeness to the action is given 360 degree cameras are available on the market 360 degree camera recordings can also be mixed with virtual elements . For example, elements can be highlighted by markings. This is e.g. B. a common technique in football reporting.
Eine 360 ° 3D-Kamera hat beispielsweise eine bestimmte Linsenanzahl , welche in der 3D-Kamera verbaut ist . 3D-Kameras mit nur einer Linse können über das Fisheye Prinzip 360 ° umfassen, zumindest können sie in einem Winkel von 360 ° x 235 ° filmen . A 360° 3D camera, for example, has a certain number of lenses that are built into the 3D camera. 3D cameras with only one lens can cover 360° via the fisheye principle, at least they can film in an angle of 360° x 235°.
Die von den 3D Kameras in dem Raum zur Aufnahme erzeugten digitalen Daten werden an einen oder mehrere Server übertragen . Hier kann das System beispielsweise erkennen, wer hinter dem Nutzer steht oder auch wer hinter der den Nutzer erfassenden 2D-Kamera steht . The digital data generated by the 3D cameras in the recording room are transmitted to one or more servers. Here the system can, for example, recognize who is behind the user or who is behind the 2D camera capturing the user.
Als „Server" wird ein Computerprogramm und/oder ein Gerät bezeichnet , welches ganz generell Funktionalitäten für andere Programme und/oder Geräte bereitstellt . Ein Hardware-Server ist ein Computer, auf dem ein oder mehrere „Server" laufen .A "server" is a computer program and/or a device that generally provides functionalities for other programs and/or devices. A hardware server is a computer on which one or more "servers" are running.
Gemäß der vorliegenden Erfindung werden alle primären Daten auf einen oder mehrere Server übertragen . Der „Server" ordnet diese Daten zunächst primären emotionalen Tendenzen zu, verarbeitet diese dann zu sekundären Daten und ordnet diese rechnergestützt sekundären emotionalen Tendenz ( en) zu . Das Ergebnis dieser Rechnung sendet und/oder leitet der Server an ein Ausgabegerät weiter . According to the present invention, all primary data is transferred to one or more servers. The "server" first assigns this data to primary emotional tendencies, then processes it into secondary data and assigns this computer-aided secondary emotional tendency(s). The server sends and/or forwards the result of this calculation to an output device.
Sofern es in der nachfolgenden Beschreibung nicht anders angegeben ist , beziehen sich die Begri f fe „verarbeiten" , "durchführen" , " erzeugen" , " rechnergestützt" , " rechnen" , "übertragen" , " generieren" und dergleichen, vorzugsweise auf Handlungen und/oder Prozesse und/oder Verarbeitungsschritte , die Daten verändern und/oder erzeugen und/oder die Daten in andere Daten überführen, wobei die Daten insbesondere als physikalische Größen dargestellt werden oder vorliegen können, beispielsweise als elektrische Impulse . Insbesondere sollte der Ausdruck " Server" möglichst breit ausgelegt werden, um insbesondere alle elektronischen Geräte mit Datenverarbeitungseigenschaften abzudecken . Server können somit beispielsweise Personal Computer, Handheld-Computer- Systeme , Pocket-PC-Geräte , Mobil funkgeräte und andere Kommunikationsgeräte , die rechnergestützt Daten verarbeiten können, Prozessoren und andere elektronische Geräte zur Datenverarbeitung sein . Unless otherwise stated in the following description, the terms “process”, “perform”, “generate”, “computer-aided”, “calculate”, “transmit”, “generate” and the like, preferably refer to actions and/or processes and/or processing steps that change and/or generate data and/or convert the data into other data, with the data being represented or being present in particular as physical quantities, for example as electrical impulses. In particular, the term "server" should be interpreted as broadly as possible, in particular to cover all electronic devices with data processing properties. Servers can thus be, for example, personal computers, handheld computer systems, Pocket PC devices, mobile radio devices and other communication devices that can process computer-aided data, processors and other electronic devices for data processing.
Unter „rechnergestützt" kann im Zusammenhang mit der Erfindung beispielsweise eine Implementierung des Verfahrens verstanden werden, bei dem insbesondere ein Server mittels eines Prozessors mindestens einen Verfahrensschritt des Verfahrens aus führt . In connection with the invention, “computer-aided” can be understood, for example, as an implementation of the method in which, in particular, a server executes at least one method step of the method using a processor.
Alle primär erfassten emotionalen Tendenzen werden im Server als Ergebnis der Verarbeitung errechnet . Diese liegen dann als Daten vor und bilden die Datenbasis für die Erzeugung der sekundären Daten und/oder sekundären Datensätze und der resultierenden sekundären emotionalen Tendenz zum j eweiligen Zeitpunkt , die letztlich an das Ausgabegerät weitergeleitet wird . All primarily recorded emotional tendencies are calculated in the server as a result of the processing. These are then available as data and form the database for generating the secondary data and/or secondary data sets and the resulting secondary emotional tendency at the respective point in time, which is ultimately forwarded to the output device.
Als „emotionale Tendenz" werden Stimmungen und Gefühle , die sich über die erfassten Primärdaten ausdrücken, bezeichnet . Beispielsweise ist ein Lächeln, in Kombination mit weit of fenen Augen und erhobenem Kopf Zeichen für gute Laune , vorhandenes Selbstbewusstsein, etc . Ebenso gibt es Kombinationen, die Indikatoren für Angst , Wut , Schmerz , Traurigkeit , Überraschung, Ruhe , Entspannung, Ekel etc . sind . Moods and feelings that are expressed through the recorded primary data are referred to as "emotional tendencies". For example, a smile, in combination with wide-open eyes and a raised head, is a sign of a good mood, existing self-confidence, etc. There are also combinations are the indicators of fear, anger, pain, sadness, surprise, calm, relaxation, disgust, etc.
Durch logische und rechnergestützte Verarbeitung der primär erfassten emotionalen Tendenzen werden sekundäre Daten erzeugt , die eine sekundäre oder resultierende emotionale Tendenz des j eweiligen Nutzers zum j eweiligen Zeitpunkt ergeben . Durch die kombinatorische Betrachtung aller vorliegenden Primärdaten können beispielsweise Ironie , Sarkasmus , Alters falten etc . richtig oder zumindest deutlich besser als bei Ein- zelbetrachtung der Primärdaten, wie es Stand der Technik ist , zugeordnet werden . Through logical and computer-aided processing of the primarily recorded emotional tendencies, secondary data are generated which result in a secondary or resulting emotional tendencies of the respective user at the respective point in time. For example, irony, sarcasm, age, etc. can fold through the combinatorial consideration of all available primary data. correct or at least significantly better than individual consideration of the primary data, as is the state of the art.
Die sekundären Daten können auch genutzt werden, um nichtplausible Daten des oder der primären Datensätze zu identi fizieren, zu löschen und/oder aus zusortieren . Beispielsweise kann dies individualisiert über eine Entscheidung des Nutzers oder auch automatisiert über eine entsprechend trainierte künstliche Intelligenz erfolgen . The secondary data can also be used to identify, delete and/or sort out implausible data from the primary dataset(s). For example, this can be done individually via a decision by the user or also automatically via a correspondingly trained artificial intelligence.
Schließlich basieren beispielsweise die sekundären Daten und/oder die sekundären Datensätze nur noch auf primären Daten des Nutzers , die bei der kombinierten Betrachtung aller primären Daten im Rahmen des resultierenden sekundären Datensatzes einen Sinn ergeben . Primäre Daten, die so gesehen „nicht ins Bild" passen, werden bei der Verarbeitung primärer Datensätze in sekundäre Daten beispielsweise identi fi ziert und gesondert gewertet , aussortiert und/oder gelöscht . Finally, for example, the secondary data and/or the secondary datasets are only based on the user's primary data, which make sense when all the primary data are considered together in the context of the resulting secondary dataset. Primary data that "doesn't fit into the picture" in this way is, for example, identified and separately evaluated, sorted out and/or deleted when primary data records are processed into secondary data.
Eine entsprechende Verarbeitung der sekundären Daten ergibt - j eweils bezogen auf den gleichen Zeitpunkt - die sekundäre emotionale Tendenz , die das Ergebnis der Untersuchung ist . Corresponding processing of the secondary data yields - each related to the same point in time - the secondary emotional tendency that is the result of the investigation.
Aus den sekundären Daten wird über einen Algorithmus dann ein resultierendes Gesamtergebnis erzeugt , dass über das Ausgabegerät sichtbar gemacht wird . An overall result is then generated from the secondary data via an algorithm and made visible via the output device.
Aus den sekundären und damit vergleichsweise eindeutig und richtig interpretierten emotionalen Tendenzen des Nutzers in der j eweiligen Situation können Rückschlüsse gezogen werden, die eine Optimierung von allen Orten und Umgebungen, in denen sich Menschen aufhalten, ermöglichen . So können beispielsweise Arbeitsplätze optimiert werden, eine Optimierung eines Fabrikablaufs stattfinden, eine Optimierung eines Innenraums eines Fahrzeugs , wie eines Zuges , eines Autos etc . Conclusions can be drawn from the secondary and thus comparatively clear and correctly interpreted emotional tendencies of the user in the respective situation, which enable an optimization of all places and environments in which people are. For example, workplaces can be optimized, a factory process can be optimized, the interior of a vehicle, such as a train, a car, etc. can be optimized.
Durch künstliche Intelligenz können dann beispielsweise wiederkehrende Gesten und Muster, Kombinationen, Zusammenhänge automatisiert erkannt und gezielt innerhalb des betrachteten Zeitraums gesucht werden . Diese lassen den Nutzer Rückschlüsse auf die emotionale Wirkung einer bestimmten Gesellschaft , Umgebung, Situation, Farbe , Tageslicht ziehen . Artificial intelligence can then, for example, make recurring gestures and patterns, combinations and connections automatically recognized and specifically searched for within the period under consideration. These allow the user to draw conclusions about the emotional impact of a certain society, environment, situation, color, daylight.
Daraus kann der Nutzer auch Rückschlüsse ziehen, die ihm eventuell nicht bewusst sind, derart , z . B . dass er bei einem bestimmten Gri f f ins Regal , respektive der dazugehörigen rotierenden Bewegung des Handgelenks das Gesicht immer schmerzvoll verzieht . Schiebt er die Schraubendose etwas nach links vermeidet er den Schmerz , den er sich ohne Werkzeug wie das hier erstmals vorgeschlagene Verfahren und System gar nicht bewusst gemacht hätte . From this, the user can also draw conclusions that he may not be aware of, such as e.g. B. that he always grimaces in pain when he reaches for a certain shelf or the associated rotating movement of the wrist. If he pushes the screw box a little to the left, he avoids the pain that he would not have been aware of without tools such as the method and system proposed here for the first time.
Insbesondere vorteilhaft ist es , wenn die Zuordnungen der Primärdaten von einem individuellen Nutzer personalisiert korrigiert werden, so dass dadurch beispielsweise eine künstliche Intelligenz trainiert werden kann, die dann ihrerseits die Regeln der Zuordnung der Primärdaten personalisiert abändert . Beispielsweise können das Verfahren und das System das wohlgemeinte Lächeln einer Person dann von dem hämischen Grinsen der gleichen Person unterscheiden lernen . It is particularly advantageous if the assignments of the primary data are corrected in a personalized manner by an individual user, so that an artificial intelligence can be trained, for example, which then in turn modifies the rules for the assignment of the primary data in a personalized manner. For example, the method and the system can then learn to distinguish a person's well-intentioned smile from the malicious grin of the same person.
Somit wird ein Nut zer-trainiertes System mit Mustererkennung hier erstmals of fenbart , das speziell auf den Nutzer personalisiert abgestimmte Lösungen der erfassten primären Daten zur Verfügung stellt , die beispielsweise ein Pokerface als das erkennen, was es ist und nicht als das , was eine herkömmliche Gesichtserkennung interpretieren würde . Thus, a user-trained system with pattern recognition is disclosed here for the first time, which provides solutions of the recorded primary data that are specially tailored to the user and that, for example, recognize a poker face as what it is and not as what a conventional one is face recognition would interpret .
Beispielsweise kann der Nutzer dann auch automatisiert abfragen, in welcher Situation er besonders entspannt , glücklich und/oder zufrieden war . For example, the user can then also automatically query in which situation he was particularly relaxed, happy and/or satisfied.
Der Begri f f „Automatik" oder „automatisch" oder „automatisiert" steht hier für einen selbsttätigen, insbesondere einen rechnergestützt selbsttätigen, Ablauf eines oder mehrerer technischer Vorgänge nach einem Code , einem festgelegten Plan und/oder in Bezug auf festgelegte Zustände . Die Bandbreite an automatisierten Abläufen ist dabei so groß wie die Möglichkeiten, die rechnergestützte Verarbeitung von Daten an sich .The term "automatic" or "automatic" or "automated" stands for an automatic, in particular a computer-aided automatic, sequence of one or more technical processes according to a code, a fixed plan and/or in relation to specified states. The range of automated processes is as large as the possibilities for computer-aided processing of data itself.
Als „Ausgabegerät" dient beispielsweise ein Monitor, ein Handheld, ein I-Pad, ein Smartphone , ein Drucker, eine Sprachausgabe , etc . A monitor, a handheld, an I-Pad, a smartphone, a printer, a voice output, etc. can be used as an "output device".
Je nach Ausgabegerät kann die Form des „Berichts" ein Ausdruck, eine Anzeige , eine Sprachausgabe , ein Pop-up-Fenster, eine E-Mail oder sonstige Formen einer Wiedergabe eines Ergebnisses sein . Depending on the output device, the "report" may take the form of a hard copy, a display, a voice output, a pop-up window, an email, or any other form of rendering a result.
Die Primärdaten, wie beispielsweise die Audio- und Videodaten einer Filmaufnahme eines Nutzers in einer Situation über einen definierten Zeitraum können natürlich auch direkt mitverfolgt werden und über Wiedergabegeräte zugänglich gemacht werden . The primary data, such as the audio and video data of a film recording of a user in a situation over a defined period of time, can of course also be followed directly and made accessible via playback devices.
Aufgrund der automatisierten Verarbeitung der Primärdaten zu sekundären Daten kann manuell auch eine Suche nach Mustern, bezogen auf eine Person und/oder eine Situation gezielt gestartet werden . Due to the automated processing of the primary data into secondary data, a search for patterns related to a person and/or a situation can also be started manually.
Vorzugsweise werden die Datensätze , mit denen die KI trainiert wird, gemäß dem weiter oben definierte Verfahren als bereits abgeglichene Ergebnisse erzeugt . The data sets with which the AI is trained are preferably generated as results that have already been compared according to the method defined above.
Allgemeine Erkenntnis der Erfindung ist es , dass die bereits zugänglichen Methoden zur Erkennung der emotionalen Grundtendenzen eines Nutzers j ede für sich genommen mit Fehlerquellen behaftet sind, diese Fehlerquellen sich aber durch Abgleich der Ergebnisse verschiedener Erkennungs-Methoden untereinander minimieren lassen . Darüber hinaus ist es allgemeine Erkenntnis der vorliegenden Erfindung, dass die Fehlerquellen personalisiert vermieden werden können, indem der individuelle Nutzer sein Gerät auf seine emotionalen Ausdrücke trai- niert . In einem weiteren Beispiel kann die KI dann aufgrund des Trainings erweiterte Erkennungsmethoden entwickeln . Im Endef fekt kann eine KI dann einen Nutzer einem bestimmten Cluster zuordnen, wobei die Nutzer ähnlicher „Cluster" dann auch ohne personalisiertes Einüben eines Systems zutref fender emotional erkannt werden können . The general knowledge of the invention is that the already accessible methods for recognizing the basic emotional tendencies of a user each have sources of error, but these sources of error can be minimized by comparing the results of different recognition methods with one another. In addition, it is a general finding of the present invention that the sources of error can be avoided in a personalized way by the individual user training his device on his emotional expressions. ned . In another example, the AI can then develop advanced detection methods based on the training. In the end, an AI can then assign a user to a specific cluster, whereby the users of similar "clusters" can then be recognized emotionally more accurately without personalized training of a system.
Im Folgenden wird die Erfindung noch anhand einer Figur, die schematisch ein Beispiel für eine Aus führungs form des Systems zur Erkennung der emotionalen Tendenz eines auf genommenen und/oder durch Sensorik erfassten Nutzers zeigt . In the following, the invention is further illustrated by a figure that shows schematically an example of an embodiment of the system for detecting the emotional tendency of a user who is recorded and/or detected by sensors.
In der Figur ist zentral der Kopf eines Nutzers 1 , der tätig ist , gezeigt . Seine bewussten und unbewussten Äußerungen werden durch eine Videokamera 2 , eine 360 ° Kamera 3 , ein Mikrofon 4 , ein Herz frequenzmesser 5 , beispielsweise in Form einer Smartwatch 6 erfasst . Diese Geräte geben einzeln für sich j eweils Primärdaten über die Datenleitung 7 an einen Server 8 weiter . Im Server werden aus diesen Primärdaten zunächst primäre emotionale Tendenzen errechnet und diese dann abgeglichen . Schließlich errechnet der Server 8 aus den sekundären Daten die sekundären emotionalen Tendenzen während des betrachteten Zeitraums . Über die Datenleitung 9 werden diese Ergebnisse an ein Ausgabegerät 10 weitergeleitet . The head of a user 1 who is active is shown in the center of the figure. His conscious and unconscious utterances are recorded by a video camera 2 , a 360° camera 3 , a microphone 4 , a heart rate monitor 5 , for example in the form of a smartwatch 6 . These devices forward primary data individually to a server 8 via the data line 7 . In the server, primary emotional tendencies are first calculated from this primary data and then compared. Finally, the server 8 uses the secondary data to calculate the secondary emotional tendencies during the period under consideration. These results are forwarded to an output device 10 via the data line 9 .
Beispielsweise wird durch das Mikrofon 4 anhand der Schlüsselwörter ein gefühlsbetonten Text erkannt , die Videokamera 2 nimmt aber zur Gesichtserkennung eher wütende Gesichts züge auf und die Stimmerkennung über das Mikrofon 4 schließlich erkennt eine laute und eher zornige Stimme , dann kann das System durch Verarbeitung im Server 8 „Sarkasmus" als sekundär erkannte emotionale Tendenz zuordnen . For example, the microphone 4 recognizes an emotional text based on the keywords, but the video camera 2 records angry facial features for face recognition and the voice recognition via the microphone 4 finally recognizes a loud and rather angry voice, then the system can through processing in the server 8 Mapping "sarcasm" as a secondary recognized emotional tendency .
Durch die vorliegende Erfindung wird erstmals ein Verfahren und ein System zur Erkennung der Emotionen eines Nutzers vorgestellt , bei dem nicht j ede Erkennungs-Sensorik für sich betrachtet wird, sondern die Einzel-Ergebnisse in Form der primären emotionalen Tendenzen zusammen und in ihrer Kombination eine resultierende , so genannte „sekundär berechnete" emotionalen Tendenz ergeben, die als Ergebnis der Untersuchung gewertet wird . Nicht nur werden dabei verschiedenste Methoden der Sensorik kombiniert , sondern sie werden gegebenenfalls auch individuell trainiert , also manuell oder automatisiert zugeordnet und/oder interpretiert , wobei ihre Relevanz bezüglich des individuellen Nutzers evaluiert wird . So kann ein entsprechendes Nutzer-Profil erstellt werden . The present invention presents for the first time a method and a system for recognizing the emotions of a user, in which not every recognition sensor system is considered individually, but rather the individual results in the form of the primary emotional tendencies together and in their combination result in a resulting, so-called "secondary calculated" emotional tendency, which is evaluated as the result of the investigation. Not only are a wide variety of sensory methods combined, but they are also individually trained, i.e. assigned and/or interpreted manually or automatically, whereby their relevance with regard to the individual user is evaluated In this way, a corresponding user profile can be created.

Claims

Patentansprüche patent claims
1. Verfahren zur Erkennung der emotionalen Tendenz eines über einen definierten Zeitraum von zwei oder mehr Aufnahme- und/oder Erfassungsgeräten (2, 3, 4, 5, 6) auf genommenen Nutzers (1) , folgende Verfahrensschritte umfassend: 1. Method for detecting the emotional tendency of a user (1) recorded over a defined period of time by two or more recording and/or detection devices (2, 3, 4, 5, 6), comprising the following method steps:
- Erzeugen von primären Daten des Nutzers pro Aufnahme- und/oder Erfassungsgerät, - Generation of primary data of the user per recording and/or acquisition device,
- Weiterleiten (7) der primären Daten an einen Server (8) ,- Forwarding (7) the primary data to a server (8),
- Zusammenfassung der primären Daten im Server (8) zu jeweils primären Datensätzen pro Aufnahme- und/oder Erfassungsgerät (2, 3, 4, 5, 6) durch Verarbeitung der primären Daten, - Summary of the primary data in the server (8) to form primary data sets per recording and/or acquisition device (2, 3, 4, 5, 6) by processing the primary data,
- Zuordnung jedes primären Datensatzes einzeln und rechnergestützt, vorzugsweise automatisiert, zu einer oder mehreren primär festgestellten emotionalen Tendenz (en) des Nutzers ( 1 ) , - Assignment of each primary data set individually and computer-aided, preferably automated, to one or more primarily determined emotional tendency(s) of the user (1),
- Erzeugen sekundärer Daten durch rechnergestütztes und/oder automatisiertes logisches Abgleichen der gleichzeitig auf getretenen primär festgestellten emotionalen Tendenzen, - Generation of secondary data through computer-assisted and/or automated logical comparison of the primarily determined emotional tendencies that occurred at the same time,
- Erzeugen eines Ergebnisses in Form einer oder mehrerer sekundärer emotionaler Tendenz (en) des auf genommenen und/oder erfassten Nutzers (1) durch Verarbeitung der sekundären Daten. - generating a result in the form of one or more secondary emotional tendency(s) of the recorded and/or detected user (1) by processing the secondary data.
2. Verfahren nach Anspruch 1, bei dem zumindest drei Aufnahme- und/oder Erfassungsgeräte (2, 3, 4, 5, 6) zeitgleich eingesetzt werden. 2. The method as claimed in claim 1, in which at least three recording and/or detection devices (2, 3, 4, 5, 6) are used at the same time.
3. Verfahren nach einem der vorhergehenden Ansprüche, bei dem als primäre Daten Audiodaten des Nutzers (1) erzeugt werden . 3. The method as claimed in one of the preceding claims, in which audio data of the user (1) are generated as the primary data.
4. Verfahren nach einem der vorhergehenden Ansprüche, bei dem als primäre Daten Videodaten des Nutzers (1) erzeugt werden . 4. The method as claimed in one of the preceding claims, in which video data of the user (1) are generated as the primary data.
5. Verfahren nach einem der vorhergehenden Ansprüche, bei dem als primäre Daten Gehirnstrommessungsergebnisse des Nutzers (1) erhoben werden. 5. The method as claimed in one of the preceding claims, in which brainwave measurement results from the user (1) are collected as the primary data.
6. Verfahren nach einem der vorhergehenden Ansprüche, bei dem als primäre Daten Herzfrequenzdaten des Nutzers (1) erhoben werden. 6. The method as claimed in one of the preceding claims, in which the heart rate data of the user (1) are collected as the primary data.
7. Verfahren nach einem der vorhergehenden Ansprüche, bei dem als primäre Daten Sprach -oder Textanalysedaten erhoben werden . 7. The method as claimed in one of the preceding claims, in which speech or text analysis data are collected as the primary data.
8. System zur Erkennung der emotionalen Tendenz eines auf genommenen und/oder durch Sensorik erfassten Nutzers (1) zumindest folgende Module umfassend: zumindest zwei Geräte (2, 3, 4, 5, 6) zur Aufnahme und/oder Erfassung primärer Daten des Nutzers (1) , entsprechende Mittel (7) zur Leitung der so generierten primären Daten an einen Server (8) , den Server (8) , der die primären Daten verarbeitet, eine Verbindung (9) zwischen dem Server (8) und einem Ausgabegerät (10) und das Ausgabegerät (10) zur Ausgabe des Ergebnisses der rechnergestützten Verarbeitung der sekundären Daten in Form eines Berichts über eine oder mehrere sekundäre emotionale Tendenz (en) des über einen definierten Zeitraum auf genommenen und/oder erfassten Nutzers (1) . 8. System for recognizing the emotional tendency of a recorded user (1) and/or recorded by sensors, comprising at least the following modules: at least two devices (2, 3, 4, 5, 6) for recording and/or recording primary data of the user (1), corresponding means (7) for directing the primary data generated in this way to a server (8), the server (8) which processes the primary data, a connection (9) between the server (8) and an output device ( 10) and the output device (10) for outputting the result of the computer-aided processing of the secondary data in the form of a report on one or more secondary emotional tendency(s) of the user (1) recorded and/or recorded over a defined period of time.
9. System nach Anspruch 8, bei dem das Aufnahme- und/oder Erfassungsgerät ein Mittel zur Eingabe eines Computers ist . 9. System according to claim 8, wherein the recording and / or detection device is a means for inputting a computer.
10. System nach einem der Ansprüche 8 oder 9, bei dem ein10. System according to any one of claims 8 or 9, wherein a
Aufnahme - und/oder Erfassungsgerät eine Kamera ist. Recording - and / or acquisition device is a camera.
11. System nach einem der Ansprüche 8 bis 9, bei dem ein Aufnahme - und/oder Erfassungsgerät eine 360° Kamera- Technik umfasst. 19 11. System according to any one of claims 8 to 9, wherein a recording - and / or detection device comprises a 360 ° camera technology. 19
12 . System nach einem der Ansprüche 8 bis 10 , bei dem ein12 . System according to any one of claims 8 to 10, wherein a
Aufnahme - und/oder Erfassungsgerät eine Elektroenzepha- lograf ie-EEG-Vorrichtung umfasst . Recording and / or detection device comprises an electroencephalography ie-EEG device.
13 . System nach einem der Ansprüche 8 bis 11 , bei dem ein13 . System according to any one of claims 8 to 11, wherein a
Aufnahme - und/oder Erfassungsgerät eine Smartwatch umfasst . Recording and / or detection device includes a smartwatch.
14 . System nach einem der Ansprüche 8 bis 12 , bei dem ein14 . System according to any one of claims 8 to 12, wherein a
Aufnahme - und/oder Erfassungsgerät eine Vorrichtung zur Blickerfassung umfasst . Recording and / or detection device includes a device for eye tracking.
15 . System nach einem der Ansprüche 8 bis 13 , bei dem zumindest ein Modul des Systems mobil ausgeführt ist . 15 . System according to one of Claims 8 to 13, in which at least one module of the system is designed to be mobile.
EP21769367.0A 2020-08-25 2021-08-24 System and method for recognising emotions Pending EP4179550A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102020210748.3A DE102020210748A1 (en) 2020-08-25 2020-08-25 System and method for emotional recognition
PCT/EP2021/073311 WO2022043282A1 (en) 2020-08-25 2021-08-24 System and method for recognising emotions

Publications (1)

Publication Number Publication Date
EP4179550A1 true EP4179550A1 (en) 2023-05-17

Family

ID=77726444

Family Applications (1)

Application Number Title Priority Date Filing Date
EP21769367.0A Pending EP4179550A1 (en) 2020-08-25 2021-08-24 System and method for recognising emotions

Country Status (4)

Country Link
US (1) US20240023857A1 (en)
EP (1) EP4179550A1 (en)
DE (1) DE102020210748A1 (en)
WO (1) WO2022043282A1 (en)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110106750A1 (en) * 2009-10-29 2011-05-05 Neurofocus, Inc. Generating ratings predictions using neuro-response data
EP2523149B1 (en) 2011-05-11 2023-01-11 Tata Consultancy Services Ltd. A method and system for association and decision fusion of multimodal inputs
CA3187490A1 (en) * 2013-03-15 2014-09-18 Interaxon Inc. Wearable computing apparatus and method
ES2964705T3 (en) * 2016-05-06 2024-04-09 Univ Leland Stanford Junior Mobile and portable video capture and feedback platforms for the therapy of mental disorders

Also Published As

Publication number Publication date
US20240023857A1 (en) 2024-01-25
DE102020210748A1 (en) 2022-03-03
WO2022043282A1 (en) 2022-03-03

Similar Documents

Publication Publication Date Title
Benalcázar et al. Real-time hand gesture recognition using the Myo armband and muscle activity detection
CN108805089B (en) Multi-modal-based emotion recognition method
CN108805087B (en) Time sequence semantic fusion association judgment subsystem based on multi-modal emotion recognition system
CN108877801B (en) Multi-turn dialogue semantic understanding subsystem based on multi-modal emotion recognition system
CN111461176B (en) Multi-mode fusion method, device, medium and equipment based on normalized mutual information
CN108899050B (en) Voice signal analysis subsystem based on multi-modal emotion recognition system
CN108805088B (en) Physiological signal analysis subsystem based on multi-modal emotion recognition system
Vinola et al. A survey on human emotion recognition approaches, databases and applications
WO2019144542A1 (en) Affective interaction systems, devices, and methods based on affective computing user interface
Ekman et al. Final report to NSF of the planning workshop on facial expression understanding
CN112766173B (en) Multi-mode emotion analysis method and system based on AI deep learning
D’Eusanio et al. A transformer-based network for dynamic hand gesture recognition
CN105739688A (en) Man-machine interaction method and device based on emotion system, and man-machine interaction system
CN105105771B (en) The cognition index analysis method of latent energy value test
Yin et al. Towards automatic cognitive load measurement from speech analysis
Abdulsalam et al. Emotion recognition system based on hybrid techniques
CN113974627B (en) Emotion recognition method based on brain-computer generated confrontation
Agrawal et al. Multimodal personality recognition using cross-attention transformer and behaviour encoding
CN111339878B (en) Correction type real-time emotion recognition method and system based on eye movement data
CN107729844A (en) Face character recognition methods and device
EP4179550A1 (en) System and method for recognising emotions
Hamedi et al. Imagined speech decoding from EEG: The winner of 3rd Iranian BCI competition (iBCIC2020)
CN114387678A (en) Method and apparatus for evaluating language readability using non-verbal body symbols
Rumahorbo et al. Exploring recurrent neural network models for depression detection through facial expressions: A systematic literature review
Grond et al. A supercollider class for vowel synthesis and its use for sonification

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20230208

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)