DE102017115040A1

DE102017115040A1 - Method and device for the quantitative detection of emotions

Info

Publication number: DE102017115040A1
Application number: DE102017115040.4A
Authority: DE
Inventors: Bahne Carstens
Original assignee: CARSTENS MEDIZINELEKTRONIK GmbH
Current assignee: CARSTENS MEDIZINELEKTRONIK GmbH
Priority date: 2016-07-19
Filing date: 2017-07-05
Publication date: 2018-01-25

Abstract

Zur quantitativen Erfassung von Emotionen werden Wechselströme durch mehrere Referenzspulen einer Referenzspulenanordnung (4) generiert, die in einer festen räumlichen Anordnung um ein einen Kopf (14) einer Person aufnehmendes Messvolumen (6) angeordnet sind, Spannungen über mehreren an Bestandteilen des Kopfes (14) befestigten Sensorspulen erfasst, welche von magnetischen Wechselfeldern induziert werden, die die durch die Referenzspulen fließenden Wechselströme hervorrufen, und Positionen der Sensorspulen im Raum aus den erfassten induzierten Spannungen bestimmt. Dabei wird zumindest Teil der Sensorspulen an schädelknochenfesten Teilen des Kopfs (14) angebracht, und das Messvolumen (6) und der darin angeordnete Kopf (14) werden mit einer mindestens eine Kamera umfassenden optischen Messanordnung (10) optisch erfasst.For the quantitative detection of emotions, alternating currents are generated by a plurality of reference coils of a reference coil arrangement (4), which are arranged in a fixed spatial arrangement around a measuring volume (6) accommodating a person's head (14), voltages over a plurality of components of the head (14). mounted sensor coils which are induced by alternating magnetic fields, which cause the alternating currents flowing through the reference coils, and determines positions of the sensor coils in space from the detected induced voltages. At least part of the sensor coils are attached to skull bone-fixed parts of the head (14), and the measuring volume (6) and the head (14) arranged therein are optically detected by an optical measuring arrangement (10) comprising at least one camera.

Description

TECHNISCHES GEBIET DER ERFINDUNG TECHNICAL FIELD OF THE INVENTION

Die Erfindung bezieht sich auf ein Verfahren und eine Vorrichtung zur quantitativen Erfassung von Emotionen. Insbesondere bezieht sich die Erfindung auf ein Verfahren mit den Merkmalen des unabhängigen Patentanspruchs 1 und eine Vorrichtung mit den Merkmalen des Oberbegriffs des unabhängigen Patentanspruchs 10. The invention relates to a method and a device for the quantitative detection of emotions. In particular, the invention relates to a method having the features of independent patent claim 1 and a device having the features of the preamble of independent claim 10.

Bei der quantitativen Erfassung von Emotionen werden Gestik und Mimik einer Person, die die Emotionen hat, quantitativ gemessen. Insbesondere geht es um das Messen von Bewegungen der Gesichtsmuskulatur. Speziell von Interesse sind Wechselwirkungen der Emotionen von zwei miteinander kommunizierenden Personen. Zur Erfassung dieser Wechselwirkungen müssen die jeweiligen Emotionen auch in ihrer wechselseitigen Abfolge präzise quantitativ erfasst werden. In the quantitative acquisition of emotions, the gestures and facial expressions of a person who has the emotions are measured quantitatively. In particular, it is about measuring movements of the facial muscles. Of particular interest are interactions of the emotions of two communicating persons. In order to record these interactions, the respective emotions must also be precisely quantified in their reciprocal sequence.

STAND DER TECHNIK STATE OF THE ART

Verfahren und Vorrichtungen mit den Merkmalen der Oberbegriffe der unabhängigen Patentansprüche 1 und 10 sind aus der DE 10 2010 002 145 A1 und aus der DE 43 00 529 A1 bekannt. Diese bekannten Verfahren und Vorrichtungen, die mit neun bzw. sechs Referenzspulen arbeiten, sowie ein Verfahren und eine Vorrichtung mit den Merkmalen der Oberbegriffe der unabhängigen Patentansprüche 1 und 10, die mit nur drei Referenzspulen arbeiten, sind in verschiedenen Produkten der Anmelderin, der Firma Carstens Medizinelektronik GmbH, Bovenden, implementiert, die unter der Marke "Articulograph" vertrieben werden. Diese Produkte dienen insbesondere dazu, Sprechbewegungen der Zunge im Mundraum aufzuzeichnen, um beispielsweise Sprachfehler zu untersuchen. Dazu werden die Sensorspulen an der Zunge einer Person befestigt, deren Kopf in dem Messvolumen angeordnet ist. Die Genauigkeit, mit der die Koordinaten der Sensorspulen bei einer Messrate von über 1000 Hz erfasst werden können, ist besser als 0,3 mm. Auch die beiden Raumwinkel der Sensorspulen können bei dieser hohen zeitliche Auflösung erfasst werden. Methods and apparatus having the features of the preambles of independent claims 1 and 10 are known from DE 10 2010 002 145 A1 and from the DE 43 00 529 A1 known. These known methods and devices, which operate with nine or six reference coils, as well as a method and a device having the features of the preambles of the independent claims 1 and 10, which operate with only three reference coils, are in various products of the Applicant, the Carstens Company Medizinelektronik GmbH, Bovenden, which are distributed under the trademark "Articulograph". These products are used in particular to record speech movements of the tongue in the mouth, for example, to study speech defects. For this purpose, the sensor coils are attached to the tongue of a person whose head is arranged in the measuring volume. The accuracy with which the coordinates of the sensor coils can be detected at a measuring rate of over 1000 Hz is better than 0.3 mm. The two solid angles of the sensor coils can also be detected at this high temporal resolution.

Emotionen von kommunizierenden Personen können mit Kameras, die die Personen abbilden, nur qualitativ erfasst werden. Grundsätzlich können mithilfe von Kameras auch optische Messungen durchgeführt werden. Optische Messungen zur quantitativen Erfassung von Emotionen an miteinander kommunizierenden Personen sind jedoch nicht mit vertretbarem Aufwand möglich, weil hierbei nicht nur Bewegungen der Gesichtsmuskulatur auftreten, sondern auch damit überlagerte Bewegungen des gesamten Kopfes. Emotions of communicating persons can only be recorded qualitatively with cameras that depict the persons. In principle, optical measurements can also be made using cameras. However, optical measurements for the quantitative detection of emotions on communicating persons are not possible with reasonable effort, because not only movements of the facial muscles occur, but also superimposed movements of the entire head.

AUFGABE DER ERFINDUNG OBJECT OF THE INVENTION

Der Erfindung liegt die Aufgabe zugrunde, ein Verfahren und eine Vorrichtung aufzuzeigen, die eine quantitative Erfassung von Emotionen insbesondere auch von zwei miteinander kommunizierenden Personen ermöglichen. The invention has for its object to provide a method and a device that allow a quantitative detection of emotions, especially of two communicating with each other people.

LÖSUNG SOLUTION

Die Aufgabe der Erfindung wird durch ein Verfahren mit den Merkmalen des Patentanspruchs 1 und eine Vorrichtung mit den Merkmalen des Patentanspruchs 7 gelöst. Die abhängigen Patentansprüche definieren bevorzugte Ausführungsformen des erfindungsgemäßen Verfahrens bzw. der erfindungsgemäßen Vorrichtung. The object of the invention is achieved by a method having the features of patent claim 1 and a device having the features of patent claim 7. The dependent claims define preferred embodiments of the method according to the invention or the device according to the invention.

BESCHREIBUNG DER ERFINDUNG DESCRIPTION OF THE INVENTION

Bei dem erfindungsgemäßen Verfahren zur quantitativen Erfassung von Emotionen werden Wechselströme durch mehrere Referenzspulen einer Referenzspulenanordnung generiert, die in einer festen räumlichen Anordnung um ein einen Kopf einer Person aufnehmendes Messvolumen angeordnet sind. Die Referenzspulenanordnung kann dabei insbesondere eine solche nach der DE 10 2010 002 145 A1 sein, oder auch eine andere bekannte Referenzspulenanordnung. Spannungen über mehreren an Bestandteilen des Kopfes befestigten Sensorspulen, welche von magnetischen Wechselfeldern induziert werden, die die durch die Referenzspulen fließenden Wechselströme hervorrufen, werden erfasst. Aus den erfassten induzierten Spannungen werden Positionen der Sensorspulen bestimmt. Indem zumindest ein Teil der Sensorspulen an schädelknochenfesten Teilen des Kopfs angebracht wird, wird durch das Bestimmen der Positionen der Sensorspulen im Raum die Position des Schädelknochens des Kopfes im Raum bestimmt. Dazu müssen die Sensorspulen nicht an dem Schädelknochen selbst befestigt werden, schon gar nicht mittels eines chirurgischen Eingriffs. Vielmehr können die Sensorspulen beispielsweise am Gaumen, den Zähnen des Oberkiefers oder auch an Teilen der Kopfschwarte festgelegt werden, die sich nicht oder nicht wesentlich gegenüber dem Schädelknochen bewegen, wenn sich der Kopf und/oder die Gesichtsmuskulatur bewegen, und stellen damit allenfalls eine geringe Belastung für den Probanden dar. Weitere Sensorspulen können an der Zunge oder an Teilen des Kopfes angebracht werden, die sich bei Bewegung der Gesichtsmuskulatur gegenüber dem Schädelknochen bewegen. Zur Erfassung der Bewegung der Gesichtsmuskulatur wird aber zumindest auch die optische Messanordnung verwendet, die das Messvolumen und den darin angeordneten Kopf optisch erfasst und die die mindestens eine Kamera umfasst. Die Bilder der mindestens einen Kamera der optischen Messanordnung sind Grundlage des Messens von Bewegungen der Gesichtsmuskulatur. Dieses Messen gelingt bei dem erfindungsgemäßen Verfahren anders als bei rein optischen Verfahren vergleichsweise einfach, weil durch das Bestimmen der Positionen der an den schädelknochenfesten Teilen des Kopfs angebrachten Sensorspulen die aktuelle Lage des Schädelknochens exakt bekannt ist und das optische Erfassen daher auf die Bewegungen der Gesichtsmuskulatur beschränkt werden kann. Konkret können die mit der mindestens einen Kamera aufgenommenen Bilder einer Koordinatentransformation unterworfen werden, sodass die Bilder anschließend nur noch die Bewegungen der Gesichtsmuskulatur bei ruhendem Schädelknochen zeigen und entsprechend leicht bezüglich der Bewegungen der Gesichtsmuskulatur auswertbar sind. Insbesondere im Hinblick auf eine folgende Bewertung der quantitativ erfassten Emotionen stellt deren Darstellung gegenüber dem ruhenden Schädelknochens einen deutlichen Vorteil dar. Darüber hinaus dokumentieren die Bilder der mindestens einen Kamera die gemessen, d. h. quantitativ erfassten Emotionen visuell. In the method according to the invention for the quantitative detection of emotions, alternating currents are generated by a plurality of reference coils of a reference coil arrangement, which are arranged in a fixed spatial arrangement around a measurement volume receiving a person's head. The reference coil arrangement can in particular be such after the DE 10 2010 002 145 A1 be, or also another known reference coil arrangement. Voltages across a plurality of sensor coils attached to components of the head, which are induced by alternating magnetic fields that cause the alternating currents flowing through the reference coils, are detected. Positions of the sensor coils are determined from the detected induced voltages. By attaching at least a portion of the sensor coils to skull bone fixed portions of the head, the position of the cranial bone of the head in space is determined by determining the positions of the sensor coils in space. For this purpose, the sensor coils need not be attached to the skull bone itself, certainly not by means of a surgical procedure. Rather, the sensor coils can be fixed, for example, on the palate, the teeth of the upper jaw or on parts of the scalp, which do not or not significantly move relative to the cranial bone when the head and / or the facial muscles move, and thus make at best a small burden for the subject. Further sensor coils may be attached to the tongue or portions of the head that move relative to the cranial bone as the facial muscles move. For detecting the movement of the facial muscles, however, at least the optical measuring arrangement is also used which optically detects the measuring volume and the head arranged therein and which comprises the at least one camera. The pictures of at least one Camera of the optical measuring arrangement are the basis of measuring movements of the facial muscles. In contrast to purely optical methods, this measurement is comparatively easy to achieve in the method according to the invention because the current position of the cranial bone is known precisely by determining the positions of the sensor coils attached to the cranial bone-fixed parts of the head and optical detection is therefore limited to the movements of the facial muscles can be. Specifically, the images taken with the at least one camera can be subjected to a coordinate transformation, so that the images then only show the movements of the facial muscles when the skull bone is at rest and are correspondingly easy to evaluate with respect to the movements of the facial muscles. In particular with regard to a subsequent assessment of the quantitatively recorded emotions, their representation in relation to the resting skull represents a clear advantage. In addition, the images of the at least one camera visually document the measured, ie quantitatively recorded, emotions.

Für die angesprochene Koordinatentransformation ist es wesentlich, dass das Messvolumen mit der mindestens einen Kamera in bestimmter Weise aus einer bestimmten Richtung abgebildet wird. Mit dem Abbilden in bestimmter Weise ist insbesondere eine Kenntnis der räumlichen Abbildungsfunktion der Kamera aus einem bestimmten Abstand zu dem Messvolumen gemeint. For the mentioned coordinate transformation, it is essential that the measurement volume is mapped with the at least one camera in a certain way from a certain direction. By imaging in a certain way is meant in particular a knowledge of the spatial imaging function of the camera from a certain distance to the measurement volume.

Bei einer bevorzugten Ausführungsform des erfindungsgemäßen Verfahrens wird das Messvolumen mit der optischen Messanordnung von einer zweiten Referenzspulenanordnung aus erfasst. Die zweite Referenzspulenanordnung weist mehrere zweite Referenzspulen in einer zweiten festen räumlichen Anordnung um ein zweites Messvolumen zur Aufnahme eines zweiten Kopfes einer zweiten Person auf. Das zweite Messvolumen und der darin angeordnete Kopf werden mit einer mindestens eine zweite Kamera umfassenden zweiten optischen Messanordnung von der Referenzspulenanordnung aus erfasst. Die beiden Personen, deren Köpfe in den Messvolumina angeordnet sind, stehen oder sitzen sich einander gegenüber. Ihre bei ihrer Kommunikation auftretenden Emotionen werden mittels der beiden Referenzspulenanordnungen und der beiden optischen Messanordnungen, die jeweils an der anderen Referenzspulenanordnung befestigt sind, quantitativ erfasst. In a preferred embodiment of the method according to the invention, the measuring volume with the optical measuring arrangement is detected by a second reference coil arrangement. The second reference coil arrangement has a plurality of second reference coils in a second fixed spatial arrangement around a second measuring volume for receiving a second head of a second person. The second measuring volume and the head arranged therein are detected by a second optical measuring arrangement comprising at least one second camera from the reference coil arrangement. The two persons, whose heads are arranged in the measuring volumes, stand or sit opposite each other. Their emotions occurring in their communication are quantitatively detected by means of the two reference coil arrangements and the two optical measuring arrangements, which are each attached to the other reference coil arrangement.

In einer Ausführungsform des erfindungsgemäßen Verfahrens wird jedes Messvolumen mit einer Stereokameraanordnung der jeweiligen optischen Messanordnung abgebildet. Mit einer solchen Stereokameraanordnung wird das Messvolumen dreidimensional optisch aufgelöst. Alternativ oder zusätzlich kann eine solche dreidimensionale optische Auflösung des Messvolumens auch erreicht werden, indem mit jeder optischen Messanordnung strukturiertes Licht in das jeweilige Messvolumen in einer Richtung projiziert wird, die sich von der Richtung unterscheidet, aus der das jeweilige Messvolumen mit der jeweiligen mindestens einen Kamera abgebildet wird. Mit Hilfe des projizierten Lichts kann zum Beispiel das Gesicht des jeweiligen Kopfes insgesamt abgetastet werden. Es ist auch möglich, nur bestimmte Bereiche des Gesichts mittels einer Lichtschlicht-Technik bezüglich auftretender Änderungen zu erfassen. Konkret kann eine vertikale Lichtlinie auf die Stirn des jeweiligen Kopfes projiziert werden, die unter einem Schrägwinkel mit der mindestens einen Kamera erfasst wird. Wenn die Stirn gerunzelt wird, verwirft sich diese Lichtlinie in den Bildern der mindestens einen Kamera. Speziell kann es sich bei dem projizierten Licht um Laserlicht handeln. In one embodiment of the method according to the invention, each measurement volume is imaged with a stereo camera arrangement of the respective optical measurement arrangement. With such a stereo camera arrangement, the measuring volume is optically resolved in three dimensions. Alternatively or additionally, such a three-dimensional optical resolution of the measuring volume can also be achieved by projecting light structured with each optical measuring arrangement into the respective measuring volume in a direction that differs from the direction from which the respective measuring volume interacts with the respective at least one camera is shown. With the aid of the projected light, for example, the face of the respective head can be scanned as a whole. It is also possible to detect only certain areas of the face by means of a light-sizing technique with respect to changes occurring. Specifically, a vertical line of light can be projected onto the forehead of the respective head, which is detected at an oblique angle with the at least one camera. When frowning, this line of light is discarded in the images of the at least one camera. Specifically, the projected light may be laser light.

Weiterhin können optische Marker und/oder Markierungen an dem jeweiligen Kopf angebracht werden. Diese Marker oder Markierungen erlauben es, die Bewegungen der Gesichtsmuskulatur leichter zu verfolgen und zu messen. So kann statt der oben angesprochenen projizierten Lichtlinie auch ein langgestreckter Marker auf die Stirn aufgeklebt oder eine entsprechende Markierung auf die Stirn aufgemalt und mit der mindestens einen Kamera erfasst werden. Auch dann weisen Verwerfungen des Abbilds des Markes oder der Markierung in den Bildern der Kamera auf ein Runzeln der Stirn hin. Furthermore, optical markers and / or markings can be attached to the respective head. These markers or markers make it easier to track and measure the movements of the facial muscles. Thus, instead of the above-mentioned projected light line, an elongated marker can also be glued onto the forehead or a corresponding marker can be painted on the forehead and recorded with the at least one camera. Even then, distortions of the image of the mark or mark in the images of the camera indicate a frown on the forehead.

Zumindest ein Teil der optischen Marker kann auch an zumindest einem Teil der Sensorspulen angebracht werden. Zu diesem Teil der Sensorspulen können auch solche gehören, die an den schädelknochenfesten Teilen des Kopfes angebracht werden. In jedem Fall sind Marker an Sensorspulen, deren Abbilder sich in den Bildern der mindestens einen Kamera finden, Fixpunkte, da deren Positionen im Raum mit Hilfe der Referenzspulenanordnung genau bestimmt wird. Selbst wenn die entsprechenden Sensorspulen nicht an schädelknochenfesten Teilen des Kopfes angebracht sind, werden ihre Positionen gegenüber den Schädelknochen des Kopfes dennoch mit hoher Genauigkeit mit Hilfe der Referenzspulenanordnung bestimmt. So können die Positionen der mit optischen Markern versehenen Referenzspulen besonders als gut für die Basis beispielsweise einer Koordinatentransformation der Bilder der mindestens einen Kamera genutzt werden. At least a portion of the optical markers may also be attached to at least a portion of the sensor coils. This portion of the sensor coils may also include those attached to the skull bone fixed portions of the head. In any case, markers on sensor coils whose images are found in the images of the at least one camera are fixed points, since their positions in the space is determined exactly with the aid of the reference coil arrangement. Even if the corresponding sensor coils are not attached to skull-bone-fixed parts of the head, their positions relative to the cranial bones of the head are still determined with high accuracy by means of the reference coil arrangement. Thus, the positions of the reference markers provided with optical markers can be used particularly well for the base, for example, of a coordinate transformation of the images of the at least one camera.

Zudem kann bei der Auswertung der Bilder der mindestens einen Kamera die Kenntnis der mit Hilfe der Referenzspulenanordnung mit hoher Genauigkeit bestimmten Position im Raum jeder Sensorspule, die auch von der mindestens einen Kamera abgebildet wird, als Stützpunkt genutzt werden. Dies bedeutet, dass Fehler der mit der optischen Messanordnung gemessenen Stellungen und Bewegungen der Gesichtsmuskulatur an diesen Stützpunkten fast gegen null reduziert werden können, so dass auch Fehler der mit der optischen Messanordnung gemessenen Stellungen und Bewegungen der Gesichtsmuskulatur in an den Stützpunkt angrenzen Bereichen klein bleiben. Konkret kann beispielsweise eine Referenzsonde an jeder Augenbraue des jeweiligen Kopfes befestigt werden, die dann für die Erfassung der Stellungen und der Bewegungen dieser Augenbraue einen solchen Stützpunkt bildet. Basierend auf einer Betrachtung und Auswertung mehrerer solcher Stützpunkte kann auch eine Kalibrierung der optischen Messanordnung erfolgen. In addition, in the evaluation of the images of the at least one camera, the knowledge of the position determined by the reference coil arrangement with high accuracy in the space of each sensor coil, which is also imaged by the at least one camera, can be used as a base. This means that errors in the positions measured by the optical measuring arrangement and movements of the facial muscles at these bases can be reduced to almost zero, so that even errors measured with the optical measuring arrangement positions and movements of the facial muscles remain adjacent to the base areas small. Specifically, for example, a reference probe can be attached to each eyebrow of the respective head, which then forms such a base for the detection of the positions and movements of this eyebrow. Based on a consideration and evaluation of several such bases also a calibration of the optical measuring arrangement can take place.

Wenn einer der optischen Marker, der an einer der Sensorspulen angebracht ist und von der mindestens einen Kamera der optischen Messanordnung abgebildet wird, zum Beispiel quaderförmig ist oder anderweitig definierte Flächen aufweist, kann die mit der Referenzspulenanordnung genau bestimmbare räumliche Ausrichtung der Sensorspule auch genutzt werden, um zu kalibrieren, wie aus ebenen Bilddaten Winkel von Flächen zu einer Bildebene der Kamera ermittelt werden. Bei dieser Kalibrierung kann ausgenutzt werden, dass die mindestens eine Kamera das Messvolumen aus einer bestimmten Richtung abgebildet, so dass ihre optische Achse beispielsweise durch den Mittelpunkt des Messvolumens verläuft. If one of the optical markers, which is attached to one of the sensor coils and is imaged by the at least one camera of the optical measuring arrangement, is cuboid or otherwise has defined surfaces, the spatial orientation of the sensor coil, which can be determined precisely with the reference coil arrangement, can also be used. to calibrate how planar image data determines angles from areas to an image plane of the camera. In this calibration, it can be utilized that the at least one camera images the measurement volume from a specific direction so that its optical axis extends, for example, through the center of the measurement volume.

Aus den Bildern aller Kameras der jeweiligen optischen Messanordnung kann unter Berücksichtigung der bestimmten Positionen der Sensorspulen im Raum der aktuelle Gesamtzustand des jeweiligen Kopfes rekonstruiert und mit dessen Änderungen können auftretenden Emotionen quantitativ erfasst werden. Taking into account the specific positions of the sensor coils in space, the current total state of the respective head can be reconstructed from the images of all the cameras of the respective optical measuring arrangement and, with its changes, occurring emotions can be quantitatively recorded.

Konkret können zur Quantifizierung der auftretenden Emotionen Modelle von den sich in ihrer Form veränderlichen Teilen am jeweiligen Kopf erstellt und an den aktuellen Gesamtzustand des jeweiligen Kopfs angepasst werden. Auch vom soliden Teil des Kopfs, d. h. dem Schädelknochen, können entsprechende Modelle erstellt und an den aktuellen Gesamtzustand des jeweiligen Kopfs angepasst werden, um die Beziehung zu den beweglichen Teilen zu erhalten. Diese mechanischen Modelle und etwaige Darstellungen derselben müssen nicht wie ein Kopf und insbesondere nicht wieder Kopf des jeweiligen Probanden aussehen. Vielmehr ist es entscheidend, dass die Bewegungsabläufe der verschiedenen beweglichen Teile des jeweiligen Kopfs vollständig durch geometrische Parameter des jeweiligen Modells beschrieben werden. Diese Parameter können weiter ausgewertet werden, um die Emotionen quantitativ zu ermitteln. Specifically, to quantify the emotions that occur, models of the variable parts of the respective head can be created and adapted to the current overall state of the respective head. Also from the solid part of the head, d. H. the skull, corresponding models can be created and adapted to the current overall state of each head to maintain the relationship with the moving parts. These mechanical models and any representations thereof do not have to look like a head and especially not a head of the subject. Rather, it is crucial that the movements of the various moving parts of each head are completely described by geometric parameters of each model. These parameters can be further evaluated to quantify the emotions.

Die erfindungsgemäße Vorrichtung zur quantitativen Erfassung von Emotionen weist eine Referenzspulenanordnung, die mehrere Referenzspulen in einer festen räumlichen Anordnung um ein Messvolumen zur Aufnahme eines Kopfes einer Person umfasst, einen an die Referenzspulen anschließbaren, Wechselströme generierenden Wechselstromgenerator, mehrere an Bestandteilen des Kopf befestigbaren Sensorspulen, eine an die Sensorspulen anschließbare Signalerfassungseinheit, die Spannungen über den Sensorspulen erfasst, welche vom magnetischen Wechselfeldern induziert werden, die die durch die Referenzspulen fließenden Ströme hervorrufen, eine Signalauswerteeinheit, die aus den erfassten induzierten Spannungen Positionen der Sensorspulen im Raum bestimmt, und eine mindestens eine Kamera umfassenden optische Messanordnung auf, mit der das Messvolumen und der darin angeordnete Kopf optisch erfassbar sind. Mit dieser Vorrichtung ist das erfindungsgemäße Verfahren durchführbar. The inventive device for the quantitative detection of emotions has a reference coil arrangement which comprises a plurality of reference coils in a fixed spatial arrangement about a measurement volume for receiving a person's head, an AC generator that can be connected to the reference coils, several sensor coils that can be attached to components of the head signal detection unit which can be connected to the sensor coils and detects voltages across the sensor coils which are induced by the alternating magnetic fields which cause the currents flowing through the reference coils, a signal evaluation unit which determines positions of the sensor coils in space from the detected induced voltages and at least one camera comprehensive optical measuring arrangement, with which the measuring volume and the head arranged therein are optically detectable. With this device, the inventive method is feasible.

Vorzugsweise bildet die mindestens eine Kamera das Messvolumen in bestimmter Weise aus einer bestimmen Richtung ab. The at least one camera preferably forms the measuring volume in a specific way from a specific direction.

Wenn die optische Messanordnung an einer tragenden Struktur einer Referenzspulenanordnung befestigt ist, die mehrere zweite Referenzspulen in einer zweiten festen räumlichen Anordnung um ein zweites Messvolumen zur Aufnahme eines zweiten Kopfes einer zweiten Person umfasst, wobei an einer tragenden Struktur der Referenzspulenanordnung eine zweite mindestens eine zweite Kamera umfassende optische Messanordnung befestigt ist, mit der das zweite Messvolumen und der darin angeordnete zweite Kopf optisch erfassbar sind, wobei die mindestens eine zweite Kamera das zweite Messvolumen in der bestimmten Weise aus einer bestimmten zweiten Richtung abbildet, können mit der erfindungsgemäßen Vorrichtung die Emotionen von zwei miteinander kommunizierenden Personen gemessen, d. h. quantitativ erfasst werden. If the optical measuring arrangement is fastened to a supporting structure of a reference coil arrangement which comprises a plurality of second reference coils in a second fixed spatial arrangement around a second measuring volume for receiving a second head of a second person, wherein on a supporting structure of the reference coil arrangement, a second at least one second camera attached to the second measurement volume and the second head arranged therein optically, wherein the at least one second camera images the second measurement volume in the specific way from a certain second direction, the emotions of two communicating with each other, d. H. be recorded quantitatively.

Jede der Messanordnungen weist vorzugsweise eine Stereokameraanordnung und/oder eine Projektionsvorrichtung auf, die strukturiertes Licht in das jeweilige Messvolumen in einer Richtung projiziert, die sich von der Richtung unterscheidet, aus der das jeweilige Messvolumen mit der jeweiligen mindestens einen Kamera abgebildet wird. In einer Ausführungsform der erfindungsgemäßen Vorrichtung ist das strukturierte Licht, um die jeweilige Person nicht zu stören, aufgrund seiner Wellenlänge für Menschen nicht sichtbar, wird aber dennoch von der mindestens einen Kamera erfasst. Alternativ ist dafür Sorge zu tragen, dass das in das Messvolumen projizierte strukturierte Licht nicht auf die Augen der Person trifft. Each of the measuring arrangements preferably has a stereo camera arrangement and / or a projection device which projects structured light into the respective measuring volume in a direction which differs from the direction from which the respective measuring volume is imaged with the respective at least one camera. In one embodiment of the device according to the invention, the structured light, so as not to disturb the respective person, is not visible to humans because of its wavelength, but is nevertheless detected by the at least one camera. Alternatively, care must be taken to ensure that the structured light projected into the measuring volume does not strike the eyes of the person.

Die erfindungsgemäße Vorrichtung kann weiterhin optische Marker oder Markierungen zum Anbringen an den jeweiligen Kopf umfassen. Dabei kann ein Teil der optischen Marker an zumindest einem Teil der Sensorspulen vorgesehen sein. The device according to the invention can furthermore comprise optical markers or markings for attachment to the respective head. In this case, part of the optical markers may be provided on at least part of the sensor coils.

Vorteilhafte Weiterbildungen der Erfindung ergeben sich aus den Patentansprüchen, der Beschreibung und den Zeichnungen. Die in der Beschreibung genannten Vorteile von Merkmalen und von Kombinationen mehrerer Merkmale sind lediglich beispielhaft und können alternativ oder kumulativ zur Wirkung kommen, ohne dass die Vorteile zwingend von erfindungsgemäßen Ausführungsformen erzielt werden müssen. Ohne dass hierdurch der Gegenstand der beigefügten Patentansprüche verändert wird, gilt hinsichtlich des Offenbarungsgehalts der ursprünglichen Anmeldungsunterlagen und des Patents Folgendes: weitere Merkmale sind den Zeichnungen – insbesondere den dargestellten Geometrien und den relativen Abmessungen mehrerer Bauteile zueinander sowie deren relativer Anordnung und Wirkverbindung – zu entnehmen. Die Kombination von Merkmalen unterschiedlicher Ausführungsformen der Erfindung oder von Merkmalen unterschiedlicher Patentansprüche ist ebenfalls abweichend von den gewählten Rückbeziehungen der Patentansprüche möglich und wird hiermit angeregt. Dies betrifft auch solche Merkmale, die in separaten Zeichnungen dargestellt sind oder bei deren Beschreibung genannt werden. Diese Merkmale können auch mit Merkmalen unterschiedlicher Patentansprüche kombiniert werden. Ebenso können in den Patentansprüchen aufgeführte Merkmale für weitere Ausführungsformen der Erfindung entfallen. Advantageous developments of the invention will become apparent from the claims, the description and the drawings. The advantages of features and of combinations of several features mentioned in the description are merely exemplary and can take effect alternatively or cumulatively, without the advantages having to be achieved by embodiments according to the invention. Without thereby altering the subject matter of the appended claims, as regards the disclosure of the original application documents and the patent, further features can be found in the drawings, in particular the illustrated geometries and the relative dimensions of several components and their relative arrangement and operative connection. The combination of features of different embodiments of the invention or of features of different claims is also possible deviating from the chosen relationships of the claims and is hereby stimulated. This also applies to those features which are shown in separate drawings or are mentioned in their description. These features can also be combined with features of different claims. Likewise, in the claims listed features for further embodiments of the invention can be omitted.

Die in den Patentansprüchen und der Beschreibung genannten Merkmale sind bezüglich ihrer Anzahl so zu verstehen, dass genau diese Anzahl oder eine größere Anzahl als die genannte Anzahl vorhanden ist, ohne dass es einer expliziten Verwendung des Adverbs "mindestens" bedarf. Wenn also beispielsweise von einem Wechselstromgenerator die Rede ist, ist dies so zu verstehen, dass genau ein Wechselstromgenerator, zwei Wechselstromgeneratoren oder mehr Wechselstromgeneratoren vorhanden sind. Die in den Patentansprüchen angeführten Merkmale können durch andere Merkmale ergänzt werden oder die einzigen Merkmale sein, die das jeweilige Verfahren oder die jeweilige Vorrichtung aufweist. The features mentioned in the patent claims and the description are to be understood in terms of their number that exactly this number or a greater number than the said number is present, without requiring an explicit use of the adverb "at least". For example, when talking about an alternator, it should be understood that there is exactly one alternator, two alternators, or more alternators. The features cited in the claims may be supplemented by other features or be the only features exhibited by the particular method or device.

Die in den Patentansprüchen enthaltenen Bezugszeichen stellen keine Beschränkung des Umfangs der durch die Patentansprüche geschützten Gegenstände dar. Sie dienen lediglich dem Zweck, die Patentansprüche leichter verständlich zu machen. The reference numerals contained in the claims do not limit the scope of the objects protected by the claims. They are for the sole purpose of making the claims easier to understand.

KURZBESCHREIBUNG DER FIGUREN BRIEF DESCRIPTION OF THE FIGURES

Im Folgenden wird die Erfindung anhand in den Figuren dargestellter bevorzugter Ausführungsbeispiele weiter erläutert und beschrieben. In the following the invention will be further explained and described with reference to preferred embodiments shown in the figures.

1 ist eine perspektivische Ansicht einer ersten Ausführungsform der erfindungsgemäßen Vorrichtung. 1 is a perspective view of a first embodiment of the device according to the invention.

2 ist eine Seitenansicht der Vorrichtung gemäß 1. 2 is a side view of the device according to 1 ,

3 ist eine Ansicht von oben auf eine zweite Ausführungsform der erfindungsgemäßen Vorrichtung; und 3 is a top view of a second embodiment of the device according to the invention; and

4 ist ein Blockdiagramm des erfindungsgemäßen Verfahrens. 4 is a block diagram of the method according to the invention.

FIGURENBESCHREIBUNG DESCRIPTION OF THE FIGURES

Die in den 1 und 2 dargestellte Vorrichtung 1 weist zwei zu einem zwischen ihnen liegenden Punkt punktsymmetrisch zueinander ausgebildete Teile 2 und 3 auf. Jeder der Teile 2 und 3 umfasst eine Referenzspulenanordnung 4 mit jeweils drei Referenzspulen in jedem von drei Gehäusearmen 5, die in drei voneinander linear unabhängigen Richtungen ausgerichtet sind. Jede Referenzspulenanordnung 4 ist um ein Messvolumen 6 angeordnet, das nach unten und auch über große Bereiche zur Seite hin offen ist. Die Referenzspulenanordnung ist an einer tragenden Struktur 7 befestigt, die in vertikaler Richtung teleskopierbar ist und über ein Fahrgestell 8 mit Rollen 9 am Boden aufsteht. Bei der Verwendung der Vorrichtung 1 wird die Verfahrbarkeit der Rollen blockiert, so dass die tragenden Strukturen 7 und damit beide Teile 2 und 3 der Vorrichtung 1 insgesamt in einer festen Relativanordnung zueinander angeordnet sind. The in the 1 and 2 illustrated device 1 has two to a point lying between them point-symmetrical parts formed 2 and 3 on. Each of the parts 2 and 3 comprises a reference coil arrangement 4 each with three reference coils in each of three housing arms 5 , which are aligned in three mutually linearly independent directions. Each reference coil arrangement 4 is about one measurement volume 6 arranged, which is open to the bottom and over large areas to the side. The reference coil assembly is on a supporting structure 7 fixed, which is telescopic in the vertical direction and a chassis 8th with roles 9 gets up on the ground. When using the device 1 the traversability of the rollers is blocked, leaving the load-bearing structures 7 and with it both parts 2 and 3 the device 1 are arranged in total in a fixed relative arrangement to each other.

Durch die Teleskopierbarkeit der tragenden Struktur 7 kann das Messvolumen 6 so positioniert werden, dass es den Kopf einer stehenden oder sitzenden Person bei deren jeweiliger Körpergröße aufnimmt. Weiterhin ist an der tragenden Struktur 7 eine optische Messanordnung 10 befestigt, die zum optischen Erfassen des Messvolumens 6 und eines darin angeordneten Kopfs des jeweils gegenüberliegenden Teils 3 oder 2 der Vorrichtung 1 vorgesehen ist. Die Messanordnung 10 umfasst hier eine Stereokameraanordnung 11 mit zwei Kameras 12 und 13 die das jeweilige Messvolumen 6 aus unterschiedlichen, aber definierten und bestimmten oder bestimmbaren Richtungen abbilden. In 2 ist in dem Messvolumen 6 des linken Teils 2 der Vorrichtung 1 ein Kopf 14 skizziert. An dem Kopf angeordnete, hier nicht dargestellte Sensorspulen werden an eine Signalerfassungseinheit 15 angeschlossen, um die mit Hilfe der Referenzspulenanordnung 4 in den Sensorspulen induzierten Spannungen zu messen. In die beiden Teile 2 und 3 der Vorrichtung 1 sind darüber hinaus Wechselstromgeneratoren zum Generieren von Wechselströmen durch die Referenzspulen der Referenzspulenanordnung 4 und eine Signalauswertungseinheit für die induzierten Spannungen integriert. Obwohl die Kameras 12 und 13 als Filmkameras angedeutet sind, handelt es sich bei ihnen vorzugsweise um digitale Kameras. Due to the telescopic nature of the load-bearing structure 7 can the measurement volume 6 be positioned so that it receives the head of a standing or sitting person at their respective body size. Furthermore, on the supporting structure 7 an optical measuring arrangement 10 attached to the optical detection of the measuring volume 6 and a head disposed therein of the respective opposite part 3 or 2 the device 1 is provided. The measuring arrangement 10 here includes a stereo camera assembly 11 with two cameras 12 and 13 the respective measurement volume 6 from different but defined and determined or determinable directions. In 2 is in the measurement volume 6 of the left part 2 the device 1 a head 14 outlined. Arranged on the head, not shown here, sensor coils are connected to a signal detection unit 15 connected to the with the help of Reference coil arrangement 4 to measure voltages induced in the sensor coils. In the two parts 2 and 3 the device 1 are also alternators for generating alternating currents through the reference coils of the reference coil assembly 4 and a signal evaluation unit for the induced voltages integrated. Although the cameras 12 and 13 as film cameras are indicated, they are preferably digital cameras.

Die Ausführungsform der erfindungsgemäßen Vorrichtung 1 gemäß 3 unterscheidet sich von derjenigen gemäß den 1 und 2 dadurch, dass jede optische Messanordnung 10 neben der Stereokameraanordnung 11 auch noch eine Projektionsvorrichtung 25 aufweist, um strukturiertes Licht in das gegenüberliegende Messvolumen im Bereich des anderen Teils 3 oder 2 der Vorrichtung 1 zu projizieren. Diese strukturierte Licht kann statt oder zusätzlich zu optischen Markern verwendet werden, um Bewegungen der Gesichtsmuskulatur eines Kopfes 14 in den Bildern der Kameras 12 und 13 leichter sichtbar zu machen. The embodiment of the device according to the invention 1 according to 3 differs from the one according to the 1 and 2 in that each optical measuring arrangement 10 next to the stereo camera arrangement 11 also a projection device 25 has structured light in the opposite measuring volume in the area of the other part 3 or 2 the device 1 to project. This structured light can be used instead of or in addition to optical markers to control facial muscle movements of a head 14 in the pictures of the cameras 12 and 13 easier to visualize.

Das erfindungsgemäße Verfahren 4 umfasst ein Anbringen 16 von Sensorspulen an jedem Kopf 14, das Generieren 17 von Wechselströmen durch Referenzspulen der Referenzspulenanordnungen 5, das Messen 18 von in den Sensorspulen induzierten Spannungen und das Bestimmen 19 von Positionen der Sensorspulen aus den gemessenen Spannungen. Beim Anbringen 16 wird ein Teil der Sensorspulen an schädelknochenfesten Teilen des Kopfes 14 angebracht. Wenn weiterhin Sensorspulen an der Zunge des Kopfes 14 angebracht werden, kann ein Messen 20 von Zungenbewegungen aus den bestimmten Positionen der Sensorspulen erfolgen. Optional erfolgt ein Projizieren 21 von strukturiertem Licht von der optischen Messanordnung 11 aus. In jedem Fall erfolgt ein optisches Erfassen 22 des Kopfes 14 mit mindestens einer Kamera 12, 13. Eine Koordinatentransformation 23 transformiert die Bilder der mindestens einen Kamera 12, 13 so, dass sie die Bewegung der Gesichtsmuskulatur gegenüber dem Schädelknochen des Kopfes 14 zeigen. Auf diese Basis erfolgt ein Messen 24 der Bewegungen der Gesichtsmuskulatur. Insbesondere diese Bewegungen sind ein quantitatives Maß für die Emotionen der Person, der der Kopf 14 gehört, dabei zählen zu den interessierenden Bewegungen der Gesichtsmuskulatur insbesondere diejenigen, die den optischen Eindruck des Kopfes 14 für sein Gegenüber verändern. Mit der Vorrichtung 1 gemäß den 1 bis 3 werden entsprechend insbesondere die Wechselbeziehungen von Emotionen von zwei miteinander kommunizierenden Personen quantitativ erfasst. The inventive method 4 includes an attachment 16 of sensor coils on each head 14 , generating 17 of alternating currents through reference coils of the reference coil arrangements 5 , the measuring 18 of induced voltages in the sensor coils and determining 19 of positions of the sensor coils from the measured voltages. When attaching 16 becomes part of the sensor coils on skull bone fixed parts of the head 14 appropriate. If continue sensor coils on the tongue of the head 14 can be attached, a measuring 20 of tongue movements from the particular positions of the sensor coils. Optionally, a projecting takes place 21 of structured light from the optical measuring device 11 out. In any case, an optical detection takes place 22 Of the head 14 with at least one camera 12 . 13 , A coordinate transformation 23 transforms the pictures of the at least one camera 12 . 13 so that they increase the movement of the facial muscles towards the skull bones of the head 14 demonstrate. On this basis, a measurement takes place 24 the movements of the facial muscles. In particular, these movements are a quantitative measure of the emotions of the person, the head 14 These include, among the interesting movements of the facial muscles in particular those that the visual impression of the head 14 change for his counterpart. With the device 1 according to the 1 to 3 In particular, the correlation of emotions between two persons communicating with each other is quantified.

BezugszeichenlisteLIST OF REFERENCE NUMBERS

1 1: Vorrichtung contraption
2 2: Teil part
3 3: Teil part
4 4: Referenzspulenanordnung Reference coil arrangement
5 5: Gehäusearm housing arm
6 6: Messvolumen measuring volume
7 7: Tragende Struktur Carrying structure
8 8th: Fahrwerk landing gear
9 9: Rolle role
10 10: Optische Messanordnung Optical measuring arrangement
11 11: Stereokameraanordnung Stereo camera assembly
12 12: Kamera camera
13 13: Kamera camera
14 14: Kopf head
15 15: Signalerfassungseinheit Signal detection unit
16 16: Anbringen install
17 17: Generieren to generate
18 18: Messen measure up
19 19: Bestimmen Determine
20 20: Messen measure up
21 21: Projizieren Project
22 22: Optisches Erfassen Optical detection
23 23: Koordinatentransformation coordinate transformation
24 24: Messen measure up
25 25: Projektionsvorrichtung projection device

ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant has been generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

DE 102010002145 A1 [0003, 0007]
DE 4300529 A1 [0003]

Claims

Method for the Quantitative Recording of Emotions with - Generate ( 17 ) of alternating currents through a plurality of reference coils of a reference coil arrangement ( 4 ) arranged in a fixed spatial arrangement around a head ( 14 ) a person receiving measuring volume ( 6 ), - detecting voltages across a plurality of components of the head ( 14 ) sensor coils, which are induced by alternating magnetic fields which cause the alternating currents flowing through the reference coils, and - determining ( 19 ) of positions of the sensor coils in space from the detected induced voltages, characterized by, - mounting ( 16 ) at least part of the sensor coils on skull bone-fixed parts of the head ( 14 ) and - optical detection ( 22 ) of the measuring volume ( 6 ) and the head arranged therein ( 14 ) with at least one camera ( 12 . 13 ) comprehensive optical measuring arrangement ( 10 ).

Method according to claim 1, characterized in that - the measuring volume ( 6 ) with the at least one camera ( 12 . 13 ) is mapped in a certain way from a certain direction, and / or - that the measuring volume ( 6 ) with the optical measuring arrangement ( 10 ) of a second reference coil arrangement ( 4 ) is detected from a plurality of second reference coils in a second fixed spatial arrangement by a second measuring volume ( 6 ) for receiving a second head ( 14 ) of a second person, wherein the second measurement volume ( 6 ) and the second head ( 14 ) with at least one second camera ( 12 . 13 ) second optical measuring arrangement ( 10 ) of the reference coil arrangement ( 4 ).

Method according to one of the preceding claims, characterized in that each measuring volume ( 6 ) with a stereo camera arrangement ( 11 ) of the respective optical measuring arrangement ( 6 ) is displayed.

Method according to one of the preceding claims, characterized in that with each optical measuring arrangement ( 10 ) structured light into the respective measuring volume ( 6 ) is projected in a direction that differs from the direction from which the respective measuring volume ( 6 ) with the respective at least one camera ( 12 . 13 Optionally, the structured light is not visible to the person, but from the respective at least one camera (FIG. 12 . 13 ) is detected.

Method according to one of the preceding claims, characterized in that optical markers and / or tags (at the respective head 14 ), wherein optionally - at least a part of the optical markers is attached to at least a part of the sensor coils and / or - at least one part of the optical markers mounted on one of the optical markers is cuboidal.

Method according to one of the preceding claims, characterized in that the current overall state of the respective head from the images of all cameras ( 12 . 13 ) of the respective optical measuring arrangement ( 10 ) is reconstructed taking into account the specific positions of the sensor coils in space.

Device for the quantitative detection of emotions with - a reference coil arrangement ( 4 ), the plurality of reference coils in a fixed spatial arrangement by a measuring volume ( 6 ) for receiving a head ( 14 ) of a person, - an alternating current generator that can be connected to the reference coils, - several components of the head ( 14 ) attachable sensor coils, - a connectable to the sensor coils signal detection unit ( 15 ), which detects voltages across the sensor coils induced by alternating magnetic fields causing the alternating currents flowing through the reference coils, and a signal evaluation unit which determines positions of the sensor coils in space from the detected induced voltages, characterized by at least one Camera ( 12 . 13 ) comprehensive optical measuring arrangement ( 10 ), with which the measuring volume ( 6 ) and the head arranged therein ( 14 ) are optically detectable.

Apparatus according to claim 7, characterized in that the at least one camera ( 12 . 13 ) the measuring volume ( 6 ) images in a certain way from a certain direction, wherein optionally - the optical measuring arrangement ( 10 ) on a supporting structure ( 7 ) of a second reference coil arrangement ( 4 ), which has a plurality of second reference coils in a second fixed spatial arrangement around a second measuring volume ( 6 ) for receiving a second head ( 14 ) of a second person, whereby on a supporting structure ( 7 ) of the reference coil arrangement ( 4 ) a second at least one second camera ( 12 . 13 ) comprehensive optical measuring arrangement ( 10 ), with which the second measuring volume ( 6 ) and the second head ( 14 ) are optically detectable, wherein the at least one second camera ( 12 . 13 ) the second measurement volume ( 6 ) images in a specific way from a certain second direction, and / or - each optical measuring arrangement ( 10 ) a stereo camera arrangement ( 11 ) having.

Device according to one of claims 7 and 8, characterized in that each optical measuring arrangement ( 10 ) has a projection device, the structured light in the respective measurement volume ( 6 ) is projected in a direction that differs from the direction in which the respective measuring volume ( 6 ) with the respective at least one camera ( 12 . 13 ) is displayed.

Device according to one of claims 7 to 9, characterized in that optical markers or markings for attachment ( 16 ) at the respective head ( 14 ), wherein optionally at least a part of the optical markers is provided on at least a part of the sensor coils.