DE102018008112A1

DE102018008112A1 - Method and device for supporting the observation and mimicking of behavior

Info

Publication number: DE102018008112A1
Application number: DE102018008112.6A
Authority: DE
Inventors: Anmelder Gleich
Original assignee: Individual
Current assignee: Individual
Priority date: 2018-10-11
Filing date: 2018-10-11
Publication date: 2020-04-16

Abstract

Die Erfindung betrifft ein Verfahren und eine Vorrichtung, mit denen das Beobachten und Nachahmen von Verhalten eines Vorbildes oder Modells (3) durch einen oder mehrere Anwender (1) ermöglicht und erleichtert wird. In dem erfindungsgemäßen Verfahren wird das Verhalten des Modells (3) in Form eines integrierten multimodalen volumetrischen Mediums wiedergegeben. Dieses Medium wird als Sentio bezeichnet, wobei der Begriff vom Lateinischen „sentire“ (wahrnehmen) abgeleitet ist, in Analogie zu den Begriffen Audio und Video. Das Verhalten des Modells (3) wird mit Aufzeichnungseinheiten (7), vorzugsweise Kameras für 360-Grad-Panoramen oder volumetrische Videos aufgenommen, in Kombination mit Aufzeichnungssystemen für 3D-Audio, Haptik sowie psychologische und physiologische Parameter. Die Aufzeichnungen werden in einer Rechnereinheit (8) zu einem Sentio integriert. Das Medium wird vorzugsweise in einem Head-Mounted-Display (14) wiedergegeben, in Kombination mit Wiedergabeeinheiten für andere Sinnesmodalitäten. Mit dem Sentio kann der Anwender (1) das Verhalten des Modells (3) mit verschiedenen Sinnen aus unterschiedlichen Entfernungen und Perspektiven beobachten und erleben, weitgehend unabhängig von Zeit und Ort. Der Anwender (1) kann dadurch eine umfassende Vorstellung vom Verhalten des Modells (3) entwickeln und es auf dieser Grundlage unmittelbar oder mit zeitlicher Verzögerung nachahmen.The invention relates to a method and a device with which the observation and imitation of the behavior of a model or model (3) is made possible and facilitated by one or more users (1). In the method according to the invention, the behavior of the model (3) is reproduced in the form of an integrated multimodal volumetric medium. This medium is referred to as sentio, the term being derived from the Latin “sentire” (perceiving), in analogy to the terms audio and video. The behavior of the model (3) is recorded with recording units (7), preferably cameras for 360-degree panoramas or volumetric videos, in combination with recording systems for 3D audio, haptics and psychological and physiological parameters. The recordings are integrated in a computer unit (8) to form a Sentio. The medium is preferably reproduced in a head-mounted display (14), in combination with reproduction units for other sensory modalities. With the Sentio, the user (1) can observe and experience the behavior of the model (3) with different senses from different distances and perspectives, largely independent of time and place. The user (1) can thereby develop a comprehensive idea of the behavior of the model (3) and imitate it immediately or with a delay.

Description

Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur Unterstützung der Beobachtung und Nachahmung von Verhalten gemäß Oberbegriff des Anspruchs 1 bzw. des Anspruchs 2.The invention relates to a method and a device for supporting the observation and imitation of behavior according to the preamble of claim 1 and claim 2.

Stand der TechnikState of the art

Das Beobachten des Verhaltens anderer Personen spielt in verschiedenen Bereichen eine zentrale Rolle, etwa in der Kunst und im Sport. Das Beobachten ist von besonderem Wert für das Erlernen neuen Verhaltens durch Nachahmung. In der verhaltenswissenschaftlich ausgerichteten Lernpsychologie werden drei Lernprinzipien differenziert, die klassische Konditionierung, die operante Konditionierung und das Beobachtungslernen. Letzteres wird auch als Modelllernen, Nachahmungslernen oder soziales Lernen bezeichnet. Beobachtungslernen bezieht sich auf diejenigen Lernvorgänge, die auf der Beobachtung und Nachahmung des Verhaltens von Vorbildern beruhen, die als Modell bezeichnet werden. Dabei ist unerheblich, ob das Verhalten eines Modells unmittelbar dargestellt wird oder mittelbar, z.B. in Form von Audio- oder Videoaufzeichnungen. Die mögliche Effektivität des Beobachtungslernens wird durch Experimente verdeutlicht, in denen Probanden komplexeres Verhalten bereits nach einem einzelnen Beobachtungsdurchgang erfolgreich nachahmen konnten (sogenanntes One-Trial Learning).Observing the behavior of other people plays a central role in various areas, such as art and sports. Observation is of particular value for learning new behavior through imitation. In the behavioral science-based learning psychology, three learning principles are differentiated, classic conditioning, operant conditioning and observation learning. The latter is also referred to as model learning, imitation learning or social learning. Observational learning refers to those learning processes that are based on observing and imitating the behavior of role models, which are referred to as models. It is irrelevant whether the behavior of a model is shown directly or indirectly, e.g. in the form of audio or video recordings. The possible effectiveness of observation learning is illustrated by experiments in which subjects were able to successfully imitate complex behavior after a single observation session (so-called one-trial learning).

Die Bedeutung des Beobachtungslernens zeigt sich beispielsweise bei der Gesangsausbildung. Dort bestehen längere Phasen des Unterrichts darin, dass der Lehrer dem Schüler etwas vorsingt, was dieser dann nachzuahmen versucht. Bislang geht man allgemein davon aus, dass sich in dieser Lernsituation der Einsatz von technischen Hilfsmitteln erübrigt. Andererseits wird bisher die mögliche Effektivität des Beobachtungslernens selten realisiert. Im Gesangsunterricht nähert sich der Schüler eher in einem iterativen Lernprozess durch häufiges Wiederholen dem Zielverhalten an. Dies deutet darauf hin, dass die konventionelle Unterrichtssituation Probleme aufweist.The importance of learning to observe can be seen, for example, in vocal training. There, longer phases of teaching consist of the teacher singing something to the student, which the student then tries to imitate. So far, it is generally assumed that the use of technical aids is not necessary in this learning situation. On the other hand, the possible effectiveness of observation learning has rarely been realized. In singing lessons, the student approaches the target behavior in an iterative learning process by repeating it frequently. This indicates that the conventional teaching situation has problems.

Während des Unterrichts nehmen Schüler und Lehrer einen größeren räumlichen Abstand ein. Das heißt, von den klassischen fünf Sinnen (Sehen, Hören, Riechen, Schmecken und Fühlen) kommen nur das Sehen und das Hören zur Anwendung. Ein größerer räumlicher Abstand führt dazu, dass kleine und feine Bewegungen nicht gut wahrgenommen werden können, insbesondere wenn sie schnell ausgeführt werden. Eine weitere Einschränkung ergibt sich daraus, dass Schüler und Lehrer ihre räumliche Position während des Unterrichts weitgehend beibehalten, so dass der Schüler den Lehrer nur aus einer Perspektive beobachtet. Weiter ist problematisch, dass Bewegungen teilweise oder gänzlich verdeckt ablaufen, beim Gesang etwa die Atembewegungen, die durch die Kleidung verborgen sind. Deshalb können unter konventionellen Bedingungen zahlreiche Elemente des Verhaltens nicht oder nur unvollständig wahrgenommen werden.Students and teachers take up more space during the lesson. This means that of the classic five senses (seeing, hearing, smelling, tasting and feeling) only seeing and hearing are used. A larger spatial distance means that small and fine movements cannot be perceived well, especially if they are carried out quickly. Another limitation arises from the fact that pupils and teachers largely maintain their spatial position during the lesson, so that the pupil only observes the teacher from one perspective. Another problem is that movements are partially or completely concealed, for example in breathing the breathing movements that are hidden by clothing. Therefore, under conventional conditions, numerous elements of behavior cannot be perceived or can only be perceived incompletely.

Beim Instrumentalunterricht stellt sich das Problem noch gravierender dar. Auch hier versuchen Lehrer, die Prinzipien des Beobachtungslernens in ihren Unterricht zu integrieren. Beim Gitarrenunterricht setzen sich Schüler und Lehrer häufig nebeneinander, so dass sie seitlich auf das Instrument des anderen blicken können. Diese Anordnung ist günstiger, als wenn sich Schüler und Lehrer gegenüber sitzen, weil damit mentale Transformationen - Rotationen und Translationen - vermieden werden. Würden sie sich gegenüber sitzen, wäre die Greifhand des Schülers auf seiner linken Seite, die des Lehrers auf seiner rechten, was als Problem der Seitenvertauschung bezeichnet wird. Wenn beide nebeneinander sitzen, führt dies andererseits zu einer verdrehten Körperhaltung, die auf Dauer unangenehm ist. Hauptsächliche Erschwernis ist aber, dass die zu beobachtenden filigranen Bewegungen aus einer solchen Entfernung kaum zuverlässig wahrgenommen und nachgeahmt werden können, zumal der Schüler wieder auf eine einzelne Perspektive festgelegt ist. Ein Beleg für die Relevanz dieser Probleme ist, dass die Lehrer häufig als Kompensation auf umfangreiche verbale Instruktionen und Erläuterungen zurückgreifen.The problem is even more serious with instrumental lessons. Here too, teachers try to integrate the principles of observation learning into their lessons. In guitar lessons, students and teachers often sit side by side so that they can look at each other's instruments from the side. This arrangement is cheaper than when students and teachers sit opposite each other because it avoids mental transformations - rotations and translations. If they were to sit opposite each other, the student's grasping hand would be on his left, the teacher's on his right, which is known as the problem of swapping sides. On the other hand, if both sit next to each other, this leads to a twisted posture that is uncomfortable in the long run. The main difficulty, however, is that the filigree movements to be observed can hardly be reliably perceived and imitated from such a distance, especially since the student is once again restricted to a single perspective. Evidence of the relevance of these problems is that teachers often use extensive verbal instructions and explanations as compensation.

Beim Beobachtungslernen ist wichtig, dass der Schüler nicht nur das Verhalten des Lehrers, sondern auch sein eigenes Verhalten wahrnimmt. Im Gesangs- oder Instrumentalunterricht kann er sich an der akustischen Rückmeldung orientieren. Andererseits gibt es Bereiche, in denen eine Rückmeldung weitgehend fehlt, beispielsweise beim Tanzen. In der Unterrichtspraxis hat sich deswegen der Einsatz von großflächigen Spiegeln etabliert. Schüler und Lehrer stellen sich gemeinsam vor einen Spiegel, um wechselseitig die Bewegungsabläufe des anderen beobachten zu können. Das heißt, der Schüler kann den Lehrer neben sich nachahmen und der Lehrer die Bewegungsausführung des Schülers kontrollieren und ggf. korrigieren. In einer solchen Anordnung wird zugleich das Problem der Seitenvertauschung vermieden.It is important in observational learning that the student not only perceives the behavior of the teacher, but also his own behavior. In vocal or instrumental lessons, he can use acoustic feedback as a guide. On the other hand, there are areas in which feedback is largely missing, for example when dancing. The use of large mirrors has therefore established itself in teaching practice. Students and teachers stand together in front of a mirror so that they can mutually observe each other's movements. This means that the student can imitate the teacher next to him and the teacher can control and correct the movement of the student. In such an arrangement, the problem of swapping sides is avoided at the same time.

Allerdings können mit großflächigen Spiegeln bestimmte häufige Bewegungsabläufe nicht unterstützt werden. So beinhalten Tanzchoreografien Kopf- und Körperrotationen, so dass dann der Blick vom Spiegel weg in eine andere Richtung geht, so dass der Schüler den Blickkontakt zum Lehrer verliert.However, certain frequent movements cannot be supported with large mirrors. Dance choreographies include head and body rotations, so that the view from the mirror goes in a different direction, so that the student loses eye contact with the teacher.

Neben den bereits genannten Wahrnehmungsproblemen spielen auch Gedächtniseffekte eine Rolle. In der Regel erfolgt die Nachahmung mit einer zeitlichen Verzögerung, zunächst singt der Lehrer etwas vor, dann ahmt es der Schüler nach. Mit dieser zeitlichen Verzögerung geht einher, dass der Schüler die Gesangsvorlage des Lehrers im Gedächtnis ablegen muss, um diese gespeicherten Informationen dann zur Grundlage seines eigenen Gesangs zu machen. Deswegen werden einzelne Gesangsteile in der Regel häufig wiederholt, bis sie auswendig beherrscht werden. In addition to the perception problems already mentioned, memory effects also play a role. As a rule, the imitation takes place with a time delay, first the teacher sings something, then the pupil imitates it. This time delay means that the student has to memorize the teacher's song template in order to then use this stored information as the basis for his own singing. For this reason, individual parts of the song are usually repeated until they are mastered by heart.

Noch gravierender stellt sich das Gedächtnisproblem beim häuslichen Üben dar. Diese Lernphase ist insofern besonders wichtig, weil sie den weitaus größeren Zeitanteil einnimmt, der Präsenzunterricht mit einem unmittelbaren Kontakt zum Lehrer umfasst in der Regel nur eine oder wenige Stunden in der Woche. Während des Übens soll der Schüler die im Unterricht vermittelten Inhalte ohne eine fachliche Rückmeldung selbstständig wiederholen. Dies setzt voraus, dass er das Verhalten seines Lehrers im Unterricht aus dem Gedächtnis möglichst genau reproduzieren kann. Damit ist aber jeder Schüler überfordert, allein schon aufgrund der Fülle der im Unterricht vermittelten Informationen.The memory problem is even more serious when practicing at home. This learning phase is particularly important because it takes up a much larger amount of time, face-to-face lessons with direct contact with the teacher usually only last one or a few hours a week. During practice, the student should independently repeat the content imparted in the classroom without specialist feedback. This presupposes that he can reproduce the behavior of his teacher in class as accurately as possible. But every student is overwhelmed, if only because of the wealth of information conveyed in the classroom.

Einige Lehrer vertreten deshalb die Auffassung, dass die Schüler zwischen den Unterrichtsstunden am besten gar nichts machen, um sich nicht selbst etwas falsches beizubringen, was dann im Unterricht wieder zeitaufwendig korrigiert werden muss. Vereinzelt fertigen Lehrer für ihre Schüler Audio- oder Video-Aufzeichnungen der Unterrichtsstunde an. Mit diesen Aufzeichnungen können die Schüler während ihres Übens den Unterricht noch einmal in ihrer Vorstellung durchgehen und an den entsprechenden Stellen den Lehrer nachahmen. Im Vergleich zu den sensorischen Bedingungen während des Unterrichts sind solche Aufzeichnungen erheblich reduziert, so dass die Schüler auch dann darauf angewiesen sind, wesentliche Informationen aus dem Gedächtnis zu rekonstruieren. Die Beschränkungen dieser Aufzeichnungen werden deutlich, wenn man versucht, auf der Grundlage von Medien-Dateien aus YouTube oder ähnlichen Quellen ein bestimmtes Verhalten zu erlernen. Die Beobachtbarkeit ist so weit reduziert, dass viele Aspekte des Verhaltens im Datenmaterial nicht oder nicht klar ersichtlich sind, was ein weitgehend autodidaktisches Lernen erforderlich macht. Mit konventionellen Medien-Dateien alleine kann kaum ein substantieller Lernfortschritt erzielt werden.Some teachers therefore believe that it is best for the students to do nothing between lessons in order not to teach themselves something wrong, which then has to be corrected again in class in a time-consuming manner. Occasionally, teachers make audio or video recordings of the lesson for their students. With these notes, the students can go through the lessons again during their practice and imitate the teacher in the appropriate places. In comparison to the sensory conditions during the classroom, such recordings are considerably reduced, so that the students are still dependent on reconstructing essential information from the memory. The limitations of these recordings become clear when trying to learn a particular behavior based on media files from YouTube or similar sources. The observability is reduced to such an extent that many aspects of the behavior in the data material are not or not clearly visible, which necessitates largely self-taught learning. With conventional media files alone, no substantial learning progress can be achieved.

Deshalb gibt es verschiedene Überlegungen, das Prinzip des Einsatzes großflächiger Spiegel auf die Übungssituation ohne Lehrer zu übertragen. Ein Beispiel ist in JP 5 975 599 B2 dargestellt. Dabei steht der Anwender vor einem großflächigen Spiegel, in dem er sich bei der Ausführung der Bewegungen beobachten kann. Neben ihm befindet sich ein großflächiger Bildschirm, der in Richtung des Spiegels orientiert ist. Auf dem Bildschirm wird die Videoaufzeichnung eines Modells abgespielt, dessen Bewegungen der Anwender nachahmt. Dann sieht der Anwender vor sich im Spiegel nebeneinander sowohl sich selbst als auch das Modell, und zwar ohne Seitenvertauschung. Eine Variante dieser Anordnung wird in DE 10 2017 102 144 A1 dargestellt. Dabei wird ein halbtransparenter Spiegel verwendet, hinter dem sich ein Bildschirm befindet. Auf dem Bildschirm ist das Modell zu sehen, allerdings vertikal gespiegelt, um das Problem der Seitenvertauschung zu beheben. Dann sieht der Anwender sich selbst und das Modell als Überblendung dargestellt.Therefore, there are various considerations to apply the principle of using large mirrors to the practice situation without a teacher. An example is in JP 5 975 599 B2 shown. The user stands in front of a large mirror in which he can observe himself while executing the movements. Next to him is a large screen that is oriented in the direction of the mirror. The video recording of a model is played on the screen, the movements of which the user imitates. Then the user can see both themselves and the model in front of each other in the mirror, without changing sides. A variant of this arrangement is in DE 10 2017 102 144 A1 shown. A semi-transparent mirror is used, behind which there is a screen. The model can be seen on the screen, but is mirrored vertically to solve the problem of page swapping. Then the user sees himself and the model as a transition.

Eine solche Überblendung wird auch in US 8 953 909 B2 vorgeschlagen. Hierbei sieht sich der Anwender nicht in einem Spiegel, sondern er wird über eine Kamera zweidimensional aufgenommen und auf einem konventionellen Bildschirm dargestellt. Dieser Bildschirm zeigt zugleich ein Video des Verhaltens des Modells, das vertikal gespiegelt ist. Durch die Überblendung soll es dem Anwender leichter fallen, Abweichungen vom Verhalten des Modells wahrzunehmen und sein Verhalten entsprechend zu korrigieren.Such a fade is also shown in US 8 953 909 B2 suggested. Here, the user does not see himself in a mirror, but is recorded in two dimensions by a camera and displayed on a conventional screen. This screen also shows a video of the behavior of the model, which is mirrored vertically. The transition should make it easier for the user to perceive deviations from the behavior of the model and to correct his behavior accordingly.

Aus den in der Patentschrift dargestellten Beispielen ist jedoch zu entnehmen, dass aufgrund der Überblendung Bewegungsdetails kaum mehr wahrnehmbar sind. Das Patent US 9 878 206 B2 stellt einen Versuch dar, die Beobachtbarkeit in einer solchen Anordnung zu verbessern. Dabei wird nicht das gesamte Modell dargestellt, sondern nur ein wichtiger Ausschnitt des Verhaltens, z.B. die Bewegung eines Baseballschlägers. Diese Referenzbewegung wird auch nicht als unbearbeitetes Video präsentiert, sondern grafisch stark vereinfacht durch gestrichelte Linien. Bei einer perfekten Übereinstimmung der beiden Bewegungen erhält der Anwender eine zusätzliche visuelle Rückmeldung, indem z.B. Sterne auf dem Bildschirm angezeigt werden. Insgesamt wird damit die verbesserte Wahrnehmbarkeit einer Überblendung auf Kosten einer starken Abstraktion der Darstellung des Verhaltens erzielt. Optisch führt eine Reduzierung auf gestrichelte Linien dazu, dass bei feinen Bewegungen keine Details mehr erkennbar sind. Inhaltlich wird auf den Bewegungskontext verzichtet, im Beispiel des Baseballschlägers auf die Bein- und Fußstellung, die erforderlich ist, um den Schwung überhaupt wie gezeigt ausführen zu können.However, it can be seen from the examples shown in the patent specification that due to the cross-fading, movement details can hardly be perceived. The patent US 9 878 206 B2 represents an attempt to improve observability in such an arrangement. The entire model is not shown, but only an important part of the behavior, such as the movement of a baseball bat. This reference movement is also not presented as an unprocessed video, but is greatly simplified graphically by dashed lines. If the two movements match perfectly, the user receives additional visual feedback, for example by displaying stars on the screen. Overall, the improved perceptibility of a crossfade is achieved at the expense of a strong abstraction of the representation of the behavior. Visually, a reduction to dashed lines means that no details can be seen in fine movements. In terms of content, the context of movement is dispensed with, in the example of the baseball bat on the leg and foot position, which is necessary to be able to execute the swing as shown.

Diese Erfindungen teilen mit dem ursprünglichen Konzept großflächiger Spiegel das Problem, dass bei Kopf- und Körperrotationen der Schüler den Blickkontakt zum Lehrer bzw. seiner Darstellung im Video verliert. Deswegen sind auch unter solchen Bedingungen wesentliche Elemente des Verhaltens nicht beobachtbar. Dies dürfte ein wesentlicher Grund sein, warum keine der genannten Erfindungen sich bisher in größerem Umfang in der Unterrichtspraxis etablieren konnte. Zudem deutet dies darauf hin, dass ein grundsätzlich anderer technischer Ansatz gewählt werden muss.With the original concept of large mirrors, these inventions share the problem that when the head and body rotate, the pupil loses eye contact with the teacher or his depiction in the video. That is why are also under such conditions, essential elements of behavior cannot be observed. This should be a major reason why none of the inventions mentioned has so far been able to establish itself in teaching practice on a larger scale. In addition, this indicates that a fundamentally different technical approach must be chosen.

Zusammenfassend kann festgehalten werden, dass etablierte Konzepte der Ausbildung etwa in Kunst und Sport auf dem Beobachtungslernen aufbauen. Beim jetzigen Stand der Technik ist weiterhin der konventionelle Unterricht mit der unmittelbaren Anleitung durch den Lehrer das unverzichtbare Kernelement des Lernprozesses. Unter diesen Bedingungen weist die Beobachtbarkeit und damit die Nachahmbarkeit des Verhaltens verschiedene Probleme auf. Als technische Hilfsmittel haben bisher im Wesentlichen nur großflächige Spiegel eine stärkere Verbreitung gefunden, die aber für bestimmte häufige Bewegungsabläufe nicht geeignet sind. Während des Übens, bei dem die im Unterricht vermittelten Inhalte ohne eine fachliche Rückmeldung selbstständig wiederholt werden sollen, stellen sich die Probleme der Beobachtbarkeit und Nachahmbarkeit als noch gravierender dar. Dann hat der Schüler kaum eine Möglichkeit, das Beobachtungslernen erfolgreich fortzusetzen, selbst wenn ihm Audio- oder Video-Aufzeichnungen für konventionelle oder spezielle Wiedergabesysteme zur Verfügung stehen. Insgesamt ist deshalb nicht überraschend, dass der Erwerb künstlerischer und sportlicher Fähigkeiten weiterhin außergewöhnliche Anforderungen an die Geduld und das Durchhaltevermögen der Schüler stellt.In summary, it can be stated that established concepts of training in art and sport, for example, are based on observation learning. With the current state of the art, conventional teaching with direct instruction from the teacher remains the essential core element of the learning process. Under these conditions, the observability and thus the imitability of the behavior presents various problems. So far, only large-area mirrors have largely been used as technical aids, but they are not suitable for certain frequent movements. The problems of observability and imitability become even more serious during practice, during which the content imparted in the classroom should be repeated independently without specialist feedback. Then the pupil has hardly any possibility of successfully continuing to learn through observation, even if he has audio - or video recordings for conventional or special playback systems are available. Overall, it is therefore not surprising that the acquisition of artistic and sporting skills continues to place extraordinary demands on the patience and perseverance of the students.

Offenbarung der ErfindungDisclosure of the invention

Der Erfindung liegt die Aufgabe zugrunde, ein technisches Verfahren und eine technische Vorrichtung zu schaffen, die das Beobachten und Nachahmen des Verhaltens eines Modells ermöglichen und erleichtern, um so den Lernprozess eines oder mehrerer Anwender zu unterstützen, zu verbessern und zu beschleunigen.The invention has for its object to provide a technical method and a technical device that enable the observation and mimicking of the behavior of a model and facilitate, so as to support, improve and accelerate the learning process of one or more users.

Diese Aufgabe wird erfindungsgemäß dadurch gelöst, dass das Verhalten des Modells in Form eines integrierten multimodalen volumetrischen Mediums wiedergegeben wird, in dem der Anwender mit verschiedenen Sinnen das Verhalten aus unterschiedlichen Entfernungen und Perspektiven beobachten und erleben kann. Ein solches Medium wird im Folgenden als Sentio bezeichnet. Analog zu den traditionellen Medien Audio und Video wird der Begriff dem Lateinischen entlehnt, als 1. Person Singular des zugrundeliegenden Verbs „sentire“ mit den Grundbedeutungen „fühlen“, „empfinden“ und „wahrnehmen“. Damit wird deutlich gemacht, dass dieses Medium nicht auf eine spezielle Sinnesmodalität abhebt, sondern auf Wahrnehmen und Erleben im Allgemeinen.This object is achieved according to the invention in that the behavior of the model is reproduced in the form of an integrated multimodal volumetric medium in which the user can observe and experience the behavior from different distances and perspectives with different senses. Such a medium is referred to below as Sentio. Analogous to the traditional media audio and video, the term is borrowed from Latin, as the 1st person singular of the underlying verb "sentire" with the basic meanings "feel", "feel" and "perceive". This makes it clear that this medium does not focus on a special sense modality, but on perception and experience in general.

Ausgangspunkt des Verfahrens ist das Verhalten des Modells. Im Hinblick auf die Frage, welche Merkmale von besonderer Bedeutung für das Erleben und Nachahmen des Verhaltens sind, wird eine Menge von aufzuzeichnenden Variablen definiert. Die potentiell relevanten Variablen umfassen alle klassischen Sinnesmodalitäten (Sehen, Hören, Riechen, Schmecken und Fühlen). Darüber hinaus sind ggf. auch psychologische und physiologische Parameter relevant, etwa die Blickrichtung oder die Muskelaktivität des Modells.The starting point of the procedure is the behavior of the model. With regard to the question of which characteristics are of particular importance for experiencing and imitating behavior, a number of variables to be recorded are defined. The potentially relevant variables include all classic sense modalities (seeing, hearing, smelling, tasting and feeling). In addition, psychological and physiological parameters may also be relevant, such as the direction of view or the muscle activity of the model.

Von primärer Bedeutung ist die visuelle Wahrnehmung des Modells und seiner Bewegungen im Raum. Diese können beispielsweise mit einer omnidirektionalen Kamera aufgenommen werden. Sie wird auch als 360-Grad-Kamera bezeichnet, denn mit ihr lassen sich Bilder und Videos aus allen Richtungen in einem Bereich von 360 Grad horizontal als auch vertikal aufnehmen. Diese Aufnahmen ergeben insgesamt ein Kugelpanorama und können mit immersiven Projektionstechniken aus der virtuellen Realität (VR), z.B. Head-Mounted-Displays (HMDs), betrachtet werden. Idealerweise wird das Verhalten des Modells als volumetrisches Video aufgezeichnet. Bei dieser Technik wird um das Set eine größere Menge von Kameras platziert, mit denen Personen dreidimensional und lebensecht aufgenommen werden. Damit lassen sich hologrammartige Darstellungen erzeugen, die wie computergenerierte Modelle beliebig bearbeitet werden können. Die so aufgenommenen Personen lassen sich in reale und virtuelle Welten integrieren. Ebenso ist es möglich, dass der Anwender mit Hilfe von VR-Technik die Welten betritt und die aufgenommenen Personen und ihr Verhalten aus jedem möglichen Blickwinkel anschaut. Solche Aufnahmen werden auch als Free Viewpoint Volumetrie Video oder 4D Volumetrie Mixed Reality Capture bezeichnet.The visual perception of the model and its movements in space is of primary importance. These can be recorded, for example, with an omnidirectional camera. It is also known as a 360-degree camera, because it can be used to take pictures and videos from all directions in a range of 360 degrees horizontally and vertically. Overall, these recordings result in a spherical panorama and can be used with immersive projection techniques from virtual reality (VR), e.g. Head-mounted displays (HMDs). Ideally, the behavior of the model is recorded as a volumetric video. With this technology, a larger number of cameras are placed around the set, with which people are recorded three-dimensionally and lifelike. It can be used to create hologram-like representations that can be edited as desired, like computer-generated models. The people recorded in this way can be integrated into real and virtual worlds. It is also possible for the user to enter the worlds with the help of VR technology and to look at the recorded people and their behavior from every possible angle. Such recordings are also known as Free Viewpoint Volumetry Video or 4D Volumetry Mixed Reality Capture.

In der Regel wird auch die auditive Wahrnehmung von besonderer Bedeutung sein. Akustische Reize werden mit einer geeigneten räumlichen Anordnung von Mikrophonen realitätsnah aufgezeichnet. Grundsätzlich können die olfaktorische und die gustatorische Wahrnehmung ebenfalls relevant sein. Da dies aber nur für vergleichsweise wenige Verhaltensweisen gilt, wird an dieser Stelle nicht detailliert darauf eingegangen.As a rule, auditory perception will also be of particular importance. Acoustic stimuli are recorded realistically with a suitable spatial arrangement of microphones. In principle, olfactory and gustatory perception can also be relevant. However, since this only applies to comparatively few behaviors, it is not dealt with in detail here.

In der vorliegenden Erfindung wird der haptischen Wahrnehmung eine große Bedeutung beigemessen. Dabei ist zu berücksichtigen, dass diese Wahrnehmung das Ergebnis des Zusammenspiels verschiedener Rezeptoren ist, um insbesondere die Variablen Druck, Temperatur und Elastizität zu erleben. Zur Unterstützung der haptischen Wahrnehmung ist vor allen Dingen die Lage und Bewegung der Oberflächen im Raum von Bedeutung, die beispielsweise aus dem volumetrischen Video errechnet werden können. Für die Messung der Temperatur lassen sich Wärmebildkameras einsetzen. Zudem gibt es Methoden, mit denen auf der Grundlage von Videodaten die Elastizität und die Schwingungseigenschaften von Objekten modelliert werden können, z.B. das am MIT entwickelte „Interactive Dynamic Video“.Great importance is attached to haptic perception in the present invention. It should be taken into account that this perception is the result of the interaction of different receptors, in particular to experience the variables pressure, temperature and elasticity. To support the haptic Perception is primarily about the position and movement of the surfaces in space, which can be calculated, for example, from the volumetric video. Thermal cameras can be used to measure the temperature. There are also methods that can be used to model the elasticity and vibration properties of objects based on video data, such as the "Interactive Dynamic Video" developed at MIT.

Über die klassischen fünf Sinnesmodalitäten hinaus sind potentiell auch verschiedene psychologische und physiologische Parameter relevant. So ist etwa die Blickrichtung des Modells bei den meisten Verhaltensweisen von großer Bedeutung. Diese kann möglicherweise bereits dem Datenmaterial des volumetrischen Videos entnommen werden, mit einer hohen Genauigkeit wird sie mit Systemen zur Blickerfassung aufgezeichnet. Die Muskelaktivität wird im Allgemeinen mit Elektroden als Elektromyogramm (EMG) gemessen. Aktivitäten des Gehirns können mit der Elektroenzephalografie (EEG) registriert werden. Mit der Magnetresonanztomographie (MRT) werden psychische und physische Vorgänge im inneren des Körpers aufgenommen. Unter anderem ist es damit möglich, die Bewegungsabfolge der Muskeln im Mund-, Rachen- und Halsbereich beim Sprechen und Singen in Echtzeit darzustellen.In addition to the classic five sensory modalities, various psychological and physiological parameters are potentially relevant. For example, the viewing direction of the model is of great importance for most behaviors. This can possibly already be taken from the data material of the volumetric video; it is recorded with a high degree of accuracy using systems for eye detection. Muscle activity is generally measured using electrodes as an electromyogram (EMG). Brain activities can be registered using electroencephalography (EEG). Magnetic resonance imaging (MRI) records psychological and physical processes inside the body. Among other things, it is possible to display the movement sequence of the muscles in the mouth, throat and neck area when speaking and singing in real time.

Aus den potentiell relevanten Variablen wird eine Teilmenge ausgewählt, die für das Erleben und das Nachahmen des infrage stehenden Verhaltens besonders wichtig sind. Mit den entsprechenden Aufzeichnungsgeräten wird das Verhalten des Modells aufgenommen. Die Aufzeichnungen werden in einer Rechnereinheit mit einer Steuereinheit und einer Verarbeitungseinheit auf einer Speichereinheit abgelegt.A subset is selected from the potentially relevant variables that are particularly important for experiencing and imitating the behavior in question. The behavior of the model is recorded with the appropriate recording devices. The records are stored in a computer unit with a control unit and a processing unit on a storage unit.

Die Verarbeitungseinheit wird mit einem Programm zur Verarbeitung der Aufzeichnungen ausgestattet, das diese zu einem Sentio integriert. Dieses Medium beinhaltet somit die Daten zu allen aufgezeichneten Variablen sowie deren zeitlichen und räumlichen Zusammenhänge, analog zu einem Video, das visuelle und akustische Informationen zusammenfasst. Variablen, die nicht zu den klassischen fünf Sinnesmodalitäten gehören, werden in die Darstellung der Modalitäten integriert: Blickbewegungen und -richtungen können beispielsweise als Sehvektor visualisiert werden, die Muskelaktivität durch farbliche Hervorhebung der entsprechenden Körperoberfläche des Modells. Die Erstellung des Sentios beinhaltet ggf. auch Arbeitsschritte der Postproduktion oder Nachproduktion. Das Verhalten des Modells wird letztlich vollständig in digitale Informationen umgewandelt, die von der Rechnereinheit beliebig überarbeitet und verändert werden können, insbesondere im Hinblick auf eine Optimierung der Möglichkeiten zum Beobachten und Nachahmen durch den Anwender.The processing unit is equipped with a program for processing the recordings, which integrates them into a Sentio. This medium thus contains the data on all recorded variables and their temporal and spatial relationships, analogous to a video that summarizes visual and acoustic information. Variables that do not belong to the classic five sense modalities are integrated into the presentation of the modalities: gaze movements and directions can be visualized as a visual vector, for example, and muscle activity by highlighting the corresponding body surface of the model. The creation of the Sentio may also include post-production or post-production steps. The behavior of the model is ultimately completely converted into digital information that can be revised and changed by the computing unit as desired, in particular with a view to optimizing the possibilities for observation and imitation by the user.

Dieses Sentio wird auf einer oder mehreren Wiedergabeeinheiten dargestellt, deren Konfiguration auf die Menge der eingangs ausgewählten Variablen abgestimmt ist. Die volumetrischen visuellen Informationen können beispielsweise in einem HMD dargestellt werden. Eine Variante ist ein halbtransparentes HMD, etwas die Microsoft HoloLens für Mixed Reality, mit dem man gleichzeitig eine Sicht auf die virtuelle und die reale Umgebung hat. HMDs haben üblicherweise Kopfhörer, alternativ können im Raum verteilte Lautsprecher verwendet werden. Für die haptischen Informationen werden Ausgabegeräte eingesetzt, die Rückmeldungen über Druck und Elastizität der Oberflächen geben. Beispiele für solche Geräte stammen von CyberGlove Systems, etwa der CyberGrasp, eine Kombination von Datenhandschuh und Hand-Exoskelett. Eine einfachere und robustere Version kombiniert den Datenhandschuh mit Vibrationselementen. Beide Versionen können bei Bedarf durch Thermoelemente oder ähnliches ergänzt werden.This sentio is displayed on one or more playback units, the configuration of which is matched to the set of variables selected at the outset. The volumetric visual information can be displayed in an HMD, for example. A variant is a semi-transparent HMD, something the Microsoft HoloLens for Mixed Reality, with which you have a view of the virtual and the real environment at the same time. HMDs usually have headphones, alternatively loudspeakers distributed in the room can be used. Output devices are used for the haptic information, which provide feedback on the pressure and elasticity of the surfaces. Examples of such devices come from CyberGlove Systems, such as the CyberGrasp, a combination of data glove and hand exoskeleton. A simpler and more robust version combines the data glove with vibration elements. Both versions can be supplemented by thermocouples or similar if required.

Die Erfindung adressiert das Problem, dass man unter konventionellen Bedingungen ein Modell nur aus einiger Distanz und aus einer oder wenigen Perspektiven beobachten kann. Mit der Erfindung kann der Anwender im Idealfall beliebige Perspektiven einnehmen und beliebig nahe an das Modell heranzoomen, um so Details wahrnehmen, die ihm sonst nicht zugänglich sind. Hinzu kommt die Möglichkeit zur haptischen Wahrnehmung, mit der ebenfalls zusätzliche Informationen vermittelt werden, im Idealfall kann der Anwender die Haut und die Muskeln des Modells bei der Ausführung des Verhaltens spüren. Durch die technische Vermittlung dieses Eindrucks wird das Modell nicht bei der Ausführung seines Verhaltens beeinträchtigt. Die Haptik als ursprünglicher Nahsinn wird auf diese Weise gewissermaßen zu einem Fernsinn. Insgesamt kann der Anwender weitgehend unabhängig von Zeit und Ort das Verhalten des Modells beliebig oft erleben, eine umfassende Vorstellung von dem Verhalten entwickeln und diese dann als Grundlage für sein Beobachtungslernen nutzen.The invention addresses the problem that under conventional conditions a model can only be observed from a distance and from one or a few perspectives. With the invention, the user can ideally take any perspective and zoom in as close as possible to the model, so as to perceive details that are otherwise not accessible to him. In addition, there is the possibility of haptic perception, which also provides additional information; ideally, the user can feel the skin and muscles of the model when performing the behavior. Through the technical communication of this impression, the model is not impaired in the execution of its behavior. In this way, the haptic as an original sense of the sense becomes a kind of distant sense. Overall, the user can experience the behavior of the model as often as required, regardless of time and place, develop a comprehensive idea of the behavior and then use this as the basis for his observation learning.

Entsprechend beinhaltet eine erfindungsgemäße Vorrichtung die genannten technischen Komponenten, mit denen die Daten für ein Sentio des Verhaltens aufgezeichnet, verarbeitet, integriert und für einen oder mehrere Anwender wiedergegeben werden.Accordingly, a device according to the invention contains the technical components mentioned, with which the data for a sentio of behavior are recorded, processed, integrated and reproduced for one or more users.

Die inhaltliche Gestaltung der Aufnahme sollte auf den Lern- und Leistungstand des Anwenders abgestimmt sein. Dies betrifft die Auswahl des dargestellten Verhaltens, das einen passenden Schwierigkeitsgrad aufweisen sollte. Weiterhin gilt es, die dargestellten Personen auszuwählen. Häufig übernimmt der Lehrer die Rolle des Modells, alternativ kommt auch eine berühmte Person in Frage. Zudem kann der Anwender selbst mit aufgezeichnet werden, damit er sein Verhalten später in dem Sentio beobachten und analysieren kann. Und schließlich stellt sich die Frage, in welchem Kontext das nachzuahmende Verhalten aufgezeichnet wird. Der Kontext kann eine speziell reduzierte Studiosituation sein, so dass der Fokus auf das Verhalten selbst gelegt wird. Aufnahmen können aber auch während des Unterrichts gemacht werden, dann zeigt das Sentio zugleich die Interaktion zwischen Anwender und Lehrer. Und schließlich kann das Verhalten auf der Bühne in einem konkreten Aufführungskontext aufgezeichnet werden.The content of the recording should be tailored to the learning and performance level of the user. This affects the selection of the behavior shown, which should have a suitable level of difficulty. Furthermore, the selected people. The teacher often takes on the role of the model, alternatively a famous person can also be considered. The user can also be recorded himself so that he can later observe and analyze his behavior in the Sentio. Finally, the question arises in which context the behavior to be imitated is recorded. The context can be a specially reduced studio situation, so that the focus is on the behavior itself. However, recordings can also be made during the class, when the Sentio shows the interaction between user and teacher. And finally, the behavior on the stage can be recorded in a concrete performance context.

In den klassischen Medien werden häufig Aufzeichnungen von Stars bevorzugt, also Personen, die auf einem bestimmten Gebiet Berühmtheit erlangt haben. Dabei geht man davon aus, dass ein perfekt vorgetragenes Verhalten die beste Vorlage für eine Nachahmung ist. Tatsächlich ist aber die Leistungsfähigkeit von Neulingen und selbst die der meisten fortgeschrittenen Anwender nicht ausreichend, um so ein Verhalten nachahmen zu können. Entsprechend sind sie überfordert und erleben diese Konstellation als frustrierend. Deshalb ist es in der Regel zielführender, wenn der Lehrer die Rolle des Modells übernimmt.In the classic media, recordings of stars are often preferred, i.e. people who have become famous in a certain area. It is assumed that perfectly performed behavior is the best template for imitation. In fact, the performance of newbies and even that of most advanced users is not sufficient to imitate this behavior. Accordingly, they are overwhelmed and experience this constellation as frustrating. Therefore, it is usually more effective if the teacher takes on the role of the model.

Für einen weit fortgeschrittenen Anwender kann eine Aufnahme von einem Star sinnvoll sein, insbesondere wenn sie auch Elemente einer realen Aufführungssituation beinhaltet. Aus der Lernpsychologie ist bekannt, dass der Transfer des erworbenen Wissens und Könnens dann am leichtesten fällt, wenn die Lernsituation der Reproduktionssituation möglichst ähnlich ist. Unter konventionellen Bedingungen sind diese sehr unterschiedlich, in der Musik fehlen z.B. die Bühne, der Dirigent sowie die anderen Sänger und Musiker. Dies führt dazu, dass häufig unter Stress das erworbene Leistungsvermögen nicht oder nur unvollständig abgerufen werden kann. Der Kontext des Verhaltens wird in einem volumetrischen Video einer realen Aufführung mit aufgezeichnet. Dann kann sich der Anwender gewissermaßen während der Aufführung in Ruhe auf der Bühne umsehen, womit er einen einzigartigen Zugang zu dieser hochemotionalen Situation erhält. Während des Unterrichts können solche Aufzeichnungen eines Modells gemeinsam mit dem Lehrer betrachtet und analysiert werden.For a very advanced user, a star recording can be useful, especially if it also contains elements of a real performance situation. It is known from learning psychology that the transfer of the knowledge and skills acquired is easiest when the learning situation is as similar as possible to the reproductive situation. Under conventional conditions, these are very different, e.g. missing in music the stage, the conductor and the other singers and musicians. This leads to the fact that the acquired performance can often not be called up or only incompletely under stress. The context of the behavior is recorded in a volumetric video of a real performance. Then, as it were, the user can look around the stage in peace during the performance, which gives him unique access to this highly emotional situation. During class, such recordings of a model can be viewed and analyzed together with the teacher.

Für einen nicht so weit fortgeschrittenen Anwender sind solche Aufnahmen auch interessant, um zu erleben, worin der Lernprozess vielleicht einmal münden kann. Einen eigenen Lernfortschritt wird er aber eher mit Aufzeichnungen des Verhaltens seines Lehrers erzielen. Insbesondere Aufzeichnungen des Unterrichts sind von besonderem Nutzen. Dabei sollte sichergestellt sein, dass sie ohne besondere technische Kenntnisse mehr oder weniger automatisch durchgeführt werden können. Das resultierende Sentio kann dann während des Übens zum Rekapitulieren und Nachahmen genutzt werden. Damit wird das eingangs dargestellte Problem gelöst, dass der Schüler beim Üben unter konventionellen Bedingungen den Unterricht aus dem Gedächtnis rekonstruieren muss. Sofern der Lehrer einige technische Details berücksichtigt, etwa indem er eine Kleidung trägt, die seine Bewegungen gut aufzunehmen gestattet, bieten sich dem Schüler ideale Bedingungen, den Unterricht während des Übens erneut und wiederholt zu erleben.For a not so advanced user, such recordings are also interesting in order to experience what the learning process can possibly lead to. However, he is more likely to achieve his own learning progress with a record of his teacher's behavior. Lessons in class are particularly useful. It should be ensured that they can be carried out more or less automatically without special technical knowledge. The resulting sentio can then be used to recap and imitate while practicing. This solves the problem outlined at the beginning that the student has to reconstruct the lesson from memory when practicing under conventional conditions. Provided that the teacher takes some technical details into account, for example by wearing clothes that allow him to absorb his movements well, the student has ideal conditions to experience the lessons again and again during practice.

Bei Aufnahmen aus dem Unterricht kann neben dem Verhalten des Lehrers auch das Verhalten des Anwenders aufgezeichnet werden. Er kann sich dann selbst beobachten und erleben, aus der Perspektive einer dritten Person. Dies ist für das Beobachtungslernen von Bedeutung, wenn ein direkter Vergleich zwischen dem Verhalten des Lehrers und dem Verhalten des Anwenders hergestellt wird. Durch diesen Vergleich wird für den Anwender hervorgehoben, welche Aspekte seines Verhaltens bereits gut übereinstimmen und an welchen noch gearbeitet werden muss.When recording from class, the behavior of the user can also be recorded in addition to the behavior of the teacher. He can then observe and experience himself from the perspective of a third person. This is important for observational learning when a direct comparison is made between the behavior of the teacher and the behavior of the user. This comparison highlights for the user which aspects of his behavior already match well and which still needs to be worked on.

Auch die Wiedergabe des Sentios sollte sich an den Lern- und Leistungsstand des Anwenders anpassen lassen. Ein zentraler Aspekt ist die Variation der Geschwindigkeit, sowohl durch eine Verlangsamung als auch eine Beschleunigung. Bei einer stark verlangsamten Wiedergabe erhält man den als „Bullet Time“ bekannten Spezialeffekt. Je nach Leistungsstand kann es sinnvoll sein, die Komplexität der Darstellung permanent oder zeitweilig zu reduzieren. Beispielsweise ist es für Novizen von Vorteil, wenn nur das Modell dargestellt wird, während alle Elemente in dessen Umgebung ausgeblendet werden. Auch sollte es möglich sein, Zusatzinformationen wie etwa Hilfsgeometrien zur Visualisierung des Sehvektors oder die farbliche Kodierung von Muskelaktivitäten auf der Körperoberfläche gezielt ein- und auszublenden.The playback of the Sentio should also be adaptable to the learning and performance level of the user. A key aspect is the variation in speed, both by slowing down and accelerating. When playback is slowed down, you get the special effect known as “Bullet Time”. Depending on the level of performance, it may make sense to reduce the complexity of the display permanently or temporarily. For example, it is advantageous for novices if only the model is displayed while all elements in its environment are hidden. It should also be possible to display and hide additional information such as auxiliary geometries for visualizing the visual vector or the color coding of muscle activities on the body surface.

Die Wiedergabe des Sentios kann auch in Echtzeit erfolgen. Dies setzt voraus, dass die Verarbeitungsschritte zwischen Aufzeichnung und Wiedergabe keine größeren Verzögerungen bewirken, was etwa beim volumetrischen Video bereits möglich ist. Dann kann das Sentio schon während der Aufnahme eines Unterrichts für Lehrzwecke genutzt werden, indem der Schüler den Lehrer aus besonderen Distanzen und Perspektiven beobachtet. Auch ist damit der Lehrer weniger auf sprachliche Erläuterungen angewiesen. Stattdessen kann er dem Schüler sonst schwer zu beobachtende Aspekte des Verhaltens anhand des Sentios direkt zeigen und gemeinsam mit ihm analysieren. Eine Echtzeit-Wiedergabe ermöglicht zudem ein Tele-Teaching, bei dem der Lehrer nicht räumlich präsent ist, sondern bei dem der Kontakt zwischen Schüler und Lehrer über eine Netzwerkverbindung hergestellt wird. Trotz der räumlichen Distanz erhält der Anwender unter diesen Bedingungen einen umfassenden Eindruck von dem ausgeführten Verhalten.The Sentio can also be played in real time. This presupposes that the processing steps between recording and playback do not cause any major delays, which is already possible with volumetric video, for example. Then the Sentio can be used for teaching purposes during the recording of a lesson by the student observing the teacher from special distances and perspectives. This also means that the teacher is less dependent on linguistic explanations. Instead, he can show the student otherwise difficult to observe aspects of the behavior using the Sentio and analyze together with him. Real-time playback also enables tele-teaching, in which the teacher is not physically present, but in which the contact between the student and the teacher is established via a network connection. Despite the spatial distance, the user gets a comprehensive impression of the behavior under these conditions.

Für wichtige Anwendungsfelder ist es vorteilhaft, ein zuvor aufgenommenes Sentio sowie ein in Echtzeit aufgenommenes Sentio zu integrieren, um das resultierende Sentio in Echtzeit wiederzugeben. Dies sind Felder, in denen der Anwender eine unmittelbare Rückmeldung über sein Verhalten benötigt, diese aber unter konventionellen Bedingungen nicht verfügbar ist, z.B. beim Tanzen. Dann kann ein zuvor aufgenommenes Sentio mit dem Verhalten des Modells und ein Sentio mit dem entsprechenden aktuellen Verhalten des Anwenders kombiniert werden, so dass der Anwender in seinem HMD sowohl das Modell als auch sich selbst erlebt.For important fields of application, it is advantageous to integrate a previously recorded Sentio and a Sentio recorded in real time in order to reproduce the resulting Sentio in real time. These are fields in which the user needs immediate feedback on his behavior, but this is not available under conventional conditions, e.g. when dancing. Then a previously recorded Sentio can be combined with the behavior of the model and a Sentio with the corresponding current behavior of the user, so that the user experiences both the model and himself in his HMD.

Der Anwender kann bei der Wiedergabe des Sentios die Perspektive des Modells einnehmen, gewissermaßen in dessen Haut schlüpfen. Dies hat den Vorteil, dass er beim Nachahmen keine mentalen Transformationen vornehmen muss. So kann er mit einem halbtransparenten HMD gleichzeitig die Arme und Beine des Modells und seine eigenen beobachten und damit die Übereinstimmung der Bewegungen direkt überprüfen. Allerdings sind aus dieser Perspektive die Möglichkeiten zum Beobachten des Verhaltens ohne weitere Unterstützung nicht unproblematisch. So kann der Anwender die Körperoberfläche des Modells teilweise gar nicht und teilweise nur mit einer extremen Kopfhaltung einsehen. Mit einem System für eine großflächige haptische Rückmeldung der Körperoberfläche könnte man die Bewegungen des Modells erspürbar machen, so dass der Anwender seine eigenen Bewegungen entlang der Bewegungen des Modells ausführen kann. Eine andere Option ist die Unterstützung der visuellen Wahrnehmung. Die Sehbedingungen können verbessert werden, indem die Körpergeometrie des Modells vergrößert wird, ggf. unter Rückgriff auf Methoden, wie man sie bei Explosionsdarstellungen in Konstruktionszeichnungen verwendet. Eine andere Möglichkeit besteht darin, die Körpergeometrie des Modells zu verkleinern, ähnlich einer Spielzeugfigur, und diese gut sichtbar vor dem Anwender zu platzieren.When playing the Sentio, the user can take the perspective of the model, so to speak slip into its skin. This has the advantage that he does not have to make any mental transformations when copying. With a semi-transparent HMD, he can observe the arms and legs of the model and his own at the same time and thus directly check the agreement of the movements. From this perspective, however, the opportunities to observe behavior without further support are not without problems. This means that the user can sometimes not see the body surface of the model at all and sometimes only with an extreme head posture. A system for a large haptic feedback of the body surface could make the movements of the model noticeable, so that the user can carry out his own movements along the movements of the model. Another option is to support visual perception. The visual conditions can be improved by enlarging the body geometry of the model, possibly using methods such as those used in exploded views in construction drawings. Another possibility is to reduce the body geometry of the model, similar to a toy figure, and to place it in a clearly visible position in front of the user.

Bei der Beobachtung des Modells von außen lassen sich mit informationstechnischen Mitteln die notwendigen mentalen Transformationen des Anwenders reduzieren. Wie eingangs dargestellt, muss der Anwender, wenn er dem Modell gegenübersteht, permanent eine Seitenvertauschung vornehmen. Im Sentio kann dieses Problem gelöst werden, indem das Modell in einer solchen Anordnung automatisch gespiegelt projiziert wird.When observing the model from the outside, the necessary mental transformations of the user can be reduced by means of information technology. As shown at the beginning, if the user faces the model, he must constantly switch sides. This problem can be solved in Sentio by automatically projecting the model in such an arrangement in a mirrored manner.

Die Darstellung des Modells im Sentio kann an die Körperhaltungen und die Körperbewegungen des Anwenders gekoppelt werden. Damit wird der Anwender in die Lage versetzt, Kopf- und Körperrotationen des Modells nachzuahmen, ohne das Modell aus dem Blick zu verlieren. Das Prinzip ähnelt dem eines Head-Up-Displays (HUD), bei dem Anzeigeninformationen permanent in das Sichtfeld des Anwenders projiziert werden. Im Unterschied zu einem HUD sind hier jedoch zusätzliche Transformationen der Anzeigeninformationen im virtuellen Raum erforderlich. Beobachtet der Anwender beispielsweise das Modell von hinten und macht das Modell eine Körperdrehung um 180 Grad, so sollte der Anwender diese Drehung nachahmen und danach das Modell weiterhin vor sich haben und von hinten beobachten können. Dies bedeutet, dass während der Körperdrehung des Anwenders gleichzeitig das Modell im virtuellen Raum in einem Halbkreis um den Anwender rotieren muss, um die Perspektive konstant zu halten.The representation of the model in Sentio can be linked to the postures and body movements of the user. This enables the user to imitate the head and body rotations of the model without losing sight of the model. The principle is similar to that of a head-up display (HUD), in which display information is permanently projected into the user's field of vision. Unlike a HUD, however, additional transformations of the display information in the virtual space are required here. For example, if the user observes the model from behind and makes the body turn 180 degrees, the user should imitate this rotation and then keep the model in front of them and be able to observe from behind. This means that while the user's body is rotating, the model in virtual space must simultaneously rotate in a semicircle around the user in order to keep the perspective constant.

In verschiedenen Anwendungsfällen kann es empfehlenswert sein, die Elemente des Sentios neu zu kombinieren. Dies betrifft zum einen deren räumliche Anordnung. Beispielsweise kann dem Anwender gleichzeitig die Vorder- und Rückansicht des Modells projiziert werden, so dass er den gesamten Körper wahrnimmt. Auch können für die Nachahmung wichtige Körperteile von Modell und Anwender nebeneinander projiziert werden, für einen direkten Vergleich des Verhaltens. Zum anderen können auch Bestandteile der Geometrien rekombiniert werden. So kann die Textur für das Gesicht oder auch für den gesamten Körper des Anwenders auf das Modell gerendert werden. Auf diese Weise entsteht der Eindruck, dass das Verhalten des Modells vom Anwender ausgeführt wird. Der Anwender bekommt also einen Vorstellung, auf welches Ziel er durch sein Beobachtungslernen hinarbeitet. Dies ist nicht auf die visuelle Modalität beschränkt, sondern kann auch für die auditive Modalität vorgenommen werden. So kann die Stimme des Anwenders mit dem sonstigen Verhalten des Modells kombiniert werden. Die daraus wahrnehmbaren Diskrepanzen zwischen visuellem und auditivem Eindruck verdeutlichen dann Abweichungen des Anwenders vom Verhalten des Modells.In various applications, it may be advisable to recombine the elements of the Sentio. On the one hand, this concerns their spatial arrangement. For example, the front and back views of the model can be projected to the user at the same time, so that he perceives the entire body. Model and user parts of the body that are important for imitation can also be projected side by side for a direct comparison of behavior. On the other hand, components of the geometries can also be recombined. The texture for the face or for the entire body of the user can be rendered on the model. This creates the impression that the behavior of the model is carried out by the user. The user thus gets an idea of the goal to which he is working through his observation learning. This is not limited to the visual modality, but can also be done for the auditory modality. In this way, the user's voice can be combined with the other behavior of the model. The discernible discrepancies between the visual and auditory impression then illustrate the user's deviations from the behavior of the model.

FigurenlisteFigure list

Besonders bevorzugte Ausführungsformen der erfindungsgemäßen Vorrichtung sind in den Zeichnungen dargestellt.

1 zeigt für das Beispiel Gesangsunterricht von oben nach unten die Aufzeichnung, Verarbeitung und Wiedergabe des Sentios.
2 zeigt für das Beispiel Gitarrenunterricht von oben nach unten die Aufzeichnung, Verarbeitung und Wiedergabe des Sentios.
3 zeigt für das Beispiel Tanztraining von oben nach unten die Aufzeichnung, Verarbeitung und Wiedergabe des Sentios.

Particularly preferred embodiments of the device according to the invention are shown in the drawings.

1 shows the recording, processing and playback of the Sentio for the example of singing lessons from top to bottom.
2nd shows the recording, processing and playback of the Sentio for the example guitar lessons from top to bottom.
3rd shows the recording, processing and playback of the sentio for the example of dance training from top to bottom.

Es werden drei Ausführungsbeispiele skizziert, die sich auf Unterrichts- und Trainingssituationen beziehen. Um die Beispiele anschaulich zu präsentieren, werden die Begriffe Schüler (1) und Lehrer (3) verwendet, wobei diese jeweils als Synonyme für die in den Ansprüchen verwendeten Begriffe Anwender (1) und Modell (3) zu verstehen sind.Three exemplary embodiments are outlined that relate to teaching and training situations. In order to present the examples clearly, the terms pupils ( 1 ) and teacher ( 3rd ) used, each of which is a synonym for the terms user (s) used in the claims. 1 ) and model ( 3rd ) are to be understood.

Im ersten Ausführungsbeispiel (1) geht es um klassischen Gesang, der sich in der Regel an der Praxis des Belcantos orientiert. Diese Verhaltensweise ist eine interessante Herausforderung, weil die Frage eines guten oder weniger guten Ergebnisses von Bewegungsdetails abhängt, die unter konventionellen Bedingungen nicht oder nur schwer zu beobachten sind. Deswegen ist die Ausbildung in diesem Bereich mit einem hohen Aufwand verbunden.In the first embodiment ( 1 ) is about classical singing, which is usually based on the practice of the Belcanto. This behavior is an interesting challenge because the question of a good or less good result depends on movement details that are difficult or impossible to observe under conventional conditions. Therefore, training in this area is associated with a high level of effort.

Im Beispiel wird primär das Ziel verfolgt, dem Schüler (1) für das Üben ein technisches Hilfsmittel an die Hand zu geben, das unter anderem als Gedächtnisstütze dient. Gleichzeitig soll der Lehrer (3) möglichst wenig durch den Technikeinsatz belastet werden und der Unterricht weitestgehend auf herkömmliche Art und Weise durchgeführt werden können. Deswegen geht es zunächst darum, den Unterricht aufzuzeichnen und dem Schüler (1) für sein Üben ein entsprechendes Sentio zur Verfügung zu stellen.In the example, the primary goal is to give the student ( 1 ) to provide a technical aid for practicing that serves, among other things, as a reminder. At the same time, the teacher ( 3rd ) are burdened as little as possible by the use of technology and the lessons can be carried out as far as possible in a conventional manner. Therefore, the first step is to record the lesson and give the student ( 1 ) to provide a suitable sentio for practicing.

Für den Gesangsunterricht werden als wichtigste Variablen zur Unterstützung des Beobachtungslernens der visuelle, der akustische und der haptische Kanal angesehen. Je nach Qualitätsanforderungen können hierfür einfachere oder komplexere technische Lösungen zum Einsatz kommen. Für das Ausführungsbeispiel sind erhebliche Anforderungen zu stellen, denn insbesondere das Gesicht des Lehrers (3) soll mit einer hohen Auflösung wiedergegeben werden. Darüber hinaus sollen die Oberflächendaten auch zur Berechnung des haptischen Eindrucks genutzt werden. Bei der Realisierung solcher Qualitätsanforderungen kann man sich beispielsweise an der Technik orientieren, wie sie im VoluCap-Studio für volumetrisches Video in Potsdam eingesetzt wird. Im Ausführungsbeispiel ist der Unterrichtsraum mit entsprechenden Aufzeichnungseinheiten (7) ausgestattet. Dabei handelt es sich um eine kreisförmige Anordnung von Kameras und Mikrophonen, mit denen ein volumetrisches Video mit 3D-Audio aufgezeichnet wird. Unbeeinflusst von der Aufzeichnung wird der Unterricht in diesem Kontext in seiner üblichen Form durchgeführt.For singing lessons, the most important variables to support observation learning are the visual, acoustic and haptic channels. Depending on the quality requirements, simpler or more complex technical solutions can be used. Considerable requirements have to be made for the exemplary embodiment, because in particular the face of the teacher ( 3rd ) should be reproduced with a high resolution. In addition, the surface data should also be used to calculate the haptic impression. When realizing such quality requirements, you can, for example, orientate yourself on the technology used in the VoluCap studio for volumetric video in Potsdam. In the exemplary embodiment, the classroom is equipped with corresponding recording units ( 7 ) fitted. It is a circular array of cameras and microphones that are used to record a volumetric video with 3D audio. In this context, the lessons are carried out in their usual form, unaffected by the recording.

Die Daten werden auf einer Rechnereinheit (8) mit einem speziellen Programm zu einem Sentio integriert. Das Ergebnis wird über eine Netzwerkeinheit (12) auf einen Server (13) überspielt. Nach dem Unterricht kann der Schüler (1) das Sentio abrufen und es somit weitgehend unabhängig von Zeit und Ort für sein Üben verwenden. Die Wiedergabegeräte sind entsprechend der ursprünglichen Variablenauswahl konfiguriert. Idealerweise wird für den visuellen und den akustischen Kanal ein HMD (14) mit integrierten Kopfhörern benutzt, das durch seine Bauart den Schüler (1) nicht bei seinem Gesang beeinträchtigt. Für den haptischen Kanal verwendet er z.B. einen Datenhandschuh mit einem Exoskelett (15).The data is stored on a computer unit ( 8th ) integrated into a Sentio with a special program. The result is sent via a network unit ( 12th ) on a server ( 13 ) dubbed. After class, the student ( 1 ) retrieve the sentio and use it for practicing to a large extent independent of time and place. The playback devices are configured according to the original variable selection. Ideally, an HMD (for the visual and the acoustic channel) 14 ) with integrated headphones, which, due to its design, 1 ) not affected by his singing. For the haptic channel, for example, he uses a data glove with an exoskeleton ( 15 ).

Mit dieser Ausstattung kann der Schüler (1) das Verhalten des Lehrers (3) in multimodaler Form aus einer beliebigen Entfernung und aus beliebigen Perspektiven beobachten und erleben. Er geht die Aufzeichnung durch und rekapituliert den Unterricht, wobei er seinen Lehrer (4) an den entsprechenden Stellen nachahmt. Dabei besteht auch die Möglichkeit, dessen Verhalten verlangsamt abzuspielen, um das Lernen zu erleichtern. Verhaltenssequenzen, bei denen dem Schüler (1) das Nachahmen schwer fällt, kann er solange wiederholen, bis er den Eindruck hat, eine genügend große Übereinstimmung mit seinem Lehrer (4) erzielen zu können.With this equipment, the student ( 1 ) the behavior of the teacher ( 3rd ) observe and experience in multimodal form from any distance and from any perspective. He goes through the recording and recaps the lesson, telling his teacher ( 4th ) imitated in the appropriate places. There is also the option of slowing down their behavior to make learning easier. Behavioral sequences in which the student ( 1 ) the imitation is difficult, he can repeat until he has the impression that there is a sufficiently large agreement with his teacher ( 4th ) to be able to achieve.

Im Unterschied zum ursprünglichen Unterricht kann der Schüler (1) beliebig nahe an den Lehrer (4) heran zoomen und dessen Gesicht betrachten, um bisher nicht gesehene Details wahrzunehmen. Er kann alle anderen Elemente in dem Sentio ausschalten, um sich ganz auf das Verhalten des Lehrers (4) zu konzentrieren. Von besonderer Bedeutung ist dabei die Haptik. Das Sentio ist eine ideale Lösung für das Problem, dass unter normalen Bedingungen ein direkter Kontakt mit dem Lehrer (3) nicht sinnvoll ist, da dieser die Ausführung seines Verhaltens beeinträchtigen würde. Der Schüler (1) kann z.B. die eine Hand mit dem Datenhandschuh für das Betasten der Oberfläche verwenden und die andere Hand für sich selbst, um Bewegungen im Gesicht oder bei der Atmung zu erfassen. Dieser unmittelbare Vergleich erleichtert die Übernahme des Modellverhaltens. Für das Beobachtungslernen werden mit solchen technischen Mitteln Möglichkeiten geschaffen, die unter konventionellen Bedingungen nicht verfügbar sind.Unlike the original lesson, the student ( 1 ) as close as possible to the teacher ( 4th ) zoom in and look at his face to see details not seen before. He can turn off all other elements in the Sentio to fully tailor the behavior of the teacher ( 4th ) to concentrate. The feel is of particular importance. The Sentio is an ideal solution to the problem that under normal conditions direct contact with the teacher ( 3rd ) does not make sense, as this would impair the execution of his behavior. The student ( 1 ) can use one hand with the data glove to touch the surface and the other hand for themselves to record movements in the face or during breathing. This direct comparison makes it easier to adopt the model behavior. Such technical means are used to create learning through observation that are not available under conventional conditions.

Da die Aufzeichnung nicht nur auf den Lehrer (3) ausgerichtet ist, sondern das Sentio die gesamte Szenerie beinhaltet, kann der Schüler (1) auch sein eigenes Verhalten während des Unterrichts beobachten. Damit kann er Anweisungen und Kommentare des Lehrers (3) besser nachvollziehen sowie ein realistischeres Selbstbild entwickeln. Zugleich bietet sich technisch die Möglichkeit, die digitale Darstellung beispielsweise der Gesichter von Schüler (2) und Lehrer (4) direkt nebeneinander oder auch als Überblendung zu projizieren, um auf diese Weise Unterschiede besonders deutlich zu machen. Allgemeiner ist man also nicht darauf beschränkt, die normale räumliche Anordnung zu reproduzieren, sondern kann beliebige Elemente der Szene neu kombinieren.Since the record is not just for the teacher ( 3rd ), but the sentio contains the entire scenery, the student ( 1 ) also observe his own behavior during the lesson. It can be used for instructions and comments the teacher's ( 3rd ) better understand and develop a more realistic self-image. At the same time, there is a technical possibility to digitally display, for example, the faces of students ( 2nd ) and teacher ( 4th ) to project directly next to each other or as a cross-fade in order to make differences particularly clear. More generally, one is not limited to reproducing the normal spatial arrangement, but can combine any elements of the scene anew.

Wenn die Software in der Lage ist, die aufgezeichneten Daten mit entsprechend geringer Verzögerung zu integrieren, kann das Sentio in Echtzeit genutzt werden, also bereits während des Unterrichts. Um in dieser Situation wenig durch den Technikeinsatz gestört zu werden, kann auch auf die speziellen Geräte wie HMD (14) und Datenhandschuh mit Exoskelett (15) verzichtet werden. Smartphones oder Tablets kommen stattdessen ebenfalls in Frage, wenngleich damit nur ein erster und rudimentärer Eindruck vermittelt wird. Über die Rotation des Bildschirms kann intuitiv die Betrachtungsperspektive verändert werden, Fingergesten erlauben Rotationen und Translationen in der virtuellen Umgebung. So kann der Schüler (1) während des Unterrichts auf die Darstellung des Lehrers (4) zoomen, und der Lehrer (2) kann den Schüler (1) auf die wichtigen Punkte hinweisen und diese erläutern.If the software is able to integrate the recorded data with a correspondingly low delay, the Sentio can be used in real time, i.e. during the lesson. In order not to be disturbed by the use of technology in this situation, special devices such as HMD ( 14 ) and data glove with exoskeleton ( 15 ) can be dispensed with. Smartphones or tablets can also be used instead, although this only gives a first and rudimentary impression. The viewing perspective can be changed intuitively via the rotation of the screen, finger gestures allow rotations and translations in the virtual environment. So the student ( 1 ) during the lesson on the presentation of the teacher ( 4th ) zoom, and the teacher ( 2nd ) can the student ( 1 ) point out the important points and explain them.

Weiter besteht die Möglichkeit, dass im Unterricht ein vorproduziertes Sentio verwendet wird, das beispielsweise einen realen Opernauftritt darstellt, mit einer Partie, die der Schüler (1) zuvor mit dem Lehrer (3) einstudiert hat. Das Beobachten und Erleben einer solchen Auftrittssituation ist für den Transfer seiner Fähigkeiten von Bedeutung. Dieser Transfer fällt dann am leichtesten, wenn die Lernsituation der Auftrittssituation möglichst ähnlich ist. Durch Erläuterungen zu dem Sentio kann der Lehrer (3) den Transfer unterstützen. Der Schüler (1) sollte ein halbtransparentes HMD (14) verwenden, um eine Außensicht zu haben, wenn er sich in dem Sentio über die Bühne bewegen möchte. Dann kann er sich während der Aufführung dort frei bewegen und die Einbettung seiner Partie in den Gesamtzusammenhang erleben. Und er kann damit beginnen, den Sänger der von ihm einstudierten Partie in diesem Kontext nachzuahmen.There is also the possibility that a pre-produced sentio is used in the classroom, which for example represents a real opera performance, with a part that the student ( 1 ) previously with the teacher ( 3rd ) rehearsed. Observing and experiencing such a performance situation is important for the transfer of your skills. This transfer is easiest when the learning situation is as similar as possible to the performance situation. By explaining the sentio, the teacher ( 3rd ) support the transfer. The student ( 1 ) should be a semi-transparent HMD ( 14 ) to have an outside view when he wants to move across the stage in the sentio. Then he can move around freely during the performance and experience the embedding of his role in the overall context. And he can begin to imitate the singer of the part he has rehearsed in this context.

Im zweiten Ausführungsbeispiel (2) geht es um das Erlernen der klassischen Gitarre. Wie eingangs dargestellt, ist der Instrumentalunterricht ein Bereich, in dem die Schüler während ihres häuslichen Übens weitgehend auf sich gestellt sind. Deswegen wird auch hier als Ausgangspunkt die Aufzeichnung des Unterrichts gewählt, wobei davon ausgegangen wird, dass Schüler (1) und Lehrer (3) Rechtshänder sind, also die rechte Hand als Anschlaghand und die linke Hand als Greifhand verwenden. Mit dem Beispiel soll zugleich dargestellt werden, dass man in Bezug auf den technischen Aufwand durchaus Kompromisse eingehen und trotzdem eine substantielle Unterstützung realisieren kann.In the second embodiment ( 2nd ) is about learning the classical guitar. As mentioned at the beginning, instrumental teaching is an area in which the students are largely on their own during their homework. For this reason, the recording of the lesson is chosen as the starting point, assuming that students ( 1 ) and teacher ( 3rd ) Are right-handed, so use your right hand as a stop hand and your left hand as a gripping hand. The example is also intended to show that you can make compromises in terms of technical effort and still provide substantial support.

Im Beispiel wird der Fokus auf den visuellen und den akustischen Kanal gelegt, der haptische Kanal bleibt unberücksichtigt. Als Aufzeichnungseinheit (7) wird diesmal nicht ein System für volumetrisches Video eingesetzt, sondern stattdessen eine 360-Grad-Kamera verwendet. Auch solche Kameras ermöglichen es, Tiefeninformationen aufzuzeichnen, beispielsweise die von Facebook entwickelten Surround360 x6 und x24. Allerdings gibt es damit Bereiche, die relativ zu der zentral positionierten Kamera „im Schatten“ anderer Objekte liegen und deshalb nicht dargestellt werden können.In the example, the focus is on the visual and the acoustic channel, the haptic channel is ignored. As a recording unit ( 7 ) This time, a volumetric video system is not used, but a 360-degree camera is used instead. Such cameras also make it possible to record depth information, for example the Surround360 x6 and x24 developed by Facebook. However, there are areas that are “in the shadow” of other objects relative to the centrally positioned camera and therefore cannot be displayed.

2 ist zu entnehmen, dass Schüler (1) und Lehrer (3) mit ihren Gitarren nebeneinander sitzen. Die 360-Grad-Kamera steht mittig vor dem Schüler (1) und dem Lehrer (3), so dass beide Personen mit ihren Instrumenten aufgenommen werden. Der akustische Kanal wird mit Mikrophonen aufgezeichnet, die in die Kamera eingebaut sind. 2nd it can be seen that students ( 1 ) and teacher ( 3rd ) sit side by side with their guitars. The 360-degree camera is in the middle of the student ( 1 ) and the teacher ( 3rd ) so that both people are recorded with their instruments. The acoustic channel is recorded with microphones built into the camera.

Aufgrund der relativ einfachen technischen Anordnung ist von der Rechnereinheit (8) keine aufwendigere Nachbearbeitung der Aufnahme notwendig. Der Schüler (1) kann das Sentio mit einem HMD (14) betrachten. Da er aber auch die Möglichkeit haben muss, sein eigenes Spiel zu sehen, verwendet er ein halbtransparentes Gerät. Damit sieht er jedoch zugleich sowohl seine reale Umgebung als auch die virtuelle Umgebung im Sentio als Überblendung, was die Orientierung erschwert. Deswegen ist es empfehlenswert, im Sentio alle Elemente außer den Lehrer (4) mit seiner Gitarre auszublenden.Due to the relatively simple technical arrangement, the computer unit ( 8th ) no more elaborate post-processing of the recording necessary. The student ( 1 ) the Sentio can be used with an HMD ( 14 ) consider. However, since he must also be able to see his own game, he uses a semi-transparent device. However, he sees both his real environment and the virtual environment in Sentio as a crossfade, which makes orientation difficult. That is why it is recommended to use all elements in the Sentio except the teacher ( 4th ) with his guitar.

Die Beobachtbarkeit des Gitarrenlehrers (3) während des Unterrichts lässt sich mit dem Sentio auf zweierlei Weise verbessern. Eine Möglichkeit besteht darin, dass der Schüler (1) die Perspektive des Lehrers (4) einnimmt, so dass er keine mentalen Transformationen ausführen muss. Andererseits sind die Bedingungen für die visuelle Wahrnehmung ungünstig, denn alle nah am Rumpf gelegenen Körperteile sind schlecht einsehbar. Eine Möglichkeit zur Verbesserung dieser Bedingungen besteht darin, die Geometrie des Lehrers (4) zu vergrößern, so dass der Schüler (1) die Bewegungen aus einer Innenperspektive wahrnehmen kann. Prinzipiell kann man eine Art Explosionsdarstellung der verschiedenen wichtigen Körperteile erzeugen, um etwa die Beobachtbarkeit der Finger- und Handbewegungen zu verbessern. Der Schüler (1) sieht dann von innen in einiger Entfernung um sich herum diese Körperteile. Das ist aber nicht mit der Perspektive kompatibel, aus der er seine eigenen Finger- und Handbewegungen wahrnimmt. Um zu einer kompatiblen Anordnung zu kommen, ist es in diesem Fall günstiger, die Geometrie des Lehrers (4) zu verkleinern und sie optisch innerhalb des Schülers (1) zu positionieren.The observability of the guitar teacher ( 3rd ) There are two ways to improve the Sentio during class. One possibility is that the student ( 1 ) the perspective of the teacher ( 4th ) so that he doesn't have to do any mental transformations. On the other hand, the conditions for visual perception are unfavorable, because all parts of the body close to the trunk are difficult to see. One way to improve these conditions is to change the teacher's geometry ( 4th ) so that the student ( 1 ) can perceive the movements from an internal perspective. In principle, you can create a kind of exploded view of the various important parts of the body, for example to improve the observability of finger and hand movements. The student ( 1 ) then sees these parts of the body around them from a distance. However, this is not compatible with the perspective from which he perceives his own finger and hand movements. In order to arrive at a compatible arrangement, is in this case, it is more convenient to use the teacher's geometry ( 4th ) to zoom out and visually inside the student ( 1 ) to position.

Eine zweite Möglichkeit besteht darin, dass die Darstellung des Lehrers (4) direkt vor den Schüler (1) positioniert wird. Damit ergibt sich zunächst das Problem der Seitenvertauschung. Um die damit verbundene permanente Anforderung zu mentalen Transformationen zu vermeiden, kann man die Darstellung des Lehrers (4) spiegeln, ihn sozusagen zu einem Linkshänder machen. Zudem kann der Schüler (1) beliebig nahe an den Lehrer (4) heran zoomen sowie durch eigene Körper- und Kopfbewegungen ihn interessierende Details leicht einsehen. Insgesamt haben sich dann seine Beobachtungsbedingungen soweit verbessert, dass nun problemlos ein Beobachtungslernen auch feiner Bewegungen möglich ist, die er zudem bei Bedarf verlangsamt wiedergeben lassen kann.A second possibility is that the representation of the teacher ( 4th ) right in front of the student ( 1 ) is positioned. This initially creates the problem of swapping pages. In order to avoid the associated permanent requirement for mental transformations, the representation of the teacher ( 4th ) mirror, make him a left-handed person, so to speak. In addition, the student ( 1 ) as close as possible to the teacher ( 4th ) zoom in and easily see details that interest him through his own body and head movements. Overall, his observation conditions have improved to such an extent that it is now easy to learn to observe even fine movements, which he can also slow down if necessary.

Da diese technische Anordnung relativ unkompliziert gehalten ist, kann man auch in Echtzeit während des Unterrichts die Aufnahmen der 360-Grad-Kamera nutzen. Das heißt, man kann schon während des Unterrichts den Lehrer (3) virtuell seitenverkehrt vor dem Schüler (1) platzieren, der ihn über ein halbtransparentes HMD (14) wahrnimmt. Als alternative Wiedergabeeinheit kann vor dem Schüler (1) ein großer konventioneller oder autostereoskopischer Bildschirm (16) aufgebaut werden, der eine 2D- bzw. 3D-Darstellung präsentiert. Der Bildschirm kann analog zu einem Monitor-Lautsprecher auf Konzertbühnen relativ flach vor dem Schüler (1) auf den Boden gestellt werden, um die Aufnahme durch die 360-Grad-Kamera nicht zu beeinträchtigen. In gleicher Weise kann man das Bild des Schülers (2) vor den Lehrer (3) projizieren. Damit lässt sich mit überschaubarem technischem Aufwand bereits während des Unterrichts die Wahrnehmbarkeit des Verhaltens für Schüler (1) und Lehrer (3) substantiell verbessern.Since this technical arrangement is relatively uncomplicated, you can also use the recordings of the 360-degree camera in real time during the lesson. That means you can already teach the teacher ( 3rd ) virtually reversed in front of the student ( 1 ) place it over a semi-transparent HMD ( 14 ) perceives. As an alternative playback unit, the student ( 1 ) a large conventional or autostereoscopic screen ( 16 ), which presents a 2D or 3D representation. Similar to a monitor speaker on concert stages, the screen can be relatively flat in front of the student ( 1 ) be placed on the floor so as not to interfere with the 360-degree camera. In the same way, the picture of the student ( 2nd ) in front of the teacher ( 3rd ) project. With manageable technical effort, the perceptibility of the behavior for students can be seen during the lesson ( 1 ) and teacher ( 3rd ) improve substantially.

Für Gitarren-Neulinge ist es nicht einfach, einen sauberen Klang zu erzeugen, insbesondere durch Probleme beim effektiven Einsatz der Greifhand. Für den Neuling ist häufig nicht klar, ob ein unsauberer Klang durch ein unpräzises Greifen oder durch einen zu geringen Krafteinsatz beim Herunterdrücken der Saiten verursacht wird. Dann erhöhen viele Schüler (1) ihren Krafteinsatz, was aber meist zu einer falschen Handhaltung, einem verkrampften Spiel und evtl. zu Schmerzen in der Greifhand führt. In dem Ausführungsbeispiel kann man als zusätzliches Hilfsmittel die Kräfte visualisieren, die auf das Griffbrett ausgeübt werden, beispielsweise mit Hilfe einer Wärmebildkamera. Die Aufnahme einer solchen Kamera kann als Grundlage für die Texturierung der Geometrien im Sentio genutzt werden. Durch einen direkten Vergleich seiner Daten mit denen des Lehrers (4) bekommt der Schüler (1) einen Hinweis, ob sein Krafteinsatz angemessen ist.It is not easy for new guitar players to produce a clean sound, especially due to problems with the effective use of the gripping hand. For the newcomer it is often not clear whether an unclean sound is caused by an imprecise gripping or by too little effort when pressing the strings down. Then many students ( 1 ) their use of force, which usually leads to an incorrect hand position, cramped play and possibly pain in the gripping hand. In the exemplary embodiment, the forces exerted on the fingerboard can be visualized as an additional aid, for example with the aid of a thermal imaging camera. The recording of such a camera can be used as the basis for the texturing of the geometries in the Sentio. By directly comparing his data with that of the teacher ( 4th ) the student gets ( 1 ) an indication of whether his use of force is appropriate.

Für fortgeschrittene Schüler (1) können - wie beim Gesangsunterricht - Sentios von Konzertaufzeichnungen genutzt werden. Neben dem Beobachten und Erleben des Gitarristen und seines Spiels können dann auch die Kontext- und Umgebungsfaktoren wahrgenommen werden. Auf diese Weise kann der Lehrer (3) den Schüler (1) an Auftrittssituationen heranführen.For advanced students ( 1 ) - as with singing lessons - sentios can be used for concert recordings. In addition to observing and experiencing the guitarist and his playing, the context and environmental factors can also be perceived. In this way, the teacher ( 3rd ) the student ( 1 ) introduce you to performance situations.

Das dritte Ausführungsbeispiel (3) ist dem Tanzsport gewidmet, konkret geht es um den Unterricht eines Tanzsportlehrers (3) für Paartanz (Ballroom-Dancing). Auch hier spielt Beobachtungslernen eine große Rolle, der Lehrer (3) fungiert während seines Unterrichts über längere Phasen als Modell. Gleichzeitig sind die Bedingungen für das Beobachtungslernen schwierig, weil präzise, schnelle, koordinierte, ausdrucksstarke und weiträumig ausgeführte Bewegungen des gesamten Körpers nachgeahmt werden müssen, wobei diese Bewegungen zudem durch den Tanzpartner (5) teilweise verdeckt werden. Dies ist einer der Gründe, warum der Trainingsaufwand in dieser Sportart sehr hoch ist.The third embodiment ( 3rd ) is dedicated to dance sports, specifically the lessons of a dance sports instructor ( 3rd ) for couple dance (ballroom dancing). Here too, observation learning plays a major role, the teacher ( 3rd ) acts as a model during his lessons over longer phases. At the same time, the conditions for learning to observe are difficult because precise, fast, coordinated, expressive and spacious movements of the entire body have to be imitated, which movements are also influenced by the dance partner ( 5 ) are partially covered. This is one of the reasons why the training effort in this sport is very high.

Im Tanzsport ist das Beobachtungslernen beispielsweise beim Einüben einer neuen Choreographie von zentraler Bedeutung. In der Regel ist die Choreographie nicht schriftlich oder in einer anderen Form fixiert, sondern wird vom Tanzlehrer (3) während des Einzelunterrichts entwickelt und vermittelt. Damit steht das Tanzpaar (1, 5) während seines Trainings ohne Lehrer (3) vor dem bereits erwähnten Gedächtnisproblem. Häufig sind die beiden Partner (1, 5) unsicher über die korrekte Choreographie. Dies kann zu intensiven und zeitaufwändigen Diskussionen führen, und es ist gut möglich, dass sie sich letztlich nicht an die korrekte Choreographie erinnern und stattdessen etwas falsches einüben, was dann beim nächsten Unterricht vom Trainer korrigiert werden muss. Deshalb besteht die Gefahr, dass während des Trainings ohne Lehrer (3) kein bedeutsamer Fortschritt erzielt werden kann, sondern eher negative Effekte für das persönliche Verhältnis der Tanzpartner (1, 5) sowie ihre sportliche Leistung zu befürchten sind.In dance sport, for example, learning to observe is of central importance when practicing a new choreography. As a rule, the choreography is not fixed in writing or in any other form, but is performed by the dance teacher ( 3rd ) developed and imparted during individual lessons. With that, the dancing couple ( 1 , 5 ) during his training without a teacher ( 3rd ) before the memory problem already mentioned. Often the two partners ( 1 , 5 ) unsure about the correct choreography. This can lead to intense and time-consuming discussions, and it is quite possible that you will ultimately not remember the correct choreography and instead practice something wrong, which must then be corrected by the trainer during the next lesson. There is therefore a risk that during training without a teacher ( 3rd ) no significant progress can be achieved, but rather negative effects for the personal relationship of the dance partners ( 1 , 5 ) and their athletic performance are to be feared.

Ein Sentio, das auf dem Unterricht mit dem Trainer basiert, kann hier von großem Nutzen sein. Bei der Auswahl der Aufzeichnungseinheiten (7) und der Durchführung der Aufnahmen ist sicherzustellen, dass der Lehrer (3) und das Tanzpaar (1, 5) nicht in ihren Bewegungen beeinträchtigt werden. Als Variablen sind der visuelle, der akustische und der haptische Kanal von primärer Bedeutung. Weiterhin ist die Blickrichtung der Tänzer wichtig, diese Information sollte mit hinreichender Genauigkeit aus dem volumetrischen Video entnommen werden können, so dass sie nicht durch ein spezielles System zur Blickerfassung aufgezeichnet werden muss. Zudem wird davon ausgegangen, dass die haptischen Informationen aus den Oberflächendaten des volumetrischen Videos errechnet werden können. Aufgrund der weiträumigen Bewegungen der Tänzer müssen die Aufzeichnungseinheiten (7) einen großen Saal erfassen. Andererseits hat Intel ein System vorgestellt, mit dem selbst auf einem American-Football-Spielfeld ein volumetrisches Video aufgezeichnet werden kann.A sentio based on lessons with the trainer can be very useful here. When selecting the recording units ( 7 ) and the execution of the recordings, it must be ensured that the teacher ( 3rd ) and the dancing couple ( 1 , 5 ) not be impaired in their movements. The visual, acoustic and haptic channels are of primary importance as variables. The direction of the dancers' gaze is also important, this information should be able to be extracted from the volumetric video with sufficient accuracy, so that it does not have to be recorded by a special system for eye detection. It is also assumed that the haptic information can be calculated from the surface data of the volumetric video. Due to the large movements of the dancers, the recording units ( 7 ) capture a large hall. On the other hand, Intel has introduced a system that can be used to record a volumetric video even on an American football pitch.

Nach dem Unterricht kann das Sentio in einem HMD (14) mit Kopfhörern dargestellt werden. Das Gerät sollte halbtransparent sein, damit die Tänzer ihre eigenen Bewegungen im Raum kontrollieren können. Die Wiedergabe der haptischen Informationen kann über zwei Datenhandschuhe erfolgen, die aber statt mit einem Exoskelett (15) in diesem Anwendungskontext besser mit Vibrationselementen (17) ausgestattet sein sollten, um eine Verletzungsgefahr auszuschließen.After class, the Sentio can be done in an HMD ( 14 ) can be displayed with headphones. The device should be semi-transparent so that the dancers can control their own movements in the room. The haptic information can be reproduced using two data gloves, but instead of using an exoskeleton ( 15 ) better in this application context with vibration elements ( 17th ) should be equipped to exclude the risk of injury.

Die Tanzpartner (1, 5) können das Sentio grundsätzlich unabhängig voneinander für ein Einzeltraining nutzen. Dazu wählt jeder von ihnen diejenigen Teile der Aufzeichnung aus, in denen der Lehrer (4) die jeweils eigene Choreographie tanzt. Im Sentio blenden sie dann alle anderen Personen aus, um sich ganz auf den Lehrer (4) zu konzentrieren. Bei Bedarf können dessen Bewegungen verlangsamt wiedergegeben werden, bis hin zur Darstellung als Bullet-Time-Effekt.The dance partners ( 1 , 5 ) can basically use the Sentio for individual training independently of each other. To do this, each of them selects those parts of the recording in which the teacher ( 4th ) each has its own choreography. In the Sentio, they then hide all other people in order to focus entirely on the teacher ( 4th ) to concentrate. If necessary, its movements can be slowed down to the point of being displayed as a bullet time effect.

Der Tanzschüler (1) kann das Sentio nutzen, indem er aus einer Außenperspektive den Trainer von hinten betrachtet und ihm gewissermaßen hinterher tanzt. Mit dieser Perspektive vermeidet er mentale Transformationen. Andererseits kann er dann die Vorderseite des Tanzlehrers (4) nicht einsehen. Dieses Problem kann mit dem Sentio gelöst werden, indem verschiedene Ansichten gerendert werden. Der Schüler (1) kann sich gleichzeitig sowohl die Hinter- als auch die Vorderansicht des Lehrers (4) anzeigen lassen, etwas räumlich versetzt, so dass er eine gute Sicht auf beide Darstellungen hat. Die Vorderansicht wird dabei in einer gespiegelten Form dargestellt, damit der Schüler (1) keine mentalen Transformationen durchführen muss. Optisch entspricht dies der Situation, dass der Tanzlehrer (4) während des gesamten Bewegungsablaufs einen virtuellen Spiegel mit sich führt, der sich in der Verlängerung der Sehachse des Schülers (1) auf der gegenüberliegenden Seite des Lehrers (4) befindet.The dance student ( 1 ) can use the Sentio by looking at the trainer from behind from an outside perspective and practically dancing after him. With this perspective, he avoids mental transformations. On the other hand, he can then use the front of the dance teacher ( 4th ) not realise. This problem can be solved with the Sentio by rendering different views. The student ( 1 ) both the rear and the front view of the teacher ( 4th ) display, slightly offset, so that he has a good view of both representations. The front view is shown in a mirrored shape so that the student ( 1 ) doesn't have to do any mental transformations. Visually, this corresponds to the situation that the dance teacher ( 4th ) carries a virtual mirror with him during the entire course of movement, which is in the extension of the pupil's visual axis ( 1 ) on the opposite side of the teacher ( 4th ) is located.

In diesem Zusammenhang ist weiter das Problem von Kopf- und Körperrotationen zu lösen. Der Schüler (1) sollte diese Bewegungen nachmachen können, ohne dass er den visuellen Kontakt zum Tanzlehrer (4) verliert. Dreht der Tanzlehrer (4) beispielsweise seinen Kopf nach links und führt der Schüler (1) diese Bewegung ebenfalls aus, sollte der Lehrer (4) für den Tanzschüler (1) im HMD (14) als links neben ihm stehend projiziert werden. Vom Schüler (1) aus gesehen sollte dabei der mit dem Lehrer (4) mitgeführte virtuelle Spiegel zur Visualisierung der nicht einsehbaren Körperseite links neben dem Lehrer (4) positioniert sein. Sieht der Tanzlehrer (4) nach unten, sollte der Schüler (1) nach einer solchen Bewegung den Lehrer (4) unter sich sehen, wobei der virtuelle Spiegel unterhalb des Lehrers (4) positioniert ist.In this context, the problem of head and body rotation has to be solved. The student ( 1 ) should be able to imitate these movements without having visual contact with the dance teacher ( 4th ) loses. If the dance teacher turns ( 4th ) for example his head to the left and the student guides ( 1 ) this movement too, should the teacher ( 4th ) for the dance student ( 1 ) in the HMD ( 14 ) are projected as standing to the left of him. From the student ( 1 ) from the perspective of the teacher ( 4th ) carried virtual mirror to visualize the hidden side of the body to the left of the teacher ( 4th ) be positioned. Sees the dance teacher ( 4th ) down, should the student ( 1 ) after such a movement the teacher ( 4th ) see below, the virtual mirror below the teacher ( 4th ) is positioned.

Dabei ist zu berücksichtigen, dass der Schüler (1) über sein halbtransparentes HMD (14) auch Informationen über den ihn umgebenden Raum wahrnimmt. Deshalb ist es am zweckmäßigsten, wenn im Sentio alle Rauminformationen ausgeblendet werden, da diese durch die Transformationen mit den realen Rauminformationen in Konflikt stehen würden. Letztendlich wird damit einzig der Tanztrainer (4) und als Orientierungshilfe ein Teil des Bodens um ihn herum dargestellt.It should be noted that the student ( 1 ) about its semi-transparent HMD ( 14 ) also perceives information about the surrounding space. Therefore, it is best to hide all spatial information in Sentio, because the transformations would conflict with the real spatial information. Ultimately, the dance trainer ( 4th ) and a part of the floor around it is shown as a guide.

Unter der Bedingung, dass der Tanzschüler (1) in einem Raum zur Aufzeichnung eines volumetrischen Videos trainiert, können in Echtzeit noch weitere Informationen eingeblendet werden, die ihm sein Beobachtungslernen erleichtern. In den oben dargestellten Ausführungsbeispielen für das Singen und das Gitarre spielen hat der Schüler (1) stets eine Rückmeldung zu seinem Verhalten in Echtzeit, in Form des Klangs seiner Stimme bzw. seines Instruments. Eine solche unmittelbare Rückmeldung fehlt dem Schüler (1) während seines Tanztrainings, da er sein Verhalten selber nur zu einem kleinen Teil wahrnehmen kann. Dieses Problem kann dahingehend gelöst werden, dass er während seines Trainings in Echtzeit selbst aufgenommen wird und diese Aufnahme in die mit seinem Tanzlehrer (4) integriert wird. Das heißt, neben dem Tanzlehrer (4) wird der Schüler (2) selbst eingeblendet, in einer räumlichen Anordnung, bei der alle beiden Elemente gut einsehbar sind. Zusätzlich können für beide Personen virtuelle Spiegel eingeblendet werden, sofern die resultierende Komplexität der Darstellung den Schüler (1) nicht überfordert.On condition that the dance student ( 1 ) trained in a room to record a volumetric video, additional information can be displayed in real time, which makes it easier for him to learn to observe. In the above examples for singing and playing the guitar, the student ( 1 ) Always feedback on his behavior in real time, in the form of the sound of his voice or his instrument. The student lacks such immediate feedback ( 1 ) during his dance training because he can only perceive his behavior to a small extent. This problem can be solved in that he is recorded in real time during his training and this recording in the with his dance teacher ( 4th ) is integrated. That is, in addition to the dance teacher ( 4th ) the student ( 2nd ) faded in itself, in a spatial arrangement in which all two elements are clearly visible. In addition, virtual mirrors can be shown for both people, provided the resulting complexity of the presentation 1 ) not overwhelmed.

In den folgenden Lernphasen geht es darum, dass die bisherige Konfiguration - der Lehrer (3) tanzt die Choreographie einzeln vor und der Schüler (1) tanzt sie einzeln nach - schrittweise in die Zielkonfiguration - der Schüler (1) tanzt zusammen mit seinem Partner (5) in einer Wettbewerbssituation - überführt wird. Der nächste Schritt besteht darin, dass solche Aufnahmen genutzt werden, in denen der Lehrer (4) den Part des Schülers (1) mit dem Tanzpartner (6) tanzt. Der Schüler (1) kann analog zu der oben beschriebenen Situation hinter ihm her tanzen, wobei jetzt das Tanzpaar (4, 6) als visuelle Vorlage mitgeführt wird, in der Hinteransicht als auch in der gespiegelten Vorderansicht.In the following learning phases it is important that the previous configuration - the teacher ( 3rd ) dances the choreography individually and the student ( 1 ) dances them individually - step by step into the target configuration - the student ( 1 ) dances with his partner ( 5 ) in a competitive situation - is transferred. The next step is to use recordings in which the teacher ( 4th ) the part of the student ( 1 ) with the dance partner ( 6 ) dances. The student ( 1 ) can dance behind him analogous to the situation described above, with the dancing couple ( 4th , 6 ) as a visual template is carried in the rear view as well as in the mirrored front view.

In einer fortgeschrittenen Lernphase, wenn der Schüler (1) seine Choreographie beherrscht, kann er diejenigen Aufnahmen benutzen, in denen der Lehrer (4) oder der Tanzpartner (6) den anderen Part tanzt und der Schüler (2) den eigenen. Dann kann der Schüler (1) sich selbst aus der Aufnahme entfernen und seinen Part mit dem Lehrer (4) bzw. Tanzpartner (6) einüben. In dieser Phase geht das Beobachtungslernen in ein kognitives Lernen über. Der Partner (4, 6) führt ihn und gibt ihm ggf. sprachliche Anweisungen. Dabei ist die haptische Rückmeldung über die Hände von zentraler Bedeutung. Datenhandschuhe mit Vibrationselementen (17) können eine Rückmeldung vermitteln, ob man mit der Körperoberfläche des Partners (4, 6) in Kontakt ist. Bei den Standard-Tänzen ist zudem der Hüftkontakt von großer Bedeutung, hier kann man über eine flächige Anordnung dieser Elemente eine Rückmeldung geben.In an advanced learning phase, when the student ( 1 ) mastered his choreography, he can use those recordings in which the teacher ( 4th ) or the dance partner ( 6 ) the other part dances and the student ( 2nd ) your own. Then the student ( 1 ) remove yourself from the recording and do your part with the teacher ( 4th ) or dance partner ( 6 ) practice. In this phase, observation learning turns into cognitive learning. The partner ( 4th , 6 ) guides him and gives him linguistic instructions if necessary. The haptic feedback via the hands is of central importance. Data gloves with vibration elements ( 17th ) can provide feedback as to whether you are using the body surface of the partner ( 4th , 6 ) is in contact. With the standard dances, hip contact is also of great importance, here you can give feedback on a flat arrangement of these elements.

Die genannten Anwendungsszenarien lassen sich grundsätzlich auch in Echtzeit realisieren, sofern die Aufnahme, Integration und Übertragung der Daten zum Schüler (1) weitgehend verzögerungsfrei erfolgt. Das heißt, der Tanzlehrer (3) und/oder der Tanzpartner (5) können vom Anwender räumlich getrennt sein. Damit werden Anwendungen zum Tele-Tanzen und zum Tele-Tanzunterricht möglich.The application scenarios mentioned can in principle also be implemented in real time, provided that the recording, integration and transmission of the data to the student ( 1 ) takes place largely without delay. That is, the dance teacher ( 3rd ) and / or the dance partner ( 5 ) can be spatially separated from the user. This enables applications for tele-dancing and tele-dance lessons.

Der letzte Schritt ist schließlich die Berücksichtigung der Wettbewerbssituation. Die Trainingssituation unterscheidet sich deutlich von dieser, weshalb es in vielen Tanzsportvereinen ein sogenanntes Competition-Training gibt, um die Wettbewerbsbedingungen ansatzweise zu simulieren. Mit dem in der Erfindung beschriebenen Verfahren kann man alternativ reale Wettbewerbssituationen aufzeichnen und in einem Sentio integrieren. Mit der Wiedergabe kann das Tanzpaar (1, 5) einen Eindruck von den schwierigen räumlichen Verhältnissen auf der Tanzfläche sowie den sozialen Effekten durch das Verhalten der Zuschauer, Kampfrichter, Trainer und anderen Paare gewinnen, mit der damit verbunden emotionalen Erregung während des Wettbewerbs. Das Tanzpaar (1, 5) kann mit halbtransparenten HMDs (14) sein eigenes Programm unter diesen Bedingungen trainieren.Finally, the last step is taking the competitive situation into account. The training situation differs significantly from this, which is why there is so-called competition training in many dance sport clubs to begin with to simulate the competition conditions. Alternatively, with the method described in the invention, real competitive situations can be recorded and integrated in a sentio. With the playback, the dance couple ( 1 , 5 ) get an impression of the difficult spatial conditions on the dance floor as well as the social effects through the behavior of the spectators, judges, coaches and other couples, with the associated emotional excitement during the competition. The dancing couple ( 1 , 5 ) can be done with semi-transparent HMDs ( 14 ) train your own program under these conditions.

BezugszeichenlisteReference list

11: Anwender bzw. SchülerUser or student
22nd: Anwender bzw. Schüler im SentioUsers or students in the Sentio
33rd: Modell bzw. LehrerModel or teacher
44th: Modell bzw. Lehrer im SentioModel or teacher in the Sentio
55: Partnerpartner
66: Partner im SentioPartner in the Sentio
77: AufzeichnungseinheitRecording unit
88th: RechnereinheitComputing unit
99: SteuereinheitControl unit
1010th: VerarbeitungseinheitProcessing unit
1111: SpeichereinheitStorage unit
1212th: NetzwerkeinheitNetwork unit
1313: Serverserver
1414: Head-Mounted-Display (HMD)Head-mounted display (HMD)
1515: Datenhandschuh mit ExoskelettData glove with exoskeleton
1616: Bildschirmscreen
1717th: Datenhandschuh mit VibrationselementenData glove with vibration elements

ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of documents listed by the applicant has been generated automatically and is only included for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturPatent literature cited

JP 5975599 B2 [0011]
DE 102017102144 A1 [0011]
US 8953909 B2 [0012]
US 9878206 B2 [0013]

Claims

Method with which the observation and imitation of behavior of a model (3) is made possible and facilitated by one or more users (1), characterized in that the behavior of the model (3) is reproduced in the form of an integrated multimodal volumetric medium (Sentio) By first defining a set of variables to be recorded that are of particular importance for observing and mimicking behavior, whereby the classic five sensory modalities as well as psychological and physiological parameters come into question as potential variables, along with the behavior of the model (3) recording units (7) suitable for the variables are recorded, cameras in particular being used to record volumetric videos or 360-degree panoramas, preferably in combination with recording systems for 3D audio, haptics and psychological and physiological parameters, the recordings in a computer Unit (8) with a control unit (9) and a processing unit (10) are stored on a storage unit (11), the processing unit (10) is equipped with a program for processing the records, which integrates the records into a sentio with which the behavior of the model (3) can be observed and experienced in particular with different senses from different distances and perspectives, including work steps in post-production, in particular with a view to optimizing the possibilities for observing and mimicking the behavior by the user (1), the Sentio is displayed on playback units configured according to the original variable selection, the playback taking place in particular on a head-mounted display (14), preferably in combination with playback units for other sensory modalities, in particular systems for 3D audio and / or haptic feedback, the latter possibly supplementary t around thermocouples or the like, and the user (1) can experience the playback of the Sentio largely independent of time and place, in order to develop a comprehensive idea of the behavior of the model (3) and to imitate it immediately or with a delay .

Device with which the observation and mimicking of the behavior of a model (3) is made possible and facilitated by one or more users (1), characterized in that the behavior of the model (3) is reproduced in the form of an integrated multimodal volumetric medium (Sentio) by recording suitable variables (7) for recording a defined set of variables that are of particular importance for observing and mimicking behavior, whereby the classic five sensory modalities as well as psychological and physiological parameters are particularly suitable as potentially relevant variables Model (3) presented behavior are provided, in particular cameras are used for recording volumetric videos or 360-degree panoramas, preferably in combination with recording systems for 3D audio, haptics and psychological and physiological parameters, together with a computer unit (8 ), equipped with a control unit (9), a processing unit (10) and a storage unit (11) for storing the records, the processing unit (10) having a program for processing the records which integrates the records into a sentio, with which the behavior of the model (3) can be observed and experienced in particular with different senses from different distances and perspectives, including work steps in post-production, in particular with a view to optimizing the possibilities for observing and mimicking the behavior by the user (1), and together with playback units configured to display the sentio in accordance with the original variable selection, the playback taking place in particular on a head-mounted display (14), preferably in combination with playback units for other sensory modalities, in particular systems for 3D audio and / or haptic rear Messages, the latter possibly supplemented by thermocouples or the like, and the user (1) can experience the playback of the Sentio largely independent of time and place in order to develop a comprehensive idea of the behavior of the model (3) and use it directly or imitate with a time delay.

Procedure according to Claim 1 , characterized in that the content of the recordings is matched to the learning and performance level of the user (1), in particular with regard to the behavior shown, the people depicted - in particular teacher (4) or famous person, possibly supplemented by the User (2) himself - and the context of the behavior - especially studio, class or stage.

Procedure according to Claim 1 , characterized in that the playback of the Sentio can be adapted to the learning and performance level of the user (1), in particular the playback speed and / or the complexity of the display, the latter for example by showing and hiding geometries and / or variables.

Procedure according to Claim 1 , characterized in that the processing steps between recording and playback do not cause any major delays and the resulting sentio can therefore be played back in real time, in particular for classroom instruction or via a network unit (12) for tele-teaching.

Procedure according to Claim 1 and Claim 5 , characterized in that a previously recorded Sentio and a Sentio recorded in real time are integrated and the resulting Sentio is reproduced in real time for the user (1).

Procedure according to Claim 1 , characterized in that the user (1) can play the perspective of the model (4) when playing the sentio, in particular supported by haptic feedback of the body surface of the model (4) and / or an enlargement or reduction of the body geometry of the model (4).

Procedure according to Claim 1 , characterized in that with an adapted representation of the model (4) in the Sentio, the requirements of the user (1) with regard to mental transformations are reduced, in the case of an external view in particular by automatically interchanging the body sides of the model (4).

Procedure according to Claim 1 , characterized in that the representation of the model (4) in the sentio is coupled to the postures and / or body movements of the user (1), so that the model (4) always remains in the field of vision of the user (1), preferably while maintaining it the perspective from which the model (4) is observed by the user (1).

Procedure according to Claim 1 , characterized in that any elements of the Sentio are recombined in relation to the spatial arrangement - in particular by simultaneously displaying the front and rear view and / or by projecting selected body parts of the user (2) and model (4) - and / or in relation to the geometries - in particular by exchanging the textures of body parts and / or by exchanging the acoustic recordings between the user (2) and the model (4).