DE102020100366A1 - Procedure for 3D motion analysis and instant feedback for training exercises - Google Patents

Procedure for 3D motion analysis and instant feedback for training exercises Download PDF

Info

Publication number
DE102020100366A1
DE102020100366A1 DE102020100366.8A DE102020100366A DE102020100366A1 DE 102020100366 A1 DE102020100366 A1 DE 102020100366A1 DE 102020100366 A DE102020100366 A DE 102020100366A DE 102020100366 A1 DE102020100366 A1 DE 102020100366A1
Authority
DE
Germany
Prior art keywords
person
data
movement
exercise
sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102020100366.8A
Other languages
German (de)
Inventor
Gangolf Hirtz
Lars Lehmann
Christian WIEDE
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Technische Universitaet Chemnitz
Original Assignee
Technische Universitaet Chemnitz
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Technische Universitaet Chemnitz filed Critical Technische Universitaet Chemnitz
Priority to DE102020100366.8A priority Critical patent/DE102020100366A1/en
Publication of DE102020100366A1 publication Critical patent/DE102020100366A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1128Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/74Details of notification to user or communication with user or patient ; user input means
    • A61B5/742Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/743Displaying an image simultaneously with additional graphical information, e.g. symbols, charts, function plots
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00Animation
    • G06T13/203D [Three Dimensional] animation
    • G06T13/403D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • G06T7/0014Biomedical image inspection using an image reference approach
    • G06T7/0016Biomedical image inspection using an image reference approach involving temporal comparison
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/32Normalisation of the pattern dimensions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/98Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • G06V40/23Recognition of whole body movements, e.g. for sport training
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2505/00Evaluating, monitoring or diagnosing in the context of a particular type of medical care
    • A61B2505/09Rehabilitation or training
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1116Determining posture transitions
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1121Determining geometric values, e.g. centre of rotation or angular range of movement
    • A61B5/1122Determining geometric values, e.g. centre of rotation or angular range of movement of movement trajectories
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271Specific aspects of physiological measurement analysis
    • A61B5/7275Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person

Abstract

Die Erfindung betrifft ein Verfahren zur 3D-Bewegungsanalyse und Sofortfeedback für Trainingsübungen wobei eine Person mittels eines 3D-Sensors erfasst wird wobei mittels des 3D-Sensors Rohdaten in Form von Bilddaten sowie Tiefendaten der Person erfasst werden und diese Daten an eine Verarbeitungseinheit weitergeleitet und in dieser verarbeitet werden, wobei aus den Rohdaten Gelenkpunkte extrahiert werden und eine Aufteilung in Elementarübungen und deren zeitliche Normierung für eine sich anschließende Bewegungsanalyse erfolgt.The invention relates to a method for 3D movement analysis and immediate feedback for training exercises, whereby a person is captured by means of a 3D sensor, raw data in the form of image data and depth data of the person are captured by means of the 3D sensor and this data is passed on to a processing unit and in it are processed, with articulation points being extracted from the raw data and a division into elementary exercises and their temporal normalization for a subsequent movement analysis.

Description

Die Erfindung betrifft ein Verfahren zur 3D-Bewegungsanalyse und Sofortfeedback für Trainingsübungen und findet insbesondere für den Bereich der medizinischen Trainingstherapie sowie im Fitnessmarkt, zur Prävention, im Heimtraining sowie im Leistungssport Anwendung.The invention relates to a method for 3D movement analysis and instant feedback for training exercises and is used in particular for the field of medical training therapy and in the fitness market, for prevention, in home training and in competitive sports.

In der medizinischen Trainingstherapie (MTT) ist es üblich, dass Patienten nach einer vorherigen Operation (z.B. Implantierung eines künstlichen Hüftgelenkes) ein Aufbauprogramm zur Wiederherstellung der Kraft und Beweglichkeit absolvieren. Dies erfolgt stationär oder ambulant unter Anleitung eines Therapeuten. Die gegenwärtige personelle und finanzielle Situation im Gesundheitswesen macht es erforderlich, dass ein Therapeut bis zu 15 Patienten gleichzeitig betreuen muss. Dies hat zur Folge, dass der Therapeut nicht zu jeder Zeit den Patienten fachgerecht anleiten kann. In der Konsequenz kann eine fehlerhaft ausgeführte Übung dazu führen, dass die Trainingstherapie weniger effektiv ist oder sogar einen schädlichen Effekt bedingt. Es ist essentiell, dass die Trainingsübungen möglichst exakt ausgeführt werden. Um dem vorzubeugen, müssen technische Verfahren zur Unterstützung des Therapeuten entwickelt werden. Diese müssen in der Lage sein die Bewegung im dreidimensionalen Raum zu erfassen und an den Patienten so rück zu koppeln, dass es zu einer Verbesserung der Bewegungsqualität kommt. Eine solche Lösung würde eine erhöhte Kraft und Beweglichkeit zur Folge haben, was die Lebensqualität der Betroffenen signifikant steigert.In medical training therapy (MTT) it is common for patients to complete a program to restore strength and mobility after a previous operation (e.g. implantation of an artificial hip joint). This is done on an inpatient or outpatient basis under the guidance of a therapist. The current personnel and financial situation in the healthcare system makes it necessary for a therapist to care for up to 15 patients at the same time. As a result, the therapist cannot guide the patient professionally at all times. As a consequence, an incorrectly performed exercise can make the training therapy less effective or even cause a harmful effect. It is essential that the training exercises are carried out as precisely as possible. To prevent this, technical procedures to support the therapist must be developed. These must be able to record the movement in three-dimensional space and to couple it back to the patient in such a way that the quality of movement is improved. Such a solution would result in increased strength and mobility, which significantly increases the quality of life of those affected.

Bisher handelsübliche Trainingsgeräte erfassen über Messsensoren Satz- und Wiederholungszahlen sowie Bewegungsamplitude und -geschwindigkeit. Bewegungskorrekturen werden nicht an den Patienten vermittelt. Im Rahmen der Rehabilitation, vor allem beim Gleichgewichts- und Gangtraining von Schlaganfallpatienten, findet häufig ein feedbackgestütztes Training Anwendung. Verschiedene Studien zeigten bereits, dass sich der Einsatz von Feedbacktraining mittels Sofortinformation in der Rehabilitation bewährt hat ( Banala, Kim, Agrawal & Scholz, 2009; Hirokawa & Matsumura, 1989; Kim, Ogilvie, Shimabukuro, Stewart & Shin, 2015; Raschner, Lembert, Mildner, Platzer & Patterson, 2008 ). In der MTT orthopädischer Patienten fand ein Echtzeitfeedback in der Praxis bisher jedoch kaum Anwendung. Bei Lam, HajYasien & Kulic (2014) wurden Inertialsensoren verwendet. Über ein aufwändiges Berechnungsverfahren müssen die Bewegungsdaten zunächst in Winkel konvertiert werden, bevor die Rückmeldung beim Probanden ankommt. Außerdem müssen die verwendeten Inertialsensoren am Probanden angebracht werden. Zudem verwenden einige Systeme sogenannte Marker (Kim et al. 2015). Dieses System verfügt jedoch über keine Fehleranzeige, sondern lediglich über eine Bewegungsschablone, welche die Schrittlänge darstellt.Previously commercially available training devices use measuring sensors to record the number of sentences and repetitions as well as the amplitude and speed of movement. Movement corrections are not conveyed to the patient. Feedback-based training is often used as part of rehabilitation, especially in balance and gait training for stroke patients. Various studies have already shown that the use of feedback training by means of immediate information in rehabilitation has proven itself ( Banala, Kim, Agrawal & Scholz, 2009; Hirokawa & Matsumura, 1989; Kim, Ogilvie, Shimabukuro, Stewart & Shin, 2015; Raschner, Lembert, Mildner, Platzer & Patterson, 2008 ). In the MTT of orthopedic patients, however, real-time feedback has hardly been used in practice. In Lam, HajYasien & Kulic (2014) inertial sensors were used. Using an elaborate calculation process, the movement data must first be converted into angles before the test person receives the feedback. In addition, the inertial sensors used must be attached to the test subject. In addition, some systems use so-called markers (Kim et al. 2015). However, this system has no error display, only a movement template that shows the stride length.

Eine Erkennung von expliziten Fehlerbildern war bisher nicht möglich. Ein Fehlerbild ist dabei eine Bewegung, die nicht der Sollbewegung entspricht und einen negativen Einfluss auf die Qualität der ausgeführten Übung hat. So neigen viele Patienten bei der Hüftabduktion am Seilzug dazu, statt das Bein abzuspreizen den Oberkörper zu beugen. Die Übung wird damit zwar einfacher für den Patienten, erzielt aber nicht den gewünschten Effekt der Kräftigung der Hüftmuskulatur. Zwar beschreibt der Stand der Technik ( Huang, Cheng & Chiang, 2013; Khan, Lin, Guan & Guo; Su, Chiang & Huang, 2014 ) ein System basierend auf Dynamic Time Warping, allerdings wird mit diesen lediglich die Ähnlichkeit der ausgeführten Bewegungen mit Referenz zu einer Sollbewegung ermittelt.Detection of explicit error patterns has not been possible until now. An error pattern is a movement that does not correspond to the target movement and has a negative influence on the quality of the exercise performed. During hip abduction on the cable pull, many patients tend to bend their upper body instead of spreading the leg. This makes the exercise easier for the patient, but does not achieve the desired effect of strengthening the hip muscles. The state of the art describes ( Huang, Cheng & Chiang, 2013; Khan, Lin, Guan &Guo; Su, Chiang & Huang, 2014 ) a system based on dynamic time warping, but with these only the similarity of the executed movements with reference to a target movement is determined.

Derzeitig existieren auf dem Markt keine Systeme, die für Rehabilitationsübungen spezifische Fehlerbilder an den Patienten vermitteln. Vielmehr sind im Fitnesssportbereich Systeme zu finden, die über in Geräten verbaute Kraft-, Beschleunigungs- und Abstandssensoren Amplituden und Wiederholungen messen und an den Nutzer weitergeben. Es gibt lediglich Geräte, die Fehlerbilder während der Übungsausführung unter Verwendung von 3D-Skelettdaten anhand manuell aufgestellter Regeln erkennen. Diese Regeln orientieren sich meist an Körpergeometrien, wie Winkel oder Höhen, die am Skelett gemessen werden.There are currently no systems on the market that convey specific error patterns to the patient for rehabilitation exercises. Rather, systems can be found in the fitness sport sector that measure amplitudes and repetitions using force, acceleration and distance sensors built into devices and pass them on to the user. There are only devices that recognize error patterns during the execution of the exercise using 3D skeleton data based on manually established rules. These rules are mostly based on body geometries, such as angles or heights, which are measured on the skeleton.

Ein von Sportwissenschaftlern und Ingenieuren gegründetes Unternehmen wirbt mit digitalisiertem Krafttraining. Dabei ist ein Inertialsensor, welcher die Bewegung in einem 3D-Koordinatensystem erfassen kann, am Gerät (beispielsweise einer Hantelstange) angebracht. Zur Trainingssteuerung dient dabei die Dokumentation der Parameter Geschwindigkeit, Stecke und Leistung sowie die Übungsausführung, welche durch die Hantelortskurve ausgegeben wird.A company founded by sports scientists and engineers advertises digitalized strength training. An inertial sensor, which can detect the movement in a 3D coordinate system, is attached to the device (for example a dumbbell). The documentation of the parameters speed, distance and power as well as the execution of the exercise, which is output by the dumbbell locus, are used for training control.

In der Druckschrift DE 103 31 110 A1 wird ein Verfahren zur Simulation zu muskuloskelettaler Belastung eines Patienten beschrieben. Dieses Verfahren soll geeignet sein zur Überwachung operativer Eingriffe als auch zur Überwachung von Rehabilitationsmaßnahmen. Dabei werden individuelle muskuloskelettale Parameter und individuelle Bewegungsparameter ermittelt. Aus diesen erfolgt eine automatische Bestimmung von individuellen muskuloskelettalen Belastungen. Diese werden abgeglichen mit den Zielparametern. Bei Nicht-Erreichung dieser erfolgt die Korrektur der entsprechenden Parameter. Der Vergleich erfolgt rechnergestützt. Die Ermittlung der individuellen muskuloskelettalen Parameter orientiert sich an der Lage der Gelenke. Eine Parametrierung erfolgt über die muskuloskelettalen Parameter. Dabei spielt die Lage und/oder die Orientierung der Gelenke eine zentrale Rolle. Die so ermittelten Daten werden gespeichert mit Referenzdaten aus einer Datenbank abgeglichen. Dadurch können optimale individuelle muskuloskelettale Belastungsdaten abgeleitet werden. In der Datenbank sind diskrete muskuloskelettale Parameter abgelegt, also Parameter, die einzelnen Gelenken zugeordnet werden können. Die Berechnung der individuellen muskuloskelettalen Belastung erfolgt unter Zuhilfenahme von biomechanischen und/oder mathematischen Modellen. Im Weiteren ist ausgeführt, dass die Modelle durch individuelle muskuloskelettale Parameter angepasst werden. Die Ergebnisse des Verfahrens können graphisch oder auch numerisch dargestellt werden.In the pamphlet DE 103 31 110 A1 a method for simulating musculoskeletal stress on a patient is described. This method should be suitable for monitoring surgical interventions as well as for monitoring rehabilitation measures. Individual musculoskeletal parameters and individual movement parameters are determined. From these, individual musculoskeletal loads are automatically determined. These are compared with the target parameters. If this is not achieved, the corresponding parameters are corrected. The comparison is made computer-assisted. The determination of the individual musculoskeletal parameters is based on the position of the joints. A The parameters are set using the musculoskeletal parameters. The position and / or the orientation of the joints play a central role. The data determined in this way are saved and compared with reference data from a database. This allows optimal individual musculoskeletal stress data to be derived. Discrete musculoskeletal parameters are stored in the database, i.e. parameters that can be assigned to individual joints. The calculation of the individual musculoskeletal load is carried out with the aid of biomechanical and / or mathematical models. Furthermore, it is stated that the models are adapted using individual musculoskeletal parameters. The results of the process can be displayed graphically or numerically.

Das Verfahren kann zur Durchführung und Überwachung von Rehabilitationsprozessen genutzt werden. Die Bestimmung der individuellen Parameter, durch manuelle Messung oder auch durch z.B. Computertomographie bzw. Sensorik, kann automatisch erfolgen. Im dargestellten Verfahren können auch individuelle Gangparameter implementiert werden. Es wird keine Normierung des muskuloskelettalen Modells erstellt. Damit ist keine Unabhängigkeit von der Körpergröße gegeben. Es findet keine zeitliche Normierung statt. Damit ist der Effekt der unterschiedlich schnell ausgeführten Trainingsbewegung enthalten. Es existiert kein visuelles Echtzeitfeedback, welches einen Avatar darstellt und schnell auf jeweilig fehlerhafte Übungsausführungen hinweist.The method can be used to carry out and monitor rehabilitation processes. The determination of the individual parameters, by manual measurement or by e.g. computed tomography or sensor technology, can take place automatically. In the method shown, individual gait parameters can also be implemented. No normalization of the musculoskeletal model is created. This means that there is no independence from body size. There is no time normalization. This includes the effect of the training movement carried out at different speeds. There is no visual real-time feedback that represents an avatar and quickly points out incorrect exercises.

Aus der Druckschrift DE 600 23 463 T2 ist ein Gerät zum Trainieren der Körperhaltung bekannt. Dabei ist dieses so konzipiert, dass es auf dem Boden aufgestellt wird und eine bewegliche Sitzfläche aufweist. Weiterhin ist eine ortsfeste Rückenlehne vorhanden und ein Gymnastikelement implementiert. Am Sitz ist ein Aufnahmemittel installiert. Der Sitz und das Aufnahmemittel sind mit Sensoren ausgerüstet, die die exakte Körperhaltung der Übungsperson erfassen. Währen der Übung erfolgt die Registrierung der Körperhaltung der Person. Unkorrekte Haltungen werden erkannt und optisch oder akustisch signalisiert. Das Gerät ist zusätzlich mit einem Metronom ausgerüstet, so dass eine zeitliche Überwachung der Übungsabläufe gegeben ist.From the pamphlet DE 600 23 463 T2 a device for exercising posture is known. This is designed so that it is placed on the floor and has a movable seat. There is also a fixed backrest and a gymnastics element is implemented. A receiving means is installed on the seat. The seat and the recording means are equipped with sensors that detect the exact posture of the exerciser. During the exercise, the person's posture is recorded. Incorrect postures are recognized and signaled optically or acoustically. The device is also equipped with a metronome so that the exercise processes can be monitored over time.

Es findet lediglich eine mechanische Messung mit Sensoren statt. Es existiert keine kontaktlose Messung. Damit wird nur die Gerätebewegung erfasst, aber nicht, ob die Person an sich die Bewegung korrekt ausführt. Es gibt kein visuelles Echtzeitfeedback. Es wird kein 3D-Skelettmodell bestimmt. Es werden keine spezifischen Fehlerbilder erkannt.There is only a mechanical measurement with sensors. There is no contactless measurement. This means that only the movement of the device is recorded, but not whether the person is performing the movement correctly. There is no real-time visual feedback. No 3D skeleton model is determined. No specific error patterns are recognized.

Die Druckschrift DE 10 2016 006 009 B4 offenbart ein Verfahren zur Trainingsüberwachung. Dabei sind mindestens zwei Sensoren an der Übungsperson oder ein Sensor an der Person und einer am Übungsgerät angeordnet. Diese Sensoren detektieren die Bewegungen und übermitteln diese an eine Recheneinheit. Diese ermittelt aus den Daten ein Ist-Bewegungsmuster. Aus einer Datenbank erfolgt die Übergabe eines Soll-Bewegungsmuster und beide werden verglichen. Bei Abweichung dieses Vergleiches erfolgt eine optische oder akustische Fehlermeldung. Die Datenverarbeitung erfolgt in Echtzeit. Somit kann der Trainierende während der Übung auf eventuelle Fehler sofort reagieren. Die Sensoren sind entweder am Gerät oder an der Person verbaut. Es findet keine kontaktlose Messung statt. Es gibt kein visuelles Echtzeitfeedback. Es wird kein 3D-Skelettmodell bestimmt. Es werden keine spezifischen Fehlerbilder erkannt.The pamphlet DE 10 2016 006 009 B4 discloses a method of exercise monitoring. In this case, at least two sensors are arranged on the exerciser or one sensor on the person and one on the exercise device. These sensors detect the movements and transmit them to a processing unit. This determines an actual movement pattern from the data. A target movement pattern is transferred from a database and both are compared. If this comparison deviates, an optical or acoustic error message is issued. The data processing takes place in real time. Thus, the trainee can react immediately to any mistakes during the exercise. The sensors are installed either on the device or on the person. There is no contactless measurement. There is no real-time visual feedback. No 3D skeleton model is determined. No specific error patterns are recognized.

In der Druckschrift DE 10 2017 116 558 A1 ist ein Verfahren zur Durchführung von Bewegungsabläufen sowie eine Trainingsvorrichtung zur Führung von Bewegungsabläufen beschrieben. Die Vorrichtung besteht aus einer Reflexionsfläche in Form eines Spiegels und einem Sensor der auf die Übungsperson gerichtet ist. Der Sensor erkennt dabei die Sichtrichtung der Augen bezüglich der Reflexionsfläche. Außerdem erfolgt die Positionserkennung eines repräsentativen Körperteils der Person. Das System generiert einen Zielbereich, wo sich das Körperteil befinden oder sich hinbewegen soll, und stellt diesen auf der Reflexionsfläche dar. Der Zielbereich kann dabei als Silhouette der Übungsperson dargestellt werden Es wird dabei der Eindruck vermittelt, als würde es sich um ein Spiegelbild handeln. Die Steuereinheit kann einen Zugriff auf eine Datenbank haben, in der die Übungsabläufe in Form von Soll-Positionen gespeichert sind. Durch das bzw. die Sensorsignale wird eine Ist-Silhouette generiert und ebenfalls auf der Spiegelfläche dargestellt wird. Wird die Übung von der Übungsperson so durchgeführt, wie die Soll Vorgabe das vorsieht, so erscheinen beide Silhouetten in etwa deckungsgleich. Es wird kein 3D-Skelettmodell bestimmt. Es werden keine spezifischen Fehlerbilder erkannt, sondern lediglich ob die Position in 2D (Projektionsfläche) stimmt.In the pamphlet DE 10 2017 116 558 A1 describes a method for performing movement sequences and a training device for guiding movement sequences. The device consists of a reflective surface in the form of a mirror and a sensor which is directed at the exerciser. The sensor detects the viewing direction of the eyes with respect to the reflection surface. In addition, the position of a representative body part of the person is recognized. The system generates a target area, where the body part is located or should move, and displays it on the reflection surface. The target area can be displayed as a silhouette of the exerciser. The impression is given as if it were a mirror image. The control unit can have access to a database in which the exercise sequences are stored in the form of target positions. An actual silhouette is generated by the sensor signal or signals and is also displayed on the mirror surface. If the exercise is carried out by the exerciser as the target specification provides, both silhouettes appear roughly congruent. No 3D skeleton model is determined. No specific error images are recognized, only whether the position in 2D (projection surface) is correct.

Aus dem Stand der Technik ergeben sich jedoch einige Nachteile. Bisherige Systeme sind nicht in der Lage, konkrete Fehlerbilder explizit zu erfassen und arbeiten zudem regelbasiert und sind nicht leicht auf neue Trainingsübungen adaptierbar. Zudem existiert kein visuelles Echtzeitfeedback mittels Avatars, welches Fehlerbilder anzeigt. Auch ist die Bewegungserfassung in 3D nicht ausreichend genug. Systeme die Marker basiert arbeiten sind zwar recht genau, aber nicht praxistauglich, da zum Anlegen der Marker sehr viel Zeit vergeht wodurch ein schnelles Wechseln zwischen den Patienten nicht möglich ist.However, the prior art has some disadvantages. Previous systems are not able to explicitly record specific error patterns and also work on a rule-based basis and are not easily adaptable to new training exercises. In addition, there is no visual real-time feedback using avatars, which shows error images. Motion detection in 3D is also insufficient. Systems that work marker-based are quite precise, but not practical, as it takes a lot of time to apply the markers, which means that it is not possible to quickly switch between patients.

Für die orthopädische Rehabilitation ist eine exakte Ausführung der Übungen entscheidend, da es ansonsten zu Verletzungen des Patienten kommen kann. Da Marker basierte Systeme wegen des Aufwandes ausscheiden, ist es notwendig, die Bewegung des Patienten ohne extra Vorbereitung so genau zu erfassen, dass eine Bewegungsanalyse möglich ist. Dafür muss ein Körpermodell der Person mit den wichtigsten Knochen und Gelenken erstellt werden.
Die Bestimmung expliziter Fehlerbilder ist notwendig, da es nur so den Patienten möglich ist, über ein Feedback einen expliziten Korrekturhinweis zu erhalten. Im Falle des zuvor beschriebenen Abkippens des Oberkörpers bei der Hüftabduktion muss die Aufforderung kommen, diesen nicht zu kippen.
Regelbasierte Verfahren müssen von Hand für jede einzelne Übung konfiguriert werden und erfordern technisches Detailwissen. Ein Therapeut ist nicht in der Lage eigene Übungen zu entwickeln.
Das unzureichende Feedback bestehender Systeme bewirkt, dass mögliche Fehler nicht adäquat an den Nutzer weitergeleitet werden. Damit kann keine Korrektur der Bewegung erfolgen. Bisherige Systeme zählen lediglich die Anzahl die Wiederholungen und erkennen ob, eine Bewegung falsch ausgeführt wurde, aber nicht was konkret falsch ist.
Exact execution of the exercises is crucial for orthopedic rehabilitation, as otherwise the patient may be injured. Since marker-based systems are ruled out because of the effort involved, it is necessary to record the patient's movement without any additional preparation so precisely that a movement analysis is possible. For this, a body model of the person with the most important bones and joints must be created.
The determination of explicit error patterns is necessary, as this is the only way for the patient to receive an explicit correction note via feedback. In the case of the above-described tilting of the upper body during hip abduction, the request must come not to tilt it.
Rule-based procedures have to be configured manually for each individual exercise and require detailed technical knowledge. A therapist is unable to develop his own exercises.
The inadequate feedback from existing systems means that possible errors are not adequately passed on to the user. This means that the movement cannot be corrected. Previous systems only count the number of repetitions and recognize whether a movement was carried out incorrectly, but not what is specifically wrong.

Aufgabe der Erfindung ist es, ein Verfahren zur 3D-Bewegungsanalyse und Sofortfeedback für Trainingsübungen zu entwickeln, welches die Bewegungen einer Person genau erfassen, daraus automatisch Fehlerbilder ableiten kann und ein echtzeitfähiges, visuelles Feedback an die Person ausgibt.The object of the invention is to develop a method for 3D movement analysis and instant feedback for training exercises, which can precisely record the movements of a person, automatically derive error images from them and output real-time visual feedback to the person.

Diese Aufgabe wird mit den kennzeichnenden Merkmalen des ersten Patentanspruchs gelöst.This object is achieved with the characterizing features of the first claim.

Vorteilhafte Ausgestaltungen ergeben sich aus den Unteransprüchen.Advantageous refinements result from the subclaims.

Das Verfahren dient der 3D-Bewegungsanalyse und dem Sofortfeedback für Trainingsübungen wobei eine Person mittels eines 3D-Sensors erfasst wird derart, dass mittels des 3D-Sensors Rohdaten in Form von Bilddaten sowie Tiefendaten der Person erfasst werden, wobei diese Daten an eine Verarbeitungseinheit weitergeleitet und in dieser verarbeitet werden. Aus den Rohdaten werden Gelenkpunkte extrahiert. Verfahrensgemäß erfolgt eine Aufteilung in Elementarübungen und deren zeitliche Normierung für eine sich anschließende Bewegungsanalyse.The method is used for 3D movement analysis and immediate feedback for training exercises, whereby a person is recorded by means of a 3D sensor in such a way that raw data in the form of image data and depth data of the person are recorded by means of the 3D sensor, these data being forwarded to a processing unit and be processed in this. Articulation points are extracted from the raw data. According to the procedure, there is a division into elementary exercises and their temporal normalization for a subsequent movement analysis.

Bevorzugt werden Fehlerbilder erkannt und über eine Visualisierungseinheit der Person angezeigt. Fehlerbilder umfassen dabei falsche Bewegungen oder Körperhaltungen sowie eine zu schnelle oder langsame Ausführung der Übung. Das bedeutet, dass mittels des Verfahrens auch die Zeit für eine einzelne Bewegung der Übung erfasst wird.Error images are preferably recognized and displayed to the person via a visualization unit. Mistakes include wrong movements or postures as well as too fast or slow execution of the exercise. This means that the method also records the time for a single movement of the exercise.

In einer vorteilhaften Ausgestaltung erfolgt eine Normierung dieser Gelenkpunkte beziehungsweise der Anatomie der Person.In an advantageous embodiment, these articulation points or the anatomy of the person are normalized.

Den Ausgangspunkt für alle Berechnungen stellt der optische 3D Sensor, insbesondere in Form einer Kamera dar. Es wird sichergestellt, dass die Person, deren Bewegung analysiert werden soll, komplett innerhalb des Sichtfeldes des 3D Sensors platziert ist. Je nachdem welchen Öffnungswinkel der Sensor hat, ergibt sich ein unterschiedlicher Abstand zwischen Sensor und Person. Die Ausgabe des Sensors besteht aus einem RGB Bild und den korrespondierenden Tiefenkoordinaten der entsprechenden Pixel.The starting point for all calculations is the optical 3D sensor, especially in the form of a camera. It is ensured that the person whose movement is to be analyzed is placed completely within the field of view of the 3D sensor. Depending on the opening angle of the sensor, there is a different distance between the sensor and the person. The output of the sensor consists of an RGB image and the corresponding depth coordinates of the corresponding pixels.

Das Extrahieren der Gelenkpunkte wird bevorzugt wie nachfolgend beschrieben umgesetzt. Die Person wird mittels des Sensors detektiert, wobei Ihre 3D Position im Raum erfasst wird. Daraus leitet sich die Bestimmung der einzelnen Gelenkpunkte ab, welche für die Bewegungserkennung benötigt werden. Es werden neuronale Faltungsnetze dazu verwendet, jeden Hauptgelenkpunkt des menschlichen Körpers zu detektieren, sodass insgesamt 19 Gelenkpunkte extrahiert werden. Um aus diesen Punkten eine 3D-Position in einem Koordinatensystem mit einer x-, y- und z-Achse in Relation zur Kameraposition zu erhalten, werden die Punkte auf die korrespondierenden Tiefendaten rückprojiziert. Ausgehend von den Informationen der horizontalen und vertikalen Auflösung in Pixeln, des horizontalen und vertikalen Blickfeldes sowie der 2D Position aus dem neuronalen Faltungsnetz wird die 3D Position auf den cm genau bestimmt. Das Ergebnis wird als Skelettmodell bezeichnet. Die genannte Methode ist nur exemplarisch zu sehen, wobei andere Methoden ebenfalls zum Einsatz gelangen können.The extraction of the points of articulation is preferably implemented as described below. The person is detected by means of the sensor, and their 3D position in space is recorded. The determination of the individual articulation points, which are required for motion detection, is derived from this. Neural convolution networks are used to detect every main joint point of the human body, so that a total of 19 joint points are extracted. In order to obtain a 3D position from these points in a coordinate system with an x, y and z axis in relation to the camera position, the points are projected back onto the corresponding depth data. Based on the information of the horizontal and vertical resolution in pixels, the horizontal and vertical field of view and the 2D position from the neural convolution network, the 3D position is determined to the centimeter. The result is called a skeleton model. The method mentioned is only to be seen as an example, although other methods can also be used.

Das entstandene Skelettmodell muss in der Folge normiert werden, um eine Unabhängigkeit vom Sensor beziehungsweise der Anatomie des Probanden zu erreichen. Dies entspricht einer Generalisierung für das spätere maschinelle Lernen. Als erstes wird das Sensorkoordinatensystem/Kamerakoordinatensystem, wobei der 3D-Sensor den Ursprung des Koordinatensystems darstellt, in ein lokales personenabhängiges Koordinatensystem überführt. Den neuen Ursprung stellt die Hüfte der erfassten Person dar. Relativ zu diesem berechnen sich die weiteren Gelenkpunkte. In einem zweiten Schritt wird das lokale in ein hierarchisches Koordinatensystem überführt. Dabei hängt ein Gelenkpunkt nur von seinem nächstfolgendem Gelenkpunkt ab. Der linke Fuß leitet sich beispielsweise aus dem linken Knie ab, welcher sich aus der linken Hüfte ableitet. Das heißt eine Rotationsmatrix beschreibt die Beziehungen zwischen zwei aufeinanderfolgenden Gelenkpunkten. In einem letzten Schritt wird die Distanz zwischen den einzelnen Gelenkpunkten auf eins normiert. Damit ist das finale Modell unabhängig von der Größe der Person und es können allgemeine Parameter aufgestellt werden.The resulting skeleton model must then be standardized in order to achieve independence from the sensor or the anatomy of the test subject. This corresponds to a generalization for later machine learning. First, the sensor coordinate system / camera coordinate system, with the 3D sensor representing the origin of the coordinate system, is converted into a local, person-dependent coordinate system. The hip of the captured person represents the new origin. The other points of articulation are calculated relative to this. In a second step, the local coordinate system is converted into a hierarchical system of coordinates. A point of articulation only depends on its next following point of articulation. For example, the left foot is derived from the left knee, which is derived from the left hip. That is, a rotation matrix describes the relationships between two consecutive points of articulation. In a final step, the distance between the individual points of articulation is normalized to one. This means that the final model is independent of the size of the person and general parameters can be set up.

Für die Bewertung einzelner Übungen werden diese in Elementarübungen aufgeteilt. Dies wird auch als Wiederholung bezeichnet. Dabei bezeichnet einen Elementarübung genau ein einmaliges Ausführen dieser Übung, beispielsweise genau eine Kniebeuge. Da die Bewegungen zyklisch erfolgen, kann dies mit einem sinusförmigen Verlauf für einzelne Gelenkpunkte modelliert werden. Um eine Aufteilung vorzunehmen, wird der Winkel zwischen zwei interagierenden Gelenkpunkten verwendet. Für die Hüftabduktion wird beispielsweise der Winkel zwischen linkem und rechtem Fußgelenk aufgespannt über die Hüfte als Basis genommen. Der Winkel erreicht ein Minimum, wenn die Füße zusammen sind und ein Maximum, wenn die Beine auseinander sind. Dieses lokale Minimum wird nun detektiert und als Start beziehungsweise Ende einer Elementarübung festgelegt. Die Punkte zwischen zwei Minima stellen die eigentlichen Elementarübungen dar. Zudem lässt sich aus aufeinanderfolgenden Minima ermitteln, wie schnell eine Übung ausgeführt wurde und ob sie im Zielbereich liegt.For the evaluation of individual exercises, these are divided into elementary exercises. This is also known as repetition. An elementary exercise describes exactly one execution of this exercise, for example exactly one squat. Since the movements occur cyclically, this can be modeled with a sinusoidal curve for individual joint points. To make a split, the angle between two interacting hinge points is used. For hip abduction, for example, the angle between the left and right ankle spanned across the hip is taken as the basis. The angle reaches a minimum when the feet are together and a maximum when the legs are apart. This local minimum is now detected and defined as the start or end of an elementary exercise. The points between two minima represent the actual elementary exercises. In addition, successive minima can be used to determine how quickly an exercise was carried out and whether it is within the target range.

Nach der Aufteilung in Elementarübungen erfolgt die zeitliche Normierung der Elementarübungen. Für die Bewegungserkennung muss der zeitliche Faktor normalisiert werden, um sie mit einer zuvor aufgenommenen Referenz vergleichen zu können. Damit ist gewährleistet, dass für die Bewertung der Übungsqualität sowie die Detektion von Fehlerbildern die Ausführungsgeschwindigkeit keine Rolle spielt. Generell eignet sich für diese Aufgabe ein Dynamic Time Warping (DTW). Da dieses Verfahren allerdings voraussetzt, dass die Bewegung abgeschlossen ist, kann als Alternative das Incremental Dynamic Time Warping (IDTW) angewendet werden. Für jeden einzelnen Gelenkpunkt wird eine kumulative Kostenmatrix K berechnet, während die DTW-Werte in K die kumulierten euklidischen Differenzen zwischen einer Referenz und einer aktuellen Koordinate sind. Jedes Mal, wenn ein neues Bild aufgenommen wird und neue Gelenkpunkte des Skelettmodells berechnet werden, wird eine neue Spalte an K angehängt. Das Bild aus der Referenzaufnahme, welches am besten zum zuletzt aufgenommen Bild passt wird dadurch bestimmt, dass der minimale DTW-Wert in dieser Spalte ermittelt wird. Auf diese Weise wird der Teil der Referenz ausgewählt, der am besten zu der aktuellen Teilsequenz passt.After the division into elementary exercises, the time standardization of the elementary exercises takes place. The time factor must be normalized for motion detection so that it can be compared with a previously recorded reference. This ensures that the speed of execution does not play a role in the assessment of the quality of the exercise or the detection of error images. Dynamic Time Warping (DTW) is generally suitable for this task. However, since this procedure requires that the movement has been completed, Incremental Dynamic Time Warping (IDTW) can be used as an alternative. A cumulative cost matrix K is calculated for each individual joint point, while the DTW values in K are the cumulative Euclidean differences between a reference and a current coordinate. Every time a new image is taken and new points of articulation of the skeleton model are calculated, a new column is appended to K. The image from the reference recording that best fits the last recorded image is determined by determining the minimum DTW value in this column. In this way, the part of the reference that best fits the current partial sequence is selected.

Ergänzend zu dem genannten Vorgehen wird dieser Ansatz dahingehend erweitert, dass in jedem Bild für jeden Gelenkpunkt die Distanz zwischen der Referenz und dem aktuellen Bild berechnet wird. Dies entspricht dem Distanzvektor D. In Folge dessen wird nicht der minimale DTW Wert ausgewählt, sondern die jeweiligen Distanzvektoren. Um die Kostenmatrix K nach jeder Wiederholung zurückzusetzen, wird die vorherige Erkennung der Elementarübungen genutzt. Die Kostenmatrix K wird zurückgesetzt, wenn das Ende einer Wiederholung erkannt wurde, das heißt alle Elemente werden gelöscht.In addition to the procedure mentioned, this approach is expanded to the effect that the distance between the reference and the current image is calculated in each image for each articulation point. This corresponds to the distance vector D. As a result, it is not the minimum DTW value that is selected, but the respective distance vectors. In order to reset the cost matrix K after each repetition, the previous recognition of the elementary exercises is used. The cost matrix K is reset when the end of a repetition has been recognized, that is, all elements are deleted.

Gemäß dem Verfahren erfolgt eine Bewegungserkennung auf Basis von Fehlerbildern. In einem ersten Schritt der Bewegungsanalyse wird ein Merkmalsvektor M aufgestellt, der eine Teilmenge aller Distanzvektoren enthält. Entscheidend ist dabei, welche Übung und welcher Gelenkpunkt hierbei involviert ist. Dieser Merkmalsvektor repräsentiert die Eingangsdaten für das maschinelle Lernverfahren. In dieser Ausführung handelt es sich um eine Support Vektor Maschine (SVM). Insbesondere handelt es sich um eine Multiklassen SVM mit einem one-vs-all Ansatz. Diese SVM wurde im Vorfeld mit vielen Merkmalsvektoren M angelernt. Dabei ist bekannt, in welchen Sequenz Fehlerbilder auftreten. Diese wurden entsprechend annotiert. Es existieren bei x Fehlerbildern, x+1 Klassen, wobei die zusätzliche Klasse für eine korrekte Bewegungsausführung steht. Es ist zu beachten, dass die Klassifizierung hierarchisch geordnet ist. Das heißt, es kann nur eine Klasse zur selben Zeit auftreten. Wenn keine der Klassen gefunden wird, ist von einer korrekten Bewegungsausführung auszugehen.According to the method, motion is detected on the basis of error images. In a first step of the movement analysis, a feature vector M is set up which contains a subset of all distance vectors. The decisive factor is which exercise and which joint point is involved. This feature vector represents the input data for the machine learning process. This version is a support vector machine (SVM). In particular, it is a multi-class SVM with a one-vs-all approach. This SVM was trained with many feature vectors M in advance. It is known in which sequence error patterns occur. These have been annotated accordingly. If there are x error patterns, x + 1 classes exist, with the additional class standing for correct movement execution. It should be noted that the classification is ordered hierarchically. This means that only one class can occur at a time. If none of the classes is found, correct movement can be assumed.

Die Kommunikation zwischen dem 3D-Sensor und der Visualisierungseinheit erfolgt über ein Standard TCP/IP Protokoll. Übertragen werden Daten über die Person, die Trainingsübung sowie der Verlauf der aktuell ausgeführten Übung. Eine Übertragung findet framebasiert statt. Dadurch ist eine Echtzeitfähigkeit für die Visualisierung garantiert.The communication between the 3D sensor and the visualization unit takes place via a standard TCP / IP protocol. Data about the person, the training exercise and the course of the exercise currently being carried out are transmitted. A transmission takes place on a frame basis. This guarantees real-time capability for the visualization.

In einer vorteilhaften Ausgestaltung ist das Verfahren mit einer Datenbank verknüpft, wobei in der Datenbank alle Informationen beziehungsweise Daten zu der Person oder den Personen sowie die Trainingspläne gespeichert. Dabei ist genau spezifiziert, wie viele Sätze und Wiederholungen in einer einzelnen Trainingsübung zu absolvieren sind. Zudem werden für jedes Bild die Skelettmodellinformationen von allen Gelenkpunkten sowie die erkannten Fehlerbilder gespeichert.In an advantageous embodiment, the method is linked to a database, with all information or data relating to the person or persons as well as the training plans being stored in the database. It specifies exactly how many sets and repetitions are to be completed in a single training exercise. In addition, the skeleton model information from all articulation points as well as the detected error images are saved for each image.

Um die Probanden zur Durchführung der Therapieübungen zu motivieren und ein möglichst genaue Übungsausführung zur garantieren, wird ein echtzeitfähiges, visuelles Feedback realisiert. Das System besteht aus einem visualisierenden Teil und einem Teil für die Datenverwaltung.
Für die im obigen Abschnitt erläuterten personengebundenen Datenbankeintragungen steht eine grafische Nutzerschnittstelle zur Dateneintragung zur Verfügung. Der Therapeut kann die Daten für die einzelnen Trainingsszenarien individuell für jeden Patienten eingeben. Der Start der Trainingsübung kann selbstständig durch den Patienten erfolgen.
Die zuvor im Skelettmodel beschriebenen Gelenkpunkte werden zu einem dreidimensionalen Drahtgittermodell verbunden. Dieses wird im Folgenden als Avatar bezeichnet. Die Animation des Avatars erfolgt in Echtzeit. Der Avatar kann individuell durch den Nutzer gestaltet werden. Wenn Fehlerbilder zuvor durch die Bewegungsanalyse erkannt werden, werden die betroffenen Körperpartien durch realitätsnahe Ampelfarben (rot, gelb, grün) eingefärbt. Rot und gelb stehen dabei für Fehler und grün für eine ordnungsgemäße Ausführung. Zudem wird eine Handlungsanweisung gegeben, wie der Fehler zu berichtigen ist, beispielsweise in Form einer Aufforderung „Oberkörper gerade halten“. Dadurch kann unmittelbar eine Korrektur in der Körperhaltung erfolgen. Die Einzelschritte einer Übung werden in Echtzeit gezählt und angezeigt. Nachdem die für die Übung notwendigen Wiederholungen erfolgt sind, wird eine statistische Auswertung für den Nutzer visualisiert. Diese Statistik gibt einen genauen Überblick über den Trainingsfortschritt und etwaige Probleme. Zudem werden der Amplitudenwinkel während der Ausführung und die aufsummierten Einzelfehler erfasst und visualisiert.
In order to motivate the test persons to carry out the therapy exercises and to guarantee that the exercise is carried out as precisely as possible, real-time visual feedback is implemented. The system consists of a visualizing part and a part for data management.
For the personal database entries explained in the above section, there is a graphical user interface for data entry available. The therapist can enter the data for the individual training scenarios individually for each patient. The patient can start the training exercise independently.
The articulation points previously described in the skeleton model are connected to form a three-dimensional wire frame model. This is referred to as the avatar in the following. The avatar is animated in real time. The avatar can be designed individually by the user. If error images are recognized beforehand by the movement analysis, the affected parts of the body are colored using realistic traffic light colors (red, yellow, green). Red and yellow stand for errors and green for correct execution. In addition, instructions are given on how to correct the error, for example in the form of a request to “keep your upper body straight”. Corrections in posture can then be made immediately. The individual steps of an exercise are counted and displayed in real time. After the repetitions necessary for the exercise have taken place, a statistical evaluation is visualized for the user. These statistics give a precise overview of the training progress and any problems. In addition, the amplitude angle during execution and the accumulated individual errors are recorded and visualized.

Um eine Übung erfassen zu können ist es relevant, wann eine Person hierfür bereit ist. Es wird eine zuvor definierte Körperhaltung als Startereignis für die Analyse detektiert. Eine derartige Körperhaltung kann beispielsweise wie folgt aussehen. Für das Auslösen des Ereignisses muss eine Person gerade dastehen, die Knie durchstrecken und die Füße nahe beieinander lassen. Die Parameter lauten dabei wie folgt:

  • • Distanz zwischen den Fußgelenken ist kleiner als 250 mm.
  • • Der Flexionswinkel des linken Knies ist größer als 160 Grad.
  • • Der Flexionswinkel des rechten Knies ist größer als 160 Grad.
  • • Der Winkel zwischen linker Schulter und linkem Fußgelenk mit der linken Hüfte als Basis ist größer als 150 Grad.
In order to be able to record an exercise, it is relevant when a person is ready for it. A previously defined posture is detected as a start event for the analysis. Such a posture can look like this, for example. To trigger the event, a person must stand up straight, straighten their knees, and keep their feet close together. The parameters are as follows:
  • • The distance between the ankles is less than 250 mm.
  • • The flexion angle of the left knee is greater than 160 degrees.
  • • The flexion angle of the right knee is greater than 160 degrees.
  • • The angle between the left shoulder and the left ankle with the left hip as the base is greater than 150 degrees.

Wenn diese vier Bedingungen für mehr als 4 Sekunden erfüllt sind, wird in einer beispielhaften Ausgestaltung das Startereignis detektiert. Alternativ oder zusätzlich kann das Startereignis durch eine Körperbewegung ausgelöst werden.If these four conditions are met for more than 4 seconds, the start event is detected in an exemplary embodiment. Alternatively or additionally, the start event can be triggered by a body movement.

Gemäß dem Verfahren erfolgt bevorzugt eine Postfilterung der Rohdaten, die eine zeitliche Glättung garantiert und zu einer höheren Robustheit führt. Die Aufgabe der Postfilterung besteht darin, kurze zeitliche Abweichungen vom Standardverhalten auszuschließen. Insbesondere Rauschen in den Tiefendaten können zu einer Änderung der 3D-Position einer Gelenkverbindung führen, was sich auch auf das Verfahren auswirkt. Außerdem kann sich eine Person an der Grenze der Klassen befinden. Um ein Jittering beziehungsweise eine Bildinstabilität zu vermeiden, ist eine zeitliche Glättung notwendig. Diese wird durch einen Mittelwertfilter realisiert, der auf die Zeitreihen der zuvor erstellten Error Labels angewendet wird. Bevorzugt ist ein mittlerer Filter der Größe 3 oder 5 ausreichend, um Rauschen und Jittering zu entfernen.According to the method, post-filtering of the raw data is preferably carried out, which guarantees temporal smoothing and leads to greater robustness. The task of post-filtering is to exclude short temporal deviations from the standard behavior. In particular, noise in the depth data can lead to a change in the 3D position of an articulated connection, which also affects the method. In addition, a person can be on the boundary of the classes. Temporal smoothing is necessary to avoid jittering or image instability. This is implemented using a mean value filter that is applied to the time series of the previously created error labels. Preferably, a medium size 3 or 5 filter is sufficient to remove noise and jitter.

In einer vorteilhaften Ausgestaltung wird der Verlauf des Fortschrittes der Person mittels Speicherung der personenbezogenen Echtzeitdaten dokumentiert, wobei durch die Speicherung der personengebunden Echtzeitdaten diese jederzeit betrachtet werden können. Im Falle, dass die Person ein Patient ist, ist es dem Therapeuten dadurch möglich, eine statistische Auswertung des Patientenfortschrittes zu erstellen und das Training dementsprechend anzupassen und zu verbessern. Eine zielgerichtete Nachbetrachtung eines Einzeltrainings kann auch zusammen mit dem Probanden erfolgen. Hierfür können aufgezeichnete Bewegungsausführungen aus der Datenbank extrahiert und anschließend visualisiert werden. Es möglich, die Ausführungsgeschwindigkeit der Bewegungen anzupassen oder zu pausieren. Dadurch ist es dem Therapeuten möglich, den Patienten eine detaillierte Hilfestellung zu gewährleisten, welche weitaus gezielter ist und über die bisherige Bewegungsrehabilitation hinausgeht. Zudem kann die Verlaufsdokumentation für Kostenträger relevant sein. Das Verfahren kann für das Training mit dem eigenen Körpergewicht oder für ein Gerätetraining angewendet werden.In an advantageous embodiment, the progress of the person is documented by means of storing the personal real-time data, whereby the storing of the personal real-time data can be viewed at any time. In the event that the person is a patient, it is possible for the therapist to create a statistical evaluation of the patient's progress and to adapt and improve the training accordingly. A targeted review of an individual training session can also take place together with the test person. For this purpose, recorded movements can be extracted from the database and then visualized. It is possible to adjust the speed of execution of the movements or to pause them. This enables the therapist to provide the patient with detailed assistance, which is far more targeted and goes beyond the previous movement rehabilitation. In addition, the progress documentation can be relevant for insurance providers. The method can be used for training with your own body weight or for equipment training.

Für den Ablauf des beschriebenen Verfahrens müssen die folgenden Punkte erledigt werden.

  • • Die Person muss mit einem 3D Sensor erfasst werden.
  • • Es ist eine exakte Bestimmung des Skelettmodells notwendig.
  • • Es müssen Normierungen der Bewegungen stattfinden, damit die Anatomie der Person und die Geschwindigkeit der Bewegungsausführung keinen Einfluss mehr haben.
  • • Es muss eine Klassifizierung der Fehlerbilder mittels Methoden des maschinellen Lernens stattfinden. Dabei beruhen die Modellinformationen auf Beispieldaten und nicht auf expliziten Regeln.
  • • Es muss ein visuelles Echtzeitfeedback realisiert werden. In diesem muss ein Avatar sichtbar sein, welcher der Bewegung präzise folgt. Fehler müssen anatomisch korrekt angezeigt und Korrekturvorschläge gemacht werden. Es kann eine Statistik zu häufigen Fehlerquellen erfolgen. Zudem werden die Übungen zeitlich und räumlich quantifiziert.
  • • Eine Datenback muss implementiert werden, in der die spezifischen Informationen des Patienten beinhaltet sind. Diese garantiert eine individuelle Behandlung.
  • • Es muss eine Schnittstelle zwischen 3D-Bewegungsanalyse und visuellem Echtzeitfeedback geschaffen werden.
The following points must be completed in order to carry out the procedure described.
  • • The person must be recorded with a 3D sensor.
  • • An exact determination of the skeleton model is necessary.
  • • The movements must be normalized so that the anatomy of the person and the speed at which the movement is performed no longer have any influence.
  • • The error patterns must be classified using machine learning methods. The model information is based on sample data and not on explicit rules.
  • • Visual real-time feedback must be implemented. In this an avatar must be visible, which precisely follows the movement. error must be displayed in an anatomically correct manner and suggestions for correction made. Statistics can be provided on frequent sources of error. In addition, the exercises are quantified in terms of time and space.
  • • A data back-up must be implemented, which contains the specific information of the patient. This guarantees an individual treatment.
  • • An interface between 3D motion analysis and visual real-time feedback must be created.

Die Erfindung wird nachfolgend an einem Ausführungsbeispiel und zugehörigen Zeichnungen näher erläutert.The invention is explained in more detail below using an exemplary embodiment and associated drawings.

Es zeigen:

  • 1 einen Aufbau für das erfindungsgemäße Verfahren,
  • 2 die Verfahrensschritte für die Bewegungsanalyse,
  • 3 ein verfahrensgemäßes Skelettmodell.
Show it:
  • 1 a structure for the method according to the invention,
  • 2 the procedural steps for the motion analysis,
  • 3 a procedural skeleton model.

1 zeigt einen Aufbau für das erfindungsgemäße Verfahren. Ein optischer 3D Sensor 1 nimmt das RGB Bild sowie die Tiefendaten einer Person P auf und leitet die Informationen an eine Verarbeitungseinheit 2 weiter. In dieser findet eine Bewegungsanalyse inklusive der Bestimmung von Fehlerbildern statt. Die Verarbeitungseinheit 2 ist bidirektional mit dem visuellen Echtzeitfeedback verbunden. Dieses beinhaltet zudem die Datenbank und die automatische Verlaufsdokumentation. Als Visualisierungseinheit 3 ist ein Display vorgesehen.
Innerhalb der Verarbeitungseinheit 2 werden gemäß 2 die folgenden Schritte zur Bestimmung der Fehlerbilder realisiert. Aus den Rohdaten des optischen 3D Sensors werden die Gelenkpunkte framebasiert extrahiert. Im Anschluss erfolgt eine Normierung dieser Gelenkpunkte. Eine Aufteilung in Elementarübungen und deren zeitliche Normierung ist die Grundlage für die sich anschließende Bewegungsanalyse, wobei konkrete Fehlerbilder erkannt werden. Eine Postfilterung garantiert eine zeitliche Glättung und führt zu einer höheren Robustheit.
Der 3D Sensor 1, die Verarbeitungseinheit 2 und die Visualisierungseinheit 3 können separate Systeme oder in einem einzigen System kombiniert sein. So kann beispielsweise ein Display mit einem 3D Sensor und einer Rechnereinheit in einem Gehäuse kombiniert sein.
1 shows a structure for the method according to the invention. An optical 3D sensor 1 takes the RGB image as well as the depth data of a person P. and forwards the information to a processing unit 2 further. In this, a movement analysis including the determination of defect images takes place. The processing unit 2 is bidirectionally linked to the visual real-time feedback. This also includes the database and the automatic progress documentation. As a visualization unit 3 a display is provided.
Within the processing unit 2 will be according to 2 implemented the following steps to determine the error patterns. The joint points are extracted on a frame-based basis from the raw data of the optical 3D sensor. These hinge points are then normalized. A division into elementary exercises and their temporal normalization is the basis for the subsequent movement analysis, whereby specific error patterns are recognized. Post-filtering guarantees temporal smoothing and leads to greater robustness.
The 3D sensor 1 , the processing unit 2 and the visualization unit 3 can be separate systems or combined in a single system. For example, a display with a 3D sensor and a computer unit can be combined in one housing.

In 3 ist ein erzeugtes Skelettmodel 4 dargestellt, das aus einzelnen Gelenken 5 zusammengesetzt ist. Wenn Fehlerbilder durch die Bewegungsanalyse erkannt werden, werden die betroffenen Körperpartien 6 durch realitätsnahe Ampelfarben (rot, gelb, grün) eingefärbt. Rot und gelb stehen dabei für Fehler und grün für eine ordnungsgemäße Ausführung.In 3 is a generated skeleton model 4th shown that from individual joints 5 is composed. If fault patterns are recognized by the motion analysis, the affected body parts are 6th colored by realistic traffic light colors (red, yellow, green). Red and yellow stand for errors and green for correct execution.

Aus dem erfindungsgemäßen Verfahren ergeben sich gegenüber dem Stand der Technik die folgenden Vorteile:

  • • Das verwendete Skelettmodell zur Extraktion der Skelettpunkte ist wesentlich genauer als bisherige Ansätze.
  • • Die Normierung des Skelettmodells gewährleistet eine Unabhängigkeit von individuellen Körperproportionen.
  • • Die zeitliche Normierung mit der IDTW gewährleistet eine Unabhängigkeit von der Ausführungsgeschwindigkeit einer Übung.
  • • Die Bewegungsklassifikation zur Fehlerbilderkennung beruht auf Methoden des maschinellen Lernens und ist nicht regelbasiert. Dies resultiert in einer erhöhten Genauigkeit und einer Zeiteinsparung.
  • • Ein visuelles Echtzeitfeedback mit Avatar in Ampelfarben sowie konkreten Korrekturhinweisen. Zudem erfolgt eine statistische Erfassung der Übungsausführung. Es existiert eine einfache und verständliche Bedienbarkeit.
  • • Eine Verlaufsdokumentation mittels abgespeicherten Gelenkpunkten bietet enorme Vorteile für Patienten, Therapeuten und Kostenträger.
The method according to the invention has the following advantages over the prior art:
  • • The skeleton model used to extract the skeletal points is much more accurate than previous approaches.
  • • The normalization of the skeleton model ensures independence from individual body proportions.
  • • The time standardization with the IDTW ensures independence from the execution speed of an exercise.
  • • The movement classification for fault pattern recognition is based on machine learning methods and is not rule-based. This results in increased accuracy and time savings.
  • • A visual real-time feedback with avatar in traffic light colors as well as specific correction instructions. In addition, there is a statistical recording of the execution of the exercise. There is a simple and understandable usability.
  • • Documentation of the progress by means of stored articulation points offers enormous advantages for patients, therapists and payers.

BezugszeichenlisteList of reference symbols

11
Optischer 3D-SensorOptical 3D sensor
22
VerarbeitungseinheitProcessing unit
33
VisualisierungseinheitVisualization unit
44th
SkelettmodellSkeleton model
55
Gelenkjoint
66th
Körperpartie Body part
PP.
Personperson

ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES INCLUDED IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant was generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturPatent literature cited

  • DE 10331110 A1 [0007]DE 10331110 A1 [0007]
  • DE 60023463 T2 [0009]DE 60023463 T2 [0009]
  • DE 102016006009 B4 [0011]DE 102016006009 B4 [0011]
  • DE 102017116558 A1 [0012]DE 102017116558 A1 [0012]

Zitierte Nicht-PatentliteraturNon-patent literature cited

  • Banala, Kim, Agrawal & Scholz, 2009; Hirokawa & Matsumura, 1989; Kim, Ogilvie, Shimabukuro, Stewart & Shin, 2015; Raschner, Lembert, Mildner, Platzer & Patterson, 2008 [0003]Banala, Kim, Agrawal & Scholz, 2009; Hirokawa & Matsumura, 1989; Kim, Ogilvie, Shimabukuro, Stewart & Shin, 2015; Raschner, Lembert, Mildner, Platzer & Patterson, 2008 [0003]
  • Huang, Cheng & Chiang, 2013; Khan, Lin, Guan & Guo; Su, Chiang & Huang, 2014 [0004]Huang, Cheng & Chiang, 2013; Khan, Lin, Guan &Guo; Su, Chiang & Huang, 2014 [0004]

Claims (12)

Verfahren zur 3D-Bewegungsanalyse und Sofortfeedback für Trainingsübungen wobei eine Person mittels eines 3D-Sensors erfasst wird, wobei mittels des 3D-Sensors Rohdaten in Form von Bilddaten sowie Tiefendaten der Person erfasst werden und diese Daten an eine Verarbeitungseinheit weitergeleitet und in dieser verarbeitet werden, wobei aus den Rohdaten Gelenkpunkte extrahiert werden und eine Aufteilung in Elementarübungen und deren zeitliche Normierung für eine sich anschließende Bewegungsanalyse erfolgt.Method for 3D movement analysis and immediate feedback for training exercises, whereby a person is recorded by means of a 3D sensor, raw data in the form of image data and depth data of the person are recorded by means of the 3D sensor and this data is passed on to a processing unit and processed therein, Articulation points are extracted from the raw data and a division into elementary exercises and their temporal normalization takes place for a subsequent movement analysis. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass Fehlerbilder erkannt und über eine Visualisierungseinheit der Person angezeigt werden.Procedure according to Claim 1 , characterized in that error images are recognized and displayed to the person via a visualization unit. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass eine Normierung der Gelenkpunkte erfolgt.Procedure according to Claim 1 or 2 , characterized in that the hinge points are normalized. Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass die Gelenkpunkte framebasiert extrahiert werden.Method according to one of the Claims 1 to 3 , characterized in that the articulation points are extracted based on frames. Verfahren nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass aus den Gelenkpunkten ein Skelettmodell erzeugt wird.Method according to one of the Claims 1 to 4th , characterized in that a skeleton model is generated from the hinge points. Verfahren nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, dass das visuelle Feedback echtzeitfähig ist.Method according to one of the Claims 1 to 5 , characterized in that the visual feedback is real-time capable. Verfahren nach einem der Ansprüche 1 bis 6, dadurch gekennzeichnet, dass framebasiert für jeden Gelenkpunkt die Distanz zwischen einem Referenzwert für die zugehörige Übung und dem aktuellen Bild berechnet wird.Method according to one of the Claims 1 to 6th , characterized in that the distance between a reference value for the associated exercise and the current image is calculated on a frame-based basis for each joint point. Verfahren nach einem der Ansprüche 1 bis 7, dadurch gekennzeichnet, dass eine zuvor definierte Körperhaltung und/oder eine Körperbewegung als Referenz für die Analyse detektiert wird.Method according to one of the Claims 1 to 7th , characterized in that a previously defined posture and / or a body movement is detected as a reference for the analysis. Verfahren nach einem der Ansprüche 1 bis 8, dadurch gekennzeichnet, dass der Übungsablauf speicherbar und abrufbar ist.Method according to one of the Claims 1 to 8th , characterized in that the exercise sequence can be saved and retrieved. Verfahren nach Anspruch 9, dadurch gekennzeichnet, dass eine Verlaufsdokumentation mittels Speicherung der personenbezogenen Echtzeitdaten erfolgt, wobei eine statistische Auswertung des Personenfortschrittes erstellt wird.Procedure according to Claim 9 , characterized in that a progress documentation is carried out by storing the personal real-time data, with a statistical evaluation of the personal progress being created. Verfahren nach einem der Ansprüche 1 bis 10, dadurch gekennzeichnet, dass Bewegungsabläufe der Gelenkpunkte über eine Postfilterung zeitlich geglättet werden.Method according to one of the Claims 1 to 10 , characterized in that movement sequences of the articulation points are smoothed over time via post-filtering. Verfahren nach einem der Ansprüche 1 bis 11, dadurch gekennzeichnet, dass die Gelenkpunkte des Skelettmodells mit einem dreidimensionalen Drahtgittermodell verbunden werden und dass die Animation des Drahtgittermodells in Echtzeit erfolgt.Method according to one of the Claims 1 to 11 , characterized in that the articulation points of the skeleton model are connected to a three-dimensional wire frame model and that the animation of the wire frame model takes place in real time.
DE102020100366.8A 2020-01-09 2020-01-09 Procedure for 3D motion analysis and instant feedback for training exercises Pending DE102020100366A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102020100366.8A DE102020100366A1 (en) 2020-01-09 2020-01-09 Procedure for 3D motion analysis and instant feedback for training exercises

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102020100366.8A DE102020100366A1 (en) 2020-01-09 2020-01-09 Procedure for 3D motion analysis and instant feedback for training exercises

Publications (1)

Publication Number Publication Date
DE102020100366A1 true DE102020100366A1 (en) 2021-07-15

Family

ID=76542628

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102020100366.8A Pending DE102020100366A1 (en) 2020-01-09 2020-01-09 Procedure for 3D motion analysis and instant feedback for training exercises

Country Status (1)

Country Link
DE (1) DE102020100366A1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113569807A (en) * 2021-08-18 2021-10-29 苏州哔蹦智能科技有限公司 Posture correcting system and method based on human body posture recognition
DE102021006307A1 (en) 2021-12-22 2023-06-22 Heero Sports Gmbh Method and device for optical detection and analysis in a movement environment

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10331110A1 (en) 2003-04-17 2004-11-25 Duda, Georg N., Prof. Dr. Simulation method for musculo-skeletal loading of patient for use in surgical intervention and/or rehabilitation using individual musculo-skeletal parameters for determination of musculo-skeletal strains
DE60023463T2 (en) 2000-06-06 2006-07-13 Panatta Sport S.R.L. Device for training posture
DE102016006009A1 (en) 2016-05-14 2017-11-16 Wabco Gmbh relay valve
DE102017116558A1 (en) 2017-07-21 2019-01-24 Stecnius UG (haftungsbeschränkt) Method for guiding movement sequences and training device for guiding movement sequences

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE60023463T2 (en) 2000-06-06 2006-07-13 Panatta Sport S.R.L. Device for training posture
DE10331110A1 (en) 2003-04-17 2004-11-25 Duda, Georg N., Prof. Dr. Simulation method for musculo-skeletal loading of patient for use in surgical intervention and/or rehabilitation using individual musculo-skeletal parameters for determination of musculo-skeletal strains
DE102016006009A1 (en) 2016-05-14 2017-11-16 Wabco Gmbh relay valve
DE102017116558A1 (en) 2017-07-21 2019-01-24 Stecnius UG (haftungsbeschränkt) Method for guiding movement sequences and training device for guiding movement sequences

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Banala, Kim, Agrawal & Scholz, 2009; Hirokawa & Matsumura, 1989; Kim, Ogilvie, Shimabukuro, Stewart & Shin, 2015; Raschner, Lembert, Mildner, Platzer & Patterson, 2008
Huang, Cheng & Chiang, 2013; Khan, Lin, Guan & Guo; Su, Chiang & Huang, 2014

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113569807A (en) * 2021-08-18 2021-10-29 苏州哔蹦智能科技有限公司 Posture correcting system and method based on human body posture recognition
DE102021006307A1 (en) 2021-12-22 2023-06-22 Heero Sports Gmbh Method and device for optical detection and analysis in a movement environment
WO2023117723A1 (en) * 2021-12-22 2023-06-29 Heero Sports Gmbh Method and apparatus for optical recognition and analysis in a movement environment

Similar Documents

Publication Publication Date Title
DE202018006818U1 (en) System for optimized joint monitoring in physiotherapy
DE69738073T2 (en) SYSTEM FOR THE TRAINING OF PERSONS FOR THE PERFORMANCE OF MINIMALLY INVASIVE SURGICAL PROCEDURES
DE102011083876B4 (en) Method for controlling the movement of an X-ray device and X-ray system
EP2593031B1 (en) Optical method for determining the change of length of a leg
EP3501400A1 (en) Method and device for ensuring a correct positioning for a radiography receiver
DE112008001625T5 (en) Training method and apparatus for carrying out the method
WO2003001483A1 (en) Programmable joint simulator with force and motion feedback
DE102009002747A1 (en) Method and device for evaluating a movement of a patient
EP2815341A2 (en) Fitness device and method for automatically checking for the correct performance of a fitness exercise
DE102017116558A1 (en) Method for guiding movement sequences and training device for guiding movement sequences
WO2005033726A1 (en) Determining patient-related information on the position and orientation of mr images by the individualisation of a body model
DE102020100366A1 (en) Procedure for 3D motion analysis and instant feedback for training exercises
EP2455138A1 (en) Training system, mobile terminal and training method for a person
WO2020099166A1 (en) Method and device for constructing a prosthesis
DE102012202990A1 (en) Apparatus and method for measuring and detecting body part and limb mobilities
DE102016215831A1 (en) Automatic generation of synthetic projections
DE10118397C2 (en) System and method for the subjective assessment of a vehicle construction in a virtual environment with the help of virtual reality
EP3307159B1 (en) Method and device for determining a desired movement of a limb
DE10253075B4 (en) Device for the diagnosis and / or treatment of dysfunctions of the cervical spine
DE102019122374B4 (en) Method for producing a prosthesis socket
EP3190966A1 (en) System and method for quantitative examining of postural control of persons
EP3819908A1 (en) Method for the detection, analysis and optimization of movements in the sports field and rehabilitation field
WO2004095341A2 (en) Method for simulating musculoskeletal strains on a patient
DE102010049498A1 (en) Physiotherapeutic inspection process for monitoring and correcting body attitudes of person, involves outputting correction information for varying movement or attitude of defined body part based on difference between data
EP3499461A1 (en) Representation of markers in medical imaging

Legal Events

Date Code Title Description
R084 Declaration of willingness to licence
R163 Identified publications notified