DE102014013828A1

DE102014013828A1 - System and method for quantitative investigation of postural control of persons

Info

Publication number: DE102014013828A1
Application number: DE102014013828.3A
Authority: DE
Inventors: wird später genannt werden Erfinder
Original assignee: Motognosis Ug (haftungsbeschrankt); Motognosis Ug Haftungsbeschrankt
Current assignee: Motognosis Ug (haftungsbeschrankt); Motognosis Ug Haftungsbeschrankt
Priority date: 2014-09-11
Filing date: 2014-09-11
Publication date: 2016-03-31
Also published as: WO2016038215A1; EP3190966A1

Abstract

System zur quantitativen Untersuchung der posturalen Kontrolle von Personen bei der Durchführung von Stand-Assessments, das folgendes umfasst: • 3D-Sensor-System zum Messen der räumlichen Postionen von Körperteilen einer Person über die Zeit, • Mittel zum Ableiten von Informationen von dem Sensor-System, • Mittel zum Anzeigen und Abspielen von audio-visuellen Informationen, • Mittel zum Bestimmen quantitativer Parameter, dadurch gekennzeichnet, dass das Mittel zum Bestimmen quantitativer Parameter solche sowohl für das Schwankungsverhalten des Gesamt-Körpers, als auch für einzelne Körperteile, insbesondere Gliedmaßen, bestimmt.System for the quantitative assessment of postural control of persons performing stance assessments, comprising: • a 3D sensor system for measuring the spatial position of a person's body parts over time, • means for deriving information from the sensor, System, • means for displaying and playing audio-visual information, • means for determining quantitative parameters, characterized in that the means for determining quantitative parameters are those for the fluctuation behavior of the entire body as well as for individual body parts, in particular limbs, certainly.

Description

Die vorliegende Erfindung betrifft ein System und Verfahren zur sensorgestützten Generierung quantitativer Parameter, welche die posturale Kontrolle einer Person bei der Durchführung von Stand-Assessments beschreiben und bei der klinischen und therapeutischen Diagnostik genutzt werden können.The present invention relates to a system and method for sensor-based generation of quantitative parameters that describe the postural control of a person in the performance of condition assessments and can be used in clinical and therapeutic diagnostics.

Bei einer Vielzahl von Krankheiten spielt für Ärzte und Therapeuten die Beurteilung der motorischen Fähigkeiten eines Patienten eine große Rolle, sowohl bei einer initialen, klinischen, als auch einer therapiebegleitenden Diagnostik. Der Aspekt der posturalen Kontrolle, also der Fähigkeit einer Person, eine aufrechte Körperposition beizubehalten, ist dabei häufig von wesentlichem Interesse, da hieraus diagnostische Schlüsse über verschiedene Krankheitsbilder, wie zum Beispiel multiple Sklerose, Parkinsons oder Schlaganfall, gezogen werden können.In a variety of diseases, assessment of a patient's motor skills plays an important role for physicians and therapists, in both initial, clinical, and companion diagnostics. The aspect of postural control, that is, the ability of a person to maintain an upright body position, is often of considerable interest because it can be used to draw diagnostic conclusions about various clinical pictures, such as multiple sclerosis, Parkinson's or stroke.

In der klinischen Routine werden motorische Fähigkeiten mit Hilfe sogenannter Assessments untersucht, kurzen und spezifischen Übungen die eine bestimmte motorische Aufgabe beinhalten. Ein Problem ist hierbei wenn die Beurteilung der posturalen Kontrolle lediglich subjektiv durch das Personal erfolgt. Zum einen kann diese mit bloßem Auge nur grob qualitativ durchgeführt werden, es wird lediglich eine Bewertung in grobe Kategorien vorgenommen. Beispielsweise werden in der Berg-Balance-Skala, einem der etabliertesten Routinetests zur Bewertung des Gleichgewichtsverhaltens, die verschiedenen Teilaufgaben nur in die ganzzahligen Kategorien 0 (schlecht) bis 4 (gut) bewertet. Feinere Änderungen der Symptomatik, zum Beispiel im Laufe einer Therapie, können damit nicht erfasst werden. Zum anderen variieren die erhobenen Beurteilungen stark, sowohl bei einzelnen, als auch zwischen verschiedenen Untersuchern. Damit sind diese nur bedingt vergleich- und für vergleichende oder Verlaufs-Diagnostik verwendbar. Des weiteren können durch Personal nur die offensichtlichsten Eigenschaften der posturalen Kontrolle eines Patienten (zum Beispiel Ganzkörperschwanken oder kompletter Gleichgewichtsverlust) beurteilt werden, die komplexen Muster und Effekte die im Detail auftreten (z. B. Zittern, Ausgleichsbewegungen mit den Armen, langsame Haltungsverlagerungen) bleiben dabei meist unbeachtet.In clinical routine, motor skills are assessed with the help of so-called assessments, short and specific exercises that involve a specific motor task. A problem here is when the assessment of postural control is only subjective by the staff. On the one hand, this can only be carried out roughly qualitatively with the naked eye; only an assessment is made in rough categories. For example, in the Berg Balance Scale, one of the most established routine tests for assessing balance behavior, the various subtasks are evaluated only in the integer categories 0 (poor) to 4 (good). Finer changes in the symptoms, for example during therapy, can not be detected. On the other hand, the assessments made vary widely, both among individuals and between different investigators. Thus, these are only comparatively comparable and suitable for comparative or historical diagnostics. Further, staff can assess only the most obvious characteristics of a patient's postural control (for example, full body sway or complete loss of balance), the complex patterns and effects that occur in detail (eg, tremors, balance movements with the arms, slow postural displacements) mostly unnoticed.

Um die Beurteilung der posturalen Kontrolle von Patienten zu objektivieren und eine detaillierte Quantifikation relevanter motorischer Effekte zu ermöglichen gibt es Ansätze, die Durchführung medizinischer Assessments sensorisch aufzuzeichnen und auszuwerten.In order to objectify the assessment of the postural control of patients and to enable a detailed quantification of relevant motor effects, there are approaches to record and evaluate the performance of medical assessments.

In [ US 53885910 ] wurden für die Beurteilung der posturalen Kontrolle einer stehenden Person Druckmessplatten verwendet, um den Verlauf des Druck-Zentrums der Füße (center of pressure, kurz CoP) über die Zeit aufzuzeichnen, die Ergebnisse grafisch darzustellen, und damit medizinischem Personal detailliertere, wenn auch weiterhin subjektive, Diagnose-relevante Daten zur Verfügung zu stellen.In [ US 53885910 For the assessment of postural control of a standing person, pressure measuring plates were used to record the course of the center of pressure (CoP) over time, graphically display the results, and thus further detail, but continue to provide, medical personnel provide subjective, diagnosis-relevant data.

Eine Weiterentwicklung der Analyse des CoP ist die darauf basierende Approximation des Masse-Zentrums des Körpers der Person (center of mass, kurz CoM). Eine vergleichende Übersicht etablierter Methoden zur Approximation des CoM wird in [ Lafond et al, 2004 ] gegeben. Neben der verbreiteten Nutzung von Druckmessplatten wird hier ebenfalls die Möglichkeit vorgestellt, das CoM mit Hilfe von 3D-Sensorik zu approximieren, indem 16 Körper-Punkte mit optischen Markern versehen und aus verschiedenen Perspektiven von Kameras aufgezeichnet werden. Auf Basis eines Modells der Masseverteilung des menschlichen Körpers wird mit diesen Daten das CoM näherungsweise bestimmt. Dieses Verfahren erfordert allerdings aufwändiges Anbringen und Kalibrieren der optischen Marker am Körper, und ist nur unter Laborbedingungen praktikabel.A further development of the analysis of CoP is the approximation of the mass center of the body of the person based on it (center of mass, CoM for short). A comparative overview of established methods for approximating the CoM is presented in [ Lafond et al, 2004 ] given. In addition to the widespread use of pressure measuring plates, the possibility of approximating the CoM with the aid of 3D sensors is also presented, in that 16 body points are provided with optical markers and recorded from different camera perspectives. On the basis of a model of the mass distribution of the human body, the CoM is approximately determined with this data. However, this procedure requires laborious attachment and calibration of the optical markers on the body, and is only practical under laboratory conditions.

In [ Chaudry et al, 2011 ] werden aktuell bekannte Parameter zur Quantifizierung der posturalen Kontrolle auf Basis von CoP und CoM vorgestellt und verglichen. Ihnen allen ist gemein, dass sie die posturale Kontrolle nur reduziert auf die Gesamt-Körper-Schwankung, abgebildet über einen Körper-Punkt, betrachten, und komplexere Bewegungsmuster (wie zum Beispiel Zittern und Ausgleichsbewegungen mit den Armen) entsprechend nicht abbilden können. Dies gilt ebenso für Schwankungsmessungen wie sie mit tragbaren Beschleunigungs- und Gyoskop-Sensoren in [ Corporaal et al, 2013 ] untersucht werden. In [ US 20110213278 A1 ] wird 'Mobility Lab' beschrieben, ein System tragbarer, drahtlos vernetzter Sensoren mit Beschleunigungs- und Gyroskopfunktionen, welches zusätzlich Plugins für die Durchführung und Auswertung von einem Stand-Assessment, sowie einer Reihe von Gang- und Druck-Assessments bietet. Hierbei wird ebenfalls beim Stand-Assessment lediglich ein Sensor verwendet und somit unter den gleichen Einschränkungen wie bei den zuvor referenzierten Ansätzen operiert. Desweiteren erfordern die Systeme mit tragbaren Sensoren, ähnlich solchen mit optischen Markern, umfangreiche Vorbereitungen und eignen sich somit nicht für den eigenständigen Einsatz, insbesondere nicht durch Patienten zuhause.In [ Chaudry et al, 2011 ], currently known parameters for the quantification of postural control based on CoP and CoM are presented and compared. Common to all of them is that they can only reduce postural control to the total body fluctuation, mapped across a body point, and can not map more complex movement patterns (such as shaking and balance movements with the arms). This also applies to fluctuation measurements as they can be found with portable accelerometer and gyroscope sensors in [ Corporaal et al, 2013 ] to be examined. In [ US 20110213278 A1 ] describes 'Mobility Lab', a system of portable, wirelessly networked sensors with gyroscope acceleration and gyroscope capabilities, which also provides plug-ins for performing and evaluating a stand-up assessment, as well as a range of gait and pressure assessments. In this case, only one sensor is also used in the stand-assessment and thus operated under the same restrictions as in the previously referenced approaches. Furthermore, the systems with portable sensors, similar to those with optical markers, require extensive preparations and are therefore not suitable for independent use, in particular not by patients at home.

Durch das in Anspruch 1 aufgeführte System und das Verfahren in Anspruch 4 wird die Einschränkung bestehender Systeme und Verfahren aufgelöst, dass posturale Kontrolle lediglich über die Gesamt-Körper-Schwankung quantifiziert wird. Durch die Einbeziehung einzelner Körperteile, insbesondere Gliedmaßen, werden zuvor völlig unzugängliche diagnostische Parameter zur Verfügung gestellt. By the system recited in claim 1 and the method in claim 4, the limitation of existing systems and methods is resolved that postural control is quantified only over the total body variation. By including individual body parts, in particular limbs, previously completely inaccessible diagnostic parameters are provided.

Eine Ausführung der Erfindung verwendet ein markerbasiertes 3D-Sensor-System. Bei markerbasierten Systemen können verschiedene Marker an fest definierten Positionen an einer Person angebracht werden, die mit einem Messsystem aus mehreren Sensoren aufgenommen werden. Die Marker sind dabei so angebracht, dass mehrere Marker eine Extremität der Person auf eine festgelegte Art und Weise beschreiben. Die Bewegung der Marker im Raum ist dann vom Messsystem erfassbar und kann von diesem aufgenommen und weiterverarbeitet werden. Durch die festgelegten Positionen der Marker können die menschlichen Gelenke und Extremitäten als Modell abgeleitet und für weitere Verarbeitungen zur Verfügung gestellt werden. Diese Erfindungs-Ausführung hat den Vorteil, dass sehr genau arbeitet, bringt aber eine Reihe von Nachteilen mit sich. So müssen die Marker vor einer Messung aufwändig am Körper angebracht und kalibriert werden, und die Messungen sind räumlich an feste Systeminstallationen gebunden.An embodiment of the invention uses a marker-based 3D sensor system. In marker-based systems, different markers can be attached to a person at fixed positions, which can be recorded with a multi-sensor measurement system. The markers are arranged so that several markers describe a person's limb in a defined manner. The movement of the markers in the room can then be detected by the measuring system and can be recorded and further processed by the measuring system. The defined positions of the markers allow the human joints and extremities to be derived as a model and made available for further processing. This invention embodiment has the advantage that works very accurately, but brings a number of disadvantages. For example, the markers must be laboriously attached and calibrated to the body prior to measurement, and the measurements are spatially bound to fixed system installations.

Eine alternative Ausführung der Erfindung verwendet ein markerloses 3D-Sensor-System. Markerlose Systeme sind beispielsweise eine Kombination von RGB-Video-Kameras, oder 3D Kameras die über ausgesendetes Infrarotlicht ein Tiefenbild der Umgebung erzeugen können. Das Ergebnis dieser Kamerasysteme ist eine Menge von 3D Punkten in rasterisierter Form, sogenannte Tiefenpixel. Der Nachteil dieser Erfindungsausführung ist, dass keine Marker-Informationen zur Identifikation von bestimmten Körperpunkten vorliegen, so dass aus den Tiefenpixel-Bildern mittels Körpermodell-basierter Analyse und/oder Machine Learning Algorithmen zunächst Menschen erkannt und in ein Skelettmodell mit räumlichen Körperpunkten übertragen werden müssen. Für Tiefenbild-Sensoren wie zum Beispiel die Microsoft Kinect gibt es SDKs, welche diese Aufgabe lösen, allerdings sind deren Modellannahmen nicht optimal auf bestimmte Assessments abgestimmt, und man muss z. B. auf Grund von Kleidung mit Ungenauigkeiten beim approximierten Körpermodell rechnen. Diese Ausführung bietet aber den großen Vorteil, dass keinerlei Vorbereitungen für die zu messende Person nötig sind, und diese im Prinzip ohne Betreuung durchgeführt werden kann. Des weiteren gibt es Tiefenbild-Sensoren in sehr kompakten und preiswerten Ausführungen, so dass ein Einsatz im häuslichen Umfeld von Patienten möglich wird.An alternative embodiment of the invention uses a markerless 3D sensor system. Markerless systems are, for example, a combination of RGB video cameras, or 3D cameras that can generate a depth image of the environment via emitted infrared light. The result of these camera systems is a set of 3D points in rasterized form, so-called depth pixels. The disadvantage of this embodiment of the invention is that there is no marker information for the identification of specific body points, so that from the depth pixel images using body model-based analysis and / or machine learning algorithms first people must be recognized and transferred to a skeleton model with spatial body points. For depth image sensors such as the Microsoft Kinect, there are SDKs that solve this problem, but their model assumptions are not optimally matched to specific assessments, and you have z. B. due to clothing with inaccuracies in the approximated body model count. However, this design offers the great advantage that no preparations for the person to be measured are necessary, and this can be carried out in principle without supervision. Furthermore, there are depth image sensors in very compact and inexpensive versions, so that a use in the home environment of patients is possible.

Bei einer weiteren zweckmäßigen Ausführung der Erfindung wird abhängig vom verwendeten Messsystem das Rauschverhalten der einzelnen Körpermesspunkte ausgeglichen. Dafür kann beispielsweise ein 'moving average'- oder ein 'lowpass'-Filter auf jedes Körperpunkt-Signal angewandt werden. Die Länge des moving average Fensters würde sich dabei nach der Abtastrate des Messystems richten und sollte nicht mehr als eine Sekunde betragen. Die Filterungen ermöglichen ein Ausgleich des System-bedingten Rauschens bei gleichzeitigem Erhalt gewünschter Signalcharakteristiken (zum Beispiel Signal-Auslenkungen bei Ausfallschritten und Ausgleichsbewegungen).In a further expedient embodiment of the invention, the noise behavior of the individual body measuring points is compensated depending on the measuring system used. For example, a 'moving average' or a 'lowpass' filter can be applied to any body point signal. The length of the moving average window would depend on the sampling rate of the measuring system and should not exceed one second. The filtering allows for compensation of system-related noise while maintaining desired signal characteristics (for example, signal excursions in case of lunge steps and compensatory movements).

In einer weiteren Ausführung der Erfindung werden alle gemessenen Positionsdaten normalisiert, indem sie in ein uniformes Koordinatensystem transformiert werden, welches über verschiedene Messungen gleich bleibt. Dies ermöglicht eine bessere Vergleichbarkeit zwischen verschiedenen Messungen und ist notwendig für sämtliche Analysen die nicht nur Körper-interne Relationen betrachten. Ein konkretes Beispiel für eine solche Normalisierung ist der Ausgleich von Variationen in der Sensor Ausrichtung in Relation zur gemessenen Person unter Berücksichtigung des horizontalen und vertikalen Winkels des Sensors sowie des Rotationswinkels des Messsubjekts, indem alle Messpunkte durch ausgleichende Rotation transformiert werden.In a further embodiment of the invention, all measured position data are normalized by transforming them into a uniform coordinate system which remains the same over different measurements. This allows better comparability between different measurements and is necessary for all analyzes that do not only consider body-internal relations. A concrete example of such a normalization is the compensation of variations in the sensor orientation in relation to the measured person taking into account the horizontal and vertical angle of the sensor as well as the rotation angle of the measurement subject by transforming all measurement points by compensating rotation.

In einer weiteren Ausführung betrachtet man die Bewegung des Körperpunktes des unteren Rückens im dreidimensionalen Raum. Diese beschreibt das Schwankungsverhalten einer Person, wenn man die Bewegung relativ zu einem Basispunkt betrachtet. Der Basispunkt kann dabei beispielsweise als initiales Lot des Körpers zum Boden, als Mittelpunkt der Füße oder als Mittelpunkt der Knöchel über die Gesamtmessung berechnet werden. Die Bewegung wird anschließend als Vektor vom Basispunkt zum Hüftpunkt beschrieben und kann durch Winkeländerungen das Schwankungsverhalten beschreiben (siehe Zeichnungen 13, 14 und 15). Zusätzlich kann die Bewegung im metrischen Koordinatensystem über Messwerte wie die Geschwindigkeit, Beschleunigung und Auslenkung des Hüftpunktes beschrieben werden. Um die Unabhängigkeit dieser Messwerte von der Höhe des Hüftpunktes zu erreichen werden alle metrischen Messwerte durch diese Höhe normiert.In another embodiment, the movement of the body point of the lower back in three-dimensional space is considered. This describes the fluctuation behavior of a person when looking at the movement relative to a base point. The base point can be calculated, for example, as the initial lot of the body to the ground, as the center of the feet or as the center of the ankle over the total measurement. The movement is then described as a vector from the base point to the hip point and can describe the fluctuation behavior by angle changes (see drawings 13, 14 and 15). In addition, the movement in the metric coordinate system can be described using measured values such as the speed, acceleration and deflection of the hip point. In order to achieve the independence of these measured values from the height of the hip point, all metric measured values are normalized by this height.

In einer weiteren Ausführung werden Ausgleichsbewegungen der Arme betrachtet. Bei abnehmender Balance kann es zu einer Veränderung der Armhaltung und zu Ausgleichsbewegungen der Arme kommen. Dieses Verhalten dient der Stabilisierung des Körpers. Eine Quantifizierung dieser Armbewegungen und Haltung ist möglich durch zum Beispiel die Winkelgeschwindigkeit, -beschleunigung und -auslenkung der Bewegungen. Dafür wird der Armvektor vom Schulterpunkt bis zum Ellenbogenpunkt (siehe Zeichnung 16) bzw. Handpunkt genutzt um die Winkel zwischen den Vektoren einzelner Frames zu berechnen. Alternativ kann auch der Winkel zwischen dem Körpervektor und dem Armvektor als Berechnungsgrundlage genutzt werden.In a further embodiment, compensatory movements of the arms are considered. As the balance diminishes, the arm posture may change and the arms may make compensatory movements. This behavior serves to stabilize the body. Quantification of these arm movements and posture is possible by, for example, the angular velocity, acceleration and displacement of the movements. For this, the arm vector from the shoulder point to the elbow point (see drawing 16) or hand point is used to calculate the angles between the vectors of individual frames. Alternatively, the angle between the body vector and the arm vector can be used as a basis for calculation.

Bei auftretender Instabilität in Stehversuchen kann es zur Ausgleichsbewegungen des Oberkörpers kommen, welche in einer weiteren Ausführung betrachtet werden. Dabei wird der Oberkörper deutlich geneigt um die auftretende Schwankung des Unterkörpers auszugleichen. Diese Ausgleichsbewegungen unterscheiden sich deutlich von einer normalen Pendelbewegung des ganzen Körpers, da sich der Oberkörper stärker und schneller neigt.When occurring instability in standing tests it can lead to compensatory movements of the upper body, which are considered in a further embodiment. The upper body is tilted significantly to compensate for the occurring fluctuation of the lower body. These compensatory movements are clearly different from a normal pendulum motion of the whole body as the upper body tilts more and faster.

In einer weiteren Ausführung werden Ausfallbewegungen der Beine quantifiziert. Wenn es zu einem Verlust der Balance wärend einer Standmessung kommt, reagiert der Körper unterbewusst mit einer Abfangbewegung bei der versucht wird, einen Sturz zu verhindern. Diese Bewegung ist typischerweise ein Ausfallschritt, bei der das Bein versucht den Körper abzufangen. Bei Erkrankungen kann dieses Verhalten verzögert auftreten oder nicht ausreichen um einen Sturz zu verhindern. Um dieses Verhalten quantitativ zu beschreiben werden Messwerte wie die Schrittlänge/-breite, Anzahl der Schritte pro Messung, Reaktionszeit, Geschwindigkeit und Beschleunigung des Fußes genutzt.In a further embodiment, leg movement is quantified. When it comes to a loss of balance during a stance measurement, the body reacts subconsciously with a trapping motion in which an attempt is made to prevent a fall. This movement is typically a lunge in which the leg tries to catch the body. In case of illness, this behavior may be delayed or not sufficient to prevent a fall. To describe this behavior quantitatively, measurements such as step length / width, number of steps per measurement, reaction time, speed and acceleration of the foot are used.

In einem optionalen Verfahrensschritt können erhobene quantitative Werte mit vorher erhobenen Werten aus einer Normkohorte verglichen werden. Diese Werte werden vom System bereit gestellt und dienen der Einordnung der neuen Messwerte zu einer oder mehreren Kontrollgruppen. Der Vergleich kann durch automatische Gruppierungsverfahren wie Klassifikationsverfahren oder Clustering-Verfahren unterstützt werden.In an optional process step, collected quantitative values can be compared with previously obtained values from a standard cohort. These values are provided by the system and are used to classify the new measured values into one or more control groups. The comparison can be supported by automatic grouping methods such as classification methods or clustering methods.

In einer weiteren Ausprägung gibt das System Durchführungsanweisungen an die zu messende Person. Diese muss vorher instruiert werden, wie sie sich während der Messung zu verhalten hat und wie die Messung korrekt durchgeführt wird. Dies kann durch eine weitere Person (Operator) oder durch das System selbst erfolgen. Dabei können visuelle und auditorische Medien (Bild und Ton) eingesetzt werden. Die Instruktionen durch das System können in Kombination mit einem markerlosen Messsystem von einer einzelnen Person allein und selbstständig auch in nicht-klinischen Umgebeungen wie zum Beispiel zuhause durchgeführt werden. Weitere Einsatzmöglichkeiten gibt es im Reha-Umfeld oder Sporteinrichtungen.In a further form, the system gives execution instructions to the person to be measured. This must be instructed in advance, how it has to behave during the measurement and how the measurement is carried out correctly. This can be done by another person (operator) or by the system itself. Visual and auditory media (image and sound) can be used. The instructions provided by the system, in combination with a markerless measurement system, may be performed by a single person alone and independently in non-clinical environments, such as at home. Further applications are available in the rehabilitation environment or sports facilities.

Eine weitere Ausführung betrifft die automatische Überprüfung der Durchführung und entsprechendes Feedback. Damit ein Mindest-Qualitätsstandard für jede Messung eingehalten wird, sollte die Durchführung der Messung vor und während der Aufnahme überprüft, und der Proband auf potentielle Fehlerquellen hingewiesen werden. Dies beinhaltet im besonderen, aber nicht ausschließlich die Überprüfung der Messumgebung auf störende Einflüsse (Lichtquellen, Möbel), der Startposition und -haltung vor und während der Messung, sowie auf Gefahrensituationen (z. b. bei zu großer Instabilität). Die Person kann in einem optionalen Schritt genau darauf hingewiesen werden, wenn die Messung ungültig war und wiederholt werden müsste. Dies ist vor allem in einem Szenario sinnvoll, in dem kein Operator die Messung zusätzlich überprüft.Another embodiment relates to the automatic verification of the implementation and corresponding feedback. In order to maintain a minimum quality standard for each measurement, the performance of the measurement should be checked before and during the recording and the subject should be made aware of potential sources of error. This includes in particular, but not exclusively, the examination of the measuring environment for disturbing influences (light sources, furniture), the starting position and posture before and during the measurement, as well as in dangerous situations (eg in case of too great instability). The person may be alerted in an optional step if the measurement was invalid and should be repeated. This is especially useful in a scenario in which no operator additionally checks the measurement.

I. Beispiel: Quantifizierung der posturalen Kontrolle in der Multiplen Sklerose mittels eines markerlosen TiefensensorsI. Example: Quantification of Postural Control in Multiple Sclerosis Using a Markerless Depth Sensor

I.1 Studien-AufbauI.1 Study Structure

In einer Querschnittsstudie wurden 100 Patienten mit multipler Sklerose mit 60 gesunde Kontrollen (zu Zusammensetzung und Eigenschaften siehe Zeichnung 1) anhand einer Reihe von klinischen Scores und Assessments (siehe Tabelle 1) verglichen. Von diesen wurden 5 Patienten und 1 gesunde Kontrolle wegen nicht MS-assoziierter Behinderungen ausgeschlossen. Alle Personen erteilten eine schriftliche Einverständniserklärung, und das Ethikkomitee der Charité-Universitätsmedizin Berlin genehmigte das Protokoll (EA1/225/12). Score Beschreibung EDSS Expanded Disability Status Scale T25FW Timed 25ft Walk SDMT Symbol Digit Modalities Test LCLA Binocular Low Contrast Letter Acuity with Sloan 2.5% charts WALK-12 MS Gangskala mit 12 Items MSMOTION Kinect-basierte Sammlung von 12 motorischen Assessments SMSW Short Maximum Speed Walk Tabelle 1: Durchgeführte Assessments In a cross-sectional study, 100 patients with multiple sclerosis were compared with 60 healthy controls (see Figure 1 for composition and properties) by a series of clinical scores and assessments (see Table 1). Of these, 5 patients and 1 healthy control were excluded because of non-MS-associated disabilities. All persons gave written informed consent and the ethics committee of Charité-Universitätsmedizin Berlin approved the protocol (EA1 / 225/12). Score description EDSS Expanded Disability Status Scale T25FW Timed 25ft Walk SDMT Symbol Digit Modalities Test LCLA Binocular Low Contrast Letter Acuity with Sloan 2.5% charts WALK-12 MS gear scale with 12 items MSMOTION Kinect-based collection of 12 motor assessments SMSW Short Maximum Speed Walk Table 1: Assessments performed

Insbesondere wurden im Rahmen von MSMOTION drei Assessments der posturalen Kontrolle mit dem System und Verfahren dieser Erfindung durchgeführt und verarbeitet. Es handelte sich dabei um passive Stand Assessments, bei denen der Proband jeweils in offenem, geschlossenem oder Tandem-Stand ohne Einwirkung äußerer Einflüsse ruhig stehen bleiben sollte. Jedes dieser drei Stand Assessments war in zwei Phasen von jeweils 15 Sekunden Länge unterteilt, eine mit offenen Augen, und eine mit geschlossenen Augen. Dabei wurde in der weiteren Auswertung nur die jeweils letzten 12 Sekunden betrachtet, um Übergangsartefakte auszuschließen. Die verschiedenen Stand-Arten und der Assessment-Ablauf sind in Zeichnung 2 dargestellt.In particular, within MSMOTION, three assessments of postural control were performed and processed with the system and method of this invention. These were passive state assessments, in which the subject should stand still in an open, closed or tandem stand without any external influences. Each of these three state assessments was divided into two phases of 15 seconds each, one with open eyes and one with closed eyes. In the further evaluation, only the last 12 seconds were considered in order to rule out transition artifacts. The different species and the assessment process are shown in drawing 2.

I.2 System-Aufbau und DurchführungI.2 System Structure and Implementation

Bei diesen Assessments kam als 3D-Sensor eine Microsoft Kinect zum Einsatz, ein markerloser Tiefensensor mit RGB Kamera, Infrarot Emitter und Infrarot Kamera, welche mit einer Frequenz von 30 Hz Tiefenmasken in einer Auflösung von 320 × 240 Pixeln von ihrem Sichtfeld generiert. Als Mittel zum Ableiten von Informationen von dem Sensor-System kam ein Laptop PC mit Betriebssystem Windows 7 und Kinect Software Development Kit 1.8 zum Einsatz, welches auch die Extraktion der Körperpunkte aus den Tiefenmasken übernahm. Der Aufbau des Kinect Sensors ist in Zeichung 3 dargestellt.These assessments used a Microsoft Kinect 3D sensor, a marker-less depth sensor with RGB camera, infrared emitter and infrared camera, which generates 30 Hz depth masks in a resolution of 320 × 240 pixels from their field of view. As a means for deriving information from the sensor system, a laptop PC with Windows 7 operating system and Kinect Software Development Kit 1.8 was used, which also took over the extraction of the body points from the depth masks. The structure of the Kinect sensor is shown in drawing 3.

Es kam eine speziell entwickelte Software zum Einsatz, welche von einem Operator genutzt wurde, während ein Proband im definierten Abstand von 2 Metern vor dem Sensor das Assessment ausführte. Diese Software zeigte in Echtzeit das vom Sensor empfangene RGB Video an und visualisierte die vom Kinect SDK empfangenen Körperpunkte als Überlagerung des RGB Videos, womit dem Operator eine optische Überprüfung des Personen-Trackings ermöglicht wurde. Desweiteren wurden dem Operator die Durchführungsanweisungen der aktuellen Assessment-Phase angezeigt, welche dieser dem Probanden mitteilte. Der Operator startete jedes Assessment manuell durch Tastendruck, woraufhin die Software ein akustisches Signal abspielte und die Datenaufnahme startete. Anschließend wurde für jede Phase ein Countdown angezeigt, und automatisch zur nächsten Phase gewechselt, bzw. die Aufnahme beendet, wobei bei Phasen-Übergang und Aufnahmeende erneut ein akustisches Signal abgespielt wurde.A specially developed software was used, which was used by an operator, while a test person carried out the assessment at a defined distance of 2 meters in front of the sensor. This software displayed in real time the RGB video received from the sensor and visualized the body points received from the Kinect SDK as a superimposition of the RGB video, allowing the operator to visually verify the person tracking. Furthermore, the operator was shown the implementation instructions of the current assessment phase, which he communicated to the test person. The operator started each assessment manually by pressing a button, whereupon the software played an acoustic signal and started the data acquisition. Then, a countdown was displayed for each phase, and the system automatically skipped to the next phase or stopped recording, with an audible signal playing again at the phase transition and end of recording.

I.3 VorverarbeitungI.3 preprocessing

Die von der Software aufgenommenen Daten wurden auf dem Laptop PC in Form einer Comma-Separated-Value-Datei (.csv) gespeichert. Diese Datei beinhaltet die 3D-Punktkoordinaten jedes Gelenkpunktes über die gesamte Messung. Außerdem ist jedes gemessene Frame mit einer durchlaufenden Nummer und einem Zeitstempel versehen. Die Messdaten wurden zur weiteren Verarbeitung in die MATLAB Software eingelesen. Der räumliche und zeitliche Verlauf der Gelenkpunkte wurde weiterhin als ,Gelenk-Signal' benutzt. Zur Minderung des Rauschens in den Messdaten wurde ein Moving-Average-Filter der Länge 30 (entsprechend 1 s) auf alle 3 Dimensionen jedes Gelenk-Signals angewandt, wie in Zeichnung 4 veranschaulicht.The data recorded by the software was stored on the laptop PC in the form of a comma-separated-value file (.csv). This file contains the 3D point coordinates of each articulation point over the entire measurement. In addition, each measured frame is provided with a consecutive number and a time stamp. The measurement data was read into the MATLAB software for further processing. The spatial and temporal course of the joint points was also used as 'joint signal'. To reduce the noise in the measurement data, a moving average filter of length 30 (corresponding to 1 s) was applied to all 3 dimensions of each joint signal, as illustrated in drawing 4.

Durch die horizontale Ausrichtung des Sensors und die frontale Ausrichtung der Person zum Sensor, musste nur die Neigung des Sensors durch die Normalisierung ausgeglichen werden. Die Neigung des Sensors während der Messungen betrug –9°. Alle Gelenksignale wurden um die X-Achse um 9° rotiert.Due to the horizontal orientation of the sensor and the frontal orientation of the person to the sensor, only the inclination of the sensor had to be compensated by the normalization. The inclination of the sensor during the measurements was -9 °. All joint signals were rotated 9 degrees around the X axis.

I.4 QuantifizierungI.4 Quantification

Um die Schwankungsvektoren des Körpers zu bestimmen wurde zuerst der Ausgangspunkt der Vektoren berechnet. Dafür wurde die mittlere Position von beiden Knöcheln über die gesamte Messung bestimmt. Ausgehend von diesem Punkt wurde für jeden Messzeitpunkt ein Vektor zum Hüft-(Mittel-)Punkt bestimmt. Anschließend wurden die Winkel zwischen zeitlich aufeinanderfolgenden Vektoren in den 2D-Projektions-Ebenen (XY und ZY, siehe Zeichnungen 13 und 14) und im 3D Raum (siehe Zeichnung 15) berechnet. Um die Geschwindigkeit des Schwankungsverhaltens zu ermitteln, wurde die Differenz aufeinanderfolgender Winkel berechnet, welche die Winkelgeschwindigkeiten der Schwankungsvektoren während der Messungen repräsentieren. Der Mittelwert der Winkelgeschwindigkeit einer Messung dient in diesem Beispiel als Quantifizierung und Vergleichswert des Schwankungsverhaltens zur Normkohorte.In order to determine the fluctuation vectors of the body, the origin of the vectors was first calculated. For this, the mean position of both ankles was determined over the entire measurement. Starting from this point, a vector for the hip (middle) point was determined for each measurement time point. Subsequently, the angles between temporally successive vectors were calculated in the 2D projection planes (XY and ZY, see drawings 13 and 14) and in 3D space (see drawing 15). In order to determine the speed of the fluctuation behavior, the difference of successive angles representing the angular velocities of the fluctuation vectors during the measurements was calculated. The mean value of the angular velocity of a measurement serves in this example as quantification and comparison value of the fluctuation behavior to the norm cohort.

Zwecks Quantifizierung der Ausgleichsbewegungen der Arme wurde ähnlich dem eben beschriebenen Algorithmus die mittlere Winkelgeschwindigkeit der Armbewegungen für den rechten und linken Arm bestimmt. Die Winkelauslenkung wurde dabei durch einen Vektor ausgehend vom Schulterpunkt bis zum Ellenbogenpunkt des jeweiligen Armes beschrieben (siehe Zeichnung 16). In order to quantify the balance movements of the arms, similar to the algorithm just described, the average angular velocity of the arm movements for the right and left arms was determined. The angular deflection was described by a vector from the shoulder point to the elbow point of the respective arm (see drawing 16).

I.5 ErgebnisseI.5 results

In Zeichnung 5 ist ersichtlich, dass bereits die Körperschwankungs-Quantifizierung der in der Studie eingesetzten Ausprägung dieser Erfindung signifikante Unterschiede zwischen den Gruppen der gesunden Kontrollen und der MS-Patienten abbildet. Dabei weisen diese Parameter insbesondere für den geschlossneen Stand eine sehr gute Reliabilität auf, wie in Tabelle 2 ersichtlich ist, in welcher die Intraclass Correlation Coefficients (ICCs) von 35 gesunde Kontrollen und 18 MS-Patienten mit jeweils 3 Wiederholungsmessungen aufgelistet sind. Parameter ICC Offene Augen Pitch Speed 0,927 Roll Speed 0,900 3D Speed 0,943 Geschlossene Augen Pitch Speed 0,968 Roll Speed 0,933 3D Speed 0,971 Tabelle 2: Reliabilität (ICC) bei geschlossenem Stand In Figure 5, it can be seen that even the body fluctuation quantification of the expression of this invention used in the study reflects significant differences between the groups of healthy controls and MS patients. These parameters, especially for the closed state, have a very good reliability, as can be seen in Table 2, which lists the Intraclass Correlation Coefficients (ICCs) of 35 healthy controls and 18 MS patients, each with 3 replicate measurements. parameter ICC Open eyes Pitch speed 0.927 Roll speed 0.900 3D speed 0.943 Closed eyes Pitch speed 0.968 Roll speed 0.933 3D speed 0.971 Table 2: Reliability (ICC) when closed

In Zeichnung 6 sieht man die Verteilung der Gruppen als Histogramm über die 3D-Körperschwankungs-Geschwindigkeit bei geschlossenem Stand mit offenen Augen, wobei 22 MS-Patienten (23,2%) über der 95ten Perzentile liegen und 7 MS-Patienten (7,4%) über der 99ten. In Zeichnung 7 ist dies für geschlossene Augen dargestellt, wobei 33 MS-Patienten (34,7%) über der 95ten Perzentile liegen und 30 MS-Patienten (31,6%) sogar über der 99ten.In Figure 6, the distribution of the groups is shown as a histogram of closed-position 3D body velocity with open eyes, with 22 MS patients (23.2%) above the 95th percentile and 7 MS patients (7.4 %) over the 99th. In Figure 7 this is shown for closed eyes, with 33 MS patients (34.7%) above the 95th percentile and 30 MS patients (31.6%) even above the 99th.

In Zeichnung 8 sind für alle gesunden Kontrollen und MS-Patienten die 3D-Körperschwankungs-Geschwindigkeit gegen die Geschwindigkeit der Arm-Ausgleichsbewegungen im geschlossenen Stand mit offenen Augen abgetragen, in Zeichnung 9 mit geschlossenen Augen. Aus diesen ist ersichtlich, dass MS-Patienten im geschlossenen Stand sowohl mit offenen (p-Wert von 0,013), als auch geschlossenen Augen (p-Wert von 0,001) signifikant stärkere Ausgleichsbewegungen mit den Armen aufweisen.In Figure 8, for all healthy controls and MS patients, the 3D body velocity is plotted against the speed of arm balance movements in the closed state with eyes open, in Drawing 9 with eyes closed. From these, it can be seen that MS patients with open (p-value of 0.013) as well as closed-eyes (p-value of 0.001) in closed position have significantly greater compensatory movements with the arms.

Wie in Tabelle 3 ersichtlich ist, gab es keine signifikante Korrelation der 3D-Körperschwankungs-Geschwindigkeiten mit Alter, Größe oder BMI. 3D-Geschwindigkeit, Offene Augen 3D-Geschwindigkeit, Geschlossene Augen Alter 0,363 0,123 Größe 0,968 0,284 BMI 0,460 0,376 Tabelle 3: Korrelations-Signifikanz nach Pearson As can be seen in Table 3, there was no significant correlation of age, height or BMI 3D body rate. 3D speed, open eyes 3D speed, closed eyes Age 0.363 0.123 Size 0.968 0,284 BMI 0.460 0,376 Table 3: Correlation significance according to Pearson

In Tabelle 4 wird die Korrelation der 3D-Körperschwankungs-Geschwindigkeit im geschlossenen Stand mit den verschiedenen, in Tabelle 1 dargestellten, erhobenen klinischen Scores gezeigt. Insgesamt sind die Korrelationen mit Gang-, Motorik-, visuellen, zerebellären und umfassenden Erkrankungs-Scores moderat bis gut, mit meist hoher Signifikanz. Die Korrelation zwischen EDSS und der 3D-Körperschwankungs-Geschwindigkeit im geschlossenen Stand mit geschlossneen Augen wird in Zeichnung 10 illustriert.Table 4 shows the correlation of closed-state 3D body velocity with the various clinical scores recorded in Table 1. Overall, the correlations with gait, motor skills, visual, cerebellar and comprehensive disease scores are moderate to good, mostly of high significance. The correlation between EDSS and the closed loop 3D body sway speed with closed eyes is illustrated in FIG.

Zusammenfassung Zusammenfassend lässt sich sagen, dass die in diesem Beispiel dargestellte und untersuchte Ausprägung der Erfindung unter Verwendung einer Kinect als markerlosen Tiefensensor als klinisch relevant validiert wurde, wobei die Untersuchung des geschlossenen Standes sich als effektivste unter den durchgeführten Stand-Assessments für die Studien-Kohorte erwies. Etwa 30% der MS Patienten zeigten eine passive posturale Kontroll-Stabilität außerhalb der 99ten Perzentile von gesunden Kontrollen, ebenso wie einen deutlich erhöhten Umfang von Ausgleichsbewegungen mit den Armen. Des weiteren wurde gezeigt, dass diese diagnostisch relevanten Ergebnisse bereits mit dem minimalem Aufwand von 30 Sekunden mit geschlossenen Füßen vor dem Sensor stehen erzielt werden können, ohne dass irgendeine Vorbereitung der zu messenden Person erfolgen muss. Somit erwies sich diese Ausprägung der Erfindung als effektive Lösung zur umfassenden Quantifizierung der posturalen Kontrolle, sowohl unter Betrachtung ihrer klinischen Bedeutung, als auch der Handhabbarkeit bei der Messdurchführung. Offene Augen Geschlossene Augen EDSS 0,458 *** 0,531 *** EDSS ce 0,520 *** 0,568 *** EDSS wd –0,309 ** –0,366 *** T25FT 0,318 ** 0,331 *** LCLA –0,223 * o SDMT –0,229 * o WALK-12 0,340 *** 0,478 *** SMSW –0,332 *** o Tabelle 4: Korrelation der 3D-Geschwindigkeit mit Scores des Erkrankungsgrades beim geschlossenen Stand EDSS ce = cerebellar, wd = walking distance
o) nicht signifikant *) p < 0.05 **) p < 0.01 ***) p < 0.001 Summary In summary, the expression of the invention presented and tested in this example using a Kinect as a markerless depth sensor was validated as clinically relevant, with closed-state examination being the most effective of the study cohort's stand assessments proved. Approximately 30% of MS patients showed passive postural control stability outside the 99th percentile of healthy controls, as well as significantly increased levels of compensatory movement with the arms. Furthermore, it was shown that these diagnostically relevant results can already be achieved with the minimum effort of 30 seconds with the feet closed in front of the sensor, without any preparation of the person to be measured. Thus, this aspect of the invention proved to be an effective solution for comprehensively quantifying postural control, both in terms of its clinical significance and handleability in measurement performance. Open eyes Closed eyes EDSS 0.458 *** 0.531 *** EDSS ce 0.520 *** 0.568 *** EDSS wd -0,309 ** -0.366 *** T25FT 0,318 ** 0,331 *** LCLA -0.223 * O SDMT -0.229 * O WALK-12 0,340 *** 0.478 *** SMSW -0.332 *** O Table 4: Correlation of the 3D velocity with scores of the degree of disease in the closed state EDSS ce = cerebellar, wd = walking distance
o) not significant *) p <0.05 **) p <0.01 ***) p <0.001

ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant has been generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

US 53885910 [0005]
US 20110213278 A1 [0007]

Zitierte Nicht-PatentliteraturCited non-patent literature

Lafond et al., 2004 [0006]
Chaudry et al, 2011 [0007]
Corporaal et al, 2013 [0007]

Claims

System for the quantitative assessment of postural control of persons performing stance assessments, comprising: • a 3D sensor system for measuring the spatial position of a person's body parts over time, • means for deriving information from the sensor, System, • means for displaying and playing audio-visual information, • means for determining quantitative parameters, characterized in that the means for determining quantitative parameters are those for the fluctuation behavior of the entire body as well as for individual body parts, in particular limbs, certainly.

System according to claim 1, characterized in that a marker-based sensor system is used.

System according to claim 1, characterized in that a markerless sensor system is used.

Method for determining quantitative parameters from three-dimensional position data of body parts of a standing person over time, characterized in that both the fluctuation behavior of the body as a whole and the movements of individual body parts, in particular limbs, are quantified.

A method according to claim 4, characterized in that the three-dimensional position data before its analytical processing noise and error-adjusted.

Method according to claim 4 or 5, characterized in that the three-dimensional position data are transformed prior to their analytical processing into a reference coordinate system which is uniform over all measurements.

Method according to one of the preceding claims, characterized in that quantitative parameters for describing the postural control are generated by the course of the posture of the upper body.

Method according to one of the preceding claims, characterized in that quantitative parameters for describing the postural control are generated by the course of the positions of elbows and / or hands.

Method according to one of the preceding claims, characterized in that quantitative parameters for describing the postural control are generated by the course of the positions of knees and / or feet.

A system according to claim 3, characterized in that the system during the measurement in real time checks the correct execution, and to a performer or the measured person, textually, visually or auditorially appropriate feedback for implementation.