DE102022112008A1

DE102022112008A1 - Verfahren, System und Computerprogrammprodukt zur Analyse und Bewertung von Bewegungsabläufen eines beweglichen Körpers

Info

Publication number: DE102022112008A1
Application number: DE102022112008.2A
Authority: DE
Inventors: Nadin-Katrin Apel; Lara Fernandez Menuzzi
Original assignee: Dr Ing HCF Porsche AG
Current assignee: Dr Ing HCF Porsche AG
Priority date: 2022-05-13
Filing date: 2022-05-13
Publication date: 2023-11-16

Abstract

Die Erfindung betrifft ein Verfahren zur Analyse und Bewertung von Bewegungsabläufen eines beweglichen Körpers eines Individuums, umfassend:- Bereitstellen von Daten von Bilddaten zumindest einer Kamera eines Kamerasystems und/oder aus einer Datenbank durch ein Eingabemodul, wobei die Bilddaten während der Durchführung von zumindest einer Körperübung des Individuums in einer zeitlichen Sequenz aufgenommen und an das Eingabemodul in Echtzeit gesendet werden, und wobei die Bilddaten Messergebnisse von Merkmalen des beweglichen Körpers des Individuums wie Bewegungsabläufe und Körperhaltungen repräsentieren;- Analysieren und Klassifizieren der Daten zur Extraktion von Merkmalen des beweglichen Körpers;- Vergleichen der extrahierten Merkmale mit den Referenzmerkmalen zur Erstellung von modifizierten Merkmalen;- Generieren von Ausgabedaten aus den extrahierten Merkmalen und den modifizierten Merkmalen, wobei die Ausgabedaten einen Hinweis oder eine Anweisung zur Änderung der extrahierten Merkmale enthalten, insbesondere in Form von Bildern, Graphiken, Videosequenzen, akustischen Sequenzen, Textbausteinen, Hologrammen, und/oder Power-Point-Präsentationen.

Description

Die Erfindung betrifft ein Verfahren, ein System und ein Computerprogrammprodukt zur Analyse und Bewertung von Bewegungsabläufen eines beweglichen Körpers eines Individuums.
Es ist allgemein bekannt, dass Bewegung für die Gesundheit eines Menschen sehr wichtig ist. Allerdings werden zunehmend Tätigkeiten am Schreibtisch durchgeführt, und dies bedeutet, dass die Bewegung während des Arbeitens sehr eingeschränkt ist. Es gibt daher zunehmend Bestrebungen, sitzende Tätigkeiten durch Bewegungsübungen zu unterbrechen. Durch die fortschreitende Digitalisierung im Gesundheitswesen (Digital Health) werden zunehmend Softwareapplikationen (Apps) entwickelt, die Hinweise und Übungen angeben, mit denen physiotherapeutische Übungen durchgeführt werden können. Auch wird bei einigen dieser Apps dem Nutzer ein Feedback gegeben, ob die Übungen von einem Nutzer auch korrekt durchgeführt werden, wie dies in realen Übungseinheiten üblich ist. Allerdings ist die Fehlerquote bei dieser Art von Feedback recht hoch, da die Bewegungsabläufe einer die Übungen durchführenden Person nur ungenau erkannt werden aufgrund der Verwendung von einfachen Erkennungsalgorithmen. Ein unzureichendes Feedback kann jedoch zu fehlerhaften Bewegungsabläufen führen, die langfristig Fehlhaltungen des Bewegungsapparates zur Folge haben können. Des Weiteren werden mögliche Einschränkungen einer Person hinsichtlich seiner Bewegungsfähigkeit aufgrund seiner Gesundheitshistorie nur sehr ungenau berücksichtigt, so dass diese Gesundheitsapps für anspruchsvolle physiotherapeutische Übungen, insbesondere zu Rehabilitationszwecken, kaum einsetzbar sind, da gerade in diesen sensiblen Bereichen eine sehr korrekte und maßgeschneiderte Durchführung von physiotherapeutischen Übungen erforderlich ist, um das jeweilige Therapieziel zu erreichen.
Die DE 11 2019 006 278 T5 offenbart ein System und ein Telemedizin-Trainingsverfahren, wobei einem Benutzer über ein Display eine Anleitung für eine Übung angezeigt wird. Der Benutzer wird bei der Ausführung der Übung von einer Kamera aufgenommen und basierend auf den Aufnahmen des Benutzers werden Anweisungen ausgegeben.
Die US 11037369 B2 offenbart ein Verfahren zur Erfassung und Analyse einer Bewegung einer Person, wobei die Bewegung der Person durch eine Kamera und gegebenenfalls durch einen am Körperteil der Person getragenen Sensor erfasst wird.
Die US 2016/129335 A1 offenbart ein Rehabilitationssystem, wobei über eine Kamera die Bewegungen einer eine Übung ausführenden Personen erfasst sowie analysiert werden. Der Person wird angezeigt, ob die Übung korrekt oder nicht korrekt ausgeführt wurde.
Die US 2014/081661 A1 offenbart ein Verfahren zur Überwachung, Durchführung und Verwaltung von Physiotherapie und Krafttraining, wobei die Bewegungen eines Benutzers während eines vorgeschriebenen Übungs- und Therapieschemas mithilfe eines dreidimensionalen Bewegungssensors erfasst werden, und wobei dem Benutzer über eine interaktive Benutzeroberfläche Anweisungen zur Durchführung der Übungen angezeigt werden und der Benutzer ein Echtzeit-Feedback während der Übung erhält.
Die WO 2014/104463 A1 offenbart ein Gesundheit- und Rehabilitationssystem, wobei eine Anleitung über einen Monitor ausgegeben wird, die Bewegungen eines Patienten erfasst werden und die erfassten Bewegungen des Patienten in Echtzeit analysiert werden.
Die US 2015/004581 A1 offenbart ein Verfahren zur Erteilung von Anweisungen für eine Physiotherapie, wobei dem Benutzer Anweisungen zur Durchführung einer Übung über ein Display ausgegeben werden, die Bewegungen des Benutzers erfasst und basierend auf den erfassten Bewegungen des Benutzers die Wirksamkeit einer Therapie bestimmt wird.
Die US 111330962 B2 offenbart ein Verfahren zur Analyse einer Bewegung eines eine physiotherapeutische Übung durchführenden Patienten, wobei eine Anweisung an den Patienten ausgegeben wird, die Bewegung oder Aktion des Patienten als Reaktion auf die Anweisung erfasst wird, ein Vergleich zwischen der Anweisung an den Patienten und der Bestimmung der Bewegung oder Aktion des Patienten durchgeführt und eine Rückmeldungsanzeige für den Patienten bereitgestellt wird.
Die der Erfindung zu Grunde liegende Aufgabe besteht nun darin, Möglichkeiten zur verbesserten Analyse und Bewertung von Bewegungsabläufen eines beweglichen Körpers eines Individuums anzugeben.
Diese Aufgabe wird hinsichtlich eines Verfahrens durch die Merkmale des Patentanspruchs 1, hinsichtlich eines Systems durch die Merkmale des Patentanspruchs 10, und hinsichtlich eines Computerprogrammprodukts durch die Merkmale des Patentanspruchs 12 erfindungsgemäß gelöst. Die weiteren Ansprüche betreffen bevorzugte Ausgestaltungen der Erfindung.
Durch die vorliegende Erfindung kann die Analyse eines Bewegungsablaufs insbesondere bei einer physiotherapeutischen Übung durch den Einsatz von Algorithmen der künstlichen Intelligenz deutlich verbessert werden. Durch den Vergleich des analysierten Bewegungsablaufs mit Referenzdaten kann eine Bewertung des Bewegungsablaufs durchgeführt werden, und auf dieser Grundlage können Hinweise und Vorschläge für einen geänderten Bewegungsablauf erstellt werden.
Gemäß einem ersten Aspekt stellt die Erfindung ein Verfahren zur Analyse und Bewertung von Bewegungsabläufen eines beweglichen Körpers eines Individuums bereit. Das Verfahren umfasst die Verfahrensschritte:

- Bereitstellen von Daten von zumindest einer Kamera eines Kamerasystems und/oder aus einer Datenbank durch ein Eingabemodul, wobei die Bilddaten während der Durchführung von zumindest einer Körperübung des Individuums in einer zeitlichen Sequenz aufgenommen und an das Eingabemodul in Echtzeit gesendet werden, und wobei die Bilddaten Messergebnisse von Merkmalen des beweglichen Körpers des Individuums wie Bewegungsabläufe und Körperhaltungen repräsentieren;
- Weitergeben der Daten an ein Analysemodul, wobei das Analysemodul Algorithmen der künstlichen Intelligenz verwendet;
- Analysieren und Klassifizieren der Daten zur Extraktion von Merkmalen des beweglichen Körpers;
- Weitergeben der extrahierten Merkmale an ein Vergleichsmodul, wobei das Vergleichsmodul Referenzmerkmale umfasst und Algorithmen der künstlichen Intelligenz verwendet;
- Vergleichen der extrahierten Merkmale mit den Referenzmerkmalen zur Erstellung von modifizierten Merkmalen;
- Weitergeben der extrahierten Merkmale und der modifizierten Merkmale an ein Ausgabemodul, wobei das Ausgabemodul Algorithmen der künstlichen Intelligenz verwendet;
- Generieren von Ausgabedaten aus den extrahierten Merkmalen und den modifizierten Merkmalen, wobei die Ausgabedaten einen Hinweis oder eine Anweisung zur Änderung der extrahierten Merkmale enthalten, insbesondere in Form von Bildern, Graphiken, Videosequenzen, akustischen Sequenzen, Textbausteinen, Hologrammen, und/oder Power-Point-Präsentationen.

In einer Weiterbildung ist vorgesehen, dass die Kamera des Kamerasystems als bildaufnehmende 2D/3D-Kamera im sichtbaren Bereich ausgebildet ist.
In einer vorteilhaften Ausführungsform ist vorgesehen, dass das Analysemodul zur Extraktion und Klassifikation von Merkmalen des beweglichen Körpers Algorithmen zur Erkennung von menschlichen Bewegungsaktivitäten (Human Activity Recognition, HAR) verwendet.
In einer weiteren Ausführungsform ist vorgesehen, dass die Algorithmen zur Erkennung von menschlichen Bewegungsaktivitäten (Human Activity Recognition, HAR) zumindest ein neuronales Netzwerk verwenden.
In einer Weiterbildung ist vorgesehen, dass das Analysemodul und das Vergleichsmodul mit Trainingsdaten trainiert werden, die aus den gesammelten Daten von verschiedenen Individuen bestehen, die während der Durchführung von Bewegungsabläufen aufgenommen wurden.
Insbesondere werden die Referenzmerkmale von dem Analysemodul aus den Trainingsdaten abgeleitet und an das Vergleichsmodul weitergegeben.
In einer weiteren Ausführungsform ist vorgesehen, dass die Algorithmen der künstlichen Intelligenz des Analysemoduls, des Vergleichsmoduls und des Ausgabemoduls zumindest ein neuronales Netzwerk umfassen, wobei das neuronale Netzwerk als tiefes neuronales Netzwerk und/oder rückgekoppeltes neuronales Netzwerk (Recurrent Neural Network) und/oder gefaltetes neuronales Netzwerk (Convolutional Neural Networks) ausgebildet ist.
Insbesondere stellt zumindest ein Merkmal einen Parameter und/oder einen Parameterwert und/oder eine Eigenschaft des beweglichen Körpers wie eine Dimension, einen Kennwert, eine Formgebung, einen Winkel, eine Körpergröße, ein Körpergewicht, eine Körperform, eine grafische Darstellung von Körperteilen, eine Gesichtsform, eine räumliche Anordnung von Körpermerkmalen wie Augen und Nase, ein Geschlecht, ein Alter, und/oder einen Sicherheitsfaktor dar.
Gemäß einem zweiten Aspekt stellt die Erfindung ein System zur Analyse und Bewertung von Bewegungsabläufen eines beweglichen Körpers eines Individuums bereit. Das System umfasst ein Kamerasystem mit zumindest einer Kamera, ein Eingabemodul, ein Analysemodul, ein Vergleichsmodul und ein Ausgabemodul. Das Kamerasystem ist ausgebildet, Bilddaten während der Durchführung von zumindest einer Körperübung des Individuums in einer zeitlichen Sequenz aufzunehmen und an ein Eingabemodul in Echtzeit zu senden, wobei die Bilddaten Messergebnisse von Merkmalen des beweglichen Körpers des Individuums wie Bewegungsabläufe und Körperhaltungen repräsentieren. Das Eingabemodul ist ausgebildet ist, Daten aus den Bilddaten und/oder aus Daten einer Datenbank zu generieren und die Daten an das Analysemodul weiterzugeben. Das Analysemodul ist ausgebildet ist, Algorithmen der künstlichen Intelligenz zu verwenden zum Analysieren und Klassifizieren der Daten zur Extraktion von Merkmalen des beweglichen Körpers, und die extrahierten Merkmale an das Vergleichsmodul weiterzugeben; wobei das Vergleichsmodul Referenzmerkmale umfasst und ausgebildet ist, Algorithmen der künstlichen Intelligenz zu verwenden zum Vergleichen der extrahierten Merkmale mit den Referenzmerkmalen zur Erstellung von modifizierten Merkmalen und die extrahierten Merkmale und die modifizierten Merkmale an das Ausgabemodul weiterzugeben. Das Ausgabemodul ist ausgebildet ist, Algorithmen der künstlichen Intelligenz zu verwenden zum Generieren von Ausgabedaten aus den extrahierten Merkmalen und den modifizierten Merkmalen, wobei die Ausgabedaten einen Hinweis oder eine Anweisung zur Änderung der extrahierten Merkmale enthalten, insbesondere in Form von Bildern, Graphiken, Videosequenzen, akustischen Sequenzen, Textbausteinen, Hologrammen, und/oder Power-Point-Präsentationen.
In einer Weiterentwicklung ist vorgesehen, dass die Kamera des Kamerasystems als bildaufnehmende 2D/3D-Kamera ausgebildet ist.
In einer vorteilhaften Ausführungsform ist vorgesehen, dass die Algorithmen der künstlichen Intelligenz des Analysemoduls, des Vergleichsmoduls und des Ausgabemoduls zumindest ein neuronales Netzwerk umfassen, wobei das neuronale Netzwerk als tiefes neuronales Netzwerk und/oder rekurrentes neuronales Netzwerk und/oder gefaltetes neuronales Netzwerk (Convolutional Neural Networks) ausgebildet ist.
Gemäß einem dritten Aspekt stellt die Erfindung ein Computerprogrammprodukt bereit, das einen ausführbaren Programmcode umfasst, der so konfiguriert ist, dass er bei seiner Ausführung das Verfahren gemäß dem ersten Aspekt ausführt.
Nachfolgend wird die Erfindung anhand von in der Zeichnung dargestellten Ausführungsbeispielen näher erläutert.
Dabei zeigt:

1 ein Blockdiagramm zur Erläuterung eines Ausführungsbeispiels eines erfindungsgemäßen Systems;
2 ein Flussdiagramm zur Erläuterung der einzelnen Verfahrensschritte eines erfindungsgemäßen Verfahrens;
3 ein Blockdiagramm eines Computerprogrammprodukt gemäß einer Ausführungsform des dritten Aspekts der Erfindung.

Zusätzliche Kennzeichen, Aspekte und Vorteile der Erfindung oder ihrer Ausführungsbeispiele werden in der nachfolgenden Beschreibung in Verbindung mit den Ansprüchen erläutert.
Das erfindungsgemäße System 100 umfasst ein Eingabemodul 200, ein Analysemodul 300, ein Vergleichsmodul 400 und ein Ausgabemodul 500. Das Eingabemodul 200, das Analysemodul 300, das Vergleichsmodul 400 und das Ausgabemodul 500 können jeweils mit einem Prozessor und/oder einer Speichereinheit versehen sein. Das Analysemodul 300 und das Vergleichsmodul 400 können als selbstständige Rechnereinheiten oder als cloudbasierte Lösung ausgebildet sein.
Unter einem „Prozessor“ kann im Zusammenhang mit der Erfindung beispielsweise eine Maschine oder eine elektronische Schaltung verstanden werden. Bei einem Prozessor kann es sich insbesondere um einen Hauptprozessor (engl. Central Processing Unit, CPU), einen Mikroprozessor oder einen Mikrocontroller, beispielsweise eine anwendungsspezifische integrierte Schaltung oder einen digitalen Signalprozessor, möglicherweise in Kombination mit einer Speichereinheit zum Speichern von Programmbefehlen, etc. handeln. Auch kann unter einem Prozessor ein virtualisierter Prozessor, eine virtuelle Maschine oder eine Soft-CPU verstanden werden. Es kann sich beispielsweise auch um einen programmierbaren Prozessor handeln, der mit Konfigurationsschritten zur Ausführung des genannten erfindungsgemäßen Verfahrens ausgerüstet wird oder mit Konfigurationsschritten derart konfiguriert ist, dass der programmierbare Prozessor die erfindungsgemäßen Merkmale des Verfahrens, der Entität, der Module, oder anderer Aspekte und/oder Teilaspekte der Erfindung realisiert. Insbesondere kann der Prozessor hochparallele Recheneinheiten und leistungsfähige Grafikmodule enthalten.
Unter einer „Speichereinheit“ oder „Speichermodul“ und dergleichen kann im Zusammenhang mit der Erfindung beispielsweise ein flüchtiger Speicher in Form eines Arbeitsspeichers (engl. Random-Access Memory (RAM)) oder ein dauerhafter Speicher wie eine Festplatte oder ein Datenträger oder z. B. ein wechselbares Speichermodul verstanden werden. Es kann sich bei dem Speichermodul aber auch um eine cloudbasierte Speicherlösung handeln.
Unter einem „Modul“ kann im Zusammenhang mit der Erfindung beispielsweise ein Prozessor und/oder eine Speichereinheit zum Speichern von Programmbefehlen verstanden werden. Beispielsweise ist der Prozessor speziell dazu eingerichtet, die Programmbefehle derart auszuführen, damit der Prozessor und/oder die Steuereinheit Funktionen ausführt, um das erfindungsgemäße Verfahren oder einen Schritt des erfindungsgemäßen Verfahrens zu implementieren oder realisieren.
Das Eingabemodul 200 kann in einem Computer, einem Tablet, einem Smartphone, etc. integriert sein und weist eine Benutzerschnittstelle 210 zur Eingabe von Daten wie Bildern, Graphiken, Diagrammen, Zeitreihen, etc. auf.
Zudem ist das Eingabemodul 200 mit einem Kamerasystem 700 mit zumindest einer Kamera verbunden, das Bilddaten 720 während der Durchführung von zumindest einer Körperübung eines Individuums in einer zeitlichen Sequenz aufnimmt und in Echtzeit an das Eingabemodul 200 sendet. Bei den Körperübungen des Individuums handelt es sich insbesondere um physiotherapeutische Bewegungen oder Yogaübungen einer Person zur Verbesserung der Beweglichkeit und der geistigen Konzentration. Das Kamerasystem 700 umfasst zumindest eine bildaufnehmend 2D/3D-Kameraim sichtbaren Bereich. Die Bilddaten 720 werden in einer zeitlichen Sequenz aufgenommen und repräsentieren Messergebnisse von Merkmalen f_i des Körpers 10 des Individuums wie Bewegungsabläufe und Körperhaltungen.
Bei den Merkmalen f_i handelt es sich insbesondere um einen Parameter und/oder einen Parameterwert und/oder eine Eigenschaft des Körpers 10 des Individuums wie eine Dimension, einen Kennwert, eine Formgebung, einen Winkel, eine Körpergröße, ein Körpergewicht, eine Körperform, eine grafische Darstellung von Körperteilen, eine Gesichtsform, eine räumliche Anordnung von Körpermerkmalen wie Augen und Nase, ein Geschlecht, ein Alter, einen Ausbildungsgrad und/oder einen Sicherheitsfaktor.
Zudem kann das Eingabemodul mit einer Datenbank 750 verbunden sein, in welcher Daten mit Angaben zum Gesundheitszustand des Individuums abgelegt sind sowie weitere Identifikationsdaten wie ein Geschlecht, ein Alter, einen Ausbildungsgrad und/oder einen Sicherheitsfaktor.
Unter „Daten“ sind im Zusammenhang mit der Erfindung sowohl Rohdaten als auch bereits aufbereitete Daten zu verstehen.
Die Daten 220 aus den Bilddaten 720 und/oder der Datenbank 750 werden an das Analysemodul 300 weitergegeben. Dabei können neben drahtgebundene auch drahtlose Verbindungen vorgesehen sein. Eine drahtlose Kommunikationsverbindung ist insbesondere als Mobilfunkverbindung und/oder einer Nahfeldkommunikationsverbindung wie Bluetooth^®, Ethernet, NFC (near field communication) oder Wi-Fi® ausgebildet.
Das Analysemodul 300 umfasst Algorithmen der künstlichen Intelligenz wie insbesondere neuronale Netzwerke und analysiert und klassifiziert die Daten 220, um daraus Merkmale fx_i des Körpers 10 zu extrahieren. Diese extrahierten Merkmale fx_i werden von dem Analysemodul 300 an das Vergleichsmodul 400 weitergegeben. Das Vergleichsmodul 400 enthält Referenzmerkmale tr_i zu Parametern und/oder Parameterwerten und/oder Eigenschaft eines spezifizierten idealisierten Körpers. Mittels Algorithmen der künstlichen Intelligenz erstellt das Vergleichsmodul 400 durch einen Vergleich der extrahierten Merkmale fx_i mit den Referenzmerkmalen fr_i modifizierte Merkmale fm_i, die zusammen mit den extrahierten Merkmalen fx_i an das Ausgabemodul 500 weitergegeben werden. Das Ausgabemodul 500 verwendet Algorithmen der künstlichen Intelligenz, um Ausgabedaten 550 aus den extrahierten Merkmalen fx_i und den modifizierten Merkmalen fm_i zu generieren.
Das Ausgabemodul 500 kann ebenfalls in einem Hardwaregerät wie einem Computer, einem Tablet, einem Smartphone, etc. integriert sein, wobei insbesondere das Hardwaregerät für das Eingabemodul 200 und das Ausgabemodul 500 identisch sind.
Diese Ausgabedaten 550 enthalten einen Hinweis oder eine Anweisung zur Änderung der extrahierten Merkmale fx_i und können in Form von Bildern, Graphiken, Videosequenzen, akustischen Sequenzen, Textbausteinen, Hologrammen, und/oder Power-Point-Präsentationen ausgegeben werden. Beispielsweise kann das eine akustische Mitteilung erhalten, wie das Individuum den Bewegungsablauf verändern sollte. Es kann aber auch vorgesehen sein, dass auf einem Bildschirm ein modifizierter Bewegungsablauf dargestellt wird. Dieser modifizierte Bewegungsablauf kann schematisch in einer grafischen Form beispielsweise durch das Einblenden von Referenzlinien oder -punkten erfolgen, es kann aber auch vorgesehen sein, dass Animationsfiguren den vorgeschlagenen Bewegungsablauf realistisch simulieren. Insbesondere durch die Verwendung von Animationsfiguren kann die Motivation eines Individuums gesteigert werden, die Bewegungsübungen auszuführen. Dabei kann insbesondere eine Kombination von optischer und akustischer Darstellung vorgesehen sein, mit denen das Übungserlebnis gesteigert werden kann.
Darüber hinaus können Hinweise zu weiteren gesundheitlichen Aspekten, die sich aus der Analyse der Daten 220 ergeben, mittels der Ausgabedaten 550 ausgeben werden, wie beispielsweise zu Ernährungsgewohnheiten, weiteren Fitnessvorschlägen, etc.
Das Analysemodul 300 verwendet Algorithmen zur Erkennung von menschlichen Bewegungsaktivitäten (engl. Human Activity Recognition, HAR), um die Merkmale fx_i des Körpers 10 in einer zeitlichen Reihenfolge zu extrahieren und zu klassifizieren. HAR beruht auf Methoden des maschinellen Lernens und verwendet insbesondere neuronale Netzwerke, wobei die neuronalen Netzwerke als tiefe neuronale Netzwerke und/oder rückgekoppelte neuronale Netzwerke (Recurrent Neural Networks, RNN) und/oder gefaltete neuronale Netzwerke (Convolutional Neural Networks, CNN) ausgebildet sind.
Ein neuronales Netzwerk besteht aus Neuronen, die in mehreren Schichten angeordnet und unterschiedlich miteinander verbunden sind. Ein Neuron ist in der Lage, an seinem Eingang Informationen von außerhalb oder von einem anderen Neuron entgegenzunehmen, die Information in einer bestimmten Art zu bewerten und sie in veränderter Form am Neuronen-Ausgang an ein weiteres Neuron weiterzuleiten oder als Endergebnis auszugeben. Hidden-Neuronen sind zwischen den Input-Neuronen und Output-Neuronen angeordnet. Je nach Netzwerktyp können mehrere Schichten von Hidden-Neuronen vorhanden sein. Sie sorgen für die Weiterleitung und Verarbeitung der Informationen. Output-Neuronen liefern schließlich ein Ergebnis und geben dieses an die Außenwelt aus. Durch die Anordnung und die Verknüpfung der Neuronen entstehen verschiedene Typen von neuronalen Netzwerken wie Feedforward-Netzwerke, rückgekoppelte neuronale Netzwerke (engl. Recurrent Neural Networks (RNN) oder gefaltete neuronale Netzwerke (engl. Convolutional Neural Networks (CNN)).
Das Convolutional Neural Network ist eine besondere Form eines künstlichen neuronalen Netzwerks. Es besitzt mehrere Faltungsschichten und ist für maschinelles Lernen und Anwendungen mit Künstlicher Intelligenz (KI) im Bereich der Mustererkennung sehr gut geeignet. Die einzelnen Schichten des CNN sind die Convolutional-Schicht, die Pooling-Schicht und die vollständig verknüpfte Schicht. Die Convolutional-Schicht ist die eigentliche Faltungsebene und in der Lage, in den Eingabedaten einzelne Merkmale zu erkennen und zu extrahieren. Bei der Muster- und Bilderkennung können dies Merkmale wie Linien, Kanten oder bestimmte Formen sein. Die Verarbeitung der Eingabedaten erfolgt in Form von Tensoren wie einer Matrix oder Vektoren. Die Pooling-Schicht, auch Subsampling-Schicht genannt, verdichtet und reduziert die Auflösung der erkannten Merkmale durch passende Filterfunktionen. Durch das reduzierte Datenaufkommen erhöht sich die Berechnungsgeschwindigkeit. Da das CNN in mehrere lokale, teilverknüpfte Schichten aufgeteilt ist, hat es einen wesentlich geringeren Speicherplatzbedarf als vollverknüpfte neuronale Netzwerke. Ebenfalls stark verkürzt ist die Trainingszeit des Convolutional Neural Networks. Mit dem Einsatz moderner Grafikprozessoren lassen sich CNNs sehr effizient trainieren.
Rückgekoppelte neuronale Netzwerke (RNN) werden insbesondere für das Lernen von Sequenzdaten, wie z. B. der Analyse von zeitlichen Sequenzen einer Videoaufnahme im Zeitverlauf entwickelt. Einen speziellen Typ eines RNN stellt das Netzwerk mit langem Kurzzeitgedächtnis (engl. Long Short Memory Network, LSTM) dar, das für das Trainieren eines RNN mit Sequenzdaten besonders geeignet ist.
Mittels eines neuronalen Netzwerks 340 erstellt das Analysemodul 300 aus den Daten 220 die richtigen Merkmale fx_i für das Vergleichsmodul 400. In dem Vergleichsmodul 400 werden durch einen Vergleich der extrahierten Merkmale fx_i mit den Referenzmerkmalen fr_i die Bewegungsabläufe des Individuums bewertet. So kann der von dem Individuum durchgeführte und aufgenommene Bewegungsablauf korrekt durchgeführt worden sein, so dass keine Korrektur erforderlich ist. Wurde der Bewegungsablauf jedoch nicht korrekt durchgeführt, so werden Verbesserungsmöglichkeiten in Form von modifizierten Merkmalen fm_i von dem Vergleichsmodul 300 bereitgestellt. Auch hierzu kann das Vergleichsmodul 400 zumindest ein neuronales Netzwerk 420 verwenden.
Da von dem Analysemodul 300 und dem Vergleichsmodul 400 neuronale Netzwerke 340, 420 verwendet werden, können diese mit Trainingsdaten 240 trainiert werden, die aus den gesammelten Daten 220 von verschiedenen Individuen bestehen, die während der Durchführung von Bewegungsabläufen aufgenommen wurden. Hierdurch entwickelt sich ein selbstlernender Modus im Rahmen eines überwachten maschinellen Lernens (engl. supervised learning approach), durch den die Referenzmerkmale fr_i aus dieser Vielfalt von Trainingsdaten 2430 von verschiedenen Individuen abgeleitet werden. Die Referenzmerkmale fr_i können dabei in Untergruppen eingeteilt werden, wie beispielsweise hinsichtlich prägnanter Körpermerkmale, des Geschlechts oder des Alters einer Gruppe von Individuen, so dass die extrahierten Merkmale fx_i einer Einzelperson nicht mit einer beliebigen Auswahl von Referenzmerkmalen fr_i verglichen werden, sondern mit sehr spezifischen Referenzmerkmalen fr_i. Dies ist die Voraussetzung dafür, dass die ermittelten Ausgabedaten 550 an die Erfordernisse des jeweiligen Individuums genau und personalisiert angepasst werden können.
Es kann vorgesehen sein, dass insbesondere das Eingabemodul 200 und/oder das Ausgabemodul 500 mit Mobilfunkmodulen des 5G-Standards ausgestattet sind. 5G ist der Mobilfunkstandard der fünften Generation und zeichnet sich im Vergleich zum 4G-Mobilfunkstandard durch höhere Datenraten bis zu 10 Gbit/sec, der Nutzung höherer Frequenzbereiche wie beispielsweise 2100, 2600 oder 3600 Megahertz, eine erhöhte Frequenzkapazität und damit einen erhöhten Datendurchsatz und eine Echtzeitdatenübertragung aus, da bis zu eine Million Geräte pro Quadratkilometer gleichzeitig ansprechbar sind. Die Latenzzeiten betragen wenige Millisekunden bis unter 1 ms, so dass Echtzeitübertragungen von Daten und von Berechnungsergebnissen möglich sind. Die von dem Eingabemodul 200 generierten Daten 220 können in Echtzeit an das in der Cloud-Computing-Infrastruktur 790 integrierte Analysemodul 300 gesendet werden.
Diese Geschwindigkeit bei der Datenübermittlung ist erforderlich, wenn cloudbasierte Lösungen für die Verarbeitung der Daten 220 verwendet werden sollen. Cloudbasierte Lösungen bieten den Vorteil von hohen und damit schnellen Rechenleistungen. Um die Verbindung zu der Cloud-Computing-Infrastruktur 790 mittels einer Mobilfunkverbindung zu schützen, sind insbesondere kryptographische Verschlüsselungsverfahren vorgesehen.
In der 2 sind die Verfahrensschritte zur Analyse und Bewertung von Bewegungsabläufen eines beweglichen Körpers 10 eines Individuums dargestellt.
In einem Schritt S10 werden Daten 220 aus Bilddaten 720 von zumindest einer Kamera eines Kamerasystems 700 und/oder aus einer Datenbank 750 durch ein Eingabemodul 200 bereitgestellt, wobei die Bilddaten 720 während der Durchführung von zumindest einer Körperübung des Individuums in einer zeitlichen Sequenz aufgenommen und an das Eingabemodul 200 in Echtzeit gesendet werden, und wobei die Bilddaten 720 Messergebnisse von Merkmalen f_i des beweglichen Körpers 10 des Individuums wie Bewegungsabläufe und Körperhaltungen repräsentieren.
In einem Schritt S20 werden die Daten 220 an ein Analysemodul 300 weitergegeben, wobei das Analysemodul 300 Algorithmen der künstlichen Intelligenz verwendet.
In einem Schritt S30 werden die Daten 220 zur Extraktion von Merkmalen fx_i des beweglichen Körpers 10 analysiert und klassifiziert.
In einem Schritt S40 werden die extrahierten Merkmale fx_i an ein Vergleichsmodul 400 weitergegeben, wobei das Vergleichsmodul 400 Referenzmerkmale fr_i umfasst und Algorithmen der künstlichen Intelligenz verwendet.
In einem Schritt S50 werden die Merkmale fx_i mit den Referenzmerkmalen fr_i zur Erstellung von modifizierten Merkmalen fm_i verglichen.
In einem Schritt S60 werden die extrahierten Merkmale fx_i und die modifizierten Merkmale fm_i an ein Ausgabemodul 500 weitergegeben, wobei das Ausgabemodul 500 Algorithmen der künstlichen Intelligenz verwendet.
In einem Schritt S70 werden Ausgabedaten 550 aus den extrahierten Merkmalen fx_i und den modifizierten Merkmalen fm_i generiert, wobei die Ausgabedaten 550 insbesondere einen Hinweis oder eine Anweisung zur Änderung der extrahierten Merkmale fx_i enthalten, insbesondere in Form von Bildern, Graphiken, Videosequenzen, akustischen Sequenzen, Textbausteine, Hologrammen, und/oder Power-Point-Präsentationen.
3 stellt schematisch ein Computerprogrammprodukt 900 dar, das einen ausführbaren Programmcode 950 umfasst, der konfiguriert ist, um das Verfahren gemäß dem ersten Aspekt der vorliegenden Erfindung auszuführen, wenn es ausgeführt wird.
Mit dem Verfahren und dem System 100 der vorliegenden Erfindung können Bewegungsabläufe eines Individuums, insbesondere bei einer physiotherapeutischen Übung, durch den Einsatz von Algorithmen der künstlichen Intelligenz sehr genau analysiert werden. Durch den Vergleich des analysierten Bewegungsablaufs mit trainierten Referenzdaten kann eine personalisierte Bewertung des Bewegungsablaufs durchgeführt werden, und auf dieser Grundlage können Hinweise und Vorschläge für einen geänderten Bewegungsablauf erstellt werden.
Der Vorteil der vorliegenden Erfindung besteht darin, dass durch Algorithmen der künstlichen Intelligenz wie neuronale Netzwerke ein selbstlernender Modus entsteht, durch den die Referenzmerkmale fr_i aus dieser Vielfalt von Trainingsdaten 240 von verschiedenen Individuen abgeleitet werden. Die Referenzmerkmale fr_i können dabei in Untergruppen eingeteilt werden, wie beispielsweise hinsichtlich prägnanter Körpermerkmale, des Geschlechts oder des Alters einer Gruppe von Individuen, so dass die extrahierten Merkmale fx_i einer Einzelperson nicht mit einer beliebigen Auswahl von Referenzmerkmalen fr_i verglichen werden, sondern mit sehr spezifischen Referenzmerkmalen fr_i. Dies ist die Voraussetzung dafür, dass die ermittelten Ausgabedaten 550 an die Erfordernisse des jeweiligen Individuums genau und personalisiert angepasst werden können.
Bezugszeichen

10: Körper
100: System
200: Eingabemodul
210: Benutzerschnittstelle
220: Daten
240: Trainingsdaten
300: Analysemodul
340: neuronales Netzwerk
400: Vergleichsmodul
420: neuronales Netzwerk
500: Ausgabemodul
550: Ausgabedaten
700: Kamerasystem
720: Bilddaten
750: Datenbank
790: Cloud-Computing-Infrastruktur
900: Computerprogrammprodukt
950: Programmcode

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

DE 112019006278 T5 [0003]
US 11037369 B2 [0004]
US 2016129335 A1 [0005]
US 2014081661 A1 [0006]
WO 2014/104463 A1 [0007]
US 2015004581 A1 [0008]
US 111330962 B2 [0009]

Claims

Verfahren zur Analyse und Bewertung von Bewegungsabläufen eines beweglichen Körpers (10) eines Individuums, umfassend: - Bereitstellen (S10) von Daten (220) aus Bilddaten (720) von zumindest einer Kamera eines Kamerasystems (700) und/oder aus einer Datenbank (750) durch ein Eingabemodul (200), wobei die Bilddaten (720) während der Durchführung von zumindest einer Körperübung des Individuums in einer zeitlichen Sequenz aufgenommen und an das Eingabemodul (200) in Echtzeit gesendet werden, und wobei die Bilddaten (720) Messergebnisse von Merkmalen (f_i) des beweglichen Körpers (10) des Individuums wie Bewegungsabläufe und Körperhaltungen repräsentieren; - Weitergeben (S20) der Daten (220) an ein Analysemodul (300), wobei das Analysemodul (300) Algorithmen der künstlichen Intelligenz verwendet; - Analysieren und Klassifizieren (S30) der Daten (220) zur Extraktion von Merkmalen (fx_i) des beweglichen Körpers (10); - Weitergeben (S40) der extrahierten Merkmale (fx_i) an ein Vergleichsmodul (400), wobei das Vergleichsmodul (400) Referenzmerkmale (fr_i) umfasst und Algorithmen der künstlichen Intelligenz verwendet; - Vergleichen (S50) der extrahierten Merkmale (fx_i) mit den Referenzmerkmalen (fr_i) zur Erstellung von modifizierten Merkmalen (fm_i); - Weitergeben (S60) der extrahierten Merkmale (fx_i) und der modifizierten Merkmale (fm_i) an ein Ausgabemodul (500), wobei das Ausgabemodul (500) Algorithmen der künstlichen Intelligenz verwendet; - Generieren (S70) von Ausgabedaten (550) aus den extrahierten Merkmalen (fx_i) und den modifizierten Merkmalen (fm_i), wobei die Ausgabedaten (550) einen Hinweis oder eine Anweisung zur Änderung der extrahierten Merkmale (fx_i) enthalten, insbesondere in Form von Bildern, Graphiken, Videosequenzen, akustischen Sequenzen, Textbausteinen, Hologrammen, und/oder Power-Point-Präsentationen.
Verfahren nach Anspruch 1, wobei die Kamera des Kamerasystems (700) als bildaufnehmende 2D/3D-Kamera im sichtbaren Bereich ausgebildet ist.
Verfahren nach Anspruch 1 oder 2, wobei das Analysemodul (300) zur Extraktion und Klassifikation von Merkmalen (fx_i) des beweglichen Körpers Algorithmen zur Erkennung von menschlichen Bewegungsaktivitäten (engl. Human Activity Recognition, HAR) verwendet.
Verfahren nach Anspruch 3, wobei die Algorithmen zur Erkennung von menschlichen Bewegungsaktivitäten (engl. Human Activity Recognition, HAR) zumindest ein neuronales Netzwerk (340, 420) verwenden.
Verfahren nach einem der Ansprüche 1 bis 4, wobei das Analysemodul (300) und das Vergleichsmodul (400) mit Trainingsdaten (240) trainiert werden, die aus den gesammelten Daten (220) von verschiedenen Individuen bestehen, die während der Durchführung von Bewegungsabläufen aufgenommen wurden.
Verfahren nach Anspruch 5, wobei die Referenzmerkmale (fr_i) von dem Analysemodul (300) aus den Trainingsdaten (240) abgeleitet und an das Vergleichsmodul (400) weitergegeben werden.
Verfahren nach einem der Ansprüche 1 bis 6, wobei die Algorithmen der künstlichen Intelligenz des Analysemoduls (300), des Vergleichsmoduls (400) und des Ausgabemoduls (500) zumindest ein neuronales Netzwerk umfassen, das als tiefes neuronales Netzwerk und/oder rückgekoppeltes neuronales Netzwerk (Recurrent Neural Network) und/oder gefaltetes neuronales Netzwerk (Convolutional Neural Network) ausgebildet ist.
Verfahren nach einem der Ansprüche 1 bis 7, wobei zumindest ein Merkmal (f_i) einen Parameter und/oder einen Parameterwert und/oder eine Eigenschaft des beweglichen Körpers (10) wie eine Dimension, einen Kennwert, eine Formgebung, einen Winkel, eine Körpergröße, ein Körpergewicht, eine Körperform, eine grafische Darstellung von Körperteilen, eine Gesichtsform, eine räumliche Anordnung von Körpermerkmalen wie Augen und Nase, ein Geschlecht, ein Alter, einen Ausbildungsgrad und/oder einen Sicherheitsfaktor darstellt.
System (100) zur Analyse und Bewertung von Bewegungsabläufen eines beweglichen Körpers (10) eines Individuums, umfassend ein Kamerasystem (700) mit zumindest einer Kamera, ein Eingabemodul (200), ein Analysemodul (300), ein Vergleichsmodul (400) und ein Ausgabemodul (500), wobei das Kamerasystem (700) ausgebildet ist, Bilddaten (720) während der Durchführung von zumindest einer Körperübung des Individuums in einer zeitlichen Sequenz aufzunehmen und an ein Eingabemodul (200) in Echtzeit zusenden, wobei die Bilddaten (720) Messergebnisse von Merkmalen (f_i) des beweglichen Körpers (10) des Individuums wie Bewegungsabläufe und Körperhaltungen repräsentieren; wobei das Eingabemodul (200) ausgebildet ist, Daten (220) aus den Bilddaten (720) und/oder aus Daten einer Datenbank (750) zu generieren und die Daten (220) an das Analysemodul (300) weiterzugeben; wobei das Analysemodul (300) ausgebildet ist, Algorithmen der künstlichen Intelligenz zu verwenden zum Analysieren und Klassifizieren der Daten (220) zur Extraktion von Merkmalen (fx_i) des beweglichen Körpers (10), und die extrahierten Merkmale (fx_i) an das Vergleichsmodul (400) weiterzugeben; wobei das Vergleichsmodul (400) Referenzmerkmale (fr_i) umfasst und ausgebildet ist, Algorithmen der künstlichen Intelligenz zu verwenden zum Vergleichen der extrahierten Merkmale (fx_i) mit den Referenzmerkmalen (fr_i) zur Erstellung von modifizierten Merkmalen (fm_i) und die extrahierten Merkmale (fx_i) und die modifizierten Merkmale (fm_i) an das Ausgabemodul (500) weiterzugeben; und wobei das Ausgabemodul (500) ausgebildet ist, Algorithmen der künstlichen Intelligenz zu verwenden zum Generieren von Ausgabedaten (550) aus den extrahierten Merkmalen (fx_i) und den modifizierten Merkmalen (fm_i), wobei die Ausgabedaten (550) einen als Hinweis oder eine Anweisung zur Änderung der extrahierten Merkmale (fx_i) enthalten, insbesondere in Form von Bildern, Graphiken, Videosequenzen, akustischen Sequenzen, Textbausteinen, Hologrammen, und/oder Power-Point-Präsentationen.
System (100) nach Anspruch 9, wobei die Kamera des Kamerasystems (700) als bildaufnehmende 2D/3D-Kameraausgebildet ist.
System (100) nach Anspruch 9 oder 10, wobei die Algorithmen der künstlichen Intelligenz des Analysemoduls (300), des Vergleichsmoduls (400) und des Ausgabemoduls (500) zumindest ein neuronales Netzwerk umfassen, das als tiefes neuronales Netzwerk und/oder rückgekoppeltes neuronales Netzwerk (Recurrent Neural Network) und/oder gefaltetes neuronales Netzwerk (Convolutional Neural Network) ausgebildet ist.
Computerprogrammprodukt (900), umfassend einen ausführbaren Programmcode (950), der so konfiguriert ist, dass er bei seiner Ausführung das Verfahren nach einem der Ansprüche 1 bis 9 ausführt.