DE202022100828U1

DE202022100828U1 - Ein System zur Früherkennung von Schulterverletzungen bei Querschnittsgelähmten in manuellen Rollstühlen

Info

Publication number: DE202022100828U1
Application number: DE202022100828.0U
Authority: DE
Original assignee: Chennai Institute Of Tech; Chennai Institute Of Technology; Jecrc Univ; Jecrc University; Kennesaw State Univ; Kennesaw State University
Current assignee: Chennai Institute Of Tech; Chennai Institute Of Technology; Jecrc Univ; Jecrc University; Kennesaw State Univ; Kennesaw State University
Priority date: 2022-02-14
Filing date: 2022-02-14
Publication date: 2022-06-21
Anticipated expiration: 2032-02-15

Abstract

Ein System zur frühzeitigen Erkennung von Schulterverletzungen bei Querschnittsgelähmten in manuellen Rollstühlen, wobei das System umfasst:
eine Kamera zur Aufnahme von Echtzeit-Videos einer Person, die sich auf einem Rollstuhl fortbewegt;
eine Vorverarbeitungseinheit zur Beseitigung von Fischaugen-Verzerrungen und zur leichten Erhöhung des Gammawerts, um den Kontrast zu verringern, der durch die im Bild eingefangenen Lichter entsteht;
eine Segmentierungsverarbeitungseinheit zur Durchführung einer k-means Clustering-Segmentierung, um weiße Markierungen in Videobildern zu isolieren;
eine zentrale Verarbeitungseinheit, die so konfiguriert ist, dass sie größere und kleinere Kleckse als die weißen Markierungen unter Verwendung eines kombinierten Schichtbildes entfernt, wobei die Kleckse, die übrig bleiben, einer weiteren Verarbeitung mit dem Vordergrunderkennungsklecks unterzogen werden und die Kleckse aus einer anfänglichen Erkennung einem Vordergrunderkennungsfilter zugeführt werden, wodurch alle Kleckse innerhalb dieses Bereichs gezählt und ihre Schwerpunktpositionen aufgezeichnet werden; und
eine Anzeige zur Darstellung eines Graphen verschiedener aufgezeichneter Werte, die von den Orten der Verfolgungspunkte aufgezeichnet werden, wenn eine Markierung über dem Klecks platziert wird, die den Ort der erkannten Kleckse im Video unter Verwendung der aufgezeichneten Werte markiert.

Description

BEREICH DER ERFINDUNG
Die vorliegende Offenbarung betrifft ein System zur frühzeitigen Erkennung von Schulterverletzungen bei Querschnittsgelähmten in manuellen Rollstühlen, wobei das System darauf ausgerichtet ist, Tracking-Punkte an einer Person zu erfassen, während sie sich in einem Rollstuhl fortbewegt, um Probleme visuell zu erkennen, bevor sie zu Schulterbeschwerden oder -verletzungen führen.
HINTERGRUND DER ERFINDUNG
Viele Rollstuhlfahrer verletzen sich an den Schultern, weil sie den Druck, den sie auf ihre Schultern ausüben, vielleicht nicht kennen. Die Kraft, die der Rollstuhlfahrer auf die Räder ausübt, kann dazu führen, dass die Arme nach oben und von den Schultern weg gedrückt werden, was zu einer unnötigen Belastung dieses Gelenks führen kann. Dieses Verhalten ist auf die vielen Freiheitsgrade zurückzuführen, die die Schulter besitzt. Es gibt zwar keine Möglichkeit, den Druck auf die Schulter eines manuellen Rollstuhlfahrers vollständig zu reduzieren, aber es gibt verschiedene Techniken, die eingesetzt werden können, um das Risiko von frühzeitigen Schulterverletzungen zu verringern. Um sicherzustellen, dass ein Rollstuhlfahrer sich nicht selbst verletzt, während er seinen Rollstuhl bedient, gibt es eine korrekte Art, sich in seinem Rollstuhl fortzubewegen. Das Konsortium für Rückenmarksmedizin hat einen Leitfaden mit dem Titel „Erhaltung der Funktion der oberen Gliedmaßen: Was Sie wissen sollten“, in dem Wege zur Vermeidung von Schulterverletzungen aufgezeigt werden. Die Vermeidung bestimmter Oberflächen und die Verwendung langer, gleichmäßiger Bewegungen beim Antreiben des Rollstuhls verringern die Belastung für die Schultern des Benutzers.
Eine der wichtigsten Möglichkeiten, die Belastung der Schultermuskulatur zu verringern, ist jedoch die Technik, mit der der Rollstuhl bewegt wird. Eine Studie hat ergeben, dass die tangentialen Kräfte, die auf das Rad einwirken, die Schultermuskeln, insbesondere den vorderen Deltamuskel, stärker belasten, was zu einer Bewegung des Oberarmkopfes führt und Schulterschmerzen verursacht. Eine andere Studie untersuchte den Unterschied zwischen manuellen Rollstühlen mit und ohne Getriebe und stellte einen Zusammenhang zwischen der Muskelaktivität und dem Hubzyklus fest, der wiederum die auf das Schultergelenk einwirkenden Kräfte verringert. Das Konsortium für Rückenmarksmedizin empfiehlt Rollstuhlfahrern außerdem, lange, fließende Bewegungen zu machen, um die Belastung ihrer Schultern zu verringern. In einer anderen Studie wurde die Bewegung verschiedener Gelenke untersucht, wenn ein Rollstuhlfahrer verschiedene Manöver ausführte. Dabei wurde festgestellt, dass die Gelenkbewegung von der Geschwindigkeit des Manövers, dem Bodenbelag, der Leichtgängigkeit des Antriebs, dem Antriebsstil und der Erfahrung der Probanden beeinflusst werden kann. Die wichtigste Erkenntnis aus dieser Studie ist, dass die tatsächliche Bewegung und Technik des Rollstuhlmanövers die Belastung des Schultergelenks beeinflussen kann.
In Anbetracht der vorstehenden Ausführungen wird deutlich, dass ein System zur Früherkennung von Schulterverletzungen bei Querschnittsgelähmten in manuellen Rollstühlen erforderlich ist.
ZUSAMMENFASSUNG DER ERFINDUNG
Die vorliegende Offenlegung zielt darauf ab, ein System zur frühzeitigen Erkennung von Schulterverletzungen bei Querschnittsgelähmten in manuellen Rollstühlen bereitzustellen, das sich auf die Bewegung und Kinematik des Rollstuhlfahrers bezieht.
In einer Ausführungsform wird ein System zur Früherkennung von Schulterverletzungen bei Querschnittsgelähmten in manuellen Rollstühlen offenbart. Das System umfasst eine Kamera zur Aufnahme von Echtzeit-Videos einer Person, die sich auf einem Rollstuhl fortbewegt. Das System enthält außerdem eine Vorverarbeitungseinheit, um eine Fischaugenlinsenverzerrung zu entfernen und ein Gamma leicht zu erhöhen, um den Kontrast zu verringern, der durch die in einem Bild eingefangenen Lichter entsteht. Das System umfasst außerdem eine Segmentierungsverarbeitungseinheit zur Durchführung einer k-means Clustering-Segmentierung, um weiße Markierungen in Videobildern zu isolieren. Das System umfasst ferner eine zentrale Verarbeitungseinheit, die so konfiguriert ist, dass sie größere und kleinere Kleckse als die weißen Markierungen unter Verwendung eines kombinierten Schichtbildes entfernt, wobei die Kleckse, die übrig bleiben, einer weiteren Verarbeitung mit dem Vordergrunderkennungsklecks unterzogen werden und die Kleckse aus einer anfänglichen Erkennung auf einen Vordergrunderkennungsfilter angewendet werden, wodurch alle Kleckse innerhalb dieses Bereichs gezählt und ihre Schwerpunktpositionen aufgezeichnet werden.Das System umfasst außerdem eine Anzeige zur Darstellung eines Diagramms mit verschiedenen aufgezeichneten Werten, die von den Positionen der Tracking-Punkte aufgezeichnet werden, wenn eine Markierung über dem Klecks platziert wird, die die Position der erkannten Kleckse im Video anhand der aufgezeichneten Werte markiert.
In einer anderen Ausführungsform ist ein Gabor-Filter mit der Vorverarbeitungseinheit gekoppelt, um die Fischaugen-Verzerrung zu entfernen, wobei das unerwünschte Rauschen mit Hilfe der Vorverarbeitungseinheit aus dem aufgenommenen Video herausgeschnitten wird.
In einer anderen Ausführungsform unterteilt die Segmentierungsverarbeitungseinheit die Einzelbilder zunächst in vier Teile, und jedem Pixel wird ein Mittelwert zugewiesen, der verwendet wird, um es im Bereich des Schwerpunkts eines der vier Clusterteile zu platzieren, was wiederholt wird, bis Konvergenz erreicht ist und ein endgültiges segmentiertes Bild erzeugt wird, was den Umfang der für jedes Einzelbild erforderlichen Verarbeitung reduziert, wobei das segmentierte Bild von RGB in HSV umgewandelt wird, wodurch Masken aus den Schichten unter Verwendung der Farberkennung unter Verwendung der Sättigungs- und Werte-Schichten erzeugt werden, wobei eine Morphologie in Form des Entfernens von Objekten implementiert wird, die eine höhere Fläche von Pixeln als das gewünschte Objekt haben, wobei die Morphologie dann wieder durch Bit UND-Verknüpfung der beiden HSV-Schichten verwendet wird, um die Teile des Bildes zu isolieren, die in jeder Schicht erkannt werden.
In einer anderen Ausführungsform werden Videoaufnahmen von verschiedenen Personen gemacht, die sich in einem Rollstuhl fortbewegen, und die Bewegung ihrer Arme wird verfolgt, um eine Vielzahl von Merkmalen zu bestimmen, die eine korrekte Rollstuhlantriebstechnik gewährleisten, um unerwünschte Belastungen der Schultern zu vermeiden.
In einer anderen Ausführungsform wird die Mehrzahl der Merkmale, die der Schultergesundheit abträglich sind, aus der Gruppe der kurzen ruckartigen Bewegungen, des Abstands der Ellbogen vom Körper und des Drucks auf den Rand des Rollstuhls ausgewählt.
In einer anderen Ausführungsform stellt das Diagramm die Positionsdaten von den Tracking-Markern am Arm des Probanden dar, die von der Seite des Rollstuhls aus gesammelt wurden. Diese Daten werden weiter interpretiert, um zu erkennen, ob ein querschnittsgelähmter Rollstuhlfahrer (Proband) etwas Schädliches tut, während er seinen Rollstuhl mit größerer Genauigkeit und aus mehreren Blickwinkeln bedient.
Ein Ziel der vorliegenden Offenlegung ist es, eine Lösung zu entwickeln, die eine falsche Technik und Haltung bei der Benutzung eines Rollstuhls erkennt, die zu Schulterverletzungen führen kann.
Ein weiteres Ziel der vorliegenden Offenbarung ist es, Probleme visuell zu erkennen, bevor sie zu Schulterbeschwerden oder Verletzungen führen.
Ein weiteres Ziel der vorliegenden Erfindung ist es, ein schnelles und kostengünstiges System zur Früherkennung von Schulterverletzungen bei Querschnittsgelähmten in manuellen Rollstühlen bereitzustellen.
Zur weiteren Verdeutlichung der Vorteile und Merkmale der vorliegenden Offenbarung wird eine genauere Beschreibung der Erfindung durch Bezugnahme auf bestimmte Ausführungsformen gegeben, die in den beigefügten Figuren dargestellt sind. Es wird davon ausgegangen, dass diese Figuren nur typische Ausführungsformen der Erfindung darstellen und daher nicht als Einschränkung des Umfangs der Erfindung anzusehen sind. Die Erfindung wird mit zusätzlicher Spezifität und Detail mit den beigefügten Figuren beschrieben und erläutert werden.
Figurenliste
Diese und andere Merkmale, Aspekte und Vorteile der vorliegenden Offenbarung werden besser verstanden, wenn die folgende detaillierte Beschreibung unter Bezugnahme auf die beigefügten Figuren gelesen wird, in denen gleiche Zeichen gleiche Teile in den Figuren darstellen, wobei:

1 ein Blockdiagramm eines Systems zur Früherkennung von Schulterverletzungen bei Querschnittsgelähmten in manuellen Rollstühlen gemäß einer Ausführungsform der vorliegenden Offenbarung zeigt;
2 ein Diagramm eines Fehlers pro Frame der erkannten Marker gemäß einer Ausführungsform der vorliegenden Offenbarung zeigt;
3 ein Diagramm der Smart-Wheel-Daten, die für diesen Versuch in Übereinstimmung mit einer Ausführungsform der vorliegenden Offenbarung gesammelt wurden zeigt;
4 ein Diagramm der Y-Achsen-Verfolgungsdaten eines Schultermarkers gemäß einer Ausführungsform der vorliegenden Offenbarung zeigt; und
5 ein Diagramm des Abstands zwischen der Schulter und dem Ellbogen der Testperson, wie sie sich im Laufe der Zeit gemäß einer Ausführungsform der vorliegenden Offenbarung bewegen zeigt.

Der Fachmann wird verstehen, dass die Elemente in den Figuren der Einfachheit halber dargestellt sind und nicht unbedingt maßstabsgetreu gezeichnet wurden. Die Flussdiagramme veranschaulichen beispielsweise das Verfahren anhand der wichtigsten Schritte, um das Verständnis der Aspekte der vorliegenden Offenbarung zu verbessern.Darüber hinaus kann es sein, dass ein oder mehrere Bestandteile der Vorrichtung in den Figuren durch herkömmliche Symbole dargestellt sind, und dass die Figuren nur die spezifischen Details zeigen, die für das Verständnis der Ausführungsformen der vorliegenden Offenbarung relevant sind, um die Figuren nicht mit Details zu verdecken, die für Fachleute, die mit der vorliegenden Beschreibung vertraut sind, leicht erkennbar sind.
DETAILLIERTE BESCHREIBUNG:
Zum besseren Verständnis der Grundsätze der Erfindung wird nun auf die in den Figuren dargestellte Ausführungsform Bezug genommen und diese in einer speziellen Sprache beschrieben. Es versteht sich jedoch von selbst, dass damit keine Einschränkung des Umfangs der Erfindung beabsichtigt ist, wobei solche Änderungen und weitere Modifikationen des dargestellten Systems und solche weiteren Anwendungen der darin dargestellten Prinzipien der Erfindung in Betracht gezogen werden, wie sie einem Fachmann auf dem Gebiet der Erfindung normalerweise einfallen würden auf die sich die Erfindung bezieht.
Es versteht sich für den Fachmann von selbst, dass die vorstehende allgemeine Beschreibung und die folgende detaillierte Beschreibung beispielhaft und erläuternd für die Erfindung sind und diese nicht einschränken sollen.
Wenn in dieser Beschreibung von „einem Aspekt“, „einem anderen Aspekt“ oder ähnlichem die Rede ist, bedeutet dies, dass ein bestimmtes Merkmal, eine bestimmte Struktur oder eine bestimmte Eigenschaft, die im Zusammenhang mit der Ausführungsform beschrieben wird, in mindestens einer Ausführungsform der vorliegenden Offenbarung enthalten ist. Daher können sich die Ausdrücke „in einer Ausführungsform“, „in einer anderen Ausführungsform“ und ähnliche Ausdrücke in dieser Beschreibung alle auf dieselbe Ausführungsform beziehen, müssen es aber nicht.
Die Ausdrücke „umfasst“, „enthaltend“ oder andere Variationen davon sollen eine nicht ausschließliche Einbeziehung abdecken, so dass ein Verfahren oder eine Methode, die eine Liste von Schritten umfasst, nicht nur diese Schritte umfasst, sondern auch andere Schritte enthalten kann, die nicht ausdrücklich aufgeführt sind oder zu einem solchen Verfahren oder einer solchen Methode gehören. Ebenso schließen eine oder mehrere Vorrichtungen oder Teilsysteme oder Elemente oder Strukturen oder Komponenten, die mit „umfasst...a“ eingeleitet werden, nicht ohne weitere Einschränkungen die Existenz anderer Vorrichtungen oder anderer Teilsysteme oder anderer Elemente oder anderer Strukturen oder anderer Komponenten oder zusätzlicher Vorrichtungen oder zusätzlicher Teilsysteme oder zusätzlicher Elemente oder zusätzlicher Strukturen oder zusätzlicher Komponenten aus.
Sofern nicht anders definiert, haben alle hierin verwendeten technischen und wissenschaftlichen Begriffe die gleiche Bedeutung, wie sie von einem Fachmann auf dem Gebiet, zu dem diese Erfindung gehört, allgemein verstanden wird. Das System, die Methoden und die Beispiele, die hier angegeben werden, dienen nur der Veranschaulichung und sind nicht als Einschränkung gedacht.
Ausführungsformen der vorliegenden Offenbarung werden im Folgenden unter Bezugnahme auf die beigefügten Figuren im Detail beschrieben.
In 1 ist ein Blockdiagramm eines Systems zur frühzeitigen Erkennung von Schulterverletzungen bei Querschnittsgelähmten in manuellen Rollstühlen gemäß einer Ausführungsform der vorliegenden Offenbarung dargestellt. Das System 100 umfasst eine Kamera 102 zur Aufnahme von Echtzeit-Videos einer Person, die sich auf einem Rollstuhl fortbewegt.
In einer Ausführungsform wird eine Vorverarbeitungseinheit an die Kamera 102 angeschlossen, um eine Fischaugen-Verzerrung zu entfernen und den Gamma-Wert leicht zu erhöhen, um den Kontrast zu verringern, der durch die in einem Bild eingefangenen Lichter entsteht.
In einer Ausführungsform ist eine Segmentierungsverarbeitungseinheit mit der Vorverarbeitungseinheit verbunden, um eine k-means Clustering-Segmentierung durchzuführen, um weiße Markierungen in Videobildern zu isolieren.
In einer Ausführungsform ist eine zentrale Verarbeitungseinheit so konfiguriert, dass sie größere und kleinere Kleckse als die weißen Markierungen unter Verwendung eines kombinierten Schichtbildes entfernt, wobei die Kleckse, die übrig bleiben, einer weiteren Verarbeitung mit dem Vordergrunderkennungs-Klecks unterzogen werden und die Kleckse aus einer ersten Erkennung auf einen Vordergrunderkennungsfilter angewendet werden, wodurch alle Kleckse in diesem Bereich gezählt und ihre Schwerpunktpositionen aufgezeichnet werden.
In einer Ausführungsform ist eine Anzeige mit dem Display verbunden, um ein Diagramm verschiedener aufgezeichneter Werte zu veranschaulichen, das von den Positionen der Tracking-Punkte aufgezeichnet wird, wenn ein Marker über dem Klecks platziert wird, der die Position der erkannten Kleckse im Video anhand der aufgezeichneten Werte markiert.
In einer anderen Ausführungsform ist ein Gabor-Filter mit der Vorverarbeitungseinheit gekoppelt, um die Fischaugen-Verzerrung zu entfernen, wobei das unerwünschte Rauschen mit Hilfe der Vorverarbeitungseinheit aus dem aufgenommenen Video herausgeschnitten wird.
In einer anderen Ausführungsform unterteilt die Segmentierungsverarbeitungseinheit die Einzelbilder zunächst in vier Teile, und jedem Pixel wird ein Mittelwert zugewiesen, der verwendet wird, um es im Bereich des Schwerpunkts eines der vier Clusterteile zu platzieren, was wiederholt wird, bis Konvergenz erreicht ist und ein endgültiges segmentiertes Bild erzeugt wird, was den Umfang der für jedes Einzelbild erforderlichen Verarbeitung reduziert, wobei das segmentierte Bild von RGB in HSV umgewandelt wird, wodurch Masken aus den Schichten unter Verwendung der Farberkennung unter Verwendung der Sättigungs- und Werte-Schichten erzeugt werden, wobei eine Morphologie in Form des Entfernens von Objekten implementiert wird, die eine höhere Fläche von Pixeln als das gewünschte Objekt haben, wobei die Morphologie dann wieder durch Bit ANDing der beiden HSV-Schichten verwendet wird, um die Teile des Bildes zu isolieren, die in jeder Schicht erkannt werden.
In einer anderen Ausführungsform werden Videoaufnahmen von verschiedenen Personen gemacht, die sich in einem Rollstuhl fortbewegen, und die Bewegung ihrer Arme wird verfolgt, um eine Vielzahl von Merkmalen zu bestimmen, die eine korrekte Rollstuhlantriebstechnik gewährleisten, um unerwünschte Belastungen der Schultern zu vermeiden.
In einer anderen Ausführungsform wird die Mehrzahl der Merkmale, die der Schultergesundheit abträglich sind, aus der Gruppe der kurzen ruckartigen Bewegungen, des Abstands der Ellbogen vom Körper und des Drucks auf den Rand des Rollstuhls ausgewählt.
In einer anderen Ausführungsform stellt das Diagramm die Positionsdaten von den Tracking-Markern am Arm des Probanden dar, die von der Seite des Rollstuhls aus gesammelt wurden. Diese Daten werden weiter interpretiert, um zu erkennen, ob ein querschnittsgelähmter Rollstuhlfahrer (Proband) etwas Schädliches tut, während er seinen Rollstuhl mit größerer Genauigkeit und aus mehreren Blickwinkeln bedient.
In einer beispielhaften Ausführungsform umfasste die Datenerfassung für die ersten Tests die Verwendung von zwei verschiedenen Arten von Kameras 102 und die vom Rollstuhl gesammelten Daten. Bei den verwendeten Kameras 102 handelte es sich um zwei GoPros und zwei Infrarotkameras 102. Diese Kameras 102 waren in der Lage, während der Durchführung der Tests eine Seiten- und Vorderansicht der Testperson zu erfassen. Zu Beginn eines jeden Versuchs startete die Versuchsperson ganz rechts im Sichtfeld der Seitenkameras. Bevor eines der Geräte eingeschaltet werden konnte, musste die Versuchsperson sicherstellen, dass sie die Greifreifen des Rollstuhls nicht berührte, um eine Fehleinstellung des Rollstuhls zu vermeiden, wenn dieser mit der Datenerfassung begann. Die Kameras 102 und der Rollstuhl waren ferngesteuert, so dass sie einzeln gestartet wurden und die Versuchsperson dann das Signal erhielt, sich zu bewegen. Es wurden mehrere Videos aufgenommen, um ein breites Spektrum an Bewegungen von langsam und gleichmäßig bis schnell und ruckartig zu erhalten. Sobald der erste Datensatz gesammelt war, mussten die Vorverarbeitungsschritte durchgeführt werden. Die Infrarotvideos mussten einer Gammakorrektur unterzogen werden, und die Go-Pro-Aufnahmen wurden von Verzerrungen durch das Fischaugenobjektiv befreit. Damit war die erste Runde der Datenerfassung abgeschlossen. Bei der zweiten Datenerhebung wurden nur die GoPro-Kameras 102 für die Aufzeichnung des Filmmaterials verwendet. Dieser Datensatz wurde auf die gleiche Weise aufgezeichnet wie die erste Datenerfassungsrunde, mit Ausnahme der Infrarotkameras 102. Es wurden dieselben Schritte unternommen, aber bei diesem Datensatz wurden verschiedene Testpersonen für die Aufnahmen verwendet. Dies ermöglicht eine größere Bandbreite an Bewegungsvariationen aufgrund der unterschiedlichen Testpersonen und der Art und Weise, wie sie sich im Rollstuhl fortbewegen. Um die Genauigkeit der Tracking-Daten zu erhöhen, müssen die Videos vor einem unauffälligen Hintergrund gefilmt werden, und die Person darf nichts tragen, was mit den Tracking-Punkten übereinstimmt. So wird sichergestellt, dass die Tracking-Daten genau und rauschfrei sind, um die besten Ergebnisse zu erzielen.
In einer beispielhaften Ausführungsform war das Hauptproblem des Projekts mit den gesammelten Daten verbunden. Bei der ersten Runde von Videos traten Probleme auf, die von den Kameras 102 selbst und der Umgebung, in der die Videos aufgenommen wurden, herrührten. Die Videos wurden draußen in einem teilweise schattigen Bereich aufgenommen und die Sonnenflecken wurden zu einem Problem für die Infrarotvideos.Die Reflexion des Sonnenlichts von hellen Objekten, wie z. B. dem Gehweg aus Beton, wurde zu einem Problem, und es wurden Versuche zur Gammakorrektur der Videos unternommen, aber das Sonnenlicht erwies sich als viel heller als die reflektierenden Markierungen auf dem Arm der Person. Bei der rechts gezeigten maximalen Gammakorrektur war das reflektierte Sonnenlicht zu hell und hat das gesamte Bild geweißt. Die GoPro-Aufnahmen wiesen eine Fischaugen-Verzerrung auf und wurden zunächst ignoriert. Mit Premiere Pro wurde die Fischaugen-Verzerrung aus dem Material entfernt und es konnte verwendet werden, aber die Markierungen waren immer noch sehr klein und mit dem ursprünglichen Bildverarbeitungsalgorithmus nur schwer zu erkennen. Die zweite Runde von Videos, die aufgenommen wurden, waren nur GoPro-Videos und sie wurden auch durch Premiere Pro geschickt, um die Fischaugen-Objektivverzerrung zu entfernen. Der zweite Algorithmusentwurf beinhaltet die Verwendung von Open-Pose zur Erkennung der Arme der Person. Dies erwies sich als problematisch, da die Bibliothek nicht in Verbindung mit MATLAB verwendet werden konnte. Der MATLAB-Beispielcode weist Fehler auf, weil eine Datei fehlt, die MATLAB nicht mit dem Beispiel mitgeliefert hat. Dieses Problem wurde zwar behoben, aber der Beispielcode erzeugt weiterhin unbekannte Fehler.Aufgrund dieser Fehler musste ein neuer Algorithmus entwickelt werden, da Open-Pose nicht länger eine praktikable Option war. Der aktuelle Algorithmus konzentriert sich auf die Erkennung der Punkte entlang des Arms der Testperson.Die Punkte, die als Tracking-Punkte dienen sollten, sind zu klein, um genau erfasst zu werden. Die weißen Aufkleber, auf denen die Marker entlang des Arms der Testperson angebracht waren, waren jedoch groß genug, um sie vom Arm der Testperson zu trennen und zu verfolgen. Dies führte zu besseren Ergebnissen, ließ jedoch Raum für ein erhöhtes Rauschen aufgrund der Umgebung, in der die Aufnahmen gemacht wurden. Durch Morphologietechniken und Beschneiden des Filmmaterials wurde der Großteil des Rauschens entfernt. Nach dem Herausfiltern aller Datenpunkte wurde festgestellt, dass die Schultermarkierung nur in 70 % der Fälle, die Ellbogenmarkierung in 55 % der Fälle und die Handgelenksmarkierung nur in 34 % der Fälle erkannt wurde, was auf verschiedene Faktoren zurückzuführen ist, die mit dem Testobjekt zusammenhängen. Die Marker änderten ihre Form, da sie auf dem Ärmel der Testperson platziert waren, und wenn sich die Testperson bewegte, knitterte ihr Ärmel, was wiederum die Form der Marker veränderte. Dies führte dazu, dass der Algorithmus die Markierung aufgrund ihrer verringerten Größe herausfilterte. Die Markierung für das Handgelenk änderte sich auch, weil die HSV-Farbsegmentierung sowohl die Farbe der Markierung als auch die Farbe der Hose der Testperson erkannte. Die Hose liegt innerhalb der Sättigungs- und Wertschwelle des Markers, was den Algorithmus veranlasst, den Marker und die Hose der Person zu einem großen Fleck zu kombinieren. Dadurch wurde die Seite des Kleckses für die Handgelenksmarkierung vergrößert, und der Algorithmus filterte sie dann heraus.
In einer Ausführungsform endete die erste Aufnahmerunde mit einigen verschiedenen Problemen. Zunächst konnte das GoPro-Material aufgrund der Verzerrung des Fischaugen-Objektivs nicht verwendet werden, die die Positionsverfolgung der Marker auf dem Objekt gestört hätte, während sie sich über das Sichtfeld der Kamera bewegten. Eine Lösung zur Beseitigung dieser Verzerrung wurde nicht gefunden, so dass das GoPro-Material nicht verwendet werden konnte. Die Infrarotaufnahmen wurden anstelle des GoPro-Videos verwendet, da die Tracking-Marker Infrarot-Reflektoren waren und auf dieser Art von Aufnahmen sehr gut zu erkennen waren. Das Problem bei den Infrarotaufnahmen war die Menge des von der Sonne reflektierten Lichts auf dem Beton und der Wand um das Motiv herum. Es wurde eine Gammakorrektur durchgeführt, die jedoch nicht in der Lage war, das reflektierte Licht in ausreichendem Maße zu entfernen und gleichzeitig die Erkennungsmarker sichtbar zu lassen. Die zweite Aufnahmerunde war wesentlich besser, brachte aber auch eine Reihe neuer Probleme mit sich. Die Verzerrung des Fischaugen-Objektivs war immer noch vorhanden, aber mit Hilfe von Premiere Pro wurde die Verzerrung aus dem Filmmaterial entfernt. Die neuen Probleme waren das starke Rauschen im Hintergrund um das Motiv herum und das Motiv selbst. Die Hintergrundgeräusche stammten von den zusätzlichen Personen, die sich im Hintergrund bewegten, wodurch der Code zur Erkennung des Vordergrunds nicht richtig funktionierte. Hinzu kommen Umgebungsgeräusche wie weiße Etiketten und die Hose, die die Person trägt, die in der Maske des Videos erscheint. Obwohl der größte Teil des Rauschens von den unerwünschten erkannten Objekten entfernt werden konnte, verbleibt ein Teil des Rauschens, dessen Beseitigung schwierig geworden war. Die erste Erkennungsmethode war die Clustering-Segmentierung, mit der ein Großteil des Rauschens aus dem Video entfernt wurde. Als Segmentierungsschema wurde K-means verwendet. Die Kombination mit einem Gabor-Filter verbessert die Segmentierung durch Hinzufügen von Textur und räumlichen Aspekten zur Segmentierung. Es wurden dreißig Gabor-Filter mit 10 verschiedenen Wellenlängen von 0 bis 2 und 3 Ausrichtungen von 0 bis 120 Grad verwendet. Bei der Segmentierung in vier Regionen wurde der Großteil des Hintergrunds entfernt.
2 zeigt ein Diagramm des Fehlers pro Frame der erkannten Marker gemäß einer Ausführungsform der vorliegenden Offenlegung, die mit der aus der Segmentierung und den HSV-Farberkennungsmasken erstellten Maske UND-verknüpft wurde. Dies führte zu einer verstärkten Reduzierung des Hintergrundrauschens in den Einzelbildern des gesamten Videos. Leider führte dies zu einer Zunahme des Rauschens des Motivs. Bei der Vordergrunderkennung wurde in den ersten 20 Bildern des Videos aufgrund der geringen Varianz der Vordergrunderkennung und der zu Beginn des Videos erforderlichen Trainingsfolien mehr Rauschen vom Motiv aufgenommen. Dies wurde durch die visuelle Erkennung der Marker aus den Klecksen und deren Positionen, die in eine Excel-Datei exportiert wurden, behoben. Der Fehler bei der Erkennung der Marker in jedem Bild ist in 2 zu sehen. Der Fehler ist für den größten Teil des Videos hoch, aber die Erkennungsrate für die Schulter und den Ellbogen ist hoch genug, um den Datenbedarf für dieses Projekt zu belegen.Ein weiteres Problem ist die für die Verarbeitung eines Videos erforderliche Zeit.Die Isolierung der Markierungen durch Segmentierung und HSV-Farbisolierung dauert nur ein paar Sekunden, aber die Verarbeitung eines ganzen Videos erfordert mehr Zeit, je nach Anzahl der Bilder pro Video. Die Isolierung von jeweils nur 15 Einzelbildern ist die Art und Weise, wie viele der Codeänderungen getestet wurden, und das dauert etwa fünf Minuten. Die Verarbeitung eines ganzen Videos mit etwa dreihundert Bildern kann je nach Größe der Bilder und ihrer Auflösung bis zu einer Stunde oder mehr dauern.
3 zeigt ein Diagramm der Smartwheel-Daten, die für diesen Versuch in Übereinstimmung mit einer Ausführungsform der vorliegenden Offenbarung gesammelt wurden.
4 zeigt eine grafische Darstellung der Y-Achsen-Verfolgungsdaten eines Schultermarkers in Übereinstimmung mit einer Ausführungsform der vorliegenden Offenbarung.Die vom Programm erfassten Tracking-Daten wurden in eine Excel-Datei exportiert. Von dort mussten die Datenmarker manuell gefiltert werden, um zwischen Rauschen und den Datenpunkten zu unterscheiden. Aufgrund der sehr geringen Erkennungsrate der Handgelenk- und Ellbogenmarker lagen nur für die Schulter genügend Daten vor, um ein vollständiges Tracking-Diagramm in 4 auszudrucken. Die Daten in 4 zeigen die Veränderung der Position auf der y-Achse für den Schulter-Tracking-Marker. Wenn die Daten ihren Höchststand erreicht haben. Dies bedeutet, dass die Versuchsperson ihre Hand auf den Greifreifen gelegt hat und dabei ist, den Rollstuhl vorwärts zu schieben, was mit dem Diagramm in 3 korreliert, indem es die Kraft anzeigt, die an der Spitze der y-Achse der Bewegung angewendet wird. Dies zeigt, dass es einen Zusammenhang zwischen der Bewegung der Schulter und des Körpers der Testperson und der Kraft, die auf den Rollstuhl ausgeübt wird, gibt. Da der größte Teil der Kraft, die zum Vorwärtsschieben eines Rollstuhls aufgebracht wird, aus der Bewegung des Körpers der Person stammt und nicht nur aus den Armen. Diese Daten zur y-Achse zeigen, dass es einen Zusammenhang zwischen der Bewegung des Körpers einer Person in y-Richtung und der Kraft gibt, die sie in y-Richtung aufbringt. Je drastischer sich die Bewegung des Schulter-Tracking-Markers verändert und je höher der auf den Greifring ausgeübte Druck ist, desto wahrscheinlicher ist es, dass die Testperson schulterbezogene Komplikationen entwickelt.
5 zeigt ein Diagramm des Abstands zwischen der Schulter und dem Ellbogen des Probanden, wie sie sich im Laufe der Zeit gemäß einer Ausführungsform der vorliegenden Offenbarung bewegen, und eine weitere Verbindung zwischen den Verfolgungsdaten und den Daten des Rollstuhls, die hergestellt werden kann, ist die Veränderung des Abstands zwischen den einzelnen Verfolgungspunkten, die in 5 zu sehen ist. Da die Erkennungsrate von Schulter und Ellbogen höher war, können nur die Abstände zwischen diesen beiden Punkten verwendet werden. Wenn die Versuchsperson ihre Hände auf den Greifreifen legt, ist ihr Ellenbogen angewinkelt, und aus dem seitlichen Blickwinkel ist der Abstand zwischen Schulter und Ellenbogen kleiner. Wenn die Testperson einen Stoß beendet, ist ihr Arm gestreckt und der Abstand zwischen den Punkten aus der Perspektive der Kamera 102 vergrößert sich. Der Zusammenhang zwischen den Tracking-Daten und den kinematischen Daten des Rollstuhls besteht darin, dass der Rollstuhl umso schneller fährt, je schneller der Abstand in den Tracking-Daten zunimmt und je mehr Druck ausgeübt wird. Je geringer der Abstand und je höher der auf den Greifreifen ausgeübte Druck, desto eher kann es zu Schulterverletzungen kommen, da der Druck auf die Schultern ausgeübt wird.
In einer Ausführungsform kann der erstellte Prototyp Diagramme der Positionsdaten von den Tracking-Markern am Arm der Testperson ausgeben und ein Diagramm der vom Rollstuhl erfassten Kinematikdaten nebeneinander darstellen. Dieser Code ermöglicht die autonome Verfolgung der Bewegung eines Rollstuhlfahrers und liefert sachdienliche Informationen über die Bewegung der Person bei der Bedienung ihres Rollstuhls. Wenn dieses Projekt fortgesetzt wird, könnte mit größerer Genauigkeit und aus mehreren Blickwinkeln erkannt werden, ob ein querschnittsgelähmter Rollstuhlfahrer bei der Bedienung seines Rollstuhls etwas Schädliches tut. Während der Prototyp in der Lage ist, die auf dem Arm der Person angebrachten Tracking-Marker zu isolieren und die Ergebnisse aus einer 102 Kameraperspektive auszugeben, könnte dieses Projekt so manipuliert werden, dass es die aus mehreren Ansichten gesammelten Informationen korreliert und eine genaue Anzeige der Winkel- und Positionsdaten in einem dreidimensionalen Raum liefert. Die gesammelten Daten könnten dann genau beschreiben und aufzeigen, welche Armbewegungen im Rollstuhl für die Schultern des Benutzers schädlich sind.
Die Figuren und die vorangehende Beschreibung geben Beispiele für Ausführungsformen. Der Fachmann wird verstehen, dass eines oder mehrere der beschriebenen Elemente durchaus zu einem einzigen Funktionselement kombiniert werden können. Alternativ dazu können bestimmte Elemente in mehrere Funktionselemente aufgeteilt werden. Elemente aus einer Ausführungsform können einer anderen Ausführungsform hinzugefügt werden.So kann beispielsweise die Reihenfolge der hier beschriebenen Prozesse geändert werden und ist nicht auf die hier beschriebene Weise beschränkt. Außerdem müssen die Aktionen eines Flussdiagramms nicht in der gezeigten Reihenfolge ausgeführt werden; auch müssen nicht unbedingt alle Aktionen durchgeführt werden. Außerdem können die Handlungen, die nicht von anderen Handlungen abhängig sind, parallel zu den anderen Handlungen durchgeführt werden. Der Umfang der Ausführungsformen ist durch diese spezifischen Beispiele keineswegs begrenzt. Zahlreiche Variationen sind möglich, unabhängig davon, ob sie in der Beschreibung explizit aufgeführt sind oder nicht, wie z. B. Unterschiede in der Struktur, den Abmessungen und der Verwendung von Materialien. Der Umfang der Ausführungsformen ist mindestens so groß wie in den folgenden Ansprüchen angegeben.
Vorteile, andere Vorzüge und Problemlösungen wurden oben im Hinblick auf bestimmte Ausführungsformen beschrieben. Die Vorteile, Vorzüge, Problemlösungen und Komponenten, die dazu führen können, dass ein Vorteil, ein Nutzen oder eine Lösung auftritt oder ausgeprägter wird, sind jedoch nicht als kritisches, erforderliches oder wesentliches Merkmal oder Komponente eines oder aller Ansprüche zu verstehen.
Bezugszeichenliste

100: Ein System zur Früherkennung von Schulterverletzungen bei Querschnittsgelähmten in manuellen Rollstühlen
102: Eine Kamera
104: Eine Vorverarbeitungseinheit
106: Eine Segmentierungsverarbeitungseinheit
108: Eine zentrale Verarbeitungseinheit
110: Ein Display
202: Geschwindigkeit
204: x Kraft
206: y Kraft
208: z Kraft

Claims

Ein System zur frühzeitigen Erkennung von Schulterverletzungen bei Querschnittsgelähmten in manuellen Rollstühlen, wobei das System umfasst: eine Kamera zur Aufnahme von Echtzeit-Videos einer Person, die sich auf einem Rollstuhl fortbewegt; eine Vorverarbeitungseinheit zur Beseitigung von Fischaugen-Verzerrungen und zur leichten Erhöhung des Gammawerts, um den Kontrast zu verringern, der durch die im Bild eingefangenen Lichter entsteht; eine Segmentierungsverarbeitungseinheit zur Durchführung einer k-means Clustering-Segmentierung, um weiße Markierungen in Videobildern zu isolieren; eine zentrale Verarbeitungseinheit, die so konfiguriert ist, dass sie größere und kleinere Kleckse als die weißen Markierungen unter Verwendung eines kombinierten Schichtbildes entfernt, wobei die Kleckse, die übrig bleiben, einer weiteren Verarbeitung mit dem Vordergrunderkennungsklecks unterzogen werden und die Kleckse aus einer anfänglichen Erkennung einem Vordergrunderkennungsfilter zugeführt werden, wodurch alle Kleckse innerhalb dieses Bereichs gezählt und ihre Schwerpunktpositionen aufgezeichnet werden; und eine Anzeige zur Darstellung eines Graphen verschiedener aufgezeichneter Werte, die von den Orten der Verfolgungspunkte aufgezeichnet werden, wenn eine Markierung über dem Klecks platziert wird, die den Ort der erkannten Kleckse im Video unter Verwendung der aufgezeichneten Werte markiert.
System nach Anspruch 1, wobei ein Gabor-Filter mit der Vorverarbeitungseinheit gekoppelt ist, um die Fischaugenlinsenverzerrung zu entfernen, wobei das unerwünschte Rauschen aus dem aufgenommenen Video unter Verwendung der Vorverarbeitungseinheit abgeschnitten wird.
System nach Anspruch 1, wobei die Segmentierungsverarbeitungseinheit die Frames zunächst in vier Teile unterteilt und jedem Pixel ein Mittelwert zugewiesen wird, der verwendet wird, um sie innerhalb des Bereichs des Schwerpunkts eines der vier Clusterteile zu platzieren, was wiederholt wird, bis Konvergenz erreicht ist und ein endgültiges segmentiertes Bild erzeugt wird, was die Menge der Verarbeitung, die pro Frame erforderlich ist, reduziert, wobei das segmentierte Bild von RGB in HSV umgewandelt wird, wodurch Masken aus den Schichten unter Verwendung der Farberkennung unter Verwendung der Sättigungs- und Werte-Schichten erzeugt werden, wobei eine Morphologie in Form des Entfernens von Objekten implementiert wird, die eine höhere Fläche von Pixeln als das gewünschte Objekt haben, wobei die Morphologie dann wieder durch Bit UND-Verknüpfung der beiden HSV-Schichten verwendet wird, um die Teile des Bildes zu isolieren, die in jeder Schicht erkannt werden.
System nach Anspruch 1, bei dem Videoaufnahmen von verschiedenen Personen gemacht werden, die sich in einem Rollstuhl fortbewegen, und bei dem die Bewegung ihrer Arme verfolgt wird, um eine Vielzahl von Merkmalen zu bestimmen, die eine korrekte Technik der Rollstuhlfortbewegung sicherstellen, um unerwünschte Belastungen der Schultern zu vermeiden.
System nach Anspruch 4, wobei die mehreren Merkmale, die der Gesundheit der Schulter abträglich sind, aus einer Gruppe ausgewählt werden, die aus kurzen ruckartigen Bewegungen, dem Abstand der Ellbogen vom Körper und dem auf den Rand des Rollstuhls ausgeübten Druck besteht.
System nach Anspruch 1, wobei das Diagramm die Positionsdaten von den Tracking-Markern am Arm der Person darstellt, die von der Seite des Rollstuhls aus gesammelt wurden, was weiter interpretiert wird, um zu erkennen, ob ein querschnittsgelähmter Rollstuhlfahrer (Person) etwas Schädliches tut, während er seinen Rollstuhl mit größerer Genauigkeit und aus mehreren Winkeln bedient.