-
Technisches Gebiet
-
Das Gerät ist ein Forschungsgerät, welches mittelfristig für Lernvorgänge im Bewegungsbereich, speziell bei der kontinuierlichen Verbesserung und Kontrolle des Zahnputzvorgangs, eingesetzt wird.
-
Stand der Technik
-
Sollen technische Systeme synchronisiert werden, benötigen sie eine echtzeitfähige Taktleitung und einen gemeinsamen Takt, wobei dieser durch ein System vorgegeben wird, dem sog. Master. Alle Ereignisse in den zu synchronisierenden Systemen können dadurch mit einheitlichen Zeitstempeln versehen werden. Damit wäre eine Zuordnung von Ereignissen in unterschiedlichen Systemen möglich. Meistens ist es jedoch nicht möglich, technische Systeme durch eine echtzeitfähige Taktleitung und gemeinsamen Takt zu synchronisieren, da diese Systeme meist nur über Feldbussysteme wie z.B. USB bzw. Funkschnittstellen wie Bluetooth oder WLAN kommunizieren, was zwangsläufig zu Informationspufferungen und -wiederholungen führt und den auftretenden Fehlern und Korrekturmaßnahmen in der Sicherungsschicht der jeweiligen Protokolle geschuldet ist.
-
Ein echtzeitfähiger Takt sowohl im Sensorpaket als auch beim Videosystem könnte separate Synchronisationspunkte überflüssig machen. Dies scheint aber bei dem anvisierten Preis des Endproduktes nicht realisierbar zu sein.
-
Wenn die Sensordaten im Aufnahmegerät selber verarbeitet werden, wobei die Videodaten mit Smartphone oder Tablet aufgenommen werden und iBrush beispielsweise über Bluetooth diesem die Daten überträgt, erscheint der Synchronisationsaufwand geringer. Hierbei müssen aber anspruchsvolle Echtzeit-Anforderungen, erfüllt sein, was bei potentiell wechselnder Datenrate sowohl des Sensorpaketes als auch der Funkschnittstelle weitere Probleme schafft. So sind auch in dieser Konstellation Synchronisationspunkte hilfreich.
-
In [1] wird ein System beschrieben, welche GPS-Positionsinformationen den jeweiligen Stellen in einem Video zuordnet. Die zwei unabhängigen Geräte sind eine Videokamera und ein GPS-Positionsbestimmungsgerät, welches mit Hilfe von LED-Codes, welche von der Kamera aufgenommen werden, eine Synchronisationsmöglichkeit zwischen Videodaten und GPS-Positionsbestimmungseinheit ermöglicht. Die Videodaten und das GPS-Logfile, welche die eigentlichen GPS-Positionsdaten enthält, werden einer Rechnereinheit zugeführt, die sich der weiteren Verarbeitung der Daten annimmt. Die Video- und GPS-Positionsdaten werden in einer Datenbank gespeichert. Auf dieser Datenbank wird durch Veränderung der Daten die Synchronisation der beiden Datenquellen vorgenommen. Dazu werden der Datenbank die Videodaten entnommen, die LED-Codes der GPS-Positionseinheit gesucht im Video-Stream und dekodiert. Mit diesen gewonnenen Synchronisationspunkten werden durch Interpolation zwischen den Synchronisationspunkten die entsprechenden GPS-Positionsdaten aus der Datenbank ermittelt und zugeordnet. Die beiden Datenquellen, Videodaten und die transformierten GPS-Positionsdaten werden in der neuen Form der Datenbank wieder zugeführt.
-
Technische Probleme oder Nachteile
-
Im Falle der Systeme einer sensorunterstützten Zahnbürste und einer Anzeigeeinheit zur Anzeige von Ergebniswerten der Sensoren der Zahnbürste stellen die Zeitstempel des Videos den zeitvorgebenden Master dar. Eine Rating-Software bezieht alle durch Experten festgestellten Ereignisse auf Zeitstempel in fest definiert großen Zeitrahmen des Videos. Auf diese Weise müssten nun auch die erfassten Sensordaten mit Zeitstempeln aus dem Aufnahmesystem versorgt werden, was nur mit einer direkten, echtzeitfähigen Taktleitung zwischen der Kamera der Anzeigeeinheit und der sensorunterstützten Zahnbürste bewerkstelligt werden könnte.
-
Bisherige optische bzw. akustische Lösungen, wie die sogenannte und später erläuterte Klappe beim Film oder definierte Ruhesynchronisationspunkte, sind für anspruchsvolle wissenschaftliche Untersuchungen nicht genau genug.
-
Aufgabe
-
Aufgabe war es, ein Gerät zu entwickeln, das kostengünstig eine Vielzahl von Synchronisationspunkten erzeugt, um Sensor- und Videodaten zusammenführen zu können.
-
Technische Lösung
-
Da weder die Kamera der Anzeigeeinheit, noch die sensorunterstützte Zahnbürste über eine Schnittstelle der Taktung verfügen, müssen andere Kommunikationsmöglichkeiten gefunden werden wie z.B. optische. Hierfür wird eine optische Signalisierung, wie z.B. eine LED-Reihe (siehe 2), an der sensorunterstützten Zahnbürste angebracht, welche binär den Zustand eines Zählers anzeigt, der in regelmäßigen Abständen, beispielsweise im Sekundentakt inkrementiert wird. Jedes Inkrementieren des Zählers wird auch bei den übertragenen Daten mit abgespeichert, so dass hiermit ein Synchronisationspunkt definiert ist. Eine weitere Möglichkeit ist die Nutzung des akustischen Kommunikationswegs mit Hilfe eines Art Hammers (siehe 3).
-
Für bereits durchgeführte Versuchsreihen ist ein technisches Softwareverfahren bereitzustellen, welches es ermöglicht, die Daten der unterschiedlichen Systeme einander zuzuordnen, aufgrund von sogenannten Stützpunkten, welche in den Historien beider technischer System identifiziert werden können. Die Verläufe zwischen den Stützpunkten können je nach geforderter Genauigkeit, linear interpoliert werden.
-
Um die auf diese Weise synchronisierte Daten zu prüfen, kommen Entscheidungsbäume als Modell für die Daten zum Einsatz, welche die Datensätze klassifizieren in plausibel und nicht plausibel. Im Falle von nicht plausiblen Datensätzen muss der Fehler ermittelt werden oder das mathematische Modell angepasst werden.
-
Es handelt sich bei der Erfindung um ein Gerät bzw. Software zur Unterstützung der Synchronisation von Sensor- und Bilddaten, die mit unterschiedlichen Geräten erfasst werden.
-
In der hier beschriebenen Ausprägung geht es um Sensordaten, die von einer mit Sensoren versehenen Zahnbürste gemessen und übertragen werden, während die oder der Putzende mit einer handelsüblichen digitalen Videokamera aufgenommen wird. Die Sensordaten sollen nun auf den einzelnen Frame genau den Bilddaten zugeordnet werden können.
-
-
Hierbei wird eine Zahnbürste mit einem Sensorpaket versehen, das die relevanten Bewegungsdaten aufnimmt. In einem mit einer Kamera versehenen Anzeigegerät, wie beispielsweise SmartPhone oder Tablet-PC, werden die Bewegungsdaten analysiert, ggf. für Forschungszwecke aufgezeichnet und online dem Benutzer, beispielsweise eingeblendet in sein Spiegelbild, zur Bewegungsoptimierung aufbereitet dargeboten. Ergänzend zu den o.g. Sensordaten werden auch die über die Kamera des Anzeigegerätes erhaltenen Bilddaten des Benutzers in die Bewegungsanalyse mit aufgenommen.
-
Ein Prototyp der 2. Generation enthält ein wasserdicht gekapseltes Sensorpaket bestehend aus 3 Beschleunigungs- und 3 Winkelbeschleunigungs- sowie einem Dehnungssensor. Deren Messdaten werden über eine standardisierte Funkschnittstelle an das Anzeigegerät übertragen.
-
Ein kommerzielles Produkt soll für weniger als 10€ käuflich zu erwerben sein, also als Massenprodukt konzipiert werden.
-
Die Erfindung kann aber genauso wie in der Patentschrift
DE 10 2016 007 903.7 beschrieben bei der Bewegungsoptimierung eines Sportgerätes oder Musikinstrumentes eingesetzt werden.
-
So kann ein Sensorsystem wie bei der iBrush beschrieben in ein Sportgerät, wie z.B. Schläger für Golf, Tennis, Tischtennis, Badminton, Squash, Eishockey, Hockey, Baseball aber auch Ski oder Snowboard, oder in ein Kleidungsstück wie z.B. Skistiefel, Helm, Boxhandschuh, Handschuh, integriert, an einem Musikinstrument wie z.B. Geigenbogen oder bei der Rehabilitation an einer Orthese befestigt, bzw. z.B. bei der Optimierung von Karate- oder anderen Kampfsport-Bewegungen, direkt am Körper getragen werden, wie z.B. eine Befestigung mit geeignetem Gurt o.ä..
-
Genau wie bei iBrush werden auch bei den eben skizzierten Anwendungen in Ergänzung zu den Sensordaten die Videodaten des Anwenders on- oder offline analysiert, um beispielsweise die Ortsauflösung deutlich zu verbessern, hierzu müssen ebenfalls Sensor- und Videodaten synchronisiert werden.
-
Wenn Bedarf besteht, Sensor- und Videodaten nachträglich zu synchronisieren, weil es z.B. von Anfang an nicht vorgesehen war, kommt eine Software zum Einsatz, welche die nachträgliche Synchronisation unterstützt.
-
Sensor- und Videodaten müssen einander zugeordnet werden können. Da auf beiden Seiten Drifts auftreten können, benötigt das Gesamtsystem möglichst viele Synchronisationspunkte, bei denen Sensordaten einem bestimmten Videoframe zugeordnet werden können und vice versa.
-
Eine ähnliche Aufgabenstellung für die Synchronisation von Bild- und Tondaten musste schon zu Anfang des Tonfilms gelöst werden, hierbei kam die sogenannte Klappe zum Einsatz, mit der ein damals noch analoges Filmbild einem Ton, der mit namensgebenden Klappe erzeugt wurde, zugeordnet werden konnte. Die Klappe stellt also ein akustisches und optisches Signal dar, damit in den Filmaufnahmen bestimmte Synchronisationspunkte identifiziert werden können.
-
Bisherige Synchronisationsverfahren bei der iBrush nutzen aus, dass die Werte der Beschleunigungssensoren bei der Ruhelage der iBrush vor und nach dem Putzvorgang nur Minimalausschläge, sog. Rauschen, aufweisen. Diese 2 Synchronisationspunkte reichen aber nicht aus, um die Daten aus einem kompletten Zahnputzvorgang zuverlässig einander zuordnen zu können.
-
Weiter können Verhaltensänderungen, wie z.B. ein Wechsel von einem Kiefersextanten zu einem entfernten oder Umgreifen, sowohl im Videoframe als auch durch auffällige Werteveränderungen im Sensordatensatz im Prinzip einander zugeordnet werden.
-
Um wesentlich mehr Synchronisationspunkte zur Verfügung zu haben, soll zum einen die iBrush bzw. das Sensorpaket bei den anderen skizzierten Einsatzmöglichkeiten wie Sportgeräten oder Musikinstrumenten, mit einem LED-Array versehen werden (siehe 2), das regelmäßig, wie beispielsweise im Sekundentakt, seine Anzeige verändert und diese Änderung auch in den Sensordatensatz einspielt. Das Inkrementieren des LED-Zählers wird vom Sensorpaket der Zahnbürste getriggert. So können mit n LEDs 2" Zustände dargestellt werden, beispielsweise mit 4 LEDs die binären Zahlen, also 0 für aus-aus-aus-aus bis 15 für ein-ein-ein-ein. Die Zustandsänderung des LED-Arrays kann framegenau auf den Videodaten erkannt werden, im Vollausbau auch sogar automatisch, so dass man bei Zustandsänderung im Sekundentakt und einem typischen 2 Minuten dauerndem Putzvorgang 120 Synchronisationspunkte hätte. Mit der Detektion des LED-Arrays hätte man darüber hinaus mehrere fixe Punkte auf der iBrush bzw. auf dem Sensorpaket, s.o., und könnte bei bekannter Geometrie die Ortsbestimmung wesentlich verbessern.
-
Zum anderen können mit einem externen Gerät während des Putzvorgangs sowohl typische Artefakte bei den Sensordaten als auch diese zuordenbaren akustischen und optischen Ereignisse bei den Videodaten erzeugt werden. Dieses Gerät ähnelt einem kleinen Hammer (siehe 3), enthält selber Beschleunigungssensoren und erzeugt bei einer einstellbaren Beschleunigungsänderung, wie sie z.B. beim Klopfen auf die iBrush entsteht, ein akustisches und optisches Signal. Da die Masse des Hammers bekannt ist, dessen Sensoren geeicht werden können, kann eine solche Erzeugung eines Synchronisationspunktes auch zur Eichung der entsprechenden iBrush-Sensoren verwendet werden.
-
Die softwaretechnische, nachträgliche Synchronisation beschäftigt sich mit dem Abgleich nicht synchronisierter Datenbestände aus unterschiedlichen Quellen und der Verifikation von Daten bzw. synchronisierten Daten mit Hilfe von Entscheidungsbäumen.
-
Der Abgleich nicht synchronisierter Datenbestände aus unterschiedlichen Quellen wird wie folgt bewerkstelligt: Zur Identifikation besonderer Punkte in einer Zeitachse von Daten kann man Ähnlichkeitsmaße verwenden, d.h. wenn zwei aufeinanderfolgende Datensätze sehr unähnlich sind, liegt ein besonderer Punkt in der Zeitachse vor (siehe 1: 1, 2, 3, 4a und 4b). Für Datensätze mit mehreren stetigen Merkmalen, wie z.B. Sensor-Daten, kann der euklidische Abstand im Vektorraummodell als Unähnlichkeitsmaß bzw. das Kosinus-Maß als Ähnlichkeitsmaß bzw. Änderungsmaß zweier aufeinander folgenden Datensätze herangezogen werden. Für Datensätze mit diskreten Merkmalen 0 und 1, wie z.B. Rating-Daten kann die Hamming-Distanz verwendet werden. Alle Änderungsmaße können in ihren Merkmalen gewichtet werden, wie z.B. den Druck mit 0 zu gewichten. Mit Hilfe der Ähnlichkeitsmaße bzw. Unähnlichkeitsmaße / Änderungsmaß können die besonderen Zeitpunkte starker Änderungen in den entsprechenden Datenbeständen ermittelt werden (siehe 1). Die ermittelten Zeitpunkte der jeweiligen zwei Zeitachsensysteme werden in Stützpunkten, mit Stützstellen und Stützwerten gespeichert. Mit Hilfe einer Interpolationsfunktion können Werte über lineare Interpolation zwischen zwei Stützpunkte in beide Richtungen errechnet werden. Das Verfahren kommt zum Einsatz, wenn keine unmittelbare Zuordnung der Zeitachsen zueinander möglich ist, wenn eine Zeitachse nichtlinear z.B. aufgrund von Übertragungsverzögerungen ist.
-
Nach der erfolgten Synchronisation zweier Datenbestände bietet sich die Verifikation von Daten bzw. synchronisierten Daten mit Hilfe von Entscheidungsbäumen an. Mit Hilfe von Trainingsdaten können Entscheidungsbäume erstellt werden für einzelne Datenquellen bzw. über zwei synchronisierte Datenquellen. Die Knoten der Entscheidungsbäume liefern für die Testdaten die Aussage Datensatz plausibel oder Datensatz suspekt. Mit Hilfe von ermittelten suspekten Daten für die Testdaten können Fehler in der Synchronisation festgestellt werden oder das mathematische Modell angepasst werden.
-
Das beschriebene softwaretechnische Verfahren ist eine hinausreichende Möglichkeit über die in [1] beschriebenen Verfahren in dem Fall, wenn eine Synchronisation nachträglich ohne jegliche technische Hardware-Unterstützung wie LED-Array oder ähnliche Einrichtungen nötig ist.
-
Ausführungsbeispiele
-
Anwendungsbeispiele sind das Zusammenwirken einer sensorunterstützen Zahnbürste mit einer Anzeigeeinheit, welche die Ergebnisse der sensorunterstützen Zahnbürste ausgibt. Im Bereich des Films und Radios können Anfang und Ende von Sequenzen bzw. Musikstücken signalisiert werden.
-
Erreichte Vorteile
-
Die Erfindung bietet der Forscherin, dem Forscher eine maximale Sicherheit bei der Zusammenführung von Daten auf unterschiedlichen Geräten. Das hier beschriebene Gerät gibt der Forscherin, dem Forscher kostengünstig eine zuverlässige Zuordnung von Sensor- und Videodaten. Der Stand der Technik auf Seiten der Synchronisation von Sensor- und Videodaten ist nur eingeschränkt bekannt. Auf Seiten der intelligenten Zahnbürsten gibt es immer wieder Erfolgsmeldungen wie z.B. von der Konsumgütermesse in Barcelona, die jedoch einer genaueren Überprüfung nicht Stand halten.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- DE 102010053688 [0014]
- DE 102013016 [0014]
- DE 102014001163 [0014]
- DE 102016007903 [0018]
