-
Die Erfindung betrifft ein Verfahren zur Verbesserung der Betriebssicherheit von mobilen Endgeräten bei Störungen einer für den Betrieb erforderlichen Verbindung für den Austausch von Betriebsdaten zu anderen Geräten gemäß dem Anspruch 1.
-
Viele mobile Endgeräte wie Mobiltelefone, mobile Rechner oder mobile Prozessorbasierte Einheiten bieten Dienstleistungen und Funktionen an, die nur durch Prozessauslagerung in externe Rechnernetze (sog. Clouds) oder Zentralrechner (Server) ermöglicht werden können. Eine solche Auslagerung ermöglicht auch das Bereitstellen von Dienstleistungen, die viel mehr Ressourcen benötigen als die, die im mobilen Endgerät zur Verfügung stehen. Dadurch ist ihr Nutzen für den Bediener dementsprechend höher. Diese erweiterte Funktionalität nutzt die mobile Bandbreite und Verbindungsgüte (Konnektivität) des mobilen Endgeräts aus.
-
Allerdings ist diese Konnektivität durch die Mobilität nicht immer gegeben. Die Verbindungshistorien von mobilen Endgeräten weisen immer noch zeitliche Unterbrechungen oder Störungen auf (z.B. bei Funklöchern oder Netzüberlastung), wobei das betreffenden Gerät für eine gewisse Zeit im Inselbetrieb (Offline-Betrieb) arbeitet und nicht erreichbar ist. Jedoch ist der Zugriff auf die ausgelagerten Prozesse (Back-End-Prozesse) oder auf Daten und Kapazitäten im externen Netzwerk (Cloud-Ressourcen) nicht mehr oder nur noch eingeschränkt möglich, sodass diese Dienstleistungen und Funktionen am mobilen Endgerät nicht mehr zur Verfügung stehen und abgebrochen werden. Dies wirkt sich negativ auf die Benutzbarkeit der mobilen Endgeräte insbesondere im Offline-Betrieb aus.
-
Zur Sicherstellung eines unabhängigen Inselbetriebs auf einem mobilen Endgerät bei zeitlicher Unterbrechung oder Störung der Konnektivität muss sichergestellt werden, dass die hierfür erforderlichen Daten bereits zu Beginn der zeitlichen Unterbrechung oder Störung auf dem mobilen Endgerät zwischengespeichert sind und für den Betrieb bereitstehen. Ein ansonsten ausgelagerter Prozesszustand wird dann vom Server oder Netzwerk auf das mobile Endgerät verlagert, wobei jedoch nur noch begrenzte Ressourcen zur Verfügung stehen. Eingeschränkte Ressourcen bedeutet eingeschränkte Nutzbarkeit. Auch stehen größere Datenmengen und Informationen, die in Echtzeit erzeugt werden, bei Störungen der Konnektivität(z.B. Aufzeichnungen in Echtzeit) auf dem mobilen Gerät nicht mehr zuverlässig zur Verfügung.
-
In der
US 2008/0005695 A1 wird beispielsweise laufende Zwischenspeicherung von für einen Inselbetrieb erforderlichen Daten vorgesehen. Hierzu wird eine laufend im Hintergrund arbeitende Suchfunktion zur situationsabhängigen Zwischenspeicherung vorgeschlagen.
-
Alle Prozesszustände über einen längeren Zeiträume auch über Störungen hinweg laufend zu synchronisieren, führt zu einer hohen Bandbreitenauslastung, was widerum große Ressourcen im Endgerät erfordert und zu einer signifikanten Einschränkung der Funktionalität führt.
-
Folglich wird angestrebt, Störungen und Unterbrechungen einer Verbindung vorherzusagen und damit eine bedarfsgerechte Zwischenspeicherung von für einen Inselbetrieb erforderlichen Daten auf das mobile Endgerät auszulösen.
-
In den
US 2006/0187847 A1 und
US 2012/0102214 A1 werden hierzu über Beschleunigungssignale der Verbindungsstatus eines mobilen Endgeräts erfasst, mit Daten einer Signalbibliothek verglichen und für eine Auslösung einer Aktion wie z.B. Zwischenspeicherung herangezogen.
-
Die vorgenannten Konzepte bedürfen stets eine große Speicherkapazität und/oder größere laufend vorzuhaltende Rechnerleistungen zur Bearbeitung größerer Datenmengen im Endgerät. Damit sind die Konzepte relativ starr, langsam und zudem nur begrenzt in der Lage, sich auf neue Situationen anzupassen.
-
Davon ausgehend liegt die Aufgabe der Erfindung darin, ein Verfahren zur Verbesserung der Betriebssicherheit von mobilen Endgeräten der eingangs genannten Art so zu gestalten, dass es die vorgenannten Einschränkungen nicht aufweist und sich flexibel an bekannte wie neue Situationen auch mit begrenzten Ressourcen anpasst.
-
Insbesondere liegt eine Aufgabe darin, eine Verbindungstörung oder -unterbrechung eines mobilen Endgerätes in diesem so rechtzeitig zu erkennen, dass eine Zwischenspeicherung von Prozesszuständen und Daten für die Ermöglichung eines Inselbetriebs des Endgerätes realisierbar ist.
-
Die Aufgabe wird mit einem Verfahren gemäß dem Anspruch 1 gelöst. Hierauf bezogene Unteransprüche geben vorteilhafte Ausgestaltungen wieder.
-
Die Lösung der Aufgabe basiert auf einem Verfahren zur Verbesserung der Betriebssicherheit von Geräten vorzugsweise mobilen Endgeräten bei Störungen einer für den Betrieb erforderlichen Verbindung (z.B. Verbindungsverluste, Verbindungsstörungen, Verbindungsunterbrechungen) für den Austausch von Betriebsdaten zu anderen Geräten wie z.B. eine Sendestation oder andere Endgeräte. Die Geräte werden vorzugsweise von einer Person mitgeführt oder bedient, die sich in unmittelbarer Umgebung des Geräts befinden und oftmals an diese mechanisch angebunden sind (z.B. Mobiltelefon in der Hosentasche oder mobilen Rechner oder Prozessor im Fahrzeug etc.). Voraussetzung für das Verfahren ist ein mobiles Endgeräts mit mindestens einem Sensor, einem Dauerspeicher sowie einem Zwischenspeicher. Die Endgeräte sind vorzugsweise mobile Telefone (z. B. sog. Handy, Mobile, Smartphone etc.), Datenverarbeitungssysteme (wie z.B. Rechner, Computer, insbesondere sog. Laptops, Tablets etc.) oder auch mobile Prozessrechner wie sie z.B. in Fahrzeugen einsetzbar sind.
-
Eine Ausführung mit den dargestellten Merkmalen sieht vor, dass ein Server von mobilen Endgeräten, z.B. von verschiedenen Messstellen mit Informationen gespeist wird und z.B. ein auf dem Server auflaufender Vorgang wie z.B. eine Regelung von einer störungsarmen Übermittlung von Messdaten dieser Messstellen angewiesen ist. Eine weitere mögliche Anwendung sieht vor, dass z.B. ein mobiles Endgerät wie z.B. ein Mobiltelefon (Handy, Mobile) Daten, die von dessen Umfeld aufgenommen werden, gelegentlich oder periodisch zu einem Server sendet. Wenn aber durch das beschriebene Verfahren zur Verbesserung der Betriebssicherheit eine Störung oder Unterbrechung der Verbindung zum mobilen Endgerät erkannt wird (z.B. Offline geht), wird vorgeschlagen, die Daten, die noch nicht synchronisiert wurden vor der vorhersehbaren Störung oder Unterbrechung hochzuladen.
-
Der mindestens eine Sensor, vorzugsweise umfassend ein Bewegungssensor, Beschleunigungssensor und/oder Lichtsensor ist vorzugsweise im mobilen Endgerät integriert. Er dient der laufenden Erfassung je eines Situationssignals je Sensor, die dann zu einer Situationssignalfolge zusammengesetzt werden.
-
Die Situationssignalfolge wird über ein mitlaufendes Zeitfenster auf dem Zwischenspeicher laufend abgespeichert, wobei vorzugsweise die Signalinformationen, die zeitlich das laufende Zeitfenster verlassen durch neu hinzugekommene Signale im Zeitfenster laufend überschrieben werden.
-
Parallel zu der laufenden Signalfolge erfolgt eine laufende Überwachung der vorgenannten Verbindung des Endgeräts für den Austausch von Betriebsdaten zu anderen Geräten sowie dabei eine Erfassung von Verbindungsstörungen (einschließlich Unterbrechungen). Werden Verbindungstörungen erkannt, erfolgt eine Zuordnung dieser Störungen jeweils zu einer vorangegangenen Situationssignalfolge im jeweiligen Zeitfenster vor der jeweiligen Störung. Eine so festgelegte Situationssignalfolge dient als Triggersignal für eine Zwischenspeicherung von Betriebsdaten auf das bevorzugte Endgerät bei zukünftigen Ereignissen. Sie wird als eine einer Störung vorangegangenen Situationssignalfolge auf dem Dauerspeicher des Geräts, bevorzugt des mobilen Endgeräts als Triggersignale für eine Zwischenspeicherung von Betriebsdaten abgespeichert. Durch einen laufenden Vergleich der laufend erfassten Signalfolgen mit den im Dauerspeicher hinterlegten Triggersignalen sind zukünftige Verhaltensmuster von sich ankündigenden Störungen wiedererkennbar.
-
Wird eine solche Störung durch Übereinstimmung einer Situationssignalfolge mit einem Triggersignal erkannt, wird ein Zwischenspeicherungsvorschlag generiert, der auf Anforderung oder selbstständig eine Zwischenspeicherung von für einen verbindungslosen Inselbetrieb erforderlichen Betriebsdaten im Zwischenspeicher des mobilen Endgeräts auslöst.
-
Ein wesentliches Merkmal des Verfahrens basiert auf einer Datenreduktion, die eine zuverlässige Prognose mit vorgenannter Vorgehensweise auch bei mobilen Endgeräten mit reduzierter Rechenkapazität (Speichervolumen, Taktfrequenz etc.) in Echtzeit ermöglicht. Die hinterlegten Triggersignale umfassen hierzu nur Kernsignalmuster mit gegenüber den vorgenannten Situationssignalfolgen deutlich reduziertem Datenvolumen von einzelnen Situationssignalen. Diese hinterlegten Kernsignalmuster werden mit laufenden Situationssignalfolgen verglichen und werden durch weitere Situationssignale ergänzt und erneut hinterlegt, wenn die bislang hinterlegten Kernsignalmuster keine Störung ankündigen und damit eine zuverlässige Prognose nicht zulassen.
-
Die Kernsignalmuster werden somit laufend aktualisiert und um neue Kernsignale und vorzugsweise nur um die neuen Kernsignale ergänzt, die für eine Unterscheidung zu anderen Signalmustern und zur Auslösung einer Zwischenspeicherung von für einen verbindungslosen Inselbetrieb erforderlichen Betriebsdaten erforderlich sind.
-
Auf der anderen Seite werden vorzugsweise auch Kernsignale aus einem Kernsignalmuster gestrichen, wenn diese für eine Unterscheidung zu anderen hinterlegten Mustern, die nicht auf bevorstehende Störungen oder Unterbrechungen hinweisen, nicht erforderlich, d.h. hierfür nicht unterscheidungskräftig sind.
-
Bei der Generierung der Kernsignalmuster erfolgt eine laufende Erfassung von zeitlich ablaufenden Sensorsignalmustern eines jeden Sensorsignals als auch von Sensorsignalmustern aus zeitgleich erfassten Signalen von verschiedenen Sensoren in der Situationssignalfolge.
-
Störungen einer Verbindung sind grundsätzlich anhand von Messgrößen mit hinreichender Zuverlässigkeit erkenn- und vorhersehbar. Die Messgrößen und die damit generierbaren Situationssignalfolgen sind rechnerisch modellierbar und damit auf bestimmte Kernsignale abstrahierbar.
-
Eine dieser Messgrößen umfasst geographische Signale (Ort) des mobilen Geräts. Eine Verbindungsqualität, d.h. die Güte und die Übertragungsgeschwindigkeit einer Verbindung ist aufgrund der oftmals fixen Anordnung von Sendestationen (Netzmasten, WiFi Zugangspunkte, etc.) von dem Ort eines mobilen Geräts abhängig.
-
Eine dieser Messgrößen umfasst kalendarische Signale (Zeit) wie z.B. die Uhrzeit. Der tägliche Rhythmus und die Gewohnheiten eines Menschen hat einen großen Einfluss darauf, wo er sich zu einem Zeitpunkt befinden wird. Die Messgrößen lassen sich in bestimmte Situationssignalfolgen für wiederkehrende Verhaltensmuster einordnen. Die genannten Verhaltensmuster sind vorzugsweise wiederkehrende Ereignisse oder Abläufe im täglichen Leben, wie z.B. die tägliche Fahrt zur Arbeitsstelle oder Freizeitaktivitäten.
-
Somit lassen sich auch systematische Einflüsse auf die Verbindungsqualität wie auch Verbindungsstörungen, die während solcher Verhaltensmuster und/oder an einem bestimmten geographischen Ort auftreten, als Erfahrungswerte den jeweiligen Verhaltensmuster und/oder dem Ort zuordnen. Mit einer Wiedererkennung eines gespeicherten Verhaltensmusters oder Orts erfolgt anhand der gespeicherten Erfahrungswerte eine Verbindungsprognose und Entscheidung zu einer Zwischenspeicherung von Betriebsdaten, die für einen verbindungslosen Inselbetrieb eines mobilen Endgeräts erforderlich sind.
-
Die beiden vorgenannten Messgrößen korrelieren somit mit der Verbindungsqualität mit einer hinreichenden, jedoch begrenzten Wahrscheinlichkeit. Damit kommen vorzugsweise zeitliche und räumliche Modelle des menschlichen Verhaltens für die Prognose einer Verbindungsqualität in einem zukünftigen Zeitpunkt zur Anwendung. Dennoch kommt es zwingend zu nicht eindeutigen Prognosen, die eine zuverlässige Vorhersage einschränken. Dies passiert insbesondere dann, wenn ein Mensch sich außerhalb des Beschreibungsraums der Modelle befindet, z.B. seinen Tagesrhythmus ändert wie z.B. bei Urlaub, spontanen Ausflügen oder Geschäftsreisen oder wenn er sich an neue oder unbekannte Orte begibt.
-
Sind geographische und kalendarische Signale (Ort und Zeit) nicht ausreichend, hinreichend genau auflösbar oder die Situationssignalfolgen nicht eindeutig zuordnungsfähig, kommt es ebenfalls zu Fehlinterpretationen. Dies liegt auch daran, dass die Verbindungsqualität auch mit dem physischen Verhalten des Menschen zusammenhängt, d.h. auch von seiner persönlichen Situation und seiner aktuellen Tätigkeit abhängt. Zusätzliche Messgrößen und Modellbetrachtungen zur Erfassung von Situationsinformationen, d.h. des Umfelds sowie bestimmter Bewegungen der Person, die das mobile Endgerät trägt oder bedient, dienen der verbesserten Vorhersage.
-
Folglich umfasst eine bevorzugte Ausgestaltung Mittel und/oder mindestens einen Sensor zur Erfassung von Signalen zur Situationsinformation und Erzeugen von Situationssignalfolgen. Ferner sollen die Signale und die Signalfolgen quantifiziert werden.
-
Eine weitere bevorzugte Ausgestaltung sieht Sensoren zur Erfassung der vorgenannten Signale vor, die im mobilen Endgerät integriert sind. Die Sensoren sind dabei ein Teil der Gerätehardware und ermöglichen eine Abtastung der Parameter aus ihrer Umgebung. Bevorzugt kommen zur Erfassung von Situationsinformationen Beschleunigungssensoren (Accelerometer), Magnetfeldsensoren (Magnetometer), Luftdrucksensoren (Barometer), Lichtsensoren (z.B. Photodioden), Temperatursensoren und/oder Mikrophone zum Einsatz, die oftmals im mobilen Endgerät wie z.B. in einem Mobiltelefon für eine andere Funktion oder ohne Funktion bereits enthalten sind.
-
Eine besonders bevorzugte Ausgestaltung sieht nur Situationssignalfolgen und Kernsignalmuster vor, die ausschließlich auf Signale zurückgreifen, die ausschließlich mit im mobilen Endgerät integrierten Sensoren generiert werden. Weiter bevorzugt greift diese dabei nicht auf die vorgenannten Zeitsignale und geographischen Signale zurück, sondern stützt sich auf die erfassten Kernsignalmuster, die den iterativ generierten und im Dauerspeicher hinterlegten oder erzeugten Triggersignalen für eine Zwischenspeicherung oder ein Zwischenspeicherungsvorschlag entsprechen.
-
In das Endgerät integrierte Beschleunigungssensoren erfassen z.B. Bewegungsarten des mobilen Endgeräts und bei mechanischer Anbindung auch der Person. Beispielsweise lassen sich hiermit Geh- und Laufbewegungen von Fahrzeugbewegungen unterscheiden. Fahrzeugbewegungen lassen sich durch charakteristische Vibrationen z.B. des Antriebs hinreichend erfassen.
-
In das Endgerät integrierte Magnetfeldsensoren erfassen z.B. das magnetische Umfeld und die Ausrichtung eines Endgeräts und bei mechanischer Anbindung auch der Person. Bestimmte magnetische Umfeldeigenschaften weisen auf elektromagnetische Abschirmungen oder Magnetfeldquellen hin und korrelieren mit einer elektromagnetischen Verbindungsqualität zwischen zwei Geräten.
-
Luftdrucksensoren liefern zusätzliche Informationen nicht nur zu einer geographischen Höhenlage, sondern mit Hilfe von Plausibilitätsbetrachtungen auch Informationen über künstliche und/oder natürliche Druckmanipulationen (z.B. durch Druckkabinen, aktuelle Wettersituationen, Staudrücke etc.), die mit einer elektromagnetischen Verbindungsqualität zwischen zwei Geräten korrelieren.
-
Lichtsensoren liefern zusätzliche Informationen, die entweder in eine Plausibilitätsbetrachtung mit einfließen oder zum Umfeld des mobilen Endgeräts. Beispielsweise wird so erkennbar, ob ein mobiles Endgerät in einer Tasche verpackt und damit im Dunklen liegt oder ob es offen einer Lichtstrahlung ausgesetzt ist (z.B. bei Benutzung).
-
Auch Temperatursensoren liefern zusätzliche Informationen, die entweder in eine Plausibilitätsbetrachtung mit einfließen oder zum Umfeld des mobilen Endgeräts. Sie liefern beispielsweise Informationen zum Gerät über seine Nähe zur Person und erkennen beispielsweise, ob ein mobiles Endgerät gerade von der Person bedient wird oder ob es in einer Kleidungstasche getragen wird. Ferner lassen Temperaturmessungen Rückschlüsse über das das Gerät unmittelbar umgebende Klima und damit Rückschlüsse z.B. auf unmittelbar angrenzende elektromagnetische Störgrößen zu (Induktionsöfen, Trafostationen etc.) zu.
-
Mikrophone erfassen ebenso Umfeldgeräusche, die Rückschlüsse auf unmittelbar einwirkende Störgrößen und/oder Umfeldsituationen z.B. für Plausibilitätsbetrachtungen zulassen.
-
Ferner werden optional Sensoren vorgesehen, die Systeminformationen und hinterlegte oder virtuelle Informationen erfassen und weiterleiten, wie z.B. Akkuladezustand, in einem Kalender hinterlegte Termine oder den aktuellen Betriebszustand des mobilen Endgerätes.
-
Eine weitere Ausgestaltung des Verfahrens umfasst eine vorzugsweise drahtlose Kommunikation und Austausch von Signalen mit anderen mobilen Endgeräten oder nicht integrierten Sensoren, die sich im Einzugsbereich von Funktechnik gestützten Kommunikationsmitteln (wie z.B. Blue Tooth) der mobilen Endgeräten befinden. Die drahtlose Kommunikation erfolgt vorzugsweise über eine elektromagnetische, alternativ über eine optische Datenübertragung.
-
Vorzugsweise werden nicht Situationssignale nur eines Sensors, sondern mehrerer der vorgenannten Sensoren im Kontext zu einer Situationssignalfolge zusammengefasst, die verfahrensgemäß zu Kernsignalmustern mit reduziertem Umfang weiterverarbeitet werden und bei hinreichender Erkennung und Zuordnungsfähigkeit zu Störungen oder Stabilität einer für den Betrieb erforderlichen Verbindung als Triggersignale hinterlegt werden.
-
Ein wesentliches Merkmal umfasst die Einbindung von vorzugsweise menschlichen Situationsinformationen, die von einem mobilen Endgerät abgetastet werden und im Rahmen eines Prädikationsprozesses in einen Zwischenspeicherungsprozess dieses Geräts hinterlegbar sind. Die Kontextgeschichte fließt in einen Prädiktionsprozess mit ein, der dazu dient die Entscheidung zu treffen, wann und welche Daten, Anwendungen (APPs), Funktionen oder Prozesse im mobilen Endgerät bei einer Konnektivitätsstörung oder -unterbrechung zwischengespeichert werden. Die Lösung umfasst auch die Umwandlung dieser Prädiktion in einen Vorschlag für die verschiedenen Anwendungen auf dem mobilen Endgerät.
-
Das Verfahren wird anhand von Ausführungsformen und Ausgestaltungen mit folgenden Figuren näher erläutert. Es zeigen
-
1 schematisch die typische Einbindung eines mobilen Endgeräts und der Person über eine Verbindung in einem Verbindungsnetzwerk,
-
2 schematisch die Systemarchitektur des mobilen Endgeräts zur Durchführung des Verfahrens,
-
3a und b jeweils eine beispielhafte Darstellung eines Verarbeitungsprozesses zur Verarbeitung von Situationssignalen zu einem Kernsignalmuster,
-
4 eine beispielhafte Darstellung der Generierung eines Zwischenspeicherungsvorschlags einer Kontexthistorie und Kernsignalmuster für einen Verbindungsqualitätswechsel,
-
5 eine Darstellung der Genauigkeitsmetriken für einen Zwischenspeicherungsvorschlag über die Länge eines mitlaufenden Zeitfensters sowie
-
6 eine Darstellung der zeitliche Verzögerung des Zwischenspeicherungsvorschlags bis zum Auftreten des Verbindungsverlusts über die Länge eines mitlaufenden Zeitfensters für die Kernsignalmustersuche.
-
Zur Durchführung des Verfahrens ist – wie in 1 dargestellt – ein Gerät, bevorzugt ein mobiles Endgerät 1 mit der zu bedienenden Person 2 über eine mindestens eine für den Betrieb des Geräts erforderliche Verbindung 3 zu einem anderen Gerät 4 eingebunden. Im Beispiel ist das andere Gerät mit einem weiteren Verbindungsnetzwerk 5 in einer IT-Infrastruktur 6 wie z.B. über ein Netzwerk verbundene Rechenkapazitäten, Datenspeicher, Netzwerkkapazitäten und/oder Datenverarbeitungsprogramme eingebunden.
-
2 stellt schematisch die Systemarchitektur des mobilen Endgeräts 1 zur Durchführung des Verfahrens dar. Das mobile Endgerät weist hierzu eigene integrierte Sensoren 7 (z.B. Systemüberwachungssensoren, Digitalsensoren oder physikalische Sensoren) auf, die ihre Situationssingale 8 intern zu einer Situationssignalfolge 9 bündeln und über ein mitlaufendes Zeitfenster 10 (vorzugsweise 1 bis 30 Sekunden, weiter bevorzugt 2 bis 10 Sekunden) zwischenspeichert. Vorzugsweise ist ein und dasselbe laufende Zeitfenster für alle Sensoren vorgesehen. Ausgestaltungen sehen jedoch vor, für mindestens einen Sensor ein in im Beginn und Zeitdauer abweichendes eigenes laufendes Zeitfenster vorzusehen, wobei die zeitliche Überlappung von zwei unterschiedlichen Zeitfenstern vorzugsweise mindestens 50% beträgt. Eine unterschiedliche Fensterlänge wird insbesondere dann vorgesehen, wenn zwischen kurzeitigem und langzeitigem Verhalten zu differenzieren ist. Beispielsweise ist ein kurzes Ereignis wie z.B. ein leichter Schlag gegen ein Bildschirm oder eine Anzeige (Touch-Display), das sporadisch innerhalb eines längeren Zeitraums z.B. zwischen 5 Sekunden und 15 Minuten, vorzugsweise zwischen 10 und 30 Sekunden aufgenommen wird, mit einem kürzeren Zeitfenster z.B. zwischen 0,1 und 5 Sekunden, vorzugsweise zwischen 0,5 und 2 Sekunden nicht zuverlässig erfassbar.
-
Im Rahmen der dargestellten Ausgestaltung erfolgt eine Zuführung der Situationssignalfolge zu einer Verhaltenserkennung, in der im Rahmen einer Merkmalsextrahierung 11 über das mitlaufende Zeitfenster die Signalmerkmale, die für eine Erkennung des Verhaltens erforderlich sind, extrahiert werden und zusammen der Bildung eines Kernsignalmusters dienen. In einer bevorzugten Ausgestaltung hierzu werden diese Merkmale von jedem Sensor separat oder aus mehreren Sensoren zusammengesetzt oder berechnet, wobei die Sensorsignale, die vektoriell einen dreidimensionalen Raum erfassen (z.B. Beschleunigungsvektoren), in einer weiteren Ausgestaltung für jede Dimension separat erfassbar sind. Beispiele für die vorgenannten Signalmerkmale umfassen dabei auch statistische Werte wie Durchschnittswerte, arithmetische oder geometrische Mittelwerte, Medianwerte, Varianzen, Standardabweichung, Minimal- und Maximalwerte, aber auch berechnete Größen wie Energie, Entropie etc. oder im Frequenzbereich z.B. die höchste Frequenzausprägung oder Entropie der Frequenzbereiche sowie daraus abgeleitete Werte. Die genannten Werte lassen sich beispielsweise mittels einer FFT-Analyse (Fast Fourier Transform) ermitteln.
-
Die extrahierten aufbereiteten Merkmale werden gemeinsam mit einem Verbindungsqualitätsstatussignal 13, das im mobilen Endgerät 1 laufend an eine Merkmalsreduktion 12 weitergeleitet. Das Verbindungsqualitätsstatussignal gibt den Status der im mobilen Endgerät laufend überwachten Verbindung wieder, wobei Verbindungsstörungen und -unterbrechungen erfasst werden.
-
Die Kernsignalmuster werden im Rahmen der Merkmalsreduktion gebildet. Sie werden durch einen laufenden Vergleich der laufend erfassten Signalfolgen mit den im Dauerspeicher bereits hinterlegten Triggersignalen 14 verändert und im Dauerspeicher als neue Triggersignale für eine Zwischenspeicherung von Betriebsdaten im Dauerspeicher als Erfahrungswerte gespeichert, wenn ein Vergleich der bislang hinterlegten Kernsignalmuster mit laufenden Situationssignalfolgen eine Verbindungsstörung nicht eindeutig erfasst. Die hinterlegten Kernsignalmuster müssen dann um weitere Situationssignale ergänzt oder um Signale gekürzt werden, um dann als neue Triggersignale im Dauerspeicher hinterlegt zu werden.
-
Eine Ausgestaltung gem. 2 gibt auch eine an die Merkmalsreduktion anschließende optionale Verifikationsüberprüfung 15 mit extern vorgegebenen Daten vorzugsweise aus externen Quellen 18 wieder (z.B. Zeitsignal 16, geographisches Signal 17). Für eine anschließende weitere Verarbeitung steht dann ein Zwischenspeicherungsvorschlag 19 zur Verfügung.
-
Die Signalmerkmale werden dann vorzugsweise zu Vektoren zusammengefasst, wobei jeder Vektor die Merkmale eines Fensters beinhaltet und jede Spalte eines Felds diese Vektoren desselben Signals desselben Sensors beinhaltet. Das System ist mit dem schon beobachteten Fenster von Sensordaten trainierbar, wobei die erfassten Signale quantifiziert werden. Dafür muss ein Feld (Array) von Merkmalvektoren spaltenweise normalisiert werden. 3a gibt eine beispielhafte Darstellung eines Verarbeitungsprozesses zur Verarbeitung von Situationssignalen zu einem Kernsignalmuster in einem Blockdiagramm wieder. Zunächst erfolgt die Sensordatenerfassung 20, bei der die einzelnen Sensoren 7, umfassend Systemsensoren 21 für die Erfassung z.B. der Verbindungsqualität und Umfeldsensoren 22 zur Erfassung der Umfeldinformationen wie Beschleunigungen, Temperaturen, Zeit, Strahlung, Licht oder auch kalendarische Informationen als Situationssignale 8 erfassen. Die Informationen werden in Vektoren zu einem Merkmalsvektorfeld gebündelt, wobei deren Anzahl und Umfang mit der Informationsmenge ansteigt. Insbesondere enthaltene redundante Informationen oder eine übergroße Vektorlänge beeinträchtigen dabei die Systemgenauigkeit. Daher sollen diese Vektoren nur auf die relevante Information reduziert werden. Hierzu werden die Situationssignale in Signalkanäle (Samplefenster) als Situationssignalfolge über mitlaufende Zeitfenster einer Merkmalsextrahierung 11 zugeführt, wobei sie in Merkmalsvektoren 23 umsetzt werden. Dabei erfolgt eine sogenannte PCA (PCA = Principle Component Analysis), womit Intermerkmalkorrelationen oder Kovarianzen eliminiert werden und nur eine Hauptkomponente im Vektorfeld dargestellt wird. Ebenso wird eine sogenannte ICA (Independent Component Analysis) ausgeführt, um statistisch zusammenhängende Variablen zu eliminieren. Dabei erfolgt eine Transformation des Merkmalvektorfelds in ein Feld mit weniger oder maximal gleich vielen Reihendimensionen sowie eine Gewichtung pro Feld-Spalte. Dieses beinhaltet die unabhängige bzw. die Hauptkomponente der Merkmalvektoren. Durch die Gewichtung kann dann entschieden werden, welche Spalte wie in einer Verifikationsprüfung nutzbar ist.
-
Die reduzierten Merkmalvektoren dienen als Datenbasis für ein maschinelles Lernen, d.h. zur Erkennen und Einordnung eines Verhaltens. Dies erfolgt entweder durch ein überwachtes- oder nichtüberwachtes Lernen.
-
Es folgt die Merkmalsextrahierung 12 zu reduzierten Merkmalsvektoren 24 sowie eine anschließende Einordnung (Klassifikation 25) zur Erfassung des quantitativen Verhaltens 26. Für ein überwachtes Lernen werden die Merkmalvektoren mit einer Kennung (Label), beispielsweise durch einen probabilistischen Klassifikator (Naive Bayes, oder nB) gekennzeichnet. Durch die Kennung sind die Vektoren durch einen Lernalgorithmus erkennbar. Ein sogenannter nB Klassifikator gruppiert und modelliert die Merkmalsvektoren nach Kennung. Zur Klassifikation wird dann die Wahrscheinlichkeit für jeden Kennungstyp berechnet und die wahrscheinlichste wird als Ausgangskennung (Output-Label) identifiziert.
-
Als Alternative ist auch ein unüberwachtes Lernverfahren anwendbar. Vektorbezogene Kennungen (Labels) kommen hier nicht zur Anwendung, sondern es erfolgt eine gesamtheitliche Modellierung aller Daten. Die Daten werden zunächst in eine Anzahl von indentifizierbaren Datengruppen (Cluster) aufgeteilt, die dann über die Laufzeit mittels eines nicht gekennzeichneten Merkmalsvektors (Clusteridentifikator) ausgebbar sind. Die Ausgabe erfolgt für jedes Fenster entweder als Verhaltenskennung (überwachtes Label) oder als Clusteridentifikator (unüberwacht), die dann einen zeitlichen Ablauf (Timeline) von quantifizierten Verhalten bilden.
-
3b zeigt eine weiterführende beispielhafte Darstellung der Verarbeitungsprozesse zur Verarbeitung von Situationssignalen. Ausgehend von einer Sensordatenerfassung mit einzelnen Sensoren 7 sowie durch diese erzeugten physikalischen Situationssignale 8 erfolgt, wie bereits anhand von 3a beschrieben, eine Erfassung des quantitativen Verhaltens 26. Darauf aufbauend erfolgt gruppenweise eine Musterextrahierung 27 entsprechend einer Zeitachse (Kontexttimeline) des quantitativen Verhaltens, beispielsweise in verschiedene Muster 28, beispielsweise Muster für eine Verbindungsqualität 28a, für einen Wifi-Empfang 28b, für Beschleunigungen 28c oder einen Ruhezustand 28d. Für jedes dieser Muster erfolgt mittels einer Kernmusteranalyse 29, vorzugsweise durch Vergleich mit vorgegebenen Werten, eine Einordnung in bestimmte Kernmuster 30. Die Verbindungsqualität wird beispielsweise vom System als Systemsensor geliefert und gibt die Qualität der Verbindung mit der Cloudstruktur an. Für jeden Zustandswechsel in Verbindungsqualität wird der Abschnitt der Zeitachse abgespeichert, der innerhalb von einem vorgebbaren Fenster (z.B. 12 Minuten) vor diesem Wechsel stattfand.
-
Um unterschiedliche Muster, die zur selben Verbindungswechselart führen, unterschiedlich modellieren zu können, müssen sie erst einmal erkannt werden. Dafür wird eine Ähnlichkeitsmatrix aufgebaut anhand des paarweisen Vergleichs der Muster innerhalb von einer Art Verbindungswechsel. Um dies zu ermitteln wird ein Distanzmaß zwischen Zeitachsen-Abschnitten eingesetzt, wie z.B. eine längste gemeinsame Untersequenz (Longest Common Subsequenz, LCSS), um die Distanz von einem Muster zum anderen zu berechnen. Das Ergebnis ist dann eine 2D Matrix, wobei der Index (i, j) die Distanz zwischen Muster i und Muster j darstellt. Diese Matrix wird dann gebündelt (geclustert), z.B. mit einer hierarchischen Bündelung (density-based Clustering). Alternativ ist diese mit einer Hauptkomponentenanalyse (sog. PCA-Verfahren, vorgenannt) analysierbar, um die Anzahl der zugrundeliegenden Kernmuster zu identifizieren und die Zugehörigkeit jedes Musters zu einem Kernmuster zu erkunden. Jedes dieser Kernmuster wird dann zusammen modelliert, z.B. damit der geometrische Mittelpunkt von zusammengruppierten Zeitachsenmustern detektierbar wird.
-
4 zeigt hierzu schematisch eine beispielhafte Darstellung der Generierung eines Zwischenspeicherungvorschlags einer Kontextgeschichte und Kernmuster für Verbindungsqualitätswechsel. Ausgehend vom qualifizierten Verhalten 26 (vgl. 3a) sowie der Kennmuster 30 (vgl. 3b) erfolgt eine Bewertung 31 anhand eines zeit- oder ortsbasierten Prädikationsmethode 32 bzw. 33 sowie einer Zusammenfassung 34 dieser zum Zwischenspeicherungsvorschlag 19 (vgl. 2).
-
Im Rahmen der Bewertung 31 ist zu jedem gewünschten Zeitpunkt die in Echtzeit generierte Zeitachse einer Vorhersage über zukünftige Verbindungszustände zuordnungsfähig. Dafür eignet sich z.B. der Mittelpunkt oder die längste gemeinsame Untersequenz, um die Kernmuster als Gauß´sche Verteilungen zu modellieren und um eine Vorhersage als Bewertung durchzuführen und eine Wahrscheinlichkeit über die Verbindungsqualitätszustände zu treffen. Diese Vorhersagen sind grundsätzlich mit anderen Vorhersagen (z.B. auf der Basis anderer Messdaten) kombinierbar, z.B. indem die Wahrscheinlichkeiten mit einander punktweise multipliziert und dann auf Wahrscheinlichkeitswerte normalisiert werden.
-
Diese Wahrscheinlichkeitswerte zu bestimmten Verbindungszuständen werden anhand der vorgenannten zeit- oder ortsbasierten Prädikationsmethoden 32 bzw. 33 sowie einer Zusammenfassung 34 in einen Zwischenspeicherungsvorschlag weiterverarbeitet. Beispielsweise erfolgt im Rahmen einer App ein Spezifizieren der Verbindungsarten in akzeptable und nicht akzeptable Zustände. Mit dieser Information ist beispielsweise auch entscheidbar, welche App oder andere Funktion des mobilen Endgeräts für eine Zwischenspeicherung vorgesehen wird oder und welche nicht. Bevorzugt werden die Wahrscheinlichkeiten der akzeptablen und nicht akzeptablen Verbindungsarten sowie die Zusammenfassung 34 als Zwischenspeicherungsvorschlag 19 geschickt, wenn die nicht akzeptablen wahrscheinlicher als die akzeptablen sind. Das wäre dann ein Indiz dafür, dass eine Zwischenspeicherung ausgeführt werden muss. Zur Rauschunterdrückung und besseren Signalerkennung bei der Generierung dieser Wahrscheinlichkeitswerte kommen vorzugsweise Filter zum Einsatz.
-
Die Wahrscheinlichkeitswerte für die Verbindungszustände werden wie vorgenannt zu Zwischenspeicherungsvorschlägen weiterverarbeitet. Jene werden dann vorzugsweise für jedes App auf dem mobilen Endgerät separat als akzeptable oder nicht akzeptable Verbindung spezifiziert, d.h. auf Grundlage derer wird entschieden, ob und welche App im mobilen Endgerät zwischengespeichert wird.
-
Umsetzung und Evaluierung:
-
Die vorgenannte Ausgestaltung wurde anhand eines mobilen Endgerätes auf der Basis eines Smartphones HTC Desire BravoC (mit Betriebssystem Android 2.1) mit einer Visualisierungseinheit des Typs Sony SmartWatch evaluiert, wobei die internen Sensoren des Smartphones, insbesondere die Beschleunigungsaufnehmer, Magnetfeldmessaufnehmer, Lichtmesser und Thermometer genutzt wurden. Eine Testperson hat das mobile Endgerät mit einer Anwendung mit sich getragen und einem Szenario unterzogen. Die evaluierte Anwendung umfasste eine Musikanwendung, bei der Lieder aus der Cloud in Echtzeit zwischengespeichert (gestreamt) und währenddessen im mobilen Endgerät abgespielt wurden. Der Zwischenspeicherungsvorgang besteht darin, die anstehende Liste mit den abzuspielenden Musiktiteln zwischenzuspeichern, sodass ein Abspielen dieser Titel sichergestellt ist, ohne dass der Benutzer bemerkt, dass die für den Zwischenspeicherungsvorgang erforderliche Konnektivität (Internetverbindung) gestört oder unterbrochen ist.
-
Bei der Evaluierung hat die Person das mobile Endgerät bei sich getragen und das System durch überwachtes Lernen mittels naivem Bayes-Klassifikators trainiert, um sein Verhalten in Kontextklassen einzuteilen. Die hierbei erforderlichen Kontextkennungen wurden zu diesem Zweck von ihm per Hand mit Hilfe des SmartWatches hinzugefügt. Die Ergebnisse über die Erprobung für die Quantifizierung sind in Tabelle 1 zusammengefasst. Dabei wurden verschiedene Vorgänge (Kontextklassen) sowie empirisch deren Wahrscheinlichkeit einer eindeutigen Zuordnung aufgetragen. Beispielsweise wird von dem System der Vorgang des Sitzens mit einer Wahrscheinlichkeit zu 99,2 % dem Sitzen und zu 0,7% den anderen, nicht weiter spezifizierten Vorgängen zugeordnet. Die Spalten geben die Aktivitäten, die der Nutzer tatsächlich ausgeführt hat, die Reihen die Aktivitäten, die das System vermutet hat auf der Basis der Sensordaten für verschiedene Verhalten wieder. Dabei zeigt sich, dass die Verhaltensmuster (Verhaltenstimeline), auf die sich die Vorhersage stützt, in einer realen Umgebung eine gute Näherung darstellt. Tabelle 1: Kontextklassen mit Genauigkeit in %
Sitzen | Stehen | Gehen | Stufen | Laufen | Anderes | |
99,2 | 0,0 | 0,0 | 0,0 | 0,0 | 0,7 | Sitzen |
0,0 | 92,5 | 1,7 | 3,9 | 0,0 | 1,9 | Stehen |
0,0 | 2,1 | 87,9 | 9,6 | 0,2 | 0,4 | Gehen |
0,0 | 0,9 | 7,1 | 91,1 | 0,2 | 0,8 | Stufen |
0,0 | 0,1 | 0,3 | 0,1 | 99,4 | 0,1 | Laufen |
0,0 | 14,2 | 0,8 | 11,1 | 0,0 | 73,9 | Anderes |
-
In der Evaluierung sind zwei verschiedene Vorgänge aufgefallen, bei denen eine zeitliche und örtliche Prädiktion scheitern würden. Der Benutzer, ein Student, lief im ersten dieser Vorgänge zehnmal durch einen Park, in dem keine oder eine nur minderwertige Konnektivität vorhanden war. Der andere dieser Vorgänge kennzeichnet den Weg zur oder von der Universität, währenddessen kein Verlust der Verbindung beobachtet wurde. Charakteristisch bei diesen Vorgängen war, dass die ersten 500m des dabei zurückgelegten Weges für beide Vorgänge ähnlich waren, sodass hier noch keine Klassifikation erfolgen konnte. Da der Benutzer zudem beide Vorgänge zu unregelmäßigen Zeiten vornimmt, würde eine Zwischenspeicherung basierend auf zeitlichen Informationen entweder ineffizient sein (überflüssige Zwischenspeicherung), fehlerhaft sein (nicht immer richtig zwischengespeichert) oder ganz zusammenbrechen.
-
Ausgehend von vorgenannten Daten erfolgte die Erprobung des verhaltensbasierten Prädikationsverfahren und des Zwischenspeicherungsvorschlagsmechanismus im Feldversuch. Dabei wurden alle vorgekommenen Verbindungsverluste vorhergesagt, bevor sie aufgetreten sind. 5 zeigt beispielhaft dabei im Feldversuch ermittelten Genauigkeitsmetriken 35 für einen Zwischenspeicherungsvorschlag in Abhängigkeit der Zeitfensterlänge 36 über bis zu 15 Minuten für die Erfassung eines Verhaltens. Die Präzision 37 der wiederholt erfassten Messwerte erreichte dabei erst bei einer Zeitfensterlänge (Abschnittslänge) von ca. 9 Minuten einen Maximalwert von über 0,93, d.h. es wurden bis dahin mit erhöhter Wahrscheinlichkeit auch Fehlinterpretationen und damit nicht erforderliche Zwischenspeicherungsvorschläge generiert. Der Signalverlauf der Rückmeldung 38 zur selben Zeitfensterlänge fällt aber deutlich niedriger, was darauf hinweist, dass ein Zwischenspeicherungsvorschlag nicht immer angeregt wurde, wenn er erforderlich war. Die Ursache hierfür liegt in dem sich mit dem Zeitpunkt der Konnektivitätsstörung ändernden Prädiktionshorizonts, an dem selbst keine Zwischenspeicherungsvorschläge mehr generierbar und ausführbar sind. Dennoch wurden im vorliegenden Feldversuch alle auftretenden Konnektivitätsstörungen vorhergesagt. In 5 sind zudem die Verläufe der Genauigkeit 39 sowie der sog. F-Werte 40, d.h. ein rechnerischer Kennwert aus dem zweifachen Produkt aus den Werten von Präzision und Rückmeldung durch die Summe aus den Werten von Präzision und Rückmeldung angegeben.
-
Im Gegensatz zu Tabelle 1, die die Werte der Erkennung einzelner Aktivitäten der Nutzer (Laufen, Gehen, Stehen etc.) darstellt, gibt 5 die Werte der daraus ermittelten Prädiktion an. Die Prädiktion erfolgt über den Zeitverlauf (Timeline) von erkannten Aktivitäten und bindet die Fehler und Abweichungen gemäß Tabelle 1 mit ein. Trotz dieser fehlerhaften Daten erfolgte eine zuverlässige Prädiktion.
-
6 zeigt hierzu die empirisch ermittelte zeitliche Verzögerung 41 des Zwischenspeicherungsvorschlags bis zum Auftreten des Verbindungsverlusts (jeweils mit Intervallbreiten) über die Zeitfensterlänge 42 (Musterlänge für die Kernmustersuche). Dabei hat sich herausgestellt, dass bei einer Zeitfensterlänge von 9 Minuten sich eine Zeitverzögerung von ca. 8,2 Minuten einstellt. Für die erprobte beispielhafte Anwendung bedeutet das, dass in dieser Zeitverzögerung z.B. Musik heruntergeladen werden oder dass eine Periode Musik ohne Internetverbindung überbrückt werden könnte, ohne dass ein Verlust der Funktionalität oder Benutzbarkeit für den Benutzer zu spüren ist.
-
Bezugszeichenliste
-
- 1
- mobiles Endgerät
- 2
- Person
- 3
- Verbindung
- 4
- anderes Gerät
- 5
- Verbindungsnetzwerk
- 6
- IT-Infrastruktur
- 7
- integrierte Sensoren
- 8
- Situationssignale
- 9
- Situationssignalfolge
- 10
- mitlaufendes Zeitfenster
- 11
- Merkmalsextrahierung
- 12
- Merkmalsreduktion
- 13
- Verbindungsqualitätsstatussignal
- 14
- hinterlegte Triggersignale
- 15
- Verifikationsüberprüfung
- 16
- Zeitsignal
- 17
- geographisches Signal
- 18
- externe Quelle
- 19
- Zwischenspeicherungsvorschlag
- 20
- Sensordatenerfassung
- 21
- Systemsensoren
- 22
- Umfeldsensoren
- 23
- Merkmalsvektor
- 24
- reduzierter Merkmalsvektor
- 25
- Klassifikation
- 26
- quantitatives Verhalten
- 27
- Musterextrahierung
- 28, 28a, 28b, 28c, 28d
- Muster
- 29
- Kernmusteranalyse
- 30
- Kernmuster
- 31
- Bewertung
- 32
- zeitbasierte Prädikationsmethode
- 33
- ortsbasierten Prädikationsmethode
- 34
- Zusammenfassung
- 35
- Genauigkeitsmetrik für einen Zwischenspeicherungsvorschlag
- 36
- Zeitfensterlänge
- 37
- Präzision
- 38
- Rückmeldung
- 39
- Genauigkeit
- 40
- F-Wert
- 41
- zeitliche Verzögerung des Zwischenspeicherungsvorschlags bis zum Auftreten des Verbindungsverlusts
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- US 2008/0005695 A1 [0005]
- US 2006/0187847 A1 [0008]
- US 2012/0102214 A1 [0008]