-
TECHNISCHES GEBIET
-
Die vorliegende Offenbarung bezieht sich auf drahtlose Überwachungssysteme.
-
STAND DER TECHNIK
-
Einzelhandelsgeschäfte, Flughäfen, Kongresszentren und intelligente Bereiche/Wohngebiete überwachen möglicherweise Personen in der unmittelbaren Umgebung. Die Bewegungsrichtung von Personen kann in verschiedenen Einsatzbereichen unterschiedliche Anwendungen aufweisen. Bei vielen Anwendungen können Kameras zur Verfolgung von Personen eingesetzt werden. Kameras in Einzelhandelsgeschäften zum Beispiel können Kameras aufweisen, die in der Decke montiert sind und nach unten blicken und dadurch nicht in der Lage sind, Personen mithilfe von Gesichtserkennungsalgorithmen exakt zu identifizieren. Fernerhin können Gesichtserkennungsalgorithmen an Orten, an denen sich Tausende von Menschen aufhalten können (z. B. auf einem Flughafen oder in einem großen Einzelhandelsgeschäft), unter Umständen nicht gut abschneiden.
-
KURZDARSTELLUNG
-
Gemäß einer Ausführungsform identifiziert eine Vorrichtung mit einem drahtlosen Sender-Empfänger, der dazu eingerichtet ist, Paketdaten mit einer Mobilvorrichtung zu kommunizieren, die einer oder mehreren Personen in der Nähe des drahtlosen Sender-Empfängers zugeordnet ist, einer Kamera, die dazu eingerichtet ist, Bilddaten zu erfassen, und einer Steuervorrichtung in Kommunikation mit dem drahtlosen Sender-Empfänger und der Kamera, wobei die Steuervorrichtung dazu eingerichtet ist, eine Vielzahl von Paketdaten von der Mobilvorrichtung zu empfangen, wobei die Paketdaten mindestens Amplituden- und Phaseninformationen im Zusammenhang mit dem drahtlosen Kanal enthalten, der mit dem drahtlosen Sender-Empfänger kommuniziert, die eine oder mehreren Personen als Kunde oder Mitarbeiter als Reaktion auf die Paketdaten und bestimmt eine Bewegungsvorhersage der einen oder mehreren Personen als Reaktion auf die Paketdaten und die Identifizierung der Person(en).
-
Gemäß einer anderen Ausführungsform identifiziert eine Vorrichtung mit einem drahtlosen Sender-Empfänger, der dazu eingerichtet ist, Paketdaten mit einer Mobilvorrichtung zu kommunizieren, die einer oder mehreren Personen in der Nähe des drahtlosen Sender-Empfängers zugeordnet ist, und einer Steuervorrichtung in Kommunikation mit dem drahtlosen Sender-Empfänger und der Kamera, wobei die Steuervorrichtung dazu eingerichtet ist, eine Vielzahl von Paketdaten von einer oder mehreren Personen zu empfangen, wobei die Paketdaten mindestens Amplituden- und Phaseninformationen im Zusammenhang mit dem drahtlosen Kanal enthalten, der mit dem drahtlosen Sender-Empfänger kommuniziert, die eine oder mehreren Personen als Kunde oder Mitarbeiter als Reaktion auf die Paketdaten und bestimmt eine Bewegungsvorhersage der einen oder mehreren Personen als Reaktion auf die Paketdaten und Identifizierung der Person(en).
-
Gemäß einer weiteren Ausführungsform umfasst ein Verfahren zum Erfassen von Bilddaten unter Verwendung eines drahtlosen Sender-Empfängers das Empfangen von Paketdaten von einer Mobilvorrichtung, die einer oder mehreren Personen in der Nähe des drahtlosen Sender-Empfängers zugeordnet ist, das Erhalten von Bilddaten, die einer dem drahtlosen Sender-Empfänger zugeordneten Kamera zugeordnet sind, das Empfangen einer Vielzahl von Paketdaten von der Mobilvorrichtung, wobei die Paketdaten mindestens Amplituden- und Phaseninformationen im Zusammenhang mit dem drahtlosen Kanal enthalten, der mit dem drahtlosen Sender-Empfänger kommuniziert, das Identifizieren der einen oder mehreren Personen als Kunde oder Angestellter als Reaktion auf die Paketdaten, und das Bestimmen einer Bewegungsvorhersage der einen oder mehreren Personen als Reaktion auf die Paketdaten und die Identifizierung der Person(en).
-
Figurenliste
-
- 1 ist ein Übersichtsschema eines drahtlosen Systems gemäß einer Ausführungsform der Offenbarung.
- 2 ist ein Beispiel für die in einer Kamera erfassten Bilddaten gemäß einer Ausführungsform in der vorliegenden Offenbarung.
- 3 ist ein Beispiel für eine Wärmebildkarte, die durch eine Kamera gemäß einer Ausführungsform der vorliegenden Offenbarung verwendet wird.
- 4 ist ein Beispiel für eine Ladenfläche mit verschiedenen Bewegungsklassen.
- 5 ist ein Beispiel für ein Flussdiagramm des Trainingsmoduls oder der Aktionen im Zusammenhang mit einer beispielhaften Ausführungsform.
-
DETAILLIERTE BESCHREIBUNG
-
Im Folgenden werden die Ausführungsformen der vorliegenden Offenbarung beschrieben. Es versteht sich jedoch, dass die offenbarten Ausführungsformen lediglich Beispiele sind und andere Ausführungsformen verschiedene und alternative Formen annehmen können. Die Figuren sind nicht unbedingt maßstabsgetreu; einige Merkmale könnten überzeichnet oder minimiert sein, um Details bestimmter Komponenten zu zeigen. Daher sind bestimmte konstruktive und funktionelle Details, die hier offenbart werden, nicht als einschränkend zu interpretieren, sondern lediglich als eine repräsentative Grundlage für das Unterweisen eines Fachmanns in den unterschiedlichen Anwendungsmöglichkeiten der Ausführungsformen. Wie der Fachmann erkennen wird, können verschiedene Merkmale, die mit Bezug auf eine der Figuren dargestellt und beschrieben werden, mit Merkmalen, die in einer oder mehreren anderen Figuren dargestellt sind, kombiniert werden, um Ausführungsformen hervorzubringen, die nicht explizit dargestellt oder beschrieben sind. Die abgebildeten Kombinationen von Merkmalen liefern repräsentative Ausführungsformen für typische Anwendungen. Verschiedene Kombinationen und Modifikationen der Merkmale, die den Unterweisungen dieser Offenbarung entsprechen, könnten jedoch für bestimmte Anwendungen oder Umsetzungen erwünscht sein.
-
Zur Identifizierung und Verfolgung von Personen können Drahtlos-Technologien eingesetzt werden. Zum Beispiel kann Bluetooth- und WLAN-Paket-Sniffing zum Identifizieren und Lokalisieren von Personen in der Nähe verwendet werden. Bei diesen Techniken kommt jedoch hauptsächlich RSSI (Received Signal Strength Indicator - Anzeige der empfangenen Signalstärke) zum Einsatz. Dabei kann das Drahtlossignal dazu verwendet werden, eine grobe Ortsbestimmung vorzunehmen (z. B. ob sich die Person innerhalb eines Radius von 50 Metern befindet). Fernerhin kann es zur Lokalisierung eines Benutzers Techniken geben, die den Einsatz mehrerer Empfangseinheiten erfordern, um das gleiche Paket zu empfangen und dann eine Trilateration unter Verwendung von RSSI-Werten durchzuführen. Die Genauigkeit dieser Lösungen kann aufgrund von Fluktuationen und Mangel an Informationen, die durch RSSI bereitgestellt werden, eingeschränkt sein.
-
CSI (Channel State Information - Kanalzustandsinformationen) kann weitaus reichhaltigere Informationen darüber liefern, wie sich ein Signal vom Sender zu einem Empfänger ausbreitet, und erfasst den kombinierten Einfluss von Signalstreuung, Schwund und Leistungsabfall mit der Entfernung. Eine einzelne Systemeinheit mit mehreren Antennen kann die CSI-Werte nutzen und den Aufwand für den Einsatz mehrerer Einheiten reduzieren. Natürlich können mehrere Einheiten zu einer besseren Leistung führen.
-
1 ist ein Übersichtsschema eines drahtlosen Systems 100 gemäß einer Ausführungsform der Offenbarung. Das drahtlose System 100 kann ein Drahtlosgerät 101 enthalten, das zur Erzeugung und Kommunikation von CSI-Daten verwendet wird. Das Drahtlosgerät 101 kann mit Mobilvorrichtungen (z. B. Mobiltelefon, am Körper tragbares Gerät, Tablet) eines Mitarbeiters 115 oder eines Kunden 107 kommunizieren. Beispielsweise kann eine Mobilvorrichtung eines Mitarbeiters 115 das Drahtlossignal 119 an das Drahtlosgerät 101 senden. Bei Empfang eines Drahtlospakets erhält die Systemeinheit 101 die zugehörigen CSI-Werte des Paketempfangs. Außerdem kann das Drahtlospaket identifizierbare Informationen über die Geräte-ID enthalten, z. B. die MAC-Adresse, die zur Identifizierung des Mitarbeiters 115 verwendet wird. Somit nutzen das System 100 und das Drahtlosgerät 101 möglicherweise nicht die von der Vorrichtung des Mitarbeiters 115 ausgetauschten Daten zum Bestimmen verschiedener Hotspots.
-
Während WLAN als drahtlose Kommunikationstechnologie eingesetzt werden kann, kann auch jede andere Art von Drahtlostechnologie verwendet werden. Bluetooth kann zum Beispiel verwendet werden, wenn das System CSI von einem drahtlosen Chipsatz erhalten kann. Die Systemeinheit kann möglicherweise einen WLAN-Chipsatz enthalten, der an bis zu drei Antennen angeschlossen ist, wie durch das Drahtlosgerät 101 und das Drahtlosgerät 103 dargestellt ist. Das Drahtlosgerät 101 kann eine Kamera zum Überwachen verschiedener Personen enthalten, die in der Nähe eines POI laufen. In einem anderen Beispiel kann das Drahtlosgerät 103 keine Kamera enthalten und lediglich mit den Mobilvorrichtungen kommunizieren.
-
Das System 100 kann verschiedene Ladenreihen wie beispielsweise 109, 111, 113, 114 abdecken. Die Reihen können als Laufweg zwischen den Regalen 105 oder den Wänden einer Ladenfläche definiert sein. Die zwischen den verschiedenen Reihen 109, 111, 113, 114 erfassten Daten können dazu verwendet werden, eine Wärmebildkarte zu erstellen und sich auf das Kundenaufkommen in einem Geschäft zu konzentrieren. Das System kann die Daten aus allen Reihen analysieren und diese Daten dazu verwenden, das Kundenaufkommen in anderen Bereichen des Geschäfts zu identifizieren. Beispielsweise können die aus der Mobilvorrichtung verschiedener Kunden 107 erfassten Daten Bereiche identifizieren, in denen das Geschäft ein hohes Kundenaufkommen aufweist. Diese Daten können zur Platzierung bestimmter Produkte verwendet werden. Durch Nutzen der Daten kann ein Geschäftsleiter bestimmen, wo sich die stark frequentierten Bereiche im Vergleich zu den wenig frequentierten Bereichen befinden.
-
Die CSI-Daten können in Paketen kommuniziert werden, die in Drahtlossignalen vorhanden sind. In einem Beispiel kann ein Drahtlossignal 121 durch einen Kunden 107 und dessen Mobilvorrichtung erzeugt werden. Das System 100 kann die verschiedenen Informationen aus dem Drahtlossignal 121 nutzen, um zu bestimmen, ob der Kunde 107 ein Mitarbeiter oder ein anderes Merkmal ist. Der Kunde 107 kann auch mit dem Drahtlosgerät 103 über das Signal 122 kommunizieren. Fernerhin können die in dem Drahtlossignal 121 gefundenen Paketdaten sowohl mit dem Drahtlosgerät 101 als auch mit dem Gerät 103 kommunizieren. Die Paketdaten in den Drahtlossignalen 121, 119 und 117 können dazu verwendet werden, Informationen zur Bewegungsvorhersage und Daten zum Kundenaufkommen im Zusammenhang mit den Mobilvorrichtungen von Mitarbeitern/Kunden bereitzustellen.
-
2 ist ein Beispiel für die in einer Kamera erfassten Bilddaten gemäß einer Ausführungsform in der vorliegenden Offenbarung. Die Kamera in 2 kann, wie durch die Bilddaten dargestellt, in einem Drahtlosgerät 101 in der Decke montiert sein. In anderen Ausführungsformen kann das Drahtlosgerät 101 irgendwo anders montiert sein, z. B. in einem Regal oder an der Wand. Die geschätzte Bewegungsrichtung 201 einer Person 203 wird angezeigt und kann gemäß den verschiedenen unten offenbarten Ausführungsformen vorhergesagt werden. Die von der Kamera erfassten Bilddaten können dazu verwendet werden, Informationen über eine Person (z. B. Kunde oder Mitarbeiter) zu erfassen, die sich in einem bestimmten räumlichen Bereich bewegt. Wie weiter unten beschrieben, können die Bilddaten auch mit einer Wärmebildkarte oder anderen Informationen überlagert werden.
-
3 ist ein Beispiel für eine Wärmebildkarte 300, die durch eine Kamera gemäß einer Ausführungsform der vorliegenden Offenbarung genutzt wird. Eine kamerabasierte Lösung mit der Wärmebildkarte kann in der Regel nicht Kunden von Mitarbeitern unterscheiden. Daher kann die Identifizierung von Personen die Genauigkeit oder Nützlichkeit der Wärmebildkarte verbessern. Die Genauigkeit der Wärmebildkarte kann durch Nutzung der durch den Drahtlos-Chipsatz erzeugten CSI-Daten verbessert werden. Eine Kamera kann z. B. schätzen, dass während eines Zeitabschnitts oder Zeitfensters (z.B. TW1, TW2) möglicherweise 10 Personen durch eine Ladenreihe gelaufen sind. Durch Identifizieren von Mitarbeitern kann das System jedoch möglicherweise erkennen, dass zwei Zugänge in diese Reihe durch Mitarbeiter in diesem Zeitfenster erfolgten. Daher zeigt die korrigierte oder erweiterte Wärmebildkarte 8 statt 10 Kunden an, die den Eingang zu der Ladenreihe betreten haben.
-
Die Wärmebildkarte 300 kann verschiedene Farbbereiche enthalten, die einem Bild einer Ladenfläche oder eines Weges überlagert sind. Die Regionen können unterschiedliche Farben oder Schattierungen aufweisen, um das Kundenaufkommen in einem Bereich anzuzeigen. Beispielsweise kann ein Bereich mittlerer Dichte 301 (mit mittlerem Kundenaufkommen) basierend auf den Aufkommensdaten ausgelegt werden, die durch eine Kamera und/oder eine Mobilvorrichtung von verschiedenen Personen innerhalb eines Geschäfts oder eines anderen räumlichen Umfelds erfasst werden. Das System kann für jede Farbstufe oder jeden Farbton auf der Wärmebildkarte eine definierte Dichte aufweisen. In einem Beispiel kann der Bereich mittlerer Dichte 301 eine gelbe Farbe oder ähnliche Farbe haben.
-
In einer anderen Ausführungsform kann die Wärmebildkarte einen Bereich niedriger Dichte 303 (geringes Kundenaufkommen) aufweisen, der einen Bereich mit geringem Kundenaufkommen anzeigt. In einer Ausführungsform kann der Bereich mit geringem Kundenaufkommen 303 mit einer grünen Farbe oder vielleicht mit einem helleren Farbton oder einer helleren Farbe ausgewiesen werden. Ein Bereich mit geringem Kundenaufkommen 303 kann z. B. als solcher eingestuft werden, weil er in einem bestimmten Zeitrahmen durch eine bestimmte Anzahl von Kunden besucht wird. So können z. B. weniger als 10 Kunden pro Stunde als Bereich mit geringem Kundenaufkommen 303 eingestuft werden, wobei jedoch ein solcher Schwellenwert für einen Bereich mit geringem Kundenaufkommen variabel oder einstellbar sein kann. Ein Bereich mit geringem Kundenaufkommen 303 kann als solcher eingestuft werden, weil er in einem bestimmten Zeitrahmen durch eine sehr niedrige Anzahl von Kunden besucht wird. Das System kann verschiedene Farbstufen und Farbtöne enthalten, um eine Wärmebildkarte zu erstellen, die den verschiedenen Aufkommensdichten entspricht.
-
In einer anderen Ausführungsform kann die Wärmebildkarte einen Bereich hoher Dichte 305 (hohes Kundenaufkommen) aufweisen, der einen Bereich mit hohem Kundenaufkommen anzeigt. In einer Ausführungsform kann der Bereich mit hohem Kundenaufkommen 305 mit einer roten Farbe oder vielleicht mit einem dunkleren Farbton ausgewiesen werden. Das System kann Geschäftsleitern oder anderen helfen, Produktplatzierung, Werbung oder andere Anwendungsfälle für Bereiche mit unterschiedlichem Kundenaufkommen zu identifizieren.
-
Ein Bereich mit hohem Kundenaufkommen 305 kann z. B. als solcher eingestuft werden, weil er in einem bestimmten Zeitrahmen durch eine bestimmte Anzahl von Kunden besucht wird. Zum Beispiel 100 Kunden pro Stunde. Ein Bereich mit geringem Kundenaufkommen 303 kann als solcher eingestuft werden, weil er in einem bestimmten Zeitrahmen durch eine sehr niedrige Anzahl von Kunden besucht wird. Das System kann verschiedene Farbstufen und Farbtöne enthalten, um eine Wärmebildkarte zu erstellen, die den verschiedenen Aufkommensdichten entspricht.
-
Das Klassifizieren der Bewegungsrichtung kann in mehreren Stufen erfolgen. Zwei Beispiele für Stufen können eine Trainingsphase und eine Testphase sein. Während der Trainingsphase kann die Systemeinheit zunächst einen oder mehrere Testpersonen verfolgen, die sich mit einer Drahtlosvorrichtung, z. B. einem Mobiltelefon, mehrmals durch einen Bereich bewegen. Eine Anwendung, die in der Drahtlosvorrichtung installiert ist, kann P Pakete pro Sekunde über das WLAN senden. In einer Ausführungsform kann P den Wert 10 haben. Jedes dieser Pakete wird durch die Systemeinheit empfangen, und für jedes Paket kann das System K CSI-Werte für jede Antenne erhalten. In einer typischen Ausführungsform kann K den Wert 30 haben. In einer typischen Ausführungsform mit 3 Antennen können dies 90 CSI-Werte sein. Jeder CSI-Wert kann eine komplexe Zahl sein, die die Amplitude und Phase im Zusammenhang mit der Antwort des WLAN-Kanals enthält. Das System kann den Kanalfrequenzgang (CFR) als CSI (Channel State Information - Kanalzustandsinformationen) extrahieren. Bei drei Antennen und bei 30 Unterträgern für jede Antenne kann es 3X30 = 90 CSI-Werte erhalten.
-
Während der CSI-Datenerfassung können eine oder mehrere Videokameras eingesetzt werden, um Videomaterial über die Bewegung der Personen aufzunehmen. Die Uhren der Kameras und die CSI-Werte können synchronisiert sein, um sicherzustellen, dass das System die CSI-Werte für eine bestimmte Bewegungsart unterscheiden kann. Mit den erfassten CSI-Werten und dem Videomaterial kann ein Datensatz erstellt werden. Bei der Konstruktion des Datensatzes können realistische Fälle berücksichtigt werden (z. B. kann in einem Geschäft die Mobilität von Kunden, Mitarbeitern und Objekten des Geschäfts berücksichtigt werden).
-
4 ist ein Beispiel für eine Ladenfläche mit verschiedenen Bewegungsklassen. Nach Abschluss der Datenerfassung kann ein Datensatz für eine bestimmte Bewegungsart von Interesse mit Anmerkungen versehen werden. Verschiedene Bewegungsarten können vom Grundriss des Geschäfts abhängen. Der Geschäftsleiter oder Logistikleiter kann an den verschiedenen Bewegungen interessiert sein. Aus Videomaterial und den durch die Kamera erfassten Daten kann das System bestimmte Teile des Datensatzes identifizieren, die CSI-Daten für diese Bewegungen enthalten. Nach Abschluss der Anmerkungen können wir für jede Bewegungsklasse (z. B. die Bewegungen 401, 403, 405, 407, 409 und 411) eine Folge von CSI-Werten haben. Das System kann ein LSTM- (Long Short Term Memory - langer Kurzzeitspeicher) Netz mit der Folge von CSI-Werten für jede Bewegungsklasse trainieren.
-
LSTM ist eine Variante eines rekursiven neuronalen Netzes (RNN). Andere RNN-Netze können ebenfalls hierfür verwendet werden, z. B. GRU (Gated Recurrent Unit - begrenzte rekursive Einheit). LSTMs können zum Erfassen von Abhängigkeiten in einer Zeitreihe von Daten nützlich sein. Eine LSTM-Zelle kann ein Eingangsgatter, einen Ausgang und ein Vergessen-Gatter enthalten. Jede Zelle ist für das Erfassen der Abhängigkeiten zwischen den Elementen der eingegebenen CSI-Folge verantwortlich. Das Eingangsgatter kann den Umfang steuern, in dem ein neuer Wert in die Zelle fließt, das Vergessen-Gatter steuert den Umfang, in dem ein Wert in der Zelle verbleibt, und das Ausgangsgatter steuert den Umfang, in dem der Wert in der Zelle zum Berechnen der Ausgangsaktivierung der LSTM-Einheit verwendet wird. Für die Zwecke dieser Offenbarung wird für die weitere Betrachtung von LSTM auf die Publikation „Long Short-Term Memory“ von Hochreiter, S. & Schmidhuber, Jü (1997) verwiesen, die unter https://www.bioinf.jku.at/publications/older/2604.pdf zu finden ist und hiermit durch Verweis einbezogen ist.
-
In der unten dargestellten Ausführungsform kann das LSTM einen Stapel von LSTM-Zellen anstelle einer einzelnen LSTM-Zelle verwenden. Es kann jedoch auch eine einzelne LSTM-Zelle verwendet werden. Die Eingabe für diese erste LSTM-Zelle kann ein Maß von W × S aufweisen, wobei W ein Fenster mit der Anzahl der Pakete und S die Anzahl der aus jedem Paket erfassten CSI-Werte ist. In einer Ausführungsform kann W gleich 10 und S gleich 180 sein. Für eine Sequenz von 10 Paketen kann das System darauf trainiert werden, die Bewegungsrichtung abzuleiten. Das System kann 90 CSI-Werte pro Paket erhalten, und jeder CSI-Wert kann eine komplexe Zahl mit Amplitude und Phase jedes Unterträgers des drahtlosen Kanals sein und somit 180 Werte (90 Amplituden- und 90 Phasenwerte) liefern. Die erste LSTM-Zelle kann eine Ausgangsgröße von OU1 aufweisen, die die Eingangsgröße der zweiten LSTM-Zelle sein kann. Die Ausgangsgröße der zweiten LSTM-Zelle kann als OU2 definiert sein. In einer Ausführungsform kann OU1 gleich 32 und OU2 gleich 32 sein. Der Ausgang der zweiten LSTM-Zelle kann in eine verbundene neuronale Netzschicht mit einer Anzahl von Klassen als Ausgang eingespeist werden, und es kann eine Softmax-Aktivierungsfunktion verwendet werden. Die Bewegungsrichtungsklasse kann die höchste Wahrscheinlichkeit der Klasse sein, die durch das LSTM-Netz vorhergesagt wird. Man beachte, dass weitere LSTM-Zellen gestapelt werden können und auch andere Aktivierungsfunktionen verwendet werden können. Außerdem kann für das Training die kategorische Kreuzentropie als Verlustfunktion verwendet werden. Jedoch können auch andere Verlustfunktionen verwendet werden. Als Optimierer können RMSprop oder andere ähnliche Algorithmen verwendet werden, die für neuronale Netze genutzt werden. Es können auch andere Optimierer verwendet werden, wie z. B. SGD (Stochastic Gradient Descent - stochastischer Gradientenabstieg), Adam-Optimierer. Man beachte, dass jede Schrittsequenz verwendet werden kann, um mehrere Fensterproben mit einer Schrittlänge L zu erzeugen.
-
In einer Ausführungsform kann L als ein definierter Wert von 2 gesetzt werden. Zum Beispiel kann das System für eine Fenstergröße W=10 und für eine Gehdauer von 5 Sekunden, bei der 500 Pakete mit 10 Paketen pro Sekunde entlang der Bewegungsrichtung 409 in 4 erzeugt werden, mehrere Fenstersequenzen erzeugen, um das LSTM-Netz auf das Erkennen der Bewegungsrichtung 409 bei einem Schrittlänge von 2 zu trainieren, wobei die CSI-Werte der Pakete zwischen Paketnummer [1, 10], danach zwischen Paketnummer [3, 13], danach zwischen Paketnummer [5, 15] hergenommen werden. Auf diese Weise kann das System für die Gehdauer von 5 Sekunden über (500-10)/2 = 245 Fenster zum Trainieren der Bewegungsrichtung 409 verfügen. In diesem Beispiel kann das System die Daten zum Training für die gleiche Schätzung der Gehrichtung wiederverwenden. Das System kann auch eine „unbekannte“ Klasse von Bewegungsrichtungen enthalten, die eine Bewegungsrichtung darstellen, die als irrelevant definiert sein kann, z. B. eine Bewegungsrichtung, die nicht wie 401, 403, 405, 407, 409 und 411 verläuft. Das System kann auch Daten für die „unbekannte“ Bewegungsrichtung erfassen und mit Anmerkungen versehen. In dieser Ausführungsform wird das LSTM-Modell nicht gezwungen, jede Bewegungsrichtung entweder als 401, 403, 405, 407, 409 oder 411 zu klassifizieren. In bestimmten Ausführungsformen könnte das System eine Bewegungsrichtung als „unbekannt“ klassifizieren.
-
Nach Abschluss des Trainingsmodus und der Erstellung eines LSTM-Modells kann das System das Modell dazu verwenden, die Bewegungsrichtung während der Testzeit zu klassifizieren und zu schätzen. In dieser Phase kann das System laufend CSI-Daten der WLAN-Pakete (oder anderer Drahtlospakete) aus Mobilvorrichtungen von Kunden oder Mitarbeitern überwachen und das gleiche Fenster W von Proben in das trainierte LSTM-Modell einspeisen. In der letzten Schicht kann das LSTM-Modell die Wahrscheinlichkeit jeder Bewegungsrichtungsklasse liefern. Das System kann die Bewegungsrichtungsklasse auswählen, die die höchste Wahrscheinlichkeit hat. Die MAC-Adresse des entsprechenden WLAN-Pakets kann dazu verwendet werden, die Person zu identifizieren (z. B. Mitarbeiter gegenüber Kunde), und somit kann das System zusammen mit der Identifikation eine Schätzung und Klassifizierung der Bewegungsrichtung der Person liefern.
-
In einer anderen Ausführungsform kann statt drei Antennen eine andere Anzahl von Antennen, z. B. eine, zwei, vier und andere, verwendet werden. In einer weiteren Ausführungsform werden, statt dem LSTM-Modell alle CSI-Werte aller Unterträger zur Verfügung zu stellen, eine HKA (Hauptkomponentenanalyse) angewendet und die ersten paar Hauptkomponenten verwendet, wodurch die CSI-Werte aus den verrauschten Unterträgern verworfen werden. In einer anderen Ausführungsform wird RSSI zusätzlich zu CSI oder unabhängig davon verwendet. In einer anderen Ausführungsform tragen Roboter oder andere Objekte anstelle von Menschen drahtlose Chipsätze, die identifiziert werden und deren Bewegungsrichtungen geschätzt und klassifiziert werden. In einer anderen Ausführungsform wird anstelle eines Smartphones ein Anhänger oder ein Gerät getragen, das einen drahtlosen Chipsatz enthält. In einer anderen Ausführungsform können statt einer einzelnen Systemeinheit mehrere Systemeinheiten in einem Bereich eingesetzt werden, um die Bewegungen in verschiedenen Richtungen zu erfassen.
-
5 ist ein Beispiel für ein Flussdiagramm des Trainingsmoduls oder der Aktionen im Zusammenhang mit einer beispielhaften Ausführungsform. In Schritt 501 können die Testpersonen eine Anwendung auf ihrer/ihren Mobilvorrichtung(en) (z. B. Telefon oder Tablet) installieren. Die Anwendung kann sich auf ein bestimmtes Geschäft oder einen Interessenspunkt (POI) wie z. B. einen Flughafen oder ein Kongresszentrum beziehen. In einer anderen Ausführungsform kann die Anwendung zusammen mit der zugehörigen Software (z. B. Firmware) des drahtlosen Sender-Empfängers wie z. B. einem Bluetooth-Sender-Empfänger oder einem WLAN-Sender-Empfänger installiert werden.
-
In Schritt 503 kann die Testperson mit der geladenen Anwendung im Geschäft oder am POI umher gehen, um WLAN-Verkehr zu erzeugen, welcher CSI-Werte liefert. Das System (z. B. Kamera, drahtloser Sender-Empfänger, Basisstation usw.) kann die CSI-Werte aus den mit der Anwendung geladenen Mobilvorrichtungen erfassen, wenn die Testperson in der Nähe des POI läuft.
-
In Schritt 505 kann das System die relevanten CSI-Daten für jede Bewegungsklasse extrahieren. Beispielsweise kann auch eine Kamera zum Erfassen von Bilddaten verwendet werden. Relevante CSI-Werte werden dann für jede Bewegungsklasse unter Verwendung der Kameras, wie in [0025] und [0026] beschrieben, extrahiert. Eine mit der Kamera oder dem drahtlosen Sender-Empfänger verknüpfte Steuervorrichtung kann zum Verarbeiten der Informationen mittels verschiedener Berechnungen und Algorithmen verwendet werden. Die Klassifizierung der Bewegungsdaten kann verschiedene Bewegungen umfassen, die ein Kunde in verschiedenen Reihen oder Bereichen eines Geschäfts oder eines anderen POI ausführen kann.
-
In Schritt 507 kann das System ein LSTM-Netz zum Erlernen jeder Bewegungsklasse aus den Testpersonen anhand der oben aufgeführten Techniken trainieren. Das LSTM-Modell wird darauf trainiert, verschiedene Bewegungsarten zu verfolgen. Somit kann das System nach Abschluss eines Trainingsmodus in einem Standardmodus arbeiten und damit beginnen, die Bewegung von Kunden (oder Mitarbeitern) in einem Geschäft zu verfolgen und vorherzusagen, um die Nutzbarkeit der Einrichtungen innerhalb des POI zu maximieren.
-
In Schritt 509 kann das System das trainierte LSTM-Modell ausgeben, das als Modell Y bezeichnet wird. Das trainierte LSTM-Modell kann in der regulären Anwendung dazu verwendet werden, die Bewegungsklassifizierung der Kunden oder Personen, die sich an einem POI befinden, zu bestimmen. Das LSTM-Modell kann z. B. dazu verwendet werden, die Bewegungen von Personen zu identifizieren, die sich auf einem Flughafen befinden und eine auf ihrem Telefon geladene mobile Anwendung nutzen.
-
In einem Anwendungsfall kann das Modell zum Erstellen einer Wärmebildkarte verwendet werden. Beispielsweise kann ein Mitarbeiter eine Anwendung auf seinem Telefon installieren. Das System erzeugt mithilfe der Kameras eine Wärmebildkarte des Aufkommens am gesamten POI. Es kann beispielsweise den Verkehrsaufkommen von Mitarbeitern getrennt vom Verkehrsaufkommen von Kunden erfassen. Das System kann auch eine Wärmebildkarte des Aufkommens mithilfe von WLAN-CSI und Modell Y erstellen, das die Bewegungen von Mitarbeitern erfasst.
-
In einem anderen Anwendungsfall kann ein erster Kunde eine Anwendung installieren und WLAN-Verkehr erzeugen, während ein zweiter Kunde die WLAN-Anwendung des Geschäfts zum Browsen oder Hören von Musik nutzen kann. Das System kann das Modell Y dazu verwenden, die Bewegung und Richtung der Kunden im gesamten Geschäft zu erkennen. So werden die Paketinformationen von Menschen in periodischen Schüben gesendet, um damit die Bewegung und Richtung der Kunden zu verfolgen. Die CSI-Werte werden aus den Mobilvorrichtungen über das WLAN-Signal erhalten. Die CSI-Werte werden über die Anwendung auf der Mobilvorrichtung (z. B. erster Kunde) oder durch Verwendung des WLAN (z. B. zweiter Kunde) extrahiert. Somit kann die zugehörige MAC-Adresse oder ein Hash-Wert der MAC-Adresse gespeichert werden, um das kundenspezifische Verhalten und die Geschäftsangebote für den Kunden zu verstehen.
-
Die hierin offenbarten Prozesse, Verfahren oder Algorithmen sind an eine Verarbeitungsvorrichtung, eine Steuervorrichtung oder einen Computer lieferbar bzw. durch diese implementierbar, wozu jede vorhandene programmierbare elektronische Steuereinheit oder dedizierte elektronische Steuereinheit gehören kann. In ähnlicher Weise können die Prozesse, Verfahren oder Algorithmen als Daten und Anweisungen gespeichert sein, die durch eine Steuervorrichtung oder einen Computer in vielen Formen ausführbar sind, einschließlich unter anderem Informationen, die dauerhaft auf nicht beschreibbaren Speichermedien wie ROM-Vorrichtungen gespeichert sind, und Informationen, die veränderbar auf beschreibbaren Speichermedien wie Disketten, Magnetbändern, CDs, RAM-Vorrichtungen und anderen magnetischen und optischen Medien gespeichert sind. Die Prozesse, Verfahren oder Algorithmen können auch in einem ausführbaren Software-Objekt implementiert sein. Alternativ können die Prozesse, Verfahren oder Algorithmen ganz oder teilweise durch geeignete Hardwarekomponenten realisiert sein, wie z. B. durch anwendungsspezifische integrierte Schaltungen (ASICs), feldprogrammierbare Gate-Arrays (FPGAs), Zustandsautomaten, Steuervorrichtungen oder andere Hardwarekomponenten oder -vorrichtungen oder durch eine Kombination von Hardware, Software- und Firmwarekomponenten.
-
Obwohl oben beispielhafte Ausführungsformen beschrieben sind, ist nicht beabsichtigt, dass diese Ausführungsformen alle möglichen Formen beschreiben, die durch die Ansprüche umfasst werden. Die in der Spezifikation verwendeten Worte sind eher beschreibende als einschränkende Worte, und es versteht sich, dass verschiedene Änderungen vorgenommen werden können, ohne vom Geist und Umfang der Offenbarung abzuweichen. Wie zuvor beschrieben, können die Merkmale verschiedener Ausführungsformen kombiniert werden, um weitere Ausführungsformen der Erfindung zu bilden, die möglicherweise nicht explizit beschrieben oder abgebildet sind. Obwohl verschiedene Ausführungsformen hinsichtlich eines oder mehrerer gewünschter Merkmale möglicherweise als vorteilhaft oder bevorzugt gegenüber anderen Ausführungsformen oder Implementierungen nach dem Stand der Technik beschrieben sein können, wird der Fachmann erkennen, dass ein oder mehrere Merkmale oder Eigenschaften einen Kompromiss eingehen können, um gewünschte Eigenschaften des Gesamtsystems zu erreichen, die von der konkreten Anwendung und Implementierung abhängen. Diese Eigenschaften können unter anderem Kosten, Festigkeit, Haltbarkeit, Lebensdauerkosten, Marktfähigkeit, Aussehen, Verpackung, Größe, Wartungsfreundlichkeit, Gewicht, Herstellbarkeit, Montagefreundlichkeit usw. umfassen. Soweit Ausführungsformen in Bezug auf ein oder mehrere Merkmale als weniger wünschenswert als andere Ausführungsformen oder Ausführungsformen nach dem Stand der Technik beschrieben sind, fallen diese Ausführungsformen nicht aus dem Geltungsbereich der Offenbarung und können für bestimmte Anwendungen wünschenswert sein.
