-
Technisches Gebiet
-
Die vorliegende Erfindung betrifft ein System zur automatischen Erfassung von Subjekten, insbesondere von Menschen in einer Umgebung, wobei die Identität der erfassten Personen zur Wahrung ihrer Privatsphäre geheim gehalten wird.
-
Technologischer Hintergrund der Erfindung
-
Es ist bekannt, sich bewegende Subjekte in einer Umgebung zu verfolgen, insbesondere die Bewegung von Menschen in einer geschlossenen Umgebung wie beispielsweise einem Geschäft. Ein solches Geschäft muss seine Struktur optimieren, um für seine Kunden ein zufriedenstellendes Einkaufserlebnis sicherzustellen, was den Umsatz und die Rentabilität verbessert. Ein Beispiel für eine solche Optimierung wäre es, die von den Kunden am häufigsten genutzten Routen zu erfassen, wenn sie sich durch das Geschäft bewegen, und sicherzustellen, dass die attraktivsten Waren auf dieser Route positioniert sind. Um diese Routen abzubilden, müssen die Kunden individuell identifiziert werden und Daten bezüglich ihrer Route durch das Geschäft müssen gespeichert werden. Diese Optimierung hängt jedoch von der Qualität der verwendeten Verfolgungslösung für die Subjekte ab.
-
Derzeit sind mehrere Verfolgungssysteme bekannt.
-
Eine Verfolgungslösung nutzt Bluetooth-Beacons der Smartphones der Subjekte. Diese Beacons sind in der Lage, Vorrichtungen in der Nähe zu erfassen, deren Bluetooth-Funktionalität aktiviert ist. Allerdings sind solche Beacons nicht in der Lage, die Bewegung des Subjekts in Bezug auf die Vorrichtung zu verfolgen, sondern nur seine Anwesenheit zu erfassen. Ein weiterer Nachteil besteht darin, dass Subjekte ohne Bluetooth-fähige Vorrichtung nicht erfasst werden können und Subjekte mit mehr als einer Bluetooth-fähigen Vorrichtung ein falsch positives Ergebnis erzeugen. Eine ähnliche Lösung erfasst die Vorrichtungen der Subjekte über das vorhandene WLAN-Netzwerk. Diese Lösung hat ähnliche Nachteile wie Bluetooth-Beacons. Daher stellen diese Beacon-basierten Lösungen keine gute Positionsverfolgung der Subjekte in der Umgebung bereit und decken oft nicht alle Subjekte ab.
-
Eine andere Lösung verwendet Sicherheitskameras oder andere hochauflösende Kameras in Verbindung mit Bilderkennungstechniken, zum Beispiel in
WO2018/152009A1 ,
US2019/0205933A1 und
EP2270761A1 offenbart. Diese Techniken erfordern eine erhebliche Menge an Rechenleistung und unterliegen datenschutzrelevanten Merkmalen wie beispielsweise der europäischen Datenschutz-Grundverordnung (DSGVO). Die DSGVO erfordert die Erlaubnis der Person selbst, personalisierte Daten (wie beispielsweise Videos) zu sammeln, und dies würde bedeuten, dass der Geschäftsmanager jeden einzelnen Kunden um Erlaubnis bitten muss, gefilmt zu werden, um seine Route während des Geschäftbesuchs verfolgen zu können. Daher sind die meisten aktuellen Lösungen nicht mit den aktuellen Datenschutzbestimmungen kompatibel.
-
Einige Lösungen verwenden dedizierte Personenverfolgungssensoren, die über die Umgebung verteilt sind. In einer Ausführungsform, die hochauflösende Kameras in den Verfolgungssensoren verwendet, wird das Datenschutzproblem gelöst, indem die Bildverarbeitung im Verfolgungssensor selbst durchgeführt wird, sodass vom Verfolgungssensor nur eine anonymisierte Karte mit erfassten Subjekten ausgegeben wird. Diese Lösung erfordert jedoch komplexe Bildverarbeitungschips in jedem Verfolgungssensor, was die Sensoren komplex und teuer macht. Darüber hinaus erfordert jeder Verfolgungssensor eine hohe Rechenleistung. In einer anderen Lösung werden andere Sensortypen verwendet, wie beispielsweise Infrarotkameras (IR-Kameras) oder wie beispielsweise 3D-Kameras. Infrarotkameras stellen für die Privatsphäre möglicherweise kein Problem dar, sie sind jedoch nicht zuverlässig genug, um alle Subjekte ohne eine hohe Anzahl an falsch positiven Ergebnissen und ohne Verwechslung zu erfassen, wenn sie sich einander nähern. 3D-Kameras hingegen haben ein ähnliches Problem wie hochauflösende optische Kameras.
-
Es gibt auch Verfolgungslösungen für Heimautomatisierungslösungen, die jedoch versuchen, die Personen zu identifizieren, wie in
US2018/0231653A1 . Diese Lösungen nutzen vorhandene Sensoren im Haushalt wie visuelle Lichtkameras, IR-Kameras, 3D-Kameras und viele andere, um die Personen zu erfassen. Die vielen unterschiedlichen Sensoren sorgen für Probleme bei der Übergabe der Personen. Darüber hinaus sind diese Verfolgungslösungen nicht konfiguriert, viele Personen in großen und überfüllten Räumen zu erfassen. Aus Datenschutzgründen können in Wohnräumen, Schlafzimmern und Badezimmern Sensoren mit relativ geringerer Auflösung wie beispielsweise Radarsensoren verwendet werden. Die vorgeschlagene Verfolgungslösung identifiziert jedoch die verfolgten Personen und kann die Anonymität der verfolgten Personen nicht garantieren.
-
Die Aufgabe der Erfindung besteht darin, die Position von Subjekten innerhalb einer Umgebung mit hoher Qualität zu erfassen/zu verfolgen und dabei das Sammeln und/oder Speichern persönlicher Informationen über die Subjekte während des Prozesses zu vermeiden und/oder gleichzeitig die erforderliche Rechenleistung zu reduzieren. Die Schwierigkeit besteht also darin, Individuen voneinander zu unterscheiden, ohne auf datenschutzbezogene Merkmale wie beispielsweise Gesichtserkennung oder andere Techniken dieser Art hinzuweisen.
-
Kurzdarstellung der Erfindung
-
Die Erfindung betrifft ein System, ein Sensormodul, eine Umgebung und ein Computerprogramm zum anonymen Erfassen einer Vielzahl von Subjekten in einer Umgebung nach den unabhängigen Ansprüchen.
-
Die Erfindung weist den Vorteil auf, dass die niedrige Auflösung der Bilder der ersten Kamera und der zweiten Kamera wesentlich dabei hilft, die Subjekte anonym zu identifizieren (d. h. voneinander zu unterscheiden), aber vermeidet, dass die Person oder wahre Identität des Subjekts aus den Bildern abgerufen werden kann. Daher sind die Sensordaten der niedrigauflösenden Kamera für Datenschutzbestimmungen nicht relevant. Der Einsatz einer Kombination unterschiedlicher Typen von niedrigauflösenden Kameras ermöglicht eine sehr zuverlässige Subjektverfolgung mit niedrigauflösenden Bildern. Die niedrigauflösenden Bilder weisen den Vorteil eines geringen Leistungsverbrauchs, einer geringen Übertragungsbandbreite und des nicht Ermöglichen einer Identifizierung der Subjekte auf. Letzterer Punkt ermöglicht, dass die Bilder ohne jegliche Sicherheitsmaßnahmen übertragen, gespeichert und verarbeitet werden können.
-
Nachfolgend werden weitere vorteilhafte Ausführungsformen beschrieben.
-
In einer Ausführungsform umfasst der mindestens eine Sensor eine niedrigauflösende Kamera zum Aufnehmen eines niedrigauflösenden Bildes der Umgebung. In einer Ausführungsform umfassen die Sensordaten ein niedrigauflösendes Bild der Umgebung. In einer Ausführungsform ruft das Verarbeitungsmittel ein Merkmal des Subjekts aus dem niedrigauflösenden Bild der Umgebung ab, um das Subjekt in der Umgebung zu erfassen und/oder anonym zu identifizieren.
-
In einer Ausführungsform umfasst der mindestens eine Sensor eine IR-Kamera zum Aufnehmen eines IR-Bildes der Umgebung. In einer Ausführungsform umfassen die Sensordaten ein IR-Bild der Umgebung. In einer Ausführungsform ruft das Verarbeitungsmittel ein IR-Merkmal des Subjekts aus dem IR-Bild der Umgebung ab, um das Subjekt in der Umgebung zu erfassen und/oder anonym zu identifizieren.
-
In einer Ausführungsform umfasst der mindestens eine Sensor eine 3D-Kamera zum Aufnehmen eines 3D-Bildes der Umgebung. In einer Ausführungsform umfassen die Sensordaten ein 3D-Bild der Umgebung. In einer Ausführungsform ruft das Verarbeitungsmittel ein Merkmal des Subjekts aus dem 3D-Bild der Umgebung ab, um das Subjekt in der Umgebung zu erfassen und/oder anonym zu identifizieren.
-
In einer Ausführungsform umfasst der mindestens eine Sensor eine IR-Kamera und eine oder beide von einer 3D-Kamera und einer niedrigauflösenden Kamera zum Aufnehmen eines niedrigauflösenden Bildes der Umgebung. In einer Ausführungsform umfassen die Sensordaten ein IR-Bild der Umgebung und ein 3D-Bild der Umgebung und/oder ein niedrigauflösendes Bild der Umgebung. In einer Ausführungsform ruft das Verarbeitungsmittel mindestens ein erstes Merkmal des Subjekts aus dem IR-Bild und mindestens ein zweites Merkmal aus dem niedrigauflösenden Bild und/oder dem 3D-Bild ab. Die Kombination der IR-Kamera mit einer niedrigauflösenden optischen Kamera und/oder einer 3D-Kamera erwies sich als sehr zuverlässig und reduziert die Verarbeitungsleistung. Die Tatsache, Sensordaten aus unterschiedlichen Quellen zu verwenden, ermöglicht die Nutzung rechentechnisch einfacher Merkmale, die jedoch aufgrund ihrer Unabhängigkeit zuverlässig sind. Wenn also das Merkmal einer Quelle bei der Erfassung und/oder der anonymen Identifizierung des Subjekts versagt, können die verbleibenden Merkmale anderer Quellen eine stabile und zuverlässige Erfassungsqualität gewährleisten.
-
In einer Ausführungsform ist die Kamera eine optische Kamera im Spektrum des sichtbaren Lichts.
-
In einer Ausführungsform ist die Kamera eine 3D-Kamera.
-
In einer Ausführungsform ist die Kamera eine Infrarotkamera.
-
In einer Ausführungsform umfasst das Sensormodul weiter eine zweite Kamera zum Aufnehmen von zweiten Bildern der Umgebung, und das Verarbeitungsmittel ist konfiguriert, basierend auf den von der Kamera des Sensormoduls aufgenommenen Bildern der Umgebung und basierend auf den von der zweiten Kamera des Sensormoduls aufgenommenen zweiten Bildern der Umgebung die Subjekte in der Umgebung zu erfassen. Vorzugsweise sind die Kamera und die zweite Kamera eine erste und eine zweite einer optischen Kamera im Spektrum des sichtbaren Lichts, einer 3D-Kamera und einer Infrarotkamera (gemeint sind zwei verschiedene der aufgeführten Kameras). Vorzugsweise umfasst das Sensormodul weiter eine dritte Kamera zum Aufnehmen dritter Bilder der Umgebung, und das Verarbeitungsmittel ist konfiguriert, basierend auf den von der dritten Kamera des Sensormoduls aufgenommenen Bildern der Umgebung die Subjekte in der Umgebung zu erfassen, wobei die dritte Kamera die dritte von der optischen Kamera, der 3D-Kamera und der Infrarotkamera ist (was bedeutet, dass die Kamera, die erste Kamera und die zweite Kamera jeweils eine andere der drei aufgeführten Kameratypen sind).
-
In einer Ausführungsform ist die dritte Kamera eine niedrigauflösende Kamera.
-
In einer Ausführungsform ist die Kamera eine niedrigauflösende Infrarotkamera und die zweite Kamera ist eine niedrigauflösende 3D-Kamera. Diese Kombination erwies sich als sehr zuverlässig.
-
In einer Ausführungsform ist das Sensormodul als eine Sensoreinheit, umfassend ein Gehäuse, die Kamera und die zweite Kamera und optional auch die dritte Kamera, realisiert. Vorzugsweise sind die Kamera und die zweite Kamera und optional auch die dritte Kamera innerhalb des Gehäuses angeordnet.
-
In einer Ausführungsform ist das Sensormodul konfiguriert, montiert zu werden, sodass die Blickrichtung der mindestens zwei Kameras, vorzugsweise der drei Kameras, des mindestens einen Sensors des Sensormoduls vertikal nach unten gerichtet angeordnet sind.
-
In einer Ausführungsform ist ein Sensorbereich des Sensormoduls ein Teil der Umgebung, die von allen Kameras des mindestens einen Sensors des Sensormoduls abgedeckt ist. Mit anderen Worten ist der Sensorbereich der Teil der Umgebung, der von allen Bildern der mindestens zwei Kameras, vorzugsweise der drei Kameras, des Sensormoduls abgedeckt ist. Der Sensorbereich entspricht somit dem Bereich der Umgebung, in dem sich die Bilder aller Kameras des Sensormoduls überlappen. Dies ermöglicht es, für jedes Subjekt in dem Sensorbereich Merkmale aus zwei oder drei unterschiedlichen Bildern von zwei oder drei unterschiedlichen Kameras zu haben, um das Subjekt zuverlässig (anonym) zu identifizieren.
-
In einer Ausführungsform ist das Verarbeitungsmittel konfiguriert, Subjekte in der Umgebung basierend auf zwei oder mehr Merkmalen zu erfassen, die aus dem Bild/den Bildern des mindestens einen Sensors abgerufen werden, wobei die zwei oder mehr Merkmale mindestens ein Merkmal von jedem der mindestens zwei Sensoren des Sensormoduls umfassen. Mit anderen Worten ist das Verarbeitungsmittel konfiguriert, Subjekte in der Umgebung basierend auf einem ersten Merkmal, das aus den Bildern der Kamera abgerufen wird, und basierend auf einem zweiten Merkmal, das aus den Bildern der zweiten Kamera abgerufen wird, zu erfassen. Somit kann das System zu jedem Zeitpunkt und an jedem Ort der Umgebung, die von dem Sensorbereich mindestens eines Sensormoduls abgedeckt wird, Merkmale des Subjekts aus mindestens zwei unabhängigen Bildern erfassen, die von mindestens zwei unabhängigen Sensoren des Sensormoduls abgerufen werden.
-
In einer Ausführungsform umfasst das System eine Vielzahl von weiteren Sensormodulen. Vorzugsweise weist jedes der Vielzahl von weiteren Sensormodulen die gleichen Merkmale auf, wie die vorstehend für das Modul beschriebenen. Vorzugsweise sind alle der Vielzahl von weiteren Sensormodulen mit dem Sensormodul identisch. Dies erleichtert die einfache Erfassung von Subjekten in der Umgebung für große Umgebungen, da die Verarbeitung der Bilder jedes Sensormoduls und jedes weiteren Sensormoduls die gleiche ist.
-
In einer Ausführungsform umfassen das Sensormodul und die Vielzahl von weiteren Sensormodulen vorzugsweise jeweils eine Schnittstelle, um die Bilder von dem mindestens einen Sensor an das Verarbeitungsmittel zu senden. Vorzugsweise sind das Sensormodul und die Vielzahl von weiteren Sensormodulen von dem Verarbeitungsmittel verschiedene Vorrichtungen. Vorzugsweise ist das Verarbeitungsmittel als mindestens eine Verarbeitungseinheit realisiert, die jeweils alle oder eine Untergruppe des Sensormoduls und der weiteren Sensormodule verbindet. Vorzugsweise ist jedes Sensormodul über eine drahtgebundene oder drahtlose Kommunikationsverbindung mit einer der mindestens einen Verarbeitungseinheiten verbunden, um die Bilder von den Sensormodulen an die entsprechende verbundene Verarbeitungseinheit zu übertragen.
-
In einer Ausführungsform ist das Verarbeitungsmittel konfiguriert, mit jedem in der Umgebung erfassten Subjekt eine Kennung zum anonymen Identifizieren des jeweiligen Subjekts in Verbindung zu bringen und jedes durch seine zugehörige Kennung identifizierte Subjekt in der Umgebung zu verfolgen.
-
In einer Ausführungsform umfasst das Verarbeitungsmittel ein erstes Verarbeitungsmittel zur Vorverarbeitung der von dem mindestens einen Sensor des Sensormoduls empfangenen Daten und ein zweites Verarbeitungsmittel, wobei das erste Verarbeitungsmittel konfiguriert ist, basierend auf den von mindestens einem Sensor des Sensormoduls aufgenommenen Bildern der Umgebung Subjekte in der Umgebung zu erfassen und eine Vorverarbeitungsausgabe mit der Position der erfassten Subjekte in der Umgebung zu bestimmen, vorzugsweise mit der verfolgten Position und/oder dem Verfolgungspfad der anonym identifizierten Subjekte in der Umgebung, wobei das zweite Verarbeitungsmittel basierend auf der Vorverarbeitungsausgabe eine weitere Verarbeitung durchführt.
-
In einer Ausführungsform umfasst das System mindestens zwei der Sensormodule und mindestens zwei der ersten Verarbeitungsmittel, wobei jedes der mindestens zwei ersten Verarbeitungsmittel die Daten des mindestens einen Sensors von mindestens einem Sensormodul der mindestens zwei Sensormodule empfängt, um die Vorverarbeitungsausgabe zu bestimmen, wobei das zweite Verarbeitungsmittel ein Kombinationsmodul umfasst, das konfiguriert ist, die Vorverarbeitungsausgabe der mindestens zwei ersten Verarbeitungsmittel zu empfangen und die Vorverarbeitungsausgaben der mindestens zwei ersten Verarbeitungsmittel zu einer kombinierten Ausgabe, die die Subjekte in der Umgebung erfasst, zu kombinieren, vorzugsweise zum Verfolgen der in der Umgebung anonym identifizierten Subjekte.
-
In einer Ausführungsform ist jedes erste Verarbeitungsmittel konfiguriert, die Daten von dem Sensormodul (S110) eines unterschiedlichen Unterbereichs der Umgebung zu empfangen und vorzuverarbeiten, wobei das zweite Verarbeitungsmittel konfiguriert ist, die Vorverarbeitungsausgaben der unterschiedlichen Unterbereiche zu einer kombinierten Ausgabe der kombinierten Unterbereiche der Umgebung zu kombinieren.
-
In einer Ausführungsform ist das erste Verarbeitungsmittel konfiguriert, die Daten von mindestens zwei Sensormodulen zu empfangen.
-
In einer Ausführungsform ist das Verarbeitungsmittel konfiguriert, ein Ereignis für ein bestimmtes Subjekt zu erfassen, wobei das Ereignis einen zugehörigen Ereignisort in der Umgebung und eine zugehörige Ereigniszeit aufweist, wobei das Ereignis mit dem Subjekt in Verbindung gebracht wird, basierend darauf, dass sich das Subjekt zu der Zeit, die mit dem Ereignis verbunden ist, an dem Ort in der Umgebung, der mit dem Ereignis verbunden ist, befindet. Vorzugsweise wird das Ereignis mit dem Subjekt in Verbindung gebracht, basierend darauf, dass sich das Subjekt zu der Zeit, die mit dem Ereignis verbunden ist, an dem Ort in der Umgebung, der mit dem Ereignis verbunden ist, befindet. Vorzugsweise hat das Ereignis einen festen Ort in der Umgebung. Durch das Verbinden von Ereignissen mit anonymen Subjekten ist es plötzlich möglich, Verbindungen zwischen Datenbanken und anonymen Subjekten herzustellen, was für anonyme Subjekte normalerweise nicht möglich ist. Die Daten aus der Datenbank könnten auch anonym sein, aber in irgendeiner Weise mit dem Subjekt oder dem Ereignis des Subjekts in Verbindung stehen. Die Daten könnten auch nicht anonym sein, sodass die Reiseroute wieder mit der Identität der Person verbunden werden könnte, z. B. zum Überwachen eines bestimmten Bereichs der Umgebung, für den eine Zugangskontrolle bestehen muss. Bei den Daten aus der Datenbank könnte es sich auch um eine Personengruppe handeln, z. B. die Personen eines bestimmten Fluges, ein Mitarbeiter, eine Person mit einem bestimmten Zugangskontrollniveau. Daher kann die Ausgabe der Subjekterfassung oder - verfolgung in der Big-Data-Analyse und beim maschinellen Lernen verwendet werden. Insbesondere für maschinelles Lernen stellen die Ereignisse eine wichtige automatisierte Rückmeldung zur Verbesserung des maschinellen Lernalgorithmus bereit. Das maschinelle Lernen könnte auch künstliche Intelligenz oder Deep Learning umfassen.
-
Weitere Ausführungsformen sind in der Beschreibung und in den abhängigen Ansprüchen beschrieben.
-
Zeichnungen
-
- 1 zeigt eine beispielhafte Ausführungsform eines Einzelhandelsgeschäfts als eine Umgebung.
- 2 zeigt eine Vielzahl von Sensormodulen, die über die Umgebung von 1 verteilt sind.
- 3 zeigt die Vielzahl von Sensormodulen und eine Vielzahl von Unterbereichen, die über die Umgebung von 1 verteilt sind.
- 4 zeigt eine beispielhafte schematische Ausführungsform des Systems der Erfindung.
-
In den Zeichnungen sind gleichen oder analogen Elementen gleiche Bezugszeichen zugeordnet worden.
-
Detaillierte Beschreibung der Erfindung
-
Weitere Merkmale und Vorteile der vorliegenden Erfindung ergeben sich aus der folgenden, nicht einschränkenden Beschreibung und unter Bezugnahme auf die Zeichnungen und die Beispiele.
-
Die Erfindung betrifft ein System und/oder ein Computerprogramm zum Erfassen einer Vielzahl von Subjekten in einer Umgebung, vorzugsweise zum Verfolgen der Vielzahl von Subjekten in der Umgebung, vorzugsweise zum anonymen Erfassen/Verfolgen der Subjekte in der Umgebung.
-
Subjekte sind vorzugsweise Menschen oder Personen. Die Anwendung könnte jedoch auch auf andere Subjekte wie Tiere oder bestimmte Arten von Objekten angewendet werden. Das System könnte konfiguriert sein, zwischen verschiedenen Typen von Subjekten zu unterscheiden, z. B. solchen, die sich durch ihr Alter unterscheiden, z. B. Erwachsene und Minderjährige, z. B. Erwachsene, Minderjährige unter einer bestimmten Größe oder einem bestimmten Alter und Minderjährige ab einer bestimmten Größe oder einem bestimmten Alter. Die Subjekte könnten auch Objekte sein.
-
Die Umgebung definiert das (vollständige) Gebiet, in dem die Subjekte erfasst werden sollen (auch Überwachungsgebiet genannt). Die Umgebung ist vorzugsweise eine geschlossene Umgebung. Beispiele sind Einzelhandelsgeschäfte, Flughäfen, Vergnügungsparks oder andere Typen von (öffentlichen) Umgebungen mit einem gewissen Verkehrsaufkommen, in denen es für die für die Verwaltung der Umgebung zuständigen Behörden von Interesse ist, zu verstehen, wie die Disposition des Ortes von Besuchern genutzt wird. Die Umgebung kann sich auf den gesamten Flughafen oder nur auf bestimmte interessierende Zonen des Flughafens beziehen, wie beispielsweise auf die Sicherheitsschleusen oder den Einzelhandelsbereich des Flughafens. Die (geschlossene) Umgebung umfasst vorzugsweise eine Decke. Es ist jedoch auch möglich, Umgebungen ohne Decke zu haben, wie etwa bestimmte Freiluft-Vergnügungsparks. Ein Beispiel für ein Einzelhandelsgeschäft 100 als eine solche Umgebung ist in 1 gezeigt. Die Umgebung 100 umfasst vorzugsweise Grenzen, über die sich Subjekte nicht bewegen können. Solche Grenzen umfassen vorzugsweise die Außengrenzen der Umgebung 100, die die Umgebung umschließen. Die Umgebung 100 umfasst normalerweise eine Torzone, durch die Subjekte die Umgebung 100 betreten und/oder verlassen können. Eine solche Torzone kann eine Tür, ein Durchgang, ein Tor, ein Aufzug, eine Treppe usw. sein. Die Außengrenzen umfassen normalerweise eine Torzone 103, durch die die Subjekte die Umgebung betreten und/oder verlassen können. Es ist jedoch auch möglich, dass die Außengrenzen vollständig geschlossen sind und sich innerhalb der Umgebung 100 eine Torzone (in 1 nicht gezeigt) befindet. Die Torzonen können für das Betreten und Verlassen von Subjekten oder ausschließlich für das eine oder das andere Subjekt bestimmt sein (im letzteren Fall sind mindestens zwei unterschiedliche Torzonen erforderlich). Die Grenzen könnten interne Grenzen wie die Regale 102, die Kassen 101 usw. umfassen. Die Umgebung 100 kann weitere bestimmte funktionale Objekte der Umgebung wie beispielsweise Regale 102, Kassen 101 usw. definieren, um die Aufteilung des Geschäfts zu definieren. Die unterschiedlichen funktionellen Objekte (vom gleichen Typ) könnten Kennungen aufweisen, die bei der Analyseverarbeitung (siehe nachstehend) und/oder zum Anzeigen der Umgebung 100 auf einem Display (siehe nachstehend) und/oder zum Definieren der Grenzen der Umgebung 100 verwendet werden könnten. Die Umgebung 100 könnte bestimmte Zonen von Interesse definieren, z. B. in 1 die Zone 121 vor den Kassen 101. In einer Ausführungsform definiert die Umgebung 100 mehrere Unterbereiche 100.i, wobei der Index i eine ganze Zahl zwischen 1 und n ist, wobei n die Anzahl der Unterbereiche 100.i ist. In 1 ist n=6. Vorzugsweise decken alle Unterbereiche 100.i zusammen die (gesamte) Umgebung 100 ab. Benachbarte Unterbereiche 100.i können einander überlappen.
-
4 zeigt eine beispielhafte Ausführungsform des Systems S100zum Erfassen von Subjekten in der Umgebung. Das System S100 umfasst ein Verarbeitungsmittel und mindestens ein Sensormodul S110.
-
Das Sensormodul S110 umfasst mindestens einen Sensor S112, S113, S114. Der mindestens eine Sensor S112, S113, S114 ist vorzugsweise konfiguriert, Sensordaten (eines Sensorbereichs) der Umgebung 100 zu ermitteln, was die Erfassung der Position von Subjekten in (dem Sensorbereich) der Umgebung 100 ermöglicht. Der Sensorbereich eines Sensormoduls S110 ist der vom Sensormodul S110 abgedeckte Teil der Umgebung 100, d. h. der Teil der Umgebung 100, in dem durch dieses Sensormodul S110 Sensordaten von Subjekten in der Umgebung 100 gesammelt werden können. In dem Fall von mindestens zwei Sensoren S112, S113, S114 ist der Sensorbereich des Sensormoduls S112 vorzugsweise der Teil der Umgebung 100, der von allen Sensoren S112, S113, S114 des Sensormoduls S110 abgedeckt wird. Die von einem, einigen oder allen des mindestens einen Sensors S112, S113, S114 abgerufenen Sensordaten sind vorzugsweise Bilddaten, zum Beispiel zweidimensionale Daten, wie Bildpixeldaten, oder dreidimensionale Bilddaten, wie Voxel-Bilddaten.
-
Der mindestens eine Sensor S 112, S 113, S 114 (jeder, einer oder einige davon) nimmt die Sensordaten über die Zeit auf. Dies bedeutet normalerweise, dass der mindestens eine Sensor S112, S113, S114 in aufeinanderfolgenden Zeit- oder Abtastschritten (normalerweise mit festen Intervallen dazwischen) einen Sensordatensatz für den jeweiligen Zeitpunkt oder Abtastschritt aufnimmt. Der Sensordatensatz ist vorzugsweise ein Bild. Der mindestens eine Sensor S112, S113, S114 stellt somit für jeden Sensor einen Strom von Sensordatensätzen oder Bildern (auch Video genannt) bereit. Das Sensormodul S110 könnte einen Speicher zum Puffern (aus technischen Gründen kurzzeitige Aufzeichnung, nicht zum Zweck der Speicherung) der Sensordaten vor dem Senden an das Verarbeitungsmittel aufweisen. Das Puffern könnte auch den Fall umfassen, dass die Sensordaten für die Zeit gespeichert werden, während der eine Verbindung zum Verarbeitungsmittel unterbrochen ist. Vorzugsweise werden die Sensordaten nicht in dem Sensormodul S110 gespeichert, nachdem die Sensordaten an das Verarbeitungsmittel gesendet wurden. Das Sensormodul S110 könnte auch ohne einen Speicher für die Sensordaten arbeiten. Vorzugsweise sendet das Sensormodul S110 die Sensordaten unmittelbar nachdem die Sensordaten von dem mindestens einen Sensor S112, S113, S114 gesammelt wurden an das Verarbeitungsmittel.
-
Der mindestens eine Sensor S112, S113, S114 umfasst vorzugsweise eine IR-Kamera S114. Die IR-Kamera S114 ist konfiguriert, IR-Bilder des Sensorbereichs des Sensormoduls S110 und/oder der IR-Kamera S114 (über die Zeit) aufzunehmen. Die IR-Kamera S114 ist vorzugsweise eine niedrigauflösende Kamera. Die IR-Kamera S114 umfasst vorzugsweise einen digitalen Bildsensor, z. B. einen CMOS-Sensor. Die Auflösung der IR-Kamera S114 und/oder des digitalen Bildsensors wird durch die Anzahl der Pixel des digitalen Bildsensors und/oder der IR-Kamera S114 definiert. Der mindestens eine Sensor S112, S113, S114 umfasst vorzugsweise eine dreidimensionale (3D-) Kamera S113. Die 3D-Kamera S114 ist konfiguriert, 3D-Bilder des Sensorbereichs des Sensormoduls S110 und/oder der 3D-Kamera S113 (über die Zeit) aufzunehmen. Die 3D-Kamera ist vorzugsweise eine Laufzeitkamera. Es können jedoch unterschiedliche 3D-Kameras verwendet werden. Die 3D-Kamera S113 ist vorzugsweise eine niedrigauflösende Kamera. Vorzugsweise ist das Sensormodul und/oder die 3D-Kamera derart in der Umgebung angeordnet, dass ein mit der3D-Kamera aufgenommenes Voxel einem Raum der Umgebung entspricht, der größer als 5 mm, vorzugsweise als 1 cm, vorzugsweise als 3 cm, vorzugsweise als 5 cm ist. Der Raum der Umgebung von x entspricht vorzugsweise einem Würfel in der Umgebung mit den drei Seitenlängen von x. Die 3D-Kamera S113 umfasst vorzugsweise einen digitalen Bildsensor. Die Auflösung der3D-Kamera S113 und/oder des digitalen Bildsensors wird durch die Anzahl der Pixel des digitalen Bildsensors und/oder der 3D-Kamera S113 definiert.
-
Der mindestens eine Sensor S112, S113, S114 umfasst vorzugsweise eine optische Kamera S112. Die optische Kamera S112 ist konfiguriert, optische Bilder des Sensorbereichs des Sensormoduls S110 und/oder der optischen Kamera S112 (über die Zeit) aufzunehmen. Vorzugsweise nimmt die optische Kamera S112 optische Bilder des Sensorbereichs im Frequenz- oder Wellenlängenspektrum des sichtbaren Lichts auf. Die optische Kamera S112 umfasst vorzugsweise einen digitalen Bildsensor, z. B. einen CMOS-Sensor. Die Auflösung der optischen Kamera S112 und/oder des digitalen Bildsensors wird durch die Anzahl der Pixel der optischen Kamera S112 und/oder des digitalen Bildsensors definiert. Vorzugsweise ist die optische Kamera S112 eine niedrigauflösende Kamera.
-
Die Auflösung der niedrigauflösenden Kamera (der optischen Kamera S112 und/oder der 3D-Kamera S113 und/oder der IR-Kamera S114) ist vorzugsweise so gering, dass biometrische Merkmale, die eine Identifizierung der Identität einer Person ermöglichen (nicht nur um Personen voneinander zu unterscheiden), nicht aus den von der optischen Kamera S112 aufgenommenen Bildern abgerufen werden können. Vorzugsweise beträgt die Auflösung der niedrigauflösenden Kamera und/oder ihres Bildsensors vorzugsweise weniger als 0,5 Megapixel, vorzugsweise weniger als 0,4 Megapixel, vorzugsweise weniger als 0,3 Megapixel, vorzugsweise weniger als 0,2 Megapixel. vorzugsweise weniger als 0,1 Megapixel, vorzugsweise weniger als 0,09 Megapixel, vorzugsweise weniger als 0,08 Megapixel, vorzugsweise weniger als 0,07 Megapixel, vorzugsweise weniger als 0,06 Megapixel, vorzugsweise weniger als 0,05 Megapixel, vorzugsweise weniger als 0,04 Megapixel, vorzugsweise weniger als 0,03 Megapixel, vorzugsweise weniger als 0,02 Megapixel, vorzugsweise weniger als 0,01 Megapixel (10.000 Pixel), vorzugsweise weniger als 0,005 Megapixel (5.000 Pixel). Ein solcher niedrigauflösender Sensor oder eine solche niedrigauflösende Kamera weist einen sehr geringen Stromverbrauch auf und vermeidet Probleme mit dem Datenschutz des Bildinhalts. In einer Realisierung weist der niedrigauflösende optische Sensor eine Auflösung von 32x32 Pixeln auf, was zu 1024 Pixeln des Bildsensors führt, was sich in Kombination mit einem anderen Sensor wie dem IR-Sensor oder der 3D-Kamera als ausreichend für die Subjekterfassung erwies. In einer Realisierung weist die niedrig auflösende 3D-Kamera S113 eine Auflösung von 60x80 Pixeln auf, was zu 4080 Pixeln des Bildsensors führt, was sich in Kombination mit einem anderen Sensor wie dem IR-Sensor oder dem optischen Sensor als ausreichend für die Subjekterfassung erwies. In einer Realisierung weist die niedrig auflösende IR-Kamera S114 eine Auflösung von 64x64 Pixeln auf, was zu 4096 Pixeln des Bildsensors führt, was sich in Kombination mit einem anderen Sensor wie dem 3D-Sensor oder dem optischen Sensor als ausreichend für die Subjekterfassung erwies. Vorzugsweise wird die Auflösung, Position und/oder Ausrichtung der niedrigauflösenden Kamera(s) und/oder des Sensormoduls S110 so gewählt, dass die niedrigauflösende Kamera eine Auflösung pro Quadratmeter der Umgebung 100 von weniger als 50.000 Pixeln pro Quadratmeter der abgedeckten Umgebung (Pixel/m2), vorzugsweise weniger als 40.000 Pixel/m2, vorzugsweise weniger als 30.000 Pixel/m2, vorzugsweise weniger als 20.000 Pixel/m2, vorzugsweise weniger als 10.000 Pixel/m2, vorzugsweise weniger als 5.000 Pixel/m2, vorzugsweise weniger als 4.000 Pixel/m2, vorzugsweise weniger als 3.000 Pixel/m2, vorzugsweise weniger als 2.000 Pixel/m2, vorzugsweise weniger als 1.000 Pixel/m2, vorzugsweise weniger als 500 Pixel/m2 bereitstellt. Wenn beispielsweise die optische Kamera S112 mit einer Auflösung von 1024 Pixeln angeordnet ist, ein Feld von 3 m x 3 m abzudecken, was zu 113 Pixeln pro Quadratmeter führt, besteht absolut kein Resiko von Datenschutzverletzungen im Inhalt der Bilder des optischen Sensors S112 und der Leistungsverbrauch ist deutlich reduziert.
-
In einer bevorzugten Ausführungsform ist die Auflösung der niedrigauflösenden Kamera(s) fest, d. h. sie kann vom System nicht geändert werden. In einer (weniger bevorzugten) Ausführungsform kann die Auflösung der niedrigauflösenden Kamera(s) vom System konfiguriert werden, vorzugsweise in dem Sensormodul S110. Dies hat möglicherweise den Vorteil, dass die Auflösung in Abhängigkeit von der Installationshöhe, den Lichtverhältnissen usw. konfiguriert werden kann. Eine solche niedrigauflösende Kamera mit einer konfigurierbaren Auflösung könnte durch einen digitalen Bildprozessor mit einem konfigurierbaren Auflösungsfilter oder einem Prozessor, der die Auflösung basierend auf der Konfiguration des Sensormoduls S110 reduziert, bereitgestellt werden. Die Konfiguration könnte durch ein Hardware-Konfigurationsmittel in dem Sensormodul oder durch ein Software-Konfigurationsmittel, das durch das Verarbeitungsmittel gesteuert werden könnte, erfolgen. Im letzteren Fall könnte die niedrigauflösende Kamera des Sensormoduls S110 von dem Verarbeitungsmittel durch eine Kalibrierungsprozedur konfiguriert werden, die gewährleistet, dass kein biometrisches Merkmal der den Sensorbereich passierenden Personen extrahiert werden kann. Die Beschreibung der niedrigauflösenden Kamera gilt vorzugsweise für die optische Kamera S112, die IR-Kamera S114 und/oder die 3D-Kamera S113.
-
Das Sensormodul S110 umfasst vorzugsweise eine Schnittstelle, um die Sensordaten von dem mindestens einen Sensor S112, S113, S114 an das Verarbeitungsmittel zu senden. Vorzugsweise ist das Sensormodul S110 als eine Sensoreinheit realisiert, d. h. als eine von einer anderen Vorrichtung verschiedene Vorrichtung, die (mindestens einen Teil) des Verarbeitungsmittels umfasst, wie beispielsweise eine Verarbeitungseinheit oder eine Vorverarbeitungseinheit. Die Sensoreinheit oder das Sensormodul S110 ist vorzugsweise mit dem Verarbeitungsmittel, der Verarbeitungseinheit oder der Vorverarbeitungseinheit verbunden, um die Sensordaten, vorzugsweise die Rohdaten, des mindestens einen Sensors S112, S113, S114 zu senden. Die Verbindung könnte über ein Kabel erfolgen, z. B. Ethernet, LAN usw. oder drahtlos, z.B. Bluetooth, WLAN, LOLA, WAN usw. Unter Berücksichtigung, dass die Sensordaten keine datenschutzrelevanten Inhalte enthalten, ist es nicht notwendig, dass die Verbindung verschlüsselt ist, was viel Rechenleistung einspart. Das Sensormodul S110 ist vorzugsweise konfiguriert, die Sensordaten in Echtzeit an das Verarbeitungsmittel zu senden.
-
Die drei präsentierten Sensoren S112, S113, S114 in dem Sensormodul S110 sind vorteilhaft, da sie es ermöglichen, Daten über die Subjekte in dem Sensorbereich abzurufen, die es ermöglichen, die Subjekte voneinander zu unterscheiden, d. h. die Subjekte anonym zu identifizieren, ohne Daten der Subjekte aufzuzeichnen, die zur Identifizierung der Subjekte verwendet werden könnten. Einer dieser drei Sensoren könnte allein oder in Kombination mit anderen Sensoren in dem Sensormodul S110 verwendet werden. Es zeigte sich jedoch, dass eine Kombination von mindestens zwei der drei beschriebenen Sensoren S112, S113, S114 die Erfassungsqualität des Subjekts, d. h. ein zuverlässiges anonymes Identifizieren der Subjekte, deutlich verbessert. Insbesondere die Kombination von der IR-Kamera S114 und einer oder zwei der optischen Kameras sowie der 3D-Kamera erwies sich als sehr zuverlässig. Daher stellt die Kombination der beschriebenen Sensoren trotz des Fehlens klassischer Kennungen wie einer Gesichtserfassung eine zuverlässige Erfassungsqualität bereit. Insbesondere die Kombination aller drei Sensoren S112, S113, S114 erwies sich als sehr zuverlässig.
-
Vorzugsweise erwies sich die Kombination von mindestens zwei, vorzugsweise drei niedrigauflösenden Kameras als Sensoren des Sensormoduls S110 trotz der verwendeten niedrigauflösenden Bilder als sehr zuverlässig. Dies ermöglicht eine Reduzierung des Leistungsverbrauchs für das Verarbeiten der Bilder, der Bandbreite zur Übertragung der Bilder und vermeidet das Datenschutzproblem der Personen auf den Bildern auf einem beliebigen Niveau des Systems vollständig. Die mindestens zwei niedrigauflösenden Kameras umfassen vorzugsweise zwei, vorzugsweise drei von einer niedrigauflösenden IR-Kamera S114, einer niedrigauflösenden optischen Kamera S112 und einer niedrigauflösenden 3D-Kamera S113. Die mindestens zwei niedrigauflösenden Kameras umfassen vorzugsweise eine niedrigauflösende IR-Kamera S114 und eine 3D-Kamera S113, vorzugsweise auch eine niedrigauflösende optische Kamera S112.
-
Das System S100 umfasst vorzugsweise eine Vielzahl von Sensormodulen S110. Die vorstehende Beschreibung des Sensormoduls S100 gilt für alle Sensormodule S110 des Systems S100 oder die Vielzahl von Sensormodulen S110. Vorzugsweise sind alle Sensormodule des Systems S100 gleich. Die Anzahl der benötigten Sensormodule S110 hängt von der Größe der Umgebung 100 ab. Die Sensormodule S110 sind über die Umgebung 100 verteilt, um die (vollständige) Umgebung 100 oder mindestens den Teil der Umgebung abzudecken, der für die Überwachung von Interesse ist. Die Sensormodule S110 sind vorzugsweise so verteilt, dass die Sensorbereiche aller Sensormodule S110 die (vollständige) Umgebung 100 oder mindestens den Teil der Umgebung abdecken, der für die Überwachung von Interesse ist. Die Sensorbereiche können sich mit benachbarten Sensorbereichen überlappen. Vorzugsweise decken die Sensorbereiche der Vielzahl von Sensormodulen S110 (mit den Merkmalen wie vorstehend beschrieben) mindestens 50 % der Umgebung 100 ab, vorzugsweise mindestens 60 %, vorzugsweise mindestens 70 %, vorzugsweise mindestens 80 %, vorzugsweise bei mindestens 90 %, vorzugsweise mindestens 95 % der Umgebung 100, in der Subjekte verfolgt werden sollen. 2 zeigt eine beispielhafte Ausführungsform für die Verteilung der Sensormodule S110 über die Umgebung 100. Die Sensormodule S110 sind vorzugsweise so montiert, dass die Blickrichtung der mindestens einen Kamera, vorzugsweise aller Kameras des mindestens einen Sensors S112, S113, S114 des Sensormoduls S110 vertikal nach unten gerichtet angeordnet sind. Vorzugsweise befindet sich das mindestens eine Sensormodul S110 an der Decke der Umgebung 100. Es ist jedoch auch möglich, die Sensormodule S110 auf entsprechenden Trägern zu montieren, z. B. wenn die Umgebung keine Decke hat oder die Decke zu hoch ist. In einer anderen Ausführungsform ist es auch möglich, die Sensormodule S110 so zu montieren, dass die Blickrichtung der Kamera(s) horizontal ist. Dies hat jedoch den Nachteil, dass einige Subjekte möglicherweise von anderen Subjekten verdeckt werden.
-
Das Verarbeitungsmittel ist konfiguriert, basierend auf den Sensordaten, die von dem mindestens einen Sensor des mindestens einen Sensormoduls S110 von den die Umgebung 100 abdeckenden Sensorbereichen aufgenommen werden, Subjekte in der Umgebung 100 zu erfassen. Die Erfassung eines Subjekts in dem Bild/den Bildern basiert vorzugsweise auf einem oder mehreren Merkmalen, die aus dem Bild/den Bildern abgerufen werden. Vorzugsweise basiert die Erfassung eines Subjekts auf zwei oder mehr Merkmalen, die aus dem Bild/den Bildern des mindestens einen Sensors S112, S113, S114 abgerufen werden (nachfolgend ohne Einschränkung der Erfindung Merkmalsvektor genannt). Der Merkmalsvektor umfasst vorzugsweise jeweils ein Merkmal der mindestens zwei Sensoren S112, S113, S114 des Sensormoduls S110. Beispielhafte Merkmale, die aus den IR-Bildern abgerufen werden, sind die Durchschnittstemperatur des Subjekts oder der Durchmesser des Wärmepunkts, der das Subjekt darstellt. Beispielhafte Merkmale, die aus den 3D-Bildern abgerufen werden, sind die Höhe des Subjekts und der Vektor, der die Kontur der Person beschreibt (von oben gesehen). Beispielhafte Merkmale, die aus den optischen Bildern abgerufen werden, sind die durchschnittliche Farbe des erfassten Subjekts. Möglicherweise können andere oder zusätzliche Merkmale zur groben Erfassung, wo sich ein Subjekt in den Bildern befindet, verwendet werden.
-
Das Verarbeitungsmittel ist weiter konfiguriert, basierend auf den Sensordaten, insbesondere basierend auf dem mindestens einen Merkmal, vorzugsweise auf dem Merkmalsvektor des Subjekts die in der Umgebung 100 erfassten Subjekte anonym zu identifizieren. Der Merkmalsvektor eines Subjekts stellt eine Art Signatur des Subjekts bereit, die es ermöglicht, das Subjekt in der Umgebung anonym zu identifizieren, d. h. jedes Subjekt kann (jederzeit) von den anderen Subjekten in der Umgebung unterschieden werden, ohne dass Merkmale erforderlich sind, die ermöglichen, die Person hinter dem Subjekt zu identifizieren, und/oder die gemäß einigen Datenschutzbestimmungen die Zustimmung des Subjekts erfordern. Die anonyme Identifizierung des Subjekts basiert vorzugsweise auf einem probabilistischen Ansatz, sodass das Subjekt immer noch anonym identifiziert werden kann, wenn sich ein oder einige Merkmale des Merkmalsvektors des Subjekts ändern. Dies kann basierend auf dem Ort des Subjekts mit hoher Zuverlässigkeit realisiert werden, wenn sich ein oder einige Merkmale des Merkmalsvektors des Subjekts ändern. Eine (anonyme) Kennung kann mit jedem anonym identifizierten Subjekt in Verbindung gebracht werden.
-
Das Verarbeitungsmittel ist vorzugsweise konfiguriert, ein (oder jedes) in der Umgebung identifizierte Subjekt zu verfolgen. Die Verfolgung des (oder jedes) Subjekts in der Umgebung 100 ergibt die Position des (oder jedes) Subjekts über die Zeit. Eine solche zeitaufgelöste Reiseroute ermöglicht es, Informationen über die Reiseroute in der Umgebung von jedem Subjekt und seine an bestimmten Orten oder Zonen verbrachte Zeit zu erhalten.
-
Das Verarbeitungsmittel ist vorzugsweise konfiguriert, die tatsächliche Position der Subjekte in der Umgebung 100 zum aktuellen Zeitpunkt zu bestimmen. Somit können die Verarbeitungsmittel die Position der Subjekte in der Umgebung 100 in Echtzeit bestimmen.
-
Das Verarbeitungsmittel könnte ein erweitertes Verarbeitungsmittel oder eine Verarbeitungsmaschine S133 zum Berechnen erweiterter Messgrößen bezüglich der Subjekte umfassen. Das erweiterte Verarbeitungsmittel S133 ist vorzugsweise konfiguriert, die Echtzeitmessgrößen zu berechnen, die aus der Echtzeiterfassung oder -verfolgung der Subjekte in der Umgebung 100 abgerufen werden. Ein Beispiel für eine solche erweiterte Subjektmessgröße ist die Anzahl der Subjekte, die sich zu einem bestimmten Zeitpunkt, z. B. zur tatsächlichen Zeit, in einer interessierenden Zone der Umgebung 100, z. B. der Zone 121 vor den Kassen 101, befinden. Ein anderes Beispiel für eine solche und erweiterte Subjektmessgröße könnte die durchschnittliche Zeit sein, die die Subjekte statistisch gesehen über einen bestimmten Zeitraum an einem Ort, einer bestimmten Zone oder in der Umgebung verbringen. Dies kann in einer Karte der Umgebung gezeigt werden, die die durchschnittliche Verweildauer an jedem Ort als eine Intensität zeigt, wie in einer Wärmekarte.
-
Das Verarbeitungsmittel könnte einen Ereignisdetektor S144 umfassen. Der Ereignisdetektor könnte ein Ereignis für ein bestimmtes Subjekt erfassen. Das Ereignis wird mit einem Ort in der Umgebung 100 und einer Zeit in Verbindung gebracht. Das Ereignis kann zum Beispiel ein Ticket an einer der Kassen 101 sein und der Ort der Umgebung 100, der mit dem Ereignis verbundenen ist, kann der Ort dieser Kasse 101 in der Umgebung sein. Der Ereignisdetektor S144 könnte das Ereignis mit dem Subjekt in Verbindung bringen, basierend auf dem Ereignis und basierend auf dem Ort des Subjekts in der Umgebung zu der mit dem Ereignis verbundenen Zeit. Der Ereignisdetektor S144 könnte das Ereignis mit dem Subjekt in Verbindung bringen, basierend darauf, dass sich das Subjekt zu der Zeit, die mit dem Ereignis verbunden ist, an dem Ort in der Umgebung 100, der mit dem Ereignis verbunden ist, befindet. Vorzugsweise hat das Ereignis einen festen Ort. Der feste Ereignisort könnte zum Beispiel der Ort der Kasse der Umgebung oder einer Ausweisstation zum Öffnen einer Tür sein. Im vorstehenden Beispiel muss das Subjekt, das zu der mit dem Ereignis verbundenen Zeit an der Kasse 101 war, die das Ticket erstellt hat, mit dem Ticket in Verbindung gebracht werden. Dies ermöglicht, weitere Daten bezüglich des Ereignisses mit dem Subjekt in Verbindung zu bringen. Im vorstehend genannten Beispiel kann es sich um die gekauften Artikel oder den ausgegebenen Preis oder anderes handeln. Dieser Ereignisdetektor ist sehr wichtig, um eine automatische Rückmeldung über die Subjekte mit einer höheren Granularität als „Ja“ oder „Nein“ zu erhalten. Eine solche automatisierte Rückmeldung ist sehr wichtig zum Analysieren der in dem Verarbeitungsmittel erzeugten Ergebnisse, z. B. zur Verwendung der Daten der Subjekterfassung und/oder -verfolgung in maschinellen Lernanalysen. Wenn die Umgebung unterschiedliche Ereignistypen aufweist, z. B. ein erster Ereignistyp wie eine erste Kasse und ein zweiter Ereignistyp wie eine zweite Kasse, hat jeder Ereignistyp einen festen Ort in der Umgebung. Wenn zum Beispiel die erste Kasse zum ersten Mal ein Ticket für einen Ankauf eines Subjekts ausgibt, wird das Subjekt, das sich zum ersten Mal an dem Ort des ersten Ereignistyps befindet, mit dem Subjekt in Verbindung gebracht. Ein anderes Beispiel für ein Ereignis könnte ein Detektor für einen Ausweis sein. Die Mitarbeiter benötigen einen Ausweis zum Zeitstempeln ihrer Arbeit oder zum Zutritt zu einem bestimmten Gebiet Das Ausweisen wäre das Ereignis. Durch die Verbindung des anonymen Subjekts an der Position des Ausweisdetektors in der Umgebung 100 zur Zeit des Ausweisereignisses kann das anonyme Subjekt und/oder dessen Reiseroute mit der nicht anonymen Person, die mit dem Ausweis in einer Datenbank identifiziert wurde, oder mit einer anonymen Kategorie von Subjekten in einer Datenbank verbunden werden. Die ermöglicht zum Beispiel bestimmte Kategorien von Subjekten zu identifizieren, die für bestimmte Analysen nicht berücksichtigt werden sollen. Ein anderes Beispiel für ein Ereignis könnte das Scannen der Bordkarte vor dem Einsteigen in das Flugzeug und/oder vor dem Passieren der Sicherheitskontrolle an einem Flughafen sein. Dies ermöglicht, die Reiseroute einer Person mit einem bestimmten Flug oder Flugort zu verbinden. Wenn das Ereignis das Scannen der Bordkarte vor dem Passieren der Sicherheitskontrolle ist und die Daten aus der Datenbank eine beliebige Kennung der Bordkarte (z. B. die Ticket- oder Bordkartennummer, die Sitzplatznummer, der Name der reisenden Person) sind, könnte das System aus der entsprechenden Kennung der Bordkarte den Ort des mit dem Ereignis oder der Bordkarte verbundenen Subjekts in der Umgebung, die Entfernung oder Zeit, die die Person benötigt, um die zu einem Gate zu gelangen, berechnen. Dies ermöglicht es Fluggesellschaften, ein Gate mit der Entscheidung zu schließen, ob es sinnvoll ist, auf eine zum Einsteigen in das Flugzeug fehlende Person zu warten. Zusätzlich ermöglicht dies für bestimmte Anwendungen, die Identität einer Person zu ermitteln, selbst wenn das Sensormodul S112 keine persönliche Identität über die erfassten Personen gibt.
-
Vorzugsweise ist das Verarbeitungsmittel konfiguriert, von einer Ereignisdatenbank eine Ereigniszeit und einen Ereignisort zu empfangen, um das Subjekt zu erfassen, dass sich zur Ereigniszeit am Ereignisort der Umgebung befindet, und um das Ereignis mit dem erfassten Subjekt, das sich zur Ereigniszeit am Ereignisort der Umgebung befindet, in Verbindung zu bringen. Vorzugsweise ist das Verarbeitungsmittel weiter konfiguriert, basierend auf einem bestimmten Ereignisverhalten das Subjekt zu erfassen, das mit dem Ereignis in Verbindung gebracht werden soll. Das Ereignisverhalten könnte eine bestimmte Mindestwartezeit am Ereignisort sein. Dies könnte helfen, unterschiedliche Subjekte zu unterscheiden, die zur Ereigniszeit am Ereignisort sind.
-
Das Verarbeitungsmittel könnte ein Analysemittel oder eine Analysemaschine S141 umfassen. Die Analysemittel sind konfiguriert, die Informationen über die in der Umgebung 100 erfassten Subjekte, die Informationen über die Position über die Zeit der in der Umgebung 100 verfolgten Subjekte und/oder die Ergebnisse von dem erweiterte Verarbeitungsmittel S133 analysieren und/oder weiterverarbeiten. Das Analysemittel S141 ist vorzugsweise zur Berechnung von Messgrößen konfiguriert, die nicht in Echtzeit berechnet werden müssen oder können. Das Analysemittel S141 könnte basierend auf einer Vielzahl von Subjekten, basierend auf dem für jedes Subjekt erfassten Ereignis und basierend auf der verfolgten Reiseroute jedes Subjekts Rückschlüsse auf den besten Ort der Umgebung 100 (z. B. zum Ausstellen von Produkten) oder auf eine Rangfolge der Orte der Umgebung 100 bestimmen.
-
Das Verarbeitungsmittel könnte ein Benachrichtigungsmittel oder eine Benachrichtigungsmaschine S143 zum Erstellen von Benachrichtigungen basierend auf den Ergebnissen der Erfassung von Subjekten oder der Verfolgung von Subjekten umfassen. Ein Beispiel für eine Benachrichtigung, die basierend auf den Ergebnissen der Erfassung oder Verfolgung der Subjekte erstellt wird, könnte eine Benachrichtigung sein, die auf den Ergebnissen des erweiterten Verarbeitungsmittels S133 oder des Analysemittels S141 erstellt wird. Ein Beispiel könnte sein, dass eine Benachrichtigung, z. B. eine Warnung wird erstellt, wenn die Anzahl der in einer interessierenden Zone erfassten Personen einen Schwellenwert überschreitet oder die (durchschnittliche) Wartezeit der Subjekte einen Schwellenwert überschreitet. Die interessierende Zone könnte die Zone 121 vor den Kassen 101 mit der Wartezone der Kunden sein. Dies ermöglicht dem Geschäftsmanager sofort zu reagieren, wenn die Warteschlange oder die Wartezeit für die Kunden zu lang wird. Der Schwellenwert könnte auch abhängig von der Anzahl der offenen Kassen 101 ausgewählt werden. Eine andere Benachrichtigung könnte erstellt werden, wenn ein Subjekt eine interessierende Zone betritt, in die es nicht eintreten darf. Es gibt viele weitere Möglichkeiten für Benachrichtigungen.
-
Das Verarbeitungsmittel könnte eine Ausgabeschnittstelle umfassen, z. B. eine Mensch-Maschine-Schnittstelle (MMI) S142. Die Ausgabeschnittstelle könnte eine Anzeige sein, sodass die in dem Verarbeitungsmittel, dem Analysemittel S141, dem Benachrichtigungsmittel S143 und/oder dem erweiterten Verarbeitungsmittel S133 berechneten Ergebnisse auf einer Anzeige gezeigt werden können, z. B. die aktuelle Karte der Umgebung mit dem erfassten Subjekt. Die Ausgabeschnittstelle könnte aber auch eine Signalschnittstelle sein, über die die Ergebnisse ausgegeben werden, z. B. eine Schnittstelle zu einem Netzwerk, z. B. dem Internet. Die Ausgabeschnittstelle könnte weiter Benachrichtigungen des Benachrichtigungsmittels S143 ausgeben. Das Verarbeitungsmittel könnte weiter eine Eingabeschnittstelle zum Empfangen von Anfragen oder anderen Informationen umfassen, z. B. zur Konfiguration des Systems S100 für die Umgebung. Die Eingabeschnittstelle könnte die MMI S142 sein.
-
Das Verarbeitungsmittel kann durch jede Art von Verarbeitungsmitteln mit den beschriebenen Funktionalitäten realisiert werden. Das Verarbeitungsmittel könnte ein Computer, ein spezialisierter Chip oder ein System sein, das mindestens zwei Unterverarbeitungseinheiten umfasst, wie beim Cloud Computing, wie bei der verteilten Verarbeitung, wie in Datenverarbeitungszentren. Das Verarbeitungsmittel könnte sich vollständig oder teilweise in einer zentralen Verarbeitungseinheit befinden oder vollständig oder teilweise über die Sensormodule S110 oder über zwischengeschaltete Verarbeitungseinheiten oder -module verteilt sein, die jeweils für die Verarbeitung von Sensordaten einer Untergruppe von Sensormodulen S110 verantwortlich sind.
-
Vorzugsweise umfasst das Verarbeitungsmittel mindestens ein erstes Verarbeitungsmodul S120 (auch Vorverarbeitungsmodul genannt) zur Vorverarbeitung der von einer Untergruppe der Sensormodule S110 des Systems S100 empfangenen Sensordaten und ein zweites Verarbeitungsmodul S130, S140 zur Weiterverarbeitung der vorverarbeiteten Daten des mindestens einen Vorverarbeitungsmoduls S120. Der/die Sensorbereich(e) jeder Untergruppe von Sensormodulen S120 definieren einen Unterbereich der Umgebung 100.i, wie beispielhaft in 3 gezeigt. Vorzugsweise umfasst die Untergruppe der Sensormodule S110, die mit einem des mindestens einen Vorverarbeitungsmoduls S120 verbunden sind, mindestens zwei Sensormodule S110. Es ist jedoch auch möglich, dass nur ein Sensormodul S110 mit einem Vorverarbeitungsmodul S120 verbunden ist. Vorzugsweise ist das Vorverarbeitungsmodul S120 in einer Vorverarbeitungseinheit realisiert, d. h. einer Vorrichtung, die sich von der Sensoreinheit oder dem Sensormodul S110 unterscheidet. Dies ermöglicht die Gruppierung der Vorverarbeitung für eine Untergruppe der Sensormodule S110 in einer Vorverarbeitungseinheit S120. Für große Umgebungen umfasst das System S100 mindestens zwei Untergruppen von Sensormodulen S110, wobei jede Untergruppe von Sensormodulen S110 mit einem anderen Vorverarbeitungsmodul S120 oder einer anderen Vorverarbeitungseinheit verbunden ist. Selbst wenn es bevorzugt ist, das Vorverarbeitungsmodul S120 als eine Hardwarevorrichtung, d. h. als die Vorverarbeitungseinheit, zu realisieren, wäre es auch möglich, das Vorverarbeitungsmodul S120 als ein Softwaremodul in einer zentralen Verarbeitungseinheit zu realisieren. Im letzteren Fall könnte die zentrale Verarbeitungseinheit die Vorverarbeitung für unterschiedliche Untergruppen von Sensormodulen S110 parallel durchführen. Jedes Vorverarbeitungsmodul S120 ist konfiguriert, die Sensordaten des mindestens einen Sensormoduls S110 der Untergruppe von Sensormodulen, die mit dem Vorverarbeitungsmodul S120 assoziiert/verbunden sind, zu empfangen, und ist konfiguriert, Subjekte in dem Unterbereich 100.i des Vorverarbeitungsmoduls S120 zu erfassen, um die erfassten Subjekte anonym zu identifizieren und/oder die Subjekte in dem Unterbereich 100.i des Vorverarbeitungsmoduls S120 basierend auf den empfangenen Sensordaten zu verfolgen. Daher umfasst das Vorverarbeitungsmodul S120 vorzugsweise ein Subjekterfassungs/Subjektidentifizierungsmittel S124 (auch Signaturmaschine genannt), das konfiguriert ist, die Position jedes Subjekts in dem Unterbereich 100.i des Vorverarbeitungsmoduls S120 zu erfassen und die erfassten Subjekte anonym zu identifizieren (für einen bestimmten Zeitpunkt). Vorzugsweise gibt die Signaturmaschine S124 die Positionen und Merkmalsvektoren jedes in dem Unterbereich 100.i erfassten Subjekts für den bestimmten Zeitpunkt aus. Dies geschieht vorzugsweise sequentiell, vorzugsweise periodisch, für nachfolgende Zeitpunkte. Das Vorverarbeitungsmodul S120 umfasst vorzugsweise ein Verfolgungsmittel S123 oder eine Verfolgungsmaschine zum Verfolgen der Subjekte in dem Unterbereich 100.i des Vorverarbeitungsmoduls S120 basierend auf der Ausgabe von der Signaturmaschine S124, insbesondere basierend auf der Position und dem Merkmalsvektor jedes Subjekts in dem Unterbereich 100.i für nachfolgende Zeitpunkte. In einer Ausführungsform kombiniert das Vorverarbeitungsmodul S120 oder die Signaturmaschine S124 die Bilder des Sensorbereichs jedes Sensormoduls S110 zu einem kombinierten Bild des Unterbereichs 100.i und erfasst und identifiziert anonym die Subjekte in dem Unterbereich 100.i basierend auf dem kombinierten Bild des Unterbereichs 100.i. In einer anderen Ausführungsform erfasst das Vorverarbeitungsmodul S120 oder die Signaturmaschine S124 die Subjekte in jedem Sensorbereich und identifiziert diese anonym, basierend auf dem Bild des jeweiligen Sensorbereichs, um eine Erfassungs- und Identifizierungsausgabe für jeden Sensorbereich zu erstellen, und kombiniert dann die Erfassungs- und Identifizierungsausgabe aller Sensorbereiche des Unterbereichs 100.i, um die kombinierte Erfassungs- und Identifizierungsausgabe für den Unterbereich 100.i zu erhalten. Der modulare Ansatz, bei dem die Anzahl der verwendeten Vorverarbeitungsmodule S120 abhängig ist von der Anzahl der in der Umgebung verwendeten Sensormodule S110, ist bevorzugt. Dennoch ist es auch möglich, die Vorverarbeitung in nur einem Vorverarbeitungsmodul für alle Sensormodule S110 der Umgebung durchzuführen, dann vorzugsweise in einer zentralen Verarbeitungseinheit. Somit ist/sind das eine oder die mehreren Vorverarbeitungsmodule S120 oder die Vorverarbeitungseinheit vorzugsweise eine Zwischenvorrichtung, die (hierarchisch) zwischen den Sensormodulen S110 oder Sensoreinheiten und der zentralen Verarbeitungseinheit angeordnet ist.
-
Die Vorverarbeitungsausgabe des/jedes Vorverarbeitungsmoduls S120 wird an das zweite Verarbeitungsmittel gesendet. Die Vorverarbeitungsausgabe eines Vorverarbeitungsmoduls S120 ist vorzugsweise das erfasste, anonym identifizierte und/oder verfolgte Subjekt in dem Unterbereich 100.i des jeweiligen Vorverarbeitungsmoduls S120. Vorzugsweise ist die Vorverarbeitungsausgabe für einen bestimmten Zeitpunkt die Position des/der Subjekt(e), das/die in dem Unterbereich 100.i erfasst und anonym identifiziert wurde/wurden. Vorzugsweise ist die Vorverarbeitungsausgabe für einen bestimmten Zeitpunkt die Position und der Merkmalsvektor des/der in dem Unterbereich 100.i erfassten Subjekts/Subjekte. Das Vorverarbeitungsmodul S120 sendet vorzugsweise die Verarbeitungsausgabe nachfolgender Zeitpunkte an das zweite Verarbeitungsmittel. Das zweite Verarbeitungsmittel ist vorzugsweise konfiguriert, die Vorverarbeitungsausgabe jedes Unterbereichs 100.i von jedem Vorverarbeitungsmodul S120 zu empfangen und die Subjekte in der Umgebung 100 durch Kombinieren der Vorverarbeitungsausgabe(n) der Unterbereiche 100.i zu erfassen und/oder zu verfolgen. Dies geschieht vorzugsweise in einem Abgleichmittel oder einer Abgleichmaschine S134. Die Ausgabe der Abgleichmaschine S134 ist/sind vorzugsweise das eine oder die mehreren, anonym identifizierten und/oder verfolgten Subjekte in der Umgebung 100.
-
Vorzugsweise ist die Ausgabe der Abgleichmaschine S134 für einen bestimmten Zeitpunkt die Position des einen oder der mehreren in der Umgebung erfassten und anonym identifizierten Subjekte. Vorzugsweise ist die Vorverarbeitungsausgabe für einen bestimmten Zeitpunkt die Position und eine Kennung des einen oder der mehreren in der Umgebung erfassten Subjekte. Die Abgleichmaschine S134 gibt vorzugsweise die Ausgabe nachfolgender Zeitpunkte aus. Die Ausgabe kann von der erweiterten Verarbeitungsmaschine S133, der Analysemaschine S141, der Benachrichtigungsmaschine S143 und dem Ereignisdetektor S144 zur weiteren Verarbeitung, insbesondere zur Echtzeitverarbeitung, verwendet werden.
-
Das Vorverarbeitungsmodul S120 könnte einen Speicher S122 umfassen. Der Speicher S122 ist vorzugsweise konfiguriert, Sensordaten zu speichern, die von den mit dem Vorverarbeitungsmodul S120 verbundenen Sensormodulen S110 empfangen werden (mindestens bis die Sensordaten verarbeitet sind). Der Speicher S122 ist vorzugsweise konfiguriert, vorverarbeitete Ausgabedaten zu speichern, die an das zweite Verarbeitungsmittel ausgegeben werden sollen. Der Speicher S122 ist vorzugsweise konfiguriert, die Vorverarbeitungsausgabe von mindestens einem vorherigen Verarbeitungsschritt zu speichern, d. h. die vorherige Abtastzeit, um die Erfassung und/oder Verfolgung der Subjekte basierend auf der Position der anonym identifizierten Subjekte bei dem mindestens einen vorherigen Verarbeitungsschritt zu verbessern.
-
Das zweite Verarbeitungsmittel könnte weiter einen Speicher umfassen. Vorzugsweise speichert der Speicher S132 die in der Umgebung 100 erfassten, anonym identifizierten und/oder (über die Zeit) verfolgten Subjekte, d. h. der Speicher S132 speichert die Ausgabe der Abgleichmaschine S134. Dies ermöglicht, die Daten über die in der Umgebung 100 erfassten, anonym identifizierten und/oder (über die Zeit) verfolgten Subjekte zu einem späteren Zeitpunkt für weitere Analysen zu verwenden, z. B. durch die erweiterte Verarbeitungsmaschine S133, die Analysemaschine S141, die Benachrichtigungsmaschine S143 und den Ereignisdetektor S144 zur weiteren Verarbeitung. Der Speicher S132 könnte weiter zum Puffern der Vorverarbeitungsausgabe(n) des einen oder der mehreren Vorverarbeitungsmodule S120 verwendet werden. Vorzugsweise werden die Vorverarbeitungsausgabe(n) aus dem Speicher S132 entfernt, sobald sie in dem zweiten Verarbeitungsmittel, insbesondere in der Abgleichmaschine S134, verarbeitet wurden.
-
Das zweite Verarbeitungsmittel umfasst in der gezeigten Ausführungsform vorzugsweise zwei Module S130 und S140. Das erste Verarbeitungsmodul S130 empfängt die Vorverarbeitungsausgabe(n) von dem mindestens einen Vorverarbeitungsmodul S120 und verarbeitet diese Ausgabe, um die Subjekte in der Umgebung 100 zu erfassen, anonym zu identifizieren und/oder zu verfolgen, vorzugsweise um über die Zeit die Position der anonym identifizierten Subjekte zu bestimmen. Daher ist die Abgleichmaschine S134 in dem ersten Verarbeitungsmodul S130 angeordnet. Vorzugsweise ist der Speicher S132 in dem ersten Verarbeitungsmodul S130 angeordnet. Vorzugsweise ist die erweiterte Verarbeitungsmaschine S133 in dem ersten Verarbeitungsmodul S130 angeordnet. Das zweite Verarbeitungsmodul S140 verwendet die Ausgabe des ersten Verarbeitungsmoduls S130, um Analysen durchzuführen, mit dem Benutzer zu interagieren, Benachrichtigungen zu erstellen, Ereignisse zu erfassen und/oder die Ausgabe des ersten Verarbeitungsmoduls S130 auf eine beliebige andere Weise zu verarbeiten. Somit umfasst das zweite Verarbeitungsmodul S140 vorzugsweise die Analysemaschine S141, die Eingabeschnittstelle, die Ausgabeschnittstelle, die Benachrichtigungsmaschine S143, den Ereignisdetektor S144 und/oder andere Mittel zur Verarbeitung der Ausgabe des ersten Verarbeitungsmoduls S130.
-
Die in 4 gezeigte Ausführungsform verwendet somit ein System S100 mit drei, vorzugsweise vier Schichten. Eine Sensorschicht mit dem mindestens einen Sensormodul S110 oder der mindestens einen Sensoreinheit. Eine Vorverarbeitungsschicht mit dem mindestens einen Vorverarbeitungsmodul S120 oder der mindestens einen Vorverarbeitungseinheit. Eine dritte Schicht mit dem zweiten Verarbeitungsmittel, das das Ergebnis der Vorverarbeitungsmodule S120 verarbeitet. Die dritte Schicht könnte vorzugsweise in eine dritte Schicht mit dem ersten Verarbeitungsmodul S130 und eine vierte Schicht mit dem zweiten Verarbeitungsmodul S140 aufgeteilt werden. Selbstverständlich sind auch alternative Architekturen möglich. Zum Beispiel könnte das System S100 in zwei Schichten mit einer Sensorschicht und einer zentralen Verarbeitungsschicht organisiert sein.
-
Die Umgebung, das Computerprogramm, das Computerprogrammprodukt, das Verarbeitungsmittel und/oder das Sensormodul nach der Erfindung wird der Kürze halber nicht im Detail beschrieben. Sie funktionieren analog zu dem zuvor im Detail beschriebenen System.
-
Es versteht sich, dass die vorliegende Erfindung nicht auf die beschriebenen Ausführungsformen beschränkt ist und dass Variationen angewendet werden können, ohne den Umfang der beigefügten Ansprüche zu verlassen
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- WO 2018/152009 A1 [0005]
- US 2019/0205933 A1 [0005]
- EP 2270761 A1 [0005]
- US 2018/0231653 A1 [0007]
