DE102022132598A1

DE102022132598A1 - System und Verfahren zur Überwachung

Info

Publication number: DE102022132598A1
Application number: DE102022132598.9A
Authority: DE
Inventors: Thomas Linde
Original assignee: Keba Group AG
Current assignee: KEBA GROUP AG, AT
Priority date: 2022-12-07
Filing date: 2022-12-07
Publication date: 2024-06-13
Also published as: WO2024119210A1

Abstract

Die Erfindung betrifft ein System zur Überwachung, mit mindestens einer Erfassungseinrichtung, die dazu eingerichtet ist, das Umfeld des Systems zu erfassen. Das System umfasst auch eine Recheneinrichtung, die ein neuronales Netz und einen Hardwarebeschleuniger für neuronale Netze umfasst, die dazu eingerichtet ist im erfassten Umfeld Objekte zu erkennen, eine Situation des Umfeldes auf der Grundlage der erkannten Objekte durch das neuronale Netz in Echtzeit zu bestimmen, und auf der Grundlage hinterlegter Regeln geeignete Maßnahmen für die bestimmte Situation zu ermitteln. Es wird weiterhin ein Verfahren zum Überwachen mit einem Überwachungssystem, ein Verfahren zum Konfigurieren eines Überwachungssystems, ein Verfahren zum Trainieren eines neuronalen Netzes, eine computerimplementierte Datenstruktur eines neuronalen Netzes und ein Computerprogrammprodukt bereitgestellt.

Description

Die Erfindung betrifft das Überwachen eines Umfeldes und dem Bestimmen von vorliegenden Situationen in Echtzeit durch ein neuronales Netz.
Überwachung von Räumen und Plätzen wird derzeit hauptsächlich durch rein optische Überwachung, d.h. mit Kameras realisiert. Dies gilt gleichermaßen für Serviceräume wie etwa in Banken, öffentlichen Aufenthaltsräumen wie Haltestellen des öffentlichen Personen-Nahverkehrs und anderen Verkehrs- und Fußgängerzonen, Museen und ähnlichen - öffentlichen und nicht-öffentlichen - Orten. Das gleiche gilt etwa für sogenannte halböffentliche Räume, d.h. Räume, die von einer definierten Personengruppe nutzbar ist, nur zu bestimmten Zeiten zugänglich ist.
Die mit den Kameras erfassten Bildsignale werden einerseits aufgezeichnet, um nachträgliche Untersuchungen und Ermittlungen zu ermöglichen, und andererseits auch von Sicherheitspersonal überwacht, wobei hier meist mehrere Bildschirme, die die Kamerasignale anzeigen, ggf. auch von mehreren Orten, angezeigt und überwacht werden. Darüber hinaus werden in manchen Situationen, wie beispielsweise Interaktion mit Besuchern, Einsätzen oder Rundgängen, die Bildschirme nicht mehr durch das Personal überwacht. Die Überwachung ist also lückenhaft und möglicherweise erforderliche Reaktionen, die dann durch Personal eingeleitet werden, erfolgen mit einer Zeitverzögerung.
An manchen Orten, wie beispielsweise Bahnhöfen oder großen öffentlichen Plätzen wird über die einfache Kameraerfassung bereits eine Gesichtserkennung durchgeführt, um bekannte Personen zu identifizieren.
An den oben genannten Orten können verschiedene Situationen eintreten, die eine Sicherheitsrelevanz im Sinne dieser Anmeldung aufweisen. Im Folgenden werden einige dieser Situationen beispielhaft aufgezählt, es ist jedoch klar, dass diese Aufzählung nicht abschließend ist.
In Foyers und ähnlichen Orten kann eine gefährliche Situation eintreten, wenn beispielsweise eine Person eine medizinische Notlage erleidet, oder sich auch nur unwohl fühlt. Dies kann durch einen Unfall geschehen, wie beispielsweise einen Sturz, oder auch durch einen Schwächeanfall, einen Infarkt oder ähnliche Vorfälle. Eine weitere Situation könnte eine potenzielle Gefahr darstellen, wie beispielsweise einer drohenden Straftat, beispielsweise Sachbeschädigung, wie etwa eine Geldautomatensprengung, Diebstahl, wie etwa eines Gegenstandes oder auch von persönlichen Informationen durch Ausspähung von Zugangsdaten, unerlaubtes Betreten, Hausfriedensbruch, oder auch Körperverletzung und ähnlicher Vergehen.
Diese Situationen können ein Unwohlbefinden von Personen umfassen, beispielsweise wenn ihre sogenannten Distanzzonen betreten werden. Eine Person, die sich auf unter einem Meter nähert, führt üblicher Weise dazu, dass eine Interaktion gestartet werden soll. Unter Umständen kann dies aber von der betroffenen Person als unangenehm wahrgenommen werden. Dies ist beispielsweise besonders in öffentlichen Räumen relevant, wie Bankenfoyers, Aufzügen, Parkhäusern, etc.
Eine gestürzte Person, oder ungewöhnlich ruhig liegende Person deutet in einem privaten Raum, wie einem Krankenhaus- oder Heimzimmer möglicherweise auf eine Notlage hin.
Solche Situationen werden derzeit zwar über Kamerasysteme erfasst und - von Bedien- oder Sicherheitspersonal gegebenenfalls auch erkannt, um die drohenden Aktionen aber zu verhindern, d.h. ein rechtzeitiges Einschreiten zu ermöglichen, müssten geeignete Maßnahmen innerhalb von wenigen Sekunden ergriffen werden.
Als Beispiele seien hier - ohne Beschränkung der Erfindung hierauf - genannt, dass die Sprengung eines Geldautomaten in einer Bankfiliale oder eines Fahrkartenautomaten an einer Haltestelle in etwa in 30 Sekunden durchgeführt werden kann. Das Anbringen eines Skimming-Geräts oder das Ausspähen einer Geheimzahl beim bargeldlosen Bezahlen dauert etwa 5 Sekunden. Auch eine medizinische Notlage erfordert unter Umständen ein sehr schnelles Eingreifen.
Darüber hinaus ist das Sicherheitspersonal darauf angewiesen, dass die Daten von der Kameraerfassung auch zu den Monitoren gelangt, d.h. es muss Strom an beiden Orten (d.h. Ort der Aufnahme und Ort der Wiedergabe der Bilder) vorliegen und eine zuverlässige Datenverbindung zwischen beiden Orten. Durch die notwendige qualitativ hochwertige Bildübertragung ist überdies eine hohe Bandbreite notwendig und es entstehen darüber hinaus hohe Kosten.
Die Gesichtserkennung an Bahnhöfen erfordert darüber hinaus große Rechenleistung.
Aufgabe der vorliegenden Erfindung ist es, die Nachteile des Standes der Technik zu überwinden und die Überwachung zu verbessern, die Reaktionszeit zu verkürzen und somit im Ergebnis die Sicherheit an diesen Orten für Personen und Maschinen erhöhen.
Es wird ein System zur Überwachung, ein Verfahren zum Überwachen, ein Verfahren zum Konfigurieren eines Überwachungssystems, ein Verfahren zum Trainieren eines neuronalen Netzwerkes, eine computerimplementierte Datenstruktur eines neuronalen Netzwerkes und ein Computerprogramprodukt bereitgestellt.
Die Aufgabe der Erfindung wird durch Gegenstände der unabhängigen Ansprüche gelöst. In den abhängigen Ansprüchen finden sich vorteilhafte Weiterbildungen.
In folgenden werden die Ausführungsformen der Erfindung dargelegt, wobei darauf hingewiesen wird, dass die Ausführungsformen in aller Regel sowohl das System als auch die alternativen Implementierungsformen (Verfahren, Computerprogrammprodukt, etc.) betreffen können.
Gemäß einer ersten Ausführungsform wird ein System zur Überwachung bereitgestellt, das mindestens eine Erfassungseinrichtung umfasst, die dazu eingerichtet ist, das Umfeld des Systems zu erfassen. Das System umfasst weiterhin eine Recheneinrichtung, die ein neuronales Netz und einen Hardwarebeschleuniger für neuronale Netze umfasst, die dazu eingerichtet ist im erfassten Umfeld Objekte zu erkennen, eine Situation des Umfeldes auf der Grundlage der erfassten Objekte durch das neuronale Netz in Echtzeit zu bestimmen und auf der Grundlage hinterlegter Regeln geeignete Maßnahmen für die bestimmte Situation zu ermitteln.
Vorteilhaft hierbei ist, dass das System durch die Hardwarebeschleunigung die Situation in Echtzeit (also etwa in unter 3 Sekunden) erkennen kann, und lokal (d.h. netzwerkunabhängig) und direkt eine Reaktion bestimmen kann, die geeignet ist, um auf die Situation zu reagieren.
In einer weiteren Ausführungsform umfasst das System weiterhin mindestens eine Steuereinrichtung, die dazu eingerichtet ist, die ermittelten Maßnahmen als Steuerungssignale an mindestens ein Gerät, das zur Ausführung der ermittelten Maßnahmen geeignet ist, zu übertragen.
Falls das System nicht selbst die Maßnahme ergreifen kann, wie etwa eine Entriegelung einer Fluchttüre, so kann die Steuereinrichtung beispielsweise einen vorhandenen Schließmechanismus ansteuern, um die Flucht zu ermöglichen.
Die Objekte, die im Umfeld des Systems erkannt werden können, können Personen, Gegenstände, Roboter, Maschinen und andere Vorrichtungen oder eine Kombination davon sein.
Dadurch kann eine vielseitige Einsetzbarkeit erreicht werden.
In einer weiteren Ausführungsform, umfasst das System weiterhin mindestens einen Sensor, der dazu eingerichtet ist, Umgebungsdaten zu erfassen, wobei die Recheneinrichtung weiter dazu eingerichtet ist, bei der Bestimmung der Situation und/oder bei der Ermittlung der geeigneten Maßnahmen die erfassten Umgebungsdaten zu berücksichtigen.
Die Umgebungsdaten können mindestens eines der folgenden umfassen: Tageszeiten, Jahreszeiten, Wetterdaten und/oder Daten die Bevölkerung betreffend.
Vorteilhaft hierbei ist, dass beispielsweise ein Wintermantel im Sommer oder eine Sonnenbrille nach Sonnenuntergang zu einer anderen Einschätzung der vorliegenden Situation führt, d.h. eine andere Situation erkannt wird.
In einer weiteren Ausführungsform können die Erfassungseinrichtungen des Systems Kameras, Infrarotkameras, Ultraschalldetektoren, Metalldetektoren, Mikrophone, Infrarot-Sensoren, Detektoren für elektromagnetische Strahlung oder eine Kombination davon sein.
Je nach Einsatzzweck kann die jeweils bestgeeignete Art von Erfassungseinrichtungen gewählt werden. In Produktionshallen können beispielsweise Mikrophone und/oder Ultraschalldetektoren eingesetzt werden, um ungewöhnliche Maschinengeräusche zu erfassen, während in einem Juweliergeschäft die Präsenz von einer ungewöhnlichen Menge von Metall an Besuchern durch Metalldetektoren festgestellt werden sollte.
In einer weiteren Ausführungsform umfasst das System weiterhin eine Kommunikationseinrichtung, die dazu eingerichtet ist, Eingaben zu empfangen und/oder Ausgaben zu senden.
Durch eine Kommunikationseinrichtung kann einerseits eine externe Person oder Anlage benachrichtigt werden, wie etwa Polizei, Notarzt, Feuerwehr, andererseits kann eine Kommunikationseinrichtung auch dazu genutzt werden, Personen anzusprechen und entweder zu einer Handlung aufzufordern oder um eine Reaktionsfähigkeit von Personen zu prüfen.
In einer weiteren Ausführungsform ist die Recheneinrichtung weiterhin dazu eingerichtet, für ein oder mehrere Objekte mindestens einen der folgenden Objektparameter zu ermitteln:

Positionen, Geschwindigkeiten und/oder Beschleunigungen der erkannten Objekte;
Abstände zwischen den erkannten Objekten;
Verweildauer jedes erkannten Objekts im Umfeld des Systems;
Zustände der erkannten Objekte;
Identifikation der erkannten Objekte; und
weitere Merkmale der erkannten Objekte; und
wobei die Recheneinrichtung weiter dazu eingerichtet ist, die Situation auch auf der Grundlage der ermittelten Objektparameter zu bestimmen.

Durch die Ermittlung der zusätzlichen Informationen kann die Situation genauer bestimmt werden. Details hierzu sind in der folgenden Beschreibung zu finden.
In einer weiteren Ausführungsform ist die Recheneinrichtung weiterhin dazu eingerichtet, das erfasste Umfeld des Systems in zwei oder mehr Bereiche aufzuteilen und für jeden der Bereiche eine eigene Situation zu bestimmen.
Durch diese vorteilhafte Weiterbildung können beispielsweise von Personen bediente Maschinen an einem Ort getrennt bewertet, und bei Gefahr abgeschaltet werden.
In einer weiteren Ausführungsform bestimmt die Recheneinrichtung durch das neuronale Netz Situationen, indem ein Kennwert errechnet wird, der eine Wahrscheinlichkeit für mindestens ein zu erwartendes Ereignis darstellt; und wobei die Recheneinrichtung eine geeignete Maßnahme in Abhängigkeit des Kennwertes ermittelt.
Basierend auf dem Training des neuronalen Netzes können Muster erkannt werden, so dass mit einer gewissen Wahrscheinlichkeit das nächste Ereignis einer Situation erkannt werden kann. Dieser Kennwert kann als Schwellwert dienen, so dass beim Überschreiten einer gewissen Wahrscheinlichkeit eine geeignete Maßnahme präventiv eingeleitet werden kann.
In einer weiteren Ausführungsform umfasst das System mindestens ein Gerät, das zur Ausführung der ermittelten Maßnahmen geeignet ist.
Das System kann Geräte umfassen, die mögliche Maßnahmen ausführen können. Beispiele hierfür sind das Ausgeben eines akustischen oder optischen Warnsignals.
In einer weiteren Ausführungsform können die Teile des Systems einzeln oder zusammen an einer Wand oder Decke befestigt sein, eine freistehende Einheit bilden, oder eine mobile Einheit bilden, die sich selbstständig im zu überwachenden Umfeld bewegen kann.
Je nach Einsatzzweck kann es sinnvoll sein, dass die Teile zusammen an einer Stelle angebracht sind, was die Anbringung erleichtert. Alternativ kann es sinnvoll sein, die Recheneinrichtung getrennt von den Erfassungseinrichtungen zu montieren, so dass beispielsweise die Erfassungseinrichtungen das gesamte Umfeld erfassen können.
Schließlich kann es auch nützlich sein, das System oder Teile davon mobil auszugestalten, so dass beispielsweise eine Produktionshalle abgefahren werden kann. Eine freistehende Einheit kann regelmäßig einfach umpositioniert werden, falls der Einsatzzweck dies erfordert, oder falls beispielsweise nur eine vorübergehende Überwachung gewünscht ist.
Wie zuvor ausgeführt, betreffen die zuvor genannten Ausführungsformen nicht nur das System, sondern in aller Regel gleichermaßen das Verfahren zum Überwachen. Hierbei wird das Umfeld des Überwachungssystems durch eine oder mehrere Erfassungseinrichtungen erfasst. Dann werden im erfassten Umfeld durch eine Recheneinrichtung Objekte erkannt. Auf der Grundlage der erkannten Objekte wird dann durch ein neuronales Netz in Echtzeit eine Situation für das Umfeld bestimmt, und sodann werden geeignete Maßnahmen für die bestimmte Situation auf der Grundlage hinterlegter Regeln ermittelt.
Gemäß einem weiteren Aspekt der Erfindung wird ein Verfahren zum Konfigurieren eines Überwachungssystems bereitgestellt, bei dem zu berücksichtigende Objektparameter und/oder Umgebungsdaten, mögliche Maßnahmen und Geräte dafür, Regeln zur Maßnahmenermittlung und ein trainiertes neuronales Netz zur Situationsbestimmung eingegeben werden.
Die zuvor geschilderten Ausführungsformen sind ebenfalls für das Konfigurationsverfahren anwendbar.
Gemäß einem weiteren Aspekt der Erfindung wird ein Verfahren zum Trainieren eines neuronalen Netzes bereitgestellt, das dazu geeignet ist, Situationen auf der Grundlage der erkannten Objekte in Echtzeit zu bestimmen, wie zuvor dargelegt.
Die zuvor geschilderten Ausführungsformen sind ebenfalls für das Trainingsverfahren anwendbar.
Es wird eine computerimplementierte Datenstruktur eines neuronalen Netzes, das nach dem zuvor erwähnten Trainingsverfahren trainiert wurde, bereitgestellt.
Und schließlich wird ein Computerprogrammprodukt bereitgestellt, umfassend Befehle, die bei der Ausführung des Programms durch einen Computer diesen veranlassen, ein zuvor genanntes Verfahren auszuführen.
Die zuvor geschilderten Ausführungsformen sind ebenfalls auf die Datenstruktur und das Computerprogrammprodukt anwendbar.
Die Ausführungsformen zeigen mögliche Ausführungsvarianten, wobei die Erfindung nicht auf die speziell dargestellten Ausführungsvarianten derselben eingeschränkt ist, sondern vielmehr auch Kombinationen der einzelnen Ausführungsvarianten untereinander möglich sind. Insbesondere können der Merkmale des Systems auch in einem Verfahren umgesetzt werden und umgekehrt.
Zum besseren Verständnis der Erfindung wird diese anhand der nachfolgenden Figuren näher erläutert. Es zeigen jeweils in stark vereinfachter, schematischer Darstellung:

1 ein System zur Überwachung mit einem beispielhaften Umfeld gemäß beispielhafter Ausführungsformen, und
2 ein schematisches Flussdiagramm gemäß einer Ausführungsform.

Einführend sei festgehalten, dass in den unterschiedlich beschriebenen Ausführungsformen gleiche Teile mit gleichen Bezugszeichen bzw. gleichen Bauteilbezeichnungen versehen werden, wobei die in der gesamten Beschreibung enthaltenen Offenbarungen sinngemäß auf gleiche Teile mit gleichen Bezugszeichen bzw. gleichen Bauteilbezeichnungen übertragen werden können. Auch sind die in der Beschreibung gewählten Lageangaben, wie z.B. oben, unten, seitlich usw. auf die unmittelbar beschriebene sowie dargestellte Figur bezogen und sind diese Lageangaben bei einer Lageänderung sinngemäß auf die neue Lage zu übertragen.
1 zeigt nun eine beispielhafte Situation zum Einsatz eines Systems zur Überwachung gemäß einer Ausführungsform. Als Beispiel ist eine Situation in einem Bankfoyer abgebildet. Im Foyer sind Bankautomaten, oder Geldautomaten 180 positioniert. Es sei jedoch nochmals erwähnt, dass das System gleichermaßen in den anderen zuvor beschriebenen Situationen und Umfeldern eingesetzt werden kann.
Das System umfasst eine oder mehrere Erfassungseinrichtungen 110. In 1 ist eine Erfassungseinrichtung 110 abgebildet, gleichwohl können mehrere vorhanden sein. Jede solche Erfassungseinrichtung 110 ist dazu eingerichtet, das Umfeld 105 des Systems 100 zu erfassen. Je nach Einsatzzweck können die Erfassungseinrichtungen 110 Kameras, Infrarotkameras, Ultraschalldetektoren, Metalldetektoren, Mikrophone, Infrarot-Sensoren, Detektoren für elektromagnetische Strahlung oder eine Kombination davon sein. Beispielsweise könnte in einem Krankenhaus eine Wärmebildkamera (Infrarot-Kamera) eingesetzt werden, um neben der Personenerfassung auch deren Temperatur überwachen zu können. In einer nicht ständig beleuchteten Tiefgarage dagegen könnte ein Bewegungsmelder und/oder Mikrophone eingesetzt werden.
Für die weitere Beschreibung wird davon ausgegangen, dass die Erfassungseinrichtung 110 der 1 mindestens eine Kamera umfasst, die das Umfeld 105 erfasst.
Die Erfassungseinrichtungen 110 können sich dabei in einem Gehäuse mit der Recheneinrichtung befinden, oder - wie in 1 dargestellt - ein eigenständiges Gerät sein. In dem Fall geben die Erfassungseinrichtungen 110 die Daten des erfassten Umfeldes 105 an die Recheneinrichtung drahtlos - also über Funk, WLAN, Bluetooth, Infrarot oder eine andere nicht-drahtgebundene Verbindung - oder über ein oder mehrere Kabel weiter.
Das System 100 umfasst weiterhin eine Recheneinrichtung 120, die ein neuronales Netz 130 und einen Hardwarebeschleuniger 140 für neuronale Netze umfasst. Tatsächlich kann das System auch mehrere Recheneinrichtungen umfassen, um entweder parallel rechnen zu lassen oder als Reserve falls die eigentliche Recheneinrichtung ausfällt oder schließlich auch zur dedizierten Aufgabenverteilung. So könnte eine Recheneinrichtung die Objekterkennung durchführen, während eine andere Recheneinrichtung die Situation bestimmt. Dazu können dann auch spezialisierte Recheneinrichtungen, z.B. Graphikprozessoren, eingesetzt werden.
Das neuronale Netz 130, kurz NN, des Systems kann in verschiedenen - bekannten - Ausprägungen gestaltet sein, beispielsweise ein Autoencoder oder ein Convolutional Neural Network (CNN). Das Netz ist trainiert auf den konkreten Einsatzzweck.
Der Hardwarebeschleuniger 140 des Systems, auch neuronaler Netzwerkbeschleuniger genannt, ist ein Prozessor, der speziell für die Verarbeitung von neuronalen Netzwerken geeignet ist. Der Hardwarebeschleuniger 140 ist sehr effizient in den Aufgaben Daten zu sammeln und zu gruppieren und zu klassifizieren. Im Gegensatz zu einer herkömmlichen Prozessoreinheit eines Rechners (CPU), wird bei einem Hardwarebeschleuniger 140 ein hochgradig abgestimmter Prozessor verwendet, der für eine bestimmte Reihe von Aufgaben optimiert ist, nämlich bei geringer Leistung extrem schnell zu laufen, wodurch bestimmte Programme auf einem Hardwarebeschleuniger 140 schneller abgearbeitet werden können. Manchmal werden als Hardwarebeschleuniger 140 Grafikprozessoren (GPU), und Digitale Signalprozessoren (DSP) eingesetzt, die für eine schnelle und effiziente Signalverarbeitung optimiert sind.
Hardwarebeschleuniger 140 sind nicht standardisiert, sie werden speziell für bestimmte Einsatzzwecke und Anwendungen entwickelt und verfügen möglicherweise über viele verschiedene Arten von Beschleunigern, einschließlich DSPs und GPUs und eines neuronalen Netzwerkbeschleunigers, die sich alle auf demselben Chip befinden können.
Die Verarbeitungsgeschwindigkeit ist essenziell um sogenannte Echtzeit, also eine Reaktion binnen weniger Sekunden, bewerkstelligen zu können. Am Beispiel einer Objekterkennung, -klassifizierung und -verfolgung sei erklärt, dass die Eingangsinformationen beispielsweise einige Bildverarbeitungsalgorithmen durchlaufen können, um verbessert und gefiltert und dann an das neuronale Netzwerk gesendet zu werden. Dort müssen die erforderlichen Berechnungen schnell genug durchgeführt werden, um beispielsweise - im Falle eines KFZ-Kollisionsassistenten - eine Kollision vermeiden zu können, oder - in Falle der vorliegenden Erfindung - um eine Situation bestimmen zu können und geeignete Maßnahmen einzuleiten, bevor eine Situation beispielsweise eskaliert.
So ausgestaltet, ist die Recheneinrichtung 120 dazu eingerichtet, im erfassten Umfeld 105 Objekte 150 a .. h zu erkennen. In 1 sind die zu erkennen Objekte zumeist Personen, was sich durch den Einsatzzweck ergibt. In einem anderen Szenario könnten die zu erkennenden Objekte Roboterarme von Produktionsrobotern sein, Fahrzeuge und Personen in Parkhäusern und (Tief-)Garagen, Gepäck und Personen an Haltestellen und Bahnhöfen, etc. Auch im Bankfoyer sind die von Personen mitgebrachten Gegenstände wie Aktentaschen, Koffern, Einkaufstaschen von Interesse. Und schließlich ist auch vorstellbar, dass Objekte in das Umfeld 105 des Bankfoyers eintreten, ohne, dass eine Person dazu erkannt werden kann, wenn beispielsweise ein Spielzeugfahrzeug in das Foyer einfährt, oder ein Gegenstand von außen in das Foyer geworfen wird.
Am Beispiel des Foyers in 1 sind einige beispielhafte Personen abgebildet und mit den Bezugszeichen 150a bis 150h versehen. Die Person 151 befindet sich beispielsweise vor der Eingangstüre 170c und somit außerhalb des Umfeldes 105 und kann so nicht, oder ggf. noch nicht, erfasst werden.
Die Recheneinrichtung 120 erfasst das Umfeld 105. Im Verfahren 300 ist dies der Schritt 310. Anschließend erkennt die Recheneinrichtung 120 die Objekte 150 im Umfeld 105 beim Betreten und während des Verweilens im Umfeld 105. Dies geschieht im Schritt 320. Die Recheneinrichtung erkennt die Objekte 150 in den von den Erfassungseinrichtungen 110 erfassten Umfeld-Daten durch eine Objekterkennung. So werden Personen, Personengruppen, Tiere, Roboterarme, Maschinen und andere Gegenstände erkannt. Auch die Anzahl der Objekte 150 kann erfasst werden.
Anschließend wird die Situation des Umfeldes 105 auf der Grundlage der erkannten Objekte 150 durch das neuronale Netz 130 in Echtzeit bestimmt. Im Verfahren ist dies Schritt 330. Dies kann beispielsweise durch eine Klassifikation bewirkt werden, oder auch durch ein Clustering.
Das NN 130 kann also auf Grund der Eingabedaten, hier die erkannten Objekte 150, eine Situation bestimmen. So kann beispielsweise eine erkannte Schweißvorrichtung einen Einbruchsversuch bedeuten. Eine gestürzte Person 150a kann einen medizinischen Notfall bedeuten, usw.
Schließlich ermittelt die Recheneinrichtung 120 auf der Grundlage hinterlegter Regeln 125 geeignete Maßnahmen für die bestimmte Situation. Dies geschieht im Schritt 340. Die hinterlegten Regeln 125 können Informationen umfassen, was bei den einzelnen Situationen als geeignete Maßnahmen angesehen wird. Bei einem Einbruchsversuch können dies beispielsweise das Verriegeln einer Eingangstüre 170c, das Ausschalten des Lichtes oder das Abgeben eines akustischen Warnsignales, wie eine Sirene, sein. Bei einem Notfall medizinischer Art kann dies die Kontaktierung eines Rettungsdienstes sein. Bei einem Vorfall in einem Zimmer eines Krankenhauses kann dies - abhängig von der erkannten Situation - die Nachricht an eine Aufsichtsperson oder ein Arztruf sein.
Es ist selbstverständlich möglich, Regeln 125 für Situationen zu hinterlegen, die nicht mit einer genügend großen Wahrscheinlichkeit erkannt wurden. Beispielsweise kann im Falle einer unklaren Situation die Helligkeit im Umfeld erhöht werden oder eine menschliche Begutachtung der Situation angefordert werden, indem Signale an eine Wache oder Ähnliches gesendet werden.
Das System ist somit in der Lage in Echtzeit lokal eine Situation zu erkennen. Lokal bedeutet, dass das System nicht auf entfernte weitere Rechnerkomponenten oder ein Netzwerk angewiesen ist. Das System kann überdies mit einer eigenen Stromversorgung, entweder Batterien, Akkus oder einer unterbrechungsfreien Stromversorgung, USV, ausgestattet sein, um völlig autark zu sein. Auch eine eigene Stromerzeugung über Windräder oder Solarzellen ist vorstellbar.
Dabei kann das System von anderen Systemen elektrisch und datentechnisch getrennt agieren, wodurch die Sicherheit erhöht wird.
Durch die erfindungsgemäße Ausgestaltung können die Einsatzzwecke der Einleitung abgedeckt werden. Zusammenfassend, können Räume innerhalb und außerhalb von Gebäuden überwacht werden, wie etwa Foyers (beispielsweise in Banken und Juweliere), Aufzüge, Unterführungen, Parkhäuser, (Tief-)Garagen, Werkstätten, (Fahrrad-)Stellplätze, Nischen und Ecken, Treppen, Zugänge und Vorräume von Toiletten, Bahnhöfe, Rastplätze, (Sport-)Stadien, Tankstellen, Geschäfte (Banken, Juweliere, aber auch alle anderen), öffentliche Bereiche in Pflege- und Altenheimen und Krankenhäusern, Restaurants, Bars, allgemeine Hotelbereiche, Zimmer (Hotels, Ferienhäuser, Krankenhäuser), sowie Räumlichkeiten und offene Bereiche von produzierenden Einrichtungen. Weitere Einsatzzwecke können in öffentlichen Verkehrsmitteln, wie Bus, Tram, U-Bahn und Zug die Überwachung der Fahrgäste sein, ebenso wie die Überwachung von Kleinkindern auf den Rücksitzen von Privatfahrzeugen und von Patienten und Passagieren in Einsatzfahrzeugen der Rettung und Polizei.
Das System 100 kann in einer weiteren Ausführungsform weiterhin eine oder mehrere Steuereinrichtungen 160 umfassen, die dazu eingerichtet ist, die ermittelten Maßnahmen als Steuerungssignale an entsprechende Geräte zu senden. Dies wird in 2 als gestrichelter, also als optionaler Schritt 350 dargestellt. 1 zeigt eine Steuereinrichtung 160, die über eine gestrichelte Linie an die Recheneinrichtung 120 angebunden ist. Diese Anbindung kann ebenfalls drahtgebunden oder drahtlos sein, die Steuereinrichtung kann sich auch ebenfalls in einem Gehäuse mit der Recheneinrichtung 120 befinden.
Die Steuereinrichtung 160 wiederum ist in der Lage die von der Recheneinrichtung 120 ermittelten Maßnahmen derart umzusetzen, dass sie ein Gerät ansteuert, das die Maßnahme umsetzt. Dies können auch mehrere Geräte, z.B. mehrere Lampen oder Lautsprecher, sein. 1 zeigt Gerät 170a, das beispielsweise eine Fluchttüre darstellt, die sich im Falle eines Notfalls als Fluchtweg öffnet, oder 170c, das die Eingangstüre darstellt. Eine weitere Maßnahme könnte sein, einen Safe oder Tresor zu verriegeln, oder vor einem Geldautomaten 180 eine Klappe zu schließen, das Licht ein- oder auszuschalten, Nebel in einen Raum einzuleiten, oder die Sprinkleranlage in Betrieb zu nehmen. Weitere Geräte 170 können beispielsweise mechanische Aktoren sein, wie Motoren, Schlösser, Verriegelungen und dergleichen, elektrische Signalgeräte, wie optische und/oder akustische Alarmsignale, Lampen oder Sirenen, oder elektronische Signale, wie Notruf, Arztruf, etc., oder auch Kommunikationssignale, wie Aufforderungen über einen Lautsprecher, Anzeigen, etc. sein.
Ein weiteres Gerät 170b ist in 1 dargestellt, wobei es sich um ein optisches und/oder akustisches Ausgabegerät handeln kann. Darüber könnte eine Person angesprochen werden oder ein Warnsignal ausgegeben werden. In eine optische Anzeige könnte auch eine Informationsausgabe im Ruhezustand integriert werden, wie etwa Uhrzeit, Wetterdaten, aktuelle Aufrufnummer in einem Wartesaal, eine Bewegtbildwiedergabe zur Unterhaltung oder Ähnliches. Weiters kann eine optische Anzeige ein stilisiertes Gesicht darstellen, um bei den angesprochenen Personen durch dargestellte Emotionen den Effekt der Audioausgabe zu unterstützen.
In einer weiteren Ausführungsform, umfasst das System 100 weiterhin einen oder mehrere Sensoren 190, die Umgebungsdaten erfassen, die durch die Recheneinrichtung 120 bei der Bestimmung der Situation in Schritt 330 und/oder bei der Ermittlung der geeigneten Maßnahmen in Schritt 340 berücksichtigt werden. Die Umgebungsdaten können im optionalen Schritt 311 erfasst werden. 1 zeigt hier außerhalb des Umfeldes 105 beispielsweise einen Wettersensor, der Luftfeuchtigkeit, Regen, Helligkeit, Temperatur, oder Besuchsdichte des Platzes vor dem Umfeld 105 etc. erfassen kann. Der Sensor 190 oder ein weitere Sensor 190 kann aber ebenfalls im Umfeld 105 platziert werden. Sensoren 190 können auch im selben Gehäuse wie die Recheneinrichtung 120 angebracht werden.
In Schritt 330 können die Umgebungsdaten beispielsweise derart berücksichtigt werden, dass besonders umfangreiche Kleidung bei kalten Temperaturen dazu führen, dass eine Situation anders bewertet werden kann, da die Gefahr besteht, dass eine Person versuchen könnte, gefährliche Gegenstände unter der Kleidung zu verstecken. Herrscht außerhalb des Umfeldes beispielsweise nur eine sehr geringe Besuchsdichte, so wäre das gleichzeitige Eintreten einer größeren Menschenmenge möglicherweise ein Indiz für eine Gefahr.
In anderen Einsatzzwecken ist dies ähnlich. Eine geringe Temperatur in einem Krankenhauszimmer führt zu einer anderen Bewertung einer zitternden Person als eine normale Raumtemperatur. In einem wiederum anderen Einsatzzweck führt möglicherweise eine hohe Luftfeuchtigkeit in einem Produktionsraum mit Robotern zu einer anderen Bewertung von auftretenden Quietschgeräuschen als eine normale oder niedrige Luftfeuchtigkeit.
Abschließend sei festgehalten, dass sich die Sensoren sowohl innerhalb als auch außerhalb des Umfeldes 105 befinden können. Sie können sich ebenfalls in einem Gehäuse mit der Recheneinrichtung befinden oder in einem eigenen Gehäuse, je nach Einsatzzweck und Art des Sensors.
In einer weiteren Ausführungsform umfasst das System 100 weiterhin eine oder mehrere Kommunikationseinrichtungen 200a, 200b, die Eingaben empfangen und/oder Ausgaben senden können. Kommunikation ist hierbei sowohl elektronische Kommunikation als auch Sprachausgabe und Spracherkennung. Dies wird in 2 als gestrichelter, also als optionaler Schritt 360/370 dargestellt.
1 zeigt eine Kommunikationseinrichtung 200a, die über eine gestrichelte Linie an die Recheneinrichtung 120 angebunden ist. Diese Anbindung kann ebenfalls drahtgebunden oder drahtlos sein, die Kommunikationseinrichtung 200a stellt beispielsweise ein Funktelefon-Modul dar, über das mit Einsatzkräften kommuniziert werden kann. Kommunikationseinrichtung 200b stellt beispielsweise eine Info-Station dar, über die die gestürzte Person 150a gefragt werden kann, ob es ihr gut gehe und sie medizinische Hilfe benötigt. Kommunikationseinrichtung 200b kann zur Erleichterung der Kommunikation mit einem Bildschirm ausgestattet sein, über das ein Gesicht oder eine Person dargestellt wird.
Die Eingabe- und Ausgabeeinrichtung kann auch zum Beziehen von Logdaten oder historischen Daten, sowie zum Einbringen neuer Daten verwendet werden, also beispielsweise eines Updates.
Eine Ausgabe kann auch eine farbige oder Text-Anzeige der aktuell bestimmten Situation sein. Eine Kontrollperson oder Aufsichtsperson könnte so auf einen Blick sehen, ob die aktuelle Situation - gegebenenfalls außerhalb des Sichtwinkels der Aufsichtsperson - sicher, unbestimmt oder gefährlich ist. Eine solche Information kann auch, beispielsweise in einem Krankenhaus auf einer Station dargestellt werden, so dass von einer Aufsichtsperson auf einen Blick die Situationen in vielen Zimmern erfasst werden könnten.
Die Kommunikationseinrichtungen 200a und 200b können sich je nach örtlicher Konfiguration und Einsatzzweck in einem Gehäuse mit der Recheneinrichtung befinden, oder - wie in 1 dargestellt -eigenständige Geräte sein.
In einer weiteren Ausführungsform können im Rahmen der Objekterkennung in Schritt 320 durch die Recheneinrichtung 120 in einem optionalen Zusatzschritt 321 weitere Parameter für ein oder mehrere der Objekte 150 ermittelt werden. Beispielsweise kann das System Positionen, Geschwindigkeiten und/oder Beschleunigungen der erkannten Objekte 150 ermitteln. Hierbei führt es beispielsweise zu einer anderen Bewertung der Situation, wenn 5 Personen mit erhöhter Geschwindigkeit eine einzelne Person verfolgen. Ebenso ist eine Situation anders zu bewerten, wenn ein Objekt plötzlich und ungewöhnlich beschleunigt.
Das System 100 kann auch die Abstände zwischen den erkannten Objekten 150 ermitteln. Hierbei führt es beispielsweise zu einer anderen Bewertung, wenn zwei Objekte das Umfeld gemeinsam betreten, wie etwa Person 150d mit Hund 150e, gegenüber Personen 150f und 150h, die getrennt von Person 150g das Umfeld betreten haben, aber sich nun ohne üblichen Abstand zu ihr aufhalten. Letztes könnte einen Ausspähungsversuch andeuten, falls Person 150g gerade einen Bankautomaten 180 bedient. Als Maßnahme könnte dann ein Ansprechen der Personen eingeleitet werden, so dass mindestens die Person 150g gewarnt werden kann. Person 150c hält beispielsweise einen üblichen Abstand zu Person 150d ein. Die Abstandserkennung kann auch dazu eingesetzt werden, einen gesetzlichen Mindestabstand, oder eine maximale Anzahl von Personen in einem Raum, wie etwa bei gesundheitlichen Vorschriften im Zusammenhang mit infektiösen Krankheiten.
Das System 100 kann auch die Verweildauer jedes erkannten Objekts 150 im Umfeld 105 des Systems 100 ermitteln. Bei einer Person 150b, die beispielsweise im Rollstuhl sitzt kann eine Ohnmacht nicht ohne weiteres nur auf Grund der Körperhaltung bestimmt werden, ein zu langes Verweilen an einer Stelle kann aber ein Problem andeuten. Es kann auch beispielsweise ein Einsatzweck sein, ein generelles Verweilen zu vermeiden, und so Personen, die an Bahnsteigen warten anzusprechen.
Das System 100 kann auch Zustände der erkannten Objekte 150 ermitteln. Der Zustand kann je nach Einsatzzweck des Systems vordefiniert werden. In einem medizinischen Umfeld kann der Zustand von Personen feiner definiert sein müssen als in einem Sportumfeld. In letzterem reicht unter Umständen die Unterscheidung zwischen sich bewegend und unbewegt, während in ersterem zwischen, wach, schlafend, aktiv, und bewusstlos unterschieden werden muss. Für Gegenstände kann gleiches gelten. In einem Bankfoyer ist eine verpackte Bratpfanne, am Karton ersichtlich, anders zu bewerten als eine unverpackte, am Griff geschwungene. Ein Zustand kann auch eine Körperposition sein, wie stehend, liegend, sitzend, etc. Zustände der erkannten Objekte 150 können auch Ortsangaben betreffen, so dass besonders wertvolle oder empfindliche Bereiche des Umfelds besonders geschützt werden können. So könnte ein Besucher hinter einer Absperrung eines Museums eine besonders gefährliche Situation bedeuten, ebenso, ein verlassenes Gepäckstück an einer elektrischen Vorrichtung. Auch relative Positionierungen, also die Position von zwei erkannten Objekten zueinander kann ausgewertet werden.
Das System 100 kann auch die Identifikation der erkannten Objekte 150 ermitteln. Die erkannten Objekte 150 werden klassifiziert, und mit einer gewissen Konfidenz einer vordefinierter Objektklasse zugeordnet. Der Objektklassen können je nach Einsatzzweck des Systems vordefiniert werden. Beispielsweise können Objektklassen in einem Krankenhaus sein: Blumen, Geschenke, Medikamente, Gepäckstück und gefährliche Gegenstände. In einer Produktionsanlage können Gegenstände Taschen, Kisten, Lebensmittel, etc. sein. Die Klassifizierung der Gegenstände kann bei der Situationsbestimmung relevant sein. In einem Museum könnten Lebensmittel verboten sein, in einem Stadion z.B. Glasflaschen.
Gleichermaßen kann eine Gesichtserkennung von Personen durchgeführt werden. Dies kann dazu dienen, dass Beschäftigte des Umfelds eher nicht als Gefahr betrachtet werden, insbesondere wenn beispielsweise in einer Bar oder einem Restaurant, Angestellte einen Bereich betreten, der nicht für Gäste zugänglich sein soll.
Es kann überdies weitere Merkmale der erkannten Objekte 150 geben, die durch das System erkannt werden. Ein weiteres Merkmal könnte beispielsweise eine Eigentümereigenschaft sein, so dass das System feststellen kann, falls eine Person etwas vergessen hat, wie eine Jacke, einen Regenschirm oder eine Tasche, und diese als Maßnahme darauf aufmerksam machen kann, oder falls eine Person einen Gegenstand einer anderen Person versucht nach draußen zu verbringen, worauf hin die Automatiktüre 170c gesperrt werden könnte. Auch eine nicht vorgesehene Bewegung eines Roboterarms, kann ein solches Merkmal sein.
Für alle in Schritt 321 ermittelten Objektparameter gilt jedoch, dass die Recheneinrichtung 120 diese bei der Situationsbestimmung in Schritt 330 auch berücksichtigen kann. Und auch bei der Ermittlung der geeigneten Maßnahmen können die ermittelten Objektparameter berücksichtigt werden. So können sich die Maßnahmen beispielsweise unterscheiden, je nachdem ob eine Person als schlafend oder bewusstlos ermittelt wurde.
In einer weiteren Ausführungsform kann das System 100 das erfasste Umfeld 105 in zwei oder mehr Bereiche aufteilen und für jeden der Bereiche eine eigene Situation bestimmen. Dazu kann das System in den erfassten Umfeld-Daten eine Abgrenzung vornehmen, oder es kann eine Abgrenzung vordefiniert werden. Die Daten der einzelnen Bereiche können ausgetauscht werden, wenn ein Objekt beispielsweise einen Bereich verlässt und einen anderen Bereich betritt. Im Verfahren 300 ist dies in Schritt 301 dargestellt, der bei oder vor der Erfassung in Schritt 300 dargestellt ist. Es ist jedoch auch möglich, dass das System den Schritt des Aufteilens 301 zu einem anderen Zeitpunkt durchführt, beispielsweise nach der Objekterkennung. Es könnte dann beispielsweise eine gemeinsam das Umfeld betretende Gruppe von Objekten zu einem Bereich erklären und die Situation innerhalb dieser Gruppe bestimmen. Auch jeden der Geldautomaten 180 zu einem Bereich zu definieren wäre denkbar.
Bereiche könnten auch entsprechend angebrachter Erfassungseinrichtungen 110 definiert werden, so dass ein System 100 beispielsweise mehrere Räume (Patientenzimmer oder Konferenzräume) mit eigenen Kameras gleichzeitig überwachen kann, und in jedem der Räume geeignete Maßnahmen ermitteln kann.
In einer weiteren Ausführungsform bestimmt die Recheneinrichtung 120 durch das neuronale Netz 130 Situationen, indem ein Kennwert errechnet wird, der eine Wahrscheinlichkeit für mindestens ein zu erwartendes Ereignis darstellt. Für verschiedene Einsatzzwecke kann es verschiedene vordefinierte Handlungsabläufe geben. In einer Bank ist davon auszugehen, dass eine Person am Geldautomaten 180, beispielsweise Personen 150d oder 150g einen Gegenstand aus einer Tasche oder Kleidung hervorholt - beispielsweise eine Geldbörse - um Geld abzuheben.
Der Vorgang des Hervorholens eines Gegenstandes aus dem verdeckten Bereich, d.h. dem Inneren der Tasche, in den, durch das System, wahrnehmbaren Bereich wird vom System mittels Kennwerte in Gefährdungsgrade eingeteilt.
Im Anschluss daran, kann die Recheneinrichtung 120 eine geeignete Maßnahme in Abhängigkeit des Kennwertes ermittelt.
Der Kennwert wird dabei als Schwellwert einer Wahrscheinlichkeit definiert, bei dessen über- oder unterschreiten eine Aktion ausgelöst wird oder als auszulösend ermittelt wird. Der Schwellwert wird über ein Konfigurationstool für jede Situation je nach Einsatzzweck definiert.
In anderen Worten, ein Kennwert bezüglich der Gefährdungswahrscheinlichkeit kann z.B. aus einer Kombination von Bewegungsgeschwindigkeit, erkannten Objekten und Bewegungsrichtung entstehen. Wird dabei ein Schwellwert überschritten, wird eine Gefährdung (z.B. Vandalismus oder Einbruch) als unmittelbar bevorstehend interpretiert, und demnach mindestens eine Maßnahme ermittelt die zur Abwehr/Behebung dieser Gefährdung dient.
Ein Beispiel dazu ist, wenn als Situation bestimmt wird, dass zwei Personen eine Gasflasche ins Foyer 105 tragen und sich dabei zielgerichtet auf einen Geldautomaten 180 zubewegen, so können diese Elemente dazu beitragen, dass ein Schwellwert, der eine Sachbeschädigung anzeigt, überschritten wird. Um die Sachbeschädigung zu vermeiden, kann als geeignete Maßnahme ermittelt werden, dass der Geldautomat 180 durch ein zur Verfügung stehendes Schott 170 abzuschotten ist.
In einer weiteren Ausführungsform, wie bereits zuvor erwähnt, können die Geräte 170, die zur Ausführung der ermittelten Maßnahmen geeignet sind, Bestandteile des Systems sein, oder eigenständige Geräte.
In einer weiteren Ausführungsform können die Teile des Systems 100 einzeln oder zusammen an einer Wand oder Decke befestigt sein. Es bietet sich an, die Erfassungsvorrichtungen 110 derart anzubringen, dass sie das gewünschte Umfeld optimal erfassen können. Arbeiten mehrere gleichartige Erfassungsvorrichtungen 110 zusammen, so können diese entsprechend ausgerichtet werden. Die Recheneinrichtung 120 kann - sofern sie sich in einem eigenen Gehäuse befindet - an einer Stelle angebracht werden, die dem Einsatzzweck entspricht. Die Teile des Systems können drahtlos oder drahtgebunden miteinander kommunizieren.
Es ist auch denkbar, dass alle oder einige Teile eine freistehende Einheit bilden, die gegebenenfalls auch eine Stromversorgung mit sich führt. So kann die Überwachung schnell geändert werden, oder auch an einer Person, beispielsweise einer Person eines Objektschutzes, getragen werden oder an deren Kleidung befestigt sein.
Eine solche Einheit kann auch als mobile Einheit ausgestaltet sein, derart, dass sie sich selbst fortbewegen kann, beispielsweise mit Rädern oder mechanischen Beinen, und sich selbstständig im zu überwachenden Umfeld 105 bewegen kann. Die Bewegung kann auf vordefinierten Pfaden erfolgen, oder auch anlassbezogen gesteuert sein.
Eine weitere Ausführungsform ist ein Verfahren zum Konfigurieren eines Überwachungssystems bei dem zu berücksichtigende Objektparameter und/oder Umgebungsdaten, möglicher Maßnahmen und Geräte dafür, Regeln zur Maßnahmenermittlung und eines trainierten neuronalen Netzes zur Situationsbestimmung eingegeben werden.
Durch das Konfigurieren ist das System nicht nur für den jeweiligen Einsatzzweck einzustellen, sondern auch auf die Gegebenheiten vor Ort einzurichten. Die Geräte, die für Maßnahmen zur Verfügung stehen, können sich nach Ort und Lage, aber auch nach Rechtslage vor Ort unterscheiden. Ebenso sind Bevölkerungsdaten und weitere Objektparameter sowie übliche historische Wetterdaten nützlich, um Unregelmäßigkeiten besser bewerten zu können.
Eine weitere Ausführungsform ist ein Verfahren zum Trainieren eines neuronalen Netzes, das dazu geeignet ist, Situationen auf der Grundlage von erkannten Objekten in Echtzeit zu bestimmen. Das Trainieren kann in verschiedenen Arten bewerkstelligt werden. Beispielsweise durch überwachtes Lernen, bei dem eine Anzahl von zuvor aufgenommenen Situationen analysiert werden, und somit eine Bestimmung durch das NN bestätigt werden kann. Weitere Verfahren zum Training sind etwa unüberwachtes Lernen bei dem das System nur die Situationen als Eingabe erhält, und die Bestimmung eigenständig durchführt, und das bestärkende Lernen (Reinforcement Learning), bei dem das System die Eingaben zumindest teilweise steuern kann. Um Trainingsdaten zu erhalten, können Situationen auch simuliert oder computergeneriert werden.
Eine weitere Ausführungsform ist eine computerimplementierte Datenstruktur eines neuronalen Netzes, das nach einem obigen Verfahren trainiert wurde.
In einer weiteren Ausführungsform kann das System 100 die erfassten Situationen und die entsprechend bestimmten Situationen und ermittelten Maßnahmen zur Verfügung stellen, so dass eventuell auftretende Fehleinschätzungen durch zusätzliches Training korrigiert werden können.
Eine weitere Ausführungsform ist ein Computerprogrammprodukt, das Befehle umfasst, die bei der Ausführung des Programms durch einen Computer diesen veranlassen, eines der oben dargelegten Verfahren auszuführen.
Eine weitere Ausführungsform ist ein computerlesbares Medium, auf dem das Computerprogrammprodukt gespeichert ist.
Die Ausführungsbeispiele zeigen mögliche Ausführungsvarianten, wobei an dieser Stelle bemerkt sei, dass die Erfindung nicht auf die speziell dargestellten Ausführungsvarianten derselben eingeschränkt ist, sondern vielmehr auch diverse Kombinationen der einzelnen Ausführungsvarianten untereinander möglich sind.
Der Schutzbereich ist durch die Ansprüche bestimmt. Die Beschreibung und die Zeichnungen sind jedoch zur Auslegung der Ansprüche heranzuziehen. Einzelmerkmale oder Merkmalskombinationen aus den gezeigten und beschriebenen unterschiedlichen Ausführungsbeispielen können für sich eigenständige erfinderische Lösungen darstellen. Die den eigenständigen erfinderischen Lösungen zugrundeliegende Aufgabe kann der Beschreibung entnommen werden.
Sämtliche Angaben zu Wertebereichen in gegenständlicher Beschreibung sind so zu verstehen, dass diese beliebige und alle Teilbereiche daraus mitumfassen, z.B. ist die Angabe 1 bis 10 so zu verstehen, dass sämtliche Teilbereiche, ausgehend von der unteren Grenze 1 und der oberen Grenze 10 mit umfasst sind, d.h. sämtliche Teilbereiche beginnen mit einer unteren Grenze von 1 oder größer und enden bei einer oberen Grenze von 10 oder weniger, z.B. 1 bis 1,7, oder 3,2 bis 8,1, oder 5,5 bis 10.
Der Ordnung halber sei abschließend darauf hingewiesen, dass zum besseren Verständnis des Aufbaus Elemente teilweise unmaßstäblich und/oder vergrößert und/oder verkleinert dargestellt wurden.
Bezugszeichenliste:

100: (Überwachungs-)System
105: Umfeld
110: Erfassungseinrichtung
120: Recheneinrichtung
125: hinterlegte Regeln
130: neuronales Netzwerk
140: Hardwarebeschleuniger
150: Objekt im Umfeld
151: Objekt außerhalb des Umfeldes
160: Steuerungseinrichtung
170: Geräte
180: Geldautomaten
190: Sensoren
200: Kommunikationseinrichtung
300: Verfahren zum Überwachen
301: Aufteilen
310: Erfassen des Umfeldes
311: Erfassen von Umgebungsdaten
320: Erkennen von Objekten
321: Ermitteln von Objektparametern
330: Bestimmen der Situation
340: Ermitteln der Maßnahmen
350: Übertragen der Maßnahmen
360: Eingabe
370: Ausgabe

Claims

System (100) zur Überwachung, umfassend: mindestens eine Erfassungseinrichtung (110), die dazu eingerichtet ist, das Umfeld (105) des Systems zu erfassen; eine Recheneinrichtung (120), die ein trainiertes neuronales Netz (130) und einen Hardwarebeschleuniger (140) für neuronale Netze umfasst, die dazu eingerichtet ist im erfassten Umfeld (105) Objekte (150 a .. h) zu erkennen; eine Situation des Umfeldes (105) auf der Grundlage der erkannten Objekte (150) durch das neuronale Netz (130) in Echtzeit zu bestimmen; und auf der Grundlage hinterlegter Regeln (125) geeignete Maßnahmen für die bestimmte Situation zu ermitteln.
System (100) nach Anspruch 1, weiterhin umfassend mindestens eine Steuereinrichtung (160), die dazu eingerichtet ist, die ermittelten Maßnahmen als Steuerungssignale an mindestens ein Gerät (170a, 170b, 170c), das zur Ausführung der ermittelten Maßnahmen geeignet ist, zu übertragen.
System (100) nach Anspruch 1 oder 2, wobei die Objekte (150) Personen, Gegenstände, Roboter, Maschinen und andere Vorrichtungen oder eine Kombination davon sein können.
System (100) nach einem der Ansprüche 1 bis 3, weiterhin umfassend mindestens einen Sensor (190), der dazu eingerichtet ist, Umgebungsdaten zu erfassen, wobei die Recheneinrichtung (120) weiter dazu eingerichtet ist, bei der Bestimmung der Situation und/oder bei der Ermittlung der geeigneten Maßnahmen die erfassten Umgebungsdaten zu berücksichtigen.
System (100) nach Anspruch 4, wobei die Umgebungsdaten mindestens eines der folgenden umfassen Tageszeiten, Jahreszeiten, Wetterdaten und/oder Daten die Bevölkerung betreffend.
System (100) nach einem der Ansprüche 1 bis 5, wobei die Erfassungseinrichtungen (110) Kameras, Infrarotkameras, Ultraschalldetektoren, Metalldetektoren, Mikrophone, Infrarot-Sensoren, Detektoren für elektromagnetische Strahlung oder eine Kombination davon sein können.
System (100) nach einem der Ansprüche 1 bis 6, weiterhin umfassend eine Kommunikationseinrichtung (200a, 200b), die dazu eingerichtet ist, Eingaben zu empfangen und/oder Ausgaben zu senden.
System (100) nach einem der Ansprüche 1 bis 7, wobei die Recheneinrichtung (120) weiterhin dazu eingerichtet ist, für ein oder mehrere Objekte (150) mindestens einen der folgenden Objektparameter zu ermitteln: Positionen, Geschwindigkeiten und/oder Beschleunigungen der erkannten Objekte (150); Abstände zwischen den erkannten Objekten (150); Verweildauer jedes erkannten Objekts (150) im Umfeld (105) des Systems (100); Zustände der erkannten Objekte (150); Identifikation der erkannten Objekte (150); und weitere Merkmale der erkannten Objekte (150); und wobei die Recheneinrichtung (120) weiter dazu eingerichtet ist, die Situation und/oder die geeigneten Maßnahmen auch auf der Grundlage der ermittelten Objektparameter zu bestimmen zu ermitteln bzw. zu bestimmen.
System (100) nach einem der Ansprüche 1 bis 8, wobei die Recheneinrichtung (120) weiterhin dazu eingerichtet ist, das erfasste Umfeld (105) des Systems (100) in zwei oder mehr Bereiche aufzuteilen und für jeden der Bereiche eine eigene Situation zu bestimmen.
System (100) nach einem der Ansprüche 1 bis 9, wobei die Recheneinrichtung (120) durch das neuronale Netz (130) Situationen bestimmt, indem ein Kennwert errechnet wird, der eine Wahrscheinlichkeit für mindestens ein zu erwartendes Ereignis darstellt; und wobei die Recheneinrichtung eine geeignete Maßnahme in Abhängigkeit des Kennwertes ermittelt.
System (100) nach einem der Ansprüche 2 bis 10, weiterhin umfassend mindestens ein Gerät (170a, 170b, 170c), das zur Ausführung der ermittelten Maßnahmen geeignet ist.
System (100) nach einem der Ansprüche 1 bis 11, wobei die Teile des Systems (100) einzeln oder zusammen an einer Wand oder Decke befestigt sind, eine freistehende Einheit bilden, oder eine mobile Einheit bilden, die sich selbstständig im zu überwachenden Umfeld (105) bewegen kann.
Verfahren (300) zum Überwachen mit einem Überwachungssystem, mit Erfassen (310) des Umfeldes des Überwachungssystems durch eine oder mehrere Erfassungseinrichtungen; Erkennen (320) von Objekten im erfassten Umfeld durch eine Recheneinrichtung; Bestimmen (330) einer Situation für das Umfeld auf der Grundlage der erkannten Objekte durch ein neuronales Netz in Echtzeit; und Ermitteln (340) geeigneter Maßnahmen für die bestimmte Situation auf der Grundlage hinterlegter Regeln.
Verfahren (300) nach Anspruch 13, weiterhin umfassend Übertragen (350) der ermittelten Maßnahmen als Steuerungssignale an mindestens ein Gerät, das zur Ausführung der ermittelten Maßnahmen geeignet ist.
Verfahren (300) nach Anspruch 13 oder 14, wobei im Schritt des Erkennens (320) der Objekte Personen, Gegenstände, Roboter, Maschinen und andere Vorrichtungen oder eine Kombination davon erkannt werden.
Verfahren (300) nach einem der Ansprüche 13 bis 15, weiterhin umfassend Erfassen (311) von Umgebungsdaten durch Sensoren, wobei beim Bestimmen (330) der Situation und/oder beim Ermitteln (340) der geeigneten Maßnahmen die erfassten Umgebungsdaten berücksichtigt werden.
Verfahren (300) nach Anspruch 16, wobei die Umgebungsdaten mindestens eines der folgenden umfassen Tageszeiten, Jahreszeiten, Wetterdaten und/oder Daten die Bevölkerung betreffend.
Verfahren (300) nach einem der Ansprüche 13 bis 17, wobei das Erfassen (310) des Umfeldes des Überwachungssystems umfasst: Erfassen des Umfeldes durch Kameras und/oder Infrarotkameras, Erfassen des Umfeldes durch Ultraschalldetektoren und/oder Mikrophone, Erfassen des Umfeldes durch Metalldetektoren, Erfassen des Umfeldes durch Infrarot-Sensoren, Erfassen des Umfeldes durch Detektoren für elektromagnetische Strahlung, und/oder eine Kombination davon.
Verfahren (300) nach einem der Ansprüche 13 bis 18, weiterhin umfassend Empfangen (360) von Eingaben und/oder Senden (370) von Ausgaben.
Verfahren (300) nach einem der Ansprüche 13 bis 19, weiterhin umfassend Ermitteln (321) für ein oder mehrere Objekte von mindestens einem der folgenden Objektparameter durch die Recheneinrichtung: Positionen, Geschwindigkeiten und/oder Beschleunigungen der erkannten Objekte; Abstände zwischen den erkannten Objekten; Verweildauer jedes erkannten Objektes im Umfeld des Überwachungssystems; Zustände der erkannten Objekte; Identifikation der erkannten Objekte; und weitere Merkmale der erkannten Objekte; und wobei das Bestimmen der Situation (330) und/oder das Ermitteln der Maßnahmen (340) auch auf der Grundlage der ermittelten Objektparameter durchgeführt wird.
Verfahren (300) nach einem der Ansprüche 13 bis 20, weiterhin umfassend Aufteilen (301) des erfassten Umfeldes des Überwachungssystems in zwei oder mehr Bereiche aufzuteilen, wobei das Bestimmen (330) der Situation für jeden Bereich durchgeführt wird.
Verfahren (300) nach einem der Ansprüche 13 bis 21, wobei das Bestimmen (330) der Situation ein Errechnen eines Kennwertes umfasst, der eine Wahrscheinlichkeit für mindestens ein zu erwartendes Ereignis darstellt; und wobei das Ermitteln geeigneter Maßnahme in Abhängigkeit des Kennwertes durchgeführt wird.
Verfahren zum Konfigurieren eines Überwachungssystems nach einem der Ansprüche 1 bis 12, umfassend: Eingeben zu berücksichtigender Objektparameter und/oder Umgebungsdaten; Eingeben möglicher Maßnahmen und Geräte dafür; Eingeben von Regeln zur Maßnahmenermittlung; und Eingeben eines trainierten neuronalen Netzes zur Situationsbestimmung.
Verfahren zum Trainieren eines neuronalen Netzes, das dazu geeignet ist, im System nach einem der Ansprüche 1 bis 12 und/oder in einem Verfahren nach einem der Ansprüche 13 bis 22, Situationen auf der Grundlage der erkannten Objekte in Echtzeit zu bestimmen.
Computerimplementierte Datenstruktur eines neuronalen Netzes, das nach einem Verfahren nach Anspruch 24 trainiert wurde.
Computerprogrammprodukt, umfassend Befehle, die bei der Ausführung des Programms durch einen Computer diesen veranlassen, ein Verfahren nach einem der Ansprüche 13 bis 24 auszuführen.