DE102020117543A1

DE102020117543A1 - System und methode zur bestimmung potenziell gefährlicher situationen durch videodaten

Info

Publication number: DE102020117543A1
Application number: DE102020117543.4A
Authority: DE
Inventors: Murat Altuev; Igor Suchkov; Egor Lvov
Original assignee: ITV Group OOO
Current assignee: ITV Group OOO
Priority date: 2019-07-18
Filing date: 2020-07-02
Publication date: 2021-01-21
Also published as: RU2718223C1; US11482031B2; US20210019508A1

Abstract

Die Erfindungsgruppe bezieht sich auf den Bereich der Verarbeitung und Analyse von Videodaten, die von Überwachungskameras erhalten werden, und insbesondere auf die Technologien, die darauf abzielen, eine Person in einem Bild zu erkennen und ihre Körperhaltung für die nachfolgende Erkennung potenziell gefährlicher Situationen durch Videodaten zu analysieren. Das System zur Erkennung potentiell gefährlichen Situationen enthält Videokameras, Speicher, grafische Benutzeroberfläche (GBO) und Datenverarbeitungsgerät. Datenverarbeitungsgerät ist so konfiguriert, um Echtzeit-Videodaten zu erhalten, die Videodaten zu analysieren, horizontale Linien für jede der voreingestellten vertikalen Korrekturlinien zu erhalten, das Bild in Zonen aufzuteilen, den Beinvektor auf Grundlage des Paars von Schlüsselpunkten der unteren Gliedmaßen zu bilden und ihre Zugehörigkeit zu einer der resultierenden Zonen zu bestimmen, einen Rückenvektor zu bilden, den Ablenkungswinkel der unteren Gliedmaßen zwischen dem resultierenden Rückenvektor und dem Beinvektor zu bestimmen, die Körperhaltung des Menschen zu bestimmen, eine potenziell gefährliche Situation zu erkennen, wenn die Körperhaltung des Menschen eine der Körperhaltungen ist, die auf eine potenziell gefährliche Situation hindeuten.

Description

TECHNOLOGIEBEREICH
Die Erfindung bezieht sich auf den Bereich der Verarbeitung und Analyse von Videodaten, die von CCTV-Kameras erhalten werden, und insbesondere auf Technologien, die darauf abzielen, eine Person in einem Bild zu erkennen und ihre Körperhaltung für die nachfolgende Erkennung potenziell gefährlicher Situationen durch Videodaten zu analysieren.
STAND DER TECHNIK
Überwachungssysteme werden verwendet, um Räume oder Bereiche zu schützen. In der Regel verwenden diese Systeme mehrere Kameras, um den geschützten Bereich zu überwachen. Die von den Videoüberwachungskameras empfangenen Videodaten ermöglichen es dem Benutzer des Sicherheitssystems, die Situation im geschützten Bereich einzuschätzen und rechtzeitig zu reagieren, wenn eine gefährliche Situation erkannt wird.
Bei der Überwachung eines großen Gebietes ist es für den Systembetreiber schwierig, eine gefährliche Situation ohne Computermittel zur rechtzeitigen Analyse von Videoinhalten zu erkennen und eine rechtzeitige Reaktion des Sicherheitssystems zu organisieren (aufgrund des großen Informationsflusses, der rechtzeitig eingesehen werden sollte). Daher besteht eine hohe Wahrscheinlichkeit, dass in einem Schutzbereich eine Verletzung übersehen wird, während sich die Aufmerksamkeit über einen längeren Zeitraum auf einen anderen Schutzbereich konzentriert (Humanfaktor).
Die Videoüberwachungssysteme stützen sich auf Bildverarbeitungsalgorithmen und Objekterkennungsalgorithmen, die es ermöglichen, die Videos ohne direkte menschliche Beteiligung zu analysieren. Die Videoüberwachungssysteme können je nach den spezifischen Zielen viele Funktionen durchführen, wie z.B.: Objekterkennung, Objektidentifikation oder -erkennung, Analyse der Haltung oder Gestik eines Objekts, Analyse von Objektbewegungsbahnen und viele andere.
In letzter Zeit sind Technologien zur Bestimmung der menschlichen Körperhaltung durch Videodaten (z.B. EP 2843621 A1 , US 7340100 B2 , US 2016/0217326 A1 , CN 106203363 A ) sehr populär geworden.
Die Einschätzung der menschlichen Körperhaltung bezieht sich auf Computer-Sehtechniken, die menschliche Figuren in Bildern oder Videobildern erkennen. Als nächstes wird das menschliche Skelett erkannt und die Positionen all seiner Gliedmaßen definiert bzw. aufgezeichnet. Diese Technologie kann in verschiedenen Bereichen der Technik angewendet werden, wie z.B. bei Technologien erweiterter Realität ( US 2016/0085310 A1 ). Darüber hinaus wird die Gesten- und Körperhaltungserkennung verwendet, um die Reaktion auf die in Geschäften oder beim Betrachten der Seiten in einem Browser gesehenen Ware oder Dienstleistung zu abzuschätzen.
Die erklärte Idee besteht in der Verwendung von Technologien zur Bestimmung der menschlichen Körperhaltung, um potenziell gefährliche Situationen anhand von Videodaten zu erkennen und rechtzeitig darauf zu reagieren. Die Hauptaufgabe der erklärten technischen Lösung besteht darin, die genaue Erkennung einer potentiell gefährlichen Situation anhand von Videodaten und die schnelle Reaktion darauf, sobald sie erkannt wurde, zu gewährleisten.
Aus dem Stand der Technik kennen wir die in der Anmeldung US 2016/0314666, A1 , G08B 13/196, veröff. 27.10.2016 angebotene Lösung, die die Systeme und Methoden zur Erkennung von Katastrophenbefehlen und -gesten per Video beschreibt. Die Methode für diese Erfindung umfasst die Stufen, auf denen: eine Sequenz von Bildern vom Videogerät, das den geschützten Bereich überwacht, empfangen wird; die Sequenz von Bildern analysiert wird, um einen Menschen zu erkennen; wenn die Anwesenheit eines Menschen erkannt wird, die Sequenz von Bildern analysiert wird, um eine der vielen Situationen zu erkennen, die eine spezifische Reaktion erfordern; wenn mindestens eine der vielen möglichen Situationen in der Sequenz von Bildern erkannt wird, wird ein Signal zur Ausführung einer spezifischen Reaktion übertragen, wobei jede der vielen Situationen eine von einem Menschen ausgeführte Handlung oder den Zustand eines Menschen charakterisiert, unabhängig davon, ob sich der Mensch in einem beweglichen oder stationären Zustand befindet.
Der Hauptunterschied dieser Lösung von der erklärten Lösung ist das Fehlen einer detaillierten Beschreibung des Algorithmus zur Bestimmung der Körperhaltung eines Menschen und dementsprechend jener Situationen, die eine Reaktion hervorrufen.
Die Lösung, die nach der technischen Natur am nächsten kommt, wurde im Patent US 7613324, B2 , G06K 9/00, veröff. 03.11. 2009 offenbart, das die Methode beschreibt, wie die Veränderung der Körperhaltung eines Menschen anhand von Videodaten erkannt werden kann: Empfang von eingehenden Videodaten; Zielerkennung in Videodaten; Zielverfolgung; Bestimmung eines Ziels als Mensch; Erkennung der Veränderung von der Körperhaltung eines Menschen in Videodaten, wenn eine Veränderung der Höhe oder des Seitenverhältnisses eines Menschen mindestens einen voreingestellten Schwellenwert überschreitet, wobei die Veränderung durch Bestimmung der Höhe oder des Seitenverhältnisses des Ziels im ersten und zweiten Bild der Videodaten erfasst wird; Berechnung der Differenz zwischen dem Höhen- oder Seitenverhältnis des Ziels im ersten und zweiten Bild; Erkennung der Veränderung von der Körperhaltung, wenn die Differenz einen voreingestellten Schwellenwert überschreitet; Bestimmung der Zeit zwischen dem ersten und zweiten Bild; und Erkennung einer Körperhaltungsänderung, wenn die abgelaufene Zeit kürzer als der voreingestellte Schwellenwert ist.
Der Hauptunterschied zwischen der aus dem Stand der Technik bekannten Lösung und der erklärten Lösung besteht in dem wesentlichen Unterschied im Algorithmus zur Bestimmung der Körperhaltung eines Menschen. Darüber hinaus beschränkt sich die bekannte Lösung nur auf die Bestimmung des Sturzes oder Aufstiegs eines Menschen anhand von Videodaten.
OFFENLEGUNG DES ERFINDUNGSWESENS
Die angegebene technische Lösung soll die Nachteile der bisherigen Technologie beseitigen und die bereits bekannten Lösungen weiterentwickeln.
Das technische Ergebnis der erklärten Gruppe von Erfindungen ist eine verbesserte Genauigkeit bei der Identifizierung potenziell gefährlicher Situationen durch die Analyse der in den Videodaten gefundenen menschlichen Körperhaltung.
Dieses technische Ergebnis wird dadurch erreicht, dass das System zur Erkennung potenziell gefährlicher Situationen die folgenden Komponenten enthält: mindestens eine Videokamera; Datenspeicher mit Videodaten-Speicherfunktion; grafische Benutzeroberfläche (GBO); mindestens ein Datenverarbeitungsgerät, das für das Folgende konfiguriert ist: Echtzeit-Empfang von Videodaten von mindestens einer Videokamera; Analyse der empfangenen Videodaten zur Erkennung mindestens eines Menschen im Bild und zum Empfangen der Schlüsselpunkte seines Skeletts, wobei der Benutzer nach dem Empfang der Schlüsselpunkte mindestens drei vertikale Korrekturlinien pro Bild mit einer Höhe gleich der durchschnittlichen menschlichen Größe und parallel zu dem angenommenen Rückenvektor, der durch die resultierenden Schlüsselpunkte gebildet wird, unter Verwendung der GBO einstellt, wobei die genannten vertikalen Linien auf derselben darunter liegenden Ebene wie der genannte Mensch liegen; Empfang horizontaler Linien für jede der voreingestellten vertikalen Korrekturlinien; Aufteilen des Bilds in Zonen auf der Grundlage voreingestellter vertikaler Korrekturlinien zur Bestimmung der vertikalen Linien, die dem Menschen am nächsten sind; Auftragung mindestens eines Beinvektors auf der Grundlage eines Paares der Schlüsselpunkte der unteren Gliedmaßen und Bestimmung ihrer Angehörigkeit zu einer der resultierenden Zonen; Auftragung eines Rückenvektors auf der Grundlage der vertikalen Linien, die die resultierende Zone bildeten, und auf der Grundlage der resultierenden horizontalen Linien; Bestimmung des Ablenkungswinkels der unteren Gliedmaßen zwischen dem resultierenden Rückenvektor und dem Beinvektor; Bestimmung der Körperhaltung des Menschen auf der Grundlage des Vergleichs des resultierenden Ablenkungswinkels der unteren Gliedmaßen mit einem voreingestellten Schwellenwert; Identifizierung einer potentiell gefährlichen Situation, wenn die Körperhaltung des Menschen eine der Körperhaltungen ist, die auf eine potentiell gefährliche Situation hindeuten.
Dieses technische Ergebnis wird auch durch die von mindestens einem Datenverarbeitungsgerät implementierte Methode zur Erkennung potentiell gefährlicher Situationen erreicht, wobei die Methode die Stufen enthält, auf denen die folgenden Ereignisse eintreten: die Echtzeit-Videodaten werden von mindestens einer Videokamera empfangen; die Videodaten werden analysiert, um mindestens einen Menschen im Bild zu erkennen und die Schlüsselpunkte seines Skeletts zu empfangen, wobei der Benutzer nach dem Empfang der Schlüsselpunkte mindestens drei vertikale Korrekturlinien auf dem Bild setzt, deren Höhe der durchschnittlichen Körpergröße des Menschen gleich ist und die parallel zu dem angenommenen Rückenvektor laufen, der durch die sich ergebenden Schlüsselpunkte unter Verwendung der GBO gebildet wird, wobei sich die genannten vertikalen Linien auf derselben darunter liegenden Ebene befinden wie der genannte Mensch; die horizontalen Linien werden für jede der voreingestellten vertikalen Korrekturlinien gebildet; das Bild wird in Zonen aufgeteilt, die sich auf die voreingestellten vertikalen Korrekturlinien stützen, um die vertikalen Korrekturlinien zu bestimmen, die dem Menschen am nächsten sind; mindestens ein Beinvektor wird auf der Grundlage eines Paares der Schlüsselpunkte der unteren Gliedmaßen gebildet und die Zugehörigkeit der Gliedmaßen zu einer der resultierenden Zonen wird bestimmt; der Rückenvektor wird auf der Grundlage der vertikalen Linien, die die resultierende Zone gebildet haben, und auf der Grundlage der horizontalen Linien gebildet; der Ablenkungswinkel der unteren Gliedmaßen zwischen dem resultierenden Rückenvektor und dem Beinvektor wird bestimmt; die Körperhaltung des Menschen wird durch das Vergleich des resultierenden Ablenkungswinkels der unteren Gliedmaßen mit einem voreingestellten Schwellenwert bestimmt; eine potentiell gefährliche Situation wird erkannt, wenn die Körperhaltung eines Menschen eine der Körperhaltungen ist, die auf eine potentiell gefährliche Situation hindeuten.
In einer einzelnen Ausführungsform der erklärten Lösung werden die folgenden Schritte ausgeführt, wenn die horizontalen Linien für jede der voreingestellten vertikalen Korrekturlinien gebildet werden: (a) Auswählen der ersten vertikalen Linie, indem sie durch alle voreingestellten vertikalen Korrekturlinien verläuft; (b) Auswählen der zweiten vertikalen Linie, indem sie durch alle verbleibenden Linien verläuft, sobald die erste Linie auf der Grundlage der voreingestellten vertikalen Korrekturlinien ausgewählt ist; (c) Ermitteln der Gleichung der Linie, die durch die oberen Punkte der ausgewählten vertikalen Linien verläuft; (d) Ermitteln der Gleichung der Linie, die durch die unteren Punkte der ausgewählten vertikalen Linien verläuft; (e) Berechnung des Schnittpunktes der genannten Linien durch Lösen eines Systems von linearen Gleichungen (LGS); (f) Wiederholung der Schritte (b) - (e), um einen Satz von Punkten zu erhalten; (g) Erhalten der optimalen Punkte aus dem resultierenden Satz von Punkten durch Anwenden eines Algorithmus zur Einschätzung der Parameter auf der Grundlage von Zufallsproben (RANSAC); (h) Erhalten einer horizontalen Linie für die erste vertikale Korrekturlinie auf der Grundlage der resultierenden optimalen Punkte; (i) Wiederholung der Schritte (a) bis (g), um die horizontalen Linien für jede der voreingestellten vertikalen Korrekturlinien zu erhalten.
In einer anderen einzelnen Ausführungsform der erklärten Lösung wird das Bild mit Hilfe der Delaunay-Triangulationsmethode in Zonen aufgeteilt, basierend auf der Lage der vertikalen Korrekturlinien im Bild.
In einer anderen einzelnen Ausführungsform der erklärten Lösung wird bei der Bildung des Beinvektors die Mitte der Hüfte als ein Schlüsselpunkt betrachtet, was einen Punkt zwischen den Schlüsselpunkten der Hüfte impliziert, und entweder der Punkt des Knöchels oder der Punkt des Knies wird als zweiter Schlüsselpunkt betrachtet, wobei die genannten Punkte ebenfalls die Mitte zwischen den gleichnamigen Schlüsselpunkten implizieren.
In einer anderen einzelnen Ausführungsform der erklärten Lösung ist die Körperhaltung des Menschen, die auf eine potentiell gefährliche Situation hindeutet, eine der Körperhaltungen, die das Folgende bezeichnen: ein sitzender Mensch im Bild, ein liegender Mensch im Bild, ein Mensch mit mindestens einem nach vorne gestreckten Arm, ein Mensch mit mindestens einem erhobenen Arm.
In einer anderen einzelnen Ausführungsform der erklärten Lösung bezeichnet die Körperhaltung des sitzenden Menschen im Bild eine Person, die entweder auf einem Stuhl, auf dem Boden sitzt oder hockt.
In einer anderen einzelnen Ausführungsform der erklärten Lösung wird davon ausgegangen, dass sich der Mensch im Bild entweder in einer sitzenden oder liegenden Körperhaltung befindet, wenn der erwähnte Auslenkungswinkel der unteren Gliedmaßen den voreingestellten Schwellenwert überschreitet.
In einer anderen einzelnen Ausführungsform der erklärten Lösung wird davon ausgegangen, dass sich der Mensch im Bild in liegender Körperhaltung in Richtung Kamera befindet, wenn der erwähnte Auslenkungswinkel der unteren Gliedmaßen kleiner als der voreingestellte Schwellenwert ist und das Längenverhältnis des Segments, das den Punkt der Mitte der unteren Gliedmaßen mit der Projektion des Nackenpunktes auf den Rückenvektor verbindet, zur Körpergröße des Menschen den voreingestellten zweiten Schwellenwert überschreitet.
In einer anderen einzelnen Ausführungsform der erklärten Lösung wird ein neuer Rückenvektor gebildet, der sich auf den Schlüsselpunkt des Nackens und den Schlüsselpunkt der Hüften stützt, wobei, wenn der Ablenkungswinkel dieses neuen Rückenvektors von dem zuvor erwähnten Rückenvektor den voreingestellten dritten Schwellenwert überschreitet, wird davon ausgegangen, dass sich der Mensch im Bild in der liegenden Körperhaltung in Richtung der Kamera befindet.
In einer anderen einzelnen Ausführungsform der erklärten Lösung wird mindestens ein Armvektor auf der Grundlage eines Paares von Schlüsselpunkten der oberen Gliedmaßen gebildet, wobei, wenn der Armvektor senkrecht zum Rückenvektor steht, wird davon ausgegangen, dass sich der Mensch in einer Körperhaltung mit mindestens einem nach vorne gestreckten Arm befindet.
In einer anderen einzelnen Ausführungsform der erklärten Lösung wird mindestens ein Armvektor auf der Grundlage eines Paares von Schlüsselpunkten der oberen Gliedmaßen gebildet, wobei, wenn der Armvektor parallel zum Rückenvektor ist und der Hand-Schlüsselpunkt höher als der Schulter-Schlüsselpunkt ist, wird davon ausgegangen, dass sich der Mensch in einer Körperhaltung mit mindestens einer nach vorne ausgestreckten Hand befindet.
In einer anderen einzelnen Ausführungsform der erklärten Lösung wird eine potenziell gefährliche Situation dann identifiziert, wenn die Körperhaltung eines Menschen, die auf eine potenziell gefährliche Situation hindeutet, in den Videodaten innerhalb einer vorgegebenen Zeitspanne beobachtet wird.
In einer anderen einzelnen Ausführungsform der erklärten Lösung wird die genannte Zeit vom Benutzer bei der Konfiguration des Systembetriebs eingestellt.
In einer anderen einzelnen Ausführungsform der erklärten Lösung wird die grafische Benutzeroberfläche so konfiguriert, dass der Benutzer die Bildperspektive vor Beginn des Systembetriebs einstellen kann.
In einer anderen einzelnen Ausführungsform der erklärten Lösung führt das Datenverarbeitungsgerät automatisch eine oder mehrere vom Benutzer voreingestellte Aktionen aus, wenn eine potentiell gefährliche Situation erkannt wird.
In einer anderen einzelnen Ausführungsform der erklärten Lösung umfassen die genannten Aktionen das Folgende: Aufzeichnung von Videodaten im Archiv, Export eines Bilds oder eines Videos, Auslösung eines Alarms, Benachrichtigung des Benutzers mit SMS, Benachrichtigung des Benutzers per E-Mail, Benachrichtigung des Benutzers mit Audio.
Dieses technische Ergebnis wird auch durch den vom Computer gelesenen Datenträger erreicht, der die Anweisungen zur Implementierung der Methoden zur Erkennung potentiell gefährlicher Situationen enthält.
Figurenliste

1 — Blockdiagramm des Systems zur Erkennung potenziell gefährlicher Situationen;
2 - Blockdiagramm einer der Implementierungsversionen der Methode zur Erkennung potentiell gefährlichen Situationen.

AUSFÜHRUNG DER ERFINDUNG
Im Folgenden werden die ungefähren Ausführungsformen der beantragten Erfindungsgruppe beschrieben. Die beantragte Erfindungsgruppe ist jedoch nicht nur auf diese Ausführungsformen beschränkt. Für die Fachleute wird es offensichtlich sein, dass der Umfang der angemeldeten Erfindungsgruppe auch die weiteren Ausführungsformen umfassen kann.
Die erklärte technische Lösung in ihren verschiedenen Ausführungsformen kann in Form von Anlagen und Methoden zur Erkennung potentiell gefährlichen Situationen, sowie auch in Form eines computerlesbaren Datenträgers ausgeführt werden.
1 zeigt das Blockdiagramm einer der Versionen zur Implementierung eines Computersystems zur Erkennung potentiell gefährlichen Situationen. Dieses System umfasst mindestens eine Videokamera (10,..., 1n), einen Speicher (20), eine grafische Benutzeroberfläche (30) und mindestens ein Datenverarbeitungsgerät (40,..., 4m).
In diesem Zusammenhang versteht man unter Geräten alle auf Software und Hardware aufgebauten Rechengeräte, wie z.B.: Personalcomputer, Smartphones, Laptops, Tablets usw.
Das Speichergerät kann eine Festplatte (HDD), ein Flash-Speicher, ein ROM (permanenter Speicher), ein Festkörperspeicher (SSD) usw. sein. Um die Art der beanspruchten Lösung besser zu verstehen, ist es notwendig, klarzustellen, dass der Systemspeicher ein Archiv von Videodaten speichert, die von allen im Sicherheitssystem enthaltenen Videokameras stammen. Der Speicher ist so ausgelegt, dass die Daten aus allen Datenverarbeitungsgeräten gespeichert werden können.
Die Datenverarbeitungsgerät kann ein Prozessor, ein Mikroprozessor, ein Computer (elektronischer Rechner), eine SPS (speicherprogrammierbare Steuerung) oder eine Integralschaltung sein, die dafür konfiguriert ist, um die bestimmten Befehle (Anweisungen, Programme) zur Datenverarbeitung auszuführen. Für die parallele Datenverarbeitung kann der Prozessor der Mehrkernprozessor sein. Darüber hinaus können eine zentrale Datenverarbeitungseinheit, eine GBO oder andere Datenverarbeitungsgeräte wie Intel NCS, FPGA-Karten usw. verwendet werden, um Videodaten zu analysieren.
Grafische Benutzeroberfläche (GBO) ist ein System von Werkzeugen für die Interaktion des Benutzers mit der Recheneinrichtung, das sich auf der Darstellung aller dem Benutzer zugänglichen Systemobjekte und Funktionen in Form grafischer Bildschirmkomponenten (Fenster, Symbole, Menüs, Tasten, Listen usw.) stützt. Dabei hat der Benutzer über Datenein- und -ausgabegeräte einen direkten Zugriff auf alle sichtbaren Bildschirmobjekte - Interfaceeinheiten, die auf dem Display angezeigt werden.
Das E/A -Gerät kann beispielweise Mausmanipulator, Tastatur, Touchpad, Berührstift, Joystick, Trackpad usw. sein. Das E/A -Gerät beschränkt sich aber nicht auf diese Geräte.
Es sei darauf hingewiesen, dass dieses System alle anderen in diesem Stand der Technik bekannten Geräte beinhalten kann, wie z.B. E/A-Geräte, Grafikkarte (einschließlich GBO-Grafikprozessor), mehrere Sensoren usw.
Im Folgenden wird ein Beispiel für das oben erwähnte System zur Erkennung potenziell gefährlicher Situationen beschrieben.
Betrachten wir als Beispiel ein Videoüberwachungssystem einer Bank. Der gesamte Umfang des Raumes (einschließlich einzelner Zimmer, falls vorhanden) ist mit Videoüberwachungskameras ausgestattet. Die Videokameras sind so angeordnet, dass sich ihre Sichtfelder ein wenig überlappen. Dies ist notwendig, um blinde Flecken im Videoüberwachungssystem zu vermeiden und gegebenenfalls mit Hilfe von Videodaten ein vollständiges Bild des Ereignisses zu vermitteln (wiederherzustellen).
Die Videodaten von jeder der genannten Videokameras des Systems werden in Echtzeit an mindestens ein Datenverarbeitungsgerät des beanspruchten Systems gesendet. Darüber hinaus werden diese Quell-Videodaten an den Speicher des Systems zur Speicherung des Archivs gesendet. Während des Hochladens in den Speicher können die Videodaten in bestimmten Ausführungsformen des Systems analysiert werden, um Metadaten zu bilden, die die Daten über alle Objekte im Video charakterisieren. Die Metadaten sind in diesem Fall detaillierte Informationen über alle Objekte, die sich im Sichtfeld jeder Kamera bewegen (Bewegungsbahnen, Gesichtsdeskriptoren usw.). Die erhaltenen Metadaten werden ebenfalls im Systemspeicher gespeichert. Anschließend können die resultierenden Metadaten verwendet werden, um eine Suche auf der Grundlage der eingestellten Kriterien durchzuführen.
Das Datenverarbeitungsgerät analysiert die resultierenden Videodaten, um mindestens einen Menschen im Bild zu erkennen (zu identifizieren). Es sollte erwähnt werden, dass mehrere Personen im Bild erkannt werden können, da es sehr selten ist, dass sich nur eine Person innerhalb des geschützten Bereichs befindet. Jeder Mensch wird getrennt von den anderen betrachtet. Das heißt, dass das Datenverarbeitungsgerät jeden erkannten Menschen einzeln analysiert und die Schlüsselpunkte seines Skeletts identifiziert. Die Schlüsselpunkte bezeichnen die wichtigsten Teile des menschlichen Körpers, deren anatomische Verbindung ein menschliches Skelett bildet. In der einfachsten Ausführungsform hat das menschliche Skelett 17 Schlüsselpunkte: Nase, Augen, Ohren, Schultern, Ellbogen, Hände, Becken, Knie, Knöchel. Je mehr Punkte, desto präziser wird das Skelett definiert; die Verarbeitung einer großen Anzahl von Punkten dauert jedoch etwas länger. Jeder Schlüsselpunkt ist durch seine Ortskoordinate gekennzeichnet.
Nachdem der Benutzer die Punkte erhalten hat, wendet er die grafische Benutzeroberfläche (GBO) an, um mindestens drei vertikale Korrekturlinien (VKL) in dem betreffenden Videobild zu setzen. Die genannten VKL haben eine Höhe, die der durchschnittlichen menschlichen Körpergröße entspricht. Ein bestimmter Wert der durchschnittlichen menschlichen Körpergröße kann bei der Voreinstellung des Systembetriebs eingestellt werden. Der Systembenutzer stellt die VKL parallel zu dem angenommenen Rückenvektor ein, der durch die resultierenden Schlüsselpunkte des Skeletts gebildet wird. Somit befinden sich die genannten VKL auf derselben darunter liegenden Ebene wie der erwähnte Mensch (auf dem Fußboden, auf dem Boden usw.). Die Einhaltung aller aufgeführten Kriterien erhöht die Genauigkeit der Bildung von Vektoren des menschlichen Skeletts. Um die Interaktion des Benutzers mit dem System zu vereinfachen, wird die GBO so konfiguriert und eingestellt, dass es für den Benutzer einfach ist, die parallelen Linien zu setzen, die sich leicht auf der darunter liegenden Ebene anordnen lassen.
Darüber hinaus berechnet/empfängt mindestens ein Datenverarbeitungsgerät horizontale Linien (HL) für jede der angegebenen VKL. In diesem Bereich der Technik werden die genannten HL allgemein als „Horizontlinien“ bezeichnet. Beim Empfang der HL werden die folgenden Schritte durchgeführt:

(a) Die erste vertikale Linie wird ausgewählt, indem sie durch alle voreingestellten vertikalen Korrekturlinien verläuft;
(b) die zweite vertikale Linie wird ausgewählt, indem sie durch alle nach der Auswahl der ersten Linie durch verbleibenden Linien verläuft;
(c) die Gleichung der Linie, die durch die oberen Punkte der ausgewählten vertikalen Linien verläuft, wird gebildet;
(d) die Gleichung der Linie, die durch die unteren Punkte der ausgewählten vertikalen Linien verläuft, wird gebildet;
(e) der Schnittpunkt der genannten Linien wird berechnet, indem das System der resultierenden linearen algebraischen Gleichungen (SLAE) gelöst wird;
(f) die Schritte (b) - (d) werden wiederholt, um einen Satz von Punkten zu erhalten;
(g) die optimalen Punkte aus dem resultierenden Satz von Punkten werden durch Anwendung des RANSAC-Parameterschätzungsalgorithmus ausgewählt;
(h) eine horizontale Linie für die erste vertikale Korrekturlinie wird auf der Grundlage der resultierenden optimalen Punkte gebildet;
(i) die Schritte (a) bis (h) werden wiederholt, um horizontale Linien für jede der vertikalen Korrekturlinien des Satzes zu erhalten.

So wird für jede VKL eine HL gebildet und für die weitere Anwendung gespeichert, wenn ein Vektor erhalten wird, der einen Menschen in stehender Position charakterisiert.
Darüber hinaus teilt das Datenverarbeitungsgerät das Bild automatisch in Zonen auf der Grundlage der voreingestellten KVL auf. Zur Aufteilung wird die Delaunay-Triangulationsmethode (das inverse Problem ist das Voronoi-Diagramm) verwendet. Dies ist notwendig, um die vertikalen Korrekturlinien zu bestimmen, die dem Menschen am nächsten liegen.
Nach der Aufteilung des Bilds in Zonen wird mindestens ein Beinvektor gebildet. Dazu wird ein Paar von Schlüsselpunkten der unteren Gliedmaßen verwendet. Im Zusammenhang mit dieser Anwendung ist ein Beinvektor ein Vektor von der Mitte der Oberschenkel zur Mitte der Punkte der unteren Gliedmaßen (d.h. der Knie- oder Knöchelpunkte). So wird bei der Bildung des Beinvektors die Mitte der Hüfte als ein Schlüsselpunkt betrachtet, was einen Punkt zwischen den Schlüsselpunkten der Hüfte impliziert, und entweder der Punkt des Knöchels oder der Punkt des Knies wird als zweiter Schlüsselpunkt betrachtet, wobei die genannten Punkte ebenfalls die Mitte zwischen den gleichnamigen Schlüsselpunkten implizieren.
Als nächstes wird die Zone mit dem erwähnten Paar von Schlüsselpunkten und damit der resultierende Beinvektor bestimmt.
Der Rückenvektor wird auf der Grundlage der die oben erwähnte Zone bildenden KVL und auf der Grundlage der zuvor erhaltenen HL konstruiert. Im Zusammenhang mit dieser Anmeldung ist ein Rückenvektor ein Vektor, der einen Menschen in stehender Position an einem bestimmten (definierten) Punkt charakterisiert. Es ist zu beachten, dass der oben erwähnte angenommene Rückenvektor weniger genau als der auf dieser Stufe erhaltene Rückenvektor ist.
Sobald die Hauptvektoren (Bein- und Rückenvektor) erhalten sind, bestimmt das Datenverarbeitungsgerät den Winkel zwischen ihnen. Der resultierende Winkel ist der Ablenkungswinkel der unteren Gliedmaßen. Dieser Winkel ist im Wesentlichen der Winkel der Ablenkung der Beine des Menschen von der normalen Stehposition. Auf der Grundlage des Vergleichs des Wertes dieses Winkels mit dem voreingestellten Schwellenwert (dem ersten) wird die Körperhaltung des Menschen bestimmt. Wenn z.B. der Ablenkungswinkel der unteren Gliedmaßen den Schwellenwert überschreitet, wird der Mensch entweder als sitzend oder liegend betrachtet. Wenn der Ablenkungswinkel der unteren Extremitäten kleiner als der Schwellenwert ist, wird der Mensch als stehend betrachtet. Es sollte jedoch erwähnt werden, dass nicht alle stehenden Körperhaltungen als ein Merkmal der potentiell gefährlichen Situation angesehen werden, wie im Folgenden näher erläutert wird.
Die letzte Stufe ist die Erkennung/Identifizierung einer potentiell gefährlichen Situation, wenn die Körperhaltung eines Menschen eine der Körperhaltungen ist, die auf eine potentiell gefährliche Situation hindeuten.
Im Zusammenhang mit der erklärten Lösung werden vier Hauptkörperhaltungen betrachtet, die auf eine potentiell gefährliche Situation hindeuten.

(1) Sitzender Mensch im Bild. Diese Körperhaltung des Menschen kann auf die Anwesenheit einer Geisel im Bild hindeuten. So kann die Körperhaltung des sitzenden Menschen im Bild entweder eine Person charakterisieren, die auf einem Stuhl sitzt, eine Person, die auf dem Boden sitzt, oder eine Person, die hockt. Jede dieser Körperhaltungen wird als Merkmal einer potentiell gefährlichen Situation betrachtet.
(2) Liegender Mensch im Bild. Diese Körperhaltung kann auf die Anwesenheit einer potenziell verletzten Person (Verletzte, Geisel) im Bild oder auf die Anwesenheit eines Angreifers im Bild hindeuten, der allen befohlen hat, sich hinzulegen.
(3) Der Mensch im Bild hat mindestens einen Arm nach vorne ausgestreckt. Diese Körperhaltung kann auf potentielle Anwesenheit von Schusswaffen in der Hand einer Person hindeuten.
(4) Der Mensch im Bild hat eine oder beide Hände hochgehoben. Diese Körperhaltung kann auf die Anwesenheit einer Geisel im Bild hindeuten.

Betrachten wir den Fall, wenn der Ablenkungswinkel der unteren Gliedmaßen kleiner als der voreingestellte Schwellenwert ist. In diesem Fall kann sich der Mensch entweder in stehender oder in liegender Körperhaltung in Richtung Kamera befinden. Um den liegende Menschen in Richtung Kamera auszuschließen, wird die folgende Bedingung überprüft. Zuerst wird die Länge des Segments (1) bestimmt, das den Punkt der Mitte der unteren Gliedmaßen mit der Projektion des Nackenpunktes auf den Rückenvektor verbindet. Wenn das Längenverhältnis dieses Segments (1) zur Körpergröße des Menschen (h) den voreingestellten zweiten Schwellenwert überschreitet, wird der Mensch im Bild in der liegenden Körperhaltung in der Richtung Kamera betrachtet. Das heißt, es müssen zwei Bedingungen erfüllt sein, damit diese Körperhaltung bestimmt werden kann.
Es ist zu beachten, dass die Körperhaltung des liegenden Menschen im Bild auf eine andere Weise bestimmt wird, indem ein weiterer neuer Vektor gebildet wird. Nämlich: ein neuer Rückenvektor wird auf der Grundlage des Schlüsselpunktes des Nackens und des Schlüsselpunktes der Hüften gebildet. Wenn der Wert des Ablenkungswinkels dieses neuen Rückenvektors vom zuvor erwähnten Rückenvektor den voreingestellten dritten Schwellenwert überschreitet, dann befindet sich die Person im Bild in der liegenden Körperhaltung. Die Auftragung dieses neuen Rückenvektors ist nur dann erforderlich, wenn es aus bestimmten Gründen nicht möglich ist, einen Beinvektor zu bilden, z.B. weil es unmöglich ist, die Knie- und Knöchelpunkte im Bild zu bestimmen. Dies kann passieren, wenn der Unterkörper des erkannten Menschen z.B. durch einen Tisch verborgen ist.
Was die Stehkörperhaltung betrifft, so bestimmt das System nach dem Entfernen aller möglichen liegenden Körperhaltungen, dass der Mensch steht, wenn der Wert des Ablenkungswinkels der unteren Gliedmaßen kleiner als der voreingestellte (erste) Schwellenwert ist.
Mindestens ein zusätzlicher Armvektor sollte auf der Grundlage eines Paares von Schlüsselpunkten der oberen Gliedmaßen gebildet werden, um die mit dieser Körperhaltung verbundene potentiell gefährliche Situation zu identifizieren. Um eine bessere Genauigkeit zu erreichen, werden zwei Vektoren (für den linken bzw. für den rechten Arm) gebildet. Als nächstes wird der Abweichungswinkel der oberen Gliedmaßen bestimmt, der den Ablenkungswinkel des Armvektors vom Rückenvektor charakterisiert. Wenn der Armvektor senkrecht zum Rückenvektor ist (d.h. ein Winkel von ungefähr 90 Grad), wird davon ausgegangen, dass der Mensch mindestens einen Arm nach vorne gestreckt hat. Wenn die beiden Arme senkrecht zum Rückenvektor sind, wird davon ausgegangen, dass der Mensch zwei Arme nach vorne gestreckt hat. Grundsätzlich charakterisieren sowohl ein als auch zwei nach vorne ausgestreckte Arme eine potentiell gefährliche Situation, so dass es ausreicht, festzustellen, dass ein Arm senkrecht zum Rückenvektor ist.
Wenn der Armvektor parallel zum Rückenvektor ist und der Schlüsselpunkt der Hand höher als der Schlüsselpunkt der Schulter ist, wird davon ausgegangen, dass der Mensch mindestens eine Hand hochgehoben hat. In ähnlicher Weise kann gegebenenfalls bestimmt werden, ob nur eine Hand oder beide Hände hochgehoben sind (eine hochgehoben Hand reicht auch aus, um eine potentiell gefährliche Situation zu bestimmen).
Es ist zu beachten, dass für eine verbesserte Genauigkeit bei der Bestimmung der Körperhaltung eines Menschen im Bild und damit für eine verbesserte Effizienz des Systems die grafische Benutzeroberfläche so konfiguriert ist, dass der Benutzer die Möglichkeit hat, die Perspektive des Bilds einzustellen, bevor er mit dem System zu arbeiten beginnt.
Um eine Fehlauslösung des Sicherheitssystems auszuschließen, ist die grafische Benutzeroberfläche außerdem so konfiguriert, dass der Benutzer die Möglichkeit hat, die Zeitperiode einzustellen und anzupassen, während der die Körperhaltung eines Menschen, die auf eine potenziell gefährliche Situation hinweist, eingehalten wird. Diese Einstellung wird vorzugsweise bei der Konfiguration vor dem Start des Systems vorgenommen (bei Bedarf und je nach Situation kann diese Zeit jedoch auch während des Systembetriebs angepasst werden). Auf diese Weise kann man die Situationen ausschließen werden, in denen eine Person sich hinhockt, um einen Schnürsenkel zu schnüren, oder in denen eine Person die Hand hebt, um eine andere Person zu begrüßen, usw. In dieser Ausführungsform wird eine potenziell gefährliche Situation dann identifiziert, wenn die Körperhaltung eines Menschen, die auf eine potenziell gefährliche Situation hindeutet, in den Videodaten innerhalb einer vorgegebenen Zeitspanne beobachtet wird.
Es sollte erwähnt werden, dass, wenn eine potentiell gefährliche Situation durch eine der oben beschriebenen Methoden erkannt wird, mindestens ein Datenverarbeitungsgerät automatisch eine oder mehrere vom Benutzer voreingestellte Aktionen ausführt.
Zu solchen Aktionen gehören: Aufzeichnen von Videodaten im Archiv, Export eines Bilds oder eines Videos, Auslösen eines Alarms, Benachrichtigung des Benutzers per SMS, Benachrichtigung des Benutzers per E-Mail, Benachrichtigung des Benutzers mit Audio. Die Benachrichtigung des Benutzers kann auch durchgeführt werden, um Fehlauslösung des Systems auszuschließen. Beispielsweise hat das System eine potenziell gefährliche Situation erkannt und die Videodaten automatisch an den Systembenutzer/Bediener gesendet, damit dieser sie sich ansieht und entscheidet, ob ein Alarm ausgelöst werden soll oder ob es sich um eine Fehlauslösung handelt.
Es sollte erwähnt werden, dass hier die Mindestliste der wesentlichen automatischen Aktionen berücksichtigt ist. Je nach der Situation und den Anforderungen verschiedener Sicherheitssysteme kann das erklärte System so konfiguriert werden, dass es automatisch jede andere Aktion ausführt, wie z.B. das Umschalten auf eine vorinstallierte Drehvideokamera, das Ein- und Ausschalten von Bewegungssensoren oder Detektoren, das Ausführen einer vom Benutzer vorinstallierten Software und viele andere Aktionen, die erforderlich sein können, wenn in einem geschützten Bereich eine potenziell gefährliche Situation erkannt wird.
Im Folgenden wird die Implementierung der Methode zur Erkennung potenziell gefährlicher Situationen näher betrachtet.
2 zeigt das Blockdiagramm einer der Versionen zur Implementierung eines Computersystems zur Erkennung potentiell gefährlichen Situationen. Diese Methode wird von mindestens einem Datenverarbeitungsgerät implementiert. Dabei enthält die Methode die Stufen, auf denen die folgenden Aktionen vorgenommen werden:

- (100) Echtzeit-Videodaten werden von mindestens einer Videokamera empfangen;
- (200) die empfangenen Videodaten werden analysiert, um mindestens einen Menschen im Bild zu erkennen und um die Schlüsselpunkte seines Skeletts zu erhalten,
- (300) dabei setzt der Benutzer nach Erhalt der Schlüsselpunkte mindestens drei vertikale Korrekturlinien im Bild, deren Höhe der durchschnittlichen Körpergröße des Menschen entspricht und die parallel zu dem angenommenen Rückenvektor verlaufen, der durch die sich ergebenden Schlüsselpunkte unter Verwendung der GBO gebildet wird, wobei sich die genannten vertikalen Linien auf derselben darunter liegenden Ebene befinden wie der erwähnte Mensch;
- (400) die horizontalen Linien für jede der eingestellten vertikalen Korrekturlinien werden gebildet;
- (500) das Bild wird auf der Grundlage der voreingestellten vertikalen Korrekturlinien in Zonen aufgeteilt, um die vertikalen Korrekturlinien zu bestimmen, die dem Menschen am nächsten liegen;
- (600) mindestens ein Beinvektor wird auf der Grundlage eines Paares von Schlüsselpunkten der unteren Gliedmaßen gebildet und ihre Zugehörigkeit zu einer der resultierenden Zonen wird bestimmt;
- (700) der Rückenvektor wird auf der Grundlage der vertikalen Linien, die die resultierende Zone bildeten, und auf der Grundlage der horizontalen Linien gebildet;
- (800) der Ablenkungswinkel der unteren Gliedmaßen zwischen dem resultierenden Rückenvektor und dem Beinvektor wird bestimmt;
- (900) die Körperhaltung eines Menschen wird durch Vergleich des resultierenden Ablenkungswinkels der unteren Gliedmaßen mit einem voreingestellten Schwellenwert bestimmt;
- (1000) eine potentiell gefährliche Situation wird identifiziert, wenn die Körperhaltung des Menschen eine der Körperhaltungen ist, die auf eine potentiell gefährliche Situation hindeuten.

Es sollte noch einmal beachtet werden, dass diese Methode mit Hilfe der oben beschriebenen Geräte zur Erkennung potentiell gefährlichen Situationen implementiert wird und daher durch alle einzelnen oben beschriebenen Ausführungsformen zur Verwendung des Systems zur Erkennung potentiell gefährlichen Situationen erweitert und verfeinert werden kann.
Darüber hinaus können die Ausführungsvariante dieser Erfindungsgruppe mit Software, Hardware, Softwarelogik oder eine Kombination von ihnen aufgebaut werden. In diesem Beispiel wird die Softwarelogik, Software oder der Anweisungsatz auf einem oder mehreren verschiedenen traditionellen computerlesbaren Datenträger gespeichert.
In dieser Beschreibung bedeutet ein „computerlesbarer Datenträger“ jedes Medium oder Mittel, das Anweisungen zu deren Verwendung (Durchführung) durch ein Computersystem, wie beispielsweise einen Computer, enthalten, speichern, übertragen, verbreiten oder transportieren kann. Dabei kann der Datenträger ein energieunabhängiger, maschinenlesbarer Datenträger sein.
Bei Bedarf kann zumindest ein Teil der verschiedenen in der Beschreibung dieser Lösung beschriebenen Vorgänge in einer anderen Reihenfolge und/oder gleichzeitig durchgeführt werden.
Obwohl diese technische Lösung für Vorstellung der derzeit aktuellsten und bevorzugten Ausführungsformen ausführlich beschrieben wurde, ist es zu beachten, dass diese Erfindung nicht auf die offenbarten Ausführungsvarianten beschränkt ist und darüber hinaus für Modifikation und Erstellung verschiedener anderer Kombinationen der Merkmalen von beschriebenen Ausführungsformen gedacht ist. Man muss beispielsweise verstehen, dass diese Erfindung davon ausgeht, dass, soweit möglich, ein oder mehrere Merkmale einer Ausführungsvariante mit einem oder mehreren Merkmalen einer anderen Ausführungsvariante kombiniert werden können.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

EP 2843621 A1 [0005]
US 7340100 B2 [0005]
US 2016/0217326 A1 [0005]
CN 106203363 A [0005]
US 2016/0085310 A1 [0006]
US 2016/0314666 A1 [0008]
US 7613324 B2 [0010]

Claims

Das System zur Erkennung potenziell gefährlicher Situationen, das das Folgende enthält: mindestens eine Videokamera; Speicher zur Datenspeicherung; grafische Benutzeroberfläche (GBO); mindestens ein Datenverarbeitungsgerät, das für die folgenden Funktionen konfiguriert ist: - Empfang von Echtzeit-Videodaten von mindestens einer Videokamera; - Analyse der empfangenen Videodaten, um mindestens einen Menschen im Bild zu erkennen und um die Schlüsselpunkte seines Skeletts zu erhalten, dabei setzt der Benutzer nach Erhalt der Schlüsselpunkte mindestens drei vertikale Korrekturlinien im Bild, deren Höhe der durchschnittlichen Körpergröße des Menschen entspricht und die parallel zu dem angenommenen Rückenvektor verlaufen, der durch die sich ergebenden Schlüsselpunkte unter Verwendung der GBO gebildet wird, wobei sich die genannten vertikalen Linien auf derselben darunter liegenden Ebene befinden wie der erwähnte Mensch; - Bildung der horizontalen Linien für jede der voreingestellten vertikalen Korrekturlinien; - Aufteilung des Bilds in Zonen auf der Grundlage der voreingestellten vertikalen Korrekturlinien, um die vertikalen Korrekturlinien zu bestimmen, die dem Menschen am nächsten liegen; - Bildung mindestens eines Beinvektors auf der Grundlage eines Paares von Schlüsselpunkten der unteren Gliedmaßen und Bestimmung ihrer Zugehörigkeit zu einer der resultierenden Zonen; - Bildung des Rückenvektors auf der Grundlage der vertikalen Linien, die die resultierende Zone bildeten, und auf der Grundlage der horizontalen Linien; - Bestimmung des Ablenkungswinkels der unteren Gliedmaßen zwischen dem resultierenden Rückenvektor und dem Beinvektor; - Bestimmung der Körperhaltung eines Menschen durch Vergleich des resultierenden Ablenkungswinkels der unteren Gliedmaßen mit einem voreingestellten Schwellenwert; - Erkennung einer potentiell gefährlichen Situation, wenn die Körperhaltung des Menschen eine der Körperhaltungen ist, die auf eine potentiell gefährliche Situation hindeuten.
Das System nach Anspruch 1, in dem für jede der voreingestellten vertikalen Korrekturlinien die folgenden Schritte ausgeführt werden: (a) Auswählen der ersten vertikalen Linie, indem sie durch alle voreingestellten vertikalen Korrekturlinien verläuft; (b) Auswählen der zweiten vertikalen Linie, indem sie durch alle verbleibenden Linien verläuft, sobald die erste Linie auf der Grundlage der voreingestellten vertikalen Korrekturlinien ausgewählt ist; (c) Ermitteln der Gleichung der Linie, die durch die oberen Punkte der ausgewählten vertikalen Linien verläuft; (d) Ermitteln der Gleichung der Linie, die durch die unteren Punkte der ausgewählten vertikalen Linien verläuft; (e) Berechnung des Schnittpunktes der genannten Linien durch Lösen eines Systems von linearen Gleichungen (LGS); (f) Wiederholung der Schritte (b) - (e), um einen Satz von Punkten zu erhalten; (g) Erhalten der optimalen Punkte aus dem resultierenden Satz von Punkten durch Anwenden eines Algorithmus zur Einschätzung der Parameter auf der Grundlage von Zufallsproben (RANSAC); (h) Erhalten einer horizontalen Linie für die erste vertikale Korrekturlinie auf der Grundlage der resultierenden optimalen Punkte; (i) Wiederholung der Schritte (a) bis (g), um die horizontalen Linien für jede der voreingestellten vertikalen Korrekturlinien zu erhalten.
Das System nach Anspruch 1, in dem das Bild durch Delaunay-Triangulationsmethode in Zonen auf Grundlage der Position der vertikalen Korrekturlinien aufgeteilt wird.
Das System nach beliebigem der Ansprüche 1-3, in dem bei der Bildung des Beinvektors die Mitte der Hüfte als ein Schlüsselpunkt betrachtet wird, was einen Punkt zwischen den Schlüsselpunkten der Hüfte impliziert, und entweder der Punkt des Knöchels oder der Punkt des Knies wird als zweiter Schlüsselpunkt betrachtet, wobei die genannten Punkte ebenfalls die Mitte zwischen den gleichnamigen Schlüsselpunkten implizieren.
Das System nach Anspruch 4, in dem die Körperhaltung des Menschen, die auf eine potentiell gefährliche Situation hindeutet, eine der Körperhaltungen ist, die das Folgende bezeichnen: ein sitzender Mensch im Bild, ein liegender Mensch im Bild, ein Mensch mit mindestens einem nach vorne gestreckten Arm, ein Mensch mit mindestens einem erhobenen Arm.
Das System nach Anspruch 5, in dem die Körperhaltung des sitzenden Menschen im Bild eine Person bezeichnet, die entweder auf einem Stuhl, auf dem Boden sitzt oder hockt.
Das System nach Anspruch 5, in dem davon ausgegangen wird, dass sich der Mensch im Bild entweder in einer sitzenden oder liegenden Körperhaltung befindet, wenn der erwähnte Auslenkungswinkel der unteren Gliedmaßen den voreingestellten Schwellenwert überschreitet.
Das System nach Anspruch 5, in dem davon ausgegangen wird, dass sich der Mensch im Bild in liegender Körperhaltung in Richtung Kamera befindet, wenn der erwähnte Auslenkungswinkel der unteren Gliedmaßen kleiner als der voreingestellte Schwellenwert ist und das Längenverhältnis des Segments, das den Punkt der Mitte der unteren Gliedmaßen mit der Projektion des Nackenpunktes auf den Rückenvektor verbindet, zur Körpergröße des Menschen den voreingestellten zweiten Schwellenwert überschreitet.
Das System nach beliebigem der Ansprüche 5-7, in dem ein neuer Rückenvektor gebildet wird, der sich auf den Schlüsselpunkt des Nackens und den Schlüsselpunkt der Hüften stützt, wobei, wenn der Ablenkungswinkel dieses neuen Rückenvektors von dem zuvor erwähnten Rückenvektor den voreingestellten dritten Schwellenwert überschreitet, wird davon ausgegangen, dass sich der Mensch im Bild in der liegenden Körperhaltung in Richtung der Kamera befindet.
Das System nach beliebigem der Ansprüche 5-7, in dem ein Armvektor auf der Grundlage eines Paares von Schlüsselpunkten der oberen Gliedmaßen gebildet wird, wobei, wenn der Armvektor senkrecht zum Rückenvektor steht, wird davon ausgegangen, dass sich der Mensch in einer Körperhaltung mit mindestens einem nach vorne gestreckten Arm befindet.
Das System nach beliebigem der Ansprüche 5-7, in dem mindestens ein Armvektor auf der Grundlage eines Paares von Schlüsselpunkten der oberen Gliedmaßen gebildet, wobei, wenn der Armvektor parallel zum Rückenvektor ist und der Hand-Schlüsselpunkt höher als der Schulter-Schlüsselpunkt ist, wird davon ausgegangen, dass sich der Mensch in einer Körperhaltung mit mindestens einer nach vorne ausgestreckten Hand befindet.
Das System nach Anspruch 5, in dem eine potenziell gefährliche Situation dann identifiziert wird, wenn die Körperhaltung eines Menschen, die auf eine potenziell gefährliche Situation hindeutet, in den Videodaten innerhalb einer vorgegebenen Zeitspanne beobachtet wird.
Das System nach Anspruch 12, in dem die genannte Zeit vom Benutzer bei der Konfiguration des Systembetriebs eingestellt wird.
Das System nach Anspruch 1, in dem die grafische Benutzeroberfläche so konfiguriert ist, dass der Benutzer die Perspektive des Bilds anpassen kann, bevor das System gestartet wird.
Das System nach Anspruch 5, in dem das Datenverarbeitungsgerät automatisch eine oder mehrere vom Benutzer voreingestellte Aktionen ausführt, wenn eine potentiell gefährliche Situation erkannt wird.
Das System nach Anspruch 15, in dem die genannten Aktionen das Folgende umfassen: Aufzeichnung von Videodaten im Archiv, Export eines Bilds oder eines Videos, Auslösung eines Alarms, Benachrichtigung des Benutzers mit SMS, Benachrichtigung des Benutzers per E-Mail, Benachrichtigung des Benutzers mit Audio.
Die Methode zur Erkennung potentiell gefährlichen Situationen, die von mindestens einem Datenverarbeitungsgerät implementiert wird und die folgenden Stufen enthält: - Empfang von Echtzeit-Videodaten von mindestens einer Videokamera; - Analyse der empfangenen Videodaten, um mindestens einen Menschen im Bild zu erkennen und um die Schlüsselpunkte seines Skeletts zu erhalten, dabei setzt der Benutzer nach Erhalt der Schlüsselpunkte mindestens drei vertikale Korrekturlinien im Bild, deren Höhe der durchschnittlichen Körpergröße des Menschen entspricht und die parallel zu dem angenommenen Rückenvektor verlaufen, der durch die sich ergebenden Schlüsselpunkte unter Verwendung der GBO gebildet wird, wobei sich die genannten vertikalen Linien auf derselben darunter liegenden Ebene befinden wie der erwähnte Mensch; - Bildung der horizontalen Linien für jede der voreingestellten vertikalen Korrekturlinien; - Aufteilung des Bilds in Zonen auf der Grundlage der voreingestellten vertikalen Korrekturlinien, um die vertikalen Korrekturlinien zu bestimmen, die dem Menschen am nächsten liegen; - Bildung mindestens eines Beinvektors auf der Grundlage eines Paares von Schlüsselpunkten der unteren Gliedmaßen und Bestimmung ihrer Zugehörigkeit zu einer der resultierenden Zonen; - Bildung des Rückenvektors auf der Grundlage der vertikalen Linien, die die resultierende Zone bildeten, und auf der Grundlage der horizontalen Linien; - Bestimmung des Ablenkungswinkels der unteren Gliedmaßen zwischen dem resultierenden Rückenvektor und dem Beinvektor; - Bestimmung der Körperhaltung eines Menschen durch Vergleich des resultierenden Ablenkungswinkels der unteren Gliedmaßen mit einem voreingestellten Schwellenwert; - Erkennung einer potentiell gefährlichen Situation, wenn die Körperhaltung des Menschen eine der Körperhaltungen ist, die auf eine potentiell gefährliche Situation hindeuten.
Die Methode nach Anspruch 17, in dem für jede der voreingestellten vertikalen Korrekturlinien die folgenden Schritte ausgeführt werden: (a) Auswählen der ersten vertikalen Linie, indem sie durch alle voreingestellten vertikalen Korrekturlinien verläuft; (b) Auswählen der zweiten vertikalen Linie, indem sie durch alle verbleibenden Linien verläuft, sobald die erste Linie auf der Grundlage der voreingestellten vertikalen Korrekturlinien ausgewählt ist; (c) Ermitteln der Gleichung der Linie, die durch die oberen Punkte der ausgewählten vertikalen Linien verläuft; (d) Ermitteln der Gleichung der Linie, die durch die unteren Punkte der ausgewählten vertikalen Linien verläuft; (e) Berechnung des Schnittpunktes der genannten Linien durch Lösen eines Systems von linearen Gleichungen (LGS); (f) Wiederholung der Schritte (b) - (e), um einen Satz von Punkten zu erhalten; (g) Erhalten der optimalen Punkte aus dem resultierenden Satz von Punkten durch Anwenden eines Algorithmus zur Einschätzung der Parameter auf der Grundlage von Zufallsproben (RANSAC); (h) Erhalten einer horizontalen Linie für die erste vertikale Korrekturlinie auf der Grundlage der resultierenden optimalen Punkte; (i) Wiederholung der Schritte (a) bis (g), um die horizontalen Linien für jede der voreingestellten vertikalen Korrekturlinien zu erhalten.
Die Methode nach Anspruch 17, in der das Bild durch Delaunay-Triangulationsmethode in Zonen auf Grundlage der Position der vertikalen Korrekturlinien aufgeteilt wird.
Die Methode nach beliebigem der Ansprüche 17-19, in der bei der Bildung des Beinvektors die Mitte der Hüfte als ein Schlüsselpunkt betrachtet wird, was einen Punkt zwischen den Schlüsselpunkten der Hüfte impliziert, und entweder der Punkt des Knöchels oder der Punkt des Knies wird als zweiter Schlüsselpunkt betrachtet, wobei die genannten Punkte ebenfalls die Mitte zwischen den gleichnamigen Schlüsselpunkten implizieren.
Die Methode nach Anspruch 20, in der die Körperhaltung des Menschen, die auf eine potentiell gefährliche Situation hindeutet, eine der Körperhaltungen ist, die das Folgende bezeichnen: ein sitzender Mensch im Bild, ein liegender Mensch im Bild, ein Mensch mit mindestens einem nach vorne gestreckten Arm, ein Mensch mit mindestens einem erhobenen Arm.
Die Methode nach Anspruch 21, in der die Körperhaltung des sitzenden Menschen im Bild eine Person bezeichnet, die entweder auf einem Stuhl, auf dem Boden sitzt oder hockt.
Die Methode nach Anspruch 21, in der davon ausgegangen wird, dass sich der Mensch im Bild entweder in einer sitzenden oder liegenden Körperhaltung befindet, wenn der erwähnte Auslenkungswinkel der unteren Gliedmaßen den voreingestellten Schwellenwert überschreitet.
Die Methode nach Anspruch 21, in der davon ausgegangen wird, dass sich der Mensch im Bild in liegender Körperhaltung in Richtung Kamera befindet, wenn der erwähnte Auslenkungswinkel der unteren Gliedmaßen kleiner als der voreingestellte Schwellenwert ist und das Längenverhältnis des Segments, das den Punkt der Mitte der unteren Gliedmaßen mit der Projektion des Nackenpunktes auf den Rückenvektor verbindet, zur Körpergröße des Menschen den voreingestellten zweiten Schwellenwert überschreitet.
Die Methode nach beliebigem der Ansprüche 21-23, in der ein neuer Rückenvektor gebildet wird, der sich auf den Schlüsselpunkt des Nackens und den Schlüsselpunkt der Hüften stützt, wobei, wenn der Ablenkungswinkel dieses neuen Rückenvektors von dem zuvor erwähnten Rückenvektor den voreingestellten dritten Schwellenwert überschreitet, wird davon ausgegangen, dass sich der Mensch im Bild in der liegenden Körperhaltung in Richtung der Kamera befindet.
Die Methode nach beliebigem der Ansprüche 21-23, in der ein Armvektor auf der Grundlage eines Paares von Schlüsselpunkten der oberen Gliedmaßen gebildet wird, wobei, wenn der Armvektor senkrecht zum Rückenvektor steht, wird davon ausgegangen, dass sich der Mensch in einer Körperhaltung mit mindestens einem nach vorne gestreckten Arm befindet.
Die Methode nach beliebigem der Ansprüche 21-23, in der mindestens ein Armvektor auf der Grundlage eines Paares von Schlüsselpunkten der oberen Gliedmaßen gebildet, wobei, wenn der Armvektor parallel zum Rückenvektor ist und der Hand-Schlüsselpunkt höher als der Schulter-Schlüsselpunkt ist, wird davon ausgegangen, dass sich der Mensch in einer Körperhaltung mit mindestens einer nach vorne ausgestreckten Hand befindet.
Die Methode nach Anspruch 21, in der eine potenziell gefährliche Situation dann identifiziert wird, wenn die Körperhaltung eines Menschen, die auf eine potenziell gefährliche Situation hindeutet, in den Videodaten innerhalb einer vorgegebenen Zeitspanne beobachtet wird.
Die Methode nach Anspruch 28, in der die genannte Zeit vom Benutzer bei der Konfiguration des Systembetriebs eingestellt wird.
Die Methode nach Anspruch 17, in der der Benutzer die Möglichkeit hat, durch die Verwendung von GBO-Mitteln, die Perspektive des Bilds einzustellen.
Die Methode nach Anspruch 21, in der das Datenverarbeitungsgerät automatisch eine oder mehrere vom Benutzer voreingestellte Aktionen ausführt, wenn eine potentiell gefährliche Situation erkannt wird.
Die Methode nach Anspruch 31, in der die genannten Aktionen das Folgende umfassen: Aufzeichnung von Videodaten im Archiv, Export eines Bilds oder eines Videos, Auslösung eines Alarms, Benachrichtigung des Benutzers mit SMS, Benachrichtigung des Benutzers per E-Mail, Benachrichtigung des Benutzers mit Audio.
Ein computerlesbarer Datenträger, der Anweisungen enthält, die von mindestens einem Computerprozessor ausgeführt werden, um die Methoden nach beliebigem der Ansprüche 17-32 zu implementieren.