DE102020207929A1

DE102020207929A1 - Verfahren, Computerprogramm und Vorrichtung zum Erkennen einer gewalttätigen Handlung einer Person gegenüber einem Objekt

Info

Publication number: DE102020207929A1
Application number: DE102020207929.3A
Authority: DE
Inventors: Oliver Birbach
Original assignee: Volkswagen AG
Current assignee: Volkswagen AG
Priority date: 2020-06-25
Filing date: 2020-06-25
Publication date: 2021-12-30

Abstract

Die vorliegende Erfindung betrifft ein Verfahren, ein Computerprogramm mit Instruktionen und eine Vorrichtung zum Erkennen einer gewalttätigen Handlung einer Person gegenüber einem Objekt. Die Erfindung betrifft weiterhin ein Fortbewegungsmittel, in dem ein erfindungsgemäßes Verfahren oder eine erfindungsgemäße Vorrichtung eingesetzt wird. In einem ersten Schritt werden Sensordaten mit Informationen zur Person zu zwei oder mehr Zeitpunkten erfasst (10). Auf Grundlage der Sensordaten werden Posen der Person für die zwei oder mehr Zeitpunkte bestimmt (11). Aus einer zeitlichen Veränderung der Posen der Person wird eine Bewegung zumindest eines Körperteils der Person relativ zum Objekt ermittelt (12). Auf Grundlage zumindest der ermittelten Bewegung des zumindest einen Körperteils wird ein Konfidenzwert für das Vorliegen einer gewalttätigen Handlung bestimmt (13). Im Ansprechen auf das Vorliegen einer gewalttätigen Handlung kann anschließend eine Sicherheitsfunktion ausgelöst werden (14).

Description

Die vorliegende Erfindung betrifft ein Verfahren, ein Computerprogramm mit Instruktionen und eine Vorrichtung zum Erkennen einer gewalttätigen Handlung einer Person gegenüber einem Objekt. Die Erfindung betrifft weiterhin ein Fortbewegungsmittel, in dem ein erfindungsgemäßes Verfahren oder eine erfindungsgemäße Vorrichtung eingesetzt wird.
Die aktuelle und zukünftige Vielfalt von Mobilitätslösungen für Personen, angefangen von den klassischen Lösungen Taxi und Bus bis hin zu Ride-Sharing-Diensten und automatischen bzw. autonomen Shuttlediensten, stellt besondere Anforderung an die Gewährleistung der Sicherheit und des Schutzes von Fahrzeugführern und Fahrgästen in Kraftfahrzeugen. Der Nutzer oder Kunde möchte sich nicht nur im Straßenverkehr, sondern auch innerhalb des Fahrzeugs sicher und geschützt fühlen.
Befindet sich mehr als eine Person im Fahrzeug, besteht die Möglichkeit eines gewaltsamen Übergriffs. Ein solcher Übergriff bringt nicht nur die angegriffene Person in Gefahr, sondern kann auch das Fahrzeug in einen führerlosen Zustand bringen, der eine Gefahr für die Umgebung bedeutet. Ein weiteres mögliches Szenario ist die Ausübung einer terroristischen Handlung durch die gewaltsame Übernahme eines Fahrzeugs. Neben solchen Bedrohungen für die Insassen des Fahrzeugs oder die Allgemeinheit stellt auch Vandalismus gegenüber dem Fahrzeug ein regelmäßig auftretendes Problem dar. Insbesondere bei fahrerlosen Shuttlediensten, bei denen keine Kontrolle durch einen Fahrer gegeben ist, sind neue Konzepte zur Verhinderung von Vandalismus erforderlich.
In diesem Zusammenhang beschreibt DE 10 2016 000 273 A1 ein Verfahren zur Überwachung eines Innenraums eines Fahrzeugs. Bei dem Verfahren werden mittels Bilderfassungseinheiten Bewegungsaktivitäten im Fahrzeuginnenraum erfasst. Bei Erfassung erhöhter Bewegungsaktivitäten wird eine Echtzeitübertragung der Bildinformationen aktiviert, welche über eine fahrzeugeigene Schnittstelle an eine Notfallzentrale zur aktiven Überwachung übertragen werden.
CN 103279737 B beschreibt ein Verfahren zur Erkennung von grober körperlicher Interaktion zwischen Personen in einer Videoaufnahme. Es waren mehrere räumlich-zeitliche Punkte von Interesse der Personen sowie ein Schwerpunkt dieser Punkte erfasst und in einem gemeinsamen Koordinatensystem präsentiert. Anhand von Veränderungen der Anordnung dieser Punkte und einer Verschiebung des Schwerpunktes wird ermittelt, ob eine gewalttätige Interaktion stattfindet.
CN 110427811 A beschreibt ein Verfahren zur Erkennung eines Kampfes zwischen Personen in einer Videoaufnahme. Bei dem Verfahren wird die Körperhaltung von zuvor in ein Skelett-Modell überführten Personen erfasst und anhand einer Distanz zwischen den Personen, einer Armhaltung und einer Dauer der Armhaltung feststellt, ob zwischen den Personen ein Kampf droht.
Es ist eine Aufgabe der Erfindung, verbesserte Lösungen zum Erkennen einer gewalttätigen Handlung einer Person gegenüber einem Objekt bereitzustellen.
Diese Aufgabe wird durch ein Verfahren mit den Merkmalen des Anspruchs 1, durch ein Computerprogramm mit Instruktionen gemäß Anspruch 8 und durch eine Vorrichtung mit den Merkmalen des Anspruchs 9 gelöst. Bevorzugte Ausgestaltungen der Erfindung sind Gegenstand der abhängigen Ansprüche.
Gemäß einem ersten Aspekt der Erfindung umfasst ein Verfahren zum Erkennen einer gewalttätigen Handlung einer Person gegenüber einem Objekt die Schritte:

- Erfassen von Sensordaten mit Informationen zur Person zu zwei oder mehr Zeitpunkten;
- Bestimmen von Posen der Person für die zwei oder mehr Zeitpunkte auf Grundlage der Sensordaten;
- Ermitteln einer Bewegung zumindest eines Körperteils der Person relativ zum Objekt aus einer zeitlichen Veränderung der Posen der Person; und
- Bestimmen eines Konfidenzwertes für das Vorliegen einer gewalttätigen Handlung auf Grundlage zumindest der ermittelten Bewegung des zumindest einen Körperteils.

Gemäß einem weiteren Aspekt der Erfindung enthält ein Computerprogramm Instruktionen, die bei Ausführung durch einen Computer den Computer zur Ausführung der folgenden Schritte zum Erkennen einer gewalttätigen Handlung einer Person gegenüber einem Objekt veranlassen:

Der Begriff Computer ist dabei breit zu verstehen. Insbesondere umfasst er auch Mikrocontroller, eingebettete Systeme und andere prozessorbasierte Datenverarbeitungsvorrichtungen.
Das Computerprogramm kann beispielsweise für einen elektronischen Abruf bereitgestellt werden oder auf einem computerlesbaren Speichermedium gespeichert sein.
Gemäß einem weiteren Aspekt der Erfindung weist eine Vorrichtung zum Erkennen einer gewalttätigen Handlung einer Person gegenüber einem Objekt auf:

- ein Erfassungsmodul zum Erfassen von Sensordaten mit Informationen zur Person zu zwei oder mehr Zeitpunkten;
- ein erstes Bestimmungsmodul zum Bestimmen von Posen der Person für die zwei oder mehr Zeitpunkte auf Grundlage der Sensordaten;
- ein Ermittlungsmodul zum Ermitteln einer Bewegung zumindest eines Körperteils der Person relativ zum Objekt aus einer zeitlichen Veränderung der Posen der Person; und
- ein zweites Bestimmungsmodul zum Bestimmen eines Konfidenzwertes für das Vorliegen einer gewalttätigen Handlung auf Grundlage zumindest der ermittelten Bewegung des zumindest einen Körperteils.

Bei der erfindungsgemäßen Lösung wird die Körperhaltung bzw. Pose einer Person fortlaufend mit Hilfe von einem oder mehreren Sensoren erfasst. Anhand einer Veränderung der Pose über die Zeit werden Bewegungen eines Körperteils der Person relativ zu einem Objekt, das potenziell ein Ziel einer gewalttätigen Handlung sein könnte, ermittelt. Die so ermittelten Bewegungen, z.B. eine Schlagbewegung eines Arms oder ein Tritt mit einem Fuß, werden ausgewertet, um auf das Vorliegen einer gewalttätigen Handlung zu schließen. Die erfindungsgemäße Lösung hat dabei den Vorteil, dass die Auswertung von Bewegungen mit vergleichsweise geringem Rechenaufwand umsetzbar ist. Zudem sind die Bewegungen von Körperteilen ein gutes Indiz für das Vorliegen einer gewalttätigen Handlung.
Gemäß einem Aspekt der Erfindung ist das Objekt eine weitere Person oder ein Fortbewegungsmittel. Die erfindungsgemäße Lösung ist sowohl geeignet, gewalttätige Interaktionen zwischen Personen zu erkennen, als auch gewalttätige Handlungen gegenüber einem Fortbewegungsmittel. In beiden Fällen werden dazu Bewegungen einer Person, von der eine gewalttätige Handlung ausgeht, relativ zum Ziel der gewalttätigen Handlung erfasst und ausgewertet.
Gemäß einem Aspekt der Erfindung wird auf Grundlage der Sensordaten eine Pose der weiteren Person für die zwei oder mehr Zeitpunkte bestimmt. Zudem wird aus einer zeitlichen Veränderung der Posen der weiteren Person eine Bewegung zumindest eines Körperteils der weiteren Person ermittelt. Die ermittelte Bewegung des zumindest einen Körperteils der weiteren Person wird dann beim Bestimmen des Konfidenzwertes für das Vorliegen einer gewalttätigen Handlung berücksichtigt. Für die Feststellung, ob zwischen den Personen eine gewalttätige Interaktion stattfindet, kann besonders vorteilhaft überprüft werden, ob es über die Zeit zu gleichzeitigen und geometrisch korrespondierenden Veränderungen der Körperhaltung der Personen kommt. Derartige korrespondierende Veränderungen der Körperhaltung werden regelmäßig durch den Impuls verursacht, den ein Angreifer mit einem Körperteil auf eines oder mehrere Körperteile einer anderen Person überträgt. Sie sind daher ein gutes Indiz für das Vorliegen einer gewalttätigen Handlung gegenüber einer Person.
Gemäß einem Aspekt der Erfindung wird beim Bestimmen von Posen ein Skelettmodel verwendet. Die Pose wird in diesem Fall durch ein Skelettmodell mit N Gelenken repräsentiert. Die Verwendung eines Skelettmodells hat den Vorteil, dass dieses die Bestimmung der Posen deutlich vereinfacht, gut handhabbar ist und ein intuitives und nachvollziehbares kinematisches Modell ermöglicht.
Gemäß einem Aspekt der Erfindung werden die Sensordaten von zumindest einem ortsauflösenden Sensor zum Überwachen eines Innenraums eines Fortbewegungsmittels oder zumindest einem ortsauflösenden Sensor zum Überwachen eines Außenbereichs eines Fortbewegungsmittels bereitgestellt. Bei den ortsauflösenden Sensoren handelt es sich bevorzugt um Kameras, es können alternativ oder zusätzlich aber z.B. auch Lidarsensoren, Radarsensoren oder Ultraschallsensoren verwendet werden. Aus den Daten ortsauflösender Sensoren lassen sich mittels geeigneter Algorithmen relativ leicht die benötigten Posen bestimmen.
Gemäß einem Aspekt der Erfindung werden beim Bestimmen des Konfidenzwertes für das Vorliegen einer gewalttätigen Handlung Sensordaten zumindest eines weiteren Sensors berücksichtigt. Beispielsweise kann mit Beschleunigungssensoren eine Dynamik des Fortbewegungsmittels erfasst werden, um durch äußere Kräfte verursachte Bewegungen auszuschließen, z.B. um die gleichzeitige Bewegung zweier Personen inklusive Aneinanderstoßen bei einer scharfen Bremsung nicht als gewalttätige Aktion zu klassifizieren. Mit derartigen Beschleunigungssensoren können zudem Erschütterungen des Fortbewegungsmittels erfasst werden, die aus den im Rahmen von Vandalismus eingebrachten Kräften resultieren. Mit akustischen Sensoren können wiederum Geräusche erfasst werden, die durch eine gewalttätige Handlung verursacht werden. Weiterhin können mit taktilen Sensoren durch eine gewalttätige Handlung einer Person verursachte mechanische Einwirkungen auf die Fahrzeughülle erfasst werden, wie z.B. Druck oder Reibung.
Gemäß einem Aspekt der Erfindung wird im Ansprechen auf das Vorliegen einer gewalttätigen Handlung eine Sicherheitsfunktion ausgelöst. Beispielsweise kann eine Warnung an den Fahrer ausgelöst werden. Der Fahrer wird somit gewarnt, wenn sich im Passagierbereich eine unsichere Situation ergibt, und kann geeignete Maßnahmen einleiten. Eine andere Möglichkeit besteht darin, dass ein Notfallassistent das Fortbewegungsmittel in einen sicheren Zustand bringt, indem das Fortbewegungsmittel gebremst und auf eine sichere Position geführt wird, z.B. den Seitenstreifen einer Straße. Auf diese Weise wird eine Gefährdung der Allgemeinheit verhindert. Als weitere Sicherheitsfunktion kann ein Notruf abgesetzt werden. Dazu kann beispielsweise der bei Unfällen automatische durch ein Fahrzeug durchgeführte eCall um einen Notruf bei Gewalt im Fahrzeug erweitert werden. Zur nachträglichen Rekonstruktion der Situation, z.B. zur Verwendung durch die Behörden zur Strafverfolgung, kann eine Aufzeichnung des von den Sensoren erfassten Geschehens erfolgen.
Besonders vorteilhaft wird ein erfindungsgemäßes Verfahren oder eine erfindungsgemäße Vorrichtung in einem (teil-)autonom oder manuell gesteuerten Fortbewegungsmittel eingesetzt. Bei dem Fortbewegungsmittel kann es sich insbesondere um ein Kraftfahrzeug handeln, z.B. einen Personenkraftwagen oder einen Bus, aber auch um ein Schiff, ein Fluggerät, z.B. einen Volocopter, etc.
Weitere Merkmale der vorliegenden Erfindung werden aus der nachfolgenden Beschreibung und den angehängten Ansprüchen in Verbindung mit den Figuren ersichtlich.

1 zeigt schematisch ein Verfahren zum Erkennen einer gewalttätigen Handlung einer Person gegenüber einem Objekt;
2 zeigt eine erste Ausführungsform einer Vorrichtung zum Erkennen einer gewalttätigen Handlung einer Person gegenüber einem Objekt;
3 zeigt eine zweite Ausführungsform einer Vorrichtung zum Erkennen einer gewalttätigen Handlung einer Person gegenüber einem Objekt;
4 stellt schematisch ein Fortbewegungsmittel dar, in dem eine erfindungsgemäße Lösung realisiert ist;
5 zeigt schematisch ein Ablaufdiagramm einer Ausführungsform eines erfindungsgemäßen Verfahrens;
6 zeigt schematisch eine Anordnung von Sensoren zur Überwachung eines Fortbewegungsmittels;
7 zeigt schematisch ein Skelettmodell zur Modellierung einer Pose einer Person;
8 veranschaulicht die Klassifizierung einer gewalttätigen Interaktion zwischen Personen basierend auf deren Posen;
9 zeigt anhand von Skelettmodellen ein erstes Beispiel einer gewalttätigen Interaktion zwischen zwei Personen; und
10 zeigt anhand von Skelettmodellen ein zweites Beispiel einer gewalttätigen Interaktion zwischen zwei Personen.

Zum besseren Verständnis der Prinzipien der vorliegenden Erfindung werden nachfolgend Ausführungsformen der Erfindung anhand der Figuren detaillierter erläutert. Es versteht sich, dass sich die Erfindung nicht auf diese Ausführungsformen beschränkt und dass die beschriebenen Merkmale auch kombiniert oder modifiziert werden können, ohne den Schutzbereich der Erfindung zu verlassen, wie er in den angehängten Ansprüchen definiert ist.
1 zeigt schematisch ein Verfahren zum Erkennen einer gewalttätigen Handlung einer Person gegenüber einem Objekt. Bei dem Objekt kann es sich insbesondere um eine weitere Person oder ein Fortbewegungsmittel handeln. In einem ersten Schritt werden Sensordaten mit Informationen zur Person zu zwei oder mehr Zeitpunkten erfasst 10. Die Sensordaten können z.B. von zumindest einem ortsauflösenden Sensor zum Überwachen eines Innenraums eines Fortbewegungsmittels oder zumindest einem ortsauflösenden Sensor zum Überwachen eines Außenbereichs eines Fortbewegungsmittels bereitgestellt werden. Auf Grundlage der Sensordaten werden Posen der Person für die zwei oder mehr Zeitpunkte bestimmt 11. Dabei wird vorzugsweise ein Skelettmodel verwendet. Aus einer zeitlichen Veränderung der Posen der Person wird eine Bewegung zumindest eines Körperteils der Person relativ zum Objekt ermittelt 12. Auf Grundlage zumindest der ermittelten Bewegung des zumindest einen Körperteils wird ein Konfidenzwert für das Vorliegen einer gewalttätigen Handlung bestimmt 13. Dabei können Sensordaten zumindest eines weiteren Sensors berücksichtigt werden. Im Ansprechen auf das Vorliegen einer gewalttätigen Handlung kann anschließend eine Sicherheitsfunktion ausgelöst werden 14. Wenn es sich bei dem Objekt um eine weitere Person handelt, wird auf Grundlage der Sensordaten vorzugsweise auch eine Pose der weiteren Person für die zwei oder mehr Zeitpunkte bestimmt 11. Aus einer zeitlichen Veränderung der Posen der weiteren Person kann dann eine Bewegung zumindest eines Körperteils der weiteren Person ermittelt werden 12, die beim Bestimmen 13 des Konfidenzwertes für das Vorliegen einer gewalttätigen Handlung berücksichtigt werden kann.
2 zeigt eine vereinfachte schematische Darstellung einer ersten Ausführungsform einer Vorrichtung 20 zum Erkennen einer gewalttätigen Handlung einer Person gegenüber einem Objekt. Bei dem Objekt kann es sich insbesondere um eine weitere Person oder ein Fortbewegungsmittel handeln. Die Vorrichtung 20 hat einen Eingang 21, über den ein Erfassungsmodul 22 Sensordaten SD mit Informationen zur Person zu zwei oder mehr Zeitpunkten erfassen kann. Die Sensordaten SD können z.B. von zumindest einem ortsauflösenden Sensor 41 zum Überwachen eines Innenraums eines Fortbewegungsmittels oder zumindest einem ortsauflösenden Sensor 42 zum Überwachen eines Außenbereichs eines Fortbewegungsmittels bereitgestellt werden. Ein erstes Bestimmungsmodul 23 ist dazu eingerichtet, auf Grundlage der Sensordaten SD Posen der Person für die zwei oder mehr Zeitpunkte zu bestimmen. Dabei verwendet das erste Bestimmungsmodul 23 vorzugsweise ein Skelettmodel. Ein Ermittlungsmodul 24 ist dazu eingerichtet, aus einer zeitlichen Veränderung der Posen der Person eine Bewegung zumindest eines Körperteils der Person relativ zum Objekt zu ermitteln. Ein zweites Bestimmungsmodul 25 ist dazu eingerichtet, auf Grundlage zumindest der ermittelten Bewegung des zumindest einen Körperteils einen Konfidenzwert K für das Vorliegen einer gewalttätigen Handlung zu bestimmen. Dabei kann das zweite Bestimmungsmodul 25 Sensordaten SD zumindest eines weiteren Sensors 43 berücksichtigen. Über einen Ausgang 27 der Vorrichtung 20 kann der Konfidenzwert K zur weiteren Verwendung bereitgestellt werden, z.B. an eine Steuerungseinheit 63, um im Ansprechen auf das Vorliegen einer gewalttätigen Handlung eine Sicherheitsfunktion auszulösen. Alternativ kann das Auslösen der Sicherheitsfunktion auch durch die Vorrichtung 20 selbst erfolgen. Wenn es sich bei dem Objekt um eine weitere Person handelt, wird auf Grundlage der Sensordaten SD durch das erste Bestimmungsmodul 23 vorzugsweise auch eine Pose der weiteren Person für die zwei oder mehr Zeitpunkte bestimmt 11. Aus einer zeitlichen Veränderung der Posen der weiteren Person kann dann das Ermittlungsmodul 24 eine Bewegung zumindest eines Körperteils der weiteren Person ermitteln, die durch das zweite Bestimmungsmodul 25 beim Bestimmen des Konfidenzwertes K für das Vorliegen einer gewalttätigen Handlung berücksichtigt werden kann.
Das Erfassungsmodul 22, das erste Bestimmungsmodul 23, das Ermittlungsmodul 24 und das zweite Bestimmungsmodul 25 können von einem Kontrollmodul 26 gesteuert werden. Über eine Benutzerschnittstelle 29 können gegebenenfalls Einstellungen der Komponenten 22-26 der Vorrichtung 20 geändert werden. Die in der Vorrichtung 20 anfallenden Daten können bei Bedarf in einem Speicher 28 der Vorrichtung 20 abgelegt werden, beispielsweise für eine spätere Auswertung oder für eine Nutzung durch die Komponenten der Vorrichtung 20. Die Komponenten 22-26 der Vorrichtung 20 können als dedizierte Hardware realisiert sein, beispielsweise als integrierte Schaltungen. Natürlich können sie aber auch teilweise oder vollständig kombiniert oder als Software implementiert werden, die auf einem geeigneten Prozessor läuft, beispielsweise auf einer GPU oder einer CPU. Der Eingang 21 und der Ausgang 27 können als getrennte Schnittstellen oder als eine kombinierte bidirektionale Schnittstelle implementiert sein.
3 zeigt eine vereinfachte schematische Darstellung einer zweiten Ausführungsform einer Vorrichtung 30 zum Erkennen einer gewalttätigen Handlung einer Person gegenüber einem Objekt. Die Vorrichtung 30 weist einen Prozessor 32 und einen Speicher 31 auf. Beispielsweise handelt es sich bei der Vorrichtung 30 um einen Mikrocontroller oder ein eingebettetes System. Im Speicher 31 sind Instruktionen abgelegt, die die Vorrichtung 30 bei Ausführung durch den Prozessor 32 veranlassen, die Schritte gemäß einem der beschriebenen Verfahren auszuführen. Die im Speicher 31 abgelegten Instruktionen verkörpern somit ein durch den Prozessor 32 ausführbares Programm, welches das erfindungsgemäße Verfahren realisiert. Die Vorrichtung 30 hat einen Eingang 33 zum Empfangen von Informationen, insbesondere von Sensordaten. Vom Prozessor 32 generierte Daten werden über einen Ausgang 34 bereitgestellt. Darüber hinaus können sie im Speicher 31 abgelegt werden. Der Eingang 33 und der Ausgang 34 können zu einer bidirektionalen Schnittstelle zusammengefasst sein.
Der Prozessor 32 kann eine oder mehrere Prozessoreinheiten umfassen, beispielsweise Mikroprozessoren, digitale Signalprozessoren oder Kombinationen daraus.
Die Speicher 28, 31 der beschriebenen Ausführungsformen können sowohl volatile als auch nichtvolatile Speicherbereiche aufweisen und unterschiedlichste Speichergeräte und Speichermedien umfassen, beispielsweise Festplatten, optische Speichermedien oder Halbleiterspeicher.
4 stellt schematisch ein Fortbewegungsmittel 40 dar, in dem eine erfindungsgemäße Lösung realisiert ist. Bei dem Fortbewegungsmittel 40 handelt es sich hier um ein Kraftfahrzeug. Das Fortbewegungsmittel 40 weist in diesem Beispiel zumindest einen ortsauflösenden Sensor 41 zur Innenraumüberwachung sowie zumindest einen ortsauflösenden Sensor 42 zur Überwachung des Außenbereichs auf. Bei den ortsauflösenden Sensoren 41, 42 kann es sich beispielsweise um Kameras, Lidarsensoren, Radarsensoren oder Ultraschallsensoren handeln. Die von den ortsauflösenden Sensoren 41, 42 ermittelten Sensordaten SD werden von einer erfindungsgemäßen Vorrichtung 20 zum Erkennen einer gewalttätigen Handlung einer Person ausgewertet. Die Vorrichtung 20 kann dabei auch Sensordaten SD weiterer Sensoren 43 berücksichtigen. Bei den weiteren Sensoren 43 kann es sich z.B. um Beschleunigungssensoren handeln, mit denen eine Dynamik des Fortbewegungsmittels 40 erfasst wird, oder um taktile Sensoren, die mechanische Einwirkungen auf die Fahrzeughülle erfassen. Falls das Vorliegen einer gewalttätigen Handlung erkannt wird, kann bei Bedarf eine Sicherheitsfunktion ausgelöst werden. Z.B. kann unter Verwendung einer Nutzerschnittstelle 44 eine Ansprache der Person der erfolgen, von der die gewalttätige Handlung ausgeht. Ebenso ist es möglich, dass das Fortbewegungsmittel 40 durch ein Assistenzsystem 45 in einen sicheren Zustand gebracht wird. Eine weitere mögliche Maßnahme besteht darin, dass unter Verwendung einer Datenübertragungseinheit 46 ein Notruf erfolgt. Zur Speicherung von Daten ist ein Speicher 47 vorhanden, in dem bei Bedarf das von den ortsauflösenden Sensoren 41, 42 erfasste Geschehen zur nachträglichen Rekonstruktion der Situation aufgezeichnet werden kann. Der Datenaustausch zwischen den verschiedenen Komponenten des Fortbewegungsmittels 40 erfolgt über ein Netzwerk 48.
Nachfolgend sollen weitere Details der Erfindung anhand von 5 bis 10 beschrieben werden. Die Beschreibung betrachtet dabei vorranging gewalttätige Handlungen, die gegenüber einer Person ausgeübt werden.
5 zeigt schematisch ein Ablaufdiagramm einer Ausführungsform eines erfindungsgemäßen Verfahrens. Am Anfang des Ablaufdiagramms stehen Sensoren S_i , die ein Abbild der Umgebung im Innenraum und/oder im Außenbereich eines Fortbewegungsmittels im jeweiligen Sensorkoordinatensystem liefern. Dieses Abbild der Umgebung dient als Eingangsgröße für ein Modul 60 für die Sensordatenakquise. Das Modul 60 nimmt die Sensordaten SD im Fortbewegungsmittel entgegen und versieht sie mit einem Zeitstempel. Zusätzlich kennt das Modul 60 die extrinsische Kalibrierung, d.h. die räumliche Lage der Sensoren S_i zueinander. Das mit Zeitstempel und extrinsischer Kalibrierung angereicherte Abbild der Umgebung mehrerer Sensoren S_i wird an ein Modul 61 für die 2D/3D-Posenschätzung übergeben.
Das Modul 61 für die 2D/3D-Posenschätzung ermittelt für jedes eintreffende Abbild der Umgebung eines Sensors S_i die Pose zunächst im Koordinatensystem des Sensors S_i , z.B. seiner Bildebene. Die Pose wird als Skelettmodell mit N Gelenken repräsentiert. Wenn für alle zu einem Zeitpunkt aufgenommen Sensordaten SD die Bestimmung der 2D-Posen erfolgt ist, wird die 3D-Pose jeder Person ermittelt. Dafür wird eine Assoziation der 2D-Posen über die zum gleichen Zeitpunkt aufgenommenen Aufnahmen der verschiedenen Sensoren S_i über eine Nearest-Neighbour-Assoziation basierend auf der 2D-Gelenkkonfiguration und der groben Position im 3D-Raum gelöst. Um die Sensorkoordinatensysteme untereinander in Beziehung zu bringen, wird die extrinsische Kalibrierung verwendet.
Nach dem Assoziationsschritt wird mit einer nichtlinearen Ausgleichsrechnung die 3D-Pose in einem für die 3D-Posen gemeinsamen 3D-Koordinatensystem bestimmt. Hierzu wird die gesuchte 3D-Pose mit Hilfe der extrinsischen Kalibrierung und eines Sensormodells als 2D-Pose in den Sensorraum der Sensoren S_i projiziert und der quadratische Fehler gegenüber den gemessenen 2D-Posen minimiert.
Die 3D-Posenschätzung hält außerdem ein begrenztes zeitliches Fenster historischer 3D-Posen bereit, z.B. ein Fenster in der Größenordnung von 10 s, und assoziiert die neugewonnen 3D-Posen über die Zeit mit bereits vorhandenen 3D-Posen. Ein Kriterium für die Assoziation ist neben der Distanz der Posen im Raum, die möglichst gering sein soll, die Ähnlichkeit der Posen. Die assoziierten Posen sollten möglichst ähnlich sein, da die Veränderung zwischen zwei Aufnahmen gering ist. Die resultierende Liste der 3D-Posen mit aktuellen und historischen Daten wird an ein Modul 62 für die Klassifizierung übergeben.
Das Modul 62 für die Klassifizierung bestimmt für jedes Paar an 3D-Posen, die sich in räumlicher Nähe befinden, eine Konfidenz K, ob eine gewalttätige Interaktion vorliegt. Physikalisch betrachtet überträgt der Angreifende mit einem Körperteil einen Impuls auf ein oder mehrere Körperteile einer anderen Person. Der auf die anderen Körperteile übertragene Impuls bewirkt eine Änderung in der Geschwindigkeit dieser Körperteile in Richtung der während der Impulsübertragung einwirkenden Kraft. Es werden daher im zeitlichen Verlauf nachverfolgte Paare von 3D-Posen dahingehend überprüft, ob das Skelettmodell einer Pose einer ersten Person zu Beginn ein oder mehrere Glieder hat, welche sich schnell in Richtung des Skelettmodells einer Pose einer zweiten Person bewegen. Dazu kann beispielsweise die Kinematik betrachtet werden, z.B. ob bei der Bewegung ein Geschwindigkeitsschwellwert oder ein Winkelgeschwindigkeitsschwellwert überschritten wird. Zudem wird überprüft, ob sich ein oder mehrere Glieder des Skelettmodells der Pose der ersten Person und ein oder mehrere Glieder des Skelettmodells der Pose der zweiten Person für einen Moment den gleichen Arbeitsbereich teilen. Als Kriterium kann beispielsweise betrachtet werden, ob die Distanz der Gliedmaßen einen Schwellwert unterschreitet. Schließlich kann überprüft werden, ob für ein oder mehrere Glieder des Skelettmodells der Pose der zweiten Person ein Geschwindigkeitsvektor messbar ist, der vektoriell mit der Richtung der der Glieder des Skelettmodells der angreifenden Person korrespondiert. Als Kriterium kann dazu betrachtet werden, ob eine maximale Winkelabweichung nicht überschritten wird.
Um fehlerhafte Klassifikationen zu vermeiden ist es vorteilhaft, durch äußere Kräfte verursachte Bewegungen auszuschließen, z.B. um die gleichzeitige Bewegung zweier Skelettmodelle inklusive Aneinanderstoßen bei einer scharfen Bremsung nicht als gewalttätige Aktion zu klassifizieren. Zu diesem Zweck kann das Modul 62 ein Dynamiksignal des Fortbewegungsmittels, das beispielsweise von Beschleunigungssensoren bereitgestellt werden kann, mitverarbeiten und bei der Konfidenzberechnung verwerten.
Die Konfidenz K ist ein arithmetisch bestimmter Wert, welcher sich z.B. aus der Geschwindigkeit der Glieder des Skelettmodells der Pose der angreifenden Person, der Distanz der Glieder bei der Impulsübertragung, der Geschwindigkeit sowie der Winkeldifferenz der Geschwindigkeitsvektoren zwischen dem angreifenden Körperteil und dem Zielkörperteil, sowie dem Zeitraum zusammensetzt. Die resultierende Liste der Konfidenzen K relevanter Paare von 3D-Posen wird an eine Steuerungseinheit 63 übergeben.
Sollen gewalttätige Handlungen gegenüber einem Fortbewegungsmittel klassifiziert werden, so können dazu vorrangig die Bewegungen der Gliedmaßen der angreifenden Person betrachtet werden. Schnelle Bewegungen in Richtung von Bestandteilen des Fortbewegungsmittels, wie Karosserie oder Scheiben, sind ein deutlicher Hinweis auf Vandalismus. Zusätzlich können Erschütterungen des Fortbewegungsmittels durch die eingebrachten Kräfte oder die resultierenden Geräusche bei der Bestimmung der Konfidenz berücksichtigt werden. Weiterhin können mit taktilen Sensoren mechanische Einwirkungen auf die Fahrzeughülle erfasst werden, wie z.B. Druck und Reibung, die durch eine gewalttätige Handlung einer Person verursacht werden.
Die Steuerungseinheit 63 prüft, ob bei einer oder mehreren Konfidenzen K ein Schwellwert überschritten ist. Wenn dies der Fall ist, löst sie Steuerungseinheit 63 bei Bedarf geeignete Sicherheitsfunktionen aus. Dazu gibt die Steuerungseinheit 63 entsprechende Signale an Steuergeräte anderer Funktionen aus. Beispielsweise kann eine Warnung 64 an den Fahrer ausgelöst werden. Der Fahrer wird somit gewarnt, wenn sich im Passagierbereich eine unsichere Situation ergibt, und kann entsprechende Maßnahmen einleiten. Eine andere Möglichkeit besteht darin, dass ein Notfallassistent 65 das Fortbewegungsmittel in einen sicheren Zustand bringt, indem das Fortbewegungsmittel gebremst und auf eine sichere Position geführt wird, z.B. den Seitenstreifen einer Straße. Als weitere Sicherheitsfunktion kann ein Notruf 66 abgesetzt werden. Dazu kann beispielsweise der bei Unfällen automatische durch ein Fahrzeug durchgeführte eCall um einen Notruf bei Gewalt im Fahrzeug erweitert werden. Zur nachträglichen Rekonstruktion der Situation, z.B. zur Verwendung durch die Behörden zur Strafverfolgung, kann eine Aufzeichnung 67 des von den Sensoren S_i erfassten Geschehens erfolgen.
6 zeigt schematisch eine Anordnung von Sensoren 41, 42 zur Überwachung eines Fortbewegungsmittels 40. In diesem Beispiel handelt es sich bei dem Fortbewegungsmittel 40 um einen Kleinbus für mehrere Personen. Das Interieur des Fortbewegungsmittels 40 wird durch einen oder mehrere ortsauflösende Sensoren 41 zur Innenraumüberwachung überwacht. Diese sind so im Fortbewegungsmittel 40 angeordnet, dass die jeweiligen Erfassungsbereiche 52 den Innenraum vollständig abdecken bzw. dass das von den Erfassungsbereichen 52 abgedeckte Volumen des Innenraums maximiert wird. Mittels der Sensoren 41 zur Innenraumüberwachung können sowohl gewalttätige Handlungen einer Person gegenüber einer anderen Person als auch gewalttätige Handlung einer Person gegenüber dem Fortbewegungsmittel 40 erfasst werden. Insbesondere zum Erfassen von Vandalismus können zudem ein oder mehrere ortsauflösende Sensoren 42 zur Überwachung des Außenbereichs des Fortbewegungsmittels 40 vorgesehen sein. Im dargestellten Beispiel wird der Außenbereich mit vier Sensoren 42 überwacht. Diese sind so am Fortbewegungsmittel 40 angeordnet, dass die jeweiligen Erfassungsbereiche 52 das nähere Umfeld des Fortbewegungsmittels 40 möglichst vollständig abdecken. Bei den ortsauflösenden Sensoren 41, 42 kann es sich beispielsweise um Kameras, Lidarsensoren, Radarsensoren oder Ultraschallsensoren handeln.
7 zeigt schematisch ein Skelettmodell zur Modellierung einer Pose einer Person 50. Zu sehen ist eine schematische Darstellung der auf eine Bildebene projizierten Person 50. Die Pose der Person 50 wird durch ein Skelettmodell 53 mit N Gelenken 54 repräsentiert. Im dargestellten Beispiel umfasst das Skelettmodell 53 13 Gelenke 54, sodass die Pose mit 13 Freiheitsgeraden modelliert werden kann.
8 veranschaulicht die Klassifizierung einer gewalttätigen Interaktion zwischen Personen 50, 51 basierend auf deren Posen P1_i , P2_i zu verschiedenen Zeitpunkten t_i . Dargestellt sind die durch Skelettmodelle repräsentierten Posen P1₁ und P1₂ einer angreifenden Person 50 und die Posen P2₁ und P2₂ einer angegriffenen Person 51 zu zwei Zeitpunkten t₁, t₂. Die angreifende Person 50 schlägt und tritt die angegriffene Person 51, was sich in den durch die Pfeile dargestellten Bewegungen einzelner Gliedmaßen der angreifenden Person 50 widerspiegelt. Durch den Schlag sowie den Tritt überträgt die angreifende Person 50 physikalisch betrachtet einen Impuls auf einzelne Körperteile der angegriffenen Person 51. Der auf die anderen Körperteile übertragene Impuls bewirkt eine Änderung in der Geschwindigkeit dieser Körperteile in Richtung der während der Impulsübertragung einwirkenden Kraft. Die daraus resultierenden Bewegungen sind in 8 durch die gestrichelten Pfeile angedeutet. Sie können dazu genutzt werden, gewalttätige Interaktionen zwischen Personen zu klassifizieren.
9 zeigt anhand von Skelettmodellen ein erstes Beispiel einer gewalttätigen Interaktion zwischen zwei Personen 50, 51. Bei den beiden Personen 50, 51 handelt es sich in diesem Beispiel um Passagiere in einem automatisch fahrenden Fortbewegungsmittel. Wie zu erkennen ist, wird die eine Person 51 von der anderen Person 50 angegriffen. Im Ansprechen auf das Vorliegen dieser gewalttätigen Handlung bzw. das Erkennen dieser gewalttätigen Handlung mittels der erfindungsgemäßen Lösung kann beispielsweise eine Zentrale über die Situation informiert werden.
10 anhand von Skelettmodellen ein zweites Beispiel einer gewalttätigen Interaktion zwischen zwei Personen 50, 51. Eine sitzende Person 51, z.B. der Bediener eines Fortbewegungsmittels, wird von einer anderen Person 50, z.B. einem Passagier angegriffen. Der Bediener ist aufgrund des Angriffs unter Umständen nicht länger in der Lage, das Fortbewegungsmittel sicher zu führen. Im Ansprechen auf den Angriff bzw. das Erkennen des Angriffs mittels der erfindungsgemäßen Lösung kann das Fortbewegungsmittel in einen sicheren Zustand gebracht werden. Dazu kann das Fortbewegungsmittel gebremst und auf eine sichere Position geführt werden, z.B. den Seitenstreifen einer Straße.
Bezugszeichenliste

10: Erfassen von Sensordaten mit Informationen zu einer Person
11: Bestimmen von Posen der Person
12: Ermitteln einer Bewegung eines Körperteils der Person relativ zu einem Objekt
13: Bestimmen eines Konfidenzwertes für das Vorliegen einer gewalttätigen Handlung
14: Auslösen einer Sicherheitsfunktion
20: Vorrichtung
21: Eingang
22: Erfassungsmodul
23: Erstes Bestimmungsmodul
24: Ermittlungsmodul
25: Zweites Bestimmungsmodul
26: Kontrollmodul
27: Ausgang
28: Speicher
29: Benutzerschnittstelle
30: Vorrichtung
31: Speicher
32: Prozessor
33: Eingang
34: Ausgang
40: Fortbewegungsmittel
41: Ortsauflösender Sensor zur Innenraumüberwachung
42: Ortsauflösender Sensor zur Überwachung des Außenbereichs
43: Weiterer Sensor
44: Nutzerschnittstelle
45: Assistenzsystem
46: Datenübertragungseinheit
47: Speicher
48: Netzwerk
50: Person
51: Weitere Person
52: Erfassungsbereich
53: Skelettmodell
54: Gelenk
60: Modul für die Sensordatenakquise
61: Modul für die 2D/3D-Posenschätzung
62: Modul für die Klassifizierung
63: Steuerungseinheit
64: Warnung
65: Notfallassistent
66: Notruf
67: Aufzeichnung
K: Konfidenzwert
P1i, P2i: Pose
SD: Sensordaten
Si: Sensor
ti: Zeitpunkt

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

DE 102016000273 A1 [0004]
CN 103279737 B [0005]
CN 110427811 A [0006]

Claims

Verfahren zum Erkennen einer gewalttätigen Handlung einer Person (50) gegenüber einem Objekt (40, 51), mit den Schritten: - Erfassen (10) von Sensordaten (SD) mit Informationen zur Person (50) zu zwei oder mehr Zeitpunkten (t_i); - Bestimmen (11) von Posen (P1_i) der Person (50) für die zwei oder mehr Zeitpunkte (t_i) auf Grundlage der Sensordaten (SD); - Ermitteln (12) einer Bewegung zumindest eines Körperteils der Person relativ zum Objekt (40, 51) aus einer zeitlichen Veränderung der Posen (P1_i) der Person (50); und - Bestimmen (13) eines Konfidenzwertes (K) für das Vorliegen einer gewalttätigen Handlung auf Grundlage zumindest der ermittelten Bewegung des zumindest einen Körperteils.
Verfahren gemäß Anspruch 1, wobei das Objekt (40, 51) eine weitere Person (51) oder ein Fortbewegungsmittel (40) ist.
Verfahren gemäß Anspruch 2, wobei auf Grundlage der Sensordaten (SD) eine Pose (P2_i) der weiteren Person (51) für die zwei oder mehr Zeitpunkte (t_i) bestimmt wird (11), eine Bewegung zumindest eines Körperteils der weiteren Person (51) aus einer zeitlichen Veränderung der Posen (P2_i) der weiteren Person (51) ermittelt wird (12) und die ermittelte Bewegung des zumindest einen Körperteils der weiteren Person (51) beim Bestimmen (13) des Konfidenzwertes (K) für das Vorliegen einer gewalttätigen Handlung berücksichtigt wird.
Verfahren gemäß einem der vorherigen Ansprüche, wobei beim Bestimmen (11) von Posen (P1_i, P2_i) ein Skelettmodel (53) verwendet wird.
Verfahren gemäß einem der vorherigen Ansprüche, wobei die Sensordaten (SD) von zumindest einem ortsauflösenden Sensor (41) zum Überwachen eines Innenraums eines Fortbewegungsmittels (40) oder zumindest einem ortsauflösenden Sensor (42) zum Überwachen eines Außenbereichs eines Fortbewegungsmittels (40) bereitgestellt werden.
Verfahren gemäß einem der vorherigen Ansprüche, wobei beim Bestimmen (13) des Konfidenzwertes (K) für das Vorliegen einer gewalttätigen Handlung Sensordaten (SD) zumindest eines weiteren Sensors (43) berücksichtigt werden.
Verfahren gemäß einem der vorherigen Ansprüche, wobei im Ansprechen auf das Vorliegen einer gewalttätigen Handlung eine Sicherheitsfunktion (64-67) ausgelöst wird (14).
Computerprogramm mit Instruktionen, die bei Ausführung durch einen Computer den Computer zur Ausführung der Schritte eines Verfahrens gemäß einem der Ansprüche 1 bis 7 zum Erkennen einer gewalttätigen Handlung einer Person (50) gegenüber einem Objekt (40, 51) veranlassen.
Vorrichtung (20) zum Erkennen einer gewalttätigen Handlung einer Person (50) gegenüber einem Objekt (40, 51), mit: - einem Erfassungsmodul (22) zum Erfassen (10) von Sensordaten (SD) mit Informationen zur Person (50) zu zwei oder mehr Zeitpunkten (t_i); - einem ersten Bestimmungsmodul (23) zum Bestimmen (11) von Posen (P1_i) der Person (50) für die zwei oder mehr Zeitpunkte (t_i) auf Grundlage der Sensordaten (SD); - einem Ermittlungsmodul (24) zum Ermitteln (12) einer Bewegung zumindest eines Körperteils der Person relativ zum Objekt (40, 51) aus einer zeitlichen Veränderung der Posen (P1_i) der Person (50); und - einem zweiten Bestimmungsmodul (25) zum Bestimmen (13) eines Konfidenzwertes (K) für das Vorliegen einer gewalttätigen Handlung auf Grundlage zumindest der ermittelten Bewegung des zumindest einen Körperteils.
Fortbewegungsmittel (40), dadurch gekennzeichnet, dass das Fortbewegungsmittel (40) eine Vorrichtung (20) gemäß Anspruch 9 zum Erkennen einer gewalttätigen Handlung einer Person (50) gegenüber einem Objekt (40, 51) aufweist oder eingerichtet ist, ein Verfahren gemäß einem der Ansprüche 1 bis 7 zum Erkennen einer gewalttätigen Handlung einer Person (50) gegenüber einem Objekt (40, 51) auszuführen.