DE102020215729A1

DE102020215729A1 - System und verfahren zum detektieren von abnormalem passagierverhalten in autonomen fahrzeugen

Info

Publication number: DE102020215729A1
Application number: DE102020215729.4A
Authority: DE
Inventors: Naveen Ramakrishnan; Stefan Weissert; Navalpakkan Krishnan Bharath; Ryan Burt; Alexander Hirsch; Ravi Kumar Satzoda; Yumi Kondo; Jayanta Kumar Dutta; Filipe Goncalves
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2019-12-17
Filing date: 2020-12-11
Publication date: 2021-06-17
Also published as: US11132585B2; US20210182617A1; CN112989915A; US11783636B2; US20210312238A1

Abstract

Offenbart werden ein Verfahren und System zum Überwachen von Passagieren in einem Innenraum eines Fahrzeugs und zum Ermitteln, ob die Passagiere an abnormalem Verhalten beteiligt sind. Das Verfahren und das System verwenden einen neuartigen Vektor zur robusten und numerischen Wiedergabe der Aktivität der Passagiere in einem dazugehörigen Bildrahmen, der hier als ein „Aktivitätsvektor“ bezeichnet ist. Zusätzlich wird von dem Verfahren und System ein Gaußsches Mischmodell verwendet, um zwischen normalem und abnormalem Passagierverhalten zu unterscheiden. Cluster-Komponenten des Gaußschen Mischmodells werden in vorteilhafter Weise unter Verwendung eines nicht überwachten Ansatzes erlernt, bei dem Trainingsdaten nicht markiert oder kommentiert sind, um normales und abnormales Passagierverhalten anzugeben. Auf diese Weise kann das Gaußsche Mischmodell bei sehr geringen Kosten trainiert werden.

Description

GEBIET
Die Einrichtung und das Verfahren, die in diesem Dokument offenbart sind, beziehen sich auf bordeigene Sensorsysteme und insbesondere auf das Detektieren von abnormalem Passagierverhalten in autonomen Fahrzeugen.
STAND DER TECHNIK
Sofern hier nicht anders angegeben, zählen die in diesem Abschnitt beschriebenen Materialien nicht zum Stand der Technik in Bezug auf die Ansprüche in dieser Anmeldung, und sie werden durch Aufnahme in diesen Abschnitt nicht in den Stand der Technik übernommen.
In naher Zukunft werden führerlose Autos wie für Mobilitätsdienste auf Abruf betriebene autonome Taxis eine wichtige Rolle im Transportwesen übernehmen. Für Passagiere, die einander nicht kennen, wird es bald übliche Praxis sein, ein autonomes Taxi zu teilen. Anders als bei einem traditionellen Taxi, in dem ein Fahrer die Passagiere überwachen kann, werden autonome Taxis Überwachungssysteme zum Überwachen der Sicherheit der Passagiere benötigen. Abnormale Verhaltensweisen von Passagieren, wie z. B. Gewalttätigkeiten, müssen detektiert und zu ihrer Verhinderung überwacht werden. Dementsprechend wäre es vorteilhaft, im Innenraum eines autonomen Fahrzeugs ein Überwachungssystem zum Überwachen von Passagieren bereitzustellen und abnormales Passagierverhalten intelligent zu detektieren.
ZUS AMMENF AS SUNG
Ein Verfahren zum Detektieren von abnormalem Passagierverhalten in einem Fahrzeug wird offenbart. Das Verfahren umfasst das Empfangen eines ersten Bildrahmens von mindestens einem Passagier in einem Innenraum des Fahrzeugs von einem Bildsensor mittels eines Verarbeitungssystems. Das Verfahren umfasst ferner, basierend auf dem ersten Bildrahmen, das Ermitteln eines ersten numerischen Vektors, der eine Pose und eine Bewegung des mindestens einen Passagiers in dem ersten Bildrahmen wiedergibt, mittels des Verarbeitungssystems. Das Verfahren umfasst ferner, basierend auf dem ersten numerischen Vektor, das Detektieren von abnormalem Passagierverhalten in dem ersten Bildrahmen mittels des Verarbeitungssystems unter Verwendung eines Mischmodells, dass eine Mehrzahl von Cluster-Komponenten aufweist, die normale Passagierverhaltensweisen darstellen.
Ein System zum Detektieren von abnormalem Passagierverhalten in einem Fahrzeug wird offenbart. Das System umfasst einen Bildsensor, ausgelegt zum Erzeugen und Ausgeben von Bildrahmen von mindestens einem Passagier in einem Innenraum des Fahrzeugs. Das System umfasst ferner ein mit dem Bildsensor wirkverbundenes Verarbeitungssystem, das mindestens einen Prozessor aufweist. Das Verarbeitungssystem ist ausgelegt zum Empfangen eines ersten Bildrahmens von dem Bildsensor. Das Verarbeitungssystem ist ferner ausgelegt zum Ermitteln, basierend auf dem ersten Bildrahmen, eines ersten numerischen Vektors, der eine Pose und eine Bewegung des mindestens einen Passagiers in dem ersten Bildrahmen wiedergibt. Das Verarbeitungssystem ist ferner ausgelegt zum Detektieren, basierend auf dem ersten numerischen Vektor, von abnormalem Passagierverhalten in dem ersten Bildrahmen unter Verwendung eines Mischmodells, dass eine Mehrzahl von Cluster-Komponenten aufweist, die normale Passagierverhaltensweisen darstellen.
Figurenliste
Die vorstehenden Aspekte und weitere Merkmale des Verfahrens und Systems sind in der folgenden Beschreibung in Zusammenhang mit den beigefügten Zeichnungen erläutert.

1 ist eine schematische Draufsicht eines Fahrzeugs mit einem Innenraumüberwachungssystem.
2 ist eine schematische Ansicht von Komponenten des Fahrzeugs und des Innenraumüberwachungssystems aus 1.
3 zeigt ein logisches Ablaufdiagramm für ein Verfahren zum Detektieren von abnormalem Passagierverhalten in einem Innenraum eines Fahrzeugs.
4 zeigt ein logisches Ablaufdiagramm für ein Verfahren zum Ableiten eines Aktivitätsvektors für einen Bildrahmen.
5 zeigt einen beispielhaften Bildrahmen, in dem zwei Passagiere auf dem Rücksitz des Fahrzeugs befördert werden.
6 zeigt eine beispielhafte Sequenz von fünf Bildrahmen, in denen zwei Passagiere auf dem Rücksitz des Fahrzeugs befördert werden.
7 zeigt einen weiteren beispielhaften Bildrahmen, in dem ein Passagier einen weiteren Passagier stößt.
8 zeigt ein Schaubild mit der Darstellung des Aktivitätsvektors, berechnet basierend auf dem beispielhaften Bildrahmen aus 7.

DETAILLIERTE BESCHREIBUNG
Zum Zweck der Erleichterung eines Verständnisses der Prinzipien der Offenbarung wird jetzt auf die in den Zeichnungen dargestellten und in der folgenden schriftlichen Spezifikation beschriebenen Ausführungsformen Bezug genommen. Es versteht sich, dass dadurch keine Einschränkung des Schutzumfangs der Offenbarung beabsichtigt wird. Es versteht sich ferner, dass die vorliegende Offenbarung beliebige Abänderungen und Modifikationen der dargestellten Ausführungsformen umfasst und dass sie weitere Anwendungen der Prinzipien der Offenbarung umfasst, die üblicherweise Fachleuten auf dem Gebiet in Zusammenhang mit dieser Offenbarung ersichtlich sind.
Systemüberblick
Mit Bezug auf 1-2 ist eine beispielhafte Ausführungsform eines Fahrzeugs 100 offenbart, das ein Innenraumüberwachungssystem 104 aufweist. Das Innenraumüberwachungssystem 104 ist in vorteilhafter Weise ausgelegt zum Überwachen von Passagieren in einem Innenraum 108 des Fahrzeugs 100 und zum Ermitteln, ob die Passagiere an abnormalem Verhalten beteiligt sind. Zusätzlich zu dem Innenraumüberwachungssystem 104 weist das Fahrzeug 100 eine elektronische Fahrzeug-Steuereinheit („ECU“) 112 auf, ausgelegt zum Betreiben eines Antriebssystems 116, sowie verschiedene Elektronikeinrichtungen des Fahrzeugs neben dem Innenraumüberwachungssystem 104, wie zum Beispiel Beleuchtung, Sperren, Lautsprecher, Anzeigen usw. Das Antriebssystem 116 des Fahrzeugs 100 weist einen Antriebsmotor auf, zum Beispiel einen Verbrennungsmotor und/oder einen oder mehrere Elektromotoren, die die Räder des Fahrzeugs 100 antreiben, und die Steuerungs- und Bremskomponenten, die die Bewegung des Fahrzeugs 100 auf kontrollierte Weise ermöglichen.
Bei der dargestellten Ausführungsform von 1 liegt das Fahrzeug 100 in Form eines Automobils vor. Bei anderen Ausführungsformen kann das Fahrzeug 100 jedoch eine beliebige Anzahl von Fahrzeugtypen umfassen, die einen oder mehrere Innenräume 108 zum Befördern von Personen aufweisen, wie zum Beispiel Züge, Busse, Untergrundbahnen, Luftfahrzeuge, Hubschrauber, Passagierdrohnen, Unterseeboote, Aufzüge und Fahrgastbeförderungsflächen. Der Innenraum 108 (der hier auch als ein Abteil bezeichnet sein kann) ist ein typischerweise geschlossener Raum zur Aufnahme von Passagieren. Obwohl das Fahrzeug 100 so dargestellt ist, dass es einen einzelnen Innenraum 108 aufweist, ist ersichtlich, dass das Fahrzeug 100 eine beliebige Anzahl individueller und separater Innenräume 108 aufweisen kann (z. B. mehrere Abteile oder Räume in einem Schienenfahrzeug). Bei der dargestellten Ausführungsform weist der Innenraum 108 vier Sitze 120, 122, 124, 126 auf, die Fahrgäste aufnehmen können. Der Innenraum 108 kann jedoch in Abhängigkeit von der Auslegung und dem Typ des Fahrzeugs 100 mehr oder weniger Sitze aufweisen. Das Fahrzeug 100 weist auch eine oder mehrere Türen (nicht dargestellt) auf, die Fahrgästen den Zugang zum Innenraum 108 und zu den Sitzen 120-126 ermöglichen. Zusätzlich kann das Fahrzeug 100 einen hinteren Laderaum (nicht dargestellt) aufweisen, der einem Benutzer den Zugang zu einem Gepäcksaufbewahrungsbereich des Fahrzeugs 100 ermöglicht, beispielsweise einem Kofferraum oder Ablageraum hinter den Rücksitzen 124, 126.
Bei mindestens einer Ausführungsform ist das Fahrzeug 100 ein gemeinsam genutztes autonomes Automobil, das ausgelegt ist zum Bereitstellen autonomer Beförderungsdienste, bei denen das Fahrzeug 100 autonom zum Standort eines Passagiers fährt und anschließend den Passagier, nachdem der Passagier das Fahrzeug 100 betreten hat, unter Verwendung des öffentlichen Straßennetzes zu einem gewünschten Ort befördert. Der Passagier kann die autonomen Beförderungsdienste des Fahrzeugs 100 beispielsweise unter Verwendung eines Smartphones oder einer Anwendung für intelligente Einrichtungen (d. h. einer „App“) beauftragen. Der Passagier wird hier auch als ein Fahrgast, ein Benutzer, ein Bediener oder eine Person bezeichnet. Bei anderen Ausführungsformen ist das Fahrzeug 100 ein beliebiger Typ eines Passagierfahrzeugs entsprechend der Beschreibung weiter oben, und bei einigen Ausführungsformen kann es durch Fahrgäste gesteuert oder ferngesteuert werden.
Das Innenraumüberwachungssystem 104 umfasst einen Fahrzeugrechner 130, der mit einem oder mehreren Bildsensoren 134, 138 wirkverbunden ist, die im gesamten Fahrzeug angeordnet sind. Die Bildsensoren 134, 138 können Video- oder Standbild-RGB-Kameras sein, die jeweils beispielsweise eine ladungsgekoppelte Einrichtung (CCD) oder einen aktiven Pixelsensor zum Erzeugen von digitalen Bilddaten in Form von Bildrahmen aufweisen. Bei anderen Ausführungsformen können die Bildsensoren 134, 138 thermische oder Infrarotsensoren, ein bildgebendes Radarsystem, ein bildgebendes LIDAR-System oder ein anderes geeignetes bildgebendes System aufweisen.
Bei der dargestellten Ausführungsform weist das Innenraumüberwachungssystem 104 zwei interne Bildsensoren 134, 138 auf, die in dem Innenraum 108 angeordnet und dafür ausgelegt sind, ein Bild eines Teils des Innenraums 108 zu erzeugen. Bei einer Ausführungsform sind die internen Bildsensoren 134, 138 in oder auf dem Dach des Fahrzeugs 100 angeordnet und zur Bildgebung nach unten in den Innenraum 108 in Richtung auf den dazugehörigen Sitz oder die dazugehörigen Sitze 120-126 angeordnet. Bei anderen Ausführungsformen können die internen Bildsensoren 134, 138 in den Sitzen oder in der Armaturentafel des Fahrzeugs 100 angeordnet sein. Beispielsweise sind bei einer besonderen Ausführungsform die Bildsensoren zur Bildgebung der Vordersitze 120, 122 in der Armaturentafel des Fahrzeugs 100 angeordnet, während die Bildsensoren zur Bildgebung der Rücksitze 124, 126 in dem Vordersitz 120, 122 angeordnet sind, der sich direkt vor dem dazugehörigen Rücksitz 124, 126 befindet. Bei einigen Ausführungsformen können zusätzliche externe Bildsensoren (nicht dargestellt) an einer Außenseite des Fahrzeugs 100 angeordnet sein, um ein Bild eines Teils der Außenseite des Fahrzeugs 100 zu erzeugen.
Bei der dargestellten Ausführungsform erzeugen die vorderen Bildsensoren 134 digitale Bilddaten des vorderen Innenraums, aufweisend die Vordersitze 120, 122, und der hintere Bildsensor 138 erzeugt digitale Bilddaten des Rückraums des Innenraums 108, aufweisend die Rücksitze 124, 126. Bei anderen Ausführungsformen kann das Innenraumüberwachungssystem 104 einen einzelnen Bildsensor aufweisen, der Bilder des gesamten Innenraums 108 erfasst, umfassend alle Sitze 120-126; einen separaten, auf jeden der Sitze 120-126 gerichteten Bildsensor; oder eine beliebige gewünschte Auslegung von Bildsensoren zum Erzeugen von digitalen Bildern von jedem Sitz in dem Fahrzeug.
Der Fahrzeugrechner 130 ist ausgelegt zum Verarbeiten von Bilddaten, die von einem oder mehreren der Bildsensoren 134, 138 empfangen werden, um Passagiere innerhalb der Kabine 108 des Fahrzeugs 100 zu überwachen und zu ermitteln, ob die Passagiere an abnormalem Verhalten beteiligt sind. Der Fahrzeugrechner 130 kann zusätzlich ausgelegt sein zum Durchführen anderer komplexer Aufgaben, wie z. B. autonomer Navigation des Fahrzeugs 100 und Interaktion mit den Fahrgästen oder einem Smartphone im Besitz des Fahrgasts, um autonome Beförderung des Fahrgasts bereitzustellen.
Mit Bezug auf 2 werden nun beispielhafte Komponenten des Fahrzeugrechners 130 des Innenraumüberwachungssystems 104 beschrieben. Bei der dargestellten Ausführungsform umfasst der Fahrzeugrechner 130 mindestens einen Prozessor 200 und dazugehörigen Speicher 204. Der Speicher 204 ist ausgelegt zum Speichern von Programmanweisungen, die es bei Ausführung durch den Prozessor 200 dem Fahrzeugrechner 130 ermöglichen, verschiedene, hier an anderer Stelle beschriebene Operationen durchzuführen, mindestens aufweisend die Überwachung von Passagieren in dem Innenraum 108 des Fahrzeugs 100 und das Ermitteln, ob die Passagiere an abnormalem Verhalten beteiligt sind. Der Speicher 204 kann ein beliebiger Typ einer Einrichtung sein, die für den Prozessor 200 zugängliche Information speichern kann, wie z. B. eine Speicherkarte, ROM, RAM, Festplatten, Disks, Flash-Speicher oder beliebige verschiedener anderer rechnerlesbarer Medien, die als Datenspeichereinrichtungen fungieren, wie es Fachleuten auf diesem Gebiet bekannt ist. Zusätzlich ist für Fachleute auf diesem Gebiet ersichtlich, dass ein „Prozessor“ beliebige Hardwaresysteme, Hardwaremechanismen oder Hardwarekomponenten aufweist, die Daten, Signale oder sonstige Information verarbeiten. Der Prozessor 200 kann ein System mit einer zentralen Verarbeitungseinheit, Grafikverarbeitungseinheiten, mehreren Verarbeitungseinheiten, dedizierter Schaltung zum Erzielen von Funktionalität, programmierbarer Logik oder anderen Verarbeitungssystemen aufweisen.
Bei der dargestellten Ausführungsform weist der Fahrzeugrechner 130 ferner eine Kommunikationsschnittstelle 208 auf, ausgelegt zum Aktivieren des Fahrzeugrechners 130 zum Kommunizieren mit den Bildsensoren 134, 138 und mit der Fahrzeug-ECU 112 über einen oder mehrere Kommunikationsbusse 142, die die Form von einem oder mehreren „Controller Area Network“-(CAN)-Bussen aufweisen können. Die Kommunikationsschnittstelle 212 kann physische Anschlüsse zum Verbinden mit kabelgebundenen Medien (z. B. den Kommunikationsbussen 142) aufweisen. Zusätzlich kann die Kommunikationsschnittstellenanordnung 212 ein oder mehrere Modems, Bus-Steuereinrichtungen (z. B. eine geeignete CAN-Bus-Steuereinrichtung) oder andere derartige Hardware aufweisen, ausgelegt zum Ermöglichen von Kommunikation mit den Bildsensoren 134, 138 und der Fahrzeug-ECU 112.
Bei der dargestellten Ausführungsform weist der Fahrzeugrechner 130 ferner einen oder mehrere Funk-Sendeempfänger 212 auf, ausgelegt zum Kommunizieren mit einem entfernten Server (z. B. einem Cloud-Dienst) sowie mit einem Smartphone oder einer anderen intelligenten Einrichtung im Besitz des Passagiers zum Zweck des Bereitstellens von autonomen Beförderungsdiensten. Die Funk-Sendeempfänger 212 können Sendeempfänger aufweisen, ausgelegt zum Kommunizieren mit dem Internet über drahtlose Telefonienetze, wie z. B. „Global System for Mobiles“-(„GSM“)- oder Codemultiplexverfahren-(„CDMA“)-Sendeempfänger. Zusätzlich können die Funk-Sendeempfänger 212 einen Bluetooth®- oder Wi-Fi- Sendeempfänger aufweisen, ausgelegt zum lokalen Kommunizieren mit einem Smartphone oder einer anderen intelligenten Einrichtung im Besitz des Passagiers.
Entsprechend der ausführlichen Beschreibung weiter unten speichert der Speicher 204 des Fahrzeugrechners 130 Programmanweisungen, die einem Detektionsprogramm 216 für abnormales Verhalten entsprechen. Das Detektionsprogramm 216 für abnormales Verhalten weist Programmanweisungen und erlernte Parameter auf, die einem Posendetektionsmodell 220 und einem Aktivitätsklassifizierungsmodell 224 entsprechen. Zusätzlich speichert der Speicher 204 Bilddaten 228, aufweisend von den Bildsensoren 134, 138 empfangene Bildrahmen, und Aktivitätsdaten 232, die die Aktivität der Passagiere in jedem Bildrahmen wiedergeben.
Verfahren zum Detektieren von abnormalem Passagierverhalten
Das Innenraumüberwachungssystem 104 ist in vorteilhafter Weise ausgelegt zum Überwachen von Passagieren in dem Innenraum 108 des Fahrzeugs 100 und zum Ermitteln, ob die Passagiere an abnormalem Verhalten beteiligt sind. Lediglich zum Zweck der Erläuterung wird angegeben, dass abnormale Passagierverhaltensweisen gewaltbetonte Verhaltensweisen umfassen können wie Streitigkeiten, Kämpfe, Handgreiflichkeiten, Tritte, Schläge, Stöße oder Handberührungen sowie nicht gewalttätige Verhaltensweisen wie Entkleidung. Normales Passagierverhalten kann dagegen Verhaltensweisen umfassen wie Gespräche, Berührungen, Umarmungen, stilles Sitzen, Kaffee trinken oder Übereinanderschlagen der Beine.
Wie im Folgenden ausführlicher erörtert, verwendet das Innenraumüberwachungssystem 104 einen neuartigen Vektor zur robusten numerischen Wiedergabe der Aktivität der Passagiere in einem entsprechenden Rahmen, der hier als ein „Aktivitätsvektor“ für den dazugehörigen Bildrahmen bezeichnet wird. Zusätzlich weist das Aktivitätsklassifizierungsmodell 224 ein Mischmodell auf, insbesondere ein Gaußsches Mischmodell (GMM), das von dem Innenraumüberwachungssystem 104 verwendet wird zum Unterscheiden zwischen normalem und abnormalem Passagierverhalten. Insbesondere wird, basierend auf Trainingsdaten in Form von Videoaufzeichnungen von im Innenraum 108 des Fahrzeugs 100 beförderten Passagieren, Gaußsche Mischmodellierung verwendet, um Cluster-Komponenten zu erlernen, die Aktivitätsvektoren wiedergeben, die normalem Passagierverhalten entsprechen. Somit kann das Innenraumüberwachungssystem 104 ermitteln, ob die Passagiere an abnormalem Verhalten beteiligt sind, indem Aktivitätsvektoren, die tatsächliches Passagierverhalten wiedergeben, mit den erlernten Cluster-Komponenten verglichen werden, die normales Passagierverhalten wiedergeben. Somit wird ersichtlich, dass sich entsprechend der hier wiedergegebenen Verwendung mit Bezug auf das Aktivitätsklassifizierungsmodell 224 und/oder das Mischmodell daraus die Begriffe „abnormales Verhalten“ oder „abnormales Passagierverhalten“ lediglich auf Passagierverhalten beziehen, dass in den Trainingsdaten ungewöhnlich oder selten ist, und den Begriffen wird keine besondere qualitative oder wertbasierte Bedeutung zugeschrieben.
In vorteilhafter Weise kann ein nicht überwachter Ansatz verwendet werden, bei dem die Trainingsdaten nicht markiert oder gekennzeichnet sind, um normales und abnormales Passagierverhalten anzugeben. Insbesondere kann, da abnormale Verhaltensweisen wie Gewalttätigkeit im Allgemeinen selten sind, nicht kommentierte Videoaufzeichnung von im Innenraum 108 des Fahrzeugs 100 beförderten Passagieren verwendet werden, um die Cluster-Komponenten zu erlernen, die normales Passagierverhalten wiedergeben. Dieser nicht überwachte Ansatz ist vorteilhaft, da bei sehr geringen Kosten eine umfangreiche Sammlung von Trainingsdaten erfasst und zum Training verwendet werden kann. Zusätzlich wäre, da die Definition von abnormalem Verhalten wie zum Beispiel Gewalttätigkeit zwischen Individuen unterschiedlich ist, auch die Qualität der Kommentierungen bei überwachten Ansätzen fragwürdig, wodurch sich wiederum eine schlechte Leistungscharakteristik ergeben würde. Da abnormales Verhalten wie Gewalttätigkeit in der Praxis selten auftritt, wäre es bei überwachten Ansätzen zudem schwierig, das gesamte mögliche abnormale Verhalten in Trainingsdaten zusammenzuführen. Ferner neigen überwachte Ansätze dazu, auf stark individuell erstellten Merkmalen zu beruhen, die mit den vorhandenen Trainingsdaten möglicherweise gut funktionieren, die aber nicht verallgemeinert werden können, um künftiges abnormales Verhalten zu detektieren, wenn sich dieses von dem abnormalen Verhalten in den Trainingsdaten unterscheidet.
3 zeigt ein logisches Ablaufdiagramm für ein Verfahren 300 zum Detektieren von abnormalem Passagierverhalten in einem Innenraum eines Fahrzeugs. In der Beschreibung des Verfahrens 300 beziehen sich Aussagen darüber, dass ein Verfahren, Prozess, Modul, Prozessor, System oder dergleichen Aufgaben oder Funktionen durchführt, auf eine Steuereinrichtung oder einen Prozessor (z. B. den Prozessor 200), die/der programmierte Anweisungen ausführt (z. B. die Programmanweisungen 208), die in nicht vorübergehenden rechnerlesbaren Speichermedien (z. B. dem Speicher 204) gespeichert sind, die mit der Steuereinrichtung oder dem Prozessor wirkverbunden sind, um Daten zu manipulieren oder eine oder mehrere Komponenten in dem Innenraumüberwachungssystem 108 und/oder dem Fahrzeug 100 zum Durchführen der Aufgabe oder Funktion zu betreiben. Zusätzlich können die Schritte der Verfahren ungeachtet der in den Figuren gezeigten Reihenfolge oder der Reihenfolge, in der die Schritte beschrieben sind, in beliebiger machbarer chronologischer Reihenfolge ausgeführt werden. Es ist ersichtlich, dass bei einigen Ausführungsformen die Operationen des hier beschriebenen Prozessors 200 durch andere Komponenten des Fahrzeugs 100 und/oder des Innenraumüberwachungssystems 108 durchgeführt werden können, wie z. B. die Fahrzeug-ECU 112 oder integrierte Bildprozessoren der Sensoren 134, 138. Zusätzlich können bei einigen Ausführungsformen die Operationen des hier beschriebenen Prozessors 200 durch einen entfernten Server durchgeführt werden, wie z. B. bei einem Cloud-Rechensystem.
Das Verfahren 300 beginnt mit einem Schritt des Empfangens eines Bildrahmens und des Heraufsetzens eines Rahmenzählers (Block 310). Insbesondere betreibt der Prozessor 200 des Fahrzeugrechners 130 mindestens einen der Bildsensoren 134, 138, um einen Video-Feed zu empfangen, bestehend aus einer Sequenz von Bildrahmen mit einer definierten Rahmenrate (z. B. 25 Bildrahmen pro Sekunde). Bei mindestens einer Ausführungsform speichert der Prozessor 200 die empfangenen Bildrahmen in dem Speicher 204 als Bilddaten 228. Es versteht sich, dass jeder Bildrahmen ein zweidimensionales Pixel-Array umfasst. Jedes Pixel weist mindestens entsprechende fotometrische Information auf (z. B. Intensität, Farbe und/oder Helligkeit). Bei einigen Ausführungsformen können die Bildsensoren 134, 138 auch ausgelegt sein zum Erfassen von geometrischer Information (z. B. Tiefe und/oder Distanz), die jedem Pixel entspricht. Bei derartigen Ausführungsformen können die Bildsensoren 134, 138 beispielsweise die Form von zwei RGB-Kameras aufweisen, ausgelegt zum Erfassen von stereoskopischen Bildern, aus denen Tiefen- und/oder Distanzinformation abgeleitet werden kann, und/oder von einer RGB-Kamera mit einer dazugehörigen IR-Kamera, ausgelegt zum Bereitstellen von Tiefen- und oder Distanzinformation.
Wie weiter unten erörtert, werden bei mindestens einigen Ausführungsformen bestimmte Prozesse des Verfahrens 300 mit Bezug auf jeden Bildrahmen durchgeführt, während andere Prozesse nur für jeweils festgelegte Bildrahmen (z. B. nach jeweils 75 Bildrahmen oder nach jeweils drei Sekunden) durchgeführt werden. Wie im Folgenden beschrieben, kann dies in Form eines Hyperparameters detect_every_frame beschrieben werden, der einen numerischen Wert (z. B. 75) aufweist. Dementsprechend ist bei mindestens einigen Ausführungsformen der Prozessor 200 des Fahrzeugrechners 130 beim Empfangen und Verarbeiten jedes Bildrahmens ausgelegt zum Heraufsetzen eines Rahmenzählers frame count, der beispielsweise in dem Speicher 204 gespeichert ist.
Das Verfahren 300 fährt fort mit einem Schritt des Ableitens eines Aktivitätsvektors, basierend auf dem Bildrahmen (Block 320). Insbesondere berechnet der Prozessor 200 des Fahrzeugrechners 130 einen Aktivitätsvektor X_i für jeden von den Bildsensoren 134, 138 empfangenen Bildrahmen, wobei i einen Index des Bildrahmens angibt. Entsprechend der hier wiedergegebenen Verwendung bezieht sich ein „Aktivitätsvektor“ auf einen numerischen Vektor, der mindestens (i) eine Pose mindestens eines Passagiers in dem Bildrahmen und (ii) eine Bewegung des mindestens einen Passagiers in dem Bildrahmen wiedergibt. Entsprechend der hier wiedergegebenen Verwendung bezieht sich eine „Pose“ eines Passagiers auf eine Position, Haltung, Ausrichtung oder dergleichen des Passagiers. Insbesondere gibt der Aktivitätsvektor bei den hier beschriebenen detaillierten Ausführungsformen die Positionen einer Mehrzahl von Schlüsselpunkten wieder, die bestimmten Gelenken und Körperteilen jedes Passagiers in dem Bildrahmen entsprechen, sowie Richtungen und Geschwindigkeiten der Bewegung dieser Schlüsselpunkte.
4 zeigt ein logisches Ablaufdiagramm für ein Verfahren 400 zum Ableiten eines Aktivitätsvektors für einen Bildrahmen. In der Beschreibung des Verfahrens 400 beziehen sich Aussagen darüber, dass ein Verfahren, Prozess, Modul, Prozessor, System oder dergleichen Aufgaben oder Funktionen durchführt, auf eine Steuereinrichtung oder einen Prozessor (z. B. den Prozessor 200), die/der programmierte Anweisungen ausführt (z. B. die Programmanweisungen 208), die in nicht vorübergehenden rechnerlesbaren Speichermedien (z. B. dem Speicher 204) gespeichert sind, die mit der Steuereinrichtung oder dem Prozessor wirkverbunden sind, um Daten zu manipulieren oder eine oder mehrere Komponenten in dem Innenraumüberwachungssystem 108 und/oder dem Fahrzeug 100 zum Durchführen der Aufgabe oder Funktion zu betreiben. Zusätzlich können die Schritte der Verfahren ungeachtet der in den Figuren gezeigten Reihenfolge oder der Reihenfolge, in der die Schritte beschrieben sind, in beliebiger machbarer chronologischer Reihenfolge ausgeführt werden. Es ist ersichtlich, dass bei einigen Ausführungsformen die Operationen des hier beschriebenen Prozessors 200 durch andere Komponenten des Fahrzeugs 100 und/oder des Innenraumüberwachungssystems 108 durchgeführt werden können, wie z. B. die Fahrzeug-ECU 112 oder integrierte Bildprozessoren der Sensoren 134, 138 usw. Zusätzlich können bei einigen Ausführungsformen die Operationen des hier beschriebenen Prozessors 200 durch einen entfernten Server durchgeführt werden, wie z. B. bei einem Cloud-Rechensystem.
Bei einem gegebenen Bildrahmen beginnt das Verfahren 400 mit einem Schritt des Detektierens von Schlüsselpunkten für jeden von (e) Passagieren in dem Bildrahmen (Block 410). Insbesondere detektiert der Prozessor 200 des Fahrzeugrechners 130 unter Verwendung des Posendetektionsmodells 220 eine Mehrzahl von Schlüsselpunkten, die bestimmten Gelenken oder Körperteilen jedes Passagiers in dem Bildrahmen entsprechen. Bei mindestens einer Ausführungsform detektiert der Prozessor 200 auch die Anzahl von Passagieren (e) in dem Bildrahmen unter Verwendung des Posendetektionsmodells 220. Bei mindestens einer Ausführungsform umfasst das Posendetektionsmodell 220 ein tiefes neuronales Netzwerk (DNN), das basierend auf einer Sammlung von Trainingsdaten (die sich von den weiter oben erörterten Trainingsdaten zum Trainieren des GMM des Aktivitätsklassifizierungsmodells 224 unterscheiden) trainiert worden ist. Der Prozessor 200 führt Programmanweisungen des Posendetektionsmodells 220 mit Bezug auf eine Gruppe erlernter Parameter, Gewichte und/oder Kernel-Werte aus, die während des Trainings des Posendetektionsmodells 220 erlernt worden sind, um die Mehrzahl von Schlüsselpunkten für jeden Passagier zu detektieren. Bei mindestens einer Ausführungsform liegt jeder Schlüsselpunkt in Form eines zweidimensionalen Koordinatenpaars (x_t, y_t) vor, wobei x_t eine horizontale Position in dem Bildrahmen wiedergibt, y_t eine vertikale Position in dem Bildrahmen wiedergibt und t eine Zeitangabe oder Rahmennummer des Bildrahmens wiedergibt. Es versteht sich jedoch, dass dreidimensionale Koordinaten-Tripel ebenfalls verwendet werden können, falls die Bildsensoren 134, 138 Tiefen- und/oder Distanzinformation bereitstellen.
5 zeigt einen beispielhaften Bildrahmen 500, bei dem zwei Passagiere auf dem Rücksitz des Fahrzeugs 100 befördert werden. Eine Mehrzahl von Schlüsselpunkten 510 ist für jeden der zwei Passagiere angegeben. Bei dem dargestellten Beispiel ist das Posendetektionsmodell 220 ausgelegt zum Detektieren von 25 Schlüsselpunkten, aufweisend: (1) rechtes Auge, (2) linkes Auge, (3) Nase, (4) rechtes Ohr, (5) linkes Ohr, (6) Hals, (7) rechte Schulter, (8) linke Schulter, (9) rechter Ellbogen, (10) linker Ellbogen, (11) rechtes Handgelenk, (12) linkes Handgelenk, (13) Hüfte rechts, (14) Hüfte Mitte, (15) Hüfte links, (16) rechtes Knie, (17) linkes Knie, (18) rechter Knöchel, (19) linker Knöchel, (20) Ferse rechts, (21) Ferse links, (22) großer Zeh rechts, (23) großer Zeh links, (24) kleiner Zeh rechts und (25) kleiner Zeh links. Es versteht sich jedoch, dass bestimmte Schlüsselpunkte 510 außerhalb des Rahmens liegen oder bei einem besonderen Bildrahmen verdeckt sein können.
Bei mindestens einer Ausführungsform ist der Prozessor 200 ausgelegt zum Glätten von Koordinatenwerten, die von dem Posendetektionsmodell 220 für die Schlüsselpunkte jedes Passagiers vorhergesagt werden. Insbesondere können die durch das Posendetektionsmodell 220 bereitgestellten vorhergesagten Koordinatenwerte aufgrund von Einschränkungen bei der Modellperformanz eine gewisse Instabilität zwischen Bildrahmen aufweisen. Um derartige Artefakte zu beheben, ist der Prozessor 200 ausgelegt zum Berechnen der Koordinatenwerte für jeden Schlüsselpunkt als Durchschnitt einer Sequenz vorhergesagter Koordinatenwerte des Posendetektionsmodells 220. Im Einzelnen berechnet der Prozessor 200 die Koordinatenwerte für jeden Schlüsselpunkt für einen Zeitpunkt oder eine Rahmennummer t entsprechend der Gleichung: $(x_{t}, y_{t}) = (M e d i a n_{k = t, t - 1 \dots, t - P o s e_{s m o o t h}} (x_{k}^{*}), M e d i a n_{k = t, t - 1 \dots, t - P o s e_{s m o o t h}} (y_{k}^{*})),$
wobei $(x_{t}^{*}, y_{t}^{*})$
vom Posendetektionsmodell 220 zu einem Zeitpunkt oder einer Rahmennummer t bereitgestellte vorhergesagte Koordinatenwerte sind und Pose_smooth ein ganzzahliger Glättungshyperparameter ist (z. B. 10). Anders ausgedrückt, berechnet der Prozessor 200 die Koordinatenwerte für jeden Schlüsselpunkt als einen Durchschnitt der vorhergesagten Koordinatenwerte für den aktuellen Bildrahmen und vorhergesagte Koordinatenwerte für eine vorbestimmte Anzahl Pose_smooth vorangegangener Bildrahmen.
Wiederum in 4 fährt das Verfahren 400 fort mit einem Schritt des Ermittelns eines optischen Strömungsvektors für jeden Schlüsselpunkt (Block 420). Insbesondere berechnet der Prozessor 200 des Fahrzeugrechners 130 einen optischen Strömungsvektor für jeden Schlüsselpunkt, der eine Richtung und Geschwindigkeit der Bewegung für einen dazugehörigen Schlüsselpunkt wiedergibt. Bei einigen Ausführungsformen berechnet der Prozessor 200 jeden optischen Strömungsvektor für einen Schlüsselpunkt als eine Differenz zwischen den Koordinatenwerten für den Schlüsselpunkt in dem aktuellen Bildrahmen und den Koordinatenwerten für den Schlüsselpunkt in einem vorangegangenen Bildrahmen. Insbesondere berechnet der Prozessor 200 bei einer Ausführungsform den optischen Strömungsvektor für einen Schlüsselpunkt für einen Zeitpunkt oder eine Rahmennummer t entsprechend der Gleichung: $(x_{t_{f l o w}}, y_{t_{f l o w}}) = (x_{t} - x_{t - F l o w_{s m o o t h}}, y_{t} - y_{t - F l o w_{s m o o t h}}),$
wobei $(x_{t_{f l o w}}, y_{t_{f l o w}})$
der optische Strömungsvektor für den Schlüsselpunkt (x_t, y_t) zu dem Zeitpunkt t ist und Flow_smooth ein ganzzahliger Glättungshyperparameter ist (z. B.
6 zeigt eine beispielhafte Sequenz 600 von fünf Bildrahmen, bei denen zwei Passagiere auf dem Rücksitz des Fahrzeugs 100 befördert werden. Ein optischer Strömungsvektor für einen Schlüsselpunkt, der dem linken Ohr des Passagiers auf der rechten Seite der Bildrahmen entspricht, wird durch Vergleichen der Koordinatenwerte des Schlüsselpunkts des linken Ohrs in einem Rahmen bei t = 5 mit den Koordinatenwerten des Schlüsselpunkts für das linke Ohr in einem Rahmen bei t = 2 berechnet.
Wiederum in 4 fährt das Verfahren 400 fort mit einem Schritt des Sortierens von Schlüsselpunkten für jeden Passagier in Zellen eines a × b - Rasters, basierend auf zugehörigen Koordinaten, und in ein d-Klassen-Histogramm für jede Zelle, basierend auf zugehörigen optischen Strömungswinkeln (Block 430). Insbesondere werden die empfangenen Bildrahmen aufgeteilt auf Zellen eines a × b-Rasters, wobei a ein ganzzahliger Rasterhöhen-Hyperparameter ist (z. B. 7) und b ein ganzzahliger Rasterbreiten-Hyperparameter ist (z. B. 13). Jede Zelle des a × b-Rasters gibt einen Bereich von horizontalen Koordinatenwerten und einen Bereich von vertikalen Koordinatenwerten in dem Bildrahmen wieder. Bei mindestens einer Ausführungsform weist jede Zelle des a × b-Rasters eine gleiche Größe auf. Beispielsweise ist mit Bezug auf 5 der beispielhafte Bildrahmen 500 aufgeteilt in ein 7 × 13-Raster von Zellen 520. Die Sequenz 600 von fünf Bildrahmen aus 6 ist in ähnlicher Weise in Zellraster aufgeteilt.
Zusätzlich ist ein d-Klassen-Histogramm (z. B. ein 3-Klassen-Histogramm) für jeden Passagier jeder Zelle des a × b-Rasters definiert. Jede der d Klassen in jedem Histogramm gibt einen Bereich optischer Strömungswinkel wieder. Beispielsweise könnte ein 3-Klassen-Histogramm eine erste Klasse aufweisen, die einen Bereich optischer Strömungswinkel von 0° - 120° wiedergibt; eine zweite Klasse, die einen Bereich optischer Strömungswinkel von 120° - 240° wiedergibt; und eine dritte Klasse, die einen Bereich optischer Strömungswinkel von 240° - 360° wiedergibt. Die optischen Strömungswinkel können in Bezug auf beliebige willkürliche Nullwinkel gelten, wie zum Beispiel mit Bezug auf die horizontale x-Achse des Bildrahmens und/oder das a × b-Raster. Es ist ersichtlich, dass der optische Strömungswinkel eines optischen Strömungsvektors in Bezug auf die horizontale x-Achse gemäß der Gleichung $θ_{t_{f l o w}} = {tan}^{- 1} (y_{t_{f l o w}} / x_{t_{f l o w}})$
berechnet werden kann, wobei $θ_{t_{f l o w}}$
der optische Strömungswinkel eines optischen Strömungsvektors $(x_{t_{f l o w}}, y_{t_{f l o w}})$
für den Schlüsselpunkt (x_t, y_t) zum Zeitpunkt t ist.
Der Prozessor 200 sortiert die Schlüsselpunkte für jeden einzelnen Passagier in die Zellen des a × b-Rasters mittels Vergleichens der Koordinatenwerte der Schlüsselpunkte mit den Bereichen von Werten, die jeder einzelnen Zelle des a × b-Rasters entsprechen. Anders ausgedrückt, sortiert der Prozessor 200, falls die Koordinatenwerte (x_t, y_t) für einen Schlüsselpunkt innerhalb des Wertebereichs sind, der eine bestimmte Zelle des a × b-Rasters definiert, den Schlüsselpunkt in die betreffende bestimmte Zelle des a × b-Rasters. Anschließend sortiert der Prozessor 200 die Schlüsselpunkte für jeden Passagier in jeder Zelle des a × b-Rasters in eine der Klassen in dem dazugehörigen d-Klassen-Histogramm für den entsprechenden Passagier in der dazugehörigen Zelle des a × b-Rasters, mittels Vergleichens der optischen Strömungswinkel der Schlüsselpunkte mit den Bereichen des Wertebereichs optischer Strömungswinkel für die dazugehörigen Klassen der Histogramme. Falls, anders ausgedrückt, ein Schlüsselpunkt einen optischen Strömungswinkel innerhalb des durch eine bestimmte Klasse definierten Bereichs des Wertebereichs optischer Strömungswinkel aufweist, sortiert der Prozessor dann den Schlüsselpunkt in die betreffende Klasse. Es ist ersichtlich, dass, da a × b Zellen vorliegen, die jeweils ein d-Klassen-Histogramm für jeden der e Passagiere aufweisen, jeder Schlüsselpunkt somit in eine zugehörige von a × b × d × e unterschiedlichen Klassen sortiert wird, in Abhängigkeit von ihren Koordinatenwerten (x_t, y_t) und ihrem optischen Strömungswinkel $θ_{t_{f l o w}} .$
Das Verfahren 400 fährt fort mit einem Schritt des Berechnens eines numerischen Wertes für j ede Histogrammklasse jeder Zelle für jeden Passagier, sodass sich für den gegebenen Bildrahmen ein Aktivitätsvektor ergibt (Block 440). Insbesondere berechnet der Prozessor 200 für jede Klasse jedes Histogramms in jeder Zelle für jeden Passagier einen numerischen Wert gleich einer Summe der Größenordnungen der optischen Strömungsvektoren der Schlüsselpunkte, die in die entsprechende Klasse sortiert worden sind. Im Einzelnen berechnet der Prozessor 200 die Größenordnung des optischen Strömungsvektors für jeden Schlüsselpunkt. Es versteht sich, dass die Größenordnung eines optischen Strömungsvektors gemäß der Gleichung $M_{t_{f l o w}}^{2} = x_{t_{f l o w}}^{2} + y_{t_{f l o w}}^{2}$
berechnet werden kann, wobei $M_{t_{f l o w}}$
die Größenordnung eines optischen Strömungsvektors $(x_{t_{f l o w}}, y_{t_{f l o w}})$
für den Schlüsselpunkt (x_t, y_t) zum Zeitpunkt t ist. Schließlich berechnet der Prozessor 200 den numerischen Wert für jede Klasse als eine Summe der Größenordnungen der optischen Strömungsvektoren für die Schlüsselpunkte, die in die entsprechende Klasse sortiert worden sind. Diese berechneten numerischen Werte bilden einen Aktivitätsvektor X_i mit Dimensionen a × b × d × e für den Bildrahmen, wobei i einen Index des Bildrahmens angibt. Es ist ersichtlich, dass die Größenordnung der berechneten numerischen Werte in Bezug auf den Aktivitätsumfang in dem Bildrahmen in der entsprechenden, durch die dazugehörige Zelle und Histogrammklasse definierten Region und Richtung skaliert sind. Auf diese Weise codiert der Aktivitätsvektor X_i die Bewegungen und/oder die Aktivität der zwei Passagiere in dem Bildrahmen in einer numerischen Form, die einfacher evaluiert werden kann.
7 zeigt einen weiteren beispielhaften Bildrahmen 700, in dem ein Passagier einen anderen Passagier stößt. 8 zeigt ein Schaubild 800 mit der Darstellung des basierend auf dem Bildrahmen 700 berechneten Aktivitätsvektors. In dem Schaubild 800 entsprechen die Zellen 810 Zellen 710 des beispielhaften Bildrahmens 700. In jeder Zelle 810 des Schaubilds 800 ist für jeden der Passagiere ein 3-Klassen-Histogramm gezeigt. Insbesondere sind die optischen Strömungsvektoren und Schlüsselpunkte für Passagiere auf der rechten Seite des Bildrahmens 700 im Schaubild 800 mit durchgängig schwarzen Histogrammklassen 820 wiedergegeben. Dagegen sind die optischen Strömungsvektoren und Schlüsselpunkte für Passagiere auf der linken Seite des Bildrahmens 700 im Schaubild 800 mit diagonal schraffierten Histogrammklassen 830 wiedergegeben. Die Höhen jeder Histogrammklasse entsprechen den berechneten numerischen Werten des Aktivitätsvektors X_i. Wie ersichtlich ist, liegt nur minimale Überlappung von Schlüsselpunkten für die beiden Passagiere vor (d. h. nur eine Zelle zeigt Histogramme für beide Passagiere). Wie ersichtlich ist, zeigen zusätzlich die Zellen, die dem linken Arm des Passagiers auf der linken Seite des Bildrahmens 700 entsprechen, diagonal schraffierte Histogrammklassen, die vergleichsweise große Höhen aufweisen und eine Bewegung vergleichsweise großer Größenordnung angeben (d. h. schnelle Bewegung).
Wiederum in 3 fährt das Verfahren 300 mit einem Schritt der Klassifizierung des Bildrahmens in einen Cluster fort, der basierend auf dem Aktivitätsvektor eine größte A-posteriori-Wahrscheinlichkeit aufweist (Block 330). Insbesondere ermittelt der Prozessor 200 für jeden Bildrahmen, welcher einer Mehrzahl von erlernten Cluster-Komponenten C_i des Aktivitätsvektors X_i am wahrscheinlichsten entspricht. Im Einzelnen führt der Prozessor 200 Programmanweisungen des Aktivitätsvektorklassifizierungsmodells 224 mit Bezug auf eine Mehrzahl von erlernten Cluster-Komponenten C_i aus, um den Aktivitätsvektor X_i so zu klassifizieren, dass er mit größter Wahrscheinlichkeit zu einer besonderen erlernten Cluster-Komponente C_i gehört. Anders ausgedrückt, wird die Cluster-Komponente C_i als eine latente Variable behandelt, die die in dem Bildrahmen wiedergegebene Aktivitätsklasse beschreibt und basierend auf dem gemessenen Aktivitätsvektor X_i vorhergesagt wird.
Wie weiter oben erwähnt, umfasst das Aktivitätsklassifizierungsmodell 224 ein Gaußsches Mischmodell (GMM), dass eine Mehrzahl von Cluster-Komponenten C_i definiert, die normalem Passagierverhalten entsprechen. Die Cluster-Komponenten C_i umfassen jeweils eine Normalverteilung N(µ_c, Σ_c) über die Dimensionen a × b × d × e (d. h. die gleichen Dimensionen der Aktivitätsvektoren X_i), wobei µ_c ein Cluster-Zentrum und/oder Medianwert ist, der Dimensionen a × b × d × e aufweist, und Σ_c eine Dimensionen a × b × d × e aufweisende Covarianzmatrix ist. Das GMM des Aktivitätsklassifizierungsmodells 224 wird durch k unterschiedliche Cluster-Komponenten C_i gebildet. Anders ausgedrückt, ist der Aktivitätsvektor pro Rahmen bei gegebener Cluster-Komponente von der p-dimensionalen multivariaten Normalen: $C \sim C a t e g o r i c a l (p_{1}, p_{2}, \dots p_{K})$
$X_{i} | C_{i} = c \sim N (μ_{c}, \sum_{c}),$
wobei die Variable C eine kategorische Verteilung mit K unterschiedlichen Kategorien ist, p₁, p₂, ...p_K Dichtefunktionen mit Dimensionen a × b × d × e sind, die die Möglichkeit angeben, dass die Variable C den bestimmten Wert c annimmt, und N(µ_c Σ_c) die Normalverteilung für einen bestimmten Wert c ist.
Basierend auf dem Aktivitätsvektor X_i für den bestimmten Bildrahmen, klassifiziert der Prozessor 200 den Bildrahmen in die Cluster-Komponente C_i mit der höchsten A-posteriori-Wahrscheinlichkeit gemäß der Gleichung: $c_{i} = {argmax}_{k} Pr (C_{i} = k | X_{i}) .$
Anders ausgedrückt, berechnet der Prozessor 200 für jeden Wert i = 1, ..., k die A-posteriori-Wahrscheinlichkeit Pr(C_i = k | X_i), die eine Wahrscheinlichkeit angibt, dass der Aktivitätsvektor X_i zu der bestimmten Cluster-Komponente C_i gehört. Der Prozessor klassifiziert den Aktivitätsvektor X_i als zu der Cluster-Komponente C_i zugehörig, die die höchste A-posteriori-Wahrscheinlichkeit Pr(C_i = k | X_i) aufweist. Die Cluster-Komponente C_i, zu der der Aktivitätsvektor X_i gehört, ist hier als c_i bezeichnet. Bei mindestens einer Ausführungsform speichert der Prozessor 200 die ermittelte Cluster-Komponente c_i, zu der der Aktivitätsvektor X_i höchstwahrscheinlich gehört, in dem Speicher 204.
Wie weiter oben angedeutet, wird vor dem Einsatz des Innenraumüberwachungssystems 104 die Mehrzahl von Cluster-Komponenten C_i basierend auf nicht markierten Trainingsdaten in Form von Videoaufzeichnungen von Passagieren, die im Innenraum 108 des Fahrzeugs 100 befördert werden, erlernt. Insbesondere wird eine große Gruppe von Trainingsaktivitätsvektoren aus den Bildrahmen des Trainingsvideos in der weiter oben mit Bezug auf 4 beschriebenen Weise abgeleitet. Die große Gruppe von Trainingsaktivitätsvektoren X_i wird verwendet, um das GMM abzuleiten, dass k unterschiedliche Cluster-Komponenten C_i aufweist, die die große Gruppe von Trainingsaktivitätsvektoren X_i am besten modellieren. Die unbekannten Parameter µ_c und Σ_c für jede Cluster-Komponente C_i werden unter Verwendung des Erwartungs-Maximierungs-Algorithmus geschätzt.
Zusätzlich ist ersichtlich, dass GMMs erfordern, dass die Anzahl von Cluster-Komponenten k vorbestimmt ist. Bei mindestens einer Ausführungsform wird die Anzahl von Cluster-Komponenten k durch Akaike-Informationskriterien (AIC) ausgewählt. AIC ist definiert als: $AIC = 2 ln P - ln L,$
$\begin{matrix} L = f ({X_{i}}_{i = 1}^{n}; {μ_{l}, \sum_{l} c_{l}}_{l = 1}^{K}) \\ = \prod_{i = 1}^{n} f (X_{i}; {μ_{l}, \sum_{l} c_{l}}_{l = 1}^{K}) \\ = \prod_{i = 1}^{n} f (X_{i} | C_{i} = c; μ_{c}, \sum_{c}) f (C_{i} = c; p_{c}) \\ = \prod_{i = 1}^{n} N (X_{i}; μ_{c}, \sum_{c}) p_{c}, \end{matrix}$
wobei P die Anzahl unbekannter Parameter ist (d. h. µ_l, , Σ_l und c_l, wobei l = 1, ..., K), die geschätzt werden sollen, und L die Wahrscheinlichkeitsfunktion ist oder, anders ausgedrückt, die Dichte bei beobachteten Trainingsaktivitätsvektoren X_i, i = 1, ..., n, wobei n die Gesamtzahl von Trainingsaktivitätsvektoren X_i ist.
Ein kleinerer AIC-Wert gibt bessere Eignung des Modells an, während die Verwendung eines komplexen Modells, gemessen anhand der Anzahl unbekannter Parameter P, nachteilig ist. Bei einer Ausführungsform wird der AIC-Wert für einen vorbestimmten Wertebereich für k (z. B. k = 1, ... ,20) berechnet, und der Wert von k, der den niedrigsten AIC-Wert ergibt, wird zum Ableiten des GMM des Aktivitätsklassifizierungsmodells 224 verwendet.
Bei mindestens einer Ausführungsform wird dieser Trainingsprozess ausschließlich für unterschiedliche Anzahlen von Passagieren unter Verwendung nicht markierter Trainingsdaten in Form von Videoaufzeichnung der entsprechenden Anzahl von Passagieren durchgeführt, die im Innenraum 108 des Fahrzeugs 100 befördert werden. Insbesondere können entsprechende Mehrheiten von Cluster-Komponenten C_i für einen einzelnen allein beförderten Passagier, für zwei gemeinsam beförderte Passagiere, für drei gemeinsam beförderte Passagiere und so weiter bis zu einem angemessenen oberen Grenzwert für die Anzahl von Passagieren erlernt werden, von denen angenommen wird, dass sie in einem bestimmten Bereich des Innenraums 108, der sich im Sichtwinkel eines Bildsensors befindet, befördert werden.
Das Verfahren 300 fährt fort mit einem Schritt des Ermittelns einer A-posteriori-Dichte für den Bildrahmen (Block 340). Insbesondere berechnet der Prozessor 200, nachdem die Cluster-Komponente c_i, zu der der Aktivitätsvektor höchstwahrscheinlich gehört, ermittelt worden ist, die A-posteriori-Dichte gemäß der Gleichung: $A - p o s t e r i o r i - D i c h t e_{i} = f (X_{i} | C_{i} = c_{i}),$
wobei f () die Wahrscheinlichkeitsdichtefunktion des GMM ist, die bei dem gegebenen Aktivitätsvektor X_i und der ermittelten Cluster-Komponente c_i evaluiert wird. Bei mindestens einer Ausführungsform speichert der Prozessor die A - posteriori - Dichte_i für den Bildrahmen in dem Speicher 204.
Entsprechend der Beschreibung weiter unten kann der Bildrahmen als Anomalie oder als abnormales Passagierverhalten aufweisend angesehen werden, falls die ermittelte A-posteriori-Dichte für den Bildrahmen unterhalb eines vordefinierten Schwellenwerts liegt. Auf diese Weise kann der Prozessor 200 abnormales Passagierverhalten auf rahmenweiser Basis detektieren, indem die A-posteriori-Dichte für jeden Bildrahmen mit dem vordefinierten Schwellenwert verglichen wird. Es ist im Allgemeinen jedoch nicht bei jedem Rahmen (d. h. alle 1/25=0,04 Sekunden) erforderlich, zu detektieren, ob eine Anomalie auftritt, da die abnormale Verhaltenssituation sich nicht mit einer derart hohen Frequenz ändern würde. Bei mindestens einer Ausführungsform detektiert der Prozessor 200 daher stattdessen abnormales Passagierverhalten nur nach einer jeweiligen Anzahl von Rahmen, basierend auf einer durchschnittlichen A-posteriori-Dichte über mehrere Rahmen.
Das Verfahren 300 wiederholt die Schritte 310-340 zum Ermitteln der A-posteriori-Dichten für eine Sequenz von Bildrahmen, bis der Rahmenzähler gleich einer Schwellenwertanzahl von Rahmen ist (Block 350). Im Einzelnen setzt der Prozessor 200, wie weiter oben erwähnt, beim Empfangen jedes Rahmens einen Rahmenzähler frame_count herauf. Beim Empfangen jedes Bildrahmens wiederholt der Prozessor 200 die Prozesse des Ableitens eines Aktivitätsvektors X_i, des Ermittelns der Cluster-Komponente c_i, zu der der Aktivitätsvektor X_i höchstwahrscheinlich gehört, und des Berechnens einer A - posteriori - Dichte_i für den Bildrahmen, bis der Rahmenzähler frame_count gleich dem Hyperparameter detect_every_frame ist (z. B. 75, sodass bei 25 Bildrahmen pro Sekunde abnormales Verhalten alle 3 Sekunden detektiert wird).
Das Verfahren 300 fährt fort mit einem Schritt des Prüfens, ob eine durchschnittliche A-posteriori-Dichte für die Sequenz von Bildrahmen geringer ist als ein Schwellenwert (Block 360). Insbesondere berechnet der Prozessor 200 einen Durchschnittswert der A - posteriori - Dichte_i für alle empfangenen Bildrahmen, seit der Rahmenzähler frame_count zuletzt zurückgesetzt und eine Detektion abnormalen Verhaltens zuletzt durchgeführt worden ist, und er vergleicht den Durchschnittswert mit einem vorbestimmten Anomalie-Schwellenwert. Anders ausgedrückt, evaluiert der Prozessor 200 die Gleichung: $\frac{\sum_{i = t - d e t e c t_e v e r y_f r a m e}^{t} f (X_{i} | C_{i} = c_{i})}{d e t e c t_e v e r y_f r a m e} < S c h w e l l e n w e r t .$
Falls die durchschnittliche A-posteriori-Dichte geringer als der Schwellenwert ist, fährt das Verfahren 300 mit dem Detektieren abnormalen Passagierverhaltens fort (Block 370). Insbesondere detektiert der Prozessor 200 als Reaktion darauf, dass die durchschnittliche A-posteriori-Dichte geringer als der vorbestimmte Anomalie-Schwellenwert ist, dass abnormales Passagierverhalten eingetreten ist. Bei mindestens einer Ausführungsform betreibt der Prozessor 200 in Reaktion auf das Detektieren abnormalen Passagierverhaltens die Sendeempfänger 212 zum Senden einer Anomalie-Benachrichtigungsnachricht zu einem entfernten Server, wie z. B. einem Cloud-Backend oder einer entfernten Datenbank. Die Anomalie-Benachrichtigungsnachricht kann den Bildrahmen und/oder den Aktivitätsvektor X_i aufweisen, mit Bezug auf den das abnormale Passagierverhalten detektiert worden ist.
Der entfernte Server kann beispielsweise für einen Bediener eines autonomen Taxidienstes oder eines anderen ähnlichen autonomen Fahrzeugdienstes oder gemeinsam genutzten Fahrzeugdienstes zugänglich sein, und er kann mit einem externen Cloud-Dienst interagieren, der mit dem Dienst assoziiert ist. Bei einer Ausführungsform ist der entfernte Server ausgelegt zum Benachrichtigen der Bedienperson (z. B. über E-Mail oder dergleichen) in Reaktion auf das Detektieren abnormalen Passagierverhaltens. Bei anderen Ausführungsformen kann die Bedienperson auf die diesbezüglichen Bilddaten und/oder die auf dem entfernten Server gespeicherten Daten zum abnormalen Verhaltensereignis über ein Web-Portal zugreifen.
Bei weiteren Ausführungsformen kann der Prozessor 200 in Reaktion auf das Detektieren abnormalen Passagierverhaltens einen Lautsprecher oder einen Anzeigebildschirm (nicht gezeigt) betreiben, die im Innenraum 108 des Fahrzeugs 100 angeordnet sind, um einen Hinweis oder eine Warnung für die Passagiere anzuzeigen, abzuspielen oder auf sonstige Weise auszugeben, wobei die Passagiere aufgefordert werden, das abnormale Verhalten einzustellen.
Ungeachtet des Umstands, ob die durchschnittliche A-posteriori-Dichte geringer als der Schwellenwert ist, fährt das Verfahren 300 fort mit einem Schritt des Rücksetzens des Bildrahmenzählers, bevor das gesamte Verfahren 300 wiederholt wird (Block 380). Insbesondere setzt der Prozessor 200 nach der Detektion des abnormalen Verhaltens den Rahmenzähler frame_count auf null zurück und wiederholt die Prozesse des Empfangens von Bildrahmen, des Ableitens des Aktivitätsvektors X_i, des Ermittelns der Cluster-Komponenten c_i, zu denen die Aktivitätsvektoren X_i höchstwahrscheinlich gehören, und des Berechnens der A - posteriori - Dichte_i für jeden Bildrahmen, bis der Rahmenzähler frame_count gleich dem Hyperparameter detect_every_frame ist, bevor die Detektion des abnormalen Verhaltens erneut durchgeführt wird.
Während die Offenbarung in den Zeichnungen und der vorstehenden Beschreibung detailliert dargestellt und beschrieben worden ist, soll dies als Veranschaulichung ohne einschränkenden Charakter angesehen werden. Es versteht sich, dass nur die bevorzugten Ausführungsformen präsentiert worden sind und dass alle Änderungen, Modifikationen und weiteren Anwendungen, die unter den Geist der Offenbarung fallen, vom Schutzumfang umfasst sein sollen.

Claims

Verfahren zum Detektieren abnormalen Passagierverhaltens in einem Fahrzeug, wobei das Verfahren umfasst: Empfangen, mittels eines Verarbeitungssystems, eines ersten Bildrahmens von mindestens einem Passagier in einem Innenraum des Fahrzeugs von einem Bildsensor; Ermitteln, mittels des Verarbeitungssystems, eines ersten numerischen Vektors, der eine Pose und eine Bewegung des mindestens einen Passagiers in dem ersten Bildrahmen wiedergibt, basierend auf dem ersten Bildrahmen; und Ermitteln abnormalen Passagierverhaltens in dem ersten Bildrahmen mit dem Verarbeitungssystem, basierend auf dem ersten numerischen Vektor, unter Verwendung eines Mischmodells, aufweisend eine Mehrzahl von Cluster-Komponenten, die normale Passagierverhaltensweisen aufweisen.
Verfahren nach Anspruch 1, wobei das Ermitteln des ersten numerischen Vektors ferner umfasst: Ermitteln einer entsprechenden Mehrzahl von Schlüsselpunkten für jeden der ein oder mehreren Passagiere, wobei jeder Schlüsselpunkt ein Koordinatenpaar aufweist, das einer Position eines entsprechenden Gelenks oder Körperteils des mindestens einen Passagiers in dem ersten Bildrahmen entspricht.
Verfahren nach Anspruch 2, wobei das Ermitteln der entsprechenden Mehrzahl von Schlüsselpunkten für jeden der ein oder mehreren Passagiere ferner umfasst: Ermitteln des Koordinatenpaars für jeden Schlüsselpunkt der entsprechenden Mehrzahl von Schlüsselpunkten für jeden der ein oder mehreren Passagiere mit dem Verarbeitungssystem als eine durchschnittliche Position des jeweiligen Gelenks oder Körperteils des mindestens einen Passagiers über mehrere Bildrahmen, aufweisend den ersten Bildrahmen und mindestens einen vorangegangenen Bildrahmen.
Verfahren nach Anspruch 2, wobei das Ermitteln des ersten numerischen Vektors ferner umfasst: Ermitteln eines optischen Strömungsvektors für jeden Schlüsselpunkt der entsprechenden Mehrzahl von Schlüsselpunkten für jeden der ein oder mehreren Passagiere mit dem Verarbeitungssystem, der eine Bewegung des entsprechenden Schlüsselpunkts in dem ersten Bildrahmen mit Bezug auf mindestens einen vorangegangenen Bildrahmen angibt.
Verfahren nach Anspruch 4, wobei das Ermitteln des optischen Strömungsvektors ferner umfasst: Ermitteln einer Differenz zwischen dem Koordinatenpaar des entsprechenden Schlüsselpunkts in dem ersten Bildrahmen und einem vorangegangenen Koordinatenpaar des entsprechenden Schlüsselpunkts in einem vorangegangenen Bildrahmen mit dem Verarbeitungssystem.
Verfahren nach Anspruch 4, wobei das Ermitteln des ersten numerischen Vektors ferner umfasst: Sortieren von jedem Schlüsselpunkt der entsprechenden Mehrzahl von Schlüsselpunkten mit dem Verarbeitungssystem für jeden der ein oder mehreren Passagiere in eine entsprechende Zelle eines zweidimensionalen Rasters von Zellen, basierend auf dem Koordinatenpaar des entsprechenden Schlüsselpunkts, wobei jede entsprechende Zelle des Rasters einem Bereich von Koordinaten in dem ersten Bildrahmen entspricht; Sortieren jedes in jede entsprechende Zelle des Rasters sortierten Schlüsselpunkts mit dem Verarbeitungssystem in eine entsprechende Klasse eines entsprechenden Histogramms für jeden der ein oder mehreren Passagiere, basierend auf einem optischen Strömungswinkel des optischen Strömungsvektors des entsprechenden Schlüsselpunkts, wobei jede Klasse des entsprechenden Histogramms für jeden der ein oder mehreren Passagiere einem Bereich von optischen Strömungswinkeln entspricht; Ermitteln eines numerischen Werts für jede Klasse des entsprechenden Histogramms für jeden der ein oder mehreren Passagiere mit dem Verarbeitungssystem als eine Summe optischer Strömungsgrößenordnungen für die optischen Strömungsvektoren jedes in die entsprechende Klasse sortierten Schlüsselpunkts; und Bilden des ersten numerischen Vektors mit dem numerischen Wert für jede Klasse des entsprechenden Histogramms für jeden der ein oder mehreren Passagiere mit dem Verarbeitungssystem.
Verfahren nach Anspruch 6, wobei der erste numerische Wert Dimensionen a × b × d × e aufweist, wobei a × b Dimensionen des Rasters sind, d eine Anzahl von Klassen in dem entsprechenden Histogramm für jeden der ein oder mehreren Passagiere ist und e eine Anzahl von Passagieren der ein oder mehreren Passagiere ist.
Verfahren nach Anspruch 1, wobei das Detektieren von abnormalem Passagierverhalten ferner umfasst: Ermitteln mit dem Verarbeitungssystem, für jede Cluster-Komponente der Mehrzahl von Cluster-Komponenten des Mischmodells, einer A-posteriori-Wahrscheinlichkeit, dass der erste numerische Vektor zu der entsprechenden Cluster-Komponente gehört; und Klassifizieren des ersten Bildrahmens mit dem Verarbeitungssystem als zu einer ersten Cluster-Komponente der Mehrzahl von Cluster-Komponenten des Mischmodells gehörend, die eine größte A-posteriori-Wahrscheinlichkeit aufweist.
Verfahren nach Anspruch 8, wobei das Detektieren abnormalen Passagierverhaltens ferner umfasst: Ermitteln einer ersten A-posteriori-Dichte mit dem Verarbeitungssystem, basierend auf dem ersten numerischen Vektor und der ersten Cluster-Komponente der Mehrzahl von Cluster-Komponenten des Mischmodells.
Verfahren nach Anspruch 9, wobei das Detektieren abnormalen Passagierverhaltens ferner umfasst: Vergleichen der ersten A-posteriori-Dichte mit einem vorbestimmten Schwellenwert mittels des Verarbeitungssystems; und Detektieren des abnormalen Passagierverhaltens in dem ersten Bildrahmen in Reaktion darauf, dass die erste A-posteriori-Dichte geringer ist als der vorbestimmte Schwellenwert.
Verfahren nach Anspruch 9, wobei das Detektieren abnormalen Passagierverhaltens ferner umfasst: Ermitteln einer durchschnittlichen A-posteriori-Dichte mit dem Verarbeitungssystem über mehrere Bildrahmen, aufweisend den ersten Bildrahmen und mindestens einen vorangegangenen Bildrahmen; Vergleichen der durchschnittlichen A-posteriori-Dichte mit einem vorbestimmten Schwellenwert mittels des Verarbeitungssystems; und Detektieren des abnormalen Passagierverhaltens in dem ersten Bildrahmen in Reaktion darauf, dass die durchschnittliche A-posteriori-Dichte geringer ist als der vorbestimmte Schwellenwert.
Verfahren nach Anspruch 1, wobei die Mehrzahl von Cluster-Komponenten unter Verwendung von nicht markierten Trainingsdaten erlernt wird und die nicht markierten Trainingsdaten eine Sammlung von Videoaufzeichnungen von mindestens einem in dem Fahrzeug beförderten Passagier aufweisen.
Verfahren nach Anspruch 1, ferner umfassend: Senden einer Nachricht mit einem Sendeempfänger zu einem entfernten Server in Reaktion auf das Detektieren abnormalen Passagierverhaltens.
Verfahren nach Anspruch 1, ferner umfassend: Ausgeben einer Warnung für den mindestens einen Passagier mit einem Lautsprecher oder Anzeigebildschirm, in Reaktion auf das Detektieren abnormalen Passagierverhaltens.
System zum Detektieren abnormalen Passagierverhaltens in einem Fahrzeug, wobei das System umfasst: einen Bildsensor, ausgelegt zum Erzeugen und Ausgeben von Bildrahmen von mindestens einem Passagier in einem Innenraum des Fahrzeugs; ein Verarbeitungssystem, wirkverbunden mit dem Bildsensor und aufweisend mindestens einen Prozessor, wobei das Verarbeitungssystem ausgelegt ist zum: Empfangen eines ersten Bildrahmens von mindestens einem Passagier in einem Innenraum des Fahrzeugs von einem Bildsensor; Ermitteln, basierend auf dem ersten Bildrahmen, eines ersten numerischen Vektors, der eine Pose und eine Bewegung des mindestens einen Passagiers wiedergibt, in dem ersten Bildrahmen; und Detektieren, basierend auf dem ersten numerischen Vektor, von abnormalem Passagierverhalten in dem ersten Bildrahmen unter Verwendung eines Mischmodells, aufweisend eine Mehrzahl von Cluster-Komponenten, die normale Passagierverhaltensweisen wiedergeben.
System nach Anspruch 15, wobei das Verarbeitungssystem ferner dafür ausgelegt ist, bei der Bestimmung des ersten numerischen Vektors: eine entsprechende Mehrzahl von Schlüsselpunkten für jeden der ein oder mehreren Passagiere zu ermitteln, wobei jeder Schlüsselpunkt ein Koordinatenpaar aufweist, das einer Position eines entsprechenden Gelenks oder Körperteils des mindestens einen Passagiers in dem ersten Bildrahmen entspricht; und Ermitteln, für jeden Schlüsselpunkt der entsprechenden Mehrzahl von Schlüsselpunkten für jeden der ein oder mehreren Passagiere, eines optischen Strömungsvektors, der eine Bewegung des entsprechenden Schlüsselpunkts in dem ersten Bildrahmen mit Bezug auf mindestens einen vorangegangenen Bildrahmen angibt.
System nach Anspruch 16, wobei das Verarbeitungssystem ferner dafür ausgelegt ist, bei der Bestimmung des ersten numerischen Vektors: jeden Schlüsselpunkt der entsprechenden Mehrzahl von Schlüsselpunkten für jeden der ein oder mehreren Passagiere in eine entsprechende Zelle eines zweidimensionalen Zellrasters zu sortieren, basierend auf dem Koordinatenpaar des entsprechenden Schlüsselpunkts, wobei jede entsprechende Zelle des Rasters einem Bereich von Koordinaten in dem ersten Bildrahmen entspricht; jeden in jede entsprechende Zelle des Rasters sortierten Schlüsselpunkt in eine entsprechende Klasse eines entsprechenden Histogramms für jeden der ein oder mehreren Passagiere zu sortieren, basierend auf einem optischen Strömungswinkel des optischen Strömungsvektors des entsprechenden Schlüsselpunkts, wobei jede Klasse des entsprechenden Histogramms für jeden der ein oder mehreren Passagiere einem Bereich von optischen Strömungswinkeln entspricht; Ermitteln eines numerischen Werts für jede Klasse des entsprechenden Histogramms für jeden der ein oder mehreren Passagiere als eine Summe optischer Strömungsgrößenordnungen für die optischen Strömungsvektoren jedes in die entsprechende Klasse sortierten Schlüsselpunkts; und Bilden des ersten numerischen Vektors mit dem numerischen Wert für jede Klasse des entsprechenden Histogramms für jeden der ein oder mehreren Passagiere.
System nach Anspruch 15, wobei das Verarbeitungssystem ferner dafür ausgelegt ist, bei der Detektion des abnormalen Passagierverhaltens: für jede Cluster-Komponente der Mehrzahl von Cluster-Komponenten des Mischmodells eine A-posteriori-Wahrscheinlichkeit zu ermitteln, dass der erste numerische Vektor zu der betreffenden Cluster-Komponente gehört; den ersten Bildrahmen als zu einer ersten Cluster-Komponente der Mehrzahl von Cluster-Komponenten des Mischmodells gehörend zu klassifizieren, die eine größte A-posteriori-Wahrscheinlichkeit aufweisen; und eine erste A-posteriori-Dichte basierend auf dem ersten numerischen Vektor und der ersten Cluster-Komponente der Mehrzahl von Cluster-Komponenten des Mischmodells zu ermitteln.
System nach Anspruch 18, wobei das Verarbeitungssystem ferner dafür ausgelegt ist, bei der Detektion des abnormalen Passagierverhaltens: eine durchschnittliche A-posteriori-Dichte über mehrere Bildrahmen zu ermitteln, die den ersten Bildrahmen und mindestens einen vorangegangenen Bildrahmen aufweisen; die durchschnittliche A-posteriori-Dichte mit einem vorbestimmten Schwellenwert zu vergleichen; und das abnormale Passagierverhalten in dem ersten Bildrahmen zu detektieren in Reaktion darauf, dass die durchschnittliche A-posteriori-Dichte geringer als der vorbestimmte Schwellenwert ist.
System nach Anspruch 15, ferner umfassend: einen mit dem Verarbeitungssystem wirkverbundenen Sendeempfänger, wobei das Verarbeitungssystem ausgelegt ist zum Betreiben des Sendeempfängers zum Senden einer Nachricht zu einem entfernten Server in Reaktion auf das Detektieren abnormalem Passagierverhaltens.