-
Die vorliegende Erfindung betrifft ein Verfahren zur Erhöhung der Erkennungsgenauigkeit eines Überwachungssystems sowie eine Recheneinheit und ein Computerprogramm zu dessen Durchführung.
-
Hintergrund der Erfindung
-
Überwachungskameras und/oder Überwachungsmikrofone erfassen eine Umgebung, um Bild-, Video- und/oder Audioaufnahmen zu erhalten. Die erfassten Bild-, Video- und/oder Audioaufnahmen können mittels Algorithmen analysiert werden, um zu erkennen, ob mögliche Bedrohungssituationen in der erfassten Umgebung vorliegen. Bei Vorliegen einer möglichen Bedrohungssituation können geeignete Maßnahmen veranlasst werden.
-
Offenbarung der Erfindung
-
Erfindungsgemäß werden ein Verfahren zur Erhöhung der Erkennungsgenauigkeit eines Überwachungssystems sowie eine Recheneinheit und ein Computerprogramm zu dessen Durchführung mit den Merkmalen der unabhängigen Patentansprüche vorgeschlagen. Vorteilhafte Ausgestaltungen sind Gegenstand der Unteransprüche sowie der nachfolgenden Beschreibung.
-
Es wird vorgeschlagen, einen vorbestimmten Überwachungsalgorithmus der Video- und/oder Audioaufnahmen analysiert, um Bedrohungssituationen zu erkennen, mit einem Maschinenlern-Algorithmus zu ergänzen, der zunächst parallel zum Überwachungsalgorithmus mitläuft und dadurch trainiert wird, ohne das dessen Ausgabe berücksichtigt wird. In einer anschließenden Einsatzphase wird die Ausgabe des Maschinenlern-Algorithmus bei einer Gesamtbewertung einer Situation mitberücksichtigt. Auf diese Weise kann die die Erkennungsgenauigkeit des Überwachungssystems ausgehend von der Erkennungsgenauigkeit des Überwachungsalgorithmus erhöht werden. Insbesondere können Nutzer eines überwachten Bereichs, z.B. Insassen eines Fahrzeugs, so besser geschützt werden, aber auch der überwachte Bereich selbst, z.B. das Fahrzeug, kann vor Vandalismus u.ä. besser geschützt werden.
-
Beispielsweise werden in neuerer Zeit von Vermittlungsdiensten, sogenannten Mitfahrdiensten, inner- und außerstädtische Mitfahrgelegenheiten angeboten bzw. vermittelt. Dabei werden Personen von Fahrern in deren Kraftfahrzeugen mitgenommen, die sie persönlich nicht kennen und die anders als Taxifahrer bzw. Taxis keinem zentralen Kontrollsystem unterliegen. Dadurch entsteht eine neue Klasse von Umgebungen mit hohem Sicherheitsrisiko, nämlich die Fahrzeuge, da hier der Fahrer und der Passagier als potentielle Bedrohung füreinander angesehen werden können. Eine ähnliche Situation kann sich bei führerlosen, automatisch gesteuerten Fahrzeugen ergeben, wo der Passagier eine potentielle Gefahr für das führerlose Fahrzeug (Vandalismus) oder für andere Passagiere darstellt. Allgemeiner kann die Erfindung auch bei anderen überwachten Bereichen verwendet werden, etwa in Zügen oder Bussen o.ä.
-
Im Verfahren zur Erhöhung der Erkennungsgenauigkeit eines Überwachungssystems, das einen oder mehrere Bereiche, die jeweils durch eine Kamera und/oder ein Mikrofon erfasst werden, überwacht, um Bedrohungssituationen zu erkennen, werden Video- und/oder Audioaufnahmen aus dem einen oder den mehreren Bereichen durch die jeweilige Kamera und/oder das jeweilige Mikrofon erfasst. Diese Erfassung erfolgt fortlaufend, d.h. über den gesamten Zeitraum, in dem der bzw. die Bereiche überwacht werden sollen.
-
Die Video- und/oder Audioaufnahmen werden durch einen vorbestimmten Überwachungs-Algorithmus des Überwachungssystems auf das Vorliegen von Bedrohungssituationen analysiert, um wenigstens einen ersten Bedrohungswert (bzw. erste Bedrohungswerte) zu bestimmen, der anzeigt, ob (bzw. mit welcher Wahrscheinlichkeit) eine Bedrohungssituation vorliegt. Im Falle mehrerer Bereiche wird für jeden Bereich ein erster Bedrohungswert bestimmt (ebenso jeweils einer der nachfolgend genannten zweiten Bedrohungswerte und Gesamt-Bedrohungswerte). Die ersten Bedrohungswerte, wie auch die nachfolgend genannten zweiten Bedrohungswerte und Gesamt-Bedrohungswerte, können Zahlenwerte sein, deren Höhe mit einer Bedrohungswahrscheinlichkeit korrespondiert.
-
Weiterhin werden Nutzer-Bedrohungswerte, die tatsächliche Bedrohungssituationen anzeigen, erfasst, wobei die Nutzer-Bedrohungswerte basierend auf Eingaben von Nutzern des einen oder der mehreren Bereiche bestimmt werden. Die Nutzer-Bedrohungswerte ermöglichen das Training, insbesondere ein überwachtes Training, von auf maschinellem Lernen basierenden Algorithmen.
-
Ein Maschinenlern-Algorithmus wird mittels der erfassten Video- und/oder Audioaufnahmen, der ersten Bedrohungswerte und der Nutzer-Bedrohungswerte in einem ersten Training trainiert, Ausgabewerte zu bestimmen, die anzeigen, ob eine Bedrohungssituation vorliegt, wobei die Video- und/oder Audioaufnahmen als Eingabe für den Maschinenlern-Algorithmus verwendet werden und das erste Training so erfolgt, dass die Ausgabewerte anzeigen, dass eine Bedrohungssituation vorliegt, wenn die Nutzer-Bedrohungswerte anzeigen, dass eine tatsächliche Bedrohungssituation vorliegt.
-
In einer Einsatzphase nach dem ersten Training werden die Video- und/oder Audioaufnahmen durch den Maschinenlern-Algorithmus analysiert, um wenigstens einen zweiten Bedrohungswert als Ausgabewerte des Maschinenlern-Algorithmus zu bestimmen, wobei Gesamt-Bedrohungswerte basierend auf dem ersten Bedrohungswert und dem zweiten Bedrohungswert bestimmt werden. Unter der Voraussetzung, dass das erste Training erfolgreich durchgeführt wurde, weisen die Gesamt-Bedrohungswerte verglichen mit den ersten Bedrohungswerten eine höhere Wahrscheinlichkeit auf, Bedrohungssituationen zu erkennen.
-
Mit dem Begriff ,Maschinenlern-Algorithmus‘ wird ein auf maschinellem Lernen basierender Algorithmus bezeichnet. In einem als Training oder Lernen bezeichneten Vorgang generieren Algorithmen des maschinellen Lernens basierend auf Beispieldaten (sogenannten Trainingsdaten) ein mathematisches Modell, um Vorhersagen über einen Vorgang zu machen, ohne dafür explizit programmiert zu sein. Dieses Training kann ‚überwacht‘, wenn Fehlerdaten zu den zu machenden Vorhersagen vorhanden sind, oder ‚unüberwacht‘, wenn solche Fehlerdaten nicht vorhanden sind, stattfinden. Fehlerdaten liegen hier in Form der Nutzer-Bedrohungswerte vor. Das Training in der vorliegenden Erfindung kann also als überwachtes Training angesehen werden.
-
Ein Maschinenlern-Algorithmus kann als eine Abbildung bzw. Funktion betrachtet werden, die Eingabewerte, hier die Video- und/oder Audioaufnahmen, auf Ausgabewerte abbildet. Ein Fehler entsprechend einem Fehlermaß kann dann durch einen Vergleich der Ausgabewerte (zweite Bedrohungswerte) mit den Fehlerdaten (insbesondere Nutzer-Bedrohungswerte) erhalten werden. Vorteilhafterweise kann der Maschinenlern-Algorithmus insbesondere ein faltendes neuronales Netzwerk (englisch: ‚convolutional neural network‘) und/oder ein künstliches neuronales Netzwerk, das in mehreren Schichten angeordnete, über Kanten verbundene künstliche Neuronen umfasst, sein.
-
Bevorzugt wird der Maschinenlern-Algorithmus mittels der erfassten Video- und/oder Audioaufnahmen, der Gesamt-Bedrohungswerte und der Nutzer-Bedrohungswerte in einem zweiten Training trainiert, das bevorzugt während der Einsatzphase erfolgt, so dass die Ausgabewerte anzeigen, dass eine Bedrohungssituation vorliegt, wenn die Nutzer-Bedrohungswerte anzeigen, dass eine tatsächliche Bedrohungssituation vorliegt. Auf diese Weise kann die Erkennungsleistung des Maschinenlern-Algorithmus weiter verbessert werden. Ein zweites Training kann mehrmals durchgeführt werden oder auch fortlaufend während der Einsatzphase erfolgen.
-
Vorzugsweise wird im ersten Training und/oder in einem bzw. dem zweiten Training der Maschinenlern-Algorithmus trainiert, so dass die Ausgabewerte anzeigen, dass eine Bedrohungssituation vorliegt, wenn die Nutzer-Bedrohungswerte anzeigen, dass eine tatsächliche Bedrohungssituation vorliegt und die entsprechenden ersten Bedrohungswerte bzw. Gesamt-Bedrohungswerte keine Bedrohungssituation anzeigen, und so dass die Ausgabewerte anzeigen, dass keine Bedrohungssituation vorliegt, wenn die Nutzer-Bedrohungswerte anzeigen, dass keine tatsächliche Bedrohungssituation vorliegt und die entsprechenden ersten Bedrohungswerte bzw. Gesamt-Bedrohungswerte eine Bedrohungssituation anzeigen. Es wird also gezielt das Erkennen von Situationen trainiert, die der Überwachungsalgorithmus falsch beurteilt.
-
Bevorzugt werden bei der Bestimmung der Gesamt-Bedrohungswerte die ersten Bedrohungswerte mit einem ersten Gewicht und die zweiten Bedrohungswerte mit einem zweiten Gewicht gewichtet. Weiter bevorzugt werden nach einem bzw. dem zweiten Training das erste Gewicht und das zweite Gewicht verändert, wobei noch weiter bevorzugt das zweite Gewicht relativ zum ersten Gewicht erhöht wird. Mit zunehmendem Training und somit mit zunehmender Erkennungsleistung des Maschinenlern-Algorithmus werden dessen Ergebnisse also stärker berücksichtigt.
-
Bevorzugt ist jedem Bereich eine lokale Recheneinheit zugeordnet, die mit der Kamera und/oder dem Mikrofon verbunden ist, um die jeweiligen Video- und/oder Audioaufnahmen zu empfangen; wobei jede lokale Recheneinheit wenigstens ein Überwachungs-Computerprogramm ausführt, um den Überwachungs-Algorithmus zu implementieren, den Maschinenlern-Algorithmus während der Einsatzphase zu implementieren, und den Gesamt-Bedrohungswert zu bestimmen. Durch die lokale Anordnung können Verzögerungen bei einer etwaigen Übermittlung der Video- und/oder Audioaufnahmen verringert werden.
-
Vorzugsweise werden mehrere Bereiche überwacht. Dies ist vorteilhaft, da so mehr Bedrohungssituationen auftreten, und somit der Maschinenlern-Algorithmus schneller trainiert werden kann.
-
Bevorzugt ist eine entfernte Recheneinheit vorgesehen, die mittels Kommunikationsverbindungen mit jeder lokalen Recheneinheit zum Datenaustausch verbunden oder verbindbar ist; wobei jede lokale Recheneinheit dazu eingerichtet ist, die jeweiligen Video- und/oder Audioaufnahmen an die entfernte Recheneinheit zu übertragen. Vorzugweise werden durch eine der lokalen Recheneinheiten, Video- und/oder Audioaufnahmen an die entfernte Recheneinheit übertragen, wenn der Gesamt-Bedrohungswert eine Bedrohungssituation anzeigt. Vorzugsweise erfolgen das erste Training und/oder ein zweites bzw. das zweite Training durch die entfernte Recheneinheit. Diese Ausgestaltungen ermöglichen insbesondere die Ausführung von rechenintensiven Aufgaben durch die entfernte Recheneinheit. Die entfernte Recheneinheit kann etwa ein Computer- oder Serversystem sein. Die Kommunikationsverbindung kann drahtgebunden oder bevorzugt drahtlos erfolgen.
-
Vorzugsweise erfolgt das zweite Training wiederholt, wobei nach jedem zweiten Training das wenigstens eine Überwachungs-Computerprogramm in einer oder mehreren, bevorzugt allen, der lokalen Recheneinheiten aktualisiert wird. Dies ermöglicht eine fortwährende Erhöhung der Erkennungsleistung des Maschinenlern-Algorithmus.
-
Bevorzugt sind der eine oder die mehreren Bereiche Innenräume von Fahrgastzellen von einem oder mehreren Fahrzeugen; wobei weiter bevorzugt die lokale Recheneinheit jeweils im Fahrzeug angeordnet ist.
-
Eine erfindungsgemäße Recheneinheit, z.B. ein Steuergerät eines Kraftfahrzeugs, ist, insbesondere programmtechnisch, dazu eingerichtet, ein erfindungsgemäßes Verfahren bzw. Teile davon durchzuführen.
-
Insbesondere ist eine erfindungsgemäße Recheneinheit dazu eingerichtet, Video- und/oder Audioaufnahmen zu empfangen und alle Verfahrensschritte mit Ausnahme des ersten Trainings und/oder eines bzw. des zweiten Trainings durchzuführen. Eine solche Recheneinheit kann eine entfernte oder eine lokale, z.B. eine fahrzeugfremde oder eine fahrzeugeigene, Recheneinheit sein.
-
Weiter bevorzugt ist die Recheneinheit dazu eingerichtet, das erste Training und/oder ein zweites bzw. das zweite Training durchzuführen.
-
Eine erfindungsgemäße entfernte Recheneinheit ist dazu eingerichtet, über eine Kommunikationsverbindung mit wenigstens einer (lokalen) Recheneinheit mit den vorstehend genannten Merkmalen zum Datenaustausch in Verbindung zu treten und das erste Training und das zweite Training durchzuführen.
-
Auch die Implementierung eines erfindungsgemäßen Verfahrens in Form eines Computerprogramms oder Computerprogrammprodukts mit Programmcode zur Durchführung aller Verfahrensschritte ist vorteilhaft, da dies besonders geringe Kosten verursacht, insbesondere wenn ein ausführendes Steuergerät noch für weitere Aufgaben genutzt wird und daher ohnehin vorhanden ist. Geeignete Datenträger zur Bereitstellung des Computerprogramms sind insbesondere magnetische, optische und elektrische Speicher, wie z.B. Festplatten, Flash-Speicher, EEPROMs, DVDs u.a.m. Auch ein Download eines Programms über Computernetze (Internet, Intranet usw.) ist möglich.
-
Weitere Vorteile und Ausgestaltungen der Erfindung ergeben sich aus der Beschreibung und der beiliegenden Zeichnung.
-
Die Erfindung ist anhand von Ausführungsbeispielen in der Zeichnung schematisch dargestellt und wird im Folgenden unter Bezugnahme auf die Zeichnung beschrieben.
-
Figurenliste
-
- 1 zeigt ein Kraftfahrzeug mit einer Kamera und einem Mikrofon, die den Innenraum der Fahrgastzelle erfassen;
- 2 zeigt den Ablauf des Verfahrens zur Erhöhung der Erkennungsgenauigkeit eines Überwachungssystems gemäß einer bevorzugten Ausführungsform;
- 3 zeigt ein Ablaufdiagramm gemäß einer bevorzugten Ausführungsform der Erfindung; und
- 4 zeigt eine Implementierung eines Überwachungssystems, dessen Erkennungsgenauigkeit mit dem erfindungsgemäßen Verfahren erhöht werden kann.
-
Ausführungsform(en) der Erfindung
-
1 zeigt ein Kraftfahrzeug 2, in dem eine Kamera 10 und ein Mikrofon 12, die den Innenraum 4, der ein überwachter Bereich 5 ist, der Fahrgastzelle des Kraftfahrzeugs überwachen, angeordnet sind. Die Kamera 10 ist so angeordnet, dass sie den Innenraum erfasst und Bilder und/oder Video aus dem Innenraum 4 aufnehmen kann. Zur Vereinfachung werden in dieser Anmeldung ‚Bilder und/oder Video‘ zusammengefasst durch den Begriff ‚Video‘ bezeichnet; entsprechend soll der Ausdruck ‚Videoaufnahmen‘ auch Bildaufnahmen einschließen. Ebenso ist das Mikrofon 12 so angeordnet, dass es Töne bzw. Audio im Innenraum 4 erfassen kann. Die erfassten Video- und/oder Audioaufnahmen werden über eine Kommunikationsverbindung 14 an eine lokale Recheneinheit 16 übermittelt. Die Recheneinheit 16 stellt eine lokale, d.h. dem überwachten Bereich 5 bzw. dem Innenraum 4 zugeordnete, hier also fahrzeugeigene Recheneinheit dar.
-
Die Recheneinheit 16 kann die empfangen Video- und/oder Audioaufnahmen mittels eines vorbestimmten Überwachungsalgorithmus analysieren, um zu erkennen, ob eine Bedrohungssituation im Innenraum 4 vorliegt. Dazu kann durch die Recheneinheit ein Computerprogramm ausgeführt werden, dessen Programmcode den Überwachungsalgorithmus implementiert. Als Ergebnis der Analyse kann ein erster Bedrohungswert erhalten werden, der anzeigt, ob bzw. mit welcher Wahrscheinlichkeit (im Sinne des Überwachungsalgorithmus) eine Bedrohungssituation vorliegt. Im Allgemeinen bestimmt der Überwachungsalgorithmus in der Analyse eine Wahrscheinlichkeit dafür, dass eine Bedrohungssituation vorliegt. Der erste Bedrohungswert kann mehrere Einzelwerte umfassen, etwa für verschiedene Bedrohungssituationen (Vandalismus, tätlicher Angriff auf eine Person, usw.) jeweils einen Einzelwert. Im einfachsten Fall ist der erste Bedrohungswert eine Zahl, deren Höhe mit der Wahrscheinlichkeit, dass eine Bedrohungssituation vorliegt, korrespondiert. Beispielsweise kann der erste Bedrohungswert eine reelle Zahl im Intervall von 0 bis 1 sein, wobei 0 heißt, dass keine Bedrohung erkennt wird, und 1 heißt, dass mit hoher Wahrscheinlichkeit eine Bedrohung vorliegt. Der vorbestimmte Überwachungsalgorithmus kann modellbasiert arbeiten, z.B. Video oder Töne, die typischerweise im Zusammenhang mit Bedrohungen stehen, etwa Schreie o.Ä., erkennen. Entsprechende Überwachungsalgorithmen sind dem Fachmann an sich bekannt; siehe z.B.: Gerosa, L. & Valenzise, Giuseppe & Tagliasacchi, Marco & Antonacci, Fabio & Sarti, Augusto, (2007), SCREAM AND GUNSHOT DETECTION IN NOISY ENVIRONMENTS, 15th European Signal Processing Conference (EUSIPCO 2007) sowie Mahesh Kumar Nandwana, Ali Ziaei, John H. L. Hansen, ROBUST UNSUPERVISED DETECTION OF HUMAN SCREAMS IN NOISY ACOUSTICENVIRONMENTS, 2015 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), 2015.
-
Die Recheneinheit 16 kann dazu eingerichtet sein, geeignete Maßnahmen zu veranlassen, wenn der erste Bedrohungswert anzeigt, dass eine Bedrohungssituation vorliegt bzw. zumindest mit einer bestimmten Wahrscheinlichkeit vorliegt. Geeignete Maßnahmen können beispielsweise sein: Stoppen oder Abbremsen des Kraftfahrzeugs, Auslösen eines Alarms, Senden eines Notrufs oder Übertragen der Video- und/oder Audioaufnahmen an eine entfernte (hier fahrzeugfremde) Recheneinheit, z.B. in einem Rechenzentrum.
-
Die Kamera 10, das Mikrofon 12 und der Überwachungsalgorithmus (bzw. die Recheneinheit, die ein entsprechendes Computerprogramm ausführt) können zusammen als Überwachungssystem angesehen werden.
-
2 zeigt den Ablauf eines Verfahrens zur Erhöhung der Erkennungsgenauigkeit eines Überwachungssystems gemäß einer bevorzugten Ausführungsform.
-
Es werden in Schritt 22 Videoaufnahmen und/oder in Schritt 24 Audioaufnahmen aus dem überwachten Bereich erfasst, etwa in 1 durch die Kamera 10 bzw. das Mikrofon 12 Aufnahmen aus dem Innenraum 4. Die Schritte 22, 24 werden fortlaufend während des Einsatzes des Überwachungssystems durchgeführt.
-
Die erfassten Video- und/oder Audioaufnahmen werden an einen Überwachungsalgorithmus 28 übertragen (Pfeil 26), durch den sie auf das Vorliegen einer Bedrohungssituation analysiert werden. Dazu können etwa ein Algorithmus 30 zur Analyse der Videoaufnahmen und ein Algorithmus 32 zur Analyse der Audioaufnahmen vorgesehen sein. Alternativ oder zusätzlich kann ein Algorithmus vorgesehen sein, durch den eine gemeinsame Analyse von Video- und Audioaufnahmen erfolgt (nicht dargestellt). Als Ergebnis wird ein erster Bedrohungswert W1 erhalten, der, wie im Zusammenhang mit 1 bereits erläutert, anzeigt, ob bzw. mit welcher Wahrscheinlichkeit eine Bedrohungssituation vorliegt.
-
Zusätzlich werden die erfassten Video- und/oder Audioaufnahmen an einem Maschinenlern-Algorithmus 38 übermittelt (Pfeil 36), dessen Eingabe die Video- und/oder Audioaufnahmen darstellen. Durch den Maschinenlern-Algorithmus 38 wird ein zweiter Bedrohungswert W2 bestimmt, der, wie die ersten Bedrohungswert, anzeigt, ob bzw. mit welcher Wahrscheinlichkeit eine Bedrohungssituation vorliegt. Auch hier ist denkbar, dass der zweite Bedrohungswert mehrere Einzelwerte einschließt. Der Maschinenlern-Algorithmus 38 wird zunächst entsprechend trainiert, um den zweiten Bedrohungswert W2 zu bestimmen (weiter unten beschrieben).
-
Der erste Bedrohungswert W1 stellt eine Bewertung der Situation im überwachten Bereich im Sinne des Überwachungsalgorithmus 28 dar. Der zweite Bedrohungswert W2 stellt eine Bewertung der Situation im überwachten Bereich im Sinne des Maschinenlern-Algorithmus 38 dar.
-
Basierend auf dem ersten Bedrohungswert W1 und dem zweiten Bedrohungswert W2 wird in Schritt 42 ein Gesamt-Bedrohungswert WG bestimmt. Der Gesamt-Bedrohungswert WG zeigt wieder an, ob bzw. mit welcher Wahrscheinlichkeit eine Bedrohungssituation vorliegt, wobei dieser eine Gesamtbewertung darstellt. Schwächen eines der beiden Algorithmen (Überwachungsalgorithmus und Maschinenlern-Algorithmus) können so durch den jeweilig anderen ausgeglichen werden. Auch hier kann der Gesamt-Bedrohungswert WG mehrere Einzelwerte umfassen.
-
Der erste Bedrohungswert W1 kann vor bzw. zur Bestimmung des Gesamt-Bedrohungswerts WG mit einem ersten Gewicht G1 gewichtet werden und der zweite Bedrohungswert W2 kann vor bzw. zur Bestimmung des Gesamt-Bedrohungswerts WG mit einem zweiten Gewicht G2 gewichtet werden. Falls die ersten und die zweiten Bedrohungswerte und die Gesamt-Bedrohungswerte mehrere Einzelwerte umfassen, ist auch denkbar für einander entsprechende Einzelwerte jeweils gesonderte Gewichte vorzusehen (das erste und das zweite Gewicht umfassen dann jeweils mehrere Einzelwerte). Eine Änderung des ersten und/oder zweiten Gewichts ist möglich.
-
Diese ‚Datenfusion‘ von erstem und zweitem Bedrohungswert W1, W2 in Schritt 42 kann im einfachsten Fall durch eine Mittelwertbildung unter Berücksichtigung der Gewichte erfolgen. Dazu wird die Summe des Produkts aus erstem Gewicht G1 und erstem Bedrohungswert W1 und des Produkts aus zweitem Gewicht G2 und zweitem Bedrohungswert W2 gebildet und durch die Summe aus erstem Gewicht G1 und zweiten Gewicht G2 geteilt, wenn die Summe von erstem und zweiten Gewicht nicht gleich 1 ist, um eine Normierung zu erreichen. Es ist in diesem Fall also WG = (G1.W1 + G2 W2) / (G1 + G2).
-
In Abhängigkeit vom Gesamt-Bedrohungswert WG bzw. dessen Höhe können in Schritt 44 geeignet Maßnahmen veranlasst werden, wenn der Gesamt-Bedrohungswert WG anzeigt, dass eine Bedrohungssituation vorliegt oder wahrscheinlich ist.
-
Um ein Training des Maschinenlern-Algorithmus 38 zu ermöglichen, werden neben den Video- und/oder Audioaufnahmen in Schritt 50 zusätzlich Nutzer-Bedrohungswerte WN erfasst, die tatsächliche Bedrohungssituationen anzeigen. Dazu können von Nutzern des überwachten Bereichs Nutzereingaben erfasst werden. Hier kann etwa ein Alarmknopf vorgesehen sein. Ebenso kann vorgesehen sein, dass Nutzer über eine Schnittstelle, etwa eine im überwachten Bereich vorgesehene graphische Bedienoberfläche, oder eine Bedienoberfläche auf einer Recheneinheit (etwa Mobiltelefon oder Computer) entsprechende Eingaben machen können. Eventuell kann hier eine entsprechende Abfrage vorgesehen sein, etwa kann für den Fall, dass der Gesamt-Bedrohungswert WG eine Bedrohungssituation anzeigt, bei einem Nutzer, der sich zum fraglichen Zeitpunkt oder zu einem späteren Zeitpunkt (Vandalismus kann z.B. auch später noch festgestellt werden) im überwachten Bereich aufhielt bzw. diesen in Augenschein nehmen konnte, nachgefragt werden, ob tatsächlich eine Bedrohungssituation bestand.
-
Die erfassten Video- und/oder Audioaufnahmen, die daraus bestimmten Gesamt-Bedrohungswerte WG und die Nutzer-Bedrohungswerte WN werden einander zugeordnet, wobei die Zuordnung so erfolgt, dass sie sich auf den gleichen Zeitraum beziehen. Auf diese Weise werden Trainingsdaten 52 für den Maschinenlern-Algorithmus 38 erhalten.
-
Das Training (Pfeil 54) des Maschinenlern-Algorithmus 38 mittels der Trainingsdaten 52 erfolgt so, dass die Ausgabe des Maschinenlern-Algorithmus 38, d.h. der zweite Bedrohungswert W2, anzeigt, dass eine Bedrohungssituation vorliegt bzw. wahrscheinlich ist, wenn der Nutzer-Bedrohungswert WN, der einer der erfassten Video- und/oder Audioaufnahmen, die als Eingabe für den Maschinenlern-Algorithmus dient, zugeordnet ist, eine tatsächliche Bedrohung anzeigt. Im Prinzip handelt sich hier um überwachtes Training, wobei eine entsprechende Fehlermetrik bestimmt wird, die misst, inwiefern der zweite Bedrohungswert W2 und/oder der Gesamtbedrohungswert WG vom Nutzer-Bedrohungswert WN abweicht. Da die meiste Zeit keine Bedrohungssituation bestehen wird, sind vor allem die Zeiträume relevant, in denen eine tatsächliche Bedrohung vorlag. Zusätzlich kann in der Fehlermetrik berücksichtigt werden, wenn Diskrepanzen zwischen dem ersten Bedrohungswert W1 und/oder dem Gesamt-Bedrohungswert WG und dem Nutzer-Bedrohungswert WN vorliegen.
-
Da von einem ursprünglich nicht oder nicht ausreichend trainierten Maschinenlern-Algorithmus 38 ausgegangen wird, wird während eines ersten Trainings bzw. einer ersten Phase die Ausgabe des Maschinenlern-Algorithmus 38, d.h. der zweite Bedrohungswert W2, bei der Bestimmung des Gesamt-Bedrohungswerts WG zunächst nicht berücksichtigt, d.h. der Gesamt-Bedrohungswert ist gleich dem ersten Bedrohungswert (abgesehen von einer eventuellen Skalierung). Entsprechend kann vorgesehen sein, dass das zweite Gewicht G2 während des ersten Trainings gleich Null ist (G2 = 0).
-
Nachdem der Maschinenlern-Algorithmus 38 ausreichend trainiert ist, insbesondere so,1 dass die zweiten Bedrohungswerte die Erkennungsrate von Bedrohungssituation erhöhen, wird das erste Training abgeschlossen und in einer anschließenden Einsatzphase (zweite Phase) wird der zweite Bedrohungswert W2 bei der Bestimmung des Gesamt-Bedrohungswerts WG berücksichtigt. Entsprechend kann vorgesehen sein, das zweite Gewicht G2 ungleich Null zu setzen (G2 # 0).
-
Parallel zum Einsatz kann ein weiteres, zweites Training des Maschinenlern-Algorithmus 38 erfolgen. Im Prinzip ist hier denkbar, dieses dauerhaft parallel zur Einsatzphase durchzuführen oder es in bestimmten Zeitabständen mehrmals durchzuführen. Mit zunehmendem Trainingsfortschritt kann der zweite Bedrohungswert W2 bei der Bestimmung des Gesamt-Bedrohungswerts WG stärker berücksichtigt werden. Es kann also das zweite Gewicht G2 im Laufe des zweiten Trainings erhöht werden (relativ zum ersten Gewicht G1).
-
Insgesamt kann durch diese Vorgehensweise die Erkennungsgenauigkeit des Überwachungssystems, das zunächst nur die vom Überwachungsalgorithmus 28 bestimmten ersten Bedrohungswerte berücksichtigt, erhöht werden.
-
Das vorstehend beschriebene Verfahren ist in 3 in einem Ablaufdiagramm kurz zusammengefasst. Dabei werden in Schritt 100 (fortlaufend während des im Weiteren beschriebenen Verfahrens) Video- und/oder Audioaufnahmen aus dem einen oder den mehreren Bereichen durch die jeweilige Kamera und/oder das jeweilige Mikrofon erfasst.
-
Die Video- und/oder Audioaufnahmen werden in Schritt 110 durch den vorbestimmten Überwachungs-Algorithmus des Überwachungssystems auf das Vorliegen von Bedrohungssituationen analysiert, um die ersten Bedrohungswerte zu bestimmen, die anzeigen, ob in einem der zugehörigen Bereiche eine Bedrohungssituation vorliegt oder wahrscheinlich ist.
-
In Schritt 120 werden die Nutzer-Bedrohungswerte, die tatsächliche Bedrohungssituationen anzeigen, erfasst. Diese basieren auf Eingaben von Nutzern des einen oder der mehreren Bereiche.
-
In Schritt 130 erfolgt ein erstes Training des Maschinenlern-Algorithmus mittels der erfassten Video- und/oder Audioaufnahmen, der ersten Bedrohungswerte und der Nutzer-Bedrohungswerte, wobei der Maschinenlern-Algorithmus trainiert wird, Ausgabewerte zu bestimmen, die anzeigen, ob eine Bedrohungssituation vorliegt. Insbesondere werden die Video- und/oder Audioaufnahmen als Eingabe für den Maschinenlern-Algorithmus verwendet und das erste Training erfolgt so, dass die Ausgabewerte anzeigen, dass eine Bedrohungssituation vorliegt, wenn die Nutzer-Bedrohungswerte anzeigen, dass eine tatsächliche Bedrohungssituation vorliegt.
-
In Schritt 140 erfolgt nach dem ersten Training die Einsatzphase, in der die Video- und/oder Audioaufnahmen durch den Maschinenlern-Algorithmus analysiert werden, um zweite Bedrohungswerte als Ausgabewerte des Maschinenlern-Algorithmus zu bestimmen. Basierend auf den ersten Bedrohungswerten und den zweiten Bedrohungswerten werden in Schritt 150 Gesamt-Bedrohungswerte bestimmt. Optional kann, wenn ein Gesamt-Bedrohungswert anzeigt, dass eine Bedrohungssituation vorliegt, eine geeignete Maßnahme veranlasst werden (Schritt 170), etwa Auslösen eines Alarms, Senden eines Notrufs oder Übertragen der erfassten Video- und/oder Audioaufnahmen an eine entfernte Recheneinheit.
-
Im bevorzugten Schritt 160 wird der Maschinenlern-Algorithmus mittels der erfassten Video- und/oder Audioaufnahmen, der Gesamt-Bedrohungswerte und der Nutzer-Bedrohungswerte in einem zweiten Training trainiert. Dieses zweite Training erfolgt weiter bevorzugt während der bzw. parallel zu der Einsatzphase. Dabei wird der Maschinenlern-Algorithmus wieder so trainiert, dass die Ausgabewerte anzeigen, dass eine Bedrohungssituation vorliegt, wenn die Nutzer-Bedrohungswerte anzeigen, dass eine tatsächliche Bedrohungssituation vorliegt. Der zusätzlich trainierte Maschinenlern-Algorithmus kann im Einsatz (Schritt 140) weiter verwendet werden. Es werden also Parameter des Maschinenlern-Algorithmus entsprechend aktualisiert (Pfeil 165).
-
4 zeigt eine Implementierung eines Überwachungssystems, dessen Erkennungsgenauigkeit mit dem erfindungsgemäßen Verfahren erhöht werden kann. Dieses System umfasst mehrere Kraftfahrzeuge 2, wie im Zusammenhang mit 1 beschrieben. Insbesondere weist jedes Kraftfahrzeug 2 einen überwachten Bereich 5 (Innenraum 4) der Fahrgastzelle auf, der durch eine Kamera 10 und/oder ein Mikrofon 12 (hier vereinfacht dargestellt) erfasst wird. Eine lokale Recheneinheit 6 jedes Kraftfahrzeugs ist dem jeweiligen überwachten Bereich 5 zugeordnet und dazu eingerichtet, Video- und/oder Audioaufnahmen zu empfangen.
-
Weiterhin ist vorgesehen, dass jedes Kraftfahrzeug 2 bzw. jede lokale Recheneinheit 6 über eine Kommunikationsverbindung 7 mit einer entfernten Recheneinheit 8 zum Datenaustausch verbunden bzw. verbindbar ist. Schritte des erfindungsgemäßen Verfahrens können neben den lokalen Recheneinheiten 6 auch von der entfernten Recheneinheit 8 durchgeführt werden.
-
Bevorzugt ist vorgesehen, dass der Überwachungs-Algorithmus, die Einsatzphase (sogenannte Inferenz) des Maschinenlern-Algorithmus und die Bestimmung des Gesamt-Bedrohungswerts in jeder lokalen Recheneinheit 6 durchgeführt werden (mittels entsprechender Computerprogramme). Das Training des Überwachungs-Algorithmus (erstes und zweites Training) erfolgt dabei durch die entfernte Recheneinheit 8. Dazu können die Video- und/oder Audioaufnahmen an die entfernte Recheneinheit 8 übertragen werden. Optional können auch zugehörige erste Bedrohungswerte, zweite Bedrohungswerte und/oder Gesamtbewertungswerte übertragen werden. Ebenso können Nutzer-Bedrohungswerte, soweit diese in oder an Kraftfahrzeugen bzw. durch die lokalen Recheneinheiten erfasst werden, an die entfernte Recheneinheit übertragen werden. Hier ist alternativ oder zusätzlich auch eine Nutzerabfrage bzw. eine Benutzereingabe 9 denkbar. Die Datenübertagung und das Training können auch zeitversetzt bzw. später stattfinden als die Erzeugung der Aufnahmen. Beispielsweise können die Daten erst bei Erreichen eines Depots, Parkplatzes o.ä. übertragen werden, um dort vorhandene Übertagungswege mit hoher Bandbreite nutzen zu können.
-
Nach jedem Training (erstes, zweites) können von der entfernten Recheneinheit 8 über die Kommunikationsverbindungen 7 Aktualisierungsdaten an die Kraftfahrzeuge 2 bzw. deren lokale Recheneinheiten 6 übertragen werden, um den Maschinenlern-Algorithmus bzw. die Computerprogramme, die diesen implementieren, in den lokalen Recheneinheiten zu aktualisieren.
-
Diese Vorgehensweise ist vorteilhaft, da das ressourcenaufwändige Training durch die entfernte Recheneinheit 8 (etwa ein Serversystem) erfolgt, während der vergleichsweise wenig aufwändige Einsatz (Inferenz) in den lokalen Recheneinheiten erfolgt, die somit weniger Rechenleistung benötigen. Weiterhin kann so eine für das Training notwendige Anzahl von tatsächlichen Bedrohungssituationen schneller erfasst werden.
-
Weitergehend kann während der Einsatzphase, wenn durch eine lokale Recheneinheit 6 eine mögliche Bedrohungssituation erkannt wird (anhand des Gesamt-Bedrohungswerts), vorgesehen sein, Video- und/oder Audioaufnahmen, die diese Situation live zeigen, an die entfernte Recheneinheit 8 zu übertragen. Dort kann dann beispielsweise durch einen Bediener mittels der Video- und/oder Audioaufnahmen entschieden werden, ob tatsächlich eine Bedrohung besteht und es können geeignete Maßnahmen eingeleitet werden.
