DE102021207849A1

DE102021207849A1 - Verfahren zum Nachtrainieren einer Videoüberwachungsvorrichtung, Computerprogramm, Speichermedium und Videoüberwachungsvorrichtung

Info

Publication number: DE102021207849A1
Application number: DE102021207849.4A
Authority: DE
Inventors: Michael Meyer; Dieter Joecker; Florian Richter; Wolfgang Niehsen
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2021-07-22
Filing date: 2021-07-22
Publication date: 2023-01-26
Also published as: WO2023001497A1; US20240273908A1; EP4374332A1

Abstract

Verfahren zum Nachtrainieren einer Videoüberwachungsvorrichtung 1, wobei der Videoüberwachungsvorrichtung 1 Überwachungsdaten 2 bereitgestellt sind, wobei die Überwachungsdaten 2 Bilder eines Überwachungsbereichs umfassen, wobei die Überwachungsdaten 2 auf mindestens zwei Verarbeitungspfaden 5a,b verarbeitet und/oder analysiert werden, wobei die Verarbeitung und/oder Analyse der Überwachungsdaten 2 auf den Verarbeitungspfaden 5a,b jeweils ein Pfadergebnis und ein zugehöriges Zuverlässigkeitsmaß liefert, wobei mindestens einer der Verarbeitungspfade 5a,b einen Al-Verarbeitungspfad bildet, wobei der Al-Verarbeitungspfad auf einem neuronalen Netz basiert und zur Objektdetektion und/oder Objektklassifikation ausgebildet ist, wobei eine Abweichung der Zuverlässigkeit des Pfadergebnisses des AI-Verarbeitungspfades von der Zuverlässigkeit der zugehörigen Pfadergebnisse der weiteren Verarbeitungspfade 5a,b und/oder eine Abweichung des Pfadergebnisses des AI-Verarbeitungspfades von den Pfadergebnissen der weiteren Verarbeitungspfade 5a,b bestimmt wird, wobei bei Überschreiten einer Schwellwertabweichung durch die bestimmte Abweichung, das zugehörige Pfadergebnis des AI-Verarbeitungspfades als Trainingsobjekt zum Nachtrainieren des neuronalen Netzes gesetzt wird.

Description

Stand der Technik
Die Erfindung betrifft ein Verfahren zum Nachtrainieren einer Videoüberwachungsvorrichtung, wobei der Videoüberwachungsvorrichtung Überwachungsdaten bereitgestellt sind, wobei die Überwachungsdaten Bilder eines Überwachungsbereichs umfassen.
Videoüberwachungsvorrichtungen werden sowohl im öffentlichen Bereich, beispielsweise der Überwachung von Flughäfen oder Bahnhöfen, als auch im privaten bzw. gewerblichen Bereich eingesetzt, wie beispielsweise der Überwachung eines Firmengebäudes oder Parkplatzes. Hierzu werden mit Kameras Bilder aufgenommen, die von einer Person, beispielsweise in einer Sicherheitszentrale manuell, ausgewertet werden können oder mittels Bildverarbeitungsmethoden computergestützt ausgewertet werden. Beispielsweise erfolgt hierzu eine Detektion und Klassifikation von Objekten in den Bildern.
Beispielsweise beschreibt die Druckschrift DE 10 2007 041 893 A1 ein Verfahren zur Detektion und/oder Verfolgung von bewegten Objekten in einer Überwachungsszene, in der neben den bewegten Objekten Störobjekte auftreten können. Das Verfahren sieht vor, die Überwachungsszene in unterschiedliche Regionen mit Regionenklassen einzuteilen, wobei die unterschiedlichen Regionenklassen mit unterschiedlicher Sensitivität überwacht und/oder ausgewertet werden.
Offenbarung der Erfindung
Es wird ein Verfahren zum Nachtrainieren einer Videoüberwachungsvorrichtung mit den Merkmalen des Anspruchs 1 vorgeschlagen. Ferner werden ein Computerprogramm, ein maschinenlesbares Speichermedium und eine Videoüberwachungsvorrichtung vorgeschlagen. Bevorzugte und/oder vorteilhafte Ausführungen ergeben sich aus den Unteransprüchen, der Beschreibung und den beigefügten Figuren.
Es wird ein Verfahren zum Nachtrainieren einer Videoüberwachungsvorrichtung vorgeschlagen. Das Verfahren kann insbesondere computerimplementiert ausgeführt sein. Die Videoüberwachungsvorrichtung ist beispielsweise eine zentrale Überwachungsvorrichtung, beispielsweise Sicherheitszentrale. Die Videoüberwachungsvorrichtung kann insbesondere als ein Rechnermodul ausgebildet sein. Die Videoüberwachungsvorrichtung ist insbesondere vortrainiert, beispielsweise durch einen Hersteller. Vortrainiert meint beispielsweise, dass die Videoüberwachungsvorrichtung auf eine Grundzuverlässigkeit trainiert ist und/oder aufweist. Das Nachtrainieren dient insbesondere dem Verbessern der Genauigkeit und/oder Zuverlässigkeit der Videoüberwachungsvorrichtung zum Detektieren und/oder Klassifizieren von Objekten. Das Nachtrainieren erfolgt insbesondere während des Betriebs und/oder der Anwendung der Videoüberwachungsvorrichtung. Das Verfahren und/oder das Nachtrainieren erfolgt insbesondere in einer Vor-Ort-Anwendung und/oder einer Anwendung beim Anwender bzw. Kunden. Das Nachtrainieren erfolgt insbesondere unter Verwendung der Videoüberwachungsvorrichtung innerhalb der anwendungsspezifischen Umgebung und/oder Szene.
Der Videoüberwachungsvorrichtung sind oder werden Überwachungsdaten bereitgestellt. Insbesondere kann die Videoüberwachungsvorrichtung ausgebildet sein, die Überwachungsdaten aufzunehmen, beispielsweise durch Umfassen von Kameras und/oder Sensoren. Insbesondere werden die Überwachungsdaten von unterschiedlichen Quellen bereitgestellt, beispielsweise unterschiedlichen Kameras, Sensoren oder Datenquellen. Die Überwachungsdaten umfassen Bilder eines Überwachungsbereichs. Insbesondere umfassen die Überwachungsdaten unterschiedliche Bilder eines gemeinsamen Überwachungsbereichs. Beispielsweise wird von unterschiedlichen Kameras jeweils ein Abschnitt, insbesondere mit Überlappung, des Überwachungsbereichs aufgenommen. Im Speziellen umfassen die Überwachungsdaten Videos, wobei die Videos beispielsweise Bilder, insbesondere als Bilderstrom, umfassen. Die Bilder und/oder Videos zeigen die Abschnitte des Überwachungsbereichs vorzugsweise aus unterschiedlichen Blickrichtungen. Im Speziellen weisen die Bilder der Überwachungsdaten mindestens paarweise eine Überlappung auf.
Das Verfahren sieht das Verarbeiten und/oder Analysieren der Überwachungsdaten auf mindestens zwei Verarbeitungspfaden vor. Insbesondere erfolgt das Verarbeiten und/oder Analysieren auf den mindestens zwei Verarbeitungspfaden unabhängig. Beispielsweise sind die Verarbeitungspfade durch unterschiedliche Auswertemodule, beispielsweise Software- oder Hardwaremodule, ausgebildet. Die Verarbeitungspfade analysieren und/oder verarbeiten die Überwachungsdaten insbesondere auf unterschiedliche Weise, beispielsweise unter Verwendung, Detektion und/oder Klassifikation unterschiedlicher Merkmale oder unter Verwendung unterschiedlicher Datengrundlage, beispielsweise unterschiedlichen Teilen der Überwachungsdaten. Beispielsweise ist ein Verarbeitungspfad ausgebildet die Bilder auszuwerten, wobei ein anderer Verarbeitungspfad ausgebildet ist, die Audiodaten auszuwerten. Insbesondere können beispielsweise zwei Verarbeitungspfade zur Auswertung der Bilder vorgesehen sein, wobei einer der Verarbeitungspfade eine Auswertung und/oder Analyse basierend auf dem optischen Flussfeld durchführt, wobei der andere Verarbeitungspfad eine Analyse und/oder Auswertung basierend auf einer Mustererkennung anwendet.
Durch die Verarbeitung und/oder die Analyse der Überwachungsdaten wird für jeden Verarbeitungspfad ein Pfadergebnis und eine zum Pfadergebnis zugehörige Zuverlässigkeit erhalten. Insbesondere kann ein Verarbeitungspfad mehrere Pfadergebnisse liefern, wobei zu den mehreren Pfadergebnissen vorzugsweise jeweils eine Zuverlässigkeit erhalten wird. Das Pfadergebnis kann beispielsweise ein erkanntes Objekt, ein Detektierobjekt oder eine Klassifikation des Objektes beschreiben und/oder umfassen. Die zugehörige Zuverlässigkeit beschreibt beispielsweise wie zuverlässig, genau und/oder sicher das Pfadergebnis ist, beispielsweise als einen prozentualen Wert der Zuverlässigkeit der richtigen Detektion. Die Zuverlässigkeit gibt beispielsweise an, wie sicher oder unsicher das Pfadergebnis ist.
Mindestens einer der Verarbeitungspfade bildet oder umfasst einen Al-Verarbeitungspfad. Als Al-Verarbeitungspfad wird beispielsweise ein Artificial-Intelligence-Verarbeitungspfad verstanden, also ein Künstlicher-Intelligenz-Verarbeitungspfad (Kl-Verarbeitungspfad). Der AI-Verarbeitungspfad basiert und/oder wendet ein neuronales Netz, insbesondere ein convolutional neuronales Netz an. Das neuronale Netz ist zu Objektdetektion und/oder Objektklassifikation ausgebildet. Insbesondere ist das neuronale Netz vortrainiert und/oder weist die Grundzuverlässigkeit auf. Das neuronale Netz ist ausgebildet, in den Überwachungsdaten, im Speziellen den Bildern, Objekte zu detektieren und/oder Objekte zu klassifizieren. Beispielsweise umfasst das Pfadergebnis des Al-Verarbeitungspfades die dedektierten Objekte und/oder klassifizierten Objekte, wobei die zugehörige Zuverlässigkeit ein Maß der Vertrauenswürdigkeit, der Sicherheit und/oder Zuverlässigkeit angibt, dass das Objekt richtig detektiert oder klassifiziert wurde.
Es wird eine Abweichung bestimmt. Die Abweichung wird beispielsweise als die Abweichung der Zuverlässigkeit des Pfadergebnisses oder eines der Pfadergebnisse des AI-Verarbeitungspfades von der Zuverlässigkeit eines zu dem Pfadergebnis zugehörigen Pfadergebnisses mindestens eines, insbesondere aller weiteren Verarbeitungspfade bestimmt. Mit anderen Worten wird beispielsweise bestimmt, wie stark die Zuverlässigkeit eines Pfadergebnisses des AI-Verarbeitungspfades von der Zuverlässigkeit der anderen Verarbeitungspfade für das jeweilige Objekt abweicht. Alternativ und/oder ergänzend wird als Abweichung eine Abweichung des Pfadergebnisses des AI-Verarbeitungspfades von dem oder den Pfadergebnissen der weiteren Verarbeitungspfade bestimmt. Beispielsweise wird bestimmt, ob ein Al-Verarbeitungspfadergebnis, beispielsweise detektiert oder klassifiziertes Objekt, auch in den anderen Verarbeitungspfaden so detektiert und/oder klassifiziert wurde. Die Abweichung kann insbesondere absolut oder relativ bestimmt werden.
Überschreitet die so bestimmte Abweichung eine Schwellwertabweichung wird das zugehörige Pfadergebnis des AI-Verarbeitungspfad, im Speziellen das detektierte oder klassifizierte Objekt, und/oder die dem zugehörigen Pfadergebnis zugrundeliegenden Überwachungsdaten als Trainingsobjekt gesetzt. Das Setzen als Trainingsobjekt umfasst insbesondere das zugehörige Bild, zum Beispiel das Setzen des Bildes als Trainingsbild. Das Trainingsobjekt ist zum Nachtrainieren des neuronalen Netzes vorgesehen und/oder anzuwenden. Die Schwellwertabweichung ist insbesondere eine konfigurierbare Schwellwertabweichung, im Speziellen ist die Schwellwertwatt-Abweichung eine objekt- oder klassenspezifische Abweichung. Durch die Anwendung des Verfahrens ist es möglich so Trainingsobjekte zum Nachtrainieren des neuronalen Netzes aufzufinden und/oder zu erhalten, die spezifisch für die Anwendung, Szene oder Problemstellung sind. Insbesondere können so ganz spezifisch solche Trainingsobjekte erhalten werden, die für die AI-Verarbeitung bzw. das neuronale Netz noch zu ungenauen oder unzuverlässigen Ergebnissen führen.
Das Verfahren stellt somit ein Verfahren zum Verbessern der Genauigkeit, Zuverlässigkeit und Ergebnisse einer Videoüberwachungsvorrichtung dar, die eine Klassifikation und Detektion von Objekten in den unterschiedlichsten Situationen erlaubt. Klassische Methoden der Bildverarbeitung, die detektierte Objekte aufgrund ihrer Eigenschaft wie Größe, Form und Geschwindigkeit klassifizieren, liefern häufig eine unzureichende Genauigkeit, beispielsweise bei der Überlappung von mehreren Objekten im Bild oder bei schwierigen Beleuchtungsverhältnissen. Auch bekannte Artificial-Intelligence-Methoden bzw. neuronale Netze weisen nicht immer eine zufriedenstellende Zuverlässigkeit auf. Zwar liefen diese grundsätzlich bessere Ergebnisse, jedoch ist es hierzu nötig, dass die zu erkennenden Objekte in den richtigen Ansichten im Trainingsmaterial enthalten sind. Somit wäre zum Trainieren ein sehr großer Datensatz nötig und ein sehr großes neuronales Netz mit großen Speicher und Rechenleistungsbedarf. Dies basiert insbesondere darauf, dass die eigentlich benötigten Trainingsobjekte im Trainingsmaterial sehr selten sind und die benötigten Daten einer Long-Tail-Verteilung unterliegen. Durch das vorliegende Verfahren ist es möglich, solche Trainingsobjekte bei der Verwendung der Videoüberwachungsvorrichtung, während des Betriebs gezielt zu generieren und zu erhalten, so dass die vortrainierte Videoüberwachungsvorrichtung im Laufe der Zeit gezielt durch die so erhaltenen Trainingsobjekte in der Genauigkeit zunimmt.
Die Videoüberwachungsvorrichtung ist für einen Routineeinsatz, bzw. einen Betrieb vor Ort, beispielsweise beim Kunden, vorgesehen. Die vortrainierte Videoüberwachungsvorrichtung wird im Routineeinsatz beim Kunden in einer Anwendungsumgebung eingesetzt, wobei die Anwendungsumgebung beispielsweise ein Firmengebäude, Parkplatz, Flughafen oder Bahnhof ist. Das Verfahren wird insbesondere während des Routineeinsatzes, insbesondere beim Kunden und/oder Anwender, eingesetzt, angewendet oder ausgeführt. Insbesondere erfolgt das Verarbeiten und/oder Analyse der Überwachungsdaten auf den unterschiedlichen Verarbeitungspfaden während des Routineeinsatzes. Ferner ist es besonders bevorzugt, dass das Bestimmen der Abweichung und/oder das Setzen als Trainingsobjekt während der Anwendung beim Benutzer oder Anwender, insbesondere im Routineeinsatz erfolgt. Beispielsweise werden die Überwachungsdaten zur Anwendung des Verfahrens durch und/oder im Routineeinsatz bereitgestellt. Die Überwachungsdaten, insbesondere Überwachungsbilder, zeigen und/oder beschreiben somit vorzugsweise die Anwendungsumgebung.
Optional ist es vorgesehen, dass basierend auf der Zuverlässigkeit der Verarbeitungspfade, insbesondere der weiteren Verarbeitungspfade eine Gesamtzuverlässigkeit ermittelt wird. Hierbei werden unter den weiteren Verarbeitungspfaden insbesondere die Verarbeitungspfade ohne den Al-Verarbeitungspfad verstanden. Die gesamte Zuverlässigkeit kann eine gemittelte und/oder statistisch ausgewertete Zuverlässigkeit bilden. Beispielsweise kann die Zuverlässigkeit der weiteren Verarbeitungspfade gewichtet in die Gesamtzuverlässigkeit eingehen. Als Abweichung der Zuverlässigkeit wird hier die Abweichung der Zuverlässigkeit des AI-Verarbeitungspfades von der gesamten Zuverlässigkeit bestimmt. Dieser Ausgestaltung liegt die Überlegung zugrunde Trennungsobjekte basierend auf der Abweichung der Zuverlässigkeit des AI-Verarbeitungspfades von einer Gesamtzuverlässigkeit bzw. gemieteten Zuverlässigkeit der anderen Verarbeitungspfade zu bestimmen, so dass eine statistische Sicherheit gewonnen wird.
Eine Ausgestaltung der Erfindung sieht vor, dass als Trainingsobjekt das Pfadergebnis des AI-Verarbeitungspfades gesetzt wird, wenn die zum Pfadergebnis des Al-Verarbeitungspfad zugehörige Zuverlässigkeit eine Mindestzuverlässigkeit unterschreitet. Beispielsweise weicht die Zuverlässigkeit des AI-Verarbeitungspfades von der Gesamtzuverlässigkeit oder der Zuverlässigkeit der weiteren Verarbeitungspfade nicht mehr als die Schwellwertabweichung ab, so dass basierend auf diesem Kriterium das Pfadergebnis nicht als Trainingsobjekt gesetzt würde, jedoch ist die Zuverlässigkeit des Pfadergebnisses des AI-Verarbeitungspfades zu gering, bzw. kleiner als die Mindestzuverlässigkeit, so dass ein solches Objekt als Trainingsobjekt vorzusehen ist oder weiterer Untersuchung bedarf.
Insbesondere ist es vorgesehen, dass das Trainingsobjekt einem Trainingsdatensatz zugefügt wird. Der Trainingsdatensatz dient insbesondere dem Nachtrainieren des neuronalen Netzes und/oder des Al-Verarbeitungspfades. Beispielsweise werden im Trainingsdatensatz Trainingsobjekte gesammelt, wobei basierend auf der Sammlung der Trainingsobjekte im Trainingsdatensatz zu gegebener Zeit oder zyklisch das neuronale Netz nachtrainiert wird. Der Trainingsdatensatz umfasst als Trainingsobjekte beispielsweise detektierte Objekte und/oder klassifizierte Objekte. Insbesondere umfasst der Trainingsdatensatz die Überwachungsdaten und/oder Bilder. Beispielsweise wird dem Trainingsdatensatz beizufügendes Trainingsobjekt das zugehörige Bild der Überwachungsdaten hinzugefügt. Insbesondere bildet der Trainingsdatensatz eine Sammlung der Bilder der Überwachungsdaten, die die Trainingsobjekte zeigen oder umfassen.
Insbesondere wird das Trainingsobjekt, im Speziellen das oder die Bild/er der Überwachungsdaten, das das Trainingsobjekt umfasst, zeigt oder liefert, als Positiv- oder Negativbeispiel dem Trainingsdatensatz zugefügt. Insbesondere werden dem Trainingsdatensatz das Pfadergebnis und/oder Zuverlässigkeit zugefügt.
Besonders bevorzugt ist es, dass basierend oder für ein Trainingsobjekt in Trainingsdatenbanken nach Trainingsdaten gesucht wird. Beispielsweise sind die Trainingsdatenbanken öffentliche Datenbanken mit Bildmaterial zum Trainieren von Bildverarbeitung oder neuronalen Netzen. In den Trainingsdatenbanken wird hierbei beispielsweise nach Trainingsobjekten und/oder Bildern gesucht, die ähnlich zu dem des Trainingsobjektes sind. Die so aufgefundenen Trainingsdaten werden dem Trainingsdatensatz zugefügt. Diese Ausgestaltung basiert auf der Überlegung, dass in bestehenden Datenbanken nach ähnlichen Objekten gesucht werden kann, so dass schnell weiteres Trainingsmaterial erhalten werden kann und die Videoüberwachungsvorrichtung weiter verbessert werden kann.
Optional ist es vorgesehen, dass basierend dem Trainingsobjekt und/oder den Trainingsobjekten künstliche Trainingsdaten erzeugt werden. Beispielsweise wird als künstliche Trainingsdaten die Erzeugung eines oder mehrere Bilder verstanden, die auf dem Trainingsobjekt, beispielsweise des detektierten, klassifizierten Objekts oder zugehörigen Bildes, basieren und das Objekt in ähnlicher Weise, jedoch verändert umfassen. Beispielsweise ist das Objekt an einen anderen Hintergrund und/oder Szene adaptiert oder in der Ansicht verändert. Im Speziellen werden die künstlichen Trainingsdaten basierend auf das Trainingsobjekt, beispielsweise dem zugehörigen Bild und einem GAN (Generative adversial network) generiert. Die künstlichen Trainingsdaten werden dem Trainingsdatensatz zugefügt. Im Speziellen kann das Generieren der künstlichen Trainingsdaten unter Verwendung eines weiteren neuronalen Netzes zur Generierung von Bildern passieren und/oder folgen.
Im Speziellen ist es vorgesehen, dass das Zufügen des oder der Trainingsobjekte und/oder der Trainingsdaten zum Trainingsdatensatz, im Speziellen das Trainieren, automatisch erfolgt. Alternativ ist es vorgesehen, dass das Zufügen des Trainingsobjektes und/oder der Trainingsdaten zum Trainingsdatensatz von einer Person kontrolliert wird, verifiziert und/oder freigegeben wird und/oder ist. So kann beispielsweise verhindert werden, dass zum Trainingsdatensatz unbrauchbare Bilder zugefügt werden. Im Speziellen kann die Person eine Klassifikation oder Detektion der Objekte, insbesondere Trainingsobjekte, durchführen, kontrollieren oder anpassen.
Die Objektdetektion und/oder Objektklassifikation erfolgt insbesondere basierend auf einer Bildauswertung der Überwachungsdaten, insbesondere der Bilder der Überwachungsdaten. Beispielsweise erfolgt die Detektion oder Klassifikation basierend auf Objektmerkmalen, beispielsweise Größe, Form, optischen Fluss oder Geschwindigkeit.
Optional ist es vorgesehen, dass die Überwachungsdaten Sensordaten mindestens eines Sensors umfassen, wobei der mindestens eine Sensor beispielsweise einen Radarsensor, einen Infrarotsensor, beispielsweise eine Wärmebildkamera, einen Lidersensor, einen UV-Sensor, einen Abstandssensor oder anderweitigen Sensor zur Erfassung einer physikalischen, chemischen oder mechanischen Größe bildet.
Einen weiteren Gegenstand der Erfindung bildet ein Computerprogramm, insbesondere mit Programmcodemitteln. Das Computerprogramm ist zur Ausführung auf einem Rechner und/oder der Videoüberwachungsvorrichtung ausgebildet. Das Computerprogramm ist ausgebildet und/oder eingerichtet, bei seiner Ausführung das Verfahren zum Nachtrainieren der Videoüberwachungsvorrichtung anzuwenden, zu implementieren, auszuführen und/oder zu unterstützen.
Einen weiteren Gegenstand bildet ein maschinenlesbares Speichermedium, wobei auf dem Speichermedium das Computerprogramm und/oder die Programmcodemittel des Computerprogramms gespeichert sind.
Einen weiteren Gegenstand der Erfindung bildet eine Überwachungsvorrichtung mit einem Auswertemodul. Das Auswertemodul umfasst mindestens zwei Verarbeitungspfade. Der Videoüberwachungsvorrichtung sind Überwachungsdaten bereitgestellt, wobei die Überwachungsdaten Bilder eines Überwachungsbereichs umfassen. Insbesondere ist die Videoüberwachungsvorrichtung zur Ausführung des Verfahrens zum Nachtrainieren der überwachten Videoüberwachungsvorrichtung wie vorher beschrieben ausgebildet und/oder eingerichtet. Das Auswertemodul ist ausgebildet, die Überwachungsdaten mittels der mindestens zwei Verarbeitungspfade auszuwerten, zu verarbeiten und/oder zu analysieren, wobei sich hieraus jeweils ein Pfadergebnis und eine zugehörige Zuverlässigkeit ergibt. Insbesondere können für einen Verarbeitungspfad mehrere Pfadergebnisse und/oder mehrere Zuverlässigkeiten erhalten werden. Einer der Verarbeitungspfade bildet einen AI-Verarbeitungspfad, wobei der Al-Verarbeitungspfad auf einem neuronalen Netz basiert, dieses umfasst und/oder anwendet. Der Al-Verarbeitungspfad ist ausgebildet, Objekte zu detektieren und/oder zu klassifizieren. Das Auswertemodul ist ausgebildet, durch Verarbeiten und/oder Analysieren der Überwachungsdaten, insbesondere der Bilder, mittels des AI-Verarbeitungspfades Objekte zu detektieren und/oder zu klassifizieren. Das Auswertemodul ist ausgebildet, eine Abweichung zu bestimmen, wobei die Abweichung eine Abweichung der Zuverlässigkeit des Pfadergebnisses des Al-Verarbeitungspfades von der Zuverlässigkeit des oder der zugehörigen Pfadergebnisse der weiteren Verarbeitungspfade beschreibt. Alternativ beschreibt die Abweichung eine Abweichung des Pfadergebnisses des Al-Verarbeitungspfades von dem oder den Pfadergebnissen der weiteren Verarbeitungspfade. Das Auswertemodul ist ausgebildet, zu prüfen, ob die Abweichung eine Schwellwertabweichung überschreitet, wobei das Auswertemodul ausgebildet ist, bei Überschreiten der Schwellwertabweichung das zugehörige Pfadergebnis, beispielsweise die Objektdetektion oder Objektklassifikation, insbesondere das Bild zum Nachtrainieren des neuronalen Netzes, insbesondere des Al-Verarbeitungspfades, anzuwenden und/oder vorzusehen, beispielsweise einen Trainingsdatensatz zuzufügen.
Weitere Vorteile, Wirkungen und Ausgestaltungen ergeben sich aus den beigefügten Figuren und deren Beschreibung. Dabei zeigen:

1 ein erstes Ausführungsbeispiel einer Überwachungsvorrichtung;
2 einen Verlauf der Zuverlässigkeit über die Zeit;
3 ein weiteres Ausführungsbeispiel einer Videoüberwachungsvorrichtung.

1 zeigt ein erstes Ausführungsbeispiel einer Videoüberwachungsvorrichtung 1. Der Videoüberwachungsvorrichtung 1 sind Überwachungsdaten 2 bereitgestellt. Die Überwachungsdaten 2 werden beispielsweise von Kameras 3 und Sensoren 4 bereitgestellt, beispielsweise einem Mikrofon oder Radarsensor. Im Speziellen umfasst die Videoüberwachungsvorrichtung 1 die Kameras 3 und Sensoren 4. Die Überwachungsdaten 2 umfassen insbesondere Bilder, bereitgestellt durch die Kameras 3, wobei die Bilder Teil eines Videos oder Bildstroms sind. Die Videoüberwachungsvorrichtung 1 umfasst ein Auswertemodul, wobei das Auswertemodul mindestens zwei Verarbeitungspfade 5a,b umfasst, wobei der Verarbeitungspfad 5a als Al-Verarbeitungspfad ausgebildet ist. Der Verarbeitungspfad 5b umfasst hier aus Gründen der Übersichtlichkeit selbst eine Mehrzahl an Verarbeitungspfaden oder kann in eine Mehrzahl an Verarbeitungspfaden untergliedert werden, beispielsweise einem Verarbeitungspfad zur klassischen Bildauswertung 6a, einem Verarbeitungspfad zur optischen Flussauswertung 6b ein im Verarbeitungspfad zur Radarauswertung 6c und einem Verarbeitungspfad zur Audioauswertung 6d. Der Verarbeitungspfad 5b bzw. die Teilverarbeitungspfade 6 sind ausgebildet, die Überwachungsdaten 2 auszuwerten und/oder zu analysieren. Beispielsweise wird in den Überwachungsdaten 2 nach Merkmalen oder Signalverläufen gesucht. Insbesondere kann die Analyse und/oder Auswertung eine statistische, physikalische, signaltechnische oder mathematische Auswertung umfassen und/oder bilden. Aus den Verarbeitungspfaden 5b werden Pfadergebnisse erhalten, die zusammen mit einer zugehörigen Zuverlässigkeit einem Abweichungsbestimmungsmodul 7 bereitgestellt werden.
Der Verarbeitungspfad 5a, der als Al-Verarbeitungspfad ausgebildet ist, analysiert und/oder wertet die Bilder der Überwachungsdaten 2 aus. Der Al-Verarbeitungspfad ist ausgebildet durch die Auswertung und/oder Analyse der Bilder diese zu segmentieren, Objekte zu detektieren und insbesondere zu klassifizieren. Die Ergebnisse dieser Analyse und/oder Auswertung werden als Pfadergebnis mit einem zugehörigen Zuverlässigkeitsmaß an das Abweichungsbestimmungsmodul 7 bereitgestellt. Das Abweichungsbestimmungsmodul 7 ist ausgebildet eine Abweichung zusammengehöriger Pfadergebnisse der unterschiedlichen Verarbeitungspfade 5a,b, insbesondere der Ergebnisse des AI-Verarbeitungspfades 5a von den weiteren und/oder dem weiteren Verarbeitungspfad 5b zu bestimmen. Überschreitet diese Abweichung eine Schwellwertabweichung wird das zugehörige Bild der Überwachungsdaten 2 bzw. das Pfadergebnis und/oder zugehörige Zuverlässigkeit als Trainingsobjekt zum Nachtrainieren des Al-Verarbeitungspfades 5a herangezogen und/oder gesetzt.
2 zeigt beispielhaft den Verlauf der Zuverlässigkeit Z der Videoüberwachungsvorrichtung, insbesondere des Al-Verarbeitungspfades bzw. des neuronalen Netzes über die Zeit t. Die Zeit wird hierbei in zwei Segmente unterteilt, einem ersten Segment I und einem zweiten Segment II. Das erste Segment I ist ein Zeitintervall das zum Trainieren zur Erzielung der Grundzuverlässigkeit Z0 benötigt wird. Ab dem dies wird zu dem Zeitpunkt t₀ erreicht. Ab dem Zeitpunkt t₀ wird die Videoüberwachungsvorrichtung 1 beim Kunden und/oder Anwender betrieben, so dass szenenspezifische Überwachungsdaten und/oder Bilder ausgewertet und/oder analysiert werden. Durch das vorgeschlagene Verfahren werden spezifische Trainingsobjekte aus den Originaldaten erhalten und/oder in abgewandelter Form künstlich erzeugt oder in Datenbanken gesucht, so dass das neuronale Netz zielsicher und effizient nachtrainiert werden kann, so dass bereits zum Zeitpunkt t₁ eine signifikante Zunahme der Zuverlässigkeit Z erreicht wird. Die klassischen Anwendungen von neuronalen Netzen erreichen diese Will-Zuverlässigkeit nur mit t gegen Unendlich, wobei hierzu der Verlauf der Zuverlässigkeit Z für ein klassisches neuronales Netz als Graf 8 eingezeichnet ist.
3 zeigt ein weiteres Ausführungsbeispiel einer Videoüberwachungsvorrichtung 1 zur Verdeutlichung des Nachtrainierens. Hierbei erzeugte die Videoüberwachungsvorrichtung 1 einen Trainingsdatensatz 9, umfassend eine Mehrzahl an Trainingsobjekten erhaltend aus dem vorgeschlagenen Verfahren. Die Trainingsobjekte, insbesondere aus der Trainingsdatenbank 9 werden herangezogen, um in einer Trainingsdatenbank 10 nach ähnlichen Objekten, Szenen oder Bildern zu suchen. Diese Bilder werden als Trainingsdaten 11 dem Trainingsdatensatz 9 zugefügt. Insbesondere kann es vorgesehen sein, dass durch eine Benutzerinteraktion 12 der Trainingsdatensatz 9 bzw. die darin enthaltenen Trainingsdaten und/oder Bilder kontrolliert werden und/oder freigegeben werden.
Die Daten des Trainingsdatensatzes 9, insbesondere die darin enthaltenen Bilder, Trainingsobjekte, Pfadergebnisse und/oder Zuverlässigkeit werden mittels intelligenter Video- und/oder Bildanalyse 13 ausgewertet, beispielsweise durch 3D-modellbasierte Objektverifikation, Objekt-Traking oder Flussbestimmung. Insbesondere können Szeneninformationen zur Analyse eingesetzt werden. Hierauf und/oder hierdurch kann eine Hintergrundmodell Kalibration 14 erfolgen, die zur Generierung 15 von künstlichen Trainingsdaten herangezogen werden kann, so dass basierend auf dem Trainingsobjekt künstliche Bilder beispielsweise durch Szenensynthese, Domänenadaption und/oder Szenen-Simulation erzeugt werden. Die so erzeugten und/oder generierten künstlichen Trainingsdaten werden dem Trainingsdatensatz 9 zugefügt. Der Trainingsdatensatz 9 ist insbesondere den AI-Verarbeitungspfad 55 ausgebildet.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

DE 102007041893 A1 [0003]

Claims

Verfahren zum Nachtrainieren einer Videoüberwachungsvorrichtung (1), wobei der Videoüberwachungsvorrichtung (1) Überwachungsdaten (2) bereitgestellt sind, wobei die Überwachungsdaten (2) Bilder eines Überwachungsbereichs umfassen, wobei die Überwachungsdaten (2) auf mindestens zwei Verarbeitungspfaden (5a,b) verarbeitet und/oder analysiert werden, wobei die Verarbeitung und/oder Analyse der Überwachungsdaten (2) auf den Verarbeitungspfaden (5a,b) jeweils ein Pfadergebnis und eine zugehörige Zuverlässigkeit liefert, wobei mindestens einer der Verarbeitungspfade (5a,b) einen Al-Verarbeitungspfad bildet, wobei der Al-Verarbeitungspfad auf einem neuronalen Netz basiert und zur Objektdetektion und/oder Objektklassifikation ausgebildet ist, wobei eine Abweichung der Zuverlässigkeit des Pfadergebnisses des Al-Verarbeitungspfades von der Zuverlässigkeit der zugehörigen Pfadergebnisse der weiteren Verarbeitungspfade (5a,b) und/oder eine Abweichung des Pfadergebnisses des AI-Verarbeitungspfades von den Pfadergebnissen der weiteren Verarbeitungspfade (5a,b) bestimmt wird, wobei bei Überschreiten einer Schwellwertabweichung durch die bestimmte Abweichung das zugehörige Pfadergebnis des AI-Verarbeitungspfades als Trainingsobjekt zum Nachtrainieren des neuronalen Netzes gesetzt wird.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die Videoüberwachungsvorrichtung (1) zum Routineeinsatz in einer Anwendungsumgebung ausgebildet und/oder vorgesehen ist, wobei das Verarbeiten und/oder Analysieren auf den Verarbeitungspfaden (5a,b), das Bestimmen der Abweichung und/oder das Setzen als Trainingsobjekts während des Routineeinsatzes erfolgt.
Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass basierend auf den Zuverlässigkeiten der weiteren Verarbeitungspfade (5a,b) eine Gesamtzuverlässigkeit ermittelt wird, wobei die Abweichung der Zuverlässigkeit des Al-Verarbeitungspfades basierend auf der Gesamtzuverlässigkeit bestimmt wird.
Verfahren nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass das Pfadergebnis des AI-Verarbeitungspfades als Trainingsobjekt gesetzt wird, wenn die zugehörige Zuverlässigkeit eine Mindestzuverlässigkeit unterschreitet.
Verfahren nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass das Trainingsobjekt und/oder zugehörige Bild einem Trainingsdatensatz (9) zugefügt wird, wobei das neuronale Netz des AI-Verarbeitungspfades basierend auf dem Trainingsdatensatz (9) nachtrainiert wird.
Verfahren nach Anspruch 5, dadurch gekennzeichnet, dass das Trainingsobjekt als Positiv- oder Negativbeispiel dem Trainingsdatensatz (9) zugefügt wird.
Verfahren nach Anspruch 5 oder 6, dadurch gekennzeichnet, dass basierend auf dem Trainingsobjekt in Trainingsdatenbanken (10) nach Trainingsdaten (11) gesucht wird, wobei die Trainingsdaten (11) mindestens ein Bild umfassend ein zum Trainingsobjekt ähnliches Objekt umfassen, wobei die gefundenen Trainingsdaten (11) dem Trainingsdatensatz (9) zugefügt werden.
Verfahren nach einem der Ansprüche 5 bis 7, dadurch gekennzeichnet, dass basierend auf dem Trainingsobjekt künstliche Trainingsdaten (11) erzeugt werden, wobei die künstlichen Trainingsdaten (11) mindestens ein Bild umfassend ein zum Trainingsobjekt ähnliches Objekt umfassen, wobei die künstlichen Trainingsdaten (11) dem Trainingsdatensatz (9) zugefügt werden.
Verfahren nach einem der Ansprüche 5 bis 8, dadurch gekennzeichnet, dass das Zufügen des Trainingsobjekts und/oder der Trainingsdaten (11) zum Trainingsdatensatz (9) von einer Person kontrolliert wird, verifiziert und/oder freigegeben ist.
Verfahren nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass die Objektdetektion und/oder Objektklassifikation auf einer Bildauswertung der Überwachungsdaten (2) basiert.
Verfahren nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass die Überwachungsdaten (2) Sensordaten mindestens eines Sensors (4) umfassen, wobei der Sensor (4) einen Radar-, Infrarot-, Lidar-, UV-, Geschwindigkeits- und/oder Abstandssensor bildet.
Computerprogramm ausgebildet und/oder eingerichtet, das Verfahren nach einem der vorherigen Ansprüche auszuführen und/oder anzuwenden.
Maschinenlesbares Speichermedium, wobei auf dem Speichermedium das Computerprogramm nach Anspruch 12 gespeichert ist.
Videoüberwachungsvorrichtung (1) wobei der Videoüberwachungsvorrichtung (1) Überwachungsdaten (2) bereitgestellt sind, wobei die Überwachungsdaten (2) Bilder eines Überwachungsbereichs umfassen, mit einem Auswertemodul, wobei das Auswertemodul mindestens zwei Verarbeitungspfade (5a, b) aufweist und ausgebildet ist, die Überwachungsdaten (2) auf den mindestens zwei Verarbeitungspfaden (5a,b) zu verarbeiten und/oder analysieren, wobei die Verarbeitung und/oder Analyse der Überwachungsdaten (2) auf den Verarbeitungspfaden (5a,b) jeweils ein Pfadergebnis und ein zugehöriges Zuverlässigkeitsmaß liefert, wobei mindestens einer der Verarbeitungspfade (5a,b) einen Al-Verarbeitungspfad bildet, wobei der Al-Verarbeitungspfad auf einem neuronalen Netz basiert und zur Objektdetektion und/oder Objektklassifikation ausgebildet ist, wobei das Auswertemodul ausgebildet ist, eine Abweichung der Zuverlässigkeit des Pfadergebnisses des Al-Verarbeitungspfades von der Zuverlässigkeit der zugehörigen Pfadergebnisse der weiteren Verarbeitungspfade (5a,b) und/oder eine Abweichung des Pfadergebnisses des AI-Verarbeitungspfades von den Pfadergebnissen der weiteren Verarbeitungspfade (5a,b) zu bestimmen, wobei das Auswertemodul ausgebildet ist, bei Überschreiten einer Schwellwertabweichung durch die bestimmte Abweichung, das zugehörige Pfadergebnis des AI-Verarbeitungspfades als Trainingsobjekt zum Nachtrainieren des neuronalen Netzes zu setzen.