DE102022200831A1

DE102022200831A1 - Surveillance device and method for image-based surveillance of a surveillance area, computer program and storage medium

Info

Publication number: DE102022200831A1
Application number: DE102022200831.6A
Authority: DE
Inventors: Christoph Burger-Scheidlin; Sven Rohr
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2022-01-26
Filing date: 2022-01-26
Publication date: 2023-07-27
Also published as: WO2023144185A1

Abstract

Überwachungsvorrichtung 1 zur bildbasierten Überwachung eines Überwachungsbereichs 5, mit einem Ausführungsmodul 6, einem Auswahlmodul 4 und einer Mehrzahl an Analyseapplikationen 7, wobei der Überwachungsvorrichtung 1 ein Eingangssignal bereitgestellt ist und/oder die Überwachungsvorrichtung 1 eine Sensoreinrichtung zur Bereitstellung des Eingangssignals aufweist, wobei das Eingangssignal ein Bild des Überwachungsbereichs 5 umfasst, wobei die Analyseapplikationen 7 jeweils eine Auswahlanalysekomponente (9) und eine Hauptanalysekomponente 10 umfassen, wobei das Auswahlmodul 4 ausgebildet ist, durch Anwendung der Auswahlanalysekomponenten 9 auf das Eingangssignal für die Analyseapplikationen 7 jeweils eine Erfolgswahrscheinlichkeit der Anwendung der Hauptanalysekomponente 10 auf das Eingangssignals zu bestimmen und/oder abzuschätzen, wobei das Auswahlmodul 4 ausgebildet ist, basierend auf den Erfolgswahrscheinlichkeiten mindestens eine der Analyseapplikationen 7 als Ausführungsapplikation 11 auszuwählen, wobei das Ausführungsmodul 6 ausgebildet ist, die Hauptanalysekomponente 10 der Ausführungsapplikation 11 auszuführen.Monitoring device 1 for image-based monitoring of a monitored area 5, with an execution module 6, a selection module 4 and a plurality of analysis applications 7, wherein the monitoring device 1 is provided with an input signal and/or the monitoring device 1 has a sensor device for providing the input signal, the input signal being a Image of the monitoring area 5, the analysis applications 7 each comprising a selection analysis component (9) and a main analysis component 10, the selection module 4 being designed to calculate a probability of success for the application of the main analysis component 10 by applying the selection analysis components 9 to the input signal for the analysis applications 7 to determine and/or estimate the input signal, with the selection module 4 being designed to select at least one of the analysis applications 7 as the execution application 11 based on the probability of success, with the execution module 6 being designed to execute the main analysis component 10 of the execution application 11.

Description

Stand der TechnikState of the art

Die Erfindung betrifft eine Überwachungsvorrichtung zur bildbasierten Überwachung eines Überwachungsbereichs wobei der Überwachungsvorrichtung ein Eingangssignal bereitgestellt ist und/oder die Überwachungsvorrichtung eine Sensoreinrichtung zur Bereitstellung des Eingangssignals aufweist, wobei das Eingangssignal ein Bild des Überwachungsbereichs umfasst.The invention relates to a monitoring device for image-based monitoring of a monitored area, the monitoring device being provided with an input signal and/or the monitoring device having a sensor device for providing the input signal, with the input signal comprising an image of the monitored area.

Stand der TechnikState of the art

Die Druckschrift DE 20 2018 104 373 U1 , die wohl den nächstkommenden Stand der Technik bildet, beschreibt eine Vorrichtung zum Betreiben eines maschinellen Lernsystems, insbesondere zum Steuern einer Berechnung des maschinellen Lernsystems.The pamphlet DE 20 2018 104 373 U1 , which is considered to be the closest prior art, describes an apparatus for operating a machine learning system, in particular for controlling a calculation of the machine learning system.

Offenbarung der ErfindungDisclosure of Invention

Es wird eine Überwachungsvorrichtung zur bildbasierten Überwachung eines Überwachungsbereichs mit den Merkmalen des Anspruchs 1 vorgeschlagen. Ferner wird ein Verfahren, ein Computerprogramm und ein maschinenlesbares Speichermedium mit dem Computerprogramm zur bildbasierten Überwachung eines Überwachungsbereichs vorgeschlagen. Weitere Vorteile, Wirkungen und Ausgestaltungen ergeben sich aus den Unteransprüchen, der Beschreibung und den beigefügten Figuren.A surveillance device for image-based surveillance of a surveillance area with the features of claim 1 is proposed. Furthermore, a method, a computer program and a machine-readable storage medium with the computer program for image-based monitoring of a surveillance area are proposed. Further advantages, effects and configurations result from the dependent claims, the description and the attached figures.

Es wird eine Überwachungsvorrichtung zur bildbasierten Überwachung eines Überwachungsbereichs vorgeschlagen. Die Überwachungsvorrichtung kann beispielsweise ein Hardwaremodul bilden, welches vorzugsweise als Chipsystem oder Modulkomponente ausgebildet ist, insbesondere zur Integration in eine Kamera. Im Speziellen ist die Überwachungsvorrichtung zum Auswerten eines Eingangssignals ausgebildet. Im Speziellen bildet die Überwachungsvorrichtung selbst eine Kamera. Alternativ und/oder ergänzend ist die Überwachungsvorrichtung datentechnisch mit mindestens einer Kamera verbunden. Als bildbasierte Überwachung wird insbesondere eine videobasierte Überwachung verstanden. Die bildbasierte Überwachung basiert im Speziellen auf Farbbildern, Wärmebilder und/oder Zusatzdaten. Die Zusatzdaten können beispielsweise Temperaturen, Abstandsmessungen und/oder Lichtschrankeninformationen umfassen. Die Überwachung kann im Speziellen eine Zutrittsüberwachung eines Bereiches, Personenerkennung und/oder Objekterkennung bzw. Verfolgung, Gefahrenüberwachung, Brandüberwachung und/oder Rauchüberwachung umfassen. Der Überwachungsbereich umfasst im Speziellen eine Mehrzahl an Teilbereichen, wobei die Teilbereiche zusammenhängend und/oder zerklüftet angeordnet sind. Der Überwachungsbereich kann ein Freibereich, beispielsweise Park oder Straße, oder ein Innenraum, beispielsweise Flughafen oder Bahnhof, sein.A surveillance device for image-based surveillance of a surveillance area is proposed. The monitoring device can form a hardware module, for example, which is preferably designed as a chip system or module component, in particular for integration into a camera. In particular, the monitoring device is designed to evaluate an input signal. In particular, the monitoring device itself forms a camera. Alternatively and/or additionally, the monitoring device is connected to at least one camera in terms of data technology. Image-based surveillance is understood to mean, in particular, video-based surveillance. The image-based monitoring is based in particular on color images, thermal images and/or additional data. The additional data can include, for example, temperatures, distance measurements and/or light barrier information. The monitoring can specifically include access monitoring of an area, person detection and/or object detection or tracking, risk monitoring, fire monitoring and/or smoke monitoring. In particular, the monitored area comprises a plurality of sub-areas, with the sub-areas being arranged in a continuous and/or fissured manner. The monitored area can be an open area, for example a park or a street, or an indoor area, for example an airport or train station.

Die Überwachungsvorrichtung umfasst ein Ausführungsmodul, im Speziellen eine Mehrzahl an Ausführungsmodulen, ein oder mehrere Auswahlmodule und eine Mehrzahl an Analyseapplikationen. Im Speziellen sind das Ausführungsmodul und das Auswahlmodul in einem gemeinsamen Modul, beispielsweise Chip, zusammengefasst. Ausführungsmodul und/oder Auswahlmodul verfügen insbesondere über Prozessorressourcen. Das Ausführungsmodul und Auswahlmodul umfassen insbesondere einen Softwareanteil. Die Analyseapplikationen umfassen vorzugsweise und/oder bilden Softwareapplikationen. Die Überwachungsvorrichtung umfasst insbesondere mindestens zehn Analyseapplikationen. Im Speziellen sind die Analyseapplikationen von Dritten bereitgestellt, beziehbar, erweiterbar, veränderbar und/oder entfernbar. Die Analyseapplikationen sind insbesondere ausgebildet, die bildbasierten Überwachung auszuführen und/oder zu unterstützen. Beispielsweise sind die Analyseapplikationen zur Bilderkennung, Objekterkennung, Personenerkennung, Gefahrenerkennung, Branderkennung, Raucherkennung und/oder Zutrittskontrolle ausgebildet. Beispielsweise kann ein Benutzer der Überwachungsvorrichtung die Analyseapplikationen auf der Überwachungsvorrichtung hinterlegen und/oder speichern, die eine gewünschte Analyse, Auswertung und/oder Überwachung basierend auf bereitgestellten Eingangssignalen und/oder Bildern ausführen können.The monitoring device comprises an execution module, in particular a plurality of execution modules, one or more selection modules and a plurality of analysis applications. In particular, the execution module and the selection module are combined in a common module, for example a chip. Execution module and/or selection module have processor resources at their disposal. The execution module and selection module include, in particular, a software component. The analysis applications preferably include and/or form software applications. In particular, the monitoring device includes at least ten analysis applications. In particular, the analytics applications are provided, obtainable, extensible, changeable and/or removable by third parties. The analysis applications are designed in particular to carry out and/or support the image-based monitoring. For example, the analysis applications are designed for image recognition, object recognition, person recognition, hazard recognition, fire recognition, smoke recognition and/or access control. For example, a user of the monitoring device can deposit and/or store the analysis applications on the monitoring device, which can carry out a desired analysis, evaluation and/or monitoring based on input signals and/or images provided.

Der Überwachungsvorrichtung ist mindestens ein Eingangssignal bereitgestellt, beispielsweise von einer Kamera, einer Sensoreinrichtung und/oder Sensoren. Alternativ und/oder ergänzend umfasst die Überwachungsvorrichtung eine Sensoreinrichtung, im Speziellen mit mindestens einer Kamera, zur Bereitstellung des Eingangssignals. Beispielsweise ist die Überwachungsvorrichtung mit einer oder mehrerer Kameras und/oder Sensoren verbunden, wobei die Kameras und/oder Sensoren das Eingangssignal bereitstellen. Hierzu weist die Überwachungsvorrichtung beispielsweise eine Schnittstelle zur Kopplung mit der Kamera und/oder den Sensoren auf. Das Eingangssignal kann ein digitales oder ein analoges Signal bilden und/oder umfassen. Das Eingangssignal umfasst mindestens ein Bild, eine Bildsequenz und/oder einen Bildstrom des Überwachungsbereichs. Basierend auf dem mindestens einem Bild bzw. dem Eingangssignal erfolgt die bildbasierte Überwachung des Überwachungsbereichs. Im Speziellen kann das Eingangssignal weitere Daten neben dem Bild umfassen, beispielsweise Metadaten, Temperaturdaten und/oder Sensordaten. Vorzugsweise ist das Eingangssignal mit einer Bereitstellungsfrequenz, vorzugsweise basierend auf der Abtast- und/oder Aufnahmefrequenzen, bereitgestellt.At least one input signal is provided to the monitoring device, for example from a camera, a sensor device and/or sensors. Alternatively and/or additionally, the monitoring device includes a sensor device, specifically with at least one camera, for providing the input signal. For example, the monitoring device is connected to one or more cameras and/or sensors, with the cameras and/or sensors providing the input signal. For this purpose, the monitoring device has, for example, an interface for coupling to the camera and/or the sensors. The input signal can form and/or comprise a digital or an analog signal. The input signal comprises at least one image, an image sequence and/or an image stream of the surveillance area. The image-based monitoring of the monitored area takes place based on the at least one image or the input signal. In particular, the input signal may include other data besides the image, at for example metadata, temperature data and/or sensor data. The input signal is preferably provided with a provision frequency, preferably based on the sampling and/or recording frequencies.

Die Analyseapplikationen weisen jeweils eine Auswahlanalysekomponente und eine Hauptanalysekomponente auf. Auswahlanalysekomponente und Hauptanalysekomponente bilden beispielsweise zwei Teilprogramme der Analyseapplikation. Insbesondere ist es vorgesehen, dass sich Auswahlanalysekomponente und Hauptanalysekomponente einer Analyseapplikationen in ihrem Ausführungsumfang und/oder Ausführungsdauer unterscheiden, beispielsweise, dass die Ausführungsdauer und/oder Komplexität der Hauptanalysekomponente mindestens dem 10-fachen, im Speziellen mindestens dem 100-fachen der Auswahlanalysekomponente beträgt. Im Speziellen ist es vorgesehen, dass die Auswahlanalysekomponente eine Ähnlichkeit zur Hauptanalysekomponente aufweist. Beispielsweise ist die Auswahlanalysekomponente ausgebildet, nur Teile von Merkmalen und/oder Analysen der Hauptanalysekomponente durchzuführen.The analysis applications each have a selection analysis component and a main analysis component. Selected analysis component and main analysis component form, for example, two sub-programs of the analysis application. In particular, it is provided that the selection analysis component and main analysis component of an analysis application differ in their scope and/or execution time, for example that the execution time and/or complexity of the main analysis component is at least 10 times, in particular at least 100 times, that of the selection analysis component. In particular, provision is made for the selection analysis component to be similar to the main analysis component. For example, the selection analysis component is designed to carry out only parts of features and/or analyzes of the main analysis component.

Das Auswahlmodul ist ausgebildet, die Auswahlanalysekomponenten der Analyseapplikationen auf das Eingangssignal anzuwenden. Beispielsweise wird das Eingangssignal an alle Auswahlanalysekomponenten bereitgestellt und/oder von diesen verarbeitet. Die Auswahlanalysekomponenten sind ausgebildet, eine Erfolgswahrscheinlichkeit zu liefern, zu berechnen und/oder abzuschätzen. Bei Anwendung der Auswahlanalysekomponenten auf das Eingangssignal wird beispielsweise als Erfolgswahrscheinlichkeit bestimmt, wie erfolgreich, sinnvoll und/oder zuverlässig das Eingangssignal mittels der zugehörigen Hauptanalysekomponente ausgewertet und/oder analysiert werden kann. Beispielsweise ist das Auswahlmodul ausgebildet, durch Anwendung der Auswahlanalysekomponenten Merkmale im Eingangssignal zu suchen, die zur Anwendung der Hauptanalysekomponente geeignet sind, relevant sind und/oder erfolgsversprechend. Die Erfolgswahrscheinlichkeit beschreibt somit beispielsweise, wie erfolgversprechend, sinnvoll und/oder verlässlich eine Anwendung der Hauptanalysekomponente auf das Eingangssignal ist. Die Erfolgswahrscheinlichkeit ist vorzugsweise eine prozentuale Wahrscheinlichkeit.The selection module is designed to apply the selection analysis components of the analysis applications to the input signal. For example, the input signal is provided to and/or processed by all selection analysis components. The selection analysis components are designed to provide, calculate and/or estimate a probability of success. When the selection analysis components are applied to the input signal, it is determined, for example, as a probability of success, how successfully, sensibly and/or reliably the input signal can be evaluated and/or analyzed using the associated main analysis component. For example, the selection module is designed to use the selection analysis components to search for features in the input signal that are suitable, relevant and/or promising for using the main analysis component. The probability of success thus describes, for example, how promising, sensible and/or reliable an application of the main analysis component to the input signal is. The probability of success is preferably a percentage probability.

Das Auswahlmodul ist ausgebildet, basierend auf den bestimmten Erfolgswahrscheinlichkeiten aus den Analyseapplikationen mindestens eine als Ausführungsapplikation auszuwählen. Im Speziellen ist es vorgesehen sein, dass das Auswahlmodul ausgebildet ist, basierend auf den Erfolgswahrscheinlichkeiten eine Mehrzahl an Analyseapplikationen als Ausführungsapplikationen auszuwählen. Vorzugsweise ist das Ausführungsmodul ausgebildet, als Ausführungsapplikation die Analyseapplikationen auszuwählen, die die größte und/oder die größten Erfolgswahrscheinlichkeiten aufweisen.The selection module is designed to select at least one of the analysis applications as the execution application based on the determined probability of success. In particular, provision is made for the selection module to be designed to select a plurality of analysis applications as execution applications based on the success probabilities. The execution module is preferably designed to select, as the execution application, the analysis applications that have the greatest and/or the greatest probability of success.

Das Ausführungsmodul ist ausgebildet, die Hauptanalysekomponente der Ausführungsapplikation und/oder der Ausführungsapplikationen auszuführen, anzuwenden und/oder anzuwenden.The execution module is designed to execute, use and/or use the main analysis component of the execution application and/or the execution applications.

Die Erfindung basiert auf der Überlegung, dass die Ressourcen, beispielsweise Rechenleistung, von Überwachungsvorrichtungen, Rechnern und/oder Chipsystemen, begrenzt sind, so dass bei einem Vorhandensein eine Mehrzahl an Analyseapplikationen nicht alle gleichzeitig ausführbar sind. Wird für eine Überwachungsvorrichtung und/oder Kamera die Möglichkeit gegeben, Analyseapplikationen zu erweitern, zu ändern und/oder von Dritten zu beziehen, kann durch das vorgeschlagene vorsehen einer Auswahlanalysekomponente und eine Hauptanalysekomponente für alle Analyseapplikationen mit geringer Rechenaufwand und innerhalb kürzester Zeit, durch das Anwenden der effizienten Auswahlanalysekomponenten statt der ganzen Analyseapplikation abgeschätzt werden, wie sinnvoll die Anwendung der arbeitsintensiveren Hauptanalysekomponenten für das vorliegende Eingangssignal überhaupt wäre. Die zeitintensiven und rechenintensiven Teile der Analyseapplikationen, hier die Hauptanalysekomponenten, werden dann nur für die Analyseapplikationen ausgeführt, für die eine hinreichende Erfolgswahrscheinlichkeit gegeben ist. So kann effektiv die Orchestrierung einer Überwachungsvorrichtung mit einer Vielzahl an Analyseapplikationen ermöglicht werden.The invention is based on the consideration that the resources, for example computing power, of monitoring devices, computers and/or chip systems are limited, so that if a plurality of analysis applications are present, they cannot all be executed at the same time. If a surveillance device and/or camera is given the opportunity to expand, change and/or obtain analysis applications from third parties, the proposed provision of a selection analysis component and a main analysis component for all analysis applications with little computational effort and within a very short time, by applying the efficient selection analysis components instead of the entire analysis application, can be used to estimate how useful it would be to use the more labor-intensive main analysis components for the present input signal. The time-consuming and computationally intensive parts of the analysis applications, here the main analysis components, are then only executed for the analysis applications for which there is a sufficient probability of success. In this way, the orchestration of a monitoring device with a large number of analysis applications can be effectively enabled.

Insbesondere basieren und/oder bilden die Analyseapplikationen, die Auswahlanalysekomponenten und/oder die Hauptanalysekomponenten jeweils ein neuronales Netz, im Speziellen ein tiefes neuronales Netz. Beispielsweise umfassen und/oder bilden die Analyseapplikationen, die Auswahlanalysekomponenten und/oder die Hauptanalysekomponenten ein auf ihre Anwendung trainiertes neuronales Netz. Insbesondere sind Analyseapplikationen auf unterschiedliche Anwendungen trainiert. Im Speziellen basieren die Auswahlanalysekomponente einer Analyseapplikationen auf Teilen, Anwendungen, Gewichten und/oder Merkmalen der zugehörigen Hauptanalysekomponente. Die Analyseapplikationen, insbesondere die Hauptanalysekomponenten, weisen eine Eingangsschicht auf, wobei der Eingangsschicht das Eingangssignal zur Verarbeitung bereitgestellt ist. Das neuronale Netz der Hauptanalysekomponenten weist ebenfalls eine Eingangsschicht auf, wobei der Eingangsschicht das Eingangssignal oder ein auf dem Ausgang des Netzes der Ausfallanalysekomponente erhaltene Signal als Eingang bereitgestellt ist.In particular, the analysis applications, the selection analysis components and/or the main analysis components are based and/or form a neural network, in particular a deep neural network. For example, the analysis applications, the selection analysis components and/or the main analysis components include and/or form a neural network that is trained for their application. In particular, analysis applications are trained for different applications. In particular, the selection analysis components of an analysis application are based on parts, applications, weights and/or characteristics of the associated main analysis component. The analysis applications, in particular the main analysis components, have an input layer, with the input layer being provided with the input signal for processing. The neural network of the main analysis components also has an input layer, the input layer having the input signal or a signal obtained from the output of the network of the contingency analysis component is provided as an input.

Eine Ausgestaltung der Erfindung sieht vor, dass die Auswahlanalysekomponenten zur Bestimmung der Erfolgswahrscheinlichkeit durch Grobanalyse des Eingangssignals ausgebildet sind. Beispielsweise wird als Grobanalyse eine vereinfachte Analyse des Eingangssignals, insbesondere in ähnlicher und/oder gröberer Weise als die Hauptanalysekomponente verstanden. Beispielsweise ist die Grobanalyse eine teilweise, vereinfachte, abgebrochene Anwendung der Hauptanalysekomponente auf das Eingangssignal. Beispielsweise sind die Auswahlanalysekomponenten ausgebildet, nur eine Teilmenge der von der zugehörigen Hauptanalysekomponente untersuchten Merkmale zu analysieren. Beispielsweise weniger als 1/100 oder weniger als 1/1000 der Merkmale der Hauptanalysekomponente. Insbesondere basieren die Auswahlanalysekomponenten auf einem neuronalen Netz mit einer ersten Knotenanzahl, wobei die zugehörigen Hauptanalysekomponenten auf einem neuronalen Netz mit einer zweiten Knotenanzahl basieren, wobei das Verhältnis von zweiten Knotenzahl und erster Knotenzahl mindestens 100, im Speziellen mindestens 1000 beträgt. Insbesondere kann es vorgesehen sein, dass die Auswahlanalysekomponenten ausgebildet sind, eine auf der Hauptanalysekomponente basierende Analyse auf ein qualitätsreduziertes Eingangssignal anzuwenden, beispielsweise auf ein vergröbertes Bild, geringere Dimension des Bildes und/oder Eingangssignaldichte.One embodiment of the invention provides that the selection analysis components are designed to determine the probability of success through a rough analysis of the input signal. For example, a simplified analysis of the input signal, in particular in a similar and/or coarser way than the main analysis component, is understood as a coarse analysis. For example, the coarse analysis is a partial, simplified, truncated application of the main analysis component to the input signal. For example, the selection analysis components are designed to analyze only a subset of the features examined by the associated main analysis component. For example, less than 1/100 or less than 1/1000 of the characteristics of the main analysis component. In particular, the selection analysis components are based on a neural network with a first number of nodes, the associated main analysis components being based on a neural network with a second number of nodes, the ratio of the second number of nodes and the first number of nodes being at least 100, in particular at least 1000. In particular, it can be provided that the selection analysis components are designed to apply an analysis based on the main analysis component to a quality-reduced input signal, for example to a coarsened image, smaller dimensions of the image and/or input signal density.

Besonders bevorzugt ist es, dass das Auswahlmodul ausgebildet ist, basierend auf den Erfolgswahrscheinlichkeiten normierte Erfolgswahrscheinlichkeiten zu bestimmen. Beispielsweise erfolgt die Normierung basierend auf der Summe aller Erfolgswahrscheinlichkeiten. Im speziellen ist die normierte Erfolgswahrscheinlichkeit p̃_i bestimmt als ${\tilde{p}}_{i} = \frac{p_{i}}{\sum_{k = 1}^{n} p_{k}},$

wobei p_i die Erfolgswahrscheinlichkeiten der einzelnen Analysekomponenten sind und n die Anzahl der Analysekomponenten.It is particularly preferred that the selection module is designed to determine standardized success probabilities based on the success probabilities. For example, the normalization is based on the sum of all success probabilities. In particular, the normalized probability of success p̃ _i is determined as

{\tilde{p}}_{i} = \frac{p_{i}}{\sum_{k = 1}^{n} p_{k}},

where p _i are the success probabilities of the individual analysis components and n the number of analysis components.

Das Auswahlmodul ist ausgebildet die Auswahl der Ausführungsapplikation basierend auf den normierten Erfolgswahrscheinlichkeiten durchzuführen. Diese Ausgestaltung basiert auf der Überlegung, dass jede Ausführungsapplikation statistisch mit der Häufigkeit der normierten Wahrscheinlichkeit auftritt. Gibt es zwei Anwendungen, eine (A) mit 0.9 normierter Wahrscheinlichkeit und eine (B) mit 0.1 normierter Wahrscheinlichkeit, so wird A mit 90% Wahrscheinlichkeit ausgewählt und B mit 10%, z.B. durch ziehen einer Zufallszahl zwischen 0 und 1, bei 0 - 0.9 wird A gewählt, bei 0.9 - 1.0 B.The selection module is designed to carry out the selection of the execution application based on the standardized success probabilities. This refinement is based on the consideration that each execution application occurs statistically with the frequency of the normalized probability. If there are two applications, one (A) with a normalized probability of 0.9 and one (B) with a normalized probability of 0.1, then A is selected with a 90% probability and B with 10%, e.g. by drawing a random number between 0 and 1, with 0 - 0.9 A is selected, with 0.9 - 1.0 B.

Im Speziellen ist es vorgesehen, dass das Auswahlmodul ausgebildet ist, die Ausführungsapplikation basierend auf der Erfolgswahrscheinlichkeit und einer Zusatzgröße auszuwählen. Die Zusatzgröße umfasst beispielsweise eine Geräteressource, beispielsweise verfügbarer Speicher, Prozessor. Ferner kann die Zusatzgröße einen Gerätekontext, beispielsweise Kommunikationsgeschwindigkeit und/oder Anwendungsprofil, einen Analyseapplikationskontext, beispielsweise relevante Sicherheitsapplikation, und/oder Metadaten der Analyseapplikationen umfassen. Diese Ausgestaltung basiert auf der Überlegung, dass zur Orchestrierung der Analyseapplikationen neben der Berücksichtigung der reinen Erfolgswahrscheinlichkeit zur Ausnutzung der vorhandenen Ressourcen weitere Daten hergezogen werden sollten, so dass eine sichere, vollständige und ausfallsichere Ausführung der Analyseapplikationen auf der Überwachungsvorrichtung ermöglicht wird.In particular, it is provided that the selection module is designed to select the execution application based on the probability of success and an additional variable. The additional quantity includes, for example, a device resource, for example available memory, processor. Furthermore, the additional variable can include a device context, for example communication speed and/or application profile, an analysis application context, for example relevant security application, and/or metadata of the analysis applications. This refinement is based on the consideration that for the orchestration of the analysis applications, in addition to taking into account the pure probability of success for utilizing the available resources, further data should be used so that the analysis applications can be executed securely, completely and failsafe on the monitoring device.

Beispielsweise ist es vorgesehen, dass die Metadaten einer Analyseapplikation eine Mindestausführungsfrequenz, Ausführungsdauer, eine akzeptierte Pausenzeit und/oder ein Prioritätslevel der Analyseapplikationen umfassen. Beispielsweise ist es vorgesehen, eine Analyseapplikation in regelmäßigen Intervallen auszuführen, beispielsweise eine Überprüfung auf Rauch oder Brand alle 10 Sekunden oder 10 Bildframes, sodass diese Analyseapplikationen selbst bei eigentlich geringerer Erfolgswahrscheinlichkeit zur Ausführung kommen müssen. Ferner sind Analyseapplikationen denkbar die Pausenzeiten akzeptieren, beispielsweise akzeptiert eine Analyseapplikation zur Hintergrundadaption Pausenzeiten von mehr als einer Stunde.For example, it is provided that the metadata of an analysis application include a minimum execution frequency, execution duration, an accepted pause time and/or a priority level of the analysis application. For example, provision is made for an analysis application to be executed at regular intervals, for example a check for smoke or fire every 10 seconds or 10 image frames, so that these analysis applications must be executed even if the probability of success is actually lower. Furthermore, analysis applications are conceivable which accept break times, for example an analysis application for background adaptation accepts break times of more than one hour.

Beispielsweise ist es vorgesehen, dass das Auswahlmodul ausgebildet ist, die Ausführungsapplikation aus den Analyseapplikationen basierend auf einer Ausführungshistorie auszuwählen. Beispielsweise existiert eine Analyseapplikation mit geringster Ausführungsfrequenz oder längster nicht Ausführungsdauer. Basierend auf der Ausführungshistologie, beispielsweise am längsten nicht ausgeführte Analyseapplikationen, werden so Analyseapplikationen als Ausführungsapplikationen gesetzt, die sehr lange Zeit nicht ausgeführt wurden und wieder zur Ausführung kommen sollen. Diese Ausgestaltung basiert auf der Überlegung, dass Analyseapplikationen mit zwar geringer Erfolgswahrscheinlichkeit dennoch regelmäßig zur Ausführung kommen sollen.For example, it is provided that the selection module is designed to select the execution application from the analysis applications based on an execution history. For example, there is an analysis application with the lowest execution frequency or the longest non-execution time. Based on the execution histology, for example analysis applications that have not been executed for the longest time, analysis applications are set as execution applications that have not been executed for a very long time and should be executed again. This configuration is based on the consideration that analysis applications with a low probability of success should nevertheless be executed regularly.

Im Speziellen wird das Eingangssignal pro Bereitstellungszeitintervall neu bereitgestellt, abgetastet und/oder erneuert. Dieses Bereitstellungszeitintervall basiert beispielsweise auf der Abtastfrequenz der Kamera und/oder der Sensoreinrichtung. Das Auswahlmodul ist ausgebildet, für jedes n-te Bereitstellungsintervall, beispielsweise jedes zweite oder jedes zehnte Bereitstellungszeitintervall, als Ausführungsapplikation die Analyseapplikation zu wählen, die die größte Nichtanwendungsdauer, geringste Ausführungsfrequenz und/oder höchste Priorität aufweist.In particular, the input signal is newly provided, sampled and/or renewed per provision time interval. This provision time interval is based, for example, on the scanning frequency of the camera and/or the sensor device. The selection module is designed for every nth provision interval, for example every second or every tenth provision time interval, to select as the execution application the analysis application that has the longest non-use period, the lowest execution frequency and/or the highest priority.

Eine Ausgestaltung der Erfindung sieht vor, dass das Auswahlmodul ausgebildet ist, basierend auf den Erfolgswahrscheinlichkeiten eine Mehrzahl an Ausführungsapplikationen aus den Analyseapplikationen auszuwählen. Insbesondere ist das Auswahlmodul ausgebildet, basierend auf der Mehrzahl an Ausführungsapplikationen eine Ausführungsliste zu bestimmen, wobei die Ausführungsliste die ausgewählten Ausführungsapplikationen umfasst, insbesondere eine Reihenfolge derer festlegt. Beispielsweise umfasst die Ausführungsliste die Ausführungsapplikationen mit den größten Erfolgswahrscheinlichkeiten, wobei die Ausführungsapplikation mit der größten Erfolgswahrscheinlichkeit die zu priorisierende und/oder die Ausführungsapplikation auf Platz eins der Ausführungsliste bildet. Das Ausführungsmodul ist ausgebildet, die Hauptanalysekomponenten der Ausführungsapplikationen der Ausführungsliste auszuführen, beispielsweise nacheinander basierend auf der Reihenfolge oder parallel. Insbesondere ist das Auswahlmodul ausgebildet, die Länge der Liste, beispielsweise Anzahl der Ausführungsapplikationen und/oder geschätzte Dauer der Ausführung der Ausführungsapplikationen, basierend auf Ressourcendaten, beispielsweise Prozessorleistung oder Speicher.An embodiment of the invention provides that the selection module is designed to select a plurality of execution applications from the analysis applications based on the success probabilities. In particular, the selection module is designed to determine an execution list based on the plurality of execution applications, the execution list comprising the selected execution applications, in particular defining an order of them. For example, the execution list includes the execution applications with the greatest probability of success, the execution application with the greatest probability of success forming the execution application to be prioritized and/or the execution application in first place on the execution list. The execution module is configured to execute the main analysis components of the execution applications of the execution list, for example sequentially based on order or in parallel. In particular, the selection module is designed to determine the length of the list, for example the number of execution applications and/or the estimated duration of execution of the execution applications, based on resource data, for example processor performance or memory.

Eine weitere Ausgestaltung der Erfindung sieht vor, dass das Ausführungsmodul ausgebildet ist, Ausführungsapplikationen nach extern zur Ausführung auszulagern, zum Beispiel an eine Cloud bereitzustellen. Beispielsweise hat das Auswahlmodul eine Ausführungsliste mit einer Mehrzahl an Ausführungsapplikationen ermittelt, wobei das Ausführungsmodul eine begrenzte Ressource aufweist und/oder feststellt, wobei das Ausführungsmodul ausgebildet ist, bei Feststellung der Ressourcenknappheit Ausführungsapplikationen nach Extern und/oder an die Cloud bereitzustellen und/oder dort auszuführen.A further embodiment of the invention provides that the execution module is designed to outsource execution applications externally for execution, for example to provide them to a cloud. For example, the selection module has determined an execution list with a plurality of execution applications, with the execution module having and/or determining that resources are limited, with the execution module being designed to provide execution applications externally and/or to the cloud and/or to execute them there when the shortage of resources is determined.

Besonders bevorzugt ist es, dass die Überwachungsvorrichtung ein Basisnetz und eine Mehrzahl an Spezialnetzen, auch Hauptnetz genannt, aufweist. Das Basisnetz und das Hauptnetz bilden jeweils ein neuronales Netz. Das Basisnetz weist eine Eingangsschicht und eine Grenzschicht auf, wobei der Eingangsschicht vorzugsweise das Eingangssignal bereitgestellt ist. Die Grenzschicht wird insbesondere als letzte Schicht des Basisnetzes verstanden, Beispiel beispielsweise als Ausgabeschicht. Zwischen der Eingangssicht und der Grenzschicht ist eine Mehrzahl an Schichten, auch verdeckte Schichten genannt, angeordnet. Das Basisnetz ist ausgebildet, die Auswahlanalysekomponenten auszuführen, durchzuführen und/oder sind darauf trainiert. Insbesondere kann das Basisnetz als Teil des Auswahlmoduls verstanden werden. Insbesondere bildet die Grenzschicht eine Ausgabe der Erfolgswahrscheinlichkeit.It is particularly preferred that the monitoring device has a basic network and a plurality of special networks, also referred to as the main network. The base network and the main network each form a neural network. The basic network has an input layer and a boundary layer, with the input layer preferably being provided with the input signal. The boundary layer is understood in particular as the last layer of the basic network, for example as the output layer. A plurality of layers, also called hidden layers, are arranged between the input view and the boundary layer. The basic network is designed to execute, carry out and/or are trained on the selection analysis components. In particular, the basic network can be understood as part of the selection module. In particular, the boundary layer provides an output of the probability of success.

Die Spezialnetze zur Ausführung der Hauptanalysekomponente trainiert und/oder ausgebildet sind. Beispielsweise weist die Auswerteeinrichtung für eine Anzahl N Analyseapplikationen N Spezialnetze auf. Die Spezialnetze sind vorzugsweise unabhängig voneinander und/oder datentechnisch getrennt. Die Spezialnetze weisen jeweils eine Spezialnetzeingangschicht und eine Spezialnetzausgangschicht auf. Zwischen den Spezialnetzeingangschichten und Spezialnetzausgangsschichten sind insbesondere mehrere Schichten angeordnet. Insbesondere sind die Spezialnetze Teil des Ausführungsmoduls. Insbesondere ist es vorgesehen, dass die Ausgangsschicht des Basisnetzes und/oder der Basisnetze datentechnisch mit den Eingangsschichten der Spezialnetze verbunden. Im Speziellen ist es vorgesehen, dass die Analyseapplikationen auf zwei neuronalen Netzen basieren und/oder ausgeführt sind, dem Basisnetz und dem Spezialnetz, wobei das Basisnetz zur Ausführung der Analyseauswahlkomponente ausgebildet und/oder trainiert ist, wobei die Hauptanalysekomponente vom Spezialnetzwerk ausgeführt ist. Insbesondere werden für die jeweiligen Analysekomponenten die Ergebnisse des Basisnetztes an die Eingangssicht des Spezialnetzes der Hauptanalysekomponente als Eingangsdaten übergeben. Die Basisnetze sind somit zur Ausführung der Auswahlanalysekomponente als ein Netzwerkrückgrat zu verstehen, dass seine Ergebnisse an Spezialnetze, bzw. den Hauptanalysekomponenten, zuleitet.The special networks are trained and/or designed to execute the main analysis component. For example, the evaluation device has N special networks for a number N analysis applications. The special networks are preferably independent of one another and/or separated in terms of data technology. The special networks each have a special network input layer and a special network output layer. In particular, several layers are arranged between the special network input layers and special network output layers. In particular, the special networks are part of the execution module. In particular, it is provided that the output layer of the basic network and/or the basic networks is connected to the input layers of the special networks in terms of data technology. In particular, it is provided that the analysis applications are based and/or implemented on two neural networks, the basic network and the special network, with the basic network being designed and/or trained to execute the analysis selection component, with the main analysis component being implemented by the special network. In particular, the results of the basic network are transferred to the input view of the special network of the main analysis component as input data for the respective analysis components. The basic networks are thus to be understood as a network backbone for the execution of the selection analysis component that forwards its results to special networks or the main analysis components.

Eine Ausgestaltung der Erfindung sieht vor, dass mindestens zwei Basisnetze vorgesehen sind und eine Mehrzahl an Spezialnetzen. Ein erstes Basisnetz ist ausgebildet, die Auswahlanalysekomponenten auszuführen, wobei als Ergebnis an deren Ausgangsschichten die Erfolgswahrscheinlichkeiten zur Auswahl der Ausführungsapplikationen erhalten wird, beispielsweise umfasst das Auswahlmodul und/oder die Überwachungsvorrichtung hierzu ein weiteres Modul, beispielsweise CPU, wodurch die Ausführungsapplikationen ausgewählt werden. Diese Ausgestaltung sieht beispielsweise vor, dass ein zweite Basisnetz während von dem weiteren Modul und/oder von der Überwachungsvorrichtung die Auswahl der Ausführungsapplikationen erfolgt, die an der Ausgangsschicht des ersten Basisnetzes anliegenden Ergebnisse als Eingangssignal dem zweiten Basisnetz zur Weiterverarbeitung bereitgestellt werden, wobei das zweite Basisnetz ausgebildet ist, die Daten weiter zu verarbeiten und an einer Ausgangsschicht des zweiten Basisnetzes an das Spezialnetz und/oder die Spezialnetze zur Ausführung der Hauptanalysekomponenten bereitzustellen. Dieser Ausgestaltung liegt die Überlegung zugrunde, während des Treffens der Auswahl der Ausführungsapplikationen aus den Analyseapplikationen, die Zeit durch Weiterverarbeitung der Daten im zweiten Basisnetz zu nutzen und den Spezialnetzen zur Durchführung der Hauptanalysekomponenten bereitzustellen.One embodiment of the invention provides that at least two basic networks are provided and a number of special networks. A first basic network is designed to execute the selection analysis components, with the result being that the probability of success for the selection of the execution applications is obtained at their output layers. This embodiment provides, for example, for a second basic network to be used while the other module and/or the monitoring device is selecting the execution applications, the results present at the output layer of the first basic network are provided as an input signal to the second basic network for further processing, with the second basic network being designed to process the data further and to an output layer of the second basic network to the dedicated network and/or networks for executing the main analysis components. This refinement is based on the consideration of using the time by further processing the data in the second basic network while making the selection of the execution applications from the analysis applications and making it available to the special networks for carrying out the main analysis components.

Einen weiteren Gegenstand der Erfindung bildet ein Verfahren zur Überwachung eines Überwachungsbereichs. Zur Überwachung sollen eine Mehrzahl an Analyseapplikationen zur Ausführung vorgesehen sein, wobei die Analyseapplikationen jeweils eine Auswahlanalysekomponente und eine Hauptanalysekomponente umfassen. Das Verfahren sieht vor, dass die Auswahlanalysekomponenten der Analyseapplikationen auf das Eingangssignal angewendet werden und Erfolgswahrscheinlichkeiten bezüglich der Anwendung der jeweiligen Hauptanalysekomponente auf das Eingangssignal bestimmt werden. Basierend auf den ermittelten Erfolgswahrscheinlichkeiten wird aus den Analyseapplikationen mindestens eine oder eine Mehrzahl an Ausführungsapplikationen ausgewählt, beispielsweise die mit der größten und/oder die mit den größten Erfolgswahrscheinlichkeiten. Zur Ausführung kommen die Hauptanalysekomponenten der Ausführungsapplikationen.A further subject matter of the invention is a method for monitoring a monitored area. A plurality of analysis applications should be provided for execution for monitoring, the analysis applications each comprising a selection analysis component and a main analysis component. The method provides that the selected analysis components of the analysis applications are applied to the input signal and success probabilities are determined with regard to the application of the respective main analysis component to the input signal. Based on the ascertained probabilities of success, at least one or a plurality of execution applications is selected from the analysis applications, for example those with the greatest and/or those with the greatest probabilities of success. The main analysis components of the execution applications are executed.

Einen weiteren Gegenstand der Erfindung bildet ein Computerprogramm zur Ausführung auf einem Computer, der Überwachungsvorrichtung oder einer Kamera. Das Computerprogramm ist ausgebildet und/oder eingerichtet das beschriebene Verfahren auszuführen und/oder anzusteuern.A further subject matter of the invention is a computer program for execution on a computer, the monitoring device or a camera. The computer program is designed and/or set up to execute and/or control the method described.

Einen weiteren Gegenstand der Erfindung bildet ein maschinenlesbares Speichermedium, wobei auf dem Speichermedium das Computerprogramm gespeichert ist.A further object of the invention is a machine-readable storage medium, the computer program being stored on the storage medium.

Weitere Vorteile, Wirkungen und Ausgestaltungen ergeben sich aus den beigefügten Figuren und deren Beschreibung. Dabei zeigen:

Weitere Vorteile, Wirkungen und Ausgestaltungen ergeben sich aus den beigefügten Figuren und deren Beschreibung. Dabei zeigen:
- 1 ein erstes Ausführungsbeispiel einer Überwachungsvorrichtung zur bildbasierten Überwachung;
- 2 ein weiteres Ausführungsbeispiel der Überwachungsvorrichtung mit einem neuronalen Netzwerk Rückgrat;
- 3 ein Ausführungsbeispiel der Überwachungsvorrichtung mit zwei Basisnetzen;
- 4 schematische Darstellung von Netzwerkschichten.

Further advantages, effects and configurations result from the accompanying figures and their description. show:

Further advantages, effects and configurations result from the accompanying figures and their description. show:
- 1 a first exemplary embodiment of a monitoring device for image-based monitoring;
- 2 another embodiment of the monitoring device with a neural network backbone;
- 3 an embodiment of the monitoring device with two backbone networks;
- 4 schematic representation of network layers.

1 zeigt ein Ausführungsbeispiel eine Überwachungsvorrichtung 1. Die Überwachungsvorrichtung 1 ist datentechnisch mit einer Sensoreinrichtung umfassend eine Kamera 2 verbunden. Über die datentechnische Verbindung 3 wird der Überwachungsvorrichtung 1, insbesondere einem Auswahlmodul 4 das von der Kamera 2 aufgenommene Bild des Überwachungsbereichs 5 als Eingangssignal bereitgestellt. 1 12 shows an exemplary embodiment of a monitoring device 1. The monitoring device 1 is connected to a sensor device comprising a camera 2 in terms of data technology. The image of the monitored area 5 recorded by the camera 2 is made available to the monitoring device 1 , in particular to a selection module 4 , via the data connection 3 as an input signal.

Die Überwachungsvorrichtung 1 umfasst das Auswahlmodul 4 und ein Ausführungsmodul 6. Insbesondere können Auswahlmodul 4 und Ausführungsmodul 6 als ein gemeinsames Modul, beispielsweise als Chip, ausgebildet sein. Ferner umfasst die Überwachungsvorrichtung 1 eine Mehrzahl an Analyseapplikationen 7. Die Analyseapplikationen 7 sind beispielsweise in einem Speichermodul 8 hinterlegt und/oder hinterlegbar. Die Analyseapplikationen 7 sind zur, insbesondere zur anwenderspezifischen, Auswertung und/oder Analyse des Eingangssignals, im Speziellen des Bilds der Kamera 2, ausgebildet. Beispielsweise sind die Analyseapplikationen zur Bilderkennung, Gefahrenerkennung, Zugangsüberwachung und/oder als Brandmeldeeinrichtung ausgebildet. Insbesondere sind auf dem Speichermodul Sp eine Mehrzahl der Analyseapplikationen 7 unterschiedlichster Art hinterlegbar und/oder speicherbar. Die Analyseapplikationen 7 sind insbesondere erweiterbar, veränderbar und/oder von Dritten bereitstellbar, beispielsweise aus einen App-Store. Besonders bevorzugt ist eine Ausgestaltung bei der, dass die Überwachungsvorrichtung 1 in die Kamera 2 integriert ist, beispielsweise als Hardwaremodul oder Softwaremodul.The monitoring device 1 comprises the selection module 4 and an execution module 6. In particular, the selection module 4 and execution module 6 can be designed as a common module, for example as a chip. Furthermore, the monitoring device 1 comprises a plurality of analysis applications 7. The analysis applications 7 are stored and/or can be stored in a memory module 8, for example. The analysis applications 7 are designed for, in particular for user-specific, evaluation and/or analysis of the input signal, in particular the image of the camera 2 . For example, the analysis applications are designed for image recognition, hazard recognition, access monitoring and/or as a fire alarm device. In particular, a plurality of analysis applications 7 of the most varied types can be stored and/or stored on the memory module Sp. The analysis applications 7 can in particular be expanded, modified and/or made available by third parties, for example from an app store. An embodiment in which the monitoring device 1 is integrated into the camera 2, for example as a hardware module or software module, is particularly preferred.

Die Analyseapplikationen 7 weisen jeweils eine Auswahlanalysekomponente 9 und eine Hauptanalysekomponente 10 auf. Beispielsweise sind die Auswahlanalysekomponente 9 und die Hauptanalysekomponente 10 als separate Programmbausteine und/oder neuronale Netze ausgebildet. Insbesondere ist der Ressourcenbedarf, beispielsweise CPU-Bedarf, Speicher und/oder Ausführungsdauer, der Hauptanalysekomponente 10 der Analyseapplikationen 7 größer als der Ressourcenbedarf der jeweiligen Ausfallanalysekomponente 9. Insbesondere ist es vorgesehen, dass die Auswahlanalysekomponenten 9 vom Auswahlmodul 4 und die Hauptanalysekomponenten 10 von dem Ausführungmodul 6 ausgeführt und/oder angewendet werden.The analysis applications 7 each have a selection analysis component 9 and a main analysis component 10 . For example, the selection analysis component 9 and the main analysis component 10 are designed as separate program modules and/or neural networks. In particular, the resource requirements, for example CPU requirements, memory and/or execution time, of the main analysis component 10 of the analysis applications 7 are greater than the resource requirements of the respective failure analysis component 9. In particular, it is provided that the selection analysis components 9 are executed and/or used by the selection module 4 and the main analysis components 10 by the execution module 6.

Das Auswahlmodul 4 ist ausgebildet, die Auswahlanalysekomponenten 9 alle Analyseapplikationen 7 auf das bereitgestellte Eingangssignal anzuwenden. Durch das Anwenden der Auswahlanalysekomponenten 9 auf das Eingangssignal wird eine Erfolgswahrscheinlichkeit p_i für die jeweilige (i-te) Analyseapplikation 7 bestimmt, die eine Wahrscheinlichkeit für eine erfolgreiche und/oder sinnhafte Anwendung der Hauptanalysekomponente 10 auf das derzeitige Eingangssignal beschreibt. Beispielsweise wird ein Überwachungsbild einer Tür als Bild bereitgestellt, wobei eine Analyseapplikationen 7 zur Branderkennung ausgebildet ist und eine weitere zur gesichtsbasierten Zugangskontrolle. Die von dem Auswahlmodul 4 angewendeten Auswahlanalysekomponenten untersuchen dieses Bild beispielsweise sehr grob auf relevante Merkmale, beispielsweise, ob überhaupt ein Gesicht im Bild vorhanden ist oder ein leuchtendes Objekt, das nötig wäre eine Flamme oder Brand darstellen zu können. Die Analyseapplikation 7, die den Brand feststellen soll, liefert beispielsweise für ein Bild, dass nur einer Person zeigt, eine geringe Erfolgswahrscheinlichkeit p₁, da keine leuchtenden Bereiche detektiert wurden. Die Analyseapplikation 7, die zur Zugangskontrolle ausgebildet ist, würde durch Anwendung der Auswahlanalysekomponente 9 auf ein Bild ohne Person aber mit einem Lagerfeuer, kein Gesicht detektieren und so eine geringe Erfolgswahrscheinlichkeit p₂ liefern.The selection module 4 is designed to apply the selection analysis components 9 of all analysis applications 7 to the input signal provided. By applying the selection analysis components 9 to the input signal, a Probability of success p _i determined for the respective (i-te) analysis application 7, which describes a probability of a successful and / or meaningful application of the main analysis component 10 to the current input signal. For example, a monitoring image of a door is provided as an image, with one analysis application 7 being designed for fire detection and another for face-based access control. The selection analysis components used by the selection module 4 examine this image very roughly for relevant features, for example whether there is a face in the image at all or a luminous object that would be necessary to be able to represent a flame or fire. The analysis application 7, which is intended to detect the fire, provides a low probability of success p ₁ for an image that only shows one person, since no luminous areas were detected. The analysis application 7, which is designed for access control, would not detect a face by using the selection analysis component 9 on an image without a person but with a campfire, and would thus supply a low probability of success p ₂ .

Das Auswahlmodul 4 ist ausgebildet, basierend auf den Erfolgswahrscheinlichkeiten p_i eine oder mehrere Analyseapplikationen 7 als Ausführungsapplikation(en) auszuwählen, insbesondere die Ausführungsapplikationen 7 mit den größten und/oder der größten Erfolgswahrscheinlichkeit p_i. Das Ausführungsmodul 6 ist ausgebildet, nur die Hauptanalysekomponenten 10 von Analyseapplikationen 7 auszuführen, die als Ausführungsapplikation 11 ausgewählt wurden. Die Hauptanalysekomponente 10 ist ausgebildet, das Eingangssignal, hier das Bild, genauer und/oder spezifischer gemäß seiner Aufgabe zu analysieren, beispielsweise, ob sie sich bei der Person um eine Person handelt, der Zugang gewährt wird oder, ob es sich bei dem hellen und kontrastreichen Element um Feuer handelt. Die Ergebnisse aus der Anwendung des Hauptanalysekomponente 10 im Ausführungsmodul 6 wird als Ergebnis 12 ausgegeben, wobei zu dem Ergebnis 12 beispielsweise das Eingangssignal selbst ergänzt wird.The selection module 4 is designed to select one or more analysis applications 7 as execution application(s) based on the success probabilities p _i , in particular the execution applications 7 with the greatest and/or the greatest success probability p _i . The execution module 6 is designed to execute only the main analysis components 10 of analysis applications 7 that have been selected as the execution application 11 . The main analysis component 10 is designed to analyze the input signal, here the image, more precisely and/or more specifically according to its task, for example whether the person is a person who is granted access or whether the bright and high-contrast element is fire. The results from the application of the main analysis component 10 in the execution module 6 are output as a result 12, with the result 12 being supplemented, for example, by the input signal itself.

2 zeigt ein Ausführungsbeispiel einer Überwachungsvorrichtung 1, das im Wesentlichen auf dem Ausführungsbeispiel auf 1 basiert. Diese Überwachungsvorrichtung 1 weist ein Netzwerkrückgrat 13 auf, dass auch als Backbone Network und/oder Basisnetz bezeichnet wird. Dem Netzwerkrückgrat 13 ist von Kamera 2 das Eingangssignal bereitgestellt, wobei Basisnetz das Eingangssignal verarbeitet und ein Zwischenergebnis 14 bereitstellt. Das Auswahlmodul 6 ist datentechnisch mit der Ausgangsschicht des Netzwerkrückgrats 12 verbunden, wobei dem Auswahlmodul die Zwischenergebnisse 13 bereitgestellt. Insbesondere kann das Auswahlmodul 6 ein erweitertes Auswahlmodul 6' bilden, sodass das Netzwerkrückgrat 12 Teil des Auswahlmoduls 6' ist. Im Auswahlmodul 6, bzw. im Auswahlmodul 6' werden basierend auf den Zwischenergebnissen die Auswahlanalysekomponenten 9 der Analyseapplikationen 7 auf die Zwischenergebnisse , insbesondere indirekt auf das Eingangssignal, zur Bestimmung der Erfolgswahrscheinlichkeiten p_i angewendet. Das Auswahlmodul 6 bzw. 6' ist ausgebildet, basierend auf den Erfolgswahrscheinlichkeiten p_i mindestens eine Ausführungsapplikation auszuwählen. Beispielsweise umfasst das Auswahlmodul 6 hierzu einen Selektor 14 der die auf der Erfolgswahrscheinlichkeit p_i basierende Auswahl ausführt. Hierzu können zusätzliche Informationen wie Metadaten 15 Ausführungshistorien und/oder eine CPU-Auslastung bereitgestellt sein. Das Ausführungsmodul 10 ist ausgebildet die Hauptanalysekomponenten der Auswahlapplikationen auszuführen und als Ergebnis 12 auszugeben. 2 shows an embodiment of a monitoring device 1, which is essentially based on the embodiment 1 based. This monitoring device 1 has a network backbone 13 that is also referred to as a backbone network and/or base network. Camera 2 provides the input signal to network backbone 13 , base network processing the input signal and providing an intermediate result 14 . The selection module 6 is connected to the output layer of the network backbone 12 in terms of data technology, with the selection module being provided with the intermediate results 13 . In particular, the selection module 6 can form an extended selection module 6', so that the network backbone 12 is part of the selection module 6'. Based on the intermediate results, the selection analysis components 9 of the analysis applications 7 are applied in the selection module 6 or in the selection module 6' to the intermediate results, in particular indirectly to the input signal, to determine the success probabilities p _i . The selection module 6 or 6′ is designed to select at least one execution application based on the success probabilities p _i . For this purpose, for example, the selection module 6 comprises a selector 14 which executes the selection based on the probability of success p _i . Additional information such as metadata 15, execution histories and/or CPU utilization can be provided for this purpose. The execution module 10 is designed to execute the main analysis components of the selection applications and to output them as a result 12 .

3 zeigt ein weiteres Ausführungsbeispiel, wobei die Überwachungsvorrichtung 1 hier zwei Netzwerkrückgrate 12, 16 aufweist, die auch als erstes Basisnetz 12 und zweites Basisnetz 16 bezeichnet werden. Das Auswahlmodul 6 und das Ausführungsmodul 10 sind Teil einer CPU 17. 3 FIG. 1 shows a further exemplary embodiment, with the monitoring device 1 having two network backbones 12, 16 here, which are also referred to as the first base network 12 and the second base network 16. The selection module 6 and the execution module 10 are part of a CPU 17.

Das erste Basisnetz 12 ist ausgebildet, das bereitgestellte Eingangssignal mittels eines neuronalen Netzes zu verarbeiten, dies nimmt Zeit in Anspruch und soll bis zu einem Zeitpunkt T1 dauern. Die Ergebnisse dieser Analyse werden dem Auswahlmodul 6 bereitgestellt, das darauf basierend die Erfolgswahrscheinlichkeiten p_i bestimmt. Mittels der ermittelten Erfolgswahrscheinlichen p_i wird von dem Selektor 14, insbesondere unter Zuhilfenahme von Zusatzinformationen 15, mindestens eine Ausführungsapplikation ausgewählt, wobei das Ausführungsmodul 10 ausgebildet ist, die Ausführungsapplikation auszuführen.The first base network 12 is designed to process the input signal that is provided using a neural network; this takes time and should last up to a point in time T1. The results of this analysis are made available to the selection module 6, which determines the success probabilities p _i based thereon. At least one execution application is selected by the selector 14, in particular with the aid of additional information 15, by means of the determined probability of success p _i , with the execution module 10 being designed to execute the execution application.

Das zweite Basisnetz 16 ist ausgebildet, in der von Zeit T1 bis zu T2, also während der Bestimmung der Erfolgswahrscheinlichkeiten p_i und der Auswahl der Ausführungsapplikationen. die von dem ersten Basisnetz 12 bereitgestellten Ergebnisse und/oder Daten mittels des zweiten Basisnetzes16 weiterzuverarbeiten.The second basic network 16 is formed from time T1 to T2, ie during the determination of the success probabilities p _i and the selection of the execution applications. further processing the results and/or data provided by the first base network 12 by means of the second base network 16.

4 zeigt beispielhaft Schichten des Basisnetzes 12 und eine Eingangsschicht eines Spezialnetzes 18. Das Basisnetz 12 weist eine Eingangsschicht 19 und eine Ausgangsschicht 20 auf, wobei zwischen diesen eine Mehrzahl an Schichten und Knoten angeordnet sind. Die Ergebnisse der Ausgangssicht 20 werden dem Auswahlmodul 6 zur Bestimmung der Erfolgswahrscheinlichkeiten p_i bereitgestellt, ferner werden die Daten der Ausgangsschicht 20 der Eingangsschicht 21 des Spezialnetzes 18 zur Weiterverarbeitung bereitgestellt. 4 shows layers of the basic network 12 and an input layer of a special network 18 by way of example. The basic network 12 has an input layer 19 and an output layer 20, a plurality of layers and nodes being arranged between these. The results of the initial view 20 are the selection module 6 to determine the probability of success p _i provided, furthermore the data of the output layer 20 of the input layer 21 of the special network 18 are provided for further processing.

ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES INCLUDED IN DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of documents cited by the applicant was generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturPatent Literature Cited

DE 202018104373 U1 [0002]

Claims

Monitoring device (1) for image-based monitoring of a monitored area (5), with an execution module (6), a selection module (4) and a plurality of analysis applications (7), wherein the monitoring device (1) is provided with an input signal and/or the monitoring device (1) has a sensor device for providing the input signal, wherein the input signal comprises an image of the monitored area (5), the analysis applications (7) each comprising a selection analysis component (9) and a main analysis component (10), wherein the selection module (4) is designed to determine and/or estimate a probability of success of the application of the main analysis component (10) to the input signal by applying the selection analysis components (9) to the input signal for the analysis applications (7), wherein the selection module (4) is designed to select at least one of the analysis applications (7) as the execution application (11) based on the probability of success, wherein the execution module (6) is designed to execute the main analysis component (10) of the execution application (11).

Monitoring device (1) after claim 1 , characterized in that the analysis applications (7), the selection analysis components (9) and/or the main analysis components (10) are based on and/or include a neural network.

Monitoring device (1) after claim 1 or 2 , characterized in that the selection analysis components (9) for determining the probability of success are designed to carry out a rough analysis of the input signal, to carry out a partial analysis of the input signal based on the main analysis component (10) and/or to carry out an analysis of a reduced-quality input signal based on the main analysis component (10).

Monitoring device (1) according to one of the preceding claims, characterized in that the selection module (4) is designed to determine normalized success probabilities based on the success probabilities, the selection of the execution application (11) being based on the normalized success probabilities.

Monitoring device (1) according to one of the preceding claims, characterized in that the selection module (4) is designed to select the execution application (11) based on a device resource of the monitoring device (1), a device context, an analysis application context and/or metadata (15) of the analysis application.

Monitoring device (1) after claim 5 , characterized in that the metadata (15) include a minimum execution frequency of the analysis application, an execution time, accepted break times and/or priority levels.

Monitoring device (1) according to one of the preceding claims, characterized in that the selection module (4) is designed to select the execution application (11) based on an execution history.

Monitoring device (1) according to one of the preceding claims, characterized in that the input signal is newly provided for each provision time interval, the selection module (4) being designed to select the analysis application with the longest non-use period as the execution application (11) for every nth provision interval.

Monitoring device (1) according to one of the preceding claims, characterized in that the selection module (4) is designed to select a plurality of execution applications (11) based on the probability of success and to determine an execution list with the execution applications (11), the execution module (6) being designed to execute the main analysis components (10) of the execution list.

Monitoring device (1) according to one of the preceding claims, characterized in that the execution module (6) is designed to provide an execution application (11) to a cloud for execution when resources are scarce.

Monitoring device (1) according to one of the preceding claims, characterized in that the selection module (4) forms a network backbone for the execution module (6) and the execution module (6) forms a main network, the main network being provided with the output of the network backbone (12) as input data.

Monitoring device (1) according to one of the preceding claims, characterized by two base networks (16) and a main network.

Method for monitoring a surveillance area (5) by means of a plurality of analysis applications (7), the analysis applications (7) each comprise a selection analysis component (9) and a main analysis component (10), with the selection analysis components (9) of the analysis applications (7) being applied to the input signal and success probabilities relating to the application of the respective main analysis component (10) being determined on the input signal, with at least one or a plurality of execution applications (11) being selected from the analysis applications (7) based on the determined success probabilities.

Computer program, wherein the computer program is designed and/or set up according to the method when it is executed Claim 13 perform and/or apply.

Machine-readable storage medium, with the computer program on the storage medium Claim 14 is saved.