DE102022202942A1 - Monitoring device, monitoring arrangements, method, computer program and storage medium - Google Patents

Monitoring device, monitoring arrangements, method, computer program and storage medium Download PDF

Info

Publication number
DE102022202942A1
DE102022202942A1 DE102022202942.9A DE102022202942A DE102022202942A1 DE 102022202942 A1 DE102022202942 A1 DE 102022202942A1 DE 102022202942 A DE102022202942 A DE 102022202942A DE 102022202942 A1 DE102022202942 A1 DE 102022202942A1
Authority
DE
Germany
Prior art keywords
module
image
surveillance
designed
image model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102022202942.9A
Other languages
German (de)
Inventor
Christoph Burger-Scheidlin
Mark den Hartog
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Priority to DE102022202942.9A priority Critical patent/DE102022202942A1/en
Priority to PCT/EP2023/057263 priority patent/WO2023180354A1/en
Publication of DE102022202942A1 publication Critical patent/DE102022202942A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4318Generation of visual interfaces for content selection or interaction; Content or additional data rendering by altering the content in the rendering process, e.g. blanking, blurring or masking an image region
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234318Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into objects, e.g. MPEG-4 objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2347Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving video stream encryption
    • H04N21/23476Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving video stream encryption by partially encrypting, e.g. encrypting the ending portion of a movie
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44008Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/4408Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving video stream encryption, e.g. re-encrypting a decrypted video stream for redistribution in a home network
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/454Content or additional data filtering, e.g. blocking advertisements
    • H04N21/4545Input to filtering algorithms, e.g. filtering a region of the image
    • H04N21/45455Input to filtering algorithms, e.g. filtering a region of the image applied to a region of the image
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4627Rights management associated to the content
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/472End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84Generation or processing of descriptive data, e.g. content descriptors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Abstract

Überwachungsvorrichtung 1 mit einer Kamera 2 zur Aufnahme von mindestens einem Überwachungsbild 3, einer Überwachungsszene 4, wobei die Kamera 2 ein Diskriminierungsmodul 6a und ein Bildmodellbestimmungsmodul 6b aufweist, wobei das Diskriminierungsmodul 6a ausgebildet ist, Objekte 5a-e in dem Überwachungsbild 3 zu detektieren und für die detektierten Objekte 5a-e Objektinformationsdaten 7a-e zu bestimmen, wobei die Objektinformationsdaten 7a-e eine Objektklasse, einen Objekttyp, eine Objekt-ID 8a-e und/oder eine Objektgeometrieinformation 9a-e umfassen, wobei das Bildmodellbestimmungsmodul 6b ausgebildet ist, basierend auf dem Überwachungsbild 3 ein Bildmodell 11 zu bestimmen, wobei das Bildmodell 11 ein Szenenmodell 12 der Überwachungsszene 4 und die Objektinformationsdaten 7a-e umfasst.Monitoring device 1 with a camera 2 for recording at least one surveillance image 3, a surveillance scene 4, the camera 2 having a discrimination module 6a and an image model determination module 6b, the discrimination module 6a being designed to detect objects 5a-e in the surveillance image 3 and for to determine the detected objects 5a-e object information data 7a-e, wherein the object information data 7a-e include an object class, an object type, an object ID 8a-e and / or an object geometry information 9a-e, wherein the image model determination module 6b is formed, based to determine an image model 11 on the surveillance image 3, the image model 11 comprising a scene model 12 of the surveillance scene 4 and the object information data 7a-e.

Description

Stand der TechnikState of the art

Die Erfindung betrifft eine Überwachungsvorrichtung mit einer Kamera zur Aufnahme von mindestens einem Überwachungsbild einer Überwachungsszene.The invention relates to a surveillance device with a camera for recording at least one surveillance image of a surveillance scene.

Die Überwachung von Innen- und Außenbereichen mittels Kameras zu Überwachungszwecken ist weit verbreitet. Während in Anfangszeiten der Videoüberwachung die Kameraaufnahmen vollständig von Überwachungspersonal gesichtet und ausgewertet wurden, werden mittlerweile häufig computerimplementierte Bildauswerteverfahren angewendet, im Speziellen eine auf neuronalen Netzen basierende Bildauswertung. Verfahren und Algorithmen zur Bildauswertung umfassen zumeist eine Vielzahl an Verfahrensschritten, beispielsweise beginnend mit einem Vorverarbeitungsschritt, einer Filterung und einer Skalierung in den einzelnen Frames, wobei häufig zur Weiterverarbeitung, Segmentierungsverfahren, Klassifikationsverfahren und/oder Verfolgungsverfahren Anwendung finden. Zur Auswertung werden die aufgenommenen Videos und/oder Bilder von der Kamera an eine Auswerteeinrichtung gesendet, wobei angesichts der Bild- und Videoqualitäten große Datenmengen zu übertragen sind.Monitoring indoor and outdoor areas using cameras for surveillance purposes is widespread. While in the early days of video surveillance the camera recordings were viewed and evaluated entirely by surveillance personnel, computer-implemented image evaluation methods are now often used, in particular image evaluation based on neural networks. Methods and algorithms for image evaluation usually include a large number of method steps, for example starting with a pre-processing step, filtering and scaling in the individual frames, with segmentation methods, classification methods and/or tracking methods often being used for further processing. For evaluation, the recorded videos and/or images are sent from the camera to an evaluation device, with large amounts of data having to be transmitted given the image and video qualities.

Offenbarung der ErfindungDisclosure of the invention

Es wird eine Überwachungsvorrichtung mit den Merkmalen des Anspruchs 1 vorgeschlagen. Ferner werden eine Überwachungsanordnung, ein Verfahren, ein Computerprogramm und ein Speichermedium vorgeschlagen. Bevorzugte und/oder vorteilhafte Ausführungen ergeben sich aus den Unteransprüchen, der Beschreibung und den beigefügten Figuren.A monitoring device with the features of claim 1 is proposed. Furthermore, a monitoring arrangement, a method, a computer program and a storage medium are proposed. Preferred and/or advantageous embodiments result from the subclaims, the description and the attached figures.

Es wird eine Überwachungsvorrichtung vorgeschlagen. Die Überwachungsvorrichtung ist insbesondere zur Aufnahme, Auswertung und/oder Verarbeitung von Bildern und/oder Videos ausgebildet. Insbesondere werden im Folgenden Bilder und Video im Wesentlichen gleichbedeutend verwendet, so dass eine Auswertung und/oder eine Analyse eines Bildes als das Auswerten und Analyse von Frames eines Videos verstanden wird. Die Überwachungsvorrichtung kann ein Hardwaremodul, beispielsweise eine Überwachungskamera bilden oder ein Modul zur Verbindung und/oder Integration in die Überwachungskamera bilden. Alternativ kann die Überwachungsvorrichtung ein Software-Modul bilden, beispielsweise zur Ausführung, Anwendung und/oder Implementierung in der Überwachungskamera.A monitoring device is proposed. The monitoring device is designed in particular to record, evaluate and/or process images and/or videos. In particular, images and video are used essentially synonymously below, so that an evaluation and/or an analysis of an image is understood as the evaluation and analysis of frames of a video. The monitoring device can form a hardware module, for example a surveillance camera, or can form a module for connection and/or integration into the surveillance camera. Alternatively, the monitoring device can form a software module, for example for execution, application and/or implementation in the surveillance camera.

Die Überwachungsvorrichtung umfasst mindestens eine Kamera, insbesondere eine Überwachungskamera. Im Speziellen bildet die Überwachungsvorrichtung selbst eine Kamera. Die Kamera ist zur Aufnahme von mindestens einem Überwachungsbild, kurz Bild genannt, ausgebildet und/oder eingerichtet. Im Speziellen ist die Kamera zur Aufnahme eines Videos ausgebildet, wobei das Video als eine Vielzahl von Überwachungsbildern verstanden werden kann. Die Kamera nimmt eine Überwachungsszene als das Überwachungsbild auf. Die Überwachungsszene kann beispielsweise einen Innenbereich und/ oder einen Außenbereich umfassen oder bilden. Insbesondere umfasst die Überwachungsszene statische und bewegliche Objekte, wobei die beweglichen und dynamischen Objekte genannt werden. Ferner kann die Überwachungsszene aufgeteilt werden in einen Hintergrund und einen Vordergrund, wobei der Hintergrund insbesondere statische Objekte umfasst. Das Überwachungsbild ist insbesondere ein hochauflösendes Überwachungsbild, beispielsweise mit einer Qualität von mindestens 4K oder HD.The monitoring device comprises at least one camera, in particular a surveillance camera. In particular, the monitoring device itself forms a camera. The camera is designed and/or set up to record at least one surveillance image, referred to as an image for short. In particular, the camera is designed to record a video, whereby the video can be understood as a large number of surveillance images. The camera records a surveillance scene as the surveillance image. The surveillance scene can, for example, include or form an indoor area and/or an outdoor area. In particular, the surveillance scene includes static and moving objects, referred to as moving and dynamic objects. Furthermore, the surveillance scene can be divided into a background and a foreground, the background in particular comprising static objects. The surveillance image is in particular a high-resolution surveillance image, for example with a quality of at least 4K or HD.

Die Überwachungsvorrichtung, im Speziellen die Kamera, umfasst eine erste und eine zweite Computingeinheit. Insbesondere bilden die erste und die zweite Computingeinheiten getrennte und/oder separate Einheiten, insbesondere getrennte und/oder separate Hardwareeinheiten, Hardwarebausteine, Rechner- und/oder Prozessoreinheiten. Vorzugsweise umfassen die erste und die zweite Computingeinheit jeweils eigene und/oder unabhängige Systemressource, wie Prozessoren und/oder Speicher. Die erste und die zweite Computingeinheit sind über eine Feedbackverbindung datentechnisch verbunden. Die Feedbackverbindung ist beispielsweise als Drahtgebundene Verbindung, als Leiterbahn oder als drahtlose Verbindung ausgebildet. Im Speziellen ist die Feedbackverbindung als eine bidirektionale Verbindung ausgebildet.The monitoring device, in particular the camera, comprises a first and a second computing unit. In particular, the first and second computing units form separate and/or separate units, in particular separate and/or separate hardware units, hardware components, computer and/or processor units. Preferably, the first and second computing units each include their own and/or independent system resources, such as processors and/or memory. The first and second computing units are connected for data via a feedback connection. The feedback connection is designed, for example, as a wired connection, as a conductor track or as a wireless connection. In particular, the feedback connection is designed as a bidirectional connection.

Die erste Computingeinheit umfasst ein Diskriminierungsmodul und ein Bildmodellbestimmungsmodul. Im Speziellen können Diskriminierungsmodul und Bildmodellbestimmungsmodul ein gemeinsames Modul bilden. Das Diskriminierungsmodul und/oder das Bildmodellbestimmungsmodul können Hardware- oder Softwaremodule bilden. Besonders bevorzugt sind das Diskriminierungsmodul und/oder das Bildmodellbestimmungsmodul zur Anwendung eines Algorithmus des maschinellen Lernens ausgebildet und/oder eingerichtet und/oder umfassen ein neuronales Netz.The first computing unit includes a discrimination module and an image model determination module. In particular, the discrimination module and the image model determination module can form a common module. The discrimination module and/or the image model determination module can form hardware or software modules. Particularly preferably, the discrimination module and/or the image model determination module are designed and/or set up to use a machine learning algorithm and/or include a neural network.

Das Diskriminierungsmodul ist ausgebildet, das Überwachungsbild, die Überwachungsbilder und/oder das Video auszuwerten und/oder zu analysieren, insbesondere Verfahren der Bildauswertung, Objekterkennung und/oder Objektverfolgung anzuwenden. Das Diskriminierungsmodul ist ausgebildet, in dem Überwachungsbild, Objekte zu detektieren, zu diskriminieren und/oder zu klassifizieren. Beispielsweise ist das Diskriminierungsmodul ausgebildet, das Überwachungsbild zu segmentieren und/oder Merkmale von Objekten in dem Überwachungsbild zu bestimmen, wobei basierend auf den bestimmten Merkmalen die Objekte detektiert, festgelegt und/oder lokalisiert werden.The discrimination module is designed to evaluate and/or analyze the surveillance image, the surveillance images and/or the video, in particular to provide methods of image evaluation, object recognition and/or object tracking turn around. The discrimination module is designed to detect, discriminate and/or classify objects in the surveillance image. For example, the discrimination module is designed to segment the surveillance image and/or to determine features of objects in the surveillance image, with the objects being detected, defined and/or localized based on the specific features.

Das Diskriminierungsmodul ist ausgebildet, für die detektierten, diskriminierten und/oder klassifizierten Objekte Objektinformationsdaten zu bestimmen, insbesondere für jedes der detektierten Objekte jeweils separate und/oder eigene Objektinformationsdaten zu bestimmen. Die Objektinformationsdaten umfassen und/oder bilden vorzugsweise alphanumerische Daten. Die Objektinformationsdaten umfassen und/oder beschreiben jeweils eine Objektklasse des zugehörigen detektierten Objektes und/oder einen Objekttyp des zugehörigen detektierten Objektes, eine Objekt-ID und/oder eine Objektgeometrieinformation. Die Objektklasse beschreibt beispielsweise zu welcher Klasse von Objekten das jeweilige Objekt gehört, insbesondere sind die Klassen benutzerdefiniert festlegbar. Beispielsweise können als Objektklasse statisches, bewegtes und/oder dynamisches Objekt Verwendung finden, alternativ und/oder ergänzend können als Objektklassen beispielsweise Mensch, Gesicht, Fahrzeug, sicherheitsrelevantes Ereignis, Schusswaffe oder Gepäckstück verwendet werden. Die Objekt-ID bildet insbesondere eine eindeutige Identifikationsmöglichkeit, beispielsweise Nummer, Bezeichnung oder ähnliches. Beispielsweise werden die detektierten Objekte fortlaufend durchnummeriert. Die Objektgeometrieinformation beschreibt und/oder umfasst mindestens eine Information zur Geometrie des Objektes, beispielsweise eine Größe, Position, Form und/oder eine Beziehung zu einem weiteren der detektierten Objekte.The discrimination module is designed to determine object information data for the detected, discriminated and/or classified objects, in particular to determine separate and/or separate object information data for each of the detected objects. The object information data preferably includes and/or forms alphanumeric data. The object information data each includes and/or describes an object class of the associated detected object and/or an object type of the associated detected object, an object ID and/or object geometry information. The object class describes, for example, which class of objects the respective object belongs to; in particular, the classes can be defined in a user-defined manner. For example, static, moving and/or dynamic objects can be used as object classes; alternatively and/or additionally, human, face, vehicle, security-relevant event, firearm or piece of luggage can be used as object classes. The object ID in particular forms a unique identification option, for example number, designation or similar. For example, the detected objects are numbered consecutively. The object geometry information describes and/or includes at least one piece of information about the geometry of the object, for example a size, position, shape and/or a relationship to another of the detected objects.

Das Bildmodellbestimmungsmodul ist ausgebildet und/oder eingerichtet, ein Bildmodell zu bestimmen. Dem Bildmodellbestimmungsmodul sind hierzu die Objektinformationsdaten bereitgestellt, ferner sind ihm das Überwachungsbild bereitgestellt, im speziellen auch die detektierten Objekte und/oder ermittelte Objektbereiche zu den detektierten Objekten. Das Bildmodell wird insbesondere basierend auf dem Überwachungsbild, im Speziellen dem Video, sowie den Objektinformationsdaten bestimmt. Das Bild bildet und/oder beschreibt insbesondere ein Szenenmodell, kurz ein Modell der Überwachungsszene. Ferner umfasst das Bildmodell die Objektinformationsdaten und/oder eine Teilmenge der Informationen umfasst von den Objektinformationsdaten. Im Speziellen bildet das Szenenmodell eine Abstraktion der Überwachungsszene, insbesondere aufweisend eine geringere Datengröße, verallgemeinerte Bereiche und/oder Abschnitte, Zusammenfassungen und/oder eine Repräsentation von Bereichen durch Symbole, Datensätze oder anderweitigen Repräsentanten. Im Speziellen wurden vom Diskriminierungsmodul und/oder dem Bildmodellbestimmungsmodul für die detektierten Objekte jeweils Objektbereiche bestimmt, beispielsweise in Form von Bounding-Boxen. Beispielsweise ist das Bildmodellbestimmungsmodul ausgebildet, im Szenenmodell, statt den Bildinhalt der Objektbereiche die Objektinformationsdaten wiederzugeben, wobei der Bildinhalt beispielsweise vereinfacht, verfremdet, entfernt oder geschwärzt ist. Insbesondere kann das Szenenmodell eine Beschreibung der Überwachungsszene mittels der Objektinformationsdaten bilden, beispielsweise den Aufbau der Überwachungsszene durch die Objektinformationsdaten und deren Verhältnisse beispielsweise basierend auf den Objektgeometrieinformationen. Insbesondere sind die Objekte und/oder die Objektbereiche in dem Szenenmodell vereinfacht umfasst und/oder repräsentiert, insbesondere in Form der Objektinformationsdaten. Beispielsweise und/ oder beschreibt das Szenenmodell, dass in der Überwachungsszene zwei Objekte vorhanden sind, eines der Objektklasse Auto und eines der Objektklasse Person, wobei für die Objekte jeweils Position, Größe und Orientierung durch die Objektinformationsdaten festgelegt und/oder beschrieben sind.The image model determination module is designed and/or set up to determine an image model. For this purpose, the object information data is provided to the image model determination module, and the surveillance image is also provided to it, in particular also the detected objects and/or determined object areas for the detected objects. The image model is determined in particular based on the surveillance image, in particular the video, and the object information data. The image forms and/or describes in particular a scene model, in short a model of the surveillance scene. Furthermore, the image model includes the object information data and/or a subset of the information comprised of the object information data. In particular, the scene model forms an abstraction of the surveillance scene, in particular having a smaller data size, generalized areas and/or sections, summaries and/or a representation of areas through symbols, data sets or other representatives. In particular, the discrimination module and/or the image model determination module determined object areas for the detected objects, for example in the form of bounding boxes. For example, the image model determination module is designed to reproduce the object information data in the scene model instead of the image content of the object areas, the image content being, for example, simplified, alienated, removed or blackened. In particular, the scene model can form a description of the surveillance scene using the object information data, for example the structure of the surveillance scene through the object information data and their relationships, for example based on the object geometry information. In particular, the objects and/or the object regions are included and/or represented in a simplified manner in the scene model, in particular in the form of the object information data. For example and/or the scene model describes that there are two objects in the surveillance scene, one of the Car object class and one of the Person object class, the position, size and orientation for each of the objects being determined and/or described by the object information data.

Die zweite Computingeinheit umfasst ein Ereignisdetektionsmodul. Das Ereignisdetektionsmodul ist insbesondere als Software- oder Hardwaremodul ausgebildet. Der zweiten Computingeinheit ist von der ersten Computingeinheit und/oder dem Bildmodellbestimmungsmodul das Bildmodell und/oder die Objektinformationsdaten bereitgestellt. Das Ereignisdetektionsmodul ist ausgebildet basierend auf dem Bildmodell, insbesondere der Auswertung des Bildmodells, ein oder mehrere Ereignisse zu detektieren und/oder zu bestimmen. Die Ereignisse sind beispielsweise Ereignisse in der Überwachungsszene und/oder Ereignisse des Objektes und/oder Ereignisse zwischen Objekten. Beispielsweise ist das Ereignis das Übertreten einer physischen und/oder virtuellen Grenze. Hierzu wurden von dem Diskriminierungsmodul beispielsweise Objekte in Menschen und Nichtmenschen unterschieden, klassifiziert und/oder diskriminiert.The second computing unit includes an event detection module. The event detection module is designed in particular as a software or hardware module. The image model and/or the object information data is provided to the second computing unit by the first computing unit and/or the image model determination module. The event detection module is designed to detect and/or determine one or more events based on the image model, in particular the evaluation of the image model. The events are, for example, events in the surveillance scene and/or events of the object and/or events between objects. For example, the event is the crossing of a physical and/or virtual boundary. For this purpose, the discrimination module, for example, differentiated, classified and/or discriminated against objects into humans and non-humans.

Die zweite Computingeinheit, im Speziellen das Ereignisdetektionsmodul, ist ausgebildet und/oder eingerichtet, der ersten Computingeinheit, dem Diskriminierungsmodul und/oder dem Bildbestimmungsmodul Feedbackdaten bereitzustellen, zu übertragen und/oder zu senden. Insbesondere werden die Feedbackdaten über die Feedbackverbindung bereitgestellt und/oder übertragen.The second computing unit, in particular the event detection module, is designed and/or set up to provide, transmit and/or send feedback data to the first computing unit, the discrimination module and/or the image determination module. In particular, the feedback data is provided and/or transmitted via the feedback connection.

Feedbackdaten der zweiten Computingeinheit umfassen insbesondere statische Informationen über notwendige Diskriminierungsinformationen und/oder dynamisches Feedback, welches sich aus der Situation ergibt. Insbesondere benötigt eine Unfallerkennung grundsätzlich die Information über die Position von Fahrzeugen, Fußgängern und gegebenenfalls Tieren. Anhand der Position der erkannten Objekte kann ein Unfall zumindest abgeschätzt werden, insbesondere durch das Überlappen der Objekte. Die Feedbackdaten umfassen hier die nötigen Objektklassen und zusätzliche Informationen insbesondere die Position der erkannten Objekte und deren Größe.Feedback data from the second computing unit includes in particular static information about necessary discrimination information and/or dynamic feedback resulting from the situation. In particular, accident detection fundamentally requires information about the position of vehicles, pedestrians and, if necessary, animals. An accident can at least be estimated based on the position of the detected objects, in particular due to the overlapping of the objects. The feedback data includes the necessary object classes and additional information, in particular the position of the detected objects and their size.

Für dynamische Feedbackdaten wird insbesondere von statischen Informationen über notwendige Diskriminierungsinformationen ausgegangen, die zusätzlich analysiert werden. Insbesondere kann eine Gesichtserkennung eingeschaltet werden, wenn eine Person in einem bestimmten Bereich erkannt wurde. Die Gesichtserkennung findet also nicht grundsätzlich für den kompletten Videostrom statt, sondern wird nur dann aktiviert, wenn bestimmte vorangehende Ereignisse erkannt worden sind. Die Feedbackdaten umfassen hierbei nicht nur die benötigte Diskriminierung (die Daten des Gesichts), sondern zusätzlich Informationen für welches Objekt oder für welchen Bereich diese Diskriminierung erfolgen muss, falls das Objekt eindeutig identifizierbar ist.For dynamic feedback data, static information about necessary discrimination information is assumed, which is additionally analyzed. In particular, facial recognition can be switched on when a person has been recognized in a certain area. Face recognition does not generally take place for the entire video stream, but is only activated when certain previous events have been recognized. The feedback data not only includes the required discrimination (the facial data), but also additional information for which object or for which area this discrimination must take place if the object is clearly identifiable.

Die Erfindung basiert auf der Überlegung, Bilder und Videos bereits kameraseitig, vor ihrer Übertragung und/oder in unmittelbarer Nähe zur Kamera zu einem Szenenmodell zu verarbeiten, wobei das Szenenmodell die wesentlichen und/oder relevanten Informationen der Objekte in der Überwachungsszene beschreibt und/oder umfasst, so dass zur weiteren Verwendung und/oder Auswertung nicht die hochauflösenden Überwachungsbilder und/oder Videos zu übertragen sind, sondern das Szenenmodell mit geringerer Größe. Insbesondere basiert die Erfindung auf der Überlegung, dass die meisten Verfahren zur Überwachung und/oder Bildauswertung mehrere Verfahrensschritte umfassen, wobei häufig den unterschiedlichen Schritten und/oder Verfahren gemeinsam ist, dass die Datenmenge sich in jedem Schritt signifikant reduziert, der Informationsgehalt und/oder die semantische Bedeutung der Daten nach jedem Schritt signifikant zunimmt und die Verfahrensschritte nach jedem Schritt spezifischer werden. Die Erfindung nutzt die Überlegung, dass insbesondere die anfänglichen Schritte, hier Detektion von Objekten und Objektinformationsdaten, im Wesentlichen generisch und/oder ähnlich für alle nachfolgenden Verfahrensschritte sind, so dass sie gemeinsam vom Diskriminierungsmodul übernommen werden können und die weiteren Verfahrensschritte auf das daraus resultierende Szenenmodell angewendet werden können.The invention is based on the idea of processing images and videos into a scene model on the camera side, before their transmission and/or in the immediate vicinity of the camera, whereby the scene model describes and/or includes the essential and/or relevant information of the objects in the surveillance scene , so that for further use and/or evaluation it is not the high-resolution surveillance images and/or videos that need to be transmitted, but rather the scene model with a smaller size. In particular, the invention is based on the consideration that most methods for monitoring and/or image evaluation include several method steps, with the different steps and/or methods often having in common that the amount of data is significantly reduced in each step, the information content and/or the semantic meaning of the data increases significantly after each step and the process steps become more specific after each step. The invention uses the consideration that in particular the initial steps, here detection of objects and object information data, are essentially generic and/or similar for all subsequent method steps, so that they can be taken over together by the discrimination module and the further method steps on the resulting scene model can be applied.

Besonders bevorzugt ist es, dass das Diskriminierungsmodul ausgebildet ist, die detektierten Objekte, insbesondere die bewegten und/oder dynamischen Objekte, zu verfolgen. Insbesondere wird unter Verfolgung des Objektes ein Tracken des Objektes, die Bestimmung der Positionsveränderung des Objektes bezüglich zeitlich beanstandet aufgenommenen Bilder verstanden und/oder das Bestimmen einer Trajektorie des Objektes verstanden. Für die detektierten Objekte werden vom Diskriminierungsmodul Trackingdaten bestimmt und/oder ermittelt, wobei die Trackingdaten vorzugsweise weiteren Modulen und/oder Algorithmen bereitgestellt sind und/oder werden. Insbesondere umfassen die Objektinformationsdaten die Trackingdaten des zugehörigen Objekts. Beispielsweise umfassen die Objektinformationsdaten als Trackingdaten die Veränderung der Position des Objekts und/oder des Objektbereichs über die Zeit, insbesondere bezüglich zwei aufeinanderfolgenden Überwachungsbildern.It is particularly preferred that the discrimination module is designed to track the detected objects, in particular the moving and/or dynamic objects. In particular, tracking the object is understood to mean tracking the object, determining the change in position of the object with respect to images recorded at different times and/or determining a trajectory of the object. Tracking data is determined and/or determined for the detected objects by the discrimination module, wherein the tracking data is and/or is preferably provided to further modules and/or algorithms. In particular, the object information data includes the tracking data of the associated object. For example, the object information data includes, as tracking data, the change in the position of the object and/or the object area over time, in particular with regard to two successive surveillance images.

Besonders bevorzugt ist es, dass das Bildmodell und/oder das Szenenmodell eine symbolische Repräsentation der Überwachungsszene bildet und/oder umfasst, im Speziellen, dass die Objekte und/oder Objektbereiche der Überwachungsszene und/oder des Überwachungsbildes in Bildmodell und/oder im Szenenmodell als symbolische Repräsentation umfasst sind. Beispielsweise können die symbolischen Repräsentationen als ein alphanumerischer Datensatz umfassend die Objektinformationsdaten ausgebildet sein. Alternativ und/oder ergänzend umfassen die symbolischen Repräsentationen beispielsweise vereinfachte Piktogramme oder Objektbereiche ohne Bildinhalt, so dass im Bildmodell beispielsweise die Objektbereiche der detektierten Objekte, im Speziellen deren Bildinhalt, entfernt und/oder vereinfacht ist. Beispielsweise ist das Bildmodell als das Überwachungsbild mit vereinfacht dargestellten Bildinhalt, beispielsweise in Form von Piktogrammen ausgebildet. Das Bildmodell und/oder das Szenenmodell ist somit als eine vereinfachte Version des Überwachungsbildes ausgebildet, wobei die detektierten Objekte in Form der Objektinformationsdaten umfasst sind, so dass die entsprechend entfernten und/oder vereinfachten Objektbereiche mittels der Objektinformationsdaten weiter verwertbar und/oder auswertbar sind. Beispielsweise sind einem der Objektbereich als Objektinformationsdaten zugeordnet Objektklasse Auto, Objekt-ID 2 und als Objektgeometrieinformation eine Größe, Orientierung und/oder Position innerhalb der Überwachungsszene und/oder des Überwachungsbildes. Ein solches Bildmodell kann von Applikationen und/oder Bildauswerteverfahren zur Auswertung herangezogen werden, da die entsprechenden Objektbereiche auch ohne Vorhandensein und Übertragen des eigentlichen Bildinhaltes die wesentlichen generischen Informationen und/oder Features umfasst.It is particularly preferred that the image model and/or the scene model forms and/or comprises a symbolic representation of the surveillance scene, in particular that the objects and/or object areas of the surveillance scene and/or the surveillance image in the image model and/or in the scene model as symbolic ones representation are included. For example, the symbolic representations can be designed as an alphanumeric data set comprising the object information data. Alternatively and/or additionally, the symbolic representations include, for example, simplified pictograms or object areas without image content, so that in the image model, for example, the object areas of the detected objects, in particular their image content, are removed and/or simplified. For example, the image model is designed as the surveillance image with simplified image content, for example in the form of pictograms. The image model and/or the scene model is thus designed as a simplified version of the surveillance image, with the detected objects being included in the form of the object information data, so that the correspondingly removed and/or simplified object areas can be further used and/or evaluated using the object information data. For example, object class car, object ID 2 is assigned to one of the object areas as object information data and a size, orientation and/or position within the surveillance scene and/or the surveillance image is assigned as object geometry information. Such an image model can be used for evaluation by applications and/or image evaluation methods, since the corresponding Object areas include the essential generic information and/or features even without the presence and transmission of the actual image content.

Insbesondere ist es vorgesehen, dass das Bildmodell, das Szenenmodell und/oder die Objektinformationsdaten die detektierten Objekte als symbolische Repräsentanten umfassen und/oder beschreiben. Beispielsweise sind die Objektbereiche bzw. die Bildinhalte der Objektbereiche durch symbolische Repräsentanten ersetzt, wobei die symbolischen Repräsentanten beispielsweise einfache Piktogramme, einfarbige, regelmäßige und/oder unregelmäßige Flächen bilden. Im speziellen werden Repräsentant und Repräsentationen als gleichbedeutend verstanden. Insbesondere basiert diese Ausgestaltung auf der Überlegung, dass zur Datenreduktion die Bildinhalte der Objektbereiche nicht länger übertragen werden müssen, wenn symbolische Repräsentanten verwendet werden, insbesondere ist bei der Verwendung von symbolischen Repräsentanten beispielsweise einfachen Piktogrammen, eine intuitive Interpretation durch das Überwachungspersonal weiterhin möglich.In particular, it is provided that the image model, the scene model and/or the object information data include and/or describe the detected objects as symbolic representatives. For example, the object areas or the image contents of the object areas are replaced by symbolic representatives, with the symbolic representatives forming, for example, simple pictograms, monochrome, regular and/or irregular areas. In particular, representatives and representations are understood to be synonymous. In particular, this embodiment is based on the consideration that the image contents of the object areas no longer have to be transmitted for data reduction when symbolic representatives are used, in particular when using symbolic representatives, for example simple pictograms, an intuitive interpretation by the monitoring personnel is still possible.

Besonders bevorzugt ist es, dass die Geometrieinformationsdaten für das jeweilige Objekt eine Objektgröße, eine Objektposition, eine Objektorientierung und/oder eine Z-Ordnung umfassen und/oder beschreiben. Die Objektgröße beschreibt beispielsweise eine Ausdehnung und/oder Größe des Objektes, vorzugsweise im Bildraum, beispielsweise in der Einheit Pixel. Die Objektgröße kann beispielsweise Teilgrößen wie Breite, Höhe und Objektform umfassen. Die Objektposition ist insbesondere die Position des Objektes, des Objektsbereichs und/oder eines Mittelpunktes und/oder Schwerpunkt des Objektbereiches innerhalb und/oder in Bezug auf die Überwachungsszene, das Überwachungsbild, ein Bildkoordinatensystem oder ein Referenzkoordinatensystem. Die Objektorientierung beschreibt beispielsweise die Orientierung des Objektes bezüglich einer Referenzorientierung, beispielsweise festgelegt durch das Überwachungsbild. Die Objektorientierung umfasst beispielsweise eine relative Verdrehung von Länge und Breite des Objekts bezüglich des Bildkoordinatensystems und/oder Referenzkoordinatensystems. Die Objektorientierung, die Objektgröße und/oder die Objektposition ist insbesondere relativ zu einem Referenzobjekt oder den oder dem weiteren detektierten Objekt angegeben. Die Geometrieinformationsdaten erlauben insbesondere die Anordnung der im Überwachungsbild gezeigten Objekte vereinfacht aber rekonstruierbar wiederzugeben.It is particularly preferred that the geometry information data for the respective object include and/or describe an object size, an object position, an object orientation and/or a Z order. The object size describes, for example, an extent and/or size of the object, preferably in image space, for example in pixels. The object size can, for example, include partial sizes such as width, height and object shape. The object position is in particular the position of the object, the object area and/or a center point and/or center of gravity of the object area within and/or in relation to the surveillance scene, the surveillance image, an image coordinate system or a reference coordinate system. The object orientation describes, for example, the orientation of the object with respect to a reference orientation, for example determined by the surveillance image. The object orientation includes, for example, a relative rotation of the length and width of the object with respect to the image coordinate system and/or reference coordinate system. The object orientation, the object size and/or the object position is specified in particular relative to a reference object or the further detected object. In particular, the geometry information data allows the arrangement of the objects shown in the surveillance image to be reproduced in a simplified but reconstructable manner.

Vorzugsweise ist die zweite Computingeinheit und/oder das Ereignisdetektionsmodul ausgebildet, die erste Computingeinheit, das Diskriminierungsmodul und/oder das Bildmodellbestimmungsmodul basierend auf den Feedbackdaten und/oder mittels der Feedbackdaten anzupassen, zu konfigurieren und/oder zu optimieren. Beispielsweise ist die zweite Computingeinheit und/oder das Ereignisdetektionsmodul ausgebildet, mittels der Feedbackdaten das Diskriminierungsmodul zur Detektion, Diskriminierung und/oder Klassifizierung von bestimmten und/oder zur Ereignisbestimmung benötigten Objekten anzupassen und/oder zu konfigurieren, beispielsweise die Menge der zu detektierenden, diskriminierenden und/oder klassifizierenden Objekte einzuschränken.Preferably, the second computing unit and/or the event detection module is designed to adapt, configure and/or optimize the first computing unit, the discrimination module and/or the image model determination module based on the feedback data and/or by means of the feedback data. For example, the second computing unit and/or the event detection module is designed to use the feedback data to adapt and/or configure the discrimination module for the detection, discrimination and/or classification of specific objects and/or those required for event determination, for example the quantity of objects to be detected, discriminated and /or classifying objects.

Besonders bevorzugt ist das Ereignisdetektionsmodul ausgebildet mindestens eine Auswerteapplikation auszuführen und/oder anzuwenden, insbesondere zur Bestimmung des Ereignisses auf das Bildmodells anzuwenden. Die Auswerteapplikationen sind insbesondere austauschbar, ergänzbar und/oder individuell beziehbar, beispielsweise aus einem App Store. Die Auswerteapplikationen sind insbesondere Applikationen zur spezifischen Auswertung des Bildes, beispielsweise zur Gesichtserkennung, Personenerkennung, Objektverfolgung und/oder zur Erkennung von bestimmten Ereignissen, wie z.B. einem Brand, einer Panik oder einer Schießerei. Beispielsweise ist die Auswerteapplikation zur Bestimmung des Betretens eines Bereiches ausgebildet, beispielsweise als eine virtueller Stolperschnur (Tripwire), wobei statt der Auswertung der eigentlichen Überwachungsbilder die Auswerteapplikation das Bildmodell auswertet, da die Objektinformationsdaten genügend Informationen und/oder Details zur Ausführung der Aufgabe umfassen und bestimmbar ist, ob in einem bestimmten Bereich ein Objekt eingetreten ist und/oder ob es sich bei dem Objekt um eine berechtigte oder unberechtigte Person handelt.Particularly preferably, the event detection module is designed to execute and/or use at least one evaluation application, in particular to apply it to the image model to determine the event. The evaluation applications are in particular interchangeable, supplementable and/or individually obtainable, for example from an app store. The evaluation applications are in particular applications for the specific evaluation of the image, for example for facial recognition, person recognition, object tracking and/or for the recognition of certain events, such as a fire, a panic or a shooting. For example, the evaluation application is designed to determine entry into an area, for example as a virtual tripwire, whereby instead of evaluating the actual surveillance images, the evaluation application evaluates the image model, since the object information data includes and can be determined sufficient information and / or details to carry out the task is whether an object has entered a certain area and/or whether the object is an authorized or unauthorized person.

Besonders bevorzugt ist es, dass das Ereignisdetektionsmodul und/oder die zweite Computingeinheit ausgebildet ist, die Feedbackdaten, insbesondere an die erste Computingeinheit, das Diskriminierungsmodul und/oder das Ereignisdetektionsmodul, bereitzustellen, zu senden und/oder zu übertragen, wenn eine Auswerteapplikation gestartet, initialisiert, installiert und/oder registriert wird. Alternativ und/oder ergänzend überträgt und/oder sendet die zweite Computingheinheit und/oder das Ereignisdetektionsmodul die Feedbackdaten, wenn von das Bildmodell empfangen wird, insbesondere erstmalig empfangen wird und/oder sich das empfangene Bildmodell mehr als eine tolerierte Änderung ändert.It is particularly preferred that the event detection module and/or the second computing unit is designed to provide, send and/or transmit the feedback data, in particular to the first computing unit, the discrimination module and/or the event detection module, when an evaluation application is started or initialized , installed and/or registered. Alternatively and/or additionally, the second computing unit and/or the event detection module transmits and/or sends the feedback data when the image model is received, in particular when it is received for the first time and/or the received image model changes more than a tolerated change.

Insbesondere ist es vorgesehen, dass die Überwachungsvorrichtung ein Validierungsmodul aufweist. Dabei ist das Ereignisdetektionsmodul beispielsweise ausgebildet, ein Ereignis, insbesondere auch Szenenereignis genannt, zu detektieren. Beispielsweise wird zur Detektion des Szenenereignisses die Auswerteapplikation auf das Bildmodell angewendet. Das Szenenereignis ist beispielsweise das Eintreten eines Ereignisses, dass die Auswerteapplikation bestimmen soll, beispielsweise das Betreten des Bereiches oder einen Brand. Das Validierungsmodul ist ausgebildet und/oder eingerichtet, im Falle der Detektion des Szenenereignisses die Auswertung und/oder die Anwendung der Auswerteapplikation auf das zu dem Bildmodell gehörigen Überwachungsbild anzuwenden und Validierungsdaten zu bestimmen. Das Validierungsmodul überprüft mit anderen Worten nach der Detektion des Szenenereignisses basierend auf dem Bildmodell, ob das Szenenereignis tatsächlich eingetreten ist, indem die Überwachungsbilder, selbst ausgewertet werden. Die Validierungsdaten beschreiben und/oder umfassen beispielsweise die Ergebnisse der Anwendung der Auswerteapplikation auf das Überwachungsbild, insbesondere eine Aussage, ob das Szeneereignis tatsächlich eingetreten ist oder fälschlicherweise als solches von der Auswerteapplikation basierend auf dem Bildmodell detektiert wurde. Diese Ausgestaltung basiert auf der Überlegung, dass erst bei Feststellung eines Ereignisses und/oder der positiven Anwendung der Auswerteapplikation auf die vereinfachten Daten, hier das Bildmodell, die Auswertung und/oder Übertragung der datenintensiveren Überwachungsbilder veranlasst wird.In particular, it is provided that the monitoring device has a validation module. The event detection module is designed, for example, an event, in particular also called scene event. For example, to detect the scene event, the evaluation application is applied to the image model. The scene event is, for example, the occurrence of an event that the evaluation application should determine, for example entering the area or a fire. The validation module is designed and/or set up to apply the evaluation and/or the application of the evaluation application to the surveillance image belonging to the image model and to determine validation data in the event of the detection of the scene event. In other words, after detecting the scene event based on the image model, the validation module checks whether the scene event actually occurred by evaluating the surveillance images itself. The validation data describes and/or includes, for example, the results of the application of the evaluation application to the surveillance image, in particular a statement as to whether the scene event actually occurred or was incorrectly detected as such by the evaluation application based on the image model. This embodiment is based on the idea that only when an event is detected and/or the evaluation application is positively applied to the simplified data, here the image model, is the evaluation and/or transmission of the more data-intensive surveillance images initiated.

Besonders bevorzugt ist es, dass die Auswerteapplikation ein Basismodul und ein Spezialmodul aufweist. Beispielsweise ist das Basismodul eine vereinfachte Version und/oder Abstraktion des Spezialmoduls und/oder der Auswertung durch das Spezialmodul. Beispielsweise ist das Basismodul zur vereinfachten Auswertung von Bildern, im Speziellen dem Bildmodell, ausgebildet, wobei das Spezialmodul zur detaillierteren Auswertung ausgebildet und/oder eingerichtet ist. Im Speziellen ist das Spezialmodul zur Anwendung auf das Überwachungsbild statt zur Anwendung auf das Bildmodell ausgebildet. Dabei ist es beispielsweise vorgesehen, dass das Validierungsmodul zur Bestimmung der Validierungsdaten das Spezialmodul auf das Überwachungsbild anwendet, während das Diskriminierungsmodul zur Anwendung der Auswerteapplikation auf das Bildmodell das Basismodul auf das Bildmodell anwendet.It is particularly preferred that the evaluation application has a basic module and a special module. For example, the basic module is a simplified version and/or abstraction of the special module and/or the evaluation by the special module. For example, the basic module is designed for simplified evaluation of images, in particular the image model, while the special module is designed and/or set up for more detailed evaluation. In particular, the special module is designed for use on the surveillance image instead of for use on the image model. It is provided, for example, that the validation module applies the special module to the surveillance image to determine the validation data, while the discrimination module applies the basic module to the image model to apply the evaluation application to the image model.

Einen weiteren Gegenstand der Erfindung bildet eine Überwachungsanordnung mit der Überwachungsvorrichtung und einem Remotemodul. Das Remotemodul ist beispielsweise als ein Zentralrechner oder eine Cloud ausgebildet. Insbesondere sind die Überwachungsvorrichtung und das Remotemodul datentechnisch zur drahtgebundenen oder drahtlosen Datenübertragung verbunden. Die Überwachungsvorrichtung umfasst hierzu ein Sendemodul zur Bereitstellung des Bildmodells an das Remotemodul. Das Remotemodul umfasst ein Remoteapplikationsmodul, wobei das Remoteapplikationsmodul vorzugsweise wie das Applikationsmodul der Überwachungsvorrichtung ausgebildet und/oder eingerichtet ist. Das Remoteapplikationsmodul ist ausgebildet und/oder eingerichtet, Auswerteapplikationen, insbesondere Auswerteapplikationen wie für das Applikationsmodul der Überwachungsvorrichtung beschrieben, auszuführen und/oder anzuwenden. Das Remoteapplikationsmodul wendet die Auswerteapplikation auf das Bildmodell an. Dieser Ausgestaltung liegt die Überlegung zugrunde, dass kameraseitig, bzw. auf Seite der Überwachungsvorrichtung, die Vorverarbeitung des Überwachungsbildes erfolgt und die Bereitstellung und Bestimmung des Bildmodells erfolgt. Dieses Bildmodell, welches einen geringeren Speicherplatz benötigt, wird dann an das Remotemodul zur weiteren Verwendung und/oder Auswertung bereitgestellt, sodass weniger Daten als zur Übertragung des Überwachungsbildes zu übertragen sind. Auf dem Remotemodul, bzw. mittels des Remoteapplikationsmoduls, erfolgt dann die weitere Auswertung in dem die Auswerteapplikation auf das bereitgestellte Bildmodell angewendet wird.A further subject of the invention is a monitoring arrangement with the monitoring device and a remote module. The remote module is designed, for example, as a central computer or a cloud. In particular, the monitoring device and the remote module are connected in terms of data technology for wired or wireless data transmission. For this purpose, the monitoring device includes a transmission module for providing the image model to the remote module. The remote module comprises a remote application module, wherein the remote application module is preferably designed and/or set up like the application module of the monitoring device. The remote application module is designed and/or set up to execute and/or use evaluation applications, in particular evaluation applications as described for the application module of the monitoring device. The remote application module applies the evaluation application to the image model. This embodiment is based on the idea that the preprocessing of the surveillance image takes place on the camera side or on the side of the monitoring device and the provision and determination of the image model takes place. This image model, which requires less storage space, is then provided to the remote module for further use and/or evaluation, so that less data needs to be transmitted than for transmitting the surveillance image. Further evaluation then takes place on the remote module, or by means of the remote application module, in which the evaluation application is applied to the provided image model.

Beispielsweise wird zur Anwendung der Auswerteapplikation ein erhöhter Bedarf an Rechen- und/oder Speicherleistung benötigt, der insbesondere nicht auf der Überwachungsvorrichtung bzw. der Kamera verfügbar wäre, so dass die rechen- und/oder speicherintensiven Teile der Auswertung zentral durchgeführt werden.For example, in order to use the evaluation application, an increased need for computing and/or storage power is required, which in particular would not be available on the monitoring device or the camera, so that the computing and/or storage-intensive parts of the evaluation are carried out centrally.

Insbesondere ist das Sendemodul ausgebildet und/oder eingerichtet, das Bildmodell verschlüsselt, fotografisch und/oder komprimiert an das Remotemodul bereitzustellen und/oder zu senden. Beispielsweise basiert dies auf einem Schlüsselaustausch zwischen Sendemodul und Remotemodul. Im Speziellen ist es vorgesehen, dass das Remoteapplikationsmodul ein Remotevalidierungsmodul umfasst, wobei das Remotevalidierungsmodul ausgebildet und/oder eingerichtet ist wie das Validierungsmodul der Überwachungsvorrichtung. Das Remotevalidierungsmodul ist ausgebildet und/oder eingerichtet, basierend auf der Detektion eines Szenenereignisses durch die Auswerteapplikation eine Auswertung des Überwachungsbildes und/oder die Anwendung der Auswerteapplikation auf das Überwachungsbild zu veranlassen, beispielsweise das Sendemodul zur Bereitstellung des Überwachungsbildes an das Remotemodul zu veranlassen. Dies basiert auf der Überlegung, dass im Falle der Detektion eines spezifischen Ereignisses, beispielsweise der Erkennung einer Person basierend auf dem Bildmodell, zur Überprüfung die Auswertung der originalen Daten, hier des Überwachungsbildes erfolgt und/oder veranlasst wird.In particular, the transmission module is designed and/or set up to provide and/or send the image model to the remote module in encrypted, photographic and/or compressed form. For example, this is based on a key exchange between the sending module and the remote module. In particular, it is provided that the remote application module comprises a remote validation module, wherein the remote validation module is designed and/or set up like the validation module of the monitoring device. The remote validation module is designed and/or set up to cause an evaluation of the monitoring image and/or the application of the evaluation application to the monitoring image based on the detection of a scene event by the evaluation application, for example to cause the transmission module to provide the monitoring image to the remote module. This is based on the consideration that in the event of the detection of a specific event, for example the recognition of a person based on the image model, the original data, here the surveillance image, is evaluated and/or initiated for verification purposes.

Einen weiteren Gegenstand der Erfindung bildet ein Verfahren, wobei mindestens ein Überwachungsbild zeigend und/oder umfassend eine Überwachungsszene aufgenommen wird. Basierend auf dem Überwachungsbild und/oder in dem Überwachungsbild werden Objekte detektiert, wobei für die detektierten Objekte die Objektinformationsdaten wie vorher beschrieben bestimmt und/oder ermittelt werden. Basierend auf den Überwachungsbildern und/oder für das Überwachungsbild wird ein Bildmodell ermittelt und/oder bestimmt, wobei das Bildmodell ein Szenenmodell der Überwachungsszene umfasst und/oder bildet und/oder die Objektinformationsdaten umfasst.A further subject of the invention is a method in which at least one surveillance image showing and/or comprising a surveillance scene is recorded. Based on the surveillance image and/or in the surveillance image, objects are detected, with the object information data being determined and/or determined for the detected objects as previously described. Based on the surveillance images and/or for the surveillance image, an image model is ascertained and/or determined, wherein the image model comprises and/or forms a scene model of the surveillance scene and/or comprises the object information data.

Einen weiteren Gegenstand der Erfindung bildet ein Computerprogramm, wobei das Computerprogramm einen Programmcode umfasst. Das Computerprogramm ist ausgebildet und/oder eingerichtet, bei seiner Ausführung auf einem Computer, der Überwachungsvorrichtung und/oder der Überwachungsanordnung die Verfahrensschritte auszuführen, anzuwenden und/oder zu implementieren.A further subject of the invention is a computer program, the computer program comprising a program code. The computer program is designed and/or set up to execute, apply and/or implement the method steps when it is executed on a computer, the monitoring device and/or the monitoring arrangement.

Einen weiteren Gegenstand der Erfindung bildet ein Speichermedium, insbesondere ein maschinenlesbares Speichermedium, wobei auf dem Speichermedium das Computerprogramm gespeichert ist.A further subject of the invention is a storage medium, in particular a machine-readable storage medium, the computer program being stored on the storage medium.

Bevorzugte und/oder vorteilhafte Ausführungen ergeben sich aus den beigefügten Figuren und deren Beschreibung. Dabei zeigen:

  • 1 schematische Darstellung eines Ausführungsbeispiels einer Überwachungsvorrichtung;
  • 2 weiteres Ausführungsbeispiel umfassend ein Validierungsmodul;
  • 3 Ausführungsbeispiel einer Überwachungsvorrichtung als Teil einer Überwachungsanordnung.
Preferred and/or advantageous embodiments result from the attached figures and their description. Show:
  • 1 schematic representation of an exemplary embodiment of a monitoring device;
  • 2 further exemplary embodiment comprising a validation module;
  • 3 Embodiment of a monitoring device as part of a monitoring arrangement.

1 zeigt ein Ausführungsbeispiel einer Überwachungsvorrichtung 1. Die Überwachungsvorrichtung 1 ist zur Überwachung eines Innen- oder Außenbereichs ausgebildet, insbesondere zur video- und/oder bildbasierenden Überwachung des Bereichs, beispielsweise zur Verfolgung, Personenerkennung oder Übernahme anderweitiger Überwachungsaufgaben. Hierzu umfasst die Überwachungsvorrichtung 1 eine Kamera 2. Die Kamera 2 ist beispielsweise als eine schwenkbare und/oder zoombare Kamera ausgebildet, insbesondere als eine Farbkamera. Die Kamera 2 ist angeordnet und ausgebildet, ein Überwachungsbild 3 aufzunehmen und bereitzustellen, insbesondere ist das Überwachungsbild 3 Teil eines Videos, wobei das Video als eine Abfolge von Überwachungsbildern 3 verstanden wird. Das Überwachungsbild 3 zeigt eine Überwachungsszene 4, wobei die Überwachungsszene 4 Teil des Überwachungsbereiches ist. Die Überwachungsszene 4 zeigt und/oder umfasst eine Mehrzahl an Objekten 5a-e, die unterschiedlichen Objekte, insbesondere unterschiedliche Objekttypen bzw. Kategorien angehören. Insbesondere umfasst die Überwachungsszene 4 und das Überwachungsbild 3 einen Hintergrund. 1 shows an exemplary embodiment of a monitoring device 1. The monitoring device 1 is designed to monitor an indoor or outdoor area, in particular for video- and / or image-based monitoring of the area, for example for tracking, recognizing people or taking on other monitoring tasks. For this purpose, the monitoring device 1 includes a camera 2. The camera 2 is designed, for example, as a pivotable and/or zoomable camera, in particular as a color camera. The camera 2 is arranged and designed to record and provide a surveillance image 3, in particular the surveillance image 3 is part of a video, the video being understood as a sequence of surveillance images 3. The surveillance image 3 shows a surveillance scene 4, the surveillance scene 4 being part of the surveillance area. The surveillance scene 4 shows and/or includes a plurality of objects 5a-e, which belong to different objects, in particular different object types or categories. In particular, the surveillance scene 4 and the surveillance image 3 include a background.

Die Überwachungsvorrichtung 1, insbesondere die Kamera 2 umfasst eine erste Computingeinheit 6. Die erste Computingeinheit 6 umfasst ein Diskriminierungsmodul 6a und ein Bildmodellbestimmungsmodul 6b. Das Überwachungsbild 3 ist dem Diskriminierungsmodul 6a bereitgestellt. Das Diskriminierungsmodul 6a ist ausgebildet, eine Objekterkennung auf das Überwachungsbild 3 bzw. das Video, anzuwenden. Das Diskriminierungsmodul 6a detektiert, diskriminiert und/oder klassifiziert basierend auf dem Überwachungsbild 3 die Objekte 5a-e, beispielsweise basierend auf einem neuronalen Netz und/oder anderweitigen Algorithmen und/oder Verfahren der Objekterkennung. Ferner ist das Diskriminierungsmodul 6a ausgebildet basierend auf dem Überwachungsbild 3 die Objekte 5a-e zu klassifizieren, zu identifizieren und/oder zu verfolgen.The monitoring device 1, in particular the camera 2, includes a first computing unit 6. The first computing unit 6 includes a discrimination module 6a and an image model determination module 6b. The surveillance image 3 is provided to the discrimination module 6a. The discrimination module 6a is designed to apply object recognition to the surveillance image 3 or the video. The discrimination module 6a detects, discriminates and/or classifies the objects 5a-e based on the surveillance image 3, for example based on a neural network and/or other algorithms and/or methods of object recognition. Furthermore, the discrimination module 6a is designed to classify, identify and/or track the objects 5a-e based on the surveillance image 3.

Das Diskriminierungsmodul 6b ist ausgebildet, für die detektierten Objekte 5a-e, Überwachungsbilder 3, Objektinformationsdaten 7a-e zu bestimmen. Vorzugsweise sind die Objektinformationsdaten 7a-e alphanumerische Daten und/oder Metadaten des Überwachungsbildes 3 und/oder der gezeigten Objekte 5a-e im Überwachungsbild 3. Beispielsweise beschreiben und/oder bilden die Objektinformationsdaten 7a-e die Ergebnisse der Objekterkennung, beispielsweise Ausgaben einer Schicht des angewendeten neuronalen Netzes.The discrimination module 6b is designed to determine object information data 7a-e for the detected objects 5a-e, surveillance images 3. The object information data 7a-e are preferably alphanumeric data and/or metadata of the surveillance image 3 and/or the objects 5a-e shown in the surveillance image 3. For example, the object information data 7a-e describe and/or form the results of the object recognition, for example outputs of a layer of the applied neural network.

Die Objektinformationsdaten 7a-e umfassen eine Objektklasse, wobei die Objektklasse beschreibt, zu welcher Klasse das zugehörige Objekt 5 gehört, beispielsweise durch Zuordnung eines Klassennamens. Als Objektklassen sind im vorliegenden Beispiel den Objekt 5a die Klasse Person, den Objekt 5b die Klasse Hund, den Objekt 5c die Klasse Pflanze, dem Objekt 5d steht die Klasse PKW und dem Objekt 5e die Klasse Eimer angeordnet. Ferner umfassen die Objektinformationsdaten 7a-e eine Objekt-ID 8a-8e. Die Objekt-ID ist beispielsweise eine eindeutige Nummer für das Objekt 5a-e und/oder für den Datensatz der Objektinformationsdaten 7a-e. Ferner umfassen die Objektinformationsdaten 7a-e für das zugehörige Objekt 5a-e je eine Objektgeometrieinformation 9a-e. Die Objektgeometrieinformation 9a-e ist beispielsweise als eine Bounding Box bestimmt und/oder ausgebildet, wobei ferner eine Information zur Orientierung, Position und/oder Abständen zu anderen Objekten von den Objektgeometrieinformationen 9a-e umfasst sind. Beispielsweise umfassen und/oder beschreiben die Objektinformationsdaten 7a-e für das Objekt 5a die Größe, Form, Orientierung und Position der Bounding Box für das Objekt 5a, die Information, dass es sich um eine Person als Objektklassen handelt und die Objekt-ID 8a-e trägt und/oder umfasst.The object information data 7a-e include an object class, the object class describing which class the associated object 5 belongs to, for example by assigning a class name. In the present example, the object classes are the Person class, Object 5b is the Dog class, Object 5c is the Plant class, Object 5d is the Car class and Object 5e is the Bucket class. Furthermore, the object information data 7a-e includes an object ID 8a-8e. The object ID is, for example, a unique number for the object 5a-e and/or for the data record of the object information data 7a-e. Furthermore, the object information data 7a-e each includes object geometry information 9a-e for the associated object 5a-e. The object geometry information 9a-e is determined and/or designed, for example, as a bounding box, further comprising information about the orientation, position and/or distances to other objects from the object geometry information 9a-e are. For example, the object information data 7a-e for the object 5a include and/or describe the size, shape, orientation and position of the bounding box for the object 5a, the information that it is a person as object classes and the object ID 8a- e carries and/or includes.

Das Bildmodellbestimmungsmodul 6b ist zur Bestimmung eines Bildmodells 11 ausgebildet. Das Bildmodellbestimmungsmodul 6b ermittelt das Bildmodell 11 basierend auf dem Überwachungsbild 3 und den Objektinformationsdaten 7a-e. Das Bildmodell 11 bildet ein Modell und/oder eine Abstraktion der Überwachungsszene 4 des Überwachungsbildes 3, in welchem die Objekte 5a-e abstrahiert umfasst sind in Form der Objektinformationsdaten 7a-e. Statt der Bildinformationen, des Bildinhalts und/oder der einzelnen Pixel des Überwachungsbildes 3, insbesondere der Objekte 5a-e sind die Objekte 5a-e und/oder deren Objektbereiche als Metadaten im Bildmodell 11 umfasst und/oder dargestellt, wobei die Metadaten die Objektinformationsdaten umfassen. Insbesondere bildet und/oder beschreibt das Bildmodell 11 so ein Szenenmodell 12, in welchem die wesentlichen Inhalte des Überwachungsbildes 3 dargestellt und/oder wiedergegeben sind, insbesondere Abstände und/oder Größenverhältnisse von Objekten 5a-e, die wiedergegeben und erhalten sind, Objekte 5a-e abstrakt anhand der Objektklasse und/oder des Objekttyps beschrieben sind und die Objekte 5a-e mittels ihrer IT eindeutig identifizierbar.The image model determination module 6b is designed to determine an image model 11. The image model determination module 6b determines the image model 11 based on the surveillance image 3 and the object information data 7a-e. The image model 11 forms a model and/or an abstraction of the surveillance scene 4 of the surveillance image 3, in which the objects 5a-e are abstracted in the form of the object information data 7a-e. Instead of the image information, the image content and/or the individual pixels of the surveillance image 3, in particular the objects 5a-e, the objects 5a-e and/or their object areas are included and/or represented as metadata in the image model 11, the metadata comprising the object information data . In particular, the image model 11 forms and/or describes a scene model 12 in which the essential contents of the surveillance image 3 are represented and/or reproduced, in particular distances and/or size ratios of objects 5a-e, which are reproduced and preserved, objects 5a- e are described abstractly based on the object class and/or the object type and the objects 5a-e can be clearly identified using their IT.

Die Überwachungsvorrichtung 1, insbesondere die Kamera 2, umfasst eine zweite Computingeinheit 13.Die zweite Computingeinheit 13 umfasst ein Ereignisdetektionsmodul und ist ausgebildet, mindestens eine Auswerteapplikation auszuführen und/oder anzuwenden. Die Auswerteapplikation ist beispielsweise eine Applikation der bildbasierten Überwachung und/oder der Bildauswertung. Beispielsweise ist die Auswerteapplikation ausgebildet das Betreten eines festlegbaren Bereiches durch eine Person oder ein Objekt 5a-e basierend auf dem Überwachungsbild 3 und/oder dem Bildmodell 11 zu bestimmen. Hierzu wendet des Ereignisdetektionsmodul die Auswerteapplikation auf das Bildmodell 11 an und bestimmt die zu ermittelnden Größen, beispielsweise das Betreten eines Bereiches. Statt der Anwendung der Auswerteapplikation auf das Überwachungsbild 3 oder bei paralleler Anwendung und/oder Ausführung von Auswerteapplikationen durch das Applikationsmodul auf das Überwachungsbild 3, wendet das Applikationsmodul die Auswerteapplikation und/oder die Auswerteapplikationen auf das Bildmodell 11 an, so dass die grundlegenden Verfahrensschritte über die Objektdetektion, Klassifikation und/oder Verfolgung bereits durchgeführt sind.The monitoring device 1, in particular the camera 2, comprises a second computing unit 13. The second computing unit 13 comprises an event detection module and is designed to execute and/or use at least one evaluation application. The evaluation application is, for example, an application for image-based monitoring and/or image evaluation. For example, the evaluation application is designed to determine whether a person or an object 5a-e enters a definable area based on the surveillance image 3 and/or the image model 11. For this purpose, the event detection module applies the evaluation application to the image model 11 and determines the variables to be determined, for example entering an area. Instead of applying the evaluation application to the monitoring image 3 or with parallel application and/or execution of evaluation applications by the application module to the monitoring image 3, the application module applies the evaluation application and/or the evaluation applications to the image model 11, so that the basic procedural steps are carried out via the Object detection, classification and/or tracking have already been carried out.

Die erste und die zweite Computingeinheit 6, 13 sind über eine Feedbackverbindung 14 zur Übertragung von Daten, insbesondere zur Übertragung des Bildmodells 11 und von Feedbackdaten. Die Feedbackdaten werden von der zweiten Computingeinheit 13, insbesondere dem Ereignisdetektionsmodul, an die erste Computingeinheit 6, im Speziellen an das Diskriminierungsmodul 6a bereitgestellt und/oder gesendet.The first and second computing units 6, 13 are via a feedback connection 14 for transmitting data, in particular for transmitting the image model 11 and feedback data. The feedback data is provided and/or sent by the second computing unit 13, in particular the event detection module, to the first computing unit 6, in particular to the discrimination module 6a.

Insbesondere ist die zweite Computingeinheit 13, im Speziellen das Ereignisdetektionsmodul, ausgebildet eine Mehrzahl an Auswerteapplikationen zur Bestimmung von Ereignissen auszuführen und/oder anzuwenden, insbesondere zur Bestimmung unterschiedlicher Ereignisse. Beispielweise wendet das Ereignisdetektionsmodul eine erste Auswerteapplikation zur Bestimmung eines Überschreitens einer Grenze und/oder Linie als ein erstes Ereignis an und eine zweite Auswerteapplikation zur Verhaltensbestimmung einer Person als zweites Ereignis an. Die erste Auswerteapplikation benötigt als detektierte und/oder diskriminierte Objekte 5a-e Personen, Tiere und Fahrzeuge, wobei die zweite Auswerteapplikation als detektierte und/oder diskriminierte Objekte 5a-e Personen benötigt. Hierzu werden von der zweiten Computingeinheit 13 und/oder dem Ereignsdetektionsmodul Feedbackdaten für die zwei Auswerteapplikationen bereitstellt.In particular, the second computing unit 13, in particular the event detection module, is designed to execute and/or use a plurality of evaluation applications for determining events, in particular for determining different events. For example, the event detection module uses a first evaluation application to determine whether a boundary and/or line has been exceeded as a first event and uses a second evaluation application to determine the behavior of a person as a second event. The first evaluation application requires people, animals and vehicles as detected and/or discriminated objects 5a-e, whereby the second evaluation application requires 5a-e people as detected and/or discriminated objects. For this purpose, the second computing unit 13 and/or the event detection module provides feedback data for the two evaluation applications.

2 zeigt ein Ausführungsbeispiel der Überwachungsvorrichtung 1, insbesondere angelehnt und/oder basierend auf dem Ausführungsbeispiel aus 1 im Unterschied hierzu umfasst die die zweite Computingheinheit 13 ein Validierungsmodul 15. Das Diskriminierungsmodul 6 und das Bildmodellbestimmungsmodul 6b sind wie in 1 ausgebildet und zur Ermittlung des Bildmodells 11 ausgebildet. Das Ereignisbestimmungsmodul bestimmt durch Anwenden der Auswerteapplikation auf das Bildmodell 11 ein Ereignis. Das Ereignis ist beispielsweise das Feststellen des Eintretens und/oder Vorliegens einer Konstellation der Objekte 5a-e. Beispielsweise ist die Auswerteapplikation ausgebildet das Eintreten und/oder Betreten eines Bereiches durch ein Objekt 5a-e zu detektieren, wobei das Betreten und/oder Eintreten ein Ereignis bildet. Das Eintreten des Ereignisses ist dem Validierungsmodul 15 bereitgestellt und/oder mitgeteilt, wobei das Validierungsmodul 15 triggert oder getriggert wird bei Eintreten des Ereignis das Überwachungsbild 3 anzufordern und auszuwerten. Das Validierungsmodul 15 wendet dann die Auswerteapplikation, im Speziellen ein Spezialmodul umfasst von der Auswerteapplikation, auf das Überwachungsbild 3 an und bestimmt Validierungsdaten. Durch das Anwenden der Auswerteapplikation auf das Überwachungsbild 3 kann gezielt die rechenintensivere Auswertung der tatsächlichen Bilddaten erst dann ausgeführt und/oder angewendet werden, wenn vermutet werden kann, dass das Ereignis eingetreten ist. Die Validierungsdaten umfassen beispielsweise die Bestätigung und/oder das Verneinen des Vorliegens des Ereignisses und/oder ergänzende Informationen und/oder Daten zu dem Szenenereignis. 2 shows an exemplary embodiment of the monitoring device 1, in particular based on and/or based on the exemplary embodiment 1 In contrast to this, the second computing unit 13 includes a validation module 15. The discrimination module 6 and the image model determination module 6b are as in 1 trained and designed to determine the image model 11. The event determination module determines an event by applying the evaluation application to the image model 11. The event is, for example, the detection of the occurrence and/or existence of a constellation of objects 5a-e. For example, the evaluation application is designed to detect the entry and/or entry into an area by an object 5a-e, the entry and/or entry forming an event. The occurrence of the event is provided and/or communicated to the validation module 15, whereby the validation module 15 triggers or is triggered to request and evaluate the monitoring image 3 when the event occurs. The validation module 15 then applies the evaluation application, in particular a special module included in the evaluation application, to the monitoring image 3 and determines validation data. By applying the evaluation application to the surveillance image 3, the more computationally intensive evaluation of the actual image data can only be carried out and/or applied when suspected that the event has occurred. The validation data includes, for example, the confirmation and/or the denial of the existence of the event and/or additional information and/or data about the scene event.

3 zeigt eine Überwachungsanordnung 16 umfassend die Überwachungsvorrichtung 1 und ein Remotemodul 17. Die Überwachungsvorrichtung 1 ist insbesondere angelehnt an das Ausführungsbeispiel aus 1 und 2, wobei im Unterschied hierzu das Applikationsmodul bzw. das erweiterte Applikationsmodul 14 nicht Teil der Kamera 2 ist, sondern Teil des Remotemoduls 17, beispielsweise einer Cloud. 3 shows a monitoring arrangement 16 comprising the monitoring device 1 and a remote module 17. The monitoring device 1 is based in particular on the exemplary embodiment 1 and 2 , in contrast to this, the application module or the extended application module 14 is not part of the camera 2, but rather part of the remote module 17, for example a cloud.

Die Kamera 2 ist wieder zur Aufnahme des Überwachungsbildes 3 ausgebildet und umfasst das Diskriminierungsmodul 6a und das Bildmodellbestimmungsmodul 6b zur Bestimmung des Bildmodells 11. Die Kamera 2 umfasst ein Sendemodul 18 und das Remotemodul 17 umfasst ein Empfangsmodul 19. Das Sendemodul 18 und das Empfangsmodul 19 sind datentechnisch miteinander verbunden wobei die datentechnische Verbindung insbesondere eine verschlüsselte, typografische und/oder komprimierte Datenübertragung erlaubt und/oder durchführt.The camera 2 is again designed to record the surveillance image 3 and includes the discrimination module 6a and the image model determination module 6b for determining the image model 11. The camera 2 includes a transmitting module 18 and the remote module 17 includes a receiving module 19. The transmitting module 18 and the receiving module 19 are connected to one another in terms of data technology, the data connection in particular allowing and/or carrying out an encrypted, typographical and/or compressed data transmission.

Das Sendemodul 18 ist ausgebildet, das Bildmodell 11 dem Remotemodul 17, insbesondere dem Empfangsmodul 19 bereitzustellen, insbesondere verschlüsselt und komprimiert bereitzustellen. Das Empfangsmodul 19 stellt das Bildmodul 11 der zweiten Computingeinheit 13 bereit, Die zweite Computingeinheit 113 ist wiederum ausgebildet basierend auf dem Bildmodell 11 weitere Auswertungen und/oder Analysen durchzuführen Bei Bestimmung eines Ereignisses durch das Ereignisdetektionsmodul wird von der Kamera 2, insbesondere dem Sendemodul 18 das Überwachungsbild 3 angefordert, wobei das Empfangsmodul 19 das Überwachungsbild 3 dem Validierungsmodul 15 bereitstellt und das Validierungsmodul 15 ausgebildet ist, die Auswerteapplikation auf die Überwachungsbilder 3 anzuwenden und die Validierungsdaten zu bestimmen.The transmitting module 18 is designed to provide the image model 11 to the remote module 17, in particular to the receiving module 19, in particular to provide it in encrypted and compressed form. The receiving module 19 provides the image module 11 to the second computing unit 13. The second computing unit 113 is in turn designed to carry out further evaluations and/or analyzes based on the image model 11. When an event is determined by the event detection module, the camera 2, in particular the transmitting module 18, does so Monitoring image 3 requested, the receiving module 19 providing the monitoring image 3 to the validation module 15 and the validation module 15 being designed to apply the evaluation application to the monitoring images 3 and to determine the validation data.

Claims (15)

Überwachungsvorrichtung (1) mit einer Kamera (2) zur Aufnahme von mindestens einem Überwachungsbild (3), einer Überwachungsszene (4), wobei die Kamera (2) eine erste Computingeinheit (6) und eine zweite Computingeinheit (13) aufweist, wobei die erste und die zweite Computingeinheit (6,13) über eine Feedbackverbindung (14) datentechnisch verbunden sind, wobei die erste Computingeinheit (6) ein Diskriminierungsmodul (6) und ein Bildmodellbestimmungsmodul (6b) aufweist, wobei das Diskriminierungsmodul (6a) ausgebildet ist, Objekte (5a-e) in dem Überwachungsbild (3) zu detektieren, diskriminieren und/oder zu klassifizieren und für die Objekte (5a-e) Objektinformationsdaten (7a-e) zu bestimmen, wobei die Objektinformationsdaten (7a-e) eine Objektklasse, einen Objekttyp, eine Objekt-ID (8a-e) und/oder eine Objektgeometrieinformation (9a-e) umfassen, wobei das Bildmodellbestimmungsmodul (6b) ausgebildet ist, basierend auf dem Überwachungsbild (3) ein Bildmodell (11) zu bestimmen, wobei das Bildmodell (11) ein Szenenmodell (12) der Überwachungsszene (4) und die Objektinformationsdaten (7a-e) umfasst, wobei die zweite Computingeinheit (13) ein Ereignisdetektionsmodul aufweist und der zweiten Computingeinheit (13) das Bildmodell (11) bereitgestellt ist, wobei das Ereignisdetektionsmodul ausgebildet ist, das Bildmodell (11) auszuwerten und basierend auf der Auswertung des Bildmodells (11) Ereignisse in der Überwachungsszene (4) zu detektieren, wobei die zweite Computingeinheit (13) und/oder das Ereignisdetektionsmodul ausgebildet ist, der ersten Computingeinheit (6) über die Feedbackverbindung (14) Feedbackdaten bereitzustellen.Monitoring device (1) with a camera (2) for recording at least one surveillance image (3), a surveillance scene (4), wherein the camera (2) has a first computing unit (6) and a second computing unit (13), the first and second computing units (6, 13) being connected for data purposes via a feedback connection (14), wherein the first computing unit (6) has a discrimination module (6) and an image model determination module (6b), wherein the discrimination module (6a) is designed to detect, discriminate and/or classify objects (5a-e) in the surveillance image (3) and to determine object information data (7a-e) for the objects (5a-e), whereby the Object information data (7a-e) include an object class, an object type, an object ID (8a-e) and / or object geometry information (9a-e), wherein the image model determination module (6b) is designed to determine an image model (11) based on the surveillance image (3), the image model (11) comprising a scene model (12) of the surveillance scene (4) and the object information data (7a-e), wherein the second computing unit (13) has an event detection module and the second computing unit (13) is provided with the image model (11), wherein the event detection module is designed to evaluate the image model (11) and, based on the evaluation of the image model (11), events in the To detect surveillance scene (4), wherein the second computing unit (13) and/or the event detection module is designed to provide feedback data to the first computing unit (6) via the feedback connection (14). Überwachungsvorrichtung (1) nach Anspruch 1, dadurch gekennzeichnet, dass das Diskriminierungsmodul (6a) ausgebildet ist, die detektierten Objekte (5a-e) zu verfolgen und Trackingdaten bereitzustellen, wobei die Objektinformationsdaten (7a-e) die Trackingdaten umfassen.Monitoring device (1). Claim 1 , characterized in that the discrimination module (6a) is designed to track the detected objects (5a-e) and to provide tracking data, the object information data (7a-e) comprising the tracking data. Überwachungsvorrichtung (1) nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass das Bildmodell (11) und/oder das Szenenmodell (12) eine symbolische Repräsentation der Überwachungsszene (4) bildet und/oder umfasst.Monitoring device (1). Claim 1 or 2 , characterized in that the image model (11) and/or the scene model (12) forms and/or comprises a symbolic representation of the surveillance scene (4). Überwachungsvorrichtung (1) nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass das Bildmodell (11) und/oder die Objektinformationsdaten (7a-e) die detektierten Objekte (5a-e) als symbolische Repräsentanten umfassen.Monitoring device (1) according to one of the preceding claims, characterized in that the image model (11) and/or the object information data (7a-e) include the detected objects (5a-e) as symbolic representatives. Überwachungsvorrichtung (1) nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass die zweite Computingeinheit (13) und/oder das Ereignisdetektionsmodul ausgebildet ist, die erste Computingeinheit (6) und/oder das Diskriminierungsmodul (6a) basierend auf den Feedbackdaten anzupassen und/oder zu konfigurieren, insbesondere zur Diskriminierung, Detektion und/oder Klassifizierung einer Auswahl an Objekten (5a-e) anzupassen.Monitoring device (1) according to one of the preceding claims, characterized in that the second computing unit (13) and/or the event detection module is designed to adapt the first computing unit (6) and/or the discrimination module (6a) based on the feedback data and/or to configure, in particular for the discrimination, detection and / or classification of a selection of objects (5a-e). Überwachungsvorrichtung (1) nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass das Ereignisdetektionsmodul ausgebildet ist, zur Auswertung des Bildmodells (11) und/oder zur Bestimmung der Ereignisse eine Auswerteapplikation auszuführen, wobei die zweite Computingeinheit (13) und/oder das Ereignisdetektionsmodul ausgebildet ist, die Feedbackdaten bei einer Registrierung, ersten Ausführung und/oder Initialisierung der Auswerteapplikation bereitzustellen und/oder als Reaktion auf die Bereitstellung des Bildmodells (11) durch die erste Computingeinheit (6) die Bereitstellung der Feedbackdaten zu veranlassen.Monitoring device (1) according to one of the preceding claims, characterized in in that the event detection module is designed to execute an evaluation application for evaluating the image model (11) and/or for determining the events, wherein the second computing unit (13) and/or the event detection module is designed to receive the feedback data during registration, first execution and/or To provide initialization of the evaluation application and/or to cause the feedback data to be provided in response to the provision of the image model (11) by the first computing unit (6). Überwachungsvorrichtung (1) nach Anspruch 6, gekennzeichnet durch ein Validierungsmodul (15), wobei das Ereignisdetektionsmodul ausgebildet ist, basierend auf der Anwendung der Auswerteapplikation auf das Bildmodell (11) das Ereignis zu detektieren, wobei das Validierungsmodul (15) ausgebildet ist, bei und/oder basierend auf der Detektion des Ereignisses die Auswerteapplikation auf das Überwachungsbild (3) anzuwenden und Validierungsdaten zu bestimmen.Monitoring device (1). Claim 6 , characterized by a validation module (15), wherein the event detection module is designed to detect the event based on the application of the evaluation application to the image model (11), wherein the validation module (15) is designed at and / or based on the detection of Event to apply the evaluation application to the monitoring image (3) and to determine validation data. Überwachungsvorrichtung (1) nach Anspruch 6 oder 7, dadurch gekennzeichnet, dass die Auswerteapplikation ein Basismodul zur Anwendung auf das Bildmodell (11) und ein Spezialmodul zur Anwendung auf das Überwachungsbild (3) umfasst.Monitoring device (1). Claim 6 or 7 , characterized in that the evaluation application comprises a basic module for application to the image model (11) and a special module for application to the surveillance image (3). Überwachungsvorrichtung (1) nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass die Feedbackverbindung (14) als eine bidirektionale Verbindung zur Übertragung des Bildmodelles (11) und der Feedbackdaten ausgebildet ist.Monitoring device (1) according to one of the preceding claims, characterized in that the feedback connection (14) is designed as a bidirectional connection for transmitting the image model (11) and the feedback data. Überwachungsanordnung (16) mit der Überwachungsvorrichtung (1) nach einem der vorherigen Ansprüche und einem Remotemodul (17), wobei die Überwachungsvorrichtung (1) ein Sendemodul (18) zur Bereitstellung des Bildmodells (11) an das Remotemodul (17) umfasst, wobei das Remotemodul (17) ein Remoteapplikationsmodul umfasst, wobei das Remoteapplikationsmodul ausgebildet ist, eine Auswerteapplikation auf das Bildmodell (11) anzuwenden.Monitoring arrangement (16) with the monitoring device (1) according to one of the preceding claims and a remote module (17), wherein the monitoring device (1) comprises a transmission module (18) for providing the image model (11) to the remote module (17), wherein the Remote module (17) comprises a remote application module, wherein the remote application module is designed to apply an evaluation application to the image model (11). Überwachungsanordnung (16) nach Anspruch 10, dadurch gekennzeichnet, dass das Sendemodul (18) ausgebildet ist, das Bildmodell (11) verschlüsselt und/oder komprimiert an das Remotemodul (17) zu senden.Monitoring arrangement (16). Claim 10 , characterized in that the transmission module (18) is designed to send the image model (11) in encrypted and/or compressed form to the remote module (17). Überwachungsanordnung (16) nach einem der Ansprüche 10 oder 11, dadurch gekennzeichnet, dass das Remoteapplikationsmodul ein Remotevalidierungsmodul umfasst, wobei das Remotevalidierungsmodul ausgebildet ist, bei Detektion eines Ereignisses eine Auswertung des Überwachungsbildes (3) und/oder die Anwendung der Auswerteapplikation auf das Überwachungsbild (3) zu veranlassen.Monitoring arrangement (16) according to one of the Claims 10 or 11 , characterized in that the remote application module comprises a remote validation module, wherein the remote validation module is designed to initiate an evaluation of the monitoring image (3) and/or the application of the evaluation application to the monitoring image (3) when an event is detected. Verfahren, wobei mindestens ein Überwachungsbild (3) zeigend und/oder umfassend eine Überwachungsszene (4) aufgenommen wird, wobei von einer ersten Computingeinheit (6) basierend auf dem Überwachungsbild (3) und/oder in dem Überwachungsbild (3) Objekte (5a-e) detektiert werden und für die detektierten Objekte (5a-e) Objektinformationsdaten (7a-e) bestimmt und/oder ermittelt werden, wobei von der ersten Computingeinheit (6) basierend auf dem Überwachungsbild (3) und/oder für das Überwachungsbild (3) ein Bildmodell (11) ermittelt und/oder bestimmt wird, wobei das Bildmodell (11) ein Szenenmodell (12) der Überwachungsszene (4) umfasst und/oder bildet und die Objektinformationsdaten (7a-e) umfasst, wobei das Bildmodell (11) einer zweiten Computingeinheit (13) bereitgestellt wird und die zweite Computingeinheit (13) das Bildmodell (11) auswertet und basierend auf der Auswertung des Bildmodells (11) Ereignisse in der Überwachungsszene (4) detektiert, wobei die zweite Computingeinheit (13) der ersten Computingeinheit (6) über die Feedbackverbindung (14) Feedbackdaten bereitstellt.Method, wherein at least one surveillance image (3) showing and/or comprising a surveillance scene (4) is recorded, wherein objects (5a-) are recorded by a first computing unit (6) based on the surveillance image (3) and/or in the surveillance image (3). e) are detected and object information data (7a-e) are determined and/or determined for the detected objects (5a-e), wherein from the first computing unit (6) based on the surveillance image (3) and/or for the surveillance image (3 ) an image model (11) is determined and/or determined, wherein the image model (11) comprises and/or forms a scene model (12) of the surveillance scene (4) and includes the object information data (7a-e), wherein the image model (11) a second computing unit (13) is provided and the second computing unit (13) evaluates the image model (11) and detects events in the surveillance scene (4) based on the evaluation of the image model (11), wherein the second computing unit (13) of the first computing unit (6) provides feedback data via the feedback connection (14). Computerprogramm umfassend einen Programmcode, wobei das Computerprogramm ausgebildet und/oder eingerichtet ist, bei seiner Ausführung auf einem Computer, der Überwachungsvorrichtung (1) und/oder der Überwachungsanordnung (16) das Verfahren und/oder die Verfahrensschritte nach Anspruch 12 auszuführen, anzuwenden und/oder zu implementieren.Computer program comprising a program code, wherein the computer program is designed and/or set up, when executed on a computer, the monitoring device (1) and/or the monitoring arrangement (16), according to the method and/or the method steps Claim 12 to carry out, apply and/or implement. Maschinenlesbares Speichermedium, wobei auf dem Speichermedium das Computerprogramm nach Anspruch 13 gespeichert ist.Machine-readable storage medium, with the computer program on the storage medium Claim 13 is stored.
DE102022202942.9A 2022-03-25 2022-03-25 Monitoring device, monitoring arrangements, method, computer program and storage medium Pending DE102022202942A1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
DE102022202942.9A DE102022202942A1 (en) 2022-03-25 2022-03-25 Monitoring device, monitoring arrangements, method, computer program and storage medium
PCT/EP2023/057263 WO2023180354A1 (en) 2022-03-25 2023-03-22 Monitoring device, monitoring assembly, method, computer program, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102022202942.9A DE102022202942A1 (en) 2022-03-25 2022-03-25 Monitoring device, monitoring arrangements, method, computer program and storage medium

Publications (1)

Publication Number Publication Date
DE102022202942A1 true DE102022202942A1 (en) 2023-09-28

Family

ID=85778793

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102022202942.9A Pending DE102022202942A1 (en) 2022-03-25 2022-03-25 Monitoring device, monitoring arrangements, method, computer program and storage medium

Country Status (2)

Country Link
DE (1) DE102022202942A1 (en)
WO (1) WO2023180354A1 (en)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040151342A1 (en) 2003-01-30 2004-08-05 Venetianer Peter L. Video scene background maintenance using change detection and classification
DE102007024868A1 (en) 2006-07-21 2008-01-24 Robert Bosch Gmbh Image processing apparatus, monitoring system, method for generating a scene reference image and computer program
US20120163670A1 (en) 2007-02-08 2012-06-28 Behavioral Recognition Systems, Inc. Behavioral recognition system

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102012201591A1 (en) * 2012-02-03 2013-08-08 Robert Bosch Gmbh Evaluation device for a monitoring system and monitoring system with the evaluation device
US20170039387A1 (en) * 2015-08-03 2017-02-09 Agt International Gmbh Method and system for differentiated privacy protection
KR101881391B1 (en) * 2018-03-09 2018-07-25 한화에어로스페이스 주식회사 Apparatus for performing privacy masking by reflecting characteristic information of objects
JP6887132B2 (en) * 2018-04-12 2021-06-16 パナソニックIpマネジメント株式会社 Video processing equipment, video processing system and video processing method
US11082731B1 (en) * 2020-01-22 2021-08-03 Microsoft Technology Licensing, Llc Privacy-preserving video analytics
EP3923587B1 (en) * 2020-06-09 2022-03-30 Axis AB Method and device for partially unmasking an object in a video stream

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040151342A1 (en) 2003-01-30 2004-08-05 Venetianer Peter L. Video scene background maintenance using change detection and classification
DE102007024868A1 (en) 2006-07-21 2008-01-24 Robert Bosch Gmbh Image processing apparatus, monitoring system, method for generating a scene reference image and computer program
US20120163670A1 (en) 2007-02-08 2012-06-28 Behavioral Recognition Systems, Inc. Behavioral recognition system

Also Published As

Publication number Publication date
WO2023180354A1 (en) 2023-09-28

Similar Documents

Publication Publication Date Title
DE102013205810B4 (en) SYSTEM AND METHOD FOR ASSESSING AVAILABLE PARKING SPACES FOR MULTI-SPACE STREET PARKING
DE112018006337T5 (en) Method and system for classifying an object of interest using an artificial neural network
DE102014105351B4 (en) DETECTING PEOPLE FROM SEVERAL VIEWS USING A PARTIAL SEARCH
DE60224853T2 (en) Method and device for processing vehicle images
DE602005005583T2 (en) Video surveillance systems in general, and more particularly to an apparatus and method for automatically detecting real time abnormal motion in video streams
DE112017001311T5 (en) System and method for training an object classifier by machine learning
DE102014216794A1 (en) Robust and compute-efficient video-based object tracking in controlled motion environments
DE102014210820A1 (en) Method for detecting large and passenger vehicles from fixed cameras
WO2009003793A2 (en) Device for identifying and/or classifying movement patterns in an image sequence of a surveillance scene, method and computer program
WO2019114145A1 (en) Head count detection method and device in surveillance video
Yimyam et al. Video Surveillance System Using IP Camera for Target Person Detection
Ghidoni et al. Texture-based crowd detection and localisation
EP2483834B1 (en) Method and apparatus for the recognition of a false object detection in an image
DE102014100364A1 (en) Method for determining eye-off-the-road condition for determining whether view of driver deviates from road, involves determining whether eye-offside-the-road condition exists by using road classifier based on location of driver face
DE102022202942A1 (en) Monitoring device, monitoring arrangements, method, computer program and storage medium
CN117197746A (en) Safety monitoring system and method based on deep learning
CN116416281A (en) Grain depot AI video supervision and analysis method and system
Zhang et al. Real-time license plate detection under various conditions
DE102020202974A1 (en) Detection of adversarial attacks by an image signal preprocessor
DE102015200437A1 (en) Method and device for determining the confidence of an object recognition
Fuad et al. A Novel Traffic System for Detecting Lane-Based Rule Violation
DE102022200832A1 (en) Monitoring method with at least one monitoring unit, computer program and monitoring unit
WO2023180361A1 (en) Monitoring assembly, monitoring method, computer program, and data carrier
DE102021212731A1 (en) REVIEWING TESTING AND/OR TRAINING RECORDS FOR A COMPUTER-BASED MACHINE LEARNING MODULE
WO2023144182A1 (en) Monitoring assembly, method for registering monitoring cameras and analysis modules, computer program, and storage medium

Legal Events

Date Code Title Description
R163 Identified publications notified