EP4497044A1 - Verfahren und vorrichtung zum überwachen einer industriellen anlage - Google Patents
Verfahren und vorrichtung zum überwachen einer industriellen anlageInfo
- Publication number
- EP4497044A1 EP4497044A1 EP23713886.2A EP23713886A EP4497044A1 EP 4497044 A1 EP4497044 A1 EP 4497044A1 EP 23713886 A EP23713886 A EP 23713886A EP 4497044 A1 EP4497044 A1 EP 4497044A1
- Authority
- EP
- European Patent Office
- Prior art keywords
- video stream
- properties
- video
- data
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B23/00—Testing or monitoring of control systems or parts thereof
- G05B23/02—Electric testing or monitoring
- G05B23/0205—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
- G05B23/0208—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterized by the configuration of the monitoring system
- G05B23/0216—Human interface functionality, e.g. monitoring system providing help to the user in the selection of tests or in its configuration
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Program-control systems
- G05B19/02—Program-control systems electric
- G05B19/04—Program control other than numerical control, i.e. in sequence controllers or logic controllers
- G05B19/042—Program control other than numerical control, i.e. in sequence controllers or logic controllers using digital processors
- G05B19/0428—Safety, monitoring
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/10—Geometric CAD
- G06F30/13—Architectural design, e.g. computer-aided architectural design [CAAD] related to design of buildings, bridges, landscapes, production plants or roads
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/48—Matching video sequences
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/20—Pc systems
- G05B2219/24—Pc safety
- G05B2219/24015—Monitoring
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/20—Pc systems
- G05B2219/24—Pc safety
- G05B2219/24216—Supervision of system
Definitions
- the present invention relates to a method and a device for observing or monitoring an industrial plant. Furthermore, a computer program product is proposed which functionalizes program-controllable devices in such a way that they carry out a method for monitoring an industrial system.
- Industrial plants such as factories, especially in the chemical industry, distribution systems of raw materials or processed products, but also logistic industrial systems, are usually visually monitored or recorded with the help of video cameras.
- video cameras In order to reliably monitor the complex interacting system objects of an industrial plant, many surveillance cameras are usually used, which monitor a respective spatial area and provide video streaming data.
- an object of the present invention is to create an improved method for monitoring industrial systems, in particular with many video camera devices and investment objects.
- the recording property comprising a position, an orientation and/or a zoom factor of the video camera device which captures the video stream;
- the video stream is received in particular at a monitoring location that is remote from the position of the video camera device.
- the video camera device is therefore attached to an unknown position when receiving the video stream.
- the recording properties are not directly observable, but are advantageously derived from the two-dimensional image components and the three-dimensional model of the system.
- the method steps, in particular the assignment and determination, are preferably carried out automatically.
- the automated implementation can be carried out computer-implemented in the background without a user explicitly retrieving the recording properties and object properties.
- An industrial system is understood to mean in particular a system of technical devices that interact with one another and are used, for example, to produce, process or forward substances.
- the technical equipment can be understood as investment objects or parts of the system.
- Possible industrial systems include, for example, an infrastructure system for water and/or wastewater, recooling plants, electrical distribution systems, tank farms and supply facilities.
- the monitored industrial facility is a chemical industry facility.
- respective context information relating to the camera and/or the system object captured in the video stream is determined from the image data received from a video camera device, such as a digital surveillance camera, or a video stream which contains a temporal sequence of two-dimensional image data. Because the video stream and/or a two-dimensional image is output together with the specific object or recording properties, the status of the monitored industrial system can be better classified.
- a recording property is understood to be, in particular, a property that can be assigned to the video stream or an individual two-dimensional image data and which depends on the creation of the respective image. This can be, for example, an image angle, a section, a recording position and orientation of the video camera device. Exposure settings are also conceivable as recording properties. One can also speak of camera properties.
- ambient conditions such as light, dark, weather conditions and the like are taken into account when determining the recording properties.
- the image component can be, for example, an image section of the overall image or an image data set created using filtering.
- a three-dimensional system model in the manner of a CAD model can be used, in which the system objects, i.e. the components of the industrial system, are provided with known object properties.
- the object properties include, in particular, a location, a size or a dimension, the orientation or orientation and a List of sub-components or material properties and surface properties of the respective investment object in question.
- Another conceivable object property is a list of assignable static or dynamic data, such as, but not limited to, material and construction details, flow media and parameters such as substance, flow, temperature, pressure or manipulated and controlled variables of valves.
- the position, orientation or zoom factor of the respective video camera device can be determined by an, in particular computer-implemented, evaluation of two-dimensional image components.
- recording conditions or the video camera device which is aimed at the image component or a specific system object, can be characterized in more detail as recording properties from the obtained two-dimensional image data sequences in the type of video stream using a suitable three-dimensional model of the industrial system.
- the recording properties are obtained with regard to the orientation, i.e. in which direction the surveillance camera is pointing, and the captureable image angle or the currently set zoom factor of the surveillance camera.
- Orientation can be specified in a local or global coordinate system.
- the one or more video camera devices have a video capture area.
- the video capture area includes a spatial environment of the respective video camera device and is determined, for example, by the camera properties, such as its capture angle, panning capabilities, zoom capabilities, resolution, light sensitivity and the like.
- the video stream obtained by the video camera device shows a fixed image section, which in this respect forms the video capture area of the environment.
- the industrial plant is arranged on a spatial area or a plant site.
- the respective video capture area is smaller than the plant site.
- the video capture areas are on the facility premises, but may be independent of each other or spatially separated by unmonitored areas.
- the video camera device is arranged on the plant site, and the three-dimensional model of the plant includes the, in particular entire, plant site.
- the step of determining a recording property then preferably includes: Determining the position of the video camera device within the facility premises and more preferably within the video capture area.
- the position of the video camera device is output in the global and/or the local coordinate system
- the global coordinate system can be related to the facility site and the local coordinate system to the respective video capture area.
- the three-dimensional model of the facility covers the facility site in the global coordinate system, and the position of the video camera device is determined in the global coordinate system, preferably also in the local coordinate system.
- the video capture area preferably covers the local coordinate system.
- the surveillance camera itself is recorded as part of the system, i.e. as a system object in the 3D model. It is possible that the location or position of the respective camera is known and used to determine the orientation and zoom factor.
- the video stream is advantageously output together with the object or recording properties, so that comprehensive image information can be provided, for example in a mobile terminal with a display device or a control room for monitoring industrial systems.
- the video stream is displayed together with the object properties and the recording properties using a display device.
- Monitoring a system also includes, in particular, observing, evaluating and optimizing through improved information provision. In that respect it will Collecting or deriving information about the “monitored” facility using video stream data is considered monitoring.
- the step is carried out: creating a database which assigns further functional properties and/or context data to the investment objects.
- the functional properties include, for example, process data, temperatures or flow materials.
- the context data can in particular include time data, weather data and/or visibility conditions. The aforementioned assignable static or dynamic data can be used as context data.
- the database can in particular be linked to the three-dimensional model of the system, so that the respective recorded system object can be identified with the aid of the three-dimensional model data and the functional properties from an image component.
- the database can in particular be linked to the three-dimensional model of the system, so that the respective recorded system object can be identified with the aid of the three-dimensional model data and the functional properties from an image component.
- the identification of investment objects in image components as well as the object properties stored in the 3D model such as size, positioning or orientation, the camera position, its orientation and/or the zoom factor can be determined.
- the functional properties and/or the context data are updated, in particular in real time.
- dynamic recording properties can be determined, for example, with the help of a temporal sequence of two-dimensional image components of the video stream. It is conceivable to record a camera movement or zoom speed, which is output as a recording property.
- an orientation and a zoom factor of the respective video camera device supplying the video stream data are changed in particular automatically depending on the dynamic or statically recorded recording properties.
- the video stream does not contain any information data about the recording properties.
- the recording property is preferably determined exclusively by comparing the assigned two-dimensional image components with the data of the 3D model.
- the three-dimensional model data about the industrial facility may include a position of the video camera device or devices.
- a zoom factor of the video camera device is determined as a function of several time-successive two-dimensional image data of the video camera device.
- a zoom factor or the zoom speed can be determined.
- the method includes at least one of the following steps:
- the processing platform is preferably designed in the form of a cloud service.
- the processing platform can then be set up to carry out the steps of assigning two-dimensional image components and determining the respective recording properties in a computer-implemented manner in a secure processing environment.
- the processing platform can be implemented, for example, with the help of a Microsoft Azure environment or through web services from other providers, such as AWS.
- the respective data is preferably transmitted via secure and cryptographically secured communication protocols.
- the processing platform is designed in the form of an app that runs on a terminal device, such as a smartphone or tablet computer.
- the processing platform is then set up to carry out the steps of assigning two-dimensional image components and determining the respective recording properties in a computer-implemented manner in a secure processing environment of the terminal device.
- the method includes: receiving multiple video streams from different video camera devices.
- the steps of assigning two-dimensional image components, determining a respective recording property and outputting the video stream are preferably carried out for each video stream and the associated video camera device using the respective 3D Model for the respective industrial plant or part of the plant.
- the same 3D model may be used, in other embodiments different 3D models are used.
- the video camera devices in particular capture different areas of the industrial system, so that a capture direction of the respective two-dimensional image component of the respective video stream is determined depending on the orientation, positioning and zoom setting of a respective video camera.
- additional context can be added to each video stream in the type of recording property or object properties.
- a superimposed display of the video stream images and the additional properties is conceivable.
- the camera data and the object data are understood to be additional properties.
- one of several video streams is selectively forwarded to a processing platform, which is designed in the manner of a cloud service.
- a device for carrying out the method described above and below for monitoring an industrial system includes in particular: a video camera device for generating the video stream of the industrial system; a storage device for providing the three-dimensional model of the system, in which respective object properties are assigned to the system objects; a processing device for assigning two-dimensional image components of the video stream to investment objects using the 3D model and for determining the recording properties; and/or a display device for outputting the video stream together with the specific object properties and/or recording properties, in particular as an overlay and an assignment to the 3D model.
- the video camera device, the storage device, the processing device and the display device are preferably communicatively coupled to one another.
- the functions of the processing device can be provided by software services in a cloud environment.
- a respective method step or a functionalized device for example a processor unit or processing device, can be implemented in terms of hardware and/or software.
- the respective ge function as a device or as part of a device, for example as a computer or as a microprocessor.
- the respective unit can be designed as a computer program product, as an app, a function, as a routine, as part of a program code or as an executable object, in particular as a software service in a cloud environment.
- a computer program product which comprises computer-readable instructions which, when the program is executed by a computer, cause it to carry out the method described above.
- a computer program product includes, in particular, machine-readable instructions which, when processed by one or more processor devices in a processing environment, cause one or all of the method steps of the proposed method to be carried out.
- a computer program product such as a computer program means
- Fig. 1 shows a flowchart with method steps for a variant of a method for monitoring an industrial system
- 2 shows an expanded flowchart with method steps for a further variant of a method for monitoring an industrial system
- FIG. 3 shows schematically an embodiment of a device for monitoring an industrial plant
- Fig. 5 shows an embodiment of a display device.
- FIG. 1 and 2 show flow charts with method steps for an exemplary embodiment of a method for monitoring an industrial system. The method steps are carried out in particular in an embodiment of a device for monitoring an industrial system, as shown schematically in FIG. 3.
- FIG. 3 shows a monitoring system or a device 1 in which an industrial plant 2, which can be, for example, a complex pipeline system, a factory, refinery, production line or even a logistics facility.
- a system 2 that geographically occupies an extensive spatial area can be detected via one or more surveillance cameras 3, 4, which are designed as digital video cameras.
- video stream data is generated in real time.
- the video cameras 3, 4 used can be arranged at different positions in the area of the system 2 and, for example, can be pivoted or even fixed. It is also conceivable that various cameras could be equipped with an optical zoom. This results in video streams that show various image sections, which reproduce parts or objects of Appendix 2.
- the video stream data is shown in FIG. 3 as arrows pointing to the right and is transmitted to a local computing device 5, for example a control room.
- the video data supplied by the installed camera systems does not contain any information about the respective orientation, the zoom factor or, for example, focus settings of the cameras 3, 4.
- FIG. 4 for example, a single image of a video stream VS is schematically indicated on the left side.
- the industrial plant 2 is simplified with four investment objects A, B, C, D.
- the video stream VS also contains a representation of the environment of the industrial plant. It is now possible for one of the video cameras 3, 4 to focus on an image component PT, for example a pipe system C between two system parts B and D.
- the video stream data VS is received in a first method step (see FIG. 1) (step S1).
- a relationship is created between an existing three-dimensional (3D) model of the monitored industrial system 2 or its system objects or components with the image components of the video stream VS.
- a respective two-dimensional image component PT is assigned to a system object of the industrial system using a three-dimensional model, for example a CAD (Computer-Aided Design) model of the industrial system 2.
- a 3D model of the CAD system is schematically illustrated on the right side of FIG. 4.
- B', C, D' are provided with object properties.
- object properties can include size, position, orientation in space and other properties.
- the image component PT is, for example, pipes C, which run horizontally, for example, and have certain flow materials.
- object data can be retrieved from another database that relates to the function of the industrial system, for example specifying a permitted surface temperature of the pipes C.
- a camera property of that video camera 3, 4 is determined as a recording property of the image that delivered the image component PT in the video stream VS.
- the two-dimensional image data PT which represent the system object C, namely the piping, is compared with the object properties present in the three-dimensional CAD system model. From this, for example, the position and/or orientation or viewing direction of the camera providing the image section PT can be determined.
- a zoom factor of the respective camera can be derived from knowledge of the position and the image section PT.
- a recording property in particular in the type of orientation of the position and the zoom factor of the video camera device, can be recorded from the two-dimensional video stream data VS.
- this context data which includes the investment object data and the recording properties, is now output together with the video stream.
- the proposed method provides image data-based tracking of the surveillance cameras 3, 4 used.
- the camera movement and the zoom setting of the respective camera can be determined in real time.
- the computer-implemented evaluation and image processing of the video stream data can be carried out using known methods, such as those mentioned in connection with the Cyclicon software mentioned at the beginning.
- other algorithms are also conceivable that recognize an investment object present in a three-dimensional model based on two-dimensional image data.
- Algorithms are also known that recognize overlay points for the 3D model in a 2D image. Such algorithms can also be used here.
- Fig. 3 which shows a cloud-based monitoring system for an industrial plant 2
- the additional method steps or processes indicated in Fig. 2 are carried out.
- a prepared step S10 one or more video streams are generated using the video surveillance cameras 3, 4.
- the video stream data VS indicated schematically on the left in FIG. 4 are fed to a control room computer 6 via a local computing system.
- the local computing system 5 for example, receives the video stream data VS from the various surveillance cameras 3, 4 and prepares it for display on a display.
- the corresponding data processing steps take place locally, which is indicated in FIG. 4 by the curly bracket LKL.
- a display of or from can be made via a suitable terminal device for a user USR, for example via a tablet computer or a mobile display device 8 certain video stream data VS with additional information.
- a cloud platform 7, for example using Microsoft Azure is set up with a corresponding software service 10, 11.
- the cloud computing environment CLD is indicated by dashed lines.
- a 3D system model service 10 and an app service 11 for communicative coupling with the user terminal 8 are provided as software services.
- the database 3 also shows a database device 9, which is coupled to the cloud environment CLD via an interface 12.
- the database 9 contains corresponding 3D model data for the monitored industrial system 2. This can be CAD data.
- the database 9 can contain additional information or context data about the investment objects installed in the system 2. This could, for example, be the previously mentioned information about flow materials for certain pipelines.
- the corresponding 3D system model or the 3D model data are previously generated or provided in step S11. For example, such model data is generated during a design or planning of an industrial plant.
- step S12 the software service 10 instantiates the corresponding three-dimensional system model based on the 3D model data received from the database 9, for example CAD data.
- the dashed double arrow shows the communicative coupling of the terminal 8, namely a display device 8 of the user USR and the software service or app 11.
- the terminal is a display device 8 with a display 14 on which, for example, video stream data VS is displayed.
- the user terminal 8 implemented as a display device is provided with operating elements 13.
- the USR user can retrieve contextual information about the image data VS' shown on the display 14, for example via a touchscreen function or other haptic elements.
- FIG. 5A shows the individual image shown on the left of the video stream VS in FIG. 4.
- the respective investment object data is retrieved from the software service 10 via the software service 11 for the investment objects A, B, C, D recognized in the video stream VS. Furthermore, these object data are assigned, as described for method step S2.
- the pipes C in the image component which is shown in dashed lines, have an increased temperature that does not correspond to the target temperature.
- a zoomed-in representation of the area with added or superimposed additional information XYZ, which is designated by 15, takes place.
- the additional information 15 can, for example, represent a warning and indicate to the user a security event in the monitored system.
- the user is able to choose between different Switch back and forth between different cameras.
- the proposed monitoring method allows pure video stream data to be enriched with context data, such as object properties stored in a 3D model, as well as tracking of any camera panning or zooming.
- the proposed functionalities and the expanded representation of the video image data can be provided via a cloud environment and a cloud service via a suitable user interface of a display device.
- A, B, C, D Representation of a system object in the video stream A', B', C, D' Plant object with object properties according to 3D model
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Automation & Control Theory (AREA)
- Geometry (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Computer Hardware Design (AREA)
- Human Computer Interaction (AREA)
- Artificial Intelligence (AREA)
- Mathematical Analysis (AREA)
- Medical Informatics (AREA)
- Architecture (AREA)
- Civil Engineering (AREA)
- General Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Structural Engineering (AREA)
- Computational Mathematics (AREA)
- Software Systems (AREA)
- Mathematical Optimization (AREA)
- Pure & Applied Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Testing And Monitoring For Control Systems (AREA)
- Processing Or Creating Images (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
Bei einem Verfahren zum Überwachen einer industriellen Anlage (2) mit Anlageobjekten werden die Schritte durchgeführt: Empfangen (S1) eines Videostreams (VS) der Anlage (2), welcher mit Hilfe einer Videokameraeinrichtung (3) erzeugt ist, wobei der Videostream (VS) eine zeitliche Abfolge von zweidimensionalen Bilddaten enthält; Zuordnen (S2) von zweidimensionalen Bildbestandteilen (PT) des Videostreams (VS) auf Anlageobjekte (A', B', C', D') mit Hilfe eines dreidimensionalen (3D) Modells (CAD) der Anlage (2), bei dem den Anlageobjekten (A', B', C', D') jeweilige Objekteigenschaften (XYZ) zugewiesen sind; Bestimmen (S3) einer Aufnahmeeigenschaft der Bilddaten in Abhängigkeit von den einem oder mehreren Anlageobjekten (C') zugeordneten Bildbestandteilen (PT) und der jeweiligen Objekteigenschaft (XYZ), wobei die Aufnahmeeigenschaft eine Position, eine Ausrichtung und/oder einen Zoomfaktor der den Videostream liefernden Videokameraeinrichtung (3) umfasst; und Ausgeben (S4) des Videostreams (VS') zusammen mit den bestimmten Objekteigenschaften (XYZ) und/oder Aufnahmeeigenschaften.
Description
Verfahren und Vorrichtung zum Überwachen einer industriellen Anlage
Die vorliegende Erfindung betrifft ein Verfahren und eine Vorrichtung zum Beobachten oder Überwachen einer industriellen Anlage. Ferner wird ein Computerprogrammprodukt vorgeschlagen, welches programmsteuerbare Einrichtungen derart funktionalisiert, dass sie ein Verfahren zum Überwachen einer industriellen Anlage durchführen.
Industrielle Anlagen, wie Fabriken, insbesondere der chemischen Industrie, Verteilsysteme von Rohstoffen oder verarbeiteten Produkten, aber auch logistische industrielle Systeme, werden in der Regel mit Hilfe von Videokameras visuell überwacht bzw. aufgenommen. Um die komplex miteinander zusammenwirkenden Anlagenobjekte einer industriellen Anlage zuverlässig zu überwachen, werden meist viele Überwachungskameras eingesetzt, welche einen jeweiligen räumlichen Bereich überwachen und Videostreaming-Daten bereitstellen.
Es ist wünschenswert, solche Echtzeit-Videodaten zuverlässig auswerten zu können und bei Unregelmäßigkeiten des Anlagenverhaltens eingreifen zu können. In der Vergangenheit wurden Videokameraeinrichtungen über zu überwachende räumliche Bereiche verteilt angeordnet und beispielsweise verschwenkbar gelagert oder mit einer Zoom-Funktion versehen. Häufig ist den erzeugten Videostreams keine weitere Information als die Videodaten beigefügt, sodass der konkrete Ort der den Videostream liefernden Überwachungskamera oder deren Einstellungen unbekannt blieb. In der Vergangenheit wurde daher insbesondere händisch eine Überwachung der angezeigten Videos oder Filme vorgenommen.
Es ist wünschenswert, insbesondere die visuelle Überwachung von industriellen Anlagen mit Hilfe von Videostreams zu vereinfachen. Es ist insbesondere wünschenswert, über die Bilddaten oder Videosequenzen hinausgehende Informationen bereitzustellen. Bei bereits installierten Überwachungssystemen von industriellen Anlagen liegen in der Regel ausschließlich Bilddaten vor.
Die Zuordnung von zweidimensionalen Bilddatenbestandteilen von industriellen Anlagen auf bestehende dreidimensionale (3D) Anlagenmodelle ist in N. Navab et al.: "Cyclicon: a software platform for the creation and update of virtual factories", 1999 IEEE, page 459 - 463, 1999 7th IEEE International Conference on Emerging Technologies and Factory Automation. Proceedings ETFA '99, ISBN: 0-7803-5670-5 beschrieben. Cyclicon erlaubt dabei die überlagerte Darstellung von zweidimensionalen Projektionen des dreidimensional Anlagenmodels auf die zweidimensionalen Bilddaten. Allerdings erfordert dies die vorherige Zuordnung der bekannten Konfiguration der Überwachungskamera auf bestimmte 3D Modelldaten und umgekehrt. Außerdem
kann der Nutzer dazu aufgefordert sein, bestimmte vorgegebene Bildpunkte in den 2D Bilddaten zu markieren, damit die Überlagerung des Videostreams stattfinden kann.
Im Stand der Technik ist eine notwendige Voraussetzung zur Bildanalyse, dass die Herkunft und der kontextuelle Inhalt der zweidimensionalen Bilddaten vorgegeben werden. In der Praxis in dies in der Regel nicht der Fall, weil insbesondere eine Vielzahl von Videostreams unterschiedlicher Kameras vorliegt, deren Aufnahmeeinstellungen, Ausrichtungen und weiterer Eigenschaften undokumentiert sind. Außerdem sind die Kameras häufig nicht fixiert, sondern können rotiert werden. Eine händische Annotation der Videostreamdaten durch den Nutzer bei laufendem Videostream ist dadurch praktisch nicht möglich.
Vor diesem Hintergrund besteht eine Aufgabe der vorliegenden Erfindung, ein verbessertes Verfahren zum Überwachen von industriellen Anlagen, insbesondere mit vielen Videokameraeinrichtungen und Anlageobjekten, zu schaffen.
Demgemäß wird ein Verfahren zum Überwachen einer industriellen Anlage mit Anlageobjekten vorgeschlagen, welches die Schritte umfasst:
Empfangen eines Videostreams der Anlage, welcher mit Hilfe einer Videokameraeinrichtung erzeugt ist, wobei der Videostream eine zeitliche Abfolge von zweidimensionalen Bilddaten enthält;
Zuordnen von zweidimensionalen Bildbestandteilen des Videostreams auf Anlageobjekte mit Hilfe eines dreidimensionalen Modells der Anlage, bei dem den Anlageobjekten jeweilige Objekteigenschaften zugewiesen sind;
Bestimmen einer Aufnahmeeigenschaft der Bilddaten in Abhängigkeit von den einem oder mehreren Anlageobjekten zugeordneten Bildbestandteil/en und der jeweiligen Objekteigenschaft, wobei die Aufnahmeeigenschaft eine Position, eine Ausrichtung und/oder einen Zoomfaktor der Videokameraeinrichtung, welche den Videostream erfasst, umfasst; und
Ausgeben des Videostreams zusammen mit den bestimmten Objekteigenschaften und/oder Aufnahmeeigenschaften.
Das Empfangen des Videostreams erfolgt insbesondere an einem von der Position der Videokameraeinrichtung entfernten Überwachungsort. Die Videokameraeinrichtung ist insofern beim Empfangen des Videostreams an einer unbekannten Position angebracht. Am Überwachungsort sind die Aufnahmeeigenschaften nicht direkt observabel, sondern werden vorteilhaft aus den zweidimensionalen Bildbestandteilen und dem dreidimensionalen Modell der Anlage abgeleitet.
Die Verfahrensschritte, insbesondere des Zuordnens und Bestimmens, werden vorzugsweise automatisiert durchgeführt. Die automatisierte Durchführung kann computerimplementiert im Hintergrund erfolgen, ohne dass ein Nutzer explizit die Aufnahmeeigenschaften und Objekteigenschaften abruft.
Als industrielle Anlage wird insbesondere ein System von technischen Einrichtungen verstanden, die miteinander Zusammenwirken und beispielsweise zur Herstellung, Verarbeitung oder Weiterleitung von Stoffen dienen. Die technischen Einrichtungen können als Anlageobjekte oder Anlagenteile verstanden werden. Als industrielle Anlage kommt beispielsweise eine Infrastruktur-Anlage für Wasser und/oder Abwasser infrage, Rückkühlwerke, Elektroverteilungen, Tanklager und Versorgungseinrichtungen. In Ausführungsformen ist die überwachte industrielle Anlage eine Anlage der chemischen Industrie.
Bei dem Verfahren werden aus den von einer Videokameraeinrichtung, wie einer digitalen Überwachungskamera, erhaltenen Bilddaten bzw. einem Videostream, der eine zeitliche Abfolge von zweidimensionalen Bilddaten enthält, eine jeweilige Kontextinformation bezogen auf die Kamera und/oder das in dem Videostream erfasste Anlagenobjekt ermittelt. Dadurch, dass der Videostream und/oder ein zweidimensionales Bild zusammen mit den bestimmten Objekt- oder Aufnahmeeigenschaften ausgegeben wird, lässt sich ein Zustand der überwachten industriellen Anlage verbessert einordnen.
Als Aufnahmeeigenschaft wird insbesondere eine dem Videostream oder einem einzelnen zweidimensionalen Bilddatum zuordenbare Eigenschaft verstanden, die von der Erstellung des jeweiligen Bildes abhängt. Dies kann zum Beispiel ein Bildwinkel, ein Ausschnitt, eine Aufnahmeposition und -Ausrichtung der Videokameraeinrichtung, sein. Belichtungseinstellungen sind auch als Aufnahmeeigenschaft denkbar. Man kann auch von Kameraeigenschaften sprechen.
Es ist auch möglich, dass bei der Bestimmung der Aufnahmeeigenschaft Umfeldbedingungen, wie hell, dunkel, Wetterverhältnisse und dergleichen, berücksichtigen werden.
Als Bildbestandteil kann beispielsweise ein Bildausschnitt des Gesamtbildes oder ein mittels Filterung erstellter Bilddatensatz sein.
Es kann beispielsweise ein dreidimensionales Anlagenmodell in der Art eines CAD-Modells genutzt werden, bei dem die Anlagenobjekte, also die Bestandteile der industriellen Anlage, mit bekannten Objekteigenschaften versehen sind. Als Objekteigenschaften kommen insbesondere ein Standort, eine Größe oder eine Dimension, die Ausrichtung oder Orientierung sowie eine
Liste von Unterbestandteilen oder Materialeigenschaften und Oberflächeneigenschaften des jeweiligen Anlageobjektes in Frage. Denkbar ist als Objekteigenschaften ferner eine Liste von zuordenbaren statischen oder dynamischen Daten, wie beispielsweise, aber nicht ausschließlich, Material- und Konstruktionsdetails, Durchflussmedien und- Parameter, wie Substanz, Durchfluss, Temperatur, Druck oder Stell- und Regelgrößen von Armaturen.
Durch eine, insbesondere computerimplementierte, Auswertung von zweidimensionalen Bildbestandteilen kann auf die Position, Ausrichtung oder den Zoomfaktor der jeweiligen Videokameraeinrichtung geschlossen werden. Das heißt, mit Hilfe des vorgeschlagenen Verfahrens kann aus den erhaltenen zweidimensionalen Bilddatensequenzen in der Art des Videostreams unter Ausnutzung eines geeigneten dreidimensionalen Modells der industriellen Anlage Aufnahmebedingungen oder die Videokameraeinrichtung, welche auf den Bildbestandteil beziehungsweise ein bestimmtes Anlageobjekt gerichtet ist, als Aufnahmeeigenschaften näher charakterisiert werden. Man erhält ohne zusätzliche zu erhebende Daten die Aufnahmeeigenschaften bezüglich der Ausrichtung, also in welche Richtung die Überwachungskamera weist, und dem erfassbaren Bildwinkel bzw. dem aktuell eingestellten Zoomfaktor der Überwachungskamera. Die Ausrichtung kann in einem lokalen oder globalen Koordinatensystem angegeben werden.
In Ausführungsformen hat die eine oder mehrere Videokameraeinrichtung einen Videoerfassungsbereich. Der Videoerfassungsbereich umfasst eine räumliche Umgebung der jeweiligen Videokameraeinrichtung und ist beispielsweise durch die Kameraeigenschaften, wie deren Erfassungswinkel, Schwenkmöglichkeiten, Zoommöglichkeiten, Auflösung, Lichtempfindlichkeit und dergleichen festgelegt. Bei einer festinstallierten Videokameraeinrichtung mit fixem Fokus und Zoom zeigt der im von der Videokameraeinrichtung gewonnene Videostream einen festen Bildausschnitt, der insofern den Videoerfassungsbereich der Umgebung bildet.
Die industrielle Anlage ist in Ausführungsformen auf einem räumlichen Gelände bzw. einem Anlagengelände angeordnet. In der Regel ist der jeweilige Videoerfassungsbereich kleiner als das Anlagengelände. Beispielsweise deckt erst eine Vielzahl von sich teilweise überdeckenden Videoerfassungsbereich mehrerer Videokameraeinrichtungen das Anlagengelände ab. In Ausführungsformen sind die Videoerfassungsbereiche auf dem Anlagengelände, können aber voneinander unabhängig liegen oder durch nicht überwachte Bereiche räumlich getrennt sein.
In Ausführungsformen ist die Videokameraeinrichtung auf dem Anlagengelände angeordnet, und das dreidimensionale Modell der Anlage umfasst das, insbesondere gesamte, Anlagengelände. Der Schritt des Bestimmens einer Aufnahmeeigenschaft umfasst dann vorzugsweise:
Bestimmen der Position der Videokameraeinrichtung innerhalb des Anlagengeländes und weiter bevorzugt innerhalb des Videoerfassungsbereichs.
In Ausführungsformen wird die Position der Videokameraeinrichtung in dem globalen und/oder dem lokalen Koordinatensystem ausgegeben,
Das globale Koordinatensystem kann auf das Anlagengelände bezogen sein, und das lokale Koordinatensystem auf den jeweiligen Videoerfassungsbereich. In Ausführungsformen deckt das dreidimensionale Modell der Anlage das Anlagengelände in dem globalen Koordinatensystem ab, und die Position der Videokameraeinrichtung wird in dem globalen Koordinatensystem, vorzugsweise auch in dem lokalen Koordinatensystem, ermittelt. Der Videoerfassungsbereich deckt insofern bevorzugt das lokale Koordinatensystem ab.
Eine Beobachtung oder Überwachung der Anlage wird so verbessert. Falls ein Ereignis eintritt, wie zum Beispiel ein Störfall, kann schneller und einfacher die Unglücksstelle vom Personal bestimmt und erreicht werden. Das automatisierte Ergänzen von nicht aus dem Videostream alleine ableitbaren Aufnahme- und/der Objektdaten erleichtert das Auswerten des aktuellen Anlagenzustands oder der aktuellen Situation. Dies kann zum Beherrschen eines Störfalls aber auch allgemein zur Bewertung, Optimierung und erleichterten Bedienung im Anlagenbetrieb dienen.
In Ausführungsformen ist die Überwachungskamera selbst als ein Teil der Anlage, also als Anlagenobjekt in dem 3D Modell erfasst. Ist möglich, dass jedenfalls der Standort oder die Position der jeweiligen Kamera bekannt ist und zur Bestimmung von Ausrichtung und Zoomfaktor verwendet wird.
Vorteilhafterweise wird der Videostream zusammen mit den Objekt- oder Aufnahmeeigenschaften ausgegeben, so dass, beispielsweise in einem mobilen Endgerät mit einer Display- Vorrichtung oder einer Leitwarte zur Überwachung der industriellen Anlagen, eine umfassende Bildinformation angegeben werden kann.
Insofern wird in Ausführungsformen der Videostream zusammen mit den Objekteigenschaften und den Aufnahmeeigenschaften mit Hilfe einer Anzeigeeinrichtung dargestellt.
Unter dem Überwachen einer Anlage wird insbesondere auch ein Beobachten, Auswerten und Optimieren durch eine verbesserte Informationsbereitstellung verstanden. Insofern wird das
Erfassen oder Ableiten von Informationen über die "überwachte" Anlage mit Hilfe von Video- streamdaten als Überwachen betrachtet.
In Ausführungsformen des Verfahrens wird der Schritt durchgeführt: Erstellen einer Datenbank, welche den Anlageobjekten weitere Funktionseigenschaften und/oder Kontextdaten zuordnet. Die Funktionseigenschaften umfassen beispielsweise Prozessdaten, Temperaturen oder Durchflussmaterialien. Die Kontextdaten können in Ausführungsformen insbesondere Zeitdaten, Wetterdaten und/oder Sichtbedingungen umfassen. Als Kontextdaten kommen die zuvor genannten zuordenbaren statischen oder dynamischen Daten infrage.
Die Datenbank kann insbesondere mit dem dreidimensionalen Modell der Anlage verknüpft sein, so dass unter Zuhilfenahme der dreidimensionalen Modelldaten und der Funktionseigenschaften aus einem Bildbestandteil das jeweilige aufgenommene Anlageobjekt identifiziert werden kann. Insbesondere aufgrund der Identifizierung von Anlageobjekten in Bildbestandteilen sowie die im 3D-Modell abgelegten Objekteigenschaften, wie eine Größe, Positionierung oder Ausrichtung, lassen sich die Kameraposition, deren Ausrichtung und/oder der Zoomfaktor bestimmen.
Es kommen dabei insbesondere Bildverarbeitungsverfahren, wie sie einleitend genannt sind, in Frage. In Ausführungsformen des Verfahrens werden die Funktionseigenschaften und/oder die Kontextdaten in insbesondere Echtzeit aktualisiert.
Bei dem Verfahren kann beispielsweise mit Hilfe einer zeitlichen Abfolge von zweidimensionalen Bildbestandteilen des Videostreams eine dynamische Aufnahmeeigenschaften bestimmt werden. Denkbar ist die Erfassung einer Kamerabewegung oder Zoomgeschwindigkeit, welche als Aufnahmeeigenschaft ausgegeben wird.
In Ausführungsformen des Verfahrens wird insbesondere automatisiert eine Ausrichtung, ein Zoomfaktor der jeweiligen die Videostreamdaten liefernden Videokameraeinrichtung in Abhängigkeit von den dynamischen oder statisch erfassten Aufnahmeeigenschaften verändert.
In Ausführungsformen des Verfahrens enthält der Videostream keine Informationsdaten über die Aufnahmeeigenschaften. Insofern wird vorzugsweise die Aufnahmeeigenschaft ausschließlich durch einen Abgleich der zugeordneten zweidimensionalen Bildbestandteile mit den Daten des 3D-Modells ermittelt. In Ausführungsformen können die dreidimensionalen Modelldaten über die industrielle Anlage eine Position der Videokameraeinrichtung beziehungsweise - einrichtungen umfassen.
In Ausführungsformen wird ein Zoomfaktor der Videokameraeinrichtung in Abhängigkeit von mehreren zeitlich aufeinanderfolgenden zweidimensionalen Bilddaten der Videokameraeinrichtung ermittelt.
Durch Vergleich von mehreren zeitlich aufeinanderfolgenden Bilddaten und den im dreidimensionalen Modell vorliegenden Objekteigenschaften kann insofern ein Zoomfaktor oder auch die Zoomgeschwindigkeit ermittelt werden.
In Ausführungsformen umfasst das Verfahren mindestens einen der folgenden Schritte:
Übertragen des Videostreams an eine Verarbeitungsplattform;
Übertragen des 3D Modells an die Verarbeitungsplattform; und
Übertragen der bestimmten Aufnahmeeigenschaft von der Verarbeitungsplattform an eine Anzeigeeinrichtung.
Vorzugsweise ist die Verarbeitungsplattform in der Art eines Cloudservices ausgestaltet. Die Verarbeitungsplattform kann dann eingerichtet sein, die Schritte des Zuordnens von zweidimensionalen Bildbestandteilen und des Bestimmens der jeweiligen Aufnahmeeigenschaft in einer gesicherten Verarbeitungsumgebung computerimplementiert durchzuführen.
Die Verarbeitungsplattform kann beispielsweise mit Hilfe einer Microsoft Azure-Umgebung oder auch durch Webservices anderer Anbieter, wie beispielsweise AWS, implementiert werden. Das Übertragen der jeweiligen Daten erfolgt vorzugsweise über gesicherte und kryptographisch abgesicherte Kommunikationsprotokolle.
In Ausführungsformen ist die Verarbeitungsplattform in der Art einer App, welche auf einem Endgerät, wie beispielsweise einem Smartphone oder Tabletcomputer, abläuft, ausgestaltet. Die Verarbeitungsplattform ist dann eingerichtet, die Schritte des Zuordnens von zweidimensionalen Bildbestandteilen und des Bestimmens der jeweiligen Aufnahmeeigenschaft in einer gesicherten Verarbeitungsumgebung des Endgerätes computerimplementiert durchzuführen.
In Ausführungsformen umfasst das Verfahren: Empfangen mehrerer Videostreams von unterschiedlichen Videokameraeinrichtungen.
Die Schritte Zuordnen von zweidimensionalen Bildbestandteilen, Bestimmen einer jeweiligen Aufnahmeeigenschaft und Ausgeben des Videostreams erfolgt vorzugsweise für jeden Videostream und der zugehörigen Videokameraeinrichtung jeweils unter Nutzung des jeweiligen 3D-
Modells für die jeweilige industrielle Anlage oder den Anlagenteil. In Ausführungsformen kann dasselbe 3D Modell benutzte werden, in anderen Ausführungsformen werden verschiedene 3D Modelle eingesetzt.
Die Videokameraeinrichtungen erfassen insbesondere unterschiedliche Bereiche der industriellen Anlage, so dass in Abhängigkeit von der Ausrichtung, Positionierung und der Zoomeinstellung einer jeweiligen Videokamera eine Erfassungsrichtung des jeweiligen zweidimensionalen Bildbestandteils des jeweilige Videostreams festgelegt wird. Jedem Videostream kann insofern ein zusätzlicher Kontext in der Art der Aufnahmeeigenschaft oder den Objekteigenschaften hinzugefügt werden. Denkbar ist eine überlagerte Darstellung der Videostreambilder und der Zusatzeigenschaften. Als Zusatzeigenschaften werden insbesondere die Kameradaten und die Objektdaten verstanden.
In Ausführungsformen erfolgt ein wahlweises Weiterleiten eines von mehreren Videostreams an eine Verarbeitungsplattform, welche in der Art eines Cloudservices ausgestaltet ist.
Es wird ferner eine Vorrichtung zur Durchführung des zuvor und im Folgenden beschriebenen Verfahrens zum Überwachen einer industriellen Anlage vorgeschlagen. Eine Vorrichtung umfasst insbesondere: eine Videokameraeinrichtung zum Erzeugen des Videostreams der industriellen Anlage; eine Speichereinrichtung zum Bereitstellen des dreidimensionalen Modells der Anlage, bei dem den Anlageobjekten jeweilige Objekteigenschaften zugewiesen sind; eine Verarbeitungseinrichtung zum Zuordnen von zweidimensionalen Bildbestandteilen des Videostreams auf Anlageobjekte mit Hilfe des 3D Modells, und zum Bestimmen der Aufnahmeeigenschaft; und/oder eine Anzeigeeinrichtung zum Ausgeben des Videostreams zusammen mit den bestimmten Objekteigenschaften und/oder Aufnahmeeigenschaften, insbesondere als Überlagerung und einer Zuordnung zum 3D Modell.
Die Videokameraeinrichtung, die Speicherreinrichtung, die Verarbeitungseinrichtung und die Anzeigeeinrichtung sind dabei vorzugsweise kommunikativ miteinander gekoppelt. Die Funktionen der Verarbeitungseinrichtung können durch Softwareservices in einer Cloudumgebung bereitgestellt werden.
Ein jeweiliger Verfahrensschritt oder eine funktionalisierte Einrichtung, zum Beispiel eine Prozessoreinheit oder Verarbeitungseinrichtung, kann hardwaretechnisch und/oder auch softwaretechnisch implementiert sein. Bei einer hardwaretechnischen Implementierung kann die jeweili-
ge Funktion als Vorrichtung oder als Teil einer Vorrichtung, zum Beispiel als Computer oder als Mikroprozessor ausgebildet sein. Bei einer softwaretechnischen Implementierung kann die jeweilige Einheit als Computerprogrammprodukt, als eine App, eine Funktion, als eine Routine, als Teil eines Programmcodes oder als ausführbares Objekt, insbesondere als Softwareservice in einer Cloudumgebung, ausgebildet sein.
Weiterhin wird ein Computerprogrammprodukt vorgeschlagen, welches computerlesbare Befehle umfasst, die bei der Ausführung des Programms durch einen Computer diesen veranlassen, das vorstehend beschriebene Verfahren auszuführen. Ein Computerprogrammprodukt umfasst insbesondere maschinenlesbare Befehle, die, wenn sie von einem oder mehreren Prozessoreinrichtungen einer Verarbeitungsumgebung abgearbeitet werden, die Durchführung einer oder aller Verfahrensschritte des vorgeschlagenen Verfahrens veranlassen.
Ein Computerprogrammprodukt, wie z.B. ein Computerprogramm-Mittel, kann beispielsweise als Speichermedium, wie z.B. Speicherkarte, USB-Stick, CD-ROM, DVD, oder auch in Form einer herunterladbaren Datei von einem Server in einem Netzwerk bereitgestellt oder geliefert werden. Dies kann zum Beispiel in einem drahtlosen Kommunikationsnetzwerk durch die Übertragung einer entsprechenden Datei mit dem Computerprogrammprodukt oder dem Computerprogramm-Mittel erfolgen.
Die für die vorgeschlagene Vorrichtung beschriebenen Ausführungsformen und Merkmale gelten für das vorgeschlagene Verfahren entsprechend.
Weitere mögliche Implementierungen der Erfindung umfassen auch nicht explizit genannte Kombinationen von zuvor oder im Folgenden bezüglich der Ausführungsbeispiele beschriebenen Merkmale oder Ausführungsformen. Dabei wird der Fachmann auch Einzelaspekte als Verbesserungen oder Ergänzungen zu der jeweiligen Grundform der Erfindung hinzufügen.
Weitere vorteilhafte Ausgestaltungen und Aspekte der Erfindung sind Gegenstand der Unteransprüche sowie der im Folgenden beschriebenen Ausführungsbeispiele der Erfindung. Im Weiteren wird die Erfindung anhand von bevorzugten Ausführungsformen unter Bezugnahme auf die beigelegten Figuren näher erläutert.
Fig. 1 zeigt ein Ablaufdiagramm mit Verfahrensschritten für eine Variante eines Verfahrens zum Überwachen einer industriellen Anlage;
Fig. 2 zeigt ein erweitertes Ablaufdiagramm mit Verfahrensschritten für eine weitere Variante eines Verfahrens zum Überwachen einer industriellen Anlage;
Fig. 3 zeigt schematisch eine Ausführungsform einer Vorrichtung zum Überwachen einer industriellen Anlage;
Fig. 4 zeigt schematisch einen Videostream und eine Zuordnung von Bildbestandteilen auf Anlagenobjekte zur Erläuterung des Verfahrens zum Überwachen einer industriellen Anlage; und
Fig. 5 zeigt eine Ausführungsform einer Anzeigeeinrichtung.
In den Figuren sind gleiche oder funktionsgleiche Elemente mit denselben Bezugszeichen versehen worden, sofern nichts anderes angegeben ist.
In den Fig. 1 und 2 sind Ablaufdiagramme mit Verfahrensschritten für ein Ausführungsbeispiel eines Verfahrens zum Überwachen einer industriellen Anlage dargestellt. Die Verfahrensschritte werden insbesondere in einer Ausführungsform einer Vorrichtung zum Überwachen einer industriellen Anlage, wie sie schematisch in der Fig. 3 gezeigt ist, ausgeführt.
Die Fig. 3 zeigt insofern ein Überwachungssystem oder eine Vorrichtung 1 , bei der eine industrielle Anlage 2, welche beispielsweise ein komplexes Rohrleitungssystem, eine Fabrik, Raffinerie, Fertigungsstraße oder auch eine Logistikeinrichtung sein kann. Eine geographisch einen ausgedehnten räumlichen Bereich einnehmende Anlage 2 kann über eine oder mehrere Über- wachungskameras 3, 4, die als digitale Videokameras ausgestaltet sind, erfasst werden. Dabei werden insbesondere in Echtzeit Videostreamdaten erzeugt. Die eingesetzten Videokameras 3, 4 können dabei an unterschiedlichen Positionen in dem Bereich der Anlage 2 angeordnet sein und beispielsweise schwenkbar oder auch fest ausgerichtet werden. Denkbar ist auch, dass verschiedene Kameras mit einem optischen Zoom ausgestattet werden. Insofern ergeben sich Videostreams, die verschiedene Bildausschnitte zeigen, welche Teile oder Objekte der Anlage 2 wiedergeben.
Die Videostreamdaten werden in der Fig. 3 als Pfeile nach rechts dargestellt an eine lokale Recheneinrichtung 5, beispielsweise eine Leitwarte, übermittelt. Die von dem installierten Kamerasystemen gelieferten Videodaten enthalten keine Informationen über die jeweilige Ausrichtung, den Zoomfaktor oder beispielsweise Fokuseinstellungen der Kameras 3, 4.
In der Fig. 4 ist beispielsweise schematisch ein Einzelbild eines Videostreams VS auf der linken Seite angedeutet. Dabei ist die industrielle Anlage 2 vereinfacht mit vier Anlageobjekten A, B, C, D angedeutet. Der Videostream VS enthält darüber hinaus eine Darstellung von der Umgebung der industriellen Anlage. Es ist nun möglich, dass eine der Videokameras 3, 4 ein Bildbestandteil PT, beispielsweise ein Rohrsystem C zwischen zwei Anlageteilen B und D, fokussiert. Um dem Personal detailliertere und aussagekräftigere Anzeigen zu ermöglichen, erfolgt in einem ersten Verfahrensschritt (vgl. Fig. 1) ein Empfangen der Videostreamdaten VS (Schritt S1).
Anschließend wird in den Verfahrensschritten S2 und S3 eine Beziehung zwischen einem vorliegenden dreidimensionalen (3D) Modell der überwachten industriellen Anlage 2 beziehungsweise deren Anlagenobjekten oder Bestandteilen mit den Bildbestandteilen des Videostreams VS geschaffen. Dazu wird im Schritt S2 ein jeweiliger zweidimensionaler Bildbestandteil PT, wie er in der Fig. 4 angedeutet ist, unter Ausnutzung eines dreidimensionalen Modells, beispielsweise eines CAD (Computer-Aided Design)-Modells der industriellen Anlage 2 einem Anlageobjekt der industriellen Anlage zugeordnet.
In der Darstellung der Fig. 4 erkennt man die Zuordnung durch den gestrichelten Pfeil. Auf der rechten Seite der Fig. 4 ist schematisch ein 3D-Modell der Anlage CAD illustriert. Die im dreidimensionalen Modell CAD der Anlage vorliegenden Anlageobjekte A'. B', C, D' sind dabei mit Objekteigenschaften versehen. Als Objekteigenschaften sind beispielsweise detaillierte CAD- Daten vorhanden. Die Objekteigenschaften können dabei die Größe, Position, Orientierung im Raum und weitere Eigenschaften umfassen. In dem in der Fig. 4 dargestellten Beispiel handelt es sich im Bildbestandteil PT beispielsweise um Rohre C, die beispielsweise horizontal verlaufen und bestimmte Durchflussmaterialien haben. Insofern können aus einer weiteren Datenbank, die die Funktion der industriellen Anlage betrifft, Objektdaten abgerufen werden, die zum Beispiel eine erlaubte Oberflächentemperatur der Rohre C benennt.
In Schritt S3 wird eine Kameraeigenschaft derjenigen Videokamera 3, 4 als Aufnahmeeigenschaft des Bildes ermittelt, welche den Bildbestandteil PT im Videostream VS geliefert hat. Dazu werden die zweidimensionalen Bilddaten PT, welche das Anlageobjekt C, nämlich die Verrohrung, wiedergeben, mit den im dreidimensionalen Anlagemodell CAD vorhandenen Objekteigenschaften abgeglichen. Daraus kann beispielsweise die Position und/oder Ausrichtung bzw. Blickrichtung der den Bildausschnitt PT liefernden Kamera ermittelt werden. Darüber hinaus lässt sich aus der Kenntnis der Position und des Bildausschnitts PT ein Zoomfaktor der jeweiligen Kamera ableiten. Insofern kann aus den zweidimensionalen Videostreamdaten VS eine Aufnahmeeigenschaft, insbesondere in der Art der Ausrichtung der Position und des Zoomfaktors der Videokameraeinrichtung, erfasst werden.
In Schritt S4 werden nun diese Kontextdaten, welche die Anlageobjektdaten sowie die Aufnahmeeigenschaften umfassen, zusammen mit dem Videostream ausgegeben.
Insofern liefert das vorgeschlagene Verfahren ein bilddatenbasiertes Tracking der eingesetzten Überwachungskameras 3, 4. Es kann insbesondere in Echtzeit die Kamerabewegung und die Zoomeinstellung der jeweiligen Kamera ermittelt werden. Die computerimplementierte Auswertung und Bildverarbeitung der Videostreamdaten kann nach bekannten Verfahren erfolgen, wie sie beispielsweise in Zusammenhang mit der eingangs erwähnten Software Cyclicon genannt ist. Denkbar sind aber auch andere Algorithmen, die aufgrund von zweidimensionalen Bilddaten ein in einem dreidimensionalen Modell vorliegendes Anlageobjekt erkennen. Es sind ebenfalls Algorithmen bekannt, die in einem 2D Bild Überlagerungspunkte für das 3D Modell erkennen. Auch solche Algorithmen können hier Einsatz finden.
Bezüglich der Fig. 3, welche ein Cloud-basiertes Überwachungssystem für eine industrielle Anlage 2 zeigt, werden die in Fig. 2 angedeuteten zusätzlichen Verfahrensschritte oder Prozesse durchgeführt. In einem vorbereiteten Schritt S10 erfolgt eine Erzeugung einer oder mehrerer Videostreams mit Hilfe der Videoüberwachungskameras 3, 4. Die schematisch in der Fig. 4 links angedeuteten Videostreamdaten VS werden einem Leitwartenrechner 6 über ein lokales Rechensystem zugeführt. Das lokale Rechensystem 5 empfängt beispielsweise die Videostreamdaten VS der verschiedenen Überwachungskameras 3, 4 und bereitet sie zur Darstellung auf einer Anzeige vor. Die entsprechenden Datenverarbeitungsschritte erfolgen lokal, was in der Fig. 4 über die geschweifte Klammer LKL angedeutet ist.
Da die erhaltenen Videostreamdaten VS ohne weiteren Kontext vorliegen, insbesondere ohne Kenntnis über den Ort der benutzten Überwachungskamera 3, 4, kann über ein geeignetes Endgerät für einen Nutzer USR, beispielsweise über einen Tablet-Computer oder eine mobile Anzeigevorrichtung 8, eine Anzeige der oder von bestimmten Videostreamdaten VS mit Zusatzinformationen erfolgen. Dazu ist eine Cloud-Plattform 7, beispielsweise unter Nutzung von Microsoft Azure, mit einem entsprechenden Softwareservice 10, 11 eingerichtet. In der Fig. 4 ist die Cloud-Rechenumgebung CLD gestrichelt angedeutet.
Insbesondere als Softwareservices ist ein 3D-Anlagenmodell-Service 10 und ein App-Service 11 zur kommunikativen Kopplung mit dem Nutzerendgerät 8 vorgesehen.
Die Fig. 3 zeigt ferner eine Datenbankeinrichtung 9, die über eine Schnittstelle 12 an die Cloud- Umgebung CLD gekoppelt ist. Die Datenbank 9 enthält entsprechende 3D-Modelldaten für die
überwachte industrielle Anlage 2. Dies können CAD-Daten sein. Darüber hinaus kann die Datenbank 9 zusätzliche Information oder Kontextdaten über die in der Anlage 2 verbauten Anlageobjekte enthalten. Dies können beispielsweise die zuvor genannten Informationen über Durchflussmaterialien bestimmter Rohrleitungen sein. Das entsprechende 3D-Anlagenmodell, beziehungsweise die 3D-Modelldaten werden im Schritt S11 zuvor erzeugt oder bereitgestellt. Beispielsweise werden solche Modell-Daten bei einem Entwurf oder der Planung einer industriellen Anlage erzeugt.
Im Schritt S12 instantiiert der Softwareservice 10 das entsprechende dreidimensionale Anlagenmodell auf der Basis der von der Datenbank 9 erhaltenen 3D-Modelldaten, beispielsweise CAD-Daten. Der mit 11 bezeichnete Softwareservice der Cloud-Umgebung 7 führt nun im Wesentlichen die Verfahrensschritte S1 , S2, S3 und S4, welche in den Fig. 1 und 2 als Verarbeitungsprozess S100 zusammengefasst sind, durch. Der gestrichelte Doppelpfeil zeigt die kommunikative Kopplung des Endgerätes 8, nämlich einer Anzeigeeinrichtung 8 des Nutzers USR und dem Softwareservice oder der App 11.
Die Fig. 5 zeigt eine mögliche Ausführungsform von Anzeigezuständen des Endgerätes 8. Das Endgerät ist eine Anzeigevorrichtung 8 mit einem Display 14, auf dem beispielsweise Video- streamdaten VS dargestellt werden. Darüber hinaus ist die als Anzeigeeinrichtung implementierte Nutzerendeinrichtung 8 mit Bedienelementen 13 versehen. Über die Bedienelemente 13 kann der Nutzer USR beispielsweise über eine Touchscreenfunktion oder andere haptische Elemente zu den auf dem Display 14 dargestellten Bilddaten VS' Kontextinformationen abrufen.
In der Fig. 5A ist beispielsweise das Einzelbild, wie es in der Fig. 4 links des Videostreams VS dargestellt ist, wiedergegeben. Währenddessen wird in der Cloud-Umgebung CLD über den Softwareservice 11 zu den im Videostream VS erkannten Anlageobjekten A, B, C, D jeweilige Anlageobjektdaten vom Softwareservice 10 abgerufen. Ferner werden diese Objektdaten zugeordnet, wie es zum Verfahrensschritt S2 beschrieben wurde.
Beispielsweise kann über den Softwareservice 11 erkannt werden, dass die Rohrleitungen C im Bildbestandteil, der gestrichelt dargestellt ist, eine erhöhte Temperatur aufweisen, die nicht der Solltemperatur entspricht. Wird durch den Nutzer der dargestellte Anlagenbereich C ausgewählt, erfolgt beispielsweise, wie es in der Fig. 5B dargestellt ist, eine herangezoomte Darstellung des Bereichs mit hinzufügten oder überlagerten Zusatzinformationen XYZ, die mit 15 bezeichnet sind. Die zusätzliche Information 15 kann zum Beispiel eine Warnung darstellen und dem Nutzer ein Sicherheitsereignis in der überwachten Anlage anzeigen. Aufgrund der im Verfahrensschritt S3 ermittelten Kamerainformationen wird dem Nutzer ermöglicht, zwischen ver-
schiedenen Kameras hin- und herzuschalten. Dadurch, dass die Aufnahmeeigenschaften hinsichtlich der Ausrichtung und der Zoomeinstellung ermittelt wird, wird die Navigation und Auswahl der anzuzeigenden Videostreambilder mit Hilfe des Anzeigegerätes 8 vereinfacht.
Insgesamt erlaubt das vorgeschlagene Überwachungsverfahren eine Anreicherung von reinen Videostreamdaten mit Kontextdaten, wie Objekteigenschaften, welche in einem 3D-Modell abgelegt sind, sowie eine Nachverfolgung eines etwaigen Kameraschwenks oder -zooms. Die vorgeschlagenen Funktionalitäten und die erweiterte Darstellung der Videobilddaten kann über eine Cloud-Umgebung und einen Cloud-Service über ein geeignetes Nutzer-Interface einer Anzeigevorrichtung bereitgestellt werden.
Obwohl die vorliegende Erfindung anhand eines Ausführungsbeispiels näher beschrieben wurde, können verschiedene Modifikationen vorgenommen werden. Die beispielhaft angegebenen Bildbestandteile, nämlich Rohre, können beliebige Anlagenbestandteile sein. Es können ferner weitere Sensordaten in die Überwachung einfließen, wie beispielsweise Aufnahmen von Spektralkameras. Dadurch kann eine weitere Verbesserung der Überwachungsleistung bereitgestellt werden. Anstelle der genannten CAD-Daten für die 3D Modelle sind auch andere Formate, wie OBJ oder sonstige Formate möglich.
Bezugszeichen:
1 Anlagenüberwachungssystem
2 Anlage
3 Videokamera/Überwachungskamera
4 Videokamera/Überwachungskamera
5 lokale Recheneinrichtung
6 Leitwarte
7 Cloud-Umgebung
8 Anzeigeeinrichtung
9 Datenbank
10 3D Modell
11 App-Service
12 Schnittstelle
13 Bedienelemente
14 Display
15 Zusatzinformation
A, B, C, D Darstellung eines Anlagenobjekt im Videostream
A', B', C, D' Anlagenobjekt mit Objekteigenschaften gemäß 3D Modell
PT Bildbestandteil
51 Empfangen eines Videostreams
52 Zuordnen von 2D Bildbestandteil auf Anlageobjekt gemäß des 3D Modells
53 Bestimmen von Aufnahmeeigenschaften
54 Ausgeben der Videostreamdaten mit Kamera-/Objekteigenschaften
55 Zufügen der Kontextdaten den Videostreamdaten
510 Erzeugen eines Videostreams
511 Erzeugen eines 3D Anlagenmodels
512 Instantiieren eines 3D Anlagenmodels
VS Videostream
XYZ Kontext-, Kamera- oder Zusatzinformation
Claims
1 . Verfahren zum Überwachen einer industriellen Anlage (2) mit Anlageobjekten mit den Schritten:
Empfangen (S1) eines Videostreams (VS) der Anlage (2), welcher mit Hilfe einer Videokameraeinrichtung (3) erzeugt ist, wobei der Videostream (VS) eine zeitliche Abfolge von zweidimensionalen Bilddaten enthält;
Zuordnen (S2) von zweidimensionalen Bildbestandteilen (PT) des Videostreams (VS) auf Anlageobjekte (A1, B', C, D') mit Hilfe eines dreidimensionalen (3D) Modells (CAD) der Anlage (2), bei dem den Anlageobjekten (A1, B', C, D') jeweilige Objekteigenschaften (XYZ) zugewiesen sind;
Bestimmen (S3) einer Aufnahmeeigenschaft der Bilddaten in Abhängigkeit von den einem oder mehreren Anlageobjekten (C) zugeordneten Bildbestandteilen (PT) und der jeweiligen Objekteigenschaft (XYZ), wobei die Aufnahmeeigenschaft eine Position, eine Ausrichtung und einen Zoomfaktor der Videokameraeinrichtung (3), welche den Videostream erfasst, umfasst; und
Ausgeben (S4) des Videostreams (VS1) zusammen mit den bestimmten Objekteigenschaften (XYZ) und Aufnahmeeigenschaften.
2. Verfahren nach Anspruch 1 , wobei die industrielle Anlage (2) auf einem Anlagengelände angeordnet ist und die Position der Videokameraeinrichtung (3) auf dem Anlagengelände ermittelt wird.
3. Verfahren nach Anspruch 2, wobei die Videokameraeinrichtung (3) einen Videoerfassungsbereich hat, welcher kleiner ist als das Anlagengelände.
4. Verfahren nach einem der Ansprüche 1 - 3, wobei die Videokameraeinrichtung (3) beim Empfangen des Videostreams (VS) an einer unbekannten Position angebracht ist.
5. Verfahren nach einem der Ansprüche 1 - 4, wobei die Objekteigenschaften (XYZ) einen Standort, eine Größe/Dimension, eine Ausrichtung/Orientierung, eine Liste von Bestandteilen, Materialeigenschaften und/oder Oberflächeneigenschaften des Anlageobjektes (A1, B', C, D') umfassen.
6. Verfahren nach Ansprüche 1 - 5, ferner umfassend:
Erstellen (S11) einer Datenbank (9), welche den Anlageobjekten (A1, B', C, D') weitere Funktionseigenschaften und/oder Kontextdaten zuordnet, wobei die Funktionseigenschaften
insbesondere Prozessdaten, Temperaturen, Durchflussmaterialien umfasst, und die Kontextdaten insbesondere Zeitdaten, Wetterdaten und/oder Sichtbedingungen umfasst.
7. Verfahren nach Anspruch 6, wobei die Funktionseigenschaften und/oder Kontextdaten, insbesondere in Echtzeit, aktualisiert werden.
8. Verfahren nach einem der Ansprüche 1 - 7, wobei das Zuordnen (S2) ferner in Abhängigkeit von Funktionseigenschaften der Anlageobjekte (A1, B', C, D') erfolgt.
9. Verfahren nach einem der Ansprüche 1 - 8, wobei das dreidimensionale Modell ein Computer-Aided Design-Modell der industriellen Anlage (2) ist.
10. Verfahren nach einem der Ansprüche 1 - 9, wobei mithilfe einer zeitlichen Abfolge von zweidimensionalen Bildbestandteilen des Videostreams (VS) eine dynamische Aufnahmeeigenschaft bestimmt wird, insbesondere eine Kamerabewegung oder Zoomgeschwindigkeit.
11 . Verfahren nach Anspruch 10, wobei die Kamerabewegung und/oder Zoomgeschwindigkeit in Echtzeit ermittelt wird.
12. Verfahren nach einem der Ansprüche 1 - 11 , wobei der Videostream (VS) keine Informationsdaten über die Aufnahmeeigenschaft enthält, und die Aufnahmeeigenschaft ausschließlich durch einen Abgleich der zugeordneten zweidimensionalen Bildbestandteile (PT) und der Daten des 3D Modells (CAD) ermittelt wird.
13. Verfahren nach einem der Ansprüche 1 - 12, wobei die 3D Modelldaten eine Position der Videokameraeinrichtung (3) umfassen.
14. Verfahren nach einem der Ansprüche 1 - 13, wobei ein Zoomfaktor in Abhängigkeit von mehreren zeitlich aufeinanderfolgenden zweidimensionalen Bilddaten der Videokameraeinrichtung (3) ermittelt wird.
15. Verfahren nach einem der Ansprüche 1 - 14, ferner umfassend:
Darstellen (S5) des Videostreams (VS) zusammen mit den Objekteigenschaften (XYZ) und/oder Aufnahmeeigenschaften mit Hilfe einer Anzeigeeinrichtung (8).
16. Verfahren nach einem der Ansprüche 1 - 15, ferner umfassend:
Erstellen (S12) des dreidimensionalen (3D) Modells der Anlage, wobei den Anlageobjekten Objekteigenschaften (XYZ) zugewiesen werden.
17. Verfahren nach einem der Ansprüche 1 - 16, ferner umfassend:
Übertragen des Videostreams (VS) an eine Verarbeitungsplattform (7);
Übertragen des 3D Modells (CAD) an die Verarbeitungsplattform (7); und
Übertragen der bestimmten Aufnahmeeigenschaft von der Verarbeitungsplattform (7) an eine Anzeigeeinrichtung (8); wobei die Verarbeitungsplattform (7) in der Art eines Cloudservices (CLD) ausgestaltet ist und eingerichtet ist, die Schritte des Zuordnens (S2) von zweidimensionalen Bildbestandteilen und des Bestimmens (S3) der jeweiligen Aufnahmeeigenschaft in einer gesicherten Verarbeitungsumgebung (CLD) computerimplementiert durchzuführen.
18. Verfahren nach einem der Ansprüche 1 - 17, ferner umfassend:
Empfangen mehrerer Videostreams (VS) von unterschiedlichen Videokameraeinrichtungen (3, 4); wobei die Schritte Zuordnen (S2) von zweidimensionalen Bildbestandteilen (PT), Bestimmen (S3) einer jeweiligen Aufnahmeeigenschaft und Ausgeben (S4) des Videostreams (VS) für jeden Videostream und der zugehörigen Videokameraeinrichtungen (3, 4) jeweils unter Nutzung eines jeweiligen 3D Modells (CAD) erfolgt.
19. Verfahren nach Anspruch 18, ferner umfassend: wahlweises Weiterleiten eines der mehreren Videostreams an eine Verarbeitungsplattform (7), wobei die Verarbeitungsplattform (7) in der Art eines Cloudservices (CLD) ausgestaltet ist und eingerichtet ist, die Schritte des Zuordnens (S2) von zweidimensionalen Bildbestandteilen und des Bestimmens (S3) der jeweiligen Aufnahmeeigenschaft in einer gesicherten Verarbeitungsumgebung computerimplementiert durchzuführen.
20. Computerprogrammprodukt, umfassend maschinenlesbare Befehle, die, wenn sie von einem oder mehreren Prozessoreinrichtungen einer Verarbeitungsumgebung (CLD) abgearbeitet werden, die Durchführung einer oder aller Verfahrensschritte des Verfahrens nach einem der Ansprüche 1 - 19 veranlassen.
21. Vorrichtung (1) zur Durchführung des Verfahrens nach einem der Ansprüche 1 - 19, mit: einer Videokameraeinrichtung (3, 4) zum Erzeugen des Videostreams (VS) der industriellen Anlage (2);
einer Speichereinrichtung (9) zum Bereitstellen des dreidimensionalen (3D) Modells der Anlage (2), bei dem den Anlageobjekten (A1, B', C, D') jeweilige Objekteigenschaften (XYZ) zugewiesen sind; einer Verarbeitungseinrichtung (10, 11) zum Zuordnen von zweidimensionalen Bildbe- standteilen (PT) des Videostreams (VS) auf Anlageobjekte mit Hilfe des 3D Modells (10), und zum Bestimmen der Aufnahmeeigenschaft; und mit einer Anzeigeeinrichtung (8) zum Ausgeben des Videostreams (VS) zusammen mit den bestimmten Objekteigenschaften und/oder Aufnahmeeigenschaften; wobei die Videokameraeinrichtung (3, 4), die Speicherreinrichtung (9), die Verarbeitungs- einrichtung (10, 11) und die Anzeigeeinrichtung (8) kommunikativ miteinander gekoppelt sind.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP22163906 | 2022-03-23 | ||
| PCT/EP2023/057499 WO2023180456A1 (de) | 2022-03-23 | 2023-03-23 | Verfahren und vorrichtung zum überwachen einer industriellen anlage |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| EP4497044A1 true EP4497044A1 (de) | 2025-01-29 |
Family
ID=81307350
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| EP23713886.2A Pending EP4497044A1 (de) | 2022-03-23 | 2023-03-23 | Verfahren und vorrichtung zum überwachen einer industriellen anlage |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US20250184453A1 (de) |
| EP (1) | EP4497044A1 (de) |
| JP (1) | JP2025510117A (de) |
| KR (1) | KR20240168360A (de) |
| CN (1) | CN118922787A (de) |
| WO (1) | WO2023180456A1 (de) |
Family Cites Families (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6985620B2 (en) * | 2000-03-07 | 2006-01-10 | Sarnoff Corporation | Method of pose estimation and model refinement for video representation of a three dimensional scene |
| US8542872B2 (en) * | 2007-07-03 | 2013-09-24 | Pivotal Vision, Llc | Motion-validating remote monitoring system |
| WO2009074600A1 (en) * | 2007-12-10 | 2009-06-18 | Abb Research Ltd | A computer implemented method and system for remote inspection of an industrial process |
| EP3014367B1 (de) * | 2013-06-27 | 2017-03-15 | ABB Schweiz AG | Verfahren und videokommunikationsvorrichtung zum senden von videoinhalten an einen entfernten benutzer |
| US10096114B1 (en) * | 2013-11-27 | 2018-10-09 | Google Llc | Determining multiple camera positions from multiple videos |
| US9948902B1 (en) * | 2014-03-07 | 2018-04-17 | Alarm.Com Incorporated | Video camera and sensor integration |
| US9996749B2 (en) * | 2015-05-29 | 2018-06-12 | Accenture Global Solutions Limited | Detecting contextual trends in digital video content |
| US9779309B1 (en) * | 2015-07-07 | 2017-10-03 | Ambarella, Inc. | Bulk searchable geo-tagging of detected objects in video |
| EP3340603B1 (de) * | 2016-12-22 | 2018-12-19 | Axis AB | Fokussierung einer überwachungskamera, die eine szene überwacht |
| US11321872B2 (en) * | 2019-07-19 | 2022-05-03 | Avigilon Corporation | Method for calibrating a camera using bounding boxes, and camera configured to perform that method |
| US11122198B2 (en) * | 2020-01-07 | 2021-09-14 | International Business Machines Corporation | Adjusting image capture parameters via machine learning |
| US11836420B1 (en) * | 2020-06-29 | 2023-12-05 | Amazon Technologies, Inc. | Constructing a 3D model of a facility based on video streams from cameras at the facility |
| WO2022050855A1 (en) * | 2020-09-04 | 2022-03-10 | Motorola Solutions, Inc | Computer-implemented method for recommending changes within a security system |
-
2023
- 2023-03-23 JP JP2024556412A patent/JP2025510117A/ja active Pending
- 2023-03-23 CN CN202380028847.8A patent/CN118922787A/zh active Pending
- 2023-03-23 US US18/845,016 patent/US20250184453A1/en active Pending
- 2023-03-23 EP EP23713886.2A patent/EP4497044A1/de active Pending
- 2023-03-23 WO PCT/EP2023/057499 patent/WO2023180456A1/de not_active Ceased
- 2023-03-23 KR KR1020247034620A patent/KR20240168360A/ko active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| US20250184453A1 (en) | 2025-06-05 |
| KR20240168360A (ko) | 2024-11-29 |
| CN118922787A (zh) | 2024-11-08 |
| JP2025510117A (ja) | 2025-04-14 |
| WO2023180456A1 (de) | 2023-09-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| DE102006014634B4 (de) | Mensch-Maschine-Schnittstelle für ein Kontroll- bzw. Steuerungs-System | |
| DE112016006300B4 (de) | Vorrichtung zur Überwachung unbeaufsichtigter Objekte, mit derselben ausgestattetes System zur Überwachung unbeaufsichtigter Objekte und Verfahren zur Überwachung unbeaufsichtigter Objekte | |
| EP3495903B1 (de) | Verfahren zum bedienen und beobachten einer zu steuernden technischen anlage sowie operator-system | |
| EP3930563B1 (de) | Vorrichtung zur ausführung eines verfahrens zur evaluierung von hautläsionen unter verwendung künstlicher intelligenz | |
| CN113705472B (zh) | 基于图像识别的异常摄像头排查方法、装置、设备及介质 | |
| DE102019116834B4 (de) | Augmentierte Fotoaufnahme | |
| DE102019113830A1 (de) | Informationsverarbeitungsverfahren, Informationsverarbeitungsgerät und Programm | |
| WO2020239540A1 (de) | Verfahren und vorrichtung zur detektion von rauch | |
| WO2017215885A1 (de) | Verfahren zur visualisierung und validierung von prozessereignissen und system zur durchführung des verfahrens | |
| EP2458573A1 (de) | Informationssystem zum Informieren über ein Fahrzeug | |
| DE102010003336A1 (de) | Verfahren zur Visualisierung von Aktivitätsschwerpunkten in Überwachungsszenen | |
| DE3925275C2 (de) | ||
| EP4497044A1 (de) | Verfahren und vorrichtung zum überwachen einer industriellen anlage | |
| DE102009020709A1 (de) | Verfahren und Vorrichtung zur Überwachung und Detektion von Zuständen der Luft und Bewuchs in Waldgebieten mit selbstlernenden Analyseverfahren zur Generierung von Alarmwahrscheinlichkeiten | |
| EP1092210B1 (de) | Vorrichtung und verfahren zur erstellung eines virtuellen anlagenmodells | |
| EP3926564B1 (de) | Computerimplementiertes verfahren, computersystem und computerprogramm zur automatisierten überwachung einer elektrischen schaltanlage | |
| EP4370986A1 (de) | Leitsystem für eine technische anlage mit verkleinerten ansichten von anlagenbildern | |
| EP3904827B1 (de) | Dynamische routenplanung einer drohnenbasierten überprüfung von streckeneinrichtungen einer strecke | |
| DE102015220031A1 (de) | Verfahren zur Konfidenzabschätzung für optisch-visuelle Posenbestimmung | |
| EP4089489A1 (de) | Leitsystem für eine technische anlage | |
| DE102017108622A1 (de) | System zur unterstützung von teamarbeit mittels augmented reality | |
| DE102021205859A1 (de) | Audiovisuelles Assistenzsystem, Verfahren und Computerprogramm zur Unterstützung von Wartungsarbeiten, Reparaturarbeiten oder Installationsarbeiten in einer industriellen Anlage | |
| EP2219155A2 (de) | Vorrichtung, Verfahren und Computerprogramm zur Segmentierung eines Objektes in einem Bild, und Videoüberwachungssystem | |
| DE102025107758B3 (de) | Computer-implementiertes Verfahren zum Ermitteln von mindestens einem betrachteten Element sowie technisches System und Computerprogrammprodukt | |
| EP4485142A1 (de) | Verfahren zum kommunizieren zwischen einer ersten person und einer zweiten person mittels eines kommunikationssystems, computerprogrammprodukt, computerlesbares speichermedium sowie kommunikationssystem |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| STAA | Information on the status of an ep patent application or granted ep patent |
Free format text: STATUS: UNKNOWN |
|
| STAA | Information on the status of an ep patent application or granted ep patent |
Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE |
|
| PUAI | Public reference made under article 153(3) epc to a published international application that has entered the european phase |
Free format text: ORIGINAL CODE: 0009012 |
|
| STAA | Information on the status of an ep patent application or granted ep patent |
Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE |
|
| 17P | Request for examination filed |
Effective date: 20241023 |
|
| AK | Designated contracting states |
Kind code of ref document: A1 Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC ME MK MT NL NO PL PT RO RS SE SI SK SM TR |
|
| DAV | Request for validation of the european patent (deleted) | ||
| DAX | Request for extension of the european patent (deleted) |