EP4677566A1 - Verfahren zum erkennen von rauch in bildern einer umgebung und verfahren zum trainieren eines maschinenlernalgorithmus - Google Patents

Verfahren zum erkennen von rauch in bildern einer umgebung und verfahren zum trainieren eines maschinenlernalgorithmus

Info

Publication number
EP4677566A1
EP4677566A1 EP24707167.3A EP24707167A EP4677566A1 EP 4677566 A1 EP4677566 A1 EP 4677566A1 EP 24707167 A EP24707167 A EP 24707167A EP 4677566 A1 EP4677566 A1 EP 4677566A1
Authority
EP
European Patent Office
Prior art keywords
images
smoke
environment
machine learning
learning algorithm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP24707167.3A
Other languages
English (en)
French (fr)
Inventor
Philip Dietrich
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Publication of EP4677566A1 publication Critical patent/EP4677566A1/de
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Definitions

  • the present invention relates to a method for detecting smoke in images of an environment and a method for training a machine learning algorithm as well as a computing unit and a computer program for carrying out the same.
  • Detecting fire or smoke in an environment is in many cases a safety-relevant task.
  • video-based systems can be used to detect smoke in images of the environment.
  • DE 10 2014219 829 A1 describes a way of detecting smoke using a sequence of images of an environment.
  • the detection of smoke in video data or images can be done using both single-image based methods and methods with temporal processing.
  • Temporal information which is contained in the Images have proven to be advantageous.
  • One way of detecting smoke can be based largely on motion estimation using optical flow. A sufficient smoke density can be important for successful motion estimation. The continuous movement of smoke can thus be used as a key feature in detecting smoke in images.
  • Motion estimation is usually carried out by calculating the optical flow. This then detects the typically upward movement behavior of smoke. However, in order to detect movement using optical flow, the smoke must be sufficiently dense.
  • Smoke can be understood in particular as a mixture of a solid phase and a gaseous phase.
  • Smoke can also be understood as an aerosol produced by combustion in a finely divided form consisting of particles such as dust or ash particles and/or liquid droplets (water, oil vapors, acid vapors, liquid combustion residues), in particular contained in exhaust gases.
  • preprocessing data i.e. the underlying images
  • the aim is to retain information that is important for classification and, if necessary, to remove information that potentially has less characteristic features.
  • the second aspect is particularly relevant when the data basis is small, as otherwise so-called overfitting often occurs. This is a phenomenon in which an algorithm makes decisions based on features in the training data that are not general features of the class to be recognized.
  • a method for preprocessing data presented in the present invention fulfills exactly this purpose by reducing the appearance of smoke in video sections (ie images) to characteristic information.
  • Previous algorithms for visual smoke detection can therefore only be used with significant limitations.
  • One aim of the present invention is to significantly reduce the minimum requirements for successful detection and to be able to significantly increase reliability.
  • pattern recognition of moving smoke edges is used for this purpose.
  • the present invention provides a way of making moving smoke edges visible using simple mathematical operations and using them to detect smoke. These can then be used as input for machine learning algorithms, particularly artificial neural networks. Compared to the use of individual images, these have proven to be much more suitable and have produced significantly better results in experiments on previously unseen data.
  • convolutional neural networks based on convolutions are one of the most promising approaches in automated image processing, as has been shown. Their functionality is based on the recognition of learned patterns. While clearly visible, dense smoke also shows typical patterns in individual images, thin, poorly lit smoke is Smoke is difficult or almost impossible to detect in individual images. However, it can typically still be identified by its characteristic movement. The patterns that can be recognized in the area of very thin smoke are therefore typically primarily those of the background.
  • grayscale images of the environment i.e. the environment that is being monitored, for example, and in which potentially present smoke is to be detected.
  • images e.g. from a video
  • images are obtained in color, so that, for example, several images, in particular color images, of the environment are initially provided, from which the several grayscale images can then be obtained by converting, in particular by reducing color information in the multiple images.
  • grayscale images are already provided directly, e.g. from a camera or surveillance camera, the conversion step can be omitted if necessary.
  • stacked grayscale images or grayscale images are then available.
  • the grayscale images can, for example, be those with 256 grayscale levels or gray values, but in principle other types of grayscale images can also be used, e.g. with more or fewer grayscale levels.
  • a background of the environment is then removed from the several grayscale images, and several smoke images are obtained (a smoke image is thus created by removing the background from a grayscale image).
  • Various methods can be used to extract or remove the background model.
  • One possibility would be a continuously updated background model, but a simple subtraction of a reference image, which has been obtained, for example, by averaging the several images or grayscale images, is also conceivable.
  • an area with smoke in the surrounding area is then determined. As already mentioned, this is done particularly effectively using a machine learning algorithm.
  • the machine learning algorithm receives the smoke images as input values and outputs the area with smoke as the initial value.
  • the machine learning algorithm includes, as also mentioned, in particular an artificial neural network, further in particular a convolutional neural network, which is particularly suitable for image analysis.
  • determining the area with smoke in the environment based on the plurality of smoke images comprises first determining edges of smoke in the smoke images. Based on the edges of smoke, the area with smoke in the environment is then determined. As has been shown, the images always have similar characteristic patterns for the smoke. These patterns correspond to the moving edges of smoke.
  • this form of representation with the grayscale images which can be obtained in particular by means of special preprocessing, as mentioned, has proven to be a particularly suitable input format for a deep learning-based algorithm (machine learning algorithm for detecting smoke). Emerging patterns of rising, spreading and partly turbulent movement of smoke have proven to be particularly characteristic for distinguishing smoke from other moving objects.
  • training data can be provided which comprise a plurality of smoke images of one or more different environments, wherein the plurality of smoke images have each been obtained from a plurality of grayscale images of the environment after removing a background.
  • the training data can in particular also comprise annotated smoke images or images, i.e. images for which it is noted whether or that smoke is present.
  • the machine learning algorithm is then adapted based on the training data in such a way that the machine learning algorithm determines an area with smoke in the respective environment based on the respective plurality of smoke images. This is therefore in particular a "supervised learning" approach.
  • the training therefore relates to a process consisting of a fed forward step and a backpropagation step.
  • a computing unit according to the invention e.g. a computer or a control unit of a surveillance camera, is set up, in particular in terms of programming, to carry out a method according to the invention.
  • a machine-readable storage medium is provided with a computer program stored on it as described above.
  • Suitable storage media or data carriers for providing the computer program are in particular magnetic, optical and electrical storage devices, such as hard disks, flash memories, EEPROMs, DVDs, etc.
  • Figure 1 shows schematically an environment in which a method according to the invention can be carried out.
  • Figure 2 shows schematically a sequence of a method according to the invention in a preferred embodiment.
  • Figure 3 shows schematically a sequence of a method according to the invention in a further preferred embodiment.
  • Figure 1 schematically shows an environment 100 in which a method according to the invention can be carried out.
  • two objects 110 and 112 are shown as examples, as well as smoke 114, which can develop in the environment 100, for example due to a fire.
  • a surveillance camera 120 with a control or computing unit 122 is shown as an example, by means of which the environment 100 can be monitored.
  • a remote server or computer 130 is shown as an example (this can represent a so-called cloud, for example), which can be connected to the surveillance camera 120 or the control or computing unit 122 there in a data-transmitting manner, e.g. wirelessly (as indicated) or otherwise).
  • the surveillance camera 120 While monitoring the environment 100, the surveillance camera 120 generates video data, which in turn also includes individual images that are captured one after the other. By analyzing these images, potential smoke in the environment, as indicated by 114, can now be detected.
  • Figure 2 shows a schematic sequence of a method according to the invention in a preferred embodiment. Such a method can run completely or partially, e.g. in the control or computing unit 122 of the surveillance camera 120 or in the server or computer 130 or divided between both.
  • a step 200 several images 201, 202, 203, in particular color images, of the environment are initially provided. These can have been captured using the surveillance camera; in particular, these images can also have been extracted from video data from the surveillance camera. Although three images 201, 202, 203 are shown here as an example, more than three images or possibly just two images can be used.
  • these multiple images 201, 202, 203 are converted into multiple (corresponding) grayscale images 221, 222, 223; this can be done, for example, by reducing color information in the multiple images 201, 202, 203. These multiple grayscale images 221, 222, 223 are then provided in step 220.
  • a background 231 is then removed from each of the multiple grayscale images 221, 222, 223.
  • a background or a background image
  • Such a background can be obtained, for example, from the multiple images 201, 202, 203 or the multiple grayscale images 221, 222, 223, e.g. by averaging or the like.
  • multiple smoke images 241, 242, 243 are obtained from the multiple grayscale images 221, 222, 223.
  • These smoke images 241, 242, 243 then only contain or can be seen the smoke, since this does not belong to the background and therefore nothing has been removed.
  • an area 251 with smoke in the surrounding area is then determined based on the smoke images 241, 242, 243.
  • edges of smoke in the smoke images 241, 242, 243 can be recognized using pattern recognition and tracked across the smoke images.
  • An edge is designated as 245 in smoke image 243 as an example. This means that the area 251 with smoke can be determined based on the edges of smoke. If an area with smoke has been determined - and smoke has thus been detected - an alarm can be triggered or another measure can be initiated.
  • a machine learning algorithm to determine the area with smoke in the environment, and particularly preferably a convolutional neural network.
  • a machine learning algorithm is shown schematically in Figure 2 as an example and is designated 248.
  • the machine learning algorithm 248 receives the smoke images 241, 242, 243 as input values, recognizes the area with smoke based on this and outputs this area 251 as an output value.
  • the input for the conversion can be, for example, several images taken at different times by a stationary video or surveillance camera. If necessary, the color information of the input images is then reduced. This is followed by, for example, a simple subtraction of the background. It was particularly recognized that a targeted reduction of the input information (only grayscale images instead of color images) enables an improved detection result of neural networks on unseen data.
  • RGB images i.e. color images
  • a detection rate of about 50% with a false detection rate of about 25% is achieved
  • a detection rate of about 75% with a false detection rate of only about 2% can be achieved.
  • Figure 3 schematically shows a sequence of a method according to the invention in a further preferred embodiment, namely a training of a machine learning algorithm, as it can be used - especially after training - to detect smoke in images of an environment, as was explained in more detail with reference to Figure 2, for example.
  • training data 302 is first provided in step 300.
  • the training data 302 comprises several smoke images of one or more different environments (i.e., if there are several environments, several smoke images should be used for each environment).
  • the several smoke images are in turn each obtained from several grayscale images of the environment after removing a background, i.e., e.g., preprocessed as explained above.
  • grayscale images can be, for example, in the form explained and shown in relation to Figure 2; however, it is understood that a significantly higher number of such grayscale images and in particular of different environments is appropriate.
  • the training data 302 may include appropriately annotated images.
  • a machine learning algorithm 312 is then adapted based on the training data 302. This is done in such a way that the machine learning algorithm 312 determines an area with smoke in the respective environment based on the respective multiple smoke images. In this case, for example, weights or so-called neurons (or general parameters) of the machine learning algorithm are adapted, i.e. changed if necessary. In this way, a trained or machine learning algorithm 322 is obtained, which can be made available for further use in a step 320.
  • the training of the machine learning algorithm can be carried out, for example, on a suitable computer, e.g. on the server or computer 130 as shown in Figure 1.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Fire-Detection Mechanisms (AREA)
  • Image Analysis (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zum Erkennen von Rauch in Bildern einer Umgebung, umfassend: Bereitstellen (220) mehrerer Graustufenbilder (221, 222, 223) der Umgebung; Entfernen (230) eines Hintergrundes der Umgebung aus den mehreren Graustufenbildern, um mehrere Rauchbilder (241, 242, 243) zu erhalten; und Bestimmen (240) eines Bereichs (251) mit Rauch in der Umgebung basierend auf den mehreren Rauchbildern.

Description

Beschreibung
Titel
Verfahren zum Erkennen von Rauch in Bildern einer Umgebung und Verfahren zum Trainieren eines Maschinenlernalgorithmus
Die vorliegende Erfindung betrifft ein Verfahren zum Erkennen von Rauch in Bildern einer Umgebung und ein Verfahren zum Trainieren eines Maschinenlernalgorithmus sowie eine Recheneinheit und ein Computerprogramm zu deren Durchführung.
Hintergrund der Erfindung
Eine Erkennung von Brand oder Rauch in einer Umgebung ist in vielen Fällen eine sicherheitsrelevante Aufgabe. Hierzu können z.B. videobasierte Systeme eingesetzt werden, die Rauch in Bildern der Umgebung erkennen. Aus der DE 10 2014219 829 A1 ist z.B. eine Möglichkeit bekannt, anhand einer Bildfolge von Bildern einer Umgebung Rauch zu erkennen.
Offenbarung der Erfindung
Erfindungsgemäß werden ein Verfahren zum Erkennen von Rauch in Bildern einer Umgebung und ein Verfahren zum Trainieren eines Maschinenlernalgorithmus sowie eine Recheneinheit und ein Computerprogramm zu deren Durchführung mit den Merkmalen der unabhängigen Patentansprüche vorgeschlagen. Vorteilhafte Ausgestaltungen sind Gegenstand der Unteransprüche sowie der nachfolgenden Beschreibung.
Die Erkennung von Rauch in Videodaten bzw. Bildern (die in Videodaten enthalten sind) können sowohl einzelbild-basierte Methoden als auch Methoden mit zeitlicher Verarbeitung genutzt werden. Eine zeitliche Information, die sich in den Bildern widerspiegelt, hat sich dabei als von Vorteil herausgestellt. Eine Möglichkeit zur Erkennung von Rauch kann dabei z.B. in großen Teilen auf einer Bewegungsschätzung mittels optischen Flusses basieren. Für eine erfolgreiche Bewegungsschätzung kann dabei eine ausreichende Rauchdichte von Bedeutung sein. Die kontinuierliche Bewegung von Rauch kann damit z.B. als eine zentrales Merkmal bei der Erkennung von Rauch in Bildern genutzt werden. Die Bewegungsschätzung erfolgt dabei in der Regel über die Berechnung des optischen Flusses. Dieser detektiert dann das typischerweise aufwärtsgerichtete Bewegungsverhalten von Rauch. Um eine Bewegung durch optischen Fluss festzustellen, muss der Rauch jedoch hinreichend dicht sein.
Die weitere Verifikation potenzieller Rauchkandidaten, d.h. von Bereichen in Bildern, die potentiell Rauch zeigen, kann über Farbmerkmale erfolgen. Auch hier sind in der Regel gewisse Anforderungen für eine sichere Detektion zu erfüllen.
Unter Rauch kann insbesondere ein Gemisch aus einer festen in einer gasförmigen Phase verstanden werden. Unter Rauch kann ferner ein durch Verbrennung entstehendes Aerosol in feinstverteilter Form aus Partikeln, wie Staub- oder Asche-partikel und /oder Flüssigkeitströpfchen (Wasser, Öldämpfe, Säuredämpfe, flüssige Verbrennungsrückstände), insbesondere im Abgas enthalten, verstanden werden.
Wie sich gezeigt hat, kann eine Vorverarbeitung von Daten (d.h. der zugrundeliegenden Bildern) ein wichtiger Schritt bei der Entwicklung eines auf maschinellem Lernen basierenden Algorithmus (Maschinenlernalgorithmus) sein. Hierbei geht es darum, zur Klassifikation wichtige Informationen beizubehalten und Informationen, die potenziell weniger charakteristische Merkmale aufweisen bei Bedarf zu entfernen. Speziell bei einer kleinen Datengrundlage ist der zweite Gesichtspunkt relevant, da anderenfalls häufig ein sog. Overfitting entsteht. Als solches wird ein Phänomen bezeichnet, bei dem ein Algorithmus anhand von Merkmalen in den Trainingsdaten, die keine allgemeinen Merkmale der zu erkennenden Klasse sind, Entscheidungen trifft. Ein im Rahmen der vorliegenden Erfindung vorgestelltes Verfahren zur Vorverarbeitung von Daten erfüllt genau diesen Zweck, indem es die Erscheinung von Rauch in Videoabschnitten (d.h. Bildern) auf charakteristische Informationen reduziert.
Wie erwähnt, wurden bisherige Untersuchungen von Detektionsalgorithmen meist auf deutlich sichtbaren Rauch beschränkt. In einer typischen Anwendung ist die Sichtbarkeit von Rauch durch die Dichte des Rauches sowie verschiedener Umwelteinflüsse, wie die Beleuchtung, limitiert. Zusätzlich können gleichförmig bewegte Objekte wie Förderbänder, Kräne oder Hebebühnen zu Fehlalarmen führen, sofern sie gewisse Farbkriterien erfüllen. Zudem sind Farbinformationen im Bereich dünnen Rauches in aller Regel überlagert mit Farbinformationen des Hintergrundes. Diese spezielle Eigenschaft von Rauch erschwert eine erfolgreiche Detektion anhand von Farbmerkmalen signifikant.
Bisherige Algorithmen zur visuellen Rauchdetektion lassen sich also nur mit deutlichen Einschränkungen verwenden. Ein Ziel der vorliegenden Erfindung ist es hingegen, die minimalen Anforderungen für erfolgreiche Detektionen deutlich reduzieren, sowie die Verlässlichkeit deutlich erhöhen zu können. Hierzu wird insbesondere eine Mustererkennung bewegter Rauchkanten genutzt.
Die vorliegende Erfindung stellt dabei eine Möglichkeit bereit, wie bewegte Rauchkanten mittels einfacher mathematischer Operationen sichtbar gemacht und zur Erkennung von Rauch verwendet werden können. Diese können dann insbesondere auch als Eingabe für Maschinenlernalgorithmen, insbesondere künstliche Neuronale Netzwerke verwendet werden. Verglichen mit dem Nutzen von Einzelbildern erwiesen diese sich als deutlich geeigneter und lieferten in Experimenten deutlich bessere Ergebnisse auf bisher ungesehenen Daten.
Insbesondere auf Faltungen basierende „Convolutional Neural Networks“, also faltende neuronale Netze, sind einer der vielversprechendsten Ansätze in der automatisierten Bildverarbeitung, wie sich gezeigt hat. Ihre Funktionalität basiert auf der Wiedererkennung gelernter Muster. Während gut sichtbarer, dichter Rauch typische Muster auch in Einzelbildern vorweist, ist dünner, schlecht beleuchteter Rauch in Einzelbildern schwierig bzw. kaum zu erkennen. Typischerweise lässt sich dieser allerdings trotzdem anhand seiner charakteristischen Bewegung erkennen. Die zu erkennenden Muster im Bereich von sehr dünnem Rauch sind also typischerweise primär die des Hintergrundes.
Im Rahmen der vorliegenden Erfindung wird nun vorgeschlagen, dass mehrere Graustufenbilder der Umgebung, also der Umgebung, in die z.B. überwacht wird und in der potentiell vorhandener Rauch erkannt werden soll, bereitgestellt werden. Typischerweise werden Bildern (z.B. von einem Video) in Farbe erhalten, sodass also z.B. zunächst mehrere Bilder, insbesondere Farbbilder, der Umgebung bereitgestellt werden, aus denen dann Umwandeln, insbesondere mittels Reduzierung von Farbinformationen in den mehreren Bildern, die mehreren Graustufenbilder erhalten werden können. Sofern bereits direkt Graustufenbilder z.B. von einer Kamera oder Überwachungskamera bereitgestellt werden, kann auf den Schritt des Umwandelns ggf. verzichtet werden. Letztlich liegen dann gestapelte Grauwertbilder bzw. Graustufenbilder vor. Bei den Graustufenbildern kann es sich z.B. um solche mit 256 Graustufen bzw. Grauwerten handeln, grundsätzlich können aber auch andere Arten von Graustufenbildern verwendet werden, also z.B. mit mehr oder weniger Graustufen.
Aus den mehreren Graustufenbildern wird dann ein Hintergrund der Umgebung entfernt, es werden mehrere Rauchbilder erhalten (ein Rauchbild entsteht also durch Entfernung des Hintergrunds aus einem Graustufenbild). Zur Extraktion bzw. Entfernung des Hintergrund Models können verschiedene Methoden verwendet werden. Denkbar wäre z.B. ein kontinuierlich aktualisiertes Hintergrundmodell, aber auch eine einfache Subtraktion eines Referenzbildes, das z.B. durch Mittelung aus den mehreren Bilder bzw. Graustufenbildern erhalten worden ist, ist denkbar. Hierzu sei z.B. auch auf die DE 10 2014 219 829 A1 verwiesen.
Basierend auf den mehreren Rauchbildern wird dann ein Bereich mit Rauch in der Umgebung bestimmt. Besonders zweckmäßig erfolgt dies, wie schon erwähnt, unter Verwendung eines Maschinenlernalgorithmus. Dabei erhält der Maschinenlernalgorithmus die Rauchbilder als Eingangswerte und gibt den Bereich mit Rauch als Ausgangswert aus. Der Maschinenlernalgorithmus umfasst dabei, wie ebenfalls erwähnt, insbesondere ein künstliches neuronales Netz, weiter insbesondere ein faltendes neuronales Netz, das für die Bildanalyse besonders geeignet ist.
Bevorzugt umfasst das Bestimmen des Bereichs mit Rauch in der Umgebung basierend auf den mehreren Rauchbildern, dass zunächst Kanten von Rauch in den Rauchbildern bestimmt werden. Basierend auf den Kanten von Rauch wird dann der Bereich mit Rauch in der Umgebung bestimmt. Wie sich gezeigt hat, weisen die Bilder immer ähnliche charakteristische Muster für den Rauch auf. Diese Muster entsprechen den bewegten Kanten von Rauch.
Außerdem hat sich diese Darstellungsform mit den Graustufenbildern, die insbesondere im Wege besonderer Vorverarbeitung, wie erwähnt, erhalten werden können, als besonders geeignetes Eingabeformat für einen Deep-Learning-ba- sierten Algorithmus (Maschinenlernalgorithmus zur Erkennung von Rauch herausgestellt. Entstehenden Muster von aufsteigenden, sich ausbreitenden und teils turbulenten Bewegung von Rauch haben sich hier als besonders charakteristisch gezeigt, um Rauch von anderen bewegten Objekten abzugrenzen.
Zum Trainieren eines solchen Maschinenlernalgorithmus bzw. künstlichen neuronalen Netzes können Trainingsdaten bereitgestellt werden, die mehrere Rauchbilder jeweils einer oder mehrerer verschiedener Umgebungen umfassen, wobei die mehreren Rauchbilder jeweils aus mehreren Graustufenbildern der Umgebung nach Entfernung eines Hintergrunds erhalten worden sind. Hier kann, wie erwähnt, ggf. wiederum die erwähnte Vorverarbeitung (Umwandlung) erforderlich sein. Die Trainingsdaten können insbesondere auch annotierte Rauchbilder bzw. Bilder umfassen, d.h. Bilder, zu denen vermerkt ist, ob oder dass dort Rauch vorhanden ist. Der Maschinenlernalgorithmus wird dann basierend auf den Trainingsdaten derart angepasst, dass der Maschinenlernalgorithmus einen Bereich mit Rauch in der jeweiligen Umgebung basierend auf den jeweiligen mehreren Rauchbildern bestimmt. Es handelt sich also insbesondere um einen „supervised learning“ Ansatz (überwachtes Lernen). Das Training bezieht sich also auf einen Prozess aus f“eed forward step“ und „backpropagation step“. Eine erfindungsgemäße Recheneinheit, z.B. ein Computer oder eine Steuereinheit einer Überwachungskamera, ist, insbesondere programmtechnisch, dazu eingerichtet, ein erfindungsgemäßes Verfahren durchzuführen.
Auch die Implementierung eines erfindungsgemäßen Verfahrens in Form eines Computerprogramms oder Computerprogrammprodukts mit Programmcode zur Durchführung aller Verfahrensschritte ist vorteilhaft, da dies besonders geringe Kosten verursacht, insbesondere wenn ein ausführendes Steuergerät noch für weitere Aufgaben genutzt wird und daher ohnehin vorhanden ist. Schließlich ist ein maschinenlesbares Speichermedium vorgesehen mit einem darauf gespeicherten Computerprogramm wie oben beschrieben. Geeignete Speichermedien bzw. Datenträger zur Bereitstellung des Computerprogramms sind insbesondere magnetische, optische und elektrische Speicher, wie z.B. Festplatten, Flash- Speicher, EEPROMs, DVDs u.a.m. Auch ein Download eines Programms über Computernetze (Internet, Intranet usw.) ist möglich. Ein solcher Download kann dabei drahtgebunden bzw. kabelgebunden oder drahtlos (z.B. über ein WLAN- Netz, eine 3G-, 4G-, 5G- oder 6G-Verbindung, etc.) erfolgen.
Weitere Vorteile und Ausgestaltungen der Erfindung ergeben sich aus der Beschreibung und der beiliegenden Zeichnung.
Die Erfindung ist anhand eines Ausführungsbeispiels in der Zeichnung schematisch dargestellt und wird im Folgenden unter Bezugnahme auf die Zeichnung beschrieben.
Kurze Beschreibung der Zeichnungen
Figur 1 zeigt schematisch eine Umgebung, bei der ein erfindungsgemäßes Verfahren durchführbar ist.
Figur 2 zeigt schematisch einen Ablauf eines erfindungsgemäßen Verfahrens in einer bevorzugten Ausführungsform. Figur 3 zeigt schematisch einen Ablauf eines erfindungsgemäßen Verfahrens in einer weiteren bevorzugten Ausführungsform.
Ausführungsform(en) der Erfindung
In Figur 1 ist schematisch eine Umgebung 100 gezeigt, bei der ein erfindungsgemäßes Verfahren durchführbar ist. In der Umgebung sind beispielhaft zwei Objekte 110 und 112 gezeigt, sowie Rauch 114, der sich z.B. aufgrund eines Brandes in der Umgebung 100 entwickeln kann.
Weiterhin ist beispielhaft eine Überwachungskamera 120 mit einer Steuer- oder Recheneinheit 122 gezeigt, mittels welcher die Umgebung 100 überwacht werden kann. Außerdem ist beispielhaft ein entfernter Server oder Computer 130 gezeigt (dieser kann z.B. eine sog. Cloud repräsentieren), der datenübertragend, z.B. drahtlos (wie angedeutet) oder auch anderweitig) mit der Überwachungskamera 120 bzw. dort der Steuer- oder Recheneinheit 122 verbunden sein kann.
Die Überwachungskamera 120 erzeugt während der Überwachung der Umgebung 100 Videodaten, die wiederum auch einzelne Bilder umfassen, die zeitlich hintereinander erfasst werden bzw. sind. Durch Analyse dieser Bilder soll nun potentieller Rauch in der Umgebung, wie mit 114 angedeutet, erkannt werden.
In Figur 2 ist schematisch ein Ablauf eines erfindungsgemäßen Verfahrens in einer bevorzugten Ausführungsform dargestellt. Ein solches Verfahren kann, vollständig oder teilweise, z.B. in der Steuer- oder Recheneinheit 122 der Überwachungskamera 120 oder in dem Server oder Computer 130 oder aufgeteilt auf beides ablaufen.
In einem Schritt 200 werden zunächst mehrerer Bilder 201 , 202, 203, insbesondere Farbbilder, der Umgebung bereitgestellt. Diese können mittels der Überwachungskamera erfasst worden sein; insbesondere können diese Bilder auch aus Videodaten der Überwachungskamera extrahiert worden sein. Wenngleich hier beispielhaft drei Bilder 201 , 202, 203 gezeigt sind, können auch mehr als drei Bilder oder ggf. auch nur zwei Bilder verwendet werden. In einem Schritt 210 werden diese mehreren Bilder 201 , 202, 203 in mehrere (entsprechende) Graustufenbilder 221 , 222, 223 umgewandelt; dies kann z.B. mittels Reduzierung von Farbinformationen in den mehreren Bildern 201 , 202, 203 erfolgen. Diese mehreren Graustufenbilder 221 , 222, 223 werden in Schritt 220 dann bereitgestellt.
In einem Schritt 230 werden von den mehreren Graustufenbilder 221 , 222, 223 dann jeweils ein Hintergrund 231 entfernt. Ein solcher Hintergrund (oder ein Hintergrundbild) kann, z.B. aus den mehreren Bildern 201 , 202, 203 oder aber den mehreren Graustufenbildern 221 , 222, 223 erhalten werden, z.B. durch Mittelung oder dergleichen. Durch das Entfernen des Hintergrunds werden aus den mehreren Graustufenbildern 221 , 222, 223 mehrere Rauchbilder 241 , 242, 243 erhalten. In diesen Rauchbildern 241 , 242, 243 ist dann nur noch der Rauch enthalten bzw. zu sehen, da dieser nicht zum Hintergrund gehört und daher nichts entfernt worden ist.
In einem Schritt 250 wird dann basierend auf den Rauchbildern 241 , 242, 243 ein Bereich 251 mit Rauch in der Umgebung bestimmt. Hierzu können z.B. können Kanten von Rauch in den Rauchbildern 241 , 242, 243 mittels Mustererkennung erkannt und über die Rauchbilder hinweg verfolgt werden. Eine Kante ist beispielhaft in Rauchbild 243 mit 245 bezeichnet. Damit kann also der Bereich 251 mit Rauch basierend auf den Kanten von Rauch bestimmt werden. Wenn ein Bereich mit Rauch bestimmt - und damit Rauch erkannt - worden ist, so kann z.B. ein Alarm ausgelöst oder eine sonstige Maßnahme eingeleitet werden.
Wie erwähnt, ist es besonders bevorzugt, für das Bestimmen des Bereichs mit Rauch in der Umgebung einen Maschinenlernalgorithmus zu verwenden, und zwar besonders bevorzugt ein faltendes neuronales Netz (Convolutional Neural Network). Ein solcher Maschinenlernalgorithmus ist in Figur 2 beispielhaft und schematisch dargestellt und mit 248 bezeichnet. Der Maschinenlernalgorithmus 248 erhält die Rauchbilder 241 , 242, 243 als Eingangswerte, erkennt basierend darauf den Bereich mit Rauch und gibt diesen Bereich 251 als Ausgangswert aus. Im Rahmen der vorliegenden Erfindung ist also eine Hervorhebung von Rauchkantenmustern insbesondere mit Hilfe einer speziellen Vorverarbeitung - der Umwandlung in Graustufenbilder - möglich. Als Eingabe für die Umwandlung werden z.B. mehrere in einem zeitlichen Abstand aufgenommene Bilder einer stationären Video- oder Überwachungskamera verwendet. Dann werden bei Bedarf die Farbinformation der Eingabe-Bilder reduziert. Dann folgt eine z.B. einfache Subtraktion des Hintergrundes. Es wurde hierbei insbesondere erkannt, dass eine gezielte Reduktion der Eingabeinformation (nur Graustufenbilder anstelle von Farbbildern) ein verbessertes Detektions-Ergebnis neuronaler Netze auf ungesehenen Daten ermöglicht.
Während basierend auf RGB-Bildern (also Farbbildern) z.B. eine Detektionsrate von ca. 50% bei einer Falscherkennungsrate von ca. 25% liefert, kann mit den vorgeschlagenen Graustufenbildern eine Detektionsrate von ca. 75% bei einer Falscherkennungsrate von nur ca. 2% erreicht werden.
In Figur 3 ist schematisch ein Ablauf eines erfindungsgemäßen Verfahrens in einer weiteren bevorzugten Ausführungsform dargestellt, und zwar ein Trainieren eines Maschinenlernalgorithmus, wie er - insbesondere nach dem Trainieren - zum Erkennen von Rauch in Bildern einer Umgebung verwendet werden kann, wie dies z.B. in Bezug auf Figur 2 näher erläutert wurde.
Hierzu werden zunächst in Schritt 300 Trainingsdaten 302 bereitgestellt. Die Trainingsdaten 302 umfassen dabei mehrere Rauchbilder jeweils einer oder mehrerer verschiedener Umgebungen (d.h. bei mehreren Umgebungen sollten je Umgebung mehrere Rauchbilder verwendet werden). Die mehreren Rauchbilder wiederum sind hierbei jeweils aus mehreren Graustufenbildern der Umgebung nach Entfernung eines Hintergrunds erhalten worden, also z.B. wie vorstehend erläutert vorverarbeitet worden.
Diese Graustufenbilder können z.B. in der Art vorliegen, wie sie auch in Bezug auf Figur 2 erläutert und gezeigt sind; es versteht sich jedoch, dass zum Trainieren eine deutlich höhere Anzahl solcher Graustufenbilder und insbesondere auch von verschiedenen Umgebungen zweckmäßig ist. Außerdem können die Trainingsdaten 302 entsprechend annotierte Bilder umfassen.
In einem Schritt 310 wird ein Maschinenlernalgorithmus 312 dann angepasst, und zwar basierend auf den Trainingsdaten 302. Dies erfolgt derart, dass der Maschinenlernalgorithmus 312 einen Bereich mit Rauch in der jeweiligen Umgebung basierend auf den jeweiligen mehreren Rauchbildern bestimmt. Hierbei werden z.B. Gewichte oder sog. Neuronen (oder allgemein Parameter) des Maschinenlernalgorithmus angepasst, also ggf. verändert. Auf diese Weise wird ein trainierter bzw. Maschinenlernalgorithmus 322 erhalten, der in einem Schritt 320 zur weiteren Verwendung bereitgestellt werden kann.
Das Trainieren des Maschinenlernalgorithmus kann z.B. auf einem geeigneten Computer durchgeführt werden, z.B. auch auf dem Server bzw. Computer 130 wie in Figur 1 gezeigt.

Claims

Ansprüche
1. Verfahren zum Erkennen von Rauch in Bildern einer Umgebung, umfassend:
Bereitstellen (220) mehrerer Graustufenbilder (221 , 222, 223) der Umgebung;
Entfernen (230) eines Hintergrundes der Umgebung aus den mehreren Graustufenbildern, um mehrere Rauchbilder (241 , 242, 243) zu erhalten; und Bestimmen (240) eines Bereichs (251) mit Rauch (114) in der Umgebung basierend auf den mehreren Rauchbildern.
2. Verfahren nach Anspruch 1 , weiterhin umfassend:
Bereitstellen (200) mehrerer Bilder (201 , 202, 203), insbesondere Farbbilder, der Umgebung; und
Umwandeln (210) der mehreren Bilder in die mehreren Graustufenbilder, insbesondere mittels Reduzierung von Farbinformationen in den mehreren Bildern, um die mehreren Graustufenbilder bereitzustellen.
3. Verfahren nach Anspruch 1 oder 2, wobei das Bestimmen (240) des Bereichs mit Rauch in der Umgebung basierend auf den mehreren Rauchbildern unter Verwendung eines Maschinenlernalgorithmus (248) erfolgt, wobei der Maschinenlernalgorithmus die Rauchbilder als Eingangswerte erhält und den Bereich mit Rauch als Ausgangswert ausgibt.
4. Verfahren nach Anspruch 3, wobei der Maschinenlernalgorithmus (248) ein künstliches neuronales Netz, insbesondere ein faltendes neuronales Netz, umfasst.
5. Verfahren nach einem der Ansprüche 3 oder 4, wobei der Maschinenlernalgorithmus (248) mit Trainingsdaten (302), umfassend mehrere Rauchbilder jeweils einer oder mehrerer verschiedener Umgebungen, wobei die mehreren Rauchbilder jeweils aus mehreren Graustufenbildern der Umgebung nach Entfernung eines Hintergrunds erhalten worden sind, trainiert und daran angepasst ist.
6. Verfahren nach einem der vorstehenden Ansprüche, wobei das Bestimmen des Bereichs mit Rauch in der Umgebung basierend auf den mehreren Rauchbildern umfasst:
Bestimmen von Kanten (245) von Rauch in den Rauchbildern; und
Bestimmen des Bereichs mit Rauch in der Umgebung basierend auf den Kanten von Rauch.
7. Verfahren nach einem der vorstehenden Ansprüche, wobei die mehreren Graustufenbilder der Umgebung zu verschiedenen Zeiten, insbesondere gemäß einem vorgegebenen Zeitschema, erfassten Bildern entsprechen.
8. Verfahren zum Trainieren eines Maschinenlernalgorithmus (312) zum Erkennen von Rauch in Bildern einer Umgebung, umfassend:
Bereitstellen (300) von Trainingsdaten (302), umfassend mehrere Rauchbilder jeweils einer oder mehrerer verschiedener Umgebungen, wobei die mehreren Rauchbilder jeweils aus mehreren Graustufenbildern der Umgebung nach Entfernung eines Hintergrunds erhalten worden sind;
Anpassen (310) des Maschinenlernalgorithmus (312), basierend auf den Trainingsdaten (302), derart, dass der Maschinenlernalgorithmus einen Bereich mit Rauch in der jeweiligen Umgebung basierend auf den jeweiligen mehreren Rauchbildern bestimmt; und
Bereitstellen (320) des trainierten Maschinenlernalgorithmus (322).
9. Recheneinheit (122, 130), die dazu eingerichtet ist, alle Verfahrensschritte eines Verfahrens nach einem der vorstehenden Ansprüche durchzuführen.
10. Computerprogramm, das eine Recheneinheit (122, 130) dazu veranlasst, alle Verfahrensschritte eines Verfahrens nach einem der Ansprüche 1 bis 8 durchzuführen, wenn es auf der Recheneinheit (122, 130) ausgeführt wird.
11. Maschinenlesbares Speichermedium mit einem darauf gespeicherten Computerprogramm nach Anspruch 10.
EP24707167.3A 2023-03-03 2024-02-22 Verfahren zum erkennen von rauch in bildern einer umgebung und verfahren zum trainieren eines maschinenlernalgorithmus Pending EP4677566A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102023201938.8A DE102023201938A1 (de) 2023-03-03 2023-03-03 Verfahren zum Erkennen von Rauch in Bildern einer Umgebung und Verfahren zum Trainieren eines Maschinenlernalgorithmus
PCT/EP2024/054487 WO2024184080A1 (de) 2023-03-03 2024-02-22 Verfahren zum erkennen von rauch in bildern einer umgebung und verfahren zum trainieren eines maschinenlernalgorithmus

Publications (1)

Publication Number Publication Date
EP4677566A1 true EP4677566A1 (de) 2026-01-14

Family

ID=90054241

Family Applications (1)

Application Number Title Priority Date Filing Date
EP24707167.3A Pending EP4677566A1 (de) 2023-03-03 2024-02-22 Verfahren zum erkennen von rauch in bildern einer umgebung und verfahren zum trainieren eines maschinenlernalgorithmus

Country Status (3)

Country Link
EP (1) EP4677566A1 (de)
DE (1) DE102023201938A1 (de)
WO (1) WO2024184080A1 (de)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN120032222B (zh) * 2025-01-07 2025-10-28 深圳市富临厨房设备有限公司 用于油烟浓度检测模型的训练方法、系统及介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102014219829B4 (de) 2014-09-30 2026-02-19 Robert Bosch Gmbh Rauchdetektionsvorrichtung, Verfahren zur Detektion von Rauch sowie Computerprogramm
CN111368771A (zh) * 2020-03-11 2020-07-03 四川路桥建设集团交通工程有限公司 一种基于图像处理的隧道火灾预警方法、装置、计算机设备以及计算机可读存储介质

Also Published As

Publication number Publication date
WO2024184080A1 (de) 2024-09-12
DE102023201938A1 (de) 2024-09-05

Similar Documents

Publication Publication Date Title
EP3948688B1 (de) Training für künstliche neuronale netzwerke mit besserer ausnutzung der lern-datensätze
EP3977430B1 (de) Verfahren und vorrichtung zur detektion von rauch
EP3789926B1 (de) Verfahren zum erkennen einer adversarialen störung in eingangsdaten eines neuronalen netzes
DE102018128531A1 (de) System und Verfahren zum Analysieren einer durch eine Punktwolke dargestellten dreidimensionalen Umgebung durch tiefes Lernen
DE102019127282A1 (de) System und Verfahren zum Analysieren einer dreidimensionalen Umgebung durch tiefes Lernen
DE202017102381U1 (de) Vorrichtung zum Verbessern der Robustheit gegen "Adversarial Examples"
DE102019208735B4 (de) Verfahren zum Betreiben eines Fahrassistenzsystems eines Fahrzeugs und Fahrerassistenzsystem für ein Fahrzeug
WO2022122196A1 (de) Optische schienenwegerkennung
DE102021200643B3 (de) Verfahren zur Umfelderkennung für teilautonome oder autonome Fahrfunktionen eines Kraftfahrzeugs mittels eines neuronalen Netzes
DE102021204040A1 (de) Verfahren, Vorrichtung und Computerprogramm zur Erstellung von Trainingsdaten im Fahrzeug
EP0564858B1 (de) Verfahren zur Auflösung von Clustern bewegter Segmente
EP4677566A1 (de) Verfahren zum erkennen von rauch in bildern einer umgebung und verfahren zum trainieren eines maschinenlernalgorithmus
DE102022208083A1 (de) Trainieren eines neuronalen Netzwerks mit Hilfe von Wissensgraphen
EP3973466A1 (de) Verfahren zum funktionsspezifischen robustifizieren eines neuronalen netzes
DE102019211672A1 (de) Trainingsverfahren für ein künstliches neuronales Netzwerk
DE102019209228A1 (de) Verfahren und Vorrichtung zum Überprüfen der Robustheit eines künstlichen neuronalen Netzes
DE102021124649A1 (de) Verfahren und Vorrichtung zur Erzeugung von Bildern anhand von Szenegraphen
DE102018208481A1 (de) Abschätzen eines Verlaufs eines Schienenpfads
DE102020101911A1 (de) Computerimplementiertes Verfahren zum Trainieren eines künstlichen neuronalen Netzwerks, computerimplementiertes Verfahren zur visuellen Objekterkennung, Verfahren zum Steuern eines Kraftfahrzeugs, Computerprogramm sowie computerlesbares Speichermedium
WO2020233961A1 (de) Verfahren zum beurteilen einer funktionsspezifischen robustheit eines neuronalen netzes
WO2020233991A1 (de) Verfahren zum betreiben eines tiefen neuronalen netzes
DE102019219927A1 (de) Verfahren und Vorrichtung zum Erkennen einer Entfremdung einer Sensordatendomäne von einer Referenzdatendomäne
DE19834718C2 (de) Digitale Bildverarbeitung für ein Qualitätskontrollsystem
DE102022204415A1 (de) Verbesserung der domänenübergreifenden Few-Shot-Objektdetektion
EP4677567A1 (de) Verfahren zum erkennen von rauch und/oder flammen in einem bild einer umgebung und verfahren zum trainieren eines maschinenlernalgorithmus

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20251006

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC ME MK MT NL NO PL PT RO RS SE SI SK SM TR