DE102017105174B4

DE102017105174B4 - Method for generating training data for monitoring a source of danger

Info

Publication number: DE102017105174B4
Application number: DE102017105174.0A
Authority: DE
Inventors: Markus Hammes
Original assignee: Sick AG
Current assignee: Sick AG
Priority date: 2017-03-10
Filing date: 2017-03-10
Publication date: 2020-04-23
Anticipated expiration: 2037-03-11
Also published as: DE102017105174A1

Abstract

Verfahren zum Erzeugen von Trainingsdaten (22) für ein künstliches neuronales Netz (104), bei dem Bilddaten eines Überwachungsbereichs (16) einer Sicherheitsanwendung aufgenommen werden, wobei in der Sicherheitsanwendung eine Gefahrenquelle (14) in dem Überwachungsbereich (16) durch mindestens einen sicheren Sensor (10, 24) überwacht wird, der bei Erkennung einer gefährlichen Situation eine sicherheitsgerichtete Absicherung der Gefahrenquelle (14) auslöst, dadurch gekennzeichnet, dass die Bilddaten als Trainingsdaten (22) zusammen mit einer sicherheitstechnischen Bewertung gespeichert werden, wobei die Bilddaten als sicherheitskritisch oder nicht sicherheitskritisch bewertet werden, je nachdem, ob der sichere Sensor (10, 24) zum Zeitpunkt der Aufnahme der Bilddaten eine sicherheitsgerichtete Absicherung auslöst oder nicht.Method for generating training data (22) for an artificial neural network (104), in which image data of a monitoring area (16) of a security application are recorded, wherein in the security application a source of danger (14) in the monitoring area (16) by at least one secure sensor (10, 24) is monitored, which triggers a safety-related safeguarding of the danger source (14) when a dangerous situation is detected, characterized in that the image data are stored as training data (22) together with a safety-related assessment, the image data being critical or not are evaluated critically, depending on whether or not the safe sensor (10, 24) triggers a safety-related safeguard at the time the image data is recorded.

Description

Die Erfindung betrifft ein Verfahren zum Erzeugen von Trainingsdaten für ein künstliches neuronales Netz nach dem Oberbegriff von Anspruch 1 sowie einen entsprechenden optoelektronischen Sensor. Die Trainingsdaten entstehen aus Bilddaten eines Überwachungsbereichs einer Sicherheitsanwendung.The invention relates to a method for generating training data for an artificial neural network according to the preamble of claim 1 and a corresponding optoelectronic sensor. The training data arise from image data of a monitoring area of a security application.

Derartige Sicherheitsanwendungen dienen dazu, Personen vor Gefahrenquellen zu schützen, wie sie beispielsweise Maschinen im industriellen Umfeld darstellen. Die Maschine wird mit Hilfe von Sensoren überwacht, und wenn demnach eine Situation vorliegt, in der eine Person gefährlich nahe an die Maschine zu gelangen droht, wird eine geeignete Absicherungsmaßnahme ergriffen.Such safety applications serve to protect people from sources of danger, such as those that represent machines in an industrial environment. The machine is monitored with the help of sensors, and if there is a situation in which a person threatens to get dangerously close to the machine, a suitable security measure is taken.

Herkömmlich werden vor allem optoelektronische Sensoren wie Lichtgitter oder Laserscanner für eine sicherheitstechnische Überwachung eingesetzt. In jüngerer Zeit treten 3D-Kameras hinzu. Ein gängiges Absicherungskonzept sieht vor, dass Schutzfelder konfiguriert werden, die während des Betriebs der Maschine vom Bedienpersonal nicht betreten werden dürfen. Erkennt der Sensor einen unzulässigen Schutzfeldeingriff, etwa ein Bein einer Bedienperson, so löst er einen sicherheitsgerichteten Halt der Maschine aus. Andere Eingriffe in das Schutzfeld, beispielsweise durch statische Maschinenteile, können vorab als zulässig eingelernt werden. Oft sind den Schutzfeldern Warnfelder vorgelagert, wo Eingriffe zunächst nur zu einer Warnung führen, um den Schutzfeldeingriff und damit die Absicherung noch rechtzeitig zu verhindern und so die Verfügbarkeit der Anlage zu erhöhen. Es sind auch Alternativen zu Schutzfeldern bekannt, etwa darauf zu achten, dass zwischen Maschine und Person ein von der Relativbewegung abhängiger Mindestabstand eingehalten ist („speed and separation“).Traditionally, optoelectronic sensors such as light grids or laser scanners are primarily used for safety-related monitoring. 3D cameras have recently been added. A common security concept provides that protective fields are configured that operating personnel must not enter while the machine is in operation. If the sensor detects an impermissible protective field intervention, such as an operator's leg, it triggers a safety-related stop of the machine. Other interventions in the protective field, for example by static machine parts, can be taught in beforehand as permissible. Often, the protective fields are preceded by warning fields, where interventions initially only lead to a warning in order to prevent the protective field intervention and thus the protection in good time and thus increase the availability of the system. Alternatives to protective fields are also known, for example to ensure that a minimum distance dependent on the relative movement is maintained between the machine and the person ("speed and separation").

In der Sicherheitstechnik eingesetzte Sensoren müssen besonders zuverlässig arbeiten und deshalb hohe Sicherheitsanforderungen erfüllen, beispielsweise die Norm EN13849 für Maschinensicherheit und die Gerätenorm IEC61496 oder EN61496 für berührungslos wirkende Schutzeinrichtungen (BWS). Zur Erfüllung dieser Sicherheitsnormen sind eine Reihe von Maßnahmen zu treffen, wie sichere elektronische Auswertung durch redundante, diversitäre Elektronik, Funktionsüberwachung oder speziell Überwachung der Verschmutzung optischer Bauteile, insbesondere einer Frontscheibe, und/oder Vorsehen von einzelnen Testzielen mit definierten Reflexionsgraden, die unter den entsprechenden Scanwinkeln erkannt werden müssen.Sensors used in safety technology must work particularly reliably and therefore meet high safety requirements, for example the standard EN13849 for machine safety and the device standard IEC61496 or EN61496 for non-contact protective devices (ESPE). To meet these safety standards, a number of measures must be taken, such as secure electronic evaluation using redundant, diverse electronics, function monitoring or, in particular, monitoring the contamination of optical components, in particular a windscreen, and / or providing individual test targets with defined reflectance levels that fall under the corresponding ones Scanning angles must be recognized.

Prinzipiell wäre es wünschenswert, die aufwändigen Sicherheitssensoren durch übliche 2D-Kameras mit Bildauswertung zu ersetzen. Das würde die Hardwarekosten reduzieren, das Einrichten einer Sicherheitsanwendung vereinfachen und die Flexibilität erhöhen. Bislang scheitert dies aber daran, dass eine den Sicherheitsnormen entsprechende zuverlässige Bildauswertung allenfalls für Spezialfälle möglich ist, und dann auch nur unter erheblichen Aufwänden für die Entwicklung der Auswertungsverfahren und deren sicherheitstechnische Zulassung.In principle, it would be desirable to replace the complex security sensors with conventional 2D cameras with image evaluation. This would reduce hardware costs, simplify setting up a security application and increase flexibility. So far, however, this has failed due to the fact that reliable image evaluation corresponding to the safety standards is only possible for special cases, and then only with considerable effort for the development of the evaluation methods and their safety-related approval.

In den letzten Jahren wurden ganz unabhängig von der Sicherheitstechnik erhebliche Fortschritte auf dem Gebiet der künstlichen neuronalen Netze erzielt. Diese Technologie erreicht breite Anwendungsreife durch neue Architekturen der neuronalen Netze („Deep Learning“) und durch die stark gestiegene verfügbare Rechnerleistung insbesondere in Form von modernen Grafikprozessoren. Eine wichtige Herausforderung bei der Verwendung neuronaler Netze zur Situationsbewertung und Problemlösung ist die Notwendigkeit des Anlernens des neuronalen Netzes mit repräsentativen Trainingsdaten. Bevor das neuronale Netz die gestellte Aufgabe zuverlässig erledigen kann, muss es mit vergleichbaren Situationen und deren vorgegebener Bewertung konfrontiert werden. Anhand dieser Beispielszenen lernt das neuronale Netz das richtige Verhalten. Um einen repräsentativen Datensatz zugrunde legen zu können, müssen sehr viele solcher Szenen erfasst und manuell bewertet werden. Die Beschaffung dieser Datensätze stellt einen sehr großen Aufwand dar.In recent years, significant advances have been made in the field of artificial neural networks, regardless of security technology. This technology achieves broad application maturity through new architectures of neural networks ("deep learning") and through the greatly increased available computing power, especially in the form of modern graphics processors. An important challenge when using neural networks for situation assessment and problem solving is the need to teach the neural network with representative training data. Before the neural network can reliably carry out the task, it must be confronted with comparable situations and their predefined evaluation. The neural network learns the correct behavior based on these sample scenes. In order to be able to use a representative data set, a large number of such scenes must be recorded and evaluated manually. The procurement of these data sets represents a very great effort.

Die EP 2 527 868 B1 offenbart einen Laserscanner mit einem Speicher für Abschaltereignisse und einer Diagnoseeinheit, um sie zu klassifizieren. Das soll dabei helfen, die Verfügbarkeit zu erhöhen, indem immer wieder auftretende Abschaltungsursachen aufgrund der Diagnose beseitigt werden. Es wird die Möglichkeit erwähnt, ein neuronales Netz zu nutzen, um Abschaltereignisse mit möglichen Abhilfemaßnahmen zu verknüpfen. Die eigentliche Sicherheitsfunktion leistet jedoch stets der Laserscanner auf herkömmliche Weise, und die EP 2 527 868 B1 zielt auch an keiner Stelle darauf ab, daran etwas zu verändern.The EP 2 527 868 B1 discloses a laser scanner with a memory for shutdown events and a diagnostic unit to classify them. This should help to increase availability by eliminating recurring shutdown causes based on the diagnosis. The possibility of using a neural network is mentioned to link shutdown events with possible remedial measures. However, the actual safety function is always performed by the laser scanner in a conventional manner, and that EP 2 527 868 B1 at no point does it aim to change anything.

Es ist weiterhin bekannt, eine Kamera in einen Laserscanner zu integrieren, um den Scanbereich und die im realen Überwachungsbereich unsichtbaren virtuellen Schutzfelder zu visualisieren. Auch hier bleibt die eigentliche Sicherheitsfunktion allein die Domäne des Laserscanners.It is also known to integrate a camera into a laser scanner in order to visualize the scan area and the virtual protective fields which are invisible in the real monitoring area. Here, too, the actual safety function remains solely the domain of the laser scanner.

Die EP 2 770 459 B1 offenbart einen optoelektronischen Codeleser und ein Verfahren zur Diagnose und Verbesserung des Leseverhaltens. Dabei werden unter bestimmten Bedingungen Bilder eines Lesevorgangs und der Rahmenbedingungen gespeichert und in einer Datenbank gesammelt. Mit Hilfe der Datenbank kann dann anschließend ein verbesserter Decoder entwickelt werden. Mit Sicherheitstechnik hat die EP 2 770 459 B1 nichts zu tun.The EP 2 770 459 B1 discloses an optoelectronic code reader and a method for diagnosing and improving reading behavior. Under certain conditions, images of a reading process and the general conditions are saved and collected in a database. With the help of the database you can then create a improved decoder to be developed. With security technology EP 2 770 459 B1 Nothing to do.

Die US 5 091 780 A befasst sich mit einem trainierbaren Sicherheitssystem, bei dem mit einer Kamera Bilder eines überwachenden Bereichs aufgenommen werden. Die Bilder werden durch ein neuronales Netz bewertet, das entscheidet, ob in der jeweiligen Situation ein Alarm ausgelöst wird oder nicht. Um das neuronale Netz zu trainieren, werden dem System in einem Datenerfassungsschritt zunächst Situationen präsentiert, in denen ein Alarm ausgelöst werden soll, und anschließend Situationen, in denen kein Alarm ertönen soll.The US 5,091,780 A deals with a trainable security system in which images of a surveillance area are recorded with a camera. The images are evaluated by a neural network, which decides whether an alarm is triggered in the respective situation or not. In order to train the neural network, situations are first presented to the system in a data acquisition step in which an alarm is to be triggered, and then situations in which no alarm should sound.

Es ist daher Aufgabe der Erfindung, die sicherheitstechnische Überwachung zu verbessern.It is therefore an object of the invention to improve safety monitoring.

Diese Aufgabe wird durch ein Verfahren zum Erzeugen von Trainingsdaten für ein künstliches neuronales Netz nach Anspruch 1 sowie einen entsprechenden optoelektronischen Sensor nach Anspruch 10 gelöst. In einer Sicherheitsanwendung wird wie einleitend erläutert eine Gefahrenquelle von mindestens einem sicheren Sensor überwacht. Der Sensor löst bei Erkennung einer Gefahr eine sicherheitsgerichtete Reaktion aus. Aus dem Überwachungsbereich werden Bilddaten aufgenommen.This object is achieved by a method for generating training data for an artificial neural network according to claim 1 and a corresponding optoelectronic sensor according to claim 10. In a safety application, as explained in the introduction, a source of danger is monitored by at least one safe sensor. The sensor triggers a safety-related reaction when a danger is detected. Image data are recorded from the surveillance area.

Die Erfindung geht nun von dem Grundgedanken aus, die Bilddaten als Trainingsdaten für ein künstliches neuronales Netz zu nutzen. Für die Bilddaten liegt nämlich bereits eine hochwertige sicherheitstechnische Qualifizierung vor, denn der sichere Sensor hat in der den Bilddaten entsprechenden Situation eine klare Entscheidung getroffen, ob eine Gefahr vorliegt oder nicht. Als Trainingsdaten werden Bilddaten zusammen mit einer sicherheitstechnischen Bewertung gespeichert, die aus dem Verhalten des sicheren Sensors abgeleitet ist.The invention is based on the basic idea of using the image data as training data for an artificial neural network. A high-quality security qualification already exists for the image data, because the secure sensor has made a clear decision in the situation corresponding to the image data as to whether there is a danger or not. Image data are stored as training data together with a safety-related evaluation, which is derived from the behavior of the safe sensor.

Unter einer Sicherheitsanwendung wird hier weiter als der eigentliche Begriff auch ein Aufbau verstanden, in dem eine für eine Sicherheitsanwendung geeignete Anordnung mit mindestens einem sicheren Sensor Bilddaten eines Szenarios liefert, das einer Absicherungssituation entspricht, etwa eine Testanwendung. Es kommt für die Erfindung nicht auf eine tatsächlich bestehende Gefahr an, sondern auf nutzbare Bilddaten samt Bewertung.A security application is further understood here as the actual term, a structure in which an arrangement suitable for a security application with at least one secure sensor supplies image data of a scenario that corresponds to a security situation, for example a test application. For the invention, it is not a question of an actually existing danger, but of usable image data including evaluation.

Die Erfindung hat den Vorteil, dass ohnehin für Sicherheitsanwendungen eingesetzte, bereits vorhandene sichere Sensoren zusätzlich zur Erzeugung von klassifizierten Trainingsdatensätzen herangezogen werden. Somit entsteht automatisch ein Trainingsdatenpool, bei dem die Bewertung nicht eigens für das Training erfolgt, sondern lediglich die sicherheitstechnische Bewertung des sicheren Sensors genutzt wird, die für die Sicherheitsanwendung ohnehin stattfinden muss. So wird eine wichtige technische Voraussetzung für die Entwicklung sicherer 2D-Kamerassensoren auf Basis neuronaler Netze geschaffen. Es werden erhebliche Aufwände für die Beschaffung von Trainingsdaten und deren manuelle Klassifizierung eingespart.The invention has the advantage that already existing safe sensors used for safety applications are additionally used to generate classified training data sets. This automatically creates a training data pool, in which the evaluation is not made specifically for the training, but only the safety-related evaluation of the safe sensor, which must take place anyway for the safety application. This creates an important technical prerequisite for the development of secure 2D camera sensors based on neural networks. Significant efforts for the acquisition of training data and their manual classification are saved.

Die Bilddaten werden vorzugsweise als sicherheitskritisch oder nicht sicherheitskritisch bewertet, je nachdem, ob der sichere Sensor zum Zeitpunkt der Aufnahme der Bilddaten eine sicherheitsgerichtete Absicherung auslöst oder nicht. In den meisten Sicherheitsanwendungen ist die wichtigste Entscheidung binär, nämlich ob eine Absicherung erfolgen muss oder nicht. Daher ist zu erwarten, dass ein neuronales Netz auch besonders gut mit einem Trainingsdatensatz mit diesen beiden Ergebniskategorien eingelernt wird. Eine sicherheitsgerichtete Absicherung zum Zeitpunkt der Aufnahme der Bilddaten bedeutet nicht zwingend eine völlig zeitliche Übereinstimmun. Es darf Abweichungen zumindest im Rahmen der Zeitauflösung von sicherem Sensor und Bilddatenerfassung geben, und möglicherweise auch gezielte zusätzliche Abweichungen.The image data are preferably rated as security-critical or non-security-critical, depending on whether or not the secure sensor triggers a security-related safeguard at the time the image data is recorded. In most security applications, the most important decision is binary, namely whether security must be done or not. It can therefore be expected that a neural network can also be taught in particularly well with a training data set with these two result categories. A safety-related safeguarding at the time the image data is recorded does not necessarily mean that it is completely identical in time. There may be deviations, at least within the time resolution of the safe sensor and image data acquisition, and possibly there may also be targeted additional deviations.

In bevorzugter Weiterbildung werden noch Unterkategorien gebildet, die Trainingsdaten also in mehr Klassen unterteilt als nur in die beiden Kategorien sicherheitskritisch und nicht sicherheitskritisch. So kann eine besondere nicht sicherheitskritische Situation vorliegen, wenn zunächst ein Objekt in gefährlicher Nähe zur Gefahrenquelle erkannt wurde, die Gesamtsituation aber dennoch als unkritisch eingestuft wird, beispielsweise weil das Objekt zu klein ist oder sofort wieder verschwindet, wie im Falle eines Regentropfens. Solche Grenzfälle können sogar besonders instruktiv sein.In a preferred further development, subcategories are also formed, that is to say the training data are divided into more classes than just the two categories, safety-critical and not safety-critical. For example, a special situation that is not critical to safety can exist if an object in dangerous proximity to the source of danger was initially recognized, but the overall situation is nevertheless classified as uncritical, for example because the object is too small or immediately disappears, as in the case of a raindrop. Such borderline cases can even be particularly instructive.

Die als Trainingsdaten gespeicherten Bilddaten weisen bevorzugt zumindest ein Bild vor und/oder ein Bild nach dem Auslösen einer sicherheitsgerichteten Absicherung durch den sicheren Sensor auf. Obwohl denkbar ist, dass nur genau ein Bild lang eine transiente sicherheitskritische Situation bestand, werden in aller Regel die Bilder nach einem Abschaltereignis weiterhin eine sicherheitskritische Situation zeigen. Die Bilder vor dem Abschaltereignis umgekehrt stammen aus nicht sicherheitskritischen Situationen, da ja der sichere Sensor vorher nicht angesprochen hat. Solche Bilddaten entsprechen wiederum Grenzfällen, die für das Einlernen und eine hohe Zuverlässigkeit des neuronalen Netzes besonders wertvoll sein können.The image data stored as training data preferably has at least one image before and / or one image after a safety-related safeguard has been triggered by the safe sensor. Although it is conceivable that a transient safety-critical situation only existed for exactly one picture, the pictures will generally continue to show a safety-critical situation after a switch-off event. The pictures before the switch-off event, conversely, come from situations that are not critical to safety, since the safe sensor did not respond beforehand. Such image data in turn correspond to borderline cases that can be particularly valuable for the learning and high reliability of the neural network.

Der sichere Sensor nimmt bevorzugt auch die Bilddaten auf. Anders ausgedrückt ist der sichere Sensor selbst eine Kamera. Als sichere Kamera sind darin spezialisierte sichere Auswertungsverfahren implementiert. Ein Ziel des Speicherns von Trainingsdaten könnte dann sein, diese Auswertungsverfahren durch die generische Auswertung eines neuronalen Netzes zu ersetzen und damit Erweiterungen und Änderungen in der Sicherheitsanwendung zuzulassen. Ein anderes Beispiel ist eine sichere 3D-Kamera. Bei einer Stereoskopiekamera können die zweidimensionalen Ausgangsbilder als Bilddaten verwendet werden. Auch andere 3D-Kameras liefern ein zweidimensionales Bild, etwa eine TOF-Kamera (Time of Flight, Lichtlaufzeitverfahren), welche über die Phase des Empfangslichts die Entfernung schätzt und über die Intensität zugleich die Textur erfasst.The secure sensor preferably also records the image data. In other words, the safe sensor itself is a camera. Specialized secure evaluation methods are implemented as a secure camera. One goal of storing training data could then be this Replace evaluation procedures with the generic evaluation of a neural network and thus allow extensions and changes in the security application. Another example is a safe 3D camera. With a stereoscopic camera, the two-dimensional output images can be used as image data. Other 3D cameras also provide a two-dimensional image, such as a TOF camera (Time of Flight, time-of-flight method), which estimates the distance via the phase of the received light and simultaneously detects the texture via the intensity.

Die Bilddaten werden alternativ von einer zusätzlichen nicht sicheren Kamera aufgenommen. Es entsteht also eine Kombination aus einem sicheren Sensor für die Sicherheitsanwendung und einer nicht sicheren Kamera, welche den Überwachungsbereich zusätzlich beobachtet. Die zusätzliche Kamera kann zum Einrichten, Warten oder für sonstige Visualisierungszwecke ohnehin vorgesehen sein, aber auch speziell angebracht werden, um Trainingsdaten zu generieren. Die Mehrkosten für eine einfache Kamera sind im Vergleich zu den spezialisierten Sicherheitssensoren gering. Einige nicht abschließende Beispiele solcher Anordnungen sind ein sicherer Laserscanner mit einer nicht sicheren 3D-TOF-Kamera, allgemein ein Laserscanner oder Lichtgitter mit irgendeiner Kamera.Alternatively, the image data are recorded by an additional, non-secure camera. This creates a combination of a safe sensor for the safety application and a non-safe camera, which additionally monitors the surveillance area. The additional camera can be provided for setting up, waiting or for other visualization purposes anyway, but can also be attached specifically to generate training data. The additional costs for a simple camera are low in comparison to the specialized security sensors. Some non-exhaustive examples of such arrangements are a safe laser scanner with a non-safe 3D TOF camera, generally a laser scanner or light curtain with any camera.

Die Trainingsdaten werden vorzugsweise an einen Server übertragen. Server steht hier als Überbegriff für jegliches Steuerungs- oder Computernetzwerk unabhängig von der konkreten Hardware und Art der Übertragung. Das ermöglicht, die Trainingsdaten aus der Ferne abzurufen. Insbesondere können auf diese Weise zahlreiche Sicherheitsanwendungen über beliebige Entfernungen zum Aufbau einer Trainingsdatenbank beitragen („Cloud“). Dabei können nach Belieben produktive Sicherheitsanwendungen und Testaufbauten einbezogen werden. Es ist denkbar, die Trainingsdaten alternativ lokal zu speichern, beispielsweise auf einem Speicherchip der Kamera.The training data are preferably transmitted to a server. Server is an umbrella term for any control or computer network, regardless of the specific hardware and type of transmission. This enables the training data to be called up remotely. In particular, numerous security applications can contribute to the establishment of a training database over any distance (“cloud”). Productive safety applications and test setups can be included at will. Alternatively, it is conceivable to store the training data locally, for example on a memory chip of the camera.

Die erfindungsgemäß gewonnenen Trainingsdaten werden bevorzugt zum Trainieren eines künstlichen neuronalen Netzes genutzt. Das Einlernen wird durch die mit den Bilddaten abgespeicherte sicherheitstechnische Bewertung ermöglicht. Aufgrund des automatisierten Sammelns und Bewertens entsteht ein großer Pool von Trainingsdaten, der auch zum Einlernen komplexer Architekturen von neuronalen Netzen geeignet ist.The training data obtained according to the invention are preferably used for training an artificial neural network. Teaching is made possible by the safety-related evaluation stored with the image data. Due to the automated collection and evaluation, a large pool of training data is created, which is also suitable for teaching complex architectures of neural networks.

Das künstliche neuronale Netz wird bevorzugt zur Überwachung einer Gefahrenquelle darauf trainiert, anhand von Bilddaten des Überwachungsbereichs zu erkennen, ob eine gefährliche Situation vorliegt, die eine sicherheitsgerichtete Absicherung der Gefahrenquelle erfordert. Die Funktion des neuronalen Netzes ist also, die sicherheitstechnische Bewertung zu übernehmen. Dabei geht es aber nicht nur darum, die Funktion des sicheren Sensors zu reproduzieren. Vielmehr ist die Besonderheit eines neuronalen Netzes, auch Situationen bewerten zu können, die nicht explizit eingelernt werden. Eine 2D-Kamera mit dem eingelernten neuronalen Netz ist daher sogar flexibler einsetzbar als die einzelnen sicheren Sensoren, mit deren Hilfe der Trainingsdatenpool aufgebaut wurde. Die Entscheidung des neuronalen Netzes muss nicht binär sein, denn auch die Absicherungsmaßnahme kann abgestuft sein, etwa warnen, langsamer werden, ausweichen und nur als letzter Ausweg ein Nothalt.In order to monitor a source of danger, the artificial neural network is preferably trained to recognize on the basis of image data of the monitoring area whether a dangerous situation exists which requires safety-related protection of the source of danger. The function of the neural network is therefore to take over the safety-related assessment. It is not just about reproducing the function of the safe sensor. Rather, the peculiarity of a neural network is that it can also evaluate situations that are not explicitly taught. A 2D camera with the learned neural network can therefore be used even more flexibly than the individual safe sensors that were used to build up the training data pool. The decision of the neural network does not have to be binary, because the security measure can also be graduated, such as warning, slowing down, evading and an emergency stop only as a last resort.

Bevorzugt wird nach dem Trainieren anhand von Trainingsdaten die Zuverlässigkeit der Erkennung nachgewiesen. Der sicherheitstechnische Nachweis der Zuverlässigkeit ist ein wichtiger Schritt für eine sicherheitstechnische Zulassung. Das neuronale Netz muss sicherheitskritische Situationen mit einer Verlässlichkeit entsprechend einer angestrebten Sicherheitsstufe erkennen. Statt oder zumindest in Erleichterung eines mühsamen statistischen Nachweises vor Ort im Testbetrieb können Trainingsdaten verwendet werden. Dazu werden vorzugsweise andere Teile der Trainingsdaten herangezogen als für das Einlernen, um sich die Unabhängigkeit zu erhalten.After training, the reliability of the detection is preferably verified on the basis of training data. The safety-related proof of reliability is an important step for safety-related approval. The neural network must recognize security-critical situations with a reliability corresponding to a desired security level. Training data can be used instead of or at least to facilitate tedious statistical verification on site in test mode. For this purpose, different parts of the training data are preferably used than for the learning in order to maintain independence.

Der erfindungsgemäße optische Sensor ist vorzugsweise eine Kamera und dafür ausgebildet, Bilddaten aufzunehmen und daraus nach dem erfindungsgemäßen Verfahren Trainingsdaten zu erzeugen. Die Kamera weist dafür vorzugsweise eine Auswertungseinheit auf, womit eine externe Auswertungseinheit eingeschlossen sein soll. Außerdem ist vorzugsweise eine Schnittstelle vorgesehen, um die Trainingsdaten auszugeben, wobei die Schnittstelle eine Speicherkarte oder ein Anschluss für ein übergeordnetes System wie ein Netzwerk oder eine Cloud sein kann. Die Kamera kann selbst als sicherer Sensor in der Sicherheitsanwendung fungieren, oder sie wird mindestens mittelbar mit dem sicheren Sensor verbunden, um Informationen über dessen sicherheitstechnische Bewertung zu erhalten.The optical sensor according to the invention is preferably a camera and is designed to record image data and to generate training data therefrom using the method according to the invention. For this purpose, the camera preferably has an evaluation unit, which is to include an external evaluation unit. In addition, an interface is preferably provided in order to output the training data, wherein the interface can be a memory card or a connection for a higher-level system such as a network or a cloud. The camera itself can act as a safe sensor in the safety application, or it is at least indirectly connected to the safe sensor in order to receive information about its safety-related evaluation.

Die Erfindung wird nachstehend auch hinsichtlich weiterer Merkmale und Vorteile beispielhaft anhand von Ausführungsformen und unter Bezug auf die beigefügte Zeichnung näher erläutert. Die Abbildungen der Zeichnung zeigen in:

1 eine schematische Darstellung einer Sicherheitsanwendung mit einem Sicherheitslaserscanner und einer Kamera zur Erzeugung von bewerteten Trainingsdaten;
2 eine schematische Darstellung einer weiteren Sicherheitsanwendung mit einer Stereokamera als sicherem Sensor, die zugleich Bilddaten für die Erzeugung von bewerteten Trainingsdaten liefert;
3 ein beispielhaftes Ablaufdiagramm der Sicherheitsanwendung;
4 ein beispielhaftes Ablaufdiagramm der Erzeugung von Trainingsdaten unter Ausnutzung der sicherheitstechnischen Bewertung durch eine Sicherheitsanwendung; und
5 eine Blockdarstellung einer sicheren Kamera auf Basis eines künstlichen neuronalen Netzes.

The invention is also explained in more detail below with regard to further features and advantages by way of example using embodiments and with reference to the accompanying drawing. The illustrations in the drawing show:

1 a schematic representation of a safety application with a safety laser scanner and a camera for generating evaluated training data;
2nd a schematic representation of another security application with a stereo camera as a safe sensor, which at the same time Provides image data for the generation of evaluated training data;
3rd an exemplary flow diagram of the security application;
4th an exemplary flowchart of the generation of training data using the safety assessment by a safety application; and
5 a block diagram of a secure camera based on an artificial neural network.

5 zeigt eine Sicherheitsanwendung, in der eine sichere Kamera 100 einen Roboterarm 102 als Beispiel einer Gefahrenquelle überwacht. Die Kamera 100 kann als einfache 2D-Kamera ausgebildet sein, wobei vorzugsweise zur Einhaltung von Sicherheitsstandards Maßnahmen zur Selbstprüfung wie einleitend genannt beachtet sind. Als Auswertungseinheit fungiert ein künstliches neuronales Netz 104. Es ist darauf trainiert, sicherheitskritische Situationen zu erkennen und in solchen Fällen ein sicherheitsgerichtetes Abschaltsignal auszugeben. In der Darstellung ist die sichere Kamera 100 dafür mit einer Sicherheitssteuerung 106 verbunden, die ihrerseits mit dem Roboterarm 102 verbunden ist. Die Ansteuerung des Roboterarms 102 kann auch direkt durch die Kamera 100 erfolgen, ohne den Weg über eine Sicherheitssteuerung 106. 5 shows a security application in which a secure camera 100 a robotic arm 102 monitored as an example of a hazard. The camera 100 can be designed as a simple 2D camera, measures for self-testing as mentioned in the introduction preferably being observed in order to comply with safety standards. An artificial neural network acts as an evaluation unit 104 . It is trained to recognize safety-critical situations and to issue a safety-related shutdown signal in such cases. In the illustration is the safe camera 100 but with a safety controller 106 connected, which in turn is connected to the robot arm 102 connected is. The control of the robot arm 102 can also directly through the camera 100 take place without going through a safety controller 106 .

Das von der sicheren Kamera 100 aufgenommene Bild enthält ausreichend Bildinformationen für eine sicherheitstechnische Anwendung. Herkömmlich scheitert der Einsatz in der Sicherheitstechnik an fehlender Zuverlässigkeit und Geschwindigkeit der Bildauswertung. Dafür ist in der sicheren Kamera 100 das künstliche neuronale Netz 104 vorgesehen. Solche künstlichen neuronalen Netze leisten aufgrund von neuen Architekturen wie die Verwendung zahlreicher versteckter Schichten (Deep Learning) vergleichbar komplexe Aufgaben in anderen Anwendungen. Deshalb wird der konkrete Aufbau des künstlichen neuronalen Netzes 104 nicht weiter ausgeführt, sondern als an sich bekannt vorausgesetzt.That from the secure camera 100 The captured image contains sufficient image information for a safety-related application. The use in security technology traditionally fails due to a lack of reliability and speed of image evaluation. For that is in the safe camera 100 the artificial neural network 104 intended. Due to new architectures such as the use of numerous hidden layers (deep learning), such artificial neural networks perform comparatively complex tasks in other applications. That is why the concrete structure of the artificial neural network 104 not elaborated further, but assumed to be known per se.

Derartige Architekturen bedürfen aber eines meist riesigen Vorrats an bewerteten Trainingsdaten. Außerdem muss für Sicherheitsanwendungen die Zuverlässigkeit nachgewiesen werden.However, such architectures usually require a huge stock of evaluated training data. In addition, reliability must be proven for security applications.

Erfindungsgemäß werden solche Trainingsdaten aus Sicherheitsanwendungen gewonnen, in denen sichere Sensoren beziehungsweise Sensorsysteme zugleich Bilddaten erfassen und im Rahmen der bestehenden Sicherheitsfunktion eine Bewertung der Szene vornehmen, die eine automatische Klassifizierung der Bilddaten auf Basis der sensoreigenen Sicherheitsbewertung des sicheren Sensors erlaubt. Eine Kamera zur Erfassung von Bilddaten kann ohnehin in der Sicherheitsanwendung vorhanden sein oder für die Erzeugung von Trainingsdaten ergänzt werden. Sicherheitsanwendungen werden also erweitert, um neben der eigentlichen Sicherheitsfunktion Trainingsdaten in Form von durch die Sicherheitsanwendung klassifizierten Bilddaten für eine auf neuronalen Netzen basierende sichere Kamera, beispielsweise eine sichere Kamera 100 gemäß 5 zu sammeln.According to the invention, such training data are obtained from security applications in which secure sensors or sensor systems simultaneously acquire image data and, within the framework of the existing security function, carry out an assessment of the scene, which permits automatic classification of the image data on the basis of the sensor's own security assessment of the secure sensor. A camera for capturing image data can be present in the security application anyway or can be supplemented for generating training data. Security applications are therefore expanded to include training data in the form of image data classified by the security application for a secure camera based on neural networks, for example a secure camera, in addition to the actual security function 100 according to 5 to collect.

1 zeigt eine erste Anordnung einer Sicherheitsanwendung mit einem sicheren Laserscanner 10 und einer zusätzlichen vorzugsweise nicht sicheren Kamera 12 zur Überwachung eines Roboterarms 14 als beispielhafte Gefahrenquelle in einem Überwachungsbereich 16. Erkennt der Laserscanner 10 in seiner Überwachungsebene 18 eine gefährliche beziehungsweise sicherheitskritische Situation, so wird ein sicherheitsgerichteter Abschaltbefehl an den Roboterarm 14 ausgegeben. In 1 ist der Laserscanner 10 indirekt über eine Sicherheitssteuerung 20 an den Roboterarm 14 angeschlossen, die in anderen Ausführungsformen entfallen kann. 1 shows a first arrangement of a safety application with a safe laser scanner 10th and an additional preferably not secure camera 12th for monitoring a robot arm 14 as an exemplary source of danger in a surveillance area 16 . The laser scanner recognizes 10th at its surveillance level 18th a dangerous or safety-critical situation, a safety-related shutdown command is sent to the robot arm 14 spent. In 1 is the laser scanner 10th indirectly via a safety controller 20th to the robot arm 14 connected, which can be omitted in other embodiments.

Parallel dazu nimmt die Kamera 12 Bilddaten des Überwachungsbereichs 16 auf. Diese Bilddaten werden mit Hilfe des Laserscanner 10 bewertet. Dazu ist die Kamera 12 mit dem Laserscanner 10 verbunden und erfährt auf diese Weise ständig, ob der Laserscanner derzeit die Situation im Überwachungsbereich 16 als sicherheitskritisch bewertet oder nicht. Somit kann die Kamera 12 ihre Bilddaten auf Basis der sicherheitstechnischen Bewertung des Laserscanners 10 klassifizieren. In einer anderen Ausführungsform erfolgt das Speichern und Bewerten von Bilddaten nicht in der Kamera 12, sondern einer separaten Auswertungseinheit, die mit Laserscanner 10 und Kamera 12 verbunden ist.In parallel, the camera takes 12th Image data of the surveillance area 16 on. This image data is captured using the laser scanner 10th rated. This is the camera 12th with the laser scanner 10th connected and in this way constantly learns whether the laser scanner is currently monitoring the situation in the area 16 rated as security critical or not. So the camera can 12th your image data based on the safety-related evaluation of the laser scanner 10th classify. In another embodiment, image data is not stored and evaluated in the camera 12th , but a separate evaluation unit that uses a laser scanner 10th and camera 12th connected is.

Die Kamera 12 kann Zusatzfunktionen über die reine Absicherung und Erzeugung von Bilddaten für Trainingsdaten hinaus erfüllen und dazu insbesondere als 3D-Kamera ausgebildet sein. Wie in allen Ausführungsbeispielen wird der interne Aufbau der Sensoren, wie Laserscanner 10 und Kamera 12, als bekannt vorausgesetzt, und die Erfindung ist nicht auf bestimmte Bauformen beschränkt. Gerade der Laserscanner 10 ist ohnehin rein beispielhaft und kann durch ein Lichtgitter und jeden anderen sicheren Sensor einschließlich solcher mit nicht optischem Sensorprinzip beziehungsweise Kombinationen von beliebigen Sensoren ausgetauscht werden, die gemeinsam sicher sind, da es für die Erfindung nicht darauf ankommt, auf welche Weise die Sicherheitsanwendung zu ihrer sicherheitstechnischen Bewertung gelangt.The camera 12th can perform additional functions beyond the mere protection and generation of image data for training data and, in particular, can be designed as a 3D camera. As in all exemplary embodiments, the internal structure of the sensors, such as laser scanners 10th and camera 12th , provided that it is known, and the invention is not restricted to specific designs. Especially the laser scanner 10th is in any case purely exemplary and can be replaced by a light grid and any other safe sensor including those with a non-optical sensor principle or combinations of any sensors that are safe together, since it is not important for the invention in which way the safety application for its safety-related Rating arrived.

Die als Trainingsdaten fungierenden bewerteten Bilddaten der Kamera 12 werden in einer Trainingsdatenbank 22 gesammelt. Da in einer Sicherheitsanwendung die allermeisten Bilder einer nicht sicherheitskritischen Situation entsprechen, sollte bevorzugt nur ein kleiner Teil der Bilddaten in der Trainingsdatenbank 22 gespeichert werden. Beispielsweise werden bewertete Bilddaten nur nach Verstreichen einer Zeitspanne, etwa einmal pro Stunde, und nach einem sicherheitskritischen Ereignis gespeichert.The evaluated image data of the camera, which acts as training data 12th are in a training database 22 collected. There in one Security application that most images correspond to a situation that is not critical to security, should preferably only a small part of the image data in the training database 22 get saved. For example, rated image data are only saved after a period of time, approximately once per hour, and after a security-critical event.

In einer einfachen Ausführungsform ist in der Kamera 12 ein Speicherchip vorgesehen, auf dem die Trainingsdaten zwischengespeichert und hin und wieder händisch in die Trainingsdatenbank 22 übertragen werden. Im Zuge der fortschreitenden Vernetzung von Sensoren, Steuerungen und übergeordneten Netzwerken sowie der Integration cloudbasierter Services wird es aber immer üblicher, einen Sensor wie die Kamera 12 über eine entsprechende Datenschnittstelle anzuschließen. Dann wird der Rückfluss von Trainingsdaten wesentlich vereinfacht, die nicht mehr abgeholt werden müssen, sondern automatisiert an die Trainingsdatenbank 22 weitergegeben werden. Dadurch wird auch ermöglicht, die Trainingsdatenbank 22 aus einer Vielzahl von Sicherheitsanwendungen zu füllen, die im Prinzip überall auf der Welt verteilt sein können.In a simple embodiment is in the camera 12th a memory chip is provided, on which the training data is temporarily stored and now and then manually in the training database 22 be transmitted. In the course of the progressive networking of sensors, controls and higher-level networks as well as the integration of cloud-based services, it is becoming increasingly common to use a sensor like the camera 12th to be connected via an appropriate data interface. Then the backflow of training data is simplified considerably, which no longer has to be collected, but automatically to the training database 22 be passed on. This also enables the training database 22 from a variety of security applications that can, in principle, be distributed anywhere in the world.

2 zeigt eine weitere Anordnung einer Sicherheitsanwendung. Dabei bezeichnen gleiche Bezugszeichen die gleichen oder einander entsprechenden Merkmale, die nicht erneut erläutert werden. Im Unterschied zu 1 ist der sichere Sensor in diesem Fall eine sichere 3D-Stereokamera 24 mit zwei einzelnen Kameras 12a-b. Eine 3D-Auswertungseinheit 26 berechnet aus den zwei Rohbildern in zueinander versetzter Perspektive der Kameras 12a-b Entfernungen und verwendet diese 3D-Informationen sowie möglicherweise bekannte Voraussetzungen der Szene zur sicherheitstechnischen Bewertung. In der Darstellung fungiert die rechte Kamera 12a als nicht sichere Kamera zur Aufnahme von Bilddaten, die bewertet und als Trainingsdaten ausgegeben werden. Ebenso könnten dazu die linke Kamera 12b oder beide Kameras 12a-b herangezogen werden. Jedenfalls muss keine zusätzliche nicht sichere Kamera eingesetzt werden, so dass der Trainingsdatensatz von bewerteten zweidimensionalen Bilddaten durch minimale Modifikation praktisch ohne Mehraufwand erstellt wird. 2nd shows a further arrangement of a security application. The same reference numerals designate the same or corresponding features that are not explained again. In contrast to 1 the safe sensor in this case is a safe 3D stereo camera 24th with two individual cameras 12a-b . A 3D evaluation unit 26 calculates from the two raw images in a perspective of the cameras offset from one another 12a-b Distances and uses this 3D information as well as possibly known preconditions of the scene for the safety-related evaluation. The right camera acts in the illustration 12a as a non-secure camera for recording image data that are evaluated and output as training data. The left camera could also do this 12b or both cameras 12a-b be used. In any case, no additional non-secure camera has to be used, so that the training data set of evaluated two-dimensional image data is created with minimal modification with practically no additional effort.

Die 1 und 2 stellen nur zwei beispielhafte Sicherheitsanwendungen dar. Es wurde schon ausgeführt, dass es für die Erfindung nicht darauf ankommt, welche Sensoren oder Kombinationen von Sensoren die sicherheitstechnische Bewertung vornehmen. Durch die Sicherheitsanwendung wird ohnehin mit einer Methode, die originär weder mit neuronalen Netzen noch deren Training zu tun hat, eine sicherheitstechnische Bewertung hoher Zuverlässigkeit durchgeführt. Indem dabei Bilddaten erfasst werden, sei es durch eine zusätzliche Kamera 12 wie in 1 oder eine schon vorhandene Kamera 12a-b wie in 2, macht die Erfindung sich diese sicherheitstechnische Bewertung zunutze, um zusätzlich zu der Sicherheitsanwendung Trainingsdaten ohne nennenswerten Zusatzaufwand zu gewinnen.The 1 and 2nd represent only two exemplary safety applications. It has already been stated that the invention does not matter which sensors or combinations of sensors carry out the safety-related assessment. In any case, the security application uses a method that originally has nothing to do with neural networks or their training to carry out a security-related evaluation of high reliability. By capturing image data, be it through an additional camera 12th as in 1 or an existing camera 12a-b as in 2nd , the invention makes use of this safety-related evaluation in order to obtain training data in addition to the safety application without any significant additional effort.

Durch Einbeziehen verschiedener Sicherheitsanwendungen und/oder lange Betriebsdauern entsteht eine hohe Anzahl und Vielfalt von Trainingsdatensätzen. Es ist denkbar, Testanwendungen aufzubauen, um gezielt Trainingsdaten zu erzeugen. Außerdem kann man auch einzulernenden Situationen gezielt stellen und muss nicht nur den Normbetrieb heranziehen. Dadurch lassen sich insbesondere rasch nacheinander Eingriffssituationen stellen, in denen unter kontrollieren Bedingungen der Befehl zur sicherheitsgerichteten Abschaltung nicht ausgeführt wird und das zeitraubende mühsame Wiederanfahren der Anlage entfällt. Außerdem können dies Eingriffssituationen sein, die in Bezug auf eine sicherheitstechnische Bewertung besonders schwierig oder kritisch sind, insbesondere aus Sicht des neuronalen Netzes.By including various security applications and / or long operating times, a large number and variety of training data sets is created. It is conceivable to set up test applications to generate targeted training data. In addition, you can also set specific situations to be learned and not only have to consult the standard operation. This means that, in particular, intervention situations can be set up quickly, in which the command for safety-related shutdown is not executed under controlled conditions and the time-consuming, laborious restarting of the system is no longer necessary. In addition, these can be intervention situations that are particularly difficult or critical with regard to a safety-related evaluation, in particular from the perspective of the neural network.

Nach einem ähnlichen Gedankengang ist es auch möglich, die eher generischen Trainingsdaten aus einer Vielzahl von Sicherheitsanwendungen zu sortieren und zu spezifizieren. Dafür werden Trainingsdaten zusätzlich mit einer Information gespeichert, aus welcher Sicherheitsanwendung sie stammen. Dann kann das neuronale Netz differenzierter eingelernt werden. Ein Sonderfall ist, dass für eine bestimmte Anwendung eine höhere Sicherheitsstufe gewünscht ist. Dann besteht die Möglichkeit, nur Trainingsdaten dieser speziellen Anwendung für das Einlernen zu nutzen oder sogar speziell dafür zu erzeugen. Das neuronale Netz wird dann für diese Anwendung viel genauer und sicherheitstechnisch zuverlässiger entscheiden können.Following a similar train of thought, it is also possible to sort and specify the more generic training data from a variety of security applications. For this purpose, training data is also stored with information about which safety application it comes from. Then the neural network can be taught in in a more differentiated manner. A special case is that a higher security level is required for a specific application. Then there is the possibility to only use training data of this special application for teaching or even to generate it specifically for this. The neural network will then be able to make a much more precise and reliable decision regarding this application.

3 zeigt ein beispielhaftes, sehr vereinfachtes Ablaufdiagramm einer Sicherheitsanwendung. Diese Schritte erfolgen vorzugsweise in dem sicheren Sensor, beispielsweise dem Laserscanner 10 oder der 3D-Stereokamera 24 beziehungsweise deren 3D-Auswertungseinheit, oder in einer angeschlossenen Sicherheitssteuerung 20 auf Basis von Rohdaten der sicheren Sensoren. 3rd shows an exemplary, very simplified flow diagram of a security application. These steps are preferably carried out in the safe sensor, for example the laser scanner 10th or the 3D stereo camera 24th or their 3D evaluation unit, or in a connected safety controller 20th based on raw data from the safe sensors.

Dabei werden in einem Schritt S1 Daten aus dem Überwachungsbereich erfasst. In einem Schritt S2 werden die erfassten Daten ausgewertet, um zu entscheiden, ob eine sicherheitskritische Situation vorliegt. Das kann auf Basis von Schutzfeldern oder einer Überwachung von Mindestabständen geschehen, wie einleitend erläutert. In einer nicht sicherheitskritischen Situation ist der Zyklus schon beendet, und die Überwachung setzt sich mit Schritt S1 im nächsten Zyklus fort.Do it in one step S1 Data collected from the surveillance area. In one step S2 the recorded data is evaluated in order to decide whether there is a safety-critical situation. This can be done on the basis of protective fields or monitoring of minimum distances, as explained in the introduction. In a situation that is not critical to safety, the cycle has already ended and the monitoring continues with step S1 continue in the next cycle.

Im Falle einer sicherheitskritischen Situation wird in einem Schritt S3 eine sicherheitsgerichtete Reaktion ausgelöst, die im Beispiel der 1 und 2 den Roboterarm 14 absichert. Danach muss die Anlage in einem Schritt S4 wiederanlaufen, nachdem die gefährliche Situation bereinigt ist, ehe der nächste Zyklus mit Schritt S1 beginnt.In the event of a security-critical situation, one step S3 triggered a safety-related reaction, which in the example of the 1 and 2nd the robot arm 14 secured. After that, the system must be in one step S4 restart after the dangerous situation is cleared before the next cycle with step S1 begins.

4 zeigt ein beispielhaftes Ablaufdiagramm für die Erzeugung von bewerteten Bilddaten parallel zu dem Ablauf der Sicherheitsanwendung gemäß 3. In einem Schritt 11 werden Bilddaten aufgenommen. Bei einer separaten Kamera 12 wie in 1 ist dies ein eigener Schritt. In einer Sicherheitskamera 12b wie in 2, die bereits der Sicherheitsauswertung zugrunde liegt, erfolgt der Schritt S11 implizit. 4th shows an exemplary flow chart for the generation of evaluated image data in parallel with the flow of the security application according to 3rd . In one step 11 image data is recorded. With a separate camera 12th as in 1 this is a separate step. In a security camera 12b as in 2nd The step that already forms the basis of the security evaluation takes place S11 implicitly.

In einem Schritt S12 wird dann geprüft, wie die Sicherheitsanwendung die in den Bilddaten festgehaltene Situation bewertet. Dazu wird die sicherheitstechnische Bewertung aus Schritt S2 herangezogen. Das ist folglich in 1 die Bewertung des Laserscanners 10 und in 2 diejenige der 3D-Stereokamera 24 beziehungsweise von deren 3D-Auswertungseinheit 26.In one step S12 it is then checked how the security application evaluates the situation recorded in the image data. To do this, the safety-related assessment from step S2 used. So that's in 1 the evaluation of the laser scanner 10th and in 2nd that of the 3D stereo camera 24th or from their 3D evaluation unit 26.

Sofern die aktuelle Situation sicherheitskritisch ist, wird dies im beispielhaften Ablauf nach 4 zugleich als Auslöser herangezogen, die bewerteten Bilddaten in einem Schritt S13 tatsächlich als Trainingsdaten zu speichern. Dies ist ein bevorzugtes Vorgehen, denn auf die Erkennung derartiger Situationen kommt es später für das neuronale Netz an.If the current situation is critical to safety, this will be demonstrated in the exemplary procedure 4th also used as a trigger, the evaluated image data in one step S13 to actually save as training data. This is a preferred procedure, because the detection of such situations will later be important for the neural network.

Nach einer sicherheitskritischen Situation sollte in einem Schritt S14 das Wiederanlaufen der Anlage abgewartet werden. Die bis dahin aufgenommenen Bilddaten während der Maßnahmen zum Wiederanlaufen entsprechen keiner für ein Training relevanten Situation. Der Ablauf beginnt dann wieder in einem neuen Zyklus bei Schritt S11.After a security critical situation should be in one step S14 waiting for the system to restart. The image data recorded up to that point during the restart measures do not correspond to any situation relevant for a training session. The process then starts again in a new cycle at step S11 .

War umgekehrt in Schritt S12 die Situation nicht sicherheitskritisch, so ist klar, dass die aktuellen Bilddaten entsprechend bewertet werden. Solche Bilddaten werden in der überwiegenden Zahl der Fälle entstehen und müssen nicht alle gespeichert werden. Daher wird in einem weiteren Schritt S15 geprüft, ob ein zyklisches Speichern beispielsweise einmal pro Stunde erfolgen soll. Ist das der Fall, werden im Schritt S13 die Bilddaten als Trainingsdaten gespeichert. Anschließend kann der Ablauf direkt wieder bei Schritt S11 beginnen, da kein Wiederanlaufen erforderlich ist. Der Ablauf kehrt auch für den neuen Zyklus zu Schritt S11 zurück, wenn die Bilddaten nicht gespeichert werden sollen.Reverse in step S12 the situation is not critical to safety, it is clear that the current image data will be evaluated accordingly. Such image data will arise in the vast majority of cases and does not all have to be saved. Therefore, in a further step S15 checked whether cyclical saving should take place, for example, once an hour. If so, be in step S13 the image data is saved as training data. The process can then be carried out directly at step S11 start because no restart is required. The process also returns to step for the new cycle S11 back if the image data should not be saved.

Der Ablauf nach 4 ist beispielhaft. Es muss nicht zwingend so sein, dass das Vorliegen einer sicherheitskritischen Situation wie in Schritt S12 auch als Auslöser zum Speichern von Trainingsdaten genutzt wird. Auch müssen keine Bilddaten zyklisch nach Schritt S15 gespeichert werden. Besonders relevante nicht sicherheitskritisch bewertete Bilddaten erhält man beispielsweise auch unmittelbar vor einem sicherheitskritischen Ereignis. Daher kann es vorteilhaft sein, eine gewisse Historie von Bilddaten zwischenzuspeichern und dann mit den Bilddaten zu der sicherheitskritischen Situation auch Bilddaten des Zeitraums unmittelbar davor als Trainingsdaten zu speichern. Erfindungsgemäß kann jedes Bild automatisiert sicherheitstechnisch bewertet werden. Die Auswahl, welche dieser Bilder tatsächlich als Trainingsdaten übernommen werden, ist ein davon zunächst unabhängiger nachgelagerter Aspekt.The process after 4th is exemplary. It does not have to be so that the presence of a safety-critical situation as in step S12 is also used as a trigger to save training data. Also, no image data have to be cyclically after step S15 get saved. Particularly relevant image data that is not assessed as critical to security is also obtained, for example, immediately before a security-critical event. It can therefore be advantageous to temporarily store a certain history of image data and then to use the image data relating to the safety-critical situation to also store image data from the period immediately before as training data. According to the invention, each image can be automatically evaluated in terms of security. The selection of which of these images are actually taken over as training data is an independent downstream aspect.

Das Einlernen des neuronalen Netzes ist nicht die einzige Herausforderung. Für eine sicherheitstechnische Anwendung in einer Kamera 100 wie in 5 muss auch ein Nachweis der Zuverlässigkeit geführt werden. Mangels deterministischer Beschreibung ist ein statistischer Nachweis denkbar. Dafür kann die Trainingsdatenbank 22 ebenfalls genutzt werden. Es wird dann je nach Sicherheitsstufe gefordert, dass die Bewertungen der Trainingsdatensätze mit einer gewissen Fehlerquote reproduziert werden. Dabei ist aus sicherheitstechnischer Sicht irrelevant, wenn zu viele Situationen sicherheitskritisch eingestuft werden, nicht aber für den Anwender, der unnötige Einschränkungen der Verfügbarkeit nur in sehr engem Rahmen akzeptieren wird. Vorzugsweise sollten die Datensätze vorab in Lern- und Verifikationsdaten geteilt werden, da das neuronale Netz während eines Nachweises auf die Lerndatensätze mit einer täuschend hohen Genauigkeit reagieren würde.Learning the neural network is not the only challenge. For a security application in a camera 100 as in 5 proof of reliability must also be provided. In the absence of a deterministic description, statistical evidence is conceivable. For this, the training database 22 can also be used. Depending on the security level, it is then required that the evaluations of the training data records are reproduced with a certain error rate. From a safety point of view, it is irrelevant if too many situations are classified as safety-critical, but not for the user, who will only accept unnecessary restrictions on availability to a very limited extent. The data records should preferably be divided into learning and verification data in advance, since the neural network would react to the learning data records with deceptively high accuracy during a detection.

Die erfindungsgemäß gewonnenen Trainingsdaten haben demnach eine doppelte Bedeutung für eine sichere Kamera 100 auf Basis eines neuronalen Netzes 104: Sie dienen dazu, das neuronale Netz 104 einzulernen und den Nachweis zu führen, dass es mit ausreichender Verlässlichkeit arbeitet. Das erhöht den Bedarf an einer großen Anzahl verlässlich bewerteter Trainingsdaten, die erfindungsgemäß praktisch ohne Mehraufwand, fast als Abfallprodukt bestehender Sicherheitsanwendungen entstehen.The training data obtained according to the invention therefore have a double meaning for a safe camera 100 based on a neural network 104 : They serve the neural network 104 to learn and to provide proof that it works with sufficient reliability. This increases the need for a large number of reliably assessed training data, which according to the invention arise practically without additional effort, almost as a waste product of existing security applications.

Claims

Method for generating training data (22) for an artificial neural network (104), in which image data of a monitoring area (16) of a security application are recorded, wherein in the security application a source of danger (14) in the monitoring area (16) by at least one secure sensor (10, 24) is monitored, which triggers a safety-related safeguarding of the hazard source (14) when a dangerous situation is detected, characterized in that the image data are stored as training data (22) together with a safety-related evaluation, the image data being evaluated as safety-critical or non-safety-critical, each after whether the safe sensor (10, 24) triggers a safety-related safeguard or not at the time the image data is recorded.

Procedure according to Claim 1 The image data stored as training data (22) has at least one image before and / or one image after a safety-related safeguard has been triggered by the safe sensor (10, 24).

Procedure according to Claim 1 or 2nd , wherein the safe sensor (24, 12a-b) also records the image data.

Procedure according to Claim 1 or 2nd , the image data being recorded by an additional non-secure camera (12).

Method according to one of the preceding claims, wherein the training data (22) are transmitted to a server.

Method for training an artificial neural network (104) with training data (22) obtained according to one of the preceding claims.

Procedure according to Claim 6 The artificial neural network (104) for monitoring a source of danger (14, 102) is trained to recognize on the basis of image data of the monitoring area (16) whether there is a dangerous situation that requires a safety-related protection of the source of danger (14, 102). required.

Procedure according to Claim 6 or 7 After the training, the reliability of the detection is verified on the basis of training data (22), which in particular were not used for the training.

Optoelectronic sensor (12, 12a-b), in particular camera, which is designed to store recorded image data using a method according to one of the preceding claims as training data (22) for an artificial neural network (104).