DE102017105174A1

DE102017105174A1 - Method for generating training data for monitoring a source of danger

Info

Publication number: DE102017105174A1
Application number: DE102017105174.0A
Authority: DE
Inventors: Markus Hammes
Original assignee: Sick AG
Current assignee: Sick AG
Priority date: 2017-03-10
Filing date: 2017-03-10
Publication date: 2018-09-13
Anticipated expiration: 2037-03-11
Also published as: DE102017105174B4

Abstract

Verfahren zum Erzeugen von Trainingsdaten (22) für ein künstliches neuronales Netz (104), bei dem Bilddaten eines Überwachungsbereichs (16) einer Sicherheitsanwendung aufgenommen werden, wobei in der Sicherheitsanwendung eine Gefahrenquelle (14) in dem Überwachungsbereich (16) durch mindestens einen sicheren Sensor (10, 24) überwacht wird, der bei Erkennung einer gefährlichen Situation eine sicherheitsgerichtete Absicherung der Gefahrenquelle (14) auslöst. Dabei werden die Bilddaten als Trainingsdaten (22) zusammen mit einer sicherheitstechnischen Bewertung gespeichert, die aus dem Verhalten des sicheren Sensors (10, 24) abgeleitet wird.A method of generating training data (22) for an artificial neural network (104) that captures image data of a surveillance area (16) of a security application, wherein in the security application a source of danger (14) is present in the surveillance area (16) through at least one secure sensor (10, 24) is monitored, which triggers a safety-oriented protection of the source of danger (14) when a dangerous situation is detected. In this case, the image data are stored as training data (22) together with a safety-related evaluation, which is derived from the behavior of the safe sensor (10, 24).

Description

Die Erfindung betrifft ein Verfahren zum Erzeugen von Trainingsdaten für ein künstliches neuronales Netz nach dem Oberbegriff von Anspruch 1 sowie einen entsprechenden optoelektronischen Sensor. Die Trainingsdaten entstehen aus Bilddaten eines Überwachungsbereichs einer Sicherheitsanwendung.The invention relates to a method for generating training data for an artificial neural network according to the preamble of claim 1 and to a corresponding optoelectronic sensor. The training data is generated from image data of a surveillance area of a security application.

Derartige Sicherheitsanwendungen dienen dazu, Personen vor Gefahrenquellen zu schützen, wie sie beispielsweise Maschinen im industriellen Umfeld darstellen. Die Maschine wird mit Hilfe von Sensoren überwacht, und wenn demnach eine Situation vorliegt, in der eine Person gefährlich nahe an die Maschine zu gelangen droht, wird eine geeignete Absicherungsmaßnahme ergriffen.Such security applications are used to protect people from sources of danger, such as represent machines in industrial environments. The machine is monitored by means of sensors, and if there is a situation in which a person threatens to come dangerously close to the machine, an appropriate safeguard is taken.

Herkömmlich werden vor allem optoelektronische Sensoren wie Lichtgitter oder Laserscanner für eine sicherheitstechnische Überwachung eingesetzt. In jüngerer Zeit treten 3D-Kameras hinzu. Ein gängiges Absicherungskonzept sieht vor, dass Schutzfelder konfiguriert werden, die während des Betriebs der Maschine vom Bedienpersonal nicht betreten werden dürfen. Erkennt der Sensor einen unzulässigen Schutzfeldeingriff, etwa ein Bein einer Bedienperson, so löst er einen sicherheitsgerichteten Halt der Maschine aus. Andere Eingriffe in das Schutzfeld, beispielsweise durch statische Maschinenteile, können vorab als zulässig eingelernt werden. Oft sind den Schutzfeldern Warnfelder vorgelagert, wo Eingriffe zunächst nur zu einer Warnung führen, um den Schutzfeldeingriff und damit die Absicherung noch rechtzeitig zu verhindern und so die Verfügbarkeit der Anlage zu erhöhen. Es sind auch Alternativen zu Schutzfeldern bekannt, etwa darauf zu achten, dass zwischen Maschine und Person ein von der Relativbewegung abhängiger Mindestabstand eingehalten ist („speed and separation“).Conventionally, opto-electronic sensors such as light grids or laser scanners are used in particular for safety-related monitoring. More recently, 3D cameras are added. A common protection concept envisages that protective fields are configured which must not be entered by operating personnel during operation of the machine. If the sensor detects an inadmissible protective field intervention, for example a leg of an operator, it triggers a safety-related stop of the machine. Other interference with the protective field, for example due to static machine parts, can be taught in advance as permissible. Often, the protective fields are preceded by warning fields, where interventions initially only lead to a warning in order to prevent the interception of the protective field and thus the protection in good time, thus increasing the availability of the system. Alternatives to protective fields are also known, for instance to ensure that a minimum distance dependent on the relative movement is maintained between machine and person ("speed and separation").

In der Sicherheitstechnik eingesetzte Sensoren müssen besonders zuverlässig arbeiten und deshalb hohe Sicherheitsanforderungen erfüllen, beispielsweise die Norm EN13849 für Maschinensicherheit und die Gerätenorm IEC61496 oder EN61496 für berührungslos wirkende Schutzeinrichtungen (BWS). Zur Erfüllung dieser Sicherheitsnormen sind eine Reihe von Maßnahmen zu treffen, wie sichere elektronische Auswertung durch redundante, diversitäre Elektronik, Funktionsüberwachung oder speziell Überwachung der Verschmutzung optischer Bauteile, insbesondere einer Frontscheibe, und/oder Vorsehen von einzelnen Testzielen mit definierten Reflexionsgraden, die unter den entsprechenden Scanwinkeln erkannt werden müssen.Sensors used in safety technology must work extremely reliably and therefore meet high safety requirements, for example EN13849 for machine safety and IEC61496 or EN61496 for non-contact safety devices (ESPE). To meet these safety standards, a number of measures must be taken, such as secure electronic evaluation by redundant, diverse electronics, function monitoring or specially monitoring the contamination of optical components, in particular a windscreen, and / or providing individual test objectives with defined degrees of reflection, among the corresponding Scan angles must be detected.

Prinzipiell wäre es wünschenswert, die aufwändigen Sicherheitssensoren durch übliche 2D-Kameras mit Bildauswertung zu ersetzen. Das würde die Hardwarekosten reduzieren, das Einrichten einer Sicherheitsanwendung vereinfachen und die Flexibilität erhöhen. Bislang scheitert dies aber daran, dass eine den Sicherheitsnormen entsprechende zuverlässige Bildauswertung allenfalls für Spezialfälle möglich ist, und dann auch nur unter erheblichen Aufwänden für die Entwicklung der Auswertungsverfahren und deren sicherheitstechnische Zulassung.In principle, it would be desirable to replace the complex safety sensors with conventional 2D cameras with image evaluation. This would reduce hardware costs, simplify the setup of a security application and increase flexibility. So far, however, this fails due to the fact that a reliable image analysis corresponding to the safety standards is possible only for special cases, and then only at considerable expense for the development of the evaluation methods and their safety-related approval.

In den letzten Jahren wurden ganz unabhängig von der Sicherheitstechnik erhebliche Fortschritte auf dem Gebiet der künstlichen neuronalen Netze erzielt. Diese Technologie erreicht breite Anwendungsreife durch neue Architekturen der neuronalen Netze („Deep Learning“) und durch die stark gestiegene verfügbare Rechnerleistung insbesondere in Form von modernen Grafikprozessoren. Eine wichtige Herausforderung bei der Verwendung neuronaler Netze zur Situationsbewertung und Problemlösung ist die Notwendigkeit des Anlernens des neuronalen Netzes mit repräsentativen Trainingsdaten. Bevor das neuronale Netz die gestellte Aufgabe zuverlässig erledigen kann, muss es mit vergleichbaren Situationen und deren vorgegebener Bewertung konfrontiert werden. Anhand dieser Beispielszenen lernt das neuronale Netz das richtige Verhalten. Um einen repräsentativen Datensatz zugrunde legen zu können, müssen sehr viele solcher Szenen erfasst und manuell bewertet werden. Die Beschaffung dieser Datensätze stellt einen sehr großen Aufwand dar.Regardless of the safety engineering, considerable progress has been made in the field of artificial neural networks in recent years. This technology achieves broad application maturity through new neural network architectures ("deep learning") and the greatly increased available computing power, especially in the form of modern graphics processors. An important challenge in using neural networks for situation assessment and problem solving is the need to learn the neural network with representative training data. Before the neural network can perform the task reliably, it must be confronted with comparable situations and their predetermined evaluation. Based on these example scenes, the neural network learns the correct behavior. In order to be able to use a representative data set, many such scenes must be recorded and evaluated manually. The procurement of these records is a very big effort.

Die EP 2 527 868 B1 offenbart einen Laserscanner mit einem Speicher für Abschaltereignisse und einer Diagnoseeinheit, um sie zu klassifizieren. Das soll dabei helfen, die Verfügbarkeit zu erhöhen, indem immer wieder auftretende Abschaltungsursachen aufgrund der Diagnose beseitigt werden. Es wird die Möglichkeit erwähnt, ein neuronales Netz zu nutzen, um Abschaltereignisse mit möglichen Abhilfemaßnahmen zu verknüpfen. Die eigentliche Sicherheitsfunktion leistet jedoch stets der Laserscanner auf herkömmliche Weise, und die EP 2 527 868 B1 zielt auch an keiner Stelle darauf ab, daran etwas zu verändern.The EP 2 527 868 B1 discloses a laser scanner with a memory for shutdown events and a diagnostic unit to classify them. This is intended to help increase availability by eliminating recurring shutdown causes due to diagnostics. It mentions the possibility of using a neural network to link shutdown events to possible remedies. However, the actual safety function is always provided by the laser scanner in a conventional manner, and the EP 2 527 868 B1 At no point does it aim to change anything about it.

Es ist weiterhin bekannt, eine Kamera in einen Laserscanner zu integrieren, um den Scanbereich und die im realen Überwachungsbereich unsichtbaren virtuellen Schutzfelder zu visualisieren. Auch hier bleibt die eigentliche Sicherheitsfunktion allein die Domäne des Laserscanners.It is also known to integrate a camera into a laser scanner in order to visualize the scan area and the virtual surveillance areas invisible in the real surveillance area. Again, the actual security function remains the domain of the laser scanner alone.

Die EP 2 770 459 B1 offenbart einen optoelektronischen Codeleser und ein Verfahren zur Diagnose und Verbesserung des Leseverhaltens. Dabei werden unter bestimmten Bedingungen Bilder eines Lesevorgangs und der Rahmenbedingungen gespeichert und in einer Datenbank gesammelt. Mit Hilfe der Datenbank kann dann anschließend ein verbesserter Decoder entwickelt werden. Mit Sicherheitstechnik hat die EP 2 770 459 B1 nichts zu tun.The EP 2 770 459 B1 discloses an opto-electronic code reader and a method for diagnosing and improving reading behavior. Under certain conditions images of a reading process and the general conditions are stored and collected in a database. With the help of the database can then subsequently a improved decoder can be developed. With safety technology has the EP 2 770 459 B1 Nothing to do.

Es ist daher Aufgabe der Erfindung, die sicherheitstechnische Überwachung zu verbessern.It is therefore an object of the invention to improve the safety monitoring.

Diese Aufgabe wird durch ein Verfahren zum Erzeugen von Trainingsdaten für ein künstliches neuronales Netz nach Anspruch 1 sowie einen entsprechenden optoelektronischen Sensor nach Anspruch 10 gelöst. In einer Sicherheitsanwendung wird wie einleitend erläutert eine Gefahrenquelle von mindestens einem sicheren Sensor überwacht. Der Sensor löst bei Erkennung einer Gefahr eine sicherheitsgerichtete Reaktion aus. Aus dem Überwachungsbereich werden Bilddaten aufgenommen.This object is achieved by a method for generating training data for an artificial neural network according to claim 1 and a corresponding optoelectronic sensor according to claim 10. In a safety application, as explained above, a source of danger is monitored by at least one safe sensor. The sensor triggers a safety-related reaction when a danger is detected. From the surveillance area, image data is recorded.

Die Erfindung geht nun von dem Grundgedanken aus, die Bilddaten als Trainingsdaten für ein künstliches neuronales Netz zu nutzen. Für die Bilddaten liegt nämlich bereits eine hochwertige sicherheitstechnische Qualifizierung vor, denn der sichere Sensor hat in der den Bilddaten entsprechenden Situation eine klare Entscheidung getroffen, ob eine Gefahr vorliegt oder nicht. Als Trainingsdaten werden Bilddaten zusammen mit einer sicherheitstechnischen Bewertung gespeichert, die aus dem Verhalten des sicheren Sensors abgeleitet ist.The invention is based on the basic idea of using the image data as training data for an artificial neural network. For the image data, there is already a high-quality safety-related qualification, because the safe sensor has made a clear decision in the situation corresponding to the image data as to whether or not there is a danger. As training data, image data is stored together with a safety assessment derived from the behavior of the safe sensor.

Unter einer Sicherheitsanwendung wird hier weiter als der eigentliche Begriff auch ein Aufbau verstanden, in dem eine für eine Sicherheitsanwendung geeignete Anordnung mit mindestens einem sicheren Sensor Bilddaten eines Szenarios liefert, das einer Absicherungssituation entspricht, etwa eine Testanwendung. Es kommt für die Erfindung nicht auf eine tatsächlich bestehende Gefahr an, sondern auf nutzbare Bilddaten samt Bewertung.A security application is further understood here as the actual term also a construction in which an arrangement suitable for a security application with at least one secure sensor supplies image data of a scenario which corresponds to a security situation, for example a test application. It comes to the invention not on an actual risk, but on usable image data including evaluation.

Die Erfindung hat den Vorteil, dass ohnehin für Sicherheitsanwendungen eingesetzte, bereits vorhandene sichere Sensoren zusätzlich zur Erzeugung von klassifizierten Trainingsdatensätzen herangezogen werden. Somit entsteht automatisch ein Trainingsdatenpool, bei dem die Bewertung nicht eigens für das Training erfolgt, sondern lediglich die sicherheitstechnische Bewertung des sicheren Sensors genutzt wird, die für die Sicherheitsanwendung ohnehin stattfinden muss. So wird eine wichtige technische Voraussetzung für die Entwicklung sicherer 2D-Kamerassensoren auf Basis neuronaler Netze geschaffen. Es werden erhebliche Aufwände für die Beschaffung von Trainingsdaten und deren manuelle Klassifizierung eingespart.The invention has the advantage that already existing secure sensors used for security applications are additionally used for generating classified training data records. This automatically creates a training data pool in which the evaluation is not done specifically for the training, but only the safety assessment of the safe sensor is used, which must take place anyway for the safety application. Thus, an important technical prerequisite for the development of secure 2D camera sensors based on neural networks is created. Significant costs are saved for the procurement of training data and their manual classification.

Die Bilddaten werden vorzugsweise als sicherheitskritisch oder nicht sicherheitskritisch bewertet, je nachdem, ob der sichere Sensor zum Zeitpunkt der Aufnahme der Bilddaten eine sicherheitsgerichtete Absicherung auslöst oder nicht. In den meisten Sicherheitsanwendungen ist die wichtigste Entscheidung binär, nämlich ob eine Absicherung erfolgen muss oder nicht. Daher ist zu erwarten, dass ein neuronales Netz auch besonders gut mit einem Trainingsdatensatz mit diesen beiden Ergebniskategorien eingelernt wird. Eine sicherheitsgerichtete Absicherung zum Zeitpunkt der Aufnahme der Bilddaten bedeutet nicht zwingend eine völlig zeitliche Übereinstimmun. Es darf Abweichungen zumindest im Rahmen der Zeitauflösung von sicherem Sensor und Bilddatenerfassung geben, und möglicherweise auch gezielte zusätzliche Abweichungen.The image data are preferably evaluated as safety-critical or not safety-critical, depending on whether the safe sensor triggers a safety-related protection at the time the image data is recorded or not. In most security applications, the most important decision is binary, whether or not hedging is required. Therefore, it is to be expected that a neural network is also taught particularly well with a training data set with these two result categories. A safety-related safeguard at the time of recording the image data does not necessarily mean a completely coincidental agreement. There may be deviations at least in the context of the time resolution of safe sensor and image data acquisition, and possibly also targeted additional deviations.

In bevorzugter Weiterbildung werden noch Unterkategorien gebildet, die Trainingsdaten also in mehr Klassen unterteilt als nur in die beiden Kategorien sicherheitskritisch und nicht sicherheitskritisch. So kann eine besondere nicht sicherheitskritische Situation vorliegen, wenn zunächst ein Objekt in gefährlicher Nähe zur Gefahrenquelle erkannt wurde, die Gesamtsituation aber dennoch als unkritisch eingestuft wird, beispielsweise weil das Objekt zu klein ist oder sofort wieder verschwindet, wie im Falle eines Regentropfens. Solche Grenzfälle können sogar besonders instruktiv sein.In a preferred development subcategories are still formed, the training data divided into more classes than only in the two categories safety-critical and not safety-critical. Thus, a particular non-safety-critical situation may be present when an object has first been detected in dangerous proximity to the source of danger, but the overall situation is still classified as uncritical, for example because the object is too small or disappears immediately, as in the case of a raindrop. Such borderline cases can even be particularly instructive.

Die als Trainingsdaten gespeicherten Bilddaten weisen bevorzugt zumindest ein Bild vor und/oder ein Bild nach dem Auslösen einer sicherheitsgerichteten Absicherung durch den sicheren Sensor auf. Obwohl denkbar ist, dass nur genau ein Bild lang eine transiente sicherheitskritische Situation bestand, werden in aller Regel die Bilder nach einem Abschaltereignis weiterhin eine sicherheitskritische Situation zeigen. Die Bilder vor dem Abschaltereignis umgekehrt stammen aus nicht sicherheitskritischen Situationen, da ja der sichere Sensor vorher nicht angesprochen hat. Solche Bilddaten entsprechen wiederum Grenzfällen, die für das Einlernen und eine hohe Zuverlässigkeit des neuronalen Netzes besonders wertvoll sein können.The image data stored as training data preferably have at least one image before and / or one image after the triggering of a safety-related protection by the secure sensor. Although it is conceivable that only one picture long was a transient safety-critical situation, the images will usually continue to show a safety-critical situation after a shutdown event. Conversely, the pictures before the switch-off event originate from non-safety-critical situations, since the safe sensor did not respond before. Such image data correspond in turn to borderline cases, which can be particularly valuable for teaching and high reliability of the neural network.

Der sichere Sensor nimmt bevorzugt auch die Bilddaten auf. Anders ausgedrückt ist der sichere Sensor selbst eine Kamera. Als sichere Kamera sind darin spezialisierte sichere Auswertungsverfahren implementiert. Ein Ziel des Speicherns von Trainingsdaten könnte dann sein, diese Auswertungsverfahren durch die generische Auswertung eines neuronalen Netzes zu ersetzen und damit Erweiterungen und Änderungen in der Sicherheitsanwendung zuzulassen. Ein anderes Beispiel ist eine sichere 3D-Kamera. Bei einer Stereoskopiekamera können die zweidimensionalen Ausgangsbilder als Bilddaten verwendet werden. Auch andere 3D-Kameras liefern ein zweidimensionales Bild, etwa eine TOF-Kamera (Time of Flight, Lichtlaufzeitverfahren), welche über die Phase des Empfangslichts die Entfernung schätzt und über die Intensität zugleich die Textur erfasst.The secure sensor preferably also records the image data. In other words, the safe sensor itself is a camera. As a secure camera specialized secure evaluation procedures are implemented. A goal of the storage of training data could then be to replace these evaluation methods by the generic evaluation of a neural network and thus allow extensions and changes in the security application. Another example is a secure 3D camera. In a stereoscopic camera, the two-dimensional output images can be used as image data. Other 3D cameras also provide a two-dimensional image, such as a TOF camera (time of flight, light transit time method), which estimates the distance via the phase of the received light and at the same time records the texture via the intensity.

Die Bilddaten werden alternativ von einer zusätzlichen nicht sicheren Kamera aufgenommen. Es entsteht also eine Kombination aus einem sicheren Sensor für die Sicherheitsanwendung und einer nicht sicheren Kamera, welche den Überwachungsbereich zusätzlich beobachtet. Die zusätzliche Kamera kann zum Einrichten, Warten oder für sonstige Visualisierungszwecke ohnehin vorgesehen sein, aber auch speziell angebracht werden, um Trainingsdaten zu generieren. Die Mehrkosten für eine einfache Kamera sind im Vergleich zu den spezialisierten Sicherheitssensoren gering. Einige nicht abschließende Beispiele solcher Anordnungen sind ein sicherer Laserscanner mit einer nicht sicheren 3D-TOF-Kamera, allgemein ein Laserscanner oder Lichtgitter mit irgendeiner Kamera. The image data is alternatively recorded by an additional non-secure camera. So it creates a combination of a safe sensor for security application and a non-secure camera, which additionally observed the surveillance area. The additional camera can be provided for setting up, waiting or for any other visualization purposes anyway, but also be specially attached to generate training data. The extra cost of a simple camera is low compared to specialized security sensors. Some non-exhaustive examples of such arrangements are a secure laser scanner with a non-secure 3D TOF camera, generally a laser scanner or light curtain with any camera.

Die Trainingsdaten werden vorzugsweise an einen Server übertragen. Server steht hier als Überbegriff für jegliches Steuerungs- oder Computernetzwerk unabhängig von der konkreten Hardware und Art der Übertragung. Das ermöglicht, die Trainingsdaten aus der Ferne abzurufen. Insbesondere können auf diese Weise zahlreiche Sicherheitsanwendungen über beliebige Entfernungen zum Aufbau einer Trainingsdatenbank beitragen („Cloud“). Dabei können nach Belieben produktive Sicherheitsanwendungen und Testaufbauten einbezogen werden. Es ist denkbar, die Trainingsdaten alternativ lokal zu speichern, beispielsweise auf einem Speicherchip der Kamera.The training data is preferably transmitted to a server. Server stands here as an umbrella term for any control or computer network, regardless of the specific hardware and type of transmission. This allows the training data to be retrieved remotely. In particular, in this way, numerous security applications over any distances contribute to the construction of a training database ("cloud"). At the same time, productive safety applications and test setups can be included at will. It is conceivable alternatively to store the training data locally, for example on a memory chip of the camera.

Die erfindungsgemäß gewonnenen Trainingsdaten werden bevorzugt zum Trainieren eines künstlichen neuronalen Netzes genutzt. Das Einlernen wird durch die mit den Bilddaten abgespeicherte sicherheitstechnische Bewertung ermöglicht. Aufgrund des automatisierten Sammelns und Bewertens entsteht ein großer Pool von Trainingsdaten, der auch zum Einlernen komplexer Architekturen von neuronalen Netzen geeignet ist.The training data obtained according to the invention are preferably used to train an artificial neural network. Teaching is made possible by the safety-related evaluation stored with the image data. Automated collection and validation creates a large pool of training data that is also suitable for learning complex architectures of neural networks.

Das künstliche neuronale Netz wird bevorzugt zur Überwachung einer Gefahrenquelle darauf trainiert, anhand von Bilddaten des Überwachungsbereichs zu erkennen, ob eine gefährliche Situation vorliegt, die eine sicherheitsgerichtete Absicherung der Gefahrenquelle erfordert. Die Funktion des neuronalen Netzes ist also, die sicherheitstechnische Bewertung zu übernehmen. Dabei geht es aber nicht nur darum, die Funktion des sicheren Sensors zu reproduzieren. Vielmehr ist die Besonderheit eines neuronalen Netzes, auch Situationen bewerten zu können, die nicht explizit eingelernt werden. Eine 2D-Kamera mit dem eingelernten neuronalen Netz ist daher sogar flexibler einsetzbar als die einzelnen sicheren Sensoren, mit deren Hilfe der Trainingsdatenpool aufgebaut wurde. Die Entscheidung des neuronalen Netzes muss nicht binär sein, denn auch die Absicherungsmaßnahme kann abgestuft sein, etwa warnen, langsamer werden, ausweichen und nur als letzter Ausweg ein Nothalt.The artificial neural network is preferably trained to monitor a source of danger based on image data of the surveillance area to detect whether a dangerous situation exists that requires a safety-oriented protection of the source of danger. The function of the neural network is therefore to assume the safety assessment. But it's not just about reproducing the function of the safe sensor. Rather, the peculiarity of a neural network is to be able to evaluate situations that are not explicitly learned. A 2D camera with the trained neural network is therefore even more flexible than the single safe sensors, with the help of the training data pool was built. The decision of the neural network does not have to be binary, because the hedging measure can also be graded, for example warn, slow down, dodge and only as a last resort an emergency stop.

Bevorzugt wird nach dem Trainieren anhand von Trainingsdaten die Zuverlässigkeit der Erkennung nachgewiesen. Der sicherheitstechnische Nachweis der Zuverlässigkeit ist ein wichtiger Schritt für eine sicherheitstechnische Zulassung. Das neuronale Netz muss sicherheitskritische Situationen mit einer Verlässlichkeit entsprechend einer angestrebten Sicherheitsstufe erkennen. Statt oder zumindest in Erleichterung eines mühsamen statistischen Nachweises vor Ort im Testbetrieb können Trainingsdaten verwendet werden. Dazu werden vorzugsweise andere Teile der Trainingsdaten herangezogen als für das Einlernen, um sich die Unabhängigkeit zu erhalten.Preferably, after training based on training data, the reliability of the detection is detected. Safety-related proof of reliability is an important step in safety-related approval. The neural network must recognize safety-critical situations with a reliability corresponding to a desired safety level. Instead of or at least facilitating tedious on-the-spot statistical verification in test mode, training data may be used. For this purpose, other parts of the training data are preferably used than for learning to maintain independence.

Der erfindungsgemäße optische Sensor ist vorzugsweise eine Kamera und dafür ausgebildet, Bilddaten aufzunehmen und daraus nach dem erfindungsgemäßen Verfahren Trainingsdaten zu erzeugen. Die Kamera weist dafür vorzugsweise eine Auswertungseinheit auf, womit eine externe Auswertungseinheit eingeschlossen sein soll. Außerdem ist vorzugsweise eine Schnittstelle vorgesehen, um die Trainingsdaten auszugeben, wobei die Schnittstelle eine Speicherkarte oder ein Anschluss für ein übergeordnetes System wie ein Netzwerk oder eine Cloud sein kann. Die Kamera kann selbst als sicherer Sensor in der Sicherheitsanwendung fungieren, oder sie wird mindestens mittelbar mit dem sicheren Sensor verbunden, um Informationen über dessen sicherheitstechnische Bewertung zu erhalten.The optical sensor according to the invention is preferably a camera and designed to record image data and to generate training data according to the method of the invention. For this purpose, the camera preferably has an evaluation unit, with which an external evaluation unit is to be included. In addition, an interface is preferably provided for outputting the training data, wherein the interface may be a memory card or a connection for a higher-level system, such as a network or a cloud. The camera itself can act as a safe sensor in the safety application, or it is at least indirectly connected to the safe sensor to obtain information about its safety rating.

Die Erfindung wird nachstehend auch hinsichtlich weiterer Merkmale und Vorteile beispielhaft anhand von Ausführungsformen und unter Bezug auf die beigefügte Zeichnung näher erläutert. Die Abbildungen der Zeichnung zeigen in:

1 eine schematische Darstellung einer Sicherheitsanwendung mit einem Sicherheitslaserscanner und einer Kamera zur Erzeugung von bewerteten Trainingsdaten;
2 eine schematische Darstellung einer weiteren Sicherheitsanwendung mit einer Stereokamera als sicherem Sensor, die zugleich Bilddaten für die Erzeugung von bewerteten Trainingsdaten liefert;
3 ein beispielhaftes Ablaufdiagramm der Sicherheitsanwendung;
4 ein beispielhaftes Ablaufdiagramm der Erzeugung von Trainingsdaten unter Ausnutzung der sicherheitstechnischen Bewertung durch eine Sicherheitsanwendung; und
5 eine Blockdarstellung einer sicheren Kamera auf Basis eines künstlichen neuronalen Netzes.

The invention will be explained in more detail below with regard to further features and advantages by way of example with reference to embodiments and with reference to the accompanying drawings. The illustrations of the drawing show in:

1 a schematic representation of a security application with a security laser scanner and a camera for generating evaluated training data;
2 a schematic representation of another security application with a stereo camera as a secure sensor, which also provides image data for the generation of weighted training data;
3 an exemplary flowchart of the security application;
4 an exemplary flowchart of the generation of training data using the safety assessment by a security application; and
5 a block diagram of a secure camera based on an artificial neural network.

5 zeigt eine Sicherheitsanwendung, in der eine sichere Kamera 100 einen Roboterarm 102 als Beispiel einer Gefahrenquelle überwacht. Die Kamera 100 kann als einfache 2D-Kamera ausgebildet sein, wobei vorzugsweise zur Einhaltung von Sicherheitsstandards Maßnahmen zur Selbstprüfung wie einleitend genannt beachtet sind. Als Auswertungseinheit fungiert ein künstliches neuronales Netz 104. Es ist darauf trainiert, sicherheitskritische Situationen zu erkennen und in solchen Fällen ein sicherheitsgerichtetes Abschaltsignal auszugeben. In der Darstellung ist die sichere Kamera 100 dafür mit einer Sicherheitssteuerung 106 verbunden, die ihrerseits mit dem Roboterarm 102 verbunden ist. Die Ansteuerung des Roboterarms 102 kann auch direkt durch die Kamera 100 erfolgen, ohne den Weg über eine Sicherheitssteuerung 106. 5 shows a security application in which a secure camera 100 a robot arm 102 monitored as an example of a source of danger. The camera 100 can be designed as a simple 2D camera, preferably for compliance with safety standards measures for self-inspection as mentioned in the introduction. The evaluation unit is an artificial neural network 104 , It is trained to recognize safety-critical situations and to issue a safety-related switch-off signal in such cases. In the illustration, the secure camera 100 is for it with a safety controller 106 which in turn is connected to the robot arm 102. The control of the robot arm 102 can also directly through the camera 100 done without the way through a safety controller 106 ,

Das von der sicheren Kamera 100 aufgenommene Bild enthält ausreichend Bildinformationen für eine sicherheitstechnische Anwendung. Herkömmlich scheitert der Einsatz in der Sicherheitstechnik an fehlender Zuverlässigkeit und Geschwindigkeit der Bildauswertung. Dafür ist in der sicheren Kamera 100 das künstliche neuronale Netz 104 vorgesehen. Solche künstlichen neuronalen Netze leisten aufgrund von neuen Architekturen wie die Verwendung zahlreicher versteckter Schichten (Deep Learning) vergleichbar komplexe Aufgaben in anderen Anwendungen. Deshalb wird der konkrete Aufbau des künstlichen neuronalen Netzes 104 nicht weiter ausgeführt, sondern als an sich bekannt vorausgesetzt.That from the secure camera 100 captured image contains sufficient image information for a safety application. Conventionally, the use in safety technology fails because of the lack of reliability and speed of the image evaluation. Therefor is in the secure camera 100 the artificial neural network 104 is provided. Such artificial neural networks perform comparably complex tasks in other applications due to new architectures such as the use of many deep layers. Therefore, the concrete structure of the artificial neural network becomes 104 not further elaborated, but assumed to be known per se.

Derartige Architekturen bedürfen aber eines meist riesigen Vorrats an bewerteten Trainingsdaten. Außerdem muss für Sicherheitsanwendungen die Zuverlässigkeit nachgewiesen werden.However, such architectures usually require a huge supply of evaluated training data. In addition, reliability must be demonstrated for safety applications.

Erfindungsgemäß werden solche Trainingsdaten aus Sicherheitsanwendungen gewonnen, in denen sichere Sensoren beziehungsweise Sensorsysteme zugleich Bilddaten erfassen und im Rahmen der bestehenden Sicherheitsfunktion eine Bewertung der Szene vornehmen, die eine automatische Klassifizierung der Bilddaten auf Basis der sensoreigenen Sicherheitsbewertung des sicheren Sensors erlaubt. Eine Kamera zur Erfassung von Bilddaten kann ohnehin in der Sicherheitsanwendung vorhanden sein oder für die Erzeugung von Trainingsdaten ergänzt werden. Sicherheitsanwendungen werden also erweitert, um neben der eigentlichen Sicherheitsfunktion Trainingsdaten in Form von durch die Sicherheitsanwendung klassifizierten Bilddaten für eine auf neuronalen Netzen basierende sichere Kamera, beispielsweise eine sichere Kamera 100 gemäß 5 zu sammeln.According to the invention, such training data are obtained from security applications in which secure sensors or sensor systems at the same time capture image data and make an evaluation of the scene within the existing safety function, which allows an automatic classification of the image data based on the sensor's own safety rating of the safe sensor. A camera for capturing image data can already be present in the security application or supplemented for the generation of training data. Security applications are thus extended to include, in addition to the actual security function, training data in the form of image data classified by the security application for a secure camera based on neural networks, for example a secure camera 100 according to 5 to collect.

1 zeigt eine erste Anordnung einer Sicherheitsanwendung mit einem sicheren Laserscanner 10 und einer zusätzlichen vorzugsweise nicht sicheren Kamera 12 zur Überwachung eines Roboterarms 14 als beispielhafte Gefahrenquelle in einem Überwachungsbereich 16. Erkennt der Laserscanner 10 in seiner Überwachungsebene 18 eine gefährliche beziehungsweise sicherheitskritische Situation, so wird ein sicherheitsgerichteter Abschaltbefehl an den Roboterarm 14 ausgegeben. In 1 ist der Laserscanner 10 indirekt über eine Sicherheitssteuerung 20 an den Roboterarm 14 angeschlossen, die in anderen Ausführungsformen entfallen kann. 1 shows a first arrangement of a safety application with a safe laser scanner 10 and an additional preferably non-secure camera 12 for monitoring a robot arm 14 as an exemplary source of danger in a surveillance area 16 , Detects the laser scanner 10 at its surveillance level 18 a dangerous or safety-critical situation, then a safety-related shutdown command to the robot arm 14 output. In 1 is the laser scanner 10 indirectly via a safety controller 20 to the robot arm 14 connected, which may be omitted in other embodiments.

Parallel dazu nimmt die Kamera 12 Bilddaten des Überwachungsbereichs 16 auf. Diese Bilddaten werden mit Hilfe des Laserscanner 10 bewertet. Dazu ist die Kamera 12 mit dem Laserscanner 10 verbunden und erfährt auf diese Weise ständig, ob der Laserscanner derzeit die Situation im Überwachungsbereich 16 als sicherheitskritisch bewertet oder nicht. Somit kann die Kamera 12 ihre Bilddaten auf Basis der sicherheitstechnischen Bewertung des Laserscanners 10 klassifizieren. In einer anderen Ausführungsform erfolgt das Speichern und Bewerten von Bilddaten nicht in der Kamera 12, sondern einer separaten Auswertungseinheit, die mit Laserscanner 10 und Kamera 12 verbunden ist.In parallel, the camera takes 12 Image data of the surveillance area 16 on. These image data are using the laser scanner 10 rated. This is the camera 12 with the laser scanner 10 connected in this way and constantly learns whether the laser scanner is currently the situation in the surveillance area 16 rated as safety-critical or not. Thus, the camera can 12 their image data based on the safety assessment of the laser scanner 10 classify. In another embodiment, storing and evaluating image data is not done in the camera 12 but a separate evaluation unit using laser scanner 10 and camera 12 connected is.

Die Kamera 12 kann Zusatzfunktionen über die reine Absicherung und Erzeugung von Bilddaten für Trainingsdaten hinaus erfüllen und dazu insbesondere als 3D-Kamera ausgebildet sein. Wie in allen Ausführungsbeispielen wird der interne Aufbau der Sensoren, wie Laserscanner 10 und Kamera 12, als bekannt vorausgesetzt, und die Erfindung ist nicht auf bestimmte Bauformen beschränkt. Gerade der Laserscanner 10 ist ohnehin rein beispielhaft und kann durch ein Lichtgitter und jeden anderen sicheren Sensor einschließlich solcher mit nicht optischem Sensorprinzip beziehungsweise Kombinationen von beliebigen Sensoren ausgetauscht werden, die gemeinsam sicher sind, da es für die Erfindung nicht darauf ankommt, auf welche Weise die Sicherheitsanwendung zu ihrer sicherheitstechnischen Bewertung gelangt.The camera 12 can fulfill additional functions in addition to the mere protection and generation of image data for training data addition and be designed in particular as a 3D camera. As in all embodiments, the internal structure of the sensors, such as laser scanner 10 and camera 12 , as known, and the invention is not limited to specific designs. Especially the laser scanner 10 is anyway purely exemplary and can be replaced by a light grid and any other secure sensor including those with non-optical sensor principle or combinations of any sensors that are safe together, since it does not matter for the invention, in which way the safety application to their safety Rating arrived.

Die als Trainingsdaten fungierenden bewerteten Bilddaten der Kamera 12 werden in einer Trainingsdatenbank 22 gesammelt. Da in einer Sicherheitsanwendung die allermeisten Bilder einer nicht sicherheitskritischen Situation entsprechen, sollte bevorzugt nur ein kleiner Teil der Bilddaten in der Trainingsdatenbank 22 gespeichert werden. Beispielsweise werden bewertete Bilddaten nur nach Verstreichen einer Zeitspanne, etwa einmal pro Stunde, und nach einem sicherheitskritischen Ereignis gespeichert.The evaluated image data of the camera acting as training data 12 be in a training database 22 collected. Since in a security application the vast majority of images correspond to a non-safety-critical situation, preferably only a small part of the image data in the training database should be used 22 get saved. For example, valued image data is stored only after a lapse of time, about once per hour, and after a safety-critical event.

In einer einfachen Ausführungsform ist in der Kamera 12 ein Speicherchip vorgesehen, auf dem die Trainingsdaten zwischengespeichert und hin und wieder händisch in die Trainingsdatenbank 22 übertragen werden. Im Zuge der fortschreitenden Vernetzung von Sensoren, Steuerungen und übergeordneten Netzwerken sowie der Integration cloudbasierter Services wird es aber immer üblicher, einen Sensor wie die Kamera 12 über eine entsprechende Datenschnittstelle anzuschließen. Dann wird der Rückfluss von Trainingsdaten wesentlich vereinfacht, die nicht mehr abgeholt werden müssen, sondern automatisiert an die Trainingsdatenbank 22 weitergegeben werden. Dadurch wird auch ermöglicht, die Trainingsdatenbank 22 aus einer Vielzahl von Sicherheitsanwendungen zu füllen, die im Prinzip überall auf der Welt verteilt sein können.In a simple embodiment is in the camera 12 a memory chip provided on the training data cached and now and then manually in the training database 22 be transmitted. However, as sensors, controllers and higher-level networks, and the integration of cloud-based services, become more common, it is becoming increasingly common to have a sensor like the camera 12 via a corresponding data interface. Then the backflow of training data is greatly simplified, which does not have to be picked up, but automated to the training database 22 be passed on. This also allows the training database 22 from a variety of security applications, which in principle can be distributed all over the world.

2 zeigt eine weitere Anordnung einer Sicherheitsanwendung. Dabei bezeichnen gleiche Bezugszeichen die gleichen oder einander entsprechenden Merkmale, die nicht erneut erläutert werden. Im Unterschied zu 1 ist der sichere Sensor in diesem Fall eine sichere 3D-Stereokamera 24 mit zwei einzelnen Kameras 12a-b. Eine 3D-Auswertungseinheit 26 berechnet aus den zwei Rohbildern in zueinander versetzter Perspektive der Kameras 12a-b Entfernungen und verwendet diese 3D-Informationen sowie möglicherweise bekannte Voraussetzungen der Szene zur sicherheitstechnischen Bewertung. In der Darstellung fungiert die rechte Kamera 12a als nicht sichere Kamera zur Aufnahme von Bilddaten, die bewertet und als Trainingsdaten ausgegeben werden. Ebenso könnten dazu die linke Kamera 12b oder beide Kameras 12a-b herangezogen werden. Jedenfalls muss keine zusätzliche nicht sichere Kamera eingesetzt werden, so dass der Trainingsdatensatz von bewerteten zweidimensionalen Bilddaten durch minimale Modifikation praktisch ohne Mehraufwand erstellt wird. 2 shows another arrangement of a security application. Here, like reference numerals designate the same or corresponding features that will not be explained again. In contrast to 1 In this case, the safe sensor is a safe 3D stereo camera 24 with two individual cameras 12a-b , A 3D evaluation unit 26 calculates from the two raw images in mutually offset perspective of the cameras 12a-b Distances and uses this 3D information and possibly known prerequisites of the scene for safety assessment. The right camera acts in the presentation 12a as a non-secure camera for capturing image data that is rated and output as training data. Likewise, this could be the left camera 12b or both cameras 12a-b be used. In any case, no additional non-secure camera must be used, so that the training data set of evaluated two-dimensional image data is created by minimal modification with virtually no extra effort.

Die 1 und 2 stellen nur zwei beispielhafte Sicherheitsanwendungen dar. Es wurde schon ausgeführt, dass es für die Erfindung nicht darauf ankommt, welche Sensoren oder Kombinationen von Sensoren die sicherheitstechnische Bewertung vornehmen. Durch die Sicherheitsanwendung wird ohnehin mit einer Methode, die originär weder mit neuronalen Netzen noch deren Training zu tun hat, eine sicherheitstechnische Bewertung hoher Zuverlässigkeit durchgeführt. Indem dabei Bilddaten erfasst werden, sei es durch eine zusätzliche Kamera 12 wie in 1 oder eine schon vorhandene Kamera 12a-b wie in 2, macht die Erfindung sich diese sicherheitstechnische Bewertung zunutze, um zusätzlich zu der Sicherheitsanwendung Trainingsdaten ohne nennenswerten Zusatzaufwand zu gewinnen.The 1 and 2 represent only two exemplary security applications. It has already been stated that it does not matter for the invention, which sensors or combinations of sensors make the safety assessment. In any case, a safety-related evaluation of high reliability is carried out by the safety application with a method which has originally neither neural networks nor their training to do. By capturing image data, be it through an additional camera 12 as in 1 or an existing camera 12a-b as in 2 , the invention makes use of this safety assessment to gain training data without significant additional effort in addition to the safety application.

Durch Einbeziehen verschiedener Sicherheitsanwendungen und/oder lange Betriebsdauern entsteht eine hohe Anzahl und Vielfalt von Trainingsdatensätzen. Es ist denkbar, Testanwendungen aufzubauen, um gezielt Trainingsdaten zu erzeugen. Außerdem kann man auch einzulernenden Situationen gezielt stellen und muss nicht nur den Normbetrieb heranziehen. Dadurch lassen sich insbesondere rasch nacheinander Eingriffssituationen stellen, in denen unter kontrollieren Bedingungen der Befehl zur sicherheitsgerichteten Abschaltung nicht ausgeführt wird und das zeitraubende mühsame Wiederanfahren der Anlage entfällt. Außerdem können dies Eingriffssituationen sein, die in Bezug auf eine sicherheitstechnische Bewertung besonders schwierig oder kritisch sind, insbesondere aus Sicht des neuronalen Netzes.By incorporating various security applications and / or long service lives, a large number and variety of training records are created. It is conceivable to build test applications to generate targeted training data. In addition, you can set situations to be taught specifically and not just use the standard operation. As a result, it is possible in particular to establish intervention situations quickly in succession, in which the command for safety-related shutdown is not carried out under controlled conditions and the time-consuming tedious restarting of the installation is eliminated. In addition, these can be intervention situations that are particularly difficult or critical with regard to a safety assessment, in particular from the perspective of the neural network.

Nach einem ähnlichen Gedankengang ist es auch möglich, die eher generischen Trainingsdaten aus einer Vielzahl von Sicherheitsanwendungen zu sortieren und zu spezifizieren. Dafür werden Trainingsdaten zusätzlich mit einer Information gespeichert, aus welcher Sicherheitsanwendung sie stammen. Dann kann das neuronale Netz differenzierter eingelernt werden. Ein Sonderfall ist, dass für eine bestimmte Anwendung eine höhere Sicherheitsstufe gewünscht ist. Dann besteht die Möglichkeit, nur Trainingsdaten dieser speziellen Anwendung für das Einlernen zu nutzen oder sogar speziell dafür zu erzeugen. Das neuronale Netz wird dann für diese Anwendung viel genauer und sicherheitstechnisch zuverlässiger entscheiden können.Following a similar train of thought, it is also possible to sort and specify the more generic training data from a variety of security applications. For this, training data are additionally stored with information about which security application they originate from. Then the neural network can be learned more differentiated. A special case is that a higher level of security is desired for a particular application. Then there is the possibility to use only training data of this special application for teaching or even to generate it specially. The neural network will then be able to make a much more accurate and safer decision for this application.

3 zeigt ein beispielhaftes, sehr vereinfachtes Ablaufdiagramm einer Sicherheitsanwendung. Diese Schritte erfolgen vorzugsweise in dem sicheren Sensor, beispielsweise dem Laserscanner 10 oder der 3D-Stereokamera 24 beziehungsweise deren 3D-Auswertungseinheit, oder in einer angeschlossenen Sicherheitssteuerung 20 auf Basis von Rohdaten der sicheren Sensoren. 3 shows an exemplary, very simplified flowchart of a security application. These steps are preferably carried out in the safe sensor, for example the laser scanner 10 or the 3D stereo camera 24 or its 3D evaluation unit, or in a connected safety controller 20 based on raw data from the safe sensors.

Dabei werden in einem Schritt S1 Daten aus dem Überwachungsbereich erfasst. In einem Schritt S2 werden die erfassten Daten ausgewertet, um zu entscheiden, ob eine sicherheitskritische Situation vorliegt. Das kann auf Basis von Schutzfeldern oder einer Überwachung von Mindestabständen geschehen, wie einleitend erläutert. In einer nicht sicherheitskritischen Situation ist der Zyklus schon beendet, und die Überwachung setzt sich mit Schritt S1 im nächsten Zyklus fort.In this case, data from the monitoring area are acquired in a step S1. In a step S2, the acquired data are evaluated in order to decide whether a safety-critical situation exists. This can be done on the basis of protective fields or monitoring of minimum distances, as explained in the introduction. In a non-safety critical situation, the cycle is already completed and monitoring continues with step S1 in the next cycle.

Im Falle einer sicherheitskritischen Situation wird in einem Schritt S3 eine sicherheitsgerichtete Reaktion ausgelöst, die im Beispiel der 1 und 2 den Roboterarm 14 absichert. Danach muss die Anlage in einem Schritt S4 wiederanlaufen, nachdem die gefährliche Situation bereinigt ist, ehe der nächste Zyklus mit Schritt S1 beginnt.In the event of a safety-critical situation, a safety-related reaction is triggered in a step S3, which in the example of FIG 1 and 2 the robot arm 14 safeguards. Thereafter, the plant must restart in a step S4 after the dangerous situation is cleared before the next cycle begins with step S1.

4 zeigt ein beispielhaftes Ablaufdiagramm für die Erzeugung von bewerteten Bilddaten parallel zu dem Ablauf der Sicherheitsanwendung gemäß 3. In einem Schritt 11 werden Bilddaten aufgenommen. Bei einer separaten Kamera 12 wie in 1 ist dies ein eigener Schritt. In einer Sicherheitskamera 12b wie in 2, die bereits der Sicherheitsauswertung zugrunde liegt, erfolgt der Schritt S11 implizit. 4 FIG. 12 shows an exemplary flowchart for the generation of weighted image data in parallel with the security application flow. FIG 3 , In one step 11 become image data added. In a separate camera 12 as in 1 this is a separate step. In a security camera 12b as in 2 already based on the safety evaluation, step S11 implicitly takes place.

In einem Schritt S12 wird dann geprüft, wie die Sicherheitsanwendung die in den Bilddaten festgehaltene Situation bewertet. Dazu wird die sicherheitstechnische Bewertung aus Schritt S2 herangezogen. Das ist folglich in 1 die Bewertung des Laserscanners 10 und in 2 diejenige der 3D-Stereokamera 24 beziehungsweise von deren 3D-Auswertungseinheit 26.In a step S12, it is then checked how the security application evaluates the situation recorded in the image data. For this purpose, the safety assessment from step S2 is used. That is consequently in 1 the rating of the laser scanner 10 and in 2 that of the 3D stereo camera 24 or of its 3D evaluation unit 26.

Sofern die aktuelle Situation sicherheitskritisch ist, wird dies im beispielhaften Ablauf nach 4 zugleich als Auslöser herangezogen, die bewerteten Bilddaten in einem Schritt S13 tatsächlich als Trainingsdaten zu speichern. Dies ist ein bevorzugtes Vorgehen, denn auf die Erkennung derartiger Situationen kommt es später für das neuronale Netz an.If the current situation is safety-critical, this is reflected in the exemplary procedure 4 at the same time used as a trigger to actually save the evaluated image data as training data in a step S13. This is a preferred approach, because the recognition of such situations will later be necessary for the neural network.

Nach einer sicherheitskritischen Situation sollte in einem Schritt S14 das Wiederanlaufen der Anlage abgewartet werden. Die bis dahin aufgenommenen Bilddaten während der Maßnahmen zum Wiederanlaufen entsprechen keiner für ein Training relevanten Situation. Der Ablauf beginnt dann wieder in einem neuen Zyklus bei Schritt S11.After a safety-critical situation, the restart of the system should be awaited in a step S14. The image data taken up to then during the measures to restart does not correspond to any situation relevant for a training. The process then starts again in a new cycle in step S11.

War umgekehrt in Schritt S12 die Situation nicht sicherheitskritisch, so ist klar, dass die aktuellen Bilddaten entsprechend bewertet werden. Solche Bilddaten werden in der überwiegenden Zahl der Fälle entstehen und müssen nicht alle gespeichert werden. Daher wird in einem weiteren Schritt S15 geprüft, ob ein zyklisches Speichern beispielsweise einmal pro Stunde erfolgen soll. Ist das der Fall, werden im Schritt S13 die Bilddaten als Trainingsdaten gespeichert. Anschließend kann der Ablauf direkt wieder bei Schritt S11 beginnen, da kein Wiederanlaufen erforderlich ist. Der Ablauf kehrt auch für den neuen Zyklus zu Schritt S11 zurück, wenn die Bilddaten nicht gespeichert werden sollen.Conversely, if the situation was not safety-critical in step S12, then it is clear that the current image data are evaluated accordingly. Such image data are generated in the vast majority of cases and do not all have to be stored. Therefore, in a further step S15, it is checked whether a cyclic storage is to take place, for example, once per hour. If this is the case, the image data are stored as training data in step S13. Thereafter, the process may start directly again at step S11 because no restart is required. The flow also returns to step S11 for the new cycle if the image data is not to be stored.

Der Ablauf nach 4 ist beispielhaft. Es muss nicht zwingend so sein, dass das Vorliegen einer sicherheitskritischen Situation wie in Schritt S12 auch als Auslöser zum Speichern von Trainingsdaten genutzt wird. Auch müssen keine Bilddaten zyklisch nach Schritt S15 gespeichert werden. Besonders relevante nicht sicherheitskritisch bewertete Bilddaten erhält man beispielsweise auch unmittelbar vor einem sicherheitskritischen Ereignis. Daher kann es vorteilhaft sein, eine gewisse Historie von Bilddaten zwischenzuspeichern und dann mit den Bilddaten zu der sicherheitskritischen Situation auch Bilddaten des Zeitraums unmittelbar davor als Trainingsdaten zu speichern. Erfindungsgemäß kann jedes Bild automatisiert sicherheitstechnisch bewertet werden. Die Auswahl, welche dieser Bilder tatsächlich als Trainingsdaten übernommen werden, ist ein davon zunächst unabhängiger nachgelagerter Aspekt.The process after 4 is exemplary. It does not necessarily have to be the case that the presence of a safety-critical situation as in step S12 is also used as a trigger for storing training data. Also, no image data needs to be stored cyclically after step S15. Particularly relevant non-safety-critical rated image data are also obtained, for example, immediately before a safety-critical event. Therefore, it may be advantageous to temporarily store a certain history of image data and then also to store image data of the period immediately prior to this with the image data for the safety-critical situation as training data. According to the invention, each image can be automatically assessed safety-related. The selection of which of these images are actually taken over as training data is one of them initially independent downstream aspect.

Das Einlernen des neuronalen Netzes ist nicht die einzige Herausforderung. Für eine sicherheitstechnische Anwendung in einer Kamera 100 wie in 5 muss auch ein Nachweis der Zuverlässigkeit geführt werden. Mangels deterministischer Beschreibung ist ein statistischer Nachweis denkbar. Dafür kann die Trainingsdatenbank 22 ebenfalls genutzt werden. Es wird dann je nach Sicherheitsstufe gefordert, dass die Bewertungen der Trainingsdatensätze mit einer gewissen Fehlerquote reproduziert werden. Dabei ist aus sicherheitstechnischer Sicht irrelevant, wenn zu viele Situationen sicherheitskritisch eingestuft werden, nicht aber für den Anwender, der unnötige Einschränkungen der Verfügbarkeit nur in sehr engem Rahmen akzeptieren wird. Vorzugsweise sollten die Datensätze vorab in Lern- und Verifikationsdaten geteilt werden, da das neuronale Netz während eines Nachweises auf die Lerndatensätze mit einer täuschend hohen Genauigkeit reagieren würde.Learning the neural network is not the only challenge. For a safety application in a camera 100 as in 5 proof of reliability must also be provided. In the absence of a deterministic description, statistical proof is conceivable. For this, the training database 22 also be used. Depending on the security level, it is then required that the ratings of the training data records are reproduced with a certain error rate. From a safety point of view, it is irrelevant if too many situations are classified as safety critical, but not for the user, who will accept unnecessary restrictions on availability only to a very limited extent. Preferably, the data sets should be pre-divided into learning and verification data since the neural network would respond with deceptively high accuracy during proof of the learning data sets.

Die erfindungsgemäß gewonnenen Trainingsdaten haben demnach eine doppelte Bedeutung für eine sichere Kamera 100 auf Basis eines neuronalen Netzes 104: Sie dienen dazu, das neuronale Netz 104 einzulernen und den Nachweis zu führen, dass es mit ausreichender Verlässlichkeit arbeitet. Das erhöht den Bedarf an einer großen Anzahl verlässlich bewerteter Trainingsdaten, die erfindungsgemäß praktisch ohne Mehraufwand, fast als Abfallprodukt bestehender Sicherheitsanwendungen entstehen.The training data obtained according to the invention therefore have a double meaning for a secure camera 100 based on a neural network 104 : They serve to the neural network 104 training and to prove that it works with sufficient reliability. This increases the need for a large number of reliably evaluated training data, which, according to the invention, arise practically without any extra effort, almost as a waste product of existing safety applications.

ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant has been generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

EP 2527868 B1 [0007]
EP 2770459 B1 [0009]

Claims

A method of generating training data (22) for an artificial neural network (104) which captures image data of a surveillance area (16) of a security application, wherein in the security application a source of danger (14) in the surveillance area (16) is provided by at least one secure sensor (10, 24) is monitored, which triggers a safety-oriented protection of the source of danger (14) when detecting a dangerous situation, characterized in that the image data as training data (22) are stored together with a safety assessment, the behavior of the safe sensor (10, 24) is derived.

Method according to Claim 1 , wherein the image data are evaluated as safety-critical or not safety-critical, depending on whether the secure sensor (10, 24) at the time of recording the image data triggers a safety-oriented protection or not.

Method according to Claim 1 or 2 , wherein the image data stored as training data (22) at least one image before and / or an image after the triggering of a safety-related protection by the secure sensor (10, 24).

Method according to one of the preceding claims, wherein the secure sensor (24, 12a-b) also receives the image data.

Method according to one of Claims 1 to 3 wherein the image data is captured by an additional non-secure camera (12).

Method according to one of the preceding claims, wherein the training data (22) are transmitted to a server.

A method of training an artificial neural network (104) with training data (22) obtained according to any one of the preceding claims.

Method according to Claim 7 in which the artificial neural network (104) for monitoring a source of danger (14, 102) is trained on the basis of image data of the surveillance area (16) to detect whether there is a dangerous situation that provides a safety-related safeguarding of the source of danger (14, 102). requires.

Method according to Claim 7 or 8th , wherein after training based on training data (22), which were not used in particular for training, the reliability of the detection is detected.

Optoelectronic sensor (12, 12a-b), in particular a camera, which is designed to store recorded image data by means of a method according to one of the preceding claims as training data (22) for an artificial neural network (104).