DE102017107837A1

DE102017107837A1 - Adapting a sensor arrangement by a computer network

Info

Publication number: DE102017107837A1
Application number: DE102017107837.1A
Authority: DE
Inventors: Klemens Wehrle; Philipp Fischer; Martin Grafmüller; Roland Krzikalla; Annette Krengel; Christopher Kirsch; Jens Levelling
Original assignee: Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV; Sick AG
Current assignee: Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV; Sick AG
Priority date: 2017-04-11
Filing date: 2017-04-11
Publication date: 2018-10-11

Abstract

Es wird eine anpassbare Sensoranordnung (10) angegeben, die mindestens ein Sensorelement (14) zur Erfassung von Sensordaten, eine Steuer- und Auswertungseinheit (18) für die Auswertung der Sensordaten mit einem Klassifikator sowie eine Schnittstelle (20) zu einem übergeordneten Rechnernetzwerk (12) aufweist. Dabei ist die Steuer- und Auswertungseinheit (18) für eine Erweiterungsfunktion ausgebildet, in der Sensordaten ausgewählt werden, welche die Sensoranordnung zusätzlich klassifizieren soll. Die ausgewählten Sensordaten werden über die Schnittstelle (20) an das Rechnernetzwerk (12) übertragen, und anschließend werden über die Schnittstelle (20) von dem Rechnernetzwerk (12) aus den Sensordaten abgeleitete Klassifikatordaten empfangen, mit denen der Klassifikator modifiziert wird, so dass die Sensoranordnung (10) dann auch die ausgewählten Sensordaten klassifizieren kann.An adaptable sensor arrangement (10) is specified which comprises at least one sensor element (14) for acquiring sensor data, a control and evaluation unit (18) for evaluating the sensor data with a classifier, and an interface (20) to a superordinate computer network (12 ) having. In this case, the control and evaluation unit (18) is designed for an expansion function, in which sensor data are selected, which is to additionally classify the sensor arrangement. The selected sensor data are transmitted via the interface (20) to the computer network (12), and then are received via the interface (20) from the computer network (12) derived from the sensor data classifier data with which the classifier is modified so that the Sensor assembly (10) then can also classify the selected sensor data.

Description

Die Erfindung betrifft eine durch ein übergeordnetes Rechnernetzwerk anpassbare Sensoranordnung und ein entsprechendes Rechnernetzwerk nach dem Oberbegriff von Anspruch 1 beziehungsweise 9 sowie ein Verfahren zum Anpassen einer Sensoranordnung durch ein Rechnernetzwerk.The invention relates to an adaptable by a higher-level computer network sensor arrangement and a corresponding computer network according to the preamble of claim 1 or 9 and a method for adjusting a sensor arrangement by a computer network.

Eine Sensoranordnung wird üblicherweise an ihrem Betriebsort montiert und bedarf einer Inbetriebnahme zur Anpassung an die Situation vor Ort und die gestellte Aufgabe. Im Laufe des Betriebs kann es dann zu neuen Anforderungen kommen. Das ließe sich in vielen Fällen mit derselben Sensorkonfiguration durch eine mächtigere Auswertung lösen, also eine neue oder modifizierte Software.A sensor arrangement is usually mounted at its operating location and requires commissioning to adapt to the situation on site and the task. During operation, new requirements may arise. In many cases this could be solved with the same sensor configuration by a more powerful evaluation, ie a new or modified software.

Allerdings stellen sich einer entsprechenden Erweiterung erhebliche praktische Schwierigkeiten entgegen. Im einfachsten Fall bedeutet eine Softwareanpassung lediglich eine neue Einstellung von Parametern, die dann sogar im laufenden Betrieb vor Ort erfolgen kann. Wenn aber die Erweiterung nicht schon im Prinzip implementiert war und lediglich eingeschaltet oder parametriert werden kann, dann ist eine individuelle Anfrage des Betreibers der Sensoranordnung an den Hersteller erforderlich. Dort wird abgeschätzt, mit welchem Aufwand eine Umsetzung durch manuelle Um- oder Neuprogrammierung der Software möglich ist. Wird die Änderung dann bestellt, so ist das Resultat eine neue, speziell zugeschnittene Firmware, die im Feld mittels Firmwareupdate aufgespielt wird. Das impliziert regelmäßig auch einen Neustart des Systems. Erst dann ist die neue Funktionalität verfügbar. Dieser an vielen Stellen händische Prozess, angefangen von einer meist telefonischen oder schriftlichen Anforderungsbeschreibung über ein individuelles Programmieren bis hin zu einem Aufspielen der eigens erstellten neuen Firmware ist äußerst aufwändig und zeitraubend.However, a corresponding enlargement poses considerable practical difficulties. In the simplest case, a software adjustment simply means a new setting of parameters, which can then be done even during operation on site. But if the extension was not already implemented in principle and can only be switched on or parameterized, then an individual request of the operator of the sensor assembly to the manufacturer is required. There, it is estimated with what effort a conversion by manual reprogramming or reprogramming of the software is possible. If the change is then ordered, the result is a new, specially tailored firmware, which is installed in the field by means of firmware update. This also implies a reboot of the system on a regular basis. Only then is the new functionality available. This process, which is manual in many places, ranging from a mostly telephone or written requirement description to an individual programming up to a loading of the specially created new firmware is extremely time-consuming and time-consuming.

Die EP 2 770 459 B1 offenbart einen optoelektronischen Codeleser und ein Verfahren zur Diagnose und Verbesserung des Leseverhaltens, bei dem ereignisgesteuert Bilddaten und Parameter eines Lesevorgangs in einer Datenbank gesammelt werden. Die Datenbank wird genutzt, um den Decodierer zu optimieren. Dadurch erweitert sich aber nicht die Funktionalität, denn auch der verbesserte Decodierer liest Codes wie zuvor, nur mit verbesserter Fehlerrate. Außerdem erfolgt die Optimierung des Decodierers und dessen Implementierung in den Sensoren weiterhin manuell.The EP 2 770 459 B1 discloses an optoelectronic code reader and a method for diagnosing and improving reading behavior in which event-controlled image data and parameters of a reading process are collected in a database. The database is used to optimize the decoder. But this does not extend the functionality, because even the improved decoder reads codes as before, but with an improved error rate. In addition, the optimization of the decoder and its implementation in the sensors continue to be done manually.

Die DE 11 2011 104 644 T5 befasst sich mit einem mobilen Roboter-System, das bei Bedarf Rechner-Ressourcen und Speicher aus einer Cloud abrufen kann. Allerdings wird das allein für die Steuerung des Roboters genutzt, eine Erweiterung einer Sensorfunktion ist nicht angesprochen.The DE 11 2011 104 644 T5 deals with a mobile robot system that can retrieve computer resources and storage from a cloud as needed. However, this is used solely for the control of the robot, an extension of a sensor function is not addressed.

Die Arbeit von D. Kingma et al. „Adam: A method for stochastic optimization.“ arXiv preprint arXiv:1412.6980 (2014) zeigt einen Algorithmus für einen Lern- oder Trainingsprozess. Der allgemein einsetzbare Algorithmus hat keinen Bezug zu Sensoren oder gar deren Erweiterung.The work of D. Kingma et al. "Adam: A method for stochastic optimization." ArXiv preprint arXiv: 1412.6980 (2014) shows an algorithm for a learning or training process. The general-purpose algorithm has no relation to sensors or even their extension.

Es ist daher Aufgabe der Erfindung, die Anpassbarkeit von Sensoren zu verbessernIt is therefore an object of the invention to improve the adaptability of sensors

Diese Aufgabe wird durch eine anpassbare Sensoranordnung nach Anspruch 1, ein entsprechendes Rechnernetzwerk nach Anspruch 9 sowie ein Verfahren zum Anpassen einer Sensoranordnung durch ein Rechnernetzwerk nach Anspruch 15 gelöst. Die Sensoranordnung umfasst zumindest ein Sensorelement mit einer Steuer- und Auswertungseinheit. Die Sensordaten werden mit einem Klassifikator ausgewertet. Über eine Schnittstelle ist die Sensoranordnung mit einem übergeordneten Rechnernetzwerk verbindbar. Einige Beispiele für das Rechnernetzwerk sind ein Firmennetzwerk, sei es des Betreibers der Sensoranordnung oder des Hersteller, Systemintegrators oder dergleichen, insbesondere in Form einer privaten oder öffentlichen Cloud. Denkbar ist aber auch lediglich ein einzelner angeschlossener Rechner oder Server.This object is achieved by an adaptable sensor arrangement according to claim 1, a corresponding computer network according to claim 9 and a method for adapting a sensor arrangement by a computer network according to claim 15. The sensor arrangement comprises at least one sensor element with a control and evaluation unit. The sensor data are evaluated with a classifier. Via an interface, the sensor arrangement can be connected to a superordinate computer network. Some examples of the computer network are a corporate network, be it the operator of the sensor array or the manufacturer, system integrator or the like, especially in the form of a private or public cloud. It is also conceivable only a single connected computer or server.

Die Erfindung geht nun von dem Grundgedanken aus, eine durch die Sensoranordnung initiierte Erweiterung der Funktionalität vorzunehmen. Dies kann insbesondere auf Seiten des Rechnernetzwerks vollautomatisiert ablaufen. Dazu überträgt die Sensoranordnung in einer Erweiterungsfunktion ausgewählte Sensordaten, die zusätzlich von dem Klassifikator verarbeitet werden sollen, an das Rechnernetzwerk. Dort wird auf Basis der Sensordaten ein Klassifikator trainiert, und nach Abschluss des Trainings erhält die Sensoranordnung Klassifikatordaten zur Modifikation des Klassifikators zurück, wie Parameter, Programmabschnitte oder sogar den gesamten trainierten Klassifikator. Damit ist die Sensoranordnung auch für die Klassifikation der ausgewählten Sensordaten gerüstet.The invention is based on the basic idea of carrying out an expansion of the functionality initiated by the sensor arrangement. This can be fully automated especially on the part of the computer network. For this purpose, the sensor arrangement transmits, in an expansion function, selected sensor data, which is additionally to be processed by the classifier, to the computer network. There, a classifier is trained based on the sensor data, and upon completion of the training, the sensor array receives classifier data to modify the classifier, such as parameters, program sections, or even the entire trained classifier. Thus, the sensor arrangement is also equipped for the classification of the selected sensor data.

Die Erfindung hat den Vorteil, dass der Betreiber der Sensoranordnung über die Schnittstelle eigenständig in der Lage ist, das Antrainieren von neuer beziehungsweise verbesserter Funktionalität zu initiieren und damit auf neue Anforderungen im Feld selbst zu reagieren. Damit sind zahllose, prinzipiell unbegrenzte Leistungsmerkmale individuell nachrüstbar. Ein manueller Eingriff ist nach dem Stellen der Anforderung nicht mehr erforderlich, vielmehr kann der Prozess dann sowohl für den Betreiber der Sensoranordnung wie für denjenigen des Rechnernetzwerks unter erheblicher Vereinfachung und Zeitersparnis automatisch ablaufen. Es entstehen äußerst wandlungsfähige, durch das Rechnernetzwerk erweiterbare smarte Sensormodule. Dabei ist es bedeutend einfacher und günstiger, auf dem Rechnernetzwerk statt im jeweiligen Sensor leistungsstarke Hardware beispielsweise in Form von CPUs und GPUs zur Verfügung zu stellen, mit der ein Training deutlich verkürzt wird. Außerdem würde solche leistungsfähige Hardware im Sensor außerhalb des Trainings und damit im Regelbetrieb gar nicht gebraucht.The invention has the advantage that the operator of the sensor arrangement is able, via the interface, to independently initiate the training of new or improved functionality and thus to react to new requirements in the field itself. Countless, basically unlimited features can be retrofitted individually. A manual intervention is no longer required after the request has been made, but the process can then be considerably simpler for both the operator of the sensor arrangement and that of the computer network Time savings run automatically. The result is extremely versatile, expandable by the computer network smart sensor modules. It is significantly easier and cheaper to provide powerful hardware on the computer network instead of in the respective sensor, for example in the form of CPUs and GPUs, with which a training is significantly shortened. In addition, such powerful hardware would not be needed in the sensor outside the training and thus in normal operation.

Das Sensorelement weist bevorzugt einen Bildsensor zur Erfassung von Bilddaten als Sensordaten auf. Dazu ist insbesondere mindestens eine Kamera vorgesehen. Bilddaten bieten eine sehr große Vielfalt an möglichen Merkmalen, die für einen Klassifikator relevant werden können. Daher ist die Flexibilität und Wandelbarkeit durch Antrainieren neuer Funktionalität hierfür besonders gefragt.The sensor element preferably has an image sensor for acquiring image data as sensor data. For this purpose, in particular at least one camera is provided. Image data provides a very wide variety of possible features that may become relevant to a classifier. Therefore, the flexibility and versatility by training new functionality is particularly in demand.

Der Klassifikator unterscheidet bevorzugt Symbole. Darunter fallen insbesondere Gefahrgutkennzeichnungen. In einer bevorzugten Ausführungsform ist die Sensoranordnung anfänglich so programmiert, dass sie mit einer bestimmten Menge von Symbolen umgehen kann. Im Laufe des Betriebs tauchen dann zusätzliche Symbole auf, oder es ändern sich gesetzliche oder interne Richtlinien, welche die Erkennung weiterer Symbole erfordern. Dann wird der Klassifikator anhand dieser zusätzlichen Symbole erweitert.The classifier preferably distinguishes symbols. This includes, in particular, dangerous goods markings. In a preferred embodiment, the sensor assembly is initially programmed to handle a certain set of symbols. During operation, additional symbols appear or legal or internal policies that require the detection of additional symbols change. Then the classifier is extended by these additional symbols.

Die Steuer- und Auswertungseinheit ist bevorzugt dafür ausgebildet, beim Auswählen von Sensordaten eine Benutzereingabe zum Auffinden zu klassifizierender Merkmale zu erfassen. Im einfachsten Fall bezeichnet der Benutzer lediglich Datensätze von Sensordaten, die in Zukunft auch klassifiziert werden sollen. Spezieller kann ein Bildausschnitt mit einem neu zu klassifizierenden Symbol ausgewählt werden. Dadurch entstehen Positivbeispiele für eine neue Klasse von Sensordaten, die gegebenenfalls auch händisch zumindest grob aufbereitet werden (Annotation). Die Benutzereingabe kann durch einfachen Knopfdruck in einer passenden Situation erfolgen, die den zu klassifizierenden Sensordaten entspricht, aber auch etwas zielgerichteter beispielsweise in einer grafischen Benutzerumgebung.The control and evaluation unit is preferably designed to capture a user input for locating features to be classified when selecting sensor data. In the simplest case, the user merely designates data sets of sensor data which are to be classified in the future. More specifically, a frame can be selected with a symbol to be re-classified. This creates positive examples for a new class of sensor data, which may also be roughly processed by hand (annotation). The user input can be done by a simple push of a button in a suitable situation, which corresponds to the sensor data to be classified, but also somewhat more targeted, for example in a graphical user environment.

Die Steuer- und Auswertungseinheit ist bevorzugt dafür ausgebildet, Sensordaten an das Rechnernetzwerk zu übertragen, welche nicht den zusätzlich zu klassifizierenden Sensordaten entsprechen. Solche Sensordaten stellen Negativbeispiele in Ergänzung der Positivbeispiele dar, etwa Hintergrundbilder. Damit kann der Klassifikator nach Abschluss des Trainings zuverlässigere Ergebnisse liefern.The control and evaluation unit is preferably designed to transmit sensor data to the computer network which does not correspond to the sensor data to be additionally classified. Such sensor data represent negative examples in addition to the positive examples, such as background images. This allows the classifier to deliver more reliable results after completing the training.

Der Klassifikator weist bevorzugt ein neuronales Netz auf. Damit ist ein künstliches neuronales Netz gemeint, insbesondere ein künstliches neuronales Faltungsnetz (CNN). Ein solcher Klassifikator besitzt die erforderliche Flexibilität und ist damit sehr gut geeignet, durch Training in einer gewünschten Weise erweitert zu werden.The classifier preferably has a neural network. This refers to an artificial neural network, in particular an artificial neural folding network (CNN). Such a classifier has the required flexibility and is therefore very well suited to be expanded by training in a desired manner.

Der Klassifikator ist bevorzugt in der Steuer- und Auswertungseinheit implementiert und wird durch die Erweiterungsfunktion neu parametriert. Das Grundgerüst des Klassifikators ist also in der Sensoranordnung schon fertig implementiert, vorzugsweise auch schon mit einer gewissen Klassifikationsfunktionalität. Die Schnittstelle empfängt nach dem Training nur noch die erforderlichen Einstellungen, die durch das Training gewonnen wurden. Im Falle eines neuronalen Netzes können das die Gewichtungsfaktoren an den einzelnen Verbindungen sein, wobei aber auch Architekturparameter denkbar sind, welche das neuronale Netz an sich neu strukturieren. Alternativ werden nach dem Training spezifische Codeabschnitte oder sogar der gesamte Klassifikator in die Sensoranordnung übertragen.The classifier is preferably implemented in the control and evaluation unit and is newly parameterized by the expansion function. The basic structure of the classifier is therefore already completely implemented in the sensor arrangement, preferably even with a certain classification functionality. The interface only receives the required settings after training, which were gained through the training. In the case of a neural network, this may be the weighting factors at the individual connections, but architectural parameters are also conceivable which restructure the neural network itself. Alternatively, after the training, specific code sections or even the entire classifier are transferred to the sensor array.

Die Steuer- und Auswertungseinheit ist bevorzugt dafür ausgebildet, durch den modifizierten Klassifikator bewertete Sensordaten an das Rechnernetzwerk zu übertragen. Damit erweitert sich im Rechnernetzwerk die Datenbank mit Positiv- und bei Bedarf auch Negativbeispielen. Anhand solcher Daten kann der Klassifikator überprüft und beispielsweise durch ein Anschlusstraining nochmals verbessert werden. Außerdem stehen die Daten für die Erweiterung baugleicher oder ähnlicher Sensoranordnungen zur Verfügung. Dabei kann im Rechnernetzwerk eine Prüfung der Positivbeispiele beziehungsweise Negativbeispiele durch einen anderen Klassifikator oder sogar eine Person hilfreich sein, um Bewertungszirkel zu vermeiden.The control and evaluation unit is preferably designed to transmit sensor data evaluated by the modified classifier to the computer network. This extends the database in the computer network with positive and, if necessary, negative examples. On the basis of such data, the classifier can be checked and, for example, further improved by follow-up training. In addition, the data is available for the extension of identical or similar sensor arrangements. In the computer network, a check of the positive examples or negative examples by another classifier or even a person can be helpful in order to avoid scolding circles.

Das erfindungsgemäße Rechnernetzwerk ist die Gegenstelle zum Trainieren eines Klassifikators für eine Sensoranordnung. Wie oben schon ausgeführt, kann das Rechnernetzwerk in kleinster Konfiguration ein einzelner Rechner sein, und vorzugsweise handelt es sich um einen Verbund von Rechnern beziehungsweise Prozessoren wie in einem leistungsstarken Serverrack, ein Firmennetzwerk oder eine Cloud. In dem Rechnernetzwerk ist ein anpassbarer Klassifikator implementiert, der bevorzugt einem Klassifikator der Sensoranordnung entspricht. Der anpassbare Klassifikator wird anhand von zu klassifizierenden Sensordaten der Sensoranordnung trainiert, und anschließend werden Klassifikatordaten an die Sensoranordnung übertragen. Die Sensoranordnung erhält über die Klassifikatordaten die notwendigen Informationen, um ihren Klassifikator entsprechend der durch Training gewonnenen Erweiterung zu modifizieren.The computer network according to the invention is the remote station for training a classifier for a sensor arrangement. As already explained above, the computer network can be a single computer in the smallest configuration, and it is preferably a combination of computers or processors, such as in a high-performance server rack, a company network or a cloud. In the computer network, an adaptable classifier is implemented, which preferably corresponds to a classifier of the sensor arrangement. The customizable classifier is trained based on sensor data of the sensor array to be classified, and then classifier data is transmitted to the sensor array. The sensor array receives the necessary information via the classifier data to modify its classifier according to the training gained by training.

Die Recheneinheit ist bevorzugt dafür ausgebildet, den anpassbaren Klassifikator auch mit von der Sensoranordnung empfangenen oder aus in einer eigenen Datenbank gespeicherten Sensordaten zu trainieren, welche nicht den zusätzlich zu klassifizierenden Sensordaten entsprechen. Üblicherweise werden von der Sensoranordnung nur sehr wenige Positivbeispiele übertragen. Das ist auch vorteilhaft, weil der Sensorbetreiber die Sensordaten auswählen muss und dafür jeweils die Situation zu deren Gewinnung vorgelegen haben muss. Zumindest Negativbeispiele, also etwa Hintergrundbilder, lassen sich aber vergleichsweise einfach gewinnen. Die Recheneinheit, die regelmäßig für die Erweiterung einer Vielzahl von Sensoranordnungen zuständig ist, kann dafür auch eine eigene Datenbank aufbauen und darauf zurückgreifen. Es ist auch denkbar, dass sich in der Datenbank weitere Positivbeispiele befinden, etwa weil eine andere Sensoranordnung zuvor schon eine gleiche oder ähnliche Erweiterung erfahren hat. In diesem Fall muss Einigkeit darüber bestehen, dass es sich um eine vergleichbare Erweiterung handelt. The arithmetic unit is preferably designed to train the adaptive classifier also with sensor data received from the sensor arrangement or stored in its own database, which does not correspond to the sensor data additionally to be classified. Usually, only very few positive examples are transmitted by the sensor arrangement. This is also advantageous because the sensor operator must select the sensor data and for each of the situation must have been present for their recovery. At least negative examples, such as wallpapers, but can be relatively easily win. The arithmetic unit, which is regularly responsible for the expansion of a variety of sensor arrangements, can also build its own database and fall back on it. It is also conceivable that there are further positive examples in the database, for example because another sensor arrangement has previously experienced an identical or similar expansion. In this case, there must be agreement that this is a comparable extension.

Der Klassifikator ist bevorzugt ein neuronales Netz. Die Ausführungen zu einem neuronalen Netz der Sensoranordnung gelten entsprechend. Das neuronale Netz wird aufgrund der von der Sensoranordnung erhaltenen Sensordaten als Positivbeispiele trainiert, vorzugsweise angereichert um ebenfalls übertragene oder in einer eigenen Datenbank gespeicherte Negativbeispiele. Vorzugsweise handelt es sich um eine Implementierung eines neuronalen Netzes wie auf dem Sensor, denn dann genügt es, die trainierten Parameter wie Gewichtungsfaktoren zurückzuspielen. Es ist aber auch denkbar, das neuronale Netz als Ganzes als neuen, erweiterten Klassifikator an die Sensoranordnung zu übertragen. Auf dem Rechnernetzwerk sind große, skalierbare Rechenkapazitäten vorhanden, die nicht von Limitierungen eines Sensors betroffen sind. Dadurch kann auch ein komplexes neuronales Netz in kürzeren Zeiten und in höherer Qualität trainiert werden, als das innerhalb der Sensoranordnung möglich wäre.The classifier is preferably a neural network. The remarks on a neural network of the sensor arrangement apply accordingly. The neural network is trained as positive examples on the basis of the sensor data obtained from the sensor arrangement, preferably enriched by negative examples also transmitted or stored in a separate database. Preferably, it is an implementation of a neural network as on the sensor, because then it is sufficient to play back the trained parameters such as weighting factors. However, it is also conceivable to transmit the neural network as a whole as a new, extended classifier to the sensor arrangement. The computer network has large, scalable computing capacities that are not affected by the limitations of a sensor. As a result, even a complex neural network can be trained in shorter times and in a higher quality than would be possible within the sensor arrangement.

Die Sensordaten weisen bevorzugt Bilddaten auf, wobei die Recheneinheit dafür ausgebildet ist, aus empfangenen Bilddaten weitere Bilddaten für das Training zu erzeugen, in denen Bildfehler hinzugefügt, die Textur des Hintergrundes verändert und/oder rechnerisch die Aufnahmeperspektive verändert ist. Allgemein, aber besonders für das Training eines neuronalen Netzes mit vielen Knoten oder gar Schichten („Deep Learning“) sind viele Trainingsdatensätze erforderlich. Der Betreiber der Sensoranordnung möchte und kann aber meist nur wenige Positivbeispiele liefern. Daher ist es sinnvoll, die Bilddaten aufzubereiten und zu vervielfältigen (Augmentierung). Insbesondere werden Bilddaten mit unterschiedlichen Texturen für den Hintergrund verknüpft beziehungsweise mit diversen Bildfehlern verknüpft, die wiederum typischen Situationen vor Ort wie Optikfehlern, Verunreinigungen oder Beschädigungen der aufgenommenen Objekte oder Symbole und dergleichen entsprechen. Auch ein rechnerischer Wechsel der Aufnahmeperspektive führt zu vielen Varianten, die für die Praxis relevant sind. Dazu werden das Bild beziehungsweise das darin bezeichnete zu lernende Symbol verkleinert, vergrößert sowie flächig oder perspektivisch verdreht. Eine Augmentierung ist auch im Falle anderer Sensordaten als Bilddaten sinnvoll, wobei dann entsprechende Variationsmöglichkeiten zum Einsatz kommen.The sensor data preferably have image data, wherein the arithmetic unit is configured to generate further image data for training from received image data, in which image aberrations are added, the texture of the background is changed and / or the recording perspective is altered mathematically. In general, but especially for the training of a neural network with many nodes or even layers ("Deep Learning") many training records are required. The operator of the sensor arrangement would like to and can usually provide only a few positive examples. Therefore, it makes sense to reprocess and duplicate the image data (augmentation). In particular, image data with different textures for the background are linked or linked with various image errors, which in turn correspond to typical on-site situations such as optical defects, contamination or damage to the recorded objects or symbols and the like. Also a mathematical change of the admission perspective leads to many variants, which are relevant for the practice. For this purpose, the image or the symbol to be learned therein is reduced in size, enlarged and rotated in a planar or perspective manner. An augmentation is also useful in the case of other sensor data as image data, in which case corresponding variations are used.

Die Recheneinheit ist bevorzugt dafür ausgebildet, den trainierten Klassifikator anhand der Sensordaten oder aus den Sensordaten gewonnenen Testdaten zu validieren, wobei bei unzureichender Güte des trainierten Klassifikators ein anderer anpassbarer Klassifikator trainiert wird und/oder die Sensordaten für das Training anders aufbereitet werden. Vorzugsweise werden die Trainingsdaten, also die von der Sensoranordnung übertragenen Sensordaten und gegebenenfalls ergänzte oder daraus gewonnene weitere Datensätze, in einen Trainings- und einen Validierungssatz unterteilt. Nach dem Training mit dem Trainingssatz wird der Klassifikator mit dem Validierungssatz geprüft und statistisch seine Güte bewertet. Stellt sich dabei heraus, dass die Güte nicht ausreicht, so kann versucht werden, einen anderen Klassifikator zu trainieren, insbesondere ein kleineres neuronales Netzwerk oder eines mit einer anderen Architektur. Denkbar ist auch, die Trainingsdaten zu verändern, etwa durch stärkeres Downsampling von Bilddaten. Als letzter Ausweg bleibt nur eine Rückmeldung, dass das Training nicht erfolgreich war beziehungsweise dass zumindest weitere Positivbeispiele geschickt werden müssen.The arithmetic unit is preferably designed to validate the trained classifier based on the sensor data or test data obtained from the sensor data, in case of insufficient quality of the trained classifier another adaptable classifier is trained and / or the sensor data for the training are processed differently. The training data, that is to say the sensor data transmitted by the sensor arrangement and optionally supplemented or derived further data records, are preferably subdivided into a training and a validation record. After training with the training set, the classifier is tested with the validation set and its quality is statistically evaluated. If it turns out that the quality is not sufficient, then you can try to train another classifier, especially a smaller neural network or one with a different architecture. It is also conceivable to change the training data, for example through greater downsampling of image data. As a last resort, there is only one feedback that the training was unsuccessful or that at least further positive examples must be sent.

Vorzugsweise sind eine erfindungsgemäße Sensoranordnung und ein erfindungsgemäßes Rechnernetzwerk über ihre jeweiligen Schnittstellen zumindest zeitweise zu einem System verbunden.Preferably, a sensor arrangement according to the invention and a computer network according to the invention are at least temporarily connected to a system via their respective interfaces.

Das erfindungsgemäße Verfahren kann auf ähnliche Weise weitergebildet werden und zeigt dabei ähnliche Vorteile. Derartige vorteilhafte Merkmale sind beispielhaft, aber nicht abschließend in den sich an die unabhängigen Ansprüche anschließenden Unteransprüchen beschrieben.The method according to the invention can be developed in a similar manner and shows similar advantages. Such advantageous features are described by way of example but not exhaustively in the subclaims following the independent claims.

Die Erfindung wird nachstehend auch hinsichtlich weiterer Merkmale und Vorteile beispielhaft anhand von Ausführungsformen und unter Bezug auf die beigefügte Zeichnung näher erläutert. Die Abbildungen der Zeichnung zeigen in:

1 eine schematische Darstellung einer Ausführungsform einer Sensoranordnung und eines Rechnernetzwerks;
2 ein beispielhaftes Ablaufschema zum Trainieren einer neuen Klassifikationsfunktion in einer Sensoranordnung durch ein Rechnernetzwerk;
3 einige Beispielbilder von Gefahrgutkennzeichen als zu trainierende Symbole;
4 eine Darstellung eines zu trainierenden Symbols in einem durch einen Benutzer vorgegebenen Bereich eines Bildes; und
5 einige Beispielbilder von Gefahrgutkennzeichen und daraus erzeugte weitere Bilder mit rechnerischen Modifikationen.

The invention will be explained in more detail below with regard to further features and advantages by way of example with reference to embodiments and with reference to the accompanying drawings. The illustrations of the drawing show in:

1 a schematic representation of an embodiment of a sensor arrangement and a computer network;
2 an exemplary flowchart for training a new classification function in a sensor array by a computer network;
3 some sample images of dangerous goods labels as symbols to be trained;
4 a representation of a symbol to be trained in a predetermined by a user area of an image; and
5 some sample pictures of dangerous goods labels and further pictures with mathematical modifications.

1 zeigt eine schematische Darstellung einer Sensoranordnung 10, die zumindest zeitweise mit einem Rechnernetzwerk 12 verbunden ist. Die Sensoranordnung 10 ist in dem dargestellten Ausführungsbeispiel eine Kamera 14 mit einem Bildsensor 16, einer integrierten Steuer- und Auswertungseinheit 18 sowie einer Schnittstelle 20. Der Aufbau einer Kamera 14 ist sehr vereinfacht und wird als bekannt vorausgesetzt. Die Kamera 14 nimmt Bilder auf, hier symbolisiert durch ein Bild eines Gefährdungskennzeichnens. Diese Bilder werden in der Steuer- und Auswertungseinheit 18 ausgewertet. Dazu ist ein Klassifikator in der Steuer- und Auswertungseinheit 18 implementiert, der beispielsweise erkennt, ob ein Gefährdungskennzeichen erfasst ist und um welches es sich dann handelt. 1 shows a schematic representation of a sensor arrangement 10 that at least temporarily with a computer network 12 connected is. The sensor arrangement 10 is a camera in the illustrated embodiment 14 with an image sensor 16 , an integrated control and evaluation unit 18 as well as an interface 20 , The construction of a camera 14 is very simplified and is assumed to be known. The camera 14 takes pictures, here symbolized by a picture of a hazard marking. These pictures are in the control and evaluation unit 18 evaluated. This is a classifier in the control and evaluation unit 18 implements, for example, whether a hazard indicator is detected and what it is then.

Die dargestellte Sensoranordnung 10 ist ein sehr einfaches Beispiel. In anderen Sensoranordnungen sind mehrere Sensoren vorgesehen, wie in einem sogenannten Kameratunnel an einem Förderband zur Erfassung von geförderten Objekten aus verschiedenen Perspektiven, die auch um weitere Sensoren wie Inkrementalgeber zur Bestimmung der Fördergeschwindigkeit oder RFID-Lesern ergänzt sein können. Die Steuer- und Auswertungseinheit 18 muss nicht in die Kamera 14 oder allgemein einen Sensor integriert sein, vielmehr kann diese Funktionalität auch beispielsweise in einer zentralen Recheneinheit implementiert oder auf mehrere Sensoren und eigene Recheneinheiten verteilt sein. Ein bevorzugtes Anwendungsgebiet ist die Logistik, und zwar sowohl die Intralogistik als auch die Transportlogistik, aber die Erfindung bezieht sich auch auf andere Bereiche wie insbesondere die Klassifikation bei auch autonomen Fahrzeugen oder im Straßenverkehr.The illustrated sensor arrangement 10 is a very simple example. In other sensor arrangements, a plurality of sensors are provided, such as in a so-called camera tunnel on a conveyor belt for detecting subsidized objects from different perspectives, which can also be supplemented by other sensors such as incremental encoder for determining the conveying speed or RFID readers. The control and evaluation unit 18 does not have to be in the camera 14 or in general a sensor be integrated, but this functionality can also be implemented, for example, in a central processing unit or distributed to multiple sensors and their own computing units. A preferred field of application is logistics, both intralogistics and transport logistics, but the invention also relates to other areas, in particular the classification in autonomous vehicles or in road traffic.

Über die Schnittstelle 20 der Sensoranordnung und eine entsprechende Schnittstelle 22 des Rechnernetzwerks 12 kann zumindest zeitweise eine Kommunikationsverbindung zum Datenaustausch hergestellt werden. Dazu sind beliebige drahtgebundene und drahtlose Verbindungen denkbar, wie Ethernet, WLAN oder ein Mobilfunkstandard. Das Rechnernetzwerk 12 weist zumindest eine Recheneinheit 24 auf. Das kann lediglich ein einzelner Computer, ein Notebook oder ein Mobiltelefon sein. Typischerweise ist aber ein Netzwerk mit einer auch erweiterbaren Vielzahl von Rechenknoten vorgesehen, wie ein Firmennetzwerk oder eine Cloud. Dadurch steht eine sehr große, erforderlichenfalls auch skalierbare Rechen- und Speicherkapazität zur Verfügung. Das Rechnernetzwerk kann in der gleichen Verantwortung liegen wie die Sensoranordnung 10, aber auch in derjenigen eines Sensorherstellers, eines Systemintegrators oder eines Dritten.About the interface 20 the sensor arrangement and a corresponding interface 22 of the computer network 12 At least temporarily, a communication connection for data exchange can be established. For this purpose, any wired and wireless connections are conceivable, such as Ethernet, WLAN or a mobile standard. The computer network 12 has at least one arithmetic unit 24 on. This can only be a single computer, a notebook or a mobile phone. Typically, however, a network with an expandable multiplicity of computing nodes is provided, such as a company network or a cloud. As a result, a very large, if necessary, also scalable computing and storage capacity is available. The computer network can be in the same responsibility as the sensor arrangement 10 , but also in that of a sensor manufacturer, a system integrator or a third party.

Die im Folgenden beschriebene automatisierte Erweiterung der Funktionalität der Sensoranordnung 10 durch Training in dem Rechnernetzwerk 12 anhand von ausgewählten Sensordaten ist auf Bilddaten einer Kamera 14 bezogen, aber nicht darauf beschränkt. Anstelle einer Kamera 14 kann auch ein anderer Sensor eingesetzt werden, der dementsprechend andere Sensordaten liefert als Bilddaten. Die Erweiterung funktioniert, sobald bestimmte Sensordaten auswählbar sind und zum Training zur Verfügung gestellt werden, die zukünftig klassifizierbar werden sollen. Auch innerhalb der optischen Erfassung, speziell Bildauswertung, gibt es andere Anwendungen als die Erkennung von Symbolen oder gar nur Gefährdungskennzeichen, etwa Codelesen, optische Texterkennung (OCR), die Gewinnung geometrischer Daten wie Längen, Flächen oder Volumina oder eine Klassifikation, ob ein Objekt unter bestimmten Kriterien förderbar ist oder nicht.The automated expansion of the functionality of the sensor arrangement described below 10 through training in the computer network 12 Based on selected sensor data is on image data of a camera 14 but not limited to. Instead of a camera 14 It is also possible to use another sensor, which accordingly supplies sensor data other than image data. The extension works as soon as certain sensor data are selectable and made available for training, which should be classifiable in the future. Also within the optical detection, especially image analysis, there are applications other than the recognition of symbols or even only hazard indicators, such as code reading, optical text recognition (OCR), the extraction of geometric data such as lengths, areas or volumes or a classification, whether an object below eligible for funding or not.

Im üblichen Betrieb löst die Sensoranordnung 10 eine bestimmte Anwendung wie soeben genannt, wobei das konkrete Beispiel der Beschreibung die Erfassung von Symbolen bleibt. Sie kann über Funktionen wie Diagnosemöglichkeiten, Einrichtassistenten und Selbstkalibrierung verfügen. Wenn anders als in 1 mehrere Kameras 14 oder andere Sensoren die Sensoranordnung 10 bilden, dann sind sie vorzugsweise über eine einheitliche Schnittstelle untereinander und über die als Gateway fungierende Schnittstelle 20 auch mit dem Rechnernetzwerk 12 verbunden. Es sei daran erinnert, dass die Schnittstelle 20 auch in einer kameraexternen Steuer- und Auswertungseinheit implementiert sein kann, und in diesem Fall verfügt die Kamera 14 über eine Schnittstelle zur Kommunikation zumindest mit der Steuer- und Auswertungseinheit, vorzugsweise auch anderen Sensoren.In normal operation, the sensor arrangement triggers 10 a particular application as just mentioned, the concrete example of the description remaining the capture of symbols. It can have features such as diagnostics, setup wizards, and self-calibration. If different than in 1 several cameras 14 or other sensors, the sensor assembly 10 form, then they are preferably via a common interface with each other and via the acting as a gateway interface 20 also with the computer network 12 connected. It should be remembered that the interface 20 can also be implemented in a camera-external control and evaluation unit, and in this case, the camera has 14 via an interface for communication at least with the control and evaluation unit, preferably also other sensors.

Über die Schnittstelle 20 kann die Sensoranordnung 10 ihre Funktionalität erweitern, was hier am Beispiel der Klassifikation eines neuen, zuvor der Sensoranordnung 10 unbekannten Symbols beschrieben wird. Derartige neue Funktionalität wird in einer bevorzugten Ausführungsform in virtualisierte Umgebungen eingebettet. Dazu können insbesondere sogenannte Application-Container verwendet werden (Docker). Das ist ein an sich bekannter Mechanismus, der sich um die erforderlichen Betriebssystem-Virtualisierungsfunktionen kümmert, so dass Anwendungen isoliert ausgeführt, also ohne Kollision mit vorhandenen Funktionen hinzugefügt, gestartet, beendet und überwacht werden. Auf diese Weise kann eine neue, zusätzlich trainierte Funktion reibungslos von dem Rechnernetzwerk 12 in die Sensoranordnung 10 übertragen und dort ausgeführt werden. Denkbar ist auch, einen Klassifikator bereits vor dem Training in der Steuer- und Auswertungseinheit 18 zu implementieren, insbesondere in einem Application-Container, dem aber noch die Parameter zur Erfüllung einer spezifischen Aufgabe fehlen, die dann in dem Rechnernetzwerk 12 trainiert werden. Diese konkrete Implementierung der Funktionserweiterung ist aber nur ein bevorzugter Teilaspekt der Erfindung. Wichtiger ist, dass in beiden Fällen und auch noch auf andere Weise die Möglichkeit besteht, neue Funktionalität, hier die Erkennung neuer Symbole, bei Bedarf in dem Rechnernetzwerk 12 nachzutrainieren und den dadurch entstehenden Klassifikator auch in der Sensoranordnung 10 verfügbar zu machen.About the interface 20 can the sensor arrangement 10 expand their functionality, which is the example of the classification of a new, previously the sensor array 10 unknown symbol is described. Such new functionality will be in a preferred embodiment embedded in virtualized environments. In particular so-called application containers can be used (Docker). This is a well-known mechanism that handles the required OS virtualization features so that applications run in isolation, without adding, starting, stopping, and monitoring any collision with existing features. In this way, a new, additionally trained function can run smoothly from the computer network 12 in the sensor arrangement 10 transferred and executed there. It is also conceivable, a classifier before training in the control and evaluation unit 18 to implement, especially in an application container, but still lacks the parameters to perform a specific task, then in the computer network 12 be trained. However, this concrete implementation of the functional extension is only a preferred partial aspect of the invention. More importantly, in both cases and in other ways, there is the possibility of new functionality, here the recognition of new symbols, if necessary in the computer network 12 nachzutrainieren and the resulting classifier also in the sensor array 10 to make available.

2 zeigt einen beispielhaften Ablauf für das Trainieren einer neuen Klassifikationsfunktion in der Sensoranordnung 10 durch das Rechnernetzwerk 12. Dabei sind links Schritte gezeigt, die in der Sensoranordnung 10 stattfinden, rechts solche in dem Rechnernetzwerk 12 und in der Mitte die Datenkommunikation dazwischen. Der Ablauf zeigt ein Ausführungsbeispiel, in dem mehrere Schritte optional sind, insbesondere die Annotation, die Augmentierung und das Validieren. Es wird erneut darauf hingewiesen, dass die Erläuterung am Beispiel einer bildbasierten Sensoranordnung 10 und einem einzulernenden Symbol erfolgt, die Erfindung darauf aber nicht beschränkt ist. Außerdem wird häufig von nur einem einzulernenden Symbol gesprochen, obwohl die Sensoranordnung 10 meist zahlreiche Symbole unterscheiden und auch mehrere neue Symbole in einem Schritt hinzulernen kann. 2 shows an exemplary flow for training a new classification function in the sensor array 10 through the computer network 12 , In this case, steps are shown on the left, which are in the sensor arrangement 10 take place, right those in the computer network 12 and in the middle the data communication in between. The flow shows an embodiment in which several steps are optional, in particular annotation, augmentation and validation. It is again pointed out that the explanation using the example of an image-based sensor array 10 and a symbol to be taught, but the invention is not limited thereto. In addition, it is often spoken of only one einzulernenden symbol, although the sensor array 10 usually distinguish numerous symbols and can also learn several new symbols in one step.

Der Prozess zum Anlernen einer neuen Funktionalität kann von der Sensoranordnung 10 angestoßen werden. Dazu wird in einem Schritt S1 mindestens ein Beispielbild mit dem zu trainierenden Symbol aufgenommen, wobei es für ein einfacheres und robusteres Training vorzugsweise mehrere Beispielbilder sind. 3 illustriert eine Auswahl von Gefahrgutkennzeichen als Beispiele solcher Symbole. Für eine feste Auswahl derartiger Symbole kann die Sensoranordnung 10 alternativ von vorneherein mit einem Klassifikator eingerichtet werden, der sie erkennt und unterscheidet. Im Feld entsteht aber häufig erst im Nachhinein die Anforderung, ein weiteres Symbol zu erkennen, oder es wird ein neues Symbol geschaffen, oder ein Symbol gewinnt an Bedeutung, wie etwa in der Vergangenheit bei Lithium-Akkus. Der Anwender muss die Beispielbilder nicht zwingend im Zuge der Erweiterung der Symbolerkennung aufnehmen, sondern kann auf zuvor von der Sensoranordnung gespeicherte Bilder zurückgreifen. Die Beispielbilder haben vorzugsweise eine hohe Qualität, sind also möglichst ohne Bildfehler sauber, unverzerrt und ohne Reflektionen aus orthogonaler Perspektive und mit genügend Auflösung aufgenommen. Wenn die Symbole in der Praxis unterschiedliche Erscheinungsformen, Farben und Hintergründe aufweisen, ist es hilfreich, dies mit den Beispielbildern repräsentativ abzudecken.The process of teaching a new functionality may be by the sensor assembly 10 be triggered. For this purpose, at least one example image is recorded with the symbol to be trained in a step S1, wherein for a simpler and more robust training it is preferably a plurality of exemplary images. 3 illustrates a selection of dangerous goods labels as examples of such symbols. For a fixed selection of such symbols, the sensor arrangement 10 Alternatively, be set up from the outset with a classifier that recognizes and differentiates them. In the field, however, the requirement often arises afterwards to recognize another symbol, or a new symbol is created, or a symbol becomes more important, as in the past with lithium batteries. The user does not necessarily have to record the sample images in the course of expanding the symbol recognition, but can resort to images previously stored by the sensor arrangement. The sample images preferably have a high quality, so are clean as possible, undistorted and without reflections from orthogonal perspective and recorded with sufficient resolution. If the symbols in practice have different appearances, colors and backgrounds, it is helpful to representatively cover this with the sample images.

In einem Schritt S2 folgt eine Annotation der Beispielbilder. Das ist eine manuelle Aufbereitung für das spätere Training, die auch die zu erkennenden Merkmale bezeichnet. Eine minimale implizite Annotation ist hier bereits durch die Auswahl der Beispielbilder mit dem gewünschten Symbol vorgenommen, und dies kann in besonders leicht zu bedienenden Ausführungsformen genügen. Vorzugsweise wird, wie in 4 durch eine gestrichelte Linie illustriert, das eigentliche Symbol gekennzeichnet, das später wiedererkannt werden soll. Die Beispielbilder werden anhand der Annotation auf eine gleiche Weise automatisch zugeschnitten. Außerdem lässt sich automatisch oder mit Benutzerunterstützung ein Schwellwert bestimmen, um das Symbol in Vordergrund- und Hintergrundfarbe zu trennen. Diese Trennung erleichtert die spätere Datenaugmentierung im unten noch zu erläuternden Schritt S4.In a step S2 follows an annotation of the example images. This is a manual preparation for the subsequent training, which also identifies the features to be recognized. A minimal implicit annotation is already made here by the selection of the sample images with the desired symbol, and this may be sufficient in particularly easy-to-use embodiments. Preferably, as in 4 illustrated by a dashed line, the actual symbol marked, which is to be recognized later. The sample images are automatically cropped from the annotation in the same way. In addition, a threshold can be set automatically or with user assistance to separate the icon into foreground and background colors. This separation facilitates later data augmentation in step S4 to be discussed below.

Das spätere Training führt zu besseren Ergebnissen, insbesondere einer deutlich verringerten False-Positive-Rate, wenn auch Hintergrundbeispiele zur Verfügung stehen, also Bildmaterial ohne die zu lernenden Symbole. Vorzugsweise werden deshalb in der Sensoranordnung 10 auch solche Negativbeispiele aufgenommen und annotiert. Alternativ sind in einer Datenbank des Rechnernetzwerks 12 schon Bilddaten abgelegt, auf die zurückgegriffen wird, wenn von der Sensoranordnung 10 kein oder zu wenig Hintergrundbildmaterial zur Verfügung gestellt wird.The subsequent training leads to better results, in particular a significantly reduced false positive rate, although background examples are available, so images without the symbols to be learned. Preferably, therefore, in the sensor arrangement 10 also recorded and annotated such negative examples. Alternatively, in a database of the computer network 12 already stored image data, which is used when the sensor array 10 no or too little background image material is provided.

In einem Schritt S3 werden die Beispielbilder mit den Symbolen und eventuelle Hintergrundbilder als Grundlage für ein Training in das Rechnernetzwerk 12 übertragen. Zu den Beispielbildern gehört durch die Annotation ein Label, welches das Symbol bezeichnet. Das kann eine freie Bezeichnung sein, auch eine durch das System generierte beliebige, aber wiedererkennbare Bezeichnung, um das neue Symbol unterscheidbar zu machen. Eine intelligente, das tatsächliche Symbol beschreibende Bezeichnung hat den Vorteil, dass sich eventuell in dem Rechnernetzwerk 12 schon Beispielbilder anderer Sensoranordnungen dazu befinden, die das Training weiter verbessern. Das Rechnernetzwerk 12 kann diesbezüglich auch eine Rückfrage mit ähnlichen Begriffen und Beispielbildern zurücksenden, um abzufragen, ob das neu zu lernende Symbol mit einem Symbol übereinstimmt, das im Rechnernetzwerk 12 schon bekannt ist. Um solche Vorschläge zu machen, kann das Rechnernetzwerk 12 auch einen eigenen Klassifikator auf die Beispielbilder anwenden. Weitere Daten, die mit den Beispielbildern gespeichert werden können, sind das Ursprungssystem, d.h. eine Identifikation der Sensoranordnung 10 und Zeitstempel für die Aufnahme der Beispielbilder oder die Übertragung in das Rechnernetzwerk 12. Die Übertragung kann manuell beispielsweise über eine Weboberfläche erfolgen und ebenso aktuell aufgenommene wie zuvor offline gesammelte Daten betreffen. Außerdem ist eine direkte Übertragung durch die Sensoranordnung 10 denkbar.In a step S3, the example images with the symbols and possible background images as the basis for training in the computer network 12 transfer. Among the sample images is the annotation, a label that denotes the symbol. This can be a free designation, also any designation generated by the system, but recognizable in order to make the new symbol distinguishable. An intelligent name that describes the actual symbol has the advantage of being in the computer network 12 already example pictures of others Sensor arrangements are located, which further improve the training. The computer network 12 can also send back a query with similar terms and example images to query whether the new symbol to be learned matches a symbol in the computer network 12 already known. To make such suggestions, the computer network can 12 also apply a separate classifier to the sample images. Further data that can be stored with the example images are the originating system, ie an identification of the sensor arrangement 10 and timestamp for recording the sample images or transferring them to the computer network 12 , The transmission can be done manually, for example, via a web interface and also affect currently recorded data as previously collected offline. In addition, a direct transmission through the sensor array 10 conceivable.

In einem Schritt S4 der Augmentation werden die Trainingsdaten erweitert. Die Beispielbilder sind empfangen und im Rechnernetzwerk 12 in einer Datenbank abgelegt, wo nun einige zugeschnittene Bilder des zu lernenden Symbols als Positivbeispiele und vorzugsweise Negativbeispiele in Form beliebiger Aufnahmen von anderen Objekten ohne Symbole oder zumindest ohne das zu lernende Symbol zusammengetragen sind. Allerdings wird die Anzahl der Beispiele aus Realdaten, vor allem der Positivbeispiele, regelmäßig sehr klein sein, da deren Gewinnung mühsam und aufwändig ist. Außerdem sollen auch beschädigte, verblichene oder verschmutzte Symbole erkannt werden.In a step S4 of the augmentation, the training data is expanded. The sample images are received and in the computer network 12 stored in a database, where now some tailored images of the symbol to be learned as positive examples and preferably negative examples in the form of arbitrary recordings of other objects without symbols or at least without the symbol to be learned are collected. However, the number of examples from real data, especially the positive examples, will regularly be very small, since their extraction is cumbersome and time-consuming. In addition, even damaged, faded or dirty symbols should be recognized.

Um einen Klassifikator zu erhalten, der verschiedenste Arten verfremdeter Symbole detektiert, erfolgt deshalb die künstliche Augmentierung (Vergrößerung) der Trainingsdatenmenge, die vorzugsweise eine sehr große Bandbreite von Verfremdungen abdeckt, wobei auch nur eine Auswahl der nachfolgend beschriebenen Möglichkeiten umgesetzt sein kann.Therefore, in order to obtain a classifier which detects various types of alienated symbols, artificial augmentation of the training data set, which preferably covers a very wide range of alienations, occurs, whereby only a selection of the possibilities described below can be implemented.

5 illustriert die Augmentation am Beispiel einiger ursprünglicher, unverfremdeter Symbole (links) und einiger darauf im Zuge der Augmentation gewonnener Verfremdungen (rechts). Durch Modellierung einer Kameraumgebung werden die Symbole in verschiedene Perspektiven transformiert. Sie werden dabei flächig, aber auch perspektivisch verdreht und in unterschiedlichen Größen entsprechend einem Aufnahmeabstand skaliert. Mittels einer Texturdatenbank lassen sich verschiedene Hintergründe hinzufügen, wie Karton, Sticker und dergleichen. Das Bild wird außerdem mit diversen Vordergrundtexturen randomisiert überlagert, die insbesondere im Logistikbereich vorkommende Verfremdungen nachbilden, etwa Verschmutzung, Beschädigungen eines Pakets, Markierungen oder Beleuchtungsvariationen. So wird aus den ursprünglichen Symbolen der Beispielbilder in kürzester Zeit eine große, vielfältige Menge von Trainingsdaten erstellt, die eine gewünschte Variation der zu erkennenden Symbole abbildet und ein erfolgreiches Training eines robusten Klassifikators ermöglicht. Die augmentierten Trainingsdaten werden vorzugsweise zur späteren Wiederverwendung auch nach dem Training mit einem Verweis auf die Sensoranordnung 10 und die ursprünglichen Beispielbilder in einer Datenbank abgelegt. 5 illustrates the augmentation using the example of some of the original, alienated symbols (left) and some alienations (augmentation) obtained in the course of the augmentation. By modeling a camera environment, the symbols are transformed into different perspectives. They are flat, but also rotated in perspective and scaled in different sizes according to a recording distance. By means of a texture database, various backgrounds can be added, such as cardboard, stickers and the like. The image is also randomly overlaid with various foreground textures that simulate alienation, especially in the logistics sector, such as soiling, damage to a package, markings or lighting variations. Thus, from the original symbols of the example images, a large, diverse set of training data is created in a very short time, which maps a desired variation of the symbols to be recognized and enables a successful training of a robust classifier. The augmented training data is preferably for later reuse even after training with a reference to the sensor array 10 and the original sample images stored in a database.

In einem Schritt S5 erfolgt nun das Training. Erläutert wird das Training am Beispiel eines künstlichen neuronalen Faltungsnetzes (CNN). Andere Klassifikatoren sind aber ebenso denkbar. Die durch Augmentierung stark vergrößerte Menge mit Positiv- und Negativbeispielen wird in eine Trainingsmenge und eine kleinere Validierungsmenge aufgeteilt, beispielsweise im Verhältnis 5:1. Dieser Schritt entfällt, wenn keine Validierung erfolgt, wobei sich dann aber die Qualität der neu gelernten Symbolerkennung erst in der Sensoranordnung 10 zeigt und auch nur durch Vorgaben unabhängig vom tatsächlichen Lernfortschritt entschieden werden kann, wann das Training beendet wird. Die augmentierten Bilder besitzen vorzugweise die gleiche Auflösung und können Farb- oder Graustufen- oder Schwarzweißbilder sein. Die Trainingsbilder werden in zufälliger Reihenfolge zum Training des Faltungsnetzes verwendet.In a step S5, the training is now performed. The training is explained using the example of an artificial neural folding network (CNN). Other classifiers are also conceivable. The quantity of positive and negative examples greatly increased by augmentation is divided into a training amount and a smaller amount of validation, for example in proportion 5 :1. This step is omitted if no validation, but then the quality of the newly learned symbol recognition only in the sensor array 10 shows and can be decided only by specifications, regardless of the actual learning progress, when the training is terminated. The augmented images preferably have the same resolution and can be color or grayscale or black and white images. The training images are used in random order to train the convolution network.

Die Architektur des Netzes in der Recheneinheit 24, das trainiert wird, entspricht einem in der Steuer- und Auswertungseinheit 18 der Sensoranordnung 10 implementierten Netz beziehungsweise einer Variante, welche die Implementierung in der Sensoranordnung 10 auch zulässt. Diese Einschränkungen der Architektur entfallen, wenn alternativ wie später erläutert das trainierte neuronale Netz als Ganzes an die Sensoranordnung 10 rückübertragen wird.The architecture of the network in the computing unit 24 that is trained corresponds to one in the control and evaluation unit 18 the sensor arrangement 10 implemented network or a variant, which is the implementation in the sensor array 10 also allows. These restrictions of the architecture are omitted if, as explained below, the trained neural network as a whole to the sensor arrangement 10 is retransferred.

Das Training selbst kann auf vielfältige Weise erfolgen. Ein Beispiel ist die Forward- und Backward-Propagation unter Verwendung des Adaptive Moment Gradient Solvers wie in der einleitend zitierten Arbeit von Kingma et al. Während des Trainings wird vorzugsweise die Klassifikationsgenauigkeit durch regelmäßige Tests mit der Validierungsmenge automatisch überprüft. Ist auf der Validierungsmenge eine zuvor festgelegte Mindesterkennungsrate erreicht, wird das Training als erfolgreich eingestuft und beendet. Sollte das Training nach einer bestimmten Zeit oder Anzahl von Trainingsschritten nicht zum Erfolg führen, gibt es noch die Möglichkeit, das Training mit alternativen Architekturen oder Einstellungen durchzuführen. Beispielsweise wird ein kleineres Netz oder stärkeres Downsampling verwendet, wenn während des Trainings die Fehlerrate auf dem Trainingssatz stark sinkt, während die Fehlerrate auf dem Validierungssatz sich nicht verringert. Wenn die Trainingsfehlerrate nicht sinkt oder gar steigt, wird die Lernrate des Netzes entsprechend angepasst. Führt keine der Einstellungen oder Architekturen zum Erfolg, erfolgt eine Rückmeldung an die Sensoranordnung 10. Eventuell lässt sich dann das Training erfolgreich abschließen, nachdem die Sensoranordnung 10 andere oder zusätzliche Beispielbilder übertragen hat.The training itself can be done in many ways. An example is forward and backward propagation using the Adaptive Moment Gradient Solver as discussed in the introductory paper by Kingma et al. During training, preferably the classification accuracy is automatically checked by regular tests with the validation quantity. If a predetermined minimum detection rate is reached on the validation set, the training is considered successful and terminated. If training does not succeed after a certain amount of time or training, there is still the option of training with alternative architectures or settings. For example, a smaller mesh or more downsampling is used if the error rate on the training set decreases sharply during exercise while the Error rate on the validation set does not decrease. If the training error rate does not decrease or even increase, the learning rate of the network is adjusted accordingly. If none of the settings or architectures leads to success, feedback is sent to the sensor arrangement 10 , Eventually, the training can then be completed successfully after the sensor assembly 10 has transferred other or additional sample images.

In das beschriebene Training ist eine Validierung in einem Schritt S6 eingebunden. Der Ablauf stellt dies als eigenen Schritt nach Beendigung des Trainings in einem Schritt S5 dar, und so kann es in einer alternativen Ausführungsform auch ablaufen, auf die eine Validierung auf eine bestimmte Zeit des Trainings folgt. Bessere Erfolgsaussichten verspricht es, die Schritte S5 und S6 wie erläutert einmal oder mehrfach zu wiederholen, bis eine Validierung erfolgreich ist.In the training described a validation is included in a step S6. The process presents this as a separate step after completion of the training in a step S5, and thus it may also proceed in an alternative embodiment, followed by validation for a particular time of training. Better prospects of success promises to repeat steps S5 and S6 once or several times as explained until a validation is successful.

Nach Abschluss des Trainings und Erreichen einer Mindesterkennungsgüte oder -rate wird in einem Schritt S7 der Trainingserfolg an die Sensoranordnung 10 zurückgespielt. Dazu gibt es verschiedene Möglichkeiten. In einer Ausführungsform ist in der Steuer- und Auswertungseinheit 18 der Sensoranordnung 10 bereits ein neuronales Netz implementiert, das demjenigen entspricht, welches in der Recheneinheit 24 trainiert wurde. In diesem Fall wird von der Recheneinheit 24 ein Parametersatz zusammengestellt und zurückübertragen, welcher das trainierte neuronale Netz definiert. Dazu gehören Daten wie die ausgewählte Netzarchitektur mitsamt der Beschreibung aller CNN-Schichten und deren Eigenschaften wie Filtergrößen, Kanalanzahl, Schrittweite und dergleichen sowie die Werte der lernbaren Netzgewichte und Filter. Wie schon die Beispielbilder und die augmentierten Trainingsdaten wird auch der durch das Training erzeugte Parametersatz vorzugsweise in einer Datenbank des Rechnernetzwerks 12 mit Zusatzdaten wie zugehörige Sensoranordnung 10, Zeitraum des Trainings und Zeitpunkt der Rückübertragung gespeichert. Dadurch wächst in dem Rechnernetzwerk 12 ein immer mächtiger werdendes Werkzeug mit Beispiel- und Trainingsdaten sowie für verschiedenste Symbole geeigneten Klassifikatoren heran.After completion of the training and achievement of a minimum recognition quality or rate, in a step S7 the training success is sent to the sensor arrangement 10 played back. For that there are different possibilities. In one embodiment, in the control and evaluation unit 18 the sensor arrangement 10 already implements a neural network that corresponds to the one in the arithmetic unit 24 was trained. In this case, by the arithmetic unit 24 compiled and retransmitted a parameter set defining the trained neural network. This includes data such as the selected network architecture together with the description of all CNN layers and their properties such as filter sizes, number of channels, increment and the like, as well as the values of the learnable network weights and filters. Like the example images and the augmented training data, the parameter set generated by the training is preferably stored in a database of the computer network 12 with additional data such as associated sensor arrangement 10 , Period of training and time of retransfer stored. This grows in the computer network 12 an increasingly powerful tool with example and training data as well as suitable for various symbols suitable classifiers.

Alternativ zu einem Rückspielen eines Parametersatzes wird das trainierte neuronale Netz insgesamt als ausführbare Anwendung an die Sensoranordnung 10 übertragen. Dazu wird vorzugsweise ein abstraktes Konzept eingesetzt, um einen reibungslosen Ablauf in der Sensoranordnung 10 neben den dort bereits implementierten Funktionen zu gewährleisten, wobei hier wieder auf das Beispiel von Application-Containern zurückgegriffen wird. Wenn das Rechnernetzwerk12 die Konfiguration der Sensoranordnung 10 kennt, kann bereits vor dem Zurückspielen qualitativ evaluiert werden, wie sich der fertige Application-Container dort verhalten wird. Ein Application-Container umfasst beispielsweise die folgenden Komponenten: Dateisystem, Schnittstellen, Manifest (textuelle Beschreibung der Applikation), Bibliotheken und Laufzeitumgebung, Applikation (die ausführbare Anwendung, also das trainierte neuronale Netz) und Konfigurationsdatei(en) (zum Steuern der Funktionsweise der Applikation im Application-Container). Auch der Application-Container kann mit Zusatzdaten wie einem Verweis auf die Sensoranordnung 10 in einer Datenbank des Rechnernetzwerks 12 gespeichert werden. Zum Ausführen des Application-Containers in der Sensoranordnung 10 wird er entpackt, in der Management-Umgebung der Sensoranordnung registriert, geladen und dann ausgeführt. Nach einem Selbsttest und einer Registrierung bei den Schnittstellen über die aktualisiert beziehungsweise neue Funktion werden die ausführbare Anwendungen gestartet, und das trainierte neuronale Netz ist auf der Sensoranordnung 10 einsatzbereit. Der neue Application-Container kann ohne Systemneustart gestartet werden und läuft dann auf dem System der Sensoranordnung 10 parallel zu den bereits vorhandenen, die Verteilung der Ressourcen in der Steuer- und Auswertungseinheit 18 läuft dabei automatisch über das Container-Framework, das direkt über das Betriebssystem auf Speicher und Prozessor zugreifen kann.As an alternative to returning a parameter set, the trained neural network as a whole becomes an executable application to the sensor arrangement 10 transfer. For this purpose, an abstract concept is preferably used to ensure a smooth flow in the sensor arrangement 10 In addition to the functions already implemented there to ensure, here again on the example of application containers is used. When the computer network 12, the configuration of the sensor array 10 knows, it can be qualitatively evaluated already before the return, how the finished application container will behave there. An application container comprises, for example, the following components: file system, interfaces, manifest (textual description of the application), libraries and runtime environment, application (the executable application, ie the trained neural network) and configuration file (s) (for controlling the functioning of the application in the application container). Even the application container can with additional data such as a reference to the sensor array 10 in a database of the computer network 12 get saved. To run the application container in the sensor assembly 10 it is unpacked, registered in the management environment of the sensor array, loaded and then executed. After a self-test and registration at the interfaces via the updated or new function, the executable applications are started and the trained neural network is on the sensor array 10 ready for use. The new application container can be started without a system restart and then runs on the system of the sensor arrangement 10 parallel to the already existing, the distribution of resources in the control and evaluation unit 18 It runs automatically via the container framework, which can access memory and processor directly via the operating system.

In einem Schritt S8 beginnt dann der Betrieb mit der erweiterten Funktionalität. Die Sensoranordnung 10 kann nun das neue Symbol mit ihrem erweiterten oder neuen, in dem Rechnernetzwerk 12 trainierten Klassifikator erkennen. Es ist möglich, während des Betriebs Bilder mit von dem Klassifikator erkannten Symbolen automatisch an das Rechnernetzwerk 12 zu übertragen. Daraus lässt sich eine Auswertung der tatsächlichen Leistung des Klassifikators im Feld erstellen, wobei allerdings die Aufdeckung von False-Positives einer unabhängigen Begutachtung bedarf. Solche Daten können auch zum Nachtraining verwendet werden, um den Klassifikator sukzessive zu verbessern. Zu beachten ist dabei, dass im Feld aufgetretene False-Negatives naturgemäß nicht automatisiert erfasst werden, jedoch in einem manuellen Prozess nachtrainiert werden können.In a step S8, the operation then begins with the extended functionality. The sensor arrangement 10 can now use the new icon with its extended or new, in the computer network 12 recognize trained classifier. It is possible to automatically transfer images with symbols recognized by the classifier to the computer network during operation 12 transferred to. From this an evaluation of the actual performance of the classifier in the field can be made, whereby the detection of false positives requires an independent assessment. Such data can also be used for night training to successively improve the classifier. It should be noted that false negatives that occur in the field are not automatically recorded, but can be retrained in a manual process.

Somit entsteht insgesamt durch einen vollständig automatisierten Trainingsprozess in dem Rechnernetzwerk 12 ein neuer oder erweiterter Klassifikator, beispielsweise ein trainiertes Faltungsnetzwerk, mit dem in der Sensoranordnung 10 ein gewünschtes Symbol zusätzlich erkennbar wird.Overall, this results from a completely automated training process in the computer network 12 a new or extended classifier, such as a trained convolution network, with which in the sensor array 10 a desired symbol is additionally recognizable.

ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant has been generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

EP 2770459 B1 [0004]
DE 112011104644 T5 [0005]

Claims

Adjustable sensor assembly (10) comprising at least one sensor element (14) for detecting sensor data, a control and evaluation unit (18) for the evaluation of the sensor data with a classifier, and an interface (20) to a higher-level computer network (12), characterized in that the control and evaluation unit (18) is designed for an expansion function in which sensor data are selected which additionally classify the sensor arrangement, the selected sensor data are transmitted via the interface (20) to the computer network (12) and then via the interface (20) is received by the computer network (12) from the classifier data derived from the sensor data, with which the classifier is modified so that the sensor arrangement (10) can then also classify the selected sensor data.

Sensor arrangement (10) according to Claim 1 wherein the sensor element (14) comprises an image sensor (16) for detecting image data as sensor data.

Sensor arrangement (10) according to Claim 1 or 2 , where the classifier distinguishes symbols.

Sensor arrangement (10) according to one of the preceding claims, wherein the control and evaluation unit (18) is adapted to detect when selecting sensor data, a user input for finding features to be classified.

Sensor arrangement (10) according to any one of the preceding claims, wherein the control and evaluation unit (18) is adapted to transmit sensor data to the computer network (12), which do not correspond to the additional sensor data to be classified.

Sensor arrangement (10) according to one of the preceding claims, wherein the classifier comprises a neural network.

Sensor arrangement (10) according to one of the preceding claims, wherein the classifier is implemented in the control and evaluation unit (18) and is reparameterized by the expansion function.

Sensor arrangement (10) according to one of the preceding claims, wherein the control and evaluation unit (18) is adapted to transmit evaluated by the modified classifier sensor data to the computer network (12).

Computer network (12) for training a classifier for a sensor arrangement (10), in particular a sensor arrangement (10) according to one of the preceding claims, which has an interface (22) for data exchange with the sensor arrangement (10) and a computing unit (24) the at least one customizable classifier is implemented, characterized in that the arithmetic unit (24) is adapted to receive sensor data to be classified from the sensor array (10), to train the customizable classifier with the sensor data, and classifier data of the trained classifier to the sensor array ( 10).

Computer network (12) to Claim 9 wherein the arithmetic unit (24) is adapted to train the adaptive classifier also with sensor data received from the sensor arrangement (10) or stored in a separate database which does not correspond to the sensor data additionally to be classified.

Computer network (12) to Claim 9 or 10 , where the classifier is a neural network.

Computer network (12) according to one of Claims 9 to 11 wherein the sensor data comprises image data, and wherein the arithmetic unit (24) is adapted to generate further image data for training from received image data, in which image errors are added, the texture of the background is changed and / or the recording perspective is altered mathematically.

Computer network (12) according to one of Claims 9 to 12 wherein the arithmetic unit (24) is adapted to validate the trained classifier based on the sensor data or test data obtained from the sensor data, and in case of insufficient quality of the trained classifier, another adaptable classifier is trained and / or the sensor data for the training is processed differently become.

System comprising a sensor arrangement (10) according to one of Claims 1 to 8th and a computer network (12) according to one of Claims 9 to 13 ,

Method for adapting a sensor arrangement (10) by a computer network (12), in particular a sensor arrangement (10) according to one of the Claims 1 to 8th by a computer network (12) according to one of Claims 9 to 13 in which, for an expansion function, sensor data of the sensor arrangement (10) are selected which additionally classifies the sensor arrangement (10), the sensor data are transmitted to the computer network (12) via an interface (20, 22) in the computer network (12) an adaptive classifier is trained with the sensor data, classifier data of the trained classifier is transmitted to the sensor array (10), and a classifier the sensor arrangement (10) is modified so that the sensor arrangement (10) can then also classify the selected sensor data.