DE102019205657A1

DE102019205657A1 - Method and device for classifying sensor data

Info

Publication number: DE102019205657A1
Application number: DE102019205657.1A
Authority: DE
Inventors: Volker Fischer; Chaithanya Kumar Mummadi
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2019-02-19
Filing date: 2019-04-18
Publication date: 2020-08-20

Abstract

Verfahren zum Klassifizieren von Eingangssignalen (x), welche abhängig von einem Ausgangsignal (S) eines Sensors (30) ermittelt wurden, wobei diese Eingangssignale (x) einem neuronalen Netz (60) zugeführt und mittels diesem klassifiziert werden,wobei in wenigstens einer Schicht (S,S,S) des neuronalen Netzes (60) eine Ausgangsgröße (a) dieser Schicht (S, S, S)abhängig von einem Gewichtsvektor (w) dieser Schicht zugeordneter Gewichte (w) und einer Eingangsgröße (e) dieser Schicht ermittelt wird,wobei die Ausgangsgröße (a) abhängig von einem Abstandsmaß ||w-e|| zwischen Eingangsgröße (e) und Gewichtsvektor (w) ermittelt wird,wobei die Ausgangsgröße (a) aus dem Abstandsmaß ||w-e|| ermittelt wird, indem dieses einer nichtlinearen Aktivierungsfunktion (S) unterworfen wird,dadurch gekennzeichnet, dass das Abstandsmaß |lw-e|| durch eine beidseitig begrenzte Funktion gegeben ist, wobei diese beidseitig begrenzte Funktion durch eine Summe aus Termen gegeben ist, von denen jeder genau einer Komponente (w, e) des Gewichtsvektors (w) und der Eingangsgröße (e) zugeordnet ist, undbewertet, ob diese Komponente (w, e) bei Gewichtsvektor (w) und Eingangsgröße (e) ähnlich ist.Method for classifying input signals (x) which were determined as a function of an output signal (S) of a sensor (30), these input signals (x) being fed to a neural network (60) and classified by means of this, with at least one layer ( S, S, S) of the neural network (60) an output variable (a) of this layer (S, S, S) is determined as a function of a weight vector (w) of weights (w) assigned to this layer and an input variable (e) of this layer , where the output variable (a) depends on a distance dimension || we || between input variable (e) and weight vector (w) is determined, the output variable (a) from the distance || w-e || is determined by subjecting it to a non-linear activation function (S), characterized in that the distance dimension | lw-e || is given by a function that is limited on both sides, this function that is limited on both sides is given by a sum of terms, each of which is assigned to exactly one component (w, e) of the weight vector (w) and the input variable (e), and evaluates whether this is Component (w, e) for weight vector (w) and input variable (e) is similar.

Description

Die Erfindung betrifft ein Verfahren zum Klassifizieren von Eingangssignalen, ein Verfahren zum Bereitstellen eines Ansteuersignals, ein Computerprogramm, ein Maschinenlesbares Speichermedium und ein Aktorsteuerungssystem.The invention relates to a method for classifying input signals, a method for providing a control signal, a computer program, a machine-readable storage medium and an actuator control system.

Stand der TechnikState of the art

Aus „Textual Explanations for Self-Driving Vehicle“, arXiv preprint arXiv: 1807.11546v1, Jinkyu Kim, Anna Rohrbach, Trevor Darrell, John Canny, and Zeynep Akata (2018) ist ein Verfahren zum automatisierten Erzeugen von Textelementen bekannt, die Entscheidungen eines hochautomatisierten Fahrzeugs erläutern.From "Textual Explanations for Self-Driving Vehicle", arXiv preprint arXiv: 1807.11546v1, Jinkyu Kim, Anna Rohrbach, Trevor Darrell, John Canny, and Zeynep Akata (2018) a method for the automated generation of text elements is known, the decisions of a highly automated Explain vehicle.

Vorteile der ErfindungAdvantages of the invention

Beim Nutzen von tiefen neuronalen Netzen, also neuronalen Netzen mit mindestens zwei versteckten Schichten (Englisch: hidden layer) insbesondere in sicherheitskritischen System (aber auch generell in Systemen, in denen die Entscheidung der Steuerung des Systems potenziell eine erhebliche Tragweite hat) ist es wichtig, im Nachhinein feststellen zu können, woran ein Fehler gelegen hat.When using deep neural networks, i.e. neural networks with at least two hidden layers, especially in safety-critical systems (but also generally in systems in which the decision to control the system has potentially significant consequences), it is important to to be able to determine in retrospect what caused the error.

Die Vorrichtung mit den Merkmalen der unabhängigen Ansprüche hat den Vorteil, dass eine Interpretierbarkeit besonders einfach gegeben ist.The device with the features of the independent claims has the advantage that it is particularly easy to interpret.

Vorteilhafte Weiterbildungen sind Gegenstand der abhängigen Ansprüche.Advantageous further developments are the subject of the dependent claims.

Offenbarung der ErfindungDisclosure of the invention

In einem ersten Aspekt betrifft die Erfindung daher ein Verfahren zum Klassifizieren von Eingangssignalen, welche abhängig von einem Ausgangsignal eines Sensors ermittelt wurden, wobei diese Eingangssignale einem neuronalen Netz zugeführt und mittels diesem klassifiziert werden,
wobei in wenigstens einer Schicht des neuronalen Netzes eine Ausgangsgröße dieser Schicht abhängig von einem Gewichtsvektor w dieser Schicht zugeordneter Gewichte w_i und einer Eingangsgröße e dieser Schicht ermittelt wird, wobei die Eingangsgröße e insbesondere ebenso viele Komponenten hat wie Gewichtvektor w,
wobei die Ausgangsgröße abhängig von einem Abstandsmaß ||w - e|| zwischen Eingangsgröße e und Gewichtsvektor w ermittelt wird,
wobei die Ausgangsgröße aus dem Abstandsmaß ||w - e|| ermittelt wird, indem dieses einer nichtlinearen Aktivierungsfunktion S unterworfen wird,
wobei das Abstandsmaß ||w - e|| durch eine beidseitig begrenzte Funktion gegeben ist, wobei diese beidseitig begrenzte Funktion durch eine Summe aus Termen gegeben ist, von denen jeder genau einer Komponente w_i bzw. e_i des Gewichtsvektors w und der Eingangsgröße e zugeordnet ist, und bewertet, ob diese Komponente w_i, e_i bei Gewichtsvektor w und Eingangsgröße e ähnlich ist.In a first aspect, the invention therefore relates to a method for classifying input signals which were determined as a function of an output signal of a sensor, these input signals being fed to a neural network and being classified by means of this,
wherein in at least one layer of the neural network an output variable of this layer is determined depending on a weight vector w of weights w _i assigned to this layer and an input variable e of this layer, the input variable e in particular having as many components as the weight vector w,
where the output variable is dependent on a distance dimension || w - e || is determined between input variable e and weight vector w,
where the output variable from the distance dimension || w - e || is determined by subjecting it to a non-linear activation function S,
where the distance dimension || w - e || is given by a function that is limited on both sides, this function that is limited on both sides is given by a sum of terms, each of which is assigned to exactly one component w _i or e _{i of} the weight vector w and the input variable e, and evaluates whether this component w _i , e _i for weight vector w and input variable e is similar.

Die Aktivierungsfunktion kann beispielsweise durch eine Sigmoid-Funktion, eine ReLU-Funktion oder eine Tanh-Funktion gegeben sein.The activation function can be given, for example, by a sigmoid function, a ReLU function or a Tanh function.

Eine Schicht mit diesen Eigenschaften kann unabhängig von der Topologie des neuronalen Netzes und der eingangs- bzw. ausgangsseitigen Verbindungen dieser Schicht eingesetzt werden, insbesondere kann sie als Faltungsschicht (Englisch: convolution layer) oder als vollvermaschte Schicht (Englisch: fully-connected layer) eingesetzt werden.A layer with these properties can be used regardless of the topology of the neural network and the input or output connections of this layer; in particular, it can be used as a convolution layer or as a fully-connected layer become.

Der Vorteil dieser Schicht ist, dass ihr Verhalten in dem Sinne leicht interpretierbar ist, als sie i.W. die Anzahl der Komponenten zählt, in denen Eingangssignal und Gewichtsvektor ähnliche Werte annehmen.The advantage of this layer is that its behavior is easy to interpret in the sense that it is essentially the number of components counts in which the input signal and weight vector take on similar values.

Ein weiterer Vorteil, insbesondere im Vergleich zu Schichten, die radiale Basisfunktionen RBF (Englisch: radial basis function) als Ähnlichkeitsmaß annehmen ist, dass die hier vorgeschlagene Schicht bei hochdimensionalen Eingangssignalen besser trainierbar ist. Dies liegt darin begründet, dass RBF bei hochdimensionalen Räumen in weiten Teilen des Raums die Ähnlichkeit zwischen Eingangsgröße und Gewichtsvektor als näherungsweise gleich Null quantifizieren und daher die entsprechenden Gradienten sehr flach sind, was eine gradientenbasierte Optimierung sehr schwierig macht. Die hier vorgeschlagene Schicht stellt hingegen in weiteren Teilen des Parameterraums steilere Gradienten bereit, was die Trainierbarkeit und damit (bei gegebenem Trainingsaufwand) die Zuverlässigkeit der Klassifikation verbessert.Another advantage, in particular in comparison to layers that assume radial basis functions RBF (English: radial basis function) as a measure of similarity, is that the layer proposed here can be better trained in the case of high-dimensional input signals. This is due to the fact that RBF quantify the similarity between the input variable and the weight vector in large parts of the room as approximately zero in high-dimensional spaces and therefore the corresponding gradients are very flat, which makes gradient-based optimization very difficult. In contrast, the slice proposed here provides steeper gradients in further parts of the parameter space, which improves the trainability and thus (given the training effort) the reliability of the classification.

Besonders vorteilhaft ist, wenn das neuronale Netz ein deterministisches neuronales Netz ist, d.h. wenn die Klassifikation des neuronalen Netzes nicht von einem (pseudo-)Zufallszahlengenerator abhängt, wie dies bei probabilistischen neuronalen Netzen der Fall ist. Dann ist es auf besonders einfache Weise möglich, die Ursache etwaiger Fehlfunktionen aufzuspüren, beispielsweise, indem dem neuronalen Netz zugeführte Eingangssignale in einem Fehlerspeicher gespeichert werden. Da das neuronale Netz deterministisch ist, lässt sich bei einer Propagation der gespeicherten Eingangssignale durch das neuronale Netz durch Analyse der Merkmalskarten (Englisch: feature map) durch die Interpretierbarkeit nachvollziehen, was die Ursache eines Fehlers ist. Konventionelle neuronale Netze sind einer menschlichen Fehleranalyse hingegen i.d.R. nicht oder nur sehr eingeschränkt zugänglich. Vorzugsweise werden daher sämtliche Faltungs- und/oder vollvermaschte Schichten des neuronalen Netzes wie hier vorgeschlagen ausgebildet.It is particularly advantageous if the neural network is a deterministic neural network, ie if the classification of the neural network does not depend on a (pseudo) random number generator, as is the case with probabilistic neural networks. It is then possible in a particularly simple manner to track down the cause of any malfunctions, for example by storing input signals fed to the neural network in an error memory. Since the neural network is deterministic, when the stored input signals are propagated through the neural network by analyzing the feature map, it is possible to understand what the cause of an error is through the interpretability. Conventional neural networks, on the other hand, are generally not accessible or only accessible to a very limited extent for human error analysis. Preferably, therefore all convolutional and / or fully meshed layers of the neural network are designed as proposed here.

Nachfolgend werden Ausführungsformen der Erfindung unter Bezugnahme auf die beiliegenden Zeichnungen näher erläutert. In den Zeichnungen zeigen:

1 schematisch einen Aufbau einer Ausführungsform eines Steuerungssystems;
2 schematisch ein Ausführungsbeispiel zur Steuerung eines wenigstens teilautonomen Roboters;
3 schematisch ein Ausführungsbeispiel zur Steuerung eines Fertigungssystems;
4 schematisch ein Ausführungsbeispiel zur Steuerung eines persönlichen Assistenten;
5 schematisch ein Ausführungsbeispiel zur Steuerung eines Zugangssystems;
6 schematisch ein Ausführungsbeispiel zur Steuerung eines Überwachungssystems;
7 schematisch ein Ausführungsbeispiel zur Steuerung eines medizinisch bildgebenden Systems;
8 schematisch einen Aufbau eines neuronalen Netzes.

Embodiments of the invention are explained in more detail below with reference to the accompanying drawings. In the drawings show:

1 schematically a structure of an embodiment of a control system;
2 schematically an embodiment for controlling an at least partially autonomous robot;
3 schematically an embodiment for controlling a manufacturing system;
4th schematically an embodiment for controlling a personal assistant;
5 schematically an embodiment for controlling an access system;
6th schematically an embodiment for controlling a monitoring system;
7th schematically, an embodiment for controlling a medical imaging system;
8th schematically a structure of a neural network.

Beschreibung der AusführungsbeispieleDescription of the exemplary embodiments

1 zeigt einen Aktor 10 in seiner Umgebung 20 in Interaktion mit einem Steuerungssystem 40. Aktor 10 und Umgebung 20 werden gemeinschaftlich auch als Aktorsystem bezeichnet. In vorzugsweise regelmäßigen zeitlichen Abständen wird ein Zustand des Aktorsystems mit einem Sensor 30 erfasst, der auch durch eine Mehrzahl von Sensoren gegeben sein kann. Das Sensorsignal S - bzw. im Fall mehrerer Sensoren je ein Sensorsignal S - des Sensors 30 wird an das Steuerungssystem 40 übermittelt. Das Steuerungssystem 40 empfängt somit eine Folge von Sensorsignalen S. Das Steuerungssystem 40 ermittelt hieraus Ansteuersignale A, welche an den Aktor 10 übertragen werden. 1 shows an actuator 10 in his environment 20th in interaction with a control system 40 . Actuator 10 and environment 20th are also referred to collectively as an actuator system. A state of the actuator system is recorded with a sensor at preferably regular time intervals 30th detected, which can also be given by a plurality of sensors. The sensor signal S - or, in the case of several sensors, one sensor signal S - of the sensor 30th is attached to the control system 40 transmitted. The control system 40 thus receives a sequence of sensor signals S. The control system 40 determines control signals A from this, which are sent to the actuator 10 be transmitted.

Der Sensor 30 ist ein beliebiger Sensor, der einen Zustand der Umgebung 20 erfasst und als Sensorsignal S übermittelt. Es kann beispielsweise ein bildgebender Sensor sein, insbesondere ein optischer Sensor wie ein Bildsensor oder ein Videosensor, oder ein Radarsensor, oder ein Ultraschallsensor, oder ein LiDAR-Sensor. Es kann auch ein akustischer Sensor sein, der beispielsweise Körperschall oder Sprachsignale empfängt. Ebenso kann es sich bei dem Sensor um einen Positionssensor (wie beispielsweise GPS) handeln oder um einen kinematischen Sensor (beispielsweise einen ein- oder mehrachsigen Beschleunigungssensor) handeln. Auch ein Sensor, der eine Ausrichtung des Aktors 10 in der Umgebung 20 charakterisiert (beispielsweise ein Kompass) ist möglich. Auch ein Sensor, der eine chemische Zusammensetzung der Umgebung 20 erfasst, beispielsweise ein Lambda-Sensor, ist möglich. Alternativ oder zusätzlich kann der Sensor 30 auch ein Informationssystem umfassen, das eine Information über einen Zustand des Aktorsystems ermittelt, wie beispielsweise ein Wetterinformationssystem, das einen aktuellen oder zukünftigen Zustand des Wetters in der Umgebung 20 ermittelt.The sensor 30th is any sensor that provides a state of the environment 20th detected and transmitted as sensor signal S. For example, it can be an imaging sensor, in particular an optical sensor such as an image sensor or a video sensor, or a radar sensor, or an ultrasound sensor, or a LiDAR sensor. It can also be an acoustic sensor that receives structure-borne sound or voice signals, for example. Likewise, the sensor can be a position sensor (such as GPS) or a kinematic sensor (for example a single or multi-axis acceleration sensor). Also a sensor that aligns the actuator 10 in the neighborhood 20th characterized (for example a compass) is possible. Also a sensor that shows a chemical composition of the environment 20th detected, for example a lambda sensor, is possible. Alternatively or additionally, the sensor 30th also include an information system that determines information about a state of the actuator system, such as a weather information system that determines a current or future state of the weather in the area 20th determined.

Das Steuerungssystem 40 empfängt die Folge von Sensorsignalen S des Sensors 30 in einer optionalen Empfangseinheit 50, die die Folge von Sensorsignalen S in eine Folge von Eingangssignalen x umwandelt (alternativ kann auch unmittelbar je das Sensorsignal S als Eingangssignal x übernommen werden). Das Eingangssignal x kann beispielsweise ein Ausschnitt oder eine Weiterverarbeitung des Sensorsignals S sein. Das Eingangssignal x kann beispielsweise Bilddaten oder Bilder umfassen, oder einzelne Frames einer Videoaufzeichnung. Mit anderen Worten wird Eingangssignal x abhängig von Sensorsignal S ermittelt. Das Eingangssignal x wird einem neuronalen Netz 60 zugeführt.The control system 40 receives the sequence of sensor signals S from the sensor 30th in an optional receiving unit 50 , which converts the sequence of sensor signals S into a sequence of input signals x (alternatively, the sensor signal S can also be directly adopted as input signal x). The input signal x can be, for example, a section or a further processing of the sensor signal S. The input signal x can include, for example, image data or images, or individual frames of a video recording. In other words, the input signal x is determined as a function of the sensor signal S. The input signal x becomes a neural network 60 fed.

Das neuronale Netz 60 wird vorzugsweise parametriert durch Parameter θ, umfassend Gewichte w, die in einem Parameterspeicher P hinterlegt sind und von diesem bereitgestellt werden.The neural network 60 is preferably parameterized by parameters θ, including weights w, which are stored in a parameter memory P and are provided by this.

Das neuronale Netz 60 ermittelt aus den Eingangssignalen x Ausgangssignale y. Typischerweise kodieren die Ausgangssignalen y eine Klassifikationsinformation des Eingangssignals x. Die Ausgangssignale y werden einer optionalen Umformeinheit 80 zugeführt, die hieraus Ansteuersignale A ermittelt, welche dem Aktor 10 zugeführt werden, um den Aktor 10 entsprechend anzusteuern.The neural network 60 determined from the input signals x output signals y. The output signals y typically encode classification information for the input signal x. The output signals y are an optional conversion unit 80 fed, which determines from this control signals A, which the actuator 10 be fed to the actuator 10 to be controlled accordingly.

Merkmalskarten z, welche insbesondere auch Eingangssignal x und/oder Ausgangssignal y umfassen können, welche beim Propagieren des Eingangssignals x durch das neuronale Netz 60 ermittelt werden, werden einem Fehlerspeicher F zugeführt und in diesem gespeichert.Feature maps z, which in particular can also include input signal x and / or output signal y, which are generated when the input signal x is propagated through the neural network 60 are determined, are fed to a fault memory F and stored therein.

Der Aktor 10 empfängt die Ansteuersignale A, wird entsprechend angesteuert und führt eine entsprechende Aktion aus. Der Aktor 10 kann hierbei eine (nicht notwendigerweise baulich integrierte) Ansteuerlogik umfassen, welches aus dem Ansteuersignal A ein zweites Ansteuersignal ermittelt, mit dem dann der Aktor 10 angesteuert wird.The actuator 10 receives the control signals A, is controlled accordingly and carries out a corresponding action. The actuator 10 can include a control logic (not necessarily structurally integrated) which determines a second control signal from the control signal A, with which the actuator is then 10 is controlled.

In weiteren Ausführungsformen umfasst das Steuerungssystem 40 den Sensor 30. In noch weiteren Ausführungsformen umfasst das Steuerungssystem 40 alternativ oder zusätzlich auch den Aktor 10.In The control system comprises further embodiments 40 the sensor 30th . In still further embodiments, the control system comprises 40 alternatively or additionally also the actuator 10 .

In weiteren bevorzugten Ausführungsformen umfasst das Steuerungssystem 40 eine Ein- oder Mehrzahl von Prozessoren 45 und wenigstens ein maschinenlesbares Speichermedium 46, auf dem Anweisungen gespeichert sind, die dann, wenn sie auf den Prozessoren 45 ausgeführt werden, das Steuerungssystem 40 veranlassen, das Verfahren zum Betreiben des Steuerungssystems 40 auszuführen.In further preferred embodiments, the control system comprises 40 a single or multiple processors 45 and at least one machine-readable storage medium 46 on which instructions are stored, which then when they are on the processors 45 run the control system 40 cause the method of operating the control system 40 execute.

In alternativen Ausführungsformen ist alternativ oder zusätzlich zum Aktor 10 eine Anzeigeeinheit 10a vorgesehen.In alternative embodiments it is an alternative or in addition to the actuator 10 a display unit 10a intended.

2 zeigt ein Ausführungsbeispiel, in dem das Steuerungssystem 40 zur Steuerung eines wenigstens teilautonomen Roboters, hier eines wenigstens teilweise automatisierten Kraftfahrzeugs 100, eingesetzt wird. 2 shows an embodiment in which the control system 40 for controlling an at least partially autonomous robot, here an at least partially automated motor vehicle 100 , is used.

Bei dem Sensor 30 kann es sich um einen der im Zusammenhang mit 1 genannten Sensoren handeln, vorzugsweise um einen oder mehrere vorzugsweise im Kraftfahrzeug 100 angeordnete Videosensoren und/oder einen oder mehrere Radarsensoren und/oder einen oder mehrere Ultraschallsensoren und/oder einen oder mehrere LiDAR-Sensoren und/oder einen oder mehrere Positionssensoren (beispielsweise GPS) handeln.With the sensor 30th may be one of the related 1 act mentioned sensors, preferably one or more preferably in the motor vehicle 100 arranged video sensors and / or one or more radar sensors and / or one or more ultrasonic sensors and / or one or more LiDAR sensors and / or one or more position sensors (for example GPS) act.

Das neuronale Netz 60 kann aus den Eingangsdaten x beispielsweise Gegenstände in der Umgebung des wenigstens teilautonomen Roboters detektieren. The neural network 60 can for example detect objects in the vicinity of the at least partially autonomous robot from the input data x.

Bei dem Ausgangssignal y kann es sich um eine Information handeln, die charakterisiert, wo in der Umgebung des wenigstens teilautonomen Roboters Gegenstände vorhanden sind. Das Ausgangssignal A kann dann abhängig von dieser Information und/oder entsprechend dieser Information ermittelt werden.The output signal y can be information that characterizes where objects are present in the vicinity of the at least partially autonomous robot. The output signal A can then be determined as a function of this information and / or in accordance with this information.

Bei dem vorzugsweise im Kraftfahrzeug 100 angeordneten Aktor 10 kann es sich beispielsweise um eine Bremse, einen Antrieb oder eine Lenkung des Kraftfahrzeugs 100 handeln. Das Ansteuersignal A kann dann derart ermittelt werden, dass der Aktor oder die Aktoren 10 derart angesteuert wird, dass das Kraftfahrzeug 100 beispielsweise eine Kollision mit den vom neuronalen Netz 60 identifizierten Gegenständen verhindert, insbesondere, wenn es sich um Gegenstände bestimmter Klassen, z.B. um Fußgänger, handelt. Mit anderen Worten kann Ansteuersignal A abhängig von der ermittelten Klasse und/oder entsprechend der ermittelten Klasse ermittelt werden.Preferably in the motor vehicle 100 arranged actuator 10 For example, it can be a brake, a drive or a steering of the motor vehicle 100 act. The control signal A can then be determined such that the actuator or the actuators 10 is controlled such that the motor vehicle 100 for example a collision with the neural network 60 identified objects, especially if they are objects of certain classes, e.g. pedestrians. In other words, control signal A can be determined as a function of the determined class and / or in accordance with the determined class.

Alternativ kann es sich bei dem wenigstens teilautonomen Roboter auch um einen anderen mobilen Roboter (nicht abgebildet) handeln, beispielsweise um einen solchen, der sich durch Fliegen, Schwimmen, Tauchen oder Schreiten fortbewegt. Bei dem mobilen Roboter kann es sich beispielsweise auch um einen wenigstens teilautonomen Rasenmäher oder einen wenigstens teilautonomen Putzroboter handeln. Auch in diesen Fällen kann das Ansteuersignal A derart ermittelt werden, dass Antrieb und/oder Lenkung des mobilen Roboters derart angesteuert werden, dass der wenigstens teilautonome Roboter beispielsweise eine Kollision mit den vom neuronalen Netz 60 identifizierten Gegenständen verhindert,Alternatively, the at least partially autonomous robot can also be another mobile robot (not shown), for example one that moves by flying, swimming, diving or stepping. The mobile robot can also be, for example, an at least partially autonomous lawnmower or an at least partially autonomous cleaning robot. In these cases too, the control signal A can be determined in such a way that the drive and / or steering of the mobile robot are controlled in such a way that the at least partially autonomous robot, for example, has a collision with the one from the neural network 60 prevented identified objects,

In einer weiteren Alternative kann es sich bei dem wenigstens teilautonomen Roboter auch um einen Gartenroboter (nicht abgebildet) handeln, der mit einem bildgebenden Sensor 30 und dem neuronalen Netz 60 eine Art oder einen Zustand von Pflanzen in der Umgebung 20 ermittelt. Bei dem Aktor 10 kann es sich dann beispielsweise um einen Applikator von Chemikalien handeln. Das Ansteuersignal A kann abhängig von der ermittelten Art oder vom ermittelten Zustand der Pflanzen derart ermittelt werden, dass eine der ermittelten Art oder dem ermittelten Zustand entsprechende Menge der Chemikalien aufgebracht wird.In a further alternative, the at least partially autonomous robot can also be a garden robot (not shown) that has an imaging sensor 30th and the neural network 60 a type or condition of plants in the area 20th determined. With the actuator 10 it can then be, for example, an applicator for chemicals. The control signal A can be determined depending on the determined species or the determined condition of the plants in such a way that an amount of chemicals corresponding to the determined species or the determined condition is applied.

In noch weiteren Alternativen kann es sich bei dem wenigstens teilautonomen Roboter auch um ein Haushaltsgerät (nicht abgebildet), insbesondere eine Waschmaschine, einen Herd, einen Backofen, eine Mikrowelle oder eine Spülmaschine handeln. Mit dem Sensor 30, beispielsweise einem optischen Sensor, kann ein Zustand eines mit dem Haushaltsgerät behandelten Objekts erfasst werden, beispielsweise im Falle der Waschmaschine ein Zustand von Wäsche, die in der Waschmaschine befindlich ist. Mit dem neuronalen Netz 60 kann dann eine Art oder ein Zustand dieses Objekts ermittelt und vom Ausgangssignal y charakterisiert werden. Das Ansteuersignal A kann dann derart ermittelt werden, dass das Haushaltsgerät abhängig von der ermittelten Art oder dem ermittelten Zustand des Objekts angesteuert wird. Beispielsweise kann im Falle der Waschmaschine diese abhängig davon angesteuert werden, aus welchem Material die darin befindliche Wäsche ist. Ansteuersignal A kann dann abhängig davon gewählt werden, welches Material der Wäsche ermittelt wurde.In still further alternatives, the at least partially autonomous robot can also be a household appliance (not shown), in particular a washing machine, a stove, an oven, a microwave or a dishwasher. With the sensor 30th , for example an optical sensor, a state of an object treated with the household appliance can be detected, for example in the case of the washing machine, a state of laundry that is in the washing machine. With the neural network 60 a type or a state of this object can then be determined and characterized by the output signal y. The control signal A can then be determined in such a way that the household appliance is controlled as a function of the determined type or the determined state of the object. For example, in the case of the washing machine, this can be controlled depending on the material made of the laundry inside. Control signal A can then be selected depending on which material of the laundry was determined.

3 zeigt ein Ausführungsbeispiel, in dem das Steuerungssystem 40 zur Ansteuerung einer Fertigungsmaschine 11 eines Fertigungssystems 200 verwendet wird, indem ein diese Fertigungsmaschine 11 steuernder Aktor 10 angesteuert wird. Bei der Fertigungsmaschine 11 kann es sich beispielsweise um eine Maschine zum Stanzen, Sägen, Bohren und/oder Schneiden handeln. 3 shows an embodiment in which the control system 40 for controlling a production machine 11 of a manufacturing system 200 is used by a this manufacturing machine 11 controlling actuator 10 is controlled. At the manufacturing machine 11 For example, it can be a machine for punching, sawing, drilling and / or cutting.

Bei dem Sensor 30 kann es sich um einen der im Zusammenhang mit 1 genannten Sensoren handeln, vorzugsweise um einen optischen Sensor, der z.B. Eigenschaften von Fertigungserzeugnissen 12 erfasst. Es ist möglich, dass der die Fertigungsmaschine 11 steuernde Aktor 10 abhängig von den ermittelten Eigenschaften des Fertigungserzeugnisses 12 angesteuert wird, damit die Fertigungsmaschine 11 entsprechend einen nachfolgenden Bearbeitungsschritt dieses Fertigungserzeugnisses 12 ausführt. Es ist auch möglich, dass der Sensor 30 die Eigenschaften des von der Fertigungsmaschine 11 bearbeiteten Fertigungserzeugnisses 12 ermittelt, und abhängig davon eine Ansteuerung der Fertigungsmaschine 11 für ein nachfolgendes Fertigungserzeugnis anpasst. With the sensor 30th may be one of the related 1 These sensors act, preferably an optical sensor, which, for example, properties of manufactured products 12 detected. It is possible that the the manufacturing machine 11 controlling actuator 10 depending on the determined properties of the manufactured product 12 is controlled so that the production machine 11 corresponding to a subsequent processing step of this manufactured product 12 executes. It is also possible that the sensor 30th the characteristics of the manufacturing machine 11 processed manufactured product 12 determined, and depending on this, a control of the production machine 11 for a subsequent manufactured product.

4 zeigt ein Ausführungsbeispiel, bei dem das Steuerungssystem 40 zur Steuerung eines persönlichen Assistenten 250 eingesetzt wird. Bei dem Sensor 30 kann es sich um einen der im Zusammenhang mit 1 genannten Sensoren handeln. Der Sensor 30 ist bevorzugt ein akustischer Sensor, der Sprachsignale eines Nutzers 249 empfängt. Alternativ oder zusätzlich kann der Sensor 30 auch eingerichtet sein, optische Signale zu empfangen, beispielsweise Videobilder einer Geste des Nutzers 249. 4th shows an embodiment in which the control system 40 to control a personal assistant 250 is used. With the sensor 30th may be one of the related 1 act mentioned sensors. The sensor 30th is preferably an acoustic sensor, the speech signals of a user 249 receives. Alternatively or additionally, the sensor 30th also be set up to receive optical signals, for example video images of a gesture by the user 249 .

Abhängig von den Signalen des Sensors 30 ermittelt das Steuerungssystem 40 ein Ansteuersignal A des persönlichen Assistenten 250, beispielsweise, indem das neuronale Netz eine Gestenerkennung durchführt. Dem persönlichen Assistenten 250 wird dann dieses ermittelte Ansteuersignal A übermittelt und er somit entsprechend angesteuert. Dieses ermittelte Ansteuersignal A ist kann insbesondere derart gewählt werden, dass es einer vermuteten gewünschten Ansteuerung durch den Nutzer 249 entspricht. Diese vermutete gewünschte Ansteuerung kann abhängig von der vom neuronalen Netz 60 erkannten Geste ermittelt werden. Das Steuerungssystem 40 kann dann abhängig von der vermuteten gewünschten Ansteuerung das Ansteuersignal A zur Übermittlung an den persönlichen Assistenten 250 wählen und/oder das Ansteuersignal A zur Übermittlung an den persönlichen Assistenten entsprechend der vermuteten gewünschten Ansteuerung 250 wählen.Depending on the signals from the sensor 30th determines the control system 40 a control signal A of the personal assistant 250 , for example by the neural network performing gesture recognition. The personal assistant 250 this determined control signal A is then transmitted and it is thus controlled accordingly. This determined control signal A act can in particular be selected such that it is a presumed desired control by the user 249 corresponds. This presumed desired control can depend on that of the neural network 60 recognized gesture can be determined. The control system 40 can then, depending on the presumed desired control, the control signal A for transmission to the personal assistant 250 and / or the control signal A for transmission to the personal assistant according to the presumed desired control 250 choose.

Diese entsprechende Ansteuerung kann beispielsweise beinhalten, dass der persönliche Assistent 250 Informationen aus einer Datenbank abruft und sie für den Nutzer 249 rezipierbar wiedergibt.This corresponding control can include, for example, that the personal assistant 250 Retrieves information from a database and makes it available to the user 249 reproduces in a receivable

Anstelle des persönlichen Assistenten 250 kann auch ein Haushaltsgerät (nicht abgebildet), insbesondere eine Waschmaschine, ein Herd, ein Backofen, eine Mikrowelle oder eine Spülmaschine vorgesehen sein, um entsprechend angesteuert zu werden.Instead of the personal assistant 250 A household appliance (not shown), in particular a washing machine, a stove, an oven, a microwave or a dishwasher, can also be provided in order to be controlled accordingly.

5 zeigt ein Ausführungsbeispiel, bei dem das Steuerungssystem 40 zur Steuerung eines Zugangssystems 300 eingesetzt wird. Das Zugangssystem 300 kann eine physische Zugangskontrolle, beispielsweise eine Tür 401 umfassen. Bei dem Sensor 30 kann es sich um einen der im Zusammenhang mit 1 genannten Sensoren handeln, vorzugsweise um einen optischen Sensor (beispielsweise zur Erfassung von Bild- oder Videodaten), der eingerichtet ist, ein Gesicht zu erfassen. Mittels des neuronalen Netzes 60 kann dieses erfasste Bild interpretiert werden. Beispielsweise kann die Identität einer Person ermittelt werden. Der Aktor 10 kann ein Schloss sein, dass abhängig vom Ansteuersignal A die Zugangskontrolle freigibt, oder nicht, beispielsweise die Tür 401 öffnet, oder nicht. Hierzu kann das Ansteuersignal A abhängig von der der Interpretation des neuronalen Netzes 60 gewählt werden, beispielsweise abhängig von der ermittelten Identität der Person. An Stelle der physischen Zugangskontrolle kann auch eine logische Zugangskontrolle vorgesehen sein. 5 shows an embodiment in which the control system 40 to control an access system 300 is used. The access system 300 can be a physical access control, for example a door 401 include. With the sensor 30th may be one of the related 1 Said sensors act, preferably an optical sensor (for example, for capturing image or video data) that is set up to capture a face. Using the neural network 60 this captured image can be interpreted. For example, the identity of a person can be determined. The actuator 10 can be a lock that releases the access control depending on the control signal A, or not, for example the door 401 opens or not. For this purpose, the control signal A can be dependent on the interpretation of the neural network 60 be chosen, for example depending on the identified identity of the person. Instead of the physical access control, a logical access control can also be provided.

6 zeigt ein Ausführungsbeispiel, bei dem das Steuerungssystem 40 zur Steuerung eines Überwachungssystems 400 verwendet wird. Von dem in 5 dargestellten Ausführungsbeispiel unterscheidet sich dieses Ausführungsbeispiel dadurch, dass an Stelle des Aktors 10 die Anzeigeeinheit 10a vorgesehen ist, die vom Steuerungssystem 40 angesteuert wird. Beispielsweise kann vom neuronalen Netz 60 ermittelt werden, ob ein vom optischen Sensor aufgenommener Gegenstand verdächtig ist, und das Ansteuersignal A dann derart gewählt werden, dass dieser Gegenstand von der Anzeigeeinheit 10a farblich hervorgehoben dargestellt wird. 6th shows an embodiment in which the control system 40 for controlling a monitoring system 400 is used. From the in 5 The illustrated embodiment differs from this embodiment in that instead of the actuator 10 the display unit 10a is provided by the control system 40 is controlled. For example, from the neural network 60 it can be determined whether an object picked up by the optical sensor is suspicious, and the control signal A can then be selected such that this object is detected by the display unit 10a highlighted in color.

7 zeigt ein Ausführungsbeispiel, bei dem das Steuerungssystem 40 zur Steuerung eines medizinischen bildgebenden System 500, beispielsweise eines MRT-, Röntgen- oder Ultraschallgeräts, verwendet wird. Der Sensor 30 kann beispielsweise durch einen bildgebenden Sensor gegeben sein, durch das Steuerungssystem 40 wird die Anzeigeeinheit 10a angesteuert. Beispielsweise kann vom neuronalen Netz 60 ermittelt werden, ob ein vom bildgebenden Sensor aufgenommener Bereich auffällig ist, und das Ansteuersignal A dann derart gewählt werden, dass dieser Bereich von der Anzeigeeinheit 10a farblich hervorgehoben dargestellt wird. 7th shows an embodiment in which the control system 40 for controlling a medical imaging system 500 , for example an MRI, X-ray or ultrasound machine is used. The sensor 30th can for example be given by an imaging sensor, by the control system 40 becomes the display unit 10a controlled. For example, from the neural network 60 it can be determined whether an area recorded by the imaging sensor is conspicuous, and the control signal A can then be selected such that this area is detected by the display unit 10a highlighted in color.

8a) zeigt beispielhaft einen möglichen Aufbau des neuronalen Netzes 60, das im Ausführungsbeispiel als neuronales Netz gegeben ist. Das neuronale Netz umfasst eine Mehrzahl von Schichten S₁ ,S₂ ,S₃ um aus dem Eingangssignal x, das an einem Eingang einer Eingangsschicht S₁ zugeführt wird, das Ausgangssignal y zu ermitteln, das an einem Ausgang einer Ausgangsschicht S₃ anliegt. 8a) shows an example of a possible structure of the neural network 60 , which is given in the embodiment as a neural network. The neural network comprises a plurality of layers S ₁ , S ₂ , S ₃ order from the input signal x that is present at an input of an input layer S ₁ is supplied to determine the output signal y, which is at an output of an output layer S ₃ is applied.

Jede der Schichten S₁ ,S₂ ,S₃ ist hierbei eingerichtet, aus einem (ggf. mehrdimensionalen) Eingangssignal x, z₂ , z₄ , das an einem Eingang der jeweiligen Schicht S₁ ,S₂ ,S₃ anliegt, ein -- ein (ggf. mehrdimensionales) Ausgangssignal z₁ ,z₃ ,y zu ermitteln, dass an einem Ausgang der jeweiligen Schicht S₁ ,S₂ ,S₃ anliegt. Solche Ausgangssignale werden, speziell in der Bildverarbeitung, auch als Merkmalskarten (Englisch: „feature maps“) bezeichnet. Es ist hierbei nicht notwendig, dass die Schichten S₁ ,S₂ ,S₃ derart angeordnet sind, dass alle Ausgangssignale, die als Eingangssignale in weitere Schichten eingehen, aus jeweils von einer vorhergehenden Schicht in eine unmittelbar nachfolgende Schicht eingehen. Stattdessen sind auch Überbrückungsverbindungen (Englisch: „Skip Connections“) oder rekurrente Verbindungen möglich. Ebenso ist selbstverständlich möglich, dass das Eingangssignal x in mehrere der Schichten eingeht, oder dass sich das Ausgangssignal y des neuronalen Netzes 60 aus Ausgangssignalen einer Mehrzahl von Schichten zusammensetzt.Each of the layers S ₁ , S ₂ , S ₃ is set up here, from a (possibly multi-dimensional) input signal x, z ₂ , z ₄ that at an entrance of the respective shift S ₁ , S ₂ , S ₃ is present, a - a (possibly multi-dimensional) output signal z ₁ , z ₃ , y to determine that at an output of the respective layer S ₁ , S ₂ , S ₃ is applied. Such output signals are also called feature maps, especially in image processing. It is not necessary here that the layers S ₁ , S ₂ , S ₃ are arranged in such a way that all output signals that enter further layers as input signals enter an immediately following layer from a previous layer. Instead, bridging connections (English: "Skip Connections") or recurrent connections are also possible. It is of course also possible for the input signal x to enter several of the layers or for the output signal y of the neural network to be 60 composed of output signals from a plurality of layers.

Die Ausgangsschicht S₃ kann beispielsweise durch eine Argmax-Schicht gegeben sein (also eine Schicht, die aus einer Mehrzahl von Eingängen mit jeweils zugeordneten Eingangswerten eine Bezeichnung desjenigen Eingangs auswählt, dessen zugeordneter Eingangswert unter diesen Eingangswerten der größte ist), eine oder mehrere der Schichten S_1, S₂ können beispielsweise durch Faltungsschichten gegeben sein.The starting layer S ₃ can be given, for example, by an Argmax layer (i.e. a layer that selects a designation of the input from a plurality of inputs with each assigned input values, whose assigned input value is the largest among these input values), one or more of the layers S _1, S ₂ can be given for example by folding layers.

Wenigstens eine der Schichten S₁ ,S₂ ,S₃ umfasst hierbei eine Aktivierungsfunktion S und eine Abstandsfunktion || - ||. 8b) illustriert den Aufbau einer solchen exemplarischen Schicht. Bezeichnet e das am Eingang der Schicht anliegende Eingangssignal und a das Ausgangssignal, so gilt bei Gewichten w der Schicht: $y = S ({‖ w - e ‖}_{N, I, R, p}),$

wobei die Abstandsfunktion || · || vorzugsweise gegeben ist durch eine L₀-Norm oder durch eine differenzierbare Funktion, die die L₀-Norm annähert und beispielsweise gegeben sein kann durch

{‖ w - e ‖}_{N, I, R, p} = N \cdot \sum_{i = 1}^{n} (1 - I_{i} \cdot exp (- R_{i} {(w_{i} - e_{i})}^{p_{i}}))

I_i ist hierbei ein Gewichtungsparameter, der ein relatives Gewicht der i -ten Dimension bezeichnet und nimmt jeweils einen Wert im Intervall (0,1] an, n ist die Dimensionalität des Eingangssignals e, N ist ein Normierungsfaktor, der beispielsweise auf den Wert N = 1 oder auf den Wert N = 1/n gesetzt werden kann, R_i ist ein Parameter, der angibt, wie stark bezüglich der Werte einer Dimension selektiert wird, und der vorzugsweise auf einen vorgebbaren Wert > 0 gesetzt werden kann, und p_i ist ein vorgebbarer Potenzierungswert, der vorzugsweise für alle Dimensionen i gleich groß gewählt wird, beispielsweise auf den Wert p_i = 2 .At least one of the layers S ₁ , S ₂ , S ₃ comprises an activation function S and a distance function || - ||. 8b) illustrates the structure of such an exemplary layer. If e designates the input signal present at the input of the layer and a the output signal, then for weights w of the layer the following applies:

y = S. ({‖ w - e ‖}_{N, I., R., p}),

where the distance function || · || is preferably given by an L ₀ norm or by a differentiable function which approximates the L ₀ norm and can be given by, for example

{‖ w - e ‖}_{N, I., R., p} = N \cdot \sum_{i = 1}^{n} (1 - {I.}_{i} \cdot exp (- {R.}_{i} {(w_{i} - e_{i})}^{p_{i}}))

I _i is a weighting parameter that denotes a relative weight of the i -th dimension and assumes a value in the interval (0.1), n is the dimensionality of the input signal e, N is a normalization factor that, for example, to the value N. = 1 or can be set to the value N = 1 / n, R _i is a parameter that specifies how strongly a selection is made with regard to the values of a dimension, and which can preferably be set to a predeterminable value> 0, and p _i is a predefinable exponentiation value that is preferably chosen to be the same for all dimensions i, for example to the value p _i = 2.

Es versteht sich, dass das neuronale Netz nicht auf vorwärtsgerichtetete neuronale Netze (Englisch: „feedforward neural network“) beschränkt ist, sondern dass die Erfindung in gleicher Weise auf jegliche Art neuronaler Netze angewendet werden kann, insbesondere rekurrente Netze, Faltungsnetze (Englisch: „convolutional neural network“), Autoencoder, Boltzmann-Maschinen, Perzeptronen oder Kapselnetze (Englisch: „Capsule Neural Network).It goes without saying that the neural network is not limited to forward-looking neural networks (English: "feedforward neural network"), but that the invention can be applied in the same way to any kind of neural networks, in particular recurrent networks, convolution networks (English: " convolutional neural network ”), autoencoder, Boltzmann machines, perceptrons or capsule networks (English:“ Capsule Neural Network).

Der Begriff „Computer“ umfasst beliebige Geräte zur Abarbeitung vorgebbarer Rechenvorschriften. Diese Rechenvorschriften können in Form von Software vorliegen, oder in Form von Hardware, oder auch in einer Mischform aus Software und Hardware.The term “computer” encompasses any device for processing specifiable arithmetic rules. These calculation rules can be in the form of software, or in the form of hardware, or also in a mixed form of software and hardware.

Es versteht sich ferner, dass die Verfahren nicht nur wie beschrieben vollständig in Software implementiert sein können. Sie können auch in Hardware implementiert sein, oder in einer Mischform aus Software und Hardware.It is further understood that the methods can not only be implemented completely in software as described. They can also be implemented in hardware, or in a mixture of software and hardware.

Claims

Method for classifying input signals (x) which were determined as a function of an output signal (S) of a sensor (30), these input signals (x) being fed to a neural network (60) and classified by means of this, with at least one layer ( S ₁ , S ₂ , S ₃ ) of the neural network (60) an output variable (a) of this layer (S ₁ , S ₂ , S ₃ ) depending on a weight vector (w) assigned to this layer weights (w _i ) and an input variable (e) this layer is determined, the output variable (a) depending on a distance dimension || we || between input variable (e) and weight vector (w) is determined, the output variable (a) from the distance || we || is determined by subjecting it to a non-linear activation function (S), characterized in that the distance dimension || we || is given by a function that is limited on both sides, this function that is limited on both sides is given by a sum of terms, each of which is assigned to exactly one component (w _i , e _i ) of the weight vector (w) and the input variable (e), and evaluated whether this component (w _i , e _i ) is similar for weight vector (w) and input variable (e).

Procedure according to Claim 1 , where the function limited on both sides depends on a term (w _i - e _i ) ^{pi is} selected, where p _{i is} a predeterminable variable that is assigned to the corresponding component (w _i , e _i ).

Procedure according to Claim 2 , whereby the function limited on both sides is chosen depending on a term exp ((w _i - e _i ) ^pi ).

Procedure according to Claim 3 , where the function limited on both sides according to the formula (1 - I _i · exp (-R _i (w _i - e _i ) ^pi )), where R _i and I _{i are} each a predeterminable variable that corresponds to the corresponding component (w _i , e _i ) is assigned.

Method according to one of the Claims 1 to 4th wherein the neural network (60) is a deterministic neural network.

Procedure according to Claim 5 , the input signals (x) fed to the neural network (60) being stored in an error memory (F).

Method according to one of the Claims 1 to 6th , wherein a control signal (A) for controlling an actuator (10) is provided as a function of the determined classification.

Procedure according to Claim 7 , an actuator (10) being controlled as a function of the control signal (A).

Computer program which is set up, the method according to one of the Claims 1 to 8th execute.

Machine-readable storage medium (46, 146) on which the computer program is based Claim 9 is stored.

Actuator control system (40) which is set up, the method according to one of Claims 1 to 8th execute.