EP4211612A1 - Vorrichtung, system und verfahren zur bereitstellung eines künstlichen neuronalen netzes - Google Patents

Vorrichtung, system und verfahren zur bereitstellung eines künstlichen neuronalen netzes

Info

Publication number
EP4211612A1
EP4211612A1 EP21746052.6A EP21746052A EP4211612A1 EP 4211612 A1 EP4211612 A1 EP 4211612A1 EP 21746052 A EP21746052 A EP 21746052A EP 4211612 A1 EP4211612 A1 EP 4211612A1
Authority
EP
European Patent Office
Prior art keywords
component
neuron
optical
weighting
frequency
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP21746052.6A
Other languages
English (en)
French (fr)
Inventor
Heiko Gustav Kurz
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Volkswagen AG
Original Assignee
Volkswagen AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Volkswagen AG filed Critical Volkswagen AG
Publication of EP4211612A1 publication Critical patent/EP4211612A1/de
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/067—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using optical means
    • G06N3/0675—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using optical means using electro-optical, acousto-optical or opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0499—Feedforward networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Definitions

  • the present invention relates to an apparatus for providing an artificial neural network. Furthermore, the invention relates to a system and a method for this purpose.
  • neural networks can significantly improve the reliability of automatic vehicle functions, such as driver assistance systems.
  • the neural network is able to classify a camera image from a front camera of the vehicle.
  • a class can be assigned to the individual pixels of the camera image by the neural network (e.g. different classes for the roadway, the roadway markings, the vehicles, the pedestrians and/or the surrounding vegetation).
  • the environment can be recorded more precisely using this class information.
  • a pixel-precise allocation of the environment is possible. Furthermore, this information contributes to the understanding of the scene, so that the vehicle function can act adaptively.
  • the camera in particular plays a key role in redundant, robust environment detection, since this type of sensor can precisely measure angles for environment detection and can be used to classify the environment.
  • the processing and classification of the camera images is computationally intensive and architecturally complex.
  • the 360° 3D environment detection can be problematic because many individual images have to be classified and processed, which increases the computational effort.
  • Conventional high-performance artificial neural networks short: NN or ANN already offer the possibility of classifying camera images or data from other sensors with refresh rates of less than 10Hz. Thus, the processing and classification can already be significantly accelerated.
  • the data load increases with increasing resolution of the camera images.
  • Modern automotive cameras for example, already offer a resolution of around 8 megapixels.
  • the classification of these camera images in the vehicle in real time is currently not possible or technically very complex.
  • the limiting factor here is the processor speed in particular, even when using a GPU (graphics processor, English Graphics Processing Unit) of modern high-performance computers, which even with GPU acceleration cannot be sufficient to classify and process the images completely in real time.
  • the classification can be necessary in particular for understanding the scene of the environment in order to be able to act in accordance with the environment of the vehicle in the driving maneuver. Incomplete or incorrect classification therefore poses a problem for automatic driving functions and driver assistance systems.
  • High-resolution camera images and sensor data can only be classified by neural networks, e.g. with a reduced refresh rate below 10 Hz.
  • the object is achieved in particular by a device, in particular an optical and/or electro-optical device, for providing an artificial neural network (also referred to below as ANN or NN for short), in particular an optical ANN.
  • an artificial neural network also referred to below as ANN or NN for short
  • the device according to the invention can have at least one (or more) optical neuron component(s) (each) for providing at least one neuron of the network.
  • several neuron components can also be provided in the device in order to provide several neurons (ie, for example, one neuron each) of the network.
  • the neuron component can be designed to optically provide the function of a neuron of the ANN. This has the advantage that the ANN at least partially performs optical processing and can therefore perform the processing at a higher speed than a conventional electronic ANN.
  • the device according to the invention provides in particular that optical non-linear effects (ie effects of non-linear optics) are used in order to provide the function of the neuron and in particular the activation function.
  • optical non-linear effects ie effects of non-linear optics
  • the neuron component is designed as a non-linear optical component, preferably in order to output an output signal of the neuron component with a second frequency as a function of an input signal of the neuron component, which has a first frequency, with the second frequency differs from the first frequency.
  • the neuron component can be designed to carry out a frequency conversion of the input signal in order to obtain the output signal.
  • the input signal and the output signal can each be embodied as an optical signal, ie, for example, as light or a light beam and/or laser beam. This makes it possible to optically provide the function of a neuron of the ANN.
  • the frequency of the output signal may be nonlinearly dependent on the input signal (e.g., on a parameter of the input signal such as frequency and/or amplitude and/or phase and/or polarization) due to the nonlinear nature of the neuron component.
  • This non-linear dependence allows a function of the neuron, e.g. B. an activation function to provide.
  • a non-linear mapping can be generated by the neuron component e.g. B. in the form of a sigmoid function.
  • the distinction between the second and the first frequency or the frequency conversion can be defined by a non-linear dependency of the output signal on the input signal.
  • An increase in the aforementioned parameter of the input signal, such as the frequency or wavelength of the light, can lead to an increase in the frequency or wavelength of the output signal according to the sigmoid-typical S-shape due to non-linear effects.
  • the parameters x and y can each denote the frequencies or wavelengths of the light, which can thus serve as an input and output signal.
  • the at least one neuron component can, for example, be designed to provide the at least one neuron of the network and/or can be designed as the non-linear optical component in that the neuron component has a material that is transparent and/or non-linear optical effects when passing through Causes light and/or is an optically nonlinear material in which, in particular, the terms with susceptibilities of order greater than or equal to 2 do not disappear, ie are not equal to zero.
  • the material can be crystals, for example, which also have a piezo effect.
  • the input signal of the neuron component can e.g. B. the light incident on the material, which then passes through the material (i.e. the medium) and then emerges as the output signal.
  • the computing speed of an ANN is increased by using optical neurons and optical weights for the optical processing of data.
  • the data correspond to the input information, ie the input of the ANN, for example image information such as a camera image or the like.
  • the input information can e.g. B. received electronically by the device, but then converted into optical information to obtain the optical input signal of the neuron component.
  • an NN usually has a number of neurons, a number of input signals can correspondingly be formed from the input information for a number of neuron components.
  • the input information and/or the optical information obtained from it can optionally be processed and/or weighted beforehand in order to obtain the at least one input signal.
  • the weighting by a weighting component will be discussed in more detail below.
  • Optical materials for optical processing can be used for the neurons and/or weights of the ANN, so that the ANN can be implemented as an optical ANN.
  • the at least one neuron component can have an optical material which provides a nonlinear process utilizing the nonlinear susceptibility in optical processes of order > 2 (e.g.
  • waveguides can be used as weights of the ANN. Special optical materials can adapt the properties of the waveguides in such a way that weighting can be effected additively, subtractively or multiplicatively.
  • the device according to the invention further comprises: at least one (or more) optical weighting component(s) (each) for providing at least one weight of the network in order to output an output signal of the weighting component based on a weighting of an input signal of the weighting component, wherein preferably for this purpose, the weighting component carries out the weighting of the input signal in an optical manner.
  • at least one (or more) optical weighting component(s) each for providing at least one weight of the network in order to output an output signal of the weighting component based on a weighting of an input signal of the weighting component, wherein preferably for this purpose, the weighting component carries out the weighting of the input signal in an optical manner.
  • the weighting component can e.g. B. serve to provide the at least one weight in that the weight component has a transparent material and/or has a doped material and/or has a material with a defined absorption of the light passing through.
  • the input signal of the weighting component is this light incident on the material, passing through the medium of the weighting component and exiting again, so that the output of the weighting component can be the exiting light.
  • the neuron component can be connected to the weighting component, in particular optically, e.g. B. via an optical or waveguide to form the input signal of the neuron component at least partially from the output signal of the weighting component and possibly other weighting components.
  • the weight component can be used to change the weights of the neurons.
  • a classical structure of an ANN can thus be constructed optically by the weighting component and the neuron component.
  • a possible topology of the ANN is a recurrent NN or a single- or multi-layer feedforward network.
  • CNN convolutional neural network
  • the interconnection can also take place in such a way that the output signal of the weighting component corresponds to the input signal of the neuron component to which the weighting component is assigned.
  • a weighting component can also be dedicated to a neuron component to perform the weighting of the neuron's input. This can advantageously be done by a fixed optical connection between the weighting and neuron components.
  • the neurons of the ANN can each be provided by the neuron component and/or the weights can be provided by the weighting component.
  • Weighting requires a linear transformation of the input, so linear optical effects of the weighting component can be used.
  • the neurons, and in particular the activation function require that an input be optically non-linearly transformed. Accordingly, non-linear optical effects can be used in the neuron component.
  • the ANN provided according to the invention can be designed to be able to classify and process an input, in particular image information as input information, in real time, and thus with a predetermined limited amount of time.
  • This can be achieved in that the ANN consists at least partially of optical components is set up, which perform optical processing.
  • the activation function of the neurons of the ANN can be performed optically.
  • the ANN can thus be implemented optically.
  • a frequency of the input and/or output signal can be used as the parameter to be processed for the activation function. The frequency thus forms the counterpart to the electrical voltage in an electronic implementation of the ANN.
  • the weighting component is designed to linearly transform the input signal of the weighting component in order to generate the output signal of the weighting component.
  • This has the advantage that linear mappings can be carried out optically and thus more quickly, for example by addition or subtraction.
  • an optically active medium can be used with an adjusted doping.
  • the weighting component is designed as a waveguide (i.e. optical waveguide) and/or exclusively has a waveguide in order to carry out the weighting of the input signal of the weighting component.
  • a weighting that is technically easy to implement is thus possible. It can e.g. B. waveguides with matched absorber layers or optical parametric amplification for the weighting component can be used to obtain a desired weighting of the input signal.
  • the weighting can be provided for each input of a neuron of the ANN, so that a corresponding weighting component is provided in each case.
  • a weight can be defined for each weighting component in order to boost or attenuate (inversely) the input signal in proportion to the weight. The weights thus determine the degree of influence that the neuron's inputs have in the calculation of later activation.
  • an input can have an inhibiting (inhibitory) or exciting (excitatory) effect.
  • the neuron component is designed to non-linearly transform the input signal of the neuron component by means of at least one optical non-linear effect in order to generate the output signal of the neuron component.
  • the neuron component is adapted to provide an activation function with the input signal of the neuron component as input by at least one optical non-linear effect.
  • linear transformations are usually out of the question, since an activation function should be based on a non-linear mapping.
  • linear activation functions are subject to too strong a restriction and are therefore usually not used for an ANN.
  • the neuron's output can be determined by the (non-linear) activation function.
  • the non-linear transformation by the activation function is made possible by the optical non-linear properties of the neuron component.
  • the activation function is implemented as a sigmoid function, for example.
  • the at least one non-linear effect comprises at least or exactly one of the following effects: frequency multiplication, in particular frequency doubling, sum frequency generation, difference frequency generation, an optical parametric process, optical parametric amplification, a Kerr effect, a self-phase modulation, a four-wave mixing process.
  • the neuron component is designed to output an output signal of the neuron component with a second amplitude and/or phase as a function of the input signal of the neuron component, which has a first amplitude and/or phase, with the second amplitude and/or phase differs from the first amplitude and/or phase. Accordingly, it is possible to optically process not (only) the frequency as a parameter of the input and/or output signal, but also other parameters such as the amplitude and/or phase. The reliability of the processing can thus be further increased.
  • an electronic and/or electro-optical interface arrangement is provided, in particular for at least one electronic vehicle component, preferably in order to provide the artificial neural network in a vehicle.
  • the interface arrangement can convert electrical input information (e.g. in the form of digital data and/or electrical signals) into optical information to enable processing by the optical ANN.
  • Electrical output information can then be formed again from the optical output signals of the neuron components by the interface arrangement or another interface arrangement.
  • the electrical information is not optical, but via transfer electrical conductors. Accordingly, provision can be made for the device according to the invention to be connected via the interface arrangement via cables to electronics, in particular vehicle components, in order to electrically transmit the input and output information.
  • the vehicle is in the form of a motor vehicle, in particular a land motor vehicle without a track.
  • the vehicle can B. as a hybrid vehicle, which includes an internal combustion engine and an electric machine for traction, or as a (pure) electric vehicle or only with an internal combustion engine.
  • the vehicle can preferably be designed with a high-voltage vehicle electrical system and/or an electric motor.
  • the vehicle can also be designed as a fuel cell vehicle.
  • the vehicle can also be a passenger vehicle or a truck.
  • no internal combustion engine is preferably provided in the vehicle; it is then driven solely by electrical energy.
  • the invention also relates to a system comprising: a device according to the invention, at least one vehicle component.
  • the device according to the invention has an electronic and/or electro-optical interface arrangement in order to: receive (electrical) input information from the vehicle component, and/or an (optical) input signal for the neural network on the basis to provide the input information received, and/or to provide (electrical) output information for the vehicle component based on the (optical) output signal of the neuron component.
  • the input signal can be linearly transformed by a weighting component in order to serve weighted as input for the neural network.
  • the Output information may be formed from the output signal of the last neuron. If there are several neurons, several input signals can be formed from the input information.
  • the at least one vehicle component can have a detection device, such as a camera, in order to generate the input information in the form of image information, and/or for the at least one vehicle component to have a driver assistance system for providing an automatic driving function, preferably to evaluate the output information by the driver assistance system, and to use the output information as a classification of an environment of the vehicle.
  • the use of the optical ANN can enable the complete image information to be evaluated in real time.
  • the detection device comprises z. B. a radar and / or lidar and / or ultrasound, or at least one radar and / or lidar and / or ultrasonic sensor, and / or at least one camera, in particular the front camera of the vehicle.
  • the detection device can be designed to detect the surroundings of the vehicle, in particular in the direction of travel.
  • the invention also relates to a method for providing an artificial neural network, in particular an optical one. It is provided that the following steps are carried out, preferably one after the other in the specified order or in any order, whereby individual steps can also be carried out repeatedly:
  • the method according to the invention thus brings with it the same advantages as have been described in detail with reference to a device according to the invention.
  • the method can be suitable for operating a device according to the invention and/or a system according to the invention.
  • the system according to the invention and/or the device according to the invention can be designed to carry out the steps of a method according to the invention.
  • FIG. 1 shows a schematic representation of a device according to the invention and a system according to the invention
  • FIG. 1 shows a device 10 according to the invention for providing an artificial neural network 200. Furthermore, the device 10 according to the invention is part of a system 1 according to the invention with an electronic and/or electro-optical
  • the at least one vehicle component 5 can have a detection device 6 in order to generate input information 231 in the form of image information, and have a driver assistance system 7 for providing an automatic driving function in order to evaluate output information 232 by driver assistance system 7 .
  • the device 10 can comprise at least one optical neuron component 220 for providing at least one neuron of the network 200.
  • optical neuron components 220 can be provided in order to implement all neurons of the ANN by the neuron components 220.
  • the neuron component 220 can in each case be designed as a non-linear optical component in order to generate an output signal 222 of the neuron component as a function of an input signal 221 of the neuron component 220, which has a first frequency 220 at a second frequency, the second frequency being different than the first frequency.
  • the second frequency can be dependent on a non-linear relationship between the input signal and the output signal, this relationship being defined by the non-linear properties of the neuron component 220 .
  • the second frequency can correspond to twice the first frequency.
  • a type of sigmoid function can be simulated in this way.
  • the device 10 can also have at least one optical weighting component 210 for providing at least one weight of the network 200 in order to output an output signal 212 of the weighting component 210 based on a weighting of an input signal 211 of the weighting component 210 .
  • the output signal 212 can correspond to the input signal 221 of the neuron or the neuron component 220 to which the weighting component 210 is assigned.
  • the weighting component 210 can perform the weighting of the neuron's input and thus determine the degree of influence that the neuron's inputs will have in the calculation of later activation.
  • the neuron component 220 can be connected to the weighting component 210 in accordance with this assignment.
  • the weighting component 210 can be designed to linearly transform the input signal 211 of the weighting component 210 in order to generate the output signal 212 of the weighting component 210 .
  • the weighting component 210 is embodied, for example, as a waveguide and/or exclusively has a waveguide in order to carry out the weighting of the input signal 211 of the weighting component 210 .
  • the neuron component 220 can be designed to non-linearly transform the input signal 221 of the neuron component 220 (i.e. in particular the output signal 212 of the weighting component 210) by means of at least one optical non-linear effect in order to generate the output signal 222 of the neuron component 220.
  • the neuron component 220 may be adapted to provide an activation function with the input signal 221 of the neuron component 220 as an input through at least one optical non-linear effect.
  • a first method step 101 at least one neuron of the network 200 is provided by at least one optical neuron component 220, the neuron component 220 being designed as a non-linear optical component.
  • an output signal 222 of neuron component 220 is output at a second frequency as a function of an input signal 221 of neuron component 220, the second frequency of output signal 222 differing from a first frequency of input signal 221.
  • the input and output of the neuron component 220 thus have different frequencies.
  • a structure of an optical ANN is shown schematically and by way of example in FIG.
  • Artificial neural networks are mainly used in automatic driving functions to classify the environment.
  • sensor data (of the input information 231) are electronically passed on to the neurons a°i, a° 2 , . . . etc. via a weighting.
  • an optical ANN can be used instead.
  • the sigmoid function of the neurons can each be provided by a neuron component 220 and the weights can each be provided by a weighting component 210 .
  • the input and output information 231, 233 can be provided by an interface arrangement 20.
  • optical components such as the neuron and/or weighting components 210, 220 offers the possibility of carrying out the aforesaid arithmetic operations with light.
  • Mathematical operations such as addition, subtraction or multiplication can be achieved by in-phase superimposition or amplification and absorption of light waves.
  • a possible optical component is an optical fiber.
  • the non-linear function as in the example above, the sigmoid function, is of great importance.
  • non-linear optical processes of higher order, so-called multi-photon processes can be used during the interaction of light and matter.
  • the use of the Multi-photon processes can take place or be implemented by the neuron component 220 .
  • the evolution of the electric polarization P is an established model to describe multiphoton processes in light-matter interaction: with P as the electric polarization, % n as the electric susceptibility, E as the electric field, and e 0 as the dielectric constant.
  • n > 1 shows a non-linear proportionality to the electric field strength.
  • These processes are called multiphoton processes.
  • the number of photons required scales with the order n of Effects such as frequency doubling or sum and difference frequency generation require two photons, generate photons with a frequency corresponding to the fundamental light frequency and thus induce a second-order non-linearity in the material.
  • Third-order effects, such as frequency tripling, the Kerr effect, or similar. require three photons for frequency conversion of order three, four-wave mixing processes corresponding to four photons, etc.
  • non-linear light-matter interaction provides the ability to non-linearly modulate an incident light wave (the input signal 221), comparable to the non-linear modulation of electrical current by an artificial neuron.
  • the non-linear material acts as an optical neuron, which is a function of the electric field, the non-linear or linear susceptibility and the interaction in the material and outputs frequency, amplitude or phase information as a function value, for example:
  • FIG. 4 shows the data processing by means of an optical neuronal network.
  • the input information 231 can first be transformed from a matrix into a column vector (step 103).
  • the at least one interface arrangement 20 can then be used to convert the input information 231 from an electrical signal into an optical signal in accordance with step 104 and then transfer it, for example, via a waveguide of the weighting component 210 .
  • the waveguide can function as an optical weight and transmits the optical signal to an optical neuron, ie to the neuron component 220.
  • the neuron can be formed from an optically non-linear material of the neuron component 220.
  • the response function can result as a superimposition of the signals from all optical neurons of the ANN, which lead to a non-linear effect in the material and are transferred to the next neuron layer via another optical weight.
  • the output signal can be forwarded to electronics such as a conventional computer by means of the at least one electro-optical interface arrangement 20 according to step 105 .
  • electronics such as a conventional computer by means of the at least one electro-optical interface arrangement 20 according to step 105 .
  • the classification of the input data takes place purely optically and is made available as an electronic signal for further data processing.
  • the output information 232 can be forwarded to a processing device (such as a processor, e.g. a GPU).
  • the output information 232 can then be evaluated in order to adjust the optical weights via a feedback loop and to optimize the result.
  • Interface arrangement first method step second method step - further method steps artificial neural network
  • Neuron component second component

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Neurology (AREA)
  • Optical Modulation, Optical Deflection, Nonlinear Optics, Optical Demodulation, Optical Logic Elements (AREA)
  • Image Analysis (AREA)
  • Optical Communication System (AREA)
  • Feedback Control In General (AREA)

Abstract

Die Erfindung betrifft eine Vorrichtung (10) zur Bereitstellung eines künstlichen neuronalen Netzes (200), aufweisend: wenigstens eine optische Neuronenkomponente (220) zur Bereitstellung von wenigstens einem Neuron des Netzes (200), wobei die Neuronenkomponente (220) als eine nichtlineare optische Komponente ausgeführt ist, um in Abhängigkeit von einem Eingangssignal (221) der Neuronenkomponente (220), welches eine erste Frequenz aufweist, ein Ausgangssignal (222) der Neuronenkomponente (220) mit einer zweiten Frequenz auszugeben, wobei sich die zweite Frequenz von der ersten Frequenz unterscheidet.

Description

Beschreibung
Vorrichtung, System und Verfahren zur Bereitstellung eines künstlichen neuronalen Netzes
Die vorliegende Erfindung betrifft eine Vorrichtung zur Bereitstellung eines künstlichen neuronalen Netzes. Ferner bezieht sich die Erfindung auf ein System sowie ein Verfahren zu diesem Zweck.
Aus dem Stand der Technik ist die Verwendung von künstlichen neuronalen Netzen für eine zunehmende Anzahl von Anwendungen bekannt. Bspw. können im Bereich der Fahrzeugtechnik neuronale Netze die Zuverlässigkeit von automatischen Fahrzeugfunktionen, wie von Fahrerassistenzsystemen, signifikant verbessern.
Die Vorteile des Einsatzes von neuronalen Netzen sollen nachfolgend beispielhaft anhand einer solchen Fahrzeugfunktion beschrieben werden. Es ist bekannt, dass für ein automatisches Fahren eine möglichst sichere Umfelderfassung unabdinglich ist. Dabei wird das Umfeld des Fahrzeuges mit Hilfe von Sensoren, wie Radar, Lidar und Kamerasensoren, erfasst. Ferner kann eine ganzheitliche 360°-3D-Erfassung der Umwelt eingesetzt werden, so dass alle statischen und dynamischen Objekte erfasst und klassifiziert werden können.
Bspw. ist hierbei das neuronale Netz in der Lage, ein Kamerabild einer Frontkamera des Fahrzeuges zu klassifizieren. Dabei kann den einzelnen Pixeln des Kamerabildes durch das neuronale Netzwerk eine Klasse zugeordnet werden (bspw. unterschiedliche Klassen für die Fahrbahn, die Fahrbahnmarkierungen, die Fahrzeuge, die Fußgänger und/oder die Vegetation im Umfeld). Mittels dieser Klasseninformation kann das Umfeld präziser erfasst werden. Es ist eine pixelgenaue Zuordnung des Umfeldes möglich. Weiterhin trägt diese Information zum Szenenverständnis bei, so dass die Fahrzeugfunktion adaptiv handeln kann.
Insbesondere der Kamera kommt in einer redundanten, robusten Umfelderfassung eine tragende Rolle zu, da dieser Sensortyp präzise für die Umfelderfassung Winkel messen und zur Klassifikation des Umfelds eingesetzt werden kann. Allerdings ist die Verarbeitung und Klassifizierung der Kamerabilder rechenintensiv und architektonisch aufwändig. Insbesondere die 360°-3D-Umfelderfassung kann problematisch sein, dass viele Einzelbilder klassifiziert und prozessiert werden müssen und somit der Rechenaufwand steigt. Herkömmliche hoch perform ante, künstliche neuronale Netzwerke (kurz: NN oder KNN) bieten bereits die Möglichkeit, Kamerabilder oder Daten anderer Sensoren mit Bildwiederholraten von weniger als 10Hz zu klassifizieren. Somit kann die Verarbeitung und Klassifizierung bereits deutlich beschleunigt werden.
In manchen Fällen ist dies allerdings noch ungenügend oder verbesserungsfähig, da moderne Kamerasysteme mit 30Hz Bildwiederholrate arbeiten. Bspw. kann eine zuverlässige Umfelderfassung in Echtzeit für die Fahrzeugfunktion gefordert sein, sodass die Verarbeitung und Klassifizierung mit geringerem Zeitaufwand durchgeführt werden muss.
Darüber hinaus steigt die Datenlast mit zunehmendem Auflösungsvermögen der Kamerabilder. Moderne automotive-taugliche Kameras bieten bspw. bereits eine Auflösung um die 8 Mega- Pixel. Die Klassifizierung dieser Kamerabilder im Fahrzeug in Echtzeit ist derzeit nicht möglich oder technisch sehr aufwendig. Der dabei limitierende Faktor ist insbesondere die Prozessorgeschwindigkeit, auch bei Einsatz einer GPU (Grafikprozessor, englisch Graphics Processing Unit) moderner Hochleistungsrechner, welche selbst mit GPU-Beschleunigung nicht ausreichend sein kann, um die Bilder vollständig in Echtzeit zu klassifizieren und zu verarbeiten.
Die Klassifizierung kann insbesondere für das Szenenverständnis des Umfelds notwendig sein, um entsprechend der Umgebung des Fahrzeuges im Fahrmanöver handeln zu können. Eine unvollständige oder fehlerhafte Klassifizierung stellt daher ein Problem für automatische Fahrfunktionen und Fahrerassistenzsysteme dar.
Zusammengefasst ist es daher ein Problem, dass herkömmliche elektronische neuronale Netzwerke in Ihrer Rechenleistung durch die Prozessorgeschwindigkeit begrenzt sind, und für manche Anwendungen daher keine ausreichende Leistung bereitstellen können.
Hochauflösende Kamerabilder und Sensordaten können durch neuronale Netzwerke bspw. lediglich mit verminderter Bildwiederholrate unter 10 Hz klassifiziert werden.
Eine alternative Möglichkeit zur Verwendung eines künstlichen neuronalen Netzes, mit einem Ansatz für die Verwendung von optischen Komponenten, ist aus der Schrift WO 2017/210550 A1 bekannt.
Es ist eine Aufgabe der vorliegenden Erfindung, die voranstehend beschriebenen Nachteile zumindest teilweise zu beheben. Insbesondere ist es eine Aufgabe der vorliegenden Erfindung, eine Erhöhung der Rechengeschwindigkeit neuronaler Netzwerke zu erzielen und insbesondere eine Klassifizierung und Verarbeitung durch das neuronale Netz in Echtzeit, und damit mit vorgegebenen begrenzten Zeitaufwand, durchführen zu können.
Die voranstehende Aufgabe wird gelöst durch eine Vorrichtung mit den Merkmalen des Anspruchs 1 , durch ein System mit den Merkmalen des Anspruchs 11 sowie durch ein Verfahren mit den Merkmalen des Anspruchs 14. Weitere Merkmale und Details der Erfindung ergeben sich aus den jeweiligen Unteransprüchen, der Beschreibung und den Zeichnungen. Dabei gelten Merkmale und Details, die im Zusammenhang mit der erfindungsgemäßen Vorrichtung beschrieben sind, selbstverständlich auch im Zusammenhang mit dem erfindungsgemäßen System sowie dem erfindungsgemäßen Verfahren, und jeweils umgekehrt, sodass bezüglich der Offenbarung zu den einzelnen Erfindungsaspekten stets wechselseitig Bezug genommen wird bzw. werden kann.
Die Aufgabe wird insbesondere gelöst durch eine, insbesondere optische und/oder elektrooptische, Vorrichtung zur Bereitstellung eines künstlichen neuronalen Netzes (nachfolgend auch kurz KNN oder NN bezeichnet), insbesondere eines optischen KNN.
Die erfindungsgemäße Vorrichtung kann wenigstens eine (oder mehrere) optische Neuronenkomponente(n) (jeweils) zur Bereitstellung von wenigstens einem Neuron des Netzes aufweisen. Es können entsprechend auch mehrere Neuronenkomponenten bei der Vorrichtung vorgesehen sein, um mehrere Neuronen (d. h. bspw. jeweils ein Neuron) des Netzes bereitzustellen. Die Neuronenkomponente kann dazu ausgeführt sein, die Funktion eines Neurons des KNN in optischer Weise bereitzustellen. Dies hat den Vorteil, dass das KNN zumindest teilweise eine optische Verarbeitung durchführt, und somit die Verarbeitung mit höherer Geschwindigkeit durchführen kann als ein herkömmliches elektronisches KNN.
Im Unterschied zu herkömmlichen optischen Ansätzen bei KNN ist bei der erfindungsgemäßen Vorrichtung insbesondere vorgesehen, dass optische nichtlineare Effekte (d. h. Effekte der nichtlinearen Optik) genutzt werden, um die Funktion des Neurons und insbesondere die Aktivierungsfunktion bereitzustellen.
Bei der erfindungsgemäßen Vorrichtung ist insbesondere vorgesehen, dass die Neuronenkomponente als eine nichtlineare optische Komponente ausgeführt ist, vorzugsweise um in Abhängigkeit von einem Eingangssignal der Neuronenkomponente, welches eine erste Frequenz aufweist, ein Ausgangssignal der Neuronenkomponente mit einer zweiten Frequenz auszugeben, wobei sich die zweite Frequenz von der ersten Frequenz unterscheidet. In anderen Worten kann die Neuronenkomponente dazu ausgeführt sein, eine Frequenzkonversion des Eingangssignals durchzuführen, um das Ausgangssignal zu erhalten. Das Eingangssignal und das Ausgangssignal können dabei jeweils als ein optisches Signal, also bspw. als Licht bzw. ein Licht- und/oder Laserstrahl, ausgeführt sein. Dies ermöglicht es, die Funktion eines Neurons des KNN in optischer Weise bereitzustellen. Die Frequenz des Ausgangssignals kann aufgrund der nichtlinearen Ausführung der Neuronenkomponente nichtlinear von dem Eingangssignal abhängig sein (z. B. von einem Parameter des Eingangssignals wie der Frequenz und/oder Amplitude und/oder Phase und/oder Polarisation). Diese nichtlineare Abhängigkeit ermöglicht es, eine Funktion des Neurons, z. B. eine Aktivierungsfunktion, bereitzustellen. Eine nichtlineare Abbildung kann durch die Neuronenkomponente z. B. in der Form einer Sigmoidfunktion erfolgen. In anderen Worten kann die Unterscheidung der zweiten von der ersten Frequenz bzw. die Frequenzkonversion durch eine nicht-lineare Abhängigkeit des Ausgangssignals vom Eingangssignal definiert sein. Ein Anstieg des vorgenannten Parameters des Eingangssignals, wie der Frequenz bzw. Wellenlänge des Lichts, kann dabei aufgrund nichtlinearer Effekte zu einem Anstieg der Frequenz bzw. Wellenlänge des Ausgangssignals gemäß der sigmoidtypischen S-Form führen. Die nichtlineare Abbildung der Neuronenkomponente kann z. B. in der Form y=f(x), und im Falle der Sigmoidfunktion als y=sig(x), dargestellt werden. Die Parameter x und y können dabei jeweils die Frequenzen bzw. Wellenlängen des Lichts bezeichnen, welches somit als Ein- und Ausgangssignal dienen kann.
Die wenigstens eine Neuronenkomponente kann bspw. dadurch zur Bereitstellung von dem wenigstens einen Neuron des Netzes und/oder kann dadurch als die nichtlineare optische Komponente ausgeführt sein, dass die Neuronenkomponente ein Material aufweist, das transparent ist und/oder nicht-lineare optische Effekte beim durchlaufenden Licht bewirkt und/oder ein optisch nichtlineares Material ist, bei welchem insbesondere die Terme mit Suszeptibilitäten der Ordnung größer oder gleich 2 nicht verschwinden, also ungleich Null sind. Bei dem Material kann es sich bspw. um Kristalle handeln, die auch einen Piezoeffekt aufweisen. Das Eingangssignal der Neuronenkomponente kann z. B. das in das Material einfallende Licht sein, welches dann das Material (also das Medium) durchläuft und anschließend als das Ausgangssignal austritt.
Es ist insbesondere eine der Erfindung zugrundeliegende Idee, dass die Rechengeschwindigkeit eines KNN dadurch erhöht wird, dass optische Neuronen und optische Gewichte zur optischen Prozessierung von Daten verwendet werden. Dies hat den Vorteil, dass grundsätzlich eine Prozessierung der Daten mit Lichtgeschwindigkeit möglich ist. Die Daten entsprechen dabei der Eingabeinformation, also der Eingabe des KNN, bspw. einer Bildinformation wie einem Kamerabild oder dergleichen. Die Eingabeinformation kann z. B. elektronisch durch die Vorrichtung empfangen werden, dann aber in eine optische Information umgewandelt werden, um das optische Eingangssignal der Neuronenkomponente zu erhalten. Da ein NN (üblicherweise) mehrere Neuronen aufweist, können für mehrere Neuronenkomponenten entsprechend mehrere Eingangssignale aus der Eingabeinformation gebildet werden. Ferner kann die Eingabeinformation und/oder die daraus erhaltene optische Information ggf. zuvor verarbeitet und/oder gewichtet werden, um das wenigstens eine Eingangssignal zu erhalten. Insbesondere wird auf die Gewichtung durch eine Gewichtungskomponente nachfolgend noch näher eingegangen.
Für die Neuronen und/oder Gewichte des KNN können optische Materialien zur optischen Verarbeitung verwendet werden, sodass das KNN als ein optisches KNN ausgeführt sein kann. Entsprechend kann die wenigstens eine Neuronenkomponente ein optisches Material aufweisen, welches einen nichtlinearen Prozess unter Ausnutzung der nichtlinearen Suszeptibilität in optischen Prozessen der Ordnung > 2 bereitstellt (wie z. B.
Summenfrequenzgeneration, Differenzfrequenzerzeugung, Vierwellenmischprozesse, Kerr- Effekt, Selbstphasenmodulation, u. a.). Auf diese Weise kann der nichtlineare Prozess des optischen Materials der Neuronenkomponente die Funktion des Neurons ausführen. Dadurch wird das Eingangssignal bzw. dessen Informationen mit nahezu Lichtgeschwindigkeit prozessiert. Ferner können Wellenleiter als Gewichte des KNN eingesetzt werden. Spezielle optische Materialien können die Eigenschaften der Wellenleiter dabei so anpassen, sodass eine Gewichtung additiv, subtraktiv oder multiplikativ bewirkt werden kann.
Es ist denkbar, dass die erfindungsgemäße Vorrichtung ferner aufweist: wenigstens eine (oder mehrere) optische Gewichtungskomponente(n) (jeweils) zur Bereitstellung von wenigstens einem Gewicht des Netzes, um anhand einer Gewichtung eines Eingangssignals der Gewichtungskomponente ein Ausgangssignal der Gewichtungskomponente auszugeben, wobei vorzugsweise die Gewichtungskomponente hierzu die Gewichtung des Eingangssignals in optischer Weise durchführt.
Die Gewichtungskomponente kann z. B. dadurch zur Bereitstellung des wenigstens einen Gewichts dienen, dass die Gewichtskomponente ein transparentes Material aufweist und/oder ein dotiertes Material aufweist und/oder ein Material mit einer definierten Absorption des durchlaufenden Lichts aufweist. Das Eingangssignal der Gewichtungskomponente ist bspw. das in das Material einfallende Licht, welches das Medium der Gewichtungskomponente durchläuft und wieder austritt, sodass das Ausgangssignal der Gewichtungskomponente das austretende Licht sein kann.
Weiter kann die Neuronenkomponente mit der Gewichtungskomponente, insbesondere optisch, verschaltet sein, z. B. über einen Licht- oder Wellenleiter, um das Eingangssignal der Neuronenkomponente zumindest teilweise aus dem Ausgangssignal der Gewichtungskomponente und ggf. weiterer Gewichtungskomponenten zu bilden. Auf diese Weise kann die Gewichtungskomponente dazu dienen, die Gewichte der Neuronen zu verändern. Es kann durch die Gewichtungskomponente und die Neuronenkomponente somit eine klassische Struktur eines KNN optisch aufgebaut werden. Eine mögliche Topologie des KNN ist dabei ein rekurrentes NN oder ein ein- oder mehrschichtiges Feedforward-Netz. Auch der Aufbau eines Convolutional Neural Network (CNN) - erfindungsgemäß in optischer Weise - ist denkbar.
Die Verschaltung kann ferner auch in der Weise erfolgen, dass das Ausgangssignal der Gewichtungskomponente dem Eingangssignal der Neuronenkomponente entspricht, der die Gewichtungskomponente zugeordnet ist. Eine Gewichtungskomponente kann außerdem fest einer Neuronenkomponente zugeordnet sein, um das Gewichten des Eingangs des Neurons durchzuführen. Dies kann vorteilhafterweise durch eine feste optische Verbindung zwischen Gewichtungs- und Neuronenkomponente erfolgen.
Es ist möglich, dass sämtliche Teile eines künstlichen neuronalen Netzes durch die erfindungsgemäße Vorrichtung optisch abgebildet werden. Bspw. können die Neuronen des KNN jeweils durch die Neuronenkomponente bereitgestellt sein, und/oder die Gewichtungen durch die Gewichtungskomponente bereitgestellt sein. Das Gewichten erfordert eine lineare Transformation der Eingabe, sodass hierbei auf lineare optische Effekte der Gewichtungskomponente zurückgegriffen werden kann. Dagegen erfordern die Neuronen, und insbesondere die Aktivierungsfunktion, dass eine Eingabe optisch nichtlinear transformiert wird. Entsprechend kann hierbei auf nichtlineare optische Effekte bei der Neuronenkomponente zurückgegriffen werden.
Das erfindungsgemäße bereitgestellte KNN kann dazu ausgeführt sein, eine Klassifizierung und Verarbeitung einer Eingabe, insbesondere einer Bildinformation als Eingabeinformation, in Echtzeit, und damit mit vorgegebenem limitierten Zeitaufwand, durchführen zu können. Dies kann dadurch erzielt werden, dass das KNN zumindest teilweise aus optischen Komponenten aufgebaut wird, welche eine optische Verarbeitung durchführen. Insbesondere kann die Aktivierungsfunktion der Neuronen des KNN optisch ausgeführt werden. Das KNN kann somit optisch implementiert sein. Dabei kann als der zu verarbeitende Parameter für die Aktivierungsfunktion eine Frequenz des Ein- und/oder Ausgangssignals verwendet werden. Die Frequenz bildet somit das Gegenstück zur elektrischen Spannung bei einer elektronischen Implementierung des KNN.
Des Weiteren ist es denkbar, dass die Gewichtungskomponente dazu ausgebildet ist, das Eingangssignal der Gewichtungskomponente linear zu transformieren, um das Ausgangssignal der Gewichtungskomponente zu erzeugen. Dies hat den Vorteil, dass lineare Abbildungen durch bspw. eine Addition oder Subtraktion optisch und damit schneller durchgeführt werden können. Hierzu kann für die Gewichtungskomponente z. B. ein optisch aktives Medium mit einer angepassten Dotierung verwendet werden.
Bevorzugt kann im Rahmen der Erfindung vorgesehen sein, dass die Gewichtungskomponente als ein Wellenleiter (d. h. Lichtwellenleiter) ausgebildet ist und/oder ausschließlich einen Wellenleiter aufweist, um die Gewichtung des Eingangssignals der Gewichtungskomponente durchzuführen. Damit ist eine technisch einfach umzusetzende Gewichtung möglich. Es können z. B. Wellenleiter mit angepassten Absorberschichten oder eine optische parametrische Verstärkung für die Gewichtungskomponente verwendet werden, um eine gewünschte Gewichtung des Eingangssignals zu erhalten. Die Gewichtung kann dabei für jeden Eingang eines Neurons des KNN vorgesehen sein, sodass entsprechend jeweils eine Gewichtungskomponente vorgesehen ist. Für jede Gewichtungskomponente kann ein Gewicht definiert sein, um das Eingangssignal proportional zum Gewicht zu verstärken oder (antiproportional) abzuschwächen. Die Gewichte bestimmen damit den Grad des Einflusses, den die Eingaben des Neurons in der Berechnung der späteren Aktivierung einnehmen. Abhängig von den Vorzeichen der Gewichte kann eine Eingabe hemmend (inhibitorisch) oder erregend (exzitatorisch) wirken.
Außerdem kann es im Rahmen der Erfindung von Vorteil sein, dass die Neuronenkomponente dazu ausgebildet ist, das Eingangssignal der Neuronenkomponente nichtlinear mittels wenigstens eines optischen nichtlinearen Effekts zu transformieren, um das Ausgangssignal der Neuronenkomponente zu erzeugen. Dies ermöglicht eine optische, und damit schnellere, Verarbeitung durch das Neuron als bei herkömmlichen elektronischen KNN. Vorteilhafterweise kann im Rahmen der Erfindung vorgesehen sein, dass die Neuronenkomponente dafür angepasst ist, durch wenigstens einen optischen nichtlinearen Effekt eine Aktivierungsfunktion mit dem Eingangssignal der Neuronenkomponente als Eingabe bereitzustellen. Für die Neuronen des KNN kommen lineare Transformation meistens nicht in Frage, da eine Aktivierungsfunktion auf einer nichtlinearen Abbildung basieren sollte. Lineare Aktivierungsfunktionen unterliegen dagegen einer zu starken Beschränkung, und werden daher üblicherweise nicht für ein KNN verwendet. Nachdem die Gewichtung den Einfluss eines Eingangssignals für das Neuron bestimmt, kann die Ausgabe des Neurons durch die (nichtlineare) Aktivierungsfunktion bestimmt werden. Die nicht-lineare Transformation durch die Aktivierungsfunktion wird dabei durch die optisch-nichtlinearen Eigenschaften der Neuronenkomponente ermöglicht. Die Aktivierungsfunktion ist bspw. als eine Sigmoidfunktion ausgeführt.
Ein weiterer Vorteil kann im Rahmen der Erfindung erzielt werden, wenn der wenigstens eine nichtlineare Effekt zumindest oder genau einen der nachfolgenden Effekte umfasst: eine Frequenzvervielfachung, insbesondere Frequenzverdoppelung, eine Summenfrequenzerzeugung, eine Differenzfrequenzerzeugung, einen optisch-parametrischen Prozess, eine optische parametrische Verstärkung, einen Kerr-Effekt, eine Selbstphasenmodulation, einen Vierwellenmischprozess.
Damit ist es möglich, den Parameter der Frequenz des Ein- und/oder Ausgangssignals der Neuronenkomponente nichtlinear zu verarbeiten, um die Funktion des Neurons, insbesondere die Aktivierungsfunktion, bereitzustellen.
Es kann ferner möglich sein, dass die Neuronenkomponente wenigstens oder genau eines der nachfolgenden Materialien aufweist, um den wenigstens einen optischen nichtlinearen Effekt bereitzustellen:
Beta-Bariumborat, Kaliumdihydrogenphosphat, Ammoniumdihydrogenphosphat, Lithiumniobat, Lithiumjodat, Silberthiogalat Silizium Si-N KTP Glase Quarz Saphir Germanium MgF CaF Yb:YAG NeYAG TiSa und weitere Lasermedien.
Darüber hinaus sind auch weitere Materialen bekannt, um den nicht-linearen Effekt mit einer ausreichenden Stärke bereitstellen zu können.
Des Weiteren ist es denkbar, dass die Neuronenkomponente dazu ausgebildet ist, in Abhängigkeit von dem Eingangssignal der Neuronenkomponente, welches eine erste Amplitude und/oder Phase aufweist, ein Ausgangssignal der Neuronenkomponente mit einer zweiten Amplitude und/oder Phase auszugeben, wobei sich die zweite Amplitude und/oder Phase von der ersten Amplitude und/oder Phase unterscheidet. Entsprechend ist es möglich, nicht (nur) die Frequenz als Parameter des Ein- und/oder Ausgangssignals optisch zu verarbeiten, sondern auch weitere Parameter wie die Amplitude und/oder Phase. Damit kann die Zuverlässigkeit der Verarbeitung weiter erhöht werden.
Vorteilhafterweise kann im Rahmen der Erfindung vorgesehen sein, dass eine elektronische und/oder elektrooptische Schnittstellenanordnung, insbesondere zu wenigstens einer elektronischen Fahrzeugkomponente, vorgesehen ist, bevorzugt um das künstliche neuronale Netz bei einem Fahrzeug bereitzustellen. Die Schnittstellenanordnung kann eine elektrische Eingabeinformation (z. B. in der Form von digitalen Daten und/oder elektrischen Signalen) in eine optische Information umwandeln, um die Verarbeitung durch das optische KNN zu ermöglichen. Aus den optischen Ausgangssignalen der Neuronenkomponenten kann anschließend wieder eine elektrische Ausgabeinformation durch die oder eine weitere Schnittstellenanordnung gebildet werden. Die elektrischen Informationen werden dabei im Gegensatz zu den beschriebenen Ein- und Ausgabesignalen nicht optisch, sondern über elektrische Leiter übertragen. Entsprechend kann es vorgesehen sein, dass die erfindungsgemäße Vorrichtung durch die Schnittstellenanordnung über Kabel mit einer Elektronik, insbesondere Fahrzeugkomponente, verbunden ist, um die Ein- und Ausgabeinformationen elektrisch zu übertragen.
Vorteilhaft ist es zudem, wenn das Fahrzeug als ein Kraftfahrzeug, insbesondere gleisloses Landkraftfahrzeug, ausgebildet ist. So kann das Fahrzeug z. B. als ein Hybridfahrzeug, das eine Brennkraftmaschine und eine Elektromaschine zur Traktion umfasst, oder als ein (reines) Elektrofahrzeug oder nur mit einer Brennkraftmaschine ausgebildet sein. Vorzugsweise kann das Fahrzeug mit einem Hochvolt-Bordnetz und/oder einem Elektromotor ausgeführt sein. Auch kann das Fahrzeug als ein Brennstoffzellenfahrzeug ausgebildet sein. Es kann sich weiter bei dem Fahrzeug um ein Personenkraftfahrzeug oder Lastkraftfahrzeug handeln. Bevorzugt ist bei Ausführungsformen von Elektrofahrzeugen kein Verbrennungsmotor beim Fahrzeug vorgesehen, es wird dann ausschließlich durch elektrische Energie angetrieben.
Ebenfalls Gegenstand der Erfindung ist ein System, aufweisend: eine erfindungsgemäße Vorrichtung, wenigstens eine Fahrzeugkomponente.
Damit bringt das erfindungsgemäße System die gleichen Vorteile mit sich, wie sie ausführlich mit Bezug auf eine erfindungsgemäße Vorrichtung beschrieben worden sind.
Vorteilhafterweise kann bei dem erfindungsgemäßen System vorgesehen sein, dass die erfindungsgemäße Vorrichtung des Systems eine elektronische und/oder elektrooptische Schnittstellenanordnung aufweist, um: eine (elektrische) Eingabeinformation von der Fahrzeugkomponente zu empfangen, und/oder ein (optisches) Eingangssignal für das neuronale Netz anhand der empfangenen Eingabeinformation bereitzustellen, und/oder anhand des (optischen) Ausgangssignals der Neuronenkomponente eine (elektrische) Ausgabeinformation für die Fahrzeugkomponente bereitzustellen.
Das Eingangssignal kann bspw. durch eine Gewichtungskomponente linear transformiert werden, um gewichtet als Eingabe für das neuronale Netz zu dienen. Weiter kann die Ausgabeinformation ggf. aus dem Ausgangssignal des letztens Neurons gebildet werden. Bei mehreren Neuronen können mehrere Eingangssignale aus der Eingabeinformation gebildet werden.
Des Weiteren ist es denkbar, dass die wenigstens eine Fahrzeugkomponente eine Erfassungsvorrichtung, wie eine Kamera, aufweist, um die Eingabeinformation in der Form einer Bildinformation zu erzeugen, und/oder wobei die wenigstens eine Fahrzeugkomponente ein Fahrerassistenzsystem zur Bereitstellung einer automatischen Fahrfunktion aufweist, vorzugsweise um durch das Fahrerassistenzsystem die Ausgabeinformation auszuwerten, und um hierbei die Ausgabeinformation als eine Klassifizierung eines Umfeld des Fahrzeuges zu verwenden. Die Verwendung des optischen KNN kann dabei eine Auswertung der vollständigen Bildinformation in Echtzeit ermöglichen. Die Erfassungsvorrichtung umfasst z. B. ein Radar und/oder Lidar und/oder Ultraschall, bzw. wenigstens einen Radar- und/oder Lidar- und/oder Ultraschallsensor, und/oder wenigstens eine Kamera, insbesondere Frontkamera des Fahrzeuges. Die Erfassungsvorrichtung kann zur Erfassung der Umgebung des Fahrzeuges, insbesondere in Fahrtrichtung, ausgeführt sein.
Ebenfalls Gegenstand der Erfindung ist ein Verfahren zur Bereitstellung eines, insbesondere optischen, künstlichen neuronalen Netzes. Hierbei ist vorgesehen, dass die nachfolgenden Schritte durchgeführt werden, vorzugsweise nacheinander in der angegebenen Reihenfolge oder in beliebiger Reihenfolge, wobei einzelne der Schritte auch wiederholt durchgeführt werden können:
Bereitstellen von wenigstens einem Neuron des Netzes durch wenigstens eine optische Neuronenkomponente, wobei die Neuronenkomponente als eine nichtlineare optische Komponente ausgeführt sein kann,
Ausgeben eines Ausgangssignals der Neuronenkomponente mit einer zweiten Frequenz in Abhängigkeit von einem Eingangssignal der Neuronenkomponente, wobei sich die zweite Frequenz von einer ersten Frequenz des Eingangssignals unterscheidet.
Damit bringt das erfindungsgemäße Verfahren die gleichen Vorteile mit sich, wie sie ausführlich mit Bezug auf eine erfindungsgemäße Vorrichtung beschrieben worden sind. Zudem kann das Verfahren geeignet sein, eine erfindungsgemäße Vorrichtung und/oder ein erfindungsgemäßes System zu betreiben. Das erfindungsgemäße System und/oder die erfindungsgemäße Vorrichtung können dazu ausgeführt sein, die Schritte eines erfindungsgemäßen Verfahrens auszuführen. Weitere Vorteile, Merkmale und Einzelheiten der Erfindung ergeben sich aus der nachfolgenden Beschreibung, in der unter Bezugnahme auf die Zeichnungen Ausführungsbeispiele der Erfindung im Einzelnen beschrieben sind. Dabei können die in den Ansprüchen und in der Beschreibung erwähnten Merkmale jeweils einzeln für sich oder in beliebiger Kombination erfindungswesentlich sein. Es zeigen:
Fig. 1 eine schematische Darstellung einer erfindungsgemäßen Vorrichtung und eines erfindungsgemäßen Systems,
Fig. 2 eines schematische Darstellung zur Visualisierung eines erfindungsgemäßen Verfahrens,
Fig. 3 eine schematische Darstellung eines KNN,
Fig. 4 eine schematische Visualisierung einer Verarbeitung mittels des KNN.
In den nachfolgenden Figuren werden für die gleichen technischen Merkmale auch von unterschiedlichen Ausführungsbeispielen die identischen Bezugszeichen verwendet.
In Figur 1 gezeigt ist eine erfindungsgemäße Vorrichtung 10 zur Bereitstellung eines künstlichen neuronalen Netzes 200. Ferner ist die erfindungsgemäße Vorrichtung 10 als Teil eines erfindungsgemäßen Systems 1 mit einer elektronischen und/oder elektrooptischen
Schnittstellenanordnung 20 zu wenigstens einer elektronischen Fahrzeugkomponente 5 gezeigt. Die wenigstens eine Fahrzeugkomponente 5 kann hierbei eine Erfassungsvorrichtung 6 aufweisen, um eine Eingabeinformation 231 in der Form einer Bildinformation zu erzeugen, und ein Fahrerassistenzsystem 7 zur Bereitstellung einer automatischen Fahrfunktion aufweisen, um durch das Fahrerassistenzsystem 7 eine Ausgabeinformation 232 auszuwerten.
Die erfindungsgemäße Vorrichtung 10 kann wenigstens eine optische Neuronenkomponente 220 zur Bereitstellung von wenigstens einem Neuron des Netzes 200 umfassen. Konkret können dabei mehrere optische Neuronenkomponenten 220 vorgesehen sein, um sämtliche Neuronen des KNN durch die Neuronenkomponenten 220 zu implementieren.
Die Neuronenkomponente 220 kann jeweils als eine nichtlineare optische Komponente ausgeführt sein, um in Abhängigkeit von einem Eingangssignal 221 der Neuronenkomponente 220, welches eine erste Frequenz aufweist, ein Ausgangssignal 222 der Neuronenkomponente 220 mit einer zweiten Frequenz auszugeben, wobei sich die zweite Frequenz von der ersten Frequenz unterscheidet. Die zweite Frequenz kann dabei abhängig sein von einem nichtlinearen Zusammenhang zwischen dem Ein- und Ausgangssignal, wobei dieser Zusammenhang durch die nichtlinearen Eigenschaften der Neuronenkomponente 220 definiert wird. Bspw. kann bei einer Frequenzvervielfachung, insbesondere Frequenzverdoppelung, die zweite Frequenz dem Zweifachen der ersten Frequenz entsprechen. Somit kann bspw. eine Art Sigmoidfunktion auf diese Weise nachgebildet werden.
Die Vorrichtung 10 kann ferner wenigstens eine optische Gewichtungskomponente 210 zur Bereitstellung von wenigstens einem Gewicht des Netzes 200 aufweisen, um anhand einer Gewichtung eines Eingangssignals 211 der Gewichtungskomponente 210 ein Ausgangssignal 212 der Gewichtungskomponente 210 auszugeben. Das Ausgangssignal 212 kann dabei dem Eingangssignal 221 des Neurons bzw. der Neuronenkomponente 220 entsprechen, dem die Gewichtungskomponente 210 zugeordnet ist. Auf diese Weise kann die Gewichtungskomponente 210 die Gewichtung des Eingangs des Neurons durchführen und somit den Grad des Einflusses bestimmen, den die Eingaben des Neurons in der Berechnung der späteren Aktivierung einnehmen wird. Die Verschaltung der Neuronenkomponente 220 mit der Gewichtungskomponente 210 kann entsprechend dieser Zuordnung erfolgen.
Die Gewichtungskomponente 210 kann dazu ausgebildet sein, das Eingangssignal 211 der Gewichtungskomponente 210 linear zu transformieren, um das Ausgangssignal 212 der Gewichtungskomponente 210 zu erzeugen. Hierzu ist die Gewichtungskomponente 210 bspw. als ein Wellenleiter ausgebildet und/oder weist ausschließlich einen Wellenleiter auf, um die Gewichtung des Eingangssignals 211 der Gewichtungskomponente 210 durchzuführen. Die Neuronenkomponente 220 kann hingegen dazu ausgebildet sein, das Eingangssignal 221 der Neuronenkomponente 220 (d. h. insbesondere das Ausgangssignal 212 der Gewichtungskomponente 210) nichtlinear mittels wenigstens eines optischen nichtlinearen Effekts zu transformieren, um das Ausgangssignal 222 der Neuronenkomponente 220 zu erzeugen. Konkret kann die Neuronenkomponente 220 dafür angepasst sein, durch wenigstens einen optischen nichtlinearen Effekt eine Aktivierungsfunktion mit dem Eingangssignal 221 der Neuronenkomponente 220 als Eingabe bereitzustellen.
In Figur 2 sind die Schritte eines erfindungsgemäßen Verfahrens schematisch visualisiert. Gemäß einem ersten Verfahrensschritt 101 erfolgt ein Bereitstellen von wenigstens einem Neuron des Netzes 200 durch wenigstens eine optische Neuronenkomponente 220, wobei die Neuronenkomponente 220 als eine nichtlineare optische Komponente ausgeführt ist. Gemäß einem zweiten Verfahrensschritt 102 erfolgt ein Ausgeben eines Ausgangssignals 222 der Neuronenkomponente 220 mit einer zweiten Frequenz in Abhängigkeit von einem Eingangssignal 221 der Neuronenkomponente 220, wobei sich die zweite Frequenz des Ausgangssignals 222 von einer ersten Frequenz des Eingangssignals 221 unterscheidet. Ein- und Ausgabe der Neuronenkomponente 220 haben somit unterschiedliche Frequenzen.
In Figur 3 ist eine Struktur eines optischen KNN schematisch und beispielhaft gezeigt. Künstliche neuronale Netzwerke werden in automatischen Fahrfunktionen vor allem zur Klassifizierung des Umfelds verwendet. Dabei werden Sensordaten (der Eingabeinformation 231) elektronisch über eine Gewichtung (engl. „weights“) an die Neuronen a°i, a°2, ... usw. weitergegeben. Das Ausgangssignal 222 der Neuronen, und somit das weitergegebene Signal 221 an die Neuronen a1i, a1 2, ... der darauffolgenden Schicht ist dabei oft durch eine Sigmoid- Funktion der Summe gewichteter Antwortfunktionen gegeben, wobei ä)t die Gewichte, a° die Neuronen und a die Sigmoid-Funktion darstellt. Das künstliche neuronale Netzwerk bildet somit eine Funktion f(a°, ..., an) = (y0, ...,yfc) (2) mit k,n e N, wobei die Funktionswerte y als Klasseninformation (der Ausgabeinformation 232) ausgegeben werden.
Herkömmlicherweise werden künstliche neuronale Netzwerke auf konventionellen Computerarchitekturen implementiert, welche jedoch den Nachteil der langsamen Prozessierung hoher Datenmengen aufweisen. Erfindungsgemäß kann stattdessen ein optisches KNN verwendet werden. Die Sigmoid-Funktion der Neuronen kann bei der Erfindung jeweils durch eine Neuronenkomponente 220 und die Gewichte können jeweils durch eine Gewichtungskomponente 210 bereitgestellt sein. Ferner können die Ein- und Ausgabeinformation 231, 233 durch eine Schnittstellenanordnung 20 bereitgestellt werden.
Die Verwendung von optischen Bauteilen wie die Neuronen- und/oder Gewichtungskomponenten 210, 220 bieten die Möglichkeit, die vorgenannten Rechenoperationen mit Licht durchzuführen. So können mathematische Operationen wie die Addition, Subtraktion oder Multiplikation durch phasenrichtige Überlagerung oder Verstärkung und Absorption von Lichtwellen erreicht werden. Ein mögliches optisches Bauteil ist ein Lichtwellenleiter. Für optische neuronale Netzwerke ist allerdings die nichtlineare Funktion, wie im Beispiel oben, die Sigmoid Funktion von großer Bedeutung. Hierfür können nichtlineare optische Prozesse höherer Ordnung, sog. Mehrphotonenprozesse, während der Wechselwirkung von Licht und Materie verwendet werden. Die Verwendung der Mehrphotonenprozesse kann durch die Neuronenkomponente 220 erfolgen bzw. implementiert werden.
Die Entwicklung der elektrischen Polarisation P ist ein etabliertes Modell, um Mehrphotonenprozesse in der Licht-Materie-Wechselwirkung zu beschreiben: mit P als elektrische Polarisation, %n als elektrische Suszeptbilität, E als elektrisches Feld und e0 als dielektrische Konstante.
Während der lineare Term mit elektrischer Suszeptbilität linear mit dem elektrischen Feld skaliert, weisen Terme höherer Ordnung mit n > 1 eine nichtlineare Proportionalität zur elektrischen Feldstärke auf. Diese Prozesse werden Mehrphotonenprozesse genannt. Dabei skaliert die Anzahl der benötigten Photonen mit der Ordnung n von Effekte wie Frequenzverdopplung oder Summen- und Differenzfrequenzerzeugung benötigen zwei Photonen, erzeugen Photonen entsprechender Frequenz der fundamentalen Lichtfrequenz und induzieren somit eine Nichtliniearität zweiter Ordnung im Material. Effekte dritter Ordnung, wie Frequenzverdreifachung, der Kerr-Effekt, o .ä. benötigen drei Photonen zur Frequenzkonversion der Ordnung drei, Vierwellenmischprozesse entsprechend vier Photonen, usw.
Diese Effekte der nichtlinearen Licht-Materie-Wechselwirkung bieten die Möglichkeit, eine einfallende Lichtwelle (das Eingangssignal 221) nichtlinear zu modulieren, vergleichbar mit der nichtlinearen Modulation des elektrischen Stroms durch ein künstliches Neuron. Dabei wirkt das nichtlineare Material als optisches Neuron, welches eine Funktion des elektrischen Feldes, der nichtlinearen oder linearen Suzeptibilität und der Wechselwirkung im Material ist und als Funktionswert beispielsweise eine Frequenz-, Amplituden- oder Phaseninformation ausgibt:
Darüber hinaus weisen diese nichtlinearen optischen Effekte eine maximale Konversionseffizienz auf, sodass eine Sättigung der konvertierten Photonen einsetzt. Somit bieten diese Prozesse die Möglichkeit, Lichtwellen mittels nichtlinearer Wechselwirkungen zu modulieren und Funktionen für Rechenoperationen darzustellen, welche vergleichbar mit der oben dargestellten Sigmoid-Funktion sind (oder anderer nichtlinearer Funktionen). Allerdings sind diese Effekte instantan, d. h. es tritt keinerlei Zeitverzögerung für die optische Rechenoperation auf. Somit ermöglicht der Einsatz dieser optischen neuronalen Netzwerke die Datenprozessierung mit Lichtgeschwindigkeit. In Figur 4 ist schematisch die Datenprozessierung mittels eines optischen neuronalen Netzwerks dargestellt. Die Eingabeinformation 231, hier die Pixel eines Bildes einer Erfassungsvorrichtung 6, werden z. B. durch wenigstens eine elektrooptische Schnittstellenanordnung 20 in der Form eines Spaltenvektors ausgelesen. Entsprechend kann die Eingabeinformation 231 zunächst von einer Matrix in einen Spaltenvektor transformiert werden (Schritt 103). Durch die wenigstens eine Schnittstellenanordnung 20 kann die Eingabeinformation 231 sodann gemäß Schritt 104 von einem elektrischen Signal in ein optisches Signal umgewandelt und anschließend bspw. über einen Wellenleiter der Gewichtungskomponente 210 transferiert werden. Der Wellenleiter kann dabei als optisches Gewicht fungieren und überträgt das optische Signal an ein optisches Neuron, d. h. an die Neuronenkomponente 220. Das Neuron kann aus einem optisch nichtlinearen Material der Neuronenkomponente 220 gebildet sein. Die Antwortfunktion kann sich als Überlagerung der Signale aller optischer Neuronen des KNN ergeben, welche zu einem nichtliniearen Effekt im Material führen und an die nächste Neuronenschicht über ein weiteres optisches Gewicht transferiert werden. Das Ausgangssignal kann mittels der wenigstens einen elektrooptischen Schnittstellenanordnung 20 gemäß Schritt 105 an eine Elektronik wie einen konventionellen Computer weitergeleitet werden. Somit findet die Klassifizierung der Eingangsdaten rein optisch statt und wird als elektronisches Signal der weiteren Datenverarbeitung zur Verfügung gestellt.
Für das Training kann es vorgesehen sein, dass die Ausgabeinformation 232 an eine Verarbeitungsvorrichtung (wie einen Prozessor, z. B. eine GPU) weitergeleitet wird. Die Ausgabeinformation 232 kann anschließend evaluiert werden, um über eine Rückkopplungsschleife die optischen Gewichte anzupassen und um das Ergebnis zu optimieren.
Die voranstehende Erläuterung der Ausführungsformen beschreibt die vorliegende Erfindung ausschließlich im Rahmen von Beispielen. Selbstverständlich können einzelne Merkmale der Ausführungsformen, sofern technisch sinnvoll, frei miteinander kombiniert werden, ohne den Rahmen der vorliegenden Erfindung zu verlassen. Bezugszeichenhste
System
Fahrzeugkomponente
Erfassungsvorrichtung
Fahrerassistenzsystem
Vorrichtung
Schnittstellenanordnung erster Verfahrensschritt zweiter Verfahrensschritt - weitere Verfahrensschritte künstliches neuronales Netz
Gewichtungskomponente, erste Komponente
Eingangssignal von 210
Ausgangssignal von 210
Neuronenkomponente, zweite Komponente
Eingangssignal von 220
Ausgangssignal von 220
Eingabeinformation
Ausgabeinformation

Claims

Patentansprüche Vorrichtung (10) zur Bereitstellung eines künstlichen neuronalen Netzes (200), aufweisend: wenigstens eine optische Neuronenkomponente (220) zur Bereitstellung von wenigstens einem Neuron des Netzes (200), wobei die Neuronenkomponente (220) als eine nichtlineare optische Komponente ausgeführt ist, um in Abhängigkeit von einem Eingangssignal (221) der Neuronenkomponente (220), welches eine erste Frequenz aufweist, ein Ausgangssignal (222) der Neuronenkomponente (220) mit einer zweiten Frequenz auszugeben, wobei sich die zweite Frequenz von der ersten Frequenz unterscheidet. Vorrichtung (10) nach Anspruch 1 , dadurch gekennzeichnet, dass die Vorrichtung (10) ferner aufweist:
- wenigstens eine optische Gewichtungskomponente (210) zur Bereitstellung von wenigstens einem Gewicht des Netzes (200), um anhand einer Gewichtung eines Eingangssignals (211) der Gewichtungskomponente (210) ein Ausgangssignal (212) der Gewichtungskomponente (210) auszugeben, wobei die Neuronenkomponente (220) mit der Gewichtungskomponente (210) verschaltet ist, um das Eingangssignal (221) der Neuronenkomponente (220) zumindest teilweise aus dem Ausgangssignal (212) der Gewichtungskomponente (210) zu bilden. Vorrichtung (10) nach Anspruch 2, dadurch gekennzeichnet, dass die Gewichtungskomponente (210) dazu ausgebildet ist, das Eingangssignal (211) der Gewichtungskomponente (210) linear zu transformieren, um das Ausgangssignal (212) der Gewichtungskomponente (210) zu erzeugen. Vorrichtung (10) nach Anspruch 2 oder 3, dadurch gekennzeichnet, dass die Gewichtungskomponente (210) als ein Wellenleiter ausgebildet ist und/oder ausschließlich einen Wellenleiter aufweist, um die Gewichtung des Eingangssignals (211) der Gewichtungskomponente (210) durchzuführen. Vorrichtung (10) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Neuronenkomponente (220) dazu ausgebildet ist, das Eingangssignal (221) der Neuronenkomponente (220) nichtlinear mittels wenigstens eines optischen nichtlinearen Effekts zu transformieren, um das Ausgangssignal (222) der Neuronenkomponente (220) zu erzeugen. Vorrichtung (10) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Neuronenkomponente (220) dafür angepasst ist, durch wenigstens einen optischen nichtlinearen Effekt eine Aktivierungsfunktion mit dem Eingangssignal (221) der Neuronenkomponente (220) als Eingabe bereitzustellen. Vorrichtung (10) nach einem der Ansprüche 5 oder 6, dadurch gekennzeichnet, dass der wenigstens eine nichtlineare Effekt zumindest oder genau einen der nachfolgenden Effekte umfasst: eine Frequenzvervielfachung, eine Summenfrequenzerzeugung, eine Differenzfrequenzerzeugung, einen optisch-parametrischen Prozess, eine optische parametrische Verstärkung (OPA), einen Kerr-Effekt.
Vorrichtung (10) nach einem der Ansprüche 5 bis 7, dadurch gekennzeichnet, dass die Neuronenkomponente (220) wenigstens oder genau eines der nachfolgenden
Materialien aufweist, um den wenigstens einen optischen nichtlinearen Effekt bereitzustellen:
Beta-Bariumborat (BBO),
Kaliumdihydrogenphosphat (KDP),
Ammoniumdihydrogenphosphat (ADP),
Lithiumniobat,
Lithiumjodat,
Silberthiogalat,
Silizium
- Si-N
- KTP
Glase
Quarz
Saphir
Germanium
- MgF
- CaF
- Yb:YAG
- NeYAG
- TiSa ein Lasermedium.
Vorrichtung (10) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Neuronenkomponente (220) dazu ausgebildet ist, in Abhängigkeit von dem Eingangssignal (221) der Neuronenkomponente (220), welches eine erste Amplitude und/oder Phase aufweist, ein Ausgangssignal (222) der Neuronenkomponente (220) mit einer zweiten Amplitude und/oder Phase auszugeben, wobei sich die zweite Amplitude und/oder Phase von der ersten Amplitude und/oder Phase unterscheidet. Vorrichtung (10) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass eine elektronische und/oder elektrooptische Schnittstellenanordnung (20) zu wenigstens einer elektronischen Fahrzeugkomponente (5) vorgesehen ist, um das künstliche neuronale Netz (200) bei einem Fahrzeug bereitzustellen. System (1), aufweisend: eine Vorrichtung (10) nach einem der Ansprüche 1 bis 10, wenigstens eine Fahrzeugkomponente (5). System (1) nach Anspruch 11 , dadurch gekennzeichnet, dass die Vorrichtung (10) eine elektronische und/oder elektrooptische
Schnittstellenanordnung (20) aufweist, um: eine elektrische Eingabeinformation (231) von der Fahrzeugkomponente (5) zu empfangen, ein optisches Eingangssignal (211) für das neuronale Netz (200) anhand der empfangenen Eingabeinformation (231) bereitzustellen, anhand des optischen Ausgangssignals (222) der Neuronenkomponente (220) eine elektrische Ausgabeinformation (232) für die Fahrzeugkomponente (5) bereitzustellen.
- 21 - System (1) nach Anspruch 12, dadurch gekennzeichnet, dass die wenigstens eine Fahrzeugkomponente (5) eine Erfassungsvorrichtung (6) aufweist, um die Eingabeinformation (231) in der Form einer Bildinformation zu erzeugen, und wobei die wenigstens eine Fahrzeugkomponente (5) ein Fahrerassistenzsystem (7) zur Bereitstellung einer automatischen Fahrfunktion aufweist, um durch das Fahrerassistenzsystem (7) die Ausgabeinformation (232) auszuwerten, und um hierbei die Ausgabeinformation (232) als eine Klassifizierung eines Umfeld des Fahrzeuges zu verwenden. Verfahren zur Bereitstellung eines künstlichen neuronalen Netzes (200), wobei die nachfolgenden Schritte durchgeführt werden:
Bereitstellen von wenigstens einem Neuron des Netzes (200) durch wenigstens eine optische Neuronenkomponente (220), wobei die Neuronenkomponente (220) als eine nichtlineare optische Komponente ausgeführt ist,
- Ausgeben eines Ausgangssignals (222) der Neuronenkomponente (220) mit einer zweiten Frequenz in Abhängigkeit von einem Eingangssignal (221) der Neuronenkomponente (220), wobei sich die zweite Frequenz von einer ersten Frequenz des Eingangssignals (221) unterscheidet. Verfahren nach Anspruch 14, dadurch gekennzeichnet, dass eine Vorrichtung (10) nach einem der Ansprüche 1 bis 10 oder ein System (1) nach einem der Ansprüche 11 bis 13 zur Ausführung der Schritte vorgesehen ist.
- 22 -
EP21746052.6A 2020-09-09 2021-07-22 Vorrichtung, system und verfahren zur bereitstellung eines künstlichen neuronalen netzes Pending EP4211612A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102020211341.6A DE102020211341A1 (de) 2020-09-09 2020-09-09 Vorrichtung, System und Verfahren zur Bereitstellung eines künstlichen neuronalen Netzes
PCT/EP2021/070482 WO2022053213A1 (de) 2020-09-09 2021-07-22 Vorrichtung, system und verfahren zur bereitstellung eines künstlichen neuronalen netzes

Publications (1)

Publication Number Publication Date
EP4211612A1 true EP4211612A1 (de) 2023-07-19

Family

ID=77051055

Family Applications (1)

Application Number Title Priority Date Filing Date
EP21746052.6A Pending EP4211612A1 (de) 2020-09-09 2021-07-22 Vorrichtung, system und verfahren zur bereitstellung eines künstlichen neuronalen netzes

Country Status (5)

Country Link
US (1) US20230334305A1 (de)
EP (1) EP4211612A1 (de)
CN (1) CN116113954A (de)
DE (1) DE102020211341A1 (de)
WO (1) WO2022053213A1 (de)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2017273863C1 (en) 2016-06-02 2022-05-05 Massachusetts Institute Of Technology Apparatus and methods for optical neural network
US10338630B2 (en) 2017-04-03 2019-07-02 International Business Machines Corporation Optical computing system
EP3776373A4 (de) 2018-03-27 2022-01-05 Bar Ilan University Einheit mit optischem neuronalem netz und konfiguration von optischem neuronalem netz
US11823038B2 (en) * 2018-06-22 2023-11-21 International Business Machines Corporation Managing datasets of a cognitive storage system with a spiking neural network

Also Published As

Publication number Publication date
US20230334305A1 (en) 2023-10-19
DE102020211341A1 (de) 2022-03-10
CN116113954A (zh) 2023-05-12
WO2022053213A1 (de) 2022-03-17

Similar Documents

Publication Publication Date Title
EP4232960B1 (de) Vorrichtung, system und verfahren zur bereitstellung eines künstlichen neuronalen netzes
DE102016222828B4 (de) Autonomes Lenksteuersystem und Verfahren dazu
DE102020002236A1 (de) Energie effizienter, hoch auflösender licht detektions- und abstandsbildempfänger mit grossem bildfeld
DE102016212035A1 (de) Abstandsberechungsvorrichtung, Abstandsberechungsverfahren, Fahrunterstützungsvorrichtung und Fahrunterstützungssystem
EP1584905A2 (de) Signalverarbeitungselektronik
DE102017203276A1 (de) Verfahren und Vorrichtung zur Ermittlung einer Trajektorie in Off-road-Szenarien
DE102019208878A1 (de) Vorrichtung und Verfahren zur adaptiven Geschwindigkeitssteuerung
EP4457779A1 (de) Steuervorrichtung zum bereitstellen einer klassifizierung von sensordaten für ein kraftfahrzeug mittels eines optischen neuronalen netzwerks und verfahren zum betreiben der steuervorrichtung
DE102020213238A1 (de) Erzeugung von vereinfachten computer-implementierten neuronalen netzwerken
EP4211612A1 (de) Vorrichtung, system und verfahren zur bereitstellung eines künstlichen neuronalen netzes
DE102021209817A1 (de) Verfahren zur mehrstufigen Fusion von Messdaten
DE102022100836A1 (de) Steuervorrichtung zum Bereitstellen einer Klassifizierung von Sensordaten für ein Kraftfahrzeug mittels eines optischen neuronalen Netzwerks und Verfahren zum Betreiben einer Steuervorrichtung
DE102022123499B3 (de) Computerimplementiertes Verfahren, Prozessorschaltung und Computerprogramm zum Prozessieren von aus einem Umgebungssensor empfangenen Messpunkten, insbesondere Radar-Messpunkten, für eine Objektdetektion sowie entsprechend ausgestattetes Kraftfahrzeug
WO2021175566A1 (de) Inferenzberechnung für neuronale netzwerke mit schutz gegen speicherfehler
DE102023125732A1 (de) Trainieren eines künstlichen neuronalen Netzwerks zum Durchführen einer Computer-Vision-Aufgabe
WO2022111946A1 (de) Verfahren zur bereitstellung eines künstlichen neuronalen netzes
EP2293035A1 (de) Verfahren und Vorrichtung zur Darstellung einer Abtastfunktion
WO2023083590A1 (de) Verfahren zum erzeugen einer dreidimensionalen umgebungsinformation einer optischen erfassungseinrichtung, computerprogrammprodukt, computerlesbares speichermedium, optische erfassungseinrichtung, assistenzsystem sowie kraftfahrzeug
DE102024124862B3 (de) Vorrichtung und Verfahren zum Überwachen eines Fahrzeug-Anhänger-Systems
DE102024205267A1 (de) Verfahren zum Betreiben einer elektronischen Recheneinrichtung mit einem optischen neuronalen Netzwerk für ein Kraftfahrzeug, sowie elektronische Recheneinrichtung
DE102022200106A1 (de) Auswahl von Testszenarien zum Testen von Komponenten einer Fahrerassistenzfunktion
DE102023212351A1 (de) Verarbeiten von Fahrzeugsensordaten
DE102024206577A1 (de) Vektor-Matrix-Multiplikation mittels optischer Verstärkung
DE102012011837A1 (de) Verfahren zur Erzeugung eines Schwimmwinkelsignals
DE102024208542A1 (de) Systeme und Verfahren zur Verarbeitung von Audiodaten mit einem lernfähigen Multiraten-Audio-Frontend

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20230411

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

17Q First examination report despatched

Effective date: 20250425