EP4646692A1 - Vorrichtung und system zur bereitstellung einer optischen echtzeitinformation bezüglich eines prozesses mittels eines optischen neuronalen netzes, sowie verfahren zur bereitstellung der vorrichtung - Google Patents

Vorrichtung und system zur bereitstellung einer optischen echtzeitinformation bezüglich eines prozesses mittels eines optischen neuronalen netzes, sowie verfahren zur bereitstellung der vorrichtung

Info

Publication number
EP4646692A1
EP4646692A1 EP24700059.9A EP24700059A EP4646692A1 EP 4646692 A1 EP4646692 A1 EP 4646692A1 EP 24700059 A EP24700059 A EP 24700059A EP 4646692 A1 EP4646692 A1 EP 4646692A1
Authority
EP
European Patent Office
Prior art keywords
optical
input signal
optical device
neural network
designed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP24700059.9A
Other languages
English (en)
French (fr)
Inventor
Paul BUSKE
Carlo Holly
Jochen Stollenwerk
Annika VÖLL
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Rheinisch Westlische Technische Hochschuke RWTH
Fraunhofer Gesellschaft zur Foerderung der Angewandten Forschung eV
Original Assignee
Rheinisch Westlische Technische Hochschuke RWTH
Fraunhofer Gesellschaft zur Foerderung der Angewandten Forschung eV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Rheinisch Westlische Technische Hochschuke RWTH, Fraunhofer Gesellschaft zur Foerderung der Angewandten Forschung eV filed Critical Rheinisch Westlische Technische Hochschuke RWTH
Publication of EP4646692A1 publication Critical patent/EP4646692A1/de
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/067—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using optical means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K26/00—Working by laser beam, e.g. welding, cutting or boring
    • B23K26/02—Positioning or observing the workpiece, e.g. with respect to the point of impact; Aligning, aiming or focusing the laser beam
    • B23K26/03—Observing, e.g. monitoring, the workpiece
    • B23K26/032—Observing, e.g. monitoring, the workpiece using optical means
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/067—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using optical means
    • G06N3/0675—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using optical means using electro-optical, acousto-optical or opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection

Definitions

  • Device and system for providing optical real-time information regarding a process by means of an optical neural network and method for providing the device
  • Embodiments according to the present invention relate to devices and systems for providing optical real-time information regarding a process by means of an optical neural network, as well as methods for providing such devices.
  • Embodiments further include optical process monitoring with diffractive neural networks, optical process monitoring with diffractive deep neural networks and/or optical image processing with diffractive deep neural networks.
  • the present invention is therefore based on the object of providing a concept for process monitoring which enables an improved compromise between the complexity of required components, energy consumption and the quality of process monitoring.
  • Embodiments according to the present invention comprise an optical device for providing optical real-time information regarding a process, wherein the optical device is configured to detect an optical input signal emitted and/or reflected from the process, and wherein the optical device comprises an optical neural network configured to provide the optical real-time information regarding the process based on the optical input signal.
  • Embodiments are based on the idea of carrying out a process evaluation using an optical neural network.
  • the optical neural network can be a diffractive neural network, for example.
  • a diffractive neural network can, for example, have a sequence of several diffractive elements that are designed to modulate radiation, for example the optical input signal or an optical signal derived therefrom, in phase and amplitude.
  • the inventors have recognized that a process evaluation can take place in real time using an optical neural network, so that the device can provide real-time information about the process.
  • Real-time information means, for example, information whose generation from capture to provision is carried out at the speed of light, i.e.
  • Real-time information can therefore be, for example, information whose provision or processing is only limited by the speed of light.
  • a corresponding process evaluation can thus be carried out completely optically using the optical neural network, for example, so that no energy needs to be provided for electronic evaluation.
  • only a particularly computationally intensive part of the evaluation can be carried out optically.
  • any part of the evaluation can also be carried out optically. In all cases, energy can be saved compared to electronic evaluation, so that mobile process monitoring can also be made possible, for example.
  • a high level of mobility may under certain circumstances or even normally be less relevant, but embodiments may have the advantage that they can be designed to be very compact, i.e., for example, with a small volume, and/or can enable a compact, e.g. spatially small, design of such a production machine.
  • no (large, i.e., for example, powerful) high-performance computer is required on the machine or access to cloud computing with the corresponding infrastructure is required.
  • the optical input signal can be, for example, a signal emitted and/or reflected by the process. This means that an evaluation can take place based solely on the light generated by the process itself. Alternatively, light generated independently of the process, e.g. ambient light or light from a specially designed light source, can be reflected by the process, e.g. a workpiece that is being measured or processed, and serve as an input signal.
  • the process can therefore be, for example, a machining and/or measurement of a workpiece (e.g. a material processing process of the workpiece and/or a measuring process on the workpiece using a laser), in which a signal emitted by the workpiece or reflected by the workpiece is used as an optical input signal.
  • the optical device can be designed, for example, to use such radiation emitted or reflected from the workpiece directly, i.e., for example, without further electronic recording or processing.
  • the input signal can be provided, for example, with process light (e.g. thermal radiation), with ambient light and/or with special external lighting (e.g. coherent lighting and/or structured lighting).
  • process light e.g. thermal radiation
  • ambient light e.g. ambient light
  • special external lighting e.g. coherent lighting and/or structured lighting
  • Embodiments can be used, for example, for general process monitoring or measurement technology (e.g. water jet cutting, tape laying with IR irradiation, ...) and in particular for process monitoring or measurement technology in laser-based processes (e.g. laser beam welding, drilling, additive manufacturing, LIBS, laser triangulation).
  • process monitoring or measurement technology e.g. water jet cutting, tape laying with IR irradiation, .
  • laser-based processes e.g. laser beam welding, drilling, additive manufacturing, LIBS, laser triangulation.
  • one inventive idea is to use optical neural networks for process monitoring, for example in the above-mentioned application areas.
  • a diffractive neural network (DNN, or generally an optical neural network) can be used to evaluate the light coming from the process zone (i.e. emitted and/or reflected light) directly in the processing optics and thus output an intensity pattern (e.g. instead of or in addition to 2D image data) in which the results of the evaluation or new control and/or regulation signals can be encoded.
  • DNN diffractive neural network
  • embodiments offer the advantage that data processing takes place at the speed of light. This is based on the inventors' finding that the duration of the image processing, derivation of the quality characteristics and the new control signals is crucial for the speed of the control.
  • the optical device is further configured to capture the optical input signal directly from the process in order to detect the optical input signal which is emitted and/or reflected by the process.
  • the device can be integrated directly into elements close to the process, e.g. in contrast to an "external" evaluation of an electronically captured image on a computer remote from the process.
  • the optical device or parts of the optical device, such as the optical neural network can be integrated into the processing optics of a corresponding process.
  • the input signal can therefore be obtained directly from the process, for example, without being transmitted via a waveguide.
  • the optical device can be designed to be arranged in the same fluid in which the process is carried out in order to capture the optical input signal directly from the fluid.
  • an optical device can manage with a small installation space requirement and can thus be integrated into process-necessary (in other words, already existing) elements. This saves space on the one hand and prevents or reduces the influence of possible sources of error due to signal transmission (e.g. signal losses in electrical lines, electromagnetic interference on lines).
  • the optical device further comprises an optical device configured to receive the optical input signal and to provide the optical neural network, based on the input signal, with an optical signal for determining the real-time information.
  • the optical device may comprise at least one of a lens, a beam splitter, a mirror, a wavelength filter, and/or an aperture.
  • the inventors have recognized that the optical input signal for the optical neural network can be processed using an optical device, for example to enable an improved classification result. Furthermore, the use of optical elements enables a degree of freedom in the integration of the optical device, since the optical input signal can be directed to an advantageous installation location of the optical device (for example by means of mirrors).
  • the process comprises beam shaping of a process beam by means of processing optics and the optical device is designed to receive the optical input signal via the processing optics and/or via individual optical sub-elements of the processing optics.
  • Procedures according to the invention are not limited to specific processes and corresponding process beams.
  • the process beam can be, for example, a laser beam or an electron beam (e-beam).
  • the processing optics can, for example, comprise any combination of optical elements, for example one or more optical mirrors, lenses and/or prisms.
  • processing optics or parts thereof can also act as an optical device or can be used as such.
  • the inventors have recognized that a processing optics or individual optical sub-elements of such optics can be used jointly by both the process and for process monitoring. This means that components and installation space can be saved.
  • the optical device has a beam splitter, wherein the beam splitter is designed to receive the optical input signal via the processing optics and/or via individual optical sub-elements of the processing optics. Furthermore, the optical device is designed to separate the optical input signal from the process beam by means of the beam splitter and to provide the optical input signal to the optical neural network by means of the beam splitter. Separating the beams can, for example, include forwarding them in different directions.
  • a corresponding processing optics can thus, for example, shape the process beam and direct it to a workpiece, whereby the radiation emitted and/or reflected by the workpiece can be directed as an optical input signal through the same processing optics (or at least the same parts thereof), whereby a beam path can be adapted by means of the beam splitter so that the optical input signal is provided to the optical neural network and is not directed, for example, into an area in which the process beam is generated.
  • the sensor system i.e. a device according to the invention
  • the processing head which at the same time influencing the processing laser.
  • both beams the process beam, e.g. a processing laser beam
  • the optical input signal e.g. a measuring beam from the process zone
  • both parts can thus mesh with one another. This enables efficient component integration.
  • the optical neural network comprises at least one of a diffractive optical element, a spatial light modulator and/or a meta-optics.
  • a configuration for an optical device according to the invention and/or the optical neural network can comprise a free combination of at least two diffractive optical elements (DOEs) and/or spatial light modulators (SLMs) (or 1 each or, for example, only one or the other, or only several DOEs or only several SLMs), classic optical components (e.g. lenses, mirrors, apertures, wavelength filters, etc.) and/or classic (computer-based) AI methods (->ONN replaces, for example, some computationally intensive levels).
  • DOEs diffractive optical elements
  • SLMs spatial light modulators
  • the process is a controlled and/or regulated process and the optical neural network is configured to determine a control signal and/or a regulation signal based on the optical input signal and to encode the control signal and/or the regulation signal in the optical real-time information.
  • control and/or regulation information can be provided in real time.
  • control and/or regulation can be enabled for very fast processes, for example with high requirements for settling times.
  • Such regulation can be carried out completely analogue, for example based on detection of the coded information without AD conversion.
  • an amplitude or phase of the detection signal can be used directly for regulation and/or regulation.
  • the optical neural network is configured to determine a process parameter based on the optical input signal and to encode the process parameter in the optical real-time information.
  • a process parameter is, for example, a size relevant to the process.
  • a process parameter can, for example, describe the quality of a machined workpiece.
  • a measurement result using a process beam can also form a process parameter.
  • a laser can provide the process beam, which is reflected from a surface so that the reflected signal forms the optical input signal.
  • the process parameter can, for example, include information about a height measurement value.
  • embodiments do not have to be controlled or regulated in all cases.
  • embodiments include and/or address applications in particular in which quality characteristics (as an example of process parameters) are, for example, "only" monitored. This can be, for example, the formation of spatter or defects in a weld seam. Accordingly, information in this regard can be encoded in the optical real-time information.
  • the optical device is configured to modify a phase and/or amplitude of the optical input signal to provide the real-time optical information in the form of a light spot, a line beam, and/or a two-dimensional light array.
  • a scalar value can be displayed as a process parameter or regulation and/or control information through a center of gravity of the line (e.g. in the interval [0, 1], so that a center of gravity on one side of the line corresponds to a 0 and on the opposite side to a 1, with corresponding intermediate values).
  • a center of gravity of the line e.g. in the interval [0, 1], so that a center of gravity on one side of the line corresponds to a 0 and on the opposite side to a 1, with corresponding intermediate values.
  • information can be displayed in two dimensions; coding can be done using patterns or centers of gravity, for example.
  • an optical input signal for example in the form of an input light field, can also have exactly one phase and amplitude, so that the device can be designed to modify the phase and/or amplitude of the optical input signal.
  • embodiments can also address or process input signals which have partial coherence due to several superimposed fields with different phases.
  • the optical neural network has at least one static optical element and at least one adjustable optical element, and the adjustable optical element is designed to change the processing of the optical input signal in the optical neural network.
  • transfer learning methods can be used, for example, whereby the static elements are generated according to a generic pre-training, for example, and the dynamic elements are adapted to the specific application in terms of a second training session. Furthermore, adjustments can also be made during the service life of the device.
  • the optical device further comprises an optical filter configured to wavelength-selectively filter the optical input signal to provide a filtered optical input signal to the optical neural network.
  • the optical device further comprises a light source, wherein the light source is designed to illuminate the process in order to generate the optical input signal which is emitted and/or reflected by the process.
  • a light source can, for example, also be integrated coaxially into process elements.
  • the optical neural network is configured to process light having a specific optical property and the light source is configured to provide the light having the specific optical property.
  • the light source and the optical neural network can be coordinated with each other.
  • the optical property can, for example, form a certain wavelength. This can improve the accuracy and/or efficiency of the neural network.
  • the optical device comprises a beam splitter, the beam splitter or a further beam splitter, and the optical device is designed to separate the light of the light source from the optical input signal by means of the beam splitter or the further beam splitter and to provide the optical neural Network to provide the optical input signal by means of the beam splitter or the further beam splitter.
  • an integration, e.g. coaxially, of the light source and optical neural network can thus be carried out, for example together with a process beam source, e.g. in a processing head or in a processing optics.
  • wavelengths between 10 pm (thermal radiation) and 400 nm (visible light) can be used.
  • external illumination e.g. by means of the light source
  • An advantage of embodiments in wavelength ranges above UV (ultraviolet) light can be, for example, a simple, or, for example, simpler, manufacture of the optical elements (e.g., DOEs and/or SLMs) for the optical neural network.
  • the optical elements e.g., DOEs and/or SLMs
  • the optical device is designed to be supplied with energy exclusively by means of the optical input signal to provide the optical real-time information. This means that mobile applications and applications with high energy consumption requirements can also be addressed.
  • Embodiments according to the present invention further comprise an optical system comprising an optical device according to any of the embodiments disclosed herein and a detector (e.g. CCD chip) configured to detect the real-time optical information and to provide an electrical signal based on the real-time optical information, wherein the detector comprises at least one of a photodiode, a line detector and/or an area detector.
  • a detector e.g. CCD chip
  • a processed or preprocessed electrical signal can be provided at high speed due to the optical processing in the optical neural network.
  • the optical system further comprises a processing device which is designed to control and/or regulate the process based on the electrical signal of the detector and/or to provide information regarding the process based on the electrical signal of the detector.
  • the processing device can work digitally, for example, or analogously, for example in the case of very fast control loops.
  • the control and/or regulation of the process can in particular include the control and/or regulation of a process system.
  • a system comprising a laser can be controlled and/or regulated.
  • the control and/or regulation can include, for example, an adjustment of a feed rate, a material feed and/or an adjustment of or in relation to process gases.
  • the process is a material processing process and/or a measuring process (e.g. laser measuring process, e.g. laser-induced plasma spectroscopy, LIBS) using a laser and the processing device is designed to control and/or regulate the laser based on the electrical signal of the detector.
  • a measuring process e.g. laser measuring process, e.g. laser-induced plasma spectroscopy, LIBS
  • other parameters in a machine of the process e.g. a machine which includes the laser
  • axes, scanners, protective gas supply can also be controlled and/or regulated.
  • Embodiments according to the present invention further comprise methods for providing an optical device (for example one of the optical devices explained above), wherein the optical device comprises an optical neural network configured to provide real-time optical information relating to a process based on an optical input signal emitted and/or reflected by a process.
  • the optical neural network comprises at least one first optical element and at least one adaptable optical element.
  • the method comprises simulative pre-training of a virtual model of the optical neural network with a first set of training data, wherein the at least one first optical element and the at least one adaptable optical element are depicted in the virtual model.
  • the method further comprises generating the optical neural network based on the pre-trained model, adapting the at least one adaptable optical element in the virtual pre-trained model of the optical neural network based on simulative training of the virtual pre-trained model with a second set of training data, and adapting the at least one adaptable optical element of the optical neural network according to the adapted virtual model of the optical neural network to provide the optical device.
  • transfer learning methods can be applied to optical neural networks by using adaptable optical elements.
  • Generic pre-training for example, can thus be taken into account using at least a first optical element, so that application-specific "fine training" can be carried out using the adaptable elements.
  • the training can be carried out efficiently using computer support.
  • the training can be carried out using images purely on the computer, without the use of adaptable or dynamic elements.
  • conventional training methods can also be used for training (from applications in image recognition).
  • the at least one first optical element and the at least one adjustable optical element can be arranged in any order in the optical neural network.
  • the at least one first optical element can therefore be arranged, for example, before or after the at least one adjustable optical element.
  • the adjustable optical element can, for example, form a front or rear optical element of the optical neural network.
  • the first optical element e.g. in the sense of the frontmost with respect to a beam path starting from the process
  • the front optical elements can be static and only the rear optical element can be adjustable or dynamic.
  • the at least one first optical element is a static or an adjustable (e.g. dynamic) optical element.
  • an adjustable optical element e.g. dynamic
  • the method further comprises generating the first and/or second set of training data using a camera that captures the optical input signal via an optical device and using the optical device to provide the optical neural network with an optical signal for determining the real-time information based on the optical input signal.
  • optical device can enable improved training efficiency, since both the training data and the optical input signal can be provided by the same optical device. This can counteract errors due to differing optical properties (e.g. component tolerances) when using two different optical devices.
  • optical device can also be formed by a sub-element of a processing optics.
  • Fig. 1 is a schematic representation of an optical device for providing optical real-time information regarding a process according to embodiments of the present invention
  • Fig. 2 is a schematic representation of an optical device with additional, optional features according to embodiments of the present invention.
  • Figs. 3a)-c) schematic views of embodiments according to the present invention, wherein the process comprises beam shaping of a process beam by means of processing optics;
  • Fig. 4 is a schematic view of a system according to embodiments of the present invention.
  • Fig. 5 is a schematic view of an optical device according to embodiments with an adjustable optical element
  • Fig. 6 is a schematic block diagram of a method according to the invention for providing an optical device
  • Fig. 7 is a schematic view of a system according to embodiments with further optional features.
  • Fig. 1 shows a schematic representation of an optical device for providing optical real-time information regarding a process according to embodiments of the present invention.
  • the optical device 100 comprises an optical neural network 110.
  • the optical input signal 1 11 can, for example, be emitted by a process (e.g. in the case of thermal emission) and/or reflected (e.g. in the case of processing or measuring a workpiece with a laser, whereby laser radiation is reflected away from the workpiece).
  • a process e.g. in the case of thermal emission
  • reflected e.g. in the case of processing or measuring a workpiece with a laser, whereby laser radiation is reflected away from the workpiece.
  • the optical device 100 is accordingly designed to detect the optical input signal.
  • the optical neural network 110 is designed to provide optical real-time information 112 regarding the process based on the optical input signal.
  • Fig. 2 shows a schematic representation of an optical device with additional, optional features according to embodiments of the present invention.
  • Fig. 2 shows device 200 comprising an optical neural network 210, an optional filter 220, an optional optical device 230, and an optional light source 240.
  • the optical neural network 210 is designed to provide optical real-time information 212 regarding a process P.
  • the optical device 200 can optionally be designed to detect the optical input signal 201 emitted by the process P. and/or reflected, the optical input signal is captured directly by the process.
  • Fig. 2 shows an example of an embodiment in which the filter 220 is arranged before (signal path starting from the process P) the optical device 230.
  • the optical device 230 can, however, also be arranged after the filter 220.
  • the filter 220 is designed, for example, to filter the optical input signal 201, which is emitted and/or reflected by the process P, for example in a wavelength-selective manner. Thus, wavelengths which contribute little or nothing to the process classification can be filtered out.
  • a device 200 can have a light source 240.
  • the process can be illuminated or irradiated by means of the light source, so that light 241 can cause a reflected signal 201, which can form the input signal.
  • a corresponding input signal 201 can also comprise a superposition of process radiation, such as thermal radiation, and reflected radiation from an illumination 240, or also reflected radiation from a process beam, such as a processing laser.
  • the light source can of course also be used for processes which emit radiation on their own, for example to add information in a different wavelength range to the input signal.
  • the optical diffractive neural network 210 can be designed to process light with a specific optical property, i.e., for example, a specific wavelength, and the light source can be designed accordingly to provide the light with that specific optical property (e.g., wavelength range). Accordingly, the filter can be designed to only let through light with the specific optical property.
  • a specific optical property i.e., for example, a specific wavelength
  • the light source can be designed accordingly to provide the light with that specific optical property (e.g., wavelength range).
  • the filter can be designed to only let through light with the specific optical property.
  • an advantage of using the filter 220 may be that a simple, i.e., inexpensive, light source 240 with a broad spectrum can be used, whereby the filter can filter out wavelengths that are irrelevant or carry little information for the process classification.
  • a filtered input signal 221 is provided to the optical device 230.
  • the optical device in turn is designed to filter the input signal 201, for example in to obtain a further processed form of the filtered input signal 221 and to supply it to the optical neural network 210 as an optical signal 231.
  • the optical device can, for example, comprise at least one of a lens, a beam splitter, a mirror and/or an aperture.
  • the optical neural network can further comprise, for example, at least one of a diffractive optical element, a spatial light modulator and/or a metaoptic.
  • the optical real-time information can be provided, for example, in the form of a light point, a line beam and/or a two-dimensional light array or can comprise similar forms of representation.
  • the optical neural network 210 can be designed to modify a phase and/or amplitude of the optical input signal, i.e. in particular also optionally the optical signal 231 and/or the filtered input signal 221.
  • an optical device 200 can optionally be powered solely by means of the optical input signal 201 to provide the real-time optical information 212.
  • the real-time information 212 can contain a control signal and/or a regulation signal which is determined by the optical neural network 210. This can be used, for example, to control and/or regulate a process P. Alternatively or additionally, a process parameter determined by the optical neural network 210 can be encoded in the optical real-time information 212.
  • FIGs. 3 a)-c) show schematic views of embodiments according to the present invention, wherein the process comprises beam shaping of a process beam by means of processing optics.
  • Figures 3 a) to c) show optical neural networks ONN, process beam sources L, optical sub-elements O, beam splitter T, light source B, and workpieces W.
  • the process beam source can be a laser, for example.
  • Fig. 3a shows a schematic view of a typical coaxial structure, for example, according to embodiments.
  • a process beam is formed by means of a processing optics 320, comprising a first optical sub-element 322 and a second optical sub-element 324, and guided to a workpiece W.
  • the optical device 330 comprising the optical neural network ONN, 332, is designed to receive the optical input signal 340 via the optical sub-element 324 of the processing optics 320.
  • the device 330 comprises a beam splitter T, 332 as an additional, optional feature.
  • the beam splitter 350 is designed to separate the process beam 310 from the reflected input signal 340 in order to provide the optical input signal to the optical neural network.
  • processing optics can also comprise just one optical sub-element.
  • the optical sub-elements can be, for example, classic optical components such as lenses, apertures, but also protective glass. It should also be mentioned again that the processing optics or sub-elements thereof can serve as the optical device of the device.
  • Fig. 3 b shows a schematic view of a further structure according to embodiments, wherein the device 300 has an optional light source 334 and a further beam splitter 336.
  • the light source 334 is designed to illuminate the process in order to generate the optical input signal 340 which is emitted and/or reflected by the process.
  • the input signal can comprise both light emitted by the process itself and light generated and reflected by the light source.
  • the light source 334 then generates the input signal 340 in such a way that the portion of the input signal not emitted by the process itself is provided.
  • the process beam 310 can be separated or split from the optical input signal.
  • the beam splitter 336 the light 335 of the light source 334 can in turn be separated from the optical input signal, so that the workpiece W is illuminated and the optical input signal 340 can be provided to the optical neural network 332.
  • Fig. 3b shows a schematic view of a structure according to embodiments in which, in addition to the process beam, e.g. processing or measuring beam, the optional additional lighting can also be coaxially integrated.
  • the optional additional lighting can also be coaxially integrated.
  • only one of the beam splitters can be present at a time.
  • an illumination with a beam splitter can not only be used in combination with a beam splitter for the process beam.
  • a beam splitter for example with several optical sub-elements, can also separate both the process beam and the light of the light source from the optical input signal.
  • the processing optics e.g. an illumination optics with which the processing beam can be formed, does not necessarily have to consist of just one element. According to embodiments, several lenses, mirrors and other individual optics can be combined to achieve the desired beam formation. It may therefore be the case that only some of the elements from the processing optics are relevant for the ONN measuring beam, e.g. 340.
  • Fig. 3c shows a schematic view of a further structure according to embodiments, wherein the process comprises beam shaping of a process beam by means of a processing optics 320 (which in turn can comprise several sub-elements, for example) and wherein the optical device 320 is designed to receive the optical input signal 320 via the processing optics.
  • a processing optics 320 which in turn can comprise several sub-elements, for example
  • An advantage of the arrangements according to Fig. 3a) and 3b) compared to an arrangement 3c) can be, for example, that smaller optical components can be used for the processing optics.
  • An arrangement according to Fig. 3c) can, for example, address a special case in which both beams are guided through a protective glass which is arranged behind the last beam-forming element in the beam path and, for example, separates the process zone from the environment and prevents contamination there.
  • a corresponding protective glass can, however, also form an optical element or optical sub-element of a processing optics or an optical device.
  • Figs. 3a)-c) enable the detection of feedback from the process and/or component without the risk of destroying optical elements of the neural network, for example spatial light modulators at high power, as are usually required in the material processing process.
  • Fig. 4 shows a schematic view of a system according to embodiments of the present invention.
  • System 400 comprises an optical device 410, as well as a Detector 420 configured to detect the real-time optical information 412 and to provide an electrical signal 421 based on the real-time optical information.
  • the optical input signal from process P is designated by reference numeral 411.
  • the device 410 may have optional features explained above, both individually and in combination.
  • the system 400 comprises a processing device 430 which is designed to control and/or regulate the process P based on the electrical signal 421 of the detector 420.
  • a processing device 430 which is designed to control and/or regulate the process P based on the electrical signal 421 of the detector 420.
  • an adjustment intervention 431 in the process P is shown as an optional feature.
  • the processing device 430 can be designed to provide information regarding the process based on the electrical signal of the detector. In this case, for example, adjustment intervention 431 can not be present and instead the information regarding the process can be provided by the processing device 430.
  • the process may be, for example, a material processing process and/or a measuring process using a laser, wherein the processing device 430 may be designed accordingly to control and/or regulate the laser based on the electrical signal 421 of the detector.
  • Fig. 5 shows a schematic view of an optical device according to embodiments with an adjustable optical element.
  • Device 500 comprises an optical neural network 510 and, as a further optional feature, an optical device 520.
  • the optical device is designed to provide an optical signal 502 for the optical neural network 510 based on the optical input signal 501, wherein the optical neural network 510 is in turn designed to provide the real-time information 503.
  • the optical diffractive neural network comprises at least one static optical element 512 and at least one adjustable optical element 514.
  • the adjustable optical element is designed to change the processing of the optical input signal 501 in the optical diffractive neural network.
  • the adjustable optical element can be an adjustable or, for example, dynamic optical element, which can therefore be changed.
  • Fig. 6 shows a schematic block diagram of such a method according to the invention for providing an optical device, wherein the optical device, e.g. 500, has an optical neural network, e.g. 510, which is designed to provide optical real-time information, e.g. 503, relating to the process based on an optical input signal, e.g. 501, which is emitted and/or reflected by a process, wherein the optical neural network has at least a first optical element, e.g. 512, and at least one adjustable optical element, e.g. 514.
  • the optical neural network has at least a first optical element, e.g. 512, and at least one adjustable optical element, e.g. 514.
  • the method 600 includes simulative pre-training 610 of a virtual model of the optical neural network with a first set of training data, wherein the at least one first optical element, e.g. 512, and the at least one adaptable optical element, e.g. 514, are depicted in the virtual model.
  • the method 600 further includes generating the optical neural network, e.g. 510, based on the pre-trained model, adapting the at least one adaptable optical element in the virtual pre-trained model of the optical neural network based on simulative training of the virtual pre-trained model with a second set of training data, and adapting the at least one adaptable optical element, e.g. 514, of the optical neural network according to the adapted virtual model of the optical neural network in order to provide the optical device, e.g. 500.
  • the one or more first optical elements can optionally be static or adjustable, e.g. dynamic optical elements.
  • static and adjustable elements e.g. dynamic optical elements.
  • a combination of static and adjustable elements is also possible.
  • a portion of the optical elements of the optical neural network can be adjusted based on a first training, e.g. fixedly adjusted, e.g. by means of static optical elements, and a second portion of the optical elements of the network, which are adaptable and/or adjustable, can be readjusted based on a second training.
  • transfer learning methods can be applied.
  • the training according to embodiments can be carried out purely on the computer using images and an arrangement according to the invention cannot have or require any dynamic elements.
  • known training methods e.g. for applications in image recognition
  • the first and/or second set of training data can optionally be created using the same optical device.
  • the inventors have recognized that training quality can be improved if the training data is created using the same optical device that is used to provide the optical signal from the optical input signal for the neural network.
  • imaging errors can be prevented or reduced, for example when using different optics to generate the training data compared to “field use” of the optical device.
  • An example sequence of training an ONN according to the invention can therefore include the following:
  • the camera can be used only as a sensor, but also with a lens or in a coaxial beam path through the processing optics.
  • This lens can then optionally remain in the structure (e.g. as an optical device of the optical device) or the integration of the ONN could then optionally also be carried out coaxially.
  • Labeling e.g. classification, of the (e.g. electronic) training data: For example, for simple features such as the size of the melt pool, this can optionally be done automatically, e.g. using established image processing methods, for example, for more complex data, this can be done manually.
  • Training data can optionally be upscaled artificially, e.g. by mirroring/rotating, if appropriate.
  • the complexity of the ONN can be decided based on the complexity of the task.
  • a pre-trained ONN on the image-net dataset for example, can be used with transfer learning to only map the last, e.g. 1-2, levels using customizable optical elements, e.g. SLMs (which can be retrained or even must)
  • Examples of implementation are not limited to process monitoring in laser material processing.
  • image data from manufacturing processes or other areas e.g. facial recognition, environmental analysis, autonomous driving, etc.
  • embodiments include a novel component and method for capturing and evaluating process images.
  • An optical neural network e.g. in the form of a diffractive neural network (DNN) is used to evaluate the light coming from the process zone, e.g. directly in the processing optics, and thus output an intensity pattern (e.g. instead of 2D image data) in which the results of the evaluation or new control signals can be encoded.
  • DNN diffractive neural network
  • embodiments offer the advantage that the data processing or at least part of the data processing can take place at the speed of light. The image analysis is therefore available to the control unit practically instantly, for example. Embodiments can thus avoid the longer computing times in the computer.
  • inventions solve disadvantages in the prior art, for example, among other things, by carrying out the process image analysis in an optical neural network (e.g. 110, 210, 310, 332).
  • the information carrier for the (optical) calculation is thus, for example, the light collected from the process zone (e.g. in the form of the optical input signal 111, 201, 340, 411, 501) itself.
  • the light can thus pass through an optical system and, for example, undergo modifications (e.g. in phase and/or amplitude), which can take place analogously to the processing of information in a (digital) neural network.
  • modifications e.g. in phase and/or amplitude
  • One difference is, for example, that the information processing takes place at the speed of light and, in addition to the optical elements used (e.g.
  • detectors e.g. 420 with individual pixels, line arrays or area detectors can be used.
  • the image capture and image processing are combined in an optical system, which can consist, for example, of a sequence of conventional optics (e.g. lenses, beam splitters, mirrors, ... e.g. an optical device 230, 520 and/or a processing optics 320), diffractive optical elements, DOEs, (e.g. 512), and also spatial light modulators (SLMs) (e.g. 514) such as liquid crystal-based technology or micromirror arrays.
  • the optical neural network e.g.
  • DNN in the form of a diffractive optical neural network
  • DNN can consist, for example, of a sequence of phase or amplitude masks and can be implemented in reflection or transmission with diffractive optical elements (DOEs), SLMs or metaoptics both statically and dynamically.
  • DOEs diffractive optical elements
  • Embodiments are not limited to specific diffractive neural networks.
  • different concepts of a DNN and different forms of implementation can be used.
  • the DNN can, for example, be integrated directly into the observation optics (see, for example, Fig. 3a)-c)).
  • the evaluation can, for example, be carried out with a CCD chip or, depending on the application, by line detectors or individual photodiodes.
  • the choice of detectors can, for example, depend on the number and type (scalar or binary) of the output parameters of the DNN.
  • the optical system or the optical device can also optionally include one or more wavelength-selective filters (e.g. 220) in order, for example, to only analyze the light from the targeted illumination (e.g. 240) of the process.
  • the illumination of the process can optionally be carried out with a coherent source.
  • the light source can, for example, be a coherent light source, for example in the form of a laser.
  • the function of the sensor can be changed, e.g. over time.
  • the adaptation can be used to train the DNN, for example to adapt the DNN to the environmental conditions of the process or to change the evaluation algorithm, e.g. if quality requirements or changes to the process (e.g. material, product type, ...) change.
  • Embodiments can enable extremely fast image evaluation in process monitoring at the speed of light and can make an electronic processing unit that would otherwise be used for image processing (e.g. including the evaluation of neural networks) obsolete.
  • the electronic processing unit usually also includes special hardware, such as graphic processing units (GPUs) for fast image evaluation.
  • GPUs graphic processing units
  • a corresponding sensor e.g. an optical device or a system according to embodiments, for process observation can be built very small, compact and cost-effective.
  • a sensor unit can, for example, comprise at least one or more DOEs and a detector, e.g. a photodiode (which, for example, detects whether a process is running within defined quality criteria).
  • sensors may not require a connected or integrated electronic processing unit.
  • the sensors can then, for example, be connected directly to the process control.
  • the process parameters such as process speed, material feed or laser power, can be changed directly without going via a processing unit.
  • the optical neural network can perform the calculations for image evaluation using the process light itself, no additional energy is required. In other words, no additional energy can be or needs to be consumed.
  • the energy consumption of the entire sensor i.e. of a system according to the embodiments, relates, for example, solely or largely to the evaluation of the detector and optionally also to the lighting used.
  • Embodiments can thus include in particular laser processing machines and OEMs (original equipment manufacturers) in the field of sensor technology, or address such fields of application.
  • Embodiments further include or enable or address applications such as: analysis of manufacturing processes, environments, objects, for example one based on the evaluation of image data by neural networks or for which such evaluation is too slow or too inefficient.
  • Fig. 7 shows a schematic view of a system according to embodiments with further, optional features.
  • the system 700 comprises an optical device 710, for example a sensor, with diffractive optical elements 712, an optional optical device 714, which for example comprises an optical element, and an optional light source in the form of the illumination source 716.
  • the system 700 further comprises a Detector 720.
  • the system 700 comprises a processing device in the form of a system controller 730, as well as signal lines 731.
  • FIG. 7 shows a processing head 740, for example a laser processing head, as well as a workpiece 750.
  • the workpiece 750 can thus be processed by the processing head 740, for example by means of a laser beam 741.
  • a signal from the laser beam can be reflected from the workpiece in the direction of the device 710, which can form the optical input signal 701 or at least a part of the optical input signal 701.
  • the input signal 701 can include radiation components that are emitted by the workpiece itself, for example due to thermal radiation.
  • the light source 716 can illuminate the workpiece 750 and thus provide a further portion of the input signal 701 based on further reflections. Such illumination can also be provided, for example, by ambient light (e.g. daylight or room lighting).
  • any combination can be used to generate the optical input signal.
  • radiation reflected by the laser can form the input signal alone (without the use of an additional light source 716, e.g. in the form of a laser).
  • the light source since there is no reflection of laser radiation from a processing laser
  • the input signal 701 can again be formed solely by thermal radiation from the workpiece.
  • any combination of these input signal generating options can of course also be used according to the invention.
  • the scenery can be made visible, both by active illumination and by ambient light, or the thermal emissions from the process are analyzed.
  • the optical neural network which comprises, for example, the elements 712, is supplied with an optical signal 702, on the basis of which the Real-time information 703 is provided. This can be detected by means of detector 720 and forwarded in electrical form to the system control 730.
  • the detector 720 can be integrated in the device 710 or, for example, only in a common housing. However, an external arrangement is also possible. Based on the detected real-time information, a further evaluation can then be carried out in the system control 730 and/or a regulation or control of the processing head 740 (e.g. with regard to speed, power).
  • the processing head can be a cutting head, for example.
  • aspects have been described in the context of a device, it is to be understood that these aspects also represent a description of the corresponding method, so that a block or component of a device can also be understood as a corresponding method step or as a feature of a method step. Analogously, aspects described in the context of or as a method step also represent a description of a corresponding block or detail or feature of a corresponding device.
  • Some or all of the method steps can be carried out by a hardware apparatus (or using a hardware apparatus), such as a microprocessor, a programmable computer, or an electronic circuit. In some embodiments, some or more of the key method steps can be carried out by such an apparatus.
  • embodiments of the invention may be implemented in hardware or in software.
  • the implementation may be carried out using a digital storage medium, for example a floppy disk, a DVD, a Blu-ray Disc, a CD, a ROM, a PROM, an EPROM, an EEPROM or a FLASH memory, a hard disk or other magnetic or optical storage on which electronically readable control signals are stored that can interact with a programmable computer system in such a way or Interaction that the respective procedure is carried out. Therefore, the digital storage medium can be computer-readable.
  • Some embodiments according to the invention thus comprise a data carrier having electronically readable control signals capable of interacting with a programmable computer system such that one of the methods described herein is carried out.
  • embodiments of the present invention may be implemented as a computer program product having a program code, wherein the program code is operable to perform one of the methods when the computer program product is run on a computer.
  • the program code can, for example, also be stored on a machine-readable medium.
  • inventions include the computer program for performing one of the methods described herein, wherein the computer program is stored on a machine-readable medium.
  • an embodiment of the method according to the invention is thus a computer program which has a program code for carrying out one of the methods described herein when the computer program runs on a computer.
  • a further embodiment of the method according to the invention is thus a data carrier (or a digital storage medium or a computer-readable medium) on which the computer program for carrying out one of the methods described herein is recorded.
  • the data carrier, the digital storage medium or the computer-readable medium are typically physical and/or non-perishable or non-transitory.
  • a further embodiment of the method according to the invention is thus a data stream or a sequence of signals which represents or represent the computer program for carrying out one of the methods described herein.
  • the data stream or the sequence of signals can, for example, be configured to be transferred via a data communications connection, for example via the Internet.
  • a further embodiment comprises a processing device, for example a computer or a programmable logic device, which is configured or adapted to carry out one of the methods described herein.
  • a processing device for example a computer or a programmable logic device, which is configured or adapted to carry out one of the methods described herein.
  • a further embodiment comprises a computer on which the computer program for carrying out one of the methods described herein is installed.
  • a further embodiment according to the invention comprises a device or a system which is designed to transmit a computer program for carrying out at least one of the methods described herein to a recipient.
  • the transmission can be carried out electronically or optically, for example.
  • the recipient can be, for example, a computer, a mobile device, a storage device or a similar device.
  • the device or system can, for example, comprise a file server for transmitting the computer program to the recipient.
  • a programmable logic device e.g., a field programmable gate array, an FPGA
  • a field programmable gate array may cooperate with a microprocessor to perform any of the methods described herein.
  • the methods are performed by any hardware device. This may be general-purpose hardware such as a computer processor (CPU) or hardware specific to the method such as an ASIC.
  • the devices described herein may be implemented, for example, using a hardware apparatus, or using a computer, or using a combination of a hardware apparatus and a computer.
  • the devices described herein, or any components of the devices described herein may be implemented at least partially in hardware and/or in software (computer program).
  • the methods described herein may be implemented using a hardware apparatus, or using a computer, or using a combination of a hardware apparatus and a computer.
  • the methods described herein, or any components of the methods described herein may be implemented at least partially by hardware and/or by software.
  • CA2467221 A1 Method and system for real-time monitoring and controlling height of deposit by using image photographing and image processing technology in lasercladding and laser-aided direct metal manufacturing process
  • Knaak et AL "A Spatio-Temporal Ensemble Deep Learning Architecture for Real-Time Defect Detection during Laser Welding on Low Power Embedded Computing Boards", Sensors, 2021

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Neurology (AREA)
  • Optics & Photonics (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Plasma & Fusion (AREA)
  • Mechanical Engineering (AREA)
  • Laser Beam Processing (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Photometry And Measurement Of Optical Pulse Characteristics (AREA)

Abstract

Ausführungsbeispiele gemäß der vorliegenden Erfindung umfassen eine optische Vorrichtung zur Bereitstellung einer optischen Echtzeitinformation bezüglich eines Prozesses, wobei die optische Vorrichtung dazu ausgebildet ist, um ein optisches Eingangssignal, welches von dem Prozess abgestrahlt und/oder reflektiert wird, zu erfassen und wobei die optische Vorrichtung ein optisches neuronales Netz aufweist, das dazu ausgebildet ist, um basierend auf dem optischen Eingangssignal die optische Echtzeitinformation bezüglich des Prozesses bereitzustellen. Ferner wird ein System zur Bereitstellung einer optischen Echtzeitinformation und ein Verfahren zur Bereitstellung der Vorrichtung offenbart.

Description

Vorrichtung und System zur Bereitstellung einer optischen Echtzeitinformation bezüglich eines Prozesses mittels eines optischen neuronalen Netzes, sowie Verfahren zur Bereitstellung der Vorrichtung
Beschreibung
Technisches Gebiet
Ausführungsbeispiele gemäß der vorliegenden Erfindung betreffen Vorrichtungen und Systeme zur Bereitstellung einer optischen Echtzeitinformation bezüglich eines Prozesses mittels eines optischen neuronalen Netzes, sowie Verfahren zur Bereitstellung solcher Vorrichtungen.
Ausführungsbeispiele umfassen ferner optische Prozessüberwachung mit diffraktiven neuronalen Netzen, optische Prozessüberwachung mit Diffractive Deep Neural Networks und/oder optische Bildverarbeitung mit Diffractive Deep Neural Networks.
Hintergrund der Erfindung
In der Lasermaterialbearbeitung und in der Lasermesstechnik werden Systeme eingesetzt, mit denen während der Bearbeitung der Zustand des Prozesses überwacht wird. Diese Prozessüberwachung basiert häufig auf einem System bestehend aus Beleuchtung, Beobachtungsoptik und einem Detektor (CCD-Chip). Auf dem Detektor wird ein Bild der Prozesszone erzeugt, das im angeschlossenen Computer mit Methoden der Bildverarbeitung ausgewertet wird. Anhand dieser Auswertung können Rückschlüsse auf die Qualität des Prozesses gezogen und der Bearbeitungsprozess geregelt werden. In modernen Ansätzen der Prozessüberwachung werden auch neuronale Netze eingesetzt, um die Bilddaten (in-line) zu verarbeiten und die Prozessparameter anzupassen. Dies erfolgt bisher jedoch ausschließlich in der elektronischen Recheneinheit, die die Bearbeitungsanlage steuert.
Stand der Technik
Solche und sehr ähnliche Ansätze finden sich auch in Patenten oder Gebrauchsmustern oder entsprechenden Anmeldungen (beispielsweise US65974491 , CN000216680796U,
US5517420A, CA2467221A1 , CN000201052570 Y). Die Nachteile im Stand der Technik liegen unter Anderem in der Latenzzeit (Dauer zwischen Datenerfassung und Ausgabe der Regelparameter) und der benötigten Hardware zur Bildverarbeitung (häufig Hochleistungsrechner mit multi-GPUs). Die Hardware ist teuer, baut groß (Server-Racks) und hat im Betrieb einen hohen Energieverbrauch. Der Energieverbrauch kann für manche mobilen Einsätze hinderlich sein. Mit der Anzahl der eingesetzten Sensoren skalieren die nötigen Ressourcen für den Hochleistungsrechner.
Somit besteht ein Bedarf nach einem verbesserten Konzept zur Prozessüberwachung. Daher liegt der vorliegenden Erfindung die Aufgabe zu Grunde ein Konzept zur Prozessüberwachung bereitzustellen, welches einen verbesserten Kompromiss zwischen einer Komplexität benötigter Bauelemente, einem Energieverbrauch und einer Güte der Prozessüberwachung ermöglicht.
Diese Aufgabe wird durch den Gegenstand der unabhängigen Patentansprüche gelöst. Erfindungsgemäße Weiterbildungen sind in den Unteransprüchen definiert.
Zusammenfassung der Erfindung
Ausführungsbeispiele gemäß der vorliegenden Erfindung umfassen eine optische Vorrichtung zur Bereitstellung einer optischen Echtzeitinformation bezüglich eines Prozesses, wobei die optische Vorrichtung dazu ausgebildet ist, um ein optisches Eingangssignal, welches von dem Prozess abgestrahlt und/oder reflektiert wird, zu erfassen und wobei die optische Vorrichtung ein optisches neuronales Netz aufweist, das dazu ausgebildet ist, um basierend auf dem optischen Eingangssignal die optische Echtzeitinformation bezüglich des Prozesses bereitzustellen.
Ausführungsbeispiele beruhen auf der Idee, eine Prozessauswertung mittels eines optischen neuronalen Netzes durchzuführen. Ganz allgemein kann es sich bei dem optischen neuronalen Netz bspw. um ein diffraktives neuronales Netz handeln. Ein diffraktives neuronales Netz kann bspw. eine Abfolge mehrerer diffraktiver Elemente aufweisen, die dazu ausgebildet sind Strahlung, also bspw. das optische Eingangssignal oder ein daraus abgeleitetes optisches Signal, in Phase und Amplitude zu modulieren. Die Erfinder haben erkannt, dass mittels eines optischen neuronalen Netzes eine Prozessauswertung in Echtzeit stattfinden kann, sodass die Vorrichtung eine Echtzeitinformation über den Prozess bereitstellen kann. Mit Echtzeitinformation ist dabei bspw. eine Information gemeint, deren Erzeugung von der Erfassung bis zur Bereitstellung mit Lichtgeschwindigkeit durchgeführt wird, sich also bspw. eine Verzögerung aus der zurückgelegten Strecke vom Ort der Abstrahlung des optischen Eingangssignals am Prozess bis zu einer Abstrahlstelle der Echtzeitinformation an der Vorrichtung anhand der Lichtgeschwindigkeit ergibt. Eine Echtzeitinformation kann also bspw. eine Information sein, deren Bereitstellung bzw. Verarbeitung lediglich von der Lichtgeschwindigkeit begrenzt wird.
Ferner haben die Erfinder erkannt, dass somit eine signifikante Energieeinsparung erzielt werden kann. Eine entsprechende Prozessauswertung kann somit bspw. vollständig optisch mittels des optischen neuronalen Netzes erfolgen, sodass keine Energie für eine elektronische Auswertung bereitgestellt werden muss. Alternativ kann bspw. auch nur ein besonders rechenintensiver Teil der Auswertung optisch erfolgen. Optional kann jedoch auch ein beliebiger Teil der Auswertung optisch durchgeführt werden. In allen Fällen kann, im Vergleich zu einer elektronischen Auswertung, Energie eingespart werden, sodass bspw. auch mobile Prozessüberwachungen ermöglicht werden können.
Dabei sei darauf hingewiesen, dass bspw. hinsichtlich Produktionsmaschinen eine hohe Mobilität unter Umständen oder sogar normalerweise weniger relevant sein kann, Ausführungsbeispiele dahingehend jedoch den Vorteil aufweisen können, dass diese sehr kompakt, also bspw. mit geringem Volumen, ausgeführt werden können und/oder eine kompakte, z.B. räumlich kleine, Ausführung einer solchen Produktionsmaschine ermöglichen können. Ferner wird gemäß Ausführungsbeispielen somit bspw. kein (großer, also bspw. leistungsstarker) Hochleistungsrechner an der Maschine oder Zugriff auf Cloudcomputing mit entsprechender Infrastruktur benötigt.
Ferner können Kosten für eine Prozessüberwachung eingespart werden, da leistungsschwächere Recheneinheiten für eine elektronische Auswertung, aufgrund der möglichen optischen Vorverarbeitung, verwendet werden können.
Bei dem optischen Eingangssignal kann es sich dabei bspw. um ein vom Prozess abgestrahltes und/oder reflektiertes Signal handeln. Somit kann bspw. lediglich basierend auf vom Prozess selbst erzeugtem Licht eine Auswertung stattfinden. Alternativ kann unabhängig von dem Prozess erzeugtes Licht, bspw. Umgebungslicht oder Licht einer eigens dafür vorgesehenen Lichtquelle, vom Prozess, bspw. einem Werkstück, welches vermessen oder bearbeitet wird, reflektiert werden und als Eingangssignal dienen. Bei dem Prozess kann es sich also bspw. um eine Bearbeitung und/oder eine Vermessung eines Werkstücks (z.B. also ein Materialbearbeitungsprozess des Werkstücks und/oder ein Messprozess am Werkstück unter Verwendung eines Lasers) handeln, bei dem ein vom Werkstück abgestrahltes oder vom Werkstück reflektiertes Signal als optisches Eingangssignal verwendet wird.
Insbesondere kann die optische Vorrichtung bspw. dazu ausgebildet sein, eine solche vom Werkstück ausgehende oder reflektierte Strahlung unmittelbar zu verwenden, also bspw. ohne weitere elektronische Aufnahme oder Aufbereitung.
Anders ausgedrückt kann also das Eingangssignal zum Beispiel mit Prozesslicht (z.B. thermische Strahlung) mit Umgebungslicht und/oder mit einer speziellen externen Beleuchtung (beispielsweise kohärente Beleuchtung und/oder strukturierte Beleuchtung) bereitgestellt werden.
Ausführungsbeispiele können dabei bspw. zur allgemeinen Prozessüberwachung bzw. Messtechnik verwendet werden (z.B. Wasserstrahlschneiden, Tapelegen mit IR-Bestrahlung, ...) und insbesondere zur Prozessüberwachung bzw. Messtechnik in laserbasierten Verfahren (z.B. Laserstrahlschweißen, -bohren, additive Fertigung, LIBS, Laser-Triangulation...). Eine erfindungsgemäße Idee besteht dabei wie zuvor erläutert darin, optische neuronale Netze zur Prozessüberwachungen, bspw. in obig genannten Anwendungsgebieten einzusetzen.
Insbesondere umfassen konkrete Ausführungsbeispiele also eine neuartige Komponente und Methode zur Erfassung und Auswertung von Prozessbildern. Dabei kann ein diffraktives neuronales Netz (DNN, oder allgemein ein optisches neuronales Netz) eingesetzt werden, um das von der Prozesszone kommende Licht (also abgestrahltes und/oder reflektiertes Licht) direkt in der Bearbeitungsoptik auszuwerten und so (bspw. anstelle von oder zusätzlich zu 2D Bilddaten) ein Intensitätsmuster auszugeben, in dem die Ergebnisse der Auswertung oder neue Steuer- und/oder Regelsignale kodiert sein können. Gegenüber konventionellen Methoden (z.B. Auswertung in einer elektronischen Recheneinheit) bieten Ausführungsbeispiele den Vorteil, dass die Datenverarbeitung mit Lichtgeschwindigkeit erfolgt. Dies basiert auf der Erkenntnis der Erfinder, dass für die Geschwindigkeit der Regelung die Dauer der Bildverarbeitung, Ableitung der Qualitätsmerkmale und der neuen Steuersignale entscheidend ist. Die Bildanalyse kann einer Regeleinheit bspw. also praktisch instantan zur Verfügung stehen. Ausführungsbeispiele können damit die längeren Rechenzeiten im Computer umgehen oder verkürzen (z.B. im Fall einer elektronischen Weiterverarbeitung der Echtzeitinformation). Gemäß Ausführungsbeispielen ist die optische Vorrichtung ferner dazu ausgebildet, um zur Erfassung des optischen Eingangssignals, welches von dem Prozess abgestrahlt und/oder reflektiert wird, das optische Eingangssignal unmittelbar von dem Prozess einzufangen.
Beispielsweise kann die Vorrichtung direkt mit in prozessnahe Elemente integriert werden, bspw. im Gegensatz zu einer „externen“ Auswertung eines elektronisch erfassten Bildes an einem prozessfernen Rechner. Beispielsweise kann die optische Vorrichtung oder auch Teile der optischen Vorrichtung wie bspw. das optische neuronale Netz, in eine Bearbeitungsoptik eines entsprechenden Prozesses integriert werden.
Das Eingangssignal kann also bspw. ohne Weiterleitung mittels eines Wellenleiters direkt vom Prozess erhalten werden. Bspw. kann die optische Vorrichtung dazu ausgebildet sein, um in einem selben Fluid angeordnet zu werden in welchem der Prozess durchgeführt wird, um das optische Eingangssignal unmittelbar aus dem Fluid einzufangen.
Die Erfinder haben erkannt, dass eine erfindungsgemäße optische Vorrichtung mit geringem Bauraumbedarf auskommen kann und somit in prozessnotwendige (also einfach ausgedrückt schon vorhandene) Elemente integriert werden kann. Somit kann zum einen Platz eingespart werden und zum anderen kann ein Einfluss möglicher Fehlerquellen aufgrund von Signalweiterleitungen (bspw. Signalverluste in elektrischer Leitung, elektromagnetische Störungen auf Leitung) verhindert oder reduziert werden.
Gemäß Ausführungsbeispielen umfasst die optische Vorrichtung ferner eine optische Einrichtung, die dazu ausgebildet ist, um das optische Eingangssignal zu erhalten und um dem optischen neuronalen Netz, basierend auf dem Eingangssignal, ein optisches Signal zur Bestimmung der Echtzeitinformation bereitzustellen. Optional kann die optische Einrichtung zumindest eines aus einer Linse, einem Strahlteiler, einem Spiegel, einem Wellenlängenfilter, und/oder einer Apertur umfassen.
Die Erfinder haben erkannt, dass mittels einer optischen Einrichtung das optische Eingangssignal für das optische neuronale Netz aufbereitet werden kann, bspw. um ein verbessertes Klassifikationsergebnis zu ermöglichen. Ferner ermöglicht die Verwendung von optischen Elementen einen Freiheitsgrad bei der Integration der optischen Vorrichtung, da das optische Eingangssignal zu einem vorteilhaften Einbauort der optischen Vorrichtung geleitet werden kann (bspw. mittels Spiegeln). Gemäß Ausführungsbeispielen umfasst der Prozess eine Strahlformung eines Prozessstrahls mittels einer Bearbeitungsoptik und die optische Vorrichtung ist dazu ausgebildet, um das optische Eingangssignal via der Bearbeitungsoptik und/oder via einzelner optischer Teilelemente der Bearbeitungsoptik zu erhalten.
Erfindungsgemäße Vorgehensweisen sind dabei nicht auf bestimmte Prozesse und entsprechend Prozessstrahlen eingeschränkt. Bei dem Prozessstrahl kann es sich bspw. um einen Laserstrahl oder um einen Elektronenstrahl (E-Beam) handeln. Die Bearbeitungsoptik kann dabei bspw. beliebige Kombinationen von optischen Elementen, also bspw. einem oder mehreren optischen Spiegeln, Linsen und/oder Prismen umfassen.
Ferner sei darauf hingewiesen, dass die Bearbeitungsoptik oder Teile davon ebenfalls als optische Einrichtung wirken können oder als solche verwendet werden können.
Die Erfinder haben erkannt, dass eine Bearbeitungsoptik oder auch einzelne optische Teilelemente einer solchen Optik sowohl vom Prozess als auch zur Prozessüberwachung gemeinsam genutzt werden können. Somit können Bauteile und Bauraum eingespart werden.
Gemäß Ausführungsbeispielen weist die optische Vorrichtung einen Strahlteiler auf, wobei der Strahlteiler dazu ausgebildet ist, um das optisches Eingangssignal via der Bearbeitungsoptik und/oder via einzelner optischer Teilelemente der Bearbeitungsoptik zu erhalten. Ferner ist die optische Vorrichtung dazu ausgebildet, um das optische Eingangssignal mittels des Strahlteilers von dem Prozessstrahl zu trennen, und um dem optischen neuronalen Netz das optische Eingangssignal mittels des Strahlteilers bereitzustellen. Das Trennen der Strahlen kann dabei bspw. ein Weiterleiten in verschiedene Richtungen umfassen.
Die Erfinder haben erkannt, dass somit bspw. eine koaxiale Prozessüberwachung ermöglicht werden kann. Eine entsprechende Bearbeitungsoptik kann somit bspw. den Prozessstrahl formen und auf ein Werkstück leiten, wobei die vom Werkstück abgestrahlte und/oder reflektierte Strahlung als optisches Eingangssignal durch dieselbe Bearbeitungsoptik (oder zumindest selbe Teile davon) geleitet werden kann, wobei ein Strahlengang mittels des Strahlteilers dahingehend angepasst werden kann, sodass das optische Eingangssignal dem optischen neuronalen Netz bereitgestellt wird, und bspw. nicht in einen Bereich in dem der Prozessstrahl erzeugt wird geleitet wird.
Konkret kann also bspw. bei einer sogenannten koaxialen Prozessüberwachung die Sensorik, also bspw. eine erfindungsgemäße Vorrichtung, direkt in den Bearbeitungskopf, welcher gleichzeitig den Bearbeitungslaser beeinflusst, integriert werden. Hierbei ist der Trick, dass beide Strahlen (der Prozessstrahl, also bspw. ein Bearbeitungs-Laserstrahl sowie das optische Eingangssignal also bspw. ein Messstrahl aus der Prozesszone) teilweise die gleichen optischen Elemente durchlaufen und entfernt von der Prozesszone über den (oder mehrere) Strahlteiler separiert werden. Somit können erfindungsgemäß beide Teile (Sensorik und Anwendung) ineinandergreifen. Somit kann eine effiziente Bauteilintegration ermöglicht werden.
Gemäß Ausführungsbeispielen umfasst das optische neuronale Netz zumindest eines aus einem diffraktiven optischen Element, einem räumlichen Lichtmodulator und/oder einer Metaoptik. Beispielsweise kann eine Konfiguration für eine erfindungsgemäße optische Vorrichtung und/oder das optische neuronale Netz (ONN) eine freie Kombination aus mindestens zwei diffraktiven optischen Elementen (DOEs) und/oder räumlichen Lichtmodulatoren (spatial light modulators, SLMs) (oder jeweils 1 oder bspw. lediglich das eine oder das andere, oder lediglich mehrere DOEs oder lediglich mehrere SLMs), klassischen optischen Komponenten (z.B. Linsen, Spiegel, Aperturen, Wellenlängenfiltern etc.) und/oder klassischen (computerbasierte) Kl-Methoden (->ONN ersetzt z.B. einige rechenintensive Ebenen) umfassen.
Gemäß Ausführungsbeispielen ist der Prozess ein gesteuerter und/oder geregelter Prozess und das optische neuronale Netz ist dazu ausgebildet, um basierend auf dem optischen Eingangssignal ein Steuerungssignal und/oder ein Regelungssignal zu bestimmen, und um das Steuerungssignal und/oder das Regelungssignal in der optischen Echtzeitinformation zu kodieren.
Somit können Steuerungs- und/oder Regelinformationen in Echtzeit bereitgestellt werden. Insbesondere können Steuerungen und/oder Regelungen für sehr schnelle Prozesse, also bspw. mit hohen Anforderungen an Ausregelzeiten, ermöglicht werden. Eine entsprechende Regelung kann bspw. vollständig analog erfolgen, bspw. basierend auf einer Detektion der kodierten Information ohne AD-Wandlung. Dabei kann bspw. eine Amplitude oder Phase des Detektionssignals direkt für die Regelung und/oder Steuerung herangezogen werden.
Gemäß Ausführungsbeispielen ist das optische neuronale Netz dazu ausgebildet, um basierend auf dem optischen Eingangssignal einen Prozessparameter zu bestimmen, und um den Prozessparameter in der optischen Echtzeitinformation zu kodieren. Dabei ist ein Prozessparameter bspw. eine für den Prozess relevante Größe. Im Kontext einer Bearbeitung eines Werkstücks kann ein Prozessparameter bspw. die Güte eines bearbeiteten Werkstücks beschreiben. Ferner kann auch ein Messergebnis mittels eins Prozessstrahls einen Prozessparameter bilden. So kann bspw. bei einem Lichtschnittverfahren ein Laser den Prozessstrahl bereitstellen, welcher von einer Oberfläche reflektiert wird, sodass das reflektierte Signal das optische Eingangssignal bildet. Der Prozessparameter kann dabei bspw. eine Information über einen Höhenmesswert umfassen. Die Erfinder haben erkannt, dass erfindungsgemäß Prozessauswertungen mit hoher Geschwindigkeit und geringem Energieaufwand bereitgestellt werden können.
Hierbei sei darauf hingewiesen, dass ein Prozess gemäß Ausführungsbeispielen nicht in allen Fällen gesteuert oder geregelt sein muss. Ausführungsbeispiele umfassen und/oder adressieren diesbezüglich insbesondere Anwendungen, in denen Qualitätsmerkmale (als Beispiel von Prozessparametern), bspw. „nur“, überwacht werden. Das können z.B. die Bildung von Spritzern oder Fehler in einer Schweißnaht sein. Dementsprechend kann eine diesbezügliche Information in die optische Echtzeitinformation kodiert werden.
Gemäß Ausführungsbeispielen ist die optische Vorrichtung dazu ausgebildet, eine Phase und/oder Amplitude des optischen Eingangssignals zu modifizieren, um die optische Echtzeitinformation in Form eines Lichtpunktes, eines Linienstrahls und/oder eines zweidimensionalen Lichtarrays bereitzustellen.
Eine Bereitstellung der Echtzeitinformation als Lichtpunkt ermöglicht eine einfach auswertbare Informationsdarstellung. Mittels eines Linienstrahls kann bspw. durch einen Schwerpunkt der Linie ein Skalarwert als Prozessparameter oder Regelungs- und/oder Steuerungsinformation dargestellt werden (z.B. im Intervall [0, 1], sodass bspw. ein Schwerpunkt auf einer Seite der Linie einer 0 entspricht und auf einer gegenüberliegenden Seite einer 1 , mit entsprechenden Zwischenwerten). Mittels eines zweidimensionalen Lichtarrays können entsprechend zweidimensional Informationen dargestellt werden, eine Kodierung kann bspw. mittels Muster oder Schwerpunkten erfolgen.
Es sei darauf hingewiesen, dass ein optisches Eingangssignal, bspw. in Form eines Eingangslichtfeldes auch nur genau eine Phase und Amplitude aufweisen kann, sodass die Vorrichtung dazu ausgebildet sein kann die Phase und/oder Amplitude des optischen Eingangssignals zu modifizieren. Ferner können mit Ausführungsbeispielen jedoch auch Eingangssignale adressiert oder verarbeitet werden, welche Teilkohärenz durch mehrere sich überlagernde Felder mit unterschiedlichen Phasen aufweisen. Gemäß Ausführungsbeispielen weist das optische neuronale Netz zumindest ein statisches optisches Element und zumindest ein anpassbares optisches Element auf und das anpassbare optische Element ist dazu ausgebildet, um die Verarbeitung des optischen Eingangssignals im optischen neuronalen Netz zu verändern.
Somit können bspw. Verfahren des Transfer-Learnings (Transferlernen) angewendet werden, wobei die statischen Elemente entsprechend einem bspw. generischen Vortraining erzeugt werden und die dynamischen Elemente anwendungsspezifisch hinsichtlich eines zweiten Trainings angepasst werden. Ferner können so auch während der Lebensdauer der Vorrichtung noch Nachjustierungen vorgenommen werden.
Gemäß Ausführungsbeispielen umfasst die optische Vorrichtung ferner ein optisches Filter, das dazu ausgebildet ist, um das optische Eingangssignal wellenlängenselektiv zu filtern, um dem optischen neuronalen Netz ein gefiltertes optisches Eingangssignal bereitzustellen.
Somit können bspw. Wellenlängen selektiert werden, welche eine besonderes aussagekräftige Prozessanalyse zulassen.
Gemäß Ausführungsbeispielen umfasst die optische Vorrichtung ferner eine Lichtquelle, wobei die Lichtquelle dazu ausgebildet ist, um den Prozess zu beleuchten, um das optische Eingangssignal, welches von dem Prozess abgestrahlt und/oder reflektiert wird, zu erzeugen. Eine solche Lichtquelle kann bspw. ebenfalls koaxial in Prozesselemente integriert sein.
Gemäß Ausführungsbeispielen ist das optische neuronale Netz dazu ausgebildet ist, um Licht mit einer bestimmten optischen Eigenschaft zu verarbeiten und die Lichtquelle ist dazu ausgebildet, um das Licht mit der bestimmten optischen Eigenschaft bereitzustellen.
In anderen Worten können also bspw. die Lichtquelle und das optische neuronale Netz aufeinander abgestimmt sein. Die optische Eigenschaft kann dabei bspw. eine bestimmte Wellenlänge bilden. Somit kann eine Genauigkeit und/oder Effizienz des neuronalen Netzes verbessert werden.
Gemäß Ausführungsbeispielen weist die optische Vorrichtung einen Strahlteiler, den Strahlteiler oder einen weiteren Strahlteiler auf, und die optische Vorrichtung ist dazu ausgebildet, um das Licht der Lichtquelle mittels des Strahlteilers oder des weiteren Strahlteilers vom optischen Eingangssignal zu trennen und um dem optischen neuronalen Netz das optische Eingangssignal mittels des Strahlteilers oder des weiteren Strahlteilers bereitzustellen.
Wie zuvor im Kontext der Bearbeitungsoptik erläutert kann somit eine Integration, z.B. koaxial, von Lichtquelle und optischem neuronalen Netz, bspw. auch zusammen mit einer Prozessstrahlquelle erfolgen, z.B. in einem Bearbeitungskopf oder in einer Bearbeitungsoptik.
Es sei darauf hingewiesen, dass hinsichtlich der Ausleuchtung (oder des Ausleuchtspielraums) gemäß Ausführungsbeispielen zum Beispiel Wellenlängen zwischen 10pm (thermische Strahlung) bis 400 nm (sichtbares Licht) verwendet werden können. Wie zuvor erläutert kann eine externe Beleuchtung (z.B. mittels der Lichtquelle) koaxial erfolgen.
Ein Vorteil von Ausführungsbeispielen in Wellenlängenbereichen oberhalb von UV- (Ultraviolett) Licht (also bspw. für Wellenlängen, welcher größer sind als 400nm) kann dabei bspw. in einer einfachen, oder bspw. einfacheren, Herstellung der optischen Elemente (z.B. DOEs und/oder SLMs) für das optische neuronale Netz liegen.
Gemäß Ausführungsbeispielen ist die optische Vorrichtung dazu ausgebildet, um ausschließlich mittels des optischen Eingangssignals mit Energie zur Bereitstellung der optischen Echtzeitinformation versorgt zu werden. Somit können auch mobile Anwendungen und Anwendungen mit hohen Anforderungen an den Energieverbrauch adressiert werden.
Ausführungsbeispiele gemäß der vorliegenden Erfindung umfassen ferner ein optisches System umfassend eine optische Vorrichtung gemäß einem der hierin offenbarten Ausführungsbeispiele und einen Detektor (z.B. CCD-Chip), der dazu ausgebildet ist, um die optische Echtzeitinformation zu detektieren und basierend auf der optischen Echtzeitinformation ein elektrisches Signal bereitzustellen, wobei der Detektor zumindest eines aus einer Photodiode, einem Zeilendetektor und/oder einem Flächendetektor umfasst.
Somit kann mit hoher Geschwindigkeit, aufgrund der optischen Verarbeitung im optischen neuronalen Netz, ein verarbeitetes oder vorverarbeitetes elektrisches Signal bereitgestellt werden.
Gemäß Ausführungsbeispielen umfasst das optische System ferner eine Verarbeitungseinrichtung, die dazu ausgebildet ist, um basierend auf dem elektrischen Signal des Detektors den Prozess zu steuern und/oder zu regeln und/oder um basierend auf dem elektrischen Signal des Detektors eine Information bezüglich des Prozesses bereitzustellen. Die Verarbeitungseinrichtung kann dabei bspw. digital, oder z.B. bei sehr schnellen Regelkreisen, analog arbeiten. Die Steuerung und/oder Regelung des Prozesses kann dabei insbesondere eine Steuerung und/oder Regelung einer Prozessanlage umfassen. Bspw. kann eine Anlage umfassend einen Laser geregelt und/oder gesteuert werden. Die Steuerung und/oder Regelung kann dabei bspw. eine Anpassung einer Vorschubgeschwindigkeit, einer Materialzufuhr und/oder eine Anpassung von oder bezüglich Prozessgasen umfassen.
Gemäß Ausführungsbeispielen ist der Prozess ein Materialbearbeitungsprozess und/oder ein Messprozess (z.B. Lasermessprozess, z.B. laserinduzierte Plasmaspektroskopie, LIBS) unter Verwendung eines Lasers und die Verarbeitungseinrichtung ist dazu ausgebildet, um basierend auf dem elektrischen Signal des Detektors den Laser zu steuern und/oder zu regeln. Ferner können bspw. auch andere Parameter in einer Maschine des Prozesses (bspw. eine Maschine, welche den Laser umfasst), z.B. Achsen, Scanner, Schutzgaszufuhr, gesteuert und/oder geregelt werden.
Ausführungsbeispiele gemäß der vorliegenden Erfindung umfassen ferner Verfahren zum Bereitstellen einer optischen Vorrichtung (zum Beispiel einer der zuvor erläuterten optischen Vorrichtungen), wobei die optische Vorrichtung ein optisches neuronales Netz aufweist, das dazu ausgebildet ist, um basierend auf einem optischen Eingangssignal, welches von einem Prozess abgestrahlt und/oder reflektiert wird, eine optische Echtzeitinformation bezüglich des Prozesses bereitzustellen. Dabei weist das optische neuronale Netz zumindest ein erstes optisches Element und zumindest ein anpassbares optisches Element auf.
Das Verfahren umfasst dabei ein simulatives Vortrainieren eines virtuellen Modells des optischen neuronalen Netzes mit einem ersten Satz Trainingsdaten, wobei in dem virtuellen Modell das zumindest eine erste optische Element und das zumindest eine anpassbare optische Element abgebildet sind.
Das Verfahren umfasst ferner ein Erzeugen des optischen neuronalen Netzes basierend auf dem vortrainierten Modell, ein Anpassen des zumindest einen anpassbaren optischen Elements im virtuellen vortrainierten Modell des optischen neuronalen Netzes, basierend auf einem simulativen Training des virtuellen vortrainierten Modells mit einem zweiten Satz Trainingsdaten und ein Anpassen des zumindest einen anpassbaren optischen Elements des optischen neuronalen Netzes entsprechend dem angepassten virtuellen Modell des optischen neuronalen Netzes, um die optische Vorrichtung bereitzustellen. Die Erfinder haben erkannt, dass mittels des Einsatzes von anpassbaren optischen Elementen, Methoden des Transfer-Learnings auf optische neuronale Netze angewendet werden können. Ein bspw. generisches Vortrainieren kann somit also bspw. mittels zumindest einem ersten optischen Element berücksichtigt werden, sodass eine anwendungsspezifisches „Feintraining“ mittels der anpassbaren Elemente abgebildet werden kann. Dabei kann das Training effizient computergestützt ablaufen.
Dabei sei jedoch darauf hingewiesen, dass gemäß Ausführungsbeispielen das Training unter Verwendung von Bildern rein am Computer durchgeführt werden kann, ohne die Verwendung von anpassbaren oder dynamischen Elementen. Somit können zum Training ebenfalls konventionelle Trainingsmethoden zum Einsatz kommen, (aus Anwendungen in der Bilderkennung).
Ferner sei darauf hingewiesen, dass allgemein gemäß Ausführungsbeispielen das zumindest eine erste optische Element und das zumindest eine anpassbare optische Element in einer beliebigen Reihenfolge im optischen neuronalen Netz angeordnet sein können. Entlang eines Strahlengangs vom Prozess ausgehend kann also das zumindest eine erste optische Element bspw. vor oder nach dem zumindest einen anpassbaren optischen Element angeordnet sein. Das anpassbare optische Element kann bspw. ein vorderstes oder ein hinterstes optisches Element des optischen neuronalen Netzes bilden. Es kann also bspw. das erste (z.B. im Sinne des vordersten bezüglich eines Strahlengangs ausgehend vom Prozess) optische Element anpassbar sein und alle dahinterliegenden optischen Elemente können statisch sein. Umgekehrt können bspw. die vordersten optischen Elemente statisch sein und lediglich das hinterste optische Element kann anpassbar oder dynamisch sein.
Gemäß Ausführungsbeispielen ist das zumindest eine erste optische Element ein statisches oder ein anpassbares (bspw. dynamisches) optisches Element. Somit sind auch Anordnungen mit rein anpassbaren optischen Elementen möglich.
Gemäß Ausführungsbeispielen umfasst das Verfahren ferner ein Erzeugen des ersten und/oder zweiten Satzes von Trainingsdaten unter Verwendung einer Kamera, die das optische Eingangssignal über eine optische Einrichtung erfasst und ein Verwenden der optischen Einrichtung, um dem optischen neuronalen Netz, basierend auf dem optischen Eingangssignal, ein optisches Signal zur Bestimmung der Echtzeitinformation bereitzustellen.
Die Erfinder haben erkannt, dass eine - in einfachen Worten - doppelte Benutzung einer solchen optischen Einrichtung eine verbesserte Trainingseffizienz ermöglichen kann, da sowohl die Trainingsdaten als auch das optische Eingangssignal durch dieselbe optische Einrichtung bereitgestellt werden können. Somit kann Fehlern aufgrund von abweichenden optischen Eigenschaften (z.B. Bauteiltoleranzen) beim Einsatz von zwei verschiedenen optischen Einrichtungen entgegengewirkt werden. Es sei darauf hingewiesen, dass die optische Einrichtung auch durch ein Teilelement einer Bearbeitungsoptik gebildet sein kann.
Fiourenkurzbeschreibuno
Beispiele gemäß der vorliegenden Offenbarung werden nachfolgend Bezug nehmend auf die beiliegenden Figuren näher erläutert. Hinsichtlich der dargestellten schematischen Figuren wird darauf hingewiesen, dass die dargestellten Funktionsblöcke sowohl als Elemente oder Merkmale der offenbarungsgemäßen Vorrichtung als auch als entsprechende Verfahrensschritte des offenbarungsgemäßen Verfahrens zu verstehen sind, und auch entsprechende Verfahrensschritte des offenbarungsgemäßen Verfahrens davon abgeleitet werden können. Es zeigen:
Fig. 1 eine schematische Darstellung einer optischen Vorrichtung zur Bereitstellung einer optischen Echtzeitinformation bezüglich eines Prozesses gemäß Ausführungsbeispielen der vorliegenden Erfindung
Fig. 2 eine schematische Darstellung einer optischen Vorrichtung mit zusätzlichen, optionalen Merkmalen gemäß Ausführungsbeispielen der vorliegenden Erfindung;
Figs. 3a)-c) schematische Ansichten von Ausführungsbeispielen gemäß der vorliegenden Erfindung wobei der Prozess eine Strahlformung eines Prozessstrahls mittels einer Bearbeitungsoptik umfasst;
Fig. 4 eine schematische Ansicht eines Systems gemäß Ausführungsbeispielen der vorliegenden Erfindung;
Fig. 5 eine schematische Ansicht einer optischen Vorrichtung gemäß Ausführungsbeispielen mit einem anpassbaren optischen Element;
Fig. 6 ein schematisches Blockdiagramm eines erfindungsgemäßen Verfahrens zum Bereitstellen einer optischen Vorrichtung; und Fig. 7 eine schematische Ansicht eines Systems gemäß Ausführungsbeispielen mit weiteren, optionalen Merkmalen.
Detaillierte Beschreibung der Beispiele gemäß den Figuren
Bevor nachfolgend Ausführungsbeispiele der vorliegenden Erfindung im Detail anhand der Zeichnungen näher erläutert werden, wird darauf hingewiesen, dass identische, funktionsgleiche oder gleichwirkende Elemente, Objekte und/oder Strukturen in den unterschiedlichen Figuren mit den gleichen oder ähnlichen Bezugszeichen versehen sind, so dass die in unterschiedlichen Ausführungsbeispielen dargestellte Beschreibung dieser Elemente untereinander austauschbar ist bzw. aufeinander angewendet werden kann.
Fig. 1 zeigt eine schematische Darstellung einer optischen Vorrichtung zur Bereitstellung einer optischen Echtzeitinformation bezüglich eines Prozesses gemäß Ausführungsbeispielen der vorliegenden Erfindung. Die optische Vorrichtung 100 umfasst ein optisches neuronales Netz 110.
Das optische Eingangssignal 1 11 kann bspw. von einem Prozess abgestrahlt (z.B. im Fall von thermischer Emission), und/oder reflektiert (z.B. im Fall einer Bearbeitung oder Vermessung eines Werkstücks mit einem Laser, wobei Laserstrahlung vom Werkstück wegreflektiert wird) werden.
Die optische Vorrichtung 100 ist entsprechend dazu ausgebildet ist, um das optische Eingangssignal zu erfassen. Das optische neuronale Netz 110 ist dazu ausgebildet, um basierend auf dem optischen Eingangssignal eine optische Echtzeitinformation 112 bezüglich des Prozesses bereitzustellen.
Fig. 2 zeigt eine schematische Darstellung einer optischen Vorrichtung mit zusätzlichen, optionalen Merkmalen gemäß Ausführungsbeispielen der vorliegenden Erfindung. Fig. 2 zeigt Vorrichtung 200 umfassend ein optisches neuronales Netz 210, ein optionales Filter 220, eine optionale optische Einrichtung 230, sowie eine optionale Lichtquelle 240. Wie anhand Fig. 1 erläutert ist das optische neuronale Netz 210 dazu ausgebildet, um eine optischen Echtzeitinformation 212 bezüglich eines Prozesses P bereitzustellen.
Wie in Fig. 2 gezeigt, kann die optische Vorrichtung 200 optional dazu ausgebildet sein, um zur Erfassung des optischen Eingangssignals 201 , welches von dem Prozess P abgestrahlt und/oder reflektiert wird, das optische Eingangssignal unmittelbar von dem Prozess einzufangen.
Fig. 2 zeigt ein Beispiel einer Ausführungsform bei der das Filter 220 vor (Signalpfad ausgehend vom Prozess P) der optischen Einrichtung 230 angeordnet ist. Gemäß Ausführungsbeispielen kann die optische Einrichtung 230 jedoch auch nach dem Filter 220 angeordnet sein. Das Filter 220 ist bspw. dazu ausgebildet, um das optische Eingangssignal 201 , welches von dem Prozess P abgestrahlt und/oder reflektiert wird, zu filtern, bspw. wellenlängenselektiv. Somit können Wellenlängen, welche keine oder nur wenig zur Prozessklassifikation beitragen weggefiltert werden.
Bspw. für Prozesse von welchen keine, oder keine ausreichende (zur Bestimmung einer Echtzeitinformation) Strahlung abgestrahlt wird, kann eine erfindungsgemäße Vorrichtung 200 eine Lichtquelle 240 aufweisen. Mittels der Lichtquelle kann der Prozess beleuchtet oder bestrahlt werden, sodass Licht 241 ein reflektiertes Signal 201 verursachen kann, welches das Eingangssignal bilden kann. Hierbei sei jedoch darauf hingewiesen, dass ein entsprechendes Eingangssignal 201 auch eine Überlagerung von Prozessstrahlung, wie bspw. thermischer Strahlung, und reflektierter Strahlung einer Beleuchtung 240, oder auch reflektierte Strahlung eines Prozessstrahls wie bspw. eines Bearbeitungslasers umfassen kann. Die Lichtquelle kann selbstverständlich auch für Prozesse verwendet werden, welche von sich aus Strahlung abgeben, zum Beispiel um dem Eingangssignal Informationen in einem anderen Wellenlängenbereich hinzuzufügen.
Optional kann bspw. das optische diffraktive neuronale Netz 210 dazu ausgebildet sein, um Licht mit einer bestimmten optischen Eigenschaft, also bspw. einer bestimmten Wellenlänge, zu verarbeiten und entsprechend kann die Lichtquelle dazu ausgebildet sein, um das Licht mit ebenjener, bestimmten optischen Eigenschaft (z.B. auch Wellenlängenbereich) bereitzustellen. Entsprechend kann das Filter dazu ausgebildet sein nur Licht mit der bestimmten optischen Eigenschaft durchzulassen.
Dabei kann wiederum ein Vorteil in der Verwendung des Filters 220 darin liegen, dass eine einfache, also bspw. kostengünstige, Lichtquelle 240 mit einem breiten Spektrum verwendet werden kann, wobei das Filter für die Prozessklassifikation irrelevante oder wenig informationstragende Wellenlängen herausfiltern kann.
Somit wird der optischen Einrichtung 230 ein gefiltertes Eingangssignal 221 bereitgestellt. Die optische Einrichtung wiederum ist dazu ausgebildet, um das Eingangssignal 201 , bspw. in weiterverarbeiteter Form des gefilterter Eingangssignals 221 zu erhalten, und dem optischen neuronalen Netz 210 als optisches Signal 231 zuzuführen.
Die optische Einrichtung kann bspw. zumindest eines aus einer Linse, einem Strahlteiler, einem Spiegel und/oder einer Apertur umfassen Das optische neuronale Netz kann ferner bspw. zumindest eines aus einem diffraktiven optischen Element, einem räumlichen Lichtmodulator und/oder einer Metaoptik umfassen.
Die optische Echtzeitinformation kann dabei bspw. in Form eines Lichtpunktes, eines Linienstrahls und/oder eines zweidimensionalen Lichtarrays bereitgestellt werden oder ebensolche Darstellungsformen umfassen. Dazu kann das optische neuronale Netz 210 dazu ausgebildet sein, um eine Phase und/oder Amplitude des optischen Eingangssignals, also insbesondere auch optional es optischen Signals 231 und/oder des gefilterten Eingangssignals 221 zu modifizieren.
Bspw. ohne eine Lichtquelle 240, kann eine optische Vorrichtung 200 optional ausschließlich mittels des optischen Eingangssignals 201 mit Energie zur Bereitstellung der optischen Echtzeitinformation 212 versorgt werden.
Als weiteres optionales Merkmal kann in der Echtzeitinformation 212 ein Steuerungssignal und/oder ein Regelungssignal werden, welches von dem optischen neuronalen Netz 210 bestimmt wird. Damit kann bspw. ein Prozess P gesteuert und/oder geregelt werden. Alternativ oder zusätzlich kann ein von dem optischen neuronalen Netz 210 bestimmter Prozessparameter in der optischen Echtzeitinformation 212 kodiert werden.
Figs. 3 a)-c) zeigen schematische Ansichten von Ausführungsbeispielen gemäß der vorliegenden Erfindung wobei der Prozess eine Strahlformung eines Prozessstrahls mittels einer Bearbeitungsoptik umfasst. Figuren 3 a) bis c) zeigen optische neuronale Netze ONN, Prozessstrahlquellen L, optische Teilelemente O, Strahlteiler T, Lichtquelle B, sowie Werkstücke W. Bei der Prozessstrahlquelle kann es sich bspw. um einen Laser handeln.
Fig. 3a) zeigt eine schematische Ansicht eines beispielsweise typischen koaxialen Aufbaus, gemäß Ausführungsbeispielen. Ein Prozessstrahl wird mittels einer Bearbeitungsoptik 320, umfassend ein erstes optisches Teilelement 322 und ein zweites optisches Teilelement 324, geformt und zu einem Werkstück W geleitet. Die optische Vorrichtung 330, umfassend das optische neuronale Netz ONN, 332, ist dabei dazu ausgebildet, um das optische Eingangssignal 340 via des optischen Teilelementes 324 der Bearbeitungsoptik 320 zu erhalten. Hierzu umfasst die Vorrichtung 330 als zusätzliches, optionales Merkmal einen Strahlteiler T, 332. Der Strahlteiler 350 ist dabei dazu ausgebildet, um den Prozessstrahl 310 vom reflektierten Eingangssignal 340 zu trennen, um dem optischen neuronalen Netz das optische Eingangssignal bereitzustellen.
Eine solche Anordnung ermöglicht eine koaxiale Integration der optischen Vorrichtung in eine Bearbeitungsoptik des Prozesses. Es sei darauf hingewiesen, dass die Bearbeitungsoptik auch nur ein optisches Teilelement umfassen kann. Bei den optischen Teilelementen kann es sich bspw. um klassische optische Bauelemente wie Linsen, Aperturen, aber auch Schutzgläser handeln. Es sei auch nochmals erwähnt, dass die Bearbeitungsoptik oder Teilelemente davon als optische Einrichtung der Vorrichtung dienen kann.
Fig. 3 b) zeigt eine schematische Ansicht eines weiteren Aufbaus gemäß Ausführungsbeispielen, wobei die Vorrichtung 300 eine optionale Lichtquelle 334, sowie einen weiteren Strahlteiler 336 aufweist. Wie zuvor erläutert, ist die Lichtquelle 334 dazu ausgebildet, um den Prozess zu beleuchten, um das optische Eingangssignal 340, welches von dem Prozess abgestrahlt und/oder reflektiert wird, zu erzeugen.
Es sei darauf hingewiesen, dass allgemein gemäß Ausführungsbeispielen das Eingangssignal sowohl vom Prozess selbst abgestrahltes Licht als auch von der Lichtquelle erzeugtes und reflektiertes Licht aufweisen kann. Die Lichtquelle 334 erzeugt dann das Eingangssignal 340 dahingehend, dass der nicht vom Prozess selbst abgestrahlte Anteil des Eingangssignals bereitgestellt wird.
Mittels des Strahlteilers 332 kann wie in Fig. 3b) gezeigt der Prozessstrahl 310 vom optischen Eingangssignal getrennt oder aufgeteilt werden. Mittels des Strahlteilers 336 wiederum kann Das Licht 335 der Lichtquelle 334 vom optischen Eingangssignal getrennt werden, sodass das Werkstück W beleuchtet wird und dem optischen neuronalen Netz 332 das optische Eingangssignal 340 bereitgestellt werden kann.
Fig. 3b) zeigt eine schematische Ansicht entsprechend einen Aufbau gemäß Ausführungsbeispielen bei dem neben dem Prozessstrahl, also bspw. Bearbeitungs- oder Messstrahl auch die optional vorhandene zusätzliche Beleuchtung koaxial integriert werden kann. Es sei darauf hingewiesen, dass gemäß Ausführungsbeispielen auch jeweils nur einer der Strahlteiler vorhanden sein kann. In anderen Worten ist eine Beleuchtung mit Strahlteiler nicht nur in Kombination mit einem Strahlteiler für den Prozessstrahl verwendbar. Ferner kann ein Strahlteiler, bspw. mit mehreren optischen Teilelementen auch, sowohl den Prozessstrahl als auch das Licht der Lichtquelle vom optischen Eingangssignal trennen.
Ferner sei darauf hingewiesen, dass die Bearbeitungsoptik, bspw. eine Beleuchtungsoptik, mit welcher der Bearbeitungsstrahl geformt werden kann, nicht notwendigerweise nur aus einem Element bestehen muss. Gemäß Ausführungsbeispielen können mehrere Linsen, Spiegel und weitere Einzeloptiken kombiniert werden, um die gewünschte Strahlformung zu erreichen. Es kann also sein, dass nur ein Teil der Elemente aus der Bearbeitungsoptik für den ONN- Messstrahl, also bspw. 340 relevant ist.
Fig. 3c) zeigt eine schematische Ansicht eines weiteren Aufbaus gemäß Ausführungsbeispielen, wobei der Prozess eine Strahlformung eines Prozessstrahls mittels einer Bearbeitungsoptik 320 umfasst (welche bspw. wiederum mehrere Teilelemente umfassen kann) und wobei die optische Vorrichtung 320 dazu ausgebildet ist, um das optische Eingangssignal 320 via der Bearbeitungsoptik zu erhalten.
Ein Vorteil der Anordnungen gemäß Fig. 3a) und 3b) gegenüber einer Anordnung 3c) kann z.B. dabei darin liegen, dass kleinere optische Bauteile für die Bearbeitungsoptik verwendet werden können.
Eine Anordnung gemäß Fig. 3c) kann bspw. jedoch einen Sonderfall adressieren, bei dem beide Strahlen durch ein Schutzglas geleitet werden, welches hinter dem letzten Strahlformungselement im Strahlengang angeordnet ist und beispielsweise die Prozesszone von der Umgebung abgrenzt und dort Verschmutzung verhindert. Ein entsprechendes Schutzglas kann jedoch auch ein optisches Element oder optisches Teilelement einer Bearbeitungsoptik oder einer optischen Einrichtung bilden.
Die Anordnungen gemäß Figs. 3a)-c) ermöglichen die Erfassung einer Rückmeldung vom Prozess und/oder Bauteil, ohne dass optische Elemente des neuronalen Netzes, beispielsweise räumliche Lichtmodulatoren bei hoher Leistung, wie sie im Materialbearbeitungsprozess üblicherweise benötigt werden, zerstört werden können.
Fig. 4 zeigt eine schematische Ansicht eines Systems gemäß Ausführungsbeispielen der vorliegenden Erfindung. System 400 umfasst eine optische Vorrichtung 410, sowie einen Detektor 420, der dazu ausgebildet ist, um die optische Echtzeitinformation 412 zu detektieren und basierend auf der optischen Echtzeitinformation ein elektrisches Signal 421 bereitzustellen. Das optische Eingangssignal vom Prozess P ist mit Bezugszeichen 411 gekennzeichnet.
Die Vorrichtung 410 kann insbesondere vorig erläuterte, optionale Merkmale aufweisen, sowohl individuell als auch in Kombination.
Als weiteres optionales Merkmal umfasst das System 400 eine Verarbeitungseinrichtung 430, die dazu ausgebildet ist, um basierend auf dem elektrischen Signal 421 des Detektors 420 den Prozess P zu steuern und/oder zu regeln. Dazu ist als optionales Merkmal ein Stelleingriff 431 in den Prozess P gezeigt. Alternativ oder zusätzlich kann die Verarbeitungseinrichtung 430 dazu ausgebildet sein, um basierend auf dem elektrischen Signal des Detektors eine Information bezüglich des Prozesses bereitzustellen. Dabei kann dann bspw. Stelleingriff 431 nicht vorhanden sein und stattdessen von der Verarbeitungseinrichtung 430 die Information bezüglich des Prozesses bereitgestellt werden.
Konkret kann es sich bei dem Prozess bspw. um einen Materialbearbeitungsprozess und/oder einen Messprozess unter Verwendung eines Lasers handeln, wobei die Verarbeitungseinrichtung 430 entsprechend dazu ausgebildet sein kann, um basierend auf dem elektrischen Signal 421 des Detektors den Laser zu steuern und/oder zu regeln.
Fig. 5 zeigt eine schematische Ansicht einer optischen Vorrichtung gemäß Ausführungsbeispielen mit einem anpassbaren optischen Element. Vorrichtung 500 umfasst ein optisches neuronales Netz 510, sowie als weiteres optionales Merkmal eine optische Einrichtung 520. Die optische Einrichtung ist dabei dazu ausgebildet, um basierend auf dem optischen Eingangssignal 501 ein optisches Signal 502 für das optische neuronale Netz 510 bereitzustellen, wobei das optische neuronale Netz 510 wiederum dazu ausgebildet ist, um die Echtzeitinformation 503 bereitzustellen.
Als optionales Merkmal umfasst das optische diffraktive neuronale Netz zumindest ein statisches optisches Element 512 und zumindest ein anpassbares optisches Element 514. Dabei ist das anpassbare optische Element dazu ausgebildet, um die Verarbeitung des optischen Eingangssignals 501 im optischen diffraktiven neuronalen Netz zu verändern. Anders ausgedrückt kann es sich also bei dem anpassbaren optischen Element um ein einstellbares oder bspw. dynamisches optisches Element handeln, welches also verändert werden kann. Im Folgenden wird ein erfindungsgemäßes Verfahren zur Bereitstellung einer optischen Vorrichtung, bspw. einer Vorrichtung 500 (siehe Fig. 5, optional ohne optische Einrichtung 520) diskutiert.
Fig. 6 zeigt ein schematisches Blockdiagramm eines solchen erfindungsgemäßen Verfahrens zum Bereitstellen einer optischen Vorrichtung, wobei die optische Vorrichtung, z.B. 500, ein optisches neuronales Netz, z.B. 510, aufweist, das dazu ausgebildet ist, um basierend auf einem optischen Eingangssignal, z.B. 501 , welches von einem Prozess abgestrahlt und/oder reflektiert wird, eine optische Echtzeitinformation, z.B. 503, bezüglich des Prozesses bereitzustellen, wobei das optische neuronale Netz zumindest ein erstes optisches Element, z.B. 512, und zumindest ein anpassbares optisches Element, z.B. 514, aufweist.
Das Verfahren 600 umfasst dabei ein simulatives Vortrainieren 610 eines virtuellen Modells des optischen neuronalen Netzes mit einem ersten Satz Trainingsdaten, wobei in dem virtuellen Modell das zumindest eine erste optische Element, z.B. 512, und das zumindest eine anpassbare optische Element, z.B. 514, abgebildet sind. Ferner umfasst das Verfahren 600 ein Erzeugen des optischen neuronalen Netzes, z.B. 510, basierend auf dem vortrainierten Modell, ein Anpassen des zumindest einen anpassbaren optischen Elements im virtuellen vortrainierten Modell des optischen neuronalen Netzes, basierend auf einem simulativen Training des virtuellen vortrainierten Modells mit einem zweiten Satz Trainingsdaten und ein Anpassen des zumindest einen anpassbaren optischen Elements, z.B. 514 des optischen neuronalen Netzes entsprechend dem angepassten virtuellen Modell des optischen neuronalen Netzes, um die optische Vorrichtung, z.B. 500, bereitzustellen.
Dabei können das eine oder die mehreren ersten optischen Elemente, also z.B. 512 aus Fig. 500, optional statische oder anpassbare, also bspw. dynamische optische Elemente sein. Hierbei ist auch eine Kombination statischer und anpassbarer Elemente möglich.
Gemäß Ausführungsbeispielen kann also ein Teil der optischen Elemente des optischen neuronalen Netzes basierend auf einem ersten Training eingestellt werden, bspw. fest eingestellt werden bspw. mittels statischer optischer Elemente, und ein zweiter Teil der optischen Elemente des Netzes, welche anpassbar und/oder einstellbar sind, kann basierend auf einem zweiten Training nachjustiert werden. Somit können bspw. Methoden des Transferlernens angewendet werden. Hierbei sei jedoch nochmals darauf hingewiesen, dass das Training gemäß Ausführungsbeispielen unter Verwendung von Bildern rein am Computer durchgeführt werden und eine erfindungsgemäße Anordnung keine dynamischen Elemente aufweisen oder benötigen kann. Somit können auch bekannte Trainingsverfahren (bspw. für Anwendungen in der Bilderkennung) zur Bereitstellung einer erfindungsgemäßen Vorrichtung verwendet werden.
Ferner kann das Erstellen des ersten und/oder zweiten Satzes von Trainingsdaten optional unter Verwendung einer selben optischen Einrichtung erfolgen. Die Erfinder haben erkannt, dass eine Trainingsgüte verbessert werden kann, wenn die Trainingsdaten mit derselben optischen Einrichtung erzeugt werden, welche zur Bereitstellung des optischen Signals aus dem optischen Eingangssignal für das neuronale Netz verwendet wird.
Somit können Abbildungsfehler, bspw. bei der Verwendung unterschiedlicher Optiken für die Erzeugung der Trainingsdaten im Vergleich zum „Feldeinsatz“ der optischen Vorrichtung, verhindert oder vermindert werden.
Ein Beispielablauf eines erfindungsgemäßen Trainings eines ONNs kann also bspw. Folgendes umfassen:
1 . Optionale Einrichtung der externen Beleuchtung, wenn erforderlich/vorteilhaft
2. Z.B. klassische Kameraaufnahmen für Trainingsdaten aufnehmen. Die Kamera kann je nach Prozessanforderungen nur als Sensor aber auch mit einem Objektiv oder in einem koaxialen Strahlengang durch die Bearbeitungsoptik verwendet werden. Dieses Objektiv kann dann optional anschließend im Aufbau verbleiben (bspw. als optische Einrichtung der optischen Vorrichtung) bzw. die Integration des ONNs könnte optional dann ebenfalls koaxial erfolgen.
3. Labeling, bspw. Klassifikation, der (z.B. elektronischen) Trainingsdaten: Bspw. bei einfachen Features wie Größe des Schmelzbades kann dies optional automatisiert erfolgen, z.B. durch etablierte Bildverarbeitungsmethoden, bspw. bei komplexeren Daten kann dies manuell erfolgen. Trainingsdaten können optional künstlich, z.B. durch Spiegelungen/Drehungen, wenn sinnvoll, hochskaliert werden.
4. T raining eines ONNs mit den gelabelten T rainingsdaten am Computer: Komplexität des ONNs kann bspw. anhand der Komplexität der Aufgabe entschieden werden. Ein vortrainiertes ONN auf z.B. dem image-net Datenset kann mit Transferlearning genutzt werden, um lediglich die letzten, bspw. 1 -2, Ebenen durch anpassbare optische Elemente, bspw. SLMs, abzubilden (die neu trainiert werden können oder sogar müssen)
-> Vorteil der schnellen Anpassung in einer seriellen Produktion
5. Herstellung der benötigten ersten optischen Elemente, bspw. DOEs (z.B. extern, bspw. mittels bekannter Verfahren aus dem Stand-der-Technik) und, optional vollständige, Integration des Systems (bspw. mit zusätzlichen optischen Komponenten, z.B. in Abhängigkeit von weiteren Anwendungseigenschaften) in Prozessaufbau, z.B. koaxial.
Im Folgenden werden Ausführungsbeispiele nochmals in anderen Worten erläutert, bspw. mit weiteren optionalen Merkmalen und weitere Ausführungsbeispielen werden diskutiert.
Ausführungsbeispiele sind nicht auf die Prozessüberwachung in der Lasermaterialbearbeitung beschränkt. Generell können Bilddaten aus Fertigungsprozessen oder anderen Bereichen (z.B. Gesichtserkennung, Umgebungsanalyse, autonomes Fahren, ...) extrem schnell durch kompakte Sensorik ausgewertet werden.
Dafür umfassen Ausführungsbeispiele eine neuartige Komponente und Methode zur Erfassung und Auswertung von Prozessbildern. Dabei wird ein optisches neuronales Netz, bspw. in Form eines diffraktiven neuronalen Netzes (DNN) eingesetzt, um das von der Prozesszone kommende Licht, z.B. direkt in der Bearbeitungsoptik, auszuwerten und so (z.B. anstelle von 2D Bilddaten) ein Intensitätsmuster auszugeben, indem die Ergebnisse der Auswertung oder neue Steuersignale kodiert sein können. Gegenüber konventionellen Methoden (z.B. Auswertung oder ausschließliche Auswertung in einer elektronischen Recheneinheit) bieten Ausführungsbeispiele den Vorteil, dass die Datenverarbeitung oder zumindest ein Teil der Datenverarbeitung mit Lichtgeschwindigkeit erfolgen kann. Die Bildanalyse steht der Regeleinheit also bspw. praktisch instantan zur Verfügung. Ausführungsbeispiele können damit die längeren Rechenzeiten im Computer umgehen.
Wie zuvor erläutert, lösen Ausführungsbeispiele gemäß der Erfindung Nachteile im Stand der Technik also bspw. unter anderem, indem die Prozessbildanalyse in einem optischen neuronalen Netz (z.B. 110, 210, 310, 332), durchgeführt wird. Der Informationsträger für die (optische) Berechnung ist somit bspw. das von der Prozesszone eingesammelte Licht (z.B. in Form des optisches Eingangssignals 1 11 , 201 , 340, 41 1 , 501 ) selbst. Das Licht kann somit ein optisches System durchlaufen und dabei bspw. Modifikationen (z.B. in Phase und/oder Amplitude) erfahren, die analog zur Verarbeitung von Informationen in einem (digitalen) neuronalen Netz erfolgen können. Ein Unterschied liegt bspw. darin, dass die Informationsverarbeitung mit Lichtgeschwindigkeit erfolgt und neben den eingesetzten optischen Elementen (z.B. 512, 514) zur Phasen- und Amplitudenmanipulation keine weitere (elektronische) Hardware zur Berechnung benötigt wird. Je nach Art und Anzahl der Ausgangsgrößen des Netzes können Detektoren (z.B. 420) mit einzelnen Pixeln, Linienarrays oder Flächendetektoren eingesetzt werden.
Gemäß Ausführungsbeispielen ist die Bilderfassung und die Bildverarbeitung in einem optischen System kombiniert, das bspw. aus einer Abfolge von konventionellen Optiken (z.B. Linsen, Strahlteiler, Spiegel, ... bspw. einer optischen Einrichtung 230, 520 und/oder einer Bearbeitungsoptik 320), diffraktiven optischen Elementen, DOEs, (z.B. 512), und auch Spatial Light Modulators (SLMs) (z.B. 514) wie zum Beispiel Liquid Crystal basierte Technologie oder Mikrospiegelarrays, bestehen kann. Das optische neuronale Netz, bspw. in Form eines diffraktiven optischen neuronalen Netzes, DNN, kann z.B. aus einer Abfolge von Phasen- oder Amplitudenmasken bestehen und kann in Reflexion oder Transmission mit diffraktiven optischen Elementen (DOEs), SLMs oder Metaoptiken sowohl statisch als auch dynamisch realisiert werden. Ausführungsbeispiele sind dabei nicht auf spezielle diffraktive neuronale Netze eingeschränkt. Gemäß Ausführungsbeispielen können verschiedene Konzepte eines DNNs und verschiedene Formen der Umsetzung verwendet werden. Gemäß Ausführungsbeispielen kann das DNN z.B. direkt in die Beobachtungsoptik integriert werden (siehe bspw. Fig. 3a)-c)). Die Auswertung kann z.B. mit einem CCD-Chip oder je nach Anwendung durch Zeilendetektoren oder einzelne Photodioden erfolgen. Die Wahl der Detektoren kann bspw. von der Anzahl und Art (Scalar oder Binär) der Ausgangsparameter des DNNs abhängen. Das optische System oder die optische Vorrichtung kann ferner optional einen oder mehrere wellenlängenselektive Filter (z.B. 220) beinhalten, um z.B. nur das Licht aus der gezielten Beleuchtung (z.B. 240) des Prozesses zu analysieren. Die Beleuchtung des Prozesses kann optional mit einer kohärenten Quelle erfolgen. Anders ausgedrückt kann die Lichtquelle bspw. eine kohärente Lichtquelle sein, bspw. in Form eines Lasers.
Enthält das optische neuronale Netz, bspw. DNN, eine oder mehrere dynamische Elemente, beispielweise einen SLM, kann die Funktion des Sensors, z.B. zeitlich, verändert werden. Die Anpassung kann zum Trainieren des DNNs genutzt werden, beispielsweise, um das DNN an Umgebungsbedingungen des Prozesses anzupassen oder zur Änderung des Auswertealgorithmus z.B. bei geänderten Qualitätsanforderungen oder Änderungen des Prozesses (z.B. Material, Produktart, ...).
Im Folgenden wird unter anderem auf weitere erfinderische Vorteile von Ausführungsbeispielen gegenüber konventionellen Lösungen eingegangen. Ausführungsbeispiele können eine extrem schnelle Bildauswertung in der Prozessüberwachung mit Lichtgeschwindigkeit ermöglichen und können eine elektronische Recheneinheit, die ansonsten für die Bildverarbeitung (z.B. einschließlich der Auswertung von neuronalen Netzen) eingesetzt würde, obsolet machen. Die elektronische Recheneinheit umfasst in der Regel auch spezielle Hardware, wie Graphic Processing Units (GPUs) zur schnellen Bildauswertung. Ein entsprechender Sensor, also bspw. eine optische Vorrichtung oder ein System gemäß Ausführungsbeispielen, zur Prozessbeobachtung kann sehr klein, kompakt und kostengünstig gebaut werden. Eine Sensoreinheit kann z.B. minimal einen oder mehreren DOEs und einen Detektor, bspw. eine Photodiode (, die beispielweise detektiert, ob ein Prozess innerhalb definierter Qualitätskriterien abläuft), umfassen. Diese Sensoren können keine angeschlossene oder integrierte elektronische Recheneinheit benötigen. Die Sensoren können dann bspw. direkt an die Prozesssteuerung angeschlossen werden. So können bspw. ohne Umweg über eine Recheneinheit direkt die Prozessparameter verändert werden, wie beispielsweise Prozessgeschwindigkeit, Materialzufuhr oder Laserleistung.
Da beim optischen neuronalen Netz die Berechnungen zur Bildauswertung mit dem Prozesslicht selbst durchgeführt werden kann, kann dafür ohne weitere Energie ausgekommen werden. In anderen Worten kann bspw. keine weitere Energie verbraucht werden oder werden müssen. Der Energieverbrauch des gesamten Sensors, also bspw. eines Systems gemäß Ausführungsbeispielen, bezieht sich dabei, z.B. einzig, oder größtenteils auf die Auswertung des Detektors und optional zusätzlich die eingesetzte Beleuchtung.
Ausführungsbeispiele können somit insbesondere Laserbearbeitungsmaschinen und OEM (Original Equipment Manufacturer, Erstausrüster) im Bereich der Sensorik umfassen, oder derartige Anwendungsfelder adressieren.
Ausführungsbeispiele umfassen oder ermöglichen oder adressieren ferner Anwendungen wie bspw.: Analyse von Fertigungsprozessen, Umgebungen, Objekten, beispielsweise eine solche, die auf der Auswertung von Bilddaten durch neuronale Netze basiert oder für die eine solche Auswertung zu langsam oder zu ineffizient ist.
Fig. 7 zeigt eine schematische Ansicht eines Systems gemäß Ausführungsbeispielen mit weiteren, optionalen Merkmalen. Das System 700 umfasst eine optische Vorrichtung 710, bspw. einen Sensor, mit diffraktiven optischen Elementen 712, einer optionalen optischen Einrichtung 714, welche bspw. ein optisches Element umfasst, sowie einer optionalen Lichtquelle in Form der Beleuchtungsquelle 716. Das System 700 umfasst ferner einen Detektor 720. Als weiteres optionales Merkmal umfasst das System 700 eine Verarbeitungseinrichtung in Form einer Anlagensteuerung 730, sowie Signalleitungen 731.
Ferner ist in Fig. 7 ein Bearbeitungskopf 740, bspw. ein Laserbearbeitungskopf gezeigt, sowie ein Werkstück 750.
Das Werkstück 750 kann somit vom Bearbeitungskopf 740, bspw. mittels eines Laserstrahl 741 bearbeitet werden. Vom Werkstück aus kann vom Laserstrahl ein Signal in Richtung der Vorrichtung 710 reflektiert werden, welche das optische Eingangssignal 701 oder zumindest einen Teil des optischen Eingangssignals 701 bilden kann. Zusätzlich kann das Eingangssignal 701 Strahlungsanteile umfassen, welche vom Werkstück selbst, bspw. aufgrund von thermischer Abstrahlung, ausgestrahlt werden. Als weitere Option, kann die Lichtquelle 716 das Werkstück 750 beleuchten und somit basierend auf weiteren Reflexionen einen weiteren Anteil des Eingangssignals 701 bereitstellen. Eine solche Beleuchtung kann bspw. auch von Umgebungslicht (bspw. Tageslicht oder Raumbeleuchtung) bereitgestellt werden.
Es sei hier nochmals darauf hingewiesen, dass eine beliebige Kombination zur Erzeugung des optischen Eingangssignals verwendet werden kann. Bspw. kann vom Laser reflektierte Strahlung alleinig das Eingangssignal bilden (ohne die Verwendung einer zusätzlichen Lichtquelle 716, z.B. in Form eines Lasers). Bei einem Prozess wie bspw. Wasserstahlschneiden kann bspw. die Lichtquelle (da keine Reflexion von Laserstrahlung eines Bearbeitungslasers vorhanden) zur alleinigen Erzeugung des Eingangssignals verwendet werden. In allen Fällen kann reflektiertes Raumlicht, bspw. Tageslicht, einen das Eingangssignal oder einen Teil davon bilden. Bei anderen Bearbeitungsvorgängen kann das Eingangssignal 701 wiederum alleinig von thermischer Strahlung des Werkstücks gebildet sein. Jedoch ist selbstverständlich auch jedwede Kombination dieser eingangssignalerzeugenden Möglichkeiten erfindungsgemäß einsetzbar.
In anderen Worten kann gemäß Ausführungsbeispielen die Szenerie sichtbar gemacht werden, sowohl durch eine aktive Beleuchtung als auch durch das Umgebungslicht, oder die thermischen Emissionen aus dem Prozess werden analysiert.
Basierend auf dem Eingangssignal 701 , welches bspw. noch zusätzlich gefiltert werden könnte, bspw. wellenlängenselektiv, wird dem optischen neuronalen Netz, welches bspw. die Elemente 712 umfasst, ein optisches Signal 702 zugeführt werden, auf dessen Basis die Echtzeitinformation 703 bereitgestellt wird. Diese kann mittels Detektor 720 detektiert werden und in elektrischer Form an die Anlagensteuerung 730 weitergeleitet werden.
Hierbei sei darauf hingewiesen, dass der Detektor 720 in der Vorrichtung 710 oder auch bspw. nur lediglich in einem gemeinsamen Gehäuse integriert sein kann. Eine externe Anordnung ist jedoch ebenfalls möglich. Basierend auf der detektierten Echtzeitinformation kann dann eine weitere Auswertung in der Anlagensteuerung 730 erfolgen und/oder eine Regelung oder Steuerung des Bearbeitungskopfes 740 (z.B. bezüglich Geschwindigkeit, Leistung).
Für andere Anwendungsfälle kann es sich bei dem Bearbeitungskopf bspw. um einen Schneidkopf handeln.
Alle hierin aufgeführten Aufzählungen der Materialien, Umwelteinflüsse, elektrischen Eigenschaften und optischen Eigenschaften sind hierbei als beispielhaft und nicht als abschließend anzusehen.
Obwohl manche Aspekte im Zusammenhang mit einer Vorrichtung beschrieben wurden, versteht es sich, dass diese Aspekte auch eine Beschreibung des entsprechenden Verfahrens darstellen, sodass ein Block oder ein Bauelement einer Vorrichtung auch als ein entsprechender Verfahrensschritt oder als ein Merkmal eines Verfahrensschrittes zu verstehen ist. Analog dazu stellen Aspekte, die im Zusammenhang mit einem oder als ein Verfahrensschritt beschrieben wurden, auch eine Beschreibung eines entsprechenden Blocks oder Details oder Merkmals einer entsprechenden Vorrichtung dar. Einige oder alle der Verfahrensschritte können durch einen Hardware-Apparat (oder unter Verwendung eines Hardware- Apparats), wie zum Beispiel einen Mikroprozessor, einen programmierbaren Computer oder eine elektronische Schaltung ausgeführt werden. Bei einigen Ausführungsbeispielen können einige oder mehrere der wichtigsten Verfahrensschritte durch einen solchen Apparat ausgeführt werden.
Je nach bestimmten Implementierungsanforderungen können Ausführungsbeispiele der Erfindung in Hardware oder in Software implementiert sein. Die Implementierung kann unter Verwendung eines digitalen Speichermediums, beispielsweise einer Floppy-Disk, einer DVD, einer Blu-ray Disc, einer CD, eines ROM, eines PROM, eines EPROM, eines EEPROM oder eines FLASH-Speichers, einer Festplatte oder eines anderen magnetischen oder optischen Speichers durchgeführt werden, auf dem elektronisch lesbare Steuersignale gespeichert sind, die mit einem programmierbaren Computersystem derart Zusammenwirken können oder Zusammenwirken, dass das jeweilige Verfahren durchgeführt wird. Deshalb kann das digitale Speichermedium computerlesbar sein.
Manche Ausführungsbeispiele gemäß der Erfindung umfassen also einen Datenträger, der elektronisch lesbare Steuersignale aufweist, die in der Lage sind, mit einem programmierbaren Computersystem derart zusammenzuwirken, dass eines der hierin beschriebenen Verfahren durchgeführt wird.
Allgemein können Ausführungsbeispiele der vorliegenden Erfindung als Computerprogrammprodukt mit einem Programmcode implementiert sein, wobei der Programmcode dahingehend wirksam ist, eines der Verfahren durchzuführen, wenn das Computerprogrammprodukt auf einem Computer abläuft.
Der Programmcode kann beispielsweise auch auf einem maschinenlesbaren Träger gespeichert sein.
Andere Ausführungsbeispiele umfassen das Computerprogramm zum Durchführen eines der hierin beschriebenen Verfahren, wobei das Computerprogramm auf einem maschinenlesbaren Träger gespeichert ist.
Mit anderen Worten ist ein Ausführungsbeispiel des erfindungsgemäßen Verfahrens somit ein Computerprogramm, das einen Programmcode zum Durchführen eines der hierin beschriebenen Verfahren aufweist, wenn das Computerprogramm auf einem Computer abläuft.
Ein weiteres Ausführungsbeispiel der erfindungsgemäßen Verfahren ist somit ein Datenträger (oder ein digitales Speichermedium oder ein computerlesbares Medium), auf dem das Computerprogramm zum Durchführen eines der hierin beschriebenen Verfahren aufgezeichnet ist. Der Datenträger, das digitale Speichermedium oder das computerlesbare Medium sind typischerweise gegenständlich und/oder nichtvergänglich bzw. nichtvorübergehend.
Ein weiteres Ausführungsbeispiel des erfindungsgemäßen Verfahrens ist somit ein Datenstrom oder eine Sequenz von Signalen, der bzw. die das Computerprogramm zum Durchführen eines der hierin beschriebenen Verfahren darstellt bzw. darstellen. Der Datenstrom oder die Sequenz von Signalen kann bzw. können beispielsweise dahingehend konfiguriert sein, über eine Datenkommunikationsverbindung, beispielsweise über das Internet, transferiert zu werden.
Ein weiteres Ausführungsbeispiel umfasst eine Verarbeitungseinrichtung, beispielsweise einen Computer oder ein programmierbares Logikbauelement, die dahingehend konfiguriert oder angepasst ist, eines der hierin beschriebenen Verfahren durchzuführen.
Ein weiteres Ausführungsbeispiel umfasst einen Computer, auf dem das Computerprogramm zum Durchführen eines der hierin beschriebenen Verfahren installiert ist.
Ein weiteres Ausführungsbeispiel gemäß der Erfindung umfasst eine Vorrichtung oder ein System, die bzw. das ausgelegt ist, um ein Computerprogramm zur Durchführung zumindest eines der hierin beschriebenen Verfahren zu einem Empfänger zu übertragen. Die Übertragung kann beispielsweise elektronisch oder optisch erfolgen. Der Empfänger kann beispielsweise ein Computer, ein Mobilgerät, ein Speichergerät oder eine ähnliche Vorrichtung sein. Die Vorrichtung oder das System kann beispielsweise einen Datei-Server zur Übertragung des Computerprogramms zu dem Empfänger umfassen.
Bei manchen Ausführungsbeispielen kann ein programmierbares Logikbauelement (beispielsweise ein feldprogrammierbares Gatterarray, ein FPGA) dazu verwendet werden, manche oder alle Funktionalitäten der hierin beschriebenen Verfahren durchzuführen. Bei manchen Ausführungsbeispielen kann ein feldprogrammierbares Gatterarray mit einem Mikroprozessor Zusammenwirken, um eines der hierin beschriebenen Verfahren durchzuführen. Allgemein werden die Verfahren bei einigen Ausführungsbeispielen seitens einer beliebigen Hardwarevorrichtung durchgeführt. Diese kann eine universell einsetzbare Hardware wie ein Computerprozessor (CPU) sein oder für das Verfahren spezifische Hardware, wie beispielsweise ein ASIC.
Die hierin beschriebenen Vorrichtungen können beispielsweise unter Verwendung eines Hardware-Apparats, oder unter Verwendung eines Computers, oder unter Verwendung einer Kombination eines Hardware-Apparats und eines Computers implementiert werden.
Die hierin beschriebenen Vorrichtungen, oder jedwede Komponenten der hierin beschriebenen Vorrichtungen können zumindest teilweise in Hardware und/oder in Software (Computerprogramm) implementiert sein. Die hierin beschriebenen Verfahren können beispielsweise unter Verwendung eines Hardware-Apparats, oder unter Verwendung eines Computers, oder unter Verwendung einer Kombination eines Hardware-Apparats und eines Computers implementiert werden. Die hierin beschriebenen Verfahren, oder jedwede Komponenten der hierin beschriebenen Verfahren können zumindest teilweise durch Hardware und/oder durch Software ausgeführt werden.
Die oben beschriebenen Ausführungsbeispiele stellen lediglich eine Veranschaulichung der Prinzipien der vorliegenden Erfindung dar. Es versteht sich, dass Modifikationen und Variationen der hierin beschriebenen Anordnungen und Einzelheiten anderen Fachleuten einleuchten werden. Deshalb ist beabsichtigt, dass die Erfindung lediglich durch den Schutzumfang der nachstehenden Patentansprüche und nicht durch die spezifischen Einzelheiten, die anhand der Beschreibung und der Erläuterung der Ausführungsbeispiele hierin präsentiert wurden, beschränkt sei.
Referenzen
US6597449B1 Real time process control of optical components using linearly swept tunable laser
US5517420A Method and apparatus for real-time control of laser processing of materials
CA2467221 A1 Method and system for real-time monitoring and controlling height of deposit by using image photographing and image processingtechnology in lasercladding and laser-aided direct metal manufacturing process
CN000216680796U Laser power real-time online monitoring device and laser processing system
CN000214161805U Laser processing quality monitoring system
CN000210967526U System for monitoring laser processing performance in real time
CN000206775660U Three cascade optical network monitoring devices
CN000203981562U Real-time monitoring device for interaction process between optical material and laser
CN000201052570Y Real time monitoring device forthree-dimensional laser welding and cutting process
CN0001 14549479A Process monitoring system and method for laser additive remanufacturing equipment
CN0001 14486687A Multi-scale continuous observation feedback method and device for femtosecond laser processing of cells
CN0001 14450120A Laser processing monitoring method and laser processing monitoring device
CN000203981562U Real-time monitoring device for interaction process between optical material and laser
CN0001 14549479A Process monitoring system and method for laser additive remanufacturing equipment
Knaak et AL, "A Spatio-Temporal Ensemble Deep Learning Architecture for Real-Time Defect Detection during Laser Welding on Low Power Embedded Computing Boards", Sensors, 2021
Schindhelm „In-Prozess Qualitätssicherung für das Laserstrahlschneiden von Metallen", Herbert Utz, 2014
Gehrke: Überwachung der Struktureigenschaften beim Oberflächenstrukturieren mit ultrakurzen Laserpulsen", Herbert Utz, 2013 Lin et AI . “All-optical machine learning using diffractive deep neural networks", Science, 2018
Chen et AL, “Diffractive Deep Neural Networks at Visible Wavelengths", Engineering, 2021

Claims

Patentansprüche
1 . Optische Vorrichtung (100, 200, 330, 410, 500, 710) zur Bereitstellung einer optischen Echtzeitinformation (1 12, 212, 412, 503, 703) bezüglich eines Prozesses; wobei die optische Vorrichtung dazu ausgebildet ist, um ein optisches Eingangssignal (1 11 , 201 , 340, 41 1 , 501 , 701 ), welches von dem Prozess abgestrahlt und/oder reflektiert wird, zu erfassen; und wobei die optische Vorrichtung ein optisches neuronales Netz (1 10, 210, 310, 332, 510) aufweist, das dazu ausgebildet ist, um basierend auf dem optischen Eingangssignal die optische Echtzeitinformation bezüglich des Prozesses bereitzustellen.
2. Optische Vorrichtung (100, 200, 330, 410, 500, 710) gemäß Anspruch 1 , wobei die optische Vorrichtung dazu ausgebildet ist, um zur Erfassung des optischen Eingangssignals (1 11 , 201 , 340, 411 , 501 , 701 ), welches von dem Prozess abgestrahlt und/oder reflektiert wird, das optische Eingangssignal unmittelbar von dem Prozess einzufangen.
3. Optische Vorrichtung (100, 200, 330, 410, 500, 710) gemäß einem der vorigen Ansprüche, ferner umfassend: eine optische Einrichtung (230, 520, 714), die dazu ausgebildet ist, um das optische Eingangssignal (1 11 , 201 , 340, 411 , 501 , 701 ) zu erhalten und um dem optischen neuronalen Netz (1 10, 210, 310, 332, 510), basierend auf dem Eingangssignal, ein optisches Signal (231 , 502, 702) zur Bestimmung der Echtzeitinformation (112, 212, 412, 503, 703) bereitzustellen.
4. Optische Vorrichtung (100, 200, 330, 410, 500, 710) gemäß Anspruch 3, wobei die optische Einrichtung (230, 520, 714) zumindest eines aus einer Linse, einem Strahlteiler, einem Spiegel, einem Wellenlängenfilter und/oder einer Apertur umfasst.
5. Optische Vorrichtung gemäß einem der vorigen Ansprüche, wobei der Prozess eine Strahlformung eines Prozessstrahls (310, 741 ) mittels einer Bearbeitungsoptik (320) umfasst; und wobei die optische Vorrichtung dazu ausgebildet ist, um das optische Eingangssignal (1 11 , 201 , 340, 41 1 , 501 , 701 ) via der Bearbeitungsoptik (320) und/oder via einzelner optischer Teilelemente (322, 324, 326) der Bearbeitungsoptik zu erhalten.
6. Optische Vorrichtung (100, 200, 330, 410, 500, 710) gemäß Anspruch 5, wobei die optische Vorrichtung einen Strahlteiler (332) aufweist; wobei der Strahlteiler dazu ausgebildet ist, um das optisches Eingangssignal (11 1 , 201 , 340, 411 , 501 , 701 ) via der Bearbeitungsoptik (320) und/oder via einzelner optischer Teilelemente (322, 324, 326) der Bearbeitungsoptik zu erhalten; und wobei die optische Vorrichtung dazu ausgebildet ist, um das optische Eingangssignal mittels des Strahlteilers von dem Prozessstrahl (310, 741 ) zu trennen; und wobei die optische Vorrichtung dazu ausgebildet ist, um dem optischen neuronalen Netz (110, 210, 310, 332, 510) das optische Eingangssignal mittels des Strahlteilers bereitzustellen.
7. Optische Vorrichtung (100, 200, 330, 410, 500, 710) gemäß einem der vorigen Ansprüche, wobei das optische neuronale Netz (110, 210, 310, 332, 510) zumindest eines aus einem diffraktiven optischen Element, einem räumlichen Lichtmodulator und/oder einer Metaoptik umfasst.
8. Optische Vorrichtung (100, 200, 330, 410, 500, 710) gemäß einem der vorigen Ansprüche, wobei der Prozess ein gesteuerter und/oder geregelter Prozess ist; und wobei das optische neuronale Netz (1 10, 210, 310, 332, 510) dazu ausgebildet ist, um basierend auf dem optischen Eingangssignal (11 1 , 201 , 340, 41 1 , 501 , 701 ) ein Steuerungssignal und/oder ein Regelungssignal zu bestimmen, und um das Steuerungssignal und/oder das Regelungssignal in der optischen Echtzeitinformation (1 12, 212, 412, 503, 703) zu kodieren.
9. Optische Vorrichtung (100, 200, 330, 410, 500, 710) gemäß einem der vorigen Ansprüche, wobei das optische neuronale Netz (110, 210, 310, 332, 510) dazu ausgebildet ist, um basierend auf dem optischen Eingangssignal einen Prozessparameter zu bestimmen, und um den Prozessparameter in der optischen Echtzeitinformation (112, 212, 412, 503, 703) zu kodieren.
10. Optische Vorrichtung (100, 200, 330, 410, 500, 710) gemäß einem der vorigen Ansprüche, wobei die optische Vorrichtung dazu ausgebildet ist, um eine Phase und/oder Amplitude des optischen Eingangssignals (111 , 201 , 340, 411 , 501 , 701 ) zu modifizieren, um die optische Echtzeitinformation (1 12, 212, 412, 503, 703) in Form eines Lichtpunktes, eines Linienstrahls und/oder eines zweidimensionalen Lichtarrays bereitzustellen.
11. Optische Vorrichtung (100, 200, 330, 410, 500, 710) gemäß einem der vorigen Ansprüche, wobei das optische neuronale Netz (1 10, 210, 310, 332, 510) zumindest ein statisches optisches Element (512, 712) und zumindest ein anpassbares optisches Element (514) aufweist; und wobei das anpassbare optische Element dazu ausgebildet ist, um die Verarbeitung des optischen Eingangssignals (11 1 , 201 , 340, 411 , 501 , 701 ) im optischen neuronalen Netz zu verändern.
12. Optische Vorrichtung (100, 200, 330, 410, 500, 710) gemäß einem der vorigen Ansprüche, ferner umfassend: ein optisches Filter (220), das dazu ausgebildet ist, um das optische Eingangssignal (1 11 , 201 , 340, 411 , 501 , 701 ) wellenlängenselektiv zu filtern, um dem optischen neuronalen Netz (1 10, 210, 310, 332, 510) ein gefiltertes optisches Eingangssignal (221 ) bereitzustellen.
13. Optische Vorrichtung (100, 200, 330, 410, 500, 710) gemäß einem der vorigen Ansprüche; ferner umfassend: eine Lichtquelle (240, 334, 716), wobei die Lichtquelle dazu ausgebildet ist, um den Prozess zu beleuchten, um das optische Eingangssignal (11 1 , 201 , 340, 41 1 , 501 , 701 ), welches von dem Prozess abgestrahlt und/oder reflektiert wird, zu erzeugen.
14. Optische Vorrichtung (100, 200, 330, 410, 500, 710) gemäß Anspruch 13, wobei das optische neuronale Netz (1 10, 210, 310, 332, 510) dazu ausgebildet ist, um Licht mit einer bestimmten optischen Eigenschaft zu verarbeiten; und wobei die Lichtquelle (240, 334, 716) dazu ausgebildet ist, um das Licht mit der bestimmten optischen Eigenschaft bereitzustellen.
15. Optische Vorrichtung (100, 200, 330, 410, 500, 710) gemäß einem der Ansprüche 13 oder 14, wobei die optische Vorrichtung einen Strahlteiler (336), den Strahlteiler (332) oder einen weiteren Strahlteiler (336) aufweist; wobei die optische Vorrichtung dazu ausgebildet ist, um das Licht der Lichtquelle (240, 334, 716) mittels des Strahlteilers oder des weiteren Strahlteilers vom optischen Eingangssignal (1 11 , 201 , 340, 41 1 , 501 , 701 ) zu trennen; und wobei die optische Vorrichtung dazu ausgebildet ist, um dem optischen neuronalen Netz (110, 210, 310, 332, 510) das optische Eingangssignal mittels des Strahlteilers oder des weiteren Strahlteilers bereitzustellen.
16. Optische Vorrichtung (100, 200, 330, 410, 500, 710) gemäß einem der Ansprüche 1 bis 13, wobei die optische Vorrichtung dazu ausgebildet ist, um ausschließlich mittels des optischen Eingangssignals (11 1 , 201 , 340, 41 1 , 501 , 701 ) mit Energie zur Bereitstellung der optischen Echtzeitinformation (112, 212, 412, 503, 703) versorgt zu werden.
17. Optisches System (400, 700) umfassend: eine optische Vorrichtung (100, 200, 330, 410, 500, 710) gemäß einem der vorigen Ansprüche; einen Detektor (320, 720), der dazu ausgebildet ist, um die optische Echtzeitinformation (1 12, 212, 412, 503, 703) zu detektieren und basierend auf der optischen Echtzeitinformation ein elektrisches Signal (421 ) bereitzustellen; wobei der Detektor zumindest eines aus einer Photodiode, einem Zeilendetektor und/oder einem Flächendetektor umfasst.
18. Optisches System (400, 700) gemäß Anspruch 17, ferner umfassend: eine Verarbeitungseinrichtung (430, 730), die dazu ausgebildet ist, um basierend auf dem elektrischen Signal (421 ) des Detektors (320, 720) den Prozess zu steuern und/oder zu regeln; und/oder um basierend auf dem elektrischen Signal des Detektors eine Information bezüglich des Prozesses bereitzustellen.
19. Optisches System (400, 700) gemäß Anspruch 18, wobei der Prozess ein Materialbearbeitungsprozess und/oder ein Messprozess unter Verwendung eines Lasers ist und wobei die Verarbeitungseinrichtung (430, 730) dazu ausgebildet ist, um basierend auf dem elektrischen Signal (421 ) des Detektors (320, 720) den Laser zu steuern und/oder zu regeln.
20. Verfahren (600) zum Bereitstellen einer optischen Vorrichtung, wobei die optische Vorrichtung (100, 200, 330, 410, 500, 710) ein optisches neuronales Netz (1 10, 210, 310, 332, 510) aufweist, das dazu ausgebildet ist, um basierend auf einem optischen Eingangssignal (11 1 , 201 , 340, 411 , 501 , 701 ), welches von einem Prozess abgestrahlt und/oder reflektiert wird, eine optische Echtzeitinformation (1 12, 212, 412, 503, 703) bezüglich des Prozesses bereitzustellen; wobei das optische neuronale Netz zumindest ein erstes optisches Element (512, 712) und zumindest ein anpassbares optisches Element (514) aufweist; wobei das Verfahren die folgenden Merkmale umfasst:
Simulatives Vortrainieren (610) eines virtuellen Modells des optischen neuronalen Netzes mit einem ersten Satz Trainingsdaten, wobei in dem virtuellen Modell das zumindest eine erste optische Element und das zumindest eine anpassbare optische Element abgebildet sind; und
Erzeugen (620) des optischen neuronalen Netzes basierend auf dem vortrainierten Modell;
Anpassen (630) des zumindest einen anpassbaren optischen Elements im virtuellen vortrainierten Modell des optischen neuronalen Netzes, basierend auf einem simulativen Training des virtuellen vortrainierten Modells mit einem zweiten Satz Trainingsdaten; und
Anpassen (640) des zumindest einen anpassbaren optischen Elements des optischen neuronalen Netzes entsprechend dem angepassten virtuellen Modell des optischen neuronalen Netzes, um die optische Vorrichtung bereitzustellen.
21 . Verfahren (600) gemäß Anspruch 20, wobei das zumindest eine erste optische Element ein statisches oder ein anpassbares optisches Element ist.
22. Verfahren (600) gemäß einem der Ansprüche 20 oder 21 , ferner umfassend:
Erzeugen des ersten und/oder zweiten Satzes von Trainingsdaten unter Verwendung einer Kamera, die das optische Eingangssignal (1 11 , 201 , 340, 41 1 , 501 , 701 ) über eine optische Einrichtung (230, 320, 520, 714) erfasst; und Verwenden der optischen Einrichtung, um dem optischen neuronalen Netz (110, 210, 310, 332, 510), basierend auf dem optischen Eingangssignal, ein optisches Signal zur Bestimmung der Echtzeitinformation (1 12, 212, 412, 503, 703) bereitzustellen.
23. Verfahren (600) gemäß einem der Ansprüche 20 bis 21 , ferner umfassend:
Erzeugen des ersten und/oder zweiten Satzes von Trainingsdaten unter Verwendung einer Kamera, die das optische Eingangssignal (1 11 , 201 , 340, 41 1 , 501 , 701) über eine optische Einrichtung (230, 320, 520, 714) erfasst; und
Verwenden derselben optischen Einrichtung, um dem optischen neuronalen Netz (110, 210, 310, 332, 510), basierend auf dem optischen Eingangssignal, ein optisches Signal zur Bestimmung der Echtzeitinformation (1 12, 212, 412, 503, 703) bereitzustellen.
24. Optische Vorrichtung (100, 200, 330, 410, 500, 710) zur Bereitstellung einer optischen Echtzeitinformation (1 12, 212, 412, 503, 703) bezüglich eines Prozesses; wobei der Prozess ein Materialbearbeitungsprozess und/oder ein Messprozess unter Verwendung eines Lasers ist, bei dem ein Werkstück vermessen oder bearbeitet wird; wobei die optische Vorrichtung dazu ausgebildet ist, um ein optisches Eingangssignal (1 11 , 201 , 340, 411 , 501 , 701 ), welches von dem Prozess abgestrahlt und/oder reflektiert wird, zu erfassen; und wobei die optische Vorrichtung ein optisches neuronales Netz (1 10, 210, 310, 332, 510) aufweist, das dazu ausgebildet ist, um basierend auf dem optischen Eingangssignal die optische Echtzeitinformation bezüglich des Prozesses bereitzustellen.
25. Optische Vorrichtung (100, 200, 330, 410, 500, 710) zur Bereitstellung einer optischen Echtzeitinformation (1 12, 212, 412, 503, 703) bezüglich eines Prozesses; wobei der Prozess ein Materialbearbeitungsprozess und/oder ein Messprozess unter Verwendung eines Lasers ist; und wobei die optische Vorrichtung dazu ausgebildet ist, um ein optisches Eingangssignal (1 11 , 201 , 340, 41 1 , 501 , 701 ), welches von dem Prozess abgestrahlt und/oder reflektiert wird, zu erfassen; und wobei die optische Vorrichtung ein optisches neuronales Netz (1 10, 210, 310, 332, 510) aufweist, das dazu ausgebildet ist, um basierend auf dem optischen Eingangssignal die optische Echtzeitinformation bezüglich des Prozesses bereitzustellen; wobei die optische Vorrichtung dazu ausgebildet ist, um zur Erfassung des optischen Eingangssignals (11 1 , 201 , 340, 41 1 , 501 , 701 ), welches von dem Prozess abgestrahlt und/oder reflektiert wird, das optische Eingangssignal unmittelbar von dem Prozess einzufangen.
26. Optische Vorrichtung (100, 200, 330, 410, 500, 710) gemäß Anspruch 25, wobei der Prozess ein gesteuerter und/oder geregelter Prozess ist; und wobei das optische neuronale Netz (1 10, 210, 310, 332, 510) dazu ausgebildet ist, um basierend auf dem optischen Eingangssignal (1 11 , 201 , 340, 411 , 501 , 701 ) ein Steuerungssignal und/oder ein Regelungssignal für den Materialbearbeitungsprozess und/oder den Messprozess zu bestimmen, und um das Steuerungssignal und/oder das Regelungssignal in der optischen Echtzeitinformation (112, 212, 412, 503, 703) zu kodieren.
27. Optische Vorrichtung (100, 200, 330, 410, 500, 710) zur Bereitstellung einer optischen Echtzeitinformation (1 12, 212, 412, 503, 703) bezüglich eines Prozesses; wobei der Prozess ein Materialbearbeitungsprozess und/oder ein Messprozess unter Verwendung eines Lasers ist; und wobei die optische Vorrichtung dazu ausgebildet ist, um ein optisches Eingangssignal (1 11 , 201 , 340, 41 1 , 501 , 701 ), welches von dem Prozess abgestrahlt und/oder reflektiert wird, zu erfassen; und wobei die optische Vorrichtung ein optisches neuronales Netz (1 10, 210, 310, 332, 510) aufweist, das dazu ausgebildet ist, um basierend auf dem optischen Eingangssignal die optische Echtzeitinformation bezüglich des Prozesses bereitzustellen; wobei der Prozess eine Strahlformung eines Prozessstrahls (310, 741 ) mittels einer Bearbeitungsoptik (320) umfasst; und wobei die Bearbeitungsoptik dazu ausgebildet ist, um den Prozessstrahl zu formen und auf ein Werkstück zu leiten; wobei die optische Vorrichtung einen Strahlteiler (332) aufweist; wobei der Strahlteiler dazu ausgebildet ist, um das optisches Eingangssignal (11 1 , 201 , 340, 41 1 , 501 , 701 ) in Form von vom Werkstück abgestrahlter und/oder reflektierter Strahlung, via der Bearbeitungsoptik (320) und/oder via einzelner optischer Teilelemente (322, 324, 326) der Bearbeitungsoptik zu erhalten; und wobei die optische Vorrichtung dazu ausgebildet ist, um das optische Eingangssignal mittels des Strahlteilers von dem Prozessstrahl (310, 741 ) zu trennen; und wobei die optische Vorrichtung dazu ausgebildet ist, um dem optischen neuronalen Netz (110, 210, 310, 332, 510) das optische Eingangssignal mittels des Strahlteilers bereitzustellen.
EP24700059.9A 2023-01-05 2024-01-04 Vorrichtung und system zur bereitstellung einer optischen echtzeitinformation bezüglich eines prozesses mittels eines optischen neuronalen netzes, sowie verfahren zur bereitstellung der vorrichtung Pending EP4646692A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102023200082.2A DE102023200082A1 (de) 2023-01-05 2023-01-05 Vorrichtung und System zur Bereitstellung einer optischen Echtzeitinformation bezüglich eines Prozesses mittels eines optischen neuronalen Netzes, sowie Verfahren zur Bereitstellung der Vorrichtung
PCT/EP2024/050127 WO2024146912A1 (de) 2023-01-05 2024-01-04 Vorrichtung und system zur bereitstellung einer optischen echtzeitinformation bezüglich eines prozesses mittels eines optischen neuronalen netzes, sowie verfahren zur bereitstellung der vorrichtung

Publications (1)

Publication Number Publication Date
EP4646692A1 true EP4646692A1 (de) 2025-11-12

Family

ID=89535889

Family Applications (1)

Application Number Title Priority Date Filing Date
EP24700059.9A Pending EP4646692A1 (de) 2023-01-05 2024-01-04 Vorrichtung und system zur bereitstellung einer optischen echtzeitinformation bezüglich eines prozesses mittels eines optischen neuronalen netzes, sowie verfahren zur bereitstellung der vorrichtung

Country Status (6)

Country Link
US (1) US20250335758A1 (de)
EP (1) EP4646692A1 (de)
JP (1) JP2026506331A (de)
KR (1) KR20250148584A (de)
DE (1) DE102023200082A1 (de)
WO (1) WO2024146912A1 (de)

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB9321866D0 (en) 1993-10-22 1993-12-15 Kinsman Grant Fuzzy logic control of laser welding
US6597449B1 (en) 2000-01-31 2003-07-22 New Focus, Inc. Real time process control of optical components using linearly swept tunable laser
WO2003042895A1 (en) 2001-11-17 2003-05-22 Insstek Inc. Method and system for real-time monitoring and controlling height of deposit by using image photographing and image processing technology in laser cladding and laser-aided direct metal manufacturing process
CN201052570Y (zh) 2007-06-29 2008-04-30 华中科技大学 三维激光焊接和切割过程的实时监测装置
CN203981562U (zh) 2014-06-27 2014-12-03 无锡利弗莫尔仪器有限公司 一种光学材料与激光相互作用过程的实时监测装置
CN206775660U (zh) 2017-05-10 2017-12-19 国网四川省电力公司成都供电公司 一种三阶式光纤网络监测装置
CN210967526U (zh) 2019-09-23 2020-07-10 广东工业大学 一种实时监测激光加工性能的系统
JP6824355B1 (ja) 2019-09-25 2021-02-03 株式会社アマダウエルドテック レーザ加工監視方法及びレーザ加工監視装置
WO2021231139A1 (en) * 2020-05-09 2021-11-18 The Regents Of The University Of California Machine vision using diffractive spectral encoding
CN214161805U (zh) 2020-12-10 2021-09-10 上海柏楚数控科技有限公司 激光加工质量监测系统
CN216680796U (zh) 2021-12-22 2022-06-07 中国计量科学研究院 一种激光功率实时在线监测装置和激光加工系统
CN114486687B (zh) 2022-01-27 2023-09-15 北京理工大学 飞秒激光加工细胞的多尺度连续观测反馈方法及装置
CN114549479A (zh) 2022-02-25 2022-05-27 南京中科煜宸激光技术有限公司 激光增材再制造设备的过程监控系统与方法

Also Published As

Publication number Publication date
US20250335758A1 (en) 2025-10-30
KR20250148584A (ko) 2025-10-14
JP2026506331A (ja) 2026-02-24
WO2024146912A1 (de) 2024-07-11
DE102023200082A1 (de) 2024-07-11

Similar Documents

Publication Publication Date Title
EP3838472B1 (de) Ablenkeinheit mit zwei fenstern, einem optischen element und einer xy-ablenkvorrichtung
DE102018129441B4 (de) System zur Überwachung eines Laserbearbeitungsprozesses, Laserbearbeitungssystem sowie Verfahren zur Überwachung eines Laserbearbeitungsprozesses
EP2365890B1 (de) Verfahren und vorrichtung zur überwachung eines an einem werkstück durchzuführenden laserbearbeitungsvorgangs sowie laserbearbeitungskopf mit einer derartigen vorrichtung
WO2020074278A1 (de) Verfahren und vorrichtung zur hochaufgeloesten fluoreszenzmikroskopie
DE102019003528A1 (de) Additive fertigung bei metallen mit einer faserarraylaserquelle und adaptiver mehrfachstrahlformung
DE112006001394B4 (de) Laserbearbeitungsvorrichtung und Laserbearbeitungsverfahren
DE102017217320A1 (de) Linsensystem variabler brennweite und fokuskontrolle und -steuerung
EP2456592A1 (de) Laserbearbeitungskopf und verfahren zur kompensation der fokuslagenänderung bei einem laserbearbeitungskopf
WO2016113253A1 (de) Vorrichtung zur generativen herstellung dreidimensionaler bauteile
DE102020002263A1 (de) Vorrichtung und Verfahren zum Erlernen einer Fokuspositionsverschiebung einer Laserbearbeitungsvorrichtung und Laserbearbeitungssystem, das eine Fokuspositionsverschiebung korrigiert
EP3042233B1 (de) Mikroskop mit einer akustooptischen vorrichtung
EP3345713A1 (de) Verfahren und vorrichtung zur prozessorientierten strahlformanpassung und strahlorientierung
WO2020074713A1 (de) Verfahren zum ermitteln einer kenngrösse eines bearbeitungsprozesses und bearbeitungsmaschine
DE2034341C3 (de) Vorrichtung zur Materialbearbeitung mittels Laserstrahlen
DE102018217940A1 (de) Verfahren und Bearbeitungsmaschine zum Bearbeiten eines Werkstücks
EP3956710A1 (de) Fluoreszenz-rastermikroskop und verfahren zur abbildung einer probe
EP4088854A1 (de) Verfahren zum vergleichen von laserbearbeitungssystemen und verfahren zum überwachen eines laserbearbeitungsprozesses sowie dazugehöriges laserbearbeitungssystem
WO2016000764A1 (de) Chromatisch konfokale sensoranordnung
EP3592499B1 (de) Verfahren und vorrichtung zur formung kohärenter strahlung
EP3034984A1 (de) Verfahren und vorrichtung zur lokalen stabilisierung eines strahlungsflecks auf einem entfernten zielobjekt
WO2024146912A1 (de) Vorrichtung und system zur bereitstellung einer optischen echtzeitinformation bezüglich eines prozesses mittels eines optischen neuronalen netzes, sowie verfahren zur bereitstellung der vorrichtung
DE102020100345B4 (de) System und Verfahren zum Überwachen eines Laserbearbeitungsprozesses sowie dazugehöriges Laserbearbeitungssystem
DE102007008009B3 (de) Verfahren zur Ansteuerung eines Scanmikroskops
DE102015010276A1 (de) Verfahren und Vorrichtung zur lokalen Stabilisierung eines Strahlungsflecks auf einem entfernten Zielobjekt
WO2024251542A1 (de) Vorrichtung zur räumlichen bilderfassung einer relativ zur vorrichtung bewegten umgebung sowie betriebsverfahren hierfür

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20250704

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC ME MK MT NL NO PL PT RO RS SE SI SK SM TR

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS