DE102021106432A1 - Defect detection in additive manufacturing - Google Patents
Defect detection in additive manufacturing Download PDFInfo
- Publication number
- DE102021106432A1 DE102021106432A1 DE102021106432.5A DE102021106432A DE102021106432A1 DE 102021106432 A1 DE102021106432 A1 DE 102021106432A1 DE 102021106432 A DE102021106432 A DE 102021106432A DE 102021106432 A1 DE102021106432 A1 DE 102021106432A1
- Authority
- DE
- Germany
- Prior art keywords
- laser
- production
- camera system
- image
- depth map
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004519 manufacturing process Methods 0.000 title claims abstract description 214
- 239000000654 additive Substances 0.000 title claims abstract description 66
- 230000000996 additive effect Effects 0.000 title claims abstract description 66
- 230000007547 defect Effects 0.000 title claims abstract description 62
- 238000001514 detection method Methods 0.000 title claims abstract description 37
- 238000000034 method Methods 0.000 claims abstract description 143
- 238000010276 construction Methods 0.000 claims description 31
- 238000013461 design Methods 0.000 claims description 16
- 238000011156 evaluation Methods 0.000 claims description 15
- 238000001454 recorded image Methods 0.000 claims description 7
- 238000011161 development Methods 0.000 claims description 3
- 238000009434 installation Methods 0.000 abstract description 23
- 230000008569 process Effects 0.000 description 43
- 230000008859 change Effects 0.000 description 30
- 239000000843 powder Substances 0.000 description 25
- 238000004422 calculation algorithm Methods 0.000 description 23
- 238000005259 measurement Methods 0.000 description 15
- 230000011218 segmentation Effects 0.000 description 14
- 238000013459 approach Methods 0.000 description 13
- 239000000463 material Substances 0.000 description 11
- 230000003287 optical effect Effects 0.000 description 10
- 238000005457 optimization Methods 0.000 description 10
- 230000005855 radiation Effects 0.000 description 10
- 238000012986 modification Methods 0.000 description 9
- 230000004048 modification Effects 0.000 description 9
- 238000007639 printing Methods 0.000 description 9
- 230000009466 transformation Effects 0.000 description 9
- 239000004566 building material Substances 0.000 description 8
- 230000006870 function Effects 0.000 description 8
- 238000004088 simulation Methods 0.000 description 8
- 238000013528 artificial neural network Methods 0.000 description 7
- 230000004927 fusion Effects 0.000 description 6
- 238000002844 melting Methods 0.000 description 6
- 230000008018 melting Effects 0.000 description 6
- 238000000149 argon plasma sintering Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 5
- 230000033001 locomotion Effects 0.000 description 5
- 230000002829 reductive effect Effects 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 238000002591 computed tomography Methods 0.000 description 4
- 238000011065 in-situ storage Methods 0.000 description 4
- 230000010363 phase shift Effects 0.000 description 4
- 230000002123 temporal effect Effects 0.000 description 4
- 230000007704 transition Effects 0.000 description 4
- 238000003444 Hoppe reaction Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 3
- 239000004035 construction material Substances 0.000 description 3
- 238000005336 cracking Methods 0.000 description 3
- 230000032798 delamination Effects 0.000 description 3
- 238000000151 deposition Methods 0.000 description 3
- 238000009826 distribution Methods 0.000 description 3
- 230000004807 localization Effects 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 238000009304 pastoral farming Methods 0.000 description 3
- 238000012805 post-processing Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 230000007423 decrease Effects 0.000 description 2
- 230000008021 deposition Effects 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000007373 indentation Methods 0.000 description 2
- 238000002329 infrared spectrum Methods 0.000 description 2
- 239000000155 melt Substances 0.000 description 2
- 238000010309 melting process Methods 0.000 description 2
- 238000005192 partition Methods 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 238000002310 reflectometry Methods 0.000 description 2
- 230000002787 reinforcement Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000001757 thermogravimetry curve Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000001131 transforming effect Effects 0.000 description 2
- 238000010146 3D printing Methods 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- 239000008186 active pharmaceutical agent Substances 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000001364 causal effect Effects 0.000 description 1
- 239000002800 charge carrier Substances 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000002485 combustion reaction Methods 0.000 description 1
- 238000005094 computer simulation Methods 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000001816 cooling Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 238000010438 heat treatment Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 229910001092 metal group alloy Inorganic materials 0.000 description 1
- 239000012768 molten material Substances 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 238000012856 packing Methods 0.000 description 1
- 230000000704 physical effect Effects 0.000 description 1
- 108090000623 proteins and genes Proteins 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000005488 sandblasting Methods 0.000 description 1
- 238000005245 sintering Methods 0.000 description 1
- 238000007711 solidification Methods 0.000 description 1
- 230000008023 solidification Effects 0.000 description 1
- 238000010561 standard procedure Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000005728 strengthening Methods 0.000 description 1
- 230000035882 stress Effects 0.000 description 1
- 230000003746 surface roughness Effects 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
- 230000008646 thermal stress Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B22—CASTING; POWDER METALLURGY
- B22F—WORKING METALLIC POWDER; MANUFACTURE OF ARTICLES FROM METALLIC POWDER; MAKING METALLIC POWDER; APPARATUS OR DEVICES SPECIALLY ADAPTED FOR METALLIC POWDER
- B22F12/00—Apparatus or devices specially adapted for additive manufacturing; Auxiliary means for additive manufacturing; Combinations of additive manufacturing apparatus or devices with other processing apparatus or devices
- B22F12/90—Means for process control, e.g. cameras or sensors
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B22—CASTING; POWDER METALLURGY
- B22F—WORKING METALLIC POWDER; MANUFACTURE OF ARTICLES FROM METALLIC POWDER; MAKING METALLIC POWDER; APPARATUS OR DEVICES SPECIALLY ADAPTED FOR METALLIC POWDER
- B22F10/00—Additive manufacturing of workpieces or articles from metallic powder
- B22F10/20—Direct sintering or melting
- B22F10/28—Powder bed fusion, e.g. selective laser melting [SLM] or electron beam melting [EBM]
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B22—CASTING; POWDER METALLURGY
- B22F—WORKING METALLIC POWDER; MANUFACTURE OF ARTICLES FROM METALLIC POWDER; MAKING METALLIC POWDER; APPARATUS OR DEVICES SPECIALLY ADAPTED FOR METALLIC POWDER
- B22F10/00—Additive manufacturing of workpieces or articles from metallic powder
- B22F10/30—Process control
- B22F10/38—Process control to achieve specific product aspects, e.g. surface smoothness, density, porosity or hollow structures
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B22—CASTING; POWDER METALLURGY
- B22F—WORKING METALLIC POWDER; MANUFACTURE OF ARTICLES FROM METALLIC POWDER; MAKING METALLIC POWDER; APPARATUS OR DEVICES SPECIALLY ADAPTED FOR METALLIC POWDER
- B22F10/00—Additive manufacturing of workpieces or articles from metallic powder
- B22F10/80—Data acquisition or data processing
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B22—CASTING; POWDER METALLURGY
- B22F—WORKING METALLIC POWDER; MANUFACTURE OF ARTICLES FROM METALLIC POWDER; MAKING METALLIC POWDER; APPARATUS OR DEVICES SPECIALLY ADAPTED FOR METALLIC POWDER
- B22F10/00—Additive manufacturing of workpieces or articles from metallic powder
- B22F10/80—Data acquisition or data processing
- B22F10/85—Data acquisition or data processing for controlling or regulating additive manufacturing processes
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B22—CASTING; POWDER METALLURGY
- B22F—WORKING METALLIC POWDER; MANUFACTURE OF ARTICLES FROM METALLIC POWDER; MAKING METALLIC POWDER; APPARATUS OR DEVICES SPECIALLY ADAPTED FOR METALLIC POWDER
- B22F12/00—Apparatus or devices specially adapted for additive manufacturing; Auxiliary means for additive manufacturing; Combinations of additive manufacturing apparatus or devices with other processing apparatus or devices
- B22F12/22—Driving means
- B22F12/224—Driving means for motion along a direction within the plane of a layer
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B22—CASTING; POWDER METALLURGY
- B22F—WORKING METALLIC POWDER; MANUFACTURE OF ARTICLES FROM METALLIC POWDER; MAKING METALLIC POWDER; APPARATUS OR DEVICES SPECIALLY ADAPTED FOR METALLIC POWDER
- B22F12/00—Apparatus or devices specially adapted for additive manufacturing; Auxiliary means for additive manufacturing; Combinations of additive manufacturing apparatus or devices with other processing apparatus or devices
- B22F12/50—Means for feeding of material, e.g. heads
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B22—CASTING; POWDER METALLURGY
- B22F—WORKING METALLIC POWDER; MANUFACTURE OF ARTICLES FROM METALLIC POWDER; MAKING METALLIC POWDER; APPARATUS OR DEVICES SPECIALLY ADAPTED FOR METALLIC POWDER
- B22F12/00—Apparatus or devices specially adapted for additive manufacturing; Auxiliary means for additive manufacturing; Combinations of additive manufacturing apparatus or devices with other processing apparatus or devices
- B22F12/50—Means for feeding of material, e.g. heads
- B22F12/57—Metering means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B29—WORKING OF PLASTICS; WORKING OF SUBSTANCES IN A PLASTIC STATE IN GENERAL
- B29C—SHAPING OR JOINING OF PLASTICS; SHAPING OF MATERIAL IN A PLASTIC STATE, NOT OTHERWISE PROVIDED FOR; AFTER-TREATMENT OF THE SHAPED PRODUCTS, e.g. REPAIRING
- B29C64/00—Additive manufacturing, i.e. manufacturing of three-dimensional [3D] objects by additive deposition, additive agglomeration or additive layering, e.g. by 3D printing, stereolithography or selective laser sintering
- B29C64/30—Auxiliary operations or equipment
- B29C64/386—Data acquisition or data processing for additive manufacturing
- B29C64/393—Data acquisition or data processing for additive manufacturing for controlling or regulating additive manufacturing processes
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B33—ADDITIVE MANUFACTURING TECHNOLOGY
- B33Y—ADDITIVE MANUFACTURING, i.e. MANUFACTURING OF THREE-DIMENSIONAL [3-D] OBJECTS BY ADDITIVE DEPOSITION, ADDITIVE AGGLOMERATION OR ADDITIVE LAYERING, e.g. BY 3-D PRINTING, STEREOLITHOGRAPHY OR SELECTIVE LASER SINTERING
- B33Y30/00—Apparatus for additive manufacturing; Details thereof or accessories therefor
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B33—ADDITIVE MANUFACTURING TECHNOLOGY
- B33Y—ADDITIVE MANUFACTURING, i.e. MANUFACTURING OF THREE-DIMENSIONAL [3-D] OBJECTS BY ADDITIVE DEPOSITION, ADDITIVE AGGLOMERATION OR ADDITIVE LAYERING, e.g. BY 3-D PRINTING, STEREOLITHOGRAPHY OR SELECTIVE LASER SINTERING
- B33Y50/00—Data acquisition or data processing for additive manufacturing
- B33Y50/02—Data acquisition or data processing for additive manufacturing for controlling or regulating additive manufacturing processes
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
- G01B11/005—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates coordinate measuring machines
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B22—CASTING; POWDER METALLURGY
- B22F—WORKING METALLIC POWDER; MANUFACTURE OF ARTICLES FROM METALLIC POWDER; MAKING METALLIC POWDER; APPARATUS OR DEVICES SPECIALLY ADAPTED FOR METALLIC POWDER
- B22F2999/00—Aspects linked to processes or compositions used in powder metallurgy
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B29—WORKING OF PLASTICS; WORKING OF SUBSTANCES IN A PLASTIC STATE IN GENERAL
- B29C—SHAPING OR JOINING OF PLASTICS; SHAPING OF MATERIAL IN A PLASTIC STATE, NOT OTHERWISE PROVIDED FOR; AFTER-TREATMENT OF THE SHAPED PRODUCTS, e.g. REPAIRING
- B29C64/00—Additive manufacturing, i.e. manufacturing of three-dimensional [3D] objects by additive deposition, additive agglomeration or additive layering, e.g. by 3D printing, stereolithography or selective laser sintering
- B29C64/10—Processes of additive manufacturing
- B29C64/141—Processes of additive manufacturing using only solid materials
- B29C64/153—Processes of additive manufacturing using only solid materials using layers of powder being selectively joined, e.g. by selective laser sintering or melting
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B29—WORKING OF PLASTICS; WORKING OF SUBSTANCES IN A PLASTIC STATE IN GENERAL
- B29C—SHAPING OR JOINING OF PLASTICS; SHAPING OF MATERIAL IN A PLASTIC STATE, NOT OTHERWISE PROVIDED FOR; AFTER-TREATMENT OF THE SHAPED PRODUCTS, e.g. REPAIRING
- B29C64/00—Additive manufacturing, i.e. manufacturing of three-dimensional [3D] objects by additive deposition, additive agglomeration or additive layering, e.g. by 3D printing, stereolithography or selective laser sintering
- B29C64/30—Auxiliary operations or equipment
- B29C64/386—Data acquisition or data processing for additive manufacturing
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B33—ADDITIVE MANUFACTURING TECHNOLOGY
- B33Y—ADDITIVE MANUFACTURING, i.e. MANUFACTURING OF THREE-DIMENSIONAL [3-D] OBJECTS BY ADDITIVE DEPOSITION, ADDITIVE AGGLOMERATION OR ADDITIVE LAYERING, e.g. BY 3-D PRINTING, STEREOLITHOGRAPHY OR SELECTIVE LASER SINTERING
- B33Y10/00—Processes of additive manufacturing
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B33—ADDITIVE MANUFACTURING TECHNOLOGY
- B33Y—ADDITIVE MANUFACTURING, i.e. MANUFACTURING OF THREE-DIMENSIONAL [3-D] OBJECTS BY ADDITIVE DEPOSITION, ADDITIVE AGGLOMERATION OR ADDITIVE LAYERING, e.g. BY 3-D PRINTING, STEREOLITHOGRAPHY OR SELECTIVE LASER SINTERING
- B33Y50/00—Data acquisition or data processing for additive manufacturing
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B2210/00—Aspects not specifically covered by any group under G01B, e.g. of wheel alignment, caliper-like sensors
- G01B2210/52—Combining or merging partially overlapping images to an overall image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Landscapes
- Engineering & Computer Science (AREA)
- Chemical & Material Sciences (AREA)
- Materials Engineering (AREA)
- Manufacturing & Machinery (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Mechanical Engineering (AREA)
- Automation & Control Theory (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- Optics & Photonics (AREA)
- Analytical Chemistry (AREA)
- Plasma & Fusion (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
Die vorliegende Erfindung betrifft eine Vorrichtung und ein Verfahren zur Defekterkennung in der additiven Fertigung und betrifft insbesondere die Defekterkennung während des Vorgangs der additiven Fertigung.Offenbart wird ein Verfahren zur Erkennung von Fertigungsfehlern während der additiven Fertigung eines Fertigungsobjekts, das die Schritte aufweist: Vorsehen eines Kamerasystems an oder in einem Bauraum einer additiven Fertigungsvorrichtung bestimmen eines Kamerasystempfades des Kamerasystems während der Fertigung des Fertigungsobjekts in mehreren Fertigungsschritten, wobei während der Fertigung das Kamerasystem den Kamerasystempfad abfährt und an vorbestimmten Positionen Bildaufnahmen des Fertigungsobjekts aufnimmt und abspeichert, Ermitteln einer Bildtiefenkarte für mindestens eine Sequenz aus mindestens zwei Bildaufnahmen, Ermitteln einer Gesamttiefenkarte aus allen Bildtiefenkarten für einen Fertigungsschritt, Ermitteln einer 3-dimensionalen Ausgestaltung des Fertigungsobjekts aus der Gesamttiefenkarte, Verwendung eines Lasers zum Abtasten einer Bauschicht in dem Bauraum einer additiven Fertigungsvorrichtung zur Ermittlung von Eigenschaften eines Fertigungsobjekts.The present invention relates to an apparatus and a method for defect detection in additive manufacturing and relates in particular to defect detection during the additive manufacturing process. Disclosed is a method for detecting manufacturing defects during additive manufacturing of a manufactured object, comprising the steps of: providing a camera system on or in an installation space of an additive manufacturing device, determining a camera system path of the camera system during the production of the production object in several production steps, with the camera system traversing the camera system path during production and recording and storing images of the production object at predetermined positions, determining an image depth map for at least one sequence at least two images, determination of an overall depth map from all image depth maps for a production step, determination of a 3-dimensional configuration of the production object from the total depth map, using a laser to scan a build layer in the build space of an additive manufacturing device to determine properties of a manufactured object.
Description
Die vorliegende Erfindung betrifft eine Vorrichtung und ein Verfahren zur Defekterkennung in der additiven Fertigung und betrifft insbesondere die Defekterkennung während des Vorgangs der additiven Fertigung.The present invention relates to an apparatus and a method for defect detection in additive manufacturing and relates in particular to defect detection during the additive manufacturing process.
Metallische additive Fertigung (3D Druck) beschreibt Fertigungsverfahren metallischer Bauteile, bei denen Material Schicht für Schicht aufgetragen und so dreidimensionale Gegenstände erzeugt werden. Bei einem davon, dem selektiven Laserschmelzen (SLM) oder auch Laser Powder Bed Fusion Verfahren (LPBF) genannt, wird dabei ein metallisches Pulver schichtweise derart verschmolzen, bis es die gewünschte Geometrie hat. Dieses Fertigungsverfahren erlaubt, komplexe Geometrien aus einem Teil herzustellen, für die in der konventionellen Fertigung bspw. im CNC Verfahren mehrere Bauteile produziert und miteinander verbunden werden müssen. Das Verfahren ist darüber hinaus insbesondere bei der Fertigung von Kleinserien hin zur Losgröße 1 kostengünstig. Ein weiteres Verfahren, für das sich die Defekterkennung ebenso anwenden lässt, ist die sogenannte Direct Energy Deposition Methode, bei der entweder ein Draht oder Pulver verschmolzen wird, um so komplexe Geometrien aufzubauen.Metallic additive manufacturing (3D printing) describes manufacturing processes for metallic components, in which material is applied layer by layer, thus creating three-dimensional objects. In one of these, selective laser melting (SLM) or also called laser powder bed fusion (LPBF), a metallic powder is melted in layers until it has the desired geometry. This manufacturing process makes it possible to produce complex geometries from one part, for which several components have to be produced and connected to one another in conventional manufacturing, e.g. in the CNC process. In addition, the process is cost-effective, particularly in the production of small series down to
Eine Herausforderung ist die frühzeitige Fehlererkennung, die Reproduzierbarkeit und die Zertifizierung von Maschinen und Bauteilen, welche insbesondere in der Luftfahrtindustrie von großer Bedeutung ist. Verfahren aus dem Stand der Technik setzen bspw. auf Computertomographiescans, d.h. das bereits produzierte Bauteil wird mittels eines Computertomographen gescannt und nach Fehlern untersucht. Einerseits ist das Verfahren teuer, da entweder der Computertomographiescanner erforderlich ist oder aber ein zeitaufwendiger Transport zu einem Anbieter für Computertomographiescans notwendig ist. Beide Fälle verteuern die Produktion. Andere Verfahren aus dem Stand der Technik setzen auf die optische Kontrolle durch im Drucker angebrachte Kameras mit in der Druckkammer angebrachte Temperaturmesseinheiten, um die Temperatur im Schmelzbad (melting pool) zu überwachen. Optische Verfahren sind einerseits fehleranfällig, da sie vom Bediener, d.h. dessen Erfahrung und Konzentrationsfähigkeit, abhängig sind. Zum anderen können mit diesem Verfahren, wie auch im CT-Scan, Fehler nur ex post, nach Abschluss des Fertigungsprozesses erkannt werden. Metallische Legierungen die bspw. in der Luftfahrt eingesetzt werden, kosten teilweise mehr als 800US$/kg. Wenn ein Fehler nach der Herstellung gefunden wird, ist das Pulver verloren, was die Herstellungskosten, abhängig von der Defektrate, weiterhin erhöht. Fehlererkennung mittels temperaturbasierter Verfahren sind fehleranfällig basieren auf Heuristiken und sind nicht oder nur teil-automatisiert, d.h. ein menschlicher Entscheider muss letztendlich den Fehler erkennen.One challenge is the early detection of errors, the reproducibility and the certification of machines and components, which is particularly important in the aviation industry. State-of-the-art methods rely, for example, on computer tomography scans, i.e. the component that has already been produced is scanned using a computer tomograph and examined for errors. On the one hand, the method is expensive, since either the computed tomography scanner is required or time-consuming transport to a provider of computed tomography scans is necessary. Both cases make production more expensive. Other methods from the prior art rely on the optical control by cameras mounted in the printer with temperature measuring units mounted in the pressure chamber in order to monitor the temperature in the melting pool (melting pool). On the one hand, optical methods are error-prone because they depend on the operator, i.e. his experience and ability to concentrate. On the other hand, with this method, as with the CT scan, defects can only be detected ex post, after the manufacturing process has been completed. Metallic alloys used in aviation, for example, sometimes cost more than US$800/kg. If a defect is found after manufacture, the powder is lost, further increasing manufacturing costs depending on the defect rate. Error detection using temperature-based methods are error-prone based on heuristics and are not or only partially automated, i.e. a human decision-maker must ultimately recognize the error.
Daher ist ein Verfahren erstrebenswert, welches in-situ, das heißt während des Fertigungsprozesses, vollautomatisiert Fehler erkennt, anzeigt und, ggf., die Prozessparameter so korrigiert, dass der Druck entweder erfolgreich abgeschlossen wird oder aber der Druck vollständig oder teilweise abgebrochen wird, wenn ein Fertigungsdefekt festgestellt wird. Ein solches Verfahren kann die Druckkosten maßgeblich senken und zugleich die Herstellungsdauer reduzieren.Therefore, a process is desirable that fully automatically detects and displays errors in-situ, i.e. during the production process, and, if necessary, corrects the process parameters in such a way that the print is either completed successfully or the print is completely or partially interrupted if a manufacturing defect is detected. Such a process can significantly reduce the printing costs and at the same time reduce the production time.
Es ist Aufgabe der Erfindung, die Nachteile aus dem Stand der Technik zu beseitigen und eine Vorrichtung und ein Verfahren bereitzustellen, die die in-situ-Defekterkennung bei additiver Fertigung ermöglicht.It is the object of the invention to eliminate the disadvantages of the prior art and to provide a device and a method that enable in-situ defect detection in additive manufacturing.
Im Folgenden werden relevante Defekttypen in der additiven Fertigung erläutert.Relevant defect types in additive manufacturing are explained below.
Porosität und Dichte: Porosität wird durch kleine Vertiefungen oder Löcher beschrieben, die sich im Bauteil gebildet haben und damit die Materialdichte im betrachteten Abschnitt reduzieren. Die Reduktion der Dichte führt dazu, dass das Bauteil schneller ermüdet und schließlich bricht. Die Löcher sind oftmals fast sphärisch und kleiner als 100µm. Des Weiteren verteilen sich die Vertiefungen fast gleich über eine bestimmte Fläche. Die Gründe, warum Porosität entsteht, sind vielfältig, involvieren u.a. aber im atomisierten Pulver eingeschlossene Gasblasen, die aufgrund zu geringer Strahlungsleistung des Lasers nicht verdrängt werden und damit eine vollständige Verschmelzung des Pulvers verhindern.Porosity and Density: Porosity is described by small indentations or holes that have formed in the component and thus reduce the material density in the section under consideration. The reduction in density causes the component to fatigue more quickly and eventually break. The holes are often almost spherical and smaller than 100 µm. Furthermore, the indentations are distributed almost equally over a given area. There are many reasons why porosity occurs, but they also involve gas bubbles trapped in the atomized powder, which are not displaced due to the laser’s insufficient radiation power and thus prevent the powder from fully fusing.
Unvollständige Verschmelzung (Incomplete Fusion Holes): Einzelne Schichten oder Hatches verschmelzen unvollständig und bilden verschieden geformte Löcher. Die Löcher haben keine klare Struktur wie bei der Porosität.Incomplete Fusion Holes: Individual layers or hatches fuse incompletely and form differently shaped holes. The holes do not have a clear structure as with porosity.
Rissbildung, Delamination und Verzug: Spannung, die in einem Bauteil durch das schnelle Erhitzen und Abkühlen entsteht, kann zu Defekten wie Rissbildung (Cracking), d.h. es gibt Brüche im Bauteil, Delamination, d.h. die gefertigten Schichten lösen sich voneinander oder aber zu Verzug (Warpage), d.h. Oberfläche biegen sich, führen. Rissbildung, Delamination und Verzug unterscheiden sich von den o.g. Defekttypen durch ihre großflächige Ausbreitung, können aber durch ein Vorliegen o.g. Defekte induziert werden. Durch die Simulation des additiven Fertigungsprozesses mittels Finite-Elemente-Methoden (FEM) können die hier genannten Defekte zumindest teilweise vorhergesagt werden, dies betrifft insbesondere den Verzug und die Temperaturausbreitung. Entsprechende Gegenmaßnahmen wie die Verstärkung der Stützstruktur (Support) können somit getroffen werden.Cracking, delamination and warping: Stress that arises in a component due to rapid heating and cooling can lead to defects such as cracking, ie there are breaks in the component, delamination, ie the manufactured layers separate from one another or warping ( Warpage), ie surface bend, lead. Cracking, delamination and warpage differ from the above defect types in that they spread over a large area, but can be induced by the presence of the above defects. By simulating the additive manufacturing process using finite element methods (FEM), the defects mentioned here can be at least partially predicted, this applies in particular to distortion and temperature propagation. Appropriate countermeasures such as strengthening the supporting structure (support) can thus be taken.
Oberflächenbeschaffenheit (Surface Finishing): der Druckprozess hinterlässt auf Bauteilen eine bestimmte Oberflächenrauigkeit, welche maßgeblich vom Material, der Schichtstärke und den verwendeten Druckparametern abhängt. Das Sandstrahlen von Bauteilen in der Nachbearbeitung ist Standard, aber auch elektrochemische Nachbearbeitung wird angewendet. Eine unzureichende Verschmelzung durch den Laser kann zu optisch ungenügenden Oberflächen führen, welche selbst durch Nachbearbeitungsschritte nicht entfernt werden können.Surface finish (surface finishing): the printing process leaves a certain surface roughness on components, which largely depends on the material, the layer thickness and the printing parameters used. Sandblasting of components in post-processing is standard, but electrochemical post-processing is also used. Inadequate laser fusing can result in optically unsatisfactory surfaces that even post-processing steps cannot remove.
Die Aufgabe wird gelöst durch die Lehre der nebengeordneten Ansprüche.The problem is solved by the teaching of the independent claims.
Vorteilhafte Weiterbildungen sind Gegenstand der abhängigen Ansprüche.Advantageous developments are the subject of the dependent claims.
In einem ersten Offenbarungsgegenstand wird ein Verfahren zur Erkennung von Fertigungsfehlern während der additiven Fertigung eines Fertigungsobjekts offenbart, das die Schritte aufweist, Vorsehen eines Kamerasystems an oder in einem Bauraum einer additiven Fertigungsvorrichtung, Bestimmen eines Kamerasystempfades des Kamerasystems während der Fertigung des Fertigungsobjekts, Fertigung des Fertigungsobjektes in mehreren Fertigungsschritten, wobei während der Fertigung das Kamerasystem den Kamerasystempfad abfährt und an vorbestimmten Positionen Bildaufnahmen des Fertigungsobjekts aufnimmt und abspeichert, Ermitteln einer Bildtiefenkarte für mindestens eine Sequenz aus mindestens zwei Bildaufnahmen, Ermitteln einer Gesamttiefenkarte aus allen Bildtiefenkarten für einen Fertigungsschritt, Ermitteln einer 3-dimensionalen Ausgestaltung des Fertigungsobjekts aus der Gesamttiefenkarte.In a first subject matter of the disclosure, a method for detecting manufacturing errors during the additive manufacturing of a manufacturing object is disclosed, which has the steps of providing a camera system on or in a construction space of an additive manufacturing device, determining a camera system path of the camera system during the manufacturing of the manufacturing object, manufacturing the manufacturing object in several production steps, with the camera system following the camera system path during production and recording and storing images of the production object at predetermined positions, determination of an image depth map for at least one sequence of at least two image recordings, determination of a total depth map from all image depth maps for one production step, determination of a 3- dimensional design of the production object from the total depth map.
Ferner wird offenbart, dass das Verfahren ferner die Schritte aufweist: Abgleich der 3-dimensionalen Ausgestaltung mit einer 3-dimensionalen Soll-Ausgestaltung, Ermittlung von Abweichungen zwischen der 3-dimensionalen Ausgestaltung und der 3-dimensionalen Soll-Ausgestaltung, Bewertung der im Abweichungsermittlungsschritt ermittelten Abweichung, wenn Abweichungen ermittelt werden, Ausgabe einer Abweichungsbewertung.It is also disclosed that the method also has the steps: comparison of the 3-dimensional configuration with a 3-dimensional target configuration, determination of deviations between the 3-dimensional configuration and the 3-dimensional target configuration, evaluation of the deviation determination step Deviation, if deviations are determined, output of a deviation evaluation.
Ferner wird offenbart, dass das Kamerasystem ein Stereokamerasystem ist, das zeitgleich zwei Bildaufnahmen des Fertigungsobjekts aufnimmt, abspeichert und die Ermittlung der lokalen Tiefenkarte aus den zwei zeitgleich aufgenommenen Bildern ermittelt.Furthermore, it is disclosed that the camera system is a stereo camera system, which takes two pictures of the production object at the same time, stores them and determines the determination of the local depth map from the two pictures taken at the same time.
Ferner wird offenbart, dass der Bildtiefenkarten-Ermittlungsschritt, der Gesamttiefenkartenermittlungsschritt, der 3-dimensionale-Ausgestaltungs-Ermittlungsschritt, der Abgleichschritt, der Abweichungsermittlungsschritt und/oder der Bewertungsschritt nach Abschluss der Fertigung des Fertigungsobjekts erfolgen.Furthermore, it is disclosed that the image depth map determination step, the overall depth map determination step, the 3-dimensional configuration determination step, the adjustment step, the deviation determination step and/or the evaluation step take place after the production of the production object has been completed.
Ferner wird offenbart, dass der Lokale-Tiefenkarten-Ermittlungsschritt, der Globale-Tiefenkartenermittlungsschritt, der 3-dimensionale-Ausgestaltungs-Ermittlungsschritt, der Abgleichschritt, der Abweichungsermittlungsschritt und/oder der Bewertungsschritt nach Abschluss eines der Fertigungsschritte der Fertigung des Fertigungsobjekts erfolgen.It is also disclosed that the local depth map determination step, the global depth map determination step, the 3-dimensional design determination step, the adjustment step, the deviation determination step and/or the evaluation step take place after the completion of one of the manufacturing steps of the production of the manufacturing object.
Ferner wird offenbart, dass im 3-Dimensionale-Ausgestaltungs-Ermittlungsschritt die globalen Tiefenkarte mehrerer Fertigungsschritte berücksichtigt werden.Furthermore, it is disclosed that the global depth map of several manufacturing steps is taken into account in the 3-dimensional design determination step.
Ferner wird offenbart, dass die Anzahl der berücksichtigten Fertigungsschritte n > 20 und n < 100 ist.Furthermore, it is disclosed that the number of manufacturing steps taken into account is n>20 and n<100.
Ferner wird offenbart, dass im Lokale-Tiefenkarten-Ermittlungsschritt die lokale Tiefenkarte dadurch ermittelt wird, dass eine erste Bildaufnahme so transformiert wird, dass sie einer zweiten Bildaufnahme entspricht und bei der Transformation die lokale Tiefenkarte durch einen Tiefenkartenbestimmungsalgorithmus aus der Klasse der überwachten oder selbstüberwachten Machine-Learning Verfahren erzeugt wird.It is also disclosed that in the local depth map determination step, the local depth map is determined by transforming a first recorded image in such a way that it corresponds to a second recorded image and during the transformation the local depth map by a depth map determination algorithm from the class of the monitored or self-monitored machine -Learning procedure is generated.
Ferner wird offenbart, dass der Tiefenkartenbestimmungsalgorithmus durch Anlernen eines künstlichen neuronalen Netzes mittels mindestens einer bekannten ersten Bildaufnahme, einer bekannten zweiten Bildaufnahme und einer bekannten lokalen Tiefenkarte erfolgt.It is also disclosed that the depth map determination algorithm is carried out by training an artificial neural network using at least one known first recorded image, one known second recorded image and a known local depth map.
Ferner wird offenbart, dass bei der Transformation der ersten Bildaufnahme in die zweite Bildaufnahme die Geschwindigkeit, mit der sich das Kamerasystem bewegt berücksichtigt wird.It is also disclosed that the speed at which the camera system moves is taken into account during the transformation of the first recorded image into the second recorded image.
Ferner wird offenbart, dass die Position, die Positionsänderung, Ausrichtung oder die Ausrichtungsänderung des Kamerasystems erfasst wird und bei der Transformation der ersten Bildaufnahme in die zweite Bildaufnahme die Position, die Positionsänderung, Ausrichtung oder die Ausrichtungsänderung des Kamerasystems als Eingangsgröße aufgenommen und daraus die Tiefenkarte ermittelt wird.It is also disclosed that the position, the change in position, orientation or the change in orientation of the camera system is recorded and the position, the change in position, orientation or the change in orientation of the camera system is recorded as an input variable during the transformation of the first image recording into the second image recording and the depth map is determined therefrom becomes.
Ferner wird offenbart, dass die Kameraposition aus den Pfadinformationen, der relativen Verschiebung der Bildaufnahmen, durch Positionssensorinformationen oder durch Informationen aus den Drehgebern der Stellmotoren des Kamerasystems ermittelt wird.Furthermore, it is disclosed that the camera position from the path information, the relative ver displacement of the image recordings, by position sensor information or by information from the rotary encoders of the servomotors of the camera system.
Ferner wird offenbart, dass im 3-dimensionale-Ausgestaltungs-Ermittlungsschritt die 3-dimensionale Ausgestaltung durch Anwendung der Algorithmen wie z.B. Powercrust, Marching cube, Poisson Surface Reconstruction oder Hoppes Reconstruction erfolgt.Furthermore, it is disclosed that in the 3-dimensional design determination step, the 3-dimensional design is carried out by using algorithms such as Powercrust, Marching cube, Poisson Surface Reconstruction or Hoppes Reconstruction.
Ferner wird offenbart, dass das Kamerasystem Licht im Infrarotbereich, insbesondere im nahen Infrarotbereich erfassen kann, und dass ferner den Schritt aufweist: Erfassen einer Temperaturkarte des Fertigungsobjekts während eines Fertigungsschritts.Furthermore, it is disclosed that the camera system can capture light in the infrared range, in particular in the near infrared range, and that it also has the step of capturing a temperature map of the production object during a production step.
Ferner wird offenbart, dass eine Vorrichtung zur additiven Fertigung eingerichtet ist, ein Verfahren nach einem der vorhergehenden Ansprüche auszuführen.Furthermore, it is disclosed that a device for additive manufacturing is set up to carry out a method according to one of the preceding claims.
In einem zweiten Offenbarungsgegenstand wird ein Verfahren zur Erkennung von Fertigungsfehlern während additiver Fertigung eines Fertigungsobjekts offenbart, das die Schritte aufweist: Vorsehen eines Erfassungslasersystems an oder in einem Bauraum der additiven Fertigungsvorrichtung Fertigung des Fertigungsobjektes in mehreren Fertigungsschritten mittels eines Fertigungslasers in dem Bauraum der additiven Fertigungsvorrichtung, Verwendung eines Lasers in einem Bauraum einer additiven Fertigungsvorrichtung zur Ermittlung von Eigenschaften eines Fertigungsobjekts.In a second subject matter of the disclosure, a method for detecting manufacturing errors during additive manufacturing of a manufacturing object is disclosed, which has the steps: providing a detection laser system on or in a construction space of the additive manufacturing device manufacturing the production object in several manufacturing steps by means of a manufacturing laser in the construction space of the additive manufacturing device, Use of a laser in a construction space of an additive manufacturing device to determine properties of a manufacturing object.
Ferner wird offenbart, dass die ermittelten Eigenschaften eine 3-dimensionale Ausgestaltung und/oder eine Oberflächentemperatur sind.Furthermore, it is disclosed that the determined properties are a 3-dimensional configuration and/or a surface temperature.
Ferner wird offenbart, dass das Verfahren ferner die Schritte aufweist: Abgleich der 3-dimensionalen Ausgestaltung mit einer 3-dimensionalen Soll-Ausgestaltung, Ermittlung von Abweichungen zwischen der 3-dimensionalen Ausgestaltung und der 3-dimensionalen Soll-Ausgestaltung,Furthermore, it is disclosed that the method also has the steps: comparison of the 3-dimensional configuration with a 3-dimensional target configuration, determination of deviations between the 3-dimensional configuration and the 3-dimensional target configuration,
Ferner wird offenbart, dass das Verfahren ferner die Schritte aufweist: Bewertung der im Abweichungsermittlungsschritt ermittelten Abweichung, wenn eine Abweichung ermittelt wird, Ausgabe einer Abweichungsbewertung.Furthermore, it is disclosed that the method further comprises the steps: evaluation of the deviation determined in the deviation determination step, if a deviation is determined, outputting a deviation evaluation.
Ferner wird offenbart, dass die 3-dimensionale Ausgestaltung mittels gepulster Distanzmessung, AMCW-Distanzmessung oder FMCW-Distanzmessung erfolgt.Furthermore, it is disclosed that the 3-dimensional configuration takes place by means of pulsed distance measurement, AMCW distance measurement or FMCW distance measurement.
Ferner wird offenbart, dass der Erfassungslaser der Fertigungslaser der additiven Fertigungsvorrichtung ist.Furthermore, it is disclosed that the detection laser is the manufacturing laser of the additive manufacturing device.
Ferner wird offenbart, dass der Erfassungslaser ein Laser separat von dem Fertigungslaser der additiven Fertigungsvorrichtung ist.Furthermore, it is disclosed that the detection laser is a laser separate from the manufacturing laser of the additive manufacturing device.
Ferner wird offenbart, dass das Verfahren ferner die Schritte aufweist: Vorsehen eines teilspiegelnden Spiegels, der so angeordnet ist, dass ein Strahl des Lasers von der transparenten Seite hindurchtritt und ein von dem Fertigungsobjekt reflektierter Strahl von dem teilspiegelnden Spiegel reflektiert wird, Vorsehen eines fixen Spiegels, wobei die Oberflächen des teilspiegelnden Spiegels und des fixen Spiegels so ausgestaltet sind, dass ein von dem Fertigungsobjekt reflektierter Strahl auf einen eindimensionalen, vorzugsweise kreisförmigen Bereich reflektiert wird, und Vorsehen von mindestens einem Sensor an dem eindimensionalen Bereich, der eingerichtet ist, den reflektierten Strahl zu erfassen.Furthermore, it is disclosed that the method further comprises the steps: providing a partially reflecting mirror which is arranged such that a beam of the laser passes through from the transparent side and a beam reflected from the production object is reflected by the partially reflecting mirror, providing a fixed mirror , wherein the surfaces of the partially reflecting mirror and the fixed mirror are designed in such a way that a beam reflected from the production object is reflected onto a one-dimensional, preferably circular area, and providing at least one sensor on the one-dimensional area that is set up to detect the reflected beam capture.
Ferner wird offenbart, dass die Oberflächen des teilspiegelnden Spiegels und des fixen Spiegels quasi-parabolisch ausgestaltet sind.Furthermore, it is disclosed that the surfaces of the partially reflecting mirror and the fixed mirror are configured quasi-parabolic.
Ferner wird offenbart, dass das Verfahren ferner die Schritte aufweist: Vorsehen eines um eine erste Achse rotierenden Reflektors, Vorsehen eines fixen Spiegels, der senkrecht zur ersten Achse kreissegmentförmig ausgestaltet ist, und so angeordnet ist, dass sich der rotierende Reflektor im Kreissegmentmittelpunkt befindet und eine solche Oberfläche aufweist, dass zum Kreissegment radial verlaufender Strahl parallel zur ersten Achse reflektiert wird und auf eine Bauschicht fokussiert wird, Vorsehen einer Laserempfangsvorrichtung, Rotieren des rotierenden Reflektors um die erste Achse, Richten eines Laserstrahls auf den rotierenden Reflektor, Reflektieren des Laserstrahls durch den rotierenden Reflektor in Richtung des fixen Spiegels, Reflektieren des Laserstrahls durch den fixen Spiegel in Richtung des Fertigungsobjekts, Reflektieren des Laserstrahls durch das Fertigungsobjekt in Richtung des fixen Spiegels, Reflektieren des reflektierten Laserstrahls durch den fixen Spiegel in Richtung des rotierenden Reflektors, Reflektieren des reflektieren Laserstrahls durch den rotierenden Reflektor zu einem Laserempfänger, Erfassen des reflektieren Laserstrahls durch die Laserempfangsvorrichtung.It is also disclosed that the method also has the steps: providing a reflector rotating about a first axis, providing a fixed mirror which is designed in the shape of a segment of a circle perpendicular to the first axis and is arranged in such a way that the rotating reflector is located in the center of the segment of a circle and a has such a surface that a beam traveling radially to the circle segment is reflected parallel to the first axis and is focused onto a building layer, providing a laser receiving device, rotating the rotating reflector about the first axis, directing a laser beam onto the rotating reflector, reflecting the laser beam by the rotating Reflector in the direction of the fixed mirror, Reflecting the laser beam by the fixed mirror in the direction of the production object, Reflecting the laser beam by the production object in the direction of the fixed mirror, Reflecting the reflected laser beam by the fixed mirror in the direction the rotating reflector, reflecting the reflected laser beam by the rotating reflector to a laser receiver, detecting the reflected laser beam by the laser receiving device.
Ferner wird eine Vorrichtung zur additiven Fertigung offenbart, die eingerichtet ist, ein Verfahren nach den vorhergehenden Verfahrensansprüchen auszuführen.Furthermore, a device for additive manufacturing is disclosed, which is set up to carry out a method according to the preceding method claims.
Ferner wird offenbart, dass die Vorrichtung ferner aufweist: eine Laserempfangsvorrichtung, die eingerichtet ist, einen von einem Werkstück reflektierten LaserStrahl zu empfangen, eine Berechnungseinheit, die eingerichtet ist, aus Ausrichtung, Intensität, Frequenz, Modulation oder Empfangszeit eine Laufzeit des Lasers ab dessen Emission zu bestimmen und damit die Abmessungen des Werkstücks zu bestimmen.Furthermore, it is disclosed that the device further comprises: a laser receiving device, the is set up to receive a laser beam reflected by a workpiece, a calculation unit set up to determine a transit time of the laser from its emission from alignment, intensity, frequency, modulation or reception time and thus to determine the dimensions of the workpiece.
Ferner wird offenbart, dass die Vorrichtung ferner aufweist: einen Laseremitter, der so angeordnet und eingerichtet ist, einen Laserstrahl zu emittieren, mittels dem im Zusammenspiel mit der Laserempfangsvorrichtung eine Laufzeit des Lasers ab dessen Emission zu bestimmen und damit die Abmessungen des Werkstücks zu bestimmen.Furthermore, it is disclosed that the device also has: a laser emitter, which is arranged and set up to emit a laser beam, by means of which, in cooperation with the laser receiving device, a runtime of the laser can be determined from its emission and thus the dimensions of the workpiece can be determined.
Ferner wird offenbart, dass die Vorrichtung aufweist: eine Anordnung optisch wirksamer Elemente, die so ausgestaltet ist, dass der Laserstrahl im Erfassungsbereich senkrecht auf die Bauschicht auftrifft.Furthermore, it is disclosed that the device has: an arrangement of optically effective elements, which is designed in such a way that the laser beam strikes the building layer perpendicularly in the detection area.
Ferner wird offenbart, dass die Vorrichtung aufweist: einen um eine erste Achse rotierbaren Reflektors, einen fixen Spiegel, der senkrecht zur ersten Achse kreissegmentförmig ausgestaltet ist, und so angeordnet ist, dass sich der rotierbare Reflektor im Kreissegmentmittelpunkt befindet und eine solche Oberfläche aufweist, dass ein zum Kreissegment radial verlaufender Strahl parallel zur ersten Achse reflektiert wird und auf eine Bauschicht fokussiert wird.It is also disclosed that the device has: a reflector that can be rotated about a first axis, a fixed mirror that is designed in the shape of a segment of a circle perpendicular to the first axis and is arranged in such a way that the rotatable reflector is located in the center of the segment of a circle and has a surface such that a beam running radially to the circle segment is reflected parallel to the first axis and is focused on a building layer.
In einem dritten Offenbarungsgegenstand wird ein Verfahren zur Verhinderung von Fertigungsfehlern während additiver Fertigung eines Fertigungsobjekts offenbart, das die Schritte aufweist: Vorsehen eines Erfassungssystems in der additiven Fertigungsvorrichtung zur Erfassung mindestens einer Eigenschaft des Fertigungsobjekts, Fertigung des Fertigungsobjektes in mehreren Fertigungsschritten, wobei während der Fertigung das Erfassungssystem die mindestens eine Eigenschaft des Fertigungsobjekts ermittelt, Abgleich der mindestens einen Eigenschaft mit einem Sollzustand der Eigenschaft, Ermittlung von Abweichungen zwischen der mindestens einen Eigenschaft und dem Sollzustand der Eigenschaft, Bewertung der im Abweichungsermittlungsschritt ermittelten Abweichung, wenn Abweichungen ermittelt werden, Ermittlung einer Anpassung von mindestens einem Prozessparameter, basierend auf der im Abweichungsermittlungsschritt ermittelten Abweichung zur Reduktion der Abweichung im weiteren Fertigungsfortgang, Anwendung der im Anpassungsermittlungsschritt ermittelten Anpassung des mindestens einem Prozessparameters.In a third subject matter of the disclosure, a method for preventing manufacturing defects during additive manufacturing of a manufacturing object is disclosed, which has the steps: providing a detection system in the additive manufacturing device for detecting at least one property of the manufacturing object, manufacturing the manufacturing object in several manufacturing steps, wherein during manufacturing the Recording system that determines at least one property of the production object, comparison of the at least one property with a target state of the property, determination of deviations between the at least one property and the target state of the property, evaluation of the deviation determined in the deviation determination step if deviations are determined, determination of an adjustment of at least one process parameter based on the deviation determined in the deviation determination step to reduce the deviation in the further production process , application of the adjustment determined in the adjustment determination step of the at least one process parameter.
Ferner wird offenbart, dass der mindestens eine Prozessparameter einer oder mehrere aus der Gruppe von Bauraumtemperatur, Fertigungslaserintensität oder Fertigungsgeschwindigkeit ist.Furthermore, it is disclosed that the at least one process parameter is one or more from the group of installation space temperature, production laser intensity or production speed.
Ferner wird offenbart, dass das Erfassungssystem ein Kamerasystem und/oder ein Projektor-Kamerasystem und/oder ein Lasererfassungssystem zur Erfassung einer dreidimensionalen Ausgestaltung des Fertigungsobjekts oder zur Erfassung einer Oberflächentemperatur des Fertigungsobjekts ist.Furthermore, it is disclosed that the detection system is a camera system and/or a projector camera system and/or a laser detection system for detecting a three-dimensional configuration of the production object or for detecting a surface temperature of the production object.
Ferner wird offenbart, dass die Ermittlung der Anpassung im Anpassungsermittlungsschritt mittels eines modellfreien Algorithmus erfolgt.Furthermore, it is disclosed that the adjustment is determined in the adjustment determination step by means of a model-free algorithm.
Ferner wird offenbart, dass die Ermittlung der Anpassung im Anpassungsermittlungsschritt mittels eines künstlichen neuronalen Netzes zur Modellierung von Übergangswahrscheinlichkeiten oder optimalen Handlungssequenzen erfolgt. Als eine Handlung wird dabei die Anpassung eines Prozessparameters infolge einer Veränderung in einer Zustandsvariable (state variable), bspw. der Temperatur im Schmelzpool, verstanden.Furthermore, it is disclosed that the adjustment is determined in the adjustment determination step by means of an artificial neural network for modeling transition probabilities or optimal action sequences. An action is understood as the adjustment of a process parameter as a result of a change in a state variable, for example the temperature in the melt pool.
Ferner wird offenbart, dass die Ermittlung der Anpassung im Anpassungsermittlungsschritt mittels eines modellbasierten Algorithmus erfolgt.Furthermore, it is disclosed that the adjustment is determined in the adjustment determination step by means of a model-based algorithm.
Ferner wird offenbart, dass die Ermittlung der Anpassung im Anpassungsermittlungsschritt mittels eines künstlichen neuronalen Netzes zur Modellierung von optimierten Sequenzen von Änderungen von Prozessparametern basierend auf einer Systemmodellierung zur Überführung der additiven Fertigungsvorrichtung von einem Ist-Zustand in einen Soll-Zustand erfolgt.It is also disclosed that the adjustment is determined in the adjustment determination step using an artificial neural network for modeling optimized sequences of changes in process parameters based on system modeling for transferring the additive manufacturing device from an actual state to a target state.
Ferner wird offenbart, dass für dynamische Randomisierung und Domain-Randomisierung (Dynamics / Domain Randomization) Umweltparameter während einer Systemsimulation variiert werden, um das künstliche neuronale Netz zu höherer Generalisierung zu zwingen.Furthermore, it is revealed that for dynamic randomization and domain randomization (Dynamics / Domain Randomization) environmental parameters are varied during a system simulation to force the artificial neural network to higher generalization.
Offenbart wird eine Vorrichtung zur additiven Fertigung, die eingerichtet ist, ein Verfahren nach den vorhergehenden Verfahrensansprüchen auszuführen.A device for additive manufacturing is disclosed, which is set up to carry out a method according to the preceding method claims.
In einem vierten Offenbarungsgegenstand wird ein Verfahren zur Erkennung von Fertigungsfehlern während der additiven Fertigung eines Fertigungsobjekts offenbart, das die Schritte aufweist: Vorsehen eines Kamerasystems an oder in einem Bauraum einer additiven Fertigungsvorrichtung bestimmen eines Kamerasystempfades des Kamerasystems während der Fertigung des Fertigungsobjekts in mehreren Fertigungsschritten, wobei während der Fertigung das Kamerasystem den Kamerasystempfad abfährt und an vorbestimmten Positionen Bildaufnahmen des Fertigungsobjekts aufnimmt und abspeichert, Ermitteln einer Bildtiefenkarte für mindestens eine Sequenz aus mindestens zwei Bildaufnahmen, Ermitteln einer Gesamttiefenkarte aus allen Bildtiefenkarten für einen Fertigungsschritt, Ermitteln einer 3-dimensionalen Ausgestaltung des Fertigungsobjekts aus der Gesamttiefenkarte, Verwendung eines Lasers zum Abtasten einer Bauschicht in dem Bauraum einer additiven Fertigungsvorrichtung zur Ermittlung von Eigenschaften eines Fertigungsobjekts.In a fourth subject matter of the disclosure, a method for detecting manufacturing errors during the additive manufacturing of a manufacturing object is disclosed, which has the steps: providing a camera system on or in a construction space of an additive manufacturing device, determining a camera system path of the camera system during the manufacturing of the manufacturing object in several manufacturing steps, wherein the camera system during production camera system path and takes and saves images of the production object at predetermined positions, determining an image depth map for at least one sequence of at least two images, determining a total depth map from all image depth maps for a production step, determining a 3-dimensional design of the production object from the total depth map, using a laser for scanning a build layer in the build space of an additive manufacturing device to determine properties of a manufactured object.
Ferner wird offenbart, dass die ermittelten Eigenschaften eine 3-dimensionale Ausgestaltung und/oder eine Oberflächentemperatur sind.Furthermore, it is disclosed that the determined properties are a 3-dimensional configuration and/or a surface temperature.
Ferner wird offenbart, dass das Verfahren ferner die Schritte aufweist: Abgleich der 3-dimensionalen Ausgestaltung mit einer 3-dimensionalen Soll-Ausgestaltung, Ermittlung von Abweichungen zwischen der 3-dimensionalen Ausgestaltung und der 3-dimensionalen Soll-Ausgestaltung, Bewertung der im Abweichungsermittlungsschritt ermittelten Abweichung, wenn Abweichungen ermittelt werden, Ausgabe einer Abweichungsbewertung.It is also disclosed that the method also has the steps: comparison of the 3-dimensional configuration with a 3-dimensional target configuration, determination of deviations between the 3-dimensional configuration and the 3-dimensional target configuration, evaluation of the deviation determination step Deviation, if deviations are determined, output of a deviation assessment.
Ferner wird offenbart, dass das Verfahren ferner die Schritte aufweist: Abgleich der 3-dimensionalen Ausgestaltung mit einer 3-dimensionalen Soll-Ausgestaltung, Ermittlung von Abweichungen zwischen der 3-dimensionalen Ausgestaltung und der 3-dimensionalen Soll-Ausgestaltung, Bewertung der im Abweichungsermittlungsschritt ermittelten Abweichung, wenn Abweichungen ermittelt werden, Ausgabe einer Abweichungsbewertung.It is also disclosed that the method also has the steps: comparison of the 3-dimensional configuration with a 3-dimensional target configuration, determination of deviations between the 3-dimensional configuration and the 3-dimensional target configuration, evaluation of the deviation determination step Deviation, if deviations are determined, output of a deviation assessment.
Ferner wird offenbart, dass das Kamerasystem ein Stereokamerasystem ist, das zeitgleich zwei Bildaufnahmen des Fertigungsobjekts aufnimmt, abspeichert und die Ermittlung der lokalen Tiefenkarte aus den zwei zeitgleich aufgenommenen Bildern ermittelt wird.Furthermore, it is disclosed that the camera system is a stereo camera system, which takes two pictures of the production object at the same time, stores them and determines the local depth map from the two pictures taken at the same time.
Ferner wird offenbart, dass die ermittelten Eigenschaften eine 3-dimensionale Ausgestaltung und/oder eine Oberflächentemperatur sind.Furthermore, it is disclosed that the determined properties are a 3-dimensional configuration and/or a surface temperature.
Ferner wird offenbart, dass das Verfahren ferner den Schritt aufweist: Kalibrieren des Lasers mittels einer durch das Kamerasystem erzeugten Bildaufnahme, Erzeugung einer Laser-Disparitätskarte (Disparity Map) aus den mit dem Laser ermittelten Daten für den gleichen Bildausschnitt wie der durch das Kamerasystem aufgenommenen Bildaufnahme, Erzeugen einer Bild-Disparity Map aus den mit dem Kamerasystem ermittelten Daten, Erzeugen einer Gesamt-Disparity Map aus der Laser-Disparity Map und der Bild-Disparity Map. Erzeugen einer 3-dimensionalen Ausgestaltung des Fertigungsobjekts basierend auf der Gesamt-Disparity Map.It is also disclosed that the method also has the step: calibrating the laser using an image recorded by the camera system, generating a laser disparity map (disparity map) from the data determined with the laser for the same image section as the image recorded by the camera system , generating an image disparity map from the data determined with the camera system, generating a total disparity map from the laser disparity map and the image disparity map. Generate a 3-dimensional design of the manufacturing object based on the overall disparity map.
Ferner wird offenbart, dass das Verfahren ferner die Schritte aufweist: Vorsehen eines teilspiegelnden Spiegels, der so angeordnet ist, dass ein Strahl des Lasers von der transparenten Seite hindurchtritt und ein von dem Fertigungsobjekt reflektierter Strahl von dem teilspiegelnden Spiegel reflektiert wird, Vorsehen eines fixen Spiegels, wobei die Oberflächen des teilspiegelnden Spiegels und des fixen Spiegels so ausgestaltet sind, dass ein von dem Fertigungsobjekt reflektierter Strahl auf einen eindimensionalen, vorzugsweise kreisförmigen Bereich reflektiert wird, und Vorsehen von mindestens einem Sensor an dem eindimensionalen Bereich, der eingerichtet ist, den reflektierten Strahl zu erfassen.Furthermore, it is disclosed that the method further comprises the steps: providing a partially reflecting mirror which is arranged such that a beam of the laser passes through from the transparent side and a beam reflected from the production object is reflected by the partially reflecting mirror, providing a fixed mirror , wherein the surfaces of the partially reflecting mirror and the fixed mirror are designed in such a way that a beam reflected from the production object is reflected onto a one-dimensional, preferably circular area, and providing at least one sensor on the one-dimensional area that is set up to detect the reflected beam capture.
Ferner wird offenbart, dass die Oberflächen des teilspiegelnden Spiegels und des fixen Spiegels quasi-parabolisch ausgestaltet sind.Furthermore, it is disclosed that the surfaces of the partially reflecting mirror and the fixed mirror are configured quasi-parabolic.
Ferner wird offenbart, dass das Verfahren ferner die Schritte aufweist: Vorsehen eines um eine erste Achse rotierenden Reflektors, Vorsehen eines fixen Spiegels, der senkrecht zur ersten Achse kreissegmentförmig ausgestaltet ist, und so angeordnet ist, dass sich der rotierende Reflektor im Kreissegmentmittelpunkt befindet und eine solche Oberfläche aufweist, dass zum Kreissegment radial verlaufender Strahl parallel zur ersten Achse reflektiert wird und auf eine Bauschicht fokussiert wird, Vorsehen einer Laserempfangsvorrichtung, Rotieren des rotierenden Reflektors um die erste Achse, Richten eines Laserstrahls auf den rotierenden Reflektor, Reflektieren des Laserstrahls durch den rotierenden Reflektor in Richtung des fixen Spiegels, Reflektieren des Laserstrahls durch den fixen Spiegel in Richtung des Fertigungsobjekts, Reflektieren des Laserstrahls als reflektieren Laserstrahl durch das Fertigungsobjekt in Richtung des fixen Spiegels, Reflektieren des reflektierten Laserstrahls durch den fixen Spiegel in Richtung des rotierenden Reflektors, Reflektieren des reflektieren Laserstrahls durch den rotierenden Reflektor zu einem Laserempfänger, Erfassen des reflektieren Laserstrahls durch die Laserempfangsvorrichtung.It is also disclosed that the method also has the steps: providing a reflector rotating about a first axis, providing a fixed mirror which is designed in the shape of a segment of a circle perpendicular to the first axis and is arranged in such a way that the rotating reflector is located in the center of the segment of a circle and a has such a surface that a beam traveling radially to the circle segment is reflected parallel to the first axis and is focused onto a building layer, providing a laser receiving device, rotating the rotating reflector about the first axis, directing a laser beam onto the rotating reflector, reflecting the laser beam by the rotating Reflector toward the fixed mirror, reflecting the laser beam by the fixed mirror toward the manufacturing object, reflecting the laser beam as a reflected laser beam through the manufacturing object toward the fixed mirror, reflecting the reflected laser beam through the fixed mirror towards the rotating reflector, reflecting the reflected laser beam by the rotating reflector to a laser receiver, detecting the reflected laser beam by the laser receiving device.
Ferner wird offenbart, dass der Bildtiefenkarten-Ermittlungsschritt, der Gesamttiefenkartenermittlungsschritt, der 3-dimensionale-Ausgestaltungs-Ermittlungsschritt, der Abgleichschritt, der Abweichungsermittlungsschritt und/oder der Bewertungsschritt nach Abschluss der Fertigung des Fertigungsobjekts erfolgen.Furthermore, it is disclosed that the image depth map determination step, the overall depth map determination step, the 3-dimensional configuration determination step, the adjustment step, the deviation determination step and/or the evaluation step take place after the production of the production object has been completed.
Ferner wird offenbart, dass der Lokale-Tiefenkarten-Ermittlungsschritt, der Globale-Tiefenkartenermittlungsschritt, der 3-dimensionale-Ausgestaltungs-Ermittlungsschritt, der Abgleichschritt, der Abweichungsermittlungsschritt und/oder der Bewertungsschritt nach Abschluss eines der Fertigungsschritte der Fertigung des Fertigungsobjekts erfolgen.Furthermore, it is disclosed that the local depth map determination step, the global depth map determination step, the 3-dimensional design The processing determination step, the adjustment step, the deviation determination step and/or the evaluation step take place after the completion of one of the production steps of the production of the production object.
Ferner wird offenbart, dass im 3-Dimensionale-Ausgestaltungs-Ermittlungsschritt die globalen Tiefenkarte mehrerer Fertigungsschritte berücksichtigt werden.Furthermore, it is disclosed that the global depth map of several manufacturing steps is taken into account in the 3-dimensional design determination step.
Ferner wird offenbart, dass die Anzahl der berücksichtigten Fertigungsschritte n > 20 und n < 100 ist.Furthermore, it is disclosed that the number of manufacturing steps taken into account is n>20 and n<100.
Ferner wird offenbart, dass der Erfassungslaser der Fertigungslaser der additiven Fertigungsvorrichtung ist.Furthermore, it is disclosed that the detection laser is the manufacturing laser of the additive manufacturing device.
Ferner wird offenbart, dass der Erfassungslaser ein Laser separat von dem Fertigungslaser der additiven Fertigungsvorrichtung ist.Furthermore, it is disclosed that the detection laser is a laser separate from the manufacturing laser of the additive manufacturing device.
Ferner wird eine Vorrichtung zur additiven Fertigung offenbart, die eingerichtet ist, ein Verfahren nach einem der vorhergehenden Absätze auszuführen.Furthermore, a device for additive manufacturing is disclosed, which is set up to carry out a method according to one of the preceding paragraphs.
Im Folgenden werden Ausführungsbeispiele anhand der Figuren beschrieben.
-
1 zeigt eine Darstellung eines ersten Ausführungsbeispiels einer erfindungsgemäßen Vorrichtung zum Aufbau eines dreidimensionalen Fertigungsobjekts. -
2 zeigt einen Bauraum derVorrichtung aus 1 . -
3 zeigt eine Sensoranordnung des ersten Ausführungsbeispiels. -
4 zeigt eine Darstellung eines zweiten Ausführungsbeispiels der erfindungsgemäßen Vorrichtung zum Aufbau eines dreidimensionalen Fertigungsobjekts. -
5 zeigt eine Darstellung eines dritten Ausführungsbeispiels der erfindungsgemäßen Vorrichtung zum Aufbau eines dreidimensionalen Fertigungsobjekts. -
6 zeigt eine Darstellung zur stereoskopischen Tiefenermittlung. -
7 zeigt eine Punktewolke und ein zugehöriges Dreiecksnetz (Oberflächendarstellung). -
8 zeigt ein Ablaufdiagramm eines erfindungsgemäßen Verfahrens zur 3D-Rekonstruktion. -
9 zeigt eine Darstellung einer ersten Abwandlung der erfindungsgemäßen Vorrichtungen zum Aufbau eines dreidimensionalen Fertigungsobjekts gemäß den Ausführungsbeispielen. -
10 zeigt eine Darstellung einer zweiten Abwandlung der erfindungsgemäßen Vorrichtungen zum Aufbau eines dreidimensionalen Fertigungsobjekts gemäß den Ausführungsbeispielen. -
11 zeigt eine Schnittdarstellung der zweiten Abwandlung der erfindungsgemäßen Vorrichtungen zum Aufbau eines dreidimensionalen Fertigungsobjekts gemäß den Ausführungsbeispielen.
-
1 shows a representation of a first exemplary embodiment of a device according to the invention for constructing a three-dimensional production object. -
2 shows an installation space of thedevice 1 . -
3 shows a sensor arrangement of the first embodiment. -
4 shows a representation of a second exemplary embodiment of the device according to the invention for constructing a three-dimensional production object. -
5 shows a representation of a third exemplary embodiment of the device according to the invention for constructing a three-dimensional production object. -
6 shows a representation of the stereoscopic depth determination. -
7 shows a point cloud and an associated triangle mesh (surface representation). -
8th shows a flow chart of a method according to the invention for 3D reconstruction. -
9 shows a representation of a first modification of the devices according to the invention for constructing a three-dimensional production object according to the exemplary embodiments. -
10 shows a representation of a second modification of the devices according to the invention for constructing a three-dimensional production object according to the exemplary embodiments. -
11 shows a sectional view of the second modification of the devices according to the invention for constructing a three-dimensional production object according to the exemplary embodiments.
ERSTES AUSFÜHRUNGSBEISPIELFIRST EMBODIMENT
Im Folgenden wird anhand von
Wie in
Bei der dargestellten Ausführungsform beinhaltet das Optiksystem einen Laser 6, einen Umlenkspiegel 7 und einen Scanner 8. Der Laser 6 erzeugt einen Strahl 9, der auf den Umlenkspiegel 7 trifft und von diesem in Richtung des Scanners 8 umgelenkt wird. Der Scanner 8 ist in bekannter Weise derart ausgebildet, dass er den eintreffenden Strahl 9 auf beliebige Stellen in einer Bauschicht (current layer) 11 richten kann, die sich in dem Bauraum 10 befindet. Um dies zu ermöglichen, ist zwischen dem Scanner 8 und dem Bauraum 10 in einer oberen Trennwand 5 des Bauraums 10 ein Eintrittsfenster 12 vorgesehen, das ein Durchtreten des Strahls 9 in den Bauraum 10 ermöglicht. Eine F-θ Linse 14 ist im Pfad des Strahls 9 angeordnet und richtet den Strahl 9 senkrecht auf die Bauschicht 11.In the illustrated embodiment, the optics system includes a laser 6, a deflection mirror 7 and a
Als Nächstes wird mit Bezug auf
In dem Bauraum 10 ist ein nach oben offener Behälter 25 vorgesehen. In dem Behälter 25 ist eine Trägervorrichtung 26 zum Tragen eines zu bildenden dreidimensionalen Objekts angeordnet. Die Trägervorrichtung 26 ist mittels eines nicht dargestellten Antriebs in der vertikalen Richtung in dem Behälter 25 hin und her bewegbar. Am oberen Ende der Trägervorrichtung 26 ist eine Bauplatte (build plate) 13 vorgesehen, die mit der Trägervorrichtung 26 vertikal verfahrbar ist. Auf der Bauplatte 13 ist das dreidimensionale Objekt während seiner Fertigung angeordnet. Im Bereich des oberen Randes des Behälters 25 ist die aktuelle Bauschicht 11 (current layer), d.h. die Schicht, die sich gerade in der Fertigung befindet, definiert. Das Eintrittsfenster 12 für den durch den Scanner 8 auf die Bauschicht 11 gerichteten Strahl 9 ist oberhalb der Bauschicht 11 angeordnet. Es ist ein Beschichter 27 (Recoater) zum Auftragen von zu verfestigendem Aufbaumaterial auf die Oberfläche der Trägervorrichtung 26 bzw. eine zuvor verfestigte Schicht vorgesehen. Der Beschichter 27 ist mittels eines durch Pfeile in
Auf der Seite der Dosiervorrichtung 28 ist eine Zufuhröffnung 30 vorgesehen. Die Zufuhröffnung 30 erstreckt sich in der Richtung senkrecht zu der Darstellungsebene von
Wie in
Bei der gezeigten Ausführungsform sind einige Bauteile durch ein Verfahren zum schichtweisen Herstellen eines dreidimensionalen Elements durch selektives Verfestigen von dem Objekt entsprechenden Stellen in den jeweiligen Schichten gebildet. Bei der Ausführungsform wird zu deren Herstellung ein Lasersinterverfahren verwendet.In the embodiment shown, some components are formed by a method of fabricating a three-dimensional element layer by layer by selectively solidifying locations corresponding to the object in the respective layers. In the embodiment, a laser sintering method is used to manufacture them.
Bei dem Betrieb der Erzeugungsvorrichtung 1 wird das Aufbaumaterial über die Zufuhröffnung 30 in den Bauraum 10 zugeführt und mit den Dosiervorrichtungen 28, 29 in einer vorbestimmten Menge dem Beschichter 27 zugeführt. Der Beschichter 27 trägt eine Schicht des Aufbaumaterials auf der Trägervorrichtung 26 oder einer zuvor verfestigten Schicht auf und mittels des Lasers 6 und des Scanners 8 wird der Strahl 9 auf ausgewählte Positionen in der Bauschicht 11 gelenkt, um dort das Aufbaumaterial an den Stellen selektiv zu verfestigen, die dem zu bildenden dreidimensionalen Objekt entsprechen. Anschließend wird die Trägervorrichtung um die Dicke einer Schicht abgesenkt, eine neue Schicht aufgetragen und das Verfahren wiederholt, bis sämtliche Schichten des zu bildenden Objekts erzeugt sind.When the
Anhand von
Durch die Vorrichtung zum Erzeugen eines dreidimensionalen Objekts wird ferner ein LiDAR-System implementiert. Hierbei ist ein Laseremitter vorgesehen und wird durch den LaserEmitter ein Mess-Laserstrahl erzeugt, der durch eine Umlenkvorrichtung auf das zu erfassende Objekt - im vorliegenden Fall die Bauschicht 11 - gelenkt wird. Die Umlenkvorrichtung ist dabei geeignet, den Laserstrahl auf jeden Punkt der Bauschicht 11 zu lenken, dessen Tiefe vermessen werden soll. Der Laserstrahl wird von der Oberfläche des zu vermessenden Objekts, d.h. in diesem Fall von der Oberfläche der Bauschicht 11, reflektiert. Ferner ist ein Laserempfänger vorgesehen, der die Reflexion des Laserstrahls erfasst. Aus der Signallaufzeit, d.h. der Zeitdifferenz zwischen Absenden und Empfangen des Laserstrahls und der Ausbreitungsgeschwindigkeit des Laserstrahls im entsprechenden Umgebungsmedium in und/oder außerhalb des Bauraums, wird unter Kenntnis der Anordnung des Laseremitters und des Laserempfängers und unter Kenntnis der Auslenkung der Umlenkvorrichtung die Distanz für jeden Messpunkt ermittelt.A LiDAR system is also implemented by the device for generating a three-dimensional object. In this case, a laser emitter is provided and a measuring laser beam is generated by the laser emitter, which is directed by a deflection device onto the object to be detected—in the present case the
Im vorliegenden Ausführungsbeispiel wird der Fertigungslaser 6 als Messlaser verwendet, wobei der Umlenkspiegel 7 und der Scanner 8 als Umlenkvorrichtung dienen. Der Laserempfängers ist (außerhalb) an oder im Brennraum 10 angeordnet und auf die Bauschicht 11 ausgerichtet.In the present exemplary embodiment, the production laser 6 is used as a measuring laser, with the deflection mirror 7 and the
ZWEITES AUSFÜHRUNGSBEISPIELSECOND EMBODIMENT
Anhand von
Anstelle des Kamerasystems 50 ist ein Kamerasystem 50' an dem Schlitten 51 vorgesehen. Das Kamerasystem weist ein Kameramodul 52' auf. Über einen ersten Stellmotor 54 lässt sich das Kameramodul 52' um die vertikale z-Achse rotieren und somit in der Ausrichtung in der vertikalen Ebene ändern. Über einen zweiten Stellmotor 55 lässt sich das Kameramodul 52' um die eine horizontale Achse, d.h. eine Achse senkrecht zur z-Achse rotieren und somit die Ausrichtung nach unten ändern. Durch diese Anordnung ist der Schlitten 51 und damit das Kameramodul 52' in der durch x- und y-Achse aufgespannten Ebene frei bewegbar und kann die Ausrichtung des ersten Kameramoduls 52' auf jeden Punkt des Werkstücks ausgerichtet werden.Instead of the
DRITTES AUSFÜHRUNGSBEISPIELETHIRD EMBODIMENTS
Anhand von
Ein kreisrunder Lagerring 61 ist im oberen Bereich 40 des Bauraums 11 vorgesehen und ortsfest mit dem Gehäuse verbunden. Innerhalb des Lagerrings 61 ist ein Drehring 62 drehbar gelagert. Über den Stellmotor 63 ist der Drehring 62 innerhalb des Lagerrings 61 frei drehbar. An dem Drehring 62 ist ein erstes Kameramodul 52" angebracht. Das Kameramodul 52" ist radial nach innen ausgerichtet. Hierbei ist das Kameramodul 52" um den Neigungswinkel α nach unten in Richtung der Bauschicht 11 geneigt. Der Neigungswinkel α ist vorausgewählt und fest. Durch den Neigungswinkel des Kameramoduls und die Drehbarkeit des Drehrings 62 ist jeder Bereich der Bauschicht 11 durch das Kameramodul erfassbar. An dem Drehring können weitere Kameramodule, beispielsweise ein zweites Kameramodul 53" angebracht sein. Das zweite Kameramodul 53" ist radial nach innen ausgerichtet und um einen Neigungswinkel β nach unten in Richtung der Bauschicht 11 geneigt. Der Neigungswinkel β ist vorausgewählt, fest und unterschiedlich zu dem Neigungswinkel α. Diese Anordnung erlaubt je nach Wahl der Neigungswinkel eine stereoskopische Erfassung in einem Durchgang, eine schnellere stereoskopische Erfassung mit jeweils einem Kameramodul durch paralleles Erfassen durch mehrere Kameras oder eine größere Bereichsabdeckung.A
In einer Abwandlung dieses Ausführungsbeispiels sind die Neigungswinkel α und β durch je einen Stellmotor veränderbar. Damit kann der durch das Kameramodul 52" und das Kameramodul 53" erfasste Bereich verändert werden. Dies erlaubt, Kameramodule mit einer größeren Brennweite zu verwenden, was die Auflösung erhöht, aber den erfassten Bereich verkleinert. Durch eine Veränderung der Neigungswinkel α und β ist dennoch sichergestellt, dass der gesamte Bereich der Bauschicht 11 erfassbar bleibt.In a modification of this exemplary embodiment, the angles of inclination α and β can each be changed by a servomotor. The area covered by the
DEFEKTERKENNUNG DURCH 3D REKONSTRUKTION IN DEN AUSFÜHRUNGSBEISPIELEN:DEFECT DETECTION THROUGH 3D RECONSTRUCTION IN THE EXEMPLARY EMBODIMENTS:
Ein erstes Verfahren zur in-situ Defekterkennung definiert einen Defekt als Abweichung (additiv oder reduktiv) zwischen der Oberfläche des gedruckten Bauteils gegenüber dem CAD Modell, die über eine festgelegte Toleranz hinausgehen. Dazu wird das Bauteil kontinuierlich dreidimensional während des Drucks rekonstruiert und mit dem Modell, typischerweise in einem CAD Format wie STL oder STEP verglichen, um Abweichungen zu erkennen.A first method for in-situ defect detection defines a defect as a deviation (additive or reductive) between the surface of the printed component and the CAD model that goes beyond a specified tolerance. For this purpose, the component is continuously reconstructed in three dimensions during printing and compared with the model, typically in a CAD format such as STL or STEP, in order to detect deviations.
REKONSTRUKTION AUS PUNKTWOLKEN UND RGB-D BILDERN:RECONSTRUCTION FROM POINT CLOUDS AND RGB-D IMAGES:
Ein Verfahren zur Abstandsberechnung ist das sogenannte LiDAR System, welches einen Laserstrahl aussendet und damit (direkt oder indirekt) die Dauer misst, bis nach Emission eines Laserstrahls dessen Reflexion wieder am System zurück ist. Über Laufzeit und Lichtgeschwindigkeit ist dann ermittelbar, wie weit ein Objekt entfernt ist.One method for calculating the distance is the so-called LiDAR system, which emits a laser beam and thus (directly or indirectly) measures the time it takes for a laser beam to be reflected back to the system after it has been emitted. It is then possible to determine how far away an object is via transit time and the speed of light.
Stereokameras sind Systeme bestehend aus zwei oder mehr Kameras, die zeitgleich zwei oder mehr als zwei Bilder der gleichen Szene erzeugen und daraus die Tiefe ermitteln. Alternativ werden mit einer bewegbar angeordneten Kamera zeit- und ortsversetzt zwei Bilder der gleichen Szene aufgenommen und daraus die Tiefe ermittelt. Da beide Systeme bereits die Tiefendimensionen ermittelt haben, reduziert sich das Rekonstruktionsproblem auf die Segmentierung von geometrischen Objekten, d.h. die Feststellung, welcher Tiefenpunkt zum Objekt von Interesse gehört, und welcher Tiefenpunkt zur Oberfläche des nicht verarbeiteten Pulverbetts gehört und ignoriert werden kann.Stereo cameras are systems consisting of two or more cameras that simultaneously produce two or more than two images of the same scene and determine the depth from them. Alternatively, two images of the same scene are recorded with a movably arranged camera at different times and in different locations, and the depth is determined from them. Since both systems have already determined the depth dimensions, the reconstruction problem is reduced to the segmentation of geometric objects, ie determining which depth point belongs to the object of interest and which depth point belongs to the surface of the unprocessed powder bed and can be ignored.
Eine Möglichkeit zur Segmentierung ist die thermische Segmentierung. Bei der thermischen Segmentierung wird davon ausgegangen, dass ein Thermogramm existiert, dass die Objekte als auch mindestens ein Teil des umgebenden Pulverbetts umfasst. In den Ausführungsbeispielen sind die Kameramodule eingerichtet, Wärmestrahlung zu erfassen. Auf Basis des Thermogramms, Informationen über das verwendete Pulver und dessen entsprechendes thermisches Verhalten kann anhand des Temperaturgradienten (dT) die Zugehörigkeit entweder zum Pulverbett oder zum soliden Objekt bestimmt werden. Die Regel lautet dann, dT > S, wobei S eine untere Schranke ist, die experimentell ermittelt wird.One option for segmentation is thermal segmentation. Thermal segmentation assumes that a thermogram exists that includes the objects as well as at least part of the surrounding powder bed. In the exemplary embodiments, the camera modules are set up to detect thermal radiation. Based on the thermogram, information about the powder used and its corresponding thermal behavior, the temperature gradient (dT) can be used to determine whether it belongs to the powder bed or to the solid object. The rule is then dT > S, where S is a lower bound that is determined experimentally.
Alternativ zum Temperaturgradienten kann für jedes Pixel die Wahrscheinlichkeit (T) ermittelt werden, ob das Material, das von diesem Pixel abgedeckt wird, geschmolzen ist oder nicht. Dazu wird die bekannten physikalischen Eigenschaften des Materials und entsprechende Simulationsmethoden (Finite-Elemente o.ä.) verwendet. Anschließend, wenn die Wahrscheinlichkeit berechnet ist, wird eine geeignete Schranke (P) gewählt und wenn T > P, dann gehört dieses Pixel zum soliden Objekt, ansonsten zum Pulverbett. Zu berücksichtigen ist hier, dass auch unvollständig verschmolzene Bereiche (incomplete fusion holes) mit einer niedrigen Wahrscheinlichkeit belegt würden. Daher muss in einem letzten Schritt die Oberflächen noch gefunden werden, die als nicht geschmolzen markiert sind. Dabei werden die Bereiche mit T < P und einer Fläche kleiner als X Quadratpixel ignoriert und gehören somit zum gelaserten Bereich, X ist geeignet zu wählen.As an alternative to the temperature gradient, the probability (T) can be determined for each pixel as to whether the material covered by this pixel has melted or not. For this purpose, the known physical properties of the material and corresponding simulation methods (finite elements or similar) are used. Then, when the probability is calculated, an appropriate bound (P) is chosen and if T > P then this pixel belongs to the solid object, else to the powder bed. It should be noted here that incomplete fusion holes would also have a low probability. Therefore, in a last step, the surfaces marked as not melted have to be found. The areas with T < P and an area smaller than X square pixels are ignored and therefore belong to the lasered area, X is to be selected appropriately.
Bei der thermischen Segmentierung ist es vorteilhaft, die gefundenen Koordinaten in die Bildkoordinaten der Tiefenkarten, Punktewolke und/oder des RGB Bilds zu transformieren. Ungenauigkeiten können vermieden werden, wenn die Auflösung des thermischen Bildes relativ zum optischen Bild ausreichend hoch ist und im Idealfall die Auflösung des thermischen Bildes der des optischen Bildes entspricht. Beispielsweise durch eine ausreichend hohe Auflösung der Erfassung des Wärmebildes, mehrfaches Messen oder dem Messen mit mehreren, aber versetzten Kameras kann dies erreicht werden.In the case of thermal segmentation, it is advantageous to transform the coordinates found into the image coordinates of the depth maps, point cloud and/or the RGB image. Inaccuracies can be avoided if the resolution of the thermal image is sufficiently high relative to the optical image and ideally the resolution of the thermal image corresponds to that of the optical image. This can be achieved, for example, by a sufficiently high resolution of the thermal image acquisition, multiple measurements or measurements with several but offset cameras.
Eine weitere Möglichkeit zur Segmentierung ist die optische Segmentierung.Another option for segmentation is optical segmentation.
Bei der optischen Segmentierung werden die RGB-Aufnahmen der Kameramodule verwendet. Das Pulverbett und das geschmolzene Material heben sich durch den physikalischen Umformungsprozess für die meisten Pulver deutlich voneinander ab. Basierend auf dieser Beobachtung kann mit Hilfe von Histogramm-basierten Methoden das Fertigungsobjekt erkannt werden. D.h. an dem Punkt, an dem sich der Grauwert eines Pixels im Vergleich zu seinem umgebenden Pixel signifikant ändert, befindet sich eine Kante. Alternativ lassen sich gradientenbasierte Verfahren, beispielsweise mit Hilfe des Sobel Operators oder Clustering basierte Verfahren einsetzen, die dem Fachmann bekannt sind. Wie zuvor, muss die Hülle berechnet werden. Besonders vorteilhaft ist hier der Einsatz von Clustering Verfahren, da zum einen bekannt ist, dass es nur zwei Cluster geben sollte und zum anderen das CAD-Modell als Vorlage verwenden werden kann.The RGB images of the camera modules are used for the optical segmentation. The powder bed and the molten material stand out clearly from each other due to the physical transformation process for most powders. Based on this observation, the production object can be recognized with the help of histogram-based methods. That is, at the point where the gray value of a pixel changes significantly compared to its surrounding pixel, there is an edge. Alternatively, gradient-based methods, for example using the Sobel operator or clustering-based methods, which are known to those skilled in the art, can be used. As before, the hull must be calculated. The use of clustering methods is particularly advantageous here, since on the one hand it is known that there should only be two clusters and on the other hand the CAD model can be used as a template.
Eine weitere Möglichkeit zur Segmentierung ist die geometrische Segmentierung. Hierbei erfolgt die Segmentierung über die Tiefenkarte bzw. die Punktewolke.Another option for segmentation is geometric segmentation. Here, the segmentation takes place via the depth map or the point cloud.
Die Ermittlung erfolgt über den Tiefenkartengradienten (dT), d.h. die Differenz in der Tiefen zwischen benachbarten Pixeln. Ist der Tiefengradient dT > S, einer Schwelle die experimentell bestimmt wurde und in etwa dem Faktor aus dem Dichteverhältnis zwischen dem Pulver im Rohzustand und dem verschmolzenen Pulver, und der Schichtdicke einer Pulverschicht entspricht, dann wird angenommen, dass hier eine Kante vorliegt. Auf Basis der ermittelten Punkte wird die Hülle ermittelt. Ansonsten wird dem gleichen Verfahren wie in der thermischen Segmentierung gefolgt.The determination is made via the depth map gradient (dT), i.e. the difference in depth between neighboring pixels. If the depth gradient dT > S, a threshold determined experimentally and roughly equal to a factor of the density ratio between the raw powder and the fused powder, and the layer thickness of a powder layer, then an edge is assumed to exist here. The shell is determined on the basis of the determined points. Otherwise, the same procedure as in thermal segmentation is followed.
Die Segmentierung kann, neben bereits beschrieben Verfahren auch mit unbewachten (unsupervised) oder self-supervised Verfahren durchgeführt /gelernt werden. Des Weiteren lässt sich das CAD als Prior verwenden, um das Verfahren noch zu verbessern bzw. um genauere Ergebnisse zu erzielen.In addition to the methods already described, the segmentation can also be carried out/learned using unsupervised or self-supervised methods. Furthermore, the CAD can be used as a prior to further improve the process or to achieve more precise results.
Anschließend muss ein Punktenetz (Mesh) auf Basis der Punktewolke errechnet werden, um die Geometrie mit einer CAD Datei, bspw. im STL-Format, vergleichen zu können.A point network (mesh) must then be calculated based on the point cloud in order to be able to compare the geometry with a CAD file, e.g. in STL format.
Ein Problem bei der Verwendung von LiDAR ist, dass vermutlich nicht alle Fehlerarten erkannt werden können, bspw. solche Stellen nicht, die nicht oder unzureichend gelasert wurden (incomplete fusion). Stereokameras können das unter Umständen kompensieren, da sie neben der Tiefe auch Texturen abbilden können. Die Arbeitshypothese in diesem Fall ist, dass es Unterschiede in der Textur zwischen einem fehlerfreien und einem fehlerhaften Abschnitt im Bauteil gibt. Die Herausforderung mit Stereokameras ist ihre Genauigkeit, die quadratisch mit der zu messenden Distanz abnimmt. Je weiter das Werkstück von der Kamera entfernt ist, wird von einem Kamerapixel eine immer größere Fläche abgedeckt.One problem with the use of LiDAR is that presumably not all types of defects can be detected, e.g. those areas that have not been lasered or have been insufficiently lasered (incomplete fusion). Under certain circumstances, stereo cameras can compensate for this, since they can also map textures in addition to depth. The working hypothesis in this case is that there are differences in texture between a sound and a sound faulty section in the component. The challenge with stereo cameras is their accuracy, which decreases with the square of the distance to be measured. The further away the workpiece is from the camera, a larger and larger area is covered by a camera pixel.
Die Erfindung schlägt Aufgabenlösungen für den Einsatz eines LiDARs und für den Einsatz von Stereoskopie bei der Defekterkennung in der additiven Fertigung vor. Ferner wird vorgeschlagen, die Informationen aus LiDAR und Stereoskopie zu fusionieren, um die höchstmögliche Genauigkeit bei der Rekonstruktion zu erzielen. Die Sensoren repräsentieren die Daten in unterschiedliche Strukturen, Stereokameras liefern zwei Bilder im RGB Raum, wohingegen Lidar Sensoren Punktewolken erzeugen, die die Distanz zum Objekt und die Orientierung relativ zum Sensor enthalten. Daher ist es notwendig, einen mehrstufige Verfahrensablauf zu verwenden, die zwischen den verschiedenen Sensormodalitäten im ersten Schritt eine einheitliche Darstellung der Eingabedaten findet und anschließend daraus die 3D Repräsentation des Objekts berechnet.The invention proposes solutions for the use of a LiDAR and for the use of stereoscopy in defect detection in additive manufacturing. Furthermore, it is proposed to merge the information from LiDAR and stereoscopy in order to achieve the highest possible accuracy in the reconstruction. The sensors represent the data in different structures, stereo cameras provide two images in RGB space, whereas lidar sensors generate point clouds containing the distance to the object and the orientation relative to the sensor. Therefore, it is necessary to use a multi-stage procedure, which in the first step finds a uniform representation of the input data between the different sensor modalities and then calculates the 3D representation of the object from it.
Im Folgenden wird anhand
Am Anfang des Verfahrens zur Rekonstruktion der 3D Form des Objekts wird in einem Tiefenschätzungsschritt S10 die akkurate Tiefe abgeschätzt, d.h. es wird bestimmt, wie weit das Objekt, das in einem Pixel der Kamera abgebildet ist, von der Kamera entfernt ist. Dazu ist in der Baukammer 10 ein Kamerasystem 50 verbaut. Vorzugsweise ist das Kamerasystem 50 eine Stereokamera 50. Das Kamerasystem kann sich gemäß dem ersten Ausführungsbeispiel in x-y Richtung, d.h. in der horizontalen Ebene translatorisch frei bewegen. Eine translatorische Bewegung in z-Richtung bzw. der Höhenrichtung ist im ersten Ausführungsbeispiel nicht vorgesehen, da eine Bewegung in der Höhenrichtung die Kamera vom Arbeitsbereich entfernt und der Fehler in der Tiefenschätzung einer Stereokamera quadratisch mit der Distanz zum Objekt wächst. Daher sollte das Kamerasystem 40 so nah wie möglich (optisch oder physikalisch) an dem Druckobjekt angeordnet sein. Nach dem 2. Ausführungsbeispiel ist das Kamerasystem 50 um die x-Achse und die y-Achse rotierbar.At the beginning of the method for reconstructing the 3D shape of the object, in a depth estimation step S10 the accurate depth is estimated, i.e. it is determined how far the object imaged in a pixel of the camera is from the camera. A
Alternativ können auch mehrere Kameras angebracht werden, um die Scangeschwindigkeit zu erhöhen, bspw. in einer Reihe, so dass das aggregierte Sichtfeld einen größeren Teil des Bauraums in entweder x-Richtung oder y-Richtung abdeckt.Alternatively, multiple cameras can be attached to increase the scanning speed, e.g. in a row, so that the aggregated field of view covers a larger part of the installation space in either the x-direction or y-direction.
LOKALE TIEFENSCHÄTZUNG:LOCAL DEPTH ESTIMATION:
Das Verfahren zur Tiefenschätzung beginnt in einem Pfadbestimmungsschritt S20 mit der Bestimmung eines optimalen Pfads für das Kamerasystem 50 durch den oberen Bauraum 40. Hierbei wird der Pfad des Kamerasystems in der x-y-Ebene und ggf. die Ausrichtung um die z-Achse und die horizontale Achse bestimmt. Der Pfad hängt dabei von verschiedenen Faktoren wie bspw. dem Fortschritt im Fertigungsverfahren, Lichtverhältnisse und der notwendigen Geschwindigkeit um rechtzeitig mit dem Scan fertig zu werden, ab.The depth estimation method begins in a path determination step S20 with the determination of an optimal path for the
Ist der Pfad bestimmt, beginnt der in einem Scanschritt S30 der Scanvorgang. Hierbei fährt das Kamerasystem 50 den im Pfadbestimmungsschritt S20 bestimmten Pfad ab und nimmt an vorherbestimmten Positionen Bilder des Werkstücks auf.If the path is determined, the scanning process begins in a scanning step S30. Here, the
Die Bestimmung der Bildtiefenkarte selbst erfolgt mehrstufig und beginnt in einem Bildtiefenkartenbestimmungsschritt S40 mit der Berechnung einer einzelnen Tiefenkarte für jedes Bildpaar. Hierbei wird ein Bild A, dass aus der Perspektive A aufgenommen wurde, so transformiert, dass es wie ein Bild B, dass aus einer anderen Perspektive als Bild A aufgenommen wurde, aussieht. Im Transformationsschritt wird dabei die Tiefenkarte durch einen Tiefenkartenbestimmungsalgorithmus, der ein Algorithmus beispielsweise aus der Klasse der selbst-überwachten Machine-Learning Verfahren ist, erzeugt. Das Lernen erfolgt, in dem ein bekanntes Bild in ein anderes bekanntes Bild transformiert wird. Hierfür können die Bilder eines Stereobilderpaars dazu verwendet werden, d.h. der Algorithmus lernt, das rechte Bild in das linke Bild zu transformieren et vice versa. Ferner lassen sich auch aufeinanderfolgende Bilder einer Videosequenz verwenden, da die zu rekonstruierende Szene statisch ist, d.h. keines der zu rekonstruierenden Objekte sich in Bewegung befinden. Im Ausführungsbeispiel wird beides kombiniert und eine zeitliche Sequenz von Stereopaaren (bspw. 3 Bilder) für das Lernen verwendet. Der Transformationsfehler, d.h. die Diskrepanz zwischen dem transformierten Bild und dem korrekten Bild, wird verwendet, um während des Lernens den Algorithmus zu verbessern. Hierbei kommen mehrere neuronale Netze zum Einsatz, die die Tiefenschätzung erlernen. Alternativ kann die Tiefenkarte über trigonometrische Algorithmen ermittelt werden.The image depth map itself is determined in several stages and begins in an image depth map determination step S40 with the calculation of an individual depth map for each image pair. Here, an image A, which was taken from perspective A, is transformed in such a way that it looks like an image B, which was taken from a different perspective than image A. In the transformation step, the depth map is generated by a depth map determination algorithm, which is an algorithm, for example, from the class of self-monitored machine learning methods. Learning takes place by transforming a known image into another known image. The images of a stereo image pair can be used for this, i.e. the algorithm learns to transform the right image into the left image and vice versa. Furthermore, consecutive images of a video sequence can also be used since the scene to be reconstructed is static, i.e. none of the objects to be reconstructed are in motion. In the exemplary embodiment, both are combined and a temporal sequence of stereo pairs (e.g. 3 images) is used for the learning. The transformation error, i.e. the discrepancy between the transformed image and the correct image, is used to improve the algorithm during learning. Several neural networks are used here, which learn the depth estimation. Alternatively, the depth map can be determined using trigonometric algorithms.
DETAILLIERTE BESCHREIBUNG DER BERECHNUNG DER TIEFENKARTEDETAILED DESCRIPTION OF DEPTH MAP CALCULATION
Durch die epipolare Geometrie ist hinreichend exakt beschrieben, wie sich aus einem Stereobildpaar die Tiefe (z-Achse) der jeweils abgebildeten Bereiche bestimmen lässt. Die damit verbundene zentrale Herausforderung ist, die korrespondierenden Pixel in dem Stereobildpaar zu finden (Korrespondenzproblem), d.h. herauszufinden, welches Pixel aus dem ersten Bild den gleichen Bereich des abgebildeten Gegenstands abbildet, wie ein bestimmter Pixel aus dem zweiten Bild. Mit den bekannten trigonometrischen Formeln lässt sich aus der Disparität, d.h. der Pixelverschiebung zwischen linkem und rechtem Bild, die Tiefe schätzen.The epipolar geometry describes with sufficient accuracy how the depth (z-axis) of the respective imaged areas can be determined from a pair of stereo images. The central challenge associated with this is the korres to find ponding pixels in the stereo image pair (correspondence problem), ie to find out which pixel from the first image depicts the same area of the imaged object as a certain pixel from the second image. With the well-known trigonometric formulas, the depth can be estimated from the disparity, ie the pixel shift between the left and right image.
Um das Korrespondenzproblem und damit die Tiefenschätzung zu lösen, lehrt die Erfindung:In order to solve the correspondence problem and thus the depth estimation, the invention teaches:
Ziel ist es, eine Funktion / zu lernen, die jedem Bild It des Stereobildpaars eine Tiefenkarte Dt zuordnet, d.h. Dt = ƒ(It). Ein Vorteil des Ansatzes ist es auch, dass anstelle einer Stereokamera eine Monokamera verwendet werden kann. In der Anwendung werden die geschätzten Tiefenkarten für das linke und das rechte Bild im Stereobildpaar gemittelt:
Die Funktion / wird durch die Minimierung des Photometrischen Reprojektionsfehlers geschätzt. Das Konzept dahinter ist, aus der Tiefenkarte, die für ein Bild des Stereopaars geschätzt wurde, das andere Bild zu Rekonstruieren und den Fehler, der bei der Rekonstruktion entsteht zu minimieren. Implizit wird damit die Disparität gelernt, denn um ein Bild aus dem anderen eines Stereopaars zu lernen muss der Algorithmus lernen, wie er die einzelnen Pixel in der Bildebene verschieben muss, um das andere Bild zu rekonstruieren.The function / is estimated by minimizing the photometric reprojection error. The concept behind this is to reconstruct the other image from the depth map estimated for one image of the stereo pair and to minimize the error that arises in the reconstruction. The disparity is learned implicitly, because in order to learn one image from the other of a stereo pair, the algorithm has to learn how to move the individual pixels in the image plane in order to reconstruct the other image.
Das Optimierungskriterium besteht aus mehreren Teilen. Dazu berechnet Lp:
Des Weiteren sind die Bilder mit t indexiert, da das Optimierungskriterium noch über einen Kontext gemittelt wird. Teil des Kontextes ist zum einen das Bild eines Stereopaars, für welches keine Schätzung der Tiefenkarte ermittelt wurde, sowie die Stereopaare vor und nach dem Zielbild. Das heißt für die Schätzung basierend auf Bild
Die zweite Komponente Ls des Optimierungskriteriums:
Die Schätzung von Tiefenkarten welche nur auf den beschriebenen Optimierungskriterien basieren führt zu dimensionslosen Karten. Um die Fehlererkennung mittels Abgleich zwischen rekonstruiertem Bauteil und CAD Vorlage durchführen zu können ist es notwendig, die Tiefe in einer Maßeinheit, bspw. mm, darzustellen. Wie zuvor bereits beschrieben, ist ein wesentlicher Bestandteil der Tiefschätzung die relative Konfiguration der Kamera zwischen zwei Bildern eines Stereopaars durch den Kalibrierungsprozess bereits gegeben. Es wird gelehrt, die relative translatorische Änderung der Kamera Konfiguration zwischen zwei zeitlich aufeinanderfolgenden RGB Bildern (Is,It) zu ermitteln, in dem zusätzlich die Geschwindigkeit, mit der sich die Kamera zwischen zwei Bildern bewegt, gemessen und als Lernsignal verwendet wird:
Dabei wird die gemessene Geschwindigkeit v mit der Zeit ΔTs→t, die zwischen den beiden Bildern (Is,It) vergangen ist, multipliziert um die tatsächliche, translatorische Veränderung zu ermitteln. Das Optimierungskriterium berechnet sich dann als Differenz aus der tatsächlich zurückgelegten Strecke und der geschätzten zurückgelegten Strecke || ts→t ||2 wobei t die translatorische Komponente (Δx, Δy) der geschätzten Konfigurationsänderung darstellt.The measured speed v is multiplied by the time ΔT s→t that has elapsed between the two images (I s ,I t ) in order to determine the actual translatory change. The optimization criterion is then calculated as the difference between the distance actually covered and the estimated distance covered || t s → t || 2 where t represents the translational component (Δx, Δy) of the estimated configuration change.
Da eine Stereokamera im vorgeschlagenen Aufbau montiert ist und nicht nur translatorische Veränderungen durch die Drehgeber an den Motoren, die die Kamera bewegen, messbar sind, sondern auch rotatorische Veränderungen zwischen zwei zeitlich aufeinanderfolgenden Stereopaaren (Ss,St) messbar sind, wird gelehrt:
Dabei stellt
Damit ergibt sich das vollständige Optimierungskriterium als:
Der Faktor µ E {0,1} ist eine binäre Maske, die stationäre Pixel maskiert. Dem beschriebenen Verfahren liegt die Annahme zugrunde, dass sich die Szene, für die eine Tiefenkarte geschätzt wird, bewegt, entweder indem die Kamera sich aktive bewegt oder aber ein Großteil der Objekte in der Szene. Verändern sich die Pixelwerte zwischen zwei zeitlich aufeinanderfolgenden Bildern nicht, so sinkt die Leistungsfähigkeit stark. Daher wird vorgeschlagen, stationäre Pixel im Optimierungskriterium durch eine binäre Maske zu filtern, d.h.
Die Binäritat der zweiten Gleichung entsteht durch die Verwendung der Iverson Klammern [•].The binary nature of the second equation arises from the use of the Iverson brackets [•].
Es gibt zwei verschiedene Netzwerke, um die Tiefenkarte Dt und die Rekonstruktion Ît zu berechnen.There are two different networks to calculate the depth map D t and the reconstruction Î t .
Um die Tiefenkarte zu schätzen, wird die sog. PackNet Architektur genutzt, die sich aus mehreren Konvolutions-Schichten für den Encoder wie Decoder zusammensetzt. Dabei folgt einer jeden Schicht im Encoder eine Packing Operation, die die gelernten Features komprimiert, sowie eine Unpacking Operation, die die Features entkomprimiert, um die Tiefenkarte herzustellen. Die Tiefenkarte der abschließenden Schicht wird anschließend verwendet, um aus der Tiefenkarte ausgelassene Bilder des Stereopaars bzw. das gleiche Stereobild aber mit einem zeitlichen Abstand von [-1,1] zu rekonstruieren.In order to estimate the depth map, the so-called PackNet architecture is used, which consists of several convolution layers for the encoder as well as the decoder. Each layer in the encoder is followed by a packing operation that compresses the learned features and an unpacking operation that decompresses the features to produce the depth map. The depth map of the final slice is then used to reconstruct images of the stereo pair omitted from the depth map or the same stereo image but with a time difference of [-1,1].
Weiterhin ist es notwendig die relative Veränderung in der Kamerakonfiguration zu ermitteln, um die Rekonstruktion eines Bildes aus einer Tiefenkarte zu ermöglichen. Dazu wird die relative Konfigurationsänderung des Zielbilds It relative zum Kontext geschätzt. Um die Konfigurationsänderung zu schätzen, wird der Encoder der Netzwerkarchitektur aus V. Guizilini, R. Ambrus, S. Pillai, A. Raventos, and A.Gaidon, „3DPacking for Self-Supervised Monocular Depth Estimation,“ arXiv:1905.02693 [cs], Mar. 2020 verwendet und dieser um eine rekurrente Schicht, sowie eine 1x1 Konvolutionsschicht erweitert, die die Dimension des Outputs auf 6, d.h. 3 Translationsdimensionen (Δx, Δy, Δz) und 3 Rotationsdimension (Φx, Φy, Φz) reduziert. Die rekurrente Schicht ermöglicht es, größere Zeithorizonte zur Schätzung der Änderung der Konfiguration zu verwenden, um stabilere Schätzungen zu erhalten.Furthermore, it is necessary to determine the relative change in the camera configuration in order to enable the reconstruction of an image from a depth map. For this purpose, the relative change in configuration of the target image I t relative to the context is estimated. To estimate the configuration change, the network architecture encoder is taken from V. Guizilini, R. Ambrus, S. Pillai, A. Raventos, and A.Gaidon, "3DPacking for Self-Supervised Monocular Depth Estimation," arXiv:1905.02693 [cs] , Mar. 2020 and this was extended by a recurrent layer and a 1x1 convolution layer, which reduces the dimension of the output to 6, ie 3 translational dimensions (Δx, Δy, Δz) and 3 rotational dimensions (Φx, Φy, Φz). The recurrent layer makes it possible to use larger time horizons for estimating the change in configuration in order to get more stable estimates.
Dabei muss zwischen der Links-Rechts Rekonstruktion und der zeitlichen Rekonstruktion unterschieden werden. Bei der Link-Rechts Rekonstruktion ist die relative Konfigurationsänderung zwischen dem linken und rechten Objekt der Stereokamera aus der Kamerakalibrierung bekannt. Mithilfe der intrinsischen Kameraparameter und der Tiefenkarte kann die Korrespondenz zwischen einer Pixelposition im linken Bild und rechten Bild durch Translation und Rotation hergestellt. Anschließend werden mit bilinearen Sampling Kernel die Pixelwerte aus dem Originalbild für die Rekonstruktion entnommen (sampling):
Der Index t wurde zugunsten der Übersichtlichkeit weggelassen.The index t has been omitted for the sake of clarity.
Die Pixelkoordinaten
Um die Genauigkeit des Verfahrens zur Schätzung der Tiefenkarte zu erhöhen, kann die Auflösung der Tiefenkarten, die sich in den Zwischenschichten des Decoders ergeben, durch eine nearest-neighbor Interpolation auf die Auslösung am Ausgang des Decoders erhöht werden. Die so skalierten Tiefenkarten werden zusätzlich nach dem oben beschriebenen Verfahren rekonstruiert und im Optimierungskriterium berücksichtigt.In order to increase the accuracy of the method for estimating the depth map, the resolution of the depth maps that result in the intermediate layers of the decoder can be increased by a nearest-neighbor interpolation to the resolution at the decoder output. The depth maps scaled in this way are additionally reconstructed according to the method described above and taken into account in the optimization criterion.
Das Optimierungskriterium wird über alle Rekonstruktionen, Pixel und den Batch gemittelt und kann mit einem Standardverfahren wie bspw. einem Gradientenabstiegsverfahren trainiert werden. Dabei muss zwischen der Initialisierungsphase und der Transferphase unterschieden werden.The optimization criterion is averaged over all reconstructions, pixels and the batch and can be trained using a standard method such as a gradient descent method. A distinction must be made between the initialization phase and the transfer phase.
In der Initialisierungsphase wird davon ausgegangen, dass die Koeffizienten des Modells zum ersten Mal auf Basis eines Trainingssets, das zuvor erhoben wurde, geschätzt werden. Anschließend ist das Modell bereit für die erste Anwendung. Bei jeder Anwendung des Modells werden zusätzliche Daten erhoben, die wiederum zur Verbesserung des Modells herangezogen werden können. Das passiert in der Transferphase, in der das bereits trainierte Modell mit neuen Daten verbessert wird. Dabei ist zu beachten, dass eine Modellveränderung nur angenommen wird, wenn sie auf einem Testdatensatz (s.u.) besser abschneidet als das ursprüngliche Modell.In the initialization phase, it is assumed that the model's coefficients are estimated for the first time based on a training set that has been previously collected. The model is then ready for the first application. Each time the model is applied, additional data is collected, which in turn can be used to improve the model. This happens in the transfer phase, in which the already trained model is improved with new data. It should be noted that a model change is only accepted if it performs better on a test data set (see below) than the original model.
Um die Genauigkeit des Modells zu testen, wird vorgeschlagen, dass ein Set an verschiedenen Formen gefertigt und in einen vollständig kalibrierten Messstand eingebracht werden. Der Messstand wird dann abgefahren.To test the accuracy of the model, it is suggested that a set of different molds be made and placed in a fully calibrated rig. The measuring stand is then driven off.
Das beschriebene Verfahren erzeugt eine Folge von Tiefenkarten für einen Scanvorgang S = D0, ...,Dt,..., DT. Um eine vollständige Punktewolke aus den einzelnen Scans zu erzeugen, ist es notwendig, die gemessenen Tiefen in einem absoluten x-y-z Bezugssystem zu lokalisieren.The method described generates a sequence of depth maps for a scan S=D 0 ,...,D t ,...,D T . In order to generate a complete point cloud from the individual scans, it is necessary to locate the measured depths in an absolute xyz reference system.
Die räumliche Auflösung der Tiefenkarte kann unter Verweis auf
Mit B als Basislinie/Objektivabstand, Z als Tiefe, / als Brennweite und xl,xr als Abstände zwischen dem projizierten Punkt und der optischen Achse kann die Gleichung für die Tiefe Z wie folgt ermittelt werden:
Für eine Disparität von einem Pixel wächst der Fehler quadratisch mit der Tiefe. Wenn Subpixel-Disparität angenommen wird, sollte Δd berücksichtigt werden, d.h.
Die Auflösung verbessert sich bei Vergrößerung der Basislinie/des Objektivabstands. Dennoch ist bei der Auswahl einer großen Basislinie Vorsicht geboten. Denn der Abgleich/das Matching wird wegen der erhöhten Verzerrung/Abweichung zwischen linkem und rechtem Bild bei Zunahme der Basislinie schwieriger (bei fester Tiefe). Dies gleicht dem üblichen Erfassungs-/Lokalisierungs-Kompromiss.Resolution improves as baseline/objective distance increases. However, care should be taken when choosing a large baseline. This is because matching becomes more difficult as the baseline increases (at fixed depth) due to increased distortion/deviation between left and right image. This resembles the usual detection/location trade-off.
Die Auflösung verbessert sich mit der Brennweite. Dies folgt daraus, dass für eine gegeben Bildgröße die Pixeldichte der Bildebene mit Zunahme der Brennweite ebenfalls zunimmt. Daher ist die Disparitätsauflösung höher. Obwohl dies einem vereinfachten Stereo-Modell entspringt, gelten die drei Prinzipien für alle Stereosysteme.Resolution improves with focal length. This follows from the fact that, for a given image size, the pixel density of the image plane also increases with increasing focal length. Therefore, the disparity resolution is higher. Although this stems from a simplified stereo model, the three principles apply to all stereo systems.
Die so ermittelte Tiefenkarte ist zunächst dimensionslos. Um die zur späteren Bestimmung der Objektgeomtrie notwendigen Maßeinheiten einzuführen, wird die Geschwindigkeit, mit der sich eine Kamera bewegt, bei der Transformation berücksichtigt. D.h. neben den Bildaufnahmen ist die Bewegungsgeschwindigkeit des Kamerasystems 40 ein Eingabeparameter für den Tiefenkartenbestimmungsalgorithmus. Das erlaubt dem Tiefenkartenbestimmungsalgorithmus, die korrekte Maßeinheit zu lernen. Darüber hinaus wird nicht nur die translatorische Geschwindigkeit des Kamerasystems 40 berücksichtigen, sondern vorzugsweise auch die rotatorische Geschwindigkeit der Ausrichtungsänderungen des Kamerasystems 40. Zum einen lässt sich damit die Tiefenschätzung für ein einzelnes Bild verbessern, zum anderen aber auch die Genauigkeit der später folgenden Zusammenführung aller lokalen Tiefenkarten zu einer globalen Tiefenkarten für den gesamten Bauraum.The depth map determined in this way is initially dimensionless. In order to introduce the units of measurement necessary for later determination of the object geometry, the speed at which a camera moves is taken into account during the transformation. In other words, in addition to the image recordings, the movement speed of the
BESTIMMUNG DER UNSICHERHEIT:DETERMINATION OF UNCERTAINTY:
Die Genauigkeit der Tiefenschätzung wird durch zwei Fehlerarten maßgeblich beeinflusst:The accuracy of the depth estimation is significantly influenced by two types of errors:
Die Genauigkeit der Schätzung nimmt quadratisch mit der Distanz zum Objekt ab (systematischer Fehler). Das liegt darin begründet, dass ein einzelner Pixel einen immer größeren räumlichen Bereich in der Welt abdeckt, je weiter dieser Bereich von der Kamera entfernt ist. Da die Tiefenschätzung immer nur für ein einzelnes Pixel erfolgt, bedeutet das, dass Tiefenänderungen, die innerhalb eines Pixels bestehen, nur gemittelt dargestellt werden.The accuracy of the estimate decreases quadratically with the distance to the object (systematic error). This is because a single pixel covers a larger and larger spatial area in the world the further away that area is from the camera. Since the depth is only ever estimated for a single pixel, this means that depth changes that exist within a pixel are only averaged.
Unzulänglichkeiten des Modells, welches zur Tiefenschätzung verwendet wird, beeinträchtigen die Genauigkeit.Imperfections in the model used for depth estimation affect accuracy.
Der ersten Fehler ist reduzierbar, in dem die Distanz zwischen Kamera und Objekt reduziert wird, die Brennweite des Objektivs vergrößert, der Blickabstand zwischen den Stereokameraobjektiven vergrößert und die Strecke, die durch die Kamera zwischen zwei Stereopaaren zurückgelegt wird, klein ist, um die Überlappung zu maximieren. Die Überlappung ermöglicht es, den Fehler im Schritt zur Erstellung der globalen Tiefenkarten zu minimieren.The first error can be reduced by reducing the distance between the camera and the object, increasing the focal length of the lens, increasing the viewing distance between the stereo camera lenses, and reducing the distance traveled by the camera between two stereo pairs to reduce the overlap maximize. The overlap makes it possible to minimize the error in the global depth map generation step.
Der Fehler, der durch die Unzulänglichkeit des Modells eingeführt wird, lässt sich zum einen durch mehr Daten und ein besseres Modell reduzieren. Zusätzlich lässt sich der Modellfehler in späteren Berechnungen miteinbeziehen, in dem jedem Schätzwert für die Tiefe die korrespondierende Unsicherheit des Modells bzgl. der Schätzung zugordnet wird. Hier wird die Bayes'sche Interpretation von Wahrscheinlichkeit zugrunde gelegt. Des Weiteren kann die Pfadplanung, mit der die Tiefenschätzung begonnen hat, so angepasst werden, dass Bereiche mit hoher Unsicherheit ein weiteres Mal angefahren werden.On the one hand, the error introduced by the inadequacy of the model can be reduced with more data and a better model. In addition, the model error can be included in later calculations by assigning the corresponding uncertainty of the model with regard to the estimation to each estimated value for the depth. The Bayesian interpretation of probability is used here. Furthermore, the path planning with which the depth estimation started can be adjusted in such a way that areas with high uncertainty are approached again.
GLOBALE TIEFENSCHÄTZUNG:GLOBAL DEPTH ESTIMATION:
Im Bildtiefenkartenbestimmungsschritt S40 entstehen eine Vielzahl von sich überlappenden Tiefenkarten, die in einem Gesamttiefenkartenbestimmungsschritt S50 zu einer einheitliche Tiefenkarte für den gesamten Bauraum überführt werden. Dazu wird eine Kamerapose (Position und Orientierung der Kamera) für jede einzelne Bildtiefenkarte geschätzt, um die relative Beziehung der ermittelten Tiefenpunkte zueinander zu bestimmen und global zu optimieren. Ziel ist es, die Punkte der einzelnen Tiefenkarten so zueinander auszurichten, dass die plausibelste globale Tiefenkarte daraus entsteht. Dabei werden im Ausführungsbeispiel vorzugsweise mehrere Verfahren kombiniert, um eine erhöhte Genauigkeit zu erreichen. Das im Bildtiefenkartenbestimmungsschritt S40 wurde bereits eine Schätzung der Kamerapose für jede einzelne Tiefenkarte ermittelt. Diese Schätzung kann aber noch ungenau sein. Zur Verbesserung wird zum einen die Kamera auf Basis der Informationen aus Drehgebern der Motoren, die die Kamerapose ändern, von an der Kamera angebrachten Inertial-Measurement-Unit (IMU) oder einer Innenraum-Lokalisierungstechnik (bspw. RFID, Magnetometer etc.) lokalisiert. Des Weiteren kann die Kamera auf Basis der Bildinformationen aus den Bildaufnahmen lokalisiert werden. Einzelne Merkmale in den Überlappungsbereichen der Bilder werden berechnet (SIFT Features). Damit können die relativen Posen der Bilder zueinander bestimmt werden und mit den relativen Posen aus der Bildtiefenkartenbestimmung zusammengeführt werden. Die Korrespondenz zwischen den einzelnen Merkmalen in den Bildaufnahmen wird anschließend gefiltert, um fehlerhafte Zuordnungen zu reduzieren. Anschließend werden die Tiefenkarten in Segmente mit jeweils n aufeinanderfolgenden Bildern eingeteilt und für jedes dieser Segmente die die Kamerapose alle Bilder aufeinander ausgerichtet. Zwischen den Segmenten gibt es eine Überschneidung von einem Bild, d.h. immer das letzte und das erste Bild zweier aufeinanderfolgender Segmente ist gleich. Anschließend werden alles Segmente aufeinander ausgerichtet, indem segment-spezifische Merkmale berechnet werden und deren Korrespondenz mit anderen Segmenten festgestellt und optimiert wird. Damit bestehen zwei Kameraposenbetimmungen - eine auf Basis der Sensoren und eine auf Basis der Bildinformationen - die in einem letzten Schritt zu einer globalen Pose zusammengeführt werden, um anschließend die Bildtiefenkarten entsprechend auszurichten und in einer einzelnen Gesamttiefenkarte zusammenzuführen.In the image depth map determination step S40, a multiplicity of overlapping depth maps are created, which are converted into a uniform depth map for the entire construction space in an overall depth map determination step S50. For this purpose, a camera pose (position and orientation of the camera) is estimated for each individual image depth map in order to determine and globally optimize the relative relationship between the determined depth points. The aim is to align the points of the individual depth maps with each other in such a way that the most plausible global depth map is created. In the exemplary embodiment, a number of methods are preferably combined in order to achieve increased accuracy. An estimate of the camera pose for each individual depth map has already been determined in the image depth map determination step S40. However, this estimate may still be imprecise. To improve this, the camera is localized on the one hand based on the information from the rotary encoders of the motors that change the camera pose, from the inertial measurement unit (IMU) attached to the camera or an interior localization technology (e.g. RFID, magnetometer, etc.). Furthermore, the camera can be localized based on the image information from the image recordings. Individual features in the overlapping areas of the images are calculated (SIFT features). The relative poses of the images to one another can thus be determined and merged with the relative poses from the image depth map determination. The correspondence between the individual features in the image recordings is then filtered in order to reduce erroneous assignments. The depth maps are then divided into segments, each with n consecutive images, and for each of these segments the camera pose aligns all images with one another. There is an overlap of one image between the segments, i.e. the last and the first image of two consecutive segments are always the same. All segments are then aligned with one another by calculating segment-specific features and determining and optimizing their correspondence with other segments. There are thus two camera pose determinations - one based on the sensors and one based on the image information - which are merged into a global pose in a final step in order to then align the image depth maps accordingly and merge them into a single overall depth map.
In einem Ausgestaltungsbestimmungsschritt S60 wird eine dreidimensionale Ausgestaltung des Werkstücks ermittelt. Hierbei wird die Gesamttiefenkarte in eine Punktewolke umgewandelt, in dem ein geeignetes Koordinatensystem gewählt und die x-y-z Koordinaten für jeden einzelnen Tiefenpunkt berechnet wird. Des Weiteren werden die einzelnen Punkte mit Sekundärinformationen, die für die weiteren Berechnungen notwendig sind, angereichert, bspw. Unsicherheit und Oberflächenormale (surface normal). Gegebenenfalls wird die Punktewolke Schicht für Schicht aufgebaut. Am Ende des Drucks wird eine Punktewolke erhalten, die alle gedruckten Objekte und alle Defekte beinhaltet.In a configuration determination step S60, a three-dimensional configuration of the workpiece is determined. Here, the total depth map is converted into a point cloud by choosing a suitable coordinate system and calculating the x-y-z coordinates for each individual depth point. Furthermore, the individual points are enriched with secondary information that is necessary for further calculations, e.g. uncertainty and surface normals. If necessary, the point cloud is built up layer by layer. At the end of the print, a point cloud is obtained that includes all printed objects and all defects.
Es gibt mehrere Möglichkeiten zu welchem Zeitpunkt eine Oberflächenrekonstruktion sinnvoll ist. Diese werden im Folgenden kurz beschrieben.There are several possibilities at which point in time a surface reconstruction makes sense. These are briefly described below.
Generierung der gesamten Punktewolke und nachfolgendes Meshing, also bis der Druck fertig ist. Anschließend können alle gedruckten Objekte und Defekte berechnet und extrahiert werden.Generation of the entire point cloud and subsequent meshing, i.e. until the print is finished. Then all printed objects and defects can be calculated and extracted.
MESHING DER OBERFLÄCHE NACH REKONSTRUKTION EINER SCHICHT (TIEFENKARTE).SURFACE MESHING AFTER RECONSTRUCTION OF A LAYER (DEEP MAP).
Meshing der Punktewolke aus den letzten n Schichten (z.B. 20 < n < 100) und anschließender Defekterkennung, um so für die aktuelle Schicht mögliche Fehler zu erkennen und diese mit entsprechender Laserkorrektur zu beheben. Die Anzahl der Schichten n kann evtl. auch adaptiv gesteuert werden.Meshing of the point cloud from the last n layers (e.g. 20 < n < 100) and subsequent defect detection in order to identify possible errors for the current layer and correct them with appropriate laser correction. The number of layers n can possibly also be controlled adaptively.
OBERFLÄCHENREKONSTRUKTION UND VERNETZUNG (MESHING):SURFACE RECONSTRUCTION AND NETWORKING (MESHING):
Ziel ist es mit der gewonnenen Punktewolke eine Oberflächendarstellung der gewünschten Objekte zu bestimmen. Dies bedeutet, benachbarte Punkte werden mit Kanten miteinander verbunden und 3 Kanten bilden ein Dreieck, wodurch sich eine Oberfläche im dreidimensionalen Raum beschreiben lässt. Eines der weitverbreitetsten Formate ist das sogenannte STL-Format, welches u.a. auch für die additive Fertigung und der additiven Fertigungsvorrichtung verwendet wird.The aim is to use the point cloud obtained to determine a surface representation of the desired objects. This means that adjacent points are connected with edges and 3 edges form a triangle, which can be used to describe a surface in three-dimensional space. One of the most widespread formats is the so-called STL format, which is also used for additive manufacturing and the additive manufacturing device, among other things.
In
- - Powercrust
- - Marching cube
- - Poisson Surface Reconstruction
- - Hoppes Reconstruction
- - power crust
- - Marching cube
- - Poisson surface reconstruction
- - Hoppes Reconstruction
Delaunay Triangulierungsalgorithmen erstellen ein 3 dimensionales Objekt, d.h. dieses ist mit Tetraedern ausgefüllt (Volumen basiert), und sind somit nur bedingt geeignet da einiges an Overhead entsteht.Delaunay triangulation algorithms create a 3-dimensional object, i.e. this is filled with tetrahedrons (volume based), and are therefore only suitable to a limited extent as there is some overhead.
Wichtig ist, dass das Mesh eine zulässige Darstellung hat. Dies bedeutet, dass insbesondere keine sich schneidende Dreieck vorhanden sind. Überdies wäre es ebenso wünschenswert, aber nicht zwingend notwendig, keine sogenannten hängenden Knoten (hanging-nodes) zu haben.It is important that the mesh has a valid representation. This means that there are no intersecting triangles in particular. Furthermore, it would also be desirable, but not essential, not to have so-called hanging-nodes.
Alternativ könnte man die Oberflächenrekonstruktion und das Meshing auch nach jeder gelaserten Schicht vornehmen und so schon versuchen in jeder Schicht Defekte zu lokalisieren. Diese Vorgehensweise ist aufwendiger und die Defektfindung und Klassifizierung auf lokaler Ebene schwieriger.Alternatively, one could carry out the surface reconstruction and the meshing after each lasered layer and thus try to localize defects in each layer. This procedure is more complex and finding and classifying defects at the local level is more difficult.
Im Folgenden erfolgt eine Beschreibung der Objektextraktion. Ist das Meshing abgeschlossen, so liegt eine Repräsentation des gesamten Bauraums vor, d.h. auch Bereiche neben dem Werkstück wurden rekonstruiert. Um nun Fehler durch den Vergleich des rekonstruierten Objekts und dem CAD Modell zu finden, ist es notwendig das Werktstück zu extrahieren. Dazu wird das CAD Modell als Prior verwendet und der Teilbereich im rekonstruierten Druckraum gefunden, der am besten zum Modell passt.The following is a description of the object extraction. Once the meshing is complete, there is a representation of the entire construction space, i.e. areas next to the workpiece have also been reconstructed. In order to find errors by comparing the reconstructed object and the CAD model, it is necessary to extract the workpiece. For this purpose, the CAD model is used as a prior and the sub-area in the reconstructed pressure space that best matches the model is found.
ABGLEICH UND LOKALISIERUNG (GLOBALTO LOCAL) VON DEFEKTEN:MATCHING AND LOCALIZATION (GLOBALTO LOCAL) OF DEFECTS:
Jeder extrahierte Bereich kann nun mit dem Modell abgeglichen und auf Fehler überprüft werden, dazu wird die originale CAD Geometrie verwendet. Alle erkannten Strukturen, die nun im Inneren einer Geometrie liegen, bei bestimmten Defekten wie Verzug ggf. auch Strukturen, die im Äußeren einer Geometrie liegen, sind als potenzielle Fehlerquellen zu sehen und müssen evtl. noch genauer untersucht werden, z.B. durch Berechnung des Volumens oder der zugehörigen Bounding-Box, um die Größe des Defekts feststellen zu können. An dieser Stelle muss auch zwischen den folgenden Defekttypen unterschieden werden:
- - Verzug (distortion)
- - Poröse Strukturen,Risse, Löcher etc.
- - distortion
- - Porous structures, cracks, holes etc.
Aus dem Mesh wird ein Graph erzeugt, hierfür ist eine kommerzielle Programmbibliothek ausreichend. Alle einzelnen, zusammenhängenden Graphen bilden ein separates Objekt. Zusätzlich kann mit den Bounding-Boxen und Volumen das gedruckte Objekt bzw. die Defektart bestimmt werden (Größenvergleich). Durch dieses Vorgehen ist die Defekt-Extraktion und Klassifikation effizient umsetzbar. Überdies kann hier zwischen einer Makro- und Mikro-Skala unterschieden werden und somit entsprechende Gegenmaßnahmen eingeleitet werden, d.h. Verschmelzung des Defekts (erhöhte Leistung, Zeit, Parameter etc.) oder aber ein Druckabbruch des entsprechenden Bauteils.A graph is generated from the mesh; a commercial program library is sufficient for this. All individual, connected graphs form a separate object. In addition, the printed object or the type of defect can be determined with the bounding boxes and volume (size comparison). With this procedure, the defect extraction and classification can be efficiently implemented. In addition, a distinction can be made here between a macro and micro scale and thus appropriate countermeasures can be initiated, i.e. merging the defect (increased performance, time, parameters, etc.) or a print termination of the corresponding component.
Um dem Kunden, d.h. dem Nutzer der additiven Fertigungsvorrichtung, die Defekte darstellen zu können, werden sie auf einem Datensichtgerät angezeigt. Final sollte diese Software mit in die gesamte Software eingebettet werden oder aber über eine API genutzt werden können. In einem ersten Schritt wird eine Defekte-Datei erstellt, welche z.B. mit ParaView visualisiert werden kann.In order to be able to show the customer, i.e. the user of the additive manufacturing device, the defects, they are displayed on a data display device. Ultimately, this software should be embedded in the entire software or be able to be used via an API. In a first step, a defect file is created, which can be visualized with ParaView, for example.
Durch verschieden Farben werden die einzelnen Defekttypen angezeigt um diese einfach und schnell voneinander unterschieden zu können.The individual defect types are displayed in different colors so that they can be distinguished from one another quickly and easily.
DEFEKTERKENNUNG DURCH BILDVERARBEITUNG:DEFECT DETECTION THROUGH IMAGE PROCESSING:
Im Gegensatz zum rekonstruktionsbasierten Verfahren aus dem ersten Ausführungsbeispiel trifft das nachfolgend beschriebene Verfahren weniger Annahmen über die Art des Defekts, nur, dass er sich im gewählten Sensor, bspw. RGB oder NIR/IR Kamera, robust manifestiert. Das Prinzip des Verfahrens beruht auf der Beobachtung, dass es oft einfach ist, eine große Menge mit „guten“ Sensordaten, d.h. in denen kein Defekt vorliegt, zu erzeugen. Damit kann ein generatives Modell, welches die (räumliche) Verteilung der „guten“ Daten explizit oder implizit darstellt, gelernt werden. Ein Defekt ist dann definiert als ein Datenpunkt, dem die gelernte Verteilung eine niedrige Wahrscheinlichkeit beimisst, d.h. damit die Aussage trifft, dass der beobachtet Datenpunkt vermutlich kein „gutes“ Sensordatum ist.In contrast to the reconstruction-based method from the first exemplary embodiment, the method described below makes fewer assumptions about the type of defect, only that it manifests itself robustly in the selected sensor, for example RGB or NIR/IR camera. The principle of the method is based on the observation that it is often easy to generate a large amount of "good" sensor data, i.e. in which there is no defect. In this way, a generative model that explicitly or implicitly represents the (spatial) distribution of the “good” data can be learned. A defect is then defined as a data point to which the learned distribution assigns a low probability, i.e. so that the statement is made that the observed data point is probably not a "good" sensor datum.
Das Verfahren hat folgende Herausforderungen:
- 1 Die Zuordnung einer niedrigen Wahrscheinlichkeit heißt nur, dass eine Anomalie vorliegen kann, nicht aber, dass diese Anomalie auch zu einem Defekt führt bzw. geführt hat.
- 2 Die Art des Defekts ist nicht gegeben, bspw. liegen Porosität oder unvollständige Verschmelzung vor.
- 3 Die Lage des Defektes ist nicht unmittelbar ablesbar, was allerdings abhängig vom generativen Modell ist.
- 1 The assignment of a low probability only means that an anomaly can exist, but not that this anomaly also leads or has led to a defect.
- 2 The type of defect is not given, e.g. there is porosity or incomplete fusion.
- 3 The location of the defect cannot be read immediately, but this depends on the generative model.
Es ist daher vorteilhaft, das beschriebene Verfahren mit einem zusätzlichen Schritt zu kombinieren, beispielsweise dem zuvor beschriebenen Verfahren oder aber menschlicher Intervention in den Druckprozess bei Defekterkennung.It is therefore advantageous to combine the method described with an additional step, for example the method described above or human intervention in the printing process when defects are detected.
TEMPERATUR AUS NIR/IR BILDERN:TEMPERATURE FROM NIR/IR IMAGES:
In diesem Ausführungsbeispiel ist das Kamerasystem 40 befähigt, (Nah-)Infrarot (NIR/IR) zu erfassen. Im Ausführungsbeispiel ist hierfür eine weitere Einzelkamera vorgesehen. Um die Fehlererkennung robuster zu machen, kann die Temperatur an der Oberfläche des Bauteils während des Drucks kontinuierlich mittels (Nah-)Infrarot (NIR/IR) Kamera gemessen werden. Damit lassen sich räumliche und zeitliche Temperaturgradienten ermitteln, die Aufschluss über den Schmelzprozess geben und damit auch über mögliche Fehler. Des Weiteren ist die Temperatur ein Fehlermerkmal, welches oftmals zu Beginn der Kausalkette zur Entstehung eines Defekts steht, damit einen Defekt früher erkennbar machen kann als bspw. das tiefenbasierte Verfahren, da hier der Defekt bereits vorliegt.In this exemplary embodiment, the
Eine Herausforderung, die sich mit NIR/IR Kameras stellt ist deren räumliche Auflösung, die niedriger ist als bei RGB Kameras, d.h. ein Pixel in einem RGB Bild kann nicht direkt mit einem Pixel eines IR Bildes korrespondiert werden. Im Umkehrschluss ist damit ein Pixel im IR Bild nur der Temperaturdurschnitt aus den impliziten Temperaturwerten, die ermittelt würden, hätte die NIR/IR Kamera die gleiche Auflösung wie die IR Kamera. Das kann dazu führen, dass kleine Defekte nicht (frühzeitig) erkannt werden können. Des Weiteren ist die Auflösung oft auch geringer als der Durchmesser des Laserstrahls auf der Oberfläche des Bauteils, mit den gleichen Auswirkungen wie zuvor.A challenge faced by NIR/IR cameras is their spatial resolution, which is lower than RGB cameras, i.e. a pixel in an RGB image cannot directly correspond to a pixel in an IR image. Conversely, a pixel in the IR image is only the temperature average from the implicit temperature values that would be determined if the NIR/IR camera had the same resolution as the IR camera. This can mean that small defects cannot be detected (early). Furthermore, the resolution is often also lower than the diameter of the laser beam on the surface of the component, with the same effects as before.
Temperaturinformationen werden mit den oben beschrieben Verfahren kombiniert, um eine robuste Fehlererkennung zu ermöglichen.Temperature information is combined with the methods described above to enable robust fault detection.
ERWEITERUNG DES SCHMELZLASERS IM SLM VERFAHREN UM DISTANZ UND TEMPERATURMESSUNG:EXTENSION OF THE MELT LASER IN THE SLM PROCESS TO MEASURE DISTANCE AND TEMPERATURE:
Zur Defekterkennung mittels 3D Rekonstruktion ist es notwendig, entsprechende Sensoren am (außerhalb) oder im Bauraum der additiven Fertigungsvorrichtung unterzubringen, ohne dabei die Konstruktion zu stark verändern zu müssen, um die Kosten in einem annehmbaren Rahmen zu halten. Ein Setup aus optischer und NIR/IR Kamera sowie LiDAR steht dem Postulat entgegen. Eine mögliche Lösung stellt die Verwendung des Schmelzlasers zur Vermessung des zu druckenden Bauteils als auch zur Ermittlung der Temperatur auf der Oberfläche. Die Idee macht sich die Funktionsweise eines LiDARs zu nutze. Nachfolgend dargestellt sind die üblichen Messprinzipien, nach denen LiDAR Systeme Distanzen messen.For defect detection using 3D reconstruction, it is necessary to accommodate appropriate sensors on (outside) or in the installation space of the additive manufacturing device without having to change the design too much in order to keep costs within an acceptable range. A setup of optical and NIR/IR camera as well as LiDAR contradicts the postulate. One possible solution is to use the melting laser to measure the component to be printed and to determine the temperature on the surface. The idea uses the functionality of a LiDAR. The usual measurement principles according to which LiDAR systems measure distances are shown below.
GEPULSTE DISTANZMESSUNG:PULSED DISTANCE MEASUREMENT:
Im einfachsten Fall wird ein Laser Puls auf das zu vermessende Objekt gerichtet und die Zeitdifferenz zwischen Verlassen des Pulses und der Ankunft der Reflexion des Pulses am Objekt gemessen. Da die Lichtgeschwindigkeit, abhängig vom umgebenden Medium, konstant ist, kann daraus die Entfernung zwischen Objekt und Laser bestimmt werden. Die Geometrie des Bauteils lässt sich dann auf Basis der Prozessparameter, bspw. Schichtindex, ermitteln und Defekte, wie oben beschrieben, bestimmen. Die Distanz d zum Bauteil ist wie folgt gegeben:
Die additive Fertigungsvorrichtung muss um einen Zeitmesseinheit sowie einen Photodetektor erweitert werden.The additive manufacturing device must be expanded to include a time measuring unit and a photodetector.
AMPLITUDE-MODULATED CONTINUOUS WAVE DISTANZMESSUNG:AMPLITUDE-MODULATED CONTINUOUS WAVE DISTANCE MEASUREMENT:
Im Gegensatz zum gepulsten Verfahren sendet der Laser im AMCW Verfahren eine konstante Welle. Bei der Emission wird die Strahlungsleistung des Lasers mit einem Referenzsignal moduliert. Anschließend wird die Verschiebung der Phasen (phase shift) der Reflexion und des Referenzsignals ermittelt. Die ermittelte Phasenverschiebung ist eine Funktion der Distanz, die daraus berechnet werden kann.
Eine Herausforderung, die mit diesem Verfahren einhergeht, ist die kontinuierliche Veränderung der Strahlungsleistung und damit des Schmelzprozesses an der Pulveroberfläche. Gängige Prozessparameter sind damit vermutlich obsolet und müssen neu gefunden werden.A challenge associated with this process is the continuous change in the radiation power and thus the melting process on the powder surface. Common process parameters are therefore probably obsolete and have to be found again.
Um das beschriebene Verfahren umzusetzen, muss die additive Fertigungsvorrichtung um Bauteile erweitert werden, die zum einen den Laserstrahl modulieren können, zum anderen die Phasenverschiebung ermitteln können.In order to implement the method described, the additive manufacturing device must be expanded to include components that can modulate the laser beam and determine the phase shift.
Das letzte Verfahren, Frequency-modulated Continuous Wave (FMCW) erzielt hingegen schon Auflösungen im Bereich 150µm.The last method, Frequency-modulated Continuous Wave (FMCW), on the other hand, already achieves resolutions in the 150 µm range.
FREQUENCY-MODULATED CONTINUOUS WAVE DISTANZMESSUNGFREQUENCY-MODULATED CONTINUOUS WAVE DISTANCE MEASUREMENT
Im Gegensatz zum AMCW Verfahren werden im FMCW Verfahren die Frequenzen des Trägersignals moduliert, d.h. die Wellenlänge des Lasers wird abhängig von einem Referenzsignal moduliert. Die Entfernung d zu einem Objekt ist dann eine Funktion der Frequenzverschiebung des Echosignals und lässt sich wie folgt darstellen
Dabei bezeichnet |Δƒ| die Frequenzdifferenz und df/dt die Frequenzverschiebung je Zeiteinheit.where |Δƒ| denotes the frequency difference and df/dt the frequency shift per unit time.
Eine Herausforderung, die sich mit diesem Verfahren stellt, ist die Veränderung der Frequenz des Laserstrahls und damit der Wellenlänge. Die Wellenlänge beeinflusst die Absorption von Energie an der Materialoberfläche, damit müssen unter Umständen die Prozessparameter für einen Druck angepasst werden.A challenge that arises with this method is changing the frequency of the laser beam and thus the wavelength. The wavelength affects the absorption of energy at the material surface, so the process parameters for a print may have to be adjusted.
Die additive Fertigungsvorrichtung muss um ähnliche Bauteile wie im AMCW Verfahren erweitert werden.The additive manufacturing device must be expanded to include components similar to those used in the AMCW process.
Des Weiteren verändert sich die Reflexivität einer Oberfläche in Abhängigkeit von ihrer Temperatur. Sinkt die Reflexivität, so ändert sich auch die Intensität, mit der der reflektierte Laserpuls am Photodetektor ankommt. Dies kann wie folgt beschrieben werden
In der obigen Gleichung beschreibt R den Reflexionsfaktor und T die Temperatur. Der zweite Teil der Gleichung beschreibt die Änderungen des Reflexionsfaktor in Abhängigkeit von der Änderung der Anzahldichte der Ladungsträger ∂N, hervorgerufen durch die optische Anregung.In the equation above, R describes the reflection factor and T describes the temperature. The second part of the equation describes the changes in the reflection factor as a function of the change in the number density of the charge carriers ∂N caused by the optical excitation.
BAULICHE ANPASSUNG DER VORRICHTUNG ZUM ERZEUGEN EINES DREIDIMENSIONALEN OBJEKTSSTRUCTURAL ADJUSTMENT OF THE DEVICE FOR CREATING A THREE-DIMENSIONAL OBJECT
Die funktionale Erweiterung des Schmelzlasers ist besonders wirksam, wenn bauliche Veränderungen an der additiven Fertigungsvorrichtung vorgenommen werden. Da der Laser sehr empfindlich auf Bewegungen ist, wird der Strahl mit Spiegeln und Linsen auf die Oberfläche gerichtet. Damit ändern sich Einfallswinkel wie auch Ausfallswinkel positionsabhängig. Weiterhin kann es zu Situationen kommen, in denen die Reflexion direkt in die fokussierende Linse zurückgeht, d.h. wenn der Einfallswinkel des Lichts im nahen Bereich um 90 Grad liegt. Wie zuvor beschrieben, muss die additive Fertigungsvorrichtung unter anderem um Photodetektoren erweitert werden. Da sich durch die kontinuierliche Änderung des Ausfallswinkels keine fixe Position für den reflektierte Laserstrahl im Bauraum mehr ergibt, muss die additive Fertigungsvorrichtung so ausgelegt sein, dass die einzelnen Elemente so angeordnet sind, dass die Lichtlaufzeits- und Lichtintensitätsmessungen präzisen erfolgen.The functional expansion of the melting laser is particularly effective when structural changes are made to the additive manufacturing device. Since the laser is very sensitive to movement, the beam is directed onto the surface using mirrors and lenses. This means that the angle of incidence and the angle of reflection change depending on the position. Furthermore, situations can arise in which the reflection goes directly back into the focusing lens, i.e. when the angle of incidence of the light is close to 90 degrees. As described above, the additive manufacturing device must be expanded to include photodetectors, among other things. Since the reflected laser beam no longer has a fixed position in the installation space due to the continuous change in the angle of reflection, the additive manufacturing device must be designed in such a way that the individual elements are arranged in such a way that the light transit time and light intensity measurements are carried out precisely.
ABWANDLUNG DER AUSFÜHRUNGSBEISPIELE, ERSATZ DER F-Θ-LINSE 14MODIFICATION OF EMBODIMENTS, REPLACEMENT OF F-
Je nach Ausgestaltung und Anordnung der F-θ-Linse kann es problematisch werden, den Fertigungslaser 6 auch als Messlaser einzusetzen, da es durch die Refraktion an der F-θ-Linse zu Strahlverzerrungen kommen kann, die bei der Berechnung der Laserstrahllaufzeit berücksichtigt werden müssen und zu Ungenauigkeiten führen können. Insbesondere kann es durch die F-θ-Linse 14 nach der Reflektion des Laserstrahl 9 beim erneuten Durchtritt durch die F-θ-Linse 14 zu schwierig kompensierbaren Refraktionsverzerrungen kommen.Depending on the configuration and arrangement of the F-θ lens, it can be problematic to also use the production laser 6 as a measuring laser, since the refraction at the F-θ lens can lead to beam distortions that must be taken into account when calculating the laser beam propagation time and can lead to inaccuracies. In particular, refraction distortions that are difficult to compensate for can occur as a result of the F-
Um dieses Problem zu beseitigen, wird vorgeschlagen, die F-θ-Linse 14 in einer ersten Abwandlung der Ausführungsbeispiele zu ersetzen. Dies wird im Folgenden anhand
Anstelle der F-θ-Linse ist ein fixer Spiegel 15 vorgesehen. Der fixe Spiegel 15 ist horizontal kreissegmentförmig, wobei der Scanner 8 im Kreismittelpunkt angeordnet ist. Die Spiegelfläche des fixen Spiegels 15 ist so nach unten geneigt, dass ein vom Scanner 8 horizontal eintreffender Strahl 9 senkrecht nach unten auf die Bauschicht 11 reflektiert wird. Der Scanner 8 weist einen Spiegel auf, der so um die vertikale Achse (z-Achse) rotiert, dass der Strahl 9 über die gesamte horizontale Ausdehnung des fixen Spiegels 15 streicht und über diesen Bereich von dem fixen Spiegel senkrecht nach unten reflektiert wird. Dies erzeugt auf der Bauschicht 11 einen eindimensionalen kreissegmentförmigen Bereich, auf dem der Strahl 9 auftrifft. Um einen flächigen Bereich auf der Bauschicht 11 bearbeiten zu können, werden der Laser 6, der Spiegel 7, der Scanner 8 und der fixe Spiegel 15 in relativ zueinander gleichbleibender Anordnung in x-Richtung über den Bauraum bewegt. Ein von der Bauschicht 13 reflektierter Anteil des Strahls 9, der reflektierte Strahl 9', wird über den fixen Spiegel zurück auf den Scanner 8 reflektiert. Da sich der Spiegel des Scanners 8 beim Eintreffen des reflektierten Strahls 9' bereits um einen ausreichend genau vorherbestimmbaren Wert um die z-Achse weitergedreht hat, wird der reflektierte Strahl nicht direkt zu dem Laser 6 reflektiert, sondern trifft dort leicht versetzt auf. An dieser Stelle ist ein Laserempfänger 16 vorgesehen, der relativ zu dem Laser 6, dem Spiegel 7, dem Scanner 8 und dem fixen Spiegel 15 ortsfest angebracht ist und sich gemeinsam mit diesen entlang der x-Achse bewegt.A fixed
Da durch diese Anordnung der Strahl 9 immer senkrecht zur Bauschicht 11 ausgerichtet ist und sich die Lauflänge des Strahls 9 und des reflektierten Strahls 9' lediglich genau um die Distanz von Höhenunterschieden auf der Bauschicht 11 variiert, lässt sich in allen erfassten Bereichen der Bauschicht 11 eine genaue Tiefenermittlung mittels LiDAR durchführen.Because of this arrangement, the
Alternativ wird vorgeschlagen, die F-θ-Linse 14 in einer zweiten Abwandlung der Ausführungsbeispiele zu modifizieren. Dies wird im Folgenden anhand
Eine abgewandelte F-θ-Linse 14' ist so ausgestaltet, dass sie mit einer teilspiegelnden Oberfläche 141 versehen ist. Ferner ist ein ringförmiger fixer Spiegel 15' vorgesehen. An einem Umlaufring 17 sind zwei Lasersensoren 16' so angebracht, dass sie sich auf dem Kreisring bewegen können. Sowohl die teilspiegelnde Oberfläche 141 und der Ringförmige fixe Spiegel 15' sind quasi-parabolisch ausgestaltet, sodass der reflektierte Strahl 9' immer auf die Lage des Umlaufrings 17 reflektiert wird. Die Sensoren 16' werden dabei so entlang des Umlaufrings 17 bewegt, dass der reflektierte Strahl 9' entweder von dem einen oder dem anderen Sensor 16' erfasst werden kann. Da es beim Übertritt über die Bildmitte zu einem plötzlichen Umschlagen der Reflektion, von der einen auf die andere Seite kommen kann, ist es vorteilhaft, gegenüberliegend auf beiden Seiten die Sensoren 16' anzuordnen.A modified F-θ lens 14' is designed to be provided with a partially
Die Anordnung nach der zweiten Abwandlung erlaubt - wegen der nicht immer senkrechten Strahlausrichtung keine so hohe Genauigkeit wie die Anordnung nach der ersten Abwandlung. Da hier jedoch mit den Sensoren 16' erheblich weniger Bauteile relativ zum Bauraum beweglich sind, ist die Komplexität geringer.The arrangement according to the second modification does not permit as high an accuracy as the arrangement according to the first modification because the beam alignment is not always vertical. However, since here with the
HYBRIDER ANSATZ ZUR DEFEKTERKENNUNGHYBRID APPROACH TO DEFECT DETECTION
Im ersten Schritt wird der Lidar Sensor online, d.h. mit jedem Bild, kalibriert. Mit den Kalibrierungsparametern ist es nun möglich aus den Lidardaten eine Disparity Map zu erstellen. Dabei kommen nun die Kalibrierungsparameter ins Spiel, denn sie erlauben, die Disparity Map für den gleichen Bildausschnitt zu berechnen, den die Stereokamera sieht (Lidar scannt im Radius X, d.h. Punktewolke muss mit dem Stereobild angeglichen werden). Aus den zwei Disparity Maps wird dann im nächsten Schritt eine globale Disparity Map erstellt, die wesentlich präziser ist als die einzelne Karte. Beide Schritte, Kalibrierung und Fusion können mit neuronalen Netzen implementiert werden.In the first step, the lidar sensor is calibrated online, i.e. with each image. With the calibration parameters it is now possible to create a disparity map from the lidar data. This is where the calibration parameters come into play, because they allow the disparity map to be calculated for the same image section that the stereo camera sees (lidar scans in radius X, i.e. the point cloud must be aligned with the stereo image). In the next step, a global disparity map is created from the two disparity maps, which is much more precise than the individual maps. Both steps, calibration and fusion can be implemented with neural networks.
DYNAMISCHE, IN-SITU ANPASSUNG DER PROZESSPARAMETER:DYNAMIC, IN-SITU ADJUSTMENT OF PROCESS PARAMETERS:
Defekt entstehen einerseits durch Faktoren, die bereits vor dem Druck existieren, bspw. ist die Geometrie nicht geeignet für den Druck oder bei der Herstellung des Pulvers gab es Qualitätsmängel. Zum anderen entstehen Defekte aber auch während des Drucks, weil Prozessparameter wie die Scangeschwindigkeit des Lasers zum gegenwärtigen Zustand des Drucks nicht passen. In bestehenden Umgebungen von additiven Fertigungsvorrichtungen werden die Prozessparameter vor dem Fertigungsprozess ermittelt und fix eingestellt. Die Ermittlung kann dabei durch eine Simulation des Fertigungsprozesses und / oder die Erstellung von Proben erfolgen. Um Defekte jedoch effektiv zu vermeiden, ist es notwendig, während der Laufzeit die Prozessparameter dynamisch zu verändern, und zwar in Reaktion auf die zu einem Zeitpunkt im Verfahren bestehende Defektwahrscheinlichkeit. Dazu wird der Fertigungsprozess als Markow-Entscheidungsproblem formuliert, welches mit einem Algorithmus aus der Klasse des Reinforcement Learning gelöst werden kann.On the one hand, defects are caused by factors that already exist before printing, e.g. the geometry is not suitable for printing or there were quality defects during the production of the powder. On the other hand, defects also occur during of the print because process parameters such as the scanning speed of the laser do not match the current state of the print. In existing environments of additive manufacturing devices, the process parameters are determined and set before the manufacturing process. The determination can be made by simulating the manufacturing process and/or by creating samples. However, in order to effectively avoid defects, it is necessary to dynamically change the process parameters during runtime, in response to the defect probability existing at a point in the process. For this purpose, the manufacturing process is formulated as a Markov decision problem, which can be solved with an algorithm from the class of reinforcement learning.
SELBST-LERNENDE PARAMETERANPASSUNG:SELF-LEARNING PARAMETER ADJUSTMENT:
Der Algorithmus (Policy) erhält fortwährend Informationen über den Fertigungsprozess, bspw. Temperatur im Pulverbett und entscheidet, ob die Prozessparameter geändert werden müssen, mit dem Ziel die Defektwahrscheinlichkeit zu reduzieren.The algorithm (policy) continuously receives information about the manufacturing process, e.g. temperature in the powder bed, and decides whether the process parameters need to be changed with the aim of reducing the probability of defects.
Zum einen gibt es modell-freie Ansätze, die darauf verzichten ein explizites Modell der Dynamik des additiven Fertigungsprozesses zu lernen und versuchen jedem Zustand die beste Änderung der Prozessparameter zuzuordnen, bspw. mittels eines künstlichen neuronalen Netzes. Im Rahmen des Reinforcement Learning wird dabei von der Dynamik der Umwelt (Environment) gesprochen, die durch Übergangswahrscheinlichkeitsverteilung der Zustände p(s',r|s, a) modelliert wird. s, s' E S sind dabei die Zustände (states), α ∈ A eine Änderung der Prozessparameter (actions), r E R gibt Auskunft darüber wie gut die Änderung der Prozessparameter war (rewards), d.h. hat sie die Defektwahrscheinlichkeit reduziert. Als Umwelt kann in diesem Zusammenhang die additive Fertigungsvorrichtung, der Fertigungsvorgang sowie das Bauteil angesehen werden.On the one hand, there are model-free approaches that do without learning an explicit model of the dynamics of the additive manufacturing process and try to assign the best change in the process parameters to each state, e.g. using an artificial neural network. In the context of reinforcement learning, we speak of the dynamics of the environment (environment), which is modeled by the transition probability distribution of the states p(s',r|s,a). s, s' E S are the states, α ∈ A a change in the process parameters (actions), r E R provides information about how good the change in the process parameters was (rewards), i.e. it reduced the defect probability. In this context, the additive manufacturing device, the manufacturing process and the component can be viewed as the environment.
Alternativ kann ein modell-basierter Ansatz zum Einsatz kommen. In den modellbasierten Ansätzen wird explizit die Umwelt modelliert, um damit die beste Änderung der Prozessparameter zu planen. Planung bedeutet, dass es einen Ist-Zustand gibt und einen Soll-Zustand. Der Planungsalgorithmus versucht dann mit Hilfe des Modells der Umwelt die beste Sequenz von Änderungen der Prozessparameter (policy) zu finden. Dabei ist die beste Sequenz in diesem Zusammenhang die, die zur niedrigsten Defektwahrscheinlichkeit führt.Alternatively, a model-based approach can be used. In the model-based approaches, the environment is explicitly modeled in order to plan the best change in the process parameters. Planning means that there is an actual state and a target state. The planning algorithm then tries to find the best sequence of changes in the process parameters (policy) with the help of the model of the environment. The best sequence in this context is the one that leads to the lowest defect probability.
Der Vorteil von modell-basierten Ansätzen ist, dass sie weniger Daten (sample efficiency) benötigen, da viele Zusammenhänge in der Realität (lokal) linear sind. Damit werden nur wenige Datenpunkte aus der lokalen Umgebung benötigt, um den Zusammenhang zu lernen.The advantage of model-based approaches is that they require less data (sample efficiency), since many relationships are (locally) linear in reality. This means that only a few data points from the local environment are needed to learn the connection.
Modell-freie Ansätze brauchen hingegen wesentlich mehr Beispiele, dass sie nur den Zusammenhang zwischen der Änderung der Prozessparameter und dem Erfolg (reward) lernen. Der beschriebene Nachteil von modell-freien Ansätzen verschwindet aber, wenn auf genaue Simulationen des additiven Fertigungsprozesses zurückgegriffen werden kann oder aber die Zahl der im Einsatz befindlichen Drucker, auf deren Daten Zugriff besteht, groß ist, denn die Planung in modell-basierten Ansätzen ist wesentlich komplexer und wird stärker durch vereinfachende Annahmen sowie Annäherungen eingeschränkt, als es bei modell-freien Ansätzen der Fall ist. Die Herausforderung in modell-freien Ansätzen, die in einer Simulation trainiert wurden, ist der erfolgreiche Transfer auf die Hardware. Selbst bei hoch-akkuraten Simulationen kommt es zum sog. reality gap, d.h. das gelernte Modell empfiehlt suboptimale Änderungen der Prozessparameter, da sich das Simulationsmodell in einigen oder allen Dimensionen zu stark von der Wirklichkeit zu unterscheidet.Model-free approaches, on the other hand, need significantly more examples so that they only learn the connection between changing the process parameters and the success (reward). However, the described disadvantage of model-free approaches disappears if precise simulations of the additive manufacturing process can be used or if the number of printers in use whose data is accessible is large, because planning in model-based approaches is essential more complex and is more constrained by simplifying assumptions and approximations than is the case with model-free approaches. The challenge in model-free approaches that have been trained in a simulation is the successful transfer to the hardware. Even with highly accurate simulations, there is a so-called reality gap, i.e. the learned model recommends suboptimal changes to the process parameters, since the simulation model differs too much from reality in some or all dimensions.
Es wird gelehrt, einen modell-freien und einen modell-basierten Ansatz zu kombinieren, der zuerst in der Simulation gelernt und anschließend auf einer realen additiven Fertigungsvorrichtung mit wenigen Fertigungsbeispielen verfeinert wird. Des Weiteren wird die Verwendung von Verfahren gelehrt, die den reality gap reduzieren, wie Dynamics oder Domain Randomization und Messung der physikalischen Parameter. Für Dynamics und Domain Randomization werden kritische Parameter der Umwelt während der Simulation immer wieder variiert, um die zu lernende Policy zur stärkeren Generalisierung zu zwingen. Des Weiteren wird die Nutzung von bereits gesammelten Daten zum Fertigungsvorgang gelehrt, um das Lernen zu beschleunigen (Learning from Demonstrations).It is taught to combine a model-free and a model-based approach, first learned in simulation and then refined on a real additive manufacturing fixture with few manufacturing examples. Furthermore, the use of methods that reduce the reality gap, such as dynamics or domain randomization and measurement of the physical parameters are taught. For dynamics and domain randomization, critical parameters of the environment are repeatedly varied during the simulation in order to force the policy to be learned to be more generalized. Furthermore, the use of already collected data on the manufacturing process is taught to accelerate learning (learning from demonstrations).
Eine Herausforderung stellt die Heterogenität der einzelnen additiven Fertigungsvorrichtungen dar, selbst wenn das gleiche Verfahren verwendet wird. Um dem Problem zu begegnen, wird ein kollektiver Lernansatz vorgeschlagen.A challenge is the heterogeneity of the individual additive manufacturing devices, even if the same process is used. To counter the problem, a collective learning approach is proposed.
KOLLEKTIVES LERNENCOLLECTIVE LEARNING
Additive Fertigungsvorrichtungen verschiedener Hersteller unterscheiden sich auf vielfältige Art und Weise, selbst wenn sie mit demselben Fertigungsprozess arbeiten. Das hat Auswirkungen auf die Dynamik der Umwelt im Herstellungsverfahren. Es ist schwer, im Vorhinein jede einzelne additive Fertigungsvorrichtung zu simulieren und die Parameter des Algorithmus darauf anzupassen. Daher werden zwei Verfahren vorgeschlagen, um die Daten der einzelnen additiven Fertigungsvorrichtungen zur Verbesserung der Algorithmen zu verwenden. Dabei kommen Methoden aus dem Bereich des Privacy Preserving Machine Learning, die es ermöglichen, sensible Daten einzelner Kunden zu schützen, ohne dass das Lernen beeinträchtigt wird.Additive manufacturing devices from different manufacturers differ in many ways, even when they use the same manufacturing process. This has an impact on the dynamics of the environment in the manufacturing process. It is difficult to simulate every single additive manufacturing device in advance and adjust the parameters of the algorithm accordingly. Therefore, two methods are proposed to Use data from each additive manufacturing device to improve the algorithms. Methods come from the field of Privacy Preserving Machine Learning, which make it possible to protect sensitive data of individual customers without impairing learning.
OFFENER AUSTAUSCH (CENTRAL LEARNING)OPEN EXCHANGE (CENTRAL LEARNING)
Jede additive Fertigungsvorrichtung, auf dem unsere Software installiert ist, überträgt kontinuierlich Prozessparameter sowie die Zustände (states) seiner Umwelt an einen zentralen Server. Dabei werden vertrauliche Informationen wie bspw. die Geometrie des Bauteils abgewandelt, so dass die Daten immer noch zum Lernen des Algorithmus verwendet werden können, aber die ursprüngliche Geometrie bzw. die vertrauliche Information nicht mehr ermittelbar ist. Auf Basis der Daten und des zuvor beschriebenen Vorgehens wird der Algorithmus verbessert und die Verbesserungen zurück an die additive Fertigungsvorrichtung übermittelt.Each additive manufacturing device on which our software is installed continuously transmits process parameters and the states of its environment to a central server. In this case, confidential information such as the geometry of the component is modified so that the data can still be used to learn the algorithm, but the original geometry or the confidential information can no longer be determined. Based on the data and the procedure described above, the algorithm is improved and the improvements are transmitted back to the additive manufacturing device.
SEMI-OFFENER AUSTAUSCH (FEDERATED LEARNING)SEMI-OPEN EXCHANGE (FEDERATED LEARNING)
Jede additive Fertigungsvorrichtung, auf dem unsere Software installiert ist, besitzt eine zusätzliche Recheneinheit, die es ermöglicht, anhand der Daten, die in der Maschine anfallen, das Modell zu verbessern. Dazu besitzt der Drucker bei Auslieferung bereits ein generisches Modell, das dann über die Laufzeit durch den Lernprozess auf die spezifischen Eigenschaften des Druckers angepasst wird. Nachdem ein solches, lokales Modell mit den Daten von der additive Fertigungsvorrichtung verbessert wurde, werden die Veränderungen in den Modellparametern an einen zentralen Server übermittelt, der mit den einzelnen Updates ein globales Modell verbessert. Anschließend wird das globale Modell an die additive Fertigungsvorrichtung zurück übermittelt, um das alte Modell zu ersetzen.Each additive manufacturing device on which our software is installed has an additional processing unit that allows the model to be improved using the data generated in the machine. For this purpose, the printer already has a generic model when it is delivered, which is then adapted to the specific properties of the printer over the runtime through the learning process. After such a local model has been improved with the data from the additive manufacturing device, the changes in the model parameters are transmitted to a central server, which improves a global model with the individual updates. The global model is then sent back to the additive manufacturing device to replace the old model.
Die Erfindung wurde mittels Ausführungsbeispielen beschrieben. Die Ausführungsbeispiele sind nur von erläuternder Natur und schränken die Erfindung, wie sie durch die Ansprüche definiert ist, nicht ein. Für den Fachmann erkennbar sind im Rahmen des Schutzbereichs der Ansprüche Ausgestaltungen möglich, die vom Ausführungsbeispiel abweichen können.The invention has been described by means of exemplary embodiments. The embodiments are only illustrative in nature and do not limit the invention as defined by the claims. Within the scope of the claims, configurations that can deviate from the exemplary embodiment are possible, recognizable to a person skilled in the art.
So wird im Ausführungsbeispiel der Fertigungslaser der additiven Fertigungsvorrichtung zur Erfassung der Oberflächentemperatur oder der Gestalt des Werkstücks verwendet. Alternativ kann auch eine eigene Erfassungsvorrichtung mit einem separaten Erfassungslaser vorgesehen sein.Thus, in the exemplary embodiment, the manufacturing laser of the additive manufacturing device is used to detect the surface temperature or the shape of the workpiece. Alternatively, a separate detection device with a separate detection laser can also be provided.
Im Ausführungsbeispiel wird ein Kamerasystem bestehend aus zwei Bildaufnahmevorrichtungen verwendet, die zeitgleich Bilder aufnehmen. Alternativ kann das Kamerasystem aus einer Bildaufnahmevorrichtung bestehen, die zeitlich und räumlich versetzt Bilder aufnimmt.In the exemplary embodiment, a camera system consisting of two image recording devices that record images at the same time is used. Alternatively, the camera system can consist of an image recording device that records images offset in time and space.
Im abgewandelten Ausführungsbeispiel weist das Kamerasystem eine weitere Kamera für Aufnahmen im NIR/IR-Spektrum auf. Alternativ kann aber auch eine der Stereokameras oder die Einzelkamera für diese Funktion verwendet werden, wenn sie die Fähigkeit zur Erfassung des NIR/IR-Spektrums aufweist.In the modified exemplary embodiment, the camera system has an additional camera for recordings in the NIR/IR spectrum. Alternatively, one of the stereo cameras or the single camera can be used for this function if it has the ability to capture the NIR/IR spectrum.
Im Ausführungsbeispiel wird die Kamerapose u.a. auf Basis der Informationen aus Drehgebern der Motoren, die die Kamerapose ändern, von an der Kamera angebrachten Inertial-Measurement-Unit (IMU) oder einer Innenraum-Lokalisierungstechnik (bspw. RFID, Megnetometer etc.) lokalisiert. Alternativ oder zusätzlich kann die Kamerapose auch anhand einer weiteren Kamera und einer Markierung an einer der Gehäusewände bestimmt werden. Ein solches Ausführungsbeispiel wird nachfolgend anhand der
In dem ersten, zweiten, und dritten Ausführungsbeispiel sind die Kamerasysteme innerhalb des Bauraums 40 vorgesehen. Sie können jedoch auch außerhalb des Bauraums 40 vorgesehen sein. In diesem Fall ist der Bauraum mit entsprechenden Fenstern auszustatten. Dies hat den Vorteil, dass die Kamerasysteme nicht der im Bauraum vorherrschenden thermischen Belastung ausgesetzt sind. Hierbei können die Kamerasysteme oberhalb oder an einer oder mehreren der vier Seiten des Bauraums angeordnet sein.In the first, second and third exemplary embodiment, the camera systems are provided within the
Im Ausführungsbeispiel ist die erfindungsgemäße Vorrichtung zum Aufbau eines dreidimensionalen Fertigungsobjekts als Lasersintervorrichtung dargestellt. Die Erfindung ist jedoch auch anwendbar auf Direct Energy Deposition Fertigungsvorrichtungen anwendbar. Da es kein Pulverbett mehr gibt, muss bei der Segmentierung jetzt das Objekt vom Hintergrund abgegrenzt werden. Aufgrund dessen, dass der Hintergrund nicht mit der gleichen Regelmäßigkeit wie im Pulverbett Verfahren ausgestattet ist, ist bei der Segmentierung zu beachten, dass die Apparatur, die das Material (Pulver oder Draht) aufträgt (MAA) (beispielsweise eine Roboterarm) vom Fertigungsobjekt und das Fertigungsobjekt vom Hintergrund getrennt werden. Bauliche Veränderungen könnten sein, dass die MAA in einer einheitlichen und nicht vom Material angenommenen Farbe lackiert werden. Des Weiteren kann der Hintergrund derart abgeschirmt und farblich verändert werden, dass er leicht zu segmentieren ist, bspw. in dem der Druckvorgang in einer separaten Zelle stattfindet. Bei diesem Verfahren müssen ferner, abhängig vom Aufbau der Fertigungsvorrichtung, die Sensoren nicht im oberen Teil des Bauraums angebracht werden, sondern können entweder direkt an der MAA oder aber seitlich im / am Drucker oder aber in einer eigenständigen, beweglichen Apparatur wie bspw. einem Roboterarm. Wichtig ist dabei, dass auch Hohlräume und andere, nur aus wenigen Perspektiven sichtbare Bereiche, vollständig erreicht werden können, wobei eine Anbringung nah an der MAA vorteilhaft ist. Des Weiteren ist das Vorsehen verschiedener Bauteile um den Sensor vorteilhaft, um Schutz gegen die Hitze zu bilden bzw. das Vorsehen verschiedener Filtersysteme, um die hohe Strahlungsintensität (Lichtintensität) zu mindern aber auch den Einfluss von UV Strahlung / IR Strahlung auf das Bild (RGB) zu reduzieren. Der Vorteil zusätzlicher Vorrichtungen ergibt sich dadurch, dass es wenige / keine Phasen gibt, in denen die Strahlungsintensität, die durch die MAA erzeugt wird, gering ist, so wie es bspw. im Pulverbett Verfahren ist, wenn der Recoater neues Pulver aufträgt. Bei der lokalen Tiefenschätzung beschränkt sich dann, wenn die Kamera an der MAA direkt befestigt ist, so dass diese den Pfad vorgibt, die Pfadplanung auf das Bestimmen der Auslösemomente für die Bildaufnahmen und - falls eine eigene Ausrichtbarkeit der Kameramodule gegeben ist - eine Planung der Kameraausrichtung.In the exemplary embodiment, the device according to the invention for constructing a three-dimensional production object is shown as a laser sintering device. However, the invention is also applicable to Direct Energy Deposition manufacturing devices gene applicable. Since there is no longer a powder bed, the object must now be separated from the background during segmentation. Due to the fact that the background is not equipped with the same regularity as in the powder bed process, it must be taken into account when segmenting that the apparatus that applies the material (powder or wire) (MAA) (e.g. a robotic arm) differs from the production object and the Production object to be separated from the background. Structural changes could be that the MAA are painted in a uniform color that is not adopted by the material. Furthermore, the background can be shielded and colored in such a way that it can be easily segmented, e.g. by printing in a separate cell. With this method, depending on the structure of the production device, the sensors do not have to be attached in the upper part of the installation space, but can either be attached directly to the MAA or on the side in / on the printer or in an independent, mobile device such as a robot arm . It is important that cavities and other areas that are only visible from a few perspectives can be fully reached, with attachment close to the MAA being advantageous. Furthermore, the provision of different components around the sensor is advantageous in order to form protection against the heat or the provision of different filter systems in order to reduce the high radiation intensity (light intensity) but also the influence of UV radiation / IR radiation on the image (RGB ) to reduce. The advantage of additional devices results from the fact that there are few / no phases in which the radiation intensity generated by the MAA is low, such as in the powder bed process when the recoater is applying new powder. In the case of local depth estimation, if the camera is attached directly to the MAA so that it specifies the path, the path planning is limited to determining the trigger moments for the image recordings and - if the camera modules can be aligned independently - planning the camera alignment .
Im ersten Ausführungsbeispiel weist das Kamerasystem 50 das erste Kameramodul 52 und das zweite Kameramodul 53 auf, um über zwei Kamerabilder eine stereoskopische Tiefenerfassung durchzuführen. Alternativ hierzu ist eine Tiefenerfassung nach dem Streiflichtverfahren möglich. Hierbei wird das zweite Kameramodul 53 durch einen Projektor ersetzt, der ein Lichtmuster (strukturiertes Licht) auf die Bauschicht 11 projiziert. Das erste Kameramodul 52, das zum zweiten Kameramodul 53 und somit auch zu dem Projektor versetzt angeordnet und auf die Bauschicht 11 ausgerichtet ist, nimmt gemäß dem Kamerasystempfad Bildaufnahmen von der Bauschicht 11 mit dem Lichtmuster auf. Durch Tiefenänderung der Bauebene 11 ergeben sich aus der Perspektive des ersten Kameramoduls 52 Verzerrungen des Lichtmusters. Aus den in den Aufnahmen des ersten Kameramoduls 52 festgehaltenen Verzerrungen des Lichtmusters lassen sich in bekannter Weise auf Basis epipolarer Geometrie die Tiefenänderungen der Bauschicht 11 ermitteln und gemäß dem ersten Ausführungsbeispiel eine Punktewolke generieren. Der durch das Streiflichtverfahren hohen Genauigkeit im Mikrometerbereich stehen jedoch höhere Kosten durch die Notwendigkeit von einem oder mehreren Projektoren gegenüber.In the first exemplary embodiment, the
Die Tiefenbestimmung durch das Streiflichtverfahren kann-wenn der Projektor zusätzlich zu den Kamerasystemen 50 der Ausführungsbeispiele vorgesehen wird - auch ergänzend zur stereoskopischen Tiefenbestimmung erfolgen.If the projector is provided in addition to the
Alternativ oder ersetzend kann eine Tiefenbestimmung auch mittels Radar erfolgen. Hierzu ist ein Radarsensor an (außerhalb) oder im oberen Bereich des Bauraums 10 vorgesehen. Der Radarsensor weist einen Radaremitter und einen Radarempfänger auf. Durch den Radaremitter werden elektromagnetische Wellen im Radiofrequenzbereich als Radarsignal ausgesendet, die von der Bauschicht 11 reflektiert werden. Die Reflexionen des Radarsignals werden durch den Radarempfänger empfangen. Aus der Signallaufzeit, d.h. der Zeitdifferenz zwischen Absenden und Empfangen des Radarsignals und der Ausbreitungsgeschwindigkeit des Radarsignals im entsprechenden Umgebungsmedium in und/oder außerhalb des Bauraums, wird die Distanz ermittelt. Das Verfahren ähnelt insoweit der Lidar-Tiefenermittlung. Die Ergebnisse aus der Radar-Tiefenbestimmung können mit den anderen Tiefenermittlungsverfahren kombiniert/fusioniert werden, oder einzelne andere Tiefenermittlungsverfahren ersetzen.Alternatively or as a substitute, a depth determination can also be carried out using radar. For this purpose, a radar sensor is provided on (outside) or in the upper area of the
Ein Kamerasystempfad ist eine Abfolge von Positionen, Ausrichtungen oder Bildaufnahmeinitiierungen eines Kamerasystems mit einem oder mehreren Kameramodulen.A camera system path is a sequence of positions, orientations or image acquisition initiations of a camera system with one or more camera modules.
Eine additive Fertigungsvorrichtung im Sinne dieser Schrift ist jede materialauftragende Fertigung, beispielsweise durch LSM, DED (direct Energy Deposition) oder MAA.An additive manufacturing device within the meaning of this document is any material-applying manufacturing, for example by LSM, DED (direct energy deposition) or MAA.
Ein teilspiegelnder Spiegel oder eine teilspiegelnde Oberfläche sind solche, die von der einen Seite bestrahlt die Strahlung reflektieren, und von der anderen Seite bestrahlt die Strahlung mindestens teilweise, jedenfalls stärker als bei der Bestrahlung der einen Seite hindurchtreten lassen.A partially reflecting mirror or a partially reflecting surface is one that reflects the radiation irradiated from one side and at least partially irradiates the radiation from the other side, at least more than when irradiating one side.
In der Beschreibung sind die Terme „und“, „oder“, und „entweder ... oder“ als Junktor in der Bedeutung der logischen Konjunktion (mathematisches UND), als Junktor in der Bedeutung der logischen Adjunktion (mathematisches ODER, oft auch „und/oder“) bzw. als Junktor in der Bedeutung der logischen Kontravalenz (mathematisches Exklusiv-ODER) verwendet.In the description, the terms "and", "or", and "either ... or" are used as a conjunction in the Meaning of the logical conjunction (mathematical AND), used as a junctor in the sense of the logical adjunction (mathematical OR, often "and/or") or as a junctor in the sense of logical contravalence (mathematical exclusive OR).
In der Beschreibung oder den Ansprüchen angegebene Verfahrensschritte dienen lediglich der Auflistung der erforderlichen Verfahrensschritte. Sie implizieren nur dort eine Reihenfolge, wo die Reihenfolge explizit angegeben ist oder sich für den Fachmann als notwendig ergibt. Insbesondere impliziert die Auflistung keine abschließende Aufzählung.The method steps specified in the description or the claims only serve to list the required method steps. They imply an order only where the order is explicitly stated or deemed necessary by those skilled in the art. In particular, the listing does not imply an exhaustive enumeration.
BezugszeichenlisteReference List
- 11
- Erzeugungsvorrichtung, Vorrichtung zum Erzeugen eines dreidimensionalen Objekts, Lasersintervorrichtung, LSM, DruckerCreation device, device for creating a three-dimensional object, laser sintering device, LSM, printer
- 55
- obere Trennwandupper partition
- 66
- Laser, Fertigungslaser, Messlaser, ErfassungslaserLasers, production lasers, measuring lasers, detection lasers
- 77
- Umlenkspiegeldeflection mirror
- 88th
- Scanner, Reflektorscanner, reflector
- 99
- Strahl, Laserstrahlbeam, laser beam
- 9'9'
- reflektierter Strahlreflected beam
- 1010
- Baurauminstallation space
- 1111
- Bauschicht, aktuelle Bauschicht, current layerbuild layer, current build layer
- 1212
- Eintrittsfensterentry window
- 1313
- Bauplatte, build platebuild plate
- 1414
- F-θ LinseF-θ lens
- 141141
- teilspiegelnde Oberflächepartially reflecting surface
- 1515
- fixer Spiegelfixed mirror
- 15'15'
- ringförmiger fixer Spiegelring-shaped fixed mirror
- 1616
- Laserempfänger, LaserempfangsvorrichtungLaser receiver, laser receiving device
- 16'16'
- Lasersensorlaser sensor
- 1717
- Umlaufringcirculation ring
- 2525
- Behältercontainer
- 2626
- Trägervorrichtungcarrier device
- 2727
- Beschichter, recoaterCoater, recoater
- 2828
- Dosiervorrichtungdosing device
- 3030
- Zuführöffnungfeed opening
- 4040
-
oberer Bereich des Bauraums 10upper area of the
installation space 10 - 4141
-
unterer Bereich des Bauraums 10lower area of the
installation space 10 - 5050
- Kamerasystemcamera system
- 50'50'
- Kamerasystem (2. Ausführungsbeispiel)Camera system (2nd embodiment)
- 5151
- SchlittenSleds
- 5252
- erstes Kameramodulfirst camera module
- 52'52'
- erstes Kameramodul (2. Ausführugnsbeispiel)first camera module (2nd exemplary embodiment)
- 52"52"
- erstes Kameramodul (3. Ausführungsbeispiel)first camera module (3rd embodiment)
- 5353
- zweites Kameramodulsecond camera module
- 53"53"
- zweites Kameramodul (3. Ausführungsbeispiel)second camera module (3rd embodiment)
- αa
-
Neigungswinkel des ersten Kameramoduls 52"Tilt angle of the
first camera module 52" - ββ
-
Neigungswinkel des zweiten Kameramoduls 53"Tilt angle of the
second camera module 53" - 5454
- erster Stellmotorfirst servomotor
- 5656
- Träger des SchienensystemsCarrier of the rail system
- 5757
- dritter Stellmotorthird servomotor
- 5858
- Schienenrails
- 5959
- Stellmotoractuator
- 6161
- Lagerringbearing ring
- 6262
- Drehringrotating ring
- 6363
- Stellmotoractuator
- dTdT
- Temperaturgradienttemperature gradient
- TT
- Wahrscheinlichkeit ob Pixel geschmolzenes oder ungeschmolzenes Material abdecktProbability whether pixel covers melted or unmelted material
Claims (16)
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102021106432.5A DE102021106432A1 (en) | 2021-03-16 | 2021-03-16 | Defect detection in additive manufacturing |
PCT/EP2022/056878 WO2022194960A1 (en) | 2021-03-16 | 2022-03-16 | Defect detection in additive manufacturing |
PCT/EP2022/056839 WO2022194939A1 (en) | 2021-03-16 | 2022-03-16 | Defect recognition in additive manufacture |
PCT/EP2022/056874 WO2022194956A1 (en) | 2021-03-16 | 2022-03-16 | Prevention of manufacturing defects during additive manufacturing |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102021106432.5A DE102021106432A1 (en) | 2021-03-16 | 2021-03-16 | Defect detection in additive manufacturing |
Publications (1)
Publication Number | Publication Date |
---|---|
DE102021106432A1 true DE102021106432A1 (en) | 2022-09-22 |
Family
ID=83115164
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE102021106432.5A Pending DE102021106432A1 (en) | 2021-03-16 | 2021-03-16 | Defect detection in additive manufacturing |
Country Status (1)
Country | Link |
---|---|
DE (1) | DE102021106432A1 (en) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6466352B1 (en) | 1999-04-23 | 2002-10-15 | Arie Shahar | High-resolution reading and writing scan system for planar and cylindrical surfaces |
EP2942130A1 (en) | 2014-05-09 | 2015-11-11 | MTU Aero Engines GmbH | Apparatus and method for additive manufacturing of at least a device component |
US20160098825A1 (en) | 2014-10-05 | 2016-04-07 | Sigma Labs, Inc. | Feature extraction method and system for additive manufacturing |
-
2021
- 2021-03-16 DE DE102021106432.5A patent/DE102021106432A1/en active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6466352B1 (en) | 1999-04-23 | 2002-10-15 | Arie Shahar | High-resolution reading and writing scan system for planar and cylindrical surfaces |
EP2942130A1 (en) | 2014-05-09 | 2015-11-11 | MTU Aero Engines GmbH | Apparatus and method for additive manufacturing of at least a device component |
US20160098825A1 (en) | 2014-10-05 | 2016-04-07 | Sigma Labs, Inc. | Feature extraction method and system for additive manufacturing |
Non-Patent Citations (1)
Title |
---|
GUIZILINI, Vitor [et al.]: 3D packing for self-supervised monocular depth estimation. 28-03-2020. 13 S. URL: https://arxiv.org/pdf/1905.02693 [abgerufen am 2021-04-12]. - arXiv:1905.02693v4 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
DE112020004813B4 (en) | System for expanding sensor systems and imaging systems with polarization | |
EP3362262B1 (en) | Method and recoater for a device for the production of a three-dimensional object | |
EP1173749B1 (en) | Image editing for preparing a texture analysis | |
DE102015011914B4 (en) | Contour line measuring device and robotic system | |
EP1589484B1 (en) | Method for detecting and/or tracking objects | |
WO2022194960A1 (en) | Defect detection in additive manufacturing | |
DE102009023896B4 (en) | Apparatus and method for detecting a plant | |
DE69826753T2 (en) | Optical profile sensor | |
EP3819671B1 (en) | Optoelectronic sensor and method for detecting objects | |
EP2728374B1 (en) | Invention relating to the hand-eye calibration of cameras, in particular depth image cameras | |
DE112010004767T5 (en) | Point cloud data processing device, point cloud data processing method and point cloud data processing program | |
DE102008042145A1 (en) | Method and measuring arrangement for determining the wheel or axle geometry of a vehicle | |
DE102021106429A1 (en) | Defect detection in additive manufacturing | |
EP2105701A1 (en) | Method and device for determining the 3D coordinates of an object | |
EP3782117A1 (en) | Method, device and computer-readable storage medium having instructions for processing sensor data | |
DE102012215215A1 (en) | Method and device for detecting deviations of a surface of an object | |
DE602004011093T2 (en) | DEVICE FOR SCANNING THREE-DIMENSIONAL OBJECTS | |
EP1460454A2 (en) | Method for combined processing of high resolution images and video images | |
DE112020004392T5 (en) | Additive manufacturing system | |
DE102021106430A1 (en) | Defect detection in additive manufacturing | |
DE102021124430B3 (en) | Visualize lidar measurement data | |
DE10317078B4 (en) | Method and device for analyzing reflective surfaces | |
Baucher et al. | Defect characterization through automated laser track trace identification in SLM processes using laser profilometer data | |
DE202010012985U1 (en) | Sensor arrangement for object recognition | |
DE102019103519A1 (en) | Device for determining dimensional and / or geometric properties of a measurement object |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
R081 | Change of applicant/patentee |
Owner name: FORTY2 TECHNOLOGIES GMBH, DE Free format text: FORMER OWNER: KEPLERAF0 UG (HAFTUNGSBESCHRAENKT), 80339 MUENCHEN, DE |
|
R163 | Identified publications notified |