DE102021119588A1

DE102021119588A1 - Welding monitoring method, welding monitoring device and welding machine

Info

Publication number: DE102021119588A1
Application number: DE102021119588.8A
Authority: DE
Inventors: Ruslan Kozakov; Matthias Bredack; Jochen Schein; Michal Szulc
Original assignee: Universitaet der Bundeswehr Muenchen
Current assignee: Universitaet der Bundeswehr Muenchen
Priority date: 2021-07-28
Filing date: 2021-07-28
Publication date: 2023-02-02
Also published as: WO2023006356A1

Abstract

Die Erfindung betrifft ein Schweißüberwachungsverfahren zur Überwachung eines Schweißvorgangs an einem Objekt (1), welches die folgenden Schritte aufweist. Schweißen (S1), mit einer Schweißvorrichtung (2), eines Objekts (1) entlang einer Schweißtrajektorie (3), Aufnehmen (S2), mit zumindest einer Kameravorrichtung (4), jeweils zumindest einer Bildaufnahme des Objekts (1), wobei zumindest eine Bildaufnahme die Schweißtrajektorie (3) enthält, Erfassen (S3) einer, insbesondere zeitabhängigen, Lage der Schweißvorrichtung (2) entlang der Schweißtrajektorie (3) und/oder einer Ausrichtung der Schweißvorrichtung (2) relativ zur Schweißtrajektorie (3) mittels einer ersten Bildverarbeitung der zumindest einen Bildaufnahme des Objektes (1) und Erfassen oder Ermitteln (S4) einer, insbesondere zeitabhängigen, Temperatur des Objektes (1) an zumindest einer geschweißten Stelle (6) der Schweißtrajektorie (3) mittels einer zweiten Bildverarbeitung an der zumindest einen Bildaufnahme der Schweißtrajektorie (3). Die Erfindung betrifft außerdem eine Schweißüberwachungsvorrichtung (100) und ein Schweißgerät.The invention relates to a welding monitoring method for monitoring a welding process on an object (1), which has the following steps. Welding (S1), with a welding device (2), of an object (1) along a welding trajectory (3), recording (S2), with at least one camera device (4), in each case at least one image recording of the object (1), with at least one Image recording containing the welding trajectory (3), detecting (S3) a position of the welding device (2), in particular a time-dependent one, along the welding trajectory (3) and/or an alignment of the welding device (2) relative to the welding trajectory (3) by means of a first image processing of the at least one image recording of the object (1) and detecting or determining (S4) a temperature, in particular a time-dependent temperature, of the object (1) at at least one welded point (6) of the welding trajectory (3) by means of second image processing on the at least one image recording of the welding trajectory (3). The invention also relates to a welding monitoring device (100) and a welding device.

Description

Die Erfindung betrifft ein Schweißüberwachungsverfahren zur Überwachung eines Schweißvorgangs an einem Objekt. Die Erfindung betrifft außerdem eine Schweißüberwachungsvorrichtung und ein Schweißgerät.The invention relates to a welding monitoring method for monitoring a welding process on an object. The invention also relates to a welding monitoring device and a welding device.

Beim Schweißen mit herkömmlichen manuellen Schweißgeräten ist für eine sichere Verbindung der zu verschweißenden Objekte eine eingebrachte oder einzubringende Streckenenergie oder Leistung des Schweißgeräts von hoher Bedeutung. Dabei müssen für eine sichere Verbindung bestimmte Abkühlzeiten der zu verschweißenden Objekte, beispielsweise eine t8/5-Zeit, eingehalten werden. Die t8/5-Zeit gibt an, in welcher Zeit ein bestimmter Ort auf einer Schweißnaht und ihre angrenzende Wärmeeinflusszone von 800°C auf 500°C heruntergekühlt sind. Die t8/5-Zeit hängt beim Schweißen unter anderem von der eingebrachten Schweißleistung des Geräts sowie der Geschwindigkeit, mit welcher ein Verwender des Schweißgeräts eben dieses entlang einer Schweißtrajektorie bewegt. Um zu ermitteln, ob eine vorgegebene t8/5-Zeit eingehalten wird oder wurde, wird herkömmlicherweise die eingestellte Schweißleistung des Geräts zusammen mit der Schweißgeschwindigkeit sowie Materialparametern verrechnet. Die Schweißgeschwindigkeit wird dabei durch manuelles Messen, durch den Verwender, einer Schweißzeit und einer Schweißnahtlänge bestimmt. Solche Lösungen sind jedoch oftmals sehr ungenau und mit zusätzlichem Aufwand verbunden. Des Weiteren ist es hierbei nicht möglich, den Verwender des Schweißgeräts während des Schweißens über ein Überschreiten oder Unterschreiten der erforderlichen t8/5-Zeit zu informieren, da diese erst im Nachhinein ermittelt wird.When welding with conventional manual welding devices, the energy per unit area introduced or to be introduced or the output of the welding device is of great importance for a secure connection of the objects to be welded. For a secure connection, certain cooling times of the objects to be welded, for example a t8/5 time, must be observed. The t8/5 time indicates the time it takes a specific location on a weld and its adjacent heat-affected zone to cool down from 800°C to 500°C. During welding, the t8/5 time depends, among other things, on the welding power introduced by the device and the speed at which a user of the welding device moves it along a welding trajectory. In order to determine whether a specified t8/5 time is or has been complied with, the set welding power of the device is conventionally calculated together with the welding speed and material parameters. The welding speed is determined by manual measurement by the user, a welding time and a weld seam length. However, such solutions are often very imprecise and involve additional effort. Furthermore, it is not possible here to inform the user of the welding device during welding that the required t8/5 time has been exceeded or fallen short of, since this is only determined afterwards.

Es ist Aufgabe der Erfindung, ein Schweißüberwachungsverfahren, eine Schweißüberwachungsvorrichtung sowie ein Schweißgerät bereitzustellen, welche eine genaue und einfache, insbesondere simultane, Überwachung eines Schweißvorgangs ermöglichen.It is the object of the invention to provide a welding monitoring method, a welding monitoring device and a welding device which enable precise and simple, in particular simultaneous, monitoring of a welding process.

Die Lösung dieser Aufgabe erfolgt durch die Merkmale der unabhängigen Ansprüche. Die abhängigen Ansprüche haben vorteilhafte Weiterbildungen der Erfindung zum Inhalt.This problem is solved by the features of the independent claims. The dependent claims relate to advantageous developments of the invention.

Das erfindungsgemäße Schweißüberwachungsverfahren zur Überwachung eines Schweißvorgangs an einem Objekt weist die folgenden Schritte auf. Mit einer Schweißvorrichtung wird ein Objekt entlang einer Schweißtrajektorie geschweißt. Mit zumindest einer Kameravorrichtung wird jeweils zumindest eine Bildaufnahme des Objekts aufgenommen, wobei zumindest eine Bildaufnahme die Schweißtrajektorie enthält. Des Weiteren wird/werden eine Lage der Schweißvorrichtung entlang der Schweißtrajektorie und/oder eine Ausrichtung der Schweißvorrichtung relativ zur Schweißtrajektorie mittels einer ersten Bildverarbeitung der zumindest einen Bildaufnahme des Objekts erfasst. Die Lage und/oder die Ausrichtung der Schweißvorrichtung kann/können dabei insbesondere zeitabhängig sein. Hierbei wird außerdem eine Temperatur, insbesondere eine zeitabhängige Temperatur, des Objektes an zumindest einer geschweißten Stelle der Schweißtrajektorie mittels einer zweiten Bildverarbeitung an der zumindest einen Bildaufnahme der Schweißtrajektorie erfasst oder ermittelt.The welding monitoring method according to the invention for monitoring a welding process on an object has the following steps. An object is welded along a welding trajectory with a welding device. At least one image of the object is recorded with at least one camera device, wherein at least one image contains the welding trajectory. Furthermore, a position of the welding device along the welding trajectory and/or an alignment of the welding device relative to the welding trajectory is/are recorded by means of a first image processing of the at least one image recording of the object. The position and/or the alignment of the welding device can be time-dependent in particular. In this case, a temperature, in particular a time-dependent temperature, of the object at at least one welded point of the welding trajectory is also recorded or determined by means of second image processing on the at least one image recording of the welding trajectory.

Das Schweißüberwachungsverfahren bietet somit den Vorteil, eine einfache, genaue und insbesondere simultane Möglichkeit der Schweißüberwachung eines Schweißvorgangs durchzuführen.The welding monitoring method thus offers the advantage of being able to carry out a simple, precise and, in particular, simultaneous possibility of welding monitoring of a welding process.

Im Vorhergehenden und im Folgenden ist das Objekt beispielsweise als einzelnes Element und/oder als eine Mehrzahl von miteinander zu verschweißenden Elementen zu verstehen. Die Schweißtrajektorie ist beispielsweise als Weg oder Pfad zu verstehen, entlang oder auf welchem das Objekt geschweißt wird oder wurde. Des Weiteren ist eine Bildaufnahme beispielsweise als eine einzelne Aufnahme oder als eine Bewegtbildaufnahme oder als eine Videoaufnahme zu verstehen.In the foregoing and in the following, the object is to be understood, for example, as a single element and/or as a plurality of elements to be welded together. The welding trajectory is to be understood, for example, as a path or path along or on which the object is or was welded. Furthermore, an image recording is to be understood, for example, as an individual recording or as a moving image recording or as a video recording.

In einer bevorzugten Ausführungsform des Schweißüberwachungsverfahrens wird die zumindest eine Kameravorrichtung vor dem Schweißen an der Schweißvorrichtung befestigt. Alternativ kann die zumindest eine Kameravorrichtung vor dem Schweißen mit der Schweißvorrichtung integral gebildet sein. Dies bietet den Vorteil, dass bei der ersten Bildverarbeitung die Lage und/oder Ausrichtung der Schweißvorrichtung durch Erfassen einer insbesondere zeitabhängigen Lage und/oder Ausrichtung der Kameravorrichtung erfasst werden kann.In a preferred embodiment of the welding monitoring method, the at least one camera device is attached to the welding device before welding. Alternatively, the at least one camera device can be formed integrally with the welding device prior to welding. This offers the advantage that the position and/or orientation of the welding device can be recorded during the first image processing by detecting a position and/or orientation of the camera device that is in particular time-dependent.

Besonders vorteilhaft ist es, wenn bei der ersten Bildverarbeitung zumindest eine signifikante Stelle in der zumindest einen Bildaufnahme des Objektes erkannt wird. Dabei wird eine Verschiebung der signifikanten Stelle, insbesondere in Pixeleinheiten, über eine Mehrzahl von Bildaufnahmen erfasst. Mittels der erfassten Verschiebung der signifikanten Stelle wird eine Lage und/oder Ausrichtung und/oder Geschwindigkeit der Schweißvorrichtung auf oder entlang der Schweißtrajektorie ermittelt. Dies bietet den Vorteil, dass eine Erfassung von signifikanten Stellen des Objektes zur Ermittlung der Lage und/oder Ausrichtung und/oder Geschwindigkeit der Schweißvorrichtung verwendet werden kann. Da hierbei insbesondere signifikante Stellen an beliebigen Stellen des Objektes erkannt werden können, kann hierdurch das Schweißüberwachungsverfahren die Lage und/oder Ausrichtung und/oder Geschwindigkeit der Schweißvorrichtung an einer beliebigen Stelle des Objektes ermitteln, insbesondere auch, wenn ein Rand des Objektes nicht (mehr) in der zumindest einen Bildaufnahme des Objekts enthalten ist.It is particularly advantageous if at least one significant point in the at least one image recording of the object is recognized during the first image processing. In this case, a shift in the significant point, in particular in pixel units, is detected over a plurality of image recordings. A position and/or orientation and/or speed of the welding device on or along the welding trajectory is determined by means of the detected displacement of the significant point. This offers the advantage that a detection of significant points of the object can be used to determine the position and/or orientation and/or speed of the welding device. Since in this case significant points in particular can be recognized at any point on the object, the welding monitoring method can thereby determine the position and/or alignment and/or speed of the welding device at any point on the object, in particular if an edge of the object is not (or no longer) contained in the at least one image recording of the object.

In einer weiteren bevorzugten Ausführungsform wird die zumindest eine Kameravorrichtung vor dem Schweißen an einem Schweißhelm eines Verwenders der Schweißvorrichtung befestigt. Alternativ kann die zumindest eine Kameravorrichtung vor dem Schweißen mit dem Schweißhelm integral gebildet sein.In a further preferred embodiment, the at least one camera device is attached to a welding helmet of a user of the welding device before the welding. Alternatively, the at least one camera device can be formed integrally with the welding helmet prior to welding.

Besonders vorteilhaft ist es, wenn bei der ersten Bildverarbeitung zumindest eine signifikante Stelle der Schweißvorrichtung und zumindest eine signifikante Stelle des Objektes erkannt werden. Dabei wird eine Verschiebung der signifikanten Stellen, insbesondere in Pixeleinheiten, über eine Mehrzahl von Bildaufnahmen der Schweißvorrichtung und des Objektes erfasst. Mittels der Verschiebung der signifikanten Stellen der Schweißvorrichtung und des Objektes wird eine Lage und/oder Ausrichtung und/oder Geschwindigkeit der Schweißvorrichtung auf oder entlang der Schweißtrajektorie ermittelt. Dabei kann die Lage und/oder Ausrichtung und/oder Geschwindigkeit der Schweißvorrichtung insbesondere relativ zum Objekt unabhängig von einer Bewegung des Schweißhelms ermittelt werden. Dies bietet den Vorteil, dass der Schweißvorgang besonders genau und einfach überwacht werden kann.It is particularly advantageous if at least one significant point on the welding device and at least one significant point on the object are recognized during the first image processing. In this case, a shift in the significant points, in particular in pixel units, is detected via a plurality of images of the welding device and the object. A position and/or alignment and/or speed of the welding device on or along the welding trajectory is determined by shifting the significant points of the welding device and the object. The position and/or orientation and/or speed of the welding device can be determined, in particular relative to the object, independently of a movement of the welding helmet. This offers the advantage that the welding process can be monitored particularly precisely and easily.

Vorteilhafterweise wird mittels der ersten Bildverarbeitung und der zweiten Bildverarbeitung ein zeitlicher Verlauf einer Temperaturänderung an der zumindest einen geschweißten Stelle mittels der erfassten Lage und/oder Ausrichtung und/oder Geschwindigkeit der Schweißvorrichtung und der erfassten Temperaturen der geschweißten Stelle ermittelt. Dadurch ist es möglich, das Abkühlverhalten des geschweißten Objekts zu überwachen, wodurch eine besonders genaue und zuverlässige Schweißüberwachung gewährleistet werden kann.Advantageously, the first image processing and the second image processing determine a temperature change over time at the at least one welded point using the detected position and/or orientation and/or speed of the welding device and the detected temperatures of the welded point. This makes it possible to monitor the cooling behavior of the welded object, as a result of which particularly accurate and reliable welding monitoring can be ensured.

Dabei können vorteilhafterweise, bei der zweiten Bildverarbeitung, Temperaturen von zumindest zwei geschweißten Stellen erkannt und ein Abstand entlang der Schweißtrajektorie zwischen den geschweißten Stellen, insbesondere in Pixeleinheiten, erfasst werden. Dabei wird mittels einer bei der ersten Bildverarbeitung erfassten Geschwindigkeit der Schweißvorrichtung entlang der Schweißtrajektorie, insbesondere in Pixeleinheiten pro Sekunde, der zeitliche Verlauf zwischen einem Erreichen der Temperaturen der geschweißten Stellen ermittelt. Mit anderen Worten wird mittels der erfassten Geschwindigkeit der Schweißvorrichtung und dem erfassten Abstand zwischen zwei geschweißten Stellen ein zeitlicher Temperaturverlauf der zwei geschweißten Stellen erkannt und ermittelt. Hierdurch ist es möglich, das Abkühlverhalten an zumindest zwei geschweißten Stellen des Objektes besonders genau und einfach zu ermitteln.Advantageously, during the second image processing, temperatures of at least two welded points can be recognized and a distance along the welding trajectory between the welded points can be recorded, in particular in pixel units. The time profile between reaching the temperatures of the welded points is determined by means of a speed of the welding device along the welding trajectory recorded during the first image processing, in particular in pixel units per second. In other words, a temperature profile over time of the two welded points is recognized and determined by means of the recorded speed of the welding device and the recorded distance between two welded points. This makes it possible to determine the cooling behavior in at least two welded locations of the object in a particularly precise and simple manner.

Vorteilhafterweise ist zumindest eine Kameravorrichtung ein Pyrometer, insbesondere ein Zwei-Farben-Pyrometer. Das Pyrometer nimmt Pyrometrieaufnahmen auf, wobei insbesondere die erste Bildverarbeitung und/oder die zweite Bildverarbeitung an den Pyrometrieaufnahmen durchgeführt werden. Das Zwei-Farben-Pyrometer nimmt entsprechend Zwei-Farben-Pyrometrieaufnahmen auf. Mit anderen Worten ist das Pyrometer, insbesondere das Zwei-Farben-Pyrometer, als bildgebendes Pyrometer ausgestaltet. Zwei-Farben-Pyrometrie bietet hierbei den Vorteil, dass eine Oberflächentemperatur des Objektes ohne genaue Kenntnisse über dessen Emissivitätswerte erfasst werden kann.At least one camera device is advantageously a pyrometer, in particular a two-color pyrometer. The pyrometer records pyrometry recordings, with the first image processing and/or the second image processing being carried out on the pyrometry recordings. The two-color pyrometer takes corresponding two-color pyrometry recordings. In other words, the pyrometer, in particular the two-color pyrometer, is designed as an imaging pyrometer. Two-color pyrometry offers the advantage here that a surface temperature of the object can be recorded without precise knowledge of its emissivity values.

Weiter vorteilhaft ist es, wenn mit zumindest zwei Kameravorrichtungen Bildaufnahmen durchgeführt werden. Dabei nimmt eine erste Kameravorrichtung Wärmebildaufnahmen, insbesondere Pyrometrieaufnahmen, auf. Eine zweite Kameravorrichtung nimmt dabei Bildaufnahmen im sichtbaren Spektralbereich auf. Dabei wird die erste Bildverarbeitung insbesondere an den Aufnahmen im sichtbaren Spektralbereich und die zweite Bildverarbeitung insbesondere an den Wärmebildaufnahmen durchgeführt. Dies bietet den Vorteil, dass ein besonders einfacher Aufbau für die Schweißüberwachung und eine besonders effiziente und einfache Bildverarbeitung (erste und zweite Bildverarbeitung) eingesetzt werden, um ein einfaches und genaues Schweißüberwachungsverfahren bereitzustellen.It is also advantageous if images are recorded with at least two camera devices. A first camera device takes thermal images, in particular pyrometry images. A second camera device records images in the visible spectral range. In this case, the first image processing is carried out in particular on the recordings in the visible spectral range and the second image processing is carried out in particular on the thermal images. This offers the advantage that a particularly simple structure for the weld monitoring and a particularly efficient and simple image processing (first and second image processing) are used to provide a simple and accurate weld monitoring method.

Die Erfindung betrifft außerdem eine Schweißüberwachungsvorrichtung zur Überwachung eines Schweißvorgangs an einem Objekt entlang einer Schweißtrajektorie. Dabei weist die Schweißüberwachungsvorrichtung zumindest eine an einer Schweißvorrichtung oder an einem Schweißhelm befestigbare Kameravorrichtung auf. Die Schweißüberwachungsvorrichtung ist außerdem eingerichtet, mittels Bildverarbeitung aus zumindest einer Bildaufnahme der jeweiligen zumindest einen Kameravorrichtung eine Temperatur des Objektes, insbesondere von geschweißten Stellen der Schweißtrajektorie, zu ermitteln. Des Weiteren ist die Schweißüberwachungsvorrichtung eingerichtet, mittels Bildverarbeitung aus zumindest einer Bildaufnahme der jeweiligen zumindest einen Kameravorrichtung eine Lage und/oder Geschwindigkeit der Schweißvorrichtung entlang der Schweißtrajektorie und/oder eine Ausrichtung der Schweißvorrichtung relativ zum Objekt zu erfassen oder zu ermitteln. Mit anderen Worten ist die Schweißüberwachungsvorrichtung eingerichtet, mittels Bildverarbeitung die Temperatur und die Lage und/oder Geschwindigkeit und/oder Ausrichtung der Schweißvorrichtung entlang der Schweißtrajektorie oder relativ zum Objekt zu erfassen oder zu ermitteln. Dadurch, dass die Schweißüberwachungsvorrichtung die Lage und/oder Geschwindigkeit und/oder die Ausrichtung der Schweißvorrichtung und eine Temperatur des Objekts mittels Bildverarbeitung ermitteln kann, muss ein Verwender der Schweißvorrichtung beispielsweise nicht manuell eine Schweißstrecke ermitteln. Mit anderen Worten können hierbei besonders einfach und genau der Schweißvorgang und insbesondere ein Abkühlverhalten des Objektes überwacht werden.The invention also relates to a welding monitoring device for monitoring a welding process on an object along a welding trajectory. The welding monitoring device has at least one camera device that can be attached to a welding device or to a welding helmet. The welding monitoring device is also set up to determine a temperature of the object, in particular of welded points of the welding trajectory, by means of image processing from at least one image recorded by the respective at least one camera device. Furthermore, the welding monitoring device is set up to use image processing to detect or determine a position and/or speed of the welding device along the welding trajectory and/or an orientation of the welding device relative to the object from at least one image recorded by the respective at least one camera device. In other words, the sweat monitor set up direction, using image processing to detect or determine the temperature and the position and / or speed and / or orientation of the welding device along the welding trajectory or relative to the object. Because the welding monitoring device can determine the position and/or speed and/or the orientation of the welding device and a temperature of the object using image processing, a user of the welding device does not have to manually determine a welding section, for example. In other words, the welding process and in particular the cooling behavior of the object can be monitored particularly easily and precisely.

In einer vorteilhaften Ausgestaltung der Schweißüberwachungsvorrichtung ist zumindest eine Kameravorrichtung eine Wärmebildkamera oder ein Pyrometer, insbesondere ein Zwei-Farben-Pyrometer. Die Schweißüberwachungsvorrichtung ist dabei eingerichtet, mittels Bildverarbeitung einer Wärmebildaufnahme der Kameravorrichtung die Temperatur des Objektes, insbesondere der zumindest einen geschweißten Stelle, zu ermitteln. Die Schweißüberwachungsvorrichtung kann außerdem die Temperatur des Objektes aus den (Zwei-Farben-) Pyrometrieaufnahmen des (Zwei-Farben-) Pyrometers auslesen oder mittels Bildverarbeitung erfassen.In an advantageous embodiment of the welding monitoring device, at least one camera device is a thermal imaging camera or a pyrometer, in particular a two-color pyrometer. The welding monitoring device is set up to determine the temperature of the object, in particular the at least one welded point, by image processing of a thermal image recorded by the camera device. The sweat monitoring device can also read the temperature of the object from the (two-color) pyrometry images of the (two-color) pyrometer or acquire it by means of image processing.

Weiter vorteilhaft ist es, wenn zumindest eine Kameravorrichtung eine Kamera für sichtbares Licht ist, wobei die Kamera für sichtbares Licht und die Wärmebildkamera oder das Pyrometer zumindest teilweise, insbesondere vollständig, überlappende und/oder übereinstimmende Sichtfelder auf der Schweißtrajektorie aufweisen. Dabei ist die Schweißüberwachungsvorrichtung eingerichtet, die Lage und/oder Ausrichtung und/oder Geschwindigkeit der Schweißvorrichtung mittels Bildverarbeitung an Bildaufnahmen der Kamera für sichtbares Licht zu erfassen oder zu ermitteln. Dadurch, dass die Wärmebildkamera oder das Pyrometer und die Kamera für sichtbares Licht zumindest teilweise überlappende und/oder übereinstimmende Sichtfelder auf der Schweißtrajektorie aufweisen, können besonders vorteilhaft und einfach die Aufnahmen im sichtbaren Bereich und die Temperaturaufnahmen miteinander korreliert werden.It is further advantageous if at least one camera device is a camera for visible light, the camera for visible light and the thermal imaging camera or the pyrometer having at least partially, in particular completely, overlapping and/or matching fields of view on the welding trajectory. In this case, the welding monitoring device is set up to detect or determine the position and/or orientation and/or speed of the welding device by means of image processing of images recorded by the camera for visible light. Because the thermal imaging camera or the pyrometer and the camera for visible light have at least partially overlapping and/or matching fields of view on the welding trajectory, the recordings in the visible range and the temperature recordings can be correlated with one another in a particularly advantageous and simple manner.

Die Erfindung betrifft außerdem ein Schweißgerät zum Schweißen eines Objektes. Das Schweißgerät weist dabei eine Schweißvorrichtung und eine Schweißüberwachungsvorrichtung gemäß einem der vorstehend erläuterten vorteilhaften Ausführungsformen auf.The invention also relates to a welding device for welding an object. The welding device has a welding device and a welding monitoring device according to one of the advantageous embodiments explained above.

Die vorgenannte Schweißüberwachungsvorrichtung ist insbesondere eingerichtet, das Schweißüberwachungsverfahren gemäß den vorstehend erläuterten besonderen Ausgestaltungen durchzuführen.The aforementioned welding monitoring device is set up in particular to carry out the welding monitoring method in accordance with the special configurations explained above.

Weitere Einzelheiten, Vorteile und Merkmale der vorliegenden Erfindung ergeben sich aus nachfolgender Beschreibung von Ausführungsbeispielen anhand der Zeichnung. Es zeigt:

1 eine perspektivische Ansicht einer Schweißüberwachungsvorrichtung gemäß einer ersten Ausführungsform der Schweißüberwachungsvorrichtung der vorliegenden Erfindung,
2 ein Blockdiagramm eines Schweißüberwachungsverfahrens gemäß einer ersten Ausführungsform des Schweißüberwachungsverfahrens der vorliegenden Erfindung,
3 ein Diagramm mit einer Wärmebildaufnahme zur Erläuterung des Schweißüberwachungsverfahrens gemäß der ersten Ausführungsform des Schweißüberwachungsverfahrens der vorliegenden Erfindung,
4 eine perspektivische Detailansicht eines zu verschweißenden Objekts zur Erläuterung des Schweißüberwachungsverfahrens gemäß der ersten Ausführungsform des Schweißüberwachungsverfahrens der vorliegenden Erfindung,
5a, 5b Diagramme zur Erläuterung eines Schweißüberwachungsverfahrens gemäß einer zweiten Ausführungsform des Schweißüberwachungsverfahrens der vorliegenden Erfindung,
6 eine Schweißüberwachungsvorrichtung gemäß einer zweiten Ausführungsform der Schweißüberwachungsvorrichtung zur Erläuterung eines Schweißüberwachungsverfahrens gemäß einer dritten Ausführungsform des Schweißüberwachungsverfahrens der vorliegenden Erfindung, und
7a, 7b Skizzen zur Erläuterung von Kameravorrichtungen einer Schweißüberwachungsvorrichtung gemäß einer dritten Ausführungsform der Schweißüberwachungsvorrichtung der vorliegenden Erfindung.

Further details, advantages and features of the present invention result from the following description of exemplary embodiments with reference to the drawing. It shows:

1 a perspective view of a sweat monitor according to a first embodiment of the sweat monitor of the present invention,
2 a block diagram of a weld monitoring method according to a first embodiment of the weld monitoring method of the present invention,
3 a diagram with a thermal imaging for explaining the welding monitoring method according to the first embodiment of the welding monitoring method of the present invention,
4 a detailed perspective view of an object to be welded for explaining the welding monitoring method according to the first embodiment of the welding monitoring method of the present invention,
5a, 5b Diagrams for explaining a sweat monitoring method according to a second embodiment of the sweat monitoring method of the present invention,
6 a sweat monitor according to a second embodiment of the sweat monitor for explaining a sweat monitor method according to a third embodiment of the sweat monitor method of the present invention, and
7a, 7b Outlines for explaining camera devices of a welding monitor according to a third embodiment of the welding monitor of the present invention.

1 zeigt eine perspektivische Ansicht einer Schweißüberwachungsvorrichtung 100 gemäß einer ersten Ausführungsform der Schweißüberwachungsvorrichtung 100 der vorliegenden Erfindung. In 1 ist beispielhaft ein Schweißvorgang an einem sogenannten „T-Stoß“ dargestellt, welcher mit einer Kehlnaht geschweißt wird. 1 12 is a perspective view of a perspiration monitor 100 according to a first embodiment of the perspiration monitor 100 of the present invention. In 1 a welding process on a so-called "T-joint" is shown as an example, which is welded with a fillet weld.

Die Schweißüberwachungsvorrichtung 100 weist eine Schweißvorrichtung 2 und zwei Kameravorrichtungen 4 auf. Dabei ist eine erste Kameravorrichtung 12 eine Wärmebildkamera 12 (durch die dargestellte Rückansicht der Kameravorrichtungen 4 in 1 nicht dargestellt). Eine zweite Kameravorrichtung 13 ist eine Kamera 13 für sichtbares Licht, beispielsweise eine VIS-Kamera. Die Kamera 13 für sichtbares Licht kann beispielsweise eine 3D-Kamera, insbesondere eine Stereokamera, sein.The welding monitoring device 100 has a welding device 2 and two camera devices 4 . There is a first camera in front direction 12 a thermal imaging camera 12 (through the illustrated rear view of the camera devices 4 in 1 not shown). A second camera device 13 is a visible light camera 13, for example a VIS camera. The camera 13 for visible light can be a 3D camera, in particular a stereo camera, for example.

Des Weiteren ist in 1 ein zu verschweißendes Objekt 1 dargestellt. Das zu verschweißende Objekt 1 wird von einem Verwender der Schweißüberwachungsvorrichtung 100 in einer Schweißrichtung 8 entlang einer Schweißtrajektorie 3 mittels der Schweißvorrichtung 2 geschweißt.Furthermore, in 1 an object 1 to be welded is shown. The object 1 to be welded is welded by a user of the welding monitoring device 100 in a welding direction 8 along a welding trajectory 3 by means of the welding device 2 .

Die Kameravorrichtungen 4 sind an der Schweißvorrichtung 2 montiert beziehungsweise an dieser befestigt. Die Befestigung der Kameravorrichtungen 4 an der Schweißvorrichtung 2 kann lösbar ausgestaltet sein. Des Weiteren können die Kameravorrichtungen 4 insbesondere an einer beliebigen Stelle, auch beispielsweise an einer Spitze, der Schweißvorrichtung 2 von einem Verwender der Schweißvorrichtung 2 befestigt werden. Insbesondere können die Kameravorrichtung 4 integral mit der Schweißvorrichtung 2 gebildet sein.The camera devices 4 are mounted or attached to the welding device 2 . The camera devices 4 can be attached to the welding device 2 in a detachable manner. Furthermore, the camera devices 4 can in particular be attached at any point, for example also at a tip, of the welding device 2 by a user of the welding device 2 . In particular, the camera device 4 can be formed integrally with the welding device 2 .

Die Kameravorrichtungen 4 werden derart an der Schweißvorrichtung 2 montiert beziehungsweise befestigt und ausgerichtet, dass sie ein gemeinsames Sichtfeld 11 oder Aufnahmebereich 11 aufweisen. Das Sichtfeld 11 beinhaltet insbesondere das Objekt 1. Des Weiteren sind im gemeinsamen Sichtfeld 11 die Schweißtrajektorie 3 sowie ein Schmelzbad 14 der Schweißvorrichtung 2 enthalten.The camera devices 4 are mounted or attached to the welding device 2 and aligned in such a way that they have a common field of view 11 or recording area 11 . The field of view 11 contains in particular the object 1. Furthermore, the welding trajectory 3 and a melt pool 14 of the welding device 2 are contained in the common field of view 11.

Nachfolgend wird anhand der 2 bis 4 eine erste Ausführungsformen eines Schweißüberwachungsverfahrens erläutert, welches insbesondere von der Schweißüberwachungsvorrichtung 100 durchgeführt werden.The following is based on the 2 until 4 a first embodiment of a sweat monitoring method is explained, which is carried out in particular by the sweat monitoring device 100 .

Dabei zeigt die 2 ein Blockdiagramm eines Schweißüberwachungsverfahrens gemäß einer ersten Ausführungsform des Schweißüberwachungsverfahrens der vorliegenden Erfindung. 3 zeigt ein Diagramm mit einer Wärmebildaufnahme zur Erläuterung des Schweißüberwachungsverfahrens gemäß der ersten Ausführungsform des Schweißüberwachungsverfahrens der vorliegenden Erfindung. 4 zeigt eine perspektivische Detailansicht eines zu verschweißenden Objekts 1 zur Erläuterung des Schweißüberwachungsverfahrens gemäß der ersten Ausführungsform des Schweißüberwachungsverfahrens der vorliegenden Erfindung.The 2 12 is a block diagram of a sweat monitoring method according to a first embodiment of the sweat monitoring method of the present invention. 3 Fig. 14 is a diagram showing a thermal imaging for explaining the welding monitoring method according to the first embodiment of the welding monitoring method of the present invention. 4 12 is a detailed perspective view of an object 1 to be welded for explaining the welding monitoring method according to the first embodiment of the welding monitoring method of the present invention.

In der 2 sind die Verfahrensschritte S1 - S4 des Schweißüberwachungsverfahrens dargestellt. Im Schritt S1 wird das Objekt 1 entlang der Schweißtrajektorie 3 mit der Schweißvorrichtung 1 geschweißt.In the 2 the method steps S1 - S4 of the welding monitoring method are shown. In step S1 the object 1 is welded with the welding device 1 along the welding trajectory 3 .

Im Schritt S2 wird mit den Kameravorrichtungen 4, 12, 13 jeweils eine Mehrzahl von Bildern, insbesondere ein Video, des Objektes aufgenommen. Dabei wird die Schweißtrajektorie 3 fotografiert, insbesondere gefilmt.In step S2, the camera devices 4, 12, 13 take a plurality of images, in particular a video, of the object. The welding trajectory 3 is photographed, in particular filmed.

Im Schritt S3 wird eine zeitabhängige Lage der Schweißvorrichtung 2 entlang der Schweißtrajektorie 3 mittels einer ersten Bildverarbeitung der vorgenannten Bildaufnahmen des Objektes 1 bestimmt. In der vorliegenden ersten Ausführungsform wird die erste Bildverarbeitung an den Aufnahmen der Kameravorrichtung 13 für sichtbares Licht durchgeführt.In step S3, a time-dependent position of the welding device 2 along the welding trajectory 3 is determined by means of a first image processing of the aforementioned images of the object 1. In the present first embodiment, the first image processing is performed on the images of the visible light camera device 13 .

Dabei kann außerdem die Ausrichtung der Schweißvorrichtung 2 relativ zur Schweißtrajektorie 3 bestimmt werden. Zur Bestimmung der Ausrichtung der Schweißvorrichtung 2 kann die Kameravorrichtung 4 eine 3D-Kamera, insbesondere eine Stereokamera, aufweisen. Durch eine 3D-Kamera lassen sich räumliche Informationen, auch in der Tiefe (siehe 1) relativ zur Kameravorrichtung 4 erfassen oder bestimmen. Mit einer 3D-Kamera beziehungsweise Tiefenkamera ist es außerdem möglich, einen Winkel zwischen der Schweißvorrichtung 2 und dem Objekt 1 zu erfassen, welcher ebenfalls ein vorteilhafter Parameter bei einer Analyse des Schweißvorgangs ist. Dabei kann insbesondere auch ein Winkel zwischen der Schweißvorrichtung 2 und der Schweißrichtung oder der Schweißtrajektorie 3, insbesondere entlang der oder in der Schweißrichtung 8, erfasst werden. Alternativ zu einer Stereokamera kann auch eine „coded-light“ oder „structured Light“-Kamera eingesetzt werden.The orientation of the welding device 2 relative to the welding trajectory 3 can also be determined here. To determine the orientation of the welding device 2, the camera device 4 can have a 3D camera, in particular a stereo camera. A 3D camera allows spatial information, also in depth (see 1 ) relative to the camera device 4 detect or determine. With a 3D camera or depth camera, it is also possible to record an angle between the welding device 2 and the object 1, which is also an advantageous parameter when analyzing the welding process. In particular, an angle between the welding device 2 and the welding direction or the welding trajectory 3, in particular along or in the welding direction 8, can also be detected. As an alternative to a stereo camera, a “coded light” or “structured light” camera can also be used.

Der Schritt S3 wird anhand der 4 näher erläutert.Step S3 is based on the 4 explained in more detail.

Wie aus 4 zu entnehmen ist, werden bei den Schweißüberwachungsverfahren gemäß der vorliegenden Ausführungsform signifikante Stellen 5 auf der Oberfläche des Objektes 1 mittels der ersten Bildverarbeitung erkannt. Diese signifikanten Stellen 5 können beispielsweise Oberflächenstrukturen des Objektes 1, insbesondere Oberflächenstrukturen auf der Schweißtrajektorie 3 beziehungsweise der Schweißnaht 3, sein. Diese können beispielsweise durch eine von vorneherein vorhandene Oberflächenbeschaffenheit des Objektes 1 gegeben sein. Alternativ können die signifikanten Stellen 5 Markierungen sein, welche vor dem Schweißen an dem Objekt 1 angebracht werden. Solche Markierungen können gezeichnet oder beispielsweise geätzt, geschnitten oder auf sonstige Weise eingearbeitet oder durch eine Leuchtquelle auf die Oberfläche des Objektes 1 projiziert sein.How out 4 As can be seen, in the welding monitoring method according to the present embodiment, significant points 5 on the surface of the object 1 are recognized by means of the first image processing. These significant points 5 can be, for example, surface structures of the object 1, in particular surface structures on the welding trajectory 3 or the weld seam 3. These can be given, for example, by a surface condition of the object 1 that is present from the outset. Alternatively, the significant points 5 can be markings that are attached to the object 1 before welding. Such markings can be drawn or, for example, etched, cut or incorporated in some other way, or projected onto the surface of the object 1 by a light source.

Bei dem Schweißüberwachungsverfahren gemäß der vorliegenden Ausführungsform werden die signifikanten Stellen 5 mittels der ersten Bildverarbeitung erkannt. Die Erkennung der signifikanten Stellen 5 kann mittels sogenannten „optical flow“ Verfahren durchgeführt werden. Diese Verfahren können anhand der signifikanten Stellen 5 Merkmalsbasiert erfolgen. Alternativ oder zusätzlich dazu können diese Verfahren flächenbasiert erfolgen, also auf Basis verschiedener Ebenen oder Flächen des Objekts 1, erfolgen. Hierbei können beispielhaft Verfahren basierend auf Kreuzkorrelation und/oder der Lucas-Kanade-Methode eingesetzt werden.In the welding monitoring method according to the present embodiment, the significant points 5 are recognized by the first image processing. The recognition of the significant points 5 can be carried out by means of the so-called “optical flow” method. These methods can be based on the significant digits 5 characteristics. As an alternative or in addition to this, these methods can be surface-based, that is to say based on different planes or surfaces of the object 1 . Methods based on cross-correlation and/or the Lucas-Kanade method can be used here by way of example.

Daraufhin wird eine Verschiebung der signifikanten Stellen 5 über eine Mehrzahl von Bildaufnahmen oder ein zeitlicher Verlauf der Videoaufnahme erfasst. Hierbei werden die signifikanten Stellen 5 mittels der ersten Bildverarbeitung einer Bildaufnahme der Kameravorrichtung 13 für sichtbares Licht erfasst (Schritt S3). Mittels der erfassten Verschiebung der signifikanten Stellen 5 kann damit eine Lage und/oder Ausrichtung und/oder der Geschwindigkeit (zeitabhängige Lage) der Schweißvorrichtung 2 auf oder entlang der Schweißtrajektorie 3 ermittelt werden. Die Verschiebung der signifikanten Stellen 5 wird hierbei in Pixeleinheiten, also Pixelabständen, erfasst.A shift of the significant points 5 over a plurality of image recordings or a chronological sequence of the video recording is then recorded. Here, the significant digits 5 are detected by the first image processing of an image captured by the visible light camera device 13 (step S3). A position and/or alignment and/or the speed (time-dependent position) of the welding device 2 on or along the welding trajectory 3 can thus be determined by means of the detected displacement of the significant points 5 . The shift of the significant digits 5 is recorded in pixel units, ie pixel distances.

Der Schritt S4 wird anhand der 3 näher erläutert.Step S4 is based on the 3 explained in more detail.

Im Schritt S4 wird eine Temperatur des Objektes 1 an zumindest einer geschweißten Stelle 6 der Schweißtrajektorie 3 mittels einer zweiten Bildverarbeitung erfasst. Hierbei wird, wie in 3 dargestellt, mittels der zweiten Bildverarbeitung der Wärmebildaufnahme durch die Wärmebildkamera 12 eine Temperatur an den geschweißten Stellen 6 erfasst.In step S4, a temperature of the object 1 is recorded at at least one welded point 6 of the welding trajectory 3 by means of a second image processing. Here, as in 3 shown, by means of the second image processing of the thermal image recording by the thermal imaging camera 12, a temperature at the welded points 6 is detected.

Dabei zeigen die Abszisse und die Ordinate in 3 jeweils Abstände in Pixeleinheiten. Wie der 3 zu entnehmen ist, ist entlang der Schweißtrajektorie 3 ab einer geschweißten Stelle 6 (beziehungsweise des Schmelzbades 14) ein Temperaturverlauf zu erkennen. Hierbei nimmt die Temperatur des Objektes 1 in einer der Schweißrichtung 8 entgegengesetzten Richtung ab. Mittels der Wärmebildkamera 12 können also Temperaturverläufe, wie in 3 dargestellt, entlang der Schweißtrajektorie 3 aufgenommen und mittels der zweiten Bildverarbeitung erfasst werden.The abscissa and the ordinate show in 3 each distance in pixel units. Again 3 can be seen, a temperature profile can be seen along the welding trajectory 3 from a welded point 6 (or the molten pool 14). Here, the temperature of the object 1 decreases in a direction opposite to the welding direction 8 . Using the thermal imaging camera 12, temperature profiles, as in 3 shown, recorded along the welding trajectory 3 and recorded by means of the second image processing.

Beim Verschweißen von Objekten 1 ist im Allgemeinen die eingebrachte Leistung der Schweißvorrichtung 2 für eine resultierende Festigkeit einer durch das Schweißen entstehenden Fügeverbindung von hoher Bedeutung. Um die eingebrachte Leistung zu quantifizieren, wird eine Abkühlrate des geschweißten Objekts 1 beobachtet und geregelt.When objects 1 are welded, the power introduced by the welding device 2 is generally of great importance for the resulting strength of a joint connection produced by the welding. In order to quantify the power introduced, a cooling rate of the welded object 1 is observed and regulated.

Als Beispiel für eine solche einzuhaltende Abkühlrate ist die t8/5-Zeit. Diese wird häufig für Feinkornbaustähle betrachtet. In anderen Beispielen, wie etwa ferritisch-austenitische Stähle (Duplex/Super-Duplex), kann beispielsweise eine t12/8-Zeit beobachtet oder geregelt werden. Diese, im Allgemeinen, tx/y-Zeiten werden dem Verwender der Schweißüberwachungsvorrichtung 100 meist von einem Hersteller des Objekts 1 mitgeteilt beziehungsweise vorgegeben und sind dem Verwender bekannt. Dabei ist beispielsweise die t8/5-Zeit eine Zeit, in welcher eine geschweißte Stelle des Objektes 1 von 800°C auf 500°C heruntergekühlt ist. Durch die vorbestimmten Abkühlraten (im Allgemeinen tx/y-Zeiten) können dem Verwender der Schweißvorrichtung 2 einzuhaltende Schweißgeschwindigkeiten vorgegeben werden.The t8/5 time is an example of such a cooling rate to be observed. This is often considered for fine-grain structural steels. In other examples, such as ferritic-austenitic (duplex/super-duplex) steels, for example, a t12/8 time may be observed or controlled. These, in general, tx/y times are usually communicated or specified to the user of the welding monitoring device 100 by a manufacturer of the object 1 and are known to the user. Here, for example, the t8/5 time is a time in which a welded point of the object 1 is cooled down from 800°C to 500°C. Welding speeds to be maintained by the user of the welding device 2 can be specified by the predetermined cooling rates (generally tx/y times).

Wenn sich das Objekt 1 entlang der Schweißrichtung 8 derart erstreckt, dass zum Beispiel die Ränder des Objektes 1 und/oder ein Rand, beispielsweise ein Beginn, der Schweißnaht 3 in der Wärmebildaufnahme nicht zu erkennen sind, bleibt die in 3 dargestellte Wärmebildaufnahme während des Schweißens entlang der Schweißrichtung 8 über mehrere Bildaufnahmen beziehungsweise über einen zeitlichen Verlauf der Videoaufnahme im Wesentlichen konstant. Mit anderen Worten, wenn die Schweißvorrichtung 2 mit nahezu gleichbleibender Geschwindigkeit, Arbeitsabstand und Schweißleistung über die Schweißtrajektorie 3 bewegt wird, bleiben Konturlinien der Wärmebildaufnahme während des Schweißens im Wesentlichen konstant. Das bedeutet, dass alleine anhand der Wärmebildaufnahme nicht bestimmt oder erfasst werden kann, an welchem Ort sich die Schweißvorrichtung 2 auf oder an der Schweißtrajektorie 3 befindet oder wie lange das Objekt 1 an bestimmten Orten diese Temperaturen aufweist. Dies wird mittels der ersten Bildverarbeitung gelöst.If the object 1 extends along the welding direction 8 in such a way that, for example, the edges of the object 1 and/or an edge, for example a start, of the weld seam 3 cannot be seen in the thermal image, the in 3 shown thermal image recording during the welding along the welding direction 8 over several images or over a time course of the video recording is essentially constant. In other words, if the welding device 2 is moved over the welding trajectory 3 with almost constant speed, working distance and welding power, contour lines of the thermal image recording remain essentially constant during the welding. This means that the location of the welding device 2 on or on the welding trajectory 3 cannot be determined or recorded solely on the basis of the thermal image recording, or how long the object 1 has these temperatures at specific locations. This is solved by the first image processing.

Dadurch, dass die Schweißüberwachungsvorrichtung 100 gemäß dem Schweißüberwachungsverfahren der vorliegenden Ausführungsform eine Lage und/oder Ausrichtung und/oder Geschwindigkeit der Schweißvorrichtung 2 mittels der signifikanten Stellen 5 auf der Oberfläche des Objektes 1 ermitteln oder erfassen kann (Schritt S3), können die Wärmebildaufnahmen (siehe 3) der Wärmebildkamera 12 bestimmten Orten, in Pixeleinheiten, auf der Schweißtrajektorie 3 zugeordnet werden. Mittels der bei der zweiten Bildverarbeitung erfassten Temperaturen an verschiedenen geschweißten Stellen 6 und einer erfassten oder ermittelten verstrichenen Zeit zwischen dem Schweißen der geschweißten Stellen 6 kann ein Abkühlverhalten des Objektes 1 beim Schweißen erfasst oder ermittelt werden. Mit anderen Worten wird durch den Schritt S3 ermöglicht, dass die Wärmebildaufnahmen und somit die Temperaturen des Objektes 1 eindeutig Orten auf der Oberfläche des Objektes 1 zugeordnet werden können.Since the welding monitoring device 100 can determine or record a position and/or orientation and/or speed of the welding device 2 using the significant points 5 on the surface of the object 1 according to the welding monitoring method of the present embodiment (step S3), the thermal images (see 3 ) of the thermal imaging camera 12 are assigned to specific locations, in pixel units, on the welding trajectory 3. A cooling behavior of the object 1 during welding can be recorded or determined by means of the temperatures recorded in the second image processing at various welded points 6 and a recorded or determined elapsed time between the welding of the welded points 6 . With In other words, step S3 makes it possible for the thermal images and thus the temperatures of the object 1 to be unambiguously assigned to locations on the surface of the object 1 .

Nachfolgend wird eine zweite Ausführungsform des Schweißüberwachungsverfahrens anhand der 5a und 5b erläutert. Dabei zeigen die 5a und 5b Diagramme zur Erläuterung des Schweißüberwachungsverfahrens gemäß der zweiten Ausführungsform des Schweißüberwachungsverfahrens der vorliegenden Erfindung.Below is a second embodiment of the welding monitoring method based on the 5a and 5b explained. The show 5a and 5b Diagrams for explaining the sweat monitoring method according to the second embodiment of the sweat monitoring method of the present invention.

Mit Bezug auf 4 wurde beschrieben, dass die Lage und/oder Ausrichtung und/oder Geschwindigkeit der Schweißvorrichtung 2 mittels signifikanter Stellen 5 des Objektes 1 ermittelt wird/werden. Es gibt allerdings Fälle, in welchen die Kameravorrichtungen 4 mittels der ersten Bildverarbeitung keine signifikanten Stellen 5 in der Nähe oder auf der Schweißtrajektorie 3 beziehungsweise in der Nähe der Schweißnaht 3 erkennen/erfassen können. Stattdessen können dann dabei signifikante Stellen 5 erkannt/erfasst werden, welche von der Schweißtrajektorie 3 beabstandet sind (zum Beispiel oben links oder unten links in 4). Aufgrund möglicher perspektivischer Verzerrungen, verursacht durch eine vorgegebene perspektive der Kameravorrichtungen 4 auf das Objekt 1, kann die Genauigkeit der ermittelten Lage und/oder Ausrichtung und/oder Geschwindigkeit der Schweißvorrichtung 2, konkret auf oder entlang der Schweißtrajektorie 3, vermindert sein.Regarding 4 it was described that the position and/or alignment and/or speed of the welding device 2 is/are determined by means of significant points 5 of the object 1. However, there are cases in which the camera devices 4 cannot detect/capture any significant points 5 in the vicinity of or on the welding trajectory 3 or in the vicinity of the weld seam 3 by means of the first image processing. Instead, significant points 5 can then be recognized/recorded which are at a distance from the welding trajectory 3 (for example top left or bottom left in 4 ). Due to possible perspective distortions caused by a predetermined perspective of the camera devices 4 on the object 1, the accuracy of the determined position and/or orientation and/or speed of the welding device 2, specifically on or along the welding trajectory 3, can be reduced.

Abhilfe hierfür schafft die zweite Ausführungsform des Schweißüberwachungsverfahrens, dargestellt in den 5a und 5b.This is remedied by the second embodiment of the welding monitoring method, shown in FIGS 5a and 5b .

Dabei zeigt die 5a eine Bildaufnahme der Kameravorrichtung 4 im sichtbaren Spektralbereich (Kamera 13 für sichtbares Lichtspektrum). Darin sind außerdem die Schweißvorrichtung 2 und die Schweißtrajektorie 3 zu erkennen.The 5a an image recording of the camera device 4 in the visible spectral range (camera 13 for visible light spectrum). The welding device 2 and the welding trajectory 3 can also be seen therein.

Des Weiteren ist in 5a ein Gitter mit Zahlen 9 dargestellt. Gemäß der zweiten Ausführungsform des Schweißüberwachungsverfahrens werden mittels der ersten Bildverarbeitung an der sichtbaren Bildaufnahme des Objekts 1, wie in 5a dargestellt, Pixelgeschwindigkeiten 9 erfasst. Die Pixelgeschwindigkeiten 9 werden in Einheiten Pixel pro Sekunde erfasst. Die Pixelgeschwindigkeiten 9 werden über ein gesamtes „field of view“, also Sichtbereich, der Kameravorrichtung(en) 4 erfasst. Alternativ können diese auch in nur bestimmten Bereichen erfassten werden. Hierbei ist anzumerken, dass das Gitter mit Zahlen 9 nicht Bestandteil des Objekts 1 ist, sondern (beispielsweise auf einem Monitor dargestellt) auf das Objekt 1 projiziert oder mit der Darstellung desselben überlagert wird.Furthermore, in 5a a grid of numbers 9 is shown. According to the second embodiment of the welding monitoring method, the first image processing on the visible image recording of the object 1, as in 5a shown, pixel speeds 9 detected. Pixel speeds 9 are recorded in units of pixels per second. The pixel speeds 9 are recorded over an entire field of view, ie the field of view, of the camera device(s) 4 . Alternatively, these can also only be detected in certain areas. It should be noted here that the grid with numbers 9 is not part of the object 1, but (for example displayed on a monitor) is projected onto the object 1 or is superimposed with the display of the same.

Das in 5a dargestellte Objekt ist ein beispielhafter sogenannter „T-Stoß“, also eine obere Platte 30, welche im Wesentlichen senkrecht auf einer zweiten Platte 31 angeordnet ist. Die obere Platte 30 bildet dabei eine erste Ebene 30 und die untere Platte 31 bildet eine zweite Ebene 31.This in 5a The object shown is an example of what is known as a “T-joint”, ie an upper plate 30 which is arranged essentially perpendicularly on a second plate 31 . The upper plate 30 forms a first level 30 and the lower plate 31 forms a second level 31.

Wie des Weiteren in 5b dargestellt, können sich, je nach geometrischer Anordnung der Fügepartner ein oder mehrere Geschwindigkeitsebenen, in 5b zwei Ebenen 30, 31 (erste Ebene 30 und zweite Ebene 31), bei der vorgenannten ersten Bildverarbeitung ergeben. Diese Geschwindigkeitsebenen sind Ebenen 30, 31, bei welchen aufgrund einer perspektivischen Verzerrung (Kameravorrichtungen 4 gerichtet auf beide Ebenen 30, 31) verschiedene Pixelgeschwindigkeiten (beispielsweise mittels „optical flow“ Verfahren) ermittelt werden. Grundsätzlich werden dabei höhere Pixelgeschwindigkeiten in der zweiten Ebene 31 erfasst, da diese in dieser beispielhaften Ausführung näher zur Kameravorrichtung(en) 4 ist, obwohl (in Realität) beide Ebenen 30, 31 von der Schweißvorrichtung 2 mit der gleichen Geschwindigkeit abgefahren werden. Die Zahlen 9 in 5a bilden die Punkte 9 der beiden Ebenen 30, 31 in 5b und umgekehrt.As further in 5b shown, depending on the geometric arrangement of the joining partners, one or more speed levels can occur in 5b two levels 30, 31 (first level 30 and second level 31) result in the aforesaid first image processing. These speed levels are levels 30, 31 in which different pixel speeds are determined (for example by means of an “optical flow” method) due to a perspective distortion (camera devices 4 aimed at both levels 30, 31). Basically, higher pixel speeds are recorded in the second plane 31, since this is closer to the camera device(s) 4 in this exemplary embodiment, although (in reality) both planes 30, 31 are traversed by the welding device 2 at the same speed. The numbers 9 in 5a form the points 9 of the two planes 30, 31 in 5b and vice versa.

Wie vorstehend kurz erläutert, kann mithilfe dieser Ausführungsform eine Geschwindigkeit der Schweißvorrichtung 2 entlang der Schweißtrajektorie 3 erfasst werden, auch wenn in dessen unmittelbarer Nähe keine signifikanten Stellen 5 erkennbar sind. Dies wird wie nachfolgend beschrieben bewerkstelligt.As briefly explained above, a speed of the welding device 2 along the welding trajectory 3 can be detected with the aid of this specific embodiment, even if no significant points 5 are recognizable in its immediate vicinity. This is accomplished as described below.

Eine Geschwindigkeit der Schweißvorrichtung 2 kann entlang der Schweißtrajektorie 3 (zwischen den beiden dargestellten Geschwindigkeitsebenen) mithilfe der erfassten oder ermittelten Pixelgeschwindigkeiten einer oder beider Ebenen 30, 31 berechnet werden.A speed of the welding device 2 can be calculated along the welding trajectory 3 (between the two speed levels shown) using the detected or determined pixel speeds of one or both levels 30, 31.

Dabei werden, in diesem Beispiel, Ebenengleichungen aufgestellt, welche die Ebenen 30, 31 charakterisieren. Diese Ebenengleichungen werden, wie auch die Einheiten in 5b, im sogenannten „Pixelgeschwindigkeits-Raum“ aufgestellt. Die Pixelgeschwindigkeit entlang der Schweißtrajektorie 3 kann dann anhand einer Ermittlung einer Schnittgeraden zwischen diesen Ebenen 30, 31 erfasst werden. Mit anderen Worten werden die Ebenen 30, 31 extrapoliert und ihre Schnittpunkte berechnet, woraus die Pixelgeschwindigkeit entlang der Schweißtrajektorie 3 resultiert. Es wird somit angenommen, dass sich die Schweißtrajektorie 3 auf der Schnittgeraden der (extrapolierten) Ebenen 30, 31 befindet oder dieser entspricht.In this example, level equations are set up which characterize the levels 30, 31. These plane equations, like the units in 5b , set up in the so-called “pixel speed space”. The pixel speed along the welding trajectory 3 can then be detected by determining a straight line of intersection between these planes 30, 31. In other words, the planes 30, 31 are extrapolated and their points of intersection are calculated, from which the pixel speed along the welding trajectory 3 results. It is thus assumed that the welding trajectory 3 is on the line of intersection of the (extrapolated) planes 30, 31 or corresponds to it.

Ist das Objekt 1 beispielsweise zumindest teilweise zylinderförmig, können anstelle der vorgenannten Ebenengleichungen auch Zylindergleichungen verwendet werden. Dieses Verfahren kann in ähnlicher Weise auch für beliebige Polygone, insbesondere dreidimensionale Polygone, verwendet werden.If the object 1 is at least partially cylindrical, for example, instead of the specified called plane equations, cylinder equations can also be used. This method can also be used in a similar way for any polygons, in particular three-dimensional polygons.

Dabei kann insbesondere auch nur eine Ebene 30, 31 vorhanden sein. Dies ist zum Beispiel beim Schweißen eines Stumpfstoßes der Fall, bei denen die Fügepartner in einer Ebene liegen. In diesem Fall kann eine Schweißfuge (also eine Berührungslinie der zwei Fügepartner) oder die Schweißnaht 3 beispielsweise durch Kanten- beziehungsweise Liniendetektionsalgorithmen (z.B. Hough Line Transform) detektiert werden.In this case, in particular, only one level 30, 31 can be present. This is the case, for example, when welding a butt joint where the joining partners are in one plane. In this case, a weld joint (i.e. a line of contact between the two joining partners) or the weld seam 3 can be detected, for example, by edge or line detection algorithms (e.g. Hough Line Transform).

Des Weiteren kann zusätzlich oder alternativ dazu die Lage der Schweißnaht 3 anhand der Wärmebildaufnahmen bestimmt beziehungsweise ermittelt werden.Furthermore, in addition or as an alternative to this, the position of the weld seam 3 can be determined or ascertained using the thermal images.

Eine Erkennung der Form des Objektes 1 (beispielsweise ob zylinderförmig oder flachebenenförmig) kann anhand der erfassten Geschwindigkeitsebenen erfolgen. Ist das Objekt 1 beispielsweise zylinderförmig, so nehmen die Pixelgeschwindigkeiten gleichförmig in Richtung der Ränder des Zylinders ab oder zu (aufgrund perspektivischer Verzerrung durch die Perspektive der Kameravorrichtung(en) 4). Hieraus können, insbesondere bei der ersten Bildverarbeitung, auch die Form des Objektes 1 erkannt werden und beispielsweise die zutreffenden Gleichungen ermittelt und angewandt werden.The shape of the object 1 (for example, whether it is cylindrical or flat) can be identified on the basis of the detected speed levels. For example, if the object 1 is cylindrical, the pixel speeds decrease or increase uniformly towards the edges of the cylinder (due to perspective distortion from the perspective of the camera device(s) 4). From this, in particular in the first image processing, the shape of the object 1 can also be recognized and, for example, the applicable equations can be determined and applied.

Damit ist es möglich, die Pixelgeschwindigkeit auf den relevanten Stellen auf der Schweißnaht 3 (Ort der Temperaturmessungen) zu extrapolieren / berechnen.This makes it possible to extrapolate/calculate the pixel speed on the relevant locations on weld 3 (location of temperature measurements).

Des Weiteren kann bei dem Schweißüberwachungsverfahren gemäß der vorliegenden Ausführungsform ein Pixelabstand zwischen zwei bei der zweiten Bildverarbeitung erfassten Temperaturen in der Wärmebildaufnahme (siehe 3) bestimmt werden. Beispielsweise kann hierbei, insbesondere in Pixeleinheiten, ein Abstand zwischen einer Temperatur von 800 °C und einer Temperatur von 500°C bestimmt werden. Mittels der bei der ersten Bildverarbeitung ermittelten Pixelgeschwindigkeit der Schweißvorrichtung 2 (siehe 5a und 5b) kann dann das Abkühlverhalten des Objektes 1, insbesondere geschweißter Stellen 6 des Objektes 1, erfasst werden. Dabei wird der in der zweiten Bildverarbeitung ermittelte Pixelabstand (Einheit Länge) zwischen den beiden Temperaturstellen (beispielsweise 800° C und 500° C) durch die Pixelgeschwindigkeit (Einheit Länge pro Sekunde) geteilt (Pixelabstand ÷ Pixelgeschwindigkeit = verstrichene Zeit).Furthermore, in the welding monitoring method according to the present embodiment, a pixel pitch between two temperatures detected in the second image processing in the thermal imaging (see 3 ) are determined. For example, a distance between a temperature of 800° C. and a temperature of 500° C. can be determined here, in particular in pixel units. Using the pixel speed of the welding device 2 determined during the first image processing (see 5a and 5b ) the cooling behavior of the object 1, in particular welded points 6 of the object 1, can then be recorded. The pixel distance (length unit) determined in the second image processing between the two temperature points (e.g. 800° C and 500° C) is divided by the pixel speed (length unit per second) (pixel distance ÷ pixel speed = elapsed time).

Dabei können die Pixelgeschwindigkeiten des Objektes 1 bei der ersten Bildverarbeitung ebenfalls mittels der erkannten signifikanten Stellen 5 erfasst werden.The pixel speeds of the object 1 can also be recorded in the first image processing using the recognized significant points 5 .

Nachfolgend wird eine zweite Ausführungsform der Schweißüberwachungsvorrichtung 100 anhand der 6 erläutert. Des Weiteren wird nachfolgend eine dritte Ausführungsform des Schweißüberwachungsverfahrens erläutert. Dabei zeigt 6 eine Schweißüberwachungsvorrichtung 100 gemäß einer zweiten Ausführungsform der Schweißüberwachungsvorrichtung 100 zur Erläuterung eines Schweißüberwachungsverfahrens gemäß einer dritten Ausführungsform des Schweißüberwachungsverfahrens der vorliegenden Erfindung.A second embodiment of the sweat monitoring device 100 is described below with reference to FIG 6 explained. Furthermore, a third embodiment of the welding monitoring method is explained below. while showing 6 a sweat monitoring device 100 according to a second embodiment of the sweat monitoring device 100 for explaining a sweat monitoring method according to a third embodiment of the sweat monitoring method of the present invention.

Wie der 6 zu entnehmen ist, sind die Kameravorrichtungen 4 beziehungsweise die Wärmebildkamera 12 und die Kamera 13 für sichtbares Licht an einem Schweißhelm 7 montiert.Again 6 As can be seen, the camera devices 4 or the thermal imaging camera 12 and the visible light camera 13 are mounted on a welding helmet 7 .

Grundsätzlich kann das Schweißüberwachungsverfahren mit dieser Schweißüberwachungsvorrichtung 100 in gleicher Weise wie das vorgenannte Schweißüberwachungsverfahren gemäß den ersten beiden Ausführungsformen des Schweißüberwachungsverfahrens mittels der Schweißüberwachungsvorrichtung 100 der ersten Ausführungsform der vorliegenden Erfindung durchgeführt werden.Basically, the welding monitoring method can be performed with this welding monitoring device 100 in the same way as the aforementioned welding monitoring method according to the first two embodiments of the welding monitoring method using the welding monitoring device 100 of the first embodiment of the present invention.

In der vorliegenden dritten Ausführungsform des Schweißüberwachungsverfahrens wird, zusätzlich zur zumindest einen signifikanten Stelle 5 des Objektes 1, mittels der ersten Bildverarbeitung hierbei zumindest eine signifikante Stelle 15 auf der Oberfläche der Schweißvorrichtung 2 erkannt. Hierbei können die signifikanten Stellen 15 der Schweißvorrichtung 2 ebenfalls Oberflächenstrukturen und/oder Markierungen sein. Alternativ oder zusätzlich dazu kann die zumindest eine signifikante Stelle 15 der Schweißvorrichtung 2 ein QR-Code sein.In the present third embodiment of the welding monitoring method, in addition to the at least one significant point 5 of the object 1, at least one significant point 15 on the surface of the welding device 2 is recognized by means of the first image processing. Here, the significant points 15 of the welding device 2 can also be surface structures and/or markings. Alternatively or additionally, the at least one significant digit 15 of the welding device 2 can be a QR code.

Hierdurch kann bei den Schweißüberwachungsverfahren gemäß der vorliegenden Ausführungsform zusätzlich eine Geschwindigkeit der Schweißvorrichtung 2 mittels der ersten Bildverarbeitung und den signifikanten Stellen 15 ermittelt werden. Daraufhin wird, mittels der signifikanten Stellen 5 des Objekts 1, eine Relativbewegung der Schweißvorrichtung 2 zum Objekt 1 entlang oder auf der Schweißtrajektorie 3 ermittelt beziehungsweise erfasst. Da hierdurch eine Relativbewegung der Schweißvorrichtung 2 zum Objekt 1 ermittelt beziehungsweise erfasst werden kann, kann eine mögliche Bewegung des Verwenders, insbesondere eine Bewegung des Schweißhelms 7, relativ zur Schweißvorrichtung 2 außer Betracht gelassen werden beziehungsweise ermittelt und/oder herausgerechnet werden. Mit anderen Worten kann die Relativbewegung der Schweißvorrichtung 2 zum Objekt 1 unabhängig von einer möglichen Bewegung des Schweißhelms 7 ermittelt werden.In this way, with the welding monitoring method according to the present embodiment, a speed of the welding device 2 can also be determined by means of the first image processing and the significant points 15 . A relative movement of the welding device 2 to the object 1 along or on the welding trajectory 3 is then determined or recorded using the significant points 5 of the object 1 . Since a relative movement of the welding device 2 to the object 1 can be determined or detected in this way, a possible movement of the user, in particular a movement of the welding helmet 7, relative to the welding device 2 can be disregarded or determined and/or calculated the. In other words, the movement of the welding device 2 relative to the object 1 can be determined independently of a possible movement of the welding helmet 7 .

Nachfolgend wird eine dritte Ausführungsform der Schweißüberwachungsvorrichtung anhand der 7a und 7b erläutert. Dabei zeigen die 7a und 7b jeweils Skizzen zur Erläuterung von Kameravorrichtungen 4 einer Schweißüberwachungsvorrichtung 100 gemäß einer dritten Ausführungsform der Schweißüberwachungsvorrichtung 100 der vorliegenden Erfindung.Below is a third embodiment of the sweat monitoring device based on the 7a and 7b explained. The show 7a and 7b 12 are sketches for explaining camera devices 4 of a welding monitoring device 100 according to a third embodiment of the welding monitoring device 100 of the present invention, respectively.

Hierbei zeigen die 7a und 7b jeweils ein Ausführungsbeispiel eines Zwei-Farben-Pyrometers 4. Im Gegensatz zu Wärmebildkameras 12 haben Zwei-Farben-Pyrometer 4 den Vorteil, dass sie eine Oberflächentemperatur des Objekts 1 erfassen können, ohne dabei Emissivitätswerte der Oberfläche zu kennen. Die Wärmebildkameras 12 erfassen nämlich strenggenommen nicht die Temperatur, sondern eine Strahlungsintensität im infraroten Spektrum, wobei die Temperatur mittels der zweiten Bildverarbeitung anhand bekannter Emissivitätswerte aus den Wärmebildaufnahmen ermittelt werden kann. Anstelle der Zwei-Farben-Pyrometer 4 können auch (einfache) Pyrometer eingesetzt werden.Here the show 7a and 7b each shows an exemplary embodiment of a two-color pyrometer 4. In contrast to thermal imaging cameras 12, two-color pyrometers 4 have the advantage that they can detect a surface temperature of the object 1 without knowing the emissivity values of the surface. Strictly speaking, the thermal imaging cameras 12 do not record the temperature, but rather a radiation intensity in the infrared spectrum, with the temperature being able to be determined by means of the second image processing using known emissivity values from the thermal image recordings. Instead of the two-color pyrometer 4, (simple) pyrometers can also be used.

Das Grundprinzip der Zwei-Farben-Pyrometrie basiert auf spektralselektiver Betrachtung der Wärmestrahlung eines Körpers durch zwei verschiedene, relativ nahe beieinanderliegende Wellenlängen. Dabei wird angenommen, dass die Emissivitäten der Oberfläche bei den beiden Wellenlängen nahezu gleich sind. Somit müssen die Emissivitätswerte nicht bekannt sein.The basic principle of two-color pyrometry is based on spectrally selective observation of the thermal radiation of a body using two different wavelengths that are relatively close together. It is assumed that the emissivities of the surface are almost the same for the two wavelengths. Thus, the emissivity values do not have to be known.

Grundsätzlich wird in beiden dargestellten Beispielen (7a und 7b) das einfallende Licht ausgehend von dem Objekt 1 durch einen Strahlteiler 16 beziehungsweise einem Spiegel-Prisma 17 geteilt. Des Weiteren weisen beide Beispiele Interferenzfilter 18, 21, 22 auf. Im Falle des Zwei-Farben-Pyrometers 4 in 7a wird eine Kamera 20, insbesondere ein CMOS-Sensor eingesetzt. Die Art von Kamera 20 hängt von den zu erfassenden Temperaturen ab. Bei einer Betrachtung der t8/5-Zeit werden vorzugsweise anstelle von CMOS-Sensoren SWIR-Sensoren („short wave infrared“) verwendet. Diese SWIR-Sensoren können eine Empfindlichkeit bis zu einer Wellenlänge von 1,7 µm aufweisen. Bei höheren Temperaturen, beispielsweise bei einer Ermittlung der t12/8-Zeit, werden bevorzugt CMOS-Sensoren verwendet.Basically, in both examples shown ( 7a and 7b ) the incident light, starting from the object 1, is divided by a beam splitter 16 or a mirror prism 17. Furthermore, both examples have interference filters 18 , 21 , 22 . In the case of the two-color pyrometer 4 in 7a a camera 20, in particular a CMOS sensor, is used. The type of camera 20 depends on the temperatures to be detected. When considering the t8/5 time, SWIR sensors (“short wave infrared”) are preferably used instead of CMOS sensors. These SWIR sensors can be sensitive down to a wavelength of 1.7 µm. At higher temperatures, for example when determining the t12/8 time, CMOS sensors are preferably used.

Im Falle des Zwei-Farben-Pyrometers 4 in 7b werden zwei Kameras 20 eingesetzt. Das in 7b dargestellte Beispiel weist zusätzlich einen Neutraldichtefilter 19 auf. In dem Zwei-Farben-Pyrometer der 7a wird das Licht von dem Objekt 1 durch ein Objektiv 23 geleitet. Daraufhin trifft das Licht auf das Spiegel-Prisma 17 und wird dort in zwei Teilstrahlen aufgeteilt, welche jeweils auf einen Spiegel 24 treffen und zum entsprechenden Interferenzfilter 21, 22 und zum CMOS-Sensor 20 geleitet werden.In the case of the two-color pyrometer 4 in 7b two cameras 20 are used. This in 7b The example shown additionally has a neutral density filter 19 . In the two-color pyrometer 7a the light from the object 1 is guided through a lens 23 . The light then hits the mirror prism 17 and is divided there into two partial beams, which each hit a mirror 24 and are guided to the corresponding interference filter 21 , 22 and to the CMOS sensor 20 .

In dem in der 7b dargestellten Beispiel wird das Licht von dem Objekt 1 durch den Strahlteiler 16 geteilt, wobei die Teilstrahlen zu den jeweiligen Kameras 20 geleitet werden.In the in the 7b In the example shown, the light from the object 1 is divided by the beam splitter 16, with the partial beams being guided to the respective cameras 20.

Aus den Bildaufnahmen oder Videoaufnahmen der Zwei-Farben-Pyrometer 4 werden Temperaturen des Objekts 1, insbesondere an geschweißten Stellen 6 dessen, mittels der zweiten Bildverarbeitung erfasst. Mittels der Pyrometrie, insbesondere der Zwei-Farben-Pyrometrie, können außerdem auch die vorgenannten Pixelverschiebungen, insbesondere der signifikanten Stellen, erfasst werden.From the images or video recordings of the two-color pyrometer 4, temperatures of the object 1, in particular at welded points 6 thereof, are recorded by means of the second image processing. The above-mentioned pixel shifts, in particular of the significant points, can also be detected by means of pyrometry, in particular two-color pyrometry.

Hierbei können außerdem beispielhaft eine Belichtungszeit des Zwei-Farben-Pyrometers angepasst werden, um die Verschiebung von signifikanten Stellen 5, 15 zu ermitteln. Dies kann mittels der VIS-Kameras und/oder der Pyrometrieaufnahmen und/oder der Wärmebildaufnahmen erfolgen.In this case, an exposure time of the two-color pyrometer can also be adjusted, for example, in order to determine the shift of significant points 5, 15. This can be done using the VIS cameras and/or the pyrometry recordings and/or the thermal imaging recordings.

Bei dieser Ausführungsform kann die Schweißüberwachungsvorrichtung 100 Leuchtquellen (nicht dargestellt) aufweisen, welche das Objekt 1, insbesondere die Schweißtrajektorie 3, homogen ausleuchten. Hierfür können die Kameravorrichtungen 4 außerdem Interferenzfilter aufweisen, welche insbesondere auf die Wellenlänge(n) der Leuchtquelle(n) abgestimmt sind. Eine Ausleuchtung des Objektes 1 durch solche Leuchtquellen kann das gesamte Sichtfeld der Kameravorrichtung(en) 4 oder nur einen Teil dessen abdecken.In this embodiment, the welding monitoring device 100 can have light sources (not shown), which illuminate the object 1, in particular the welding trajectory 3, homogeneously. For this purpose, the camera devices 4 can also have interference filters which are tuned in particular to the wavelength(s) of the light source(s). Illumination of the object 1 by such light sources can cover the entire field of view of the camera device(s) 4 or only part of it.

Dabei können die Leuchtquellen beispielsweise auch ein oder mehrere Laser sein, insbesondere eine kohärente Leuchtquelle sein. Hierdurch können zum Beispiel die signifikanten Stellen 5, 15 des Objektes 1 und/oder der Schweißvorrichtung 2 durch Laserlicht entstehende Specklemuster sein. Dabei werden die signifikanten Stellen 5, 15 durch das Laserlicht besonders gut sichtbar gemacht und/oder durch die Leuchtquellen erzeugt (beispielsweise „coded-light“ oder „structured light“ Verfahren).The light sources can also be one or more lasers, for example, in particular a coherent light source. As a result, for example, the significant points 5, 15 of the object 1 and/or the welding device 2 can be speckle patterns produced by laser light. The significant points 5, 15 are made particularly visible by the laser light and/or generated by the light sources (for example “coded light” or “structured light” methods).

Die vorgenannte erste Bildverarbeitung und die vorgenannte zweite Bildverarbeitung können mittels zumindest einer Recheneinheit, insbesondere einem Prozessor (CPU, GPU, FPGA) durchgeführt werden. Hierbei kann die Schweißüberwachungsvorrichtung 100 selber diese Recheneinheit aufweisen. Alternativ oder zusätzlich dazu kann die Schweißüberwachungsvorrichtung Daten, insbesondere die Bildaufnahmen, auf eine externe Recheneinheit wie etwa einem Mobiltelefon oder einem externen Rechner übermitteln.The aforementioned first image processing and the aforementioned second image processing can be carried out using at least one computing unit, in particular a processor (CPU, GPU, FPGA). In this case, the welding monitoring device 100 itself can have this computing unit. Alternatively or additionally, the sweat monitoring device transmit data, in particular the image recordings, to an external computing unit such as a mobile phone or an external computer.

Insbesondere kann die Schweißüberwachungsvorrichtung 100 Mittel, wie etwa Leuchten oder Vibrationsmotoren, aufweisen, welche dem Verwender eine Nicht-Einhaltung der vorgegebenen tx/y-Zeit signalisieren.In particular, the sweat monitoring device 100 can have means, such as lights or vibration motors, which signal to the user that the specified tx/y time has not been complied with.

Des Weiteren kann die Schweißüberwachungsvorrichtung 100 eine ausgegebene Leistung oder Schweißenergie der Schweißvorrichtung 2 anhand der erfassten Schweißgeschwindigkeit oder anhand der erfassten tx/y-Zeit regeln.Furthermore, the welding monitoring device 100 can regulate an output power or welding energy of the welding device 2 based on the detected welding speed or based on the detected tx/y time.

Die vorgenannten Kameravorrichtungen 4 können Objektive mit einem Fix-Fokus oder mit einem Autofokus aufweisen. Bei der Ausgestaltung mit Autofokus kann die Kameravorrichtung 4 insbesondere derart ausgestaltet sein, dass diese auf die signifikanten Stellen 5, 15 des Objekts 1 und/oder der Schweißvorrichtung 2 automatisch fokussiert.The aforementioned camera devices 4 can have lenses with a fixed focus or with an autofocus. In the configuration with autofocus, the camera device 4 can in particular be configured in such a way that it automatically focuses on the significant points 5, 15 of the object 1 and/or the welding device 2.

Die Bildaufnahmen können hierbei HDR-Bilder sein.The recorded images can be HDR images.

Die vorgenannten Verfahrensschritte S3 zur Ermittlung der Schweißgeschwindigkeit sind nicht darauf beschränkt, dass die Bildaufnahmen an der Schweißtrajektorie 3 mittels Bildverarbeitung verarbeitet wird. Vielmehr kann beispielsweise die Kamera 13 für sichtbares Licht eine beliebe Stelle des Objektes 1 aufnehmen, um daraus die Schweißgeschwindigkeit der Schweißvorrichtung 2 durch die erste Bildverarbeitung zu bestimmen. Mit anderen Worten müssen die Sichtfelder der Kameravorrichtungen 4 nicht übereinstimmen oder überlappen (beispielsweise mittels der vorgenannten Geschwindigkeitsebenen 30, 31).The aforementioned method steps S3 for determining the welding speed are not limited to the image recordings on the welding trajectory 3 being processed by means of image processing. Rather, for example, the camera 13 for visible light can record any point on the object 1 in order to determine the welding speed of the welding device 2 by the first image processing. In other words, the fields of view of the camera devices 4 do not have to match or overlap (e.g. by means of the aforementioned speed planes 30, 31).

In dem Fall, in welchem die Kameravorrichtungen 4 nicht übereinstimmende oder überlappende Sichtfelder aufweisen, kann ein bekannter, insbesondere konstanter, Abstand zwischen den Kameravorrichtungen 4 verwendet werden, um damit Pixelabstände und/oder Pixelgeschwindigkeiten zu ermitteln oder zu erfassen, beispielsweise mittels Triangulation und/oder mittels der vorgenannten Erfassungsmethode der zweiten Ausführungsform des Schweißüberwachungsverfahrens (Ebenen 30, 31). Mittels der zweiten Ausführungsform des Schweißüberwachungsverfahrens können nämlich perspektivische Verzerrungen ermittelt werden, welche Aufschluss über einen Abstand zwischen den Kameravorrichtungen 4 geben können.In the case in which the camera devices 4 do not have matching or overlapping fields of view, a known, in particular constant, distance between the camera devices 4 can be used in order to determine or record pixel distances and/or pixel speeds, for example by means of triangulation and/or by means of the aforesaid detection method of the second embodiment of the sweat monitoring method (levels 30, 31). Perspective distortions can namely be determined by means of the second embodiment of the welding monitoring method, which can provide information about a distance between the camera devices 4 .

Neben der vorstehenden schriftlichen Beschreibung der Erfindung wird zu deren ergänzender Offenbarung hiermit explizit auf die zeichnerische Darstellung der Erfindung in den 1 bis 7b Bezug genommen.In addition to the above written description of the invention, reference is hereby explicitly made to the graphic representation of the invention in FIGS 1 until 7b referenced.

BezugszeichenlisteReference List

11: Objektobject
22: Schweißvorrichtungwelding device
33: Schweißtrajektoriewelding trajectory
44: Kameravorrichtungcamera device
55: signifikante Stellesignificant digit
66: geschweißte Stellewelded spot
77: Schweißhelmwelding helmet
88th: Schweißrichtungwelding direction
99: Pixelgeschwindigkeitpixel speed
1111: Sichtfeld der Kameravorrichtungfield of view of the camera device
1212: WärmebildkameraThermal camera
1313: Kamera für sichtbares LichtVisible light camera
1414: Schmelzbadmelt pool
1515: signifikante Stellesignificant digit
1616: Strahlteilerbeam splitter
1717: Spiegel-Prismamirror prism
1818: Interferenzfilterinterference filter
1919: Neutraldichtefilterneutral density filter
2020: Kamera/CMOS-SensorCamera/CMOS sensor
2121: Interferenzfilterinterference filter
2222: Interferenzfilterinterference filter
2323: Objektivlens
2424: SpiegelMirror
3030: Ebene 1level 1
3131: Ebene 2Level 2
100100: Schweißüberwachungsvorrichtungsweat monitoring device
S1S1: Erster SchrittFirst step
S2S2: Zweiter SchrittSecond step
S3S3: Dritter SchrittThird step
S4S4: Vierter Schrittfourth step

Claims

Welding monitoring method for monitoring a welding process on an object (1), comprising the steps of: • welding (S1), with a welding device (2), an object (1) along a welding trajectory (3); • Recording (S2), with at least one camera in front direction (4), in each case at least one image recording of the object (1), at least one image recording containing the welding trajectory (3); • Detecting (S3) a position of the welding device (2), in particular a time-dependent one, along the welding trajectory (3) and/or an alignment of the welding device (2) relative to the welding trajectory (3) by means of a first image processing of the at least one image recording of the object (1st ); and • detecting or determining (S4) a, in particular time-dependent, temperature of the object (1) at at least one welded point (6) of the welding trajectory (3) by means of second image processing on the at least one image recording of the welding trajectory (3).

Weld monitoring procedures in accordance with claim 1 wherein the at least one camera device (4) is attached to the welding device (2) before welding or is formed integrally with the welding device (2) before welding.

Weld monitoring procedures in accordance with claim 2 , wherein at least one significant point (5) in the at least one image recording of the object (1) is recognized during the first image processing and a shift of the significant point (5), in particular in pixel units, is detected over a plurality of image recordings, with the detected displacement of the significant point (5) a position and / or alignment and / or speed of the welding device (2) on or along the welding trajectory (3) is determined.

Weld monitoring procedures in accordance with claim 1 wherein the at least one camera device (4) is attached to a welding helmet (7) of a user of the welding device (2) before welding or is integrally formed with the welding helmet (7) before welding.

Weld monitoring procedures in accordance with claim 4 , wherein at least one significant point (15) of the welding device (2) and at least one significant point (5) of the object (1) are recognized during the first image processing and a shift of the significant points (5, 15), in particular in pixel units, of Welding device (2) and the object (1) is detected via a plurality of images and by means of the displacement of the significant points (5, 15) of the welding device (2) and the object (1) a position and / or orientation and / or speed of the welding device (2) on or along the welding trajectory (3), in particular relative to a movement of the welding helmet (7).

Welding monitoring method according to one of the preceding claims, wherein by means of the first image processing and the second image processing a time course of a temperature change at the at least one welded point (6) by means of the detected position and/or alignment and/or speed of the welding device (2) and the detected Temperature at the welded point (6) is determined.

Weld monitoring procedures in accordance with claim 6 , wherein temperatures of at least two welded points (6) are recognized in the second image processing and a distance along the welding trajectory (3) between the welded points (6), in particular in pixel units, is recorded and wherein by means of a speed recorded in the first image processing the welding device (2) along the welding trajectory (3), in particular in pixel units per second, the time course between reaching the temperatures of the welded points (6) is determined.

Weld monitoring method according to one of the preceding claims, wherein at least one camera device (4) is a pyrometer, in particular a two-color pyrometer, and records pyrometry images and in particular the first image processing and/or the second image processing is carried out on the pyrometric images.

Welding monitoring method according to one of the preceding claims, with at least two camera devices (4, 12, 13) being used to record images, with a first camera device (12) recording thermal images, in particular pyrometry recordings, and a second camera device (13) recording images in the visible spectral range and with the first image processing is carried out in particular on the images in the visible spectral range and the second image processing is carried out in particular on the thermal images.

Welding monitoring device (100) for monitoring a welding process on an object (1) along a welding trajectory (3), comprising: • at least one camera device (4) that can be attached to a welding device (2) or to a welding helmet (7), wherein • the welding monitoring device ( 100) is set up, by image processing from at least one image recorded by the respective at least one camera device (4), a temperature of the object (1), in particular of welded points (6) of the welding trajectory (3), and by image processing from at least one image recorded by the gen at least one camera device (4) to detect or determine a position and / or speed of the welding device (2) along the welding trajectory (3) and / or an alignment of the welding device (2) relative to the object (1).

Sweat monitoring device (100) according to claim 10 , wherein at least one camera device (4) is a thermal imaging camera (12) or a pyrometer, in particular a two-color pyrometer, and the sweat monitoring device (100) is set up to record the temperature of the object (1st ), In particular the at least one welded point (6) to determine.

Sweat monitoring device (100) according to claim 11 , wherein at least one camera device (4) is a camera (13) for visible light, wherein the camera (13) for visible light and the thermal imaging camera (12) or the pyrometer have at least partially, in particular completely, overlapping and/or matching fields of view (11 ) on the welding trajectory (3) and wherein the welding monitoring device (100) is set up to detect or determine the position and/or alignment and/or speed of the welding device (2) by means of image processing of images recorded by the camera (13) for visible light .

Welding device for welding an object (1), comprising: • a welding device (2); and • a sweat monitoring device (100) according to any one of Claims 10 until 12 .