DE202018006129U1

DE202018006129U1 - Component recognition for a welding machine via a paired mobile communication device

Info

Publication number: DE202018006129U1
Application number: DE202018006129.8U
Authority: DE
Original assignee: EWM AG
Current assignee: EWM GMBH, DE
Priority date: 2018-08-30
Filing date: 2018-08-30
Publication date: 2019-12-04
Anticipated expiration: 2028-08-31

Abstract

System (2), umfassend mindestens eine Steuereinrichtung (4),
- mit einer Gerätepaarungseinheit, eingerichtet zum Erhalten einer Gerätepaarungsinformation ([ID_M, ID_S]) über die Zuordnung eines mobilen Kommunikationsgeräts (24), insbesondere eines Mobiltelefons, zu einem Schweißgerät (16, 18),
- mit einer Empfangseinheit, eingerichtet zum Empfangen von Bilddaten (54) über eine drahtlose Kommunikationsverbindung (30),
- mit einer Bildanalyseeinheit, eingerichtet zum Analysieren von der Empfangseinheit empfangener Bilddaten (54), um ein in den Bilddaten (54) sichtbares zu schweißendes Bauteil (56) zu identifizieren, und
- mit einer Schweißvorgangsdatenerhalteeinheit, eingerichtet zum Erhalten von Schweißvorgangsdaten für einen mit dem Schweißgerät (16, 18) durchzuführenden Schweißvorgang, der gemäß einem vorgegebenen Schweißplan (62) an dem identifizierten Bauteil (56) durchzuführen ist.

System (2), comprising at least one control device (4),
with a device pairing unit, set up to obtain device pairing information ([ID _M , ID _S ]) about the assignment of a mobile communication device (24), in particular a mobile phone, to a welding device (16, 18),
- With a receiving unit, configured to receive image data (54) via a wireless communication link (30),
- With an image analysis unit, configured to analyze image data (54) received by the receiving unit, in order to identify a component (56) visible in the image data (54), and
- With a welding process data acquisition unit, configured to receive welding process data for a welding process to be carried out with the welding device (16, 18), which is to be carried out on the identified component (56) according to a predetermined welding schedule (62).

Description

Die Erfindung betrifft ein Verfahren zum Erhalten von Schweißvorgangs-Daten sowie ein für dieses Verfahren verwendbares System mit mindestens einer Steuereinrichtung.The invention relates to a method for obtaining welding process data and a system which can be used for this method and has at least one control device.

Im Zuge gestiegener Anforderungen an geschweißte Bauteile, sind in der Vergangenheit verschiedene Anstrengungen unternommen worden, um die Zuverlässigkeit von Schweißverbindungen verbessern und Schweißvorgänge verbessern und überwachen zu können.In the course of increasing demands on welded components, various efforts have been made in the past to improve the reliability of welded connections and to improve and monitor welding processes.

Beispielsweise sind Schweißgeräte mit elektronischem Speicher bekannt, in denen Schweißparameter für verschiedene typische Schweißverbindungen (z.B. Stumpf-Stoß, T-Stoß etc.) bzw. für verschiedene Materialien (z.B. Stähle, Aluminium etc.) hinterlegt sind, so dass ein Bediener des Schweißgeräts diese bei Bedarf abrufen kann.For example, welding devices with electronic memory are known, in which welding parameters for different typical weld connections (e.g. butt joint, T-joint, etc.) or for different materials (eg, steel, aluminum, etc.) are stored, so that an operator of the welding device can use them can retrieve if necessary.

Beim Schweißen ergibt sich häufig die Situation, dass der Bediener Schweißvorgänge an verschiedenen Bauteilen oder auch mehrere Schweißvorgänge an einem Bauteil vorzunehmen hat, wobei die einzelnen Schweißvorgänge verschiedene Schweißparameter erfordern bzw. in einer bestimmten Reihenfolge gemäß einem sogenannten Schweißfolgeplan durchzuführen sind.When welding, the situation often arises that the operator has to carry out welding processes on different components or also several welding processes on one component, the individual welding processes requiring different welding parameters or being carried out in a specific sequence in accordance with a so-called welding sequence plan.

Um bei einer solch komplexen Aufgabe zuverlässig alle Schweißnähte in der richtigen Reihenfolge und mit den richtigen Schweißparametern durchzuführen, bedarf es seitens des Bedieners des Schweißgeräts einer hohen Sorgfalt und Erfahrung. Natürlich kann es bei einer solchen Aufgabe auch zu Fehlern kommen, so dass die Schweißverbindung bzw. das geschweißte Bauteil die vorgegebenen Anforderungen unter Umständen nicht erfüllt.In order to reliably perform all welds in the right order and with the right welding parameters for such a complex task, the operator of the welding machine requires great care and experience. Of course, such a task can also lead to errors, so that the welded joint or the welded component may not meet the specified requirements.

Aus der EP 3 296 051 A1 ist ein System bekannt, mit dem für ein zu schweißendes Bauteil ein vorgegebener Bauteil-Datensatz abgerufen werden kann, der einen Schweißfolgeplan mit Parameterwerten für mehrere an dem Bauteil vorzunehmende Schweißvorgänge enthält und die automatische Einstellung des Schweißgeräts an den jeweiligen Schweißvorgang erlaubt.From the EP 3 296 051 A1 a system is known which can be used to call up a predefined component data record for a component to be welded, which contains a welding sequence plan with parameter values for several welding operations to be carried out on the component and which allows the welding machine to be automatically set to the respective welding operation.

Bei komplexen zu schweißenden Bauteilen stellt sich dem Bediener eines Schweißgeräts häufig das Problem, die Positionen der zu erzeugenden Schweißpunkte bzw. -nähte in der richtigen Reihenfolge am Schweißgerät zu identifizieren.With complex components to be welded, the operator of a welding machine often has the problem of identifying the positions of the welding points or seams to be produced in the correct order on the welding machine.

Vor diesem Hintergrund liegt der vorliegenden Erfindung die Aufgabe zu Grunde, das Schweißen weiter zu vereinfachen und die Fehleranfälligkeit weiter zu reduzieren.Against this background, the present invention is based on the object of further simplifying welding and further reducing the susceptibility to errors.

Diese Aufgabe wird erfindungsgemäß gelöst durch ein Verfahren zum Erhalten von Schweißvorgangs-Daten, insbesondere ausgeführt durch eine Steuereinrichtung einer Vorrichtung oder eines Systems, bei dem eine Gerätepaarungsinformation über die Zuordnung eines mobilen Kommunikationsgeräts, insbesondere eines Mobiltelefons, zu einem Schweißgerät, erhalten wird, bei dem über eine drahtlose Kommunikationsverbindung mit dem mobilen Kommunikationsgerät Bilddaten empfangen werden, bei dem die empfangenen Bilddaten analysiert werden, um ein in den Bilddaten sichtbares zu schweißendes Bauteil zu identifizieren, und bei dem Schweißvorgangs-Daten für einen mit dem Schweißgerät durchzuführenden Schweißvorgang erhalten werden, wobei der Schweißvorgang gemäß einem vorgegebenen Schweißplan an dem identifizierten Bauteil durchzuführen ist.This object is achieved according to the invention by a method for obtaining welding process data, in particular carried out by a control device of a device or a system, in which device pairing information about the assignment of a mobile communication device, in particular a mobile phone, to a welding device is obtained, in which Image data are received via a wireless communication link with the mobile communication device, in which the received image data are analyzed in order to identify a component to be welded visible in the image data, and in which welding process data are obtained for a welding process to be carried out with the welding device, the Welding process is to be carried out on the identified component in accordance with a predetermined welding schedule.

Das Verfahren ermöglicht es, ein mobiles Kommunikationsgerät mit einem Schweißgerät zu paaren und auf diesem Wege von dem mobilen Kommunikationsgerät aufgenommene Bilddaten zu erhalten, um darin ein zu schweißendes Bauteil zu identifizieren und Daten eines an diesem Bauteil durchzuführenden Schweißvorgangs zu erhalten. Die automatische Erkennung des Bauteils in den Bilddaten erleichtert dem Bediener die Identifizierung des Bauteils und der zugehörigen Schweißvorgangs-Daten für einen an dem identifizierten Bauteil durchzuführenden Schweißvorgang.The method enables a mobile communication device to be paired with a welding device and in this way to receive image data recorded by the mobile communication device in order to identify a component to be welded therein and to obtain data of a welding process to be carried out on this component. The automatic recognition of the component in the image data makes it easier for the operator to identify the component and the associated welding process data for a welding process to be carried out on the identified component.

Der Schweißvorgang ist gemäß einem vorgegebenen Schweißplan an dem identifizierten Bauteil durchzuführen. Bei dem Schweißplan kann es sich beispielsweise um einen Schweißfolgeplan handeln, der mehrere an einem Bauteil durchzuführende Schweißvorgänge vorgibt, insbesondere Schweißvorgangs-Daten für mehrere an dem Bauteil in einer vorgegebenen Reihenfolge durchzuführende Schweißvorgänge umfasst. Der Schweißplan, insbesondere Schweißfolgeplan, ist vorzugsweise auf einem Speicher gespeichert, auf den eine das Verfahren ausführende Steuereinrichtung zugreifen kann, um den Schweißplan oder Informationen über einen oder mehrere an dem identifizierten Bauteil durchzuführende Schweißvorgänge zu erhalten.The welding process must be carried out on the identified component in accordance with a specified welding schedule. The welding schedule can be, for example, a welding sequence schedule that specifies several welding procedures to be carried out on a component, in particular comprises welding procedure data for multiple welding procedures to be performed on the component in a predetermined sequence. The welding plan, in particular the welding sequence plan, is preferably stored in a memory which can be accessed by a control device executing the method in order to receive the welding plan or information about one or more welding processes to be carried out on the identified component.

Die Paarung eines mobilen Kommunikationsgeräts mit dem Schweißgerät, d.h. deren Zuordnung zueinander, ermöglicht den flexiblen Einsatz von mobilen Kommunikationsgeräten zur Erfassung der Bilddaten. Vorzugsweise handelt es sich bei dem mobilen Kommunikationsgerät um ein Mobiltelefon, insbesondere um ein Smartphone, beispielsweise um das Smartphone des Bedieners des Schweißgeräts.The pairing of a mobile communication device with the welding device, i.e. their assignment to each other enables the flexible use of mobile communication devices to capture the image data. The mobile communication device is preferably a mobile phone, in particular a smartphone, for example the smartphone of the operator of the welding device.

Es wurde erkannt, dass fest im Schweißgerät verbaute oder fest damit verbundene Kameras oder Scanner zu unflexibel sind und unter den typischen Umgebungsbedingungen am Schweißort leicht verunreinigt oder beschädigt werden können. Demgegenüber sind mobile Kommunikationsgeräte wie zum Beispiel Mobiltelefone klein und handlich, so dass sie sich ohne weiteres in einer Tasche der Bekleidung verstauen und auf diese Weise schützen lassen. Zudem führen Bediener eines Schweißgeräts heutzutage häufig ohnehin ein Smartphone bei sich. Auf einem solchen Smartphone kann beispielsweise eine bestimmte Anwendung (App) installiert sein, die die Übertragung aufgenommener Bilddaten an die Steuereinrichtung, insbesondere einen Server, bewirkt.It was recognized that cameras or scanners permanently installed in the welding machine or connected to them are too inflexible and among the typical ones Ambient conditions at the welding site can easily be contaminated or damaged. In contrast, mobile communication devices such as cell phones are small and handy, so that they can easily be stowed in a pocket of clothing and protected in this way. In addition, operators of a welding machine often carry a smartphone with them anyway. A specific application (app) can be installed on such a smartphone, for example, which effects the transmission of recorded image data to the control device, in particular a server.

Die Bilddaten werden über eine drahtlose Kommunikationsverbindung mit dem mobilen Kommunikationsgerät empfangen. Unter einer drahtlosen Kommunikationsverbindung wird vorliegend eine Kommunikationsverbindung verstanden, die zumindest streckenweise drahtlos erfolgt. Die drahtlose Kommunikationsverbindung kann insbesondere eine Bluetooth- oder WLAN-Verbindung oder auch eine Mobilfunk-Datenverbindung umfassen. Im Fall einer Mobilfunk-Datenverbindung ist beispielsweise die Verbindungsstrecke zwischen dem mobilen Kommunikationsgerät und der Empfängerantenne des Mobilfunknetzes drahtlos. Die weitere Kommunikationsverbindung von der Empfängerantenne bis zur Steuereinrichtung, beispielsweise über einen Internet-Einspeisepunkt eines Mobilfunkbetreibers und einen Internetanschluss, an dem die Steuereinrichtung angeschlossen ist, kann ganz oder teilweise kabelgebunden erfolgen.The image data is received via a wireless communication link with the mobile communication device. In the present case, a wireless communication connection is understood to mean a communication connection that is wireless at least in places. The wireless communication connection can in particular comprise a Bluetooth or WLAN connection or also a mobile radio data connection. In the case of a cellular data connection, for example, the connection path between the mobile communication device and the receiver antenna of the cellular network is wireless. The further communication connection from the receiver antenna to the control device, for example via an Internet entry point of a mobile radio operator and an Internet connection to which the control device is connected, can be made wholly or partly by cable.

Die Analyse der empfangenen Bilddaten kann insbesondere mittels bildverarbeitungstechnischer Verfahren erfolgen. Eine Identifizierung des in den Bilddaten sichtbaren Bauteils kann beispielsweise eine Formerkennung oder die Erkennung eines auf dem Bauteil angebrachten und in den Bilddaten sichtbaren Codes, z.B. Barcodes, umfassen.The received image data can be analyzed in particular by means of image processing techniques. Identification of the component visible in the image data can be, for example, shape recognition or the recognition of a code attached to the component and visible in the image data, e.g. Barcodes.

Die zuvor genannte Aufgabe wird weiterhin gelöst durch ein System, umfassend mindestens eine Steuereinrichtung, mit einer Gerätepaarungseinheit, eingerichtet zum Erhalten einer Gerätepaarungsinformation über die Zuordnung eines mobilen Kommunikationsgeräts, insbesondere eines Mobiltelefons, zu einem Schweißgerät, mit einer Empfangseinheit, eingerichtet zum Empfangen von Bilddaten über eine drahtlose Kommunikationsverbindung, mit einer Bildanalyseeinheit, eingerichtet zum Analysieren von der Empfangseinheit empfangener Bilddaten, um ein in den Bilddaten sichtbares zu schweißendes Bauteil zu identifizieren, und mit einer Schweißvorgangsdatenerhalteeinheit, eingerichtet zum Erhalten von Schweißvorgangsdaten für einen mit dem Schweißgerät durchzuführenden Schweißvorgang, der gemäß einem vorgegebenen Schweißplan an dem identifizierten Bauteil durchzuführen ist.The aforementioned object is further achieved by a system comprising at least one control device, with a device pairing unit, set up to receive device pairing information about the assignment of a mobile communication device, in particular a mobile phone, to a welding device, with a receiving unit, set up for receiving image data a wireless communication link, with an image analysis unit, configured for analyzing image data received by the receiving unit, in order to identify a component to be welded visible in the image data, and with a welding process data acquisition unit, configured for obtaining welding process data for a welding process to be carried out with the welding device, according to a specified welding schedule is to be carried out on the identified component.

Das System umfasst mindestens eine Steuereinrichtung. Bei der Steuereinrichtung kann es sich beispielsweise um einen Server handeln, an den über ein Netzwerk ein oder mehrere Schweißgeräte angeschlossen sind.The system comprises at least one control device. The control device can be, for example, a server to which one or more welding devices are connected via a network.

Die Empfangseinheit kann eine Schnittstelle zu einem Netzwerk umfassen, beispielsweise zu einem lokalen Netzwerk wie zum Beispiel einem WLAN-Netzwerk, oder auch zu einem öffentlichen Netzwerk wie dem Internet. Alternativ kann die Empfangseinheit auch eine Schnittstelle zur Herstellung einer Peer-to-Peer-Verbindung zwischen dem mobilen Kommunikationsgerät und der Steuereinrichtung umfassen, beispielsweise zur Herstellung einer Bluetooth-Verbindung.The receiving unit can include an interface to a network, for example to a local network such as a WLAN network, or to a public network such as the Internet. Alternatively, the receiving unit can also include an interface for establishing a peer-to-peer connection between the mobile communication device and the control device, for example for establishing a Bluetooth connection.

Die Gerätepaarungseinheit, die Empfangseinheit, die Bildanalyseeinheit und die Schweißvorgangsdatenerhalteeinheit können als separate Komponenten oder auch als Module eines Computerprogramms implementiert sein, das auf der Steuereinrichtung läuft.The device pairing unit, the receiving unit, the image analysis unit and the welding process data acquisition unit can be implemented as separate components or as modules of a computer program that runs on the control device.

Im Folgenden werden verschiedene Ausführungsformen des Verfahrens und des Systems beschrieben, wobei die einzelnen Ausführungsformen jeweils unabhängig voneinander sowohl für das Verfahren als auch für das System gelten. Zudem sind die Ausführungsformen miteinander kombinierbar.Various embodiments of the method and of the system are described below, the individual embodiments each independently of one another applying to both the method and the system. In addition, the embodiments can be combined with one another.

Bei einer Ausführungsform umfasst das Erhalten der Gerätepaarungsinformation: Erhalten einer Mobilgerät-Kennung, die einem mobilen Kommunikationsgerät zugeordnet ist, Erhalten einer Schweißgerät-Kennung, die einem Schweißgerät zugeordnet ist, und Erzeugen einer Gerätepaarungsinformation durch Verknüpfen der Mobilgerät-Kennung und der Schweißgerät-Kennung. Bei einer entsprechenden Ausführungsform des Systems ist die Gerätepaarungseinheit eingerichtet zum Erhalten einer Mobilgerät-Kennung, die einem mobilen Kommunikationsgerät zugeordnet ist, zum Erhalten einer Schweißgerät-Kennung, die einem Schweißgerät zugeordnet ist und zum Erzeugen einer Gerätepaarungsinformation durch Verknüpfen der Mobilgerät-Kennung und der Schweißgerät-Kennung.In one embodiment, obtaining the device pairing information includes: obtaining a mobile device identifier associated with a mobile communication device, obtaining a welding device identifier associated with a welding device, and generating device pairing information by combining the mobile device identifier and the welding device identifier. In a corresponding embodiment of the system, the device pairing unit is set up to obtain a mobile device identifier that is associated with a mobile communication device, to obtain a welding machine identifier that is associated with a welding device, and to generate device pairing information by linking the mobile device identifier and the welding device identifier.

Durch die Mobilgerät-Kennung und die Schweißgerät-Kennung werden das entsprechende mobile Kommunikationsgerät bzw. das entsprechende Schweißgerät eindeutig identifiziert. Durch ein Verknüpfen der beiden Kennungen kann damit eine eindeutige Zuordnung des mobilen Kommunikationsgeräts zu dem Schweißgerät erreicht werden, wodurch die beiden Geräte gepaart werden. Das Verknüpfen kann beispielsweise dadurch erfolgen, dass die Mobilgerät-Kennung und die Schweißgerät-Kennung relational zueinander gespeichert werden, beispielsweise in einer relationalen Datenbank oder in einer Tabelle.The corresponding mobile communication device or the corresponding welding device is uniquely identified by the mobile device identifier and the welding device identifier. By linking the two identifiers, an unambiguous assignment of the mobile communication device to the welding device can be achieved, as a result of which the two devices are paired. The linking can take place, for example, in that the mobile device identifier and the welding machine identifier are stored relationally to one another, for example in a relational database or in a table.

Bei einer weiteren Ausführungsform werden die Mobilgerät-Kennung und die Schweißgerät-Kennung über eine drahtlose Kommunikationsverbindung mit dem mobilen Kommunikationsgerät empfangen. Bei einer entsprechenden Ausführungsform des Systems ist die Gerätepaarungseinheit zum Empfang der Mobilgerät-Kennung und der Schweißgerät-Kennung über eine drahtlose Kommunikationsverbindung eingerichtet. Dadurch kann ein Nutzer die Gerätepaarung des Schweißgeräts mit dem mobilen Kommunikationsgerät auf einfache Weise mit dem mobilen Kommunikationsgerät vornehmen, indem er zum Beispiel mit dem mobilen Kommunikationsgerät einen Code wie einen QR-Code, in dem die Schweißgerät-Kennung codiert ist, am Schweißgerät scannt und die Schweißgerät-Kennung zusammen mit einer eigenen Kennung des mobilen Kommunikationsgerät als Mobilgerät-Kennung an die Steuereinrichtung übermittelt.In a further embodiment, the mobile device identifier and the welding machine identifier are received via a wireless communication link with the mobile communication device. In a corresponding embodiment of the system, the device pairing unit is set up to receive the mobile device identifier and the welding device identifier via a wireless communication link. This allows a user to pair the device of the welding device with the mobile communication device in a simple manner with the mobile communication device, for example by using the mobile communication device to scan and code a code, such as a QR code, in which the welding device identification is coded, on the welding device the welding device identifier is transmitted to the control device together with its own identifier of the mobile communication device as a mobile device identifier.

Bei einer weiteren Ausführungsform werden abhängig von den erhaltenen Schweißvorgangs-Daten Nutzerausgabedaten zur Information des Nutzers über den durchzuführenden Schweißvorgang bereitgestellt und die Nutzerausgabedaten werden über eine Kommunikationsverbindung gesendet, insbesondere an das mobile Kommunikationsgerät, oder über eine Nutzerschnittstelle ausgegeben. Bei einer entsprechenden Ausführungsform umfasst das System weiter eine Nutzerausgabeneinheit, die dazu eingerichtet ist, abhängig von den erhaltenen Schweißvorgangs-Daten Nutzerausgabedaten zur Information des Nutzers über den durchzuführenden Schweißvorgang bereitzustellen und das Senden der Nutzerausgabedaten über eine Kommunikationsverbindung mit dem mobilen Kommunikationsgerät oder eine Ausgabe der Nutzerausgabedaten über eine Nutzerschnittstelle zu bewirken. Dadurch kann der Nutzer automatisch über das identifizierte Bauteil und/oder über einen an dem identifizierten Bauteil durchzuführenden Schweißvorgang informiert werden, insbesondere über die Lage und/oder über Schweißparameter des durchzuführenden Schweißvorgangs.In a further embodiment, depending on the welding process data obtained, user output data are provided to inform the user about the welding process to be carried out, and the user output data are sent via a communication link, in particular to the mobile communication device, or via a user interface. In a corresponding embodiment, the system further comprises a user output unit, which is set up to provide user output data for informing the user about the welding process to be carried out, depending on the welding process data received, and to send the user output data via a communication link with the mobile communication device or to output the user output data to effect via a user interface. As a result, the user can be informed automatically about the identified component and / or about a welding process to be carried out on the identified component, in particular about the position and / or about welding parameters of the welding process to be carried out.

Bei einer weiteren Ausführungsform werden als Nutzerausgabedaten Augmented-Reality-Daten über den durchzuführenden Schweißvorgang bereitgestellt. Bei einer entsprechenden Ausführungsform des Systems ist die Nutzerausgabeneinheit dazu eingerichtet, als Nutzerausgabedaten Augmented-Reality-Daten über den durchzuführenden Schweißvorgang bereitzustellen. Auf diese Weise können dem Nutzer Informationen über einen an dem identifizierten Bauteil durchzuführenden Schweißvorgang intuitiv dargestellt werden, insbesondere die Position bzw. Lage eines Schweißpunkts bzw. einer Schweißnaht. Zu diesem Zweck umfassen die Augmented-Reality-Daten vorzugsweise ein virtuelles Bildelement, das dem in den Bilddaten identifizierten Bauteil lagerichtig zugeordnet ist. Die Augmented-Reality-Daten können beispielsweise Bilddaten enthalten, die von dem mobilen Kommunikationsgerät erhaltenen Bilddaten sowie ein überlagertes virtuelles Bildelement enthalten. Alternativ können die Augmented-Reality-Daten auch das virtuelle Bildelement mit einer Lageinformation zur lagerichtigen Positionierung des virtuellen Bildelements in den von dem mobilen Kommunikationsgerät erhaltenen Bilddaten enthalten, so dass die eigentliche Überlagerung der Bilddaten mit dem virtuellen Bildelement im mobilen Kommunikationsgerät erfolgen kann. Die zuletzt beschriebene Vorgehensweise reduziert den notwendigen Datentransfer zwischen der Steuereinrichtung und dem mobilen Kommunikationsgerät und ermöglicht dadurch eine kürzere Latenzzeit am mobilen Kommunikationsgerät zwischen dem Aufnehmen der Bilddaten und dem Anzeigen der empfangenen Augmented-Reality-Daten.In a further embodiment, augmented reality data about the welding process to be carried out are provided as user output data. In a corresponding embodiment of the system, the user output unit is set up to provide augmented reality data about the welding process to be carried out as user output data. In this way, information about a welding process to be carried out on the identified component can be intuitively presented to the user, in particular the position or location of a welding point or a welding seam. For this purpose, the augmented reality data preferably comprise a virtual image element which is assigned in the correct position to the component identified in the image data. The augmented reality data can contain, for example, image data, the image data received from the mobile communication device and a superimposed virtual image element. Alternatively, the augmented reality data can also contain the virtual image element with position information for the correct positioning of the virtual image element in the image data received from the mobile communication device, so that the actual overlaying of the image data with the virtual image element can take place in the mobile communication device. The procedure described last reduces the necessary data transfer between the control device and the mobile communication device and thereby enables a shorter latency on the mobile communication device between the acquisition of the image data and the display of the received augmented reality data.

Bei einer weiteren Ausführungsform umfasst das Bereitstellen der Augmented-Reality-Daten: Erhalten eines virtuellen Modells des in den Bilddaten identifizierten Bauteils, lagerichtiges Zuordnen des virtuellen Modells zu dem in den Bilddaten identifizierten Bauteil, Erhalten einer Lageinformation über die Lage des an dem identifizierten Bauteil durchzuführenden Schweißvorgangs, lagerichtiges Zuordnen eines virtuellen Bildelements zu dem in den Bilddaten identifizierten Bauteil als Funktion der Lageinformation und der Zuordnung des virtuellen Modells zu dem in den Bilddaten identifizierten Bauteil und Erzeugen von Augmented-Reality-Daten als Funktion des lagerichtig zugeordneten virtuellen Bildelements. Bei einer entsprechenden Ausführungsform des Systems ist die Nutzerausgabeneinheit zum Bereitstellen der Augmented-Reality-Daten dazu eingerichtet, ein virtuelles Modell des in den Bilddaten identifizierten Bauteils zu erhalten, das virtuelle Modell lagerichtig zu dem in den Bilddaten identifizierten Bauteil zuzuordnen, eine Lageinformation über die Lage des an dem identifizierten Bauteil durchzuführenden Schweißvorgangs zu erhalten, ein virtuelles Bildelement lagerichtig zu dem in den Bilddaten identifizierten Bauteil als Funktion der Lageinformation und der Zuordnung des virtuellen Modells zu dem in den Bilddaten identifizierten Bauteil zuzuordnen und Augmented-Reality-Daten als Funktion des lagerichtig zugeordneten virtuellen Bildelements zu erzeugen.In a further embodiment, the provision of the augmented reality data comprises: obtaining a virtual model of the component identified in the image data, correctly assigning the virtual model to the component identified in the image data, obtaining position information about the location of the component to be carried out on the identified component Welding process, correct assignment of a virtual image element to the component identified in the image data as a function of the position information and the assignment of the virtual model to the component identified in the image data, and generation of augmented reality data as a function of the correctly assigned virtual image element. In a corresponding embodiment of the system, the user output unit for providing the augmented reality data is set up to obtain a virtual model of the component identified in the image data, to assign the virtual model in the correct position to the component identified in the image data, position information about the location of the welding process to be carried out on the identified component, to assign a virtual image element in the correct position to the component identified in the image data as a function of the position information and the assignment of the virtual model to the component identified in the image data, and to assign augmented reality data as a function of the correct position to generate virtual picture element.

Diese Vorgehensweise ermöglicht die Identifizierung verschiedener Bauteile und die lagerichtige Zuordnung virtueller Bildelemente für eine intuitive Augmented-Reality-Darstellung des Bauteils, die der Nutzer beispielsweise direkt auf dem mobilen Kommunikationsgerät, insbesondere auf einem Smartphone, betrachten kann. Durch die Verarbeitungsgeschwindigkeiten moderner Server und die Übertragungsgeschwindigkeiten heutiger Datenverbindungen kann die Darstellung der Augmented-Reality-Daten mit nur geringer Latenz auf dem mobilen Kommunikationsgerät des Nutzers erfolgen, so dass der Nutzer praktisch einen Live-Eindruck der Augmented-Reality-Darstellung erhält.This procedure enables the identification of different components and the correct assignment of virtual picture elements for an intuitive augmented reality representation of the component, which the user can view directly on the mobile communication device, in particular on a smartphone, for example. Through the Processing speeds of modern servers and the transmission speeds of today's data connections can display the augmented reality data with only low latency on the mobile communication device of the user, so that the user receives a practically live impression of the augmented reality representation.

Das virtuelle Modell kann beispielsweise in Form von 2D- oder 3D-Zeichnungsdaten (z.B. CAD) aus einem Speicher der Steuereinrichtung oder einem externen Speicher erhalten. Bei der lagerichtigen Zuordnung des virtuellen Modells zu dem in den Bilddaten identifizierten Bauteil werden vorzugsweise Betrachtungswinkel bestimmt, die die Richtung anzeigen, aus der die Bilddaten das identifizierte Bauteil zeigen.The virtual model can be obtained, for example, in the form of 2D or 3D drawing data (e.g. CAD) from a memory of the control device or from an external memory. When the virtual model is assigned in the correct position to the component identified in the image data, viewing angles are preferably determined which indicate the direction from which the image data show the identified component.

Die Identifizierung des Bauteils kann beispielsweise dadurch erfolgen, dass ein in den Bilddaten sichtbarer Code, z.B. ein Barcode, identifiziert und decodiert wird, der eine Bauteil-Kennung enthält. Zusätzlich oder alternativ kann das Bauteil auch über seine Form identifiziert werden, beispielsweise indem für eine Mehrzahl von infrage kommender Bauteile virtuelle Modelle erhalten und mit den Bilddaten abgeglichen werden, zum Beispiel nach einer bildverarbeitungstechnischen Kantenerkennung an den Bilddaten. Zum Abgleichen der ein oder mehreren virtuellen Modelle mit den Bilddaten können die virtuellen Modelle beispielsweise virtuell mit verschiedenen Drehwinkeln rotiert werden, bevor ein eigentlicher Abgleich von Ansichten der virtuellen Modelle unter den verschiedenen Drehwinkeln mit den Bilddaten erfolgt.The component can be identified, for example, by a code visible in the image data, e.g. a barcode, is identified and decoded, which contains a component identifier. Additionally or alternatively, the component can also be identified by its shape, for example by obtaining virtual models for a plurality of components in question and comparing them with the image data, for example after image processing technology edge detection on the image data. To compare the one or more virtual models with the image data, the virtual models can, for example, be rotated virtually with different angles of rotation before an actual comparison of views of the virtual models at the different angles of rotation with the image data takes place.

Bei dem virtuellen Bildelement kann es sich beispielsweise um ein grafisches Element handelt, insbesondere um einen Pfeil, eine Linie oder einen Punkt, das die Lage des Schweißpunkts bzw. der Schweißnaht anzeigt, die bei dem Schweißvorgang zu erzeugen sind.The virtual image element can be, for example, a graphic element, in particular an arrow, a line or a point, which indicates the position of the welding point or the weld seam, which are to be generated during the welding process.

Bei einer weiteren Ausführungsform werden abhängig von den erhaltenen Schweißvorgangs-Daten Schweißparameterdaten zur Durchführung des Schweißvorgangs bereitgestellt und die Schweißparameterdaten werden über eine Kommunikationsverbindung an das dem mobilen Kommunikationsgerät gemäß der Gerätepaarungsinformation zugeordnete Schweißgerät gesendet Bei einer entsprechenden Ausführungsform umfasst das System eine Schweißparametereinheit, die dazu eingerichtet ist, abhängig von den erhaltenen Schweißvorgangs-Daten Schweißparameterdaten zur Durchführung des Schweißvorgangs bereitzustellen und das Senden der Schweißparameterdaten über eine Kommunikationsverbindung mit dem dem mobilen Kommunikationsgerät gemäß der Gerätepaarungsinformation zugeordneten Schweißgerät zu bewirken. Auf diese Weise kann das Schweißgerät automatisch für einen an dem identifizierten Bauteil durchzuführenden Schweißvorgang eingerichtet werden, so dass die Bedienung des Schweißgeräts vereinfacht und Fehler beim Schweißen vermieden werden.In a further embodiment, depending on the welding process data received, welding parameter data for carrying out the welding process are provided and the welding parameter data are sent via a communication link to the welding device assigned to the mobile communication device in accordance with the device pairing information. In a corresponding embodiment, the system comprises a welding parameter unit which is set up for this , depending on the welding process data received, to provide welding parameter data for performing the welding process and to send the welding parameter data via a communication link with the welding device assigned to the mobile communication device in accordance with the device pairing information. In this way, the welding device can be automatically set up for a welding process to be carried out on the identified component, so that the operation of the welding device is simplified and errors during welding are avoided.

Bei einer weiteren Ausführungsform umfasst das System das Schweißgerät. Das Schweißgerät ist vorzugsweise mit einem Code versehen oder eingerichtet, einen Code anzuzeigen, insbesondere auf einem Bildschirm des Schweißgerät, wobei in dem Code die Schweißgerät-Kennung des Schweißgeräts codiert ist. Dadurch kann das Schweißgerät mit dem mobilen Kommunikationsgerät einfach durch Einscannen des Codes identifiziert und mit diesem gepaart werden.In a further embodiment, the system comprises the welding device. The welding device is preferably provided with a code or configured to display a code, in particular on a screen of the welding device, the welding device identifier of the welding device being encoded in the code. As a result, the welding device can be identified and paired with the mobile communication device simply by scanning the code.

Bei einer weiteren Ausführungsform umfasst das Erhalten der Schweißvorgangs-Daten über den durchzuführenden Schweißvorgang: Erhalten eines dem identifizierten Bauteil zugeordneten Schweißfolgeplans, der Schweißvorgangs-Daten für mehrere an dem Bauteil in einer vorgegebenen Reihenfolge durchzuführende Schweißvorgänge umfasst, und Auswahl von Schweißvorgangs-Daten aus dem Schweißfolgeplan für einen an dem Bauteil durchzuführenden Schweißvorgang, insbesondere für einen nächsten an dem Bauteil durchzuführenden Schweißvorgang. Bei einer entsprechenden Ausführungsform des Systems ist die Schweißvorgangsdatenerhalteeinheit zum Erhalten der Schweißvorgangsdaten dazu eingerichtet, einen dem identifizierten Bauteil zugeordneten Schweißfolgeplan zu erhalten, der Schweißvorgangs-Daten für mehrere an dem Bauteil in einer vorgegebenen Reihenfolge durchzuführende Schweißvorgänge umfasst, und Schweißvorgangs-Daten aus dem Schweißfolgeplan für einen an dem Bauteil durchzuführenden Schweißvorgang auszuwählen, insbesondere für einen nächsten an dem Bauteil durchzuführenden Schweißvorgang.In a further embodiment, obtaining the welding process data about the welding process to be carried out comprises: obtaining a welding sequence plan associated with the identified component, which includes welding process data for a plurality of welding processes to be carried out on the component in a predetermined sequence, and selecting welding process data from the welding sequence plan for a welding process to be carried out on the component, in particular for a next welding process to be carried out on the component. In a corresponding embodiment of the system, the welding process data acquisition unit for obtaining the welding process data is set up to obtain a welding sequence plan associated with the identified component, which includes welding process data for a plurality of welding processes to be carried out on the component in a predetermined sequence, and welding process data from the welding sequence plan for select a welding process to be carried out on the component, in particular for a next welding process to be carried out on the component.

Ein Schweißfolgeplan gibt eine Reihenfolge für mehrere nacheinander an einem Bauteil durchzuführende Schweißvorgänge vor. Sind an einem Bauteil mehrere Schweißvorgänge erforderlich, beispielsweise zur Erzeugung mehrerer Schweißnähte, so müssen diese in der Regel in einer bestimmten Reihenfolge vorgenommen werden, damit das Bauteil den vorgegebenen Anforderungen genügt Wird die Reihenfolge der Schweißvorgänge nicht eingehalten, kann dies zum Beispiel zu einem Verziehen des Bauteils führen.A welding sequence plan specifies a sequence for several welding processes to be carried out in succession on a component. If several welding processes are required on a component, for example to produce several weld seams, these usually have to be carried out in a specific order so that the component meets the specified requirements.If the sequence of the welding processes is not adhered to, this can lead to warping, for example Lead component.

Die vorzunehmenden Schweißvorgänge können beispielsweise durchnummeriert und/oder durch eine Beschreibung ihrer räumlichen Position am Bauteil festgelegt sein. Entsprechend kann der Schweißfolgeplan zum Beispiel eine Zuordnung enthalten, die den einzelnen Schweißvorgängen am Bauteil eine Nummer entsprechend der vorgegebenen Reihenfolge und/oder eine räumliche Position am Bauteil zuordnet.The welding processes to be carried out can be numbered, for example, and / or defined by a description of their spatial position on the component. Correspondingly, the welding sequence schedule can contain, for example, an assignment that gives the individual welding processes on the component a number corresponding to the specified one Assigns order and / or a spatial position on the component.

Weiterhin gibt der Schweißfolgeplan für die einzelnen Schweißvorgänge vorzugsweise zugehörige Schweißparameter-Sollwerte vor. Auf diese Weise können für ein Bauteil mehrere Sätze von Schweißparameter-Sollwerten vorgegeben werden, so dass das Schweißgerät für die einzelnen Schweißvorgänge jeweils mit den richtigen Schweißparameter-Sollwerten eingestellt werden kann. Sind an einem Bauteil beispielsweise Schweißnähte und Punktschweißungen anzubringen, so ist es denkbar, dass die Schweißnähte andere Schweißparameter-Sollwerte erfordern als die Punktschweißungen. Ebenso kann es erforderlich sein, verschiedene Schweißnähte mit verschiedenen Schweißparameter-Sollwerten zu schweißen.Furthermore, the welding sequence schedule preferably specifies associated welding parameter target values for the individual welding processes. In this way, several sets of welding parameter setpoints can be specified for a component, so that the welding device can be set with the correct welding parameter setpoints for the individual welding processes. If, for example, weld seams and spot welds are to be made on a component, it is conceivable that the weld seams require different welding parameter setpoints than the spot welds. It may also be necessary to weld different weld seams with different welding parameter setpoints.

Vorzugsweise werden Schweißvorgangs-Daten für einen nächsten an dem Bauteil durchzuführenden Schweißvorgang aus dem Schweißfolgeplan ausgewählt. Zu diesem Zweck kann eine Variable, insbesondere ein Zähler, vorgesehen sein, insbesondere in einem Speicher der Steuereinrichtung, deren Wert den nächsten gemäß dem Schweißfolgeplan an dem identifizierten Bauteil durchzuführenden Schweißvorgang identifiziert.Welding process data for a next welding process to be carried out on the component are preferably selected from the welding sequence plan. For this purpose, a variable, in particular a counter, can be provided, in particular in a memory of the control device, the value of which identifies the next welding process to be carried out on the identified component in accordance with the welding sequence plan.

Vorzugsweise enthalten an das mobile Kommunikationsgerät gesendeten Nutzerausgabedaten, insbesondere Augmented-Reality-Daten, Informationen über einen gemäß einem vorgegebenen Schweißfolgeplan an dem identifizierten Bauteil durchzuführenden nächsten Schweißvorgang. Auf diese Weise kann der Bediener intuitiv erkennen, welcher Schweißvorgang an dem identifizierten Bauteil als nächstes durchzuführen ist. Dadurch können Verwechslungen in der Reihenfolge der Schweißvorgänge vermieden werden.User output data, in particular augmented reality data, sent to the mobile communication device preferably contain information about a next welding process to be carried out on the identified component in accordance with a predetermined welding sequence plan. In this way, the operator can intuitively recognize which welding process is to be carried out next on the identified component. This prevents confusion in the order of the welding processes.

Zusätzlich oder alternativ enthalten an das Schweißgerät gesendete Schweißparameterdaten einen oder mehrere Schweißparameter-Sollwerte für einen gemäß einem vorgegebenen Schweißfolgeplan an dem identifizierten Bauteil durchzuführenden nächsten Schweißvorgang. Auf diese Weise kann das Schweißgerät automatisch für den nächsten folgenden Schweißvorgang eingestellt werden, so dass der Betrieb des Schweißgeräts weiter vereinfacht wird.Additionally or alternatively, welding parameter data sent to the welding device contain one or more welding parameter target values for a next welding process to be carried out on the identified component according to a predetermined welding sequence schedule. In this way, the welding device can be automatically set for the next following welding process, so that the operation of the welding device is further simplified.

Weitere Vorteile und Merkmale des Verfahrens und des Systems ergeben sich aus der nachfolgenden Beschreibung von Ausführungsbeispielen, wobei auf die beigefügte Zeichnung Bezug genommen wird.Further advantages and features of the method and of the system result from the following description of exemplary embodiments, reference being made to the attached drawing.

In der Zeichnung zeigen

1a-b ein Ausführungsbeispiel des erfindungsgemäßen Systems in schematischer Darstellung,
2a-b ein Ausführungsbeispiel des erfindungsgemäßen Verfahrens in Flussdiagrammdarstellung,
3 ein Ausführungsbeispiel für die Identifizierung eines Bauteils in Bilddaten in Flussdiagrammdarstellung,
4 ein Ausführungsbeispiel für die Erzeugung von Augmented-Reality-Daten für ein identifiziertes Bauteils in Flussdiagrammdarstellung,
5 ein Beispiel für von einem mobilen Kommunikationsgerät aufgenommene Bilddaten,
6 - 7 ein Beispiel für ein virtuelles Modell des Bauteils aus den Bilddaten aus 5 sowie für einen Schweißfolgeplan dafür und
8 ein Beispiel für eine Augmented-Reality-Nutzerausgabe mit den Bilddaten aus 5.

Show in the drawing

1a-b an embodiment of the system according to the invention in a schematic representation,
2a-b An embodiment of the method according to the invention in a flowchart representation,
3 an exemplary embodiment for the identification of a component in image data in a flowchart representation,
4 An exemplary embodiment for the generation of augmented reality data for an identified component in a flowchart representation,
5 an example of image data recorded by a mobile communication device,
6 - 7 an example of a virtual model of the component from the image data 5 as well as for a welding sequence plan for it and
8th an example of an augmented reality user output with the image data 5 ,

Die 1a-b zeigt ein Ausführungsbeispiel des erfindungsgemäßen Systems in schematischer Darstellung. Das beispielhafte System 2 umfasst als Steuereinrichtung einen Server 4, dessen möglicher Aufbau schematisch in 1b illustriert ist.The 1a-b shows an embodiment of the system according to the invention in a schematic representation. The exemplary system 2 includes a server as a control device 4 , whose possible structure is shown schematically in 1b is illustrated.

Der Server 4 weist eine Rechnereinheit 6 mit mindestens einem Mikroprozessor, einen Programmspeicher 8 mit Befehlen und eine Datenbank 10 auf. Weiterhin weist der Server 4 eine erste Datenschnittstelle 12 wie zum Beispiel eine LAN-Schnittstelle auf, über die der Server 4 mit einem lokalen Netzwerk 14 verbunden ist, an das mehrere Schweißgeräte 16, 18 angeschlossen sind. Auf diese Weise wird eine Kommunikationsverbindung 19 bereitgestellt, über die der Server 4 Daten an die Schweißgeräte 16, 18 senden kann.The server 4 has a computing unit 6 with at least one microprocessor, a program memory 8th with commands and a database 10 on. The server also points 4 a first data interface 12 such as a LAN interface through which the server 4 with a local network 14 is connected to the several welding machines 16 . 18 are connected. In this way, a communication link 19 provided through which the server 4 Data to the welding machines 16 . 18 can send.

Weiterhin weist der Server eine zweite Datenschnittstelle 20 auf, über die der Server 4 mit dem Internet 22 verbunden ist. Über das Internet 22 kann der Server 4 Daten von einem mobilen Kommunikationsgerät 24, beispielsweise einem Smartphone, empfangen, das mittels einer drahtlosen Mobilfunkverbindung 26 und über einen Zugangspunkt 28 eines Mobilnetzes ebenfalls mit dem Internet 22 verbunden ist. Da die auf diese Weise bestehende Kommunikationsverbindung 30 zwischen dem Server 4 und dem mobilen Kommunikationsgerät 24 zumindest streckenweise drahtlos ist, stellt die Kommunikationsverbindung 30 eine drahtlose Kommunikationsverbindung dar.The server also has a second data interface 20 on which the server 4 with the Internet 22 connected is. Via the internet 22 can the server 4 Data from a mobile communication device 24 , for example a smartphone, received by means of a wireless cellular connection 26 and through an access point 28 a mobile network also with the Internet 22 connected is. Because the existing communication connection in this way 30 between the server 4 and the mobile communication device 24 is at least partially wireless, the communication link 30 represents a wireless communication link.

Die Kommunikationsverbindung 30 ist nur ein Beispiel für eine mögliche drahtlose Kommunikationsverbindung. Alternativ kann der Server 4 mit der Datenschnittstelle 20 auch an einen WLAN-Zugangspunkt angeschlossen sein, mit dem das mobile Kommunikationsgerät 24 über eine drahtlose Netzwerkverbindung kommunikationstechnisch verbindbar ist.The communication link 30 is just one example of a possible wireless communication link. Alternatively, the server 4 with the data interface 20 also to a WLAN Access point connected to the mobile communication device 24 is connectable via a wireless network connection.

Zur Steuerung des Systems 2 ist auf dem Programmspeicher 8 des Servers 4 ein Computerprogramm gespeichert Die Ausführung des Computerprogramms auf der Rechnereinheit 6 des Servers 4 bewirkt die Durchführung eines Verfahrens zum Erhalten von Schweißvorgangs-Daten.To control the system 2 is on the program memory 8th of the server 4 a computer program stored The execution of the computer program on the computing unit 6 of the server 4 causes a process to be obtained to obtain welding process data.

Ein Ausführungsbeispiel für ein solches Verfahren wird im Folgenden anhand der 2a-b beschrieben:An exemplary embodiment of such a method is described below on the basis of the 2a-b described:

Die 2a-b zeigen ein Ausführungsbeispiel des erfindungsgemäßen Verfahrens in Flussdiagrammdarstellung. 2a zeigt einen ersten Teil des Verfahrens zur Paarung des mobilen Kommunikationsgeräts 24 und eines Schweißgeräts (z.B. des Schweißgeräts 16). 2b zeigt einen zweiten Teil des Verfahrens, bei dem Schweißvorgangs-Daten für das Schweißgerät 16 erhalten werden.The 2a-b show an embodiment of the method according to the invention in flowchart representation. 2a shows a first part of the method for pairing the mobile communication device 24 and a welding machine (e.g. the welding machine 16 ). 2 B shows a second part of the method in which welding process data for the welding machine 16 be preserved.

Der erste Teil des Verfahrens wird dadurch ausgelöst, dass ein Benutzer mit dem mobilen Kommunikationsgerät 24 einen am Schweißgerät 16 angebrachten oder auf einem Bildschirm des Schweißgeräts 16 abrufbaren Code 40 einscannt, in dem die Schweißgerät-Kennung IDs des Schweißgeräts 16 codiert ist. Bei dem Code 40 kann es sich zum Beispiel um einen Bar- oder QR-Code handeln.The first part of the method is triggered by a user using the mobile communication device 24 one on the welding machine 16 attached or on a screen of the welding machine 16 retrievable code 40 scanned in which the welding machine ID IDs of the welding machine 16 is encoded. With the code 40 it can be, for example, a bar or QR code.

Das mobile Kommunikationsgerät 24 decodiert die Schweißgerät-Kennung IDs aus dem gescannten Code und übermittelt diese zusammen mit einer Mobilgerät-Kennung ID_M des mobilen Kommunikationsgeräts 24 über die drahtlose Kommunikationsverbindung 30 an den Server 4.The mobile communication device 24 decodes the welding machine identifier IDs from the scanned code and transmits them together with a mobile device identifier ID _{M of} the mobile communication device 24 over the wireless communication link 30 to the server 4 ,

Der Server 4 empfängt die Schweißgerät-Kennung ID_S und die Mobilgerät-Kennung ID_M (Schritt 46) und ordnet die Kennungen einander zu (Schritt 48), beispielsweise indem die Schweißgerät-Kennung IDs und die Mobilgerät-Kennung ID_M in einer gemeinsamen Datenstruktur wie zum Beispiel einem Tupel [ID_M, ID_S] abgespeichert werden. Ein solches Tupel ist ein Beispiel für eine Gerätepaarungsinformation über die Zuordnung des mobilen Kommunikationsgeräts 24 und des Schweißgeräts 16. Die hierdurch bewirkte Paarung des mobilen Kommunikationsgeräts 24 und des Schweißgeräts 16 ist in 1a durch den gestrichelten Pfeil 49 illustriert).The server 4 receives the welding machine identifier ID _S and the mobile device identifier ID _M (step 46 ) and assigns the identifiers to each other (step 48 ), for example by storing the welding machine identifier IDs and the mobile device identifier ID _M in a common data structure such as a tuple [ID _M , ID _S ]. Such a tuple is an example of device pairing information about the assignment of the mobile communication device 24 and the welding machine 16 , The pairing of the mobile communication device caused thereby 24 and the welding machine 16 is in 1a by the dashed arrow 49 illustrated).

Der zweite Teil des Verfahrens wird dadurch ausgelöst, dass ein Benutzer mit der Kamera des mobilen Kommunikationsgeräts 24 Bilddaten von einem Bauteil aufnimmt und das mobile Kommunikationsgerät 24 die Bilddaten über die drahtlose Kommunikationsverbindung 30 an den Server 4 sendet.The second part of the method is triggered by a user using the camera of the mobile communication device 24 Captures image data from a component and the mobile communication device 24 the image data over the wireless communication link 30 to the server 4 sends.

Der Server 4 empfängt die Bilddaten (Schritt 50) und analysiert diese, um ein in den Bilddaten sichtbares Bauteil zu identifizieren (Schritt 52). 5 zeigt ein Beispiel für empfangene Bilddaten 54 mit einem darin sichtbaren Bauteil 56.The server 4 receives the image data (step 50 ) and analyzes them in order to identify a component visible in the image data (step 52 ). 5 shows an example of received image data 54 with a component visible in it 56 ,

3 zeigt eine mögliche Vorgehensweise für den Identifikationsschritts 52 des in den Bilddaten sichtbaren Bauteils. Bei dieser Vorgehensweise werden in einem ersten Unterschritt 52.1 vorgegebene virtuelle Modelle von infrage kommenden Bauteilen aus der Datenbank 10 abgerufen. Bei den virtuellen Modellen kann es sich beispielsweise um dreidimensionale Vektormodelle der Bauteile handeln. 6 zeigt ein Beispiel für ein virtuelles Vektormodell 58 des Bauteils auf 5. 3 shows a possible procedure for the identification step 52 of the component visible in the image data. In this procedure, the first sub-step 52.1 predefined virtual models of components in question from the database 10 accessed. The virtual models can, for example, be three-dimensional vector models of the components. 6 shows an example of a virtual vector model 58 of the component 5 ,

In einem zweiten Unterschritt 52.2 werden für die dreidimensionalen Vektormodelle Ansichten aus verschiedenen Richtungen, zum Beispiel durch Rotation der virtuellen Modelle um verschiedene Drehwinkel, und mit verschiedenen Ausschnitten erzeugt.In a second sub-step 52.2 For the three-dimensional vector models, views from different directions are generated, for example by rotating the virtual models by different angles of rotation, and with different sections.

Im dritten Unterschritt 52.3 werden die verschiedenen Ansichten der verschiedenen Bauteile mit den Bilddaten verglichen, um die Ansicht mit der besten Übereinstimmung mit den Bilddaten zu finden und dadurch das zu der Ansicht zugehörige Bauteil zu identifizieren.In the third sub-step 52.3 the different views of the different components are compared with the image data in order to find the view with the best match with the image data and thereby to identify the component belonging to the view.

In 6 ist durch den Rahmen 59 der Ausschnitt der in 6 gezeigten Ansicht des Vektormodells 58 gezeigt, die am besten mit den Bilddaten 54 übereinstimmt.In 6 is through the frame 59 the section of the in 6 shown view of the vector model 58 shown the best with the image data 54 matches.

Nach der Identifizierung des in den Bilddaten sichtbaren Bauteils wird in Schritt 60 ein vorgegebener Schweißfolgeplan für das identifizierte Bauteil aus der Datenbank 10 abgerufen.After identifying the component visible in the image data, step 60 a predefined welding sequence plan for the identified component from the database 10 accessed.

7 illustriert ein Beispiel für einen solchen Schweißfolgeplan. Der Schweißfolgeplan 62 enthält Informationen 63 zur Position eines Schweißvorgangs an dem Bauteil 56, die den Verlauf einer Schweißnaht in dem virtuellen Modell 58 des Bauteils 56 umfassen (in 7 dargestellt durch den Pfeil 64). Weiterhin enthält der Schweißfolgeplan 62 Informationen 66 zur Reihenfolge der einzelnen Schweißraupen 1 bis 15 für die Schweißnaht sowie Informationen 68 zu den für die einzelnen Schweißraupen 1 bis 15 zu verwendenden Schweißparametern (z.B. zum Schweißstrom, zur Schweißdrahtvorschubgeschwindigkeit etc.). Der Schweißfolgeplan 62 enthält im vorliegenden Beispiel damit Informationen zu fünfzehn in einer bestimmten Reihenfolge an dem identifizierten Bauteil 56 durchzuführenden Schweißvorgängen. (Die Platzhalter „xxx“, „yyy“ in 7 und auch in 8 stehen für die entsprechenden Parameter-Werte.) 7 illustrates an example of such a welding sequence plan. The welding sequence plan 62 contains information 63 on the position of a welding process on the component 56 showing the course of a weld in the virtual model 58 of the component 56 include (in 7 represented by the arrow 64 ). The welding sequence plan also contains 62 information 66 the order of the individual welding beads 1 to 15 for the weld and information 68 to those for the individual welding beads 1 to 15 welding parameters to be used (e.g. welding current, welding wire feed speed etc.). The welding sequence plan 62 In the present example, it contains information about fifteen in a specific order on the identified component 56 welding processes to be carried out. (The placeholders "xxx", "yyy" in 7 and also in 8th stand for the corresponding parameter values.)

Im Schritt 70 wird ein nächster an dem identifizierten Bauteil 56 vorzunehmender Schweißvorgang ausgewählt. Zu diesem Zweck kann zum Beispiel aus der Datenbank 10 oder aus einem anderen Speicher des Servers 4 eine dem Schweißfolgeplan 62 zugeordnete Zählvariable ausgelesen werden, deren Wert anzeigt, welcher der im Schweißfolgeplan 62 enthaltenen Schweißvorgänge als nächstes an der Reihe ist. Zu Beginn kann die Zählvariable zum Beispiel den Wert „1“ haben, wenn der erste Schweißvorgang durchzuführen ist. Erhält der Server 4 die Information, dass der erste Schweißvorgang durchgeführt wurde, zum Beispiel durch eine Nutzereingabe oder durch eine Rückmeldung vom Schweißgerät 16, so kann der Server den Wert der Zählvariable zum Beispiel auf „2“ erhöhen, um anzuzeigen, dass als nächstes der zweite Schweißvorgang an der Reihe ist. Durch die Auswahl eines Schweißvorgangs aus dem Schweißfolgeplan 62 werden Schweißvorgangs-Daten für einen nächsten Schweißvorgang erhalten. In step 70 becomes a next to the identified component 56 selected welding process. For this purpose, for example, from the database 10 or from another server memory 4 a the welding sequence plan 62 assigned counter variables are read out, the value of which indicates which one in the welding sequence plan 62 included welding operations is next in line. At the beginning, the counter variable can have the value "1", for example, when the first welding process is to be carried out. The server receives 4 the information that the first welding process has been carried out, for example by user input or by feedback from the welding machine 16 , the server can increase the value of the counter variable to "2", for example, to indicate that the second welding process is next. By selecting a welding process from the welding sequence plan 62 welding process data is obtained for a next welding process.

Im nächsten Schritt 72 werden mit den Schweißvorgangs-Daten Nutzerausgabedaten, insbesondere Virtual-Reality-Daten erzeugt.In the next step 72 user output data, in particular virtual reality data, are generated with the welding process data.

3 zeigt eine mögliche Vorgehensweise für den Erzeugungsschritt 72 der Nutzerausgabedaten. Bei dieser Vorgehensweise wird in einem ersten Unterschritt 72.1 das in der Datenbank 10 gespeicherte virtuelle Modell 58 des identifizierten Bauteils 56 erhalten. Dies kann beispielsweise durch die Auswahl des entsprechenden Modells 58 aus den im Schritt 52.1 aus der Datenbank 10 abgerufenen virtuellen Modellen erfolgen. In Unterschritt 72.2 wird das virtuelle Modell 58 des identifizierten Bauteils 56 dem in den Bilddaten identifizierten Bauteil 56 lagerichtig zugeordnet. Dies kann beispielsweise dazu erfolgen, dass die Drehwinkel und der Ausschnitt des virtuellen Modells 58 verwendet werden, die in Unterschritt 52.2 zur Erzeugung derjenigen Ansicht verwendet wurden, die in Unterschritt 52.3 die beste Übereinstimmung mit den Bilddaten ergab. 3 shows a possible procedure for the generation step 72 of user output data. This procedure is the first step 72.1 that in the database 10 saved virtual model 58 of the identified component 56 receive. This can be done, for example, by selecting the appropriate model 58 from the in the crotch 52.1 from the database 10 retrieved virtual models. In substep 72.2 becomes the virtual model 58 of the identified component 56 the component identified in the image data 56 assigned in the correct position. This can be done, for example, for the rotation angle and the section of the virtual model 58 used in the substep 52.2 were used to generate the view described in substep 52.3 gave the best match with the image data.

In Unterschritt 72.3 werden aus dem Schweißfolgeplan 62 für den ausgewählten nächsten Schweißvorgang (zum Beispiel Schweißraupe „1“) Lageinformationen erhalten, insbesondere der Verlauf der Schweißnaht relativ zum Bauteil (Pfeil 64 in 7) und die Lage der Schweißraupe in der Naht (66 in 7). Die Lageinformationen zum Verlauf der Schweißnaht können zum Beispiel als Koordinaten in Bezug auf das virtuelle Modell 58 erhalten werden.In substep 72.3 are from the welding sequence plan 62 receive position information for the selected next welding process (for example welding bead "1"), in particular the course of the welding seam relative to the component (arrow 64 in 7 ) and the position of the weld bead in the seam ( 66 in 7 ). The position information on the course of the weld seam can be used, for example, as coordinates in relation to the virtual model 58 be preserved.

In Unterschritt 72.4 wird den Bilddaten dann ein virtuelles Bildelement lagerichtig zugeordnet. Beispielweise kann der Verlauf der Schweißnaht durch eine Linie oder durch einen Pfeil gekennzeichnet werden. Die Positionierung der Linie oder des Pfeils in den Bilddaten erfolgt anhand der Lageinformation der Schweißnaht zum virtuellen Modell 58 und der zuvor vorgenommenen lagerichtigen Zuordnung des virtuellen Modells 58 zu den Bilddaten 54.In substep 72.4 a virtual image element is then assigned to the image data in the correct position. For example, the course of the weld seam can be identified by a line or by an arrow. The positioning of the line or arrow in the image data is based on the position information of the weld seam for the virtual model 58 and the previous correct assignment of the virtual model 58 to the image data 54 ,

Schließlich werden in Unterschritt 72.5 mit dem zuvor lagerichtig zugeordneten virtuellen Bildelement Augmented-Reality-Daten erzeugt, zum Beispiel durch Überlagerung des lagerichtig zugeordneten virtuellen Bildelements mit den Bilddaten.Finally, in sub-step 72.5 Augmented reality data is generated with the virtual image element previously assigned in the correct position, for example by superimposing the virtual image element assigned in the correct position with the image data.

8 zeigt ein Beispiel für auf diese Weise erzeugte Augmented-Reality-Daten. Die Augmented-Reality-Daten 74 umfassen die zuvor erhaltenen Bilddaten 54, die lagerichtig mit einem virtuellen Bildelement, nämlich einem Pfeil 76, der den Verlauf der herzustellenden Schweißnaht anzeigt, überlagert sind. Zusätzlich wird ein weiteres virtuelles Bildelement 78 eingeblendet, das die Position des als nächsten vorzunehmenden Schweißvorgangs (Schweißraupe „1“ hervorgehoben) in der Naht anzeigt. Als weiteres virtuelles Bildelement 80 sind Schweißparameter für diesen nächsten vorzunehmenden Schweißvorgang eingeblendet. 8th shows an example of augmented reality data generated in this way. The augmented reality data 74 include the image data previously obtained 54 , the correct position with a virtual image element, namely an arrow 76 , which shows the course of the weld to be produced, are superimposed. In addition, another virtual picture element 78 faded in, which shows the position of the next welding process to be carried out (weld bead "1" highlighted) in the seam. As another virtual picture element 80 welding parameters for this next welding process to be carried out are shown.

Die Augmented-Reality-Daten 74 können als kombinierte Bilddaten erzeugt werden, so dass die Überlagerung der virtuellen Bildelemente mit den Bilddaten auf dem Server 4 erfolgt. Alternativ ist es denkbar, einen Datensatz zu erzeugen, der die einzelnen virtuellen Bildelemente und ihre jeweilige Positionierung relativ zu den Bilddaten enthält, so dass die Überlagerung der virtuellen Bildelemente zum Beispiel auf dem mobilen Kommunikationsgerät 24 erfolgen kann.The augmented reality data 74 can be generated as combined image data, so that the overlay of the virtual image elements with the image data on the server 4 he follows. Alternatively, it is conceivable to generate a data record which contains the individual virtual image elements and their respective positioning relative to the image data, so that the virtual image elements are overlaid, for example, on the mobile communication device 24 can be done.

In Schritt 82 werden die Nutzerausgabedaten über die drahtlose Kommunikationsverbindung 30 an das mobile Kommunikationsgerät 24 gesendet, so dass diese von dem mobilen Kommunikationsgerät 24 empfangen und auf einem Bildschirm ausgegeben werden können.In step 82 the user output data over the wireless communication link 30 to the mobile communication device 24 sent, so this from the mobile communication device 24 can be received and displayed on a screen.

Bei dem Ausführungsbeispiel des Verfahrens in 2b werden in Schritt 84 weiterhin Schweißparameterdaten für den nächsten durchzuführenden Schweißvorgang erzeugt, insbesondere durch Auswahl der im Schweißfolgeplan 62 zu dem nächsten durchzuführenden Schweißvorgang gespeicherten Schweißparameterdaten. Die erzeugten Schweißparameterdaten werden in Schritt 86 an das mit dem mobilen Kommunikationsgerät 24 gekoppelte Schweißgerät 16 gesendet. Dadurch kann das Schweißgerät 16 anhand dieser Schweißparameterdaten automatisch für den nächsten Schweißvorgang eingestellt werden, indem sich das Schweißgerät 16 nach Empfang der Schweißparameterdaten entsprechend konfiguriert.In the embodiment of the method in 2 B are in step 84 continue to generate welding parameter data for the next welding process to be carried out, in particular by selecting those in the welding sequence plan 62 saved welding parameter data for the next welding process to be carried out. The welding parameter data generated are in step 86 to the one with the mobile communication device 24 coupled welding machine 16 Posted. This allows the welding machine 16 can be set automatically for the next welding process based on this welding parameter data by the welding machine 16 configured accordingly after receiving the welding parameter data.

Das zuvor beschriebene Verfahren erleichtert einem Nutzer in intuitiver Weise die Identifikation eines Bauteils und die Lokalisierung eines daran durchzuführenden Schweißvorgangs, so dass das Schweißen vereinfacht und weniger fehleranfällig wird. Durch die Paarung des mobilen Kommunikationsgeräts mit dem Schweißgerät, können mit dem mobilen Kommunikationsgerät Bilddaten aufgenommen und Augmented-Reality-Daten für einen an dem in den Bilddaten sichtbaren Schweißvorgang betrachtet werden. Durch die Nutzbarkeit praktisch beliebiger mobiler Kommunikationsgeräte wie zum Beispiel des Mobiltelefons des Nutzers, wird die Flexibilität erhöht und das Vorsehen einer Kamera am Schweißgerät entbehrlich. Die automatische Einstellung des Schweißgeräts für das in den Bilddaten identifizierte Bauteil erleichtert die Bedienung weiter und vermeidet Fehleinstellungen.The method described above intuitively facilitates the user Identification of a component and the localization of a welding process to be carried out on it, so that welding is simplified and less prone to errors. By pairing the mobile communication device with the welding device, image data can be recorded with the mobile communication device and augmented reality data can be viewed for a welding process that is visible in the image data. The practicability of practically any mobile communication devices, such as the user's cell phone, increases flexibility and makes it unnecessary to provide a camera on the welding machine. The automatic setting of the welding machine for the component identified in the image data further simplifies operation and prevents incorrect settings.

ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of documents listed by the applicant has been generated automatically and is only included for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturPatent literature cited

EP 3296051 A1 [0006]

Claims

System (2), comprising at least one control device (4), - with a device pairing unit, set up to receive device pairing information ([ID _M , ID _S ]) about the assignment of a mobile communication device (24), in particular a mobile phone, to a welding device ( 16, 18), - with a receiving unit, set up for receiving image data (54) via a wireless communication link (30), - with an image analysis unit, set up for analyzing image data (54) received by the receiving unit, in order to include in the image data (54 ) to identify visible component (56) to be welded, and - with a welding process data acquisition unit, set up to obtain welding process data for a welding process to be carried out with the welding device (16, 18), which according to a predetermined welding schedule (62) on the identified component (56) is to be carried out.

System according to Claim 1 , characterized in that the device pairing unit is set up to - obtain a mobile device identifier (ID _M ) which is assigned to a mobile communication device (24), - obtain a welding machine identifier (ID _S ) which is assigned to a welding device (16, 18) is assigned and - generating device pairing information ([ID _M , ID _S ]) by linking the mobile device identifier (ID _M ) and the welding machine identifier (ID _S ).

System according to Claim 2 , characterized in that the device pairing unit is set up to receive the mobile device identifier (ID _M ) and the welding device identifier (IDs) via a wireless communication link (30).

System according to one of the Claims 1 to 3 , further comprising a user output unit which is set up to provide - depending on the welding process data received - user output data (74) for informing the user about the welding process to be carried out and - sending the user output data (74) via a communication link (30) to the mobile To effect communication device (24) or an output of the user output data (74) via a user interface.

System according to Claim 4 , characterized in that the user output unit is set up to provide augmented reality data (74) about the welding process to be carried out as user output data.

System according to Claim 5 , characterized in that the user output unit for providing the augmented reality data (74) is set up to - obtain a virtual model (58) of the component (56) identified in the image data (54), - the virtual model (58 ) to be assigned in the correct position to the component (54) identified in the image data (56), - to obtain position information about the position of the welding process to be carried out on the identified component (54), - to assign a virtual image element (76) in the correct position to the one in the image data ( 56) to identify the identified component (54) as a function of the position information and the assignment of the virtual model (58) to the component (54) identified in the image data (56) and - augmented reality data (74) as a function of the correctly assigned virtual To generate picture element (76).

System according to one of the Claims 1 to 6 , further comprising a welding parameter unit, which is set up to provide - depending on the welding process data received - welding parameter data for carrying out the welding process and - sending the welding parameter data via a communication link (19) to the mobile communication device (24) according to the device pairing information ([ ID _M , ID _S ]) associated welding device (16, 18).

System according to one of the Claims 1 to 7 , characterized in that the welding process data acquisition unit is configured to receive a welding sequence plan (62) associated with the identified component (56), which includes welding process data for several welding processes to be carried out on the component (56) in a predetermined sequence in order to obtain the welding process data , and - select welding process data from the welding sequence schedule (62) for a welding process to be carried out on the component (56), in particular for a next welding process to be carried out on the component (56).