EP4591126A1 - Verfahren und vorrichtung zur intelligenten sichtfeldwahl von kameras an einer werkzeugmaschine - Google Patents

Verfahren und vorrichtung zur intelligenten sichtfeldwahl von kameras an einer werkzeugmaschine

Info

Publication number
EP4591126A1
EP4591126A1 EP23764934.8A EP23764934A EP4591126A1 EP 4591126 A1 EP4591126 A1 EP 4591126A1 EP 23764934 A EP23764934 A EP 23764934A EP 4591126 A1 EP4591126 A1 EP 4591126A1
Authority
EP
European Patent Office
Prior art keywords
machine tool
algorithm
recordings
cameras
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP23764934.8A
Other languages
English (en)
French (fr)
Inventor
Marc Teschner
Korbinian WEISS
Guillem Boada
Willi Pönitz
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Trumpf Werkzeugmaschinen SE and Co KG
Original Assignee
Trumpf Werkzeugmaschinen SE and Co KG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Trumpf Werkzeugmaschinen SE and Co KG filed Critical Trumpf Werkzeugmaschinen SE and Co KG
Publication of EP4591126A1 publication Critical patent/EP4591126A1/de
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Program-control systems
    • G05B19/02—Program-control systems electric
    • G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
    • G05B19/41875—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by quality surveillance of production
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Program-control systems
    • G05B19/02—Program-control systems electric
    • G05B19/18—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of program data in numerical form
    • G05B19/406—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of program data in numerical form characterised by monitoring or safety
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/20—Pc systems
    • G05B2219/24—Pc safety
    • G05B2219/24097—Camera monitors controlled machine
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/35—Nc in input of data, input till input file format
    • G05B2219/35502—Display picture, image of place of error
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/37—Measurements
    • G05B2219/37572—Camera, tv, vision

Definitions

  • the invention relates to a method and a device for producing a component.
  • Images are taken of at least parts of the machine tool by several cameras, the images being fed into an evaluation unit which has an algorithm for evaluating the images;
  • one or more relevant recordings are selected by the algorithm and the relevant recording(s) are output to a monitor.
  • the relevance of the recordings is determined by the following criterion or criteria: a) recordings that show a machine tool part that is mentioned in a status output (for example a sensor value or an axis position) or error output of a machine tool control are assigned a higher relevance than Recordings that show a machine tool part that is not mentioned in a status or error output; b) Images that have a high optical flow are assigned a higher relevance than images that have a lower optical flow; and/or c) recordings in which a moving machine tool part is identified are assigned a higher relevance than recordings in which no moving machine tool part is identified.
  • the method according to the invention enables a user or observer of the machine tool to concentrate on the “region of interest” of the machine tool. This means that even less experienced users can carry out remote maintenance of the machine tool. Errors can be analyzed or found faster and easier.
  • the method can be set up to display only the most relevant recording on the monitor. Alternatively, only a few relevant recordings can be displayed on the monitor. Alternatively, the most relevant recording or a few relevant recordings can be highlighted on the monitor. For example, less relevant recordings can be displayed smaller on the monitor.
  • the cameras are preferably designed as video cameras; The recordings are then available as video recordings.
  • Process steps A) and B) can be repeated, in particular several times. This allows a user to continuously track the region of interest in the machine tool.
  • At least one of the cameras is aligned with the area of the machine tool that is designated by the status output and/or the error output of the machine tool control.
  • the alignment can be done in particular by panning and/or zooming the camera. By panning and/or zooming, the camera's field of view can be aligned particularly well with the area of interest. If several cameras are aimed at the area, it is possible to view the area from multiple angles. The most relevant shot can then be selected from the multiple angles.
  • the algorithm When applying criterion c), the algorithm particularly preferably predicts the field of view of the camera into which an identified machine tool part will next move and assigns a higher relevance to the associated recording (of the next field of view) as soon as the identified machine tool part has left the current field of view . This allows the user to easily track a machine tool part.
  • Process step B) can be carried out “live”, ie largely without delay after process step A).
  • process step B) can be carried out with stored recordings, in particular for error analysis of the machine tool.
  • the algorithm is designed in the form of a machine learning algorithm.
  • the machine learning algorithm is preferably trained using stored recordings that have been assigned to a specific status or error output.
  • the machine learning algorithm can be trained by selecting cameras from one or more experienced users.
  • Monitoring the machine tool is further facilitated if, in addition to the recording(s) output on the monitor, there is a status or error output from the machine tool control, in particular on the monitor.
  • Machine data can be displayed in the recordings and functions can be deactivated/activated directly in the recordings if the situation requires it.
  • the method according to the invention is particularly suitable for use on a machine tool that is designed for laser processing, in particular for laser cutting or laser welding, of the component.
  • a machine tool that is designed for laser processing, in particular for laser cutting or laser welding, of the component.
  • the process can be used on an automated bending system or a storage system.
  • the object according to the invention is further achieved by a device for carrying out a method described here.
  • the device has the machine tool, the cameras - especially in the form of video cameras -, the evaluation unit with the algorithm and the monitor.
  • Features and advantages described for the method relate accordingly to the device and vice versa.
  • the machine tool preferably has a laser head for laser processing of the component, in particular for laser cutting and/or laser welding.
  • the machine tool can have an automated tool changer, in particular for a punching or bending machine.
  • Fig. 1 shows a schematic view of a device according to the invention and a method according to the invention.
  • Fig. 1 shows a device 10 with a machine tool 12 for producing a component 14.
  • the machine tool 12 has, among other things, a laser head 16, here in the form of a cutting head.
  • the production of the component 14 is controlled by a machine tool control 18.
  • the production of the component 14 is monitored by several cameras 20a, 20b, here in the form of video cameras. However, each camera 20a, b monitors its own field of view 22a, 22b. The fields of view are shown separately here, but can also overlap.
  • the recordings created by the cameras 20a, b, here in the form of videos, are fed into an evaluation unit 24.
  • the evaluation unit 24 can be part of the machine tool control 18.
  • the evaluation unit 24 has an algorithm 26 that evaluates the recordings.
  • the evaluation unit 24 is designed to use the algorithm 26 to determine the most relevant recordings, in particular the most relevant recording, and to transmit them to a monitor 28.
  • the evaluation of the production process is made much easier for a user by selecting the most relevant recording(s). In particular, in the event of a production error, the user can focus on the relevant recordings on the monitor 28 and does not have to hide recordings of irrelevant parts of the machine tool 12.
  • the evaluation unit 24 is designed to align the cameras 22a, 22b to the area of the machine tool 20, which is designated by a status output or an error output 30 of the machine tool control 18.
  • the cameras 22a, 22b can be pivoted by the evaluation unit 24 or a zoom of the cameras 22a, 22b can be set.
  • the algorithm 26 can be designed in the form of a machine learning algorithm.
  • the machine learning algorithm can be trained in particular on the basis of tagged stored recordings and/or on the basis of user behavior when selecting recordings.
  • the algorithm 26 can evaluate the relevance of the recordings by a) assessing whether the recording shows a part of the machine tool 12 for which a status and/or error output 30 is output by the machine tool control 18; b) determines the optical flow of the images and assigns high relevance to images with a high optical flow; and or c) a moving part of the machine tool 12 is identified in the recordings.
  • the algorithm 26 can identify the laser head 16 in the field of view 22a and, based on the movement of the laser head 16 in the direction of an arrow 32, recognize that it will next appear in the field of view 22b. As soon as the laser head 16 has left the field of view 22a, the algorithm 26 can then assign a high relevance to the field of view 22b so that the user can continue to track the movement of the laser head 16 on the monitor 28.
  • the device 10 shown in FIG. 1 or a method 34 shown in FIG. 1 enable the concentrated tracking of the most relevant recordings. Irrelevant recordings can be deleted or transmitted in reduced resolution to save storage space, computing capacity and/or bandwidth.
  • the invention relates to a method 34 for monitoring the production of a component 14 with a machine tool 12, with several cameras 20a, b covering different fields of view 22a, b.
  • An algorithm 26 can create a relevance ranking of recordings from the cameras 20a, b and display or highlight only the most relevant or the most relevant on a monitor 28.
  • the algorithm 26 can provide higher relevance to the images that a) show a known machine tool part that is mentioned in a status or error output; b) have high optical flow; and/or c) show an identified machine tool part that is moving. In case c), recordings can be successively provided with greater relevance when an identified machine tool part moves from one field of view 22a, b belonging to this recording to the next. Recordings that are less relevant can be deleted or displayed - and/or saved - at a reduced size.
  • the algorithm 26 can be designed in the form of artificial intelligence.
  • the invention further relates to a device 10 for carrying out such a method 34. Reference character list

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Manufacturing & Machinery (AREA)
  • Automation & Control Theory (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Human Computer Interaction (AREA)
  • General Factory Administration (AREA)
  • Numerical Control (AREA)

Abstract

Die Erfindung betrifft ein Verfahren (34) zur Überwachung der Herstellung eines Bauteils (14) mit einer Werkzeugmaschine (12), wobei mehrere Kameras (20a, b) verschiedene Sichtfelder (22a, b) abdecken. Ein Algorithmus (26) kann ein Relevanzranking von Aufnahmen der Kameras (20a, b) erstellen und nur das relevanteste oder die relevantesten auf einem Monitor (28) darstellen oder hervorheben. Der Algorithmus (26) kann die Aufnahmen mit einer höheren Relevanz versehen, die a) ein bekanntes Werkzeugmaschinenteil zeigen, das in einer Status- bzw. Fehlerausgabe (30) genannt wird; b) einen hohen optischen Fluss aufweisen; und/oder c) ein identifiziertes Werkzeugmaschinenteil zeigen, das sich bewegt. Im Fall c) können Aufnahmen nacheinander mit höherer Relevanz versehen werden, wenn sich ein identifiziertes Werkzeugmaschinenteil von einem zu dieser Aufnahme gehörenden Sichtfeld (22a, b) ins Nächste bewegt. Mit geringerer Relevanz versehene Aufnahmen können gelöscht oder mit verringerter Größe dargestellt - und/oder gespeichert - werden. Der Algorithmus (26) kann in Form einer künstlichen Intelligenz ausgebildet sein. Die Erfindung betrifft weiterhin eine Vorrichtung (10) zur Durchführung eines solchen Verfahrens (34).

Description

Verfahren und Vorrichtung zur intelligenten Sichtfeldwahl von Kameras an einer Werkzeugmaschine
Hintergrund der Erfindung
Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur Herstellung eines Bauteils.
Aus der DE 10 2017 121 098 Al ist es bekannt geworden, ein zu fertigendes Bauteil durch eine Fertigung zu verfolgen. Hierzu sind in der Fertigung mehrere Kameras vorgesehen, wobei die wiedergebende Kamera gewechselt wird, je nachdem, in welchem Sichtfeld der Kamera sich das Bauteil befindet. Die Ortung des Bauteils kann dabei von einem UWB-Ortungssystem unterstützt sein.
Es ist weiterhin bekannt, die Fertigung eines Bauteils in einer Werkzeugmaschine durch die Beobachtung aus verschiedenen Sichtfeldern bzw. Perspektiven mehrerer Kameras zu beobachten. Ein Nutzer bzw. Beobachter der Fertigung kann sich dabei an einem anderen Ort befinden als die Werkzeugmaschine und als sogenannter remote controller agieren. Für einen unerfahrenen Nutzer ist es dabei jedoch schwierig, aus der Vielzahl von Kameraaufnahmen die relevante(n) zu finden. Insbesondere im Falle eines Fehlers der Werkzeugmaschine möchte der Nutzer schnell die relevante(n) Kameraaufnahme(n) sichten.
Aufgabe der Erfindung
Es ist daher Aufgabe der Erfindung, ein Verfahren und eine Vorrichtung bereitzustellen, die das Überwachen einer Werkzeugmaschine signifikant erleichtern.
Diese Aufgabe wird erfindungsgemäß gelöst durch ein Verfahren gemäß Anspruch 1 und eine Vorrichtung gemäß Anspruch 12. Die abhängigen Ansprüche geben bevorzugte Weiterbildungen wieder.
Die Aufgabe wird somit gelöst durch ein Verfahren zur Herstellung eines Bauteils mit einer Werkzeugmaschine, wobei die folgenden Verfahrensschritte durchgeführt werden:
A) Es werden zumindest von Teilen der Werkzeugmaschine Aufnahmen durch mehrere Kameras erstellt, wobei die Aufnahmen in eine Auswerteeinheit gespeist werden, die einen Algorithmus zur Bewertung der Aufnahmen aufweist;
B) es erfolgt eine Auswahl einer oder mehrerer relevanter Aufnahmen durch den Algorithmus und die Ausgabe der relevanten Aufnahme(n) an einen Monitor. Die Relevanz der Aufnahmen wird dabei durch folgendes Kriterium bzw. folgende Kriterien bestimmt: a) Aufnahmen, die einen Werkzeugmaschinenteil zeigen, der in einer Statusausgabe (beispielsweise einem Sensorwert oder einer Achsposition) bzw. Fehlerausgabe einer Werkzeugmaschinensteuerung genannt wird, wird eine höhere Relevanz zugewiesen als Aufnahmen, die einen Werkzeugmaschinenteil zeigen, der nicht in einer Status- bzw. Fehlerausgabe genannt wird; b) Aufnahmen, die einen hohen optischen Fluss aufweisen, wird eine höhere Relevanz zugewiesen als Aufnahmen, die einen niedrigeren optischen Fluss aufweisen; und/oder c) Aufnahmen, in denen ein sich bewegender Werkzeugmaschinenteil identifiziert wird, wird eine höhere Relevanz zugewiesen als Aufnahmen, in denen kein sich bewegender Werkzeugmaschinenteil identifiziert wird.
Das erfindungsgemäße Verfahren ermöglicht es, einem Nutzer bzw. Beobachter der Werkzeugmaschine sich auf die „region of interest" der Werkzeugmaschine zu konzentrieren. Hierdurch können auch weniger erfahrene Nutzer die Fernwartung der Werkzeugmaschine übernehmen. Fehler können schneller und leichter analysiert bzw. gefunden werden.
Das Verfahren kann dazu eingerichtet sein, nur die relevanteste Aufnahme auf dem Monitor darzustellen. Alternativ dazu können nur wenige relevante Aufnahmen auf dem Monitor dargestellt werden. Weiter alternativ kann die relevanteste Aufnahme oder wenige relevante Aufnahmen auf dem Monitor hervorgehoben werden. Beispielsweise können weniger relevante Aufnahmen kleiner auf dem Monitor dargestellt werden.
Die Kameras sind vorzugsweise als Videokameras ausgebildet; die Aufnahmen liegen dann als Videoaufnahmen vor.
Die Verfahrensschritte A) und B) können, insbesondere mehrfach, wiederholt werden. Dies ermöglicht einem Nutzer die kontinuierliche Verfolgung der region of interest in der Werkzeugmaschine.
Bevorzugt wird zumindest eine der Kameras auf den Bereich der Werkzeugmaschine, der durch die Statusausgabe und/oder die Fehlerausgabe der Werkzeugmaschinensteuerung benannt wird, ausgerichtet. Die Ausrichtung kann insbesondere durch Schwenken und/oder zoomen der Kamera geschehen. Durch das Schwenken und/oder zoomen kann das Sichtfeld der Kamera besonders gut auf den interessanten Bereich ausgerichtet werden. Werden mehrere Kameras auf den Bereich ausgerichtet wird es ermöglicht den Bereich aus mehreren Blickwinkeln zu betrachten. Aus den mehreren Blickwinkeln, kann dann die relevanteste Aufnahme ausgewählt werden.
Besonders bevorzugt prognostiziert der Algorithmus bei Anwendung des Kriteriums c) das Sichtfeld der Kamera, in das sich ein identifiziertes Werkzeugmaschinenteil als nächstes bewegen wird und weist der zugehörigen Aufnahme (des nächsten Sichtfeldes) eine höhere Relevanz zu, sobald das identifizierte Werkzeugmaschinenteil das gegenwärtige Sichtfeld verlassen hat. Dies ermöglicht dem Nutzer die einfache Nachverfolgung eines Werkzeugmaschinenteils. Der Verfahrensschritt B) kann „live", d.h. weitestgehend verzögerungsfrei nach Verfahrensschritt A) erfolgen. Alternativ dazu kann Verfahrensschritt B) mit gespeicherten Aufnahmen durchgeführt werden, insbesondere zur Fehleranalyse der Werkzeugmaschine.
Um Ressourcen zu schonen, können Aufnahmen mit geringer Relevanz gelöscht oder mit verringerter Auflösung übertragen bzw. gespeichert werden.
In weiter bevorzugter Ausgestaltung der Erfindung ist der Algorithmus in Form eines Machine-Learning-Algorithmus ausgebildet. Der Machine-Learning-Algorith- mus ist vorzugsweise anhand gespeicherter Aufnahmen trainiert, die einer bestimmten Status- bzw. Fehlerausgabe zugeordnet wurden. Alternativ oder zusätzlich dazu kann der Machine-Learning-Algorithmus durch die Auswahl von Kameras eines erfahrenen Nutzers oder mehrerer erfahrener Nutzer trainiert sein.
Die Überwachung der Werkzeugmaschine wird weiter erleichtert, wenn zusätzlich zu der/den auf dem Monitor ausgegebenen Aufnahme(n) eine Status- bzw. Fehlerausgabe der Werkzeugmaschinensteuerung, insbesondere auf dem Monitor, erfolgt.
Weiterhin kann eine Interaktionsmöglichkeit mit der Werkzeugmaschine vorgesehen sein. Maschinendaten können in den Aufnahmen eingeblendet und Funktionen direkt in den Aufnahmen deaktiviert / aktiviert werden, wenn die Situation es erfordert. Beispiel : Eine Werkzeugmaschine bleibt mit einem Fehler „Transportkontrolle" stehen. Der Bediener bekommt direkt die relevante Live-Aufnahme(n) angezeigt und kann in der Aufnahme die Werkzeugmaschine wieder starten, sofern der Fehler ein Fehlalarm ist. Das ermöglicht eine deutlich schnellere Bedienung als extra in eine Steuerung zu wechseln und die Funktion herauszusuchen.
Das erfindungsgemäße Verfahren eignet sich besonders zum Einsatz an einer Werkzeugmaschine, die zur Laserbearbeitung, insbesondere zum Laserschneiden oder Laserschweißen, des Bauteils ausgebildet ist. Alternativ oder zusätzlich dazu kann das Verfahren an einer automatisierten Biegeanlage oder einem Lagersystem eingesetzt werden.
Die erfindungsgemäße Aufgabe wird weiterhin gelöst durch eine Vorrichtung zur Durchführung eines hier beschriebenen Verfahrens. Die Vorrichtung weist dabei die Werkzeugmaschine, die Kameras - insbesondere in Form von Videokameras - , die Auswerteeinheit mit dem Algorithmus und den Monitor auf. Zum Verfahren beschriebene Merkmale und Vorteile beziehen sich entsprechend auf die Vorrichtung und umgekehrt.
Die Werkzeugmaschine weist vorzugsweise einen Laserkopf zur Laserbearbeitung des Bauteils, insbesondere zum Laserschneiden und/oder Laserschweißen, auf.
Alternativ oder zusätzlich dazu kann die Werkzeugmaschine einen automatisierten Werkzeugwechsler, insbesondere für Stanz- oder Biegemaschine aufweisen.
Weitere Vorteile der Erfindung ergeben sich aus der Beschreibung und der Zeichnung. Ebenso können die vorstehend genannten und die noch weiter ausgeführten Merkmale erfindungsgemäß jeweils einzeln für sich oder zu mehreren in beliebigen Kombinationen Verwendung finden. Die gezeigten und beschriebenen Ausführungsformen sind nicht als abschließende Aufzählung zu verstehen, sondern haben vielmehr beispielhaften Charakter für die Schilderung der Erfindung.
Detaillierte Beschreibung der Erfindung und Zeichnung
Fig. 1 zeigt eine schematische Ansicht einer erfindungsgemäßen Vorrichtung und eines erfindungsgemäßen Verfahrens.
Fig. 1 zeigt eine Vorrichtung 10 mit einer Werkzeugmaschine 12 zur Herstellung eines Bauteils 14. Zur Herstellung des Bauteils 14 weist die Werkzeugmaschine 12 unter anderem einen Laserkopf 16, hier in Form eines Schneidkopfs, auf. Die Herstellung des Bauteils 14 wird von einer Werkzeugmaschinensteuerung 18 kontrolliert. Die Herstellung des Bauteils 14 wird von mehreren Kameras 20a, 20b, hier in Form von Videokameras, überwacht. Jede Kamera 20a, b überwacht dabei jedoch ein eigenes Sichtfeld 22a, 22b. Die Sichtfelder sind hier getrennt dargestellt, können sich jedoch auch überlappen. Die von den Kameras 20a, b erstellten Aufnahmen, hier in Form von Videos, werden in eine Auswerteeinheit 24 gespeist. Die Auswerteeinheit 24 kann Teil der Werkzeugmaschinensteuerung 18 sein. Die Auswerteeinheit 24 weist einen Algorithmus 26 auf, der die Aufnahmen bewertet.
Die Auswerteeinheit 24 ist dazu ausgebildet, mithilfe des Algorithmus 26 die relevantesten Aufnahmen, insbesondere die relevanteste Aufnahme, zu bestimmen und an einen Monitor 28 zu übermitteln. Die Bewertung des Produktionsvorgangs wird einem Nutzer durch die Auswahl der relevantesten Aufnahme(n) wesentlich erleichtert. Insbesondere im Falle eines Produktionsfehlers kann sich der Nutzer am Monitor 28 auf die relevanten Aufnahmen fokussieren und muss nicht selbst Aufnahmen von irrelevanten Teilen der Werkzeugmaschine 12 ausblenden.
Weiterhin ist die Auswerteeinheit 24 ist dazu ausgebildet, die Kameras 22a, 22b auf den Bereich der Werkzeugmaschine 20, der durch eine Statusausgabe oder eine Fehlerausgabe 30 der Werkzeugmaschinensteuerung 18 benannt wird, auszurichten. Dazu können die Kameras 22a, 22b von der Auswerteeinheit 24 geschwenkt werden oder ein Zoom der Kameras 22a, 22b eingestellt werden.
Der Algorithmus 26 kann in Form eines Machine-Learning-Algorithmus ausgebildet sein. Der Machine-Learning-Algorithmus kann insbesondere anhand getaggter gespeicherter Aufnahmen und/oder anhand eines Nutzerverhaltens bei der Auswahl von Aufnahmen trainiert sein.
Der Algorithmus 26 kann die Relevanz der Aufnahmen bewerten, indem er a) beurteilt, ob die Aufnahme einen Teil der Werkzeugmaschine 12 zeigt, zu dem eine Status- und/oder Fehlerausgabe 30 von der Werkzeugmaschinensteuerung 18 ausgegeben wird; b) den optischen Fluss der Aufnahmen bestimmt und Aufnahmen mit einem hohen optischen Fluss eine hohe Relevanz zuweist; und/oder c) einen sich bewegenden Teil der Werkzeugmaschine 12 in den Aufnahmen identifiziert.
Beispielsweise kann der Algorithmus 26 bei Anwendung des Kriteriums c) den Laserkopf 16 im Sichtfeld 22a identifizieren und anhand der Bewegung des Laserkopfes 16 in Richtung eines Pfeils 32 erkennen, dass er als nächstes im Sichtfeld 22b erscheinen wird. Sobald der Laserkopf 16 das Sichtfeld 22a verlassen hat, kann der Algorithmus 26 dann dem Sichtfeld 22b eine hohe Relevanz zuordnen, sodass der Nutzer am Monitor 28 die Bewegung des Laserkopfes 16 weiterverfolgen kann.
Die in Fig. 1 gezeigte Vorrichtung 10 bzw. ein in Fig. 1 gezeigtes Verfahren 34 ermöglichen die konzentrierte Verfolgung der relevantesten Aufnahmen. Irrelevante Aufnahmen können gelöscht oder in verminderter Auflösung übertragen werden, um Speicherplatz, Rechenkapazität und/oder Bandbreite zu sparen.
Unter Betrachtung der Zeichnung betrifft die Erfindung zusammenfassend ein Verfahren 34 zur Überwachung der Herstellung eines Bauteils 14 mit einer Werkzeugmaschine 12, wobei mehrere Kameras 20a, b verschiedene Sichtfelder 22a, b abdecken. Ein Algorithmus 26 kann ein Relevanzranking von Aufnahmen der Kameras 20a, b erstellen und nur das relevanteste oder die relevantesten auf einem Monitor 28 darstellen oder hervorheben. Der Algorithmus 26 kann die Aufnahmen mit einer höheren Relevanz versehen, die a) ein bekanntes Werkzeugmaschinenteil zeigen, das in einer Status- bzw. Fehlerausgabe genannt wird; b) einen hohen optischen Fluss aufweisen; und/oder c) ein identifiziertes Werkzeugmaschinenteil zeigen, das sich bewegt. Im Fall c) können Aufnahmen nacheinander mit höherer Relevanz versehen werden, wenn sich ein identifiziertes Werkzeugmaschinenteil von einem zu dieser Aufnahme gehörenden Sichtfeld 22a, b ins nächste bewegt. Mit geringerer Relevanz versehene Aufnahmen können gelöscht oder mit verringerter Größe dargestellt - und/oder gespeichert - werden. Der Algorithmus 26 kann in Form einer künstlichen Intelligenz ausgebildet sein. Die Erfindung betrifft weiterhin eine Vorrichtung 10 zur Durchführung eines solchen Verfahrens 34. Bezuqszeichenliste
10 Vorrichtung
12 Werkzeugmaschine 14 Bauteil
16 Laserkopf
18 Werkzeugmaschinensteuerung
20a, b Kamera
22a, b Sichtfeld 24 Auswerteeinheit
26 Algorithmus
28 Monitor
30 Status- und/oder Fehlerausgabe
32 Bewegungsrichtung des Laserkopfes 16 34 Verfahren

Claims

Patentansprüche
1. Verfahren (34) zur Herstellung eines Bauteils (14) mit einer Werkzeugmaschine (12), mit den Verfahrensschritten:
A) Gleichzeitiges Erstellen mehrerer Aufnahmen von zumindest Teilen der Werkzeugmaschine (12) durch mehrere Kameras (20a, b) mit verschiedenen Sichtfeldern (22a, b) und Einspeisen der Aufnahmen in eine Auswerteeinheit (24) mit einem Algorithmus (26);
B) Computerbasierte Auswahl einer oder mehrerer relevanten Aufnahme(n) durch den Algorithmus (26) und Ausgabe dieser Aufnahme(n) an einen Monitor (28), wobei die Relevanz der erstellten Aufnahmen anhand eines oder mehrerer der folgenden Kriterien bestimmt wird: a) Die jeweilige Aufnahme zeigt einen Bereich der Werkzeugmaschine (12), der durch eine Statusausgabe und/oder eine Fehlerausgabe (30) einer Werkzeugmaschinensteuerung (18) benannt wird; b) die jeweilige Aufnahme zeigt einen vergleichsweise hohen optischen Fluss; c) die jeweilige Aufnahme zeigt einen in der Aufnahme identifizierten, sich bewegenden, Teil der Werkzeugmaschine (12).
2. Verfahren nach Anspruch 1, bei dem die Verfahrensschritte A) und B), insbesondere mehrfach, wiederholt werden.
3. Verfahren nach Anspruch 1 oder 2, bei dem zumindest eine der Kameras (20a, b) auf den Bereich der Werkzeugmaschine (20), der durch die Statusausgabe und/oder die Fehlerausgabe (30) der Werkzeugmaschinensteuerung (18) benannt wird, ausgerichtet wird, insbesondere durch Schwenken und/oder zoomen.
4. Verfahren nach Anspruch 2 oder 3, bei dem der Algorithmus (26) im Kriterium c) prognostiziert, in welches nächste Sichtfeld (22a, b) der identifizierte Teil der Werkzeugmaschine (12) bewegt wird, wobei die Aufnahme dieses nächsten Sichtfeldes (22a, b) mit einer hohen Relevanz bewertet wird, sobald der identifizierte Teil das gegenwärtige Sichtfeld (22a, b) verlassen hat.
5. Verfahren nach einem der vorhergehenden Ansprüche, bei dem der Verfahrensschritt B) mit gespeicherten Aufnahmen durchgeführt wird.
6. Verfahren nach einem der vorhergehenden Ansprüche, bei dem eine Aufnahme mit geringer Relevanz gelöscht oder mit verringerter Auflösung übertragen und/oder gespeichert wird.
7. Verfahren nach einem der vorhergehenden Ansprüche, bei dem der Algorithmus (26) in Form eines Machine-Learning-Algorithmus ausgebildet ist.
8. Verfahren nach einem der vorhergehenden Ansprüche, bei dem zu der/den auf dem Monitor (28) dargestellten Aufnahme(n) eine Statusausgabe und/oder eine Fehlerausgabe (30) der Werkzeugmaschinensteuerung (18) ausgegeben wird.
9. Verfahren nach einem der vorhergehenden Ansprüche, bei dem auf der/den auf dem Monitor (28) dargestellten Aufnahme(n) eine Interaktionsmöglichkeit zur Steuerung der Werkzeugmaschine (12) ausgegeben wird.
10. Verfahren nach einem der vorhergehenden Ansprüche, bei dem die Herstellung des Bauteils (14) eine Laserbearbeitung durch die Werkzeugmaschine (12) umfasst.
11. Verfahren nach Anspruch 10, bei dem die Herstellung des Bauteils (14) ein Laserschneiden des Bauteils (14) umfasst.
12. Vorrichtung (10) zur Durchführung eines Verfahrens (34) nach einem der vorhergehenden Ansprüche, wobei die Vorrichtung (10) die Werkzeugmaschine (12), die Kameras (20a, b), die Auswerteeinheit (24) mit dem Algorithmus (26) und den Monitor (28) aufweist, wobei der Algorithmus (26) dazu ausgebildet ist, die Relevanz der mit den Kameras (20a, b) erstellten Aufnahmen anhand eines oder mehrerer der Kriterien a) bis c) zu bestimmen und eine oder mehrere relevante Aufnahmen an den Monitor (28) auszugeben. Vorrichtung nach Anspruch 12 in Verbindung mit Anspruch 10, bei dem die Werkzeugmaschine (12) einen Laserkopf (16) aufweist. Vorrichtung nach Anspruch 12 oder 13, bei dem die Werkzeugmaschine (12) einen automatisierten Werkzeugwechsler aufweist.
EP23764934.8A 2022-09-19 2023-09-04 Verfahren und vorrichtung zur intelligenten sichtfeldwahl von kameras an einer werkzeugmaschine Pending EP4591126A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102022123924.1A DE102022123924A1 (de) 2022-09-19 2022-09-19 Verfahren und Vorrichtung zur intelligenten Sichtfeldwahl von Kameras an einer Werkzeugmaschine
PCT/EP2023/074188 WO2024061604A1 (de) 2022-09-19 2023-09-04 Verfahren und vorrichtung zur intelligenten sichtfeldwahl von kameras an einer werkzeugmaschine

Publications (1)

Publication Number Publication Date
EP4591126A1 true EP4591126A1 (de) 2025-07-30

Family

ID=87930149

Family Applications (1)

Application Number Title Priority Date Filing Date
EP23764934.8A Pending EP4591126A1 (de) 2022-09-19 2023-09-04 Verfahren und vorrichtung zur intelligenten sichtfeldwahl von kameras an einer werkzeugmaschine

Country Status (5)

Country Link
US (1) US20250220309A1 (de)
EP (1) EP4591126A1 (de)
CN (1) CN119895342A (de)
DE (1) DE102022123924A1 (de)
WO (1) WO2024061604A1 (de)

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AT7514U1 (de) * 2003-11-07 2005-04-25 Fraunhofer Ges Forschung Vorrichtung zur erkennung von oberflächenfehlern
DE102004007828B4 (de) * 2004-02-18 2006-05-11 Isra Vision Systems Ag Verfahren und System zur Inspektion von Oberflächen
DE102016012371B4 (de) * 2016-10-15 2024-08-08 Volkswagen Aktiengesellschaft Verfahren und Anlage zum Ermitteln der Defektfläche mindestens einer Fehlstelle auf mindestens einer Funktionsoberfläche eines Bauteils oder Prüfkörpers
DE102017121098A1 (de) 2017-09-12 2019-03-14 Trumpf Werkzeugmaschinen Gmbh & Co. Kg Objektverfolgung-basierte steuerung von fertigungsprozessen in der metallverarbeitenden industrie
DE102018126059A1 (de) * 2018-10-19 2020-04-23 Trumpf Werkzeugmaschinen Gmbh + Co. Kg Verfahren zum visualisieren von prozessinformationen bei der fertigung von blechbauteilen
IL263399B (en) * 2018-11-29 2022-09-01 Inspekto A M V Ltd Centralized analyzes of multiple devices for visual inspection of a production line

Also Published As

Publication number Publication date
US20250220309A1 (en) 2025-07-03
WO2024061604A1 (de) 2024-03-28
DE102022123924A1 (de) 2024-03-21
CN119895342A (zh) 2025-04-25

Similar Documents

Publication Publication Date Title
DE102009029478B4 (de) System und Verfahren für einen schnellen ungefähren Fokus
EP3671632B1 (de) Bildbasierte wartungsvorhersage und detektion von fehlbedienungen
DE60213715T2 (de) Bildüberwachungsvorrichtung, -verfahren und -verarbeitungsprogramm
EP2130087B1 (de) Verfahren und vorrichtung zum mikroskopischen untersuchen einer probe, computerprogramm und computerprogrammprodukt
DE102012220875A1 (de) Maschinelle Visionssystem-Editierumgebung für ein Teilprogramm, in welchem ein kontinuierlicher Stream der Bilderfassungsoperationen während eines Ablaufmodus ausgeführt wird
DE102012220882A1 (de) System und Verfahren unter Verwendung eines Bearbeitungsinitialisierungsblocks in einer Teileprogramm-Bearbeitungsumgebung in einem Maschinenvisionssystem
EP3701434A1 (de) Verfahren und vorrichtung zum automatischen erzeugen eines künstlichen neuronalen netzes
DE112017002965T5 (de) Verfahren und System zum Abwinkeln einer visuellen Inspektionsvorrichtung
DE102012219775A1 (de) Einstelleinheit und Verfahren zum Einstellen eines Ablaufs zur automatischen Aufnahme von Bildern eines Objekts mittels einer Aufnahmevorrichtung und Aufnahmevorrichtung mit einer solchen Einstelleinheit
DE112015006271T5 (de) Mikroskopiesystem, Mikroskopieverfahren und Mikroskopieprogramm
DE102011085156A1 (de) Bewegtbildaufnahmevorrichtung, Verfahren zum Beobachten eines Bewegtbilds, Bewegtbildbeobachtungsprogramm und computerlesbares Aufzeichnungsmedium
WO2024061604A1 (de) Verfahren und vorrichtung zur intelligenten sichtfeldwahl von kameras an einer werkzeugmaschine
DE102019101634A1 (de) Werkstückbilderzeugungsvorrichtung
DE112021002080T5 (de) Informationsverarbeitungsvorrichtung, informationsverarbeitungsverfahren und programm
EP4284012A1 (de) Verfahren zur steuerung einer kamera eines kanalrohrinspektionsgerätes
DE3000918A1 (de) Korrelationsvorrichtung und verfahren zur durchfuehrung einer korrelation
DE202019105304U1 (de) Vorrichtung zum Erstellen eines künstlichen neuronalen Netzes
EP2808843B1 (de) Verfahren zur Parametrierung eines Bildverarbeitungssystems für die Überwachung einer Werkzeugmaschine
DE102022204175A1 (de) Verfahren und Vorrichtung für optische Inspektionen
DE102020208309A1 (de) Verfahren und Vorrichtung zum Erstellen eines maschinellen Lernsystems
DE102017108016A1 (de) Mikroskopsystem und Verfahren zum Betreiben eines Mikroskopsystems
EP3168673B1 (de) System zur visualisierung von bilddaten
LU504906B1 (de) Kamerasystem und Verfahren zur Einstellung eines Kamerasystems für die Erkennung eines Objekts
EP1168030A2 (de) Verfahren und Anordnung zur Anpassung der lateralen und zeitlichen Auflösung eines Mikroskopbildes
DE102020202392A1 (de) Verfahren, Vorrichtung und Computerprogramm zum Vorhersagen einer geeigneten Konfiguration eines maschinellen Lernsystems für einen Trainingsdatensatz

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20250416

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC ME MK MT NL NO PL PT RO RS SE SI SK SM TR

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)