DE102022210427B3 - Method and device for interactive annotation of image data in service operations - Google Patents
Method and device for interactive annotation of image data in service operations Download PDFInfo
- Publication number
- DE102022210427B3 DE102022210427B3 DE102022210427.7A DE102022210427A DE102022210427B3 DE 102022210427 B3 DE102022210427 B3 DE 102022210427B3 DE 102022210427 A DE102022210427 A DE 102022210427A DE 102022210427 B3 DE102022210427 B3 DE 102022210427B3
- Authority
- DE
- Germany
- Prior art keywords
- machine
- image data
- component
- digital model
- serviced component
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 68
- 230000002452 interceptive effect Effects 0.000 title 1
- 238000012423 maintenance Methods 0.000 claims abstract description 27
- 238000001514 detection method Methods 0.000 claims abstract description 8
- 238000012549 training Methods 0.000 claims abstract description 8
- 238000004590 computer program Methods 0.000 claims abstract description 6
- 239000003550 marker Substances 0.000 claims description 8
- FGUUSXIOTUKUDN-IBGZPJMESA-N C1(=CC=CC=C1)N1C2=C(NC([C@H](C1)NC=1OC(=NN=1)C1=CC=CC=C1)=O)C=CC=C2 Chemical compound C1(=CC=CC=C1)N1C2=C(NC([C@H](C1)NC=1OC(=NN=1)C1=CC=CC=C1)=O)C=CC=C2 FGUUSXIOTUKUDN-IBGZPJMESA-N 0.000 claims description 7
- 238000001454 recorded image Methods 0.000 claims description 5
- 238000011161 development Methods 0.000 description 6
- 230000018109 developmental process Effects 0.000 description 6
- 230000033001 locomotion Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000009420 retrofitting Methods 0.000 description 1
- 210000002023 somite Anatomy 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/20—Administration of product repair or maintenance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/40—Business processes related to the transportation industry
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30164—Workpiece; Machine component
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Physics & Mathematics (AREA)
- Human Resources & Organizations (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Economics (AREA)
- Quality & Reliability (AREA)
- Strategic Management (AREA)
- Marketing (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Entrepreneurship & Innovation (AREA)
- Operations Research (AREA)
- Game Theory and Decision Science (AREA)
- Educational Administration (AREA)
- Development Economics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Primary Health Care (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
Die Erfindung betrifft ein Verfahren zum Anlernen eines Bilderkennungsalgorithmus für die Fehlererkennung in der Instandhaltung von Maschinen mit mehreren Komponenten, ein Computerprogrammprodukt zur Ausführung des Verfahrens und eine Vorrichtung zur Ausführung des Verfahrens, wobei das Verfahren folgende Verfahrensschritte umfasst:
- Erfassen von Bilddaten der Maschine mit mittels wenigstens einer Kamera und Speichern der Bilddaten in einer Datenbank;
- Erstellen eines digitalen Modells der Maschine anhand der erfassten Bilddaten;
- Erstellen eines Maschinenkoordinatensystems für das digitale Modell der Maschine;
- Durchführen von Wartungsarbeiten an wenigstens einer fehlerhaften Komponente der Maschine;
- Erfassen einer Position der gewarteten Komponente und
- Erzeugen von Positionsdaten zu der gewarteten Komponente im Maschinenkoordinatensystem;
- Markieren der erfassten Bilddaten zur gewarteten Komponente aus dem digitalen Modell der Maschine anhand der zugeordneten Positionsdaten im Maschinenkoordinatensystem.
- Acquiring image data of the machine by means of at least one camera and storing the image data in a database;
- Creation of a digital model of the machine based on the captured image data;
- Creation of a machine coordinate system for the digital model of the machine;
- Carrying out maintenance work on at least one faulty component of the machine;
- detecting a position of the serviced component and
- Generating position data on the serviced component in the machine coordinate system;
- Marking of the captured image data for the serviced component from the digital model of the machine based on the assigned position data in the machine coordinate system.
Description
Die Erfindung betrifft ein Verfahren zum Anlernen eines Bilderkennungsalgorithmus für die Fehlererkennung in der Instandhaltung von Maschinen mit mehreren Komponenten, ein Computerprogrammprodukt zur Ausführung des Verfahrens und eine Vorrichtung zur Ausführung des Verfahrens.The invention relates to a method for training an image recognition algorithm for error detection in the maintenance of machines with multiple components, a computer program product for executing the method, and a device for executing the method.
Algorithmen der künstlichen Intelligenz, insbesondere Machine Learning Algorithmen, werden in einer Lernphase für bestimmte Aufgaben trainiert, um diese in einer Arbeitsphase auszuführen. In der Lernphase werden Ausgangsdaten, insbesondere Bilddaten, oft von Personen annotiert. Sollen beispielsweise Menschen oder Objekte auf Fotos während der Arbeitsphase von den Algorithmen erkannt werden, werden während der Lernphase Fotos mit den zu erkennen Objekten entsprechend annotiert, indem die zu erkennen Objekten auf den Fotos manuell markiert werden. Für einen zuverlässigen Algorithmus wird eine Vielzahl solch annotierter Fotos benötigt. Im industriellen Umfeld ist eine Annotation aus mehreren Gründen erschwert. Einerseits sind für die Annotation Experten erforderlich. Andererseits ist die erforderliche Datenmenge für das Training oft zu gering, beispielsweise weil zu erkennende Defekte selten auftreten.Artificial intelligence algorithms, in particular machine learning algorithms, are trained in a learning phase for specific tasks in order to execute them in a working phase. In the learning phase, initial data, especially image data, are often annotated by people. If, for example, people or objects in photos are to be recognized by the algorithms during the working phase, photos with the objects to be recognized are annotated accordingly during the learning phase by manually marking the objects to be recognized on the photos. A large number of such annotated photos are required for a reliable algorithm. In the industrial environment, annotation is difficult for several reasons. On the one hand, experts are required for the annotation. On the other hand, the amount of data required for training is often too small, for example because defects to be detected rarely occur.
Die Offenlegungsschrift
Der Erfindung liegt die Aufgabe zugrunde, ein Verfahren zum vereinfachten Anlernen eines Bilderkennungsalgorithmus für die Instandhaltung von komplexen Maschinen vorzuschlagen.The invention is based on the object of proposing a method for simplified training of an image recognition algorithm for the maintenance of complex machines.
Gelöst wird die Aufgabe durch die Gegenstände der unabhängigen Patentansprüche. Weiterbildungen und Ausgestaltungen der Erfindung finden sich in den Merkmalen der abhängigen Patentansprüche wieder.The object is solved by the subject matter of the independent patent claims. Further developments and refinements of the invention can be found in the features of the dependent patent claims.
Ein erfindungsgemäßes Verfahren zum Anlernen eines Bilderkennungsalgorithmus für die Fehlererkennung in der Instandhaltung von Maschinen mit mehreren Komponenten umfasst folgende Verfahrensschritte:
- a. Erfassen von Bilddaten der Maschine mit mittels wenigstens einer Kamera und Speichern der Bilddaten in einer Datenbank;
- b. Erstellen eines digitalen Modells der Maschine anhand der erfassten Bilddaten;
- c. Erstellen eines Maschinenkoordinatensystems für das digitale Modell der Maschine;
- d. Durchführen von Wartungsarbeiten an wenigstens einer fehlerhaften Komponente der Maschine;
- e. Erfassen einer Position der gewarteten Komponente und Erzeugen von Positionsdaten zu der gewarteten Komponente im Maschinenkoordinatensystem;
- f. Markieren der erfassten Bilddaten zur gewarteten Komponente aus dem digitalen Modell der Maschine anhand der zugeordneten Positionsdaten im Maschinenkoordinatensystem.
- a. Capturing image data of the machine with at least one camera and storing the image data in a database;
- b. creating a digital model of the machine based on the captured image data;
- c. Creation of a machine coordinate system for the digital model of the machine;
- i.e. performing maintenance work on at least one faulty component of the machine;
- e. detecting a position of the serviced component and generating position data on the serviced component in the machine coordinate system;
- f. Marking of the captured image data for the serviced component from the digital model of the machine based on the assigned position data in the machine coordinate system.
Bei der Maschine handelt es sich insbesondere um ein Fahrzeug, insbesondere um ein Schienenfahrzeug.The machine is in particular a vehicle, in particular a rail vehicle.
Das Erfassen von Bilddaten der Maschine in Verfahrensschritt a. wird vorteilhaft mit einer Vielzahl an hochauflösenden Kameras ausgeführt. So kann daraufhin ein detailliertes Abbild der Maschine erzeugt werden.The acquisition of image data of the machine in method step a. is advantageously carried out with a large number of high-resolution cameras. A detailed image of the machine can then be generated.
Dabei werden vorteilhaft alle sichtbaren und zumindest teilweise von außen frei zugänglichen Komponenten der Maschine erfasst. Es werden also Bilddaten der gesamten Maschine von außen aufgenommen.Advantageously, all visible components of the machine that are at least partially freely accessible from the outside are recorded. So image data of the entire machine is recorded from the outside.
Anhand der erfassten Bilddaten kann gemäß einer Weiterbildung der Erfindung in Verfahrensschritt b. ein dreidimensionales digitales Modell (3D-Modell) der Maschine erstellt werden. Dazu werden zunächst die erdfassten Bilddaten aus der Datenbank ausgelesen. Folglich wird in Verfahrensschritt c. ein Maschinenkoordinatensystem für das digitale 3D-Modell der Maschine erstellt.Based on the recorded image data, according to a further development of the invention, in method step b. a three-dimensional digital model (3D model) of the machine can be created. For this purpose, the captured image data are first read out of the database. Consequently, in method step c. created a machine coordinate system for the digital 3D model of the machine.
Das Maschinenkoordinatensystem wird anhand der Bilddaten mittels eines geeigneten Algorithmus erstellt. Als Ursprung könnte beispielsweise ein für einen Bilderkennungsalgorithmus einfach zu identifizierender Referenzpunkt der Maschine, beispielsweise ein Puffer oder ein Rad eines Schienenfahrzeugs, dienen.The machine coordinate system is created using a suitable algorithm based on the image data. For example, a reference point of the machine that is easy to identify for an image recognition algorithm, for example a buffer or a wheel of a rail vehicle, could serve as the origin.
Gemäß einer weiteren Weiterbildung handelt es sich bei der Maschine um ein Schienenfahrzeug und das Erfassen von Bilddaten der Maschine mit mittels wenigstens einer Kamera wird bei der Einfahrt des Schienenfahrzeugs in ein Wartungsdepot ausgeführt, beispielsweise mittels eines sogenannten Kameratunnels. Das Schienenfahrzeug fährt bei der Einfahrt in das Depot durch diesen Tunnel und wird von mehreren, insbesondere von allen, Seiten abgelichtet.According to a further development, the machine is a rail vehicle and the acquisition of image data of the machine with at least one camera is carried out when the rail vehicle enters a maintenance depot, for example by means of a so-called camera tunnel. The rail vehicle drives through this tunnel when entering the depot and is photographed from several, in particular from all, sides.
Im Depot selbst können dann weniger Kameras angeordnet und auf das in seiner Wartungsposition stehenden Schienenfahrzeug ausgerichtet sein, um beispielsweise gemäß Verfahrensschritt e. die Position der gewarteten Komponente zu erfassen. Eine Einordnung des Schienenfahrzeugs in das Maschinenkoordinatensystem kann beispielsweise wiederum mittels eines für einen Bilderkennungsalgorithmus einfach zu identifizierenden Referenzpunkts der Maschine, beispielsweise eines Puffers oder eines Rades des Schienenfahrzeugs, erfolgen.Fewer cameras can then be arranged in the depot itself and aimed at the rail vehicle in its maintenance position, to, for example, according to method step e. to record the position of the serviced component. The rail vehicle can be classified in the machine coordinate system, for example, by means of a reference point of the machine that is easy to identify for an image recognition algorithm, for example a buffer or a wheel of the rail vehicle.
Alternativ erfolgt Verfahrensschritt a. im Depot bei dem in seiner Wartungsposition stehenden Schienenfahrzeug. Dies kann gleichermaßen für die auf Verfahrensschritt a. folgenden Verfahrensschritte b. und c. sowie d. gelten. Das Depot ist dann entsprechend mit einer Vielzahl an, insbesondere hochauflösenden, Kameras in verschiedenen Positionen und Blickwinkeln auf das Schienenfahrzeug ausgerüstet. Die Überwachung der Wartungsarbeiten gemäß Verfahrensschritt d. und die Erfassung der Position der gewarteten Komponente gemäß Verfahrensschritt e. kann dann durch dieselben Kameras erfolgen.Alternatively, method step a. in the depot with the rail vehicle in its maintenance position. This can be done equally for the process step a. following process steps b. and c. as well as d. are valid. The depot is then accordingly equipped with a large number of cameras, in particular high-resolution cameras, in different positions and viewing angles of the rail vehicle. The monitoring of the maintenance work according to method step d. and the detection of the position of the serviced component according to method step e. can then be done through the same cameras.
Die Wartungsarbeiten, insbesondere eine Instandsetzung, Reparatur oder Austausch von Komponenten der Maschine, wird insbesondere von geschultem Servicepersonal durchgeführt.The maintenance work, in particular maintenance, repair or replacement of components of the machine, is carried out in particular by trained service personnel.
Gemäß Verfahrensschritt e. wird die Position der gewarteten Komponente erfasst. Dies kann weitergebildet mittels wenigstens einer Kamera, insbesondere mittels wenigstens zwei Kameras, beispielsweise mittels der Kameras im Depot bei in seiner Wartungsposition stehenden Schienenfahrzeug erfolgen.According to process step e. the position of the serviced component is recorded. This can be carried out in a further developed manner by means of at least one camera, in particular by means of at least two cameras, for example by means of the cameras in the depot when the rail vehicle is in its maintenance position.
Weitergebildet wird die Position der gewarteten Komponente Verfahrensschritt e. über ein Mustererkennungsalgorithmus anhand von Bilddaten erfasst, welche mittels wenigstens zwei Kameras stereoskopisch erfasst sind. Die Position der gewarteten Komponente kann dann anhand einer Triangulation der wenigstens zwei Kamerapositionen erkannt werden. Hierfür können beispielsweise Bewegungen des die Komponente wartenden Servicepersonals überwacht und verfolgt werden. Derartige Verfahren sind aus dem Bereich des Motion Capturings ohne Marker bekannt.The position of the serviced component is developed in method step e. recorded via a pattern recognition algorithm based on image data, which are recorded stereoscopically using at least two cameras. The position of the serviced component can then be identified using a triangulation of the at least two camera positions. For this purpose, for example, the movements of the service personnel who are servicing the components can be monitored and tracked. Such methods are known from the field of motion capturing without markers.
Gemäß einer weiteren Weiterbildung geht Verfahrensschritt e. voran:
- - Markieren der fehlerhaften Komponente mittels eines Markers, insbesondere durch das Servicepersonal.
- - Marking of the faulty component using a marker, in particular by the service personnel.
In einer weiteren Weiterbildung ist vorgesehen, dass Verfahrensschritt d. umfasst:
- - Markieren eines Fehlers der fehlerhaften Komponente mittels eines Markers, insbesondere durch das Servicepersonal.
- - Marking an error in the faulty component using a marker, in particular by the service personnel.
Weitergebildet werden dann in Verfahrensschritt e. neben der Position der gewarteten Komponente auch die Position des Fehlers erfasst und neben dem Erzeugen von Positionsdaten zu der gewarteten Komponente im Maschinenkoordinatensystem auch Positionsdaten zum Fehler im Maschinenkoordinatensystem erzeugt. Entsprechend können in Verfahrensschritt f. auch die erfassten Bilddaten zum Fehler aus dem digitalen Modell der Maschine anhand der zugeordneten Positionsdaten bezogen auf den Fehler im Maschinenkoordinatensystem markiert werden.Further training is then carried out in method step e. In addition to the position of the serviced component, the position of the error is also recorded and, in addition to generating position data for the serviced component in the machine coordinate system, position data for the error in the machine coordinate system is also generated. Correspondingly, in method step f., the recorded image data on the error from the digital model of the machine can also be marked using the assigned position data related to the error in the machine coordinate system.
Die erfassten Positionsdaten werden in Verfahrensschritt f. in die Bilddaten mittels des Maschinenkoordinatensystems übertragen und die erfassten Bilddaten aus dem digitalen Modell der Maschine zur gewarteten Komponente und/oder zum Fehler anhand der zugeordneten Positionsdaten im Maschinenkoordinatensystem markiert.In method step f., the recorded position data is transferred to the image data using the machine coordinate system and the recorded image data from the digital model of the machine for the serviced component and/or the error is marked using the assigned position data in the machine coordinate system.
Dabei wird weitergebildet zumindest ein Bildausschnitt, welcher ein Abbild der fehlerhaften Komponente und/oder des Fehlers umfasst, markiert. Mittels des Maschinenkoordinatensystems ist bekannt, welcher Punkt oder welcher Bereich im Bild bzw. den Bilddaten, welchen Teil der Maschine, beispielsweise des Schienenfahrzeugs, zeigt.At least one image detail, which includes an image of the faulty component and/or the fault, is then marked. By means of the machine coordinate system it is known which point or which area in the image or the image data shows which part of the machine, for example the rail vehicle.
Weitergebildet folgt dem Verfahrensschritt f. nach:
- - Bestimmen der gewarteten Komponente und/oder des Fehlers in den markierten Bilddaten zur gewarteten Komponente und/oder des Fehlers mittels eines Bilderkennungsalgorithmus.
- - Determining the serviced component and/or the error in the marked image data for the serviced component and/or the error using an image recognition algorithm.
Dies kann über einen Vergleich mit Referenzbilddaten zu der Komponente aus einer Referenzdatenbank erfolgen.This can be done via a comparison with reference image data for the component from a reference database.
Weitergebildet umfasst Verfahrensschritt d.:
- - Identifizieren der fehlerhaften bzw. gewarteten Komponente oder des Fehlers, insbesondere durch das Wartungspersonal, beispielsweise durch Auswahl aus einer Liste von Komponenten der Maschine und/oder Fehlern, und Erzeugen von Informationen zu der identifizierten Komponente und/oder des Fehlers.
- - Identifying the faulty or serviced component or the error, in particular by the maintenance staff, for example by selecting from a list of components of the machine and/or errors, and generating information about the identified component and/or the error.
Die Informationen zu der identifizierten Komponente können wiederum in einer bzw. derselben Datenbank gespeichert werden.
Dem Verfahrensschritt f. kann dann nachfolgen:
- - Verknüpfen der erfassten Bilddaten zur gewarteten Komponente aus dem digitalen Modell der Maschine mit den zur gewarteten Komponente der Maschine erzeugten Informationen, die hierzu insbesondere aus der Datenbank ausgelesen werden.
Method step f. can then follow:
- - Linking the recorded image data on the serviced component from the digital model of the machine with the information generated on the serviced component of the machine, which is read out from the database in particular for this purpose.
Mitarbeitende des Servicepersonal erstellen bei oder nach erfolgter Durchführung der Wartungsarbeiten üblicherweise einen Wartungsbericht mit Informationen zur gewarteten Komponente, zur Art des Fehlers und/oder zu den durchgeführten Wartungsarbeiten. Diese Informationen lassen sich auslesen und in einfacher Weise mit den entsprechenden Bilddaten verknüpfen. So werden die Bilddaten zu fehlerhaften Komponenten und/oder Fehlern aufwandsarm annotiert.During or after the maintenance work has been carried out, employees of the service staff usually create a maintenance report with information on the serviced component, the type of error and/or the maintenance work carried out. This information can be read out and easily linked to the corresponding image data. In this way, the image data on faulty components and/or errors are annotated with little effort.
In einfacher Weise lassen sich nachfolgend anhand der so annotierten Bilddaten zu der Maschine fehlerhafte Komponenten oder Fehler erkennen, insbesondere mittels eines Bilderkennungsalgorithmus.Faulty components or faults can subsequently be identified in a simple manner on the basis of the image data on the machine annotated in this way, in particular by means of an image recognition algorithm.
Mitarbeitende des Servicepersonals führen einfach ihre normalen Wartungsarbeiten durch. Die Markierung der fehlerhaften Komponente oder des Fehlers erfolgt dabei passiv, durch Nachverfolgung der Wartungsarbeiten an der fehlerhaften Komponente, oder aufwandsarm aktiv durch Hindeuten auf die fehlerhafte Komponente durch die Mitarbeitenden des Servicepersonals. Durch Auswertung des Wartungsberichts, welcher ebenfalls der üblichen Tätigkeit entspricht, kann anschließend die mittels des Bilderkennungsalgorithmus` in den markierten Bilddaten zur gewarteten Komponente und/oder des Fehlers bestimmte Komponente und/oder des Fehlers mittels detaillierter Informationen zur Komponente und/oder zum Fehler annotiert werden. Service personnel simply carry out their normal maintenance work. The faulty component or error is marked passively, by tracking the maintenance work on the faulty component, or actively, with little effort, by the service staff pointing out the faulty component. By evaluating the maintenance report, which also corresponds to the usual activity, the component and/or the error determined using the image recognition algorithm in the marked image data for the serviced component and/or the error can then be annotated using detailed information about the component and/or the error .
Mittels eines nach dem erfindungsgemäßen Verfahren angelernten Bilderkennungsalgorithmus für die Fehlererkennung in der Instandhaltung von Maschinen mit mehreren Komponenten kann die Fehlererkennung in der Instandhaltung von Maschinen mit mehreren Komponenten mit folgenden Verfahrensschritten erfolgen:
- - Erfassen von Bilddaten der Maschine mit mittels wenigstens einer Kamera;
- - Erkennen einer fehlerhaften Komponente der Maschine anhand der erfassten Bilddaten der Maschine mittels des Bilderkennungsalgorithmus.
- - Acquisition of image data of the machine by means of at least one camera;
- - Recognition of a faulty component of the machine based on the captured image data of the machine using the image recognition algorithm.
Große Teile des Verfahrens, insbesondere die Verfahrensschritte a., b., c., e. und f., lassen sich mittels eines Computerprogrammprodukts ausführen. Dieses umfasst Befehle, die bei der Ausführung des Programms durch wenigstens ein geeignetes Endgerät dieses veranlassen, das erfindungsgemäße Verfahren auszuführen. Das Computerprogrammprodukt kann auf einem Datenträger gespeichert sein.Large parts of the method, in particular the method steps a., b., c., e. and f. can be executed by means of a computer program product. This includes commands which, when the program is executed by at least one suitable terminal, cause the latter to execute the method according to the invention. The computer program product can be stored on a data carrier.
Eine erfindungsgemäße Vorrichtung ist eingerichtet zur Ausführung des erfindungsgemäßen Verfahrens. Es umfasst hierfür die bereits genannten, zur Ausführung des jeweiligen Verfahrensschritts geeigneten Mittel:
- - Wenigstens eine Kamera zum Erfassen von Bilddaten der Maschine;
- - Wenigstens einen Speicher zum Speichern der Bilddaten in einer Datenbank;
- - Wenigstens einen Prozessor zum Erstellen eines digitalen Modells der Maschine anhand der erfassten Bilddaten;
- - Wenigstens einen Prozessor zum Erstellen eines Maschinenkoordinatensystems für das digitale Modell der Maschine;
- - Wenigstens eine Tracking-Einheit umfassend wenigstens eine Kamera zum Erfassen einer Position der gewarteten Komponente und wenigstens einen Prozessor zum Erzeugen von Positionsdaten zu der gewarteten Komponente im Maschinenkoordinatensystem;
- - Wenigstens einen Prozessor zum Markieren der erfassten Bilddaten zur gewarteten Komponente aus dem digitalen Modell der Maschine anhand der zugeordneten Positionsdaten im Maschinenkoordinatensystem.
- - At least one camera for capturing image data of the machine;
- - At least one memory for storing the image data in a database;
- - At least one processor for creating a digital model of the machine based on the captured image data;
- - At least one processor for creating a machine coordinate system for the digital model of the machine;
- - At least one tracking unit comprising at least one camera for detecting a position of the serviced component and at least one processor for generating position data for the serviced component in the machine coordinate system;
- - At least one processor for marking the captured image data for the serviced component from the digital model of the machine using the assigned position data in the machine coordinate system.
Bei den Prozessoren kann es sich um ein und denselben Prozessor einer Recheneinheit handeln. Auch bei den Kameras kann es sich um dieselben Kameras handeln, oder es werden verschiedene Kameras zur Ausführung der Verfahrensschritte a. und e. eingesetzt.The processors can be one and the same processor of a computing unit delve The cameras can also be the same cameras, or different cameras are used to carry out method steps a. and e. deployed.
Die Erfindung lässt zahlreiche Ausführungsformen zu. Sie wird anhand der nachfolgenden Figur näher erläutert.The invention permits numerous embodiments. It is explained in more detail using the figure below.
Die Figur zeigt schematisch einen Ablauf einer Ausgestaltung des Verfahrens. In einem ersten Schritt a. werden Bilddaten einer Maschine mit mittels wenigstens einer Kamera erfasst und die Bilddaten in einer Datenbank gespeichert. Aus diesen gespeicherten Bilddaten wird anschließend in Verfahrensschritt b. ein digitales Modell der Maschine erstellt. Darüber hinaus wird ein Maschinenkoordinatensystem für das digitale Modell der Maschine erstellt (Verfahrensschritt c.).The figure schematically shows a sequence of an embodiment of the method. In a first step a. image data of a machine is captured by means of at least one camera and the image data is stored in a database. This stored image data is then used in method step b. created a digital model of the machine. In addition, a machine coordinate system for the digital model of the machine is created (method step c.).
Gemäß Verfahrensschritt d. werden Wartungsarbeiten an wenigstens einer fehlerhaften Komponente der Maschine durchgeführt. Dabei wird gemäß Verfahrensschritt e. die Position der gewarteten Komponente erfasst und Positionsdaten im Maschinenkoordinatensystem zu der gewarteten Komponente werden erzeugt. Beispielsweise erkennt eine externe Tracking-Einheit, umfassend die wenigstens eine Kamera sowie einen geeignet ausgebildeten Prozessor, die Position eines Markers, beispielsweise eines Stifts, mit welchem ein Wartungsmitarbeiter auf die fehlerhafte Komponente deutet, relativ zum Schienenfahrzeug.According to process step d. maintenance work is carried out on at least one faulty component of the machine. According to process step e. the position of the serviced component is recorded and position data in the machine coordinate system for the serviced component are generated. For example, an external tracking unit, comprising at least one camera and a suitably designed processor, detects the position of a marker, for example a pen, with which a maintenance worker points to the faulty component, relative to the rail vehicle.
In Verfahrensschritt f. werden die erfassten Bilddaten zur gewarteten Komponente aus dem digitalen Modell der Maschine anhand der zugeordneten Positionsdaten im Maschinenkoordinatensystem markiert.In method step f., the captured image data for the serviced component from the digital model of the machine are marked using the assigned position data in the machine coordinate system.
Claims (11)
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| DE102022210427.7A DE102022210427B3 (en) | 2022-09-30 | 2022-09-30 | Method and device for interactive annotation of image data in service operations |
| PCT/EP2023/075869 WO2024068377A1 (en) | 2022-09-30 | 2023-09-20 | Method and device for interactive annotation of image data in service operation |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| DE102022210427.7A DE102022210427B3 (en) | 2022-09-30 | 2022-09-30 | Method and device for interactive annotation of image data in service operations |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| DE102022210427B3 true DE102022210427B3 (en) | 2023-06-29 |
Family
ID=86693324
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| DE102022210427.7A Active DE102022210427B3 (en) | 2022-09-30 | 2022-09-30 | Method and device for interactive annotation of image data in service operations |
Country Status (2)
| Country | Link |
|---|---|
| DE (1) | DE102022210427B3 (en) |
| WO (1) | WO2024068377A1 (en) |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102018214210A1 (en) | 2018-08-22 | 2020-02-27 | Siemens Mobility GmbH | Visualization device and method for visualizing the interior or exterior of a vehicle |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8150105B2 (en) * | 2008-05-22 | 2012-04-03 | International Electronic Machines Corporation | Inspection using three-dimensional profile information |
| CN111855667A (en) * | 2020-07-17 | 2020-10-30 | 成都盛锴科技有限公司 | Novel intelligent train inspection system and detection method suitable for metro vehicle |
-
2022
- 2022-09-30 DE DE102022210427.7A patent/DE102022210427B3/en active Active
-
2023
- 2023-09-20 WO PCT/EP2023/075869 patent/WO2024068377A1/en unknown
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102018214210A1 (en) | 2018-08-22 | 2020-02-27 | Siemens Mobility GmbH | Visualization device and method for visualizing the interior or exterior of a vehicle |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2024068377A1 (en) | 2024-04-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| DE60127644T2 (en) | Teaching device for a robot | |
| DE102004007829B4 (en) | Method for determining areas to be inspected | |
| DE102016105496A1 (en) | System for checking objects using augmented reality | |
| DE102019122865B4 (en) | Acquisition system, working system, display method for an augmented reality image and program | |
| DE102019119319A1 (en) | Scanning system, work system, method for displaying augmented reality images, method for storing augmented reality images and programs therefor | |
| EP1342073A2 (en) | Device and method for quality controlling a body | |
| DE102009014154A1 (en) | Method for calibrating the position of a laser fan beam to the projection geometry of an X-ray apparatus and X-ray apparatus | |
| DE102019131284B4 (en) | Robot system and coordinate conversion method | |
| EP2278591B1 (en) | Method and device for determining the deformation of a fuel element of a pressurised water reactor | |
| DE10215885A1 (en) | Automatic process control | |
| DE10197107T5 (en) | Rangierbahnhofverfolgungssystem | |
| DE102022210427B3 (en) | Method and device for interactive annotation of image data in service operations | |
| EP3483682A1 (en) | Automated creation of installation documentation | |
| DE19822392C2 (en) | Method for registering coordinates of at least one fault location on a test object | |
| EP1487616B1 (en) | Automatic process control | |
| DE102022109528A1 (en) | DEVICE FOR DETERMINING IRREGULARITIES, METHOD FOR DETERMINING IRREGULARITIES, PROGRAM AND SYSTEM FOR DETERMINING IRREGULARITIES | |
| DE102019209117A1 (en) | Method for locating a vehicle | |
| WO2019229136A1 (en) | Production method for a drive device, and test device | |
| DE102019127322A1 (en) | Method for detecting objects in a vehicle environment, device for data processing, computer program product and computer-readable data carrier | |
| DE102020134680B4 (en) | Procedure and arrangement for the quality inspection of an object | |
| DE102018217219B4 (en) | Method for determining a three-dimensional position of an object | |
| DE102008005761A1 (en) | Method for work planning by human movement modeling device, involves performing real human movement, where image of real human movement is determined, and image is transferred in motion simulation model | |
| DE102020103903B4 (en) | Method for providing a recommended course of action in response to an alleged damage to a motor vehicle, telematics device, and server device | |
| DE102022208830A1 (en) | Method, computer program and device for checking a functional sequence of a production system | |
| DE102020114011A1 (en) | Method for planning a production plant |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| R012 | Request for examination validly filed | ||
| R016 | Response to examination communication | ||
| R018 | Grant decision by examination section/examining division | ||
| R020 | Patent grant now final |