EP4577979A1 - Verfahren und vorrichtung zur interaktiven annotation von bilddaten im servicebetrieb - Google Patents

Verfahren und vorrichtung zur interaktiven annotation von bilddaten im servicebetrieb

Info

Publication number
EP4577979A1
EP4577979A1 EP23786180.2A EP23786180A EP4577979A1 EP 4577979 A1 EP4577979 A1 EP 4577979A1 EP 23786180 A EP23786180 A EP 23786180A EP 4577979 A1 EP4577979 A1 EP 4577979A1
Authority
EP
European Patent Office
Prior art keywords
machine
image data
component
digital model
coordinate system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP23786180.2A
Other languages
English (en)
French (fr)
Inventor
Christof Hoppe
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens Mobility GmbH
Original Assignee
Siemens Mobility GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens Mobility GmbH filed Critical Siemens Mobility GmbH
Publication of EP4577979A1 publication Critical patent/EP4577979A1/de
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/20—Administration of product repair or maintenance
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/40—Business processes related to the transportation industry
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component

Definitions

  • the invention relates to a method for learning an image recognition algorithm for fault detection in the maintenance of machines with multiple components, a computer program product for carrying out the method and a device for carrying out the method.
  • Artificial intelligence algorithms are trained in a learning phase for specific tasks in order to carry them out in a work phase.
  • input data is often annotated by people. If, for example, people or objects in photos are to be recognized by the algorithms during the work phase, photos with the objects to be recognized are annotated accordingly during the learning phase by manually marking the objects to be recognized on the photos.
  • a reliable algorithm requires a large number of such annotated photos.
  • annotation is difficult for a number of reasons. On the one hand, experts are required for the annotation. On the other hand, the amount of data required for training is often too small, for example because the defects to be detected rarely occur.
  • the publication DE 10 2018 214 210 Al relates to a visualization device and a method for visualizing the interior or exterior of a vehicle, in particular for planning retrofitting of a vehicle.
  • the invention is based on the object of proposing a method for the simplified training of an image recognition algorithm for the maintenance of complex machines.
  • the problem is solved by the subject matter of the independent patent claims. Further developments and refinements of the invention can be found in the features of the dependent patent claims.
  • the machine is in particular a vehicle, in particular a rail vehicle.
  • Capturing image data from the machine in step a. is advantageously carried out with a large number of high-resolution cameras. A detailed image of the machine can then be created.
  • a three-dimensional digital model (3D model) of the machine can be created in method step b based on the captured image data.
  • the captured image data is first read from the database. Consequently, in method step c. a machine coordinate system is created for the digital 3D model of the machine.
  • the machine coordinate system is created from the image data using a suitable algorithm.
  • the origin could be a reference point on the machine that is easy to identify for an image recognition algorithm, such as a buffer or a wheel on a rail vehicle.
  • the machine is a rail vehicle and the capture of image data of the machine using at least one camera is carried out when the rail vehicle enters a maintenance depot, for example using a so-called camera tunnel.
  • the rail vehicle drives through this tunnel when entering the depot and is photographed from several sides, in particular from all sides.
  • Fewer cameras can then be arranged in the depot itself and aligned with the rail vehicle standing in its maintenance position, for example in accordance with method step e. to record the position of the serviced component.
  • the rail vehicle can be classified into the machine coordinate system, for example, by means of a reference point of the machine that is easy to identify for an image recognition algorithm, for example a buffer or a wheel of the rail vehicle.
  • process step a takes place. in the depot with the rail vehicle in its maintenance position. This can also be done for the process step a. the following process steps b. and c. as well as d. apply .
  • the depot is then equipped with a large number of cameras, particularly high-resolution ones, in different positions and viewing angles of the rail vehicle. Monitoring the maintenance work in accordance with step d. and recording the position of the serviced component according to method step e. can then be done through the same cameras.
  • the maintenance work in particular the servicing, repair or replacement of components of the machine, is carried out by trained service personnel.
  • process step e The position of the serviced component is recorded.
  • This can be further developed using at least one camera, in particular using at least two cameras, for example using the cameras in the depot when the rail vehicle is in its maintenance position.

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Strategic Management (AREA)
  • Quality & Reliability (AREA)
  • Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Marketing (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Operations Research (AREA)
  • Development Economics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Educational Administration (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Game Theory and Decision Science (AREA)
  • Primary Health Care (AREA)
  • Multimedia (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zum Anlernen eines Bilderkennungsalgorithmus für die Fehlererkennung in der Instandhaltung von Maschinen mit mehreren Komponenten, ein Computerprogrammprodukt zur Ausführung des Verfahrens und eine Vorrichtung zur Ausführung des Verfahrens, wobei das Verfahren folgende Verfahrensschritte umfasst: - Erfassen von Bilddaten der Maschine mit mittels wenigstens einer Kamera und Speichern der Bilddaten in einer Datenbank; - Erstellen eines digitalen Modells der Maschine anhand der erfassten Bilddaten; - Erstellen eines Maschinenkoordinatensystems für das digitale Modell der Maschine; - Durchführen von Wartungsarbeiten an wenigstens einer fehlerhaften Komponente der Maschine; - Erfassen einer Position der gewarteten Komponente und - Erzeugen von Positionsdaten zu der gewarteten Komponente im Maschinenkoordinatensystem; - Markieren der erfassten Bilddaten zur gewarteten Komponente aus dem digitalen Modell der Maschine anhand der zugeordneten Positionsdaten im Maschinenkoordinatensystem.

Description

Beschreibung
Verfahren und Vorrichtung zur interaktiven Annotation von
Bilddaten im Servicebetrieb
Die Erfindung betri f ft ein Verfahren zum Anlernen eines Bilderkennungsalgorithmus für die Fehlererkennung in der Instandhaltung von Maschinen mit mehreren Komponenten, ein Computerprogrammprodukt zur Aus führung des Verfahrens und eine Vorrichtung zur Aus führung des Verfahrens .
Algorithmen der künstlichen Intelligenz , insbesondere Machine Learning Algorithmen, werden in einer Lernphase für bestimmte Aufgaben trainiert , um diese in einer Arbeitsphase aus zuführen . In der Lernphase werden Ausgangsdaten, insbesondere Bilddaten, oft von Personen annotiert . Sollen beispielsweise Menschen oder Obj ekte auf Fotos während der Arbeitsphase von den Algorithmen erkannt werden, werden während der Lernphase Fotos mit den zu erkennen Obj ekten entsprechend annotiert , indem die zu erkennen Obj ekten auf den Fotos manuell markiert werden . Für einen zuverlässigen Algorithmus wird eine Vielzahl solch annotierter Fotos benötigt . Im industriellen Umfeld ist eine Annotation aus mehreren Gründen erschwert . Einerseits sind für die Annotation Experten erforderlich . Andererseits ist die erforderliche Datenmenge für das Training oft zu gering, beispielsweise weil zu erkennende Defekte selten auftreten .
Die Of fenlegungsschri ft DE 10 2018 214 210 Al betri f ft eine Visualisierungseinrichtung und ein Verfahren zum Visualisieren des Inneren oder Äußeren eines Fahrzeugs , insbesondere zur Planung einer Nachrüstung eines Fahrzeugs .
Der Erfindung liegt die Aufgabe zugrunde , ein Verfahren zum vereinfachten Anlernen eines Bilderkennungsalgorithmus für die Instandhaltung von komplexen Maschinen vorzuschlagen . Gelöst wird die Aufgabe durch die Gegenstände der unabhängigen Patentansprüche . Weiterbildungen und Ausgestaltungen der Erfindung finden sich in den Merkmalen der abhängigen Patentansprüche wieder .
Ein erfindungsgemäßes Verfahren zum Anlernen eines Bilderkennungsalgorithmus für die Fehlererkennung in der Instandhaltung von Maschinen mit mehreren Komponenten umfasst folgende Verfahrensschritte : a . Erfassen von Bilddaten der Maschine mit mittels wenigstens einer Kamera und Speichern der Bilddaten in einer Datenbank; b . Erstellen eines digitalen Modells der Maschine anhand der erfassten Bilddaten; c . Erstellen eines Maschinenkoordinatensystems für das digitale Modell der Maschine ; d . Durchführen von Wartungsarbeiten an wenigstens einer fehlerhaften Komponente der Maschine ; e . Erfassen einer Position der gewarteten Komponente und Erzeugen von Positionsdaten zu der gewarteten Komponente im Maschinenkoordinatensystem; f . Markieren der erfassten Bilddaten zur gewarteten Komponente aus dem digitalen Modell der Maschine anhand der zugeordneten Positionsdaten im Maschinenkoordinatensystem .
Bei der Maschine handelt es sich insbesondere um ein Fahrzeug, insbesondere um ein Schienenfahrzeug .
Das Erfassen von Bilddaten der Maschine in Verfahrensschritt a . wird vorteilhaft mit einer Viel zahl an hochauflösenden Kameras ausgeführt . So kann daraufhin ein detailliertes Abbild der Maschine erzeugt werden .
Dabei werden vorteilhaft alle sichtbaren und zumindest teilweise von außen frei zugänglichen Komponenten der Maschine erfasst . Es werden also Bilddaten der gesamten Maschine von außen auf genommen .
Anhand der erfassten Bilddaten kann gemäß einer Weiterbildung der Erfindung in Verfahrensschritt b . ein dreidimensionales digitales Modell ( 3D-Modell ) der Maschine erstellt werden . Dazu werden zunächst die erdfassten Bilddaten aus der Datenbank ausgelesen . Folglich wird in Verfahrensschritt c . ein Maschinenkoordinatensystem für das digitale 3D-Modell der Maschine erstellt .
Das Maschinenkoordinatensystem wird anhand der Bilddaten mittels eines geeigneten Algorithmus erstellt . Als Ursprung könnte beispielsweise ein für einen Bilderkennungsalgorithmus einfach zu identi fi zierender Referenzpunkt der Maschine , beispielsweise ein Puf fer oder ein Rad eines Schienenfahrzeugs , dienen .
Gemäß einer weiteren Weiterbildung handelt es sich bei der Maschine um ein Schienenfahrzeug und das Erfassen von Bilddaten der Maschine mit mittels wenigstens einer Kamera wird bei der Einfahrt des Schienenfahrzeugs in ein Wartungsdepot ausgeführt , beispielsweise mittels eines sogenannten Kameratunnels . Das Schienenfahrzeug fährt bei der Einfahrt in das Depot durch diesen Tunnel und wird von mehreren, insbesondere von allen, Seiten abgelichtet .
Im Depot selbst können dann weniger Kameras angeordnet und auf das in seiner Wartungsposition stehenden Schienenfahrzeug ausgerichtet sein, um beispielsweise gemäß Verfahrensschritt e . die Position der gewarteten Komponente zu erfassen . Eine Einordnung des Schienenfahrzeugs in das Maschinenkoordinatensystem kann beispielsweise wiederum mittels eines für einen Bilderkennungsalgorithmus einfach zu identi fi zierenden Referenzpunkts der Maschine , beispielsweise eines Puf fers oder eines Rades des Schienenfahrzeugs , erfolgen . Alternativ erfolgt Verfahrensschritt a . im Depot bei dem in seiner Wartungsposition stehenden Schienenfahrzeug . Dies kann gleichermaßen für die auf Verfahrensschritt a . folgenden Verfahrensschritte b . und c . sowie d . gelten . Das Depot ist dann entsprechend mit einer Viel zahl an, insbesondere hochauflösenden, Kameras in verschiedenen Positionen und Blickwinkeln auf das Schienenfahrzeug ausgerüstet . Die Überwachung der Wartungsarbeiten gemäß Verfahrensschritt d . und die Erfassung der Position der gewarteten Komponente gemäß Verfahrensschritt e . kann dann durch dieselben Kameras erfolgen .
Die Wartungsarbeiten, insbesondere eine Instandsetzung, Reparatur oder Austausch von Komponenten der Maschine , wird insbesondere von geschultem Servicepersonal durchgeführt .
Gemäß Verfahrensschritt e . wird die Position der gewarteten Komponente erfasst . Dies kann weitergebildet mittels wenigstens einer Kamera, insbesondere mittels wenigstens zwei Kameras , beispielsweise mittels der Kameras im Depot bei in seiner Wartungsposition stehenden Schienenfahrzeug erfolgen .
Weitergebildet wird die Position der gewarteten Komponente Verfahrensschritt e . über ein Mustererkennungsalgorithmus anhand von Bilddaten erfasst , welche mittels wenigstens zwei Kameras stereoskopisch erfasst sind . Die Position der gewarteten Komponente kann dann anhand einer Triangulation der wenigstens zwei Kamerapositionen erkannt werden . Hierfür können beispielsweise Bewegungen des die Komponente wartenden Servicepersonals überwacht und verfolgt werden . Derartige Verfahren sind aus dem Bereich des Motion Capturings ohne Marker bekannt .
Gemäß einer weiteren Weiterbildung geht Verfahrensschritt e . voran :
Markieren der fehlerhaften Komponente mittels eines Markers , insbesondere durch das Servicepersonal . Dies kann auch Verfahrensschritt c . nachfolgen und Verfahrensschritt d . vorangehen oder während Verfahrensschritt d . erfolgen . Hierfür kann ein technisches Gerät , beispielsweise ein Sti ft als passiver Marker oder ein Gerät , welches ein Signal emittiert , beispielsweise ein Laserpointer, als aktiver Marker verwendet werden, mit dem das Servicepersonal physisch auf die fehlerhafte Komponente hindeutet . Derartige Verfahren sind als Position Tracking von Obj ekten mit Markern bekannt geworden . Hierfür kann eine Tracking-Einheit vorgesehen sein .
In einer weiteren Weiterbildung ist vorgesehen, dass Verfahrensschritt d . umfasst :
- Markieren eines Fehlers der fehlerhaften Komponente mittels eines Markers , insbesondere durch das Servicepersonal .
Auch dies kann grundsätzlich dem Verfahrensschritt c . nachfolgen und dem Verfahrensschritt d . vorangehen . Das Servicepersonal kann beispielsweise den Fehler selbst markieren, beispielsweise indem es auf den Fehler oder eine schadhafte Stelle der Komponente , beispielsweise ein Riss im Gehäuse der Komponente oder austretendes Öl , hindeutet .
Weitergebildet werden dann in Verfahrensschritt e . neben der Position der gewarteten Komponente auch die Position des Fehlers erfasst und neben dem Erzeugen von Positionsdaten zu der gewarteten Komponente im Maschinenkoordinatensystem auch Positionsdaten zum Fehler im Maschinenkoordinatensystem erzeugt . Entsprechend können in Verfahrensschritt f . auch die erfassten Bilddaten zum Fehler aus dem digitalen Modell der Maschine anhand der zugeordneten Positionsdaten bezogen auf den Fehler im Maschinenkoordinatensystem markiert werden .
Die erfassten Positionsdaten werden in Verfahrensschritt f . in die Bilddaten mittels des Maschinenkoordinatensystems übertragen und die erfassten Bilddaten aus dem digitalen Modell der Maschine zur gewarteten Komponente und/oder zum Feh- ler anhand der zugeordneten Positionsdaten im Maschinenkoordinatensystem markiert .
Dabei wird weitergebildet zumindest ein Bildausschnitt , welcher ein Abbild der fehlerhaften Komponente und/oder des Fehlers umfasst , markiert . Mittels des Maschinenkoordinatensystems ist bekannt , welcher Punkt oder welcher Bereich im Bild bzw . den Bilddaten, welchen Teil der Maschine , beispielsweise des Schienenfahrzeugs , zeigt .
Weitergebildet folgt dem Verfahrensschritt f . nach :
- Bestimmen der gewarteten Komponente und/oder des Fehlers in den markierten Bilddaten zur gewarteten Komponente und/oder des Fehlers mittels eines Bilderkennungsalgorithmus .
Es findet somit eine Zuordnung der gewarteten Komponente und/oder des Fehlers zu den entsprechenden Bilddaten statt .
Dies kann über einen Vergleich mit Referenzbilddaten zu der Komponente aus einer Referenzdatenbank erfolgen .
Weitergebildet umfasst Verfahrensschritt d . :
Identi fi zieren der fehlerhaften bzw . gewarteten Komponente oder des Fehlers , insbesondere durch das Wartungspersonal , beispielsweise durch Auswahl aus einer Liste von Komponenten der Maschine und/oder Fehlern, und Erzeugen von Informationen zu der identi fi zierten Komponente und/oder des Fehlers .
Die Informationen zu der identi fi zierten Komponente können wiederum in einer bzw . derselben Datenbank gespeichert werden .
Dem Verfahrensschritt f . kann dann nachfolgen :
- Verknüpfen der erfassten Bilddaten zur gewarteten Komponente aus dem digitalen Modell der Maschine mit den zur gewarteten Komponente der Maschine erzeugten Informationen, die hierzu insbesondere aus der Datenbank ausgelesen werden . Mitarbeitende des Servicepersonal erstellen bei oder nach erfolgter Durchführung der Wartungsarbeiten üblicherweise einen Wartungsbericht mit Informationen zur gewarteten Komponente , zur Art des Fehlers und/oder zu den durchgeführten Wartungsarbeiten . Diese Informationen lassen sich auslesen und in einfacher Weise mit den entsprechenden Bilddaten verknüpfen . So werden die Bilddaten zu fehlerhaften Komponenten und/oder Fehlern aufwandsarm annotiert .
In einfacher Weise lassen sich nachfolgend anhand der so annotierten Bilddaten zu der Maschine fehlerhafte Komponenten oder Fehler erkennen, insbesondere mittels eines Bilderkennungsalgorithmus .
Mitarbeitende des Servicepersonals führen einfach ihre normalen Wartungsarbeiten durch . Die Markierung der fehlerhaften Komponente oder des Fehlers erfolgt dabei passiv, durch Nachverfolgung der Wartungsarbeiten an der fehlerhaften Komponente , oder aufwandsarm aktiv durch Hindeuten auf die fehlerhafte Komponente durch die Mitarbeitenden des Servicepersonals . Durch Auswertung des Wartungsberichts , welcher ebenfalls der üblichen Tätigkeit entspricht , kann anschließend die mittels des Bilderkennungsalgorithmus ' in den markierten Bilddaten zur gewarteten Komponente und/oder des Fehlers bestimmte Komponente und/oder des Fehlers mittels detaillierter Informationen zur Komponente und/oder zum Fehler annotiert werden .
Mittels eines nach dem erfindungsgemäßen Verfahren angelernten Bilderkennungsalgorithmus für die Fehlererkennung in der Instandhaltung von Maschinen mit mehreren Komponenten kann die Fehlererkennung in der Instandhaltung von Maschinen mit mehreren Komponenten mit folgenden Verfahrensschritten erfolgen :
Erfassen von Bilddaten der Maschine mit mittels wenigstens einer Kamera ; Erkennen einer fehlerhaften Komponente der Maschine anhand der erfassten Bilddaten der Maschine mittels des Bilderkennungsalgorithmus .
Große Teile des Verfahrens , insbesondere die Verfahrensschritte a . , b . , c . , e . und f . , lassen sich mittels eines Computerprogrammprodukts aus führen . Dieses umfasst Befehle , die bei der Aus führung des Programms durch wenigstens ein geeignetes Endgerät dieses veranlassen, das erfindungsgemäße Verfahren aus zuführen . Das Computerprogrammprodukt kann auf einem Datenträger gespeichert sein .
Eine erfindungsgemäße Vorrichtung ist eingerichtet zur Ausführung des erfindungsgemäßen Verfahrens . Es umfasst hierfür die bereits genannten, zur Aus führung des j eweiligen Verfahrensschritts geeigneten Mittel :
- Wenigstens eine Kamera zum Erfassen von Bilddaten der Maschine ;
- Wenigstens einen Speicher zum Speichern der Bilddaten in einer Datenbank;
- Wenigstens einen Prozessor zum Erstellen eines digitalen Modells der Maschine anhand der erfassten Bilddaten;
- Wenigstens einen Prozessor zum Erstellen eines Maschinenkoordinatensystems für das digitale Modell der Maschine ;
- Wenigstens eine Tracking-Einheit umfassend wenigstens eine Kamera zum Erfassen einer Position der gewarteten Komponente und wenigstens einen Prozessor zum Erzeugen von Positionsdaten zu der gewarteten Komponente im Maschinenkoordinatensystem;
- Wenigstens einen Prozessor zum Markieren der erfassten Bilddaten zur gewarteten Komponente aus dem digitalen Modell der Maschine anhand der zugeordneten Positionsdaten im Maschinenkoordinatensystem . Bei den Prozessoren kann es sich um ein und denselben Prozessor einer Recheneinheit handeln . Auch bei den Kameras kann es sich um dieselben Kameras handeln, oder es werden verschiedene Kameras zur Aus führung der Verfahrensschritte a . und e . eingesetzt .
Die Erfindung lässt zahlreiche Aus führungs formen zu . Sie wird anhand der nachfolgenden Figur näher erläutert .
Die Figur zeigt schematisch einen Ablauf einer Ausgestaltung des Verfahrens . In einem ersten Schritt a . werden Bilddaten einer Maschine mit mittels wenigstens einer Kamera erfasst und die Bilddaten in einer Datenbank gespeichert . Aus diesen gespeicherten Bilddaten wird anschließend in Verfahrensschritt b . ein digitales Modell der Maschine erstellt . Darüber hinaus wird ein Maschinenkoordinatensystem für das digitale Modell der Maschine erstellt (Verfahrensschritt c . ) .
Gemäß Verfahrensschritt d . werden Wartungsarbeiten an wenigstens einer fehlerhaften Komponente der Maschine durchgeführt . Dabei wird gemäß Verfahrensschritt e . die Position der gewarteten Komponente erfasst und Positionsdaten im Maschinenkoordinatensystem zu der gewarteten Komponente werden erzeugt . Beispielsweise erkennt eine externe Tracking-Einheit , umfassend die wenigstens eine Kamera sowie einen geeignet ausgebildeten Prozessor, die Position eines Markers , beispielsweise eines Sti fts , mit welchem ein Wartungsmitarbeiter auf die fehlerhafte Komponente deutet , relativ zum Schienenfahrzeug .
In Verfahrensschritt f . werden die erfassten Bilddaten zur gewarteten Komponente aus dem digitalen Modell der Maschine anhand der zugeordneten Positionsdaten im Maschinenkoordinatensystem markiert .

Claims

Patentansprüche
1 . Verfahren zum Anlernen eines Bilderkennungsalgorithmus für die Fehlererkennung in der Instandhaltung von Maschinen mit mehreren Komponenten umfassend : a . Erfassen von Bilddaten der Maschine mit mittels wenigstens einer Kamera ; b . Erstellen eines digitalen Modells der Maschine anhand der erfassten Bilddaten; c . Erstellen eines Maschinenkoordinatensystems für das digitale Modell der Maschine ; d . Durchführen von Wartungsarbeiten an wenigstens einer fehlerhaften Komponente der Maschine ; e . Erfassen einer Position der gewarteten Komponente und Erzeugen von Positionsdaten zu der gewarteten Komponente im Maschinenkoordinatensystem; f . Markieren der erfassten Bilddaten zur gewarteten Komponente aus dem digitalen Modell der Maschine anhand der zugeordneten Positionsdaten im Maschinenkoordinatensystem .
2 . Verfahren nach Anspruch 1 , dadurch gekennzeichnet , dass in Verfahrensschritt b . ein dreidimensionales digitales Modells der Maschine anhand der erfassten Bilddaten erstellt wird .
3 . Verfahren nach einem der Ansprüche 1 oder 2 , dadurch gekennzeichnet , dass Verfahrensschritt a . mit einer Viel zahl an hochauflösenden Kameras ausgeführt wird .
4 . Verfahren nach einem der Ansprüche 1 bis 3 , dadurch gekennzeichnet , dass Verfahrensschritt e . vorangeht :
- Markieren der fehlerhaften Komponente mittels eines Markers .
5. Verfahren nach einem der Ansprüche 1 bis 4 , dadurch gekennzeichnet , dass Verfahrensschritt f . nachfolgt :
- Bestimmen der gewarteten Komponente in den markierten Bilddaten zur gewarteten Komponente mittels eines Bilderkennungsalgorithmus .
6. Verfahren nach einem der Ansprüche 1 bis 5 , dadurch gekennzeichnet , dass Verfahrensschritt d . umfasst :
Identi fi zieren der gewarteten Komponente und Erzeugen von Informationen zu der identi fizierten Komponente .
7 . Verfahren nach Anspruch 6 , dadurch gekennzeichnet , dass Verfahrensschritt f . nachfolgt :
- Verknüpfen der erfassten Bilddaten zur gewarteten Komponente aus dem digitalen Modell der Maschine mit den zur gewarteten Komponente der Maschine erzeugten Informationen .
8 . Verfahren zur Fehlererkennung in der Instandhaltung von Maschinen mit mehreren Komponenten umfassend einen nach einem der Ansprüche 1 bis 7 angelernten Bilderkennungsalgorithmus :
- Erfassen von Bilddaten der Maschine mit mittels wenigstens einer Kamera ;
- Erkennen einer fehlerhaften Komponente der Maschine anhand der erfassten Bilddaten der Maschine mittels des Bilderkennungsalgorithmus .
9. Computerprogrammprodukt umfassend Befehle , die bei der Aus führung des Programms durch ein geeignetes mobiles Endgerät dieses veranlassen, das Verfahren nach einem der Ansprüche 1 bis 7 aus zuführen .
10 . Datenträger, auf dem das Computerprogrammprodukt nach Anspruch 9 gespeichert ist . orrichtung zur Aus führung des erfindungsgemäßen Verfahrens umfassend :
- Wenigstens eine Kamera zum Erfassen von Bilddaten der Maschine ;
- Wenigstens einen Speicher zum Speichern der Bilddaten in einer Datenbank;
- Wenigstens einen Prozessor zum Erstellen eines digitalen Modells der Maschine anhand der erfassten Bilddaten;
- Wenigstens einen Prozessor zum Erstellen eines Maschinenkoordinatensystems für das digitale Modell der Maschine ;
- Wenigstens eine Tracking-Einheit umfassend wenigstens eine Kamera zum Erfassen einer Position der gewarteten Komponente und wenigstens einen Prozessor zum Erzeugen von Positionsdaten zu der gewarteten Komponente im Maschinenkoordinatensystem;
- Wenigstens einen Prozessor zum Markieren der erfassten Bilddaten zur gewarteten Komponente aus dem digitalen Modell der Maschine anhand der zugeordneten Positionsdaten im Maschinenkoordinatensystem .
EP23786180.2A 2022-09-30 2023-09-20 Verfahren und vorrichtung zur interaktiven annotation von bilddaten im servicebetrieb Pending EP4577979A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102022210427.7A DE102022210427B3 (de) 2022-09-30 2022-09-30 Verfahren und Vorrichtung zur interaktiven Annotation von Bilddaten im Servicebetrieb
PCT/EP2023/075869 WO2024068377A1 (de) 2022-09-30 2023-09-20 Verfahren und vorrichtung zur interaktiven annotation von bilddaten im servicebetrieb

Publications (1)

Publication Number Publication Date
EP4577979A1 true EP4577979A1 (de) 2025-07-02

Family

ID=86693324

Family Applications (1)

Application Number Title Priority Date Filing Date
EP23786180.2A Pending EP4577979A1 (de) 2022-09-30 2023-09-20 Verfahren und vorrichtung zur interaktiven annotation von bilddaten im servicebetrieb

Country Status (3)

Country Link
EP (1) EP4577979A1 (de)
DE (1) DE102022210427B3 (de)
WO (1) WO2024068377A1 (de)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8150105B2 (en) * 2008-05-22 2012-04-03 International Electronic Machines Corporation Inspection using three-dimensional profile information
DE102018214210A1 (de) 2018-08-22 2020-02-27 Siemens Mobility GmbH Visualisierungseinrichtung und Verfahren zum Visualisieren des Inneren oder Äußeren eines Fahrzeugs
CN111855667A (zh) * 2020-07-17 2020-10-30 成都盛锴科技有限公司 一种适用于地铁车辆的新型智慧列检系统和检测方法

Also Published As

Publication number Publication date
DE102022210427B3 (de) 2023-06-29
WO2024068377A1 (de) 2024-04-04

Similar Documents

Publication Publication Date Title
DE102019122865B4 (de) Erfassungssystem, Arbeitssystem, Anzeigeverfahren für ein Erweiterte-Realität-Bild und Programm
EP3768902B1 (de) Verfahren und vorrichtung zum warten und/oder reparieren einer baumaschine
DE102020134680B4 (de) Verfahren und Anordnung zur Qualitätsprüfung eines Objekts
WO2022122196A1 (de) Optische schienenwegerkennung
WO2002048670A2 (de) Vorrichtung und verfahren zur qualitätsüberprüfung eines körpers
DE102021106584B4 (de) System mit mindestens einem Anlagesystem mit mindestens mehreren Anlageteilen
DE112020007421T5 (de) Industriesystem, störungserfassungssystem und störungserfassungsverfahren
DE102020131815A1 (de) Anzeigevorrichtung und Anzeigeprogramm
DE10215885A1 (de) Automatische Prozesskontrolle
DE10197107T5 (de) Rangierbahnhofverfolgungssystem
DE102022210427B3 (de) Verfahren und Vorrichtung zur interaktiven Annotation von Bilddaten im Servicebetrieb
Fuchs et al. A methodology for alignment of measured rail profiles in turnouts as a basis for reliable vehicle/track interaction simulations
DE102013005120B4 (de) Verfahren zur Bestimmung einer Beschädigung eines Fahrzeugs
EP3483682A1 (de) Automatisierte erstellung von anlagendokumentationen
DE102019208448A1 (de) Verfahren zur Überprüfung eines Geräts oder einer Maschine
DE102019209861A1 (de) System und Verfahren zur Visualisierung von Oberflächendefekten auf einem Werkstück
EP1487616B1 (de) Automatische prozesskontrolle
DE102018112910B4 (de) Herstellungsverfahren für eine Antriebseinrichtung und Prüfeinrichtung
DE102019127322A1 (de) Verfahren zur Erfassung von Objekten in einer Fahrzeugumgebung, Vorrichtung zur Datenverarbeitung, Computerprogrammprodukt und computerlesbarer Datenträger
DE102022109528A1 (de) Vorrichtung zum bestimmen von unregelmässigkeiten, verfahren zum bestimmen von unregelmässigkeiten, programm und system zum bestimmen von unregelmässigkeiten
DE19822392A1 (de) Verfahren zur Ermittlung von Koordinaten einer ausgewählten Stelle auf der Oberfläche eines Objektes sowie Verfahren zur Registrierung von Fehlerorten auf einer Qualitätsprüfung unterworfenen Prüfobjekten
DE102022120150A1 (de) Teileüberprüfungssystem mit generativem Trainingsmodell
DE102018002621A1 (de) Fahrzeugerfassungssystem
EP4303530B1 (de) Verfahren und anordnung zum prüfen einer funktionsfähigkeit eines koordinatenmessgeräts
EP3895091A1 (de) Verfahren zum austauschen eines bauteils in einer personentransportanlage sowie hierbei einzusetzende vorrichtung

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20250218

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC ME MK MT NL NO PL PT RO RS SE SI SK SM TR

RAP3 Party data changed (applicant data changed or rights of an application transferred)

Owner name: SIEMENS MOBILITY GMBH

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)