DE102019208448A1 - Verfahren zur Überprüfung eines Geräts oder einer Maschine - Google Patents

Verfahren zur Überprüfung eines Geräts oder einer Maschine Download PDF

Info

Publication number
DE102019208448A1
DE102019208448A1 DE102019208448.6A DE102019208448A DE102019208448A1 DE 102019208448 A1 DE102019208448 A1 DE 102019208448A1 DE 102019208448 A DE102019208448 A DE 102019208448A DE 102019208448 A1 DE102019208448 A1 DE 102019208448A1
Authority
DE
Germany
Prior art keywords
machine
damage
image data
image
change
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102019208448.6A
Other languages
English (en)
Inventor
Udo Schulz
Heiko Kleineder
Joshua-Niclas Oergele
Andreas Fladee
Christoph Jochum
Filip Rosenstein
Andrew Allen
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Priority to DE102019208448.6A priority Critical patent/DE102019208448A1/de
Publication of DE102019208448A1 publication Critical patent/DE102019208448A1/de
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00Registering or indicating the working of vehicles
    • G07C5/08Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0841Registering performance data
    • G07C5/085Registering performance data using electronic data carriers
    • G07C5/0866Registering performance data using electronic data carriers the electronic data carrier being a digital video recorder in combination with video camera
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07BTICKET-ISSUING APPARATUS; FARE-REGISTERING APPARATUS; FRANKING APPARATUS
    • G07B15/00Arrangements or apparatus for collecting fares, tolls or entrance fees at one or more control points
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C3/00Registering or indicating the condition or the working of machines or other apparatus, other than vehicles
    • G07C3/08Registering or indicating the production of the machine either with or without registering working or idle time
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00Registering or indicating the working of vehicles
    • G07C5/008Registering or indicating the working of vehicles communicating information to a remotely located station

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Finance (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Traffic Control Systems (AREA)

Abstract

Bei einem Verfahren zum Überprüfen eines Geräts oder einer Maschine zur Feststellung einer Veränderung und/oder eines Schadens an dem Gerät oder der Maschine erfolgt die Überprüfung durch einen automatisierbaren Abgleich von Bilddaten mit Referenz-Bilddaten (30).

Description

  • Die vorliegende Erfindung betrifft ein Verfahren zur Überprüfung eines Geräts oder einer Maschine zur Feststellung einer Veränderung und/oder eines Schadens an dem Gerät oder der Maschine sowie ein entsprechend eingerichtetes Computerprogramm, ein maschinenlesbares Speichermedium und ein Steuergerät zur Durchführung des Verfahrens.
  • Stand der Technik
  • Bei der Verleihung von Geräten oder Maschinen wird bei der Rückgabe der Geräte oder Maschinen in der Regel von dem Verleiher eine Überprüfung oder ein Funktionstest der Geräte oder Maschinen vorgenommen und dokumentiert, sodass bei festgestellten Schäden der Entleiher gegebenenfalls in die Pflicht genommen werden kann. Mit dieser manuellen Schadensidentifikation ist ein hohes Maß an Subjektivität verbunden, welches insbesondere im Hinblick auf eine Festsetzung von Schadensersatz zu Problemen führen kann. Die Feststellung von gegebenenfalls vorhandenen Schäden ist darüber hinaus wichtig, um vor einer zukünftigen Verleihung des entsprechenden Gerätes oder der Maschine entsprechende Reparaturen zur Gewährung der Funktionsfähigkeit der Geräte und Maschinen vornehmen zu können.
  • In ähnlicher Weise sind Betreiber von Flotten von Geräten oder Maschinen darauf angewiesen, dass Schäden an den Geräten oder Maschinen rechtzeitig erkannt und behoben werden. Eine systematische Mängelerfassung beispielsweise bei Gabelstaplern oder anderen Flurfahrzeugen hilft Unfälle zu vermeiden und spart darüber hinaus durch rechtzeitige Behebung von Mängeln Instandhaltungskosten.
  • Offenbarung der Erfindung
  • Vorteile der Erfindung
  • Die Erfindung schlägt ein Verfahren zur Überprüfung eines Geräts oder einer Maschine zur Feststellung eines Veränderung und/oder eines Schadens an dem Gerät oder der Maschine vor, das die Probleme, die mit einer manuellen Identifikation von Schäden oder Veränderungen einhergehen, vermeidet. Dabei sieht das vorgeschlagene Verfahren eine Überprüfung der Geräte oder Maschinen durch einen automatisierbaren, bevorzugt automatisierten, Abgleich von Bilddaten mit Referenz-Bilddaten vor, insbesondere mittels eines elektronischen Steuergeräts. Bei dem Gerät oder der Maschine kann es sich beispielsweise um ein Kraftfahrzeug handeln, beispielsweise ein Personenkraftfahrzeug oder ein Lieferkraftfahrzeug, das von Verleihfirmen zum Verleih angeboten wird. Weiterhin kann es sich bei dem Gerät oder der Maschine beispielsweise auch um ein Flurförderzeug oder eine andere Arbeitsmaschine oder ein anderes Arbeitsgeräthandeln, die bzw. das ebenfalls vermietet wird oder beispielsweise im Rahmen eines Flottenbetriebs regelmäßig überwacht werden muss. Das vorgeschlagene Verfahren erlaubt dabei eine teil- oder vollautomatisierte Erkennung und Analyse sowie gegebenenfalls eine Dokumentation von Veränderungen und/oder Schäden an beispielsweise dem Gerät oder der Arbeitsmaschine.
  • Das Verfahren kann für verschiedene Szenarien verwendet werden, beispielsweise bei Verleihfirmen (z.B. für Mietfahrzeuge oder Mietmaschinen) oder bei Flottenbetreibern, beispielsweise in einem Logistikzentrum oder im Betrieb von Warenlagern oder an Einsatzorten von Flurförderzeugen oder anderen Arbeitsmaschinen. So kann mit dem Verfahren eine Verbesserung der Schadenserkennung und deren Dokumentation bei Verleihfirmen erreicht werden. Weiterhin kann mithilfe des vorgeschlagenen Verfahrens beispielsweise der Zustand einer Flotte von Flurförderzeugen oder anderen Fahrzeugen oder Arbeitsmaschinen in regelmäßiger Weise automatisierbar überwacht werden, sodass die Sicherheit durch die rechtzeitige Erkennung und Behebung von Mängeln erhöht werden kann, ohne dass der Flottenbetreiber beispielsweise auf entsprechende Schadensmeldungen der Fahrer angewiesen wäre. Darüber hinaus werden Ungenauigkeiten und Fehleinschätzungen sowie eine Fehleranfälligkeit, die mit einer manuellen Identifikation und Dokumentation bei der Schadenserkennung und -bewertung einhergeht, vermieden beziehungsweise gesenkt.
  • Das vorgeschlagene Verfahren basiert im Prinzip auf einem digitalen Abgleich eines oder mehrerer voraufgenommener Referenzbilder des jeweiligen Geräts oder der Maschine mit einem oder mehreren aktuell aufgenommenen Bildern beziehungsweise entsprechenden Bilddaten. Mit besonderem Vorteil basieren die Bilddaten und/oder deren Auswertung auf maschinellem Sehen und/oder maschinellem Lernen. Bevorzugt werden die Bilddaten mittels maschinellen Sehens und/oder maschinellen Lernens vorverarbeitet. Durch eine digitale Bildverarbeitung können dabei Unterschiede und Veränderungen bei Merkmalen der Geräte oder Maschinen vermessen und erkannt werden. Bei den auf dieser Basis erkannten Veränderungen oder Schäden an den Geräten oder Maschinen ist die Objektivität gewährleistet. Darüber hinaus wird durch die Automatisierbarkeit des Prozesses Personal nicht für diese Zwecke gebunden. Insgesamt erleichtert das vorgeschlagene Verfahren dabei den Prozess der Schadenserkennung, der beispielsweise im Rahmen von Verleih- oder Flottenmanagement erforderlich ist. Der Prozess kann sehr zuverlässig und reproduzierbar gestaltet werden, wobei je nach Anwendung eine Teil- oder Vollautomatisierung des Prozesses möglich ist. Das vorgeschlagene Verfahren hat den besonderen Vorteil, dass die Bildauswertung eine objektive Erkennung von Schäden oder allgemein von Veränderungen erlaubt und damit subjektive, persönliche Einschätzungen vermeidet.
  • Die Schäden oder Veränderungen, die mit dem vorgeschlagenen Verfahren erfasst werden, können beispielsweise volumenbasiert, wie beispielsweise Dellen in der Fahrzeugverkleidung, oder oberflächenbasiert, wie beispielsweise Kratzer, oder farbbasiert oder objektbasiert wie beispielsweise das Fehlen oder der Austausch einzelner Teile, sein. Im Prinzip können alle Veränderungen oder Schäden erkannt werden, die optisch detektierbar, also sichtbar sind. Darüber hinaus erlaubt das Verfahren auch die Erkennung von Veränderungen in Bewegungsabläufen, indem Bildsequenzen miteinander verglichen werden. Weiterhin erlaubt das vorgeschlagene Verfahren, nicht ohne Weiteres ersichtliche Veränderungen zu erkennen. Beispielsweise erlaubt das Verfahren die Erkennung eines Austauschs von Bauteilen, beispielsweise den Austausch eines Arbeitswerkzeugs in einer Leihmaschine, was bei einer manuellen Überprüfung nicht ohne Weiteres möglich ist.
  • In einer besonders bevorzugten Ausgestaltung des vorgeschlagenen Verfahrens wird der automatisierbare Abgleich der Bilddaten auf Basis einer Mustererkennung durchgeführt. Die an sich bekannte Mustererkennung basiert im Wesentlichen auf einer Merkmalsextraktion und/oder einer Objektdetektion, wie es beispielsweise aus dem Automotive-Umfeld für diverse Assistenzfunktionen bis hin zum automatisierten Fahren bekannt ist. Prinzipiell basiert eine Mustererkennung darauf, dass ein bestimmter Objekttyp auf Basis eines Trainingsdatensatzes charakterisiert wird, wobei der Trainingsdatensatz unterschiedliche Ausprägungen des Objekttyps beinhaltet. Um einen Merkmalsvektor eindeutig einem Objekttyp zuordnen zu können, wird in der Regel ein Klassifikator trainiert, um so die Erscheinung eines Objektes in der Bildebene beschreiben zu können. Über maschinelles Lernen, das Gegenbeispiele einbezieht, können so die charakteristischen bildbasierten Eigenschaften des jeweiligen Objektes präzisiert werden. Der Einsatz einer Mustererkennung für das vorgeschlagene Verfahren hat den besonderen Vorteil, dass auf dieser Basis, insbesondere typische, Schäden, wie beispielsweise Dellen oder Kratzer in der Karosserie, klassifiziert werden können, sodass eine Automatisierung mit besonderem Vorteil möglich ist. Weiterhin kann auf der Basis einer Mustererkennung beispielsweise die Veränderung und/oder ein Austausch von Bauteilen oder ganzen Baugruppen der jeweiligen Geräte oder Maschinen erkannt bzw. festgestellt werden.
  • Die Bilddaten selbst können im Prinzip durch verschiedene bildgebende Verfahren erfasst werden. Hierfür eignen sich beispielsweise Radar- und/oder Ultraschall- und/oder Spektral- und/oder Laser-Systeme. Mit ganz besonderem Vorteil können hierfür Kamerasysteme eingesetzt werden, da entsprechende Kamerasysteme oftmals bereits vorhanden oder leicht verfügbar und kostengünstig sind. So kann im Rahmen des vorgeschlagenen Verfahrens beispielsweise die Kamerafunktionen eines Smartphones oder anderer vorhandener Kameras genutzt werden.
  • Bei den einsetzbaren Kamera- und/oder Radar- und/oder Ultraschall- und/oder Spektral- und/oder Laser-Systemen kann es sich um stationäre Systeme handeln, die an geeigneter Stelle installiert sind. In anderen Ausgestaltungen können die bildgebenden Systeme in mobilen Endgeräten integriert sein, beispielsweise in einem Smartphone oder in einem anderen tragbaren Gerät (z.B. Tablet-Computer oder Laptop).
  • Im Rahmen der bildgebenden Systeme können beispielsweise orthogonale oder auch nicht orthogonale Sensoren zum Einsatz kommen. So kann beispielsweise der Sichtbereich vergrößert werden. Es können dabei auch Daten von Einzelsensoren derart zusammengeführt werden, dass durch eine Sensordatenfusion Vorteile bestimmter Sensoren miteinander kombiniert beziehungsweise Nachteile bestimmter Sensoren aufgehoben werden können. Eine Fusion von Sensordaten kann dabei beispielsweise auf Objektebene stattfinden. Eine Fusion der Sensordaten kann aber auch bereits in Richtung der Rohdaten verlagert werden, um so keine Informationen zu verlieren. Bei der Verwendung von Sensorsystemen ist der Funktionspfad im Prinzip vergleichbar mit der Durchführung des Verfahrens auf der Basis eines einzelnen Sensors. Prinzipiell erfolgt zunächst eine Signalaufnahme, gefolgt von einer Signalverarbeitung. Im Fall einer durchgeführten Merkmalsextraktion werden diese Merkmale anschließend extrahiert, bevor eine Datenassoziation und eine Datenfilterung vorgenommen werden. Hieran kann sich eine Objektklassifizierung und eine Situationsanalyse, insbesondere im Hinblick auf einen Abgleich der Daten aus der aktuellen Situation verglichen mit Daten aus einer früheren Situation, beispielsweise vor einem Verleih des jeweiligen Geräts oder der Maschine, erfolgen.
  • Für das vorgeschlagene Verfahren können beispielsweise Bilddaten genutzt werden, die eine zweidimensionale Darstellung des jeweiligen Geräts oder der Maschine repräsentieren. Mit besonderem Vorteil können in diesem Zusammenhang aber auch dreidimensionale Bilder genutzt werden. Insbesondere bei einem dreidimensionalen Bildvergleich können beispielsweise auch Bildbereiche identifiziert werden, die Unterschiede hinsichtlich einer Verformung erkennen lassen. In weiteren Ausgestaltungen können auch zwei- oder dreidimensionale Bildsequenzen im Vergleich mit älteren Bildsequenzen für die Zwecke des vorgeschlagenen Verfahrens genutzt werden. So können insbesondere Veränderungen in der Kinematik und der Dynamik bei den zu überprüfenden Geräten oder Maschinen festgestellt werden. Beispielsweise können hierfür Bildsequenzen während des Verfahrens von beweglichen Teilen oder Werkzeugen, wie zum Beispiel einem Ausleger eines Flurförderzeugs, aufgenommen werden, sodass hieraus Veränderungen im Hinblick auf die charakteristische Bewegung einer Baugruppe erfasst und identifiziert werden können. Derartig identifizierte Abweichungen im Bewegungsprofil können dabei Hinweise auf eine Beschädigung im jeweiligen Aktuator oder auf eine Beschädigung von angrenzenden Systemen liefern.
  • In einer besonders bevorzugten Ausgestaltung des vorgeschlagenen Verfahrens werden die Bilddaten in automatisierter Weise aufgenommen. Beispielsweise kann es hierfür vorgesehen sein, dass eine Kamera ortsfest installiert ist und dass das Gerät oder die Maschine, beispielsweise ein Kraftfahrzeug, sich an dem Kamerasensor vorbeibewegt, sodass Bilddaten beim Abscannen im Vorbeifahren aufgenommen werden können. Zu diesem Zweck können beispielsweise eine oder mehrere Kameras im Einfahrtsbereich eines Kfz-Verleihunternehmens installiert sein, sodass die Bilddaten zwangsläufig beim Einfahren generiert werden können. In anderen Ausgestaltungen kann es beispielsweise vorgesehen sein, dass sich eine Kamera oder ein anderes bildgebendes System um das zu prüfende Gerät oder die Maschine in automatisierbarer Weise herumbewegt oder herumschwenkt. Hierdurch kann eine Standardisierung erreicht werden, die einen Abgleich von Bilddaten weiter erleichtern kann. Gleichzeitig wird der Personalaufwand für die Abnahme beziehungsweise die Überprüfung der Geräte oder Maschinen reduziert.
  • Weiterhin kann es mit Vorteil vorgesehen sein, dass für die eigentliche Aufnahme der Bilddaten eine Beleuchtung beziehungsweise Ausleuchtung oder Bestrahlung der Geräte oder Maschinen vorgesehen ist. Hierfür können entsprechende Beleuchtungssysteme installiert sein. Dies hat den Vorteil, dass hierdurch im Allgemeinen die Qualität der Bilddaten erhöht wird und zudem eine weitere Standardisierung der Bilddaten erreicht wird, die einen Abgleich mit Referenzdaten weiter erleichtert.
  • Weiterhin kann es vorgesehen sein, dass für eine Aufnahme der Bilddaten zumindest eine Abdeckung des Geräts oder der Maschine entfernt oder geöffnet werden, z. B. die Motorhaube eines Kraftfahrzeugs. Auch dies kann in standardisierbarer Weise erfolgen. Auf diese Weise ist es möglich, auch im Inneren der Maschine oder des Gerätes aufgetretene Veränderungen und/oder Schäden mittels des vorgeschlagenen Verfahrens erkennen und identifizieren zu können.
  • Eine Information bezüglich des festgestellten Schadens und/oder der festgestellten Veränderung kann mittels einer Anzeigeeinheit ausgegeben bzw. angezeigt werden. Die Information kann bspw. Bilddaten des Schadens und/oder der Veränderung umfassen. Die Information kann bspw. den Hinweis „Schaden festgestellt“ umfassen. Die erkannten Veränderungen und/oder Schäden können einem Anwender des Verfahrens beispielsweise auf einem Computermonitor oder auf einem Display eines mobilen Geräts bildlich und/oder in Schriftform angezeigt werden, sodass der Anwender entsprechend reagieren kann.
  • Weiterhin kann es mit Vorteil vorgesehen sein, dass bereits im Rahmen des vorgeschlagenen Verfahrens eine Dokumentation der Veränderungen und/oder Schäden erfolgt. Die erhobenen Daten können dabei beispielsweise mithilfe einer entsprechenden Vernetzung der Sensorik und Bildauswertung automatisch in ein Verwaltungssystem eingespeist oder importiert werden, beispielsweise in ein Mietmanagementsystem oder in ein Flottenmanagementsystem, sodass eine entsprechende Überprüfung der Geräte oder Maschinen mit sehr wenig Personaleinsatz und dabei in ausgesprochen zuverlässiger und objektiver Weise vorgenommen werden kann. Dies hat beispielsweise für eine Verleihfirma im Hinblick auf den Personalbedarf Vorteile und kann auch für den Kunden der Verleihfirma die Transparenz des Prozesses erhöhen.
  • In einer weiteren Ausgestaltung des vorgeschlagenen Verfahrens ist es vorgesehen, dass in das Verfahren eine akustische Diagnose von der Veränderung und/oder des Schadens einbezogen wird. Prinzipiell sind bereits Verfahren einer akustischen Diagnose von schallabstrahlenden Maschinenteilen bekannt. Eine akustische Diagnose basiert im Prinzip darauf, dass charakteristischer Luftschall und/oder Körperschall, ausgehend von dem jeweiligen Gerät oder der Maschine, gemessen wird. Mit besonderem Vorteil kann ein akustischer Vorher-Nachher-Vergleich mit dem beschriebenen, im Prinzip visuellen Vergleich gemäß dem vorgeschlagenen Verfahren kombiniert werden, wobei dabei insbesondere eine Aufdeckung von verdeckten und nicht unmittelbar optisch erkennbaren Schäden oder Veränderungen verbessert oder erst ermöglicht wird. Für eine automatisierbare Erkennung der Veränderungen oder Schäden können dabei die visuellen und akustischen Merkmale miteinander fusioniert werden. Hierbei ist es vorteilhaft, wenn beispielsweise auf der Basis einer Mustererkennung bereits eine Klassifizierung der Schäden in die Auswertung mit einfließt. Eine derartige akustische Diagnose kann spezifisch auf bestimmte Maschinenteile oder Geräteteile ausgerichtet werden, indem beispielsweise Mikrofone lokal angebracht werden. Weiterhin können gerichtete Schallmessungen vorgenommen werden, indem ein Schallimpuls auf die jeweiligen, zu untersuchenden Teile ausgerichtet wird.
  • Die Erfindung umfasst weiterhin ein Computerprogramm, das zur Durchführung der Schritte des beschriebenen Verfahrens eingerichtet ist. Ein solches Computerprogramm kann beispielsweise auf einem entsprechenden Computer einer Verleihfirma oder eines Flottenmanagementbüros installiert sein und dabei mit einem Verwaltungssystem gekoppelt sein. Weiterhin umfasst die Erfindung ein maschinenlesbares Speichermedium, auf welchem ein solches Computerprogramm gespeichert ist, und ein entsprechend eingerichtetes Steuergerät.
  • Weitere Merkmale und Vorteile der Erfindung ergeben sich aus der nachfolgenden Beschreibung von Ausführungsbeispielen in Verbindung mit der Zeichnung. Hierbei können die einzelnen Merkmale jeweils für sich oder in Kombination miteinander verwirklicht sein.
  • In der Zeichnung zeigt die Figur ein schematisches Ablaufdiagramm zur Durchführung einer Ausführungsform des vorgeschlagenen Verfahrens.
  • Beschreibung von Ausführungsbeispielen
  • Die Figur zeigt in schematischer Form einen möglichen Ablauf des vorgeschlagenen Verfahrens. Hierbei wird nach dem Start 10 des Verfahrens im Schritt 20 eine Aufnahme von Bilddaten vorgenommen, die den aktuellen Status des Geräts oder der Maschine, beispielsweise eines Leihfahrzeuges oder eines Gabelstaplers einer Fahrzeugflotte, repräsentieren und darstellen. Im Schritt 30 wird ein Abgleich dieser aktuellen Bilddaten mit Referenz-Bilddaten, die beispielsweise den Zustand des Leihfahrzeugs vor dem Verleihen oder den Zustand des Gabelstaplers zu einem früheren Zeitpunkt repräsentieren, vorgenommen. Im Schritt 40 erfolgt im Zuge einer entsprechenden Auswertung des Abgleichs der Bilddaten eine Erkennung von möglichen Schäden und/oder Veränderungen an dem jeweiligen Gerät oder der Maschine, beispielsweise eine Delle oder ein anderweitiger Schaden des Leihfahrzeugs oder ein Defekt an dem Gabelstapler der Flotte. Im Schritt 50 kann eine Dokumentation dieser Veränderungen oder Schäden erfolgen und/oder es können entsprechende Maßnahmen eingeleitet werden. Im Fall eines Leihfahrzeugs können beispielsweise Schadensersatzansprüche geltend gemacht werden und es kann die Beseitigung des Schadens vor einem nächsten Verleih des Fahrzeugs veranlasst werden. Im Fall eines festgestellten Schadens an einem Flotten-Gabelstapler kann ebenfalls die Beseitigung des Schadens veranlasst werden, damit die Funktionsfähigkeit und die Sicherheit bei dem Betrieb des Gabelstaplers wieder hergestellt wird.
  • Die Aufnahme der Bilddaten beispielsweise mit einer Kamera kann auf der Basis eines maschinellen Sehens vorgenommen werden, wobei beispielsweise die Auflösung, die Dynamik, die Farbwiedergabe und ein elektronischer Verschluss bei der Bildaufnahme über den Bildsensor in automatischer Weise über eine Bildaufnahmeregelung, bei der beispielsweise auch eine Belichtungssteuerung und ein Weißabgleich erfolgt, vorgenommen werden. Bei der anschließenden Bildverarbeitung kann beispielsweise eine Farbbildrekonstruktion in eine Gammakorrektur der Daten einfließen, wobei eine Verzeichniskorrektur, eine Berechnung des optischen Flusses, und andere Maßnahmen, die im Rahmen eines maschinellen Sehens bekannt sind, beispielsweise neben einer Rauschreduzierung, einer Kantenverstärkung und einer Farbkorrektur zum Einsatz kommen können. Im Rahmen der Bildverarbeitung kann eine weitere digitale Bildverbesserung erfolgen, wobei einzelne Merkmale extrahiert werden können. Dabei können durch Transformation und/oder Rektifikation von zwei oder mehr Bildern auch dreidimensionale Rekonstruktionen oder bei Bildsequenzen Bewegungsabläufe rekonstruiert werden.
  • Für eine Objektdetektion im Rahmen einer Mustererkennung zur Typisierung von Schäden oder Veränderungen können stabile Gruppen von Merkmalen gesucht werden, um mögliche typische Schäden oder Veränderungen zu beschreiben.
  • Zweckmäßigerweise wird das vorgeschlagene Verfahren auf der Basis einer rechnergestützten Bildverarbeitung durchgeführt, in die zum Beispiel zwei Bilder einer Maschine oder eines Geräts, die zu unterschiedlichen Zeitpunkten aufgenommen wurden, verglichen werden. Durch diesen Bildvergleich können Beschädigungen oder Veränderungen, die zwischen den beiden Aufnahmezeitpunkten entstanden sind, identifiziert werden. So können beispielsweise Dellen oder Kratzer oder das Fehlen oder der Vertausch einzelner Teile identifiziert werden, die beispielsweise während eines Verleihs eines Geräts oder einer Maschine oder innerhalb eines Kontrollzyklus bei einem Flottengerät oder einer Flottenmaschine aufgetreten sind. Für die Bilderzeugung selbst, beziehungsweise die Generierung von Bilddaten, können beispielsweise Stereokameras oder Monokameras verwendet werden, wobei es sinnvoll sein kann, das aufzunehmende Gerät oder die Maschine zu beleuchten, um die Bildqualität weiter zu verbessern. Die Beleuchtung kann dabei mit elektromagnetischen Strahlen aus dem sichtbaren oder auch aus einem nicht sichtbaren Spektrum, beispielsweise mit Ultraviolettstrahlung, durchgeführt werden. Durch eine Beleuchtung können insbesondere Beschädigungen der Textur leichter erkannt werden. Insbesondere für die Erkennung von Dellen oder Beulen ist es zweckmäßig, dreidimensionale Bilder zu verwenden, die beispielsweise mittels einer Stereokamera oder einem 3D-Lidar (light detecting and ranging) aufgenommen werden können. Bei dem Bildvergleich mit den Referenz-Bilddaten können beispielsweise solche Abweichungen identifiziert werden, die über einem bestimmten Schwellenwert liegen und die beispielsweise mittels Methoden der virtual oder augmented reality auf einem Display angezeigt werden können. So können beispielsweise Veränderungen oder Schäden erkannt werden, die sich als eine Verformung, als eine Änderung der Textur oder Farbe oder anders darstellen. Vor einem Bildvergleich ist es zweckmäßig, wenn die beiden Bilder, also die aktuellen Bilddaten und die Referenz-Bilddaten, in eine möglichst große Überdeckung gedreht und gezoomt werden. Die Bilddaten können dabei beispielsweise aus mehreren Einzelbildern zusammengesetzt sein (stitching), um beispielsweise eine Rundumsicht der Maschine oder des Geräts oder eine 360°-Sicht zu erhalten.
  • Wenn auf der Basis des vorgeschlagenen Verfahrens eine Veränderung oder ein Schaden erkannt wird, kann gegebenenfalls eine manuelle Schadensverifizierung oder -analyse nachgezogen werden. Mit dem mittels des vorgeschlagenen Verfahrens erzeugten konkreten Hinweis auf Veränderungen oder Schäden kann eine anschließende manuelle Schadenssuche und -analyse deutlich zielgerichteter und schneller durch das jeweilige Abnahmepersonal erfolgen als bei bisherigen Vorgehensweisen.
  • Mittels dem an sich bekannten Verfahren der Musterkennung können im Rahmen des vorgeschlagenen Verfahrens typische Beschädigungen automatisch erkannt und analysiert werden. Dazu können entsprechende Klassifikatoren, die beispielsweise als neuronale Netze implementiert werden, mit entsprechenden Schadensbildern trainiert werden. So können beispielsweise Kratzer, Beulen und Ähnliches erkannt werden. Entsprechende Schäden können dem Anwender beispielsweise in bildlicher oder schriftlicher Form auf einem Display angezeigt werden und/oder in einem entsprechenden Verwaltungssystem gemeldet und dokumentiert werden. Darüber hinaus können mit dem Verfahren der Mustererkennung einzelne Teile des jeweiligen Geräts oder der Maschine herstellerspezifisch und individuell erkannt werden. Diese Erkennung kann beispielsweise darauf basieren, dass gleiche Teile unterschiedlich gealtert sind oder dass im System hinterlegte, bekannte Vorschädigungen eines Teils zu einem späteren Zeitpunkt nicht mehr vorhanden sind. So kann ein absichtlicher (neu gegen alt) oder versehentlicher Vertausch von Bauteilen oder Baugruppen identifiziert werden. Werden über beispielsweise Klassifikatoren alle sichtbaren Teile einer Maschine oder eines Gerätes erkannt, so kann auch eine Vollständigkeit aller Teile einer Maschine oder eines Geräts geprüft werden. Darüber hinaus können Veränderungen oder Beschädigungen automatisiert den jeweiligen Teilen zugeordnet werden. Unabhängig davon, ob ein Austausch aufgrund von Verschleiß notwendig war oder nicht, können Ersatzteile gegebenenfalls von minderwertiger Qualität sein. Ist das Ersatz- oder Tauschteil in der Kontur und Farbgebung beziehungsweise Textur identisch mit dem Originalteil, so können beispielsweise Verschiebungen, die beim Einbau durch Fertigungstoleranzen hervorgerufen werden, Aufschluss auf eine Veränderung der Maschine oder des Geräts geben. Zusätzlich können beim Umbau elektrische oder hydraulische Leitungen, Verbindungselemente wie Schrauben oder Abdeckungen oder Ähnliches verändert worden sein. Diese Veränderungen können mit dem Bildvergleich gemäß dem vorgeschlagenen Verfahren gefunden und dem Anwender angezeigt werden. In diesem Zusammenhang kann es sinnvoll sein, routinemäßig Abdeckungen (z. B. Wartungsdeckel) oder Ähnliches vor der Aufnahme der Bilddaten zu entfernen, sodass Veränderungen und/oder Schäden an verdeckten Positionen freigelegt und analysiert werden können.
  • Weiterhin ist eine kontextbasierte Analyse im Rahmen des vorgeschlagenen Verfahrens möglich. Wenn beispielsweise Beschädigungen festgestellt wurden, so können diese im Kontext mit den zurückliegenden und aufgezeichneten Betriebsprofilen auf Korrelationen geprüft werden, sodass mögliche Ursachen ermittelt werden können. So kann beispielsweise eine kurze und heftige Beschleunigung des Geräts oder der Maschine, die gemessen und aufgezeichnet wurde, in Verbindung mit einer Delle der Verkleidung gebracht werden. Derartige Ursachen können insbesondere im Rahmen einer maschinellen Korrelationssuche ermittelt werden.
  • Die Aufnahme der Bilddaten, also insbesondere die Bilderfassung und die Bildverarbeitung, kann lokal oder verteilt erfolgen, beispielsweise mithilfe einer vernetzen Kamera. Die Kamera kann dabei beispielsweise in einem mobilen Endgerät, wie in einem Smartphone mit entsprechender App, vorgesehen sein. Andererseits ist es auch möglich, ortsfeste Kameras, die in der jeweiligen Infrastruktur installiert sind, zu verwenden. Um ein Fahrzeug beispielsweise von allen Seiten erfassen zu können, ist es zweckmäßig, wenn eine schwenkbare Kamera verwendet wird. In anderen Ausgestaltungen können mehrere Kameras installiert sein, die aus unterschiedlichen Perspektiven entlang einer beispielsweise zwangsläufig zu befahrenden Strecke angeordnet sind. So kann zum Beispiel die Einfahrt zum Gelände einer Verleihfirma oder ein bestimmter Regalgang in einem Logistikzentrum in entsprechender Weise mit Kameras ausgestattet sein, wobei die erforderlichen Bilddaten in automatisierter Weise aufgenommen werden können.
  • Eine Dokumentation der Schäden oder Veränderungen kann mit entsprechend vernetzten Endgeräten in automatisierter Weise in einer Datenbank vorgenommen werden. Mit einem geeigneten Tagging, also einem Anbringen von identifizierbaren Markern an den jeweiligen Geräten oder Maschinen, kann gegebenenfalls automatisch eine erstellte Schadensanalyse einer bestimmten Maschine oder einem bestimmten Gerät oder beispielsweise dem aktuellen Mieter der Maschine oder des Geräts zugeordnet werden. Derartige Informationen können in ein Leihmanagementsystem oder Ähnliches importiert werden, wodurch beispielsweise die Leihrückgabe vereinfacht und automatisiert werden kann. Im Kontext der Schadensüberwachung von Flotten können die erhobenen Daten in das Flottenmanagementsystem importiert werden, um auf diese Weise die Schadenserfassung zu automatisieren. Der zuständige Planer kann dann beispielsweise in Echtzeit während des Betriebs der Maschinen oder Geräte deren Instandsetzung und Ersatz planen.
  • Neben dem Einsatz von Bild- oder Videokameras können die erforderlichen Bilddaten beispielsweise auch durch Abscannen mit Radar-, Ultraschall-, Spektral-, Laser- oder anderen Systemen erfolgen. Die Auswertung entsprechender Daten erfolgt im Prinzip analog wie bei dem erläuterten Beispiel von Bilddaten einer Kamera.

Claims (15)

  1. Verfahren zur Überprüfung eines Geräts oder einer Maschine zur Feststellung einer Veränderung und/oder eines Schadens an dem Gerät oder der Maschine, dadurch gekennzeichnet, dass die Überprüfung durch einen automatisierbaren Abgleich von Bilddaten mit Referenz-Bilddaten (30) vorgenommen wird.
  2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass das Gerät oder die Maschine ein Leih-Gerät oder eine Leih-Maschine und/oder ein FlottenGerät oder eine Flotten-Maschine ist.
  3. Verfahren nach Anspruch 1 oder Anspruch 2, dadurch gekennzeichnet, dass die Bilddaten auf maschinellem Sehen und/oder maschinellem Lernen basieren.
  4. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der automatisierbare Abgleich auf Basis einer Mustererkennung durchgeführt wird.
  5. Verfahren nach Anspruch 4, dadurch gekennzeichnet, dass auf der Basis der Mustererkennung der Schaden klassifiziert wird.
  6. Verfahren nach Anspruch 4 oder Anspruch 5, dadurch gekennzeichnet, dass auf der Basis der Mustererkennung die Veränderung und/oder ein Austausch von Bauteilen oder Baugruppen des Geräts oder der Maschine erkannt wird.
  7. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Bilddaten durch Kamera- und/oder Radar- und/oder Ultraschall- und/oder Spektral- und/oder Laser-Systeme erfasst werden.
  8. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Bilddaten zwei- oder dreidimensionale Bilder und/oder Bildsequenzen repräsentieren.
  9. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass eine Aufnahme der Bilddaten (20) in automatisierter Weise erfolgt.
  10. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass für eine Aufnahme der Bilddaten (20) zumindest eine Abdeckung des Geräts oder der Maschine entfernt werden.
  11. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass eine Information bezüglich des festgestellten Schadens und/oder der festgestellten Veränderung mittels einer Anzeigeeinheit ausgegeben wird.
  12. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass in das Verfahren eine akustische Diagnose der Veränderung und/oder des Schadens einbezogen wird.
  13. Computerprogramm, welches eingerichtet ist, die Schritte eines Verfahrens gemäß einem der Ansprüche 1 bis 12 durchzuführen.
  14. Maschinenlesbares Speichermedium, auf welchem ein Computerprogramm nach Anspruch 13 gespeichert ist.
  15. Elektronisches Steuergerät, das eingerichtet ist, die Schritte eines Verfahrens gemäß einem der Ansprüche 1 bis 12 durchzuführen.
DE102019208448.6A 2019-06-11 2019-06-11 Verfahren zur Überprüfung eines Geräts oder einer Maschine Pending DE102019208448A1 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102019208448.6A DE102019208448A1 (de) 2019-06-11 2019-06-11 Verfahren zur Überprüfung eines Geräts oder einer Maschine

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102019208448.6A DE102019208448A1 (de) 2019-06-11 2019-06-11 Verfahren zur Überprüfung eines Geräts oder einer Maschine

Publications (1)

Publication Number Publication Date
DE102019208448A1 true DE102019208448A1 (de) 2020-12-17

Family

ID=73546687

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102019208448.6A Pending DE102019208448A1 (de) 2019-06-11 2019-06-11 Verfahren zur Überprüfung eines Geräts oder einer Maschine

Country Status (1)

Country Link
DE (1) DE102019208448A1 (de)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102021109399A1 (de) 2021-04-14 2022-10-20 Pilz Gmbh & Co. Kg Vorrichtung und Verfahren zur Identifizierung von Veränderungen an einer Maschinenanordnung
DE102022103875A1 (de) 2022-02-18 2023-08-24 TRUMPF Werkzeugmaschinen SE + Co. KG Verfahren und System zur Bestimmung eines Betriebszustandes einer Maschine

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE4033303A1 (de) * 1989-10-20 1991-04-25 Hitachi Ltd Ueberwachungssystem fuer stoerungen
DE4042511C2 (de) * 1989-10-20 2001-01-25 Hitachi Ltd Überwachungssystem für Störungen
DE10057928C1 (de) * 2000-11-22 2002-02-21 Inb Vision Ag Verfahren zur Erkennung von Abweichungen der Oberflächenform von einer vorgegebenen Form
DE10132625A1 (de) * 2001-07-05 2003-01-23 Oce Printing Systems Gmbh Verfahren, Computerprogrammprodukt und Gerätesystem zum visuellen Überprüfen von Bilddaten
DE10134758A1 (de) * 2001-07-17 2003-02-20 Syskron Gmbh Verfahren zum Erkennen des Schaltzustandes von Rohrleitungssystemen
DE102004044673A1 (de) * 2004-09-08 2006-03-23 Siemens Ag Verfahren und Automatisierungssystem zum Überwachen zumindest einer Anlagenkomponente einer technischen Anlage

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE4033303A1 (de) * 1989-10-20 1991-04-25 Hitachi Ltd Ueberwachungssystem fuer stoerungen
DE4042511C2 (de) * 1989-10-20 2001-01-25 Hitachi Ltd Überwachungssystem für Störungen
DE10057928C1 (de) * 2000-11-22 2002-02-21 Inb Vision Ag Verfahren zur Erkennung von Abweichungen der Oberflächenform von einer vorgegebenen Form
DE10132625A1 (de) * 2001-07-05 2003-01-23 Oce Printing Systems Gmbh Verfahren, Computerprogrammprodukt und Gerätesystem zum visuellen Überprüfen von Bilddaten
DE10134758A1 (de) * 2001-07-17 2003-02-20 Syskron Gmbh Verfahren zum Erkennen des Schaltzustandes von Rohrleitungssystemen
DE102004044673A1 (de) * 2004-09-08 2006-03-23 Siemens Ag Verfahren und Automatisierungssystem zum Überwachen zumindest einer Anlagenkomponente einer technischen Anlage

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102021109399A1 (de) 2021-04-14 2022-10-20 Pilz Gmbh & Co. Kg Vorrichtung und Verfahren zur Identifizierung von Veränderungen an einer Maschinenanordnung
DE102022103875A1 (de) 2022-02-18 2023-08-24 TRUMPF Werkzeugmaschinen SE + Co. KG Verfahren und System zur Bestimmung eines Betriebszustandes einer Maschine

Similar Documents

Publication Publication Date Title
DE102006048578B4 (de) Verfahren und Vorrichtung zum Bestimmen der Veränderung der Form eines dreidimensionalen Objektes
DE10034606A1 (de) Verfahren zur Bereitstellung von fertigungsbezogenen Daten in einer Serienfertigung von Fertigungsobjekten, insbesondere von Kraftfahrzeugen
EP2546778A2 (de) Verfahren zum evaluieren einer Objekterkennungseinrichtung eines Kraftfahrzeugs
WO2021151412A1 (de) Vorrichtung und verfahren zur automatischen erkennung von beschädigungen an fahrzeugen
EP4211419A1 (de) Fahrzeugoberflächenanalysesystem
DE102019208448A1 (de) Verfahren zur Überprüfung eines Geräts oder einer Maschine
DE102020005611A1 (de) Fahrzeugoberflächenanalysesystem
DE102011079005B4 (de) Verfahren zur Eigendiagnose von Kameras und Bildaufnahmesystem mit mindestens einer Kamera zur Durchführung des Verfahrens
DE102014114204A1 (de) Verfahren und System zum Erfassen der zum Abschluss und zur Durchführung eines Wartungs- und/oder Reparaturvertrages erforderlichen Informationen
DE102016010833A1 (de) Prüfraum zur Inspektion einer Oberflächenbeschaffenhait einer Prüfoberfläche
EP3659113B1 (de) Erkennungssystem, arbeitsverfahren und trainingsverfahren zum erzeugen eines 3d-modells mit referenzdaten
DE102019203372B4 (de) Verfahren, Speichervorrichtung mit einem Programmcode und System zum Bestimmen einer Abweichung eines zu prüfenden Fahrzeugs zu einem Standardmodell des zu prüfenden Fahrzeugs
DE102009056013A1 (de) Verfahren zum Erzeugen eines Augmented-Reality-Bildes
DE102019001041A1 (de) Verfahren, sowie Vorrichtung zur Erkennung wenigstens eines manipulierten Verkehrszeichens mit einem Laserscanner
DE102018112910B4 (de) Herstellungsverfahren für eine Antriebseinrichtung und Prüfeinrichtung
DE102014224409A1 (de) Verfahren und Vorrichtung zum Bewerten eines Schadens an einem Bauteil einesFortbewegungsmittels
WO2021013701A1 (de) Verfahren zum bereitstellen einer instandhaltungsprognose für ein kraftfahrzeug, speichermedium, mobiles portables endgerät, servervorrichtung, prognoseeinrichtung, und kraftfahrzeug
DE202019003042U1 (de) Anordnung von Modulen zur 3D-gestützten optischen Inspektion von Rohrleitungen und Kanälen
DE102018007833A1 (de) Verfahren zum Ermitteln einer Höhe eines Kraftfahrzeugs
DE102022204406B4 (de) Verfahren zum Klassifizieren und/oder zur Regression von Eingangssignalen unter Zuhilfenahme einer Gram-Matrix-Variante
DE202011108233U1 (de) Informationssystem zum Informieren über ein Fahrzeug
WO2024022674A1 (de) Verfahren zum analysieren eines äusseren fahrzeugzustandes und computerprogramm
DE102018002621A1 (de) Fahrzeugerfassungssystem
EP3299801A2 (de) Verfahren und vorrichtung zur darstellung von fehlern an werkstücken
EP4202850A1 (de) Verfahren zur erfassung eines schadens an einem fahrzeug

Legal Events

Date Code Title Description
R163 Identified publications notified