EP4515506A1

EP4515506A1 - Verfahren zur gewinnung eines kennungsdatensatzes für eine industrielle anlage

Info

Publication number: EP4515506A1
Application number: EP23712157.9A
Authority: EP
Inventors: Nahar Singh; Asmita UNIYAL; Clemens Panzer
Original assignee: Contitech Deutschland GmbH
Current assignee: Contitech Deutschland GmbH
Priority date: 2022-04-28
Filing date: 2023-03-09
Publication date: 2025-03-05
Also published as: DE102022204123A1; WO2023208294A1

Abstract

Die Erfindung betrifft ein Verfahren (100) zur Gewinnung eines Kennungsdatensatzes für eine Mehrzahl von entlang einer industriellen Anlage wiederkehrenden, zu inspizierenden Objekten auf Basis einer Sequenz von entlang der Anlage aufgezeichneten, aufeinanderfolgenden Bildern. Zur Vermeidung einer redundanten Auswertung und einer verbesserten Zuordnung von abgebildeten zu realen Objekten am Standort der Anlage wird vorgeschlagen, den erkannten Objekten eine Kennung zuzuordnen und diese in einem Kennungsdatensatz zu erfassen.

Description

Beschreibung

Verfahren zur Gewinnung eines Kennungsdatensatzes für eine industrielle Anlage

Die vorliegende Erfindung betrifft ein Verfahren zur Gewinnung eines Kennungsdatensatzes für eine Mehrzahl von entlang einer industriellen Anlage wiederkehrenden, zu inspizierenden Objekten auf Basis einer Sequenz von entlang der Anlage aufgezeichneten, aufeinanderfolgenden Bildern. Ferner betrifft die Erfindung ein Verfahren zur visuellen Inspektion derartiger Objekte.

Ein Beispiel für derartige Anlagen sind Transportbandanlagen zur Förderung von z.B. Schüttgütern. Hierbei wird das Schüttgut, wie z.B. Abraum, Erz, Brennstoffe oder Baustoffe, mittels eines geschlossenen, von einer Mehrzahl von Tragrollen gestützten und geführten Transportbandes transportiert. Transportbandanlagen können auch als Förderbandanlagen oder Gurtförderanlagen bezeichnet werden. Die Tragrollen sind üblicherweise in entlang der Förderstrecke gleichmäßig voneinander beabstandeten Stützkonstruktionen, sogenannten Tragrollenstühlen, drehbar gelagert. Ein Tragrollenstuhl kann eine oder mehrere Tragrollen aufweisen. Die Tragrollen können starr oder beweglich, z.B. in Form einer Tragrollengirlande, in dem Tragrollenstuhl angeordnet sein. Tragrollen und Tragrollenstühle werden in diesem Sinne als entlang der Transportbandanlage wiederkehrende Objekte verstanden.

Transportbandanlagen können mehrere Kilometer lange Förderstrecken aufweisen, bei denen regelmäßig mehrere hundert Tragrollen pro Kilometer Förderstrecke vorgesehen sind. Bei jeder einzelnen dieser Tragrollen können betriebs- und/oder witterungsbedingte Verschleißerscheinungen, wie z.B. ein durch defekte Lager hervorgerufener erhöhter Laufwiderstand, zu einem erhöhten Energieverbrauch der Anlage oder sogar zu einer Beschädigung des Transportbandes führen. Eine Inspektion sämtlicher Tragrollen der Anlage ist aufgrund der Größe derartiger Anlagen und der damit verbundenen hohen Anzahl an standortgebunden Tragrollen stets mit einem hohen logistischen Aufwand verbunden. Eine Möglichkeit zur Durchführung einer Inspektion von Transportbandanlagen besteht darin, mithilfe einer Drohne oder eines anderen unbemannten Fahrzeugs Bilder entlang der Anlage aufzunehmen und anschließend zur Bestimmung des Funktionszustands der Tragrollen auszuwerten. Ein solches Verfahren ist beispielsweise in der DE 102020206497 A1 beschrieben. Hierbei wird anhand von aufgenommenen Wärmebildern eine erhöhte Wärmeentwicklung im Bereich einer Tragrolle erkannt, die auf einen erhöhten Laufwiderstand und somit einen Defekt hindeutet.

Um eine Wartung der auf dem Wärmebild als defekt erkannten Tragrolle zu ermöglichen, muss ermittelt werden, wo genau sich diese Rolle in der Anlage befindet, damit z.B. Wartungspersonal gezielt zum Standort der Rolle entsendet werden kann. Aus den meist als Metadaten erfassten GPS-Daten eines aufgezeichneten Bildes lässt sich der Standort einer darauf abgebildeten Tragrolle nicht ausreichend präzise ermitteln, auch weil die gespeicherten GPS-Daten den Standort der Drohne und nicht den Standort der Rolle angeben.

Die DE 10 2020 206 497 A1 schlägt als Lösung dieses Problems eine vorherige Vermessung der gesamten Anlage und die Erstellung eines 3D-Modells vor, in dem jeder Rolle eine genaue GPS-Position zugewiesen wird. Die dazu nötige Vorarbeit an der zu inspizierenden Anlage sowie der Prozess der Erstellung des 3D-Modells sind äußerst zeitintensiv und müssen von spezialisierten Fachkräften durchgeführt werden, was die Kosten einer Inspektion insgesamt erhöht. Alternativ wird in der DE 10 2020 206 497 A1 vorgeschlagen, an jedem Tragrollenstuhl einen RFID-Transponder anzubringen und durch eine entsprechende Ausleseelektronik in der Drohne eine eindeutige Zuordnung der Bilder zu den Rollen ermöglichen. Auch dies ist mit einer zeit- und kostenintensiven Vorarbeit an der Anlage verbunden. Zudem können RFID-Transponder durch Witterung oder im Zuge des Betriebs der Anlage beschädigt werden und müssen dann selbst aufwendig ausgetauscht werden.

Die JP 2019 018999 A offenbart ebenfalls eine Inspektion von

Transportbandanlagen, die auf der Auswertung von entlang der Anlage aufgezeichneten Bildern basiert. Die Bilder werden mit einem schienengebundenen Fahrzeug aufgezeichnet und zu einem Panoramabild zusammengesetzt, anhand dessen eine bessere Positionsbestimmung einzelner Rollen ermöglicht werden soll. Aufgrund des durch die Schienenführung definierten und insbesondere gleichbleibenden Abstandes des Fahrzeugs zur Anlage kann die Position des Fahrzeugs (z.B. über GPS) besser mit der Position einzelner Rollen korreliert werden. Schienengebundene Fahrzeuge erfordern allerdings stets eine sich entlang der gesamten Anlage erstreckende Schienenführung, deren Installation mit hohem Arbeits- und Kostenaufwand verbunden ist. Viele Anlagen sind aufgrund ihrer Größe oder ihres Einsatzgebietes für die Inspektion mittels schienengebundener Fahrzeuge ungeeignet. Auch sind schienengebundene Fahrzeuge in der Regel wesentlich langsamer und verbrauchen mehr Energie als frei fahrende oder fliegende Drohnen. Gemäß der JP 2019 018999 A setzt die Verarbeitung zu einem Panoramabild zudem voraus, dass aufeinanderfolgende Bilder sich zu mehr als 50% überlappen, was die Höchstfahrgeschwindigkeit des schienengebundenen Fahrzeugs entlang der Anlage weiter beschränkt. Darüber hinaus führt eine derartig hohe Überlappung dazu, dass eine Menge redundanter Daten aufgezeichnet und gespeichert werden müssen.

Aufgabe der vorliegenden Erfindung ist es daher, ein Verfahren bereitzustellen, das die Auswertung von entlang einer industriellen Anlage aufgezeichneten Bildern von zu inspizierenden Objekten erleichtert, eine präzise Zuordnung der auf den Bildern abgebildeten und erkannten Objekte zu realen Objekten der Anlage ermöglicht und möglichst geringe Anforderungen an die Art und Weise des Bildaufnahmeprozesses und an die Infrastruktur der Anlage stellt. Insbesondere sollen mittels frei fahrender oder fliegender Drohnen aufgezeichnete Bildsequenzen effizient und zuverlässig ausgewertet werden können.

Diese Aufgabe wird durch ein Verfahren zur Gewinnung eines Kennungsdatensatzes mit den Merkmalen des Anspruchs 1 und durch ein Verfahren zur visuellen Inspektion mit den Merkmalen des Anspruchs 4 gelöst. Bevorzugte Merkmale sind Gegenstand der abhängigen Ansprüche. Weitere Vorteile und Merkmale sind der allgemeinen Beschreibung sowie den Ausführungsbeispielen zu entnehmen.

Das erfindungsgemäße computerimplementierte Verfahren zur Gewinnung eines Kennungsdatensatzes für eine Mehrzahl von entlang einer industriellen Anlage, insbesondere einer Transportbandanlage, wiederkehrenden, zu inspizierenden Objekten, insbesondere von Tragrollen und/oder Tragrollenstühlen, auf Basis einer Sequenz von entlang der Anlage aufgezeichneten, aufeinanderfolgenden Bildern, umfasst folgende Schritte:

Empfangen eines Ausgangsbildes der Sequenz von Bildern, auf dem ein Objekt der Mehrzahl von Objekten abgebildet ist;

Erkennen des Objekts in dem Ausgangsbild und Zuordnen einer Kennung zu dem Objekt;

Empfangen eines Folgebildes der Sequenz von Bildern, das aus einer anderen Perspektive als das Ausgangsbild aufgezeichnet worden ist und auf dem das Objekt sowie ein nicht auf dem Ausgangsbild abgebildetes weiteres Objekt der Mehrzahl von Objekten abgebildet sind;

Erkennen des Objekts in dem Folgebild und Zuordnen der Kennung zu dem Objekt;

Erkennen des weiteren Objekts und Zuordnen einer neuen Kennung zu dem weiteren Objekt;

Optional: Wiederholung der vorangehenden Schritte mit dem Folgebild als neues Ausgangsbild;

Erfassen der Kennungen der erkannten Objekte als bildspezifischen Kennungsdatensatz.

Auf diese Weise kann jedem auf einem oder mehreren Bildern erkannten Objekt eine eindeutige Kennung, z.B. in Form einer Identifikationsnummer oder -zeichenkette, zugewiesen und in einem Kennungsdatensatz erfasst werden. Die Kennung kann auch als Identifikator oder „ID“ bezeichnet werden. Der Vorteil einer Kennung ist, dass sie automatisch bzw. maschinell und zunächst ohne Berücksichtigung externer Informationen (wie z.B. Positionsdaten, etc.) vergeben werden kann. Die Kennung kann dabei geordnet sein, beispielsweise als aufsteigende Zahlenfolge vergeben werden. Der Kennungsdatensatz ist bildspezifisch, d.h. aus dem Kennungsdatensatz geht hervor, welche Kennungen auf Basis eines bestimmten Bildes zugeordnet wurden und welche Bilder die Basis für die Vergabe einer bestimmten Kennung sind. Der Kennungsdatensatz kann eine oder mehrere Datenbanken umfassen.

Das im Ausgangsbild erkannte und mit einer Kennung versehene Objekt wird im Folgebild nachverfolgt bzw. getrackt. Zur Nachverfolgung können in einigen Ausgestaltungen der Erfindung auch Positions- und/oder Bewegungsdaten der zur Aufnahme der Sequenz von Bildern verwendeten Aufnahmevorrichtung, z.B. einer frei fahrenden oder fliegenden Drohne, herangezogen werden. Dem nachverfolgten Objekt wird bevorzugt dieselbe Kennung wie im Ausgangsbild zugewiesen.

Alternativ kann dem Objekt im Folgebild eine Kennung zugewiesen werden, die mit der Kennung dieses Objekts im Ausgangsbild in einer Weise verknüpft ist, die eine eindeutige Zuordnung der Kennungen ermöglicht. Einem auf dem Folgebild erkannten „neuen“ Objekt, das nicht auf dem Ausgangsbild abgebildet ist, wird eine neue Kennung zugeordnet.

Das Verfahren kann iterativ auf sämtliche Bilder der Sequenz angewendet werden, indem nach abgeschlossener Zuordnung aller Kennungen das Folgebild als neues Ausgangsbild und ein weiteres Folgebild ausgewählt wird und die Objekterkennung und Zuordnung von Kennungen wiederholt wird. Bevorzugt wird als Folgebild das unmittelbar nach dem Ausgangsbild aufgezeichnete Bild der Sequenz verwendet.

Das Erfassen der Kennungen der erkannten Objekte als bildspezifischen Kennungsdatensatz kann z.B. unmittelbar bei der jeweiligen Zuordnung oder nach jedem Iterationsschritt erfolgen.

Statt der Vorgabe einer gewissen Mindestüberlappung nacheinander aufgezeichneter Bilder, genügt es für das erfindungsgemäße Verfahren, wenn ein und dasselbe Objekt der Anlage (oder erkennbare Teile davon) auf zwei insbesondere unmittelbar nacheinander aufgenommenen Bildern abgebildet ist. Daher eignet sich das erfindungsgemäße Verfahren besonders für mit frei fahrenden oder fliegenden Drohnen aufgezeichneten Bildsequenzen, bei denen die Aufnahmeperspektiven zwischen zwei Bildern sowohl translatorisch als auch rotatorisch stärker variieren können. Zudem liefert das Verfahren auch bei einer relativ geringen Anzahl an Bildern pro Längsabschnitt der zu inspizierenden Anlage gut auswertbare Ergebnisse. Somit kann die Dauer einer insbesondere mittels einer Drohne durchgeführten Inspektionsfahrt erheblich verkürzt und die dabei produzierte und anschließend auszuwertende Datenmenge reduziert werden.

Die den auf den Bildern abgebildeten und erkannten Objekten zugeordnete Kennung ist eine vorteilhafte Hilfsgröße, die zu einer effizienteren Bildauswertung und zu einer präziseren Zuordnung zu den korrespondierenden realen Objekten der Anlage verwendet werden kann. Der Kennungsdatensatz ermöglicht es, durch geschicktes Datenmanagement redundante Feststellungen zum Funktionszustand eines Objekts zu vermeiden, indem statt sämtlichen Bildern, auf denen ein Objekt abgebildet ist, lediglich eine Auswahl oder nur eines dieser Bilder ausgewertet und die übrigen Bilder oder Bildbereiche ignoriert werden. Auf diese Weise kann die Auswertung der Bilder effizienter gestaltet werden. Ferner kann bereits die Zuweisung einer geordneten Kennung bezogen auf einem bestimmten Referenzoder Bezugspunkt der Anlage, z.B. in Form einer Abzählung der Objekte ausgehend von einem der Enden der Anlage, eine sehr einfache Möglichkeit bereitstellen, die erkannten Objekte den realen Objekten der Anlage zuzuordnen. Bevorzugt wird im vorliegenden Verfahren eine solche anlagenbezogene geordnete Kennung zugeordnet. So kann beispielsweise bei einer Transportbandanlage aus einer vergebenen Kennung und der Route, entlang derer die Sequenz von Bildern aufgezeichnet wurde, ermittelt werden, dass es sich bei einer durch Bildauswertung als defekt ermittelten Rolle um die 42. Rolle auf der linken Seite in Förderrichtung der Anlage handelt.

Das Verfahren basiert auf einer Sequenz von entlang der Anlage aufgezeichneten, aufeinanderfolgenden Bildern. Als Bilder werden die mit elektronischen Bildsensoren, wie beispielsweise CCD- oder CMOS-Sensoren, aufgenommenen Bilddaten verstanden, die mittels elektronischer Datenverarbeitungsanlagen weiterverarbeitet werden können. Beispielsweise können diese Bilder mit einer oder mehreren Kameras einer frei fahrenden oder fliegenden Drohne aufgenommen worden sein. Die Bilder können Lichtbilder (RGB-Bilder) und/oder Wärmebilder (Infrarot-Bilder) sein. Lichtbilder eignen sich aufgrund des breiteren Farbspektrums etwas besser für die Objekterkennung. Wärmebilder eignen sich besonders zur Ermittlung bestimmter Defekte, die mit einer erhöhten Wärmeentwicklung einhergehen, wie z.B. einem Lagerdefekt einer Tragrolle.

Das Erkennen und die Nachverfolgung von auf den Bildern abgebildeten Objekten kann mittels bekannter geeigneter Algorithmen, insbesondere trainierter

Machine-Learning-Algorithmen, aus dem Bereich der digitalen Bildverarbeitung erfolgen. Beispielsweise können bei der Objekterkennung „bounding boxes“ verwendet werden. Die Verarbeitung der Bilder kann eine Segmentierung, insbesondere eine „semantic segmentation“, umfassen. Es existieren eine Vielzahl geeigneter Methoden zur Erkennung von Objekten auf Basis von Bilddaten, weshalb an dieser Stelle auf eine eingehendere Erläuterung verzichtet wird.

In einer bevorzugten Ausgestaltung der Erfindung wird auf dem Ausgangsbild und/oder dem Folgebild ein an der Anlage angebrachter optisch erkennbarer Marker erkannt und die Kennung in Abhängigkeit des erkannten Markers zugeordnet. Beispielsweise sind bei einigen Transportbandanlagen die Tragrollenstühle anhand von Schildern mit Nummern oder anderen Kennzeichnungen versehen.

In einer bevorzugten Ausgestaltung der Erfindung wird ein Abstand zwischen zwei im Ausgangsbild und/oder im Folgebild abgebildeten, benachbarten Objekten ermittelt, wobei in dem Kennungsdatensatz eine Warnmeldung über ein potentiell nicht erkanntes Objekt erfasst wird, wenn der Abstand einen vorbestimmten oder auf Basis der Sequenz von Bildern ermittelten Schwellenwert überschreitet. Auf diese Weise kann anhand des Kennungsdatensatzes überprüft werden, ob die Sequenz von Bildern auch sämtliche zu inspizierende Objekte abbildet und so eine vollständige Inspektion der Anlage gewährleistet werden kann. So kann auf Basis einer erhaltenen Warnmeldung z.B. eine Bildaufnahme in einem Bereich der Anlage wiederholt werden, an der das potentiell übersehene Objekt zu erwarten ist. Hierzu können Positionsdaten der jeweiligen Bildaufnahmeposition (z.B. in Form von GPS-(Meta-)Daten) vorteilhaft verwendet werden. Bevorzugt werden Positionsdaten der jeweiligen Bildaufnahmeposition der Bilder im Kennungsdatensatz erfasst.

Der Schwellenwert für den Abstand kann anhand von vorbekannten Informationen über die Anlage festgelegt werden. Beispielsweise findet sich in der Spezifikation einer Transportbandanlage üblicherweise der nominelle Abstand zwischen den Tragrollen und/oder Tragrollenstühlen, der bei der Festlegung des Schwellenwerts berücksichtigt werden kann. Der Abstand zwischen abgebildeten Objekten kann auch ohne vorbekannte Informationen auf Basis der Sequenz von Bildern statistisch ermittelt und der bei der Festlegung des Schwellenwerts berücksichtigt werden.

Gemäß dem bereits vor- sowie dem weiter unten nachbeschriebenen wird die eingangs gestellte Aufgabe auch durch ein Verfahren mit den Merkmalen des Anspruchs 4 gelöst.

Das erfindungsgemäße computerimplementiertes Verfahren zur visuellen Inspektion einer Mehrzahl von entlang einer industriellen Anlage, insbesondere einer Transportbandanlage, wiederkehrenden, zu inspizierenden Objekten, insbesondere von Tragrollen und/oder Tragrollenstühlen, umfasst folgende Schritte:

Gewinnung eines Kennungsdatensatzes nach einem der Ansprüche 1 bis 3; Ermittlung eines Funktionszustandes der Objekte;

Erfassen des jeweiligen Funktionszustandes der Objekte in dem Kennungsdatensatz.

Sämtliche vor- sowie nachbeschriebenen Vorteile werden ebenfalls in dem Inspektionsverfahren realisiert.

In einer bevorzugten Ausgestaltung der Erfindung erfolgt die Ermittlung des Funktionszustandes der Objekte auf Basis der Sequenz von Bildern. Die Sequenz von Bildern kann dabei Lichtbilder und/oder Wärmebilder umfassen. In einigen Ausführungsformen können Lichtbilder für die Objekterkennung und Erstellung des Kennungsdatensatzes und die Wärmebildes zur Ermittlung des

Funktionszustandes der Objekte herangezogen werden. Auch wenn Lichtbilder und Wärmebilder mit unterschiedlichen Kameras aufgenommen werden, ist die Relativposition der Kameras zueinander in der Regel bekannt, z.B. wenn beide Kameras an einer Drohne befestigt sind, so dass eine zuverlässige Zuordnung der Lichtbilder zu den Wärmebildern erfolgen kann.

Der Kennungsdatensatz kann selbstverständlich auch in Kombination mit anderen als visuellen Inspektionsdaten, beispielsweise akustischen Daten, die während der Aufnahme der Sequenz von Bildern aufgezeichnet wurden, vorteilhaft verwendet werden.

In einer weiteren bevorzugten Ausgestaltung der Erfindung erfolgt die Ermittlung des Funktionszustandes der Objekte auf Basis einer echten Teilmenge der Sequenz von Bildern, wobei Auswahl der Teilmenge anhand des Kennungsdatensatzes erfolgt. Auf diese Weise kann eine Auswertung der Bilder effizienter gestaltet werden. Z.B. können redundante Feststellungen zum Funktionszustand eines Objekts vermieden werden, indem statt sämtlichen Bildern, auf denen ein Objekt abgebildet ist, lediglich eine Auswahl oder nur eines dieser Bilder ausgewertet und die übrigen Bilder oder Bildbereiche ignoriert werden.

Die Erfindung ist auch auf ein Computerprogrammprodukt zur Ausführung des Verfahrens nach einem der Ansprüche 1 bis 3 und/oder des Verfahrens nach einem der Ansprüche 4 bis 6 auf einem Computer gerichtet.

In allen Ausgestaltungen der Erfindungen kann der Schritt des Aufzeichnens einer Sequenz von aufeinanderfolgenden Bildern entlang der Anlage, insbesondere mittels einer frei fahrenden oder fliegenden Drohne, Bestandteil des erfindungsgemäßen Verfahrens sein.

Es wird ausdrücklich darauf hingewiesen, dass die vorstehend erläuterten

Ausgestaltungen der Erfindung jeweils für sich oder in einer beliebigen technisch sinnvollen Kombination auch untereinander jeweils mit dem Gegenstand der unabhängigen Ansprüche kombinierbar sind.

Abwandlungen und Ausgestaltungen der Erfindung sowie weitere Vorteile und Einzelheiten der Erfindung lassen sich der nachfolgenden gegenständlichen Beschreibung und den Zeichnungen entnehmen. In den schematischen Figuren zeigen:

Fig. 1 ein Ablaufschema einer Ausführungsform des erfindungsgemäßen

Verfahrens zur Gewinnung eines Kennungsdatensatzes;

Fig. 2 ein Ablaufschema eines Kontrollverfahrens zur Überprüfung der

Vollständigkeit der erkannten Objekte, das Teil des erfindungsgemäßen Verfahrens gemäß Fig. 1 sein kann;

Fig. 3 ein Ausgangsbild einer entlang einer Transportbandanlage aufgenommenen Sequenz von Bildern wie es in einem erfindungsgemäßen Verfahren gemäß Fig. 1 verwendet werden kann;

Fig. 4 ein Folgebildes der Sequenz von Bildern gemäß Fig. 3;

Fig. 5 ein Bildausschnitt eines Bildes einer entlang einer

Transportbandanlage, dessen Tragrollenstühle mit optischen Markern versehen sind, aufgenommenen Sequenz von Bildern wie es in einem erfindungsgemäßen Verfahren gemäß Fig. 1 verwendet werden kann;

Fig. 6 ein Ablaufschema einer Ausführungsform des erfindungsgemäßen

Verfahrens zur visuellen Inspektion einer Mehrzahl von entlang einer industriellen Anlage wiederkehrenden, zu inspizierenden Objekten. Gleich oder ähnlich wirkende Teile sind - sofern dienlich - mit identischen Bezugsziffern versehen.

Einzelne technische Merkmale der nachbeschriebenen Ausführungsbeispiele können auch in Kombination mit vorbeschriebenen Ausführungsbeispielen sowie den Merkmalen der unabhängigen Ansprüche und etwaiger weiterer Ansprüche zu erfindungsgemäßen Gegenständen kombiniert werden.

Fig. 1 zeigt eine Ausführungsform des erfindungsgemäßen Verfahrens 100 zur Gewinnung eines Kennungsdatensatzes für eine Mehrzahl von entlang einer industriellen Anlage wiederkehrenden, zu inspizierenden Objekten, auf Basis einer Sequenz von entlang der Anlage aufgezeichneten, aufeinanderfolgenden Bildern umfassend folgende Schritte:

Empfangen eines Ausgangsbildes der Sequenz von Bildern, auf dem ein Objekt der Mehrzahl von Objekten abgebildet ist (Schritt 110);

Erkennen des Objekts in dem Ausgangsbild und Zuordnen einer Kennung zu dem Objekt (Schritt 120);

Empfangen eines Folgebildes der Sequenz von Bildern, das aus einer anderen Perspektive als das Ausgangsbild aufgezeichnet worden ist und auf dem das Objekt sowie ein nicht auf dem Ausgangsbild abgebildetes weiteres Objekt der Mehrzahl von Objekten abgebildet sind (Schritt 130); Erkennen des Objekts in dem Folgebild und Zuordnen der Kennung zu dem Objekt (Schritt 140);

Erkennen des weiteren Objekts und Zuordnen einer neuen Kennung zu dem weiteren Objekt (Schritt 150);

Optional: Wiederholung der vorangehenden Schritte mit dem Folgebild als neues Ausgangsbild (Schritt 160);

Erfassen der Kennungen der erkannten Objekte als bildspezifischen Kennungsdatensatz (Schritt 170).

Die Funktionsweise des erfindungsgemäßen Verfahrens werden im Folgenden mit Blick auf die Figuren 3 bis 5 anhand eines Ausführungsbeispiels einer Transportbandanlage 2 erläutert, bei dem die zu inspizierenden Objekte Tragrollen 10, 11 , 12, 13, 14 sind.

Ein Beispielhaftes Ausgangsbild 300, wie es in einem Verfahren gemäß Fig. 1 oder 2 verwendet werden kann, ist in Fig. 3 gezeigt. Ein dazugehörendes Folgebild 400 ist in Fig. 4 gezeigt. Auf dem Ausgangsbild 300 ist ein Teilstück der Transportbandanlage 2 gezeigt. Die Transportbandanlage 2 umfasst ein geschlossenes, von einer Mehrzahl von Tragrollen 10, 11 , 12 gestütztes und geführtes Transportband 4 zum Transport von z.B. Schüttgut. Die Tragrollen 10, 11 , 12 sind dabei in entlang der Förderstrecke (vgl. Förderrichtung F) angeordneten Tragrollenstühlen 10‘, 1 T, 12‘, drehbar gelagert. Die Tragrollen 10, 11 , 12 sind gleichmäßig voneinander beabstandet, wobei die oberen Tragrollen 10, 12 einen Abstand D aufweisen.

Auf dem empfangenen Ausgangsbild 300 (Fig. 3) kann nun ein Objekt in Form einer Tragrolle 10, 11 , 12 erkannt werden, was durch gestrichelte Bounding-Boxes dargestellt wird. Der jeweiligen Tragrolle 10, 11 , 12 kann eine jeweilige Kennung 30, 31 , 32 zugeordnet werden, die auch als ID bezeichnet werden kann. Im vorliegenden Fall wird beispielsweise der Tragrolle 10 die Kennung 30 („15“) zugeordnet. Die weiteren Tragrollen 11 , 12 werden von links nach rechts durch die Vergabe der Kennungen „16“ und „17“ aufsteigend durchnummeriert.

Das empfangene Folgebild 400 (Fig. 3) ist aus einer anderen Perspektive aufgenommen als das Ausgangsbild 300, hier aus einer in Förderrichtung F versetzten Position. Auf dem Folgebild 400 sind die Tragrollen 12, 13, 14 abgebildet. Die Tragrolle 12 wird auf dem Folgebild 400 nachverfolgt bzw. getrackt, d.h. es wird festgestellt, dass es sich bei dieser Tragrolle um dieselbe Tragrolle handelt, wie sie auch in dem Ausgangsbild 300 abgebildet ist. Der Tragrolle 12 wird daher dieselbe Kennung 32 („17“) zugewiesen wie in dem Ausgangsbild 300. Alternativ kann auch eine andere Kennung zugewiesen werden, die der Kennung 32 im Ausgangsbild 300 eindeutig zugeordnet werden kann. Den weiteren im Folgebild 400 erkannten Tragrollen 13, 14, die nicht bereits im Ausgangsbild 300 erkannt wurden, werden neue Kennungen 33, 34 zugewiesen, hier weiter aufsteigende Nummern „18“ und „19“.

Eine derartige Vergabe einer Kennung hat viele Vorteile, insbesondere im Bereich der visuellen Inspektion von Tragrollen. Der Kennungsdatensatz, aus dem z.B. hervorgeht, auf welchen Bildern der Sequenz eine bestimmte Tragrolle abgebildet ist, ermöglicht es, durch geschicktes Datenmanagement redundante Feststellungen zum Funktionszustand einer Tragrolle zu vermeiden, indem statt sämtlichen Bildern, auf denen die Tragrolle abgebildet ist, lediglich eine Auswahl oder nur eines dieser Bilder ausgewertet und die übrigen Bilder oder Bildbereiche ignoriert werden. Ferner kann die Zuweisung einer geordneten Kennung bezogen auf einem bestimmten Referenz- oder Bezugspunkt der Transportbandanlage, z.B. wie in den Figuren 3 bis 5 in Form einer Abzählung der Tragrollen ausgehend von einem der Enden der Anlage, eine sehr einfache Möglichkeit bereitstellen, die erkannten Tragrollen auf den Bildern realen Tragrollen am Standort der Transportbandanlage zuzuordnen. Ein ausschlaggebender Vorteil einer Kennung ist, dass diese automatisch und zunächst ohne Berücksichtigung externer Informationen (wie z.B. Positionsdaten, etc.) vergeben werden kann.

Fig. 5 zeigt einen Bildausschnitt 500 in einer weitere Ausführungsform der Erfindung, bei der jeder Tragrollenstuhl 10' der Transportbandanlage 2 mit einem optisch erkennbaren Marker 50 in Form eines Nummernschildes versehen ist. In diesem Fall kann die Information des Markers 50 optisch erkannt und bei der Zuordnung der Kennung 30 berücksichtigt werden. Im vorliegenden Fall ist die Nummer des Tragrollenstuhls „42“, so dass der Tragrolle 10 ebenfalls die Nummer „42“ zugeordnet wird.

Fig. 2 zeigt ein Kontrollverfahren 200 zur Überprüfung der Vollständigkeit der erkannten Objekte, das Teil des erfindungsgemäßen Verfahrens 100 sein kann. Hierbei wird ein Abstand zwischen zwei im Ausgangsbild und/oder im Folgebild abgebildeten, benachbarten Objekten ermittelt wird (Schritt 210). Anschließend wird der Abstand mit einem vorbestimmten Schwellenwert verglichen (Schritt 220). Falls der Schwellenwert überschritten wird, wird in dem Kennungsdatensatz eine Warnmeldung über ein potentiell nicht erkanntes Objekt erfasst. Beispielsweise sollte mit Blick auf Fig. 3 ein Abstand D zwischen den oberen Tragrollen 10, 11 über die gesamte Förderstrecke der Transportbandanlage 2 konstant bleiben. Bei Abweichungen bzw. Überschreitung des Schwellenwertes kann somit festgestellt werden, dass nicht alle Tragrollen erkannt worden sind. Der Schwellenwert für den Abstand kann anhand von vorbekannten Informationen ermittelt werden. Alternativ oder zusätzlich kann der Abstand zwischen abgebildeten Objekten auf Basis der Sequenz von Bildern statistisch ermittelt und der bei der Festlegung des Schwellenwerts berücksichtigt werden.

Fig. 6 zeigt eine Ausführungsform des erfindungsgemäßen Verfahrens 600 zur visuellen Inspektion einer Mehrzahl von entlang einer industriellen Anlage wiederkehrenden, zu inspizierenden Objekten umfassend folgende Schritte:

Gewinnung eines Kennungsdatensatzes nach einem der Ansprüche 1 bis 3 (Schritt 610);

Ermittlung eines Funktionszustandes der Objekte (Schritt 620); Erfassen des jeweiligen Funktionszustandes der Objekte in dem Kennungsdatensatz (Schritt 630).

Claims

Patentansprüche

1 . Computerimplementiertes Verfahren (100) zur Gewinnung eines Kennungsdatensatzes für eine Mehrzahl von entlang einer industriellen Anlage, insbesondere einer Transportbandanlage (2), wiederkehrenden, zu inspizierenden Objekten, insbesondere von Tragrollen (10, 11 , 12, 13, 14) und/oder Tragrollenstühlen (10', 1 T, 12‘, 13‘, 14‘), auf Basis einer Sequenz von entlang der Anlage aufgezeichneten, aufeinanderfolgenden Bildern, umfassend folgende Schritte:

2. Verfahren nach Anspruch 1 , wobei die Kennungen anlagenbezogene geordnete Kennungen sind.

3. Verfahren nach Anspruch 1 oder 2, wobei ein Abstand zwischen zwei im Ausgangsbild und/oder im Folgebild abgebildeten, benachbarten Objekten ermittelt wird, wobei in dem Kennungsdatensatz eine Warnmeldung über ein potentiell nicht erkanntes Objekt erfasst wird, wenn der Abstand einen vorbestimmten oder auf Basis der Sequenz von Bildern ermittelten Schwellenwert überschreitet.

4. Computerimplementiertes Verfahren (600) zur visuellen Inspektion einer Mehrzahl von entlang einer industriellen Anlage, insbesondere einer Transportbandanlage, wiederkehrenden, zu inspizierenden Objekten, insbesondere von Tragrollen und/oder Tragrollenstühlen, umfassend folgende Schritte:

5. Verfahren nach Anspruch 4, wobei die Ermittlung des Funktionszustandes der Objekte auf Basis der Sequenz von Bildern erfolgt.

6. Verfahren nach Anspruch 5, wobei die Ermittlung des Funktionszustandes der Objekte auf Basis einer echten Teilmenge der Sequenz von Bildern erfolgt, wobei Auswahl der Teilmenge anhand des Kennungsdatensatzes erfolgt.

7. Computerprogrammprodukt mit einem Programmcode, der auf einem von einem Computer lesbaren Medium gespeichert ist, zur Ausführung eines Verfahrens nach einem der Ansprüche 1 bis 6.