CH709322B1 - System, Verfahren und Computer zur verbesserten automatisierten visuellen Inspektion eines physischen Guts. - Google Patents

Abstract

Ein Computer-implementiertes System (100) zur verbesserten automatisierten visuellen Inspektion eines physischen Guts enthält eine visuelle Inspektionseinrichtung (110), die in der Lage ist, Bilder des physischen Guts (105) zu erzeugen und eine Recheneinrichtung (120) aufweisend einen Prozessor und eine mit dem Prozessor verbundene Arbeitsspeichereinheit. Die Recheneinrichtung enthält eine Speichereinrichtung, die mit der Arbeitsspeichereinrichtung verbunden ist und mit dem Prozessor verbunden ist. Die Speichereinrichtung enthält wenigstens ein historisches Bild des physischen Guts und wenigstens ein Konstruktionsmodell, das im Wesentlichen das physische Gut darstellt. Die Recheneinrichtung (120) ist dazu eingerichtet, von einer aktuellen Bildquelle zumindest ein aktuelles Bild (115) des physischen Guts zu empfangen, das durch die visuelle Inspektionseinrichtung (110) aufgenommen wurde. Die Recheneinrichtung ist dazu eingerichtet, zumindest ein übereinstimmendes historisches Bild zu identifizieren, das dem wenigstens einen aktuellen Bild entspricht, die Recheneinrichtung ist dazu eingerichtet, zumindest ein übereinstimmendes Konstruktionsmodell zu identifizieren, das dem wenigstens einen aktuellen Bild entspricht.

Description

Beschreibung

Hintergrund [0001] Das Gebiet der Erfindung betrifft allgemein Computer-implementierte Programme und genauer ein Computer-im-plementiertes System zur verbesserten automatisierten visuellen Inspektion eines physischen Guts.

[0002] Bekannte Verfahren der visuellen Inspektion von physischen Gütern enthalten die Verwendung von optischen Einrichtungen, die in solchen physischen Gütern ohne menschlichen Zugang eingebracht sind. Solche bekannten Verfahren stellen Vorteile bereit, indem eine schnelle visuelle Analyse von komplexen physischen Gütern, die für menschliche Techniker ohne Demontage oder andere Wartungsarbeiten unzugänglich sein können, ermöglicht wird. Bei manchen solchen bekannten Fällen kann das Ausführen der Demontage oder der Wartungsarbeiten von komplexen physischen Gütern Stunden dauern. Während einer solchen Demontage oder Wartungsarbeit müssen viele solcher komplexen physischen Güter temporär ausser Betrieb genommen werden. Daher führen bekannte Verfahren der visuellen Inspektion schnelle eine Analyse der internen Zustände von komplexen physischen Gütern aus und reduzieren die Stillstandzeit, die durch die Demontage oder die Wartungsarbeit verursacht werden kann.

[0003] Bekannte Verfahren und Systeme der visuellen Inspektion von physischen Gütern beinhalten das Senden von visuellen Daten an menschliche Techniker, die in der Lage sind, die Zustände der komplexen physischen Güter zu diagnostizieren. Menschliche Techniker können derartige visuelle Daten unter Verwendung von Monitoren, Computern oder anderen Anzeigen überprüfen. Bei vielen bekannten Verfahren und Systemen der visuellen Inspektion werden menschliche Techniker gesammelte visuelle Daten einem dreidimensionalen Konstruktionsmodell überlagern und manuell Merkmale zwischen den gesammelten visuellen Daten und dem dreidimensionalen Modell in Übereinstimmung bringen. Ein solches Überlagern, Vergleichen und In-Übereinstimmung-Bringen kann sehr zeitaufwendig sein. Bekannte Verfahren und Systeme der visuellen Inspektion kann auch die Komplexität gegenüberstehen, dass es dann, wenn visuelle Daten durch den menschlichen Techniker empfangen werden, oft zu spät ist, neue physikalische Messungen zu erhalten, die nicht vorher durch Aussendiensttechniker gesammelt wurden. In solchen Fällen können neue physikalische Messungen nur bei der nächsten Inspektion des physischen Guts gesammelt werden.

[0004] Solche bekannten Verfahren und Systeme der visuellen Inspektion von physischen Gütern unter Verwendung von optischen Einrichtungen ermöglichen nicht das effiziente und effektive Identifizieren der Komponente, die den von der optischen Einrichtung zu dem menschlichen Techniker gesendeten visuellen Daten entspricht. In vielen bekannten komplexen physischen Gütern sind eine Vielzahl von Komponenten und Sub-Komponenten. Das Prüfen der Architekturdetails von jeder Komponente und Subkomponente ist häufig ein notwendiger und zeitraubender Aspekt bei der Verwendung von bekannten Verfahren der visuellen Inspektion. Eine solche Prüfung ist jedoch notwendig, um sicherzustellen, dass der menschliche Techniker die exakte Komponente oder Sub-Komponente erfasst, die den visuellen Daten entsprechen. Eine falsche Identifikation kann logistisch und finanziell aufwendig sein.

Kurze Beschreibung [0005] Bei einem Aspekt wird ein Computer-implementiertes System zur verbesserten automatisierten visuellen Inspektion eines physischen Guts bereitgestellt. Das System enthält eine visuelle Inspektionseinrichtung, die in der Lage ist, Bilder des physischen Guts zu erzeugen. Das System enthält auch eine Recheneinrichtung. Die Recheneinrichtung enthält einen Prozessor. Die Recheneinrichtung enthält auch eine mit dem Prozessor verbundene Arbeitsspeichereinrichtung. Die Recheneinrichtung enthält auch eine Speichereinrichtung, die mit der Arbeitsspeichereinrichtung und ausserdem mit dem Prozessor verbunden ist. Die Speichereinrichtung enthält zumindest ein historisches Bild des physischen Guts und zumindest ein Konstruktionsmodell, das im Wesentlichen das physische Gut darstellt. Die Recheneinrichtung ist dazu eingerichtet, von einer aktuellen Bildquelle zumindest ein aktuelles Bild des physischen Guts zu empfangen, das von der visuellen Inspektionseinrichtung aufgenommen wurde. Die Recheneinrichtung ist auch dazu eingerichtet, zumindest ein übereinstimmendes historisches Bild zu identifizieren, das dem wenigstens einen aktuellen Bild entspricht. Ausserdem ist die Recheneinrichtung dazu eingerichtet, zumindest ein übereinstimmendes Konstruktionsmodell zu identifizieren, das dem wenigstens einen aktuellen Bild entspricht.

[0006] In einem weiteren Aspekt ist ein computerbasiertes Verfahren zur verbesserten automatisierten visuellen Inspektion eines physischen Guts bereitgestellt. Das computerbasierte Verfahren wird durch eine Recheneinrichtung ausgeführt. Die Recheneinrichtung weist einen Prozessor auf. Die Recheneinrichtung weist auch eine Arbeitsspeichereinrichtung auf, die mit dem Prozessor verbunden ist. Die Recheneinrichtung weist auch eine Speichereinrichtung auf, die mit der Arbeitsspeichereinrichtung und ausserdem dem Prozessor verbunden ist. Die Speichereinrichtung enthält zumindest ein historisches Bild des physischen Guts und zumindest ein Konstruktionsmodell, das im Wesentlichen das physische Gut darstellt. Das computerbasierte Verfahren enthält das Empfangen zumindest eines aktuellen Bildes des physischen Guts, das durch die visuelle Inspektionseinrichtung aufgenommen wurde, von einer aktuellen Bildquelle. Das computerbasierte Verfahren enthält auch das Identifizieren von zumindest einem übereinstimmenden historischen Bild, das dem zumindest einen aktuellen Bild entspricht. Das computerbasierte Verfahren enthält ferner das Identifizieren von zumindest einem übereinstimmenden Konstruktionsmodell, das dem zumindest einen aktuellen Bild entspricht.

[0007] Bei einem anderen Aspekt ist ein Computer zur verbesserten automatisierten visuellen Inspektion eines physischen Guts bereitgestellt. Der Computer enthält einen Prozessor. Der Computer enthält auch eine Arbeitsspeichereinrichtung, die mit dem Prozessor verbunden ist. Der Computer enthält ausserdem eine Speichereinrichtung, die mit der Arbeitsspeichereinrichtung und auch mit dem Prozessor verbunden ist. Die Speichereinrichtung enthält zumindest ein historisches Bild des physischen Guts und zumindest ein Konstruktionsmodell, das im Wesentlichen das physische Gut darstellt. Der Computer ist dazu eingerichtet, von einer aktuellen Bildquelle zumindest ein aktuelles Bild des physischen Guts zu empfangen, das von der visuellen Inspektionseinrichtung aufgenommen wurde. Der Computer ist auch dazu eingerichtet, zumindest ein übereinstimmendes historisches Bild zu identifizieren, das dem zumindest einen aktuellen Bild entspricht. Der Computer ist ausserdem dazu eingerichtet, zumindest ein übereinstimmendes Konstruktionsmodell zu identifizieren, das dem zumindest einen aktuellen Bild entspricht.

Zeichnungen [0008] Diese und andere Merkmale, Aspekte und Vorteile werden besser verstanden werden, wenn die nachfolgende detaillierte Beschreibung mit Bezug zu den beigefügten Zeichnungen gelesen wird, in der gleiche Bezugszeichen durchgängig durch die Zeichnungen gleiche Teile darstellen, wobei:

Fig. 1 eine schematische Ansicht eines beispielhaften hochentwickelten Computer-implementierten Systems zur verbesserten automatisierten visuellen Inspektion eines physischen Guts ist;

Fig. 2 ein Blockschaltbild einer beispielhaften Recheneinrichtung ist, die bei dem in Fig. 1 gezeigten Computer-implementierten System verwendet werden kann;

Fig. 3 ein Flussdiagramm eines beispielhaften Verfahrens zur verbesserten automatisierten visuellen Inspektion eines physischen Guts ist, das das in Fig. 1 gezeigte Computer-implementierte System verwendet; und

Fig. 4 ein vereinfachtes Flussdiagramm des Gesamtverfahrens zur verbesserten automatisierten visuellen Inspektion eines physischen Guts ist, das das in Fig. 1 gezeigte Computer-implementierte System verwendet, um das in Fig. 3 gezeigte verbesserte visuelle Inspektionsverfahren zu vereinfachen.

[0009] Solange es nicht anders angegeben ist, beabsichtigen die hierin bereitgestellten Zeichnungen, Haupterfindungs-merkmale der Erfindung zu veranschaulichen. Diese Flaupterfindungsmerkmale werden als in einer breiten Vielzahl von Systemen anwendbar angesehen, die eine oder mehrere Ausführungsformen der Erfindung aufweisen. Als solche sind die Zeichnungen nicht dazu bestimmt, alle üblichen Merkmale zu enthalten, die den Fachleuten bekannt sind, um die Erfindung auszuführen.

Detaillierte Beschreibung [0010] In der folgenden Beschreibung und in den Ansprüchen wird Bezug genommen auf eine Reihe von Ausdrücken, die so definiert sind, dass sie die nachfolgenden Bedeutungen haben.

[0011] Die Singularformen «ein», «eine» und «der/die/das» enthalten die Pluralbezugnahmen, solange im Kontext nicht deutlich etwas anderes angegeben ist.

[0012] «Optional» bedeutet, dass das nachfolgend beschriebene Ereignis oder der Umstand auftreten kann oder nicht auftreten kann und dass die Beschreibung Beispiele enthält, bei denen das Ereignis auftritt und Beispiele, wo es nicht der Fall ist.

[0013] Wie hierin verwendet, ist der Ausdruck «nicht-flüchtiges computerlesbares Medium» dazu bestimmt, repräsentativ für irgendeine materielle computerbasierte Einrichtung zu sein, die in irgendeinem Verfahren oder irgendeiner Technologie zur kurzfristigen oder langfristigen Speicherung von Informationen implementiert ist, wie etwa computerlesbaren Befehlen, Datenstrukturen, Programmmodulen und Untermodulen oder anderen Daten in irgendeiner Einrichtung. Daher können die hierin beschriebenen Verfahren als ausführbare Befehle codiert sein, die in einem materiellen, nicht-flüchtigen, computerlesbaren Medium verkörpert sind, aufweisend, ohne Einschränkung, eine Speichereinrichtung und/oder eine Arbeitsspeichereinrichtung. Wenn sie durch einen Prozessor ausgeführt werden, veranlassen solche Befehle den Prozessor zumindest einen Teil der hierin beschriebenen Verfahren auszuführen. Ausserdem enthält der Ausdruck «nicht-flüchtiges computerlesbares Medium», wie er hierin verwendet wird, sämtliche materiellen, computerlesbaren Medien, ohne Einschränkung enthaltend nicht-flüchtige Computerspeichereinrichtungen, ohne Einschränkung enthaltend flüchtige und nicht-flüchtige Medien und entfernbare und nicht entfernbare Medien wie etwa Firmware, physikalische und virtuelle Speicher, CD-Roms, DVDs und irgendwelche anderen digitalen Quellen, wie etwa ein Netzwerk oder das Internet, wie auch noch zu entwickelnde digitale Mittel, wobei ein vorübergehendes, sich ausbreitendes Signal die einzige Ausnahme ist.

[0014] Wie hierin verwendet, sind die Begriffe «Software» und «Firmware» synonym und umfassen irgendein Computerprogramm, das in einem Speicher zur Ausführung durch Einrichtungen abgespeichert ist, die ohne Einschränkung aufweisen, mobile Einrichtungen, Cluster, Personal Computer, Workstations, Clients und Server.

[0015] Wie hierin verwendet, bezieht sich der Ausdruck «Echtzeit» auf die Zeit des Auftretens eines zugeordneten Ereignisses und/oder die Zeit der Messung und Sammlung von vorher bestimmten Daten und/oder die Zeit zur Verarbeitung der Daten und/oder die Zeit einer Systemantwort auf die Ereignisse und die Umgebung. In den hierin beschriebenen Ausführungsbeispielen treten diese Aktivitäten und Ereignisse im Wesentlichen unverzüglich auf.

[0016] Wie hierin verwendet, sind der Ausdruck «Rechner» und damit in Bezug stehende Ausdrücke, z.B. «Recheneinrichtung», nicht auf integrierte Schaltkreise beschränkt, auf die in dem technischen Gebiet als Computer Bezug genommen wird, sondern bezieht sich weiter auf einen Mikrocontroller, einen Microcomputer, eine speicherprogrammierbare Steuerung (SPS), einen anwenderspezifischen integrierten Schaltkreis oder andere programmierbare Schaltkreise, und diese Ausdrücke werden hierin synonym verwendet.

[0017] Wie hierin verwendet, beziehen sich der Ausdruck «automatisiert» und damit in Bezug stehende Ausdrücke, z.B. «automatisch», zu der Eigenschaft, eine Aufgabe ohne irgendwelche zusätzlichen Eingaben auszuführen. Wie hierin verwendet, ist auch die visuelle Inspektion eines physischen Guts von dem Punkt an automatisiert, dass dem System ein Bezugsbild (z.B. das aktuelle Bild) bereitgestellt wird bis zu dem Punkt, zu dem das Bezugsbild einem dreidimensionalen Modell überlagert wird.

[0018] Wie hierin verwendet, beziehen sich der Ausdruck «visuelle Inspektionseinrichtung» und damit in Bezug stehende Ausdrücke, z.B. «visuelle Inspektionseinrichtungen», auf irgendeine optische Einrichtung, die in der Lage ist, in ein physisches Gut eingeführt zu werden, sich in einem physischen Gut zu bewegen, visuelle Daten in Bezug auf das physische Gut aufzunehmen und die visuellen Daten an andere Systeme zu übermitteln. Solche visuellen Inspektionseinrichtungen können ohne Einschränkung Endoskope, Fiberskope, Videoendoskope, starre Endoskope oder irgendeine Digitalkamera aufweisen, die in der Lage ist, eingeführt und innerhalb des physischen Guts manövriert zu werden. Wie hierin verwendet, ermöglichen visuelle Inspektionseinrichtungen auch die verbesserte Inspektion eines physischen Guts durch das Bereitstellen von aktuellen Bildern von dem physischen Gut.

[0019] Wie hierin verwendet, beziehen sich der Ausdruck «physisches Gut» und damit in Bezug stehende Ausdrücke, z.B. «Güter», auf irgendein physisches Objekt, das unter Verwendung einer visuellen Inspektionseinrichtung inspiziert werden kann. Solche Güter können ohne Beschränkung Gasturbinen, Dampfturbinen, Flugzeugantriebe, Dieselmotoren, Fahrzeugmotoren, Lastwagenmotoren, Druckbehälter und irgendeine einfache oder komplexe Maschine enthalten, in die eine visuelle Inspektionseinrichtung eingeführt werden kann. Wie hierin verwendet, werden physische Güter auch dazu verwendet, eine verbesserte visuelle Inspektion zu erhalten.

[0020] Wie hierin verwendet, beziehen sich der Ausdruck «Konstruktionsmodell» und damit in Bezug stehende Ausdrücke, z.B. «Konstruktionsmodelldaten», auf irgendein dreidimensionales grafisches Modell, das im Wesentlichen ein physisches Gut darstellt. Solche Konstruktionsmodelle können ohne Beschränkung eine computerunterstützte Zeichnung (CAD), ein computerunterstütztes Industriedesign, eine fotorealistische Wiedergabe oder irgendein anderes Modell enthalten, das im Wesentlichen ein physisches Gut repräsentiert und verwendet werden kann, um ein typisches physisches Gut in drei Dimensionen darzustellen. Wie hierin verwendet, werden Konstruktionsmodelle auch dazu verwendet, die erwartete normale, dreidimensionale Gestalt des physischen Guts zu beschreiben.

[0021] Wie hierin verwendet, bezieht sich der Ausdruck «Schlüsselstellenmerkmaldetektion» und damit in Bezug stehende Ausdrücke auf ein Vorgehen, um lokale Merkmale in Bildern zu detektieren und zu beschreiben. Die Schlüsselstellenmerkmaldetektion enthält typischerweise Verfahren zur Identifizierung von interessierenden Stellen an dem Objekt, zur Entnahme dieser Stellen als Merkmale und zur Beschreibung der Merkmale. Solche Verfahren enthalten ohne Beschränkung die skaleninvariante Merkmalstransformation (SIFT), den Beschleunigte-Robuste-Merkmale-Algorithmus (SURF), den Maximal-Stabile-Extremregionen-Algorithmus (MSER) und Affine-SIFT (ASIFT). Mit der Weiterwicklung von Algorithmen können sich einige Verfahren ändern, hinzugefügt oder entfernt werden. Wie hierin verwendet, ermöglicht die Schlüsselstellenmerkmaldetektion den Vergleich des aktuellen Bildes mit historischen Bilddaten.

[0022] Wie hierin verwendet, beziehen sich der Ausdruck «Schlüsselstellenabgleich» und damit in Bezug stehende Ausdrücke auf ein Verfahren, das nach der Schlüsselstellenmerkmaldetektion ausgeführt wird, bei dem festgestellt werden kann, dass sich ein erstes Merkmal aus einem ersten Bild auf dieselbe physische Stelle des physischen Guts bezieht wie ein zweites Merkmal in einem zweiten Bild. Daher ermöglicht der Schlüsselstellenabgleich die Korrelation von Merkmalen, die in der Schlüsselstellenmerkmalidentifikation zwischen zwei verschiedenen Bildern bestimmt wurden. Wie hierin verwendet, ermöglicht der Schlüsselstellenabgleich auch den Vergleich von aktuellen Bildern mit historischen Bilddaten.

[0023] Wie hierin verwendet, beziehen sich der Ausdruck «Punktwolke» und damit in Bezug stehende Begriffe, z.B. «2D3D-Punktwolke», auf ein Mapping von Merkmalsübereinstimmungen zwischen einem dreidimensionalen Modell und einem zweidimensionalen historischen Bild. Wie hierin verwendet, ist die Punktwolke auch in einem Offline-Verfahren erzeugt und dazu verwendet, um ein dreidimensionales Konstruktionsmodell zusammen mit dem zweidimensionalen historischen Bild bereitzustellen, nachdem der Bildaufruf das historische Bild identifiziert, das dem aktuellen Bild entspricht.

[0024] Wie hierin verwendet, beziehen sich der Ausdruck «Bildaufruf» und damit in Bezug stehende Ausdrücke, z.B. «Bildaufrufsystem», auf ein Verfahren zum Auffinden eines zweiten Bildes, das gegenüber einem ersten Bild am relevantesten ist (d.h. am nächsten kommt). Es existieren viele Verfahren zum Bildaufrufen und entsprechend kann die Bildaufrufeinrichtung irgendein solches Verfahren anwenden. Die Bildaufrufeinrichtung kann ohne Beschränkung Verfahren unter

Verwendung des K-Nächste-Nachbarn-Algorithmus (K-NN), Verfahren, die einen Vokabelbaum («vocabulary tree») und einen Cluster-basierten Aufruf implementieren oder irgendein anderes Verfahren aufweisen, das in der Lage ist, historische Bilder zu organisieren und effizient historische Bilder zu identifizieren, die einem aktuellen Bild entsprechen. Wie hierin verwendet, wird die Bildaufrufeinrichtung auch dazu verwendet, ein historisches Bild und eine Punktwolke zu identifizieren, die einem aktuellen Bild entspricht.

[0025] Wie hierin verwendet, beziehen sich der Ausdruck «Epipolarbedingung» und damit in Bezug stehende Ausdrücke, z.B. «Epipolarlinie», auf ein Konzept bei der Computerdarstellung und Geometrie, das den Abgleich von zwei zweidimensionalen Bildern erlaubt, die von demselben dreidimensionalen Objekt aus unterschiedlichen Positionen gemacht wurden. Eine Epipolarlinie bezieht sich auf eine Linie, die als ein Punkt in einem ersten Bild und eine Linie im zweiten Bild wahrgenommen wird. Die unterschiedliche Wahrnehmung ist durch die unterschiedlichen Referenzpositionen des ersten Bildes und des zweiten Bildes verursacht. Wie hierin verwendet, werden Epipolarlinien dazu benutzt, Übereinstimmungspunkte zwischen zwei Bildern zu beschränken. Die Epipolarbedingung ist die Verwendung der Epipolarlinie, um zu fordern, dass für jeden Punkt, der in einem Bild beobachtet wird, derselbe Punkt in dem anderen Bild auf einer bekannten Epipolarlinie beobachtet werden muss. Wenn eine Epipolarbedingung nicht erfüllt ist (d.h. das erste Bild einen Punkt darstellt, wobei der vorgeschlagene entsprechende Punkt in dem zweiten Bild nicht auf der entsprechenden Epipolarlinie liegt) wird die Übereinstimmung als Fehler bemerkt und benachteiligt oder diskreditiert in Bezug auf die anderen Abgleiche.

[0026] Ungefähre Angaben, wie sie hierin durchgängig durch die Beschreibung und die Ansprüche verwendet werden, können angewandt werden, um irgendwelche quantitativen Angaben zu modifizieren, die erlaubterweise variieren können ohne in einer Veränderung in der grundlegenden Funktion, auf die sie sich bezieht, zu resultieren. Daher ist ein Wert, der durch einen Ausdruck oder durch Ausdrücke wie etwa «ungefähr» und «im Wesentlichen» modifiziert wird, nicht auf den exakten angegebenen Wert beschränkt. In zumindest einigen Beispielen können ungefähre Angaben auf eine Genauigkeit eines Instruments zur Messung des Wertes beschränkt sein. Hier und durchgängig durch die Beschreibung und die Ansprüche können Bereichsgrenzen kombiniert und/oder ausgetauscht werden, wobei solche Bereiche angegeben sind und alle Unterbereiche enthalten, die darin enthalten sind, solange der Zusammenhang oder der Wortlaut nicht irgendetwas anderes angibt.

[0027] Fig. 1 ist eine schematische Ansicht eines beispielhaften hochentwickelten Computer-implementierten Systems 100 zur verbesserten visuellen Inspektion eines physischen Guts 105. In der beispielhaften Ausführungsform ist das physische Gut eine Dampfturbine. Bei alternativen Ausführungsbeispielen kann das physische Gut 105 irgendein physisches Objekt sein, ohne Beschränkung aufweisend Gasturbinen, Flugzeugmotoren, Dieselmotoren, Fahrzeugmotoren, Lastwagenmotoren, Druckkessel, Rohrsysteme, Generatoren, Untersetzungsgetriebe, Transformatoren und irgendwelche einfachen oder komplexen Maschinen. Das Computer-implementierte System 100 enthält auch eine visuelle Inspektionseinrichtung 110. Bei der beispielhaften Ausführungsform ist die visuelle Inspektionseinrichtung 110 ein Endoskop. Bei alternativen Ausführungsbeispielen kann die visuelle Inspektionseinrichtung 110 ohne Beschränkung Fiberskope, Video-Endoskope, starre Endoskope oder irgendeine Digitalkameraeinrichtung enthalten, die in der Lage ist, eingeführt und innerhalb des physischen Guts 105 manövriert zu werden.

[0028] Das Computer-implementierte System 100 enthält auch eine Recheneinrichtung 120. Die Recheneinrichtung 120 enthält einen Prozessor 125 und eine Arbeitsspeichereinrichtung 130. Der Prozessor 125 und die Arbeitsspeichereinrichtung 130 sind miteinander verbunden. Bei einer beispielhaften Ausführungsform enthält die Recheneinrichtung 120 einen einzigen Prozessor 125 und eine einzige Arbeitsspeichereinrichtung 130. Bei alternativen Ausführungsbeispielen kann die Recheneinrichtung 120 eine Mehrzahl von Prozessoren 125 und/oder eine Mehrzahl von Arbeitsspeichereinrichtungen 130 aufweisen.

[0029] Die Recheneinrichtung 120 enthält auch eine Speichereinrichtung 135. Die Speichereinrichtung 135 ist mit dem Prozessor 125 und auch mit der Arbeitsspeichereinrichtung 130 verbunden. Bei der beispielhaften Ausführungsform ist die Speichereinrichtung 135 ein Festplattenlaufwerk. Bei alternativen Ausführungsbeispielen kann die Speichereinrichtung 135 irgendeine Speichereinrichtung sein, ohne Beschränkung enthaltend optische Speichereinrichtungen, magnetische Speichereinrichtungen, Netzwerkspeichereinrichtungen, Flash-Speichereinrichtungen, Massenspeichereinrichtungen und irgendwelche anderen Speichereinrichtungen, die in der Lage sind, Daten für das Computer-implementierte System 100 zu speichern. Bei zumindest einigen Ausführungsbeispielen ist die Recheneinrichtung 120 mit einem externen Speicher 160 in Verbindung. Bei solchen Ausführungsbeispielen speichert der externe Speicher 160 Daten, die in der Speichereinrichtung 135 gespeichert oder direkt in der Recheneinrichtung 120 verwendet werden können.

[0030] Bei der beispielhaften Ausführungsform enthält die Speichereinrichtung 135 historische Bilddaten 140 und Konstruktionsmodelldaten 145. Die historischen Bilddaten 140 stellen Daten dar, die durch die vorangegangene Verwendung der visuellen Inspektionseinrichtung 110 zur Inspektion des physischen Guts 150 aufgenommen wurden. Bei der beispielhaften Ausführungsform werden zumindest einige historische Bilddaten 140 unmittelbar nach der Herstellung des physischen Guts 105 erzeugt. Bei alternativen Ausführungsbeispielen können historische Bilddaten zu irgendeinem Zeitpunkt vor der aktuellen Inspektion erzeugt werden. Bei anderen Ausführungsbeispielen können die historischen Bilddaten 140 Bilddaten von mehreren Inspektionen des physischen Guts 105 enthalten. Die Konstruktionsmodelldaten 145 stellen Daten der Formen des physischen Guts 105 vor der Herstellung dar. Bei beispielhaften Ausführungsformen enthalten die Konstruktionsmodelldaten 145 computerunterstützte Zeichnungen (CAD). Bei alternativen Ausführungsbeispielen können die Konstruktionsmodelldaten 145 ein computerunterstütztes Industriedesign, eine fotorealistische Wiedergabe und irgendein anderes Modell enthalten, das im Wesentlichen ein physisches Gut darstellt und verwendet werden kann, um das typische physische Gut 105 zu veranschaulichen.

[0031] Beim Betrieb wird die visuelle Inspektionseinrichtung 110 in das physische Gut 105 eingeführt und übermittelt zumindest ein aktuelles Bild 115 an die Recheneinrichtung 120. Die Recheneinrichtung 120 empfängt das zumindest eine aktuelle Bild 115 von der visuellen Inspektionseinrichtung 110. Bei alternativen Ausführungsbeispielen kann die Recheneinrichtung 120 zumindest ein aktuelles Bild 115 empfangen, das durch die visuelle Inspektionseinrichtung 110 erzeugt, aber in der Arbeitsspeichereinrichtung 130, der Speichereinrichtung 135 oder dem externen Speicher 160 abgespeichert wurde. Bei diesen Ausführungsbeispielen können die aktuellen Bilddaten 115 zum Zwecke der Beschleunigung durch alternative Quellen empfangen werden. Z.B. kann der die visuelle Inspektionseinrichtung 110 verwendende Techniker eine gründliche Inspektion des physischen Guts 105 durchgeführt haben und alle relevanten Bilddaten 115 aufgenommen haben, ist aber nicht länger verfügbar, um aktuelle Bilddaten live als Datenstrom zu liefern. Bei solchen Beispielen kann es nützlich sein, auf dieselben aktuellen Bilddaten 115 von dem Datenspeicher zuzugreifen.

[0032] Die Recheneinrichtung 120 identifiziert auch zumindest ein übereinstimmendes historisches Bild (in Fig. 1 nicht gezeigt) von den historischen Bilddaten 140, die dem zumindest einen aktuellen Bild 115 entsprechen. Ausserdem identifiziert die Recheneinrichtung 120 zumindest ein übereinstimmendes Konstruktionsmodell (in Fig. 1 nicht dargestellt) von den Konstruktionsmodelldaten 145, die dem zumindest einen aktuellen Bild 115 entsprechen. Bei der beispielhaften Ausführungsform werden die historischen Bilddaten 140, die dem aktuellen Bild 115 entsprechen, durch ein Bildaufrufverfahren zusammen mit den Konstruktionsmodelldaten 145 durch die Verwendung einer Punktwolke abgerufen, die Merkmale zwischen den zweidimensionalen historischen Bilddaten 140 und den dreidimensionalen Konstruktionsmodelldaten 145 abgleicht. Die Punktwolken und die Beziehung zwischen den zweidimensionalen historischen Bilddaten 140 und den dreidimensionalen Konstruktionsmodelldaten 145 werden in einem - gegenüber dem, was in dieser Offenbarung beschrieben ist - separaten Verfahren erzeugt. Bei der beispielhaften Ausführungsform beinhaltet das Bildaufrufverfahren die Verwendung eines räumlichen Entropiemerkmals, das die Eigenschaften zwischen Regionen und innerhalb einer Region basierend auf der Entropie erfasst. Das räumliche Entropiemerkmal stellt die spezifische Stellung der visuellen Inspektionseinrichtung 110 und Massstabsähnlichkeiten dar. Die räumlichen Entropiemerkmale werden dazu verwendet, um einen Entropiemerkmalsvektor zu erzeugen, der Informationen in Bezug auf ein gegebenes Pixel und seine Nachbarn (d.h. die Pixel, die unmittelbar benachbart zu dem Pixel sind) verwendet. Die räumliche Natur des Bildes wird durch das Teilen des Bildes in räumliche Zellen und Zuordnen eines Entropiewertes zu jeder Zelle und das Verketten der Entropiewerte von allen Zellen in einen Merkmalsvektor dargestellt.

[0033] Bei einigen Ausführungsbeispielen kann die Recheneinrichtung Merkmale des aktuellen Bildes 115 und der Konstruktionsmodelldaten 145 messen und vergleichen, um Abweichungen zwischen dem physischen Gut 105 und den Konstruktionsmodelldaten 145 zu ermitteln. Abweichungen können z.B. einen Riss in der Oberfläche des physischen Guts 105, eine Verbindung einer Komponente des physischen Guts 105 oder irgendeinen anderen Zustand enthalten, der eine Abweichung zwischen dem aktuellen Bild 115 und den Konstruktionsmodelldaten 145 erzeugen kann. Die Recheneinrichtung 120 übermittelt irgendwelche Abweichungen an einen Servicemitarbeiter 155, der in der Lage ist, eine Diagnose, einen Austausch und/oder Instandhaltungsarbeiten für das physische Gut 105 bereitzustellen. Bei solchen Ausführungsbeispielen ist der Servicemitarbeiter 155 in der Lage, die Informationen von der Recheneinrichtung 120 betreffend das physische Gut 105 zu empfangen.

[0034] Fig. 2 ist ein Blockschaltbild einer beispielhaften Recheneinrichtung 120, die mit dem Computer-implementierten System 100 (gezeigt in Fig. 1) verwendet werden kann. Die Recheneinrichtung 120 enthält eine Arbeitsspeichereinrichtung 130 und einen Prozessor 125, der mit der Arbeitsspeichereinrichtung 130 zur Ausführung von Befehlen operativ verbunden ist. Bei der beispielhaften Ausführungsform enthält die Recheneinrichtung 120 einen einzigen Prozessor 125 und eine einzige Speichereinrichtung 130. Bei alternativen Ausführungsbeispielen kann die Recheneinrichtung 120 eine Mehrzahl von Prozessoren 125 und/oder eine Mehrzahl von Arbeitsspeichereinrichtungen 130 aufweisen. Bei einigen Ausführungsbeispielen sind die ausführbaren Befehle in der Arbeitsspeichereinrichtung 130 abgespeichert. Die Recheneinrichtung 120 ist konfigurierbar, um einen oder mehrere hierin beschriebene Befehle auszuführen, durch das Programmieren des Prozessors 125. Z.B. kann der Prozessor 125 durch das Codieren einer Operation als ein oder mehrere ausführbare Befehle und Bereitstellen der ausführbaren Befehle in der Arbeitsspeichereinrichtung 130 programmiert werden.

[0035] Bei der beispielhaften Ausführungsform ist die Arbeitsspeichereinrichtung 130 eine oder mehrere Einrichtungen, die das Speichern und das Aufrufen von Informationen, wie etwa ausführbare Befehle und/oder andere Daten ermöglichen. Die Arbeitsspeichereinrichtung 130 kann einen oder mehrere physische, nicht-flüchtige computerlesbare Medien aufweisen wie etwa, ohne Beschränkung, Direktzugriffspeicher (RAM), dynamische Direktzugriff Speicher (DRAM), statische Direktzugriffspeicher (SRAM), einen Festspeicher, eine Festplatte, einen Festwertspeicher (ROM), einen löschbaren programmierbaren ROM (EPROM), einen elektrisch löschbaren programmierbaren ROM (EEPROM) und/oder einen nicht-flüchtigen RAM (NVRAM) aufweisen. Die vorstehenden Speichertypen sind nur exemplarisch und daher nicht beschränkend für die Speichertypen, die zum Speichern eines Computerprogramms verwendet werden können.

[0036] Die Arbeitsspeichereinrichtung 130 kann dazu eingerichtet sein, Betriebsdaten zu speichern, enthaltend, ohne Beschränkung, zumindest ein aktuelles Bild 115 (in Fig. 1 nicht dargestellt) und/oder irgendeine andere Art von Daten. Bei einigen Ausführungsbeispielen entfernt oder «reinigt» der Prozessor 125 Daten aus der Arbeitsspeichereinrichtung 130, abhängig vom Alter der Daten. Z.B. kann der Prozessor 125 vorhergehend aufgenommene und gespeicherte Daten über schreiben, im Zusammenhang mit einer darauffolgenden Zeit und/oder einem darauffolgenden Ereignis. Zusätzlich oder alternativ kann der Prozessor 125 Daten entfernen, die ein vorherbestimmtes Zeitintervall überschreiten. Die Arbeitsspeichereinrichtung 130 enthält auch, ohne Beschränkung, hinreichend Daten, Algorithmen und Befehle, um den Betrieb des Computer-implementierten Systems 100 zu ermöglichen.

[0037] Bei einigen Ausführungsbeispielen enthält die Recheneinrichtung 120 eine Bedienereingabeschnittstelle 230. Bei der beispielhaften Ausführungsform ist die Bedienereingabeschnittstelle 230 mit dem Prozessor 125 verbunden und empfängt Eingaben von einem Bediener 225. Die Bedienereingabeschnittstelle 230 kann ohne Beschränkung eine Tastatur, eine Zeigeeinrichtung, eine Maus, einen Stift, einen berührempfindlichen Bildschirm aufweisend, ohne Beschränkung, z.B. einen Touchpad oder einen Touchscreen, und/oder eine Audioeingabeschnittstelle aufweisend, ohne Beschränkung, z.B. ein Mikrofon aufweisen. Eine einzige Komponente, wie etwa ein Touchscreen, kann sowohl als Anzeigeeinrichtung einer Anzeigeschnittstelle 220 und als Eingabeschnittstelle 230 arbeiten.

[0038] Eine Kommunikationsschnittstelle 235 ist mit dem Prozessor 125 verbunden und dazu eingerichtet, in Kommunikationsverbindung mit einem oder mehreren anderen Einrichtungen zu stehen, wie etwa einem Sensor oder einer anderen Recheneinrichtung 120, und Eingabe- und Ausgabeoperationen mit Bezug auf diese Einrichtungen auszuführen. Z.B. kann die Kommunikationsschnittstelle 235 ohne Beschränkung einen drahtgebundenen Netzwerkadapter, einen drahtlosen Netzwerkadapter, einen mobilen Telekommunikationsadapter, einen seriellen Kommunikationsadapter und/oder einen parallelen Kommunikationsadapter aufweisen. Die Kommunikationsschnittstelle 235 kann Daten empfangen von und/oder übermitteln an eine oder mehrere entfernte Einrichtungen. Z.B. kann eine Kommunikationsschnittstelle 235 einer Recheneinrichtung 120 einen Alarm an eine Kommunikations-Schnittstelle 235 einer anderen Recheneinheit 120 übertragen. Die Kommunikationsschnittstelle 235 ermöglicht eine Maschine-Maschine-Kommunikation, d.h. arbeitet als Maschine-Maschine-Schnittsteile.

[0039] Die Anzeigeschnittstelle 220 oder die Kommunikationsschnittstelle 235 sind beide in der Lage, Informationen bereitzustellen, die zur Verwendung mit den hierin beschriebenen Verfahren geeignet sind, z.B. an den Bediener 225 oder eine andere Einrichtung. Daher können die Anzeigeschnittstelle 220 und die Kommunikationsschnittstelle 235 als Ausgabeeinrichtungen bezeichnet werden. Gleichermassen sind die Bedienereingabeschnittstelle 230 und die Kommunikationsschnittstelle 235 in der Lage, Informationen zu empfangen, die geeignet sind zur Verwendung mit den hierin beschriebenen Verfahren und können daher als Eingabeeinrichtungen bezeichnet werden. Bei der beispielhaften Ausführungsform ist die Anzeigeschnittstelle 220 dazu verwendet, die automatische Überlagerung der aktuellen Bilder 115 auf die Konstruktionsmodelldaten 145 zu visualisieren. Nach dem Visualisieren kann der Bediener 225 die Bedienereingabeschnittstelle 230 verwenden, um Aufgaben auszuführen, aufweisend, ohne Beschränkung, Messungen und Ermittlungen von Abweichungen in den aktuellen Bildern 115 in Bezug auf die Konstruktionsmodelldaten 145. Die Aufgabe der Messung kann die Verwendung von Software enthalten, die Messanwendungen bereitstellt, um solche Messungen und Ermittlungen von Abweichungen auszuführen.

[0040] Bei der beispielhaften Ausführungsform kann der Bediener 225 die Recheneinrichtung 120 beim Erhalt von Informationen über das zumindest eine aktuelle Bild 115, das zumindest eine übereinstimmende historische Bild (nicht dargestellt), und das zumindest eine übereinstimmende Konstruktionsmodell (nicht dargestellt) über die Anzeigeschnittstelle 220 verwenden. Der Bediener 225 kann auf die dargestellte Information handeln und die Recheneinrichtung 120 verwenden, um den Zustand des physischen Guts 105 zu aktualisieren, Wartungsarbeiten anzufordern (nicht dargestellt) vom Servicemitarbeiter 155, oder die Inspektion des physischen Guts 105 fortsetzen. Der Bediener 225 kann eine solche Aktion über die Bedienereingabeschnittstelle 230 initiieren, die den Bedienbefehl durch den Prozessor 125 verarbeitet und die Kommunikationsschnittstelle 235 verwendet, um mit anderen Einrichtungen zu kommunizieren.

[0041] Bei der beispielhaften Ausführungsform ist die Recheneinrichtung 120 eine beispielhafte Ausführung einer Recheneinrichtung 120. Bei zumindest einigen anderen Ausführungsbeispielen ist die Recheneinrichtung 120 auch eine beispielhafte Ausführung für andere Einrichtungen (nicht dargestellt), die bei der verbesserten visuellen Inspektion eines physischen Guts 105 verwendet werden. In den meisten Ausführungsbeispielen stellt die Recheneinrichtung 120 zumindest die wesentliche Ausführung von solchen anderen Einrichtungen dar.

[0042] Fig. 3 ist ein Flussdiagramm eines beispielhaften Verfahrens 300 zur verbesserten visuellen Inspektion eines physischen Guts 105 unter Verwendung eines Computer-implementierten Systems 100 (beide in Fig. 1 gezeigt). Das Verfahren 300 enthält das Empfangen 305 von aktuellen visuellen Inspektionseinrichtungsdaten. Der Empfang 305 von aktuellen visuellen Inspektionseinrichtungsdaten stellt das Empfangen an der Recheneinrichtung 120 (in Fig. 1 gezeigt) von aktuellen Bildern 115 (in Fig. 1 gezeigt) von der visuellen Inspektionseinrichtung 110 (in Fig. 1 gezeigt) dar, die Bilder von dem physischen Gut 105 aufnimmt.

[0043] Das Verfahren 300 verwendet zusätzlich die Bildaufrufeinrichtung, um eine Punktwolke 315 aufzurufen. Bei der beispielhaften Ausführungsform verwendet die Bildaufrufeinrichtung eine K-Nächster-Nachbar-Suche, um durch eine kd-Baum-Struktur zu suchen, die historische Bilddaten 140 aufweist. Bei alternativen Ausführungsbeispielen verwendet die Bildaufrufeinrichtung verschiedene Verfahren, um ein entsprechendes historisches Bild 140 zu suchen. Die Punktwolke stellt ein Mapping von dreidimensionalen Konstruktionsmodelldaten 145 auf zweidimensionale historische Bilddaten 140 dar. Daher wird eine Punktwolke aufgerufen, die sowohl historische Bilder 140 als auch Konstruktionsmodelldaten 145 enthält, wenn die Bildaufrufeinrichtung ein entsprechendes historisches Bild 140 identifiziert.

[0044] Das Verfahren 300 enthält auch einen Schlüsselstellenabgleich 320, um die aktuellen Bilder 115 mit übereinstimmenden historischen Bildern 140 zu vergleichen. Der Schlüsselstellenabgleich 320 beinhaltet das Extrahieren von spezifischen Merkmalen, die im Zusammenhang mit Bildern stehen und verwendet die Merkmale, um mehrere Bilder zu vergleichen. In einer beispielhaften Ausführungsform werden die Merkmale (nicht gezeigt) der aktuellen Bilder 115 mit Merkmalen (nicht gezeigt) von historischen Bildern 140 verglichen, die aufgerufen wurden, wodurch Paare von übereinstimmenden Merkmalen resultieren, die sich auf dieselbe physische Stelle am physischen Gut 105 beziehen. Die Merkmale der aktuellen Bilder 115 und der historischen Bilder 140 können dieselben Merkmale sein, die beim Erhalten 315 einer Punktwolke unter Verwendung der Bildaufrufeinrichtung verwendet wurden oder andere Merkmale. Bei der beispielhaften Ausführungsform weist der Schlüsselstellenabgleich 320 drei Schritte auf.

[0045] Zuerst vergleicht der Schlüsselstellenabgleich 320 Bilder in Bezug auf eine lokale Gestalt und lokale geometrische Muster. Der Vergleich der lokalen Gestalt stellt einen Vergleich von einer Mehrzahl von Bildmerkmalen dar. Der Vergleich des lokalen geometrischen Musters stellt einen Vergleich von Bildern dar, die in geometrische Merkmale der Komponenten aufgeschlüsselt wurden. Der Vergleich enthält ferner das Anmerken der historischen Bilder 140 mit Formbegrenzungsinformationen und das Lokalisieren derselben Begrenzungen in den aktuellen Bildern 115. Dieser Vergleich enthält auch die Transformation von jedem Merkmalsort in den historischen Bildern 140 und den aktuellen Bildern 115. Die Transformation des Merkmalsorts kann z.B. dadurch ausgeführt werden, dass eine skaleninvariante Merkmalstransformation (SIFT) für ein Merkmal in jedem Bild erzeugt wird. Das Schätzverfahren enthält auch das Vergleichen von transformierten Merkmalen. In der beispielhaften Ausführungsform enthält das Vergleichen von transformierten Merkmalen das Anwenden von Werten, um die Erscheinung und den Ort jedes Merkmals zu kompensieren, wodurch Ortsinformationen zu den transformierten Merkmalen hinzugefügt werden.

[0046] Zweitens enthält der Schlüsselstellenabgleich 320 die Verwendung eines Schätzverfahrens, um die beste Gruppe von übereinstimmenden Punkten zwischen den Bildern zu finden. Sobald die transformierten Merkmale verglichen wurden, werden Übereinstimmungen zwischen Merkmalen erhalten. Die Schätzmethode enthält ferner das Anwenden von zwei Schritten unter Verwendung des Random Sample Consensus (RANSAC), um Ausreisser in den Übereinstimmungen durch mehrere Iterationen zu eliminieren. In dem ersten Schritt der RANSAC-Anwendung werden Übereinstimmungen beschränkt, so dass übereinstimmende Punkte die Epipolarbedingungen erfüllen müssen. Zur Klarstellung, die Epipolarbedingung erfordert, dass für jeden beobachteten Punkt in einem Bild der korrespondierende Punkt in dem anderen Bild auf einer bekannten Epipolarlinie beobachtet werden muss. Daher wird eine Epipolarlinie sowohl für das aktuelle Bild 115 als auch für das historische Bild 140 ermittelt und zur Erzeugung der Epipolarbedingung verwendet, die dann verwendet wird, um Übereinstimmungen zu beschränken. In zumindest einigen Ausführungsbeispielen wird die Epipolarbedingung durch das Erzeugen einer Fundamentalmatrix ermittelt, die für die Epipolarlinie repräsentativ ist. Wenn eine grosse Anzahl von Übereinstimmungen vorliegt, beinhaltet die RANSAC-Annäherung die Verwendung einer Untergruppe der ursprünglichen Übereinstimmungen, die zufällig aus der vollständigen Gruppe von Übereinstimmungen ausgewählt wird. Der Wert dieser Untergruppe aus ursprünglichen Übereinstimmungen wird durch einen Fehlerwert ermittelt, der als Niveau der Nichtübereinstimmung mit der Epipolarbedingung berechnet wird. Abhängig von der Anzahl von Übereinstimmungen in der vollständigen Gruppe wird der Prozess iteriert, bis eine angemessene Anzahl von Untergruppen mit Bezug auf die Epipolarbedingung evaluiert wurde. Die Epipolargeometrie, die mit der Untergruppe in Zusammenhang steht, die die geringste Fehlerrate hat, wird dann verwendet, um Übereinstimmungen zu eliminieren, die von dieser Geometrie über einen definierten Schwellenwert abweichen.

[0047] In dem zweiten Schritt der RANSAC-Anwendung werden Übereinstimmungen beschränkt, um eine Projektionsmatrix zu erfüllen. Die Projektionsmatrix wird unter Verwendung der aufgerufenen Punktwolke berechnet. Die Projektionsmatrix stellt eine mathematische Matrix dar, die die zweidimensionale mit der dreidimensionalen Punktwolke in Bezug setzt, die auf das aktuelle Bild 115 transferiert wurde. Wie in dem ersten Schritt wird eine Untergruppe von ursprünglichen Übereinstimmungen zufällig ausgewählt aus der Gruppe der Übereinstimmungen (die jetzt durch die Anwendung der Epipolarbedingung beschränkt ist). Der Projektionsmatrix, die aus dieser Untergruppe berechnet wurde, wird ein Gütewert zugeordnet, der von der Entsprechung der Übereinstimmungen in dieser Untergruppe mit der berechneten Projektionsmatrix abhängt. Das Verfahren wird iteriert abhängig von der Güte der gesamten Gruppe von Übereinstimmungen und die vermutete Projektionsmatrix mit der geringsten Fehlerrate wird letztlich verwendet.

[0048] Drittens erlaubt der Schlüsselstellenabgleich 320 das Zuordnen der Konstruktionsmodelldaten 145, die zusammen mit den historischen Bilddaten 140 aufgerufen wurden, die den aktuellen Bilddaten 115 entsprechen, durch Verwendung der aufgerufenen Punktwolke, die den historischen Bilddaten entspricht. In diesem Schritt wird die Zuordnung oder Registrierung zwischen den zweidimensionalen historischen Bilddaten 140 und den dreidimensionalen Konstruktionsmodelldaten 145 auf die aktuellen Bilddaten 115 übertragen. Daher wird jetzt jeder Punkt auf den aktuellen Bilddaten 115, für den eine Übereinstimmung gefunden wurde, zu den dreidimensionalen Punkten der Konstruktionsmodelldaten 145 zugeordnet.

[0049] Das Verfahren 300 enthält ferner eine Kamerastellungsabschätzung 325. Die Kamerastellungsabschätzung 325 ist repräsentativ für das Bestimmen der spezifischen Position und Orientierung der visuellen Inspektionseinrichtung 110 mit Bezug auf das physische Gut 105. Die Kamerastellungsabschätzung 325 enthält das Bestimmen von Projektionen von potentiellen Kamerapositionen basierend auf Konstruktionsmodelldaten 145, die zu den historischen Bilddaten 140 und den aktuellen Bildern 115zugeordnetsind. Mit anderen Worten werden die Konstruktionsmodelldaten 145 jetzt zugeordnet oder registriert zu aktuellen Bildern 115, basierend auf der Anwendung der Punktwolke (vorstehend beschrieben) und die

Kamerastellungen können für die aktuellen Bilder 115 durch Erzeugen und Anwenden einer Projektionsmatrix auf das Mapping des zweidimensionalen aktuellen Bildes 115 auf die dreidimensionalen Konstruktionsmodelldaten 145 ermittelt werden. Bei der beispielhaften Ausführungsform enthält das Ermitteln von Projektionen das Lösen eines Systems von Lineargleichungen, die eine Projektionsmatrix von potentiellen Kamerastellungen darstellen.

[0050] Das Verfahren 300 enthält zusätzlich das Wiedergeben eines Modells zu einer geschätzten Kamerastellung 330. Das Wiedergeben eines Modells zu einer geschätzten Kamerastellung 330 stellt das Verwenden der Kamerastellungsschätzung 325 auf die zugeordneten Konstruktionsmodelldaten 145 dar, um ein Wiedergabemodell zu erzeugen, das repräsentativ ist für das Konstruktionsmodell aus derselben Kameraposition wie die visuelle Inspektionseinrichtung 110.

[0051] Ausserdem enthält das Verfahren 300 eine physikalische Messung 335. Die physikalische Messung 335 stellt den Vergleich von physikalischen Merkmalen des wiedergegebenen Konstruktionsmodells mit dem aktuellen Bild 115 dar. Bei der beispielhaften Ausführungsform enthält die physikalische Messung 335 das Vergleichen der Bilddaten von einer Projektion der Konstruktionsmodelldaten 145 für ein Turbinenschaufelblatt mit dem aktuellen Bild 115 für ein übereinstimmendes reales Turbinenschaufelblatt mit einer Abweichung wie etwa einem Riss und Messen des Risses.

[0052] Fig. 4 ist ein vereinfachtes Flussdiagramm des Gesamtverfahrens 400 zur verbesserten visuellen Inspektion eines physischen Guts 105 unter Verwendung eines Computer-implementierten Systems 100 (beide in Fig. 1 gezeigt), um das verbesserte visuelle Inspektionsverfahren 300, das in Fig. 3 gezeigt ist, zu ermöglichen. Die Recheneinrichtung 120 (in Fig. 1 dargestellt) empfängt 415 zumindest ein aktuelles Bild des physischen Guts 105. Der Empfang 415 von zumindest einem aktuellen Bild des physischen Guts 105 stellt den Empfang von aktuellen visuellen Inspektionseinrichtungsdaten 305 dar (in Fig. 3 gezeigt) und genauer, den Empfang von aktuellen Bildern 115 von einer aktuellen Bildquelle. Bei der beispielhaften Ausführungsform ist die aktuelle Bildquelle die visuelle Inspektionseinrichtung 110 (in Fig. 1 gezeigt). Bei alternativen Ausführungsbeispielen kann die aktuelle Bildquelle die Arbeitsspeichereinrichtung 130, die Speichereinrichtung 135 oder ein externer Speicher 160 sein.

[0053] Die Recheneinrichtung 120 identifiziert 420 auch zumindest ein übereinstimmendes Bild, das dem zumindest einen aktuellen Bild entspricht. Das Identifizieren 420 von zumindest einem übereinstimmenden historischen Bild entsprechend dem zumindest einen aktuellen Bild stellt die Verwendung einer Bildaufrufeinrichtung 315 (in Fig. 3 gezeigt) dar. Genauer stellt das Identifizieren 420 von zumindest einem übereinstimmenden historischen Bild entsprechend dem zumindest einen aktuellen Bild das Auswählen historischer Bilddaten 140 (in Fig. 1 gezeigt) dar, die den aktuellen Bildern 115 entsprechen.

[0054] Die Recheneinrichtung identifiziert 425 ausserdem zumindest ein übereinstimmendes Konstruktionsmodell entsprechend dem zumindest einen aktuellen Bild. Das Identifizieren 425 von zumindest einem übereinstimmenden Konstruktionsmodell stellt das Verwenden der Bildaufrufeinrichtung 315 dar, um eine Punktwolke zu erhalten, die Konstruktionsmodelldaten 145 (in Fig. 1 gezeigt) aufweist, die zu historischen Bilddaten 140 zugeordnet sind. Wie vorstehend erläutert, verwendet die Bildaufrufeinrichtung Merkmale, die für das aktuelle Bild 115 ermittelt wurden und vergleicht diese mit historischen Bilddaten 140, um historische Bilddaten 140 zu ermitteln, die am meisten mit dem aktuellen Bild 115 übereinstimmen. Die Computer-implementierten Systeme und Verfahren, wie sie hierin beschrieben sind, stellen eine automatisierte Vorgehensweise zur Inspektion von physischen Gütern mit einer visuellen Inspektionseinrichtung bereit. Die hierin beschriebenen Ausführungsbeispiele ermöglichen einen automatisierten Vergleich von Bilddaten von einer visuellen Inspektionseinrichtung mit Konstruktionsmodelldaten, ohne eine manuelle Intervention oder eine externe Eingabe zu erfordern. Aufgrund des automatisierten Aufrufens von historischen Bildern, dem automatisierten Abgleich zwischen aktuellen und historischen Bildmerkmalen, der den Transfer einer Punktwolke auf das aktuelle Bild ermöglicht, wird der arbeitsreiche Prozess einer manuellen Auswahl von Merkmalsübereinstimmungen zwischen dem Modell und dem aktuellen Bild vermieden. Ausserdem ermöglichen die hierin beschriebenen Verfahren und Systeme eine schnelle Inspektion und Analyse des physischen Guts. Ferner werden die hierin beschriebenen Verfahren und Systeme die Kosten der Inspektion verringern, aufgrund der reduzierten Zeit- und Personalaufwendungen, die für die Inspektion verwendet werden. Ausserdem werden diese Verfahren und Systeme die Betriebszeit von physischen Gütern durch das Reduzieren des Erfordernisses erhöhen, ein Gut zur Inspektion zu demontieren. Ausserdem werden die hierin beschriebenen Verfahren und Systeme die betrieblichen, logistischen und finanziellen Aufwendungen, die im Zusammenhang mit der Inspektion von physischen Gütern stehen, durch die effiziente Analyse und Modellvergleiche reduziert.

[0055] E in beispielhafter technischer Effekt der hierin beschriebenen Verfahren und Computer-implementierten Systeme enthält (a) die erhöhte Rate der Analyse von visuellen Daten von einer visuellen Inspektionseinrichtung an einem physischen Gut; und/oder (b) die verbesserte Überwachung von physischen Gütern durch präzise Vergleiche von visuellen Daten; und/oder (c) eine längere Betriebszeit der physischen Güter durch einen verringerten Bedarf zur Demontage der Güter.

[0056] Beispielhafte Ausführungsformen zur verbesserten visuellen Inspektion eines physischen Guts sind vorstehend im Detail beschrieben. Die Computer-implementierten Systeme und Verfahren zum Betreiben solcher Systeme sind nicht auf die hierin beschriebenen spezifischen Ausführungsformen beschränkt, sondern vielmehr können Komponenten von Systemen und/oder Schritte der Verfahren unabhängig und separat von anderen hierin beschriebenen Komponenten und/oder Schritten verwendet werden. Z.B. können die Verfahren auch in Kombination mit anderen Systemen und Verfahren eines Betriebs verwendet werden und sind nicht darauf beschränkt, mit nur den visuellen Inspektionssystemen und Verfahren

Claims (20)

1. verwendet zu werden, wie sie hierin beschrieben sind. Vielmehr kann die beispielhafte Ausführungsform in Verbindung mit vielen anderen Betriebsanwendungen implementiert und verwendet werden. [0057] Obwohl spezifische Merkmale von verschiedenen Ausführungsbeispielen der Erfindung in einigen Zeichnungen und nicht in anderen gezeigt sein können, ist dies lediglich der Übersichtlichkeit wegen. In Übereinstimmung mit den Prinzipien der Erfindung kann jedes Merkmal einer Zeichnung in Bezug genommen und/oder beansprucht werden in Kombination mit irgendeinem anderen Merkmal von irgendeiner anderen Zeichnung. [0058] Die schriftliche Beschreibung verwendet Ausführungsbeispiele, um die Erfindung zu offenbaren, einschliesslich des bevorzugten Ausführungsbeispiels und auch um irgendeinen Fachmann in die Lage zu versetzen, die Erfindung auszuführen, einschliesslich des Herstellens und der Verwendung von irgendwelchen Einrichtungen oder Systemen und des Ausführens von irgendwelchen beinhalteten Verfahren. Der patentierbare Schutzbereich der Erfindung ist durch die Patentansprüche definiert und kann andere Beispiele enthalten, die den Fachleuten offenbar werden. Solche anderen Beispiele sind dazu bestimmt, innerhalb des Schutzbereichs der Ansprüche zu liegen, wenn sie strukturelle Elemente aufweisen, die nicht von dem Wortsinn der Ansprüche abweichen oder wenn sie äquivalente strukturelle Elemente mit nicht-substantiellen Unterschieden vom Wortsinn der Patentansprüche aufweisen. Patentansprüche

   1. Computer-implementiertes System zur verbesserten automatisierten visuellen Inspektion eines physischen Guts, aufweisend: eine visuelle Inspektionseinrichtung, die in der Lage ist, Bilder des physischen Guts zu erzeugen; und eine Recheneinrichtung, enthaltend einen Prozessor, eine Arbeitsspeichereinrichtung, die mit dem Prozessor verbunden ist, und eine Speichereinrichtung, die mit der Arbeitsspeichereinrichtung und dem Prozessor verbunden ist, wobei die Speichereinrichtung zumindest ein historisches Bild des physischen Guts und zumindest ein Konstruktionsmodell aufweist, das im Wesentlichen das physische Gut darstellt, wobei die Recheneinrichtung dazu eingerichtet ist: Empfangen zumindest eines aktuellen Bildes des physischen Guts von einer aktuellen Bildquelle, das durch die visuelle Inspektionseinrichtung aufgenommen wurde; Identifizieren von zumindest einem übereinstimmenden historischen Bild, das dem wenigstens einen aktuellen Bild entspricht; und Identifizieren von zumindest einem übereinstimmenden Konstruktionsmodell, das dem zumindest einen aktuellen Bild entspricht.
2. 2. Computer-implementiertes System nach Anspruch 1, wobei die aktuelle Bildquelle wenigstens eine der folgenden ist: die visuelle Inspektionseinrichtung; die Speichereinrichtung; die Arbeitsspeichereinrichtung; oder eine externe Speichereinrichtung.
3. 3. Computer-implementiertes System nach Anspruch 1, wobei das Computer-implementierte System dazu eingerichtet ist, das zumindest eine übereinstimmende historische Bild, das dem wenigstens einen aktuellen Bild entspricht, zu identifizieren, und ausserdem dazu eingerichtet ist: von dem wenigstens einen historischen Bild eine Gruppe von historischen typischen Merkmalen zu bestimmen; aus dem wenigstens einen aktuellen Bild eine Gruppe von aktuellen typischen Merkmalen zu bestimmen; und unter Verwendung von wenigstens einem Bildaufrufverfahren das wenigstens eine historische Bild zu bestimmen, das dem wenigstens einen aktuellen Bild entspricht.
4. 4. Computer-implementiertes System nach Anspruch 3, das ausserdem dazu eingerichtet ist, einen Schlüsselstellen-abgleich zu verwenden, um die geeignetsten Gruppen von übereinstimmenden Punkten zwischen dem wenigstens einen historischen Bild und dem wenigstens einen aktuellen Bild zu identifizieren.
5. 5. Computer-implementiertes System nach Anspruch 1, wobei das Computer-implementierte System, das dazu eingerichtet ist, das zumindest eine übereinstimmende Konstruktionsmodell zu identifizieren, das dem wenigstens einen aktuellen Bild entspricht, ausserdem dazu eingerichtet ist, eine physische Stellung der visuellen Inspektionseinrichtung in Bezug auf das physische Gut zu bestimmen.
6. 6. Computer-implementiertes System nach Anspruch 5, das ausserdem dazu eingerichtet ist: zweidimensionale Pixelstellen in dem wenigstens einen übereinstimmenden historischen Bild zu bestimmen; aus den zweidimensionalen Pixelstellen dreidimensionale Punktstellen in dem übereinstimmenden Konstruktionsmodell zu bestimmen; aus den dreidimensionalen Punktstellen ein mathematisches Modell von Projektionen des übereinstimmenden Konstruktionsmodells zu erzeugen, wobei das mathematische Modell repräsentativ ist für eine Funktion von Eigenschaften der visuellen Inspektionseinrichtung, die Drehung der visuellen Inspektionseinrichtung und die Translation der visuellen Inspektionseinrichtung; und von dem mathematischen Modell der Projektionen des übereinstimmenden Konstruktionsmodells und des wenigstens einen aktuellen Bildes eine Position der visuellen Inspektionseinrichtung mit Bezug auf das physische Gut zu bestimmen.
7. 7. Computer-implementiertes System nach Anspruch 6, wobei das Computer-implementierte System, das dazu eingerichtet ist, zumindest ein übereinstimmendes Konstruktionsmodell zu identifizieren, das dem wenigstens einen aktuellen Bild entspricht, ausserdem dazu eingerichtet ist: unter Verwendung der Position der visuellen Inspektionseinrichtung eine Projektion des übereinstimmenden Konstruktionsmodells zu erzeugen; die Projektion des wenigstens einen aktuellen Bildes auf das übereinstimmende Konstruktionsmodell zu überlagern; und Unterschiede zwischen der Projektion und dem wenigstens einen aktuellen Bild zu messen.
8. 8. Computerbasiertes Verfahren zur verbesserten automatisierten visuellen Inspektion eines physischen Guts, wobei das Verfahren durch eine Recheneinrichtung ausgeführt wird, wobei die Recheneinrichtung einen Prozessor, eine mit dem Prozessor verbundene Arbeitsspeichereinrichtung und eine mit der Arbeitsspeichereinrichtung und dem Prozessor verbundene Speichereinrichtung aufweist, wobei die Speichereinrichtung wenigstens ein historisches Bild des physischen Guts und wenigstens ein Konstruktionsmodell enthält, das im Wesentlichen das physische Gut darstellt, wobei das Verfahren aufweist: Empfangen zumindest eines aktuellen Bildes des physischen Guts von einer aktuellen Bildquelle, das durch eine visuelle Inspektionseinrichtung aufgenommen wurde; Identifizieren von zumindest einem übereinstimmenden historischen Bild, das dem zumindest einen aktuellen Bild entspricht; und Identifizieren von zumindest einem übereinstimmenden Konstruktionsmodell, das dem wenigstens einen aktuellen Bild entspricht.
9. 9. Computerbasiertes Verfahren nach Anspruch 8, wobei die aktuelle Bildquelle wenigstens eine der folgenden ist: die visuelle Inspektionseinrichtung; die Speichereinrichtung; die Arbeitsspeichereinrichtung; oder eine externe Speichereinrichtung.
10. 10. Computerbasiertes Verfahren nach Anspruch 8, wobei das Identifizieren des wenigstens einen übereinstimmenden historischen Bildes entsprechend dem wenigstens einen aktuellen Bild aufweist: Bestimmen einer Gruppe von historischen typischen Merkmalen aus dem wenigstens einen historischen Bild; Bestimmen einer Gruppe von aktuellen typischen Merkmalen aus dem wenigstens einen aktuellen Bild; und Bestimmen des wenigstens einen historischen Bildes, das dem wenigstens einen aktuellen Bild entspricht, unter Verwendung von zumindest einem Bildaufrufverfahren.
11. 11. Computerbasiertes Verfahren nach Anspruch 10, ausserdem aufweisend das Verwenden eines Schlüsselstellenab-gleichs zum Identifizieren der geeignetsten Gruppen von übereinstimmenden Punkten zwischen dem wenigstens einen historischen Bild und dem wenigstens einen aktuellen Bild.
12. 12. Computerbasiertes Verfahren nach Anspruch 8, wobei das Identifizieren des zumindest einen übereinstimmenden Konstruktionsmodells entsprechend dem wenigstens einen aktuellen Bild ausserdem das Bestimmen einer physischen Stellung der visuellen Inspektionseinrichtung mit Bezug zu dem physischen Gut aufweist.
13. 13. Computerbasiertes Verfahren nach Anspruch 12, ausserdem aufweisend: Bestimmen von zweidimensionalen Pixelstellen in dem wenigstens einen übereinstimmenden historischen Bild; Bestimmen von dreidimensionale Punktstellen in dem übereinstimmenden Konstruktionsmodell aus den zweidimensionalen Pixelstellen. Erzeugen eines mathematischen Modells von Projektionen des übereinstimmenden Konstruktionsmodells aus den dreidimensionalen Punktstellen, wobei das mathematische Modell repräsentativ ist für eine Funktion von Eigenschaften der visuellen Inspektionseinrichtung, die Drehung der visuellen Inspektionseinrichtung und die Translation der visuellen Inspektionseinrichtung; und Bestimmen einer Position der visuellen Inspektionseinrichtungen mit Bezug zu dem physischen Gut aus dem mathematischen Modell von Projektionen des übereinstimmenden Konstruktionsmodells und dem wenigstens einen aktuellen Bild.
14. 14. Computerbasiertes Verfahren nach Anspruch 13, wobei das Identifizieren des wenigstens einen übereinstimmenden Konstruktionsmodells entsprechend dem wenigstens einen aktuellen Bild ausserdem aufweist: Erzeugen einer Projektion des Konstruktionsmodells unter Verwendung der Position der visuellen Inspektionseinrichtung; Überlagern des wenigstens einen aktuellen Bildes auf das Konstruktionsmodell; und Messen von Unterschieden zwischen der Projektion und dem wenigstens einen aktuellen Bild.
15. 15. Computer zur verbesserten automatisierten visuellen Inspektion eines physischen Guts, wobei der Computer einen Prozessor, eine mit dem Prozessor verbundene Arbeitsspeichereinrichtung und eine mit der Arbeitsspeichereinrichtung und dem Prozessor verbundene Speichereinrichtung aufweist, wobei die Speichereinrichtung wenigstens ein historisches Bild des physischen Guts und wenigstens ein Konstruktionsmodell enthält, das im Wesentlichen das physische Gut darstellt, wobei der Computer dazu eingerichtet ist: von einer aktuellen Bildquelle zumindest ein aktuelles Bild des physischen Guts zu empfangen, das durch eine visuelle Inspektionseinrichtung aufgenommen wurde; zumindest ein übereinstimmendes historisches Bild zu identifizieren, das dem wenigstens einen aktuellen Bild entspricht; und zumindest ein übereinstimmendes Konstruktionsmodell zu identifizieren, das dem wenigstens einen aktuellen Bild entspricht.
16. 16. Computer nach Anspruch 15, wobei die aktuelle Bildquelle wenigstens eine der folgenden ist: die visuelle Inspektionseinrichtung; die Speichereinrichtung; die Arbeitsspeichereinrichtung; und eine externe Speichereinrichtung.
17. 17. Computer nach Anspruch 16, ausserdem dazu eingerichtet, einen Schlüsselstellenabgleich zu verwenden, um die geeignetsten Gruppen von übereinstimmenden Punkten zwischen dem wenigstens einen historischen Bild und dem wenigstens einen aktuellen Bild zu identifizieren.
18. 18. Computer nach Anspruch 15, wobei der Computer, der dazu eingerichtet ist, das zumindest eine übereinstimmende Konstruktionsmodell entsprechend dem wenigstens einen aktuellen Bild zu identifizieren, ausserdem dazu eingerichtet ist, eine physische Stellung der visuellen Inspektionseinrichtung mit Bezug zu dem physischen Gut zu bestimmen.
19. 19. Computer nach Anspruch 18, der ausserdem dazu eingerichtet ist: zweidimensionale Pixelstellen in dem wenigstens einen übereinstimmenden historischen Bild zu bestimmen; aus den zweidimensionalen Pixelstellen dreidimensionale Punktstellen in dem übereinstimmenden Konstruktionsmodell zu bestimmen; aus den dreidimensionalen Punktstellen ein mathematisches Modell von Projektionen des übereinstimmenden Konstruktionsmodells zu erzeugen, wobei das mathematische Modell repräsentativ für eine Funktion von Eigenschaften der visuellen Inspektionseinrichtung, die Drehung der visuellen Inspektionseinrichtung und die Translation der visuellen Inspektionseinrichtung ist; und von dem mathematischen Modell der Projektionen des übereinstimmenden Konstruktionsmodells und dem wenigstens einen aktuellen Bild eine Position der visuellen Inspektionseinrichtung mit Bezug zu dem physischen Gut bestimmen.
20. 20. Computer nach Anspruch 19, wobei der Computer, der dazu eingerichtet ist, das zumindest eine übereinstimmende Konstruktionsmodell entsprechend dem wenigstens einen aktuellen Bild zu identifizieren, ausserdem dazu eingerichtet ist: unter Verwendung der Position der visuellen Inspektionseinrichtung eine Projektion des Konstruktionsmodells zu erzeugen; das wenigstens eine aktuelle Bild mit dem Konstruktionsmodell zu überlagern; und Unterschiede zwischen der Projektion und dem wenigstens einen aktuellen Bild zu messen.