DE102008055528A1 - System und Verfahren zur "Augmented Reality" - Inspektion und Datenvisualisierung - Google Patents

System und Verfahren zur "Augmented Reality" - Inspektion und Datenvisualisierung Download PDF

Info

Publication number
DE102008055528A1
DE102008055528A1 DE102008055528A DE102008055528A DE102008055528A1 DE 102008055528 A1 DE102008055528 A1 DE 102008055528A1 DE 102008055528 A DE102008055528 A DE 102008055528A DE 102008055528 A DE102008055528 A DE 102008055528A DE 102008055528 A1 DE102008055528 A1 DE 102008055528A1
Authority
DE
Germany
Prior art keywords
sensor
measuring probe
image
augmented reality
location
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102008055528A
Other languages
English (en)
Inventor
Anandraj Bangalore Sengupta
Vino Padmanabhan Bangalore Kumar
Shivappa Ningappa Bangalore Goravar
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
General Electric Technology GmbH
Original Assignee
General Electric Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by General Electric Co filed Critical General Electric Co
Publication of DE102008055528A1 publication Critical patent/DE102008055528A1/de
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/18Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using ultrasonic, sonic, or infrasonic waves
    • G01S5/30Determining absolute distances from a plurality of spaced points of known location
    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F01MACHINES OR ENGINES IN GENERAL; ENGINE PLANTS IN GENERAL; STEAM ENGINES
    • F01DNON-POSITIVE DISPLACEMENT MACHINES OR ENGINES, e.g. STEAM TURBINES
    • F01D21/00Shutting-down of machines or engines, e.g. in emergency; Regulating, controlling, or safety means not otherwise provided for
    • F01D21/003Arrangements for testing or measuring
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/172Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/183On-screen display [OSD] information, e.g. subtitles or menus

Abstract

Es wird ein 3-D-Nachverfolgungssystem (14) geschaffen. Die 3-D-Nachverfolgungsvorrichtung (14) enthält mindestens einen Schallsensor (32), der um ein Objekt (12) herum angeordnet ist. Der Schallemissionssensor (32) ist eingerichtet, um den Ort einer Mess-Sonde (13), die in ein Objekt (12) eingeführt ist, auf der Basis der Ankunftszeit des Schallsignals zu identifizieren, das von einem Ort auf oder nahe der Mess-Sonde (13) emittiert wird. Die 3-D-Nachverfolgungsvorrichtung (14) enthält ebenfalls einen ersten Sensor (34), der eingerichtet ist, um eine Höhe der Mess-Sonde (13) zu detektieren. Die 3-D-Nachverfolgungsvorrichtung (14) enthält ferner einen zweiten Sensor (36), der eingerichtet ist, um einen Azimut der Mess-Sonde (13) zu detektieren.

Description

  • HINTERGRUND
  • Die Erfindung betrifft allgemein nicht zerstörende Inspektionstechniken und insbesondere Inspektionstechniken, die die erweiterte Realität (augmented reality: AR) verwenden.
  • Inspektions- oder Betrachtungstechnik werden gewöhnlich in einer Vielzahl von Anwendungen verwendet, die von der Flugzeugindustrie über die medizinische Industrie bis zu Sicherheitsanwendungen reichen. Die Inspektion von komplexen Teilen und Strukturen verlangt allgemein eine große Fähigkeit der Inspektion und Erfahrung. Die Betrachtung mit dem Industrieendoskop ist eine der am häufigsten gebrauchten Informationsquellen zum Überwachen von industrieller Infrastruktur, aufgrund eines leichten Zugangs zu den zu wartenden Teilen bei gleichzeitig verringerter Ausfallzeit. Zustandsabhängige Wartungsstrategien für Gasturbinen und ähnliche Systeme hängen sehr stark von den erhaltenen Daten ab, die durch eine derartige Inspektion erhalten werden. Im Allgemeinen werden Mess-Sonden, die lange Kabel mit Darstellungs-Einrichtung auf einem Anzeige- oder Display-Schwenkarm verwenden, für die Inspektion mit einem Industrieendoskop verwendet. Sobald jedoch die Mess-Sonde in das Inspektionsloch für das Industrieendoskop eingeführt ist, ist wenig Informationen über einen Ort und eine Position einer Spitze des Industrieendoskops für den Bediener verfügbar. Die Nachverfolgung des Ortes und der Position verringert den Fehler in den Messungen und ist sehr wichtig um genau Fehlstellen und Schäden zu lokalisieren. Darüber hinaus ist es nahezu unmöglich die Spitze an denselben Ort zu bringen, während die Spitze ihre Szenarien ändert.
  • Demzufolge hängt viel bei Inspektion von der Fähigkeit des Bediener ab und ist subjektiv. Genauere Informationen über die Spitze des Industrieendoskops und die Position ermöglicht ebenfalls die Automatisierung und Steuerung eines gesamten Inspektionsprozesses, beginnend mit der Inspektionsplanung über die Durchführung bis zur Schadens-Berichterstattung.
  • Es gibt deshalb einen Bedarf für ein verbessertes Inspektionssystem, das die vorstehend angesprochenen Probleme löst.
  • KURZE BESCHREIBUNG
  • Gemäß einer Ausführungsform der Erfindung wird eine 3D-Nachverfolgungsvorrichtung geschaffen. Die 3D-Nachverfolgungsvorrichtung enthält mindestens zwei Schallemissionssensoren, die um ein Objekt angeordnet sind. Die Schallemissionssensoren sind eingerichtet, um Orte einer Mess-Sonde, die in das Objekt eingeführt ist, auf der Basis der Ankunft eines akustischen Signals zu identifizieren, das von einem Ort auf oder nahe der Mess-Sonde emittiert wird. Die 3D-Nachverfolgungsvorrichtung enthält ebenfalls eine erste Mess-Sonde, die eingerichtet ist, um eine Höhe der Mess-Sonde zu detektieren. Die 3D-Nachverfolgungsvorrichtung enthält ferner eine zweite Mess-Sonde, die eingerichtet ist, um einen Azimut oder Richtungswinkel der Mess-Sonde zu detektieren.
  • Gemäß einer anderen Ausführungsform der Erfindung wird ein „Augmented-Reality-System" (AR-System) zur Inspektion des Inneren eines Objektes geschaffen. Das „Augmen ted-Reality-System" enthält eine Nachverfolgungsvorrichtung, die eingerichtet ist, um einen 3D-Ort einer Mess-Sonde zu identifizieren, die in das Objekt eingeführt ist. Die 3D-Nachverfolgungsvorrichtung enthält mindestens einen Schallemissionssensor, der um ein Objekt herum angeordnet ist. Die Schallemissionssensoren sind eingerichtet, um den Ort einer Mess-Sonde, die in das Objekt eingeführt ist, auf der Basis der Ankunftszeit einer Schallsignalfolge oder Schallsignatur zu identifizieren, die von einem Ort auf oder nahe der Mess-Sonde emittiert wird. Die 3D-Nachverfolgungsvorrichtung enthält ebenfalls einen ersten Sensor, der eingerichtet ist, um eine Höhe der Mess-Sonde zu detektieren. Die 3D-Nachverfolgungsvorrichtung enthält ebenfalls einen zweiten Sensor, der eingerichtet ist, um einen Richtungswinkel oder Azimut der Mess-Sonde zu detektieren. Das „Augmented-Reality-System" enthält ebenfalls einen Mikroprozessor, der eingerichtet ist, um eine Graphik zu erzeugen, und die Graphik dem Bild zu überlagern, das durch die Kamera auf der Basis des 3D-Ortes aufgenommen wurde, der durch die Nachverfolgungsvorrichtung identifiziert ist. Das „Augmented-Reality-System" enthält ferner eine Anzeige- oder Darstellungseinheit, die im Sinne der Erfindung als Display-Einheit bezeichnet wird, die eingerichtet ist, um ein Bild der erweiterten Realität darzustellen.
  • Gemäß einer weiteren Ausführungsform der Erfindung wird ein Verfahren zum 3D-Nachverfolgen innerhalb eines Objektes geschaffen. Das Verfahren enthält das Einführen einer Mess-Sonde in das Objekt. Das Verfahren enthält ebenfalls die Positionierung mindestens eines Schallemissionssensors um das Objekt herum. Das Verfahren enthält ferner das Anfügen eines ersten Sensors und eines zweiten Sensors an die Mess-Sonde.
  • Gemäß einer weiteren Ausführungsform der Erfindung wird ein Verfahren zum Bilden eines Bildes der erweiter ten Realität (Augmented-Reality-Bild) zur Inspektion innerhalb eines Objektes geschaffen. Das Verfahren enthält die Aufnahme eines Bildes mittels einer Kamera. Das Verfahren enthält ebenfalls die Identifizierung eines Ortes der Mess-Sonde innerhalb des Objektes mittels mehrerer Schallemissionssensoren. Das Verfahren enthält ferner die Bestimmung der Höhe der Mess-Sonde mittels eines ersten Sensors. Das Verfahren enthält ferner die Bestimmung des Azimuts der Mess-Sonde mittels eines zweiten Sensors. Das Verfahren enthält ebenfalls die Erzeugung einer Graphik des Objektes. Das Verfahren enthält ferner die Registrierung der Graphik auf dem Bild, das basierend auf dem Ort, der Höhe und des Azimuts aufgenommen wurde, um ein Bild der erweiterten Realität zu bilden.
  • ZEICHNUNG
  • Diese und anderer Merkmale, Aspekte und Vorteile der vorliegenden Erfindung werden besser verstanden, wenn die nachfolgende genauere Beschreibung in Bezug auf die nachfolgende Zeichnung gelesen wird, in der in allen Figuren gleiche Bezugsziffern gleiche Teile bezeichnen, worin:
  • 1 eine Blockdiagramm-Darstellung eines „Augmented-Reality-Systems" ist, das eine Nachverfolgungsvorrichtung gemäß einer Ausführungsform der Erfindung enthält;
  • 2 eine Blockdiagrammdarstellung von Elementen innerhalb der Nachverfolgungsvorrichtung von 1 ist;
  • 3 eine Diagrammdarstellung eines beispielhaften Industrieendoskops gemäß einer Ausführungsform der Erfindung ist;
  • 4 eine schematische Darstellung eines „Augmented-Reality-Bildes" ist, das zur Inspektion einer Gasturbine unter Verwendung des Industrieendoskops in 3 gebildet wird;
  • 5 eine schematische Darstellung einer beispielhaften Display-Einheit gemäß einer Ausführungsform der Erfindung ist;
  • 6 ein Ablaufdiagramm ist, dass die Schritte in einem beispielhaften Verfahren zum 3D-Nachverfolgen innerhalb eines Objektes darstellt; und
  • 7 ein Ablaufdiagramm ist, das Schritte in einem beispielhaften Verfahren zum Bilden eines „Augmented-Reality-Bildes" zur Inspektion innerhalb eines Objektes darstellt.
  • GENAUERE BESCHREIBUNG
  • Wie nachfolgenden genauer ausgeführt werden wird, enthalten Ausführungsform der Erfindung ein System und ein Verfahren zum nicht zerstörenden oder zerstörungsfreien Inspizieren eines Objektes. Das System und das Verfahren, die nachfolgend offenbart werden, erzeugen ein „Augmented-Reality-Bild" oder Bild der erweiterten Realität unter Verwendung einer verbesserten Nachverfolgungsvorrichtung zur Inspektion. Wie dies hierin verwendet wird, bezieht sich ein "Augmented-Reality-Bild" auf ein Bild, das Daten der Realwelt enthält, die mit vom Computer erzeugten Daten überlagert werden. Nicht beschränkende Beispiele des Objektes enthalten Flugzeugmaschinen, Gasturbinen, Dampfturbinen, Dieselmotoren und lebende Organismen.
  • Nachfolgend Bezug nehmend auf die Zeichnung, ist in 1 ein mehrere Niveaus oder Schritte umfassendes Blockdiagramm dargestellt, das ein „Augmented-Reality-System" 10 oder System der erweiterten Realität 10 darstellt, um ein Objekt 12 zu inspizieren. Eine Nachverfolgungsvorrichtung 14 wird verwendet, um einen 3D-Ort und eine 3D-Position einer Mess-Sonde 13 zu identifizieren, die in das Objekt 12 eingeführt ist. In einer bestimmten Ausführungsform enthält die Mess-Sonde 13 ein Industrieendoskop oder ein Endoskop. Die Kamera 18 nimmt eine Ansicht des Objektes 12 als ein reales Bild auf. In einer bestimmten Ausführungsform nimmt die Kamera 18 ein Monokular-Bild auf. In einer anderen Ausführungsform nimmt die Kamera 18 ein Stereo-Bild auf. Nicht beschränkende Beispiele der Kamera 18 enthalten eine Webkamera, eine Videokamera oder eine CCD-Kamera. In einer anderen Ausführungsform können mehr als eine Kamera verwendet werden, beispielsweise könnten zwei Kameras derart angeordnet werden, dass ein Stereo-Bild aufgenommen wird. Nicht beschränkende Beispiele des realen Bildes enthalten ein Videobild oder ein Einzelbild.
  • Das aufgenommene reale Bild wird als Referenz von einem Mikroprozessor 20 verwendet, der eingerichtet ist, um eine Graphik zu erzeugen, die zu dem realen Bild gehören. In einem Beispiel enthält die Graphik computerunterstützte (computer-aided) Zeichnungen des Objektes 12. Der Mikroprozessor 20 überlagert ferner die Graphik auf dem realen Bild auf der Basis des 3D-Ortes, der durch die Nachverfolgungsvorrichtung 14 identifiziert ist, um ein „Augmented-Reality-Bild" zu erzeugen. Folglich ist die Stereoansicht, die von der Kamera 18 erhalten ist, mit zusätzlichen Informationen erweitert und an den Benutzer in Echtzeit bereitgestellt. Die zusätzliche Information kann beispielsweise enthalten: Text, Ton, Bildabfolgen oder Videos und Einzelbilder. Beispielsweise wird in einer medizinischen oder Operationsumgebung einem Arzt eine Ansicht eines Patienten bereitgestellt, einschließlich unter anderem der Ansicht des Patienten und eine Überlappung, die durch den Mikroprozessor 20 erzeugt ist. Die Überlagerung kann eine Ansicht der inneren anatomischen Strukturen des Patienten enthalten, wie diese beispielsweise, während eines axialen Computer-Tomographie-Scans oder durch Magnet-Resonanz-Bildgebung (MR-Bildgebung) erhalten wurde.
  • In einer anderen Ausführungsform enthält die Überlappung eine Text-Ansicht der medizinischen und Familien-Geschichte des Patienten. Die Überlagerung kann in Echtzeit dargestellt werden. Das „Augmented-Reality-Bild" enthält das reale Bild, das durch die Kamera 18 aufgenommen ist, überlagert mit einer zusätzlichen virtuellen Ansicht. Die virtuelle Ansicht wird von den Mikroprozessor 20 und den gespeicherten Informationen, beispielsweise Bildern erhalten. Das „Augmented-Reality-Bild" ermöglicht ebenfalls das Detektieren von Fehlstellen oder Rissen in dem Objekt 12. In einer bestimmten Ausführungsform enthält der Mikroprozessor 20 einen tragbaren Computer. Der Mikroprozessor 20 stellt ein „Augmented-Reality-Bild" auf der Display-Einheit 22 dar, aber ist nicht darauf beschränkt, auf einem digitalen Personal-Assistenten (personal digital assistent: PDA), einem externen Computer oder einen halb durchlässigen Bildschirm auf einem Schwenkarm.
  • Es sollte bemerkt werden, dass Ausführungsform der Erfindung nicht auf einen bestimmten Mikroprozessor zur Durchführung der Bearbeitungsaufgaben der Erfindung beschränkt sind. Der Ausdruck "Mikroprozessor", wie er hierin verwendet wird, ist beabsichtigt, jede Maschine zu bezeichnen, die in der Lage ist, die Kalkulationen oder Berechnungen durchzuführen, die notwendig sind, und die Ausgaben der Erfindung durchzuführen. Mit dem Ausdruck „Mikroprozessor" ist beabsichtigt, jede Maschine zu bezeichnen, die in der Lage ist, eine struk turierte Eingabe zu akzeptieren und die Eingabe gemäß der vorhergehenden Regeln zu bearbeiten, um eine Ausgabe zu erzeugen.
  • 2 ist ein Blockdiagramm, das Elemente 30 innerhalb der Nachverfolgungsvorrichtung 14 in 1 darstellt. Die Nachverfolgungsvorrichtung 14 enthält mindestens einen Schallemissionssensor 32, der um das Objekt 12 (1) herum angeordnet ist. Der Schallemissionssensor 32 ist eingerichtet, um den Ort der Mess-Sonde 13 (1), die in das Objekt 12 zu Inspektion eingeführt ist, zu identifizieren. In einer bestimmten Ausführungsform enthält der Schallemissionssensor einen Durchmesser in einem Bereich zwischen ungefähr 6 mm und ungefähr 12 mm. Der Ort wird basierend auf Berechnungen einer Ankunftszeit eines akustischen Signals berechnet, das von dem Objekt 12 emittiert wird. In einer bestimmten Ausführungsform wird die akustische Signatur über einen einzelnen Lautsprecher oder mehrere Lautsprecher emittiert, der oder die an einer Spitze der Mess-Sonde 13 angeordnet sind. Ein erster Sensor 34 detektiert eine Höhe der Mess-Sonde. In einer Ausführungsform enthält der erste Sensor einen Gravitationssensor, der in einer elektrischen mikromechanischen System(micro-electrical mechanical system: MEMS)-Technologie integriert ist, und eingerichtet ist, um die Höhe auf der Basis der Beschleunigung aufgrund der Gravitation oder Schwerkraft zu detektieren. In einer anderen Ausführungsform enthält der erste Sensor 34 ein Gyroskop, das in einer elektrischen mikromechanischen System(micro-electrical mechanical system: MEMS)-Technologie implementiert ist, und eingerichtet ist, um die Höhe auf der Basis der Erhaltung des Drehimpulses der Bewegung zu erfassen. In einer anderen Ausführungsform wird die Ausgabe des ersten Sensors 34 über die Zeit integriert, um eine Position der Spitze der Mess-Sonde 13 zu bestimmen. In einem nicht beschränkenden Beispiel wird die Beschleunigung zweimal über die Zeit integriert, um die Position zu bestimmen.
  • Die Nachverfolgungsvorrichtung 14 enthält ferner einen zweiten Sensor 36, der eingerichtet ist, um einen Azimut der Mess-Sonde 13 zu detektieren. In einer beispielhaften Ausführungsform enthält der zweite Sensor 36 einen magnetischen Sensor, beispielsweise, aber nicht darauf beschränkt, einem magnetischen Kompass, der eingerichtet ist, um den Azimut in Gegenwart eines magnetischen Feldes zu detektieren. In einem Beispiel wird ein Solenoid verwendet, um ein magnetisches Feld an den magnetischen Sensor anzulegen. In einer anderen Ausführungsform ist der Sensor 36 ein Gyroskop, das die Winkelbeschleunigung um drei orthogonale Achsen detektiert. In einer anderen Ausführungsform wird die Ausgabe des zweiten Sensors 36 über die Zeit integriert, um eine Position der Spitze der Mess-Sonde 13 zu bestimmen. In einem weiteren nicht beschränkenden Beispiel wird die Beschleunigung zweimal über die Zeit integriert, um die Position zu bestimmen.
  • 3 ist eine schematische Darstellung einer beispielhaften Mess-Sonde 13 (1), wie beispielsweise ein Industrieendoskop 50, dass zu Inspektion eines Objektes, wie beispielsweise, aber nicht darauf beschränkt, einer Gasturbine verwendet wird. Das Industrieendoskop 50 enthält einen ersten Sensor 52 und einen zweiten Sensor 54, die in der Nähe einer Spitze 56 des Industrieendoskops 50 angeordnet sind. Mehrere "kleine" Lautsprecher 58 sind ebenfalls nahe der Spitze 56 angeordnet. Es ist es ist klar geworden, dass obwohl mehrere Lautsprecher 58 in 3 dargestellt sind, kann ebenfalls nur ein einziger Lautsprecher verwendet werden. Die Lautsprecher 58 emittieren Schallsignale an verschiedenen Orten innerhalb des Objektes, die durch den Schallemissionssensor 32 (2) aufgenommen werden. In der dargestellten Ausführungsform ist der erste Sensor 52 ein MEMS-Gravitations-Sensor. Der MEMS-Gravitations-Sensor 52 misst das Verhältnis Beschleuni gung/Gravitation entlang einer sensitiven Achse, die die Richtung 60 aufweist. In einer Ausführungsform zeigt, sobald das Industrieendoskop 50 vertikal abwärts in Richtung des Bodens in einer Richtung 62 ausgerichtet ist, die sensitive Achse 60 vertikal nach unten, was in einen Wert der Beschleunigung/Gravitation gleich „1" resultiert. In einer anderen Ausführungsform, sobald das Industrieendoskops 50 bezogen auf die Vertikale gekippt ist, ist die sensitive Achse des MEMS-Gravitations-Sensors 52, entlang der die Beschleunigung/Gravitation gemessen wird, bezogen auf die Vertikale gekippt, und der MEMS-Gravitations-Sensor 52 misst einen Wert der Beschleunigung/Gravitation kleiner als "1". Demzufolge detektiert die Ausgabe des MEMS-Gravitations-Sensors eine Höhe des Industrieendoskops 50. In einer bestimmten Ausführungsform enthält der MEMS-Gravitations-Sensor einen Durchmesser in dem Bereich von ungefähr eins bis ungefähr 4 mm. Der zweite Sensor 54 kann ein Winkelbeschleunigungs-Gyroskop sein, das in die integrierte MEMS-Technologie implementiert ist. Das Gyroskop detektiert eine Änderung in der Drehung des Industrieendoskops 50 und detektiert demzufolge einen Azimut des Industrieendoskops 50. In einer Ausführungsform enthält der zweite Sensor 54 einen Durchmesser in dem Bereich von ungefähr 2 bis ungefähr 8 mm.
  • 4 ist eine schematische Darstellung eine „Augmented-Reality"-Bildes 70, das Daten der realen Welt, wie die in einer Gasturbine 72, und vom Computer erzeugte Daten enthält, wie die Turbinenschaufeln 74 im Inneren der Gasturbine 72. Das „Augmented-Reality"-Bild 70 wird durch Überlagern von Graphiken, die von den Turbinenschaufeln 74 erhalten sind, auf ein Bild der Gasturbine erhalten, die ein Gehäuse enthält, das von der Kamera 18 (Fig. eins) aufgenommen wird. In einer bestimmten Ausführungsform enthält das Bild ein 2D-Bild. Der Mikroprozessor 20 (1) speichert und registriert eine Information, die von dem Bild der Gasturbine aufgenommen ist, und erzeugt graphische Darstellungen auf der Basis des 3D-Ortes, der von der Nachverfolgungsvorrichtung 14 (1) erhalten ist. Der Mikroprozessor 20 enthält die notwendige Software, um eine grafische Darstellung eines „Augmented-Reality"-Bildes auf der Basis des Bildes der Kamera 18 und der erzeugten grafischen Darstellung zu erzeugen. Ferner enthält der Mikroprozessor 20 ein Speichermedium, um vorhergehend gespeicherte Informationen zu speichern und erneut zu speichern.
  • Um ein Bild zu Überlagern, muss die Position und Orientierung der Kamera 18 bezogen auf die Gasturbine 72 und die Orientierung der Gasturbine bestimmt werden. Als ein Ergebnis ist es wünschenswert die Beziehung zwischen zwei Koordinatensystemen, einem Kamerakoordinatensystem (nicht gezeigt), das zu der Kamera 18 gehört, und einem Koordinatensystem 78, dass zu der Gasturbine 72 gehört, zu kennen. Die Nachverfolgung bezeichnet den Prozess der Überwachung der Beziehung zwischen den Koordinatensystemen. Der Mikroprozessor 20 (1) registriert 3D-Orte, die von der Nachverfolgungsvorrichtung 14 in Bezug auf den Referenz-Frame erhalten sind, der das Koordinatensystem 78 der Gasturbine 72 aufweist.
  • 5 ist eine schematische Darstellung einer beispielhaften Anzeige- oder Display-Einheit 100. Die Display-Einheit 100 enthält ein in der Hand zu haltendes Display, das kommerziell von „General Electric Inspection Technologies" unter der Bezeichnung: „Everest XLG3® bekannt ist. Die Display-Einheit 100 stellt ein Bild von Turbinenschaufeln 72 (4) in einem Inneren der Gasturbine dar und ist überlagert mit Informationen 104, die durch den Mikroprozessor 20 erzeugt werden. Einige Beispiele der Information enthalten eine Seriennummer der Turbinenschaufel, die Zeit der Bedienung und die Identifikation des Risses. Die Display-Einheit 100 enthält ebenfalls Navigations-Knöpfe 106, um die Darstellung auszuwählen und zu editieren.
  • Wie dies dargestellt ist, werden eine reale Ansicht und eine virtuelle Ansicht vermischt oder verschnitten. Beispielsweise ist die virtuelle Ansicht als durchsichtig über der realen Ansicht der Gasturbine 72 dargestellt. Die Registrierung zwischen der realen Ansicht und der virtuellen Ansicht richtet die reale Ansicht und die virtuelle Ansicht zueinander aus. Die Registrierung der virtuellen Ansicht enthält, unter anderem die Position, Orientierung, Skalierung, Perspektive und interne Kameraparameter für jede Kamera. Bevorzugt werden die internen Kameraparameter, wie beispielsweise, aber nicht darauf beschränkt, die Vergrößerung, vor der Kamera-Kalibrierungsprozedur bestimmt. Die registrierte virtuelle Ansicht ist nach dem realen Bild der Gasturbine 72 in Echtzeit ausgerichtet. In einer bestimmten Ausführungsform trägt der Bediener die Display-Einheit 100, die ihm/ihr mit einer erweiterten Realitäts-Ansicht der Gasturbine 72 bereitstellt. In einer beispielhaften Ausführungsform ist die Display-Einheit 100 von der Art eines durchsichtigen oder transparenten Videos.
  • Das "durchsichtige Video" erzeugt und stellt eine Welt der erweiterte Realität einer in der Hand zu halten Display-Einrichtung, wie beispielsweise der Display-Einheit 100, dar. Die Kamera, die in der Display-Einrichtung integriert ist, wird verwendet, um ein Life-Videoband der realen Welt aufzunehmen. Die Kamera 18 (1) ist in Bezug auf die Display-Einheit 100 derart angeordnet, dass diese dieselbe Ansicht schafft, wie die, die ein Benutzer bekommen würde, wenn er durch die Display-Einrichtung schauen würde. Das Life-Videoband kombiniert mit der vom Computer erzeugten Graphik, wird in Echtzeit auf der Display-Einheit 100 dargestellt. Eine zusätzliche Funktionalität enthält Kamera-Zoomen mit einer Ausgabe der aktuellen Brennweite der Kamera. Dies wird eine genaue Darstellung der vom Computer erzeugten Graphik während des Zoomens ermöglichen.
  • 6 ist ein Ablaufdiagramm, das Schritte in einem beispielhaften Verfahren 120 zum 3D-Nachverfolgen innerhalb eines Objektes darstellt. Das Verfahren 120 enthält im Schritt 122 das Einführen einer Mess-Sonde in das Objekt. Einer oder mehrere Schallemissionssensoren sind im Schritt 124 um das Objekt herum angeordnet. Ferner werden ein erster Sensor und ein zweiter Sensor im Schritt 126 an die Mess-Sonde angeordnet. In einer bestimmten Ausführungsform sind der erste und der zweite Sensor an die Spitze der Mess-Sonde angeordnet. In einer anderen Ausführungsform sind ein einzelner Lautsprecher oder mehrere Lautsprecher an der Spitze der Mess-Sonde angeordnet.
  • 7 ist ein Ablaufdiagramm, das Schritte eines beispielhaften Verfahrens 140 zur Bildung eines "Augmented-Reality"-Bildes zur Inspektionen innerhalb eines Objektes darstellt. Das Verfahren 140 enthält in Schritt 142 das Aufnehmen eines Bildes mittels einer Kamera. Ein Ort einer Mess-Sonde innerhalb des Objektes wird im Schritt 144 mittels eines oder mehrerer Schallemissionssensoren identifiziert. In einer bestimmten Ausführungsform ist der Ort durch die Berechnung einer Zeit gegeben, die das Schallsignal, das von der Spitze der Mess-Sonde emittiert wird, benötigt, um zu dem Schallsensor zu gelangen. Eine Höhe der Mess-Sonde wird mittels eines ersten Sensors in Schritt 146 bestimmt. Ein Azimut der Mess-Sonde wird ferner mittels eines zweiten Sensors in Schritt 148 bestimmt. In einer beispielhaften Ausführungsform wird der Azimut der Mess-Sonde durch Anwenden eines Magnetfeldes an den zweiten Sensor bestimmt. Die Graphik des Objektes wird im Schritt 150 erzeugt. Die Graphik wird auf dem Bild regist riert, das basierend auf dem Ort, der Höhe und dem Azimut aufgenommen wird, die bestimmt werden, um ein "Augmented-Reality"-Bild in Schritt 152 zu bilden.
  • Die verschiedenen Ausführungsform eines "Augmented-Reality"-Systems und Verfahren, wie diese vorstehend beschrieben sind, schaffen folglich einen Weg, um ein bequemes und effizientes Mittel für die Inspektion zu schaffen. Das System und das Verfahren schaffen ebenfalls eine geführte und verbesserte In-situ-Inspektion & Reparatur und Entfernung von fremden Verschleißteilchen. Ferner schaffen diese ein niedrigeres Risiko für eine erzwungene Ausfallzeit aufgrund der verbesserten Schadensmeldung.
  • Es sollte so verstanden werden, dass nicht notwendigerweise alle derartigen Gegenstände oder Vorteile, die vorstehend beschriebenen sind, gemäß einer bestimmten Ausführungsform erreicht werden können. Folglich wird der Fachmann beispielsweise erkennen, dass die Vorrichtungen und Techniken, wie die vorstehend beschriebenen, auf eine Art und Weise ausgefügt oder durchgeführt werden können, die einen Vorteil oder eine Gruppe von Vorteilen erreichen oder optimieren, wie dies hierin gelehrt ist, ohne dass andere Objekte oder Vorteile notwendigerweise erreicht werden, als dies hierin gelehrt oder vorgeschlagen werden kann.
  • Darüber hinaus wird der Fachmann klar erkennen, dass eine Austauschbarkeit von verschiedenen Merkmalen der unterschiedlichen Ausführungsformen gegeben ist. Beispielsweise kann die Verwendung einer Web-Kamera, bezogen auf eine Ausführungsform, angepasst werden zur Verwendung mit einem Schwenkarm als eine Display-Einheit, die bezogen auf eine andere (Ausführungsform) beschrieben wurde. Auf ähnliche Art und Weise können die verschiedenen Merkmale, die hierin beschrieben sind, sowie andere bekannte Äquivalente für jedes Merkmal durch den Fachmann vermischt und angepasst werden, um zusätzliche Systeme und Techniken gemäß den Prinzipien dieser Offenbarung zu konstruieren.
  • Während die Erfindung genauer in Bezug auf eine begrenzte Anzahl von Ausführungsformen beschrieben wurde, sollte es so verstanden werden, dass die Erfindung nicht auf derartige Ausführungsformen beschränkt ist. Im Gegenteil, die Erfindung kann modifiziert werden, um jegliche Anzahl von Variationsalternativen und Ersetzungen oder äquivalenten Anordnungen zu inkorporieren, die nicht vorstehend beschrieben wurden, und die innerhalb des Geistes der Erfindung liegen. Zusätzlich sollte es so verstanden sein, dass Aspekte der Erfindung nur einige der beschriebenen Ausführungsformen enthalten können, während verschiedene Ausführungsformen der Erfindung beschrieben wurden. Demzufolge ist die Erfindung nicht als auf die vorhergehende Beschreibung beschränkt zu sehen, sondern ist lediglich auf den Umfang der nachfolgenden Ansprüche beschränkt.
  • Es wird eine 3-D-Nachverfolgungsvorrichtung 14 geschaffen. Die eine 3-D-Nachverfolgungsvorrichtung 14 enthält mindestens einen Schallsensor 32, der um ein Objekt 12 herum angeordnet ist. Der Schallemissionssensor 32 ist eingerichtet, um den Ort einer Mess-Sonde 13, die in ein Objekt 12 eingeführt ist, auf der Basis der Ankunftszeit des Schallsignals zu identifizieren, das von einem Ort auf oder nahe der Mess-Sonde 13 emittiert wird. Die 3D-Nachverfolgungsvorrichtung 14 enthält ebenfalls einen ersten Sensor 34, der eingerichtet ist, um eine Höhe der Mess-Sonde 13 zu detektieren. Die 3D-Nachverfolgungsvorrichtung 14 enthält ferner einen zweiten Sensor 36, der eingerichtet ist, um einen Azimut der Mess-Sonde 13 zu detektieren.

Claims (10)

  1. 3D-Nachverfolgungsvorrichtung (14), die aufweist: mindestens einen Schallemissionssensor (32), der um ein Objekt (12) angeordnet ist, wobei der mindestens eine Schallemissionssensor (32) eingerichtet ist, um einen Ort einer Mess-Sonde (13), die in ein Objekt (12) eingeführt ist, auf der Basis der Zeit der Ankunft eines Schallsignals zu identifizieren, das von dem Ort auf oder nahe der Mess-Sonde (13) emittiert wird; einen ersten Sensor (34), der eingerichtet ist, um eine Höhe der Mess-Sonde (13) zu detektieren; und einen zweiter Sensor (36), der dazu eingerichtet ist, einen Azimut der Mess-Sonde (13) zu detektieren.
  2. 3-D-Nachverfolgungsvorrichtung (14) nach Anspruch 1, worin das Schallsignal eine akustische Signatur aufweist, die über einen einzelnen oder mehrere Lautsprecher emittiert werden, die an einer Spitze der Mess-Sonde (13) angeordnet sind.
  3. 3D-Nachverfolgungsvorrichtung (14) gemäß Anspruch 1, worin der erste Sensor (34) mindestens einen der nachfolgenden aufweist: einen elektrischen mikromechanischen Gravitationssensor, der eingerichtet ist, um die Höhe auf der Basis der Beschleunigung in Folge der Gravität zu detektieren, oder ein Gyroskop.
  4. 3-D-Nachverfolgungsvorrichtung (14) gemäß Anspruch 1, worin der zweite Sensor (36) einen elektrischen mikromechanischen Magnetsensor aufweist, der eingerichtet ist, um den Azimut in Gegenwart eines magnetischen Feldes zu detektieren.
  5. "Augmented-Reality"-System (10) zur Inspektion des Inneren eines Objektes (12), das aufweist: eine Nachverfolgungsvorrichtung (14), die eingerichtet ist, um einen 3-D-Ort einer Mess-Sonde (13) zu identifizieren, die in ein Objekt (12) eingeführt ist, auf der Basis der Zeit der Ankunft eines akustischen Signals, die von einem Ort auf oder nahe der Mess-Sonde (13) emittiert wird; einen erste Sensor (36), der eingerichtet ist, um einen Azimut der Mess-Sonde (13) zu detektieren; eine Kamera (18), die eingerichtet ist, um Bild des Objektes (12) aufzunehmen; einen Mikroprozessor (20), der eingerichtet ist um, eine Graphik zu erzeugen, und um die Graphik dem Bild zu überlagern, das von der Kamera (18) auf der Basis des 3D-Ortes aufgenommenen ist, die durch die Nachverfolgungsvorrichtung (14) identifiziert wurde; und eine Display-Einheit (22), die eingerichtet ist, um ein "Augmented-Reality"-Bild darzustellen.
  6. "Augmented-Realiy"-System (10) gemäß Anspruch 5, worin die Display-Einheit (22) ein in der Hand zu haltendes Display ist.
  7. "Augmented-Reality"-System (10) gemäß Anspruch 5, worin das aufgenommene Bild ein 2-D oder ein 3-D Bild aufweist.
  8. Verfahren (120) der 3-D-Nachverfolgung innerhalb eines Objektes, dass aufweist: Einführen (122) einer Mess-Sonde in ein Objekt; Anordnen (124) von mindestens einem Schallemissionssensor um das Objekt herum; und Anordnen (126) eines ersten Sensors und eines zweiten Sensors an die Mess-Sonde.
  9. Verfahren (140) zum Bilden eines "Augmented-Reality"-Bildes zur Inspektion des Inneren eines Objektes, das aufweist: Aufnehmen (142) eines Bildes mittels einer Kamera; Identifizieren (144) eines Ortes der Mess-Sonde innerhalb des Objektes mittels mehrerer Schallemissionssensoren; Bestimmen (146) der Höhe der Mess-Sonde mittels eines ersten Sensors; Bestimmen (148) des Azimuts der Mess-Sonde mittels eines zweiten Sensors; Erzeugen (150) einer Graphik des Objektes; und Registrieren (152) der Graphik auf dem Bild, das auf genommen wurde, auf der Basis des Ortes, der Höhe und des Azimuts, die bestimmt wurden, um ein "Augmented-Reality"-Bild zu bilden.
  10. Verfahren (140) gemäß Anspruch 9, worin die Identifizierung, die Berechnung einer Zeit aufweist, die ein Schall signal benötigt, das von der Spitze der Mess-Sonde emittiert wird, um zu den Schallsensoren zu gelangen.
DE102008055528A 2007-12-18 2008-12-15 System und Verfahren zur "Augmented Reality" - Inspektion und Datenvisualisierung Pending DE102008055528A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
IN3014CHE2007 2007-12-18
IN3014CH2007 2007-12-18

Publications (1)

Publication Number Publication Date
DE102008055528A1 true DE102008055528A1 (de) 2009-06-25

Family

ID=40690157

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102008055528A Pending DE102008055528A1 (de) 2007-12-18 2008-12-15 System und Verfahren zur "Augmented Reality" - Inspektion und Datenvisualisierung

Country Status (4)

Country Link
US (1) US8485038B2 (de)
JP (1) JP2009150883A (de)
CN (1) CN101470102B (de)
DE (1) DE102008055528A1 (de)

Families Citing this family (53)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2947911B1 (fr) * 2009-07-09 2011-06-17 Snecma Dispositif de controle d'un moteur de turbomachine
US20110115671A1 (en) * 2009-11-17 2011-05-19 Qualcomm Incorporated Determination of elevation of mobile station
KR101640767B1 (ko) * 2010-02-09 2016-07-29 삼성전자주식회사 이종 수행 환경을 위한 네트워크 기반의 실시간 가상 현실 입출력 시스템 및 가상 현실 입출력 방법
CN102859317A (zh) * 2010-05-04 2013-01-02 形创有限公司 使用参考的体积分析传感器的物体检查
US8515711B2 (en) * 2010-10-21 2013-08-20 Siemens Energy, Inc. Diagnostic system and method for monitoring operating conditions of components of a turbine machine
KR101788046B1 (ko) * 2010-11-03 2017-10-19 엘지전자 주식회사 이동 단말기 및 그 제어방법
EP2665423B1 (de) 2011-01-17 2021-03-17 Koninklijke Philips N.V. System zur nadeleinsatzerkennung in einer bildgeführten biopsie
US9058520B2 (en) * 2011-09-22 2015-06-16 Siemens Corporation Systems and methods for hands free inspection
US9606992B2 (en) 2011-09-30 2017-03-28 Microsoft Technology Licensing, Llc Personal audio/visual apparatus providing resource management
US9268406B2 (en) 2011-09-30 2016-02-23 Microsoft Technology Licensing, Llc Virtual spectator experience with a personal audio/visual apparatus
US9286711B2 (en) 2011-09-30 2016-03-15 Microsoft Technology Licensing, Llc Representing a location at a previous time period using an augmented reality display
CN103445863B (zh) * 2012-06-02 2015-10-07 复旦大学 基于平板电脑的手术导航和增强现实系统
JP6426092B2 (ja) 2012-08-28 2018-11-21 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. トラッキングセットアップと一体化した介入誘導システム
US9251582B2 (en) 2012-12-31 2016-02-02 General Electric Company Methods and systems for enhanced automated visual inspection of a physical asset
US9612211B2 (en) 2013-03-14 2017-04-04 General Electric Company Methods and systems for enhanced tip-tracking and navigation of visual inspection devices
US20140351408A1 (en) * 2013-05-21 2014-11-27 International Business Machines Corporation Utilizing augmented reality for locating computer hardware associated to a reported incident
US9068906B2 (en) 2013-10-02 2015-06-30 Siemens Energy, Inc. Turbine blade-mounted sensor fixture for tip gap measurement
US9513117B2 (en) * 2013-10-02 2016-12-06 Siemens Energy, Inc. Situ blade mounted tip gap measurement for turbines
CN103750857B (zh) * 2013-12-30 2017-02-15 深圳市一体医疗科技有限公司 一种工作设备的工作角度确定方法及系统
KR102209008B1 (ko) 2014-02-17 2021-01-28 삼성전자주식회사 카메라 포즈 추정 장치 및 카메라 포즈 추정 방법
US11060979B2 (en) 2014-12-19 2021-07-13 General Electric Company System and method for engine inspection
US10026228B2 (en) * 2015-02-25 2018-07-17 Intel Corporation Scene modification for augmented reality using markers with parameters
JP6708213B2 (ja) * 2015-08-12 2020-06-10 ソニー株式会社 画像処理装置と画像処理方法とプログラムおよび画像処理システム
GB2542566A (en) * 2015-09-22 2017-03-29 Rolls Royce Plc Apparatus, methods, computer programs, and non-transitory computer readable storage mediums for controlling movement of robotic machinery
US10365389B2 (en) 2015-11-17 2019-07-30 Halliburton Energy Services, Inc. MEMS-based transducers on a downhole tool
US10196922B2 (en) 2015-12-09 2019-02-05 General Electric Company System and method for locating a probe within a gas turbine engine
US10196927B2 (en) 2015-12-09 2019-02-05 General Electric Company System and method for locating a probe within a gas turbine engine
US10222301B2 (en) * 2016-05-04 2019-03-05 Embraer S.A. Structural health monitoring system with the identification of the damage through a device based in augmented reality technology
BE1024192B1 (fr) 2016-05-09 2017-12-12 Safran Aero Boosters S.A. Procede et banc d'essai de turbomachine a realite augmentee
CN106568845A (zh) * 2016-10-10 2017-04-19 常州常瑞轨道交通科技有限公司 一种空心车轴探伤三维可视化表示方法
CN106503810A (zh) * 2016-10-21 2017-03-15 国网山东省电力公司泰安供电公司 一种暖通设备巡检装置和方法
CN106682652B (zh) * 2017-02-27 2020-06-23 上海大学 基于增强现实的结构表面病害巡检和分析方法
WO2018165253A1 (en) * 2017-03-07 2018-09-13 The Charles Stark Draper Laboratory, Inc. Augmented reality visualization for pipe inspection
WO2018183709A1 (en) * 2017-03-31 2018-10-04 Abb Schweiz Ag Systems and methods for performing an inspection inside a machine
CN106990419A (zh) * 2017-04-06 2017-07-28 北京讯腾智慧科技股份有限公司 基于北斗精准服务网和ar技术的燃气泄漏检测系统和方法
US10222200B2 (en) 2017-05-12 2019-03-05 Siemens Energy, Inc. Contactless, blade-tip clearance measurement for turbines
CN107576731A (zh) * 2017-08-30 2018-01-12 天津大学 基于混合现实的模型实验结构裂纹扩展过程实时透视方法
US10488349B2 (en) 2017-11-14 2019-11-26 General Electric Company Automated borescope insertion system
US10489896B2 (en) 2017-11-14 2019-11-26 General Electric Company High dynamic range video capture using variable lighting
CN111837226B (zh) * 2018-03-05 2024-03-08 科磊股份有限公司 三维半导体结构的可视化
US10775315B2 (en) 2018-03-07 2020-09-15 General Electric Company Probe insertion system
WO2020117889A1 (en) * 2018-12-04 2020-06-11 Ge Inspection Technologies, Lp Digital twin of an automated non-destructive ultrasonic testing system
EP3719749A1 (de) 2019-04-03 2020-10-07 Fiagon AG Medical Technologies Registrierungsverfahren und -einrichtung
TWI747079B (zh) * 2019-11-19 2021-11-21 財團法人資訊工業策進會 機械手臂的定位精度量測系統與方法
US11138803B1 (en) 2020-04-30 2021-10-05 At&T Intellectual Property I, L.P. System for multi-presence interaction with extended reality objects
US11593927B2 (en) * 2020-06-19 2023-02-28 Rosemount Aerospace Inc. System for the inspection of air data probes
WO2022154847A1 (en) 2021-01-12 2022-07-21 Emed Labs, Llc Health testing and diagnostics platform
US11373756B1 (en) 2021-05-24 2022-06-28 Emed Labs, Llc Systems, devices, and methods for diagnostic aid kit apparatus
US11615888B2 (en) 2021-03-23 2023-03-28 Emed Labs, Llc Remote diagnostic testing and treatment
US11929168B2 (en) 2021-05-24 2024-03-12 Emed Labs, Llc Systems, devices, and methods for diagnostic aid kit apparatus
CN117321641A (zh) * 2021-04-14 2023-12-29 麦格纳国际公司 用于汽车部件的自动化光学检查
WO2022271668A1 (en) 2021-06-22 2022-12-29 Emed Labs, Llc Systems, methods, and devices for non-human readable diagnostic tests
IT202200007145A1 (it) 2022-04-12 2023-10-12 Vincenzo Stornelli Apparato accelerometrico e metodo di sincronizzazione con ridondanza di sensori, modalità di sincronizzazione e di comunicazione

Family Cites Families (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4176662A (en) * 1977-06-17 1979-12-04 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Apparatus for endoscopic examination
US5493308A (en) * 1992-06-12 1996-02-20 Lockheed Idaho Technologies Company Close range fault tolerant noncontacting position sensor
US5558091A (en) * 1993-10-06 1996-09-24 Biosense, Inc. Magnetic determination of position and orientation
JPH07218614A (ja) * 1994-01-31 1995-08-18 Suzuki Motor Corp 音源位置算出方法およびその装置
AU720597B2 (en) * 1996-02-15 2000-06-08 Biosense, Inc. Catheter calibration and usage monitoring system
EP1027627B1 (de) * 1997-10-30 2009-02-11 MYVU Corporation Schnittstellensystem für brillen
GB2331365B (en) 1997-11-15 2002-03-13 Roke Manor Research Catheter tracking system
US6625299B1 (en) * 1998-04-08 2003-09-23 Jeffrey Meisner Augmented reality technology
US6432041B1 (en) * 1998-09-09 2002-08-13 Olympus Optical Co., Ltd. Endoscope shape detecting apparatus wherein form detecting processing is controlled according to connection state of magnetic field generating means
JP2002538543A (ja) 1999-03-02 2002-11-12 シーメンス アクチエンゲゼルシヤフト 強調現実感技術により対話を状況に応じて支援するためのシステム及び方法
US6500008B1 (en) * 1999-03-15 2002-12-31 Information Decision Technologies, Llc Augmented reality-based firefighter training system and method
US6503195B1 (en) * 1999-05-24 2003-01-07 University Of North Carolina At Chapel Hill Methods and systems for real-time structured light depth extraction and endoscope using real-time structured light depth extraction
JP2000346634A (ja) * 1999-06-09 2000-12-15 Minolta Co Ltd 3次元入力装置
US6517478B2 (en) * 2000-03-30 2003-02-11 Cbyon, Inc. Apparatus and method for calibrating an endoscope
WO2001074266A1 (en) * 2000-03-30 2001-10-11 The Board Of Trustees Of The Leland Stanford Junior University Apparatus and method for calibrating an endoscope
KR20020025301A (ko) * 2000-09-28 2002-04-04 오길록 다중 사용자를 지원하는 파노라믹 이미지를 이용한증강현실 영상의 제공 장치 및 그 방법
US7379077B2 (en) * 2001-08-23 2008-05-27 Siemens Corporate Research, Inc. Augmented and virtual reality guided instrument positioning using along-the-line-of-sight alignment
US7126558B1 (en) * 2001-10-19 2006-10-24 Accenture Global Services Gmbh Industrial augmented reality
DE10159610B4 (de) * 2001-12-05 2004-02-26 Siemens Ag System und Verfahren zur Erstellung einer Dokumentation von Arbeitsvorgängen, insbesondere im Umfeld Produktion, Montage, Service oder Wartung
JP4032776B2 (ja) * 2002-03-04 2008-01-16 ソニー株式会社 複合現実感表示装置及び方法、記憶媒体、並びにコンピュータ・プログラム
US7127082B2 (en) * 2002-09-27 2006-10-24 Hrl Laboratories, Llc Active fiducials for augmented reality
US6867753B2 (en) * 2002-10-28 2005-03-15 University Of Washington Virtual image registration in augmented display field
SE0203908D0 (sv) * 2002-12-30 2002-12-30 Abb Research Ltd An augmented reality system and method
US7377650B2 (en) * 2003-02-03 2008-05-27 Siemens Aktiengesellschaft Projection of synthetic information
US7744528B2 (en) * 2003-02-26 2010-06-29 Infinite Biomedical Technologies, Llc Methods and devices for endoscopic imaging
WO2005058137A2 (en) * 2003-12-12 2005-06-30 University Of Washington Catheterscope 3d guidance and interface system
US9681925B2 (en) * 2004-04-21 2017-06-20 Siemens Medical Solutions Usa, Inc. Method for augmented reality instrument placement using an image based navigation system
JP2005338551A (ja) * 2004-05-28 2005-12-08 Olympus Corp 工業用内視鏡装置
DE102005061211B4 (de) * 2004-12-22 2023-04-06 Abb Schweiz Ag Verfahren zum Erzeugen einer Mensch-Maschine-Benutzer-Oberfläche
US8097003B2 (en) * 2005-05-13 2012-01-17 Boston Scientific Scimed, Inc. Endoscopic apparatus with integrated variceal ligation device
US9289267B2 (en) * 2005-06-14 2016-03-22 Siemens Medical Solutions Usa, Inc. Method and apparatus for minimally invasive surgery using endoscopes
US7301332B2 (en) * 2005-10-06 2007-11-27 Biosense Webster, Inc. Magnetic sensor assembly
US8167805B2 (en) * 2005-10-20 2012-05-01 Kona Medical, Inc. Systems and methods for ultrasound applicator station keeping
US7689003B2 (en) * 2006-03-20 2010-03-30 Siemens Energy, Inc. Combined 2D and 3D nondestructive examination
US8075486B2 (en) * 2006-05-03 2011-12-13 Biosense Webster, Inc. Enhanced ultrasound image display
US20080146941A1 (en) * 2006-12-13 2008-06-19 Ep Medsystems, Inc. Catheter Position Tracking for Intracardiac Catheters
US20080200807A1 (en) * 2007-02-20 2008-08-21 Accutome Ultrasound, Inc. Attitude-sensing ultrasound probe
US9055883B2 (en) * 2007-05-16 2015-06-16 General Electric Company Surgical navigation system with a trackable ultrasound catheter

Also Published As

Publication number Publication date
US8485038B2 (en) 2013-07-16
JP2009150883A (ja) 2009-07-09
US20090154293A1 (en) 2009-06-18
CN101470102A (zh) 2009-07-01
CN101470102B (zh) 2013-05-29

Similar Documents

Publication Publication Date Title
DE102008055528A1 (de) System und Verfahren zur "Augmented Reality" - Inspektion und Datenvisualisierung
US5745387A (en) Augmented reality maintenance system employing manipulator arm with archive and comparison device
Prasanna et al. Automated crack detection on concrete bridges
EP0674974A1 (de) Wartungssystem
JP2009150883A6 (ja) 拡張現実検査およびデータ可視化のシステムおよび方法
DE112004000472T5 (de) Verfahren und System zum automatischen Detektieren von Defekten bei der ferngesteuerten Videoinspektion
DE102010015566B4 (de) Verfahren und System zur Vermessung spiegelnder Oberflächen
EP3514525B1 (de) Interaktives halbautomatisches endoskopisches videoanalyse- und schadenbewertungssystem und verfahren zur verwendung
Linn et al. Virtual remote inspection—A new concept for virtual reality enhanced real-time maintenance
CH709322B1 (de) System, Verfahren und Computer zur verbesserten automatisierten visuellen Inspektion eines physischen Guts.
EP0674976A1 (de) Wartungssystem
EP3161412B1 (de) Indizierungsverfahren und -system
CN100522053C (zh) 在磁共振设备中规划检查的方法和为此的磁共振设备
Van Dam et al. Drone-based augmented reality platform for bridge inspection: Effect of ar cue design on visual search tasks
EP2930652A1 (de) Verfahren zur thermischen Überwachung von Objekten
DE102014102425A1 (de) Mikroskopsystem und Mikroskopieverfahren unter Verwendung digitaler Marker
JP2022071822A (ja) 画像表示方法、表示制御装置、およびプログラム
DE112016001224T5 (de) Bildverarbeitungsvorrichtung, Verfahren und Programm
US11055865B2 (en) Image acquisition device and method of operating image acquisition device
JP5950100B2 (ja) X線検査装置
Hassouna et al. Virtual fly-over: A new visualization technique for virtual colonoscopy
EP2831839B1 (de) Verfahren zum automatischen betreiben einer überwachungsanlage
JP6350988B2 (ja) 橋梁の損傷診断用カメラ
DE102011089856A1 (de) Inspektion eines Prüfobjektes
DE102020134680B4 (de) Verfahren und Anordnung zur Qualitätsprüfung eines Objekts

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R016 Response to examination communication
R081 Change of applicant/patentee

Owner name: GENERAL ELECTRIC TECHNOLOGY GMBH, CH

Free format text: FORMER OWNER: GENERAL ELECTRIC CO., SCHENECTADY, N.Y., US