DE102005050350A1

DE102005050350A1 - System und Verfahren zur Überwachung einer technischen Anlage sowie Datenbrille auf Basis eines solchen Systems

Info

Publication number: DE102005050350A1
Application number: DE200510050350
Authority: DE
Inventors: Wolfgang Dr. Schlögl; Dieter Walter
Original assignee: Siemens AG
Current assignee: Siemens AG
Priority date: 2005-10-20
Filing date: 2005-10-20
Publication date: 2007-05-03

Abstract

Zusammenfassend weist das System zur Überwachung einer technischen Anlage (8) eine Kamera (2) auf, welche von einem Beobachtungspunkt (VPK) aus Betriebsmittel (81, 82) sowie zum Anlagenprozess gehörende Produkte (83) optisch erfasst und als erste Bilddaten (RD) ausgibt, wobei das System eine Simulationseinheit (7) zur prozesstechnischen Anbindung und Nachbildung der Betriebsmittel, gegebenenfalls der Produkte, sowie deren kinematischen Interaktion als graphische Objekte (81''-83'') in einem virtuellen 3-D-Modell der Anlage aufweist. Die Simulationseinheit weist Mittel zur Ausgabe von zweiten Bilddaten (VD) als graphisches Abbild (8'') einer virtuellen Ansicht auf das 3-D-Modell von einem virtuellen Beobachtungspunkt (VPS) aus auf. Erfindungsgemäß weist das System eine rechnergestützte Überwachungseinrichtung (4) auf, welche die Simulationseinheit mit Mitteln zum simultanen Einstellen des virtuellen Beobachtungspunkts auf den Beobachtungspunkt der Kamera umfasst. Die Überwachungseinrichtung weist eine Bildvergleichseinheit (6) mit Mitteln zum Vergleich der ersten Bilddaten des optischen Abbilds mit den zweiten Bilddaten des virtuellen graphischen Abbilds der Anlage und mit Mitteln zur Ausgabe von Positionsangaben (POS) zu Bildbereichen (BB) mit einer signifikanten visuellen Abweichung (D) in den entsprechenden Abbildern auf. Schließlich weist die Überwachungseinrichtung eine Auswerteeinheit mit Mitteln zur Zuordnung der Positionsangaben zum entsprechenden Betriebsmittel ...

Description

Die Erfindung betrifft ein System zur Überwachung einer technischen Anlage mit einer Kamera, welche von einem Beobachtungspunkt aus Betriebsmittel sowie zum Anlagenprozess gehörende Produkte optisch erfasst und als erste Bilddaten ausgibt, wobei das System eine Simulationseinheit zur prozesstechnischen Anbindung und Nachbildung der Betriebsmittel, gegebenenfalls der Produkte, sowie deren kinematischen Interaktion als graphische Objekte in einem virtuellen 3D-Modell der Anlage aufweist. Die Simulationseinheit weist Mittel zur Ausgabe von zweiten Bilddaten als graphisches Abbild einer virtuellen Ansicht auf das 3D-Modell von einem virtuellen Beobachtungspunkt aus auf. Die Erfindung betrifft ein dazu korrespondierendes Verfahren zur Überwachung einer technischen Anlage. Schließlich betrifft die Erfindung eine Datenbrille auf Basis eines optischen Durchsichtverfahrens, welche eine rechnergestützte Überwachungseinrichtung des erfindungsgemäßen Systems zur Überwachung einer technischen Anlage aufweist.

Aus der deutschen Patentschrift DE 101 41 521 C1 ist ein System zur Darstellung von Anwenderinformationen bekannt, bei welchem die gleichzeitige Darstellung von Anwenderinformationen und Bildinformationen einer Umgebung verbessert wird. Das System enthält eine Kamera zur Erfassung von Bildinformationen eines Ausschnitts einer Umgebung, wobei eine Zoomeinrichtung zur Änderung der Größe des erfassten Ausschnitts entsprechend eines Zoomfaktors und/oder eine Vorrichtung zur dreidimensionalen Ausrichtung der Kamera entsprechend eines Raumvektors vorgesehen ist. Das System weist eine Rechnereinheit zur Berechnung von Ortskoordinaten der Bildinformationen anhand von Raumkoordinaten der Kamera und/oder den Steuergrößen Zoomfaktor und Raumvektor, zur Zuordnung von Anwenderinformationen zu den Ortskoordinaten und zur Berechnung von Po sitionen von Abbildern der Bildinformationen auf einer Anzeigefläche einer Visualisierungseinheit auf. Weiterhin weist das System eine Bildverarbeitungseinheit zur Aufbereitung der Bildinformationen und der Anwenderinformationen für eine Wiedergabe mit der Visualisierungseinheit und für eine lagerichtige Einblendung der Anwenderinformationen auf der Anzeigefläche an den Positionen der Abbilder der Bildinformationen mit Ortskoordinaten auf, denen die jeweiligen Anwenderinformationen zugeordnet sind. Aus dem obengenannten deutschen Patent ist weiterhin ein zum System korrespondierendes Verfahren bekannt.

Aus der deutschen Offenlegungsschrift 10 2004 016 329 A1 ist ein System innerhalb eines Augmented-Reality-Systems zur Visualisierung von Simulationsergebnissen in einer gemischt virtuellen realen Umgebung bekannt. Das System ermöglicht es einem oder mehreren Anwender(n), Simulationsprozesse im Kontext einer realen Umgebung, insbesondere im Bereich der industriellen Automatisierungstechnik, durchzuführen und deren statische und dynamische Ergebnisse im Kontext der realen Umgebung zu visualisieren. In der realen Umgebung ablaufende Prozesse werden erfasst und mit der Simulation synchronisiert. Mit Hilfe einer Steuerungseinheit wird eine wechselseitige Beeinflussung realer Prozesse mit der Simulation ermöglicht. Weiterhin kann der Anwender über eine Anwenderschnittstelle den Ablauf der Simulation steuern. Aus der zuvor genannten deutschen Offenlegungsschrift ist weiterhin ein zum System korrespondierendes Verfahren bekannt.

Im Allgemeinen weisen technische Anlagen, Automatisierungs- oder Fertigungssysteme eine Vielzahl von Betriebsmitteln zur Herstellung, Verarbeitung, Bearbeitung sowie zur Verteilung von Waren, Werkstücken, Transportgütern oder allgemein von Produkten auf, die in irgendeinem prozesstechnischen Zusammenhang mit den Betriebsmitteln stehen. Bei den Betriebsmitteln handelt es sich beispielsweise um Fördereinrichtungen, wie z.B. Förderbänder, Transportwagen oder ähnliches, oder um Maschinen, wie z.B. um Werkzeugmaschinen, Pressen oder Robo ter. Dabei interagieren die Betriebsmittel derart untereinander, dass die obengenannten Produkte in einer bestimmten Reihenfolge von einem Betriebsmittel zum nächsten Betriebsmittel weitergereicht und dann be- oder verarbeitet werden, wobei auch mehrere Produkte zu einem neuen Produkt be- oder verarbeitet werden können.

In der Anlagen-, Automatisierungs- oder Fertigungstechnik werden zunehmend immer realistischere Bedien- und Beobachtungssysteme zur Überwachung eines technischen Prozesses eingesetzt. Hierzu gehören auch mehr oder weniger vollständige 3D-Modelle einer Anlage oder von Teilen einer Anlage. Die entsprechenden 3D-Modelle können heute bereits animiert werden, so dass neben dem Anzeigen von Prozesszuständen, wie z.B. durch optisches Hervorheben eines Grafikelements mittels Blinken oder Einfärben, oder Prozesswerten, wie z.B. durch Einblendungen von Text oder Zahlenwerten, auch prozessgebundene Kinematiken dargestellt werden. Daneben können 3D-Modelle auch für die interaktive Bedienung der Anlage eingesetzt werden. Für die Visualisierung von 3D-Modellen kann beispielsweise das VRML-Graphikformat (für Virtual Reality Modeling Language) oder das X3D-Graphikformat verwendet werden. Das VRML-Graphikformat bietet dabei die Möglichkeit, das angezeigte 3D-Modell über eingefügte Skripte und Animationssequenzen in seiner Geometrie und in seiner Darstellung zu beeinflussen.

Die aktuelle Anzeige eines 3D-Modells wird über sogenannte „Viewpoints" oder Beobachtungspunkte gesteuert. Dabei wird innerhalb des 3D-Modells virtuell die Position einer fiktiven Kamera festgelegt. Neben den drei Ortskoordinaten ist für die Festlegung eines Viewpoints noch die Auswahl der Blickrichtung sowie des Blickwinkels notwendig. Nach Festlegung dieser Parameter kann dann eine zweidimensionale computergenerierte Ansicht der Anlage oder von Teilen der Anlage als graphische Projektion des 3D-Modells der Anlage erzeugt werden.

Eine weitere Möglichkeit bietet der Einsatz von Bildern einer Kamera, welche zur fortlaufenden Überwachung auf die Anlage oder auf Teile der Anlage ausgerichtet ist bzw. auch ferngesteuert ausgerichtet werden kann. Solche „Live"-Kamerabilder können heute bereits über sogenannte „View-Controls" in ein Bedien- und Beobachtungsgerät integriert werden.

Die zum Einsatz kommenden Kamerasysteme unterscheiden sich hinsichtlich der optischen Qualität des Kamerabildes, der Anzahl der eingesetzten Kameras, der von der Kamera unterstützten Blickwinkel oder Zoomstufen sowie hinsichtlich der Beweglichkeit der Kamera selbst. Hierzu weisen heutige Kamerasysteme Steuereingänge zur externen Ansteuerung auf, so dass z.B. der Blickwinkel sowie die Zoomstufen ferngesteuert verändert werden können. So kann der Zoomfaktor einer Kamera z.B. auf optischem Wege verändert werden, in dem die Brennweite der Kamera motorisch verstellt wird. Darüber hinaus sind auch Kamerasysteme bekannt, welche sich vorzugsweise um die vertikale Achse drehen und zudem ihren Neigungswinkel verändern können. Aufwändigere Kamerasysteme erlauben sogar ein translatorisches Verfahren der Kamera, wie z.B. entlang einer Schiene, so dass quasi jeder überwachungsbedürftige Teil der Anlage mit der Kamera angefahren werden kann.

Ein von der Kamera aufgenommenes Bild besitzt gleichfalls einen Viewpoint oder Beobachtungspunkt, der neben den translatorischen Koordinaten des Standpunkts der Kamera auch eine Blickrichtung und einen Blickwinkel aufweist. Dabei kann die Blickrichtung über den Dreh- und Neigungswinkel der Kamera und der Blickwinkel über die Zoomstufe bzw. den Zoomfaktor der Kamera festgelegt werden.

Gegenwärtig werden die beiden obengenannten Darstellungsmöglichkeiten der Anlage, d.h. als computergeneriertes animiertes 3D-Modell und als optisches Abbild der Anlage, in ein Bedien- und Beobachtungssystem integriert, indem das virtuelle und optisch erfasste Abbild der Anlage entweder in verschie denen Prozessbildern oder nebeneinander in einem Prozessbild angezeigt werden.

Der Nachteil bei dieser Darstellungsart ist, dass ein visueller Vergleich der Anlagenansichten nur mit einer Abfolge von Änderungen des Blickwinkels durch den Anwender durchgeführt werden kann, so dass ein fehlerhaftes Verhalten von Betriebsmitteln oder Produkten der Anlage nicht gleich erkannt werden kann.

Eine andere bekannte Möglichkeit ist der Einsatz von Datenbrillen auf Basis eines „See-Through-Verfahrens" oder Durchsichtverfahrens für Anwendungen im Bereich der sogenannten „Augmented Reality". Der technische Fachbegriff „Augmented Reality" bzw. in der entsprechenden deutschen Übersetzung „erweiterte Realität" ist eine mögliche Form der Mensch-Technik-Interaktion, mittels der Benutzerinformationen über eine Datenbrille in das Sichtfeld eines Benutzers oder Anwenders, wie z.B. einem Servicetechniker, einblendet werden können. Bei dieser Technologie wird das Sichtfeld des Betrachters, d.h. des Benutzers, mit rechnergenerierten virtuellen Objekten angereichert, so dass Produkt- und Prozessinformationen intuitiv erfasst und genutzt werden können. Neben der sehr einfachen Interaktion zwischen Mensch und Computer erschließt der Einsatz tragbarer und leistungsfähiger Computer Anwendungsfelder der Augmented-Reality mit hohen Mobilitätsanforderungen. Dies ist z.B. in Produktionshallen, räumlich verteilten Anlagen oder großvolumigen Fördereinrichtungen der Fall. Ein Schwerpunkt dieser Technologie sind Produktions- und Serviceanwendungen.

Um die virtuelle Erweiterung des realen Sicht- oder Blickfelds möglichst positionsgenau zu erreichen, werden sogenannte Trackingverfahren, d.h. optische Nachführungsverfahren, eingesetzt. Diese Verfahren können sowohl als Hardwarekomponenten sowie aus Softwarekomponenten bestehen und auf optischen, inertialen, akustischen, magnetischen oder ähnlichen Verfahren basieren. Bei den jeweiligen Verfahren werden un terschiedliche Algorithmen angewendet, die eine mehr oder minder genaue Bestimmung der Position des Benutzers erlaubt.

Es ist somit eine Aufgabe der Erfindung, ein verbessertes System sowie ein verbessertes Verfahren zur Überwachung einer technischen Anlage anzugeben.

Diese Aufgabe wird durch ein System zur Überwachung einer technischen Anlage mit den im Anspruch 1 angegebenen Merkmalen gelöst. Vorteilhafte Ausgestaltungen und Weiterbildungen der Erfindung ergeben sich aus den abhängigen Ansprüchen 2 bis 13. Im Anspruch 14 ist eine Datenbrille angegeben, welche eine rechnergestützte Überwachungseinrichtung eines solchen Systems aufweist.

Die Aufgabe wird durch ein korrespondierendes Verfahren zur Überwachung einer technischen Anlage mit den im Anspruch 15 angegebenen Merkmalen gelöst. Vorteilhafte Verfahrensvarianten ergeben sich aus den abhängigen Ansprüchen 16 bis 26.

Erfindungsgemäß weist das System eine rechnergestützte Überwachungseinrichtung mit einer Simulationseinheit auf, welche Mittel zum simultanen Einstellen des virtuellen Beobachtungspunkts auf den Beobachtungspunkt der Kamera umfasst. Die rechnergestützte Überwachungseinrichtung weist eine Bildvergleichseinheit mit Mitteln zum Vergleich der ersten Bilddaten des optischen Abbilds mit den zweiten Bilddaten des virtuellen graphischen Abbilds der Anlage und mit Mitteln zur Ausgabe von Positionsangaben zu Bildbereichen mit einer signifikanten visuellen Abweichung in den entsprechenden Abbildern auf. Schließlich weist die rechnergestützte Überwachungseinrichtung eine Auswerteeinheit mit Mitteln zur Zuordnung der Positionsangaben zum entsprechenden Betriebsmittel und/oder Produkt sowie zur Ausgabe dazu entsprechender Meldedaten auf.

Durch das erfindungsgemäße Überblenden eines Kamerabilds einer realen Anlage mit einem graphischen Abbild der in einem 3D-Modell simulierten Anlage von einem gleichen Beobachtungs punkt aus ist ein Fehlverhalten von Betriebsmitteln oder von fehlgeleiteten, fehlenden oder defekten Produkten vorteilhaft sofort erkennbar. Dadurch, dass sowohl die reale Anlage als auch das zugehörige 3D-Modell die gleichen Prozessdaten der realen Anlage als Eingangsgrößen für den Prozessablauf bzw. für die prozesstechnische Nachbildung verwenden, stimmen im störungsfreien Fall der Anlage das reale Kamerabild sowie das graphische Abbild der simulierten Anlage überein. Die Prozessdaten sind z.B. Sensorsignale, Weggebersignale oder Endanschlagsignale, Fehlerereignisse, Statusanzeigen oder ähnliches. Diese Prozessdaten werden zugleich von einer übergeordneten Steuerung der Anlage, wie z.B. einem PLC (Programmable Logic Controller) oder von einem Prozessrechner, zur Steuerung der Anlage herangezogen und verarbeitet.

Der Bildvergleich der beiden Abbilder bzw. ein Bildvergleich der zugehörigen von der Kamera übertragenen Bilddaten und der virtuellen computergenerierten Bilddaten erfolgt gemäß der Erfindung automatisch. Ein Vergleich der beiden Bilddaten kann z.B. mittels einer Kreuzkorrelation oder mittels anderweitiger auf dem Gebiet der Bildverarbeitung bekannter Verfahren, wie Mustervergleichsverfahren, erfolgen. Weicht eine der beiden Bilddarstellungen von der anderen in einem vorgegebenen Maße ab, so erfolgt in vorteilhafter Weise unmittelbar eine Fehlerausgabe in Form von Meldedaten. Dabei kennzeichnen die Meldedaten zugleich das fehlerbehaftete Betriebsmittel bzw. das sich mit den Betriebsmitteln nicht ordnungsgemäß „verhaltende" Produkt. Die Meldedaten können dann z.B. an ein Anzeigegerät, an ein Meldesystem, wie z.B. an einen Pager eines Servicetechnikers, oder an ein Mobiltelefon in Form einer Textnachricht übertragen werden.

In einer besonderen Ausführungsform weist die rechnergestützte Überwachungseinrichtung eine Ansteuereinheit zum Verstellen des Beobachtungspunkts der Kamera auf. Die Simulationseinheit verfügt diesbezüglich über Mittel zum simultanen Verstellen des virtuellen Beobachtungspunkts auf den geänderten Beobachtungspunkt der Kamera hin. Dadurch kann die Kamera au tomatisiert oder von Hand auf unterschiedliche Anlagenteile gerichtet oder zu unterschiedlichen Stellen der Anlage verfahren werden, wobei zugleich die Einstellungen der „virtuellen" Kamera im 3D-Modell so geändert werden, dass das reale und das virtuelle Kamerabild wieder deckungsgleich übereinander liegen.

Damit ist der besondere Vorteil verbunden, dass eine manuelle und aufwändige Anpassung des „Viewpoints" im 3D-Modell der Anlage nicht vorgenommen werden muss. Zudem kann eine Anlage gründlicher überwacht werden, indem Teile der Anlage aus verschiedenen Blickwinkeln und/oder von verschiedenen Standpunkten der Kamera aus optisch erfasst werden. Auch ist es möglich, dass die Kamera entsprechend einem zuvor abgespeicherten Verfahrweg mit jeweils sich dabei ändernden Blickwinkeln wiederholt entlang der Anlage bewegt wird. Auf diese Weise kann innerhalb eines gewissen Überwachungszyklusses nahezu jeder Teil der Anlage optisch erfasst und überwacht werden.

Gemäß einer weiteren Ausführungsform kann der Beobachtungspunkt der Kamera über den Standpunkt der Kamera innerhalb der Anlage und/oder über den Drehwinkel und/oder über den Neigungswinkel und/oder über den Zoomfaktor der Kamera verstellt werden. Je nach Überwachungsaufgabe können dabei eine oder mehrere Parameter verändert werden.

In einer Ausführungsform ist die Auswerteeinheit der rechnergestützten Überwachungseinrichtung dazu ausgebildet, die von der Bildvergleichseinheit ermittelten Positionsangaben von Bildbereichen mit einer signifikanten visuellen Abweichung einem entsprechenden graphischen Objekt zuzuordnen. Die Ortsangaben kennzeichnen dabei Bildbereiche in einem typischerweise rechteckförmigen Bildausschnitt. Anschließend erfolgt die Zuordnung des jeweiligen graphischen Objekts zum entsprechenden Betriebsmittel und/oder Produkt. Dies kann z.B. anhand von Engineering-Daten erfolgen, welche Zuordnungen der Betriebsmittel zu den zugehörigen graphischen Objekten des 3D-Modells in Form eines strukturierten Betriebsmittelver zeichnisses enthalten. Schließlich gibt die Auswerteeinheit zum jeweiligen Betriebsmittel bzw. zum jeweiligen Produkt gehörenden Meldedaten aus. Die Meldedaten können z.B. eine Bezeichnung des betreffenden jeweiligen graphischen Objekts bzw. des Betriebsmittels oder Produkts aufweisen. Die Zuordnung von Bildbereichen mit einer signifikanten visuellen Abweichung zu dem Betriebsmittel bzw. zu dem Produkt hat den besonderen Vorteil, dass diese in einem Fehlerfall sofort benannt werden können. Dadurch ist vorteilhaft ein sehr schnelles Auffinden des fehlerbehafteten oder sich fehlerhaft verhaltenden Betriebsmittels oder Produkts in der Anlage möglich.

Die Bildvergleichseinheit weist gemäß der Erfindung entsprechende Mittel zur graphischen Überlagerung der ersten und zweiten Bilddaten sowie Mittel zur Ausgabe dieser in Form von dritten Bilddaten auf. Die graphische Überlagerung kann z.B. mittels eines Graphikprozessors durchgeführt werden, der z.B. die digitalisieren Bilddaten der Kamera in einem ersten Bildspeicher und die zweiten Bilddaten des graphischen Abbilds der Anlage in einem zweiten Bildspeicher ablegt. Die jeweiligen Farb- und Helligkeitswerte der einzelnen Bildpunkte oder Pixel in den Bilddaten können dann gewichtet gemischt werden, so dass je nach Gewichtung einmal mehr das reale Kamerabild oder einmal mehr das graphische virtuelle Abbild optisch in den Vordergrund tritt.

In einer weiteren vorteilhaften Ausführungsform weist die Simulationseinheit Mittel zur Ausgabe des graphischen Abbilds in Form von vierten Bilddaten auf, wobei dann nur die graphischen Objekte des 3D-Modells der Anlage abgebildet oder optisch hervorgehoben werden, welchen Meldedaten aufgrund einer signifikanten Abweichung von der Bewertungseinheit zugewiesen worden sind. Die vierten Bilddaten können z.B. in Form eines Videosignals oder in Form einer graphischen Datei, wie z.B. als JPG- oder GIF-Datei, ausgegeben werden. Im letzteren Fall kann die jeweilige Datei z.B. über ein Datennetz an eine Leitstelle übertragen werden, wobei zugleich das fehlerhafte Betriebsmittel als Bild ausgegeben werden kann.

Alternativ dazu kann ein fehlerbehaftetes Betriebsmittel, welches als solches von der Prozessanbindung, wie z.B. von der übergeordneten Steuerung einer Anlage, als fehlerhaft gemeldet wird, einem korrespondierenden graphischen Objekt zugeordnet werden. Dieses graphische Objekt kann dann durch die Simulationseinheit optisch hervorgehoben werden, wie z.B. durch eine Einfärbung des mit dem betreffenden Betriebsmittel korrespondierenden graphischen Objekts. Kriterium für eine optische Hervorhebung des graphischen Objekts ist in diesem Fall nicht das Ergebnis eines Bildvergleichs, sondern eine von der übergeordneten Prozesssteuerung der Anlage ausgegebene betriebsmittelbezogene Fehlermeldung.

In einer bevorzugten Ausführungsform weist das erfindungsgemäße System eine Anzeigeeinheit, wie z.B. ein Display oder einen Monitor, zur optischen Anzeige der dritten oder vierten Bilddaten auf. Eine derartige Anzeigeinheit kann z.B. Bestandteil der Leitstelle einer Anlage sein.

Im Besonderen ist dabei die Anzeigeeinheit ein Bedien- und Beobachtungsgerät. Derartige Geräte sind auf den Einsatz in der Automatisierungs- und Fertigungstechnik zugeschnitten. Das Bedien- und Beobachtungsgerät kann vorteilhaft neben der Anzeige der Bilddaten zugleich als Eingabegerät für die rechnergestützte Überwachungseinrichtung dienen.

Die rechnergestützte Überwachungseinrichtung weist gemäß einer weiteren Ausführungsform einen ersten Speicher zur Ablage von CAD-Daten der Betriebsmittel und gegebenenfalls der Produkte auf. Die CAD-Daten stammen üblicherweise aus einem CAD-System, wie z.B. von einem AutoCAD-System. Sind Änderungen am 3D-Modell der Anlage notwendig, so können die CAD-Daten im ersten Speicher zur Anpassung herangezogen werden.

Weiterhin weist die rechnergestützte Überwachungseinrichtung gemäß einer weiteren Ausführungsform einen zweiten Speicher auf, in welchem Zuordnungen eines jeweiligen graphischen Objekts zum Betriebsmittel oder Produkt sowie Zuordnungen der Prozessanbindung zu den jeweiligen Betriebsmitteln ablegbar sind. Die Erfassung solcher Daten kann über entsprechende Engineering-Systeme, wie z.B. das System eM-Engineer von Tecnomatix, erfolgen. Auf diese Weise kann bei einer Änderung der Betriebsmittelstruktur das 3D-Modell angepasst werden.

Gemäß einer weiteren Ausführungsform weist die rechnergestützte Überwachungseinrichtung einen dritten Speicher zur Ablage von 3D-Modelldaten der Anlage für die Simulationseinheit auf. Auf Basis dieser Modelldaten erfolgt dann mittels der Simulationseinheit die Nachbildung der gesamten Anlage mit den kinematischen Interaktionen der jeweiligen Betriebsmittel untereinander sowie mit Produkten, die in einem prozesstechnischen Zusammenhang mit den Betriebsmitteln stehen.

Im Besonderen weist die rechnergestützte Überwachungseinrichtung einen vierten Speicher zur Ablage von Anwender- oder Benutzerinformationen auf, wobei diese lagerichtig in das graphische Abbild des 3D-Modells der Anlage eingeblendet werden können. Auf diese Weise können z.B. Hinweistexte, Statusanzeigen, Fehlermeldungen oder Symbole als ergänzende Information im Bereich eines graphischen Objekts „angebracht" werden. So ist es z.B. in einem Fehlerfall möglich, die Fehlerursache in Form eines Textes, wie z.B. an den Rand des graphischen Objekts bzw. des korrespondierenden Betriebsmittels, einzublenden.

Gemäß einer besonders vorteilhaften Ausführungsform weist das System eine an die rechnergestützte Überwachungseinrichtung des erfindungsgemäßen Systems anschließbare Datenbrille auf Basis eines optischen Durchsichtverfahrens auf. Die Datenbrille weist dabei die Kamera zur optischen Erfassung der Betriebsmittel und der Produkte der Anlage, die Anzeigeeinheit zur lagerichtigen Einblendung der zweiten oder vierten Bild daten in das Sichtfeld eines Benutzers auf. Weiterhin weist die Datenbrille ein Trackingsystem mit Mitteln zur fortlaufenden Ermittlung der Position des Benutzers und dessen Blickrichtung auf die Betriebsmittel und Produkte auf. Schließlich umfasst das Trackingsystem Mittel zur Ausgabe von Parametern eines dazu korrespondierenden Beobachtungspunkts der Kamera an die Simulationseinheit der rechnergestützten Überwachungseinrichtung.

Das Bild der optischen Anzeigeeinheit, wie z.B. eines LCD- oder TFT-Displays, wird dabei über optische Mittel, wie z.B. über halbdurchlässige Spiegel, virtuell vor das Auge des Benutzers eingeblendet.

Werden die zweiten Bilddaten lagerichtig in das Sichtfeld eines Benutzers, wie z.B. eines Servicetechnikers oder eines Operators, eingeblendet, so überlagern sich das direkte reale Bild der gerade betrachteten Anlage und das eingeblendete virtuelle graphische Abbild der Anlage vor den Augen des Benutzers. Der Operator erkennt in diesem Falle auf vorteilhafte Weise bereits geringste Abweichungen im Prozessablauf, wie z.B. zeitliche Verzögerungen im Prozessablauf.

Besonders vorteilhaft ist es, wenn bei einer detektierten signifikanten Abweichung der ersten von den zweiten Bilddaten zusätzlich das zugeordnete fehlerbehaftete Betriebsmittel bzw. Produkt durch die Simulationseinheit optisch hervorgehoben wird. Dies kann z.B. durch eine Einfärbung des mit dem betreffenden Betriebsmittel oder Produkt korrespondierenden graphischen Objekts sein. Zusätzlich können dem Benutzer der Datenbrille auch Anwenderinformationen im Bereich oder am Rand des betreffenden Betriebsmittels oder Produkts in dessen Sichtfeld eingeblendet werden. Diese Anwenderinformation kann dann z.B. eine Information über den Fehler und eine Abhilfemaßnahme beinhalten.

Alternativ dazu kann ein fehlerbehaftetes Betriebsmittel, welches als solches von der Prozessanbindung, wie z.B. von der übergeordneten Steuerung einer Anlage, als fehlerhaft gemeldet wird, einem korrespondierenden graphischen Objekt zugeordnet werden. Dieses graphische Objekt kann dann durch die Simulationseinheit optisch hervorgehoben werden, wie z.B. durch eine Einfärbung des mit dem betreffenden Betriebsmittel korrespondierenden graphischen Objekts.

Werden die vierten Bilddaten lagerichtig in das Sichtfeld eines Benutzers, wie z.B. eines Servicetechnikers oder eines Operators, eingeblendet, so werden nur die graphischen Objekte in das Sichtfeld eingeblendet, welchen von der Auswerteeinheit Meldedaten zugewiesen worden sind und folglich besondere Beachtung verdienen. Der besondere Vorteil dabei ist, dass das einem fehlerhaften Betriebsmittel oder Produkt entsprechende graphische Objekt nur in einem Fehlerfall und vorzugsweise lagerichtig am Fehlerort eingeblendet wird. Auf diese Weise wird der Benutzer der Datenbrille vorteilhaft nicht durch anderweitige eingeblendete Graphiken oder Texte abgelenkt.

Die Datenbrille kann darüber hinaus auch eine Funkschnittstelle aufweisen, wie z.B. auf Basis eines WLAN-, Bluetooth- oder DECT-Standards, um Daten mit dem System zur Überwachung der technischen Anlage austauschen.

Schließlich wird die Aufgabe gelöst durch eine Datenbrille auf Basis eines optischen Durchsichtverfahrens, welche eine rechnergestützte Überwachungseinrichtung des erfindungsgemäßes Systems zur Überwachung einer technischen Anlage aufweist. Hierzu weist die Datenbrille eine Kamera auf, welche so an der Datenbrille angebracht ist, dass die Blickrichtung der Kamera im Wesentlichen mit der Blickrichtung des die Datenbrille tragenden Benutzers übereinstimmt. Die Datenbrille weist weiterhin eine Anzeigeeinheit, wie z.B. ein LCD-Display, zur lagerichtigen Einblendung der zweiten oder vierten Bilddaten in das Sichtfeld eines Benutzers auf. Schließlich weist die Datenbrille ein Trackingsystem mit Mitteln zur fortlaufenden Ermittlung der Position des Benutzers und des sen Blickrichtung auf die Betriebsmittel und Produkte auf. Das Trackingsystem umfasst weiterhin Mittel zur Ausgabe von Parametern eines dazu korrespondierenden Beobachtungspunkts der Kamera an die Simulationseinheit der rechnergestützten Überwachungseinrichtung.

In diesem Fall sind sämtliche Systemkomponenten zur Überwachung der technischen Anlage in der Datenbrille integriert. Eine derartige erfindungsgemäße Datenbrille ist folglich vorteilhaft äußerst kompakt.

Weitere vorteilhafte Eigenschaften der Erfindung ergeben sich aus deren beispielhafter Erläuterung anhand der Figuren. Es zeigt
1 ein Beobachtungssystem nach dem Stand der Technik mit einer auf eine Anlage ausgerichteten Kamera und einer Rechnerstation mit einer Anzeigeeinheit,
2 ein Beispiel für eine nahezu deckungsgleiche überlagerte Darstellung eines von der Kamera aufgenommen optischen Abbilds der Anlage mit einem virtuellen graphischen Abbild eines 3D-Modells der Anlage gemäß der Erfindung,
3 ein beispielhaftes Flussdiagramm der Verfahrensschritte des erfindungsgemäßen Verfahrens zur Überwachung einer technischen Anlage,
4 einen beispielhaften Aufbau eines Systems zur Überwachung einer technischen Anlage mit einer Kamera zur optischen Erfassung der Anlage und mit einer rechnergestützten Überwachungseinrichtung gemäß der Erfindung,
5 eine Gegenüberstellung eines beispielhaften optischen Abbilds mit einem beispielhaften virtuellen Abbild der Anlage mit Bildbereichen mit einer signifikanten visuellen Abweichung und
6 einen Benutzer mit einer beispielhaften erfindungsgemäßen Datenbrille, welche an das System zur Überwachung einer technischen Anlage angeschlossen ist.
1 zeigt ein Beobachtungssystem nach dem Stand der Technik mit einer auf eine Anlage 8 ausgerichteten Kamera 2 und einer Rechnerstation 3 mit einer Anzeigeeinheit 32. Im linken Teil der 1 ist eine Anlage 8 dargestellt, welche zwei Fördereinrichtungen 81, 82 als beispielhafte Betriebsmittel aufweist. In der Mitte der 1 ist eine Kamera 2 dargestellt, welche in einem gestrichelt dargestellten Erfassungsbereich EB mit einem entsprechenden Blickwinkel die Anlage 8 optisch erfasst. Bei der Kamera 2 handelt es sich vorzugsweise um eine digitale Videokamera. Mittels einer Dreh- und Kippvorrichtung 22, die über eine Ansteuerleitung 24 mit entsprechenden Steuersignalen AS eines Computers 31 der Rechnerstation 3 ansteuerbar ist, lässt sich der Drehwinkel DW und der Neigungswinkel NW der Kamera 2 verändern. Dies erfolgt im Beispiel der 1 mittels eines manuellen Bedienmittels 33. Weiterhin ist der Zoomfaktor ZF über die Ansteuerleitung AS veränderbar, so dass gezielte Anlagenteile vergrößert in einem Bildausschnitt dargestellt werden können. Mit VPK ist der aktuelle Viewpoint oder Beobachtungspunkt VPK der Kamera 2 eingezeichnet, welcher durch die aktuellen Ortskoordinaten, durch den Dreh- und Neigewinkel DW, NW sowie durch den aktuellen Zoomfaktor ZF definiert ist. Ein eingezeichneter Pfeil zeigt die Blickrichtung der Kamera 2 an.
Im rechten Teil der 1 ist eine Rechnerstation 3 dargestellt, welche den Computer 31 sowie eine Anzeigeeinheit 32 aufweist. Bei der Rechnerstation 3 handelt es sich um einen handelsüblichen PC. Bei der Anzeigeeinheit 32 handelt es sich um einen Monitor. Auf der Anzeigeeinheit 32 ist außerdem das von der Kamera 2 erfasste optische Abbild 8' der Anlage 8 zu sehen.
2 zeigt ein Beispiel für eine nahezu deckungsgleiche überlagerte Darstellung eines von der Kamera 2 aufgenommenen optischen Abbilds 8' der Anlage 8 mit einem virtuellen graphischen Abbild 8'' eines 3D-Modells der Anlage 8 gemäß der Erfindung. Mit dem Bezugszeichen 82'' ist dabei das zum realen Betriebsmittel 82 virtuelle Abbild in Form eines graphisch visualisierten Objekts dargestellt. Die Überblendung der beiden gezeigten Bildausschnitte 8' und 8'' erfolgt durch eine Bildvergleichseinheit 6 derart, dass die beiden Abbilder 8', 8'' möglichst nahtlos ineinander übergehen. Dies setzt aber voraus, dass der virtuelle Viewpoint bzw. Beobachtungspunkt VPS im 3D-Modell der Anlage 8 mit dem realen Beobachtungspunkt VPK der Kamera übereinstimmt. Dies ist im Beispiel der vorliegenden 2 der Fall und durch ein „Auge" symbolisiert.
Die Bildvergleichseinheit 6 kann darüber hinaus Mittel aufweisen, um gegebenenfalls eines der Abbilder 8', 8'' in geringem Maße zu strecken, zu stauchen oder zu drehen, um eine möglichst pixelnahe Überlagerung zu erreichen. Zudem kann die Bildvergleichseinheit 6 Mittel aufweisen, um die Helligkeit, den Kontrast oder die Farbwerte der Abbilder 8', 8'' aufeinander abzustimmen.
3 zeigt ein beispielhaftes Flussdiagramm der Verfahrensschritte 11-18 des erfindungsgemäßen Verfahrens zur Überwachung einer technischen Anlage 8.
Im ersten Verfahrensschritt 11 werden die Betriebsmittel 81, 82, gegebenenfalls die Produkte 83, sowie deren kinematischen Interaktion als graphische Objekte 81''-83'' in einem virtuellen 3D-Modell der Anlage 8 an den technischen Prozess der Anlage 8 angebunden und virtuell nachgebildet.
In einem darauf folgenden Verfahrensschritt 12 wird ein graphisches Abbild der Anlage 8'' von einem virtuellen Beobachtungspunkt VPS erstellt, wobei der virtuelle Beobachtungs punkt VPS auf den Beobachtungspunkt VPK der Kamera 2 eingestellt wird.
In einem dritten Verfahrensschritt 13 wird nun unter Berücksichtigung von aktuellen Prozessdaten PD, die von der realen Anlage 8 stammen, die Änderung der gesamten Anlage 8 mit ihren Betriebsmitteln 81, 82 und Produkten 83 in einem Simulationsschritt mit einer zeitlichen konstanten Schrittweite berechnet.
Im darauf folgenden vierten Schritt 14 wird unter Berücksichtigung einer eventuellen Änderung des Beobachtungspunkts VPK der Kamera 2 ein neues graphisches Abbild 8'' der Anlage 8 erzeugt.
In einem fünften Schritt 15 werden das optische Abbild 8' und das virtuelle graphische Abbild 8'' der Anlage 8 deckungsgleich überlagert und Bildbereiche BB ausfindig gemacht, innerhalb derer sich die Bilddaten RD, VD im optischen und im virtuellen computergenerierten Abbild 8', 8'' visuell signifikant unterscheiden. Dazu werden gegebenenfalls die zugehörigen Positionsangaben POS ermittelt. Im Anschluss erfolgt die zur Durchführung des nächsten Simulationsschritts die Rückverzweigung zum dritten Verfahrensschritt 13 in einer Schleife 18.
Parallel dazu werden in einem sechsten Verfahrensschritt 16 bei Vorliegen einer signifikanten visuellen Abweichung D die ermittelten Positionsangaben POS den betreffenden Betriebsmitteln 81, 82 bzw. den betreffenden Produkten 83 zugeordnet.
Im letzten Verfahrensschritt 17 werden zu dem Betriebsmittel 81, 82 bzw. zu dem Produkt 83 zugehörige Meldedaten F ausgegeben, um ein Fehlverhalten des Betriebsmittel 81, 82 bzw. des Produkts 83 anzuzeigen.
4 zeigt einen beispielhaften Aufbau eines Systems 1 zur Überwachung einer technischen Anlage 8 mit einer Kamera 2 zur optischen Erfassung der Anlage 8 und mit einer rechnergestützten Überwachungseinrichtung 4 gemäß der Erfindung.
Im linken Teil der 4 ist wieder die Anlage 8 mit den beiden Fördereinrichtungen 81, 82 als Betriebsmittel dargestellt. Die Anlage 8 wird beispielhaft von einer Steuereinheit 85, wie z.B. von einem PLC (Programmable Logic Controller) gesteuert, wobei diese zur Steuerung der Anlage 8 Prozessdaten PD, wie z.B. Sensorsignale von Sensoren 87, 88, verarbeitet und entsprechende Aktoren 86, wie z.B. Motoren oder Stellglieder der Betriebsmittel 81, 82, ansteuert. Die Anlage 8 wird dabei von einer Kamera 2 optisch erfasst, wobei der Beobachtungspunkt VPK der Kamera 2 mittels der Dreh- und Kippvorrichtung 22 und über den Zoomfaktor ZF verändert werden kann.
Im rechten Teil der 4 ist eine rechnergestützte Überwachungseinrichtung 4 zu sehen, welche eine Simulationseinheit 7 zur prozesstechnischen Anbindung und Nachbildung der Betriebsmittel 81, 82 sowie deren kinematischen Interaktion als graphische Objekte 81'', 82'' in einem virtuellen 3D-Modell der Anlage 8 aufweist. Für die fortlaufende Nachbildung liest die Simulationseinheit 7 über eine Datenverbindung 84 aktuelle Prozessdaten PD ein, die von der Anlage 8 stammen und auch von der übergeordneten Steuereinheit 85 der Anlage 8 eingelesen und verarbeitet werden. Die rechnergestützte Überwachungseinrichtung 4 weist zudem Ausgabemittel für ein graphisches Abbild 8'' der Anlage 8 von einem virtuellen Beobachtungspunkt VPS aus in Form von zweiten Bilddaten VD auf.
Der virtuelle Beobachtungspunkt VPS ist dabei gemäß der Erfindung mittels der Simulationseinheit 7 auf den Beobachtungspunkt VPK der Kamera 2 einstellbar. Die Ansteuerung der Dreh- und Kippvorrichtung 22 der Kamera 2 zur Veränderung des Beobachtungspunkts VPK erfolgt im Beispiel der 4 mittels einer Ansteuereinheit 25. Mit VPK' sind die zum aktuellen Beobachtungspunkt VPK gehörenden Parameter bezeichnet, die von der Simulationseinheit 7 zum simultanen Nachstellen des vir tuellen Beobachtungspunkts VPS eingelesen und ausgewertet werden.
Weiterhin weist die rechnergestützte Überwachungseinrichtung 4 eine Bildvergleichseinheit 6 zum Vergleich der ersten Bilddaten RD der Kamera 2 mit den zweiten Bilddaten VD des virtuellen graphischen Abbilds 8'' der Anlage 8 auf. Zudem gibt die Bildvergleichseinheit 6 Bildpositionen POS zu Bildbereichen BB aus, die eine signifikante visuelle Abweichung D aufweisen.
Zudem weist die rechnergestützte Überwachungseinrichtung 4 gemäß der Erfindung eine Auswerteeinheit 5 zur Zuordnung der Bildpositionen POS zum entsprechenden Betriebsmittel 81, 82 und zur Ausgabe dazu entsprechender Meldedaten F auf.
Oberhalb der rechnergestützten Überwachungseinrichtung 4 ist eine Anzeigeeinheit 32 dargestellt, welche beispielhaft wahlweise dritte Bilddaten AD oder vierte Bilddaten OD in Form von Videosignalen empfängt und welche die Bilddaten OD, AD auf einem Bildschirm der Anzeigeeinheit 32 visualisieren kann. Wie bereits eingangs beschrieben werden die dritten Bilddaten AD aus einer graphischvisuellen Überlagerung der optischen Bilddaten RD der Kamera 2 mit den virtuellen Bilddaten VD aus dem 3D-Modell erzeugt, so dass auf der Anzeigeeinheit 32 ein optisch überlagertes Bild aus dem optisch erfassten Abbild 8' und dem virtuellen Abbild 8'' der Anlage 8 zu sehen ist. Werden die vierten Bilddaten VD dargestellt, so werden nur die graphischen Objekte 81''-83'' der jeweiligen Betriebsmittel 81, 82 bzw. Produkte 83 visualisiert, welche eine signifikante visuelle Abweichung D aufweisen und welche als fehlerbehaftet eingestuft worden sind.
Im rechten Teil der rechnergestützten Überwachungseinrichtung 4 sind vier Speicher 91-94 zur Ablage von CAD-Daten, Engineering-Daten, 3D-Modelldaten sowie von Anwenderinformationen INF eingezeichnet. Der dritte und vierte Speicher 93, 94 werden direkt von der Simulationseinheit 7 für die prozesstech nische Nachbildung eingelesen. Die Speicherinhalte des ersten und zweiten Speichers 91, 92 stehen als Datenbasis zu Verfügung, um Anpassungen am 3D-Modell vornehmen zu können. Zugleich können die Speicherinhalte des ersten und zweiten Speichers 91, 92 auch von der Auswerteeinheit 5 ausgelesen werden, um die betroffenen graphischen Objekte 81''-83'' in den ermittelten Bildbereichen BB mit einer signifikanten visuellen Abweichung D sowie die zugehörigen Betriebsmittel 81, 82 und/oder die zugehörigen Produkte 83 ermitteln zu können.
5 zeigt eine Gegenüberstellung eines beispielhaften optischen Abbilds 8' mit einem beispielhaften virtuellen Abbild 8'' der Anlage 8 mit Bildbereichen BB mit einer signifikanten visuellen Abweichung D. Im oberen Teil der 5 ist das optische Abbild 8' der Anlage gezeigt, welches in Form von Bilddaten RD von der Kamera 2 geliefert wird. Weiterhin ist das optische Abbild 83' eines Produkts 83, wie z.B. ein Pakets in einer Verteilanlage, dargestellt, welches im Vergleich zu dessen virtuellem Abbild 83'' in Transportrichtung gesehen zurückgeblieben ist. Eine mögliche Ursache kann dabei sein, dass sich das Produkt 83 verkantet hat oder dass ein Fördermotor der Fördereinrichtung 82 ausgefallen ist. Zum Vergleich ist hierzu das optische Abbild 83' des Produkts 83 in das graphische Abbild 8'' der Anlage 8 in strichliierter Darstellung eingezeichnet.
Gemäß der Erfindung wird innerhalb der strichliiert eingezeichneten Bildbereiche BB eine signifikante visuelle Abweichung D festgestellt und zwar in der Weise, dass ausgehend von der oberen Darstellung das graphischvisuelle korrespondierende Produkt 83'' im linken Bereich der unteren Darstellung fehlt bzw. dass ausgehend von der unteren Darstellung das korrespondierende optisch erfasste Produkt 83' im rechten Bereich der oberen Darstellung fehlt.
Im Beispiel der 5 ist gemäß einer Ausführungsform des Systems 1 das zum Produkt 83 gehörende graphische Objekt 83'' optisch hervorgehoben dargestellt, so dass dieses für einen Betrachter sofort augenfällig wird. Zudem ist gemäß einer weiteren Ausführungsform eine Anwenderinformation INF eingeblendet, welches beispielhaft den Meldetext „ERROR" zeigt. Ein Servicetechniker oder Operator erkennt nun sofort das sich fehlerhaft verhaltende Produkt 83 und kann entsprechende Maßnahmen zur Behebung veranlassen.
6 zeigt einen Benutzer 10 mit einer beispielhaften erfindungsgemäßen Datenbrille 100, welche an das System 1 zur Überwachung einer technischen Anlage 8 angeschlossen ist. Der Blick des Benutzers 10 ist auf die Anlage 8 mit den beiden Fördereinrichtungen 81, 82 als Betriebsmittel gerichtet. Das Sichtfeld SF des Benutzers 10 ist zur Veranschaulichung eingezeichnet. Die an der Datenbrille 100 angebrachte Kamera 2' ist so ausgerichtet, dass der Erfassungsbereich EB der Kamera 2' im Wesentlichen mit dem Sichtfeld SF des Benutzers 10 übereinstimmt. Dies ist im Beispiel der 6 der Fall. Mit VPK ist der Viewpoint bzw. der Beobachtungspunkt der Kamera 2' eingezeichnet, welcher bildlich nahezu mit dem Brennpunkt im Auge des Benutzers 10 übereinstimmt.
Die Datenbrille 100 weist weiterhin ein Trackingsystem 101 zur Ermittlung der zum Beobachtungspunkt VPK gehörenden Parameter VPK' auf. Wie eingangs beschrieben kann dies auf optischen, inertialen, akustischen, magnetischen Verfahren oder ähnlichen Verfahren basieren. Das Trackingsystem 101 kann beispielsweise ein Trägheitssystem mit einem Kreisel aufweisen, um die Drehrichtungen der Datenbrille 100 im Raum zu ermitteln. Die translatorischen Koordinaten können z.B, über Triangulationsmessungen mit Referenzpunkten im Bereich der Anlage 8 ermittelt werden. Aus diesen Messdaten können dann die zum Beobachtungspunkt VPK gehörenden Parameter VPK' ermittelt werden und an die rechnergestützte Überwachungseinrichtung 4 zusammen mit den ersten Bilddaten RD der Kamera 2' übertragen werden. Auf umgekehrtem Wege überträgt die Überwachungseinrichtung 4 das virtuelle graphische Abbild 8'' der Anlage 8 in Form der zweiten und/oder vierten Bilddaten VD, OD. Diese werden nun zur Information des Benutzers 10 in des sen Sichtfeld SF eingeblendet. Dabei wird in der Simulationseinheit 7 der übertragene und sich durch die Bewegung des Benutzers 10 ständig ändernde Parametersatz VPK' ausgewertet, und der virtuelle Beobachtungspunkt VPS für die prozesstechnische Nachbildung simultan nachgeführt.
Zusammenfassend weist das System 1 zur Überwachung einer technischen Anlage 8 eine Kamera 2 auf, welche von einem Beobachtungspunkt VPK aus Betriebsmittel 81, 82 sowie zum Anlagenprozess gehörende Produkte 83 optisch erfasst und als erste Bilddaten RD ausgibt, wobei das System 1 eine Simulationseinheit 7 zur prozesstechnischen Anbindung und Nachbildung der Betriebsmittel 81, 82, gegebenenfalls der Produkte 83, sowie deren kinematischen Interaktion als graphische Objekte „81"-„83" in einem virtuellen 3D-Modell der Anlage 8 aufweist. Die Simulationseinheit 7 weist Mittel zur Ausgabe von zweiten Bilddaten VD als graphisches Abbild 8' einer virtuellen Ansicht auf das 3D-Modell von einem virtuellen Beobachtungspunkt VPS aus auf. Erfindungsgemäß weist das System 1 eine rechnergestützte Überwachungseinrichtung 4 auf, welche die Simulationseinheit 7 mit Mitteln zum simultanen Einstellen des virtuellen Beobachtungspunkts VPS auf den Beobachtungspunkt VPK der Kamera 2 umfasst. Die rechnergestützte Überwachungseinrichtung 4 weist eine Bildvergleichseinheit 6 mit Mitteln zum Vergleich der ersten Bilddaten RD des optischen Abbilds 8' mit den zweiten Bilddaten VD des virtuellen graphischen Abbilds 8'' der Anlage 8 und mit Mitteln zur Ausgabe von Positionsangaben POS zu Bildbereichen BB mit einer signifikanten visuellen Abweichung D in den entsprechenden Abbildern 8', 8'' auf. Schließlich weist die rechnergestützte Überwachungseinrichtung 4 eine Auswerteeinheit 5 mit Mitteln zur Zuordnung der Positionsangaben POS zum entsprechenden Betriebsmittel 81, 82 und/oder Produkt 83 sowie zur Ausgabe dazu entsprechender Meldedaten F auf. In einer besonderen Ausführungsform sind sämtliche Komponenten des Systems 1 in einer Datenbrille 100 integriert. Das Verfahren zur Überwachung einer technischen Anlage weist zum erfindungsgemäßen System korrespondierende Verfahrensschritte auf.

Claims

System zur Überwachung einer technischen Anlage (8) mit einer Kamera (2), welche von einem Beobachtungspunkt (VPK) aus Betriebsmittel (81, 82) sowie zum Anlagenprozess gehörende Produkte (83) optisch erfasst und als erste Bilddaten (RD) ausgibt, wobei das System eine Simulationseinheit (7) zur prozesstechnischen Anbindung und Nachbildung der Betriebsmittel (81, 82), gegebenenfalls der Produkte (83), sowie deren kinematischen Interaktion als graphische Objekte (81''-83'') in einem virtuellen 3D-Modell der Anlage (8) aufweist und wobei die Simulationseinheit (7) Mittel zur Ausgabe von zweiten Bilddaten (VD) als graphisches Abbild (8') einer virtuellen Ansicht auf das 3D-Modell von einem virtuellen Beobachtungspunkt (VPS) aus aufweist, gekennzeichnet durch eine rechnergestützte Überwachungseinrichtung (4), welche aufweist a) die Simulationseinheit (7) mit Mitteln zum simultanen Einstellen des virtuellen Beobachtungspunkts (VPS) auf den Beobachtungspunkt (VPK) der Kamera (2), b) eine Bildvergleichseinheit (6) mit Mitteln zum Vergleich der ersten Bilddaten (RD) des optischen Abbilds (8') mit den zweiten Bilddaten (VD) des virtuellen graphischen Abbilds (8'') der Anlage (8) und mit Mitteln zur Ausgabe von Positionsangaben (POS) zu Bildbereichen (BB) mit einer signifikanten visuellen Abweichung (D) in den entsprechenden Abbildern (8', 8'') und c) eine Auswerteeinheit (5) mit Mitteln zur Zuordnung der Positionsangaben (POS) zum entsprechenden Betriebsmittel (81, 82) und/oder Produkt (83) sowie zur Ausgabe dazu entsprechender Meldedaten (F).
System nach Anspruch 1, dadurch gekennzeichnet, dass die rechnergestützte Überwachungseinrichtung (4) eine Ansteuereinheit (25) zum Verstellen des Beobachtungspunkts (VPK) der Kamera (2) aufweist und dass die Simulationseinheit (7) Mittel zum simultanen Einstellen des virtuellen Beobach tungspunkts (VPS) auf den Beobachtungspunkt (VPK) der Kamera (2) aufweist.
System nach Anspruch 2, dadurch gekennzeichnet, dass der Beobachtungspunkt (VPK) der Kamera (2) über die Position der Kamera (2) innerhalb der Anlage (8) und/oder über den Drehwinkel (DW) und/oder über den Neigungswinkel (NW) und/oder über den Zoomfaktor (ZF) der Kamera (2) verstellbar ist.
System nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass die Auswerteeinheit (5) Mittel zur Zuordnung der Positionsangaben (POS) zu einem graphischen Objekt (81''-83'') im 3D-Modell, zur Zuordnung des jeweiligen graphischen Objekts (81''-83'') zum entsprechenden Betriebsmittel (81, 82) und/oder Produkt (83) und zur Ausgabe der zum Betriebsmittel (81, 82) und/oder zum Produkt (83) gehörenden Meldedaten (F) aufweist.
System nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass die Bildvergleichseinheit (6) Mittel zur graphischen Überlagerung der ersten und zweiten Bilddaten (RD, VD) und Mittel zur Ausgabe dieser in Form von dritten Bilddaten (AD) aufweist.
System nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass die Simulationseinheit (7) Mittel zur Ausgabe des virtuellen graphischen Abbilds (8'') in Form von vierten Bilddaten (OD) aufweist, wobei die Simulationseinheit (7) nur graphische Objekte (81''-83'') mit zugewiesenen Meldedaten (F) abbildet oder optisch hervorhebt.
System nach Anspruch 5 oder 6, dadurch gekennzeichnet, dass das System eine Anzeigeeinheit (32) zur optischen Anzeige der dritten oder vierten Bilddaten (VD, OD) aufweist.
System nach Anspruch 7, dadurch gekennzeichnet, dass die Anzeigeeinheit (32) ein Bedien- und Beobachtungsgerät ist.
System nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass die rechnergestützte Überwachungseinrichtung (4) einen ersten Speicher (91) zur Ablage von CAD-Daten der Betriebsmittel (81, 82) und gegebenenfalls der Produkte (83) aufweist.
System nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass die rechnergestützte Überwachungseinrichtung (4) einen zweiten Speicher (92) aufweist, in welchem Zuordnungen eines jeweiligen graphischen Objekts (81''-83'') zum Betriebsmittel (81, 82) oder Produkt (83) sowie Zuordnungen der Prozessanbindung zu den jeweiligen Betriebsmitteln (81, 82) ablegbar sind.
System nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass die rechnergestützte Überwachungseinrichtung (4) einen dritten Speicher (93) zur Ablage von 3D-Modelldaten der Anlage (8) für die prozesstechnische Nachbildung der Anlage (8) durch die Simulationseinheit (7) aufweist.
System nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass die rechnergestützte Überwachungseinrichtung (4) einen vierten Speicher (94) zur Ablage von Anwenderinformationen (INF) aufweist, wobei die Anwenderinformationen (INF) lagerichtig in das Abbild (8'') des 3D-Modells der Anlage (8) einblendbar sind.
System nach einem der vorangegangenen Ansprüche, gekennzeichnet durch eine Datenbrille (100) auf Basis eines optischen Durchsichtverfahrens, welche an das System anschließbar ist, wobei die Datenbrille (100) aufweist a) die Kamera (2') zur optischen Erfassung der Betriebsmittel (81, 82) und der Produkte (83) der Anlage (8), b) die Anzeigeeinheit (32') zur lagerichtigen Einblendung der zweiten oder vierten Bilddaten (VD, OD) in das Sichtfeld (SF) eines Benutzers (10) und c) ein Trackingsystem (101) mit Mitteln zur fortlaufenden Ermittlung der Position des Benutzers (10) und dessen Blickrichtung auf die Betriebsmittel (81, 82) und Produkte (83) sowie mit Mittel zur Ausgabe von Parametern (VPK') eines dazu korrespondierenden Beobachtungspunkts (VPK) der Kamera (2') an die Simulationseinheit (7) der rechnergestützten Überwachungseinrichtung (4).
Datenbrille auf Basis eines optischen Durchsichtverfahrens, welche eine rechnergestützte Überwachungseinrichtung (4) eines Systems (1) nach einem der Ansprüche 1 bis 12 aufweist, wobei die Datenbrille (100) zudem aufweist a) eine Kamera zur optischen Erfassung der Betriebsmittel (81, 82) und der Produkte (83) der Anlage (8), b) eine Anzeigeeinheit zur lagerichtigen Einblendung der zweiten oder vierten Bilddaten (VD, OD) in das Sichtfeld (SF) eines Benutzers (10) und c) ein Trackingsystem (101) mit Mitteln zur fortlaufenden Ermittlung der Position des Benutzers (10) und dessen Blickrichtung auf die Betriebsmittel (81, 82) und Produkte (83) sowie mit Mitteln zur Ausgabe von Parametern (VPK') eines dazu korrespondierenden Beobachtungspunkts (VPK) der Kamera an die Simulationseinheit (7) der rechnergestützten Überwachungseinrichtung (4).
Verfahren zur Überwachung einer technischen Anlage (8) mit einer Kamera (2), welche von einem Beobachtungspunkt (VPK) aus Betriebsmittel (81, 82) sowie zum Anlagenprozess gehörende Produkte (83) optisch erfasst und als erste Bilddaten (RD) ausgibt, mit den Verfahrensschritten: a) Prozesstechnische Anbindung und Nachbildung der Betriebsmittel (81, 82), gegebenenfalls der Produkte (83), sowie deren kinematischen Interaktion als graphische Objekte (81''-83'') in einem virtuellen 3D-Modell der Anlage (8), b) Ausgabe von zweiten Bilddaten (VD) als graphisches Abbild (8'') einer virtuellen Ansicht auf das 3D-Modell von einem virtuellen Beobachtungspunkt (VPS) aus, gekennzeichnet durch folgende Verfahrensschritte: c) Simultanes Einstellen des virtuellen Beobachtungspunkts (VPS) auf den Beobachtungspunkt (VPK) der Kamera (2), d) Vergleich der optisch erfassten Bilddaten (RD) mit den Bilddaten (VD) des virtuellen graphischen Abbilds (8'') der Anlage (8), e) Ausgabe von Positionsangaben (POS) zu Bildbereichen (BB) mit einer signifikanten visuellen Abweichung (D) in den entsprechenden Abbildern (8', 8''), f) Zuordnung der Positionsangaben (POS) zum entsprechenden Betriebsmittel (81, 82) und/oder Produkt (83) und g) Ausgabe dazu entsprechender Meldedaten (F).
Verfahren nach Anspruch 15, dadurch gekennzeichnet, dass der virtuelle Beobachtungspunkt (VPS) simultan auf den Beobachtungspunkt (VPK) der Kamera (2) eingestellt wird.
Verfahren nach Anspruch 16, dadurch gekennzeichnet, dass der Beobachtungspunkt (VPK) der Kamera (2) über die Position der Kamera (2) innerhalb der Anlage (8) und/oder über den Drehwinkel (DW) und/oder über den Neigungswinkel (NW) und/oder über den Zoomfaktor (ZF) der Kamera (2) eingestellt wird.
Verfahren nach einem der Ansprüche 15 bis 17, dadurch gekennzeichnet, dass die Positionsangaben (POS) zu einem entsprechenden graphischen Objekt (81''-83'') zugeordnet werden, dass das jeweilige Objekt (81''-83'') zum entsprechenden Betriebsmittel (81, 82) oder Produkt (83) zugeordnet wird und dass die zum Betriebsmittel (81, 82) und/oder zum Produkt (83) gehörenden Meldedaten (F) ausgegeben werden.
Verfahren nach einem der Ansprüche 15 bis 18, dadurch gekennzeichnet, dass die beiden Bilddaten (RD, VD) zu dritten Bilddaten (AD) graphisch überlagert werden.
Verfahren nach einem der Ansprüche Anspruch 15 bis 19, dadurch gekennzeichnet, dass das graphische Abbild (8'') der Anlage (8) in Form von vierten Bilddaten (OD) ausgegeben wird, wobei nur die graphischen Objekte (81''-83'') abgebildet oder optisch hervorgehoben werden, welchen Meldedaten (F) zugewiesen worden sind.
Verfahren nach Anspruch 19 oder 20, dadurch gekennzeichnet, dass die dritten oder vierten Bilddaten (VD, OD) auf einer optischen Anzeigeeinheit (32) angezeigt werden.
Verfahren nach Anspruch 21, dadurch gekennzeichnet, dass die Anzeigeeinheit (32) ein Bedien- und Beobachtungsgerät ist.
Verfahren nach einem der Ansprüche 15 bis 22, dadurch gekennzeichnet, dass CAD-Daten der Betriebsmittel (81, 82) und gegebenenfalls der Produkte (83) gespeichert werden.
Verfahren nach einem der Ansprüche 15 bis 23, dadurch gekennzeichnet, dass Zuordnungen eines jeweiligen graphischen Objekts (81''-83'') zum Betriebsmittel (81, 82) oder Produkt (83) und dass Zuordnungen der Prozessanbindung zu den jeweiligen Betriebsmitteln (81, 82) gespeichert werden.
Verfahren nach einem der Ansprüche 15 bis 24, dadurch gekennzeichnet, dass 3D-Modelldaten der Anlage (8) zur prozesstechnischen Nachbildung der Betriebsmittel (81, 82) und Produkte (83) gespeichert werden.
Verfahren nach einem der Ansprüche 15 bis 25, dadurch gekennzeichnet, dass zum graphischen Objekt (81''-83'') gehörenden Anwenderinformationen (INF) gespeichert werden, wobei die gespeicherten Anwenderinformationen (INF) lagerichtig in das Abbild (8'') des 3D-Modells der Anlage (8) eingeblendet werden.