DE102004016329A1 - System und Verfahren zur Durchführung und Visualisierung von Simulationen in einer erweiterten Realität - Google Patents

System und Verfahren zur Durchführung und Visualisierung von Simulationen in einer erweiterten Realität Download PDF

Info

Publication number
DE102004016329A1
DE102004016329A1 DE102004016329A DE102004016329A DE102004016329A1 DE 102004016329 A1 DE102004016329 A1 DE 102004016329A1 DE 102004016329 A DE102004016329 A DE 102004016329A DE 102004016329 A DE102004016329 A DE 102004016329A DE 102004016329 A1 DE102004016329 A1 DE 102004016329A1
Authority
DE
Germany
Prior art keywords
simulation
storage medium
real
stored
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
DE102004016329A
Other languages
English (en)
Inventor
Wolfgang Friedrich
Soeren Moritz
Michael Schlereth
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens AG
Original Assignee
Siemens AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens AG filed Critical Siemens AG
Priority to DE102004016329A priority Critical patent/DE102004016329A1/de
Priority to EP04804510A priority patent/EP1683063A1/de
Priority to US10/578,940 priority patent/US7852355B2/en
Priority to PCT/EP2004/052783 priority patent/WO2005045729A1/de
Publication of DE102004016329A1 publication Critical patent/DE102004016329A1/de
Ceased legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012Head tracking input arrangements

Abstract

Die Erfindung betrifft ein System und ein Verfahren innerhalb eines Augmented-Reality (AR) Systems zur Visualisierung von Simulationsergebnissen in einer gemischt virtuellen realen Umgebung. Das System bzw. Verfahren ermöglicht es einem oder mehreren Anwender(n), Simulationsprozesse im Kontext einer realen Umgebung, insbesondere im Bereich der industriellen Automatisierungstechnik, durchzuführen und deren statische und dynamische Ergebnisse im Kontext der realen Umgebung zu visualisieren. In der realen Umgebung ablaufende Prozesse werden erfasst und mit der Simulation synchronisiert. Mit Hilfe einer Steuerungseinheit wird eine wechselseitige Beeinflussung realer Prozesse mit der Simulation ermöglicht. Weiterhin kann der Anwender über eine Anwenderschnittstelle den Ablauf der Simulation steuern.

Description

  • Die Erfindung betrifft ein System und ein Verfahren zur Darstellung von Informationen, insbesondere Augmented-Reality Informationen, für mindestens einen Anwender.
  • Eine derartiges System bzw. Verfahren kommt beispielsweise bei der Planung von Arbeitsprozessen und sonstigen Prozessen in einer industriellen Umgebung zum Einsatz.
  • Augmented-Reality, kurz AR, ist eine neue Art der Mensch-Umgebungs-Interaktion mit großem Potential zur Unterstützung von industriellen Arbeitsprozessen und sonstigen Prozessen vor und während der Prozessabläufe. Bei dieser Technologie wird das Sichtfeld des Betrachters mit rechnergenerierten virtuellen Objekten angereichert, so dass Produkt- und Prozessinformation intuitiv erfasst und genutzt werden können. Neben der sehr einfachen Interaktion – Mensch und Umgebung – erschließt der Einsatz tragbarer Computer AR-Anwendungsfelder mit hohen Mobilitätsanforderungen wie z. B. in Produktionshallen, räumlich verteilten Anlagen oder großvolumigen Fördereinrichtungen. Augmented-Reality wird bereits für Produktions- und Serviceanwendungen entwickelt.
  • Der Erfindung liegt die Aufgabe zu Grunde, ein System und ein Verfahren anzugeben, das in einem Augmented-Reality System die Visualisierung von Simulationsergebnissen im Kontext zu realen Anordnungen ermöglicht. Mit Hilfe dieses Systems sollen geplante Prozesse oder auch fiktive Situationen wie Ansammlung von Besuchern, Fehlerfälle an bestehenden oder geplanten Anlagen etc. direkt in der realen Umgebung visualisiert und so für den oder die Anwender erlebbar gemacht werden.
  • Diese Aufgabe wird durch ein System zur Darstellung von Informationen, insbesondere Augmented-Reality Informationen, für mindestens einen Anwender mit
    • • mindestens einer Erfassungseinheit zur Erfassung einer Umgebung und zur Generierung entsprechender Umgebungsinformationen, die eine Position und/oder eine Ausrichtung des Systems in Bezug auf die Umgebung kennzeichnen,
    • • mindestens einem Simulationssystem zur Generierung von Simulationsdaten,
    • • mindestens einer Verarbeitungseinheit zur Verknüpfung der Umgebungsinformationen und auf Basis der Simulationsdaten kontinuierlich modifizierter und in einem ersten Speichermedium abgelegter Bildinformationen gelöst.
  • Diese Aufgabe wird weiter durch ein Verfahren zur Darstellung von Informationen, insbesondere Augmented-Reality Informationen, für mindestens einen Anwender bei dem
    • • mit Hilfe mindestens einer Erfassungseinheit eine Umgebung erfasst und entsprechende Umgebungsinformationen, die eine Position und/oder eine Ausrichtung des Systems in Bezug auf die Umgebung kennzeichnen, generiert werden,
    • • mit Hilfe mindestens eines Simulationssystems Simulationsdaten generiert werden,
    • • mit Hilfe mindestens einer Verarbeitungseinheit die Umgebungsinformationen und auf Basis der Simulationsdaten kontinuierlich modifizierte und in einem ersten Speichermedium abgelegte Bildinformationen verknüpft werden gelöst.
  • Durch die Verknüpfung der mit Hilfe des Simulationssystems generierten Daten mit den auf die reale Umgebung bezogenen Umgebungsinformationen wird eine Visualisierung der Simulationsergebnisse im Kontext mit der realen Umgebung ermöglicht. Simulationsergebnisse werden mit Hilfe von Augmented-Reality in die Realität übertragen und dort in einer gemischt virtuellen realen Welt visualisiert. Dabei werden die dynamischen Ergebnisse der Simulation entsprechend ihrer Dynamik in die reale Welt transportiert und somit für den Betrachter erlebbar gemacht. Simulationen, die bis dato nur in rein virtuellen Umgebungen durchgeführt werden, können mit dem erfindungsgemäßen System bzw. der erfindungsgemäßen Vorrichtung in der Realität dargestellt werden, ohne dass eine aufwendige Modellierung der realen Umgebung notwendig ist. Verfälschungen der realen Umgebung und daraus resultierende fehlerhafte Rückschlüsse, die bei einer Nachbildung der Realität nie vollständig ausgeschlossen werden können, werden durch die erfindungsgemäße Kombination von Simulationstechniken und Augmented-Reality Technologie vermieden.
  • Neben der Augmentierung der Wirklichkeit durch reale Gegenstände (z.B. Transportgüter) kann die Simulation auch als Prognosewerkzeug eingesetzt werden. Dabei kann z. B. durch die Simulation eine Prognose erstellt werden, dass in naher Zukunft an einer Maschine oder einer Fördereinrichtung ein Problem auftritt. Dann kann z. B. als Warnung die Umgebung der Maschine gelb oder rot eingefärbt werden (oder der virtuell explodierende Kessel gezeigt werden).
  • Das erfindungsgemäße System kann beispielsweise für folgende Aufgaben vorteilhaft eingesetzt werden:
    • • Darstellung des Transportaufkommens von Gütern in Fertigungseinrichtungen und Förderanlagen in Abhängigkeit von unterschiedlichen Systemzuständen (Ausfall, Verfügbarkeit bei redundanten Linien, Durchsatzeinflüsse wie Staus)
    • • Darstellung von Besuchern bei Veranstaltungen in der realen Veranstaltungsumgebung (z. B. Personenaufkommen an Messeständen, an Fluchtwegen, an Produktionslinien, etc.. )
    • • Darstellung von Temperaturverläufen in Tunnelöfen in Abhängigkeit von Bestückung (Anzahl der Paletten mit Ziegeln) und Material
    • • Darstellung des Bearbeitungszustands eines Werkstücks in einer Werkzeugmaschine in der Zukunft oder Vergangenheit (Nutzen? Wie lange dauert die Bearbeitung noch?)
  • Bei einer vorteilhaften Ausführungsform der Erfindung ist die Verarbeitungseinheit derart ausgeführt, dass sie zur Berechnung von Verdeckungen virtueller Objekte durch eine im Erfassungsbereich des Systems existierende reale Anordnung auf Basis der in dem ersten Speichermedium abgelegten Bildinformationen sowie zur Generierung einer Datenmenge zur Beschreibung der virtuellen Objekte dient, wobei die von der realen Anordnung verdeckten Flächen der virtuellen Objekte ausgeblendet sind. Auf diese Weise wird eine Datenmenge zur Wiedergabe eines 3-dimensionalen Modells generiert, dessen Darstellung dem Anwender eine positionsgenaue Visualisierung virtueller und realer Objekte in allen drei Raumdimensionen ermöglicht. Durch die Ausblendung der von realen Objekten verdeckten Teile der virtuellen Objekte wird ein hinter einem realen Objekt positioniertes virtuelles Objekt auch als solches von dem Anwender wahrgenommen.
  • Vorteilhafter Weise weist das System mindestens eine Wiedergabeeinheit zur Darstellung der von der Verarbeitungseinheit generierten Datenmenge auf. Bei der Wiedergabe der Augmented-Reality Informationen können zwei unterschiedliche Verfahren zum Einsatz kommen.
  • Die Wiedergabeeinheit kann als Head-Mounted-Display ausgebildet sein, wobei die von den durch die Verarbeitungseinheit generierten Bildinformationen beschriebenen Objekte direkt in das Sichtfeld des Anwenders eingeblendet werden, und der Anwender den von den durch die Bildinformationen beschriebenen Objekten nicht verdeckten Teil der aktuellen Realität weiterhin direkt wahrnimmt. Bei dieser Art der Darstellung von Augmented-Reality Informationen handelt es sich um das sogenannte Optical-See-Through Verfahren.
  • Alternativ ist die Wiedergabeeinheit derart ausgebildet, dass die von den durch die Verarbeitungseinheit generierten Bildinformationen beschriebenen Objekte und der von den durch die Bildinformationen beschriebenen Objekte nicht verdeckte Teil der aktuellen Realität dargestellt werden, wobei die Vorrichtung hierzu insbesondere mindestens eine Bilderfassungseinheit, die beispielsweise als Videokamera ausgeführt ist, zur Erfassung der aktuelle Realität aufweist. Diese Ausführungsform ermöglicht die Darstellung der Augmented-Reality Informationen für mehrer Anwender. Bei dieser Art der Darstellung von Augmented-Reality Informationen handelt es sich um das sogenannte Video-See-Through Verfahren. Hierbei werden die von den Bildinformationen beschriebenen und nicht durch reale Objekte verdeckten Teile der virtuellen Objekte in das von der Videokamera erfasste Bild eingeblendet und auf einem oder, z. B. unter Verwendung eines Videosplitters, mehreren Wiedergabeeinheiten dargestellt. Bei den Wiedergabeeinheiten kann es sich um Head-Mounted-Displays und/oder gewöhnliche Monitore handeln, die insbesondere auch an von der erfassten aktuellen Realität entfernten Orten positioniert sein können.
  • In einer vorteilhaften Ausführungsform weist das System mindestens eine Anwendungssteuerung zur Ansteuerung des Simulationssystems und/oder mindestens eines realen Prozesses auf. Die Anwendungssteuerung erlaubt die Aktivierung und die Steuerung realer und virtueller Prozesse. Darüber hinaus stellt sie die verfügbaren Kommandos und den aktuellen Zustand des Systems, zum Beispiel unter Verwendung einer Videokarte, mit Hilfe der Wiedergabeeinheit dar. Zur Steuerung eines realen Prozesses ist zweckmäßigerweise zusätzlich eine Prozesssteuerung vorgesehen, die das notwendige Ablaufsystem und die notwendigen Steuerprogramme, um eine Anlage oder Anlagenkomponenten nach einem vorgegebenen Ablaufschema zu steuern (z.B. eine SPS mit ihren dazugehörigen Daten- und Funktionsbausteinen) enthält.
  • Um dem Anwender die Möglichkeit zu geben, reale Prozesse und Simulationen aktivieren und steuern zu können, umfasst das System mindestens eine Anwenderschnittstelle, die dem Anwender eine Ansteuerung des Simulationssystems und/oder mindestens eines realen Prozesses erlaubt. Die Anwenderschnittstel le kann unterschiedliche Eingabegeräte umfassen wie z. B. Maus, Tastatur, Mikrophone, etc... Die von den Eingabegeräten gelieferten Signale werden mittels entsprechender Gerätetreiber in Befehle für die Anwendungssteuerung umgesetzt.
  • Zweckmäßigerweise weist das System ein zweites Speichermedium auf, in dem aktuelle Zustandswerte des realen Prozesses, insbesondere Sensorwerte und/oder zu setzende Aktorwerte, abgelegt sind.
  • Bei einer vorteilhaften Ausführungsform ist das Simulationssystem derart ausgeführt, dass der Ablauf einer Simulation durch die im zweiten Speichermedium abgelegten Zustandswerte kontinuierlich beeinflusst werden kann und/oder die im zweiten Speichermedium abgelegten Zustandswerte durch das Simulationssystem modifiziert werden können. Durch die Möglichkeit des Zugriffs auf die im zweiten Speichermedium abgelegten Zustandswerte, kann das Simulationssystem auf aktuelle Zustände eines realen Prozesses reagieren und eine laufende Simulation entsprechend beeinflussen. Weiterhin kann das Simulationssystem Zustandswerte modifizieren und so einen laufenden realen Prozess beeinflussen.
  • Zur Beeinflussung eines realen Prozessen und/oder zur Erfassung von Zustandsparametern eines realen Prozesses ist in einer vorteilhaften Ausführungsform mindestens eine Prozessanbindung vorgesehen, welche die Veränderung des Zustandes eines realen Prozesses, insbesondere in Abhängigkeit der im zweiten Speichermedium abgelegten Zustandswerte, und die Erfassung des aktuellen Zustandes eines realen Prozesses erlaubt.
  • In einer weiteren vorteilhaften Ausführungsform des Systems ist ein drittes Speichermedium vorgesehen, in dem Daten abgelegt werden, die eine Rekonstruktion eines mittels des Simulationssystems simulierten Vorganges erlauben. Das dritte Speichermedium enthält kontinuierliche und zyklische Daten, die über eine definierte Zeitspanne aufgezeichnet worden sind. Sie sind hinreichend genau, um von dem Simulationssystem aufgezeichnete Vorgänge in Zeitlupe oder Zeitraffer abspielen zu können, sowohl vorwärts als auch rückwärts entlang der Zeitachse gerichtet.
  • Im Folgenden wird die Erfindung anhand der in den Figuren dargestellten Ausführungsbeispiele näher beschrieben und erläutert. Es zeigen:
  • 1 eine schematische Darstellung eines System zur Darstellung von Informationen, insbesondere Augmented-Reality Informationen, für mindestens einen Anwender und
  • 2 eine detaillierte Darstellung einer Ausführungsform des in 1 gezeigten Systems
  • 1 zeigt eine schematische Darstellung eines Systems 1 zur Darstellung von Informationen, insbesondere Augmented-Reality Informationen, für mindestens einen Anwender 2. Im Blickfeld des Anwenders 2 befindet sich eine reale Anordnung 11, bei der es sich beispielsweise um einen Hubtisch handeln kann. Der Anwender 2 trägt auf dem Kopf eine Erfassungsvorrichtung 3a, zum Beispiel einen Sensor, die Bestandteil einer Erfassungseinheit 3 ist. Mit Hilfe der Erfassungsvorrichtung 3a wird die Umgebung des Anwenders 2 erfasst und mit einer Verarbeitungseinheit 3b entsprechende Umgebungsinformationen 4 generiert, die die Position und den Blickwinkel des Anwenders 2 in Bezug auf die reale Anordnung 11 kennzeichnen.
  • Das System weist ein erstes Speichermedium 5 auf, in dem Bildinformationen 6 bezüglich realer und virtueller Objekte abgelegt sind. Die Bildinformationen 6 beschreiben die realen und virtuellen Objekte in Form von dreidimensionalen Modellen.
  • Das System 1 umfasst weiterhin ein Simulationssystem 7, mit dem Simulationsdaten 12 generiert werden. Die in dem Spei chermedium 5 abgelegten Bildinformationen 6 werden hierbei kontinuierlich durch die von dem Simulationssystem 7 generierten Simulationsdaten 12 aktualisiert.
  • Eine Verarbeitungseinheit 8 verknüpft nun die Bildinformationen 6 und die Umgebungsinformation 4 zu einer neuen Datenmenge 9, die mit Hilfe einer Wiedergabeeinheit 10 dargestellt werden kann. Durch die Verknüpfung der Bildinformationen 6 mit den Umgebungsinformationen 4 durch die Verarbeitungsvorrichtung 8 ist nun eine positionsgenaue Einblendung der neu generierten Bildinformationen 9 in das Blickfeld des Anwenders 2 möglich. Hierbei werden Verdeckungen durch den Hubtisch 11 von den durch die Bildinformation 6 beschriebenen geometrischen Anordnungen dem Anwender sichtbar gemacht. Die Visualisierung der in dem Speichermedium 5 abgelegten Daten 6 zur Beschreibung virtueller Objekte erfolgt so im Kontext zu der realen Umgebung des Anwenders 2, wobei der Anwender 2 eine korrekte Darstellung sowohl der virtuellen als auch der realen Objekte in seiner Umgebung in allen drei Raumdimensionen erhält. Bei der Darstellung der erweiterten Realität ist durch das Simulationssystem 7 darüber hinaus eine Dynamisierung der in dem ersten Speichermedium 5 abgelegten realen und virtuellen Objekte möglich.
  • 2 zeigt eine detaillierte Darstellung einer Ausführungsform des in 1 gezeigten Systems. Im Blickfeld eines Anwenders 2 befindet sich eine reale Anordnung 11, bei der es sich wiederum um einen Hubtisch handeln kann. Mit Hilfe einer Erfassungseinheit 3 bestehend aus einer insbesondere als Sensor ausgeführten Erfassungsvorrichtung 3a und einer Verarbeitungseinheit 3b werden die Position und der Blickwinkel des Anwenders 2 in Bezug auf die reale Anordnung 11 erfasst und in Form von Umgebungsinformationen 4, die in Gestalt einer Matrix vorliegen, an die Verarbeitungseinheit 8 gegeben. Bei der Verarbeitungseinheit 3b kann es sich insbesondere um ein Trackingsystem handeln.
  • In einem ersten Speichermedium 5 befinden sich Bildinformationen 6 zur Beschreibung des dreidimensionalen Modells einer oder mehrerer virtueller oder realer Anordnungen. In dem gezeigten Beispiel handelt es sich bei den virtuellen oder realen Anordnungen um einen virtuellen Roboter 18a und virtuelle Pakete 18b. In einem zu visualisierenden Zukunftsszenario könnten z. B. die virtuellen Pakete 18b von dem realen Hubtisch 11 transportiert und/oder gehoben werden und von dem virtuellen Roboter 18a nach einem oder mehreren Qualitätskriterien aussortiert werden.
  • Ein Simulationssystem 7 generiert eine Menge von Simulationsdaten 12, anhand derer die in dem Speichermedium 5 abgelegten Bildinformationen 6 kontinuierlich aktualisiert werden. Mit Hilfe des Simulationssystems 7 ist so eine Dynamisierung der virtuellen Objekte 18a und 18b möglich.
  • In einem vierten Speichermedium 19 ist ein Simulationsmodell abgelegt, welches alle notwendigen Daten enthält, um sowohl von realen als auch von virtuellen Komponenten das physikalische Verhalten und das Steuerverhalten hinreichend genau simulieren zu können. Das Simulationsmodell beschreibt auch die Abhängigkeit zwischen den Objekten (z.B. Paket, das auf Hubtisch liegt und entsprechend der aktuellen Fördergeschwindigkeit zu transportieren ist).
  • Die Verarbeitungseinheit 8 verknüpft die Umgebungsinformationen 4 und die von dem Simulationssystem kontinuierlich aktualisierten Bildinformationen 6 der virtuellen Anordnungen 18a und 18b zu einer neuen Datenmenge 9. Um eine positionsgenaue Einblendung der virtuellen Bildinformationen 6 in die reale Umgebung für den Anwender 2 zu ermöglichen, sind in einem fünften Speichermedium 20 Kalibrierinformationen in Form von Matrizen abgelegt, die geometrische Abweichungen zwischen dem Sensor des Erfassungssystems 3a, dem Auge des Anwenders 2 und der Wiedergabeeinheit 10 beschreiben. Von der Verarbeitungseinheit 8 werden die Teile der virtuellen geometrischen An ordnungen 18a und 18b ausgeblendet, die durch den Hubtisch 11 verdeckt werden. Somit erhält der Anwender 2 bei einer Darstellung der Datenmenge 9 einen korrekten dreidimensionalen Eindruck der erweiterten Realität bestehend aus dem Hubtisch 11, dem virtuellen Roboter 18a und den virtuellen Paketen 18b.
  • Die von der Verarbeitungseinheit 8 generierten Datenmenge 9 wird mit Hilfe einer Videokarte 21 in ein von der Wiedergabeeinheit 10 darstellbares Signal umgewandelt.
  • Das System 1 umfasst weiterhin eine Anwendungssteuerung 14, mit deren Hilfe auf das Simulationssystem 7 zugegriffen werden kann und ein realer Prozess, in diesem Fall z.B. ein aktiver Hubtisch 11, gesteuert werden kann. Hierzu steht dem Anwender 2 eine Anwenderschnittstelle 15 zur Verfügung, die z.B. eine Maus, eine Tastatur oder auch ein Mikrofon umfassen kann. Die von dem Anwender 2 über die Anwenderschnittstelle 15 eingegebenen Steuerbefehle werden mit Hilfe eines oder mehrerer Gerätetreiber 22 in ein Signal für die Anwendungssteuerung 14 konvertiert. Die für den Anwender 2 verfügbaren Kommandos können von der Anwendungssteuerung 14 mit Hilfe der Videokarte 21 auf dem Wiedergabegerät 10 dargestellt werden.
  • Eine der Anwendungssteuerung 14 untergliederte Prozesssteuerung 23 enthält das notwendige Ablaufsystem und die notwendigen Steuerprogramme, um den Hubtisch 11 nach einem vorgegebenen Ablaufschema zu steuern. Hierbei kann es sich beispielsweise um eine speicherprogrammierbare Steuerung (SPS) mit ihren dazugehörigen Daten und Funktionsbausteinen handeln.
  • In einem zweiten Speichermedium 13 sind die aktuellen Zustandswerte des Hubtisches 11 abgelegt, sowie aktuell über eine Prozessschnittstelle 24 zu setzende Aktorwerte. Die in dem zweiten Speichermedium 13 abgelegten Sensor- und Aktorwerte können von dem Simulationssystem 7 sowohl gelesen werden, um entsprechende Modifikationen der laufenden Simulation durchzuführen, als auch modifiziert werden, um eine Änderung des laufenden Prozesses über die Prozessschnittstelle 24 zu bewirken. Mit Hilfe einer Prozessanbindung 17 können die aktuellen Sensorwerte des Hubtisches 11 eingelesen werden sowie aktuelle Aktorwerte des Hubtisches 11 gesetzt werden. Die Sensorwerte werden in dem sich in dem zweiten Speichermedium 13 befindlichen Prozessabbild abgelegt und die Aktorwerte werden aus dem sich in dem zweiten Speichermedium 13 befindlichen Prozessabbild gelesen.
  • Das beschriebene System 1 ermöglicht somit einen Zugriff des Anwenders 2 über die Anwenderschnittstelle 15 sowohl auf den Ablauf der Simulation als auch auf den real ablaufenden Prozess auf dem Hubtisch 11. Weiterhin können sich der reale Prozess und die Simulation gegenseitig beeinflussen.
  • Das System 1 weist ein drittes Speichermedium 16 auf, in dem während der Simulation generierte Daten kontinuierlich abgelegt werden. Diese kontinuierlich bzw. zyklisch über eine definierte Zeitspanne aufgezeichneten Daten sind hinreichend genau, um von dem Simulationssystem 7 aufgezeichnete Vorgänge in Zeitlupe oder Zeitraffer abspielen zu können. Dies ist sowohl in Vorwärts- als auch in Rückwärtsrichtung entlang der Zeitachse möglich.
  • Eine mögliche Vorgehensweise bei einer Verwendung des Systems 1 ist wie folgt:
    • 1. Anwender (2) mit AR-Gerät erfasst die reale Anordnung 11.2
    • 2. Anwender 1 stößt Simulationsprozess im Kontext der realen Anordnung 11 an.
    • 3. Simulationsprozess synchronisiert sich mit der realen Anordnung 11.
    • 4. Mit Hilfe von Trackingverfahren werden die visuellen Simulationsergebnisse im Sichtfeld des Anwenders 2 mit der realen Anordnung 11 in Deckung gebracht.
    • 5. Anwender 2 beeinflusst im Zeitraffer/Zeitlupe den Simulationsprozess
    • 6. Anwender 2 sieht in der Zukunft liegende Fertigung-/Umgebungsvorgänge in der dafür vorgesehenen realen Umgebung, bzw. im Kontext mit der realen Anordnung 11
  • Das hier beschriebene System 1 kennt zwei Hauptmodi. Im ersten Modus, Prozess aktiv, werden die realen Komponenten direkt über die Prozesssteuerung 23 und die Prozessanbindung 17 gesteuert. Im zweiten Modus, Prozess passiv, werden die realen Komponenten nicht über die Prozessanbindung 17 angesprochen. Über die Anwendungssteuerung 14 werden die Modi aktiviert. Das Verhalten des Systems 1 bzw. der Systemkomponenten in den beiden Modi ist wie folgt.
  • In dem Modus Prozess aktiv werden die realen Komponenten über die Prozessanbindung 17 angesprochen. Es erfolgt eine Dynamisierung der Realität und eine dazu passende Dynamisierung und Einbindung der virtuellen Komponenten 18a und 18b. Die Systemkomponenten sind aber so eingestellt, dass die berechneten bzw. erfassten Positionen der realen Komponenten, in diesem Fall des Hubtisches 11, sich im dreidimensionalen Modell widerspiegeln, aber nicht als Komponenten von dem Verarbeitungssystem 8 eingeblendet werden, sondern lediglich zur Ausblendung der verdeckten Teile der virtuellen Komponenten 18a und 18b Verwendung finden.
  • In dem Modus Prozess passiv werden die realen Komponenten (der Hubtisch 11) über die Prozessanbindung 17 nicht angesprochen und befinden sich in einem definierten Ruhezustand. Es erfolgt keine reale Dynamisierung der realen Anordnung bzw. des Hubtisches 11, sondern eine simulierte Dynamisierung der Realität. Die dazu passende Dynamisierung und Einblendung der virtuellen Komponenten 18a und 18b erfolgt parallel. Die Systemkomponenten sind dabei so eingestellt, dass die berechneten bzw. erfassten Positionen des Hubtisches 11 sich im dreidimensionalen Modell widerspiegeln und vom Verarbeitungs system 8 zusammen mit dem dreidimensionalen Modell der virtuellen Komponenten 18a und 18b eingeblendet werden. Gibt es eine Übereinstimmung zwischen der berechneten Position des Hubtisches 11 und der wirklichen Position des Hubtisches 11, so wird das dreidimensionale Modell des Hubtisches 11 nicht eingeblendet, sondern nur für die Berechnung der Ausblendung verwendet. Dieser Modus wird insbesondere auch für die Zeitlupen- und Zeitrafferfunktionalität des Systems 1 eingesetzt.
  • Zusammenfassend betrifft die Erfindung ein System und ein Verfahren innerhalb eines Augmented-Reality (AR) Systems zur Visualisierung von Simulationsergebnissen in einer gemischt virtuellen realen Umgebung. Das System bzw. Verfahren ermöglicht es einem oder mehreren Anwender(n), Simulationsprozesse im Kontext einer realen Umgebung, insbesondere im Bereich der industriellen Automatisierungstechnik, durchzuführen und deren statische und dynamische Ergebnisse im Kontext der realen Umgebung zu visualisieren. In der realen Umgebung ablaufende Prozesse werden erfasst und mit der Simulation synchronisiert. Mit Hilfe einer Steuerungseinheit wird eine wechselseitige Beeinflussung realer Prozesse mit der Simulation ermöglicht. Weiterhin kann der Anwender über eine Anwenderschnittstelle den Ablauf der Simulation steuern.

Claims (18)

  1. System (1) zur Darstellung von Informationen, insbesondere Augmented-Reality Informationen, für mindestens einen Anwender (2) mit • mindestens einer Erfassungseinheit (3) zur Erfassung einer Umgebung und zur Generierung entsprechender Umgebungsinformationen (4), die eine Position und/oder eine Ausrichtung des Systems (1) in Bezug auf die Umgebung kennzeichnen, • mindestens einem Simulationssystem (7) zur Generierung von Simulationsdaten (12) und • mindestens einer Verarbeitungseinheit(8) zur Verknüpfung der Umgebungsinformationen (4) und auf Basis der Simulationsdaten (12) kontinuierlich modifizierter und in einem ersten Speichermedium (5) abgelegter Bildinformationen (6).
  2. System nach Anspruch 1, dadurch gekennzeichnet, dass die Verarbeitungseinheit (8) derart ausgeführt ist, dass sie zur Berechnung von Verdeckungen virtueller Objekte (18a, 18b) durch eine im Erfassungsbereich des Systems (1) existierende reale Anordnung (11) auf Basis der in dem ersten Speichermedium (5) abgelegten Bildinformationen (6) sowie zur Generierung einer Datenmenge (9) zur Beschreibung der virtuellen Objekte (18a, 18b) dient, wobei die von der realen Anordnung (11) verdeckten Flächen der virtuellen Objekte (18a, 18b) ausgeblendet sind.
  3. System nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das System (1) mindestens eine Wiedergabeeinheit (10) zur Darstellung der von der Verarbeitungseinheit (8) generierten Datenmenge (9) aufweist.
  4. System nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das System mindestens eine Anwendungssteuerung (14) zur Ansteuerung des Simulationssystems (7) und/oder mindestens eines realen Prozesses aufweist.
  5. System nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das System (1) mindestens eine Anwenderschnittstelle (15) aufweist, die dem Anwender eine Ansteuerung des Simulationssystems (7) und/oder mindestens eines realen Prozesses erlaubt.
  6. System nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das System (1) ein zweites Speichermedium (13) aufweist, in dem aktuelle Zustandswerte des realen Prozesses, insbesondere Sensorwerte und/oder zu setzende Aktorwerte, abgelegt sind.
  7. System nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Simulationssystem (7) derart ausgeführt ist, dass der Ablauf einer Simulation durch die im zweiten Speichermedium (13) abgelegten Zustandswerte kontinuierlich beeinflusst werden kann und/oder die im zweiten Speichermedium (13) abgelegten Zustandswerte durch das Simulationssystem (7) modifiziert werden können.
  8. System nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das System (1) mindestens eine Prozessanbindung (17) aufweist, welche die Veränderung des Zustandes eines realen Prozesses, insbesondere in Abhängigkeit im zweiten Speichermedium (13) abgelegter Zustandswerte, und die Erfassung des aktuellen Zustandes eines realen Prozesses erlaubt.
  9. System nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das System (1) ein drittes Speichermedium (16) aufweist, in dem Daten abgelegt werden, die eine Rekonstruktion eines mittels des Simulationssystems (7) simulierten Vorganges erlauben.
  10. Verfahren zur Darstellung von Informationen, insbesondere Augmented-Reality Informationen, für mindestens einen Anwender (2) bei dem • mit Hilfe mindestens einer Erfassungseinheit (3) eine Umgebung erfasst und entsprechende Umgebungsinformationen (4) generiert werden, die eine Position und/oder eine Ausrichtung des Systems (1) in Bezug auf die Umgebung kennzeichnen, • mit Hilfe mindestens eines Simulationssystems (7) Simulationsdaten (12) generiert werden und • mit Hilfe mindestens einer Verarbeitungseinheit(8) die Umgebungsinformationen (4) und auf Basis der Simulationsdaten (12) kontinuierlich modifizierte und in einem ersten Speichermedium (5) abgelegte Bildinformationen (6) verknüpft werden.
  11. Verfahren nach Anspruch 10, dadurch gekennzeichnet, dass mit Hilfe der Verarbeitungseinheit (8) Verdeckungen virtueller Objekte (18a, 18b) durch eine im Erfassungsbereich des Systems (1) existierende reale Anordnung (11) auf Basis der in dem ersten Speichermedium (5) abgelegten Bildinformationen (6) berechnet werden sowie eine Datenmenge (9) zur Beschreibung der virtuellen Objekte (18a, 18b) generiert wird, wobei die von der realen Anordnung (11) verdeckten Flächen der virtuellen Objekte (18a, 18b) ausgeblendet sind.
  12. Verfahren nach einem der Ansprüche 10 oder 11, dadurch gekennzeichnet, dass mit Hilfe mindestens einer Wiedergabeeinheit (10) die von der Verarbeitungseinheit (8) generierte Datenmenge (9) dargestellt wird.
  13. Verfahren nach einem der Ansprüche 10 bis 12, dadurch gekennzeichnet, dass mit Hilfe mindestens einer Anwendungssteuerung (14) das Simulationssystems (7) und/oder mindestens ein realer Prozess angesteuert werden.
  14. Verfahren nach einem der Ansprüche 10 bis 13, dadurch gekennzeichnet, dass mit Hilfe mindestens einer Anwenderschnittstelle (15) dem Anwender eine Ansteuerung des Simulationssystems (7) und/oder mindestens eines realen Prozesses erlaubt wird.
  15. Verfahren nach einem der Ansprüche 10 bis 14, dadurch gekennzeichnet, dass in einem zweiten Speichermedium (13) aktuelle Zustandswerte des realen Prozesses, insbesondere Sensorwerte und/oder zu setzende Aktorwerte, abgelegt werden.
  16. Verfahren nach einem der Ansprüche 10 bis 15, dadurch gekennzeichnet, dass der Ablauf einer Simulation durch die im zweiten Speichermedium (13) abgelegten Zustandswerte kontinuierlich beeinflusst werden kann und/oder die im zweiten Speichermedium (13) abgelegten Zustandswerte durch das Simulationssystem (7) modifiziert werden können.
  17. Verfahren nach einem der Ansprüche 10 bis 16, dadurch gekennzeichnet, dass mit Hilfe mindestens einer Prozessanbindung (17) der Zustand eines realen Prozesses verändert wird, insbesondere in Abhängigkeit im zweiten Speichermedium (13) abgelegter Zustandswerte, und/oder der aktuelle Zustand eines realen Prozesses erfasst wird.
  18. Verfahren nach einem der Ansprüche 10 bis 17, dadurch gekennzeichnet, dass in einem dritten Speichermedium (16) Daten abgelegt werden, die eine Rekonstruktion eines mittels des Simulationssystems (7) simulierten Vorganges erlauben.
DE102004016329A 2003-11-10 2004-04-02 System und Verfahren zur Durchführung und Visualisierung von Simulationen in einer erweiterten Realität Ceased DE102004016329A1 (de)

Priority Applications (4)

Application Number Priority Date Filing Date Title
DE102004016329A DE102004016329A1 (de) 2003-11-10 2004-04-02 System und Verfahren zur Durchführung und Visualisierung von Simulationen in einer erweiterten Realität
EP04804510A EP1683063A1 (de) 2003-11-10 2004-11-03 System und verfahren zur durchführung und visualisierung von simulationen in einer erweiterten realität
US10/578,940 US7852355B2 (en) 2003-11-10 2004-11-03 System and method for carrying out and visually displaying simulations in an augmented reality
PCT/EP2004/052783 WO2005045729A1 (de) 2003-11-10 2004-11-03 System und verfahren zur durchführung und visualisierung von simulationen in einer erweiterten realität

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE10352893.8 2003-11-10
DE10352893 2003-11-10
DE102004016329A DE102004016329A1 (de) 2003-11-10 2004-04-02 System und Verfahren zur Durchführung und Visualisierung von Simulationen in einer erweiterten Realität

Publications (1)

Publication Number Publication Date
DE102004016329A1 true DE102004016329A1 (de) 2005-05-25

Family

ID=34485219

Family Applications (2)

Application Number Title Priority Date Filing Date
DE102004016329A Ceased DE102004016329A1 (de) 2003-11-10 2004-04-02 System und Verfahren zur Durchführung und Visualisierung von Simulationen in einer erweiterten Realität
DE102004021379A Expired - Fee Related DE102004021379B4 (de) 2003-11-10 2004-04-30 Bedien- und Beobachtungssystem für industrielle Anlagen und Verfahren

Family Applications After (1)

Application Number Title Priority Date Filing Date
DE102004021379A Expired - Fee Related DE102004021379B4 (de) 2003-11-10 2004-04-30 Bedien- und Beobachtungssystem für industrielle Anlagen und Verfahren

Country Status (1)

Country Link
DE (2) DE102004016329A1 (de)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102004032996A1 (de) * 2004-07-08 2006-02-16 Abb Research Ltd. Einfache Roboterprogrammierung
DE102005045855A1 (de) * 2005-09-26 2007-03-29 Siemens Ag Verfahren und Vorrichtung zur Erleichterung der Einstellung von Systemen, bei welchen Objekten bewegt werden
EP1769891B1 (de) * 2005-09-28 2014-10-22 Fanuc Corporation Offline Lehrgerät für einen Roboter
DE102017215114A1 (de) * 2017-08-30 2019-02-28 Deutsches Zentrum für Luft- und Raumfahrt e.V. Manipulatorsystem und Verfahren zum Steuern eines robotischen Manipulators
DE102017130137A1 (de) * 2017-12-15 2019-06-19 Endress+Hauser SE+Co. KG Verfahren zur vereinfachten Inbetriebnahme eines Feldgeräts
DE102017130138A1 (de) * 2017-12-15 2019-06-19 Endress+Hauser SE+Co. KG Verfahren zur vereinfachten Inbetriebnahme eines Feldgeräts
DE102022122955A1 (de) 2022-09-09 2024-03-14 Krones Aktiengesellschaft Verfahren und Vorrichtung zum simulierten Umgang in Echtzeit mit einer Behälterbehandlungsmaschine

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102011017305A1 (de) * 2011-04-15 2012-10-18 Abb Technology Ag Bedien- und Beobachtungssystem für technische Anlagen
DE102012206712A1 (de) * 2012-04-24 2013-10-24 Homag Holzbearbeitungssysteme Gmbh Verfahren zur Bearbeitung von Werkstücken
DE102012012430A1 (de) * 2012-06-25 2014-01-02 Robert Bosch Gmbh Steuervorrichtung für Feldgerät sowie System und Verfahren zur Inbetriebnahme eines Feldgeräts
CN106384374A (zh) * 2016-09-27 2017-02-08 郑州云海信息技术有限公司 一种实现动画效果的方法及装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000052538A1 (de) * 1999-03-02 2000-09-08 Siemens Aktiengesellschaft Augmented-reality-system mit sprachbasierter erfassung von informationsdaten, insbesondere von serviceberichten
DE10056291A1 (de) * 2000-11-14 2002-05-23 Siemens Ag Verfahren zur visuellen Darstellung und interaktiven Steuerung von virtuellen Objekten auf einem Ausgabe-Sichtfeld
DE10135837A1 (de) * 2001-07-23 2003-02-20 Siemens Ag Bedienen und Beobachten einer Anlage

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102004032996A1 (de) * 2004-07-08 2006-02-16 Abb Research Ltd. Einfache Roboterprogrammierung
DE102005045855A1 (de) * 2005-09-26 2007-03-29 Siemens Ag Verfahren und Vorrichtung zur Erleichterung der Einstellung von Systemen, bei welchen Objekten bewegt werden
EP1768006A3 (de) * 2005-09-26 2008-01-16 Siemens Aktiengesellschaft Verfahren und Vorrichtung zur Erleichterung der Einstellung von Systemen, bei welchen Objekte bewegt werden
EP1769891B1 (de) * 2005-09-28 2014-10-22 Fanuc Corporation Offline Lehrgerät für einen Roboter
DE102017215114A1 (de) * 2017-08-30 2019-02-28 Deutsches Zentrum für Luft- und Raumfahrt e.V. Manipulatorsystem und Verfahren zum Steuern eines robotischen Manipulators
DE102017130137A1 (de) * 2017-12-15 2019-06-19 Endress+Hauser SE+Co. KG Verfahren zur vereinfachten Inbetriebnahme eines Feldgeräts
DE102017130138A1 (de) * 2017-12-15 2019-06-19 Endress+Hauser SE+Co. KG Verfahren zur vereinfachten Inbetriebnahme eines Feldgeräts
US11454942B2 (en) 2017-12-15 2022-09-27 Endress+Hauser SE+Co. KG Method for starting up a field device in a simplified manner
US11454533B2 (en) 2017-12-15 2022-09-27 Endress+Hauser SE+Co. KG Method for starting up a field device in a simplified manner
DE102022122955A1 (de) 2022-09-09 2024-03-14 Krones Aktiengesellschaft Verfahren und Vorrichtung zum simulierten Umgang in Echtzeit mit einer Behälterbehandlungsmaschine

Also Published As

Publication number Publication date
DE102004021379A1 (de) 2005-06-16
DE102004021379B4 (de) 2007-07-12

Similar Documents

Publication Publication Date Title
WO2005045729A1 (de) System und verfahren zur durchführung und visualisierung von simulationen in einer erweiterten realität
EP1701233B1 (de) Generierung virtueller Welten auf Basis einer realen Umgebung
DE60302063T2 (de) Graphische benutzeroberfläche für einen flugsimulator basierend auf einer client-server-architektur
DE102017213217A1 (de) Testfahrtszenario-Datenbanksystem für realitätsnahe virtuelle Testfahrtszenarien
DE102004016331B4 (de) Vorrichtung und Verfahren zur gleichzeitigen Darstellung virtueller und realer Umgebungsinformationen
DE102006043390A1 (de) Vorrichtung und Verfahren zur Simulation eines Ablaufs zur Bearbeitung eines Werkstücks an einer Werkzeugmaschine
EP2132706A1 (de) Verfahren und vorrichtung zur generierung von trackingkonfigurationen für augmented-reality-anwendungen
EP2201524A2 (de) Verfahren zur erzeugung und aktualisierung von texturen von drei-dimensionalen aus mehreren bildern rekonstruierten hintergrundmodellen für ein videoüberwachungssystem
DE102004016329A1 (de) System und Verfahren zur Durchführung und Visualisierung von Simulationen in einer erweiterten Realität
WO2005101148A2 (de) Verfahren und system zur virtuellen inbetriebsetzung einer technischen anlage mit bevorzugter verwendung
Orland Data visualization techniques in environmental management: A workshop.
EP3418839A1 (de) Verfahren zur steuerung einer automatisierungsanlage
DE3925275A1 (de) Verfahren zur manipulation in unzugaenglichen arbeitsraeumen
DE102005050350A1 (de) System und Verfahren zur Überwachung einer technischen Anlage sowie Datenbrille auf Basis eines solchen Systems
DE102008005604A1 (de) Ausbildung- bzw. Trainingseinrichtung für Bediener einer Waffenstation
DE10128020B4 (de) Verfahren und Vorrichtung zur Wiedergabe einer aufgezeichneten Flugaufgabe eines Luftfahrzeuges
DE19751273A1 (de) Verfahren zum computergestützten Erstellen und Handhaben einer auf Produkt- oder Prozesslebenszyklen bezugnehmenden technischen Datenbank
KR20200087369A (ko) Vr을 이용한 교육 실기검정 시스템 및 그 방법
DE102015120929A1 (de) Verfahren zur vorbereitenden Simulation eines militärischen Einsatzes in einem Einsatzgebiet
DE102022206536B3 (de) Simulationssystem zum Trainieren von Besatzungsmitgliedern eines militärischen Wasserfahrzeugs
DE102004061842A1 (de) Tracking System für mobile Anwendungen
EP4109194A1 (de) Sensordatengenerierung zum steuern eines autonomen fahrzeugs
EP1609307B1 (de) Vorrichtung zur bildwiedergabe
DE102021205859A1 (de) Audiovisuelles Assistenzsystem, Verfahren und Computerprogramm zur Unterstützung von Wartungsarbeiten, Reparaturarbeiten oder Installationsarbeiten in einer industriellen Anlage
WO2018137736A1 (de) Verfahren und vorrichtung zum darstellen von farben eines farbraums

Legal Events

Date Code Title Description
OP8 Request for examination as to paragraph 44 patent law
R002 Refusal decision in examination/registration proceedings
8131 Rejection
R003 Refusal decision now final

Effective date: 20110315