DE102004016331A1 - Vorrichtung und Verfahren zur gleichzeitigen Darstellung virtueller und realer Umgebungsinformationen - Google Patents
Vorrichtung und Verfahren zur gleichzeitigen Darstellung virtueller und realer Umgebungsinformationen Download PDFInfo
- Publication number
- DE102004016331A1 DE102004016331A1 DE102004016331A DE102004016331A DE102004016331A1 DE 102004016331 A1 DE102004016331 A1 DE 102004016331A1 DE 102004016331 A DE102004016331 A DE 102004016331A DE 102004016331 A DE102004016331 A DE 102004016331A DE 102004016331 A1 DE102004016331 A1 DE 102004016331A1
- Authority
- DE
- Germany
- Prior art keywords
- information
- environment
- unit
- detection device
- storage medium
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 35
- 230000007613 environmental effect Effects 0.000 title claims description 7
- 238000001514 detection method Methods 0.000 claims abstract description 102
- 238000012545 processing Methods 0.000 claims abstract description 39
- 230000003190 augmentative effect Effects 0.000 claims description 20
- 239000011159 matrix material Substances 0.000 claims description 6
- 238000004088 simulation Methods 0.000 claims description 6
- 238000002604 ultrasonography Methods 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 abstract description 3
- 210000003128 head Anatomy 0.000 description 10
- 238000009434 installation Methods 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000009877 rendering Methods 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- 241000282414 Homo sapiens Species 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000005562 fading Methods 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 230000000284 resting effect Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/05—Geographic models
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/366—Image reproducers using viewer tracking
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Geometry (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Human Computer Interaction (AREA)
- Remote Sensing (AREA)
- Computer Graphics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Processing Or Creating Images (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Die Erfindung betrifft eine Vorrichtung und ein Verfahren zur Darstellung von virtuellen und realen Umgebungsinformationen für einen oder mehrere Anwender, wobei virtuelle Anordnungen und reale Anordnungen derartig dargestellt werden, dass Verdeckungen der virtuellen Anordnungen durch reale Anordnungen erkennbar gemacht werden. Mithilfe einer Umgebungserfassungseinheit 4 werden relative Position und Ausrichtung der Vorrichtung in der realen Umgebung erfasst. Zusätzlich wird mittels einer Raumerfassungseinheit 3 kontinuierlich eine Erfassung der Realität und deren Umrechnung in ein 3-dimensionales Flächenmodell durchgeführt. Ein Verarbeitungssystem 9 transferiert das 3-dimensionale Flächenmodell der realen Anordnung und das 3-dimensionale Modell der virtuellen Anordnung in ein gemeinsames Koordinatensystem und berechnet eventuelle Verdeckungsflächen der virtuellen Anordnung durch die reale Anordnung.
Description
- Die Erfindung betrifft eine Vorrichtung sowie ein Verfahren zur Darstellung von Informationen, insbesondere Augmented-Reality Informationen, für mindestens einen Anwender.
- Eine derartige Vorrichtung kommt beispielsweise bei der Planung von Anlagen und Maschinen zum Einsatz. Mit Hilfe dieser Vorrichtung soll schon in der Planungsphase schnell ein erster Eindruck einer geplanten Anlage oder einer geplanten Umbaumaßnahme in einer bereits existierenden Umgebung gewonnen werden.
- Augmented Reality (AR), erweiterte Realität, ist eine Form der Mensch-Technik-Interaktion, die dem Menschen z. B. über eine Datenbrille Informationen in sein Sichtfeld einblendet und damit die von ihm wahrgenommene aktuelle Realität erweitert. Dieses geschieht kontextabhängig, d. h. passend zum und abgeleitet vom betrachteten Objekt, z. B. einem Bauteil, einem Werkzeug, einer Maschine oder zu seinem Standort. Beispiel hierfür kann ein Sicherheitshinweis während eines Montage-/Demontageprozesses sein.
- Zur Darstellung der erweiterten Realität existieren zwei gängige Verfahren. Beim sogenannten Optical-See-Through (OST) erfolgt die Einblendung der virtuellen Informationen direkt in das Sichtfeld des Anwenders, wobei der Anwender die Realität weiterhin direkt wahrnehmen kann. In diesem Fall kommt typischerweise ein am Kopf getragener Miniaturmonitor, ein sogenanntes Head-Mounted Display, zur Darstellung der Bildinformationen zum Einsatz. Beim sogenannten Video-See-Through (VST) wird die Realität über eine Videokamera erfasst. Die Einblendung der virtuellen Informationen erfolgt in das aufgenommene Videobild. Die so generierten Bildinformationen können dann mit einem oder mehreren Head-Mounted-Displays oder mit einem Standarddisplay wie einem Monitor zur Anzeige gebracht werden. Somit können mehrere Anwender die erweiterte Realität betrachten, z. B. auch an einem entfernten Ort. Bei Video-See-Through können die Videokamera und das Raumerfassungssystem auch am Kopf des Anwenders montiert sein. In der heutigen Praxis erfolgt aber die Montage der Videokamera – und somit vorteilhafterweise auch die Montage des Raumerfassungssystems – an einem tragbaren Computer (z.B. Tablet PC).
- Der Erfindung liegt die Aufgabe zugrunde, eine Vorrichtung bzw. ein Verfahren zur Darstellung von Informationen, insbesondere Augmented-Reality Informationen, für mindestens einen Anwender anzugeben, die bzw. das bei reduziertem Zeit- und Kostenaufwand eine Planung neuer Anlagen bzw. eine Erweiterung bestehender Anlagen in einer aktuell existenten Umgebung ermöglicht, wobei auch dynamische Vorgänge sowohl der realen als auch der virtuellen Umgebung erfassbar und darstellbar sind.
- Diese Aufgabe wird gelöst durch eine Vorrichtung zur Darstellung von Informationen, insbesondere Augmented-Reality Informationen, für mindestens einen Anwender mit
- • mindestens einer Raumerfassungseinheit zur Erfassung einer aktuellen Realität und zur Generierung entsprechender Rauminformationen,
- • mindestens einer Umgebungserfassungseinheit zur Erfassung einer Umgebung und zur Generierung entsprechender Umgebungsinformationen, die eine Position und/oder eine Ausrichtung der Vorrichtung in Bezug auf die Umgebung kennzeichnen,
- • mindestens einer Verarbeitungseinheit zur Verknüpfung der Umgebungsinformationen, der Rauminformationen und von in einem ersten Speichermedium abgelegten Informationen, die zur Beschreibung mindestens eines Objektes dienen, zu einer Menge von Bildinformationen derart, dass wechselseitige Verdeckungen der aktuellen Realität und des durch die abgelegten Informationen beschriebenen Objektes durch mindestens eine Wiedergabeeinheit erkennbar gemacht werden.
- Diese Aufgabe wird weiter gelöst durch eine Verfahren zur Darstellung von Informationen, insbesondere Augmented-Reality Informationen, für mindestens einen Anwender bei dem
- • mit Hilfe mindestens einer Raumerfassungseinheit eine aktuelle Realität erfasst und entsprechende Rauminformationen generiert werden,
- • mit Hilfe mindestens einer Umgebungserfassungseinheit eine Umgebung erfasst und entsprechende Umgebungsinformationen generiert werden, die eine Position und/oder eine Ausrichtung der Vorrichtung in Bezug auf die Umgebung kennzeichnen,
- • mit Hilfe mindestens einer Verarbeitungseinheit die Umgebungsinformationen, die Rauminformationen und in einem ersten Speichermedium abgelegte Informationen, die zur Beschreibung mindestens eines Objektes dienen, zu einer Menge von Bildinformationen derart verknüpft werden, dass wechselseitige Verdeckungen der aktuellen Realität und des durch die abgelegten Informationen beschriebenen Objektes durch mindestens eine Wiedergabeeinheit erkennbar gemacht werden.
- Bei der erfindungsgemäßen Vorrichtung bzw. dem erfindungsgemäßen Verfahren wird ein aus dem Stand der Technik bekanntes AR System um eine Raumerfassungseinheit ergänzt, die eine kontinuierliche Erfassung der aktuellen Realität erlaubt. Die Raumerfassungseinheit erkennt, welche Flächen sich in einem Erfassungsbereich der Vorrichtung befinden und welchen Abstand diese Flächen zur Vorrichtung haben. Mit Hilfe einer Umgebungserfassungseinheit werden relative Position und Ausrichtung der Vorrichtung in Bezug auf die reale Umgebung erfasst. Mittels eines Verarbeitungssystems werden die von der Raum- und der Umgebungserfassungseinheit generierten Daten mit einer weiteren mindestens ein Objekt beschreibenden Datenmenge derart verknüpft, dass wechselseitige Verdeckungen im Blickfeld des Anwenders bei einer Darstellung der erfassten Realität und der von der Datenmenge beschriebenen Objekte sichtbar gemacht werden.
- Der Erfindung liegt die Erkenntnis zu Grunde, dass bei der Planung neuer Anlagen bzw. Erweiterung bestehender Anlagen in einer aktuell existenten Umgebung Fragestellungen bezüglich räumlicher Aspekte beantwortet werden müssen wie:
- – Kann ein neues Anlagenteil in einer bestimmten Position eingebaut werden?
- – Wie ist der Einbauweg?
- – Können durch bewegte Maschinenteile und Menschen Kollisionen entstehen?
- Diese Fragestellungen können mit der erfindungsgemäßen Vorrichtung bzw. dem erfindungsgemäßen System mit Hilfe von AR Systemen beantwortet werden, ohne dass ein komplettes 3-dimensionales Modell der real existenten Umgebung unter großem Zeit- und Kostenaufwand generiert werden muss. Mittels der die erfasste Realität beschreibenden Informationen können Verdeckungen der geplanten Anlage, die in Form eines virtuellen 3-dimensionalen Modells dargestellt wird, berechnet werden und in der erweiterten Realität durch Ausblenden dargestellt werden.
- Die kontinuierliche Erfassung der sich im Erfassungsbereich der Vorrichtung befindlichen aktuellen Realität ermöglicht sogar eine Visualisierung der virtuellen Anordnung und einer in der realen Umgebung vorhandenen Dynamik innerhalb der erweiterten Realität. Hierbei entfällt der erhebliche Synchronisationsaufwand, den eine solche Visualisierung bei einer vollständigen 3-dimensionalen Modellierung einer nicht statischen Realität hervorrufen würde.
- Bei einer vorteilhaften Ausführungsform der Erfindung umfasst die Raumerfassungseinheit
- • eine Raumerfassungsvorrichtung, die zur Erfassung von Flächenabstandspunkten der aktuellen Realität vorgesehen ist, und
- • eine Verarbeitungseinheit, die zur Berechnung der Rauminformationen vorgesehen ist,
- Die Umgebungserfassungseinheit weist vorteilhafter Weise
- • eine Umgebungserfassungsvorrichtung, die zur Erfassung der Position und/oder der Ausrichtung der Vorrichtung in Bezug auf die reale Umgebung vorgesehen ist, und
- • eine Verarbeitungseinheit zur Berechnung der Umgebungsinformationen, welche die Position und/oder die Ausrichtung der Vorrichtung in Bezug auf die reale Umgebung beispielsweise in Form einer Matrix beschreiben,
- Bei einer typischen Anwendung der erfindungsgemäßen Vorrichtung ist als das durch die in dem ersten Speichemedium abgelegten Informationen beschriebene Objekt ein Modell einer Anlage und/oder eines Anlagenteils vorgesehen. Beispielsweise kann bei einer geplanten Einbaumaßnahme ein virtuelles Modell der einzubauenden Anlage bzw. des einzubauenden Anlagenteils erstellt werden, um so schnell einen ersten Eindruck des zu planenden Systems in der hierfür vorgesehenen Realität zu gewinnen.
- Bei einer vorteilhaften Ausführungsform der Erfindung ist die Wiedergabeeinheit als Head-Mounted-Display ausgebildet, wobei die von den durch die Verarbeitungseinheit generierten Bildinformationen beschriebenen Objekte direkt in das Sichtfeld des Anwenders eingeblendet werden, und der Anwender den von den durch die Bildinformationen beschriebenen Objekten nicht verdeckten Teil der aktuellen Realität weiterhin direkt wahrnimmt. Bei dieser Art der Darstellung von Augmented-Reality Informationen handelt es sich um das sogenannte Optical-See-Through Verfahren. In diesem Fall sind die Raumerfassungsvorrichtung und die Umgebungserfassungsvorrichtung vorteilhafter Weise am Kopf des Anwenders angebracht, so dass sie in Relation zu den Augen des Anwenders ruhen. Die Blickwinkel der Raumerfassungsvorrichtung und der Umgebungserfassungsvorrichtung überschneiden sich mit dem aktuellen Blickfeld des Anwenders im Idealfall so, dass das komplette Sichtfeld des Anwenders erfasst wird. Hingegen können die Verarbeitungseinheiten der Raumerfassungseinheit und der Umgebungserfassungseinheit auf einem von dem Anwender mitgeführten Rechner realisiert werden.
- Bei einer alternativen vorteilhaften Ausführungsform ist die Wiedergabeeinheit derart ausgebildet, dass die von den durch die Verarbeitungseinheit generierten Bildinformationen beschriebenen Objekte und der von den durch die Bildinformationen beschriebenen Objekte nicht verdeckte Teil der aktuellen Realität dargestellt werden, wobei die Vorrichtung hierzu insbesondere mindestens eine Bilderfassungseinheit, die beispielsweise als Videokamera ausgeführt ist, zur Erfassung der aktuelle Realität aufweist. Diese Ausführungsform ermöglicht die Darstellung der Augmented-Reality Informationen für mehrer Anwender. Bei dieser Art der Darstellung von Augmented-Reality Informationen handelt es sich um das sogenannte Video-See-Through Verfahren. Hierbei werden die von den Bildinformationen beschriebenen und nicht durch die aktuelle Realität verdeckten Teile der virtuellen Objekte in das von der Videokamera erfasste Bild eingeblendet und auf einem oder, z. B. unter Verwendung eines Videospiltters, mehreren Wiedergabeeinheiten dargestellt. Bei den Wiedergabeeinheiten kann es sich um Head-Mounted-Displays oder aber gewöhnliche Monitore handeln die insbesondere auch an von der erfassten aktu ellen Realität entfernten Orten positioniert sein können. Bei dieser Art der Ausführung können die Raumerfassungsvorrichtung, die Umgebungserfassungsvorrichtung und die Bilderfassungseinheit auf dem Kopf eines Anwenders oder an einer sonstigen Vorrichtung, beispielsweise einem tragbaren Computer, montiert sein.
- Um bei einer Ausführung der Vorrichtung unter Anwendung des Optical-See-Through Verfahrens den Blickwinkel und die Position des Anwenders möglichst exakt mit der Position und der Ausrichtung der Raumerfassungsvorrichtung abgleichen zu können, ist vorteilhafterweise ein zweites Speichermedium vorgesehen, das zur Speicherung von Kalibrierinformationen verwendet wird, wobei die Kalibrierinformationen geometrische Abweichungen zwischen Auge des Anwenders, der Position des Wiedergabesystems sowie der Raumerfassungsvorrichtung und der Umgebungserfassungsvorrichtung beschreiben. Das zweite Speichermedium kann alternativ auch mit dem ersten Speichermedium in Form eines gemeinsamen Speichermediums realisiert sein.
- Um bei einer Ausführung der Vorrichtung unter Anwendung des Video-See-Through Verfahrens den Blickwinkel und die Position der Videokamera möglichst exakt mit der Position und der Ausrichtung der Raumerfassungsvorrichtung abgleichen zu können, ist vorteilhafterweise das zweite Speichermedium zur Speicherung von Kalibrierinformationen vorgesehen, wobei die Kalibrierinformationen geometrische Abweichungen zwischen der Position der Videokamera, der Position des Wiedergabesystems sowie der Raumerfassungsvorrichtung und der Umgebungserfassungsvorrichtung beschreiben. Das zweite Speichermedium kann alternativ auch mit dem ersten Speichermedium in Form eines gemeinsamen Speichermediums realisiert sein.
- Eine einfache Berechnung eventueller Verdeckungen virtueller geometrischer Anordnungen durch Anordnungen in der aktuellen Realität wird vorteilhafter Weise dadurch realisiert, dass die Verarbeitungseinheit auf Basis der von der Raumerfassungseinheit und der Umgebungserfassungseinheit generierten Informationen sowie den in den Speichermedien abgelegten Informationen die mittels der Rauminformationen und mittels der im ersten Speichermedium abgelegten Informationen beschriebenen Objekte in einem gemeinsamen Koordinatensystem darstellt. Auf Basis dieses gemeinsamen Bezugssystems kann die Verarbeitungseinheit neue Bildinformationen berechnen, bei der diejenigen von den durch die im ersten Speichermedium abgelegten Informationen beschriebenen Flächen ausgeblendet werden, die von den durch die Rauminformationen beschriebenen Flächen im Blickfeld des Anwenders bzw. der Videokamera verdeckt werden. Die Verarbeitungseinheit zur Verknüpfung der Umgebungs- und der Rauminformationen kann zusammen mit der Verarbeitungseinheit der Raumerfassungseinheit und/oder der Verarbeitungseinheit der Umgebungserfassungseinheit auf einem Rechner realisiert sein.
- Eine Dynamisierung eines virtuellen Anlagenmodells kann mit der erfindungsgemäßen Vorrichtung dadurch realisiert werden, dass die Vorrichtung mindestens ein Simulationssystem zur Generierung der in dem ersten Speichermedium abgelegten Informationen aufweist. Die dynamischen Vorgänge werden von dem Simulationssystem berechnet. Die im ersten Speichermedium abgelegten Informationen zur Beschreibung der virtuellen Objekte werden entsprechend der vom Simulationssystem berechneten Daten kontinuierlich angepasst.
- Die Raumerfassungsvorrichtung der Raumerfassungseinheit kann zum Beispiel als Radarsystem, als Ultraschallsystem, als Lasersystem oder als Stereokamerasystem ausgeführt sein. Zur Minimierung des erforderlichen Hardwareaufwands können insbesondere bei kamerabasierten Systemen die Raumerfassungsvorrichtung und die Umgebungserfassungsvorrichtung in einer gemeinsamen Erfassungsvorrichtung ausgeführt sein. Bei einer Ausführungsform unter Anwendung des Video-See-Through Verfahrens ist darüber hinaus auch eine Integration der Raumerfas sungsvorrichtung und/oder der Umgebungserfassungsvorrichtung in die für diese Methode benötigte Videokamera möglich.
- Im Folgenden wird die Erfindung anhand der in den Figuren dargestellten Ausführungsbeispiele näher beschrieben und erläutert. Es zeigen:
-
1 eine schematische Darstellung einer Vorrichtung zur Darstellung von Informationen, insbesondere Augmented-Reality Informationen, für mindestens einen Anwender, -
2 eine schematische Darstellung einer auf das Video-See-Through Verfahrens basierenden Ausführungsform der Vorrichtung, -
3 eine alternative Vorrichtung zur Darstellung von Informationen, die auf dem Video-See-Through Verfahren basiert und -
4 eine Darstellung eines typischen Anwendungsszenarios einer Ausführungsform der in1 gezeigten Vorrichtung. -
1 zeigt eine schematische Darstellung einer Vorrichtung1 zur Darstellung von Informationen, insbesondere Augmented-Reality Informationen, für mindestens einen Anwender2 . Die dargestellte Vorrichtung betrifft eine Ausführungsform, die auf dem Optical-See-Through Verfahren beruht. Der Anwender2 erfasst mit Hilfe einer Raumerfassungseinheit3 eine sich in seinem Blickfeld befindende aktuelle Realität13 . Auf dem Kopf des Anwenders2 befindet sich als Teil der Raumerfassungseinheit3 eine Raumerfassungsvorrichtung3a , die relativ zu den Augen des Anwenders2 ruht. Mit Hilfe einer Verarbeitungseinheit3b der Raumerfassungseinheit3 werden Raumerfassungsinformationen10 generiert, die an eine Verarbeitungseinheit9 weitergegeben werden. - Ebenfalls auf dem Kopf des Anwenders
2 ist eine Umgebungserfassungsvorrichtung4a positioniert, mit der die Position und der Blickwinkel des Anwenders2 erfasst werden können. Die Umgebungserfassungsvorrichtung4a ruht in Bezug auf die Raumerfassungsvorrichtung3a und in Bezug auf die Augen des Anwenders2 . Eine Verarbeitungsvorrichtung4b generiert aus der erfassten Position und dem erfassten Blickwinkel Umgebungsinformationen5 , die ebenfalls an die Verarbeitungseinheit9 weitergegeben werden. - Bei einer alternativen Ausführungsform der Umgebungserfassungseinheit
4 umfasst die Umgebungserfassungsvorrichtung einen Sensor, der auf dem Kopf des Anwenders positioniert ist und eine weitere Erfassungsvorrichtung, die so aufgestellt ist, dass sie die Position und die Ausrichtung des Sensors und somit auch des Anwenders in Bezug auf die aktuelle Realität erfassen kann. - In einem Speichermedium
7 sind Informationen8 abgelegt, die z.B. eine virtuelle geometrische Anordnung beschreiben. Bei der virtuellen geometrischen Anordnung kann es sich beispielsweise um das dreidimensionale Modell einer geplanten Anlage oder eines geplanten Anlagenteils handeln. Die Informationen8 , die das dreidimensionale Modell einer solchen Anlage beschreiben, werden ebenfalls der Verarbeitungseinheit9 zugeführt. - Ein weiteres Speichermedium
12 enthält Kalibrierinformationen11 , die die geometrischen Abweichungen zwischen Auge des Anwenders2 , der Position einer sich auf dem Kopf des Anwenders2 befindlichen Wiedergabeeinheit6 sowie der Raumerfassungsvorrichtung3a und der Umgebungserfassungsvorrichtung4a beschreiben. - Die Verarbeitungseinheit
9 verknüpft nun die Rauminformation10 , die Umgebungsinformation5 , die Information8 , die das dreidimensionale Modell der virtuellen Anlage beschreiben, und die Kalibrierinformation11 zu einer Menge von Bildinformationen14 derart, dass wechselseitige Verdeckungen der aktuellen Realität und der geplanten virtuellen Anlage durch die Wiedergabeeinheit6 erkennbar gemacht werden. Über die Wiedergabeeinheit6 , die in diesem Beispiel als Head-Mounted-Display ausgeführt ist, wird lediglich ein Bild der geplanten virtuellen Anlage dargestellt, bei dem die von der aktuellen Realität13 im Blickfeld des Anwenders2 verdeckten Flächen ausgeblendet sind. Der Teil der aktuellen Realität13 , der nicht durch die geplante virtuelle Anlage verdeckt wird, wird vom Anwender direkt wahrgenommen. - Auf diese Weise wird dem Anwender
2 eine gemischt virtuell reale Umgebung visualisiert, ohne dass eine zeit- und kostenintensive komplett 3-dimensionale Modellierung der realen Umgebung erforderlich wird. Auch dynamische Vorgänge innerhalb der realen Umgebung können visualisiert werden, wobei lediglich eine kontinuierliche Berechnung der Verdeckungsflächen durchzuführen ist. -
2 zeigt eine schematische Darstellung einer auf dem Video-See-Through Verfahren basierenden Ausführungsform der Vorrichtung1 . Es werden hier und auch bei der Beschreibung der weiteren Figuren die selben Bezugszeichen wie in1 verwendet. Bei dieser Ausführungsform wird die Vorrichtung1 um eine Bilderfassungseinheit18 , die insbesondere als Videokamera ausgeführt ist, ergänzt. Die Wiedergabeeinheit6 stellt nun die komplette erweiterte Realität dar. D. h. neben den Bildinformationen14 , die ein Modell der virtuellen Anlage beschreiben, bei dem die von der aktuellen Realität verdeckten Fläche ausgeblendet sind, wird auch der von der Videokamera18 erfasste Teil der aktuellen Realität13 , der nicht von der virtuellen Anlage verdeckt wird, mit Hilfe der Wiedergabeeinheit6 dargestellt. Hierzu wird das Bild der virtuellen Anlage, bei dem die von der aktuellen Realität13 verdeckten Flächen ausgeblendet sind, in das von der Videokamera18 erfasste Bild eingeblendet. Bei dieser Art der Ausführung kommt eine Konvertierungseinheit15 mit Mixing Funktion zum Einsatz, um ein entsprechendes von der Wiedergabeeinheit6 darstellbares Signal zu erzeugen. Diese kann sowohl softwaretechnisch als auch hardwaretechnisch – beispielsweise als Videokarte mit entsprechender Funktionalität – ausgeführt sein. - In der dargestellten Ausführungsform sind die Raumerfassungsvorrichtung
3a , die Umgebungserfassungsvorrichtung4a und die Bilderfassungseinheit18 auf dem Kopf des Anwenders2 positioniert. Die zur Visualisierung der erweiterten Realität verwendete Wiedergabeeinheit6 ist ebenfalls mit dem Kopf des Anwenders2 verbunden, beispielsweise handelt es sich hierbei um ein Head-Mounted-Display. -
3 zeigt eine alternative Vorrichtung zur Darstellung von Informationen, die auf dem Video-See-Through Verfahren basiert. Bei dieser Ausführungsform der Vorrichtung1 sind die Raumerfassungsvorrichtung3a , die Umgebungserfassungsvorrichtung4a , die Bilderfassungseinheit18 sowie die Wiedergabeeinheit6 an einem tragbaren Computer montiert. Diese Ausführungsform ermöglicht es mehreren Anwendern, die erweiterte Realität zu betrachten. Mit Hilfe eines Videosplitters ist überdies auch die Darstellung der erweiterten Realität auf mehreren Wiedergabeeinheiten möglich. -
4 zeigt ein typisches Anwendungsszenario einer Ausführungsform der in1 gezeigten Vorrichtung. Im Blickfeld eines Anwenders2 befindet sich eine aktuelle Realität13 , die beispielsweise ein Förderband sein kann. Die Raumerfassungsvorrichtung3a des Raumerfassungssystems3 erfasst den im Blickwinkel des Anwenders2 befindlichen Teil des Förderbandes13 . Die Verarbeitungseinheit3b der Raumerfassungseinheit3 modelliert die im Blickfeld des Anwenders2 befindlichen Flächen des Förderbandes13 in ein dreidimensionales Flächenmodell10b . - Mit Hilfe der Umgebungserfassungseinheit
4 , bei der es sich beispielsweise um ein handelsübliches Trackingsystem handelt, werden die Position und der Blickwinkel des Anwenders2 zur aktuellen Realität erfasst. Die Verarbeitungseinheit4b der Umgebungserfassungseinheit4 generiert hieraus Informationen5 , die in Form einer Matrix5b dargestellt werden. - Ein Simulationssystem
16 generiert kontinuierlich eine Datenmenge8 , die das 3D-Modell8b einer virtuellen geometrischen Anordnung, in diesem Beispiel eines Roboters, beschreibt. Auf diese Weise wird eine Dynamisierung des virtuellen Roboters in der erweiteten Realität durchgeführt. Die entsprechende Datenmenge8 ist in einem ersten Speichermedium7 abgelegt. - In einem zweiten Speichermedium
12 sind die zuvor beschriebenen Kalibrierinformationen11 in Form einer Matrix11b bzw. mehrerer Matrizen abgelegt. - Die Verarbeitungseinheit
9 stellt nun mit Hilfe der Kalibrierinformationen11 und der Umgebungsinformationen5 das 3-dimensionale Flächenmodell10b der realen Anordnung13 (hier des Förderbandes) und das 3-dimensionale Modell8b der virtuellen Anordnung (hier eines virtuellen Roboters) in einem gemeinsamen Koordinatensystem dar. Innerhalb dieses Koordinatensystems berechnet die Verarbeitungseinheit9 Verdeckungen des virtuellen Roboters, die durch das Förderband hervorgerufen werden. Als Ergebnis generiert die Verarbeitungseinheit9 eine neue Datenmenge14 , die wiederum ein virtuelles Modell14b des Roboters beschreibt, bei der die vom Förderband verdeckten Flächen ausgeblendet werden. - Das Modell
14b des virtuellen Roboters, bei dem die Verdeckungen durch das Förderband ausgeblendet sind, wird mittels einer Videokarte15 in ein von der Wiedergabeeinheit6 darstellbares Signal konvertiert. - Der Anwender
2 sieht durch gleichzeitiges Erfassen des mittels der Wiedergabeeinheit6 dargestellten Modells14b des virtuellen Roboters und des realen Förderbandes ein gemischt virtuell reales Bild17 , bei dem durch das Ausblenden der von der Verarbeitungseinheit9 berechneten Flächen der gewünschte 3-dimensionale Eindruck vermittelt wird. Die Notwendigkeit einer zeit- und kostenintensiven 3-dimensionalen Modellierung des Förderbandes wird bei der erfindungsgemäßen Vorrichtung bzw. dem erfindungsgemäßen Verfahren eliminiert. - Zusammenfassend betrifft die Erfindung eine Vorrichtung und ein Verfahren zur Darstellung von virtuellen und realen Umgebungsinformationen für einen oder mehrere Anwender, wobei virtuelle Anordnungen und reale Anordnungen derartig dargestellt werden, dass Verdeckungen der virtuellen Anordnungen durch reale Anordnungen erkennbar gemacht werden. Mit Hilfe einer Umgebungserfassungseinheit
4 werden relative Position und Ausrichtung der Vorrichtung in der realen Umgebung erfasst. Zusätzlich wird mittels einer Raumerfassungseinheit3 kontinuierlich eine Erfassung der Realität und deren Umrechung in ein 3-dimensionales Flächenmodell durchgeführt. Ein Verarbeitungssystem9 transferiert das 3-dimensionale Flächenmodell der realen Anordnung und das 3-dimensionale Modell der virtuellen Anordnung in ein gemeinsames Koordinatensystem und berechnet eventuelle Verdeckungsflächen der virtuellen Anordnung durch die reale Anordnung.
Claims (24)
- Vorrichtung (
1 ) zur Darstellung von Informationen, insbesondere Augmented-Reality Informationen, für mindestens einen Anwender (2 ) mit • mindestens einer Raumerfassungseinheit (3 ) zur Erfassung einer aktuellen Realität (13 ) und zur Generierung entsprechender Rauminformationen (10 ), • mindestens einer Umgebungserfassungseinheit (4 ) zur Erfassung einer Umgebung und zur Generierung entsprechender Umgebungsinformationen (5 ), die eine Position und/oder eine Ausrichtung der Vorrichtung (1 ) in Bezug auf die Umgebung kennzeichnen, • mindestens einer Verarbeitungseinheit (9 ) zur Verknüpfung der Umgebungsinformationen (5 ), der Rauminformationen (10 ) und von in einem ersten Speichermedium (7 ) abgelegten Informationen (8 ), die zur Beschreibung mindestens eines Objektes dienen, zu einer Menge von Bildinformationen (14 ) derart, dass wechselseitige Verdeckungen der aktuellen Realität (13 ) und des durch die abgelegten Informationen (8 ) beschriebenen Objektes durch mindestens eine Wiedergabeeinheit (6 ) erkennbar gemacht werden. - Vorrichtung nach Anspruch 1, dadurch gekennzeichnet, dass die Raumerfassungseinheit (
3 ) • eine Raumerfassungsvorrichtung (3a ), die zur Erfassung von Flächenabstandspunkten der aktuellen Realität (13 ) vorgesehen ist, und • eine Verarbeitungseinheit (3b ), die zur Berechnung der Rauminformationen (10 ) vorgesehen ist, aufweist, wobei die Rauminformationen (10 ) insbesondere ein 3-dimensionales Modell (10b ) der Realität (13 ) beschreiben. - Vorrichtung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Umgebungserfassungseinheit (
4 ) eine Umgebungserfassungsvorrichtung (4a ), die zur Erfas sung der Position und/oder der Ausrichtung der Vorrichtung (1 ) in Bezug auf die reale Umgebung vorgesehen ist, und • eine Verarbeitungseinheit (4b ) zur Berechnung der Umgebungsinformationen (5 ), welche die Position und/oder die Ausrichtung der Vorrichtung (1 ) in Bezug auf die reale Umgebung beispielsweise in Form einer Matrix (5b ) beschreiben, aufweist. - Vorrichtung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass als das durch die in dem ersten Speichemedium (
7 ) abgelegten Informationen (8 ) beschriebene Objekt ein Modell (8b ) einer Anlage und/oder eines Anlagenteils vorgesehen ist. - Vorrichtung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Wiedergabeeinheit (
6 ) als Head-Mounted-Display ausgebildet ist, wobei die von den durch die Verarbeitungseinheit (9 ) generierten Bildinformationen (14 ) beschriebenen Objekte direkt in das Sichtfeld des Anwenders (2 ) eingeblendet werden, und der Anwender (2 ) den von den durch die Bildinformationen (14 ) beschriebenen Objekten nicht verdeckten Teil der aktuellen Realität (13 ) weiterhin direkt wahrnimmt. - Vorrichtung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Wiedergabeeinheit (
6 ) derart ausgebildet ist, dass die von den durch die Verarbeitungseinheit (9 ) generierten Bildinformationen (14 ) beschriebenen Objekte und der von den durch die Bildinformationen (14 ) beschriebenen Objekte nicht verdeckte Teil der aktuellen Realität (13 ) dargestellt werden, wobei die Vorrichtung hierzu insbesondere mindestens eine Bilderfassungseinheit (18 ), die beispielsweise als Videokamera ausgeführt ist, zur Erfassung der aktuellen Realität (13 ) aufweist. - Vorrichtung nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, dass ein zweites Speichermedium (
12 ) vorgesehen ist, das zur Speicherung von Kalibrierinformationen (11 ) verwendet wird, wobei die Kalibrierinformationen (11 ) geometrische Abweichungen zwischen Auge des Anwenders (2 ), der Position des Wiedergabesystems (6 ) sowie der Raumerfassungsvorrichtung (3a ) und der Umgebungserfassungsvorrichtung (4a ) beschreiben. - Vorrichtung nach einem der Ansprüche 1 bis 4 oder 6, dadurch gekennzeichnet, dass ein zweites Speichermedium (
12 ) vorgesehen ist, das zur Speicherung von Kalibrierinformationen (11 ) verwendet wird, wobei die Kalibrierinformationen (11 ) geometrische Abweichungen zwischen Position der Bilderfassungseinheit (18 ), der Raumerfassungsvorrichtung (3a ) und der Umgebungserfassungsvorrichtung (4a ) beschreiben. - Vorrichtung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Verarbeitungseinheit (
9 ) derart ausgebildet ist, dass sie auf Basis der von der Raumerfassungseinheit (3 ) und der Umgebungserfassungseinheit (4 ) generierten Informationen (5 ,10 ) sowie den in den Speichermedien (7 ,12 ) abgelegten Informationen (8 ,11 ) die mittels der Rauminformationen (10 ) und mittels der im ersten Speichermedium (7 ) abgelegten Informationen (8 ) beschriebenen Objekte in einem gemeinsamen Koordinatensystem darstellt. - Vorrichtung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Vorrichtung (
1 ) mindestens ein Simulationssystem (16 ) zur Generierung der in dem ersten Speichermedium (7 ) abgelegten Informationen (8 ) aufweist. - Vorrichtung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Raumerfassungsvorrichtung (
3a ) der Raumerfassungseinheit (3 ) als Radarsystem, als Ultraschallsystem, als Lasersystem oder als Stereokamerasystem ausgeführt ist. - Vorrichtung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Raumerfassungsvorrichtung (
3a ) und die Umgebungserfassungsvorrichtung (4a ) in einer gemeinsamen Erfassungsvorrichtung ausgeführt sind. - Verfahren zur Darstellung von Informationen, insbesondere Augmented-Reality Informationen, für mindestens einen Anwender (
2 ) bei dem • mit Hilfe einer Raumerfassungseinheit (3 ) eine aktuelle Realität (13 ) erfasst und entsprechende Rauminformationen (10 ) generiert werden, • mit Hilfe mindestens einer Umgebungserfassungseinheit (4 ) eine Umgebung erfasst und entsprechende Umgebungsinformationen (5 ) generiert werden, die eine Position und/oder eine Ausrichtung der Vorrichtung (1 ) in Bezug auf die Umgebung kennzeichnen, • mit Hilfe mindestens einer Verarbeitungseinheit (9 ) die Umgebungsinformationen (5 ), die Rauminformationen (10 ) und in einem ersten Speichermedium (7 ) abgelegte Informationen (8 ), die zur Beschreibung mindestens eines Objektes dienen, zu einer Menge von Bildinformationen (14 ) derart verknüpft werden, dass wechselseitige Verdeckungen der aktuellen Realität (13 ) und des durch die abgelegten Informationen (8 ) beschriebenen Objektes durch mindestens eine Wiedergabeeinheit (6 ) erkennbar gemacht werden. - Verfahren nach Anspruch 13, dadurch gekennzeichnet, dass mit Hilfe • einer Raumerfassungsvorrichtung (
3a ), die Bestandteil der Raumerfassungseinheit (3 ) ist, Flächenabstandspunkte der aktuellen Realität (13 ) erfasst werden, und • einer Verarbeitungseinheit (3b ), die Bestandteil der Raumerfassungseinheit (3 ) ist, die Rauminformationen (10 ) berechnet werden, wobei die Rauminformationen (10 ) insbesondere ein 3-dimensionales Modell (10b ) der aktuellen Realität (13 ) beschreiben. - Verfahren nach einem der Ansprüche 13 bis 14, dadurch gekennzeichnet, dass mit Hilfe • einer Umgebungserfassungsvorrichtung (
4a ), die Bestandteil der Umgebungserfassungseinheit (4 ) ist, die Position und/oder die Ausrichtung der Vorrichtung (1 ) in Bezug auf die reale Umgebung erfasst werden, und • einer Verarbeitungseinheit (4b ), die Bestandteil der Umgebungserfassungseinheit (4 ) ist, die Umgebungsinformationen (5 ), welche die Position und/oder die Ausrichtung der Vorrichtung (1 ) in Bezug auf die reale Umgebung beispielsweise in Form einer Matrix (5b ) beschreiben, berechnet werden. - Verfahren nach einem der Ansprüche 13 bis 15, dadurch gekennzeichnet, dass das durch die in dem ersten Speichemedium (
7 ) abgelegten Informationen (8 ) beschriebene Objekte ein Modell (8b ) einer Anlage und/oder eines Anlagenteils darstellt. - Verfahren nach einem der Ansprüche 13 bis 16, dadurch gekennzeichnet, dass die von den durch die Verarbeitungseinheit (
9 ) generierten Bildinformationen (14 ) beschriebenen Objekte mit Hilfe der Wiedergabeeinheit (6 ), die insbesondere als Head-Mounted-Display ausgeführt ist, direkt in das Sichtfeld des Anwenders (2 ) eingeblendet werden, und der Anwender (2 ) den von den durch die Bildinformationen (14 ) beschriebenen Objekten nicht verdeckten Teil der aktuellen Realität (13 ) weiterhin direkt wahrnimmt. - Verfahren nach einem der Ansprüche 13 bis 17, dadurch gekennzeichnet, dass die von den durch die Verarbeitungseinheit (
9 ) generierten Bildinformationen (14 ) beschriebenen Objekte und der von den durch die Bildinformationen (14 ) beschriebenen Objekte nicht verdeckte Teil der aktuellen Realität (13 ) mit Hilfe der Wiedergabeeinheit (6 ) dargestellt werden, wobei die Vorrichtung hierzu insbesondere mindestens eine Bilderfassungseinheit (18 ), die beispielsweise als Vi deokamera ausgeführt ist, zur Erfassung der aktuellen Realität (13 ) aufweist. - Verfahren nach einem der Ansprüche 13 bis 17, dadurch gekennzeichnet, dass mit Hilfe eines zweiten Speichermediums (
12 ) Kalibrierinformationen (11 ) gespeichert werden, wobei die Kalibrierinformationen (11 ) geometrische Abweichungen zwischen Auge des Anwenders (2 ), der Position des Wiedergabesystems (6 ) sowie der Raumerfassungsvorrichtung (3a ) und der Umgebungserfassungsvorrichtung (4a ) beschreiben. - Verfahren nach einem der Ansprüche 13 bis 16 oder 18, dadurch gekennzeichnet, dass mit Hilfe eines zweiten Speichermediums (
12 ) Kalibrierinformationen (11 ) gespeichert werden, wobei die Kalibrierinformationen (11 ) geometrische Abweichungen zwischen Position der Bilderfassungseinheit (18 ), der Raumerfassungsvorrichtung (3a ) und der Umgebungserfassungsvorrichtung (4a ) beschreiben. - Verfahren nach einem der Ansprüche 13 bis 20, dadurch gekennzeichnet, dass mit Hilfe der Verarbeitungseinheit (
9 ) auf Basis der von der Raumerfassungseinheit (3 ) und der Umgebungserfassungseinheit (4 ) generierten Informationen (5 ,10 ) sowie den in den Speichermedien (7 ,12 ) abgelegten Informationen (8 ,11 ) die mittels der Rauminformationen (10 ) und mittels der im ersten Speichermedium (7 ) abgelegten Informationen (8 ) beschriebenen Objekte in einem gemeinsamen Koordinatensystem dargestellt werden. - Verfahren nach einem der Ansprüche 13 bis 21, dadurch gekennzeichnet, dass mit Hilfe mindestens eines Simulationssystems (
16 ) die in dem ersten Speichermedium (7 ) abgelegten Informationen (8 ) generiert werden. - Verfahren nach einem der Ansprüche 13 bis 22, dadurch gekennzeichnet, dass ein Radarsystem, ein Ultraschallsystem, ein Lasersystem oder ein Stereokamerasystem für die Raumerfassungsvorrichtung (
3a ) der Raumerfassungseinheit (3 ) verwendet wird. - Verfahren nach einem der Ansprüche 13 bis 23, dadurch gekennzeichnet, dass für die Raumerfassungsvorrichtung (
3a ) und die Umgebungserfassungsvorrichtung (4a ) eine gemeinsame Erfassungsvorrichtung verwendet wird.
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102004016331A DE102004016331B4 (de) | 2004-04-02 | 2004-04-02 | Vorrichtung und Verfahren zur gleichzeitigen Darstellung virtueller und realer Umgebungsinformationen |
PCT/EP2005/051195 WO2005096638A1 (de) | 2004-04-02 | 2005-03-16 | Vorrichtung und verfahren zur gleichzeitigen darstellung virtueller und realer umgebungsinformationen |
US11/547,503 US8345066B2 (en) | 2004-04-02 | 2005-03-16 | Device and method for simultaneously representing virtual and real ambient information |
EP05731750A EP1730970A1 (de) | 2004-04-02 | 2005-03-16 | Vorrichtung und verfahren zur gleichzeitigen darstellung virtueller und realer umgebungsinformationen |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102004016331A DE102004016331B4 (de) | 2004-04-02 | 2004-04-02 | Vorrichtung und Verfahren zur gleichzeitigen Darstellung virtueller und realer Umgebungsinformationen |
Publications (2)
Publication Number | Publication Date |
---|---|
DE102004016331A1 true DE102004016331A1 (de) | 2005-11-03 |
DE102004016331B4 DE102004016331B4 (de) | 2007-07-05 |
Family
ID=34963623
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE102004016331A Expired - Fee Related DE102004016331B4 (de) | 2004-04-02 | 2004-04-02 | Vorrichtung und Verfahren zur gleichzeitigen Darstellung virtueller und realer Umgebungsinformationen |
Country Status (4)
Country | Link |
---|---|
US (1) | US8345066B2 (de) |
EP (1) | EP1730970A1 (de) |
DE (1) | DE102004016331B4 (de) |
WO (1) | WO2005096638A1 (de) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102005060980A1 (de) * | 2005-12-20 | 2007-06-21 | Metaio Gmbh | Verfahren und System zur Bestimmung eines dreidimensionalen Raumes gegenüber einer realen Umgebung |
DE102017207894A1 (de) * | 2017-05-10 | 2018-11-15 | Krones Aktiengesellschaft | Verfahren und Computersystem zur Planung einer Anlage im Bereich der Getränkeverarbeitungsindustrie |
DE102020201375B3 (de) * | 2020-02-05 | 2021-06-24 | Magna Steyr Fahrzeugtechnik Ag & Co Kg | Verfahren zur Überprüfung eines Sicherheitsbereichs eines Roboters |
Families Citing this family (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8094090B2 (en) * | 2007-10-19 | 2012-01-10 | Southwest Research Institute | Real-time self-visualization system |
US8606657B2 (en) * | 2009-01-21 | 2013-12-10 | Edgenet, Inc. | Augmented reality method and system for designing environments and buying/selling goods |
US20170028557A1 (en) * | 2015-07-28 | 2017-02-02 | Comprehensive Engineering Solutions, Inc. | Robotic navigation system and method |
US20130137076A1 (en) * | 2011-11-30 | 2013-05-30 | Kathryn Stone Perez | Head-mounted display based education and instruction |
US10055512B2 (en) * | 2012-07-16 | 2018-08-21 | Omc2 Llc | System and method for CNC machines and software |
FR3000242A1 (fr) | 2012-12-21 | 2014-06-27 | France Telecom | Procede de gestion d’un systeme d’information geographique adapte pour etre utilise avec au moins un dispositif de pointage, avec creation d’associations entre objets numeriques. |
FR3000241A1 (fr) * | 2012-12-21 | 2014-06-27 | France Telecom | Procede de gestion d’un systeme d’information geographique adapte pour etre utilise avec au moins un dispositif de pointage, avec creation d’objets numeriques purement virtuels. |
US20140375684A1 (en) * | 2013-02-17 | 2014-12-25 | Cherif Atia Algreatly | Augmented Reality Technology |
KR101753200B1 (ko) | 2013-09-09 | 2017-07-04 | 엠파이어 테크놀로지 디벨롭먼트 엘엘씨 | 증강 현실 변경 감지기 |
US10229523B2 (en) | 2013-09-09 | 2019-03-12 | Empire Technology Development Llc | Augmented reality alteration detector |
US9677840B2 (en) | 2014-03-14 | 2017-06-13 | Lineweight Llc | Augmented reality simulator |
CN204048546U (zh) * | 2014-05-02 | 2014-12-31 | 加埃塔诺·朱塞佩·克赛拉 | 头发延展部分、微环以及包括该头发延展部分的配套件 |
US9781697B2 (en) | 2014-06-20 | 2017-10-03 | Samsung Electronics Co., Ltd. | Localization using converged platforms |
US10816807B2 (en) * | 2017-11-01 | 2020-10-27 | Vrgineers, Inc. | Interactive augmented or virtual reality devices |
US11501224B2 (en) | 2018-01-24 | 2022-11-15 | Andersen Corporation | Project management system with client interaction |
US10540821B2 (en) * | 2018-03-09 | 2020-01-21 | Staples, Inc. | Dynamic item placement using 3-dimensional optimization of space |
CN109165329A (zh) * | 2018-07-09 | 2019-01-08 | 中兵勘察设计研究院有限公司 | 一种融合增强现实和物联网的地下管网智能管控技术及系统 |
DE102021131060B3 (de) | 2021-11-26 | 2022-07-28 | Sick Ag | System und Verfahren mit einem System |
DE102022100840A1 (de) * | 2022-01-14 | 2023-07-20 | Sick Ag | Augmented-reality-system zum unterrichten eines anwenders einer applikation |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE10128015A1 (de) * | 2000-06-13 | 2001-12-20 | Volkswagen Ag | Verfahren und System zum Planen einer veränderten Produktionsumgebung, insbesondere einer Fertigungsumgebung für Fahrzeugkomponenten |
DE10240392A1 (de) * | 2002-09-02 | 2004-03-11 | Patron, Günter | System und Verfahren zur Bestimmung von Abständen virtueller Objekte zu realen Objekten durch den Einsatz der Augmented Reality Technology |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06236176A (ja) * | 1992-04-29 | 1994-08-23 | Canon Inf Syst Res Australia Pty Ltd | ラスタ画像に透明性を与える方法及び装置 |
US6151009A (en) * | 1996-08-21 | 2000-11-21 | Carnegie Mellon University | Method and apparatus for merging real and synthetic images |
US5986674A (en) * | 1996-10-31 | 1999-11-16 | Namco. Ltd. | Three-dimensional game apparatus and information storage medium |
US5923333A (en) * | 1997-01-06 | 1999-07-13 | Hewlett Packard Company | Fast alpha transparency rendering method |
US6166744A (en) * | 1997-11-26 | 2000-12-26 | Pathfinder Systems, Inc. | System for combining virtual images with real-world scenes |
US6369830B1 (en) * | 1999-05-10 | 2002-04-09 | Apple Computer, Inc. | Rendering translucent layers in a display system |
JP2000350865A (ja) * | 1999-06-11 | 2000-12-19 | Mr System Kenkyusho:Kk | 複合現実空間のゲーム装置、その画像処理方法およびプログラム記憶媒体 |
US6335765B1 (en) * | 1999-11-08 | 2002-01-01 | Weather Central, Inc. | Virtual presentation system and method |
JP2002157607A (ja) * | 2000-11-17 | 2002-05-31 | Canon Inc | 画像生成システム、画像生成方法および記憶媒体 |
JP3406965B2 (ja) * | 2000-11-24 | 2003-05-19 | キヤノン株式会社 | 複合現実感提示装置及びその制御方法 |
US20020133264A1 (en) * | 2001-01-26 | 2002-09-19 | New Jersey Institute Of Technology | Virtual reality system for creation of design models and generation of numerically controlled machining trajectories |
JP2007529007A (ja) * | 2004-03-12 | 2007-10-18 | ブラッコ イメージング ソチエタ ペル アチオニ | 強化現実システムにおけるオーバーレイ・エラーの測定方法と、その計測システム |
-
2004
- 2004-04-02 DE DE102004016331A patent/DE102004016331B4/de not_active Expired - Fee Related
-
2005
- 2005-03-16 EP EP05731750A patent/EP1730970A1/de not_active Withdrawn
- 2005-03-16 US US11/547,503 patent/US8345066B2/en not_active Expired - Fee Related
- 2005-03-16 WO PCT/EP2005/051195 patent/WO2005096638A1/de not_active Application Discontinuation
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE10128015A1 (de) * | 2000-06-13 | 2001-12-20 | Volkswagen Ag | Verfahren und System zum Planen einer veränderten Produktionsumgebung, insbesondere einer Fertigungsumgebung für Fahrzeugkomponenten |
DE10240392A1 (de) * | 2002-09-02 | 2004-03-11 | Patron, Günter | System und Verfahren zur Bestimmung von Abständen virtueller Objekte zu realen Objekten durch den Einsatz der Augmented Reality Technology |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102005060980A1 (de) * | 2005-12-20 | 2007-06-21 | Metaio Gmbh | Verfahren und System zur Bestimmung eines dreidimensionalen Raumes gegenüber einer realen Umgebung |
DE102005060980B4 (de) * | 2005-12-20 | 2012-10-25 | Metaio Gmbh | Verfahren und System zur Bestimmung eines kollisionsfreien dreidimensionalen Raumvolumens entlang eines Bewegungspfades gegenüber einer realen Umgebung |
DE102017207894A1 (de) * | 2017-05-10 | 2018-11-15 | Krones Aktiengesellschaft | Verfahren und Computersystem zur Planung einer Anlage im Bereich der Getränkeverarbeitungsindustrie |
EP3451205A1 (de) * | 2017-05-10 | 2019-03-06 | Krones AG | Verfahren und computersystem zur planung einer anlage im bereich der getränkeverarbeitungsindustrie |
DE102020201375B3 (de) * | 2020-02-05 | 2021-06-24 | Magna Steyr Fahrzeugtechnik Ag & Co Kg | Verfahren zur Überprüfung eines Sicherheitsbereichs eines Roboters |
US11731283B2 (en) | 2020-02-05 | 2023-08-22 | Magna Steyr Fahrzeugtechnik Gmbh & Co Kg | Method for checking a safety area of a robot |
Also Published As
Publication number | Publication date |
---|---|
DE102004016331B4 (de) | 2007-07-05 |
EP1730970A1 (de) | 2006-12-13 |
WO2005096638A1 (de) | 2005-10-13 |
US8345066B2 (en) | 2013-01-01 |
US20070202472A1 (en) | 2007-08-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
DE102004016331B4 (de) | Vorrichtung und Verfahren zur gleichzeitigen Darstellung virtueller und realer Umgebungsinformationen | |
DE102014006732B4 (de) | Bildüberlagerung von virtuellen Objekten in ein Kamerabild | |
DE102005021735B4 (de) | Videoüberwachungssystem | |
WO2005045729A1 (de) | System und verfahren zur durchführung und visualisierung von simulationen in einer erweiterten realität | |
EP2176833B1 (de) | Verfahren und system zur ermittlung der position und orientierung einer kamera relativ zu einem realen objekt | |
EP0931277B1 (de) | System zur projektion von insbesondere 3d-bilddarstellungen auf einer bildanzeigeeinrichtung | |
DE102015015503A1 (de) | Robotersystem, das eine mit erweiterter Realität kompatible Anzeige aufweist | |
DE102005011126A1 (de) | Generierung virtueller Welten auf Basis einer realen Umgebung | |
DE69623385T2 (de) | Interaktive Bilderzeugungsmethode und Gerät | |
DE102017109021B4 (de) | System für das stereoskopische Visualisieren eines Objektbereichs sowie Objektbereich-Visualisierungsverfahren | |
DE102019105630B4 (de) | Anzeigesteuervorrichtung, Fahrzeugumgebungsanzeigesystem und Computerprogramm | |
DE102020001882A1 (de) | Visualisierungsvorrichtung und Programm | |
DE102006004731A1 (de) | Verfahren und Einrichtung zur Bestimmung der Position und/oder Orientierung einer Kamera bezüglich eines realen Objektes | |
DE102017106098A1 (de) | Dynamisch farbangepasste visuelle überlagerungen für augmented-reality-systeme | |
DE102004061841B4 (de) | Markerloses Tracking System für Augmented Reality Anwendungen | |
EP2831839B1 (de) | Verfahren zum automatischen betreiben einer überwachungsanlage | |
DE102004046144A1 (de) | Verfahren und System zum Planen einer Produktionsumgebung | |
WO2013034129A2 (de) | Kooperativer 3d-arbeitsplatz | |
EP1403790A2 (de) | Verfahren zum Aufbau eines Technikträgers | |
DE102012010799B4 (de) | Verfahren zur räumlichen Visualisierung von virtuellen Objekten | |
WO2022002595A1 (de) | Verfahren zum einblenden eines virtuellen objektes | |
EP3568737B1 (de) | Verfahren zum betreiben eines anzeigesystems mit einer datenbrille in einem kraftfahrzeug | |
DE102007056835A1 (de) | Bildverarbeitunsmodul zur Schätzung einer Objektposition eines Überwachungsobjekts, Verfahren zur Bestimmung einer Objektposition eines Überwachungsobjekts sowie Computerprogramm | |
WO2023232819A1 (de) | Generierung von hologrammen zur darstellung in einer augmented reality umgebung | |
DE102015120927A1 (de) | Verfahren zur Darstellung einer Simulationsumgebung |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
OP8 | Request for examination as to paragraph 44 patent law | ||
8364 | No opposition during term of opposition | ||
R119 | Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee |