DE102016113060A1

DE102016113060A1 - Verfahren zum Steuern eines Objekts

Info

Publication number: DE102016113060A1
Application number: DE102016113060.5A
Authority: DE
Inventors: Stefan Wapelhorst; Thomas Morscher; Clemens Maier; Armin Pehlivan; Christian Henke
Original assignee: Beckhoff Automation GmbH and Co KG
Current assignee: Beckhoff Automation GmbH and Co KG
Priority date: 2016-07-15
Filing date: 2016-07-15
Publication date: 2018-01-18
Also published as: US20180018826A1; US10789775B2

Abstract

Verfahren zum Steuern eines Objekts (100), wobei das Objekt (100) im Realraum (70) angeordnet ist und mit wenigstens einem virtuellen Element eines Figurenraums (80) verknüpft ist, wobei das Objekt (100), eine Darstellungseinrichtung (10), eine Bedieneinrichtung (20) und/oder eine Steuerungseinrichtung (30) funktional miteinander verbunden sind, aufweisend die Schritte: – Ermitteln einer Position und einer Ausrichtung der Bedieneinrichtung (20) und/oder der Darstellungseinrichtung (10) in Relation zum Objekt (100), – Generieren eines virtuellen Zeigers (Z) aus der ermittelten Position und der ermittelten Ausrichtung der Bedieneinrichtung (20) und/oder der Darstellungseinrichtung (10), – Selektieren des Objekts (100) mittels des virtuellen Zeigers (Z), – Darstellen des mit dem wenigsten einen Element des Figurenraums (80) angereicherten Objekts (100) mittels der Darstellungseinrichtung (10), und/oder Steuern des Objekts (100) mittels der Bedieneinrichtung (20).

Description

Die Erfindung betrifft ein Verfahren zum Steuern eines Objekts. Die Erfindung betrifft weiterhin ein System zum Steuern eines Objekts.
Erweitere oder angereicherte Realität (engl. Augmented Reality AR) spielt in zukunftsweisenden Technologien zunehmend eine größer werdende Rolle. Insbesondere beim Arbeiten an Montagelinien oder beim 3D-Modellieren von Bauteilen erfreut sich die Kombination von realer Umgebung mit zugeordneten virtuellen Objekten immer größer werdender Beliebtheit. Um diesem Trend gerecht zu werden, beschäftigt sich eine Vielzahl von bekannten Unternehmungen, wie zum Beispiel Microsoft, Oculus, Samsung und andere mit der Entwicklung von dazu erforderlichen Darstellungsgerätschaften.
Alle bekannten Systeme zur Generierung von erweiterter Realität beschäftigen sich mit der Interaktion von virtuellen Objekten, welche in ein Abbild des realen Raums gelegt und auf dem Darstellungsgerät angezeigt werden.
Aus WO 2009/132920 A1 ist bekannt, dass virtuelle Objekte mit real vorhandenen Objekten über deren Abbildung im Figurenraum mithilfe eines Steuergerätes verlinkt werden. Ob dabei das virtuelle Objekt dem realen Objekt vorgelagert ist oder nicht, spielt dabei keine Rolle. Offenbart sind ferner Bedienmöglichkeiten, mit denen eine intuitive Bedienung von virtuellen Objekten im Figurenraum mittels eines Zeigers möglich ist. Einerseits kann dieser Zeiger rein virtueller Natur sein, andererseits lässt sich ein derartiger Zeiger auch mittels Sensorik im realen Raum erfassen und in den virtuellen Figurenraum übertragen. Offenbart sind eine Vielzahl von unterschiedlichen Charakteristiken und Erscheinungsformen, die ein derartiger Zeiger besitzen bzw. annehmen kann. Zudem werden Varianten von Gestensteuerungen, das Bedienen von mehreren Objekten und eine Vielzahl von Techniken zur Zeigergenerierung vorgeschlagen.
Aus WO 2009/132920 A1 ist ferner bekannt, dass Zeiger im Figurenraum unterschiedliche Eigenschaften und geometrische Ausprägungen annehmen können. In entsprechender Weise lassen sich diese auch in ein Darstellungsgerät einblenden.
WO 2009/1322920 A1 lehrt vor allem eine Generierung von Zeigern mittels MEMS-Sensoren, wie sie beispielsweise von Beschleunigungssensoren, Magnetometern und klassischen Positionserfassungssystemen bekannt sind.
Es ist eine Aufgabe der vorliegenden Erfindung, ein verbessertes Verfahren zum Steuern eines Objekts bereitzustellen. Eine weitere Aufgabe der Erfindung ist es, ein verbessertes System zum Steuern eines Objekts anzugeben.
Gemäß einem ersten Aspekt wird die Aufgabe gelöst mit einem Verfahren zum Steuern eines Objekts,
wobei das Objekt im Realraum angeordnet ist und mit wenigstens einem Element eines Figurenraums verknüpft ist, wobei das Objekt, eine Darstellungseinrichtung, eine Bedieneinrichtung und eine Steuerungseinrichtung funktional miteinander verbunden sind, aufweisend die Schritte:

– Ermitteln einer Position und einer Ausrichtung der Bedieneinrichtung und/oder der Darstellungseinrichtung in Relation zum Objekt,
– Generieren eines virtuellen Zeigers aus der ermittelten Position und der ermittelten Ausrichtung der Bedieneinrichtung und/oder der Darstellungseinrichtung,
– Selektieren des Objekts mittels des virtuellen Zeigers,
– Darstellen des mit wenigsten einem Element des Figurenraums angereicherten Objekts mittels der Darstellungseinrichtung, und
– Steuern des Objekts mittels der Bedieneinrichtung.

Auf diese Weise werden ein Navigieren innerhalb eines Objekts und ein Bedienen des Objekts mittels eines virtuellen Zeigers mit Tiefenwirkung ermöglicht. Durch den Zeiger mit Tiefenwirkung kann das Objekt selektiv angewählt werden und es können mit der Steuerungseinrichtung Steuerungseffekte für das Objekt selektiv bewirkt werden.
Gemäß einem zweiten Aspekt wird die Aufgabe gelöst mit einem System zum Steuern eines Objekts,

– wobei das Objekt im Realraum angeordnet ist und mit wenigstens einem Element eines Figurenraums verknüpft ist,
– wobei das Objekt, eine Darstellungseinrichtung, eine Bedieneinrichtung und/oder eine Steuerungseinrichtung funktional miteinander verbunden sind,
– wobei das System ausgebildet ist, eine Position und eine Ausrichtung der Bedieneinrichtung und/oder der Darstellungseinrichtung in Relation zum Objekt zu ermitteln,
– wobei das System ausgebildet ist, aus der ermittelten Position und der ermittelten Ausrichtung der Bedieneinrichtung und/oder der Darstellungseinrichtung einen virtuellen Zeiger zu generieren,
– wobei das System ausgebildet ist, das Objekt mittels des virtuellen Zeigers zu selektieren,
– wobei das System ausgebildet ist, das mit dem wenigsten einen Element des Figurenraums angereicherte Objekt mittels der Darstellungseinrichtung darzustellen, und
– wobei das System ausgebildet ist, das Objekt mittels der Bedieneinrichtung zu steuern.

Bevorzugte Ausführungsformen des Verfahrens ergeben sich aus den jeweiligen abhängigen Ansprüchen.
Eine vorteilhafte Weiterbildung des Verfahrens sieht vor, dass das wenigstens eine virtuelle Element des Figurenraums mittels der Steuerungseinrichtung gesteuert wird. Dadurch ist es möglich, am Objekt selektive Steuerungseingriffe vorzunehmen.
Eine weitere Ausführungsform des Verfahrens zeichnet sich dadurch aus, dass wenigstens zwei der Elemente: Darstellungseinrichtung, Bedieneinrichtung, Steuerungseinrichtung drahtlos miteinander verbunden sind. Dadurch wird insbesondere der technische Vorteil bewirkt, dass herkömmliche drahtlose Methoden verwendet werden können, um eine drahtlose Kommunikation zwischen den genannten Elementen bereitzustellen, beispielsweise in Form von WLAN, Bluetooth, ZigBee, Z-Wave, EnOcean, usw.
Eine weitere Ausführungsform des Verfahrens ist dadurch gekennzeichnet, dass die Bedieneinrichtung als ein passives Element ausgebildet ist. Dadurch können vorteilhaft auch mit sehr einfachen Objekten ohne Kommunikationsschnittstelle virtuelle Zeiger generiert werden.
Eine weitere Ausführungsform des Verfahrens ist dadurch gekennzeichnet, dass die Bedieneinrichtung als eine intelligente Sensor- und Entscheidungseinrichtung einer autonomen Maschine ausgebildet ist. Dadurch kann vorteilhaft eine autonome Maschine ihre Interaktion mit einem anderen Steuergerät vorab simulieren und bewerten.
Eine weitere Ausführungsform des Verfahrens sieht vor, dass als Darstellungseinrichtung eines aus Folgendem verwendet wird: Datenbrille, Datenlinse, Tablet, Fernseher, Projektor, Mobiltelefon, SmartWatch, Panel-PC, Industrie-PC, Monitor. Dadurch können vorteilhaft unterschiedliche technische Geräte als Darstellungseinrichtung benutzt werden.
Eine weitere Ausführungsform des Verfahrens sieht vor, dass der virtuelle Zeiger eine der folgenden Formen aufweist: Kegel, Fächer, Lasso, Strahl, Angelrute mit einer 3D-Figur als Haken. Dadurch können vorteilhaft je nach Erfordernis unterschiedliche Bereiche des Objekts angewählt werden. Eine selektive Steuerungsmöglichkeit des Objekts ist auf diese Weise vorteilhaft unterstützt.
Eine weitere Ausführungsform des Verfahrens sieht vor, dass der virtuelle Zeiger entsprechend einem Parameter des Realraums geändert wird. Auf diese Weise kann auf vorteilhafte Weise eine Steuerungscharakteristik des Objekts selektiv ausgebildet werden.
Eine weitere Ausführungsform des Verfahrens ist dadurch gekennzeichnet, dass mittels der virtuellen Elemente des Figurenraums Parameter des Objekts geändert werden. Dadurch kann das Objekt vorteilhaft je nach Erfordernis auf unterschiedliche Weisen gesteuert werden.
Eine weitere Ausführungsform des Verfahrens zeichnet sich dadurch aus, dass zum Selektieren des Objekts wenigstens ein Markierelement für erweiterte Realität verwendet wird. Auf diese Weise ist das Objekt noch besser selektierbar, wodurch z.B. besser erkennbar ist, an welchen Stellen bzw. über welche Komponenten des Objekts eine erweiterte Realität überlagert werden soll.
Eine weitere Ausführungsform des Verfahrens sieht vor, dass zum Ermitteln der Position und der Ausrichtung der Bedieneinrichtung eine Kamera verwendet wird. Dadurch werden auf einfache Weise eine exakte Ermittlung der Position und der Ausrichtung der Bedieneinrichtung und damit eine genaue Generierung des virtuellen Zeigers ermöglicht.
Eine weitere vorteilhafte Ausführung des Verfahrens sieht vor, dass zum Selektieren des Objekts mittels des virtuellen Zeigers eine Rasterung des Objekts durchgeführt wird. Auf diese Weise kann eine Selektierung des Objekts mittels der Bedieneinrichtung noch einfacher durchgeführt werden.
Eine weitere vorteilhafte Ausführungsform des Verfahrens sieht vor, dass wenigstens eine virtuelle Komponente des Objekts in seiner virtuellen Lage veränderbar ist. Dadurch ist eine bessere Sichtbarmachung von einzelnen Komponenten des Objekts unterstützt. Insbesondere wird dadurch ermöglicht, dass einzelne virtuelle Komponenten nicht von anderen virtuellen Komponenten verdeckt sind. Eine bessere Analysemöglichkeit des bzw. Interaktionsmöglichkeit mit dem Objekt ist dadurch unterstützt.
Eine weitere Ausführungsform des Verfahrens sieht vor, dass die Bedieneinrichtung in der Darstellungseinrichtung angeordnet verwendet wird. Dadurch kann ein Aufwand an technischen Bedienungselementen vorteilhaft gering gehalten werden.
Eine weitere vorteilhafte Ausführungsform des Verfahrens ist dadurch gekennzeichnet, dass das Objekt mittels wenigstens eines zusätzlichen entfernt angeordneten virtuellen Zeigers gesteuert wird. Dadurch ist ein Steuern des Objekts aus der Ferne (engl. remote) vorteilhaft möglich, so dass ein Steuern des Objekts vorteilhaft gleichzeitig von mehreren Anwendern an unterschiedlichen Orten möglich ist.
Eine weitere Ausführungsform des Verfahrens sieht vor, dass wenigstens ein virtueller Zeiger verwendet wird, der einem virtuell angereicherten Objekt oder einem realen Objekt entspringt. Auf diese Weise ist der virtuelle Zeiger nicht unbedingt an eine physische Präsenz einer Bedieneinrichtung gebunden.
Eine weitere Ausführungsform des Verfahrens sieht vor, dass wenigstens ein Teil des Verfahrens cloudbasiert ausgeführt wird. Dadurch kann vorteilhaft eine Rechenleistung und/oder Speicherbedarf in eine zentrale Cloud ausgelagert werden, wodurch örtliche Rechnereinrichtungen entlastet werden können.
Eine weitere Ausführungsform des Verfahrens ist dadurch gekennzeichnet, dass mittels virtueller Elemente des Figurenraums ein Computerprogramm für das Objekt erstellt wird. Dadurch können z.B. Programme für Fertigungsautomaten der Automatisierungssysteme mittels graphischen Softwareentwicklungswerkzeugen erstellte werden.
Weitere vorteilhafte Ausführungsformen des Verfahrens ergeben sich aus weiteren abhängigen Ansprüchen.
In vorteilhafter Weise ermöglicht das erfindungsgemäße Verfahren ein Steuern des Objekts bzw. ein Interagieren mit dem Objekt mittels eines virtuellen Zeigers bzw. dessen generierenden Zeigerobjekts.
Die Erfindung wird im Folgenden anhand von zahlreichen Ausführungsbeispielen unter Bezugnahme auf die beigefügten Figuren näher erläutert. Dabei zeigt:
1 ein Übersichtsbild eines erfindungsgemäßen Systems;
2 eine Objektauswahl mittels eines virtuellen Zeigers aus der Perspektive einer Darstellungseinrichtung;
3 ein Beispiel zur Generierung eines virtuellen Zeigers mit einem passiven Element;
4 eine prinzipielle Darstellung einer Erfassung von Form- und Lageparametern der Bedieneinrichtung mit einem externen Kamerasystem;
5 eine prinzipielle Darstellung einer Erfassung von Form- und Lageparametern der Bedieneinrichtung mittels Markierelementen für erweiterte Realität und einem in der Darstellungseinrichtung angeordneten Kamerasystem;
6 eine prinzipielle Darstellung einer Zeigergenerierung mittels eines Kamerasystems in der Bedieneinrichtung und einem physisch am Objekt angebrachten Markierelement;
7 ein Beispiel einer Generierung eines virtuellen Zeigers mittels Eye-Tracking;
8 ein Beispiel einer Zeigergenerierung mittels Erfassung von Positions- und Lageparametern der Darstellungseinrichtung;
9 ein Beispiel einer Generierung eines virtuellen Zeigers durch zusätzliche Sensoren an der Bedieneinrichtung;
10 ein beispielhaftes Ausschneiden eines Teilbereichs des Objekts mittels Zeigerausrichtung und einer aktiven Funktion „Schneiden“ der Bedieneinrichtung;
11 ein beispielhaftes virtuelles Extrahieren von virtuellen Teilobjekten bzw. Komponenten des Objekts;
12 ein beispielhaftes Herausheben von Gruppen von virtuellen Teilobjekten bzw. Komponenten des Objekts durch Auswahl eines Teils der Gruppe;
13, 14 ein beispielhaftes virtuelles Zoomen einer virtuellen Komponente des Objekts;
15 ein beispielhaftes Zoomen eines realen Ausschnitts des Objekts;
16 ein beispielhaftes Durchleuchten mit direktem Einblenden des durchleuchteten Bereichs in die Darstellungseinrichtung;
17 ein beispielhaftes Durchleuchten mit indirektem Einblenden des durchleuchteten Bereichs in die Darstellungseinrichtung;
18 ein fixierter virtueller Zeiger zum Zwecke von Autoguiding;
19 eine Auswahl von virtuellen Komponenten des Objekts mittels einer Art „Magnetfunktionalität“;
20, 21 ein Beispiel einer Auswahl von virtuellen Komponenten des Objekts durch virtuelle Rasterung des Objekts;
22 ein Beispiel einer Rasterung des Objekts nach Kuben mit virtuellem Display;
23 ein Beispiel für eine mögliche Verlinkung zwischen Hardware und Software zum Ausführen des vorgeschlagenen Verfahrens; und
24 einen schematischen Ablauf einer Ausführungsform des erfindungsgemäßen Verfahrens.
Die nachfolgend verwendeten Formulierungen respektive, bzw. umfassen insbesondere auch die Formulierung und/oder.
Eine Kernidee der vorliegenden Erfindung besteht darin, ein Bedienen, Steuern und Navigieren durch virtuelle und teilvirtuelle Räume, die durch eine Steuerungseinrichtung mit einer Maschine/Anlage/Gebäude/Bühne oder sonstigen Umgebung innerhalb oder außerhalb von Gebäuden und Teilen einer Maschine/Anlage/Gebäude/Bühne oder sonstigen Umgebung innerhalb oder außerhalb von Gebäuden (Objekten) verbunden sind, zu erleichtern bzw. intuitiver zu gestalten. Dazu wird im Folgenden eine Bedien- oder Darstellungseinrichtung in Beziehung zum Objekt verwendet, wobei die Bedien- oder Darstellungseinrichtung durch ihre bekannten Lagen bzw. Positionen und Ausrichtungen im realen Raum ein virtuelles Zeigerobjekt bzw. einen virtuellen Zeiger definieren. Auf diese Weise wird eine Art Schnittstelle zwischen einem Menschen bzw. autonomen Maschinen und einem Bereich von erweiterter Realität geschaffen (engl. human augmented reality interface HARI).
Bekannt sind Verfahren, mit denen sich ein virtueller Raum (Figurenraum) in einen realen Raum (Realraum) relativ zu einer Darstellungseinrichtung integrieren lässt. In einfachster Weise wird dies durch eine Kamera der Darstellungseinrichtung und im Realraum angebrachte Markierelemente für erweiterte Realität (AR-Marker) ermöglicht. Die Kamera erfasst dazu die Lage und Position des Markierelements für erweiterte Realität. Anschließend wird der Figurenraum hinter, vor oder um das Markierelement herum aufgebaut und im Falle von erweiterter Realität dem realen Abbild des Raums überlagert dargestellt.
Der Figurenraum kann beispielsweise ein 3D-Modell (oder Ausschnitte daraus) einer Maschine/Anlage/Gebäude/Bühne oder Ähnliches beinhalten. Nunmehr besteht die Möglichkeit, wie bereits in WO 2009/132920 A1 beschrieben, real vorhandene Objekte mittels einer Steuereinheit mit virtuellen Abbildungen im Figurenraum zu verbinden. Erfolgt nun eine Interaktion mit dem virtuellen Raum, reagieren die jeweiligen realen Objekte und eventuelle virtuelle Erweiterungen davon in entsprechender Weise.
Neben den in WO 2009/132920 A1 offenbarten Methoden zur Generierung von virtuellen Zeigern ist eine solche auch mit den eingangs beschriebenen Verfahren möglich. Ist der virtuelle Zeiger im Figurenraum bekannt, so lässt sich dieser in der Darstellungseinrichtung (z.B. in Form einer Brille, einer Datenlinse, eines Tablets, eines Smartphones, eines Fernsehers, eines Projektors, einer SmartWatch, usw.) in unterschiedlichen Formen sichtbar machen. Einige dieser Formen sind bereits aus WO 2009/132920 A1 bekannt. In einfachster Weise ist dieser virtuelle Zeiger als ein Strahl oder ein Kegel mit gleichbleibenden, definierten oder mit veränderlichen, dynamischen Abmessungen ausgebildet.
Durch die Abbildung des generierten virtuellen Zeigers im Figurenraum kann auf dessen Ausrichtung relativ bzw. absolut zu den sich im Figurenraum befindlichen Objekten geschlossen werden. Ist der virtuelle Zeiger auf ein Objekt im Figurenraum ausgerichtet, so kann dieses ausgewählt und interagiert werden. Das Verknüpfen der virtuellen Abbilder mit den realen Objekten mittels der Steuereinrichtung, wie in WO 2009/132920 A1 beschrieben, ermöglicht zudem eine Weiterleitung der Steuer- und Bediensignale direkt an das real vorhandene Objekt. Beispielsweise kann man hier an einen Linearmotor denken, dessen beweglicher Teil ausgewählt und virtuell verschoben wird, wobei diese Bewegung zugleich in der realen Umgebung umgesetzt wird.
Darüber hinaus ist auch denkbar, dass ein virtuelles Objekt physisch zwar nicht vorhanden ist, aber dennoch mit einem realen Objekt über die Steuereinheit verlinkt ist. Als ein einfaches Beispiel wäre hier ein virtueller Schalter zu nennen, der im Figurenraum oder im Raum für erweiterte Realität (AR-Raum) eingeblendet wird. Wird dieser Schalter mittels des virtuellen Zeigers ausgewählt und betätigt, wird die real vorhandene Beleuchtungseinrichtung des Raumes ein- bzw. ausgeschaltet.
Denkbar ist auch, ein virtuelles Zeigerobjekt mit Hilfe eines bilderzeugenden Systems, z.B. Kamera, Radar, etc. zu erzeugen, das im Raum oder in einer Bedieneinrichtung (z.B. Videobrille, halbtransparente Videobrille, Handbediengerät, usw.) angeordnet ist. Videobrillen oder andere Darstellungsgeräte, die für einen Einsatz im Bereich der erweiterten Realität konzipiert sind, verfügen zur Erfassung des realen Raums in der Regel bereits über ein Kamerasystem. Diese Systeme können zusätzlich dazu genutzt werden, um einen physisch vorhandenen Gegenstand zur Generierung des virtuellen Zeigers zu erfassen. In einfachster Weise könnte die Ausrichtung sowie die Position eines oder mehrerer Finger des Anwenders erfasst und im Figurenraum als Ausrichtung und Ursprung des virtuellen Zeigers übernommen werden. Als direktes Feedback ist hier ein Einblenden des so generierten virtuellen Zeigers in der Darstellungseinrichtung denkbar.
1 zeigt ein grundsätzliches Wirkprinzip des vorgeschlagenen Verfahrens zum Steuern eines Objekts unter Berücksichtigung von erweiterter Realität. In einem Realraum 70 mit einem real vorhandenen, steuerbaren Objekt 100 befindet sich ein Anwender 15, der eine Darstellungseinrichtung 10, z.B. in Form einer Datenbrille nutzt. Mittels einer Bedieneinrichtung 20, die der Anwender 15 hält, wird ein virtueller Zeiger Z gebildet, der auf das steuerbare Objekt 100, beispielsweise in Form eines Schulungsroboters zeigt. Die Darstellungseinrichtung 10 und/oder die Bedieneinrichtung können z.B. als Sensoren einer autonomen Vorrichtung ausgebildet sein. Auf diese Art und Weise ist eine Art Querkommunikation zwischen zwei autonomen Vorrichtungen in einer Art Simulationsbetrieb realisiert.
Eine Ermittlung einer Länge und einer Ausrichtung des virtuellen Zeigers Z erfolgt nach bekannten mathematischen Verfahren, wobei auf diese Weise ermittelt wird, an welcher Position der virtuelle Zeiger Z das Objekt 100 „schneidet“. Im Ergebnis realisiert der virtuelle Zeiger Z also eine Art „Tiefenwirkung“ mit der er in der Lage ist, das beabstandete real vorhandene Objekt 100 zu selektieren.
Mittels der Darstellungseinrichtung 10 sieht der Anwender 15 den in 1 dargestellten ovalen Ausschnitt, wobei der virtuelle Zeiger Z in das Blickfeld eingeblendet wird. Man erkennt, dass die Darstellungseinrichtung 10 und die Bedieneinrichtung 20 funktional mit einer Steuerungseinrichtung 30 verbunden sind, die das Objekt 100 entsprechend einem an der Bedieneinrichtung 20 abgegebenen Steuerbefehl des Anwenders 15 steuert.
Entscheidend ist, dass mittels der Bedieneinrichtung 20 der virtuelle Zeiger Z korrekt auf das Objekt 100 ausgerichtet wird. Aufgrund der Lage und der Ausrichtung der Bedieneinrichtung 20 in Relation zum Objekt 100 kann die Steuerungseinrichtung 30 den virtuellen Zeiger Z generieren. In Abhängigkeit von der Ausgestaltung des virtuellen Zeigers Z kann die Steuerungseinrichtung 30 nunmehr die Steuerung des Objekts 100 durchführen. Dadurch wird dem Anwender 15 mit dem virtuellen Zeiger Z die komfortable Möglichkeit geboten, das reale Objekt 100 über die Steuerungseinrichtung zu steuern.
Die Darstellungseinrichtung 10, Bedieneinrichtung 20 und die Steuerungseinrichtung 30 sind vorzugsweise über eine elektrische Leitung miteinander funktional verbunden. Alternativ können aber auch wenigstens zwei der genannten Elemente drahtlos miteinander verbunden sein.
2 zeigt eine prinzipielle Möglichkeit zur Generierung des virtuellen Zeigers Z. Erkennbar ist die Bedieneinrichtung 20, deren Ausrichtung und Positionierung im beispielsweise in 1 dargestellten Realraum 70 erfasst wird, wodurch der virtuelle Zeiger Z gebildet wird, der in diesem Fall auf eine virtuelle Komponente 60 des Objekts 100 zeigt. Die virtuelle Komponente 60 ist beispielsweise ein Elektromotor, wobei in der Darstellungseinrichtung 10 ein virtuelles Element bzw. Objekt in Form einer Anzeige 24 eingeblendet wird. Auf der Anzeige 24 kann beispielsweise eine Temperatur oder eine Drehzahl des Elektromotors angezeigt werden. Auf diese Weise können für den Anwender mittels erweiterter Realität vorteilhaft reale Daten eines real vorhandenen Elektromotors sichtbar gemacht werden, der in der Darstellungseinrichtung 10 als virtuelle Komponente 60 dargestellt wird.
3 zeigt ein ähnliches Szenario wie 2, wobei in diesem Fall der virtuelle Zeiger Z mit Hilfe eines schematisch dargestellten Fingers des Anwenders erzeugt wird, dessen Lage und Position im Raum mittels zweier in der Darstellungseinrichtung 10 angeordneter Kameras 50 erfasst wird. Alternativ kann als zeigergenerierendes Element auch ein anders passives Element benutzt werden, wie zum Beispiel ein Zeigestab ohne Kommunikationsschnittstelle. Im Ergebnis ist auch auf diese Weise ein „Schneiden“ des virtuellen Zeigers Z mit der virtuellen Komponente 60 und dadurch eine Funktionssteuerung der virtuellen Komponente 60 mittels der Steuerungseinrichtung 30 (nicht dargestellt) möglich.
Zu einer Erfassung der Position und Ausrichtung des Objekts zur Zeigergenerierung ist auch ein im Raum angebrachtes Kamerasystem denkbar. 4 zeigt eine derartige Konfiguration mit symbolisch in vier Eckbereichen des Raums angeordneten Kameras 50. Ferner erkennbar ist ein Markierelement 40 für erweiterte Realität, das benutzt werden kann, um eine Erfassung der Position und Ausrichtung der Bedieneinrichtung 20 in Relation zum Objekt 100 noch weiter zu verbessern.
Aus 5 erkennt man, dass auch auf der Bedieneinrichtung 20 derartige Markierelemente 40 für erweiterte Realität angeordnet sein können. Auf diese Weise können die Position und Ausrichtung der Bedieneinrichtung 20 im Raum relativ zum Objekt 100 noch besser ermittelt werden. Die Markierelemente 40 können zu diesem Zweck von den beiden Kameras 50 der Darstellungseinrichtung 10 oder von einer Kamera 50 im realen Raum (nicht dargestellt) aufgezeichnet werden, wobei Positionsund Lageparameter erfasst und in den Figurenraum übertragen werden. Bei einer Kamera kann es sich klassisch um eine Fotobzw. Videokamera handeln. Durchaus denkbar wären aber auch z.B. für Unterwasser- bzw. Nachtaufnahmen geeignete Sensoren, die ein Abbild der Umgebung liefern, wie zum Beispiel Sonaroder Radarsensoren.
Neben den genannten Möglichkeiten zur Generierung des virtuellen Zeigers Z ist auch eine Bedieneinrichtung 20 mit eingebautem Kamerasystem denkbar. Mittels im Realraum 70 angebrachter Markierelemente 40 für erweiterte Realität oder anderer Ankerpunkte lassen sich die Lage und Ausrichtung der Bedieneinrichtung 20 auf einfache Weise durch bekannte Verfahren ermitteln. Dazu können zusätzlich die bereits vorhandenen Markierelemente 40 für die Darstellungseinrichtung 10 benutzt werden.
6 zeigt eine Zeigergenerierung mittels einer in der Bedieneinrichtung 20 angeordneten Kamera 50 und eines physisch am Objekt 100 angebrachten Markierelements 40 für erweiterte Realität. Man erkennt in 6 ferner ein dem Realraum 70 überlagertes 3D-Modell 71 aus der Perspektive der Darstellungseinrichtung 10 z.B. in Form einer halbtransparenten Videobrille. Somit ermöglicht es das erfindungsgemäße Verfahren bzw. das erfindungsgemäße System, dass sich der Anwender mittels der Darstellungseinrichtung 10 quasi beliebige Schnitte des Objekts 100 darstellen lassen kann, wodurch er beispielsweise mögliche Gefahrenquellen für das zu steuernde Objekt 100 und/oder für mittels des Objekts 100 zu bearbeitende Werkstücke erkennen kann.
Bekannt sind Verfahren, mit denen sich eine Ausrichtung von menschlichen Augen, d.h. eine Blickrichtung erfassen lässt (engl. eye-tracking). Diese Daten können allein oder in Kombination mit Positionsdaten zur Generierung des virtuellen Zeigers Z benutzt werden.
7 zeigt ein derartiges Szenario mit einem symbolisierten menschlichen Auge A, das auf eine virtuelle Komponente 60 des Objekts 100 fokussiert. Die Blickrichtung des Auges A wird mittels entsprechend bekannter Einheiten und Technologien ermittelt und zur Identifizierung der virtuellen Komponente 60 genutzt, wodurch im Ergebnis zusammen mit der Bedieneinrichtung 20 ein virtueller Zeiger Z generiert wird. Nach dem Selektieren der virtuellen Komponente 60 des Objekts 100 mit dem virtuellen Zeiger Z öffnet sich ein in der Darstellungseinrichtung 10 angezeigtes Menü 21, mit dem Einstellungen an der virtuellen Komponente 60 vorgenommen werden können. Denkbar wäre auch, mittels erfasster spezifischer Augenbewegungen (z.B. Blinzeln, Zwinkern, Augenrollen, usw.) spezifische Aktionen betreffend die virtuelle Komponente 60 durchzuführen. Eine weitere Möglichkeit der virtuellen Zeigergenerierung basiert auf einem direkten Verwenden der Lage- und Positionsparameter der Darstellungseinrichtung 10.
8 zeigt eine derartige Konfiguration mit einer Bedieneinrichtung 20 und einer Darstellungseinrichtung 10, deren Lage- und Positionsparameter mit zwei Kameras 50 erfasst werden, wodurch der Ursprung des virtuellen Zeigers Z einem Zentralbereich der Darstellungseinrichtung 10 entspringt. Die Bedieneinrichtung 20 zeigt auf ein in der Darstellungseinrichtung 10 dargestelltes Menü 21 mit Bedienelementen, mit denen Elemente der Vorrichtung 100 bedient werden können. Auf diese Weise wird der Ursprung des Zeigers Z im Zentrum der Darstellungseinrichtung 10 „fixiert“. In diesem Zusammenhang ist auch eine Zeigergenerierung mittels Darstellungseinrichtungen möglich, die über eine Fixierung im Raum verfügen oder deren Positionen ausschließlich auf festgelegten Bahnen verändert werden können (nicht dargestellt).
Eine weitere Möglichkeit zur Generierung des virtuellen Zeigers Z besteht, wie in 9 vereinfacht dargestellt, in einer kombinierten Verwendung der Darstellungseinrichtung 10 mit der Bedieneinrichtung 20. Beispielsweise können zu diesem Zweck auf der Darstellungseinrichtung 10 in Form einer Videobrille mehrere Empfänger 11 (z.B. Ultraschallempfänger oder andere Empfangssensoren) angebracht sein. Die Bedieneinrichtung 20 weist einen den Empfängern 11 zugeordneten Sender 22 auf. Mittels bekannter Verfahren (z.B. time of arrival, time difference of arrival, usw.) kann auf diese Weise mittels ausgesendeter und empfangener Signale die Position und Lage der Bedieneinrichtung 20 relativ zum Objekt 100 ermittelt werden und anschließend in den Figurenraum übertragen werden, wobei im Figurenraum ein virtueller Zeiger Z generiert wird.
Man erkennt in 9 die Bedieneinrichtung 20 und die Darstellungseinrichtung 10, wobei vom Sender 22 der Bedieneinrichtung 20 ausgehend ein Sendesignal angedeutet ist, das vom Empfänger 11 der Darstellungseinrichtung 10 empfangen wird und mit dem eine Position und eine Ausrichtung der Bedieneinrichtung 20 relativ zur Darstellungseinrichtung 10 ermittelt werden kann. Im Ergebnis wird auf diese Weise im Figurenraum der auf das Objekt 100 zeigende virtuelle Zeiger Z generiert.
Im Allgemeinen ergeben sich durch die Einführung eines veränderbaren virtuellen Zeigers Z im Figurenraum unterschiedliche mögliche Navigations- und Bedienmöglichkeiten. Nachfolgend sind einige dafür geeignete Konzepte und Mechanismen näher erläutert.
10 zeigt ein mögliches Szenario. Im realen Raum, Figurenraum oder Raum für erweiterte Realität können sich reale oder virtuelle Objekte befinden, die andere Objekte umschließen oder verdecken. Diese optischen Grenzen können mittels einer „Schneidefunktionalität“ des virtuellen Zeigers Z auf vorteilhafte Weise aufgehoben werden. In einfacher Weise geschieht dies durch ein „Ausschneiden“ eines Lochs aus einer ersten Schicht eines virtuellen Elements des Objekts 100 mittels des virtuellen Zeigers Z mit anschließendem Ausblenden des ausgeschnittenen Lochs in der Darstellungseinrichtung 10. Auf diese Weise werden dahinterliegende Objekte bzw. virtuelle Komponenten sichtbar gemacht und stehen somit für eine weitere Selektierung zur Verfügung. Auch ein Ausschneiden tieferliegender Schichten oder Teilbereiche von virtuellen Elementen der Objekte ist hierbei möglich.
In 10 ist erkennbar, dass mittels der genannten virtuellen Schneidefunktion des virtuellen Zeigers Z eine Schicht des Objekts 100 in einem definierten virtuellen Bereich B scheinbar „herausgeschnitten“ wird, wodurch für den Anwender dahinterliegende virtuelle Komponenten 60 des Objekts sichtbar gemacht werden. Ein vor der Bedieneinrichtung 20 angeordneter quadratischer Bereich mit vier Pfeilen soll einen Bewegungsablauf der Bedieneinrichtung 20 andeuten, mit der der virtuelle Bereich B aus dem Objekt 100 ausgeschnitten wird.
Insbesondere bei Objekten 100, welche intern komplex strukturiert sind, kann es sinnvoll sein, ein explizites Teil oder einen expliziten Teilbereich aus dem eigentlichen Objekt 100 zu extrahieren. In einfachster Form wird zu diesem Zweck eine virtuelle Komponente 60 mit Hilfe des virtuellen Zeigers Z markiert und herausgehoben und anschließend freigestellt im Figurenraum positioniert. Im Ergebnis kann auf diese Weise eine Art von Explosionszeichnung der virtuellen Komponente 60 erzeugt werden. Anschließend steht die solchermaßen herausgehobene virtuelle Komponente 60 des Objekts 100 zur weiteren Auswahl bzw. Bearbeitung zur Verfügung.
11 zeigt ein derartiges Konzept eines Extrahierens von virtuellen Komponenten 60. Man erkennt oberhalb des Objekts 100 einzelne virtuelle Komponenten 60, die mit dem geschilderten Verfahren aus dem Objekt 100 scheinbar „extrahiert“ wurden und nunmehr oberhalb des Objekts 100 freigestellt angeordnet dargestellt sind.
Um Komponenten bzw. Teilobjekte einer bestimmten Gruppe zu einer Ansicht herauszuheben, kann es sinnvoll sein, Gruppen der virtuellen Komponenten 60 zu bilden. Diese Gruppen können mittels eines zusätzlich eingeblendeten virtuellen Menüs oder einer Auswahl der jeweiligen virtuellen Komponente sichtbar gemacht bzw. hervorgehoben werden. Die Auswahl kann mittels direktem Markieren oder Umhüllen z.B. mit einem Lasso, einem Fenster, einer 3D-Figur, einem Strahl, einem Fächer, einem Kegel, einer Angelrute mit einer 3D-Figur als Haken, usw. erfolgen. Die so erstellte Maske kann beispielsweise auch invertiert werden. Das Hervorheben kann dabei durch Einfärbung oder Vergrößerung der jeweiligen virtuellen Komponente 60 und/oder Ausblendung von vorgelagerten virtuellen Komponenten 60 erzeugt werden. Bei dieser Vorgangsweise ist es ferner möglich, die nicht zur Gruppe gehörenden virtuellen Komponenten 60 für eine Auswahl zu sperren.
12 zeigt eine derartige Bearbeitung des Objekts 100 in Form eines beispielhaften Heraushebens von Gruppen von virtuellen Komponenten 60 aus dem Objekt 100. Durch die Selektion einer virtuellen Komponente 60 mittels des virtuellen Zeigers Z wird die gesamte Gruppe von virtuellen Komponenten 60 für den Anwender in der Darstellungseinrichtung 10 sichtbar gemacht.
Ein Heran- oder Herauszoomen von Teilbereichen des Objekts 100 oder die gesamte Darstellung des Objekts 100 kann mithilfe des virtuellen Zeigers Z auf unterschiedliche Arten erfolgen. Eine Möglichkeit dafür bietet das Markieren und Festhalten eines Punkts im Figurenraum und das anschließende Vorund Zurückbewegen des virtuellen Zeigers Z. Letzteres kann z.B. mittels eines Bedienelements 23 beispielsweise in Form eines Scrollrads, Touchscreens, Sliders, Bewegung eines Zeigergerätes im Raum, usw. erreicht werden.
Die 13 und 14 zeigen ein derartiges beispielhaftes Heranzoomen einer virtuellen Komponente 60 des Objekts 100 mittels eines Bedienelements 23 der Bedieneinrichtung 20.
Zudem ist ein Zoomen von realen Bereichen des Objekts 100 denkbar. Dazu wird mittels des virtuellen Zeigers Z ein Ausschnitt aus dem Blickbereich der Darstellungseinrichtung 10 ausgewählt und in einem zusätzlich eingeblendeten Bereich B dargestellt, wie es in 15 prinzipiell angedeutet ist. Man erkennt einen zentralen Bereich des Objekts 100, welcher mittels eines virtuellen pyramidenförmigen Zeigers Z selektiert ist. Rechts oben in der Figur ist erkennbar, dass dieser Bereich B herangezoomt und mittels der Darstellungseinrichtung 10 derart dargestellt ist, dass Details des selektierten Bereichs des Objekts 100 mit einer höheren Auflösung dargestellt werden.
Eine weitere Funktion des virtuellen Zeigers Z zur Navigation und Bedienung liegt in dessen Nutzung als Führungslinie. Dazu können Projektionsflächen, das Zentrum oder die Rotationsachse von Objekten 100 an den virtuellen Zeiger Z gebunden werden. Durch diese Art der Fixierung und/oder Ausrichtung können die Objekte 100 anschließend entlang des virtuellen Zeigers Z bzw. der Führungslinie und relativ zum Realraum verschoben bzw. platziert werden.
Ein Blick hinter ein verdecktes Objekt 100 lässt sich neben den bereits erläuterten Verfahren auch einfach über eine „Durchleuchtungsfunktion“ des virtuellen Zeigers Z realisieren. Am einfachsten lässt sich eine solche durch einen Lichtkegel, der in seiner Rotationsachse an den virtuellen Zeiger Z gebunden ist, realisieren. In einem Bereich, wo das Licht des Lichtkegels auf das Objekt 100 auftrifft, wird eine oder mehrere Schichten des virtuellen Objekts 100 bzw. eines 3D-Modells automatisch ausgeblendet und so die dahinterliegenden virtuellen Komponenten 60 sichtbar gemacht.
Die 16 und 17 zeigen derartige Szenarien. In 16 ist erkennbar, dass mittels eines kegelartigen Zeigers Z ein Bereich des Objekts 100 gewissermaßen virtuell „durchleuchtet“ und mittels der Darstellungseinrichtung 10 vergrößert dargestellt ist. Auf diese Weise kann mit der Bedieneinrichtung 20 eine Lupenfunktion bereitgestellt realisiert werden.
17 zeigt, dass mittels zweier pyramidenartiger virtueller Zeiger Z zwei Bereiche des Objekts 100 virtuell durchleuchtet und in der Darstellungseinrichtung 10 in zwei Bereichen B vergrößert dargestellt sind. Auch ein Fixieren eines virtuellen Zeigers Z an einem virtuellen und/oder an einem realen Objekt 100 ist möglich. Auf diese Weise lässt sich zum Beispiel eine Autoguiding-Funktion realisieren. Die 18 zeigt als beispielhaften Anwendungsfall eine Bohrmaschine BM als zeigergenerierendes Objekt mit einem darauf fixierten virtuellen Zeiger Z, der auf eine Stelle eines zu setzenden Bohrlochs ausgerichtet ist. Der Nutzer kann auf diese Weise einfach erkennen, an welcher Stelle des Objekts 100 mittels der Bohrmaschine BM das Bohrloch gebohrt werden soll.
Wie vorgehend bereits erwähnt, werden die virtuellen Elemente bzw. Komponenten 60 der Objekte 100 oder die virtuellen Abbilder der physisch vorhandenen realen Objekte 100 aus dem Realraum über den virtuellen Zeiger Z, der in verschiedenen Formen ausgebildet sein kann, ausgewählt. Dazu kann der Ursprung und die Ausrichtung bzw. die Form des virtuellen Zeigers Z in der Darstellungseinrichtung 10 für den Anwender sichtbar eingeblendet werden. Durch das Ausrichten des virtuellen Zeigers Z auf ein Objekt 100 oder eine Objektgruppe, die im Figurenraum abgebildet sind, kann das Objekt bzw. die Objektgruppe selektiert werden.
Eine weitere Möglichkeit, Objekte auszuwählen, besteht in einer Darstellung mittels einer Rasterung. Die Rasterung kann einerseits durch die Objekte selbst oder durch eine definierte Rastervorlage (Maske) durchgeführt werden. Ist eine derartige Rasterung aktiviert, kann der virtuelle Zeiger Z nicht mehr stufenlos durch den Raum bzw. die Darstellung des Objekts geführt werden. Gewissermaßen „magnetartig“ wird der virtuelle Zeiger Z von den Kuben der Rasterung oder durch die Rasterung mittels der Objekte angezogen, wodurch die virtuellen Zeiger Z auf die Komponenten 60 des Objekts hin gekrümmt werden. Dieser Mechanismus kann die Auswahl von Komponenten des Objekts bzw. das Ausrichten des virtuellen Zeigers Z erheblich erleichtern.
19 zeigt einen derartigen Anwendungsfall, wobei eine ursprüngliche Ausrichtung dreier virtueller Zeiger Z dargestellt ist, wobei die tatsächlichen virtuellen Zeiger Z auf die virtuellen Komponenten 60 des Objekts 100 gewissermaßen „verbogen“ werden. Die virtuellen Komponenten 60 wirken dabei magnetartig, wodurch der virtuelle Zeiger Z angezogen wird. Im Ergebnis springen dadurch die virtuellen Zeiger Z von einer virtuellen Komponente 60 zur nächsten virtuellen Komponente 60 und erleichtern dadurch die Selektion der einzelnen virtuellen Komponenten 60.
Die 20 und 21 zeigen eine Rasterung eines Objekts 100 mittels Kuben 26 unterschiedlicher Größe, wobei die Rasterung in 20 größer ausgebildet ist als jene in 21. Die Kuben 26 der Rasterung können auf diese Weise zur besseren Orientierung innerhalb des Objekts bzw. zur besseren Selektierung der virtuellen Komponenten 60 des Objekts 100 dienen.
22 zeigt eine Variante einer Rasterung eines Objekts 100, wobei im rechten Abschnitt der Figur ein Bereich B eines virtuellen Displays erkennbar ist, in dem die gerasterte virtuelle Komponente 60 des Objekts 100 angezeigt wird. Das Ändern einer Lage von virtuellen Komponenten 60 der Objekte 100 kann mithilfe des virtuellen Zeigers Z auf einfache Weise durchgeführt werden. Dazu wird das gewünschte Objekt markiert und am virtuellen Zeiger Z fixiert. Anschließend kann es im Figurenraum durch Änderung der Ausrichtung und des Ursprung des virtuellen Zeigers Z verschoben und abgelegt werden. Ist das Objekt an eine gewisse Lage gebunden, bzw. drehbar gelagert, wird das Verschieben in eine Rotationsbewegung des Objekts übersetzt.
Denkbar ist auch eine Lageänderung einer virtuellen Komponente 60 des Objekts 100. Dazu ist vorgesehen, dass die virtuelle Komponente 60 mit Hilfe des virtuellen Zeigers Z fixiert und um einen definierten Winkel α verdreht wird. Dies hat zur Folge, dass nunmehr die virtuelle Komponente 60 separiert vom Objekt 100 ist und auf der Darstellungseinrichtung 10 auf diese Weise noch besser erkennbar ist.
Neben der Möglichkeit, das Objekt 100 mittels des virtuellen Zeigers Z auszuwählen, können zuvor definierte Zeigerbahnen unterschiedliche Aktionen des Objekts 100 auslösen. Wird beispielsweise die Ausrichtung auf das Objekt in Form einer Xförmigen Bewegung durchgeführt, wird diese ausgeblendet. Der Bediener kann dabei ein X-Symbol auf das Objekt malen. Diese Bewegungen bzw. ein Verlauf, wie der virtuelle Zeiger Z auf das Objekt trifft, können bei Bedarf auch eingeblendet werden.
Dazu ist vorgesehen, dass eine virtuelle Komponente 60 mit einem X-förmigen Bewegungsmuster der Bedieneinrichtung 10 bzw. des Zeigers Z selektiert wird. Dies hat zur Folge, dass die virtuelle Komponente 60 in der Darstellungseinrichtung 10 gelöscht bzw. nicht mehr angezeigt wird.
Auch das Ändern der Lage des zeigererzeugenden Objekts oder Gerätes kann definierte Aktionen auslösen. Auf diese Weise ist es beispielsweise möglich, durch Drehen des zeigererzeugenden Objekts oder Geräts um die Zeigerachse das virtuelle Objekt mit zu drehen.
Dazu ist vorgesehen, dass der virtuelle Zeiger Z in einer ersten Position eine virtuelle Komponente 60 selektiert. Ein nachfolgendes Verdrehen der Bedieneinrichtung 20 um einen gewissen Winkel hat zur Folge, dass auch die virtuelle Komponente 60 entsprechend der Drehung der Bedieneinrichtung 20 verdreht wird. Denkbar ist auch, dass ein virtuelles Objekt im Figurenraum in unterschiedliche Teilbereiche eingeteilt wird. Je nachdem, auf welchen dieser Teilbereiche der virtuelle Zeiger Z ausgerichtet ist, können unterschiedliche Aktionen am Objekt 100 getätigt werden.
Als ein einfaches Beispiel kann hierzu ein einfacher Kubus genannt werden, der in vier Teilkuben eingeteilt ist. Wird der virtuelle Zeiger Z auf einen Teilkubus der virtuellen Komponente 60 gerichtet, so kann ein Verschieben der virtuellen Komponente 60 durchgeführt werden. Wird hingegen ein anderer Teilkubus anvisiert, so öffnet sich automatisch ein Menü 21 mit aktuellen Daten der realen Komponente, die der virtuellen Komponente 60 entspricht. Ist der virtuelle Zeiger Z auf einen anderen Teilkubus ausgerichtet, werden beispielsweise alle anderen vergleichbaren Objekte in der Darstellungseinrichtung 10 hervorgehoben oder ausgewählt. Nach diesem Schema sind vorteilhaft verschiedene Aktionen und Auswahlmöglichkeiten für verschiedene Komponenten des Objekts realisierbar.
In Abhängigkeit einer Schnitt- bzw. Ausrichtungsposition des virtuellen Zeigers Z sind mit der virtuellen Komponente 60 verschiedene Aktionen möglich. Beispielsweise kann bei einer Ausrichtung des virtuellen Zeigers Z im linken oberen Bereich der virtuellen Komponente 60 die virtuelle Komponente 60 bewegt werden. Bei einer Ausrichtung des virtuellen Zeigers Z auf den rechten unteren Bereich der virtuellen Komponente 60 wird ein Menü 21 mit Einstellmöglichkeiten geöffnet, mit dem technische Parameter der der virtuellen Komponente 60 entsprechenden realen Komponente geändert werden können. Die Durchführung dieser Steuerungsaktionen wird mit einer Steuerungseinrichtung 30 durchgeführt, die funktional mit der realen Komponente des Objekts 100 verbunden ist.
Zudem ist es auch denkbar, dem Objekt 100 ein zusätzliches Fenster zu überlagern, wobei das Fenster in weitere Fenster unterteilt werden kann, wobei mit den Fenstern definierte Aktionen für das Objekt 100 initiiert werden können.
Zusätzlich zur Möglichkeit der Generierung eines einzelnen virtuellen Zeigers Z besteht auch die Möglichkeit, mehrere Zeiger Z zu generieren und zu verwenden, die mit den vorgehend erläuterten Verfahren generiert werden. Dies kann sich insbesondere bei mehreren aktiven Benutzern bzw. autonomen Maschinen oder bei erweiterten Bedienfunktionen als nützlich erweisen. Dabei kann einer der virtuellen Zeiger Z auch fern vom Objekt 100 (remote) an einem entfernten Standort generiert werden, wodurch das Objekt 100 von mehreren virtuellen Zeigern Z bzw. Anwendern gesteuert werden kann, wobei alle virtuellen Zeiger Z in der Darstellungseinrichtung 10 sichtbar dargestellt werden. Sinnvoll kann dieses Konzept z.B. für Schulungszwecke und/oder für technische Unterstützung von Fachleuten aus der Ferne sein.
Eine weitere vorteilhafte Anwendung des Verfahrens wäre ein Anwender, der über zwei zeigererzeugende Bedieneinrichtungen 20 verfügt. Mit einem ersten virtuellen Zeiger Z1 kann der Anwender eine virtuelle Komponente 60 des Objekts 100 selektieren. Mit einem zweiten virtuellen Zeiger Z2 kann der Anwender die ausgewählte virtuelle Komponente 60 des Objekts bearbeiten oder weitere Aktionen auslösen.
Bei einem derartigen beispielhaften Szenario wird der erste virtuelle Zeiger Z1 mittels der Darstellungseinrichtung 10 generiert und der zweite virtuelle Zeiger Z2 mittels der Bedieneinrichtung 20 erzeugt. Mittels eines Menüs 21 kann die der virtuellen Komponente 60 entsprechende reale Komponente des Objekts gesteuert werden, indem Parameter der virtuellen Komponente 60 des Objekts 100 geändert oder sonstige Aktionen ausgelöst werden.
In Bezug auf Objekte, die sich im Figurenraum befinden und mittels einer Steuerungseinrichtung 30 mit einem realen Objekt verbunden sind, ist es denkbar, real vorhandene und bekannte physikalische Größen, Parameter und Zustände zu verwenden und das virtuelle Abbild entsprechend zu verändern. Beispielsweise kann auf diese Weise ein Motor einer Maschine, der heiß gelaufen ist, mit einer definierten Farbe (zum Beispiel rot) eingefärbt und vergrößert dargestellt werden.
Dies ergibt ein beispielhaftes Szenario einer dynamischen Objektänderung in Abhängigkeit von der physikalischen Größe Temperatur. Mittels einer in die Darstellungseinrichtung 10 eingeblendeten Anzeige 24 wird signalisiert, dass die der virtuellen Komponente 60 entsprechende reale Komponente des Objekts 100 in Form des Motors eine Temperatur aufweist, die z.B. größer als 100°C ist.
Durch das Führen des virtuellen Zeigers Z durch den Figurenraum 80 mit rein virtuellen Objekten entstehen Bewegungsinformationen. Diese Informationen können aufgezeichnet und einem realen Roboter übergeben werden, der diese Bewegungsinformationen bzw. -bahnen dann am realen Objekt 100 abfährt. Auf diese Weise ist eine Art von zeigerdefinierter Programmierung von Bewegungsabläufen eines Objekts 100 unterstützt. Weiters kann auch ein Lichtkegel eines MovingHeads, Verfolger, usw. bzw. Projektorbild mittels einer Transformation über angesteuerte Lichtquelle die Bewegungsinformation nutzen.
Bei einem derartigen beispielhaften Szenario wird mittels der Bedieneinrichtung 20 ein spezifisches Bewegungsmuster auf das Objekt 100 gezeichnet. Am Objekt wird daraufhin ein Bewegungsablauf entsprechend dem „programmierten“ Bewegungsmuster ausgeführt.
Drag and Drop ist eine bekannte Funktionalität, die sich für eine Vielzahl von Anwendungen des erfindungsgemäßen Verfahrens anbietet. So ist es beispielsweise möglich, Parameter für ein real vorhandenes Objekt in einem virtuellen Objekt oder in einem Anzeigefenster zu hinterlegen. Wird nun ein derartiges „Parameterobjekt“ mittels eines virtuellen Zeigers Z ausgewählt und per Drag and Drop auf ein Objekt gezogen, welches diese Parameter annehmen kann, können diese ohne weiteres Zutun vom Objekt übernommen werden.
Bei einem derartigen Szenario wird ein von der Bedieneinrichtung 20 generierter virtueller Zeiger Z auf ein Parameterobjekt 25 gerichtet. Per Drag and Drop wird das Parameterobjekt 25 auf die virtuelle Komponente 60 des Objekts 100 gezogen, wodurch die Parameter des Parameterobjekts 25 auf die der virtuellen Komponente 60 entsprechende reale Komponente des realen Objekts 100 übertragen werden. Dadurch können auf einfache Weise zum Beispiel Parameter, die Beschleunigungs-, Verzögerungs-, Lastkurven, usw. repräsentieren, auf eine als Elektromotor ausgebildete Komponente des Objekts 100 übertragen werden.
Ferner kann auf diese Weise auch ein direktes Übernehmen der Parameter eines Parameterobjekts 25 realisiert werden. Wird zu diesem Zweck beispielsweise in einem „Parametermodus“ eines virtuellen Zeigers Z auf ein Parameterobjekt 25 mit definierten Parametern gezeigt und dieses per Drag and Drop auf ein Objekt geführt, so werden die Parameter des Parameterobjekts 25 für das Objekt 100 übernommen.
In diesem Zusammenhang kann auch ein Anzeigen von aktuellen Daten oder möglichen Aktionen über ein zusätzlich mittels der Darstellungseinrichtung 10 angezeigtes virtuelles Display realisiert werden. Dazu führt der Anwender den virtuellen Zeiger Z vom gewählten Objekt per Drag and Drop in das virtuelle Display. Anschließend werden dort beispielsweise aktuelle Daten oder weitere Auswahlmöglichkeiten in Bezug zum Objekt eingeblendet.
Bei einer derartigen Sequenz wird mittels des virtuellen Zeigers Z eine virtuelle Komponente 60 selektiert, die virtuell zu einer Anzeige 24 verschoben wird. Dadurch werden dem Anwender auf der Anzeige 24 zu der virtuellen Komponente 60 zugeordnete spezifische Daten, wie z.B. ein Datenblatt, eine Bestellnummer, ein Verlauf einer Kenngröße, diverse Parameter bzw. Zusammenhänge, usw. angezeigt. Zur erleichterten Bedienung kann in der noch leeren Anzeige 24 vorab ein Hilfstext, z.B. des Inhalts: „Bitte Objekt hier einfügen“ angezeigt werden.
Teile einer Anlage/Maschine/Bühne und/oder eines Gebäudes sind in der Regel elektrisch, mechanisch und/oder über eine Logik eines Computerprogramms miteinander verbunden und bilden auf diese Weise ein „Kausalobjekt“. Diese Zusammenhänge sind in CAD- und Softwareentwicklungsumgebungen oftmals bekannt. Im Zusammenhang mit erweiterter Realität können die genannten Kausalitäten den Objekten hinterlegt werden. Durch die Auswahl eines Objekts mit den hier beschriebenen Methoden und Verfahren ist es möglich, eine dahinterliegende Kausalkette automatisch darzustellen bzw. die Teilnehmer, die mit dem ausgewählten Objekt in einer Kausalgruppe verbunden sind, einzublenden.
Bei einem derartigen beispielhaften Szenario wird der virtuelle Zeiger Z auf eine virtuelle Komponente 60 in Form eines Motors eines Schulungsroboters ausgerichtet, wobei in einer Anzeige 24 die Funktionalität „Kausalkette“ aktiviert ist, wodurch automatisch drei darunter angeordnete Anzeigen 24 dargestellt werden. Nunmehr kann der Anwender aus der Kausalkette entweder eine mechanische, eine elektrische, oder eine logische Kausalkette auswählen. Wählt der Anwender die mechanische Kausalkette, so werden automatisch der NC-Achsenverbund und dessen mechanische Kopplung dargestellt. Beispielsweise werden in diesem Fall sämtliche Elemente der mechanischen Kausalkette in einer einheitlichen Farbe, zum Beispiel rot, dargestellt.
Wählt der Anwender jedoch in einer Anzeige 24 die logische Kausalkette aus, so wird er in ein weiteres Menü geleitet. Er kann jetzt beispielsweise den Menüpunkt „Freigabekette“ und anschließend „Software“ wählen. Dadurch wird eine Software-Entwicklungsumgebung des Objekts im Debugging-Modus eingeblendet und es kann ein Ablauf eines Softwareprogramms des Objekts mit einem Verzweigen in einzelne Programmzeilen durchgeführt werden.
Als eine weitere beispielhafte Anwendung des vorgeschlagenen Verfahrens ist ein Feldbussystem mit mehreren Feldbusteilnehmern zu nennen. Wird beispielsweise im Kausalmodus ein Feldbusteilnehmer gewählt, wird der Anwender aufgefordert, zwischen „direkt“ oder „Feldbus“ zu wählen. Wählt der Benutzer ersteres, wird der Feldbusteilnehmer mit dessen weiteren Kausalketten eingeblendet. Wählt der Benutzer hingegen „Feldbus“, werden alle Teilnehmer, welche den gleichen Feldbusmaster wie der gewählte Teilnehmer besitzen, eingeblendet und/oder hervorgehoben.
Bei einem derartigen beispielhaften Szenario wird mittels des virtuellen Zeigers Z ein Feldbusteilnehmer (z.B. eine Temperatureingangskarte einer speicherprogrammierbaren Steuerung SPS) eines Feldbussystems selektiert. Mittels einer Anzeige 24 können Einstellungen und Daten des selektierten Feldbusteilnehmers angezeigt werden. Auf diese Weise ist eine einfache und komfortable Analyse von vollständigen Logikketten für Komponenten eines Feldbussystems möglich.
In Abhängigkeit von den Objekten und/oder Gruppen von Anwendern kann vorgesehen sein, dass nur eine beschränkte Bedienoder Navigationsfunktionalität realisierbar ist. Diese spezifischen Eigenschaften können beispielsweise den Objekten, auf die der virtuelle Zeiger Z ausgerichtet ist, entnommen werden oder sind generell vom jeweiligen Anwender abhängig, der sich im System angemeldet hat. Die Eigenschaften eines oder mehrerer virtueller Zeiger Z kann auch von der verwendeten Darstellungseinrichtung 10 abhängig sein. Wird als Darstellungseinrichtung 10 beispielsweise ein Tablet verwendet, kann der Betrag des virtuellen Zeigers Z räumlich limitiert sein. Bei Verwendung einer halbtransparenten Videobrille kann der virtuelle Zeiger Z seine maximale räumliche Ausprägung erhalten. Vorteilhaft kann der virtuelle Zeiger Z unterschiedliche geometrische Ausbildungen annehmen, wie zum Beispiel strahlenförmig, pyramidenförmig, keilförmig, fächerförmig, schlaufenförmig, rutenförmig, usw.
Beispielsweise kann auch vorgesehen sein, dass sich der virtuelle Zeiger Z entsprechend einem Parameter des Realraums ändert, zum Beispiel in Abhängigkeit von der Temperatur, Luftfeuchtigkeit, Tageszeit, Helligkeit, usw. unterschiedliche Längen annimmt.
Ein weiteres Vereinfachen der Bedienung und der Navigation lässt sich mittels eines Einblendens von Darstellungseinrichtungen oder Bedienoberflächen, wie zum Beispiel einer Mensch-Maschine-Schnittstelle (engl. Human Machine Interface, HMI) bzw. einer graphischen Benutzeroberfläche (engl. Graphical User Interface, GUI) in der Darstellungseinrichtung 10 für den Raum der erweiterten Realität und/oder den Figurenraum 80 erreichen.
Eine Möglichkeit dafür ist das Einblenden eines virtuellen Displays, welches die Mensch-Maschine-Schnittstelle der jeweiligen Anlage/Maschine/Gebäude/Bühne anzeigt. Diese Art der Visualisierung kann vorteilhaft das reguläre Verbauen von Displays in Anlagen ersetzen bzw. ergänzen. Ein Maschinenführer kann auf diese Weise beispielsweise in einer Produktionsstraße von Maschine zu Maschine schreiten und automatisch deren virtuelle Displays in seine Darstellungseinrichtung 10 eingeblendet bekommen und mittels der eingeblendeten Mensch-Maschine-Schnittstelle die entsprechende Maschine bedienen. Dies erfolgt durch die funktionale Verknüpfung der Bedieneinrichtung 20 mit der Steuerungseinrichtung 30, mittels der die jeweilige Anlage/Maschine physisch gesteuert wird.
Bei einem derartigen beispielhaften Szenario wird in der Darstellungseinrichtung 10 eine Anzeige 24 in Form einer Mensch-Maschine-Schnittstelle mit einem Bedienmenü eingeblendet, über die das Objekt 100 mit seinen Komponenten steuerbar ist.
In einem weiteren derartigen Szenario ist ein Objekt 100 von einem Schaltschrank aus steuerbar. Dabei ist vorgesehen, dass beim Selektieren des Schaltschranks mittels eines virtuellen Zeigers Z eine Anzeige 24 in Form eines virtuellen Bedienmenüs mit diversen Bedienelementen für das Objekt 100 angezeigt wird.
In diesem Zusammenhang ist zusätzlich zur Bedienung mittels des Zeigers Z auch eine direkte Verlinkung einer herkömmlichen Tastatur und/oder Maus auf ein derartiges virtuelles Bedienmenü denkbar. Dazu kann der Anwender die genannte virtuelle Gerätschaft auswählen und in einem Untermenü eine kabellose oder gebundene Maus und/oder Tastatur aktivieren, welche mit dem virtuellen Display/Mensch-Maschine-Schnittstelle/Bedienmenü funktional verbunden ist. Dabei kann für unterschiedliche Bedienmenüs auch eine jeweils unterschiedliche Funktionalität der unterschiedlichen Eingabegeräte vorgesehen sein.
Denkbar ist auch, dass in die Darstellungseinrichtung 10 eine Mensch-Maschine-Schnittstelle eingeblendet wird. Dies kann automatisch je nach Ausrichtung des virtuellen Zeigers Z (bzw. der Bedieneinrichtung 20 oder der Darstellungseinrichtung 10) oder durch ein Fixieren der Mensch-Maschine-Schnittstelle im Darstellungsbereich geschehen. Dabei kann auch ein Darstellen mehrerer Mensch-Maschine-Schnittstellen im Darstellungsbereich der Darstellungseinrichtung 10 vorgesehen sein. Auch bei dieser Art der Darstellung mittels Mensch-Maschine-Schnittstelle kann eine Zuweisung von Tastatur/Maus oder anderen Eingabegerätschaften sinnvoll sein. Im Zusammenhang mit Bedienmöglichkeiten kann auch ein virtueller Bedienungsbildschirm (engl. touchscreen, nicht dargestellt) vorgesehen sein. Mittels einer Gestenerkennung einer Hand oder mehrerer Hände der/des Anwender(s) kann die eigentliche Bedienung neben den anderen bereits erwähnten Möglichkeiten erfolgen. Dadurch lassen sich einige Vorteile realisieren, so können auf diese Weise z.B. bekannte Probleme mit herkömmlichen Bedienungsbildschirmen (z.B. Reinigungsaufwand, Berührungsunempfindlichkeit, usw.) vermieden werden, weil die virtuellen Bedienungsbildschirme derartige Effekte nicht aufweisen. Ferner kann ein Implementieren einer bekannten Gestensteuerung (z.B. Wischen, Zoomen, Verdrehen, usw.), wie sie beispielsweise von der Bedienung von mobilen elektronischen Endgeräten bekannt ist, realisiert werden.
Denkbar ist auch ein Einblenden einer Anzeige bzw. einer graphischen Benutzeroberfläche GUI auf einem real vorhandenen Berührungsbildschirm. Dabei wird der Inhalt der graphischen Benutzeroberfläche GUI mittels der Darstellungseinrichtung 10 auf den real vorhandenen Berührungsbildschirm projiziert. Der real vorhandene Berührungsbildschirm kann wie in seiner gewöhnlichen Funktion die Eingaben des Anwenders entgegennehmen. Denkbar sind auch mobile Berührungsbildschirme, die direkt über einen Datenkanal mit der Darstellungseinrichtung 10 in Form einer Datenbrille verbunden sind (nicht dargestellt).
Virtuelle Zeiger Z können zusätzlich oder alternativ zu den vorgenannten Möglichkeiten auch virtuell angereicherten oder realen Objekten entspringen und sind auf diese Weise nicht unbedingt an ein Vorhandensein einer Bedieneinrichtung 20 gebunden. Dabei können die virtuellen Zeiger Z auch in diesem Fall spezifische Eigenschaften aufweisen, z.B. dynamisch ausgebildet sein.
Dabei ist es auch möglich, ein Objekt und/oder deren Eigenschaften mit den Daten einer oder mehrerer Steuereinrichtungen zu koppeln. Dadurch kann beispielsweise die Lage und Ausrichtung eines Objektes im Raum an eine (real vorhandene oder virtuelle) Antriebsachse oder Kinematik gekoppelt sein. Auch eine Umschaltung eines Objekttyps oder ein Erzeugen oder Löschen von Objekten mittels einer Steuereinrichtung ist denkbar.
In der Darstellungseinrichtung 10 können ein real vorhandenes Förderband und darauf angeordnete virtuelle Objekte 83 in Form von Werkstücken dargestellt werden. Wird eine Bewegung des Förderbandes über eine Steuereinrichtung veranlasst, so werden die Lage- und Positionsparameter der virtuellen Werkstücke entsprechend mit geändert. Auf diese Weise kann vorteilhaft eine Förderkapazität bzw. eine räumliche Relation zwischen dem Förderband und den darauf zu befördernden Werkstücken bereits in einer frühen Projektphase überprüft werden.
Als Marker, Anker oder Markierelemente 40 werden im Zusammenhang mit erweiterter Realität meist definierte, wenigstens zweidimensionale Abbildungen, wie z.B. Rechtecke, Kreise, Würfel oder bestimmte markante geometrische Objekte verstanden. Diese können von einer oder mehreren im Raum oder auf einer Darstellungseinrichtung 10 angeordneten Kameras 50 erfasst und weiterverarbeitet werden. Dadurch können eine Position und Ausrichtung der Kamera 50 in Relation zum erfassten Objekt 100 bestimmt werden.
Insbesondere eine passive Charakteristik dieser Markierelemente 40 kann bei ungünstiger Beleuchtung oder ungünstigem Lichteinfall deren Erfassung ungünstig beeinflussen. Es sind deshalb auch aktive Varianten für die Markierelemente 40 denkbar, die über einen Kommunikationskanal mit anderen Gerätschaften oder untereinander verbunden sind.
Diese aktiven Markierelemente 40 weisen z.B. beisammen angeordnete LED-Panels auf, die zusammen eine Matrix bilden. Das von den LED-Panels emittierte Licht kann dabei Wellenlängen im sichtbaren und im unsichtbaren Bereich aufweisen. Mittels einer Kamera kann die entsprechende Wellenlänge erfasst und auf diese reagiert werden. Um eventuell auftretende optische Spiegelungen weitgehend auszuschließen, kann zudem ein Einsatz von Polarisationsfiltern vorgesehen sein.
Des Weiteren sind auch Markierelemente 40 möglich, die an der Rückseite beleuchtet sind. Auch hier kann ein Einsatz von Lichtquellen, die nicht sichtbares oder sichtbares Licht emittieren, vorgesehen sein.
Markierelemente 40 in Form von LED-Leuchtketten mit sichtbarer oder nicht sichtbarer Strahlung können insbesondere in Eckbereichen oder Umrissen von Räumlichkeiten und Objekten angeordnet sein.
Eine weitere Möglichkeit zur Verwendung von Markierelementen 40 besteht darin, diese in einer Maschine/Objekt zu verbauen. Dabei kann ein Anordnen der Markierelemente 40 in einem äußeren Randbereich und/oder im Inneren des Objekts vorgesehen sein.
Aktive Markierelemente 40 können einen Code, der über eine Taktung der Lichtquelle erzeugt wird, bilden. Auf diese Weise kann vorteilhaft eine gleichbleibende Ausprägung des Markierelements 40 zur Generierung von unterschiedlichen Codes genutzt werden. Die Markierelemente 40 können auf diese Weise z.B. über ihren individuellen Blinkcode identifiziert werden.
Es sind unterschiedliche Architekturen für einen softwareund hardwaretechnischen Aufbau des vorgeschlagenen Systems der erweiterten Realität denkbar, jedoch beinhaltet ein solches zumindest eine Darstellungseinrichtung 10, mittels der der Figurenraum 80 abgebildet wird, sowie eine Bedieneinrichtung 20 oder ein zeigergenerierendes Objekt bzw. einen virtuellen Zeiger Z.
Im Blockschaltbild von 23 sind schematisiert Einrichtungen eines erfindungsgemäßen Systems 200 zum Steuern eines Objekts 100 dargestellt. Mögliche Verbindungen bzw. Kommunikationskanäle zwischen den Einrichtungen sind in Form von Pfeilen dargestellt. Man erkennt eine Darstellungseinrichtung 10 für erweiterte Realität, die funktional mit einer Bedieneinrichtung 20 und mit einer Steuerungseinrichtung 30 verbunden ist. Die Bedieneinrichtung 20 ist funktional mit dem Realraum 70 mit einem darin angeordneten realen Objekt 100 und mit dem Figurenraum 80 mit darin angeordneten virtuellen Objekten 83 verbunden. Ferner ist die Steuerungseinrichtung 30 in bidirektionaler Weise mit dem Realraum 70 und mit dem Figurenraum 80 verbunden.
Die Steuerungseinrichtung 30 kann mehrere Aufgaben erfüllen, da sie in der Regel über die größte Rechenleistung aller Einrichtungen eines derartigen Systems 200 verfügt. So kann sie für eine Auswertung von Kamera- und/oder Sensorsystemen im Realraum 70, in der Darstellungseinrichtung 10 und in der Bedieneinrichtung 20 vorgesehen sein. Optional kann auch eine wenigstens teilweise Auslagerung der genannten Funktionen auf die jeweiligen Gerätschaften möglich sein.
Optional kann der Figurenraum 80 in die Steuerungseinrichtung 30 integriert werden (nicht dargestellt), wobei die Steuerungseinrichtung 30 die dazu notwendigen Transformationen durchführen kann. Eine weitere Aufgabe der Steuerungseinrichtung 30 kann darin bestehen, die virtuellen Objekte zu ermitteln, die mittels des virtuellen Zeigers Z ausgewählt wurden.
Eine wesentliche Aufgabe der Steuerungseinrichtung 30 besteht im Ansteuern der physisch vorhandenen realen Objekte 100 im Realraum 70. Dazu ist die Steuerungseinrichtung 30 mit der Aktorik und Sensorik (nicht dargestellt) der Objekte 100 im Realraum 70 über ein Kommunikationssystem z.B. in Form einer analogen Leitung (nicht dargestellt) verbunden. Die Steuerungseinrichtung 30 kann mit allen anderen Teilnehmern 10, 20, 70, 80 des Systems 200, die über einen Kommunikationskanal verfügen, uni- oder bidirektional verbunden sein.
Der Realraum 70 bzw. physische Raum enthält reale Objekte 100, die mit der Steuerungseinrichtung 30 verbunden sind. Die genannten Objekte 100 können beispielsweise Sensoren, Aktoren, Darstellungs- und Bedieneinheiten, Motoren, usw. sein.
Im Realraum 70 können optional Markierelemente 40 und/oder Kameras 50 angeordnet sein. Im Realraum 70 können ferner optional auch Sensoren und/oder Sendeeinheiten angebracht sein, die nicht nur mit der Steuerungseinrichtung 30, sondern auch mit der Bedieneinrichtung 20 und/oder mit der Darstellungseinrichtung 10 verbunden sind.
Der Figurenraum 80 kann wenigstens teilweise in der Darstellungseinrichtung 10 dargestellt sein und auf diese Weise dem Realraum 70 überlagert werden. Der Figurenraum 80 enthält virtuelle Objekte 83, die mit einem realen Objekt 100 des Realraums 70 über die Steuerungseinrichtung 30, die Darstellungseinrichtung 10 und die Bedieneinrichtung 20 verbunden sein können. Im Ergebnis wird auf diese Weise ein Objekt 100 des Realraums 70 mit den virtuellen Objekten 83 des Figurenraums 80 gewissermaßen „angereichert“ bzw. von diesen überlagert, um eine erweiterte Realität zu bilden. Um die Navigation durch den Figurenraum 80 und innerhalb des Figurenraums 80 sowie die Bedienung der darin enthaltenen virtuellen Objekte 83 zu erleichtern, können der oder die generierten virtuellen Zeiger Z als virtuelle Objekte 83 in den Figurenraum 80 aufgenommen werden.
Die Darstellungseinrichtung 10 kann die Steuerungseinrichtung 30 und/oder die Bedieneinrichtung 20 beinhalten (nicht dargestellt). Primär ist sie jedoch dazu vorgesehen, um dem Anwender den Realraum 70 in Kombination mit den virtuellen Objekten 83 des Figurenraums 80 sichtbar darzustellen. Denkbar ist auch, dass mittels der Darstellungseinrichtung 10 ausschließlich der Figurenraum 80 dargestellt wird.
Die Darstellungseinrichtung 10 verfügt in einer Ausbaustufe über die notwendige Sensorik, um ihre Position und Lage bzw. Ausrichtung im Realraum 70 bzw. relativ zum Objekt 100 zu erfassen.
In einer erweiterten Ausbaustufe kann die Darstellungseinrichtung 10 zusätzliche Sensorik aufweisen, um die Position und Ausrichtung eines virtuellen Zeigers Z oder der Bedieneinrichtung 20 relativ zur Darstellungseinrichtung 10 zu erfassen. Dabei ist auch möglich, dass die bereits vorhandene Sensorik der Darstellungseinrichtung 10 diese Aufgabe übernehmen kann.
Die Bedieneinrichtung 20 kann als ein eigenständiges Gerät ausgebildet sein. Sie ist mit der Steuerungseinrichtung 30 und/oder mit der Darstellungseinrichtung 10 funktional verbunden. Die Bedieneinrichtung 20 kann ferner optional über Markierelemente 40, Sende- und/oder Empfangseinheiten sowie Sensorik zur Positions- und Lageerfassung verfügen. Darüber hinaus kann die Bedieneinrichtung über wenigstens ein Bedienelement 23 in Form von Tasten, Touchpads, Scrollrädern, usw. verfügen (nicht dargestellt).
Ein zeigergenerierendes Objekt ist ein physisch vorhandenes reales Objekt, das keinen Kommunikationskanal aufweist. Zum Beispiel kann ein Stab oder eine Hand ein derartiges Zeigerobjekt repräsentieren. Die Lage- und Positionsparameter des zeigergenerierenden Objekts können über ein Kamerasystem ermittelt werden, wodurch der virtuelle Zeiger Z generiert wird.
Im Folgenden werden einige Anwendungsfälle des vorgeschlagenen Verfahrens näher erläutert.
Wie vorgehend bereits erläutert, kann ein Darstellungsgerät für erweiterte Realität einen Berührungsbildschirm oder auch ein mobiles Panel ersetzen oder erweitern. Aber auch ein bereits vorhandenes Display kann um die Funktionalität „Erweiterte Realität“ erweitert werden. Die Bedienung mittels eines virtuellen Zeigers Z eröffnet hier vollkommen neue Ansätze. Mittels intuitiv verketteter Objektstrukturen kann ein Anwender durch die Maschine/Anlage/Gebäude geleitet werden, wobei komplexe Strukturen gewissermaßen „aufgebrochen“ werden.
Auch eine virtuelle Verfolgung eines real ablaufenden Prozesses oder eines in Bearbeitung befindlichen Werkstücks ist hierbei vorteilhaft möglich.
Im Fehlerfall oder bei Warnungen können die betroffenen Anlagenteile für den Anwender sichtbar hervorgehoben werden und deren aktuelle Daten oder Datenblätter intuitiv abgerufen werden, ohne dass der Anwender mühevoll diverse Untermenüs durchscrollen muss.
Im Bereich der Hilfestellung kann erweiterte Realität weitreichende Vorteile mit sich bringen. Insbesondere die beschriebenen Kausalobjekte in Kombination mit einem Bedienzeiger ermöglichen eine intuitive Fehlersuche, die auf aktuellen Daten basiert. Auch eine Unterstützung von Montagearbeiten ist dadurch vorteilhaft möglich.
Insbesondere eine Einbeziehung von Experten kann durch erweiterte Realität und mittels der vorgehend beschriebenen Bedien- und Navigationseinrichtung direkt auf eine zu inspizierende Anlage wesentlich verbessert werden. Der Raum der erweiterten Realität kann dazu über eine Cloud oder direkt übertragen werden. Der Experte hat auf diese Weise die Möglichkeit, das gleiche Bild wie eine Person bei der zu inspizierenden Anlage vor Ort zu sehen. Durch eine Kopplung einer Bedieneinrichtung des entfernt sitzenden Experten mit der zu inspizierenden Anlage kann dieser durch die Anlage navigieren und die Person vor Ort auf vorteilhafte Weise z.B. bei einer Fehlersuche oder einer Produktschulung unterstützen.
Grundsätzlich werden Roboter heutzutage rein virtuell oder von Hand eingelernt. Ein Einlernen im Raum für erweiterte Realität ist gegenwärtig kaum vorhanden und ist gegenwärtig eher Gegenstand von Forschung. Auf erweiterter Realität basiertes Einlernen von Robotern kann jedoch erhebliche Vorteile mit sich bringen. Einerseits lassen sich dadurch Bahnen sowie Positionen des Roboters mittels des virtuellen Zeigers räumlich darstellen. Andererseits kann das Szenario des Einlernens des Roboters in der realen Umgebung gemacht bzw. simuliert werden und dies ohne real vorhandenen Roboter und/oder Werkstücke.
Insbesondere in Anfangsphasen von Projekten ist es schwierig, eine Automatisierungstechnik optimal einzubinden. Durch das Integrieren von erweiterter Realität im Entwicklungsprozess kann die Automatisierungstechnik schon frühzeitig in das jeweilige Projekt eingebunden werden. So können beispielsweise 3D-Modelle dazu genutzt werden, um erste Code-Ausführungen und Architekturen zu prüfen.
Ferner kann eine teilweise fertiggestellte Anlage in virtueller Art und Weise um noch fehlende Teile ergänzt werden. Dadurch kann beispielsweise ein SPS-Programm bereits auf der quasi-fertiggestellten Anlage getestet werden.
Parallel dazu ist auch eine Kombination von erweiterter Realität und Programmiersprachen denkbar. Wird beispielsweise ein Schalter einer Maschine ausgewählt, so lässt sich dieser mit einem Softwareobjekt, das z.B. gemäß der Vorschrift IEC 61131 oder 61499 ein Funktionsblock sein kann, verbinden. Auch umgekehrt kann dies möglich sein, wobei ein Programmierer softwareseitig einen Eingang auswählt und anschließend ein physisches, datenlieferndes Element. Auch mit Ausgängen, Aktoren, Sensoren oder auch Datenpunkten aus Protokollen und Datenbanken kann dies realisiert werden.
Dazu eignet sich auch eine datenflussorientierte oder modellbasierte, insbesondere eine im Wesentlichen grafische Programmiersprache (zum Beispiel BPML, EPK, CFC, UML, National Instruments LabView, MatLab Simulink, usw.).
Mittels des erfindungsgemäßen Verfahrens ist eine Hardware-Software-Verlinkung möglich. Dazu wird mittels der Bedieneinrichtung 20 ein virtueller Zeiger Z generiert, der auf einen zweiten Sensor eines Objekts 100 in Form einer technischen Anlage gerichtet ist. An ein mittels der Darstellungseinrichtung 10 dargestelltes logisches UND kann ein Ausgang eines ersten Sensors der Anlage geführt sein. Durch Schwenken der Bedieneinrichtung 20 und damit des virtuellen Zeigers Z wird per Drag and Drop der zweite Sensor auf einen zweiten Eingang des logischen UND gezogen, wodurch im Ergebnis eine elektrische Verknüpfung der beiden Signale der beiden Sensoren, an der Anlage entsprechend dem logischen UND durchgeführt wird.
Mittels der Steuerungseinrichtung 30, die mit der Bedieneinrichtung 20 funktional verbunden ist, wird die erläuterte logische Verschaltung an der Anlage real durchgeführt. In Verbindung mit der Realität können mit dem vorgeschlagenen Verfahren virtuell durchgeführte Simulationen besser verständlich gemacht werden. Beispielsweise kann eine nur teilweise aufgebaute Anlage virtuell vervollständigt und dadurch in einem Vollausbau simuliert werden. Denkbar sind z.B. Trockenläufe von Maschinen mit virtuellen Werkstücken, wie es weiter oben beispielhaft angedeutet wurde.
Insbesondere während verschiedener Phasen der Entwicklung können Maschinen, Elektro- und Automatisierungstechniker bereits fertig gestellte 3D-Modelle nutzen, um Teile der Anlage zu simulieren. Auch kann der Käufer einer Anlage einen Einblick auf ein virtuelles Abbild des fertiggestellten Teils der Anlage erhalten.
In Bereichen der Intralogistik kann es oftmals sinnvoll sein, virtuelle Lagepläne von Maschinen, Anlagen sowie ganzen Produktionsstraßen und -hallen zu erstellen. Nachteilig können diese Pläne oftmals von realen Gegebenheiten abweichen. Teile von Produktionsprozesssteuerungen (z.B. Kanban-System, Vendor Managed Inventory, usw.) können mit dem vorgeschlagenen Verfahren an einen täglichen Workflow angepasst und deren Position verändert werden. Aber auch das nicht durchgängige Erfassen von Objekten, Arbeitsplätzen und frequentierten Wegen kann in der Planung zu Problemen führen.
Mit erweiterter Realität können hier wesentliche Vorteile erzielt werden. Wird beispielsweise das Anschaffen einer neuen Anlage angedacht, kann diese mit ihren tatsächlichen Ausmaßen in den Realraum projiziert werden. Auf diese Weise kann man sich sehr realitätsnah ein virtuelles Bild von den realen Gegebenheiten im Zusammenhang mit der neuen Anlage machen. Auch eine Simulation derselben, inklusive von Zuführungs- und Abführungszonen, können auf einfache Weise realisiert werden.
Die Bedienung und Navigation mittels eines oder mehrerer virtueller Zeiger Z unterstützt eine intuitive Handhabung der Anlage. Assistenzsysteme sind insbesondere in der Automobiltechnik bereits bekannt. Denkbar ist es, im Raum für erweiterte Realität ein vorgeschlagenes System, das mit den vorgehend beschriebenen Navigations- und Bedienkonzepten ausgestattet ist, mit Hilfe von virtuellen Zeigern für ein Assistenzsystem zu nutzen.
Als ein Beispiel für eine derartige Anwendung kann eine Bedienung eines Baggers auf einer Baustelle gesehen werden. Von Geometern werden zu diesem Zweck Markierelemente 40 an bekannten Positionen der Baustelle angebracht. Ferner sind an Scheiben eines Führerhauses und am Ausleger des Baggers mehrere Markierelemente 40 angebracht. Der Baggerfahrer nutzt eine Darstellungseinrichtung 10 in Form einer halbtransparenten Brille. Die halbtransparente Brille wird benutzt, um mehrere virtuelle Zeiger Z zu generieren. Einerseits werden der Ausleger und die Baggerschaufel des Baggers virtuell in Zeigerform generiert, und andererseits wird die Blickrichtung über den Positions- und Lagevektor der halbtransparenten Brille ermittelt. Real bereits vorhandene Leitungen und der zu ziehende Graben liegen in einem geografischen Informationssystem vor. Diese Informationen werden in der halbtransparenten Brille für den Baggerfahrer sichtbar eingeblendet. Weicht die Baggerschaufel von der vorgegebenen Route ab oder droht eine vorhandene Leitung touchiert zu werden, so werden die Bewegungsrichtungen der Baggerschaufel blockiert und/oder die Geschwindigkeit des Baggers automatisch gedrosselt.
Durch die Nutzung von erweiterter Realität in Verbindung mit einer oder mehreren Steuereinrichtungen lassen sich beispielsweise mittels der vorgehend beschriebenen Funktionalitäten folgende Szenarien realisieren:
Durch die 3D-Informationen eines Gebäudes, die beispielsweise in einem BIM- oder einem CAD-Modell enthalten sind, lässt sich eine Programmierung interaktiv ausgestalten. Einem Programmierer werden über die Überlagerung der Informationen elektrische, pneumatische und hydraulische Leitungen und Geräte auf der Darstellungseinrichtung 10 in sichtbarer Weise eingeblendet. Durch den Einsatz der virtuellen Zeiger Z lässt sich eine logische Verbindung mehrerer Geräte herstellen.
Beispielsweise zeigt ein virtueller Zeiger Z zunächst auf eine Lampe, anschließend auf einen Schalter und anschließend auf eine Anschlussstelle an einer Steuereinrichtung. Auf diese Weise „weiß“ die Steuereinrichtung, dass der Schalter für die Lampe an der entsprechenden Kontaktstelle angeschlossen ist. Über die Verbindungsinformationen können funktionale Daten zum Beispiel aus dem BIM-Modell für eine entsprechende Steuerlogik ermittelt werden.
Ein weiterer Anwendungsfall kann darin bestehen, dass ein oder mehrere Steuereinrichtungen in einem Gebäude ein oder mehrere Fehlfunktionen erkennen und den Nutzer über die Geräte für erweiterte Realität Lösungsvorschläge und Betriebszustände mitteilen. Beispielsweise merkt ein Regler, dass es in einem Raum zu einer längeren Istwert-Abweichung der Temperatur gekommen ist. Nunmehr werden dem Nutzer des Gerätes für erweiterte Realität alle für eine Diagnose notwendigen Daten der Energieübertragungswege in virtueller Form sichtbar eingeblendet. Dadurch können zum Beispiel die Zu- und Abflussrohre des Heizkreises mit ihren jeweiligen Temperaturen, Durchflüssen und Energiemengen sichtbar gemacht werden. Mittels der Interaktionen mit dem virtuellen Zeiger können nun zur genaueren Fehlerdiagnose Prüfszenarien live und per Vorabsimulation durchgeführt werden.
Im Bereich von lichttechnischer Beschattung können die Nutzer eines Raums mittels erweiterter Realität den Sonnenverlauf über ein Zeitfenster dargestellt erhalten und die Beschattungsverhältnisse mittels der Zeiger-Steuerungsverbindung individuell anpassen. Die Steuerungseinrichtung speichert die eingelernten Einstellungen. Somit können für einen optimierten Sonnenschutz vorteilhaft ein langes Beobachten und ein individuelles Ändern von Beschattungsszenarien entfallen.
Durch die Nutzung von erweiterter Realität in bidirektionaler funktionaler Verbindung mit einer oder mehreren Steuerungseinrichtungen lassen sich beispielsweise mit den oben beschriebenen Funktionalitäten folgende Szenarien realisieren:
Bereits während einer Errichtungsphase einer Bühne können mittels der 3D-Informationen und der Nutzung von erweiterter Realität achsbasierte Leuchten programmiert bzw. nachjustiert werden. Über den virtuellen Zeiger wählt der Nutzer z.B. eine noch nicht vorhandene Leuchte aus und konfiguriert und positioniert den gewünschten Effektstrahl in virtueller Weise. Die Steuerungseinrichtung speichert diese Informationen für den realen Betrieb, sobald die Leuchte korrekt installiert ist.
In Improvisationstheatern können Darsteller mittels der Zeiger und ihrer Positionen Szenarien kurzfristig in erweiterter Realität vordefinieren, die anschließend über ein definiertes Ereignis von der Steuerungseinrichtung wiedergegeben werden. Denkbar ist alternativ auch, dass durch den Abruf von Szenen oder Zeitprogrammen dem Nutzer die nachfolgenden Szenen in erweiterter Realität eingeblendet wird, wobei z.B. Laufwege dargestellt werden, die vom Nutzer auch noch nachträglich interaktiv verändert werden können. Beispielsweise kann in einem Vergnügungspark ein Bereich geschaffen sein, bei dem beispielsweise in gezielter Weise Effekte wie z.B. Nebel, Lichteffekte, Luftströmungen, usw. individuell auf die jeweilige Erlebniswelt des einzelnen Nutzers in Form von erweiterter Realität einwirken. Auf diese Weise können verschiedene Geschäfte des Vergnügungsparks gleichzeitig für unterschiedliche Nutzer mit jeweils verschiedenen Inhalten ablaufen. Über die Zeiger der Bedieneinrichtungen kann der Nutzer weitere Interaktion starten, die auf die individuell eingestellte erweiterte Realität des Nutzers wirken.
Insbesondere bei Schulungen im Bereich der Automatisierungstechnik ist es oftmals schwierig, einen Bezug zu den realen Maschinen/Anlagen herzustellen. Auch hier bietet die erweiterte Realität Möglichkeiten, diesem Umstand entgegenzuwirken. Beispielsweise kann ein virtueller Roboter mit real vorhandenen Motoren funktional verknüpft werden. Jeder Schulungsteilnehmer hat auf diese Weise die Möglichkeit, einen eigenen Roboter selbständig zu programmieren.
Ein bereits erläuterter beispielhafter Trainingsaufbau umfasst eine mittels einer Darstellungseinrichtung 10 dargestellte erweiterte Realität mit einem realen Knickarmroboter, einem realen Förderband und virtuellen Werkstücken.
Dieses Prinzip lässt sich auch auf den Bereich der Gebäudetechnik anwenden. Das virtuelle Abbild eines Gebäudes mit dessen Gewerke kann virtuell mit den Komponenten der Steuerungstechnik des Gebäudes verknüpft werden. Auf diese Weise kann jeder Teilnehmer eine Steuerungstechnik für sein eigenes Gebäude automatisieren. Insbesondere in großen Fabriken oder in Rechenzentren ist oftmals eine Übersichtlichkeit betreffend Signalleitungen und einem darauf übertragenen Datenaufkommen nicht ausreichend vorhanden. Eine Dimensionierung der genannten Leitungen und der Datenvolumina sowie ein Berechtigungsmanagement sind dadurch mit erheblichen Aufwendungen verbunden. Das vorgeschlagene Verfahren kann dazu dienen, ein Netzwerk aufzubauen und die gewünschten Daten und deren Strukturen effizient auszulegen. Dazu werden die realen Datenverbindungen in der realen Umgebung mit virtuellen Elementen überlagert. Denkbar sind in diesem Zusammenhang ein Einblenden eines virtuellen Servers, einer Cloud oder einer örtlich entfernten Rechenanlage. Mittels eines Zeichnens von Linien (Point-to-Point) lassen sich auf diese Weise die Daten von Maschine zu Maschine oder in die Cloud verbinden. Die dahinterliegende Automatik verlinkt dabei die Datenpunkte entsprechend. Bei einer fehlenden Zugriffsberechtigung werden automatisch das entsprechende Zertifikat bzw. die Zugangsdaten angefordert. Auch eine bereits vorhandene Netzwerkinfrastruktur lässt sich in ein derartiges System für erweiterte Realität integrieren.
Bestehende Verbindungen und Strukturen lassen sich online diagnostizieren, indem mit dem virtuellen Zeiger auf die virtuell angereicherte Verbindung gezeigt wird. Anschließend werden sämtliche Kommunikationskanäle (zum Beispiel TCP/IP, CANopen, EtherCAT, EAP, usw.) dargestellt. Danach können die jeweiligen Datenpunkte abgegriffen und eventuell zusätzlich in eine Diagnosedatenbank umgeleitet werden. Auch geeignete Analysemethoden, wie beispielsweise ein Vergleich von Datenpunkten mittels Regression, lassen sich in diesem Zusammenhang durchführen.
Im Folgenden werden mögliche Schritte erläutert, wie mittels erweiterter Realität ein Übermitteln von Systemprozessdaten in die Cloud durchgeführt werden kann. Dazu wird zunächst in einem ersten Schritt das Netzwerk mit den gewünschten Daten mittels des von der Bedieneinrichtung 20 gebildeten virtuellen Zeigers Z ausgewählt. Anschließend werden in einem zweiten Schritt die verfügbaren Datenkanäle in berechtigungstechnischer Hinsicht optisch sichtbar in die Darstellungseinrichtung 10 eingeblendet. Nach Auswahl des geeigneten Datenkanals mittels des virtuellen Zeigers Z werden die zur Verfügung stehenden Datenpunkte in der Darstellungseinrichtung 10 angezeigt. Nach der Auswahl des oder der Datenpunkte kann dieser mittels Drag and Drop in die Cloud übermittelt werden. Sämtliche genannten Schritte können an spezifische Berechtigungen des Bedieners gebunden sein.
24 zeigt einen prinzipiellen Ablauf einer Ausführungsform des vorgesehenen Verfahrens zum Steuern eines Objekts, wobei das Objekt 100 im Realraum 70 angeordnet ist und mit wenigstens einem Element eines Figurenraums 80 verknüpft ist, wobei das Objekt 100, eine Darstellungseinrichtung 10, eine Bedieneinrichtung 20 und eine Steuerungseinrichtung 30 funktional miteinander verbunden sind.
In einem Schritt 300 wird ein Ermitteln einer Position und einer Ausrichtung der Bedieneinrichtung 20 und/oder der Darstellungseinrichtung 10 in Relation zum Objekt 100 durchgeführt.
In einem Schritt 310 wird ein Generieren eines virtuellen Zeigers Z aus der ermittelten Position und der ermittelten Ausrichtung der Bedieneinrichtung 20 und/oder der Darstellungseinrichtung 10 durchgeführt.
In einem Schritt 320 wird ein Selektieren des Objekts 100 mittels des virtuellen Zeigers Z durchgeführt.
In einem Schritt 330 wird ein Darstellen des mit wenigsten einem Element des Figurenraums 80 angereicherten Objekts 100 mittels der Darstellungseinrichtung 10 durchgeführt.
Schließlich wird in einem Schritt 340 ein Steuern des Objekts 100 mittels der Bedieneinrichtung 20 durchgeführt.
Zusammenfassend werden mit der vorliegenden Erfindung ein Verfahren und ein System zum Steuern eines Objekts vorgeschlagen, mit dem die Prinzipien von erweiterter bzw. angereicherter Realität effizient auf reale Objekte angewendet werden. Zu diesem Zweck wird ein Bedien- und Navigationskonzept bereitgestellt, durch das Objekte selektiert und in einer Darstellungseinrichtung mit erweiterter Realität dargestellt werden und auf effiziente Weise mittels einer Steuerungseinrichtung gesteuert werden. Der Fachmann wird die vorgenannten Merkmale der Erfindung miteinander kombinieren und/oder abwandeln, ohne vom Kern der Erfindung abzuweichen.
Bezugszeichenliste

10: Darstellungseinrichtung
11: Empfänger
20: Bedieneinrichtung
21: Menü
22: Sender
23: Bedienelement
24: Anzeige
25: Parameterobjekt
30: Steuerungseinrichtung
40: Markierelement für erweiterte Realität
50: Kamera
60: virtuelle Komponente
61: Parameterobjekt
70: Realraum
71: 3D-Modell des Realraums
72: Cloud
80: Figurenraum
81: Sensor 1
82: Sensor 2
83: virtuelles Objekt
90: Raum für erweiterte Realität
100: Objekt
200: System
300–340: Verfahrensschritte
B: virtueller Bereich
Z: virtueller Zeiger
Z1: erster virtueller Zeiger
Z2: zweiter virtueller Zeiger

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

WO 2009/132920 A1 [0004, 0005, 0057, 0058, 0058, 0059]
WO 2009/1322920 A1 [0006]

Zitierte Nicht-Patentliteratur

IEC 61131 oder 61499 [0163]

Claims

Verfahren zum Steuern eines Objekts (100), wobei das Objekt (100) im Realraum (70) angeordnet ist und mit wenigstens einem virtuellen Element eines Figurenraums (80) verknüpft ist, wobei das Objekt (100), eine Darstellungseinrichtung (10), eine Bedieneinrichtung (20) und/oder eine Steuerungseinrichtung (30) funktional miteinander verbunden sind, aufweisend die Schritte: – Ermitteln einer Position und einer Ausrichtung der Bedieneinrichtung (20) und/oder der Darstellungseinrichtung (10) in Relation zum Objekt (100), – Generieren eines virtuellen Zeigers (Z) aus der ermittelten Position und der ermittelten Ausrichtung der Bedieneinrichtung (20) und/oder der Darstellungseinrichtung (10), – Selektieren des Objekts (100) mittels des virtuellen Zeigers (Z), – Darstellen des mit dem wenigsten einen Element des Figurenraums (80) angereicherten Objekts (100) mittels der Darstellungseinrichtung (10), und/oder – Steuern des Objekts (100) mittels der Bedieneinrichtung (20).
Verfahren nach Anspruch 1, wobei das wenigstens eine virtuelle Elemente des Figurenraums (80) mittels der Steuerungseinrichtung (30) gesteuert wird.
Verfahren nach Anspruch 1 oder 2, wobei wenigstens zwei der Elemente: Darstellungseinrichtung (10), Bedieneinrichtung (20), Steuerungseinrichtung (30) drahtlos miteinander verbunden sind.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Bedieneinrichtung (20) als ein passives Element ausgebildet ist.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Bedieneinrichtung (20) als eine intelligente Sensor- und Entscheidungseinrichtung einer autonomen Maschine ausgebildet ist.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass als Darstellungseinrichtung (10) eines aus Folgendem verwendet wird: Datenbrille, Datenlinse, Tablet, Fernseher, Projektor, Mobiltelefon, SmartWatch, Panel-PC, Industrie-PC, Monitor.
Verfahren nach einem der vorhergehenden Ansprüche, wobei der virtuelle Zeiger (Z) eine der folgenden Formen aufweist: Kegel, Fächer, Lasso, Strahl, Angelrute mit einer 3D-Figur als Haken.
Verfahren nach einem der vorhergehenden Ansprüche, wobei der virtuelle Zeiger (Z) entsprechend einem Parameter des Realraums (80) geändert wird.
Verfahren nach einem der vorhergehenden Ansprüche, wobei mittels der virtuellen Elemente des Figurenraums (80) technische Parameter des Objekts (100) geändert werden.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass zum Selektieren des Objekts (100) wenigstens ein Markierelement (40) für erweiterte Realität verwendet wird.
Verfahren nach Anspruch 10, wobei mittels des wenigstens einen Markierelements (40) für erweiterte Realität eine relative Position der Darstellungseinrichtung (10) zum Objekt und/oder zur Bedieneinrichtung (20) ermittelt wird.
Verfahren nach einem der vorhergehenden Ansprüche, wobei zum Ermitteln der Position und der Ausrichtung der Bedieneinrichtung (20) ein Bilderzeugungssystem (50) verwendet wird.
Verfahren nach einem der vorhergehenden Ansprüche, wobei zum Ermitteln der Position und der Ausrichtung der Bedieneinrichtung (20) wenigstens ein in der Bedieneinrichtung (20) angeordneter Sensor verwendet wird.
Verfahren nach einem der vorhergehenden Ansprüche, wobei der virtuelle Zeiger (Z) mit Hilfe einer Erfassung einer Augenbewegung eines Nutzers erzeugt wird.
Verfahren nach einem der vorhergehenden Ansprüche, wobei zum Selektieren des Objekts (100) mittels des virtuellen Zeigers (Z) eine Rasterung des Objekts (100) durchgeführt wird.
Verfahren nach einem der vorhergehenden Ansprüche, wobei wenigstens eine virtuelle Komponente (60) des Objekts (100) in seiner virtuellen Lage verändert wird.
Verfahren nach einem der vorhergehenden Ansprüche, wobei die Bedieneinrichtung (20) in der Darstellungseinrichtung (10) angeordnet verwendet wird.
Verfahren nach einem der vorhergehenden Ansprüche, wobei das Objekt (100) mittels wenigstens eines zusätzlichen entfernt angeordneten virtuellen Zeigers gesteuert wird.
Verfahren nach einem der vorhergehenden Ansprüche, wobei wenigstens ein virtueller Zeiger verwendet wird, der einem virtuell angereicherten Objekt oder einem realen Objekt entspringt.
Verfahren nach einem der vorhergehenden Ansprüche, wobei wenigstens ein Teil des Verfahrens cloudbasiert ausgeführt wird.
Verfahren nach einem der vorhergehenden Ansprüche, wobei mittels virtueller Elemente des Figurenraums (80) ein Computerprogramm für das Objekt (100) erstellt wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass ein Objekt (100) in Form eines Gebäudes und/oder einer Maschine gesteuert wird.
System (200) zum Steuern eines Objekts (100), – wobei das Objekt (100) im Realraum (70) angeordnet ist und mit wenigstens einem Element eines Figurenraums (80) verknüpft ist, – wobei das Objekt (100), eine Darstellungseinrichtung (10), eine Bedieneinrichtung (20) und/oder eine Steuerungseinrichtung (30) funktional miteinander verbunden sind, – wobei das System ausgebildet ist, eine Position und eine Ausrichtung der Bedieneinrichtung (20) und/oder der Darstellungseinrichtung (10) in Relation zum Objekt (100) zu ermitteln, – wobei das System ausgebildet ist, aus der ermittelten Position und der ermittelten Ausrichtung der Bedieneinrichtung (20) und/oder der Darstellungseinrichtung (10) einen virtuellen Zeiger (Z) zu generieren, – wobei das System ausgebildet ist, das Objekt (100) mittels des virtuellen Zeigers (Z) zu selektieren, – wobei das System ausgebildet ist, das mit dem wenigsten einen Element des Figurenraums (80) angereicherte Objekt (100) mittels der Darstellungseinrichtung (10) darzustellen, und/oder – wobei das System ausgebildet ist, das Objekt (100) mittels der Bedieneinrichtung (20) zu steuern.