AT12855U1 - Verfahren und gerät zum darstellen eines virtuellen dreidimensionalen objekts - Google Patents

Abstract

Zum Darstellen eines virtuellen dreidimensionalen Objekts (20) relativ zu einem im Raum positionierten realen Referenzobjekt (10) auf einem Bildschirm (2) eines mobilen Videokamera-Geräts (1) werden Bilddaten des virtuellen Objekts (20) im Gerät (1) gespeichert; das reale Referenzobjekt (10) wird mit dem Gerät (1) aufgenommen und die Darstellung des Referenzobjekts (10) wird auf dem Bildschirm (2) mit einer Darstellung des virtuellen Objekts (20) kombiniert; bei einer Bewegung des Geräts (1) relativ zum Referenzobjekt (10) wird das virtuelle Objekt (20) mit einer der geänderten Lage und Distanz des Referenzobjekts (10) relativ zum Gerät (1) entsprechenden Positionsänderung im Raum dargestellt; die Bewegung des Geräts (1) wird dann, wenn das Referenzobjekt (10) zur Gänze aus dem Blickwinkel des Geräts (1) verschwindet, mit Hilfe von Bewegungs-Sensoren (6) weiter erfasst, und das virtuelle Objekt (20) wird auf Basis dieser Bewegungserfassung mit der entsprechenden Positionsänderung dargestellt.

Description

ffitemficsSächtÄ psieKiafst AT12 855U1 2013-01-15

Beschreibung [0001] Ganz allgemein bezieht sich die Erfindung auf sog. Augmented Reality-Anwendungen.

[0002] Mehr im einzelnen betrifft die Erfindung ein Verfahren zum Darstellen eines virtuellen dreidimensionalen größengetreuen (3D)Objekts relativ zu einem im Raum positionierten realen Referenzobjekt auf einem Bildschirm eines mobilen Bild- bzw. Videokamera-Geräts, [0003] - wobei Bilddaten des virtuellen Objekts im Gerät gespeichert werden, das reale Referenzobjekt mit dem Gerät aufgenommen und die Darstellung des Referenzobjekts auf dem Bildschirm mit einer Darstellung des virtuellen Objekts kombiniert wird, [0004] - und wobei bei einer Bewegung des Geräts relativ zum Referenzobjekt das virtuelle Objekt mit einer der geänderten Lage und Distanz des Referenzobjekts relativ zum Gerät entsprechenden Positionsänderung im Raum dargestellt wird.

[0005] Weiters bezieht sich die Erfindung auf ein mobiles Gerät mit Bild- bzw. Videokamera und Bildschirm zum Darstellen eines virtuellen 3D-Objekts relativ zu einem im Raum positionierten realen Referenzobjekt auf dem Bildschirm, mit Speichermitteln zum Speichern von Bilddaten des virtuellen Objekts und mit Rechnermitteln, die mit den Speichermitteln, dem Bildschirm sowie mit der Videokamera verbunden sind, und die eingerichtet sind, bei einer Bewegung des Geräts relativ zum Referenzobjekt die Bilddaten des virtuellen Objekts umzurechnen und die geänderten Bilddaten dem Bildschirm zur Darstellung des virtuellen Objekts gemäß der durch die Bewegung des Geräts geänderten Position zuzuführen.

[0006] Bei Augmented Reality-Anwendungen wird in der Regel eine Darstellung eines realen Objekts um zusätzliche Informationen ergänzt. Im Allgemeinen handelt es sich dabei um ein Videodisplay, dass das aktuelle Bild einer Videokamera anzeigt. Das reale Objekt kann am Display durch eine zusätzliche virtuelle Information ergänzt werden.

[0007] Ein Beispiel für eine derartige Augmented Reality-Anwendung ist in US 2007/0164988 A1 gezeigt. Ein Augmented Reality-(AR-)Gerät ist einerseits mit einer Kamera, um ein reales Objekt aufzunehmen, sowie andererseits mit einem Blickwinkel-Bestimmungsmodul versehen, um den Blickwinkel eines Benützers festzustellen, wobei abhängig vom Blickwinkel des Benüt-zers die Kamerarichtung eingestellt werden kann, und zwar unabhängig von der Lage des Geräts an sich. Zusätzlich können am Bildschirm (Display) des Geräts aus einem Speicher abgerufene Daten, nämlich im speziellen Schriftzeichen, dargestellt, d.h. „eingeblendet" werden, um so ein zusammengesetztes Bild, bestehend aus dem aufgenommenen Objekt und dem digitalen Bild, zu erhalten.

[0008] Aus D. Wagner et al., „Robust and Unobtrusive Marker Tracking on Mobile Phones", IEEE International Symposium on Mixed and Augmented Reality 2008, 15 - 18 September, Cambridge, UK, 978-1-4244-2859-5/08, S. 121-124, ist eine Augmented Reality-Anwendung mit einem Marker genannten Referenzobjekt als realem Objekt beschrieben, wobei dieser Marker mit einem Mobiltelefon-Gerät, das eine Bild- bzw. Videokamera enthält, aufgenommen wird, wobei die Darstellung des Markers durch die Darstellung eines virtuellen Objekts ergänzt wird. Diese Darstellung ist jedoch nur so lange möglich, solange der Marker zumindest teilweise im Blickwinkel der Kamera des Geräts ist. Wenn eine Marker-Verfolgung nicht mehr möglich ist, wird u.a. eine Technik zur schrittweisen Verfolgung vorgeschlagen, bei der jeweils das gerade aufgenommene Teilbild mit dem unmittelbar vorhergehenden Teilbild verglichen und die Unterschiede ausgewertet werden: diese Technik ist jedoch relativ aufwendig und ungenau.

[0009] Referenzobjekte bzw. Bezugspunkte können wie bekannt über Computervision erkannt werden. Unter „Computervision" versteht man eine computerunterstützte Objekterkennung in digitalen Bildern, wobei hierfür ein sog. Objekterkennungsmodul verwendet wird. Wie das vorstehend erläuterte bekannte Beispiel zeigt, können zur einfachen Darstellung mit Objekterkennung einfache Marker verwendet werden. Als Marker wird eine Markierung in der realen Welt angesehen, die über die Videokamera erfasst und von der Anwendung (Applikation) erkannt wird. 1 / 18

&&irethäsches pSiÄüiäifit AT 12 855 Ul 2013-01-15 [0010] Ein Problem ergibt sich hierbei, wenn der Marker zwar anfänglich erkannt wird, wenn aber danach das Gerät so bewegt wird, dass der Marker nicht mehr im Blickwinkel der Videokamera ist. In diesem Fall kann der Bezugspunkt von der Anwendung nicht mehr verarbeitet werden. Wie oben erwähnt wird dann bei dem System gemäß Stand der Technik (Artikel von D. Wagner et al.) eine Technik der schrittweisen Verfolgung angewandt.

[0011] Aufgabe der Erfindung ist es, eine zuverlässige Darstellung des virtuellen Objekts auch dann zu ermöglichen, wenn das reale Objekt, nämlich das Referenzobjekt oder der Marker, nicht mehr im Blickwinkel des Geräts bzw. von dessen Bild- bzw. Videokamera ist. Die Erfindung beruht dabei auf der Erkenntnis, dass es möglich ist, eine Relation der Bewegung zur letzten bekannten Position des Referenzobjekts herzustellen, um auf diese Weise die Position des Referenzobjekts auch dann, wenn letzteres nicht mehr im Blickwinkel der Kamera erfasst ist, noch für die Anwendung, also für die Darstellung des virtuellen Objekts, nützen zu können; die Darstellung soll dabei, in Entsprechung zur durchgeführten Kamerabewegung, das virtuelle Objekt korrekt hinsichtlich Position, Lage, Größenproportion etc. zeigen.

[0012] Zur Lösung der gestellten Aufgabe sieht die Erfindung ein Verfahren bzw. ein Gerät wie in den Ansprüchen 1 und 7 definiert vor. Vorteilhafte Ausführungen und Weiterbildungen sind in den abhängigen Ansprüchen angegeben.

[0013] Bei der vorliegenden Technik ist somit vorgesehen, dass die Bewegung des Geräts dann, wenn das Referenzobjekt zur Gänze aus dem Blickwinkel des Geräts verschwindet, mit Hilfe von im Gerät vorgesehenen Bewegungs-Sensoren, wie z.B. Beschleunigungs- bzw. Trägheits-Sensoren und/oder Gyroskop-Sensoren, weiter erfasst und das virtuelle Objekt auf Basis dieser Bewegungserfassung mit der entsprechenden Positionsänderung dargestellt wird, bis es gegebenenfalls aufgrund der Bewegung ebenfalls aus dem - virtuellen - Gerät-Blickwinkel verschwindet. Es werden somit im Gerät vorhandene Bewegungs-Sensoren genützt, um die dreidimensionale Bewegung des Geräts zwischen der letzten Erfassung des Referenzobjekts und dem jeweils aktuellen Bildausschnitt der Kamera zu berechnen. Sobald daher das Referenzobjekt aufgrund der Bewegung des Geräts nicht mehr erfassbar ist (nämlich mit der Kamera), können relative Änderungen zwischen seiner Position und Lage einerseits und jener des Geräts andererseits auf Basis der Geräte-Bewegung bestimmt werden. Dadurch ist weiterhin eine Referenz für die Darstellung des virtuellen Objekts gegeben. Erscheint das Referenzobjekt nach einer weiteren Bewegung wieder vollständig im Blickwinkel der Kamera, sodass es von der Anwendung wieder erfasst wird, so werden wieder in der gewohnten Weise die Position und Lage des virtuellen Objekts im Bild auf der Basis des Referenzobjekts berechnet.

[0014] Im vorliegenden mobilen Gerät sind somit gemäß der vorliegenden Technologie die Rechnermittel weiters mit Bewegungs-Sensoren im Gerät verbunden, die ihrerseits eingerichtet sind, die Bewegung des Geräts zu erfassen und zugehörige Bewegungsdaten zu liefern, die dann, wenn im Zuge der Bewegung des Geräts, d.h. der Änderung des Blickwinkels, relativ zum Referenzobjekt dieses Referenzobjekt aus dem Blickwinkel des Geräts verschwindet, dem Rechnermittel zugeführt werden. Die Rechnermittel sind überdies eingerichtet, auf Basis dieser Bewegungsdaten die weiteren Positionsänderungen des Geräts relativ zum Referenzobjekt (das zu diesem Zeitpunkt nicht mehr auf dem Bildschirm des Geräts sichtbar ist) und damit Daten für die Darstellung des virtuellen Objekts in der geänderten Position bzw. Lage auf dem Bildschirm zu berechnen; diese berechneten Daten werden dann dem Bildschirm zur Darstellung des virtuellen Objekts übermittelt.

[0015] Zur Berechnung der Bewegung des Geräts relativ zum Referenzobjekt können beliebige Sensoren von an sich bekannter Bauart herangezogen werden; insbesondere können hier als Bewegungs-Sensoren Trägheits- bzw. Beschleunigungs-Sensoren und/oder Gyroskop-Sensoren eingesetzt werden, die zur Berechnung des Bewegungsvektors des AR-Gerätes dienen können. Selbstverständlich sind aber grundsätzlich alle Bewegungs-Sensoren gemäß dem Stand der Technik einsetzbar.

[0016] Mit der vorliegenden Technik wird erreicht, dass es zu einer Vervielfachung der möglichen Blickwinkel kommt, aus denen virtuelle Inhalte (Objekte) in AR-Anwendungen betrachtet 2/18

AT12 855U1 2013-01-15 werden können. Zusätzlich können auch große virtuelle Inhalte in vollem Umfang angezeigt werden, wobei die Ausmaße dieser virtuellen Inhalte ansonsten nicht in einem einzigen Bildausschnitt des Displays oder Bildschirms vollständig angezeigt werden könnten.

[0017] Ein weiterer Vorteil ist, dass einzelne Bereiche der virtuellen Inhalte, also des virtuellen Objekts, aus der Nähe betrachtet werden können, ohne dass sich dabei das Referenzobjekt (der Marker) im Blickfeld befinden muss.

[0018] Mit der vorliegenden Technik können Anwendungsfälle realisiert werden, die sonst nur über eine GPS-Positionierung erzielt werden können. Die Positionierung eines virtuellen Objekts relativ zur realen Welt ohne sichtbaren Marker war bisher nur mittels Verfahren der GEO-Positionierung möglich. Demgegenüber wird mit der vorliegenden Technik der Vorteil einer höheren Genauigkeit sowie der Vorteil der Unabhängigkeit des Standortes erzielt. Hieraus resultieren weitere Vorteile: für die anfängliche Lokalisierung des Referenzobjekts (Bezugspunktes) werden weder eine GPS-Empfangseinrichtung noch eine Verbindung mit einem GPS-Satelliten benötigt; dadurch wird für die AR-Anwendung wesentlich weniger Energie benötigt und überdies entfällt die Abhängigkeit von der Empfangsqualität des GPS-Signals. Außerdem handelt es sich bei der Intitialbestimmung des Bezugspunktes mit einem Referenzobjekt um ein reales Objekt in einer realen Welt. Je nach Art des Referenzobjekts (Markers) kann dessen Position real verschoben werden, um folglich auch die virtuellen Bildinhalte (das virtuelle Objekt auf dem Bildschirm) anders zu positionieren.

[0019] Die Bewegung - und damit die Lage und Distanz - des Geräts relativ zum Referenzobjekt wird bevorzugt auf der Basis der sich bei der Bewegung des Geräts ergebenden Verzerrungen und Größenänderungen der Darstellung des Referenzobjekts erfasst. Nach dem Verschwinden des Referenzobjekts aus dem Gerät-Blickwinkel wird vorteilhaftenweise die Bewegung des Geräts auf Basis einer dreidimensionalen Vektorbewegung, mit Hilfe von über die Sensoren erfassten Bewegungsvektoren, berechnet.

[0020] Als Referenzobjekt kann im einfachsten Fall ein quadratisches Symbol, ein Marker mit quadratischer Grafik, aber auch ein texturbasierter Marker, ein Foto, eine beliebige Grafik, ja sogar eine Gesichtserkennung, verwendet werden.

[0021] Wie erwähnt kann das Referenzobjekt in seiner realen Position verändert werden, um dadurch auch das virtuelle Objekt in der Darstellung anders zu positionieren.

[0022] Wenn im Zuge der Bewegung des Geräts relativ zum Referenzobjekt das Referenzobjekt zunächst aus dem Blickwinkel des Geräts verschwindet, dann jedoch, bei fortgesetzter Bewegung des Geräts relativ zum Referenzobjekt, wieder zur Gänze im Gerät-Blickwinkel erscheint, kann bei diesem neuerlichen Erfassen des Referenzobjekts die Messung der Bewegung mit Hilfe der Sensoren beendet werden, wobei diese Sensor-Bewegungserfassung auf Null gesetzt wird und die Geräte-Bewegung ab diesem Zeitpunkt wieder einfach mit Hilfe des Referenzobjekts erfasst wird.

[0023] Das mobile Gerät kann durch ein Mobiltelefon mit Bild- bzw. Videokamera und Bewegungs-Sensoren gebildet sein.

[0024] Wie erwähnt können als Bewegungs-Sensoren bspw. Gyroskop-Sensoren und/oder Akzelerometer-Sensoren eingesetzt werden, die jeweils für sich oder aber gegebenenfalls auch in Kombination miteinander für die Berechnung des Bewegungsvektors des AR-Geräts herangezogen werden. Selbstverständlich können auch wie erwähnt andere geeignete Bewegungs-Sensoren eingesetzt werden, die Schwenkbewegungen des Geräts, Schiebebewegungen des Geräts und Kombinationen hiervon erfassen können.

[0025] Die Erfindung wird nachfolgend anhand von bevorzugten Ausführungsbeispielen, auf die sie jedoch nicht beschränkt sein soll, und unter Bezugnahme auf die Zeichnung noch weiter erläutert. In der Zeichnung zeigen dabei im einzelnen: [0026] Fig. 1 schematisch ein Blockschaltbild eines mobilen Geräts in Form eines Mobiltele fons mit einer AR-Anwendung gemäß der vorliegenden Technik; 3/18

psisniamt AT 12 855 Ul 2013-01-15 [0027] Fig. 2 schematisch in einem blockschaltbildähnlichem Diagramm das Zusammenarbeiten von beim vorliegenden Gerät vorgesehenen Modulen, um auch bei einem Verschwinden des Referenzobjekts aus dem Blickwinkel des Geräts das gewünschte virtuelle Objekt in dessen durch die Lage des Geräts bestimmter Ausrichtung etc. darstellen zu können; [0028] Fig. 3 in einer Art Ablaufdiagramm die Vorgangsweise bei der vorliegenden Technik; [0029] Fig. 4 ein Beispiel für einen einfachen Marker, d.h. ein einfaches Referenzobjekt in

Form eines zum Beispiel auf einem Blatt Papier anzubringenden quadratischen Symbols; und [0030] Fig. 5 in Teilen A bis L schematisch den Ablauf bei der Anwendung eines Geräts gemäß der Erfindung in Verbindung mit einem Referenzobjekt, zur Darstellung eines virtuellen Objekts auf dem Bildschirm (Display) des Geräts abhängig von der Bewegung des Geräts relativ zum Referenzobjekt (Marker).

[0031] In Fig. 1 ist durch eine Umrandung ein mobiles Gerät 1, nämlich beispielsweise ein Mobiltelefon-Gerät 1, angedeutet, das einen Bildschirm (Display) 2 sowie eine Bild- bzw. Videokamera 3 aufweist. Weiters sind Rechnermittel 4 vorgesehen, die mit dem Bildschirm 2 und mit der Kamera 3 verbunden sind. Weiters sind diese Rechnermittel 4 mit Speichermitteln 5 sowie mit Bewegungs-Sensoren 6 verbunden. Den Rechnermitteln 4 kann eine externe Schnittstelle 7 zwecks Verbindung mit anderen Geräten, etwa einem PC etc. zugeordnet sein.

[0032] Weiters enthält das Gerät 1 übliche weitere Module, wie etwa Kommunikationsmodule, Mikrofon, Lautsprecher usw. im Fall eines Mobiltelefon-Geräts, wobei diese Module der Einfachheit halber in Fig. 1 weggelassen sind.

[0033] Über die Schnittstelle 7 können beispielsweise Bilddaten heruntergeladen werden, wobei diese Bilddaten in den Speichermitteln 5 gespeichert werden können und einem auf dem Bildschirm 2 darzustellenden virtuellen Objekt zugeordnet sind. Dieses virtuelle Objekt kann jedoch auch auf Basis von Bilddaten erzielt werden, die in den Speichermitteln 5 nach Aufnahme mit Hilfe der Kamera 3, eventuell nach Bearbeitung in den Rechnermitteln, gespeichert wurden.

[0034] In Fig. 2 sind in Ergänzung zu Fig. 1 einzelne Module des vorliegenden Geräts 1 in ihrer Verbindung zueinander bzw. in Kombination miteinander, um die gewünschte AR-Anwendung zu realisieren, veranschaulicht.

[0035] Über eine Kamera-Eingangsmodul 3' wird das Referenzobjekt 10, nachstehend kurz Marker 10 (s. auch Fig. 4) genannt, aufgenommen, und die entsprechenden Bilddaten werden einem Computervisionmodul 4.1 in den Rechenmitteln 4 zur Marker-Detektion zugeführt. In einem nachfolgenden Positions- und Lage-(Ausrichtungs)Modul 4.2 werden über Computervision Position und Ausrichtung des Markers 10 erkannt, soweit dieser Marker 10 im Blickwinkel der Kamera 3 vorliegt, und in einem Objekterkennungsmodul 4.3 wird eine 3D-0bjekterkennung durchgeführt. Die entsprechenden Daten werden in einem 3D-Objekt-Displaymodul 4.4 für die 3D-Darstellung auf dem Bildschirm 3 aufbereitet. Die Module 4.1 bis 4.4 sind alle in den Rechnermitteln 4 realisiert. Vom Displaymodul 4.4 werden die entsprechenden Bilddaten schließlich einem Displaymodul 2', zur Darstellung des virtuellen Objekts sowie auch des Markers, zugeführt.

[0036] Wenn wie erwähnt der Marker 10 aus dem Blickwinkel der Kamera 3 verschwindet, ist bei der vorliegenden Technik nichtsdestoweniger weiterhin eine Darstellung des virtuellen Objekts auf dem Bildschirm 2 möglich, indem von den Bewegungs-Sensoren 6 die Bewegung des Geräts 1 in Relation zur zuletzt erfassten realen Position des Markers oder allgemein Referenzobjekts 10 erfasst wird. Dementsprechend ist in Fig. 2 ein Sensor-Modul 6' gezeigt, wobei entsprechende Sensordaten in einem sensorbasierten Positions- und Orientationsmodul 4.5 (wiederum als Teil der Rechnermittel 4) zugeführt werden, um so Position und Ausrichtung des Geräts 1 in Relation zum nicht mehr sichtbaren Referenzobjekt 10 auf Basis der Bewegungsdaten zu ermitteln. Danach erfolgt wieder eine Objekterkennung im Modul 4.3 und schließlich eine 4/18

AT12 855U1 2013-01-15

Darstellung des virtuellen Objekts wie vorstehend beschrieben über die Module 4.4 und 2' am Bildschirm 2.

[0037] In Fig. 3 ist dementsprechend der verfahrensmäßige Ablauf schematisch veranschaulicht, wobei gemäß Block 13 der Marker 10 mit Hilfe der Kamera 3 aufgenommen wird, wonach die entsprechenden Kamera-Bilddaten zur Detektion des Markers über Computervision zugeführt werden (siehe Block 14.1 in Fig. 3). In einem Prüffeld 11 wird nun überprüft, ob der Marker 10 sichtbar ist, und wenn ja, wird gemäß Block 14.2 die Position und Ausrichtung des Markers 10 relativ zum Gerät 1 berechnet, wonach die Daten für die Darstellung des virtuellen Objekts gemäß Block 14.4 entsprechend aufbereitet und schließlich das virtuelle Objekt gemäß Feld 12 auf den Bildschirm 3 dargestellt wird, und zwar in der Lage entsprechend der relativen Lage und Ausrichtung zwischen Marker 10 und Kamera 3 (bzw. Gerät 1).

[0038] Ergibt sich beim Prüffeld 11 jedoch, dass der Marker 10 nicht mehr sichtbar ist, so werden die Signale der Bewegungs-Sensoren 6 gemäß Block 16 zur Ermittlung der relativen Position und Ausrichtung des Referenzobjekts bzw. Markers 10 relativ zum Gerät 1 herangezogen. Weiters werden gemäß Block 12 die Daten betreffend die letzte Position und Ausrichtung des Markers 10 relativ zum Gerät 1 gesichert, um ausgehend von diesen Daten die Relativlage zwischen Referenzobjekt 10 und Gerät 1, gemäß Block 14.5, auf Basis der Sensorsignale zu berechnen. Die so erhaltenen „Lage-Signale" werden dann für die Berechnung der Bilddaten, für die Darstellung des virtuellen Objekts, gemäß Block 14.4 herangezogen, wonach weiterhin, wie zuvor, die Darstellung des virtuellen Objekts auf dem Bildschirm 2 gemäß Feld 12 - jetzt allerdings ohne Darstellung des hierin nicht mehr sichtbaren Markers - erfolgt.

[0039] In Fig. 4 ist beispielhaft ein Referenzobjekt 10 in Form eines quadratischen Marker-Symbols gezeigt, wobei im Inneren des Quadrats ein Symbol 18 zur erleichterten Feststellung der Ausrichtung des Markers 10 relativ zum Gerät 1 (bzw. genauer zu dessen Kamera 3) enthalten ist. Es ist aber nochmals zu betonen, dass auch beliebige andere Marker als Referenzobjekt 10 herangezogen werden können, wie etwa auch ein rechteckiges oder aber dreieckiges Symbol, irgendeine beliebige Grafik, ein Foto, ein anderes Symbol bzw. Bild.

[0040] Abschließend soll nun anhand der Fig. 5, mit den Teilfiguren A bis L, ein beispielhafter Ablauf bei der Darstellung eines virtuellen Objekts auf einen Bildschirm eines mobilen Geräts, beispielsweise auf dem Display 2 des Mobiltelefon-Geräts 1 gemäß Fig. 1 erläutert werden.

[0041] In den Teilfiguren ist dabei jeweils links mit dem großen Rechteck die Kamera 3 und mit dem großen Rechteck rechts der Bildschirm 2 angedeutet; der als Referenzobjekt 10 vorgesehene Marker ist mit einem kleinen Quadrat angedeutet.

[0042] Gemäß Fig. 5A befindet sich das Referenzobjekt 10, nachstehend wieder kurz Marker 10 genannt, außerhalb des Blickwinkels der Kamera 3 des Geräts 1 (siehe Fig. 1), wenn die Kamera 1 gestartet wird, dies nach Start der Applikation am Gerät 1. Auf dem Bildschirm 2 wird daher weder der reale Marker 10 noch das virtuelle Objekt dargestellt.

[0043] Annahmeweise wird sodann das Gerät 1 und damit die Kamera 3 einfach aufwärts bewegt, d.h. eine Bewegung nach oben verschwenkt, wobei nunmehr der Marker 10 teilweise im Blickwinkel der Kamera 3 (am oberen Rand des Displays 2) erscheint. Eine Marker-Erkennung ist jedoch in dieser Situation nach wie vor nicht möglich, und auf dem Display 2 erscheint nur die Darstellung des Teiles des Markers 10, wie er durch die Kamera 3 erfasst wird, siehe Fig. 5B.

[0044] Wie sodann in Fig. 5C dargestellt ist, wird bei einer weiteren Verschwenkung des Geräts 1 bzw. der Kamera 3 nach oben schließlich eine Situation erreicht, in der sich der Marker 10 vollständig im Blickwinkel der Kamera 3 befindet. Nun erfolgt eine Marker-Erkennung, und die möglicherweise zuvor initialisierten Sensoren 6 werden vorsorglich initialisiert. Auf dem Bildschirm 2 wird der Marker 10 dargestellt, und je nach Lage und Größe des Markers 10 in der Darstellung, d.h. also relativ zum Gerät 1, erfolgt auch die Darstellung des gewünschten virtuellen Objekts, wie in Fig. 5C bei 20 mit strichlierten Linien veranschaulicht ist.

[0045] Während in Fig. 5C der Marker 10 gerade vollständig in den Blickwinkel der Kamera 3 5/18 ffitemficsSächtÄ AT12 855U1 2013-01-15 gelangt ist, befindet er sich gemäß Fig. 5D nun mitten im Blickwinkel der Kamera 3, wenn die Kamera bzw. das Gerät 1 weiter nach oben - relativ zum Marker 10 - geschwenkt wird. Es kann weiterhin selbstverständlich eine Marker-Erkennung durchgeführt werden, die Sensorsignale bleiben initialisiert, und je nach Lage und Größe des Markers 10 auf dem Display 2 erfolgt die Darstellung des virtuellen Objekts 20, die sich, wie aus Fig. 5D rechts zu sehen ist, ähnlich wie die Darstellung des Markers 10 auf dem Display - relativ zu diesem -nach unten verschoben hat.

[0046] Die Marker-Erkennung erfolgt gemäß Fig. 5E, bei einer fortgesetzten Verschwenkung des Geräts mit der Kamera 3 nach oben, weiterhin, bis der Marker 10 im Kamera-Blickwinkel an den Rand stößt, wobei jedoch der Marker 10 gemäß Fig. 5E gerade noch vollständig im Blickwinkel der Kamera 3 liegt. Im Hinblick auf die auch hier noch mögliche Marker-Erkennung bleiben die Sensorsignale initialisiert, und das virtuelle Objekt 20 wird auf dem Bildschirm 2 entsprechend der Relativlage des Markers 10 - weiter nach unten verschoben - dargestellt.

[0047] Wenn die Schwenkbewegung des Geräts 1 mit der Kamera 3 nach oben fortgesetzt wird, siehe Fig. 5F, so tritt der Marker 10 nunmehr teilweise (am unteren Rand) aus dem Blickwinkel der Kamera heraus, und es ist eine Marker-Erkennung nicht mehr möglich. In dieser Situation werden die Signale der Bewegungs-Sensoren 6 herangezogen, um die Messung der Relativbewegung durchzuführen, wobei als Basis für die Bewegungserfassung, d.h. als Ausgangspunkt, Lage und Größe des Markers gemäß Fig. 5E herangezogen wird und der Bewegungsvektor von Fig. 5E nach Fig. 5F usw. zugrunde gelegt wird, um das virtuelle Objekt 20 auf dem Bildschirm 2 darzustellen.

[0048] Gemäß Fig. 5G tritt der Marker 10 zur Gänze aus dem Blickwinkel der Kamera 3 heraus, eine Marker-Erkennung ist damit selbstverständlich weiterhin nicht möglich; die Bewegung wird daher mit Hilfe der Bewegungs-Sensoren 6 weiterhin erfasst, wobei als Basis hierfür die letztgültige Marker-Referenz, also Lage und Größe des Markers, gemäß Fig. 5E herangezogen wird. Die Weiterbewegung von der Situation gemäß Fig. 5E weg bis zur Situation gemäß Fig. 5G wird anhand der Bewegungsmessung, der Erfassung des entsprechenden Bewegungsvektors, ermittelt, und entsprechend dieser Weiterbewegung wird das virtuelle Objekt 20 auf dem Bildschirm 2 dargestellt; dabei ist aus Fig. 5G ersichtlich, dass das virtuelle Objekt 20 auf den Bildschirm 2 weiter nach unten „gerutscht" ist, sodass nur mehr sein oberer Bereich gezeigt wird. Der Marker 10 wird hier überhaupt nicht mehr erfasst.

[0049] In Fig. 5H ist eine Situation dargestellt, in der das Gerät 1 bzw. die Kamera 3 noch weiter nach oben bewegt wurde, wobei der Marker 10 jetzt sogar ganz außerhalb des Blickwinkels der Kamera 3 liegt, wie dies schematisch in Fig. 5H links dargestellt ist, und weiterhin, wie schon bei Fig. 5G, nicht sichtbar ist. Eine Marker-Erkennung ist damit selbstverständlich nicht möglich, und es erfolgt wie in den letzten beiden Fällen eine Messung der Bewegung mit Hilfe der Bewegungs-Sensoren 6, wobei nach Lage und Größe des Markers gemäß Fig. 5E und mit dem Bewegungsvektor von der Situation gemäß Fig. 5E zur Situation gemäß Fig. 5H die Relativlage des Geräts 1 relativ zum Marker 10 festgestellt wird. In der beispielhaft in Fig. 5H gezeigten Situation ist das virtuelle Objekt 20 (siehe Fig. 5G) nicht so groß, dass es noch im Display 2 gemäß Fig. 5H aufscheinen würde, d.h. das virtuelle Objekt 20 ist nicht mehr im - virtuellen -Blickwinkel des Bildschirms 2. Der Bildschirm ist daher leer; lediglich das aktuelle Kamerabild ist sichtbar.

[0050] Dies müsste jedoch an sich nicht so sein, wenn das virtuelle Objekt 20 eine entsprechende Größe oder Erstreckung hat, oder wenn die Bewegung von Fig. 5D nach Fig. 5H eine andere Bewegung wäre (wie etwa eine seitliche Schwenkbewegung, sodass ausgehend von der Darstellung in Fig. 5G das virtuelle Objekt 20 seitlich, nach links oder nach rechts, verschoben würde).

[0051] Gemäß Fig. 5I wird nunmehr das Gerät 1 mit der Kamera 3 nicht mehr weiter nach oben, sondern (wieder) nach unten geschwenkt, wobei in Fig. 5I die Situation dargestellt wird, wo der Marker 10 gerade wieder den Rand des Kamera-Blickwinkels - von außen -berührt. Der Marker 10 ist dabei nach wie vor somit nicht im Blickwinkel der Kamera 3, und es ist keine Marker- 6/18 äsSerneldtiKhes psiÄüiaist AT12855U1 2013-01-15

Erkennung möglich. Die Messung der Bewegung kann jedoch weiterhin auf Basis der Sensorsignale, und zwar auch nach wie vor ausgehend von der Situation gemäß Fig. 5E, in der beschriebenen Weise mit Hilfe des Bewegungsvektors von Fig. 5E nach Fig. 5I erfolgen, wobei in Fig. 5I das virtuelle Objekt 20 wieder mit seinem oberen Bereich im Bildschirm 2 dargestellt wird, ähnlich wie im Fall der Fig. 5G.

[0052] Gemäß Fig. 5J - vgl. auch Fig. 5F - befindet sich der Marker 10 wieder teilweise im Blickfeld der Kamera 3 des Geräts 10 jedoch ist noch eine keine Markererkennung möglich, sodass weiterhin die Messung der Bewegung für die Darstellung des virtuellen Objekts 20 durchgeführt wird. Erst in der Situation gemäß Fig. 5K - entsprechend Fig. 5E - ist eine Markererkennung wieder möglich, und es erfolgt eine Initialisierung der Sensoren 6.

[0053] In der letzten Teilfigur von Fig. 5, Fig. 5L ist schließlich beispielsweise eine Situation dargestellt, in der annahmeweise eine Marker-Erkennung möglich wäre, in der jedoch der Marker zwischenzeitig entfernt wurde und sich jedenfalls nicht mehr in der Position von Fig. 5E befindet. Das Gerät 1 mit den Rechnermitteln 4 erkennt, dass der Marker 10 entfernt wurde, und das virtuelle Objekt 20 wird aus der Anzeige auf dem Bildschirm 2 entfernt.

[0054] Diese Entfernung des virtuellen Objekts 20 aus der Darstellung am Bildschirm 2 ist jedoch nur optional, theoretisch wäre es alternativ dazu auch denkbar, auf Basis der zuletzt erfassten Position des Markers 10, gemäß Fig. 5E, und mit Hilfe des Bewegungsvektors, auf Basis der Sensorsignale, weiterhin das virtuelle Objekt 20 auf dem Bildschirm 2 anzuzeigen.

[0055] In Fig. 5 wurde ein vergleichsweise einfacher Bewegungsablauf veranschaulicht, gemäß dem des Gerät 1 nur einfach nach oben und dann wieder nach unten geschwenkt wird. Selbstverständlich sind andere Bewegungsabläufe möglich und in der Regel gegeben; ein anderer ganz einfacher Bewegungsablauf wäre der, dass das Gerät 1 mit der Kamera 3 einfach nach links oder nach rechts horizontal verschoben oder verschwenkt wird. In der Regel werden jedoch komplexere Bewegungsabläufe gegeben sein, vor allem wenn das mobile Gerät 1 ein Handgerät ist und bei den Bewegungen in der Hand gehalten wird, wobei sich zusammengesetzte Bewegungen, nämlich Schiebebewegungen in Kombination mit Schwenkbewegungen ergeben. Im Prinzip laufen jedoch die Vorgänge so wie anhand der Fig. 5 erläutert auch bei diesen komplexeren Bewegungen ab, wobei dann, wenn das Referenzobjekt 10 aus dem Blickwinkel der Kamera 3 gelangt aufgrund der Bewegungsvektoren, auf Basis der Sensorsignale, die weitere Relativbewegung des Geräts 1 mit der Kamera 3 relativ zum durch das Referenzobjekt 10 gegebenen Bezugspunkt berechnet wird, und auf Basis dieser Berechnung dann die Lage und Ausrichtung des virtuellen Objekts 20 auf dem Bildschirm 2 ermittelt und dargestellt wird. Bevorzugt kann eine Bewegungserfassung nur für eine Schwenkbewegung des Geräts 1 (nach oben/unten und/oder nach links/rechts) vorgesehen werden, um den Aufwand geringer zu halten und schnelle Reaktionszeiten zu ermöglichen; in der Regel wird nämlich ein in der Hand gehaltenes Gerät 1, wie ein Mobiltelefon, eine digitale Bild- oder Videokamera etc., hauptsächlich eine Schwenkbewegung erfahren. Selbstverständlich ist es aber auch möglich, mit dem Gerät mehr als eine Schwenkbewegung auszuführen, wobei auch hierfür eine Berechnung der Bewegung, aufgrund der Bewegungsvektoren, möglich ist.

[0056] Auf die beschriebene Weise kann beispielsweise das Gerät 1 auch um das Referenzobjekt 10 herum bewegt werden, etwa in einer Art kreisenden Bewegung, wobei das virtuelle Objekt 20 nie aus dem virtuellen Blickwinkel des Bildschirms 2 gerät und beispielsweise zunächst von vorne, dann von schräg vorne oben, danach von oben usw. bis schließlich von hinten oder auch von unten auf dem Bildschirm 2 angezeigt wird. Eine ähnliche Bewegung um das Referenzobjekt 10 herum kann auch durchgeführt werden, wenn das Gerät 1 ungefähr horizontal um dieses Referenzobjekt 10 mehr oder weniger „kreisend" herumbewegt wird. Es kann dann das virtuelle Objekt 20 von vorne, von der linken Seite, von hinten, von der rechten Seite und wieder von vorne (oder umgekehrt) veranschaulicht werden, wobei auch gegebenenfalls, je nach Auf- oder Ab-Bewegung oder Verschwenkung des Geräts 1, auch Schrägansichten inkludiert sein können.

[0057] Nur beispielhaft wird nachfolgend eine Berechnungsmöglichkeit, konkret für den Fall 7/18

jfcteswldsisch« p*fK!5iäi*t AT 12 855 Ul 2013-01-15 einer bloßen Schwenkbewegung, erläutert.

[0058] Für den Modus ohne Marker 10 verwendet das System die Daten eines Gyrosensors, um die erforderlichen Lagebestimmungen durchzuführen. Hierbei kann lediglich eine Rotationsmatrix Rg aus den Euler'schen Winkeln α des Sensors 6 deduziert werden, das System verbleibt invariant in Bezug auf Translationen. Die Rotationsmatrix Rg hat hierbei folgende Form: [0059] Rg = Rx x Ry x Rz [0060] wobei Rx, Ry, Rz von folgender Form sind: 1 0 0 Λ»(α) = j 0 cosa — sin α vO sina cosa

/cosa — sina i?-(a) — I sina cosa 0 0

[0061] Die im Sichtbereich (Viewspace) der virtuellen Kamera definierten räumlichen (World Space) Koordinaten aller dargestellten 3D-Modelle zum Zeitpunkt t-1 werden mit dieser Rotationsmatrix Rg transformiert: [0062] V, = Rg x Vm [0063] v, = p x V, [0064] wobei V, der aktuellen Viewspace-Transformation zum Zeitpunkt t, p den Objektraum (Object Space)-Koordinaten eines Punktes P und v, den Viewspace-Koordinaten eines Punktes P zum Zeitpunkt t entspricht.

[0065] Im Fall einer kombinierten translatorischen und Schwenk-Bewegung ist die Transformations-Matrix entsprechend den zusätzlichen Verschiebungen zu erweitern, wie dies dem Fachmann an sich geläufig ist.

[0066] Somit können Schwenkungen der echten Kamera, in Bezug auf echte Objekte, originalgetreu auf Bewegungen der virtuellen Kamera, in Bezug auf virtuellen Objekte, abgebildet werden.

[0067] Dadurch, dass bei diesen Relativbewegungen zwischen Gerät 1 und Referenzobjekt 10 über die Erfassung der Bewegungsvektoren mit Hilfe der Bewegungs-Sensoren weiterhin die Position, d.h. Lage, Größe und Ausrichtung, des virtuellen Objekts 20 relativ zum Bezugspunkt (Referenzobjekt 10), auch wenn dieser nicht mehr im Blickwinkel des Geräts ist, dargestellt werden kann, ergeben sich zahlreiche vorteilhafte Anwendungsmöglichkeiten für die vorliegende Technik.

[0068] So ist es beispielsweise möglich, Einrichtungsgegenstände wie Möbel, Fernsehgeräte, aber auch Kücheneinrichtungen, andererseits Schmuckgegenstände, Bilder, Sportgeräte, Designobjekte, sogar gesamte Gebäude, Fahrzeuge, Elemente der Gartengestaltung und beliebige andere 3D-Objekte als virtuelle Objekte 20 in verschiedensten Darstellungen auf den Bildschirm 2 wiederzugeben. Aufgrund der Größe und Verzerrung des durch die Kamera 3 erkannten Referenzobjekts 10 werden initial die Lage und Größe dieser Modelle, d.h. virtuelle Objekte, berechnet, wobei das Objekt in der Anwendung realitätsgetreu dargestellt werden kann. Je nachdem, wie das Gerät 1 bewegt und damit seine Lage auch zum virtuellen Objekt 20 relativ 8/18

AT12 855U1 2013-01-15 verändert wird, verändern sich auch der Blickwinkel und die Distanz, von der aus das Objekt 20 betrachtet wird. Dadurch, dass zusätzlich die Bewegungs-Sensoren 6 (oder auch nur ein Bewegungs-Sensor) zum Erfassen der Relativbewegung eingesetzt werden, ist es unbeachtlich, ob das Referenzobjekt 10 noch im Blickwinkel der Kamera 3 vorliegt oder nicht. Die virtuellen 3D-Objekte, z.B. Möbelstücke, können somit in beliebigen Blickwinkeln von oben, unten, vorne, hinten, oder von der Seite betrachtet werden. Der Benützer gewinnt dadurch einen Eindruck betreffend Größe und Art des virtuellen Objekts 20, z.B. in angedachten Räumlichkeiten oder in einem Garten, wobei abgeschätzt werden kann, wie dieses 3D-Objekt in die Räumlichkeit etc. passen könnte. Durch ein intuitives Annähern des Geräts 1 an das Referenzobjekt 10, also den Bezugspunkt für das virtuelle Objekt 20, wird auch das virtuelle Objekt 20 in einem größerem reellen Maßstab dargestellt, und es werden Details besser erkennbar. Wenn das Gerät 1 ähnlich einer Kopfbewegung geschwenkt wird, können auch größere virtuelle Objekte 20, wie z.B. eine Kücheneinrichtung, von ganz oben bis ganz nach unten, oder aber von ganz links bis ganz nach rechts angezeigt werden.

[0069] Das vorliegende Gerät 1 kann auch als eine Art Orientierungshilfe beispielsweise in einem Shopping Center, einem Supermarkt, einem Museum oder dergleichen eingesetzt werden, wobei ebenfalls Referenzobjekt-Positionen zugrundegelegt werden. Wird beispielsweise mit dem Gerät 1 in eine bestimmte Richtung geblickt, werden in einem Shopping Center die jeweiligen Geschäfte in diese Richtung, z.B. ein Schuhgeschäft, ein Kleidergeschäft usw., oder aber im Falle eines Supermarkts bestimmte Produktregale, mit bestimmten Produktkategorien (z.B. Obst, Fleischwaren,...), angezeigt. Im Beispiel der Anwendung des Aufzeigens von Verkaufsregalen in einem Supermarkt etc. ist es überdies denkbar, anhand eines Einkaufszettels die gewünschten Produkte durch „Scannen" der Warenregale als virtuelle Objekte herauszusuchen.

[0070] Ein weiteres Anwendungsbeispiel ist die Anzeige von Bedienungshilfen, wobei mittels Referenzobjekt 10 in ihrer Lage, Größe und Ausrichtung erkannte virtuelle Objekte 20, z.B. Küchengeräte aber auch Autos oder elektronische Geräte usw., aus verschiedenen Blickwinkeln betrachtet werden können. Dabei wird es in der Folge möglich, über diese virtuellen Inhalte (Objekte) Bedienelemente, Steckverbindungen, Gerätekomponenten etc. zu zeigen und zu erklären. Dadurch können verschiedenste Szenarien, wie die Kontrolle von Betriebsflüssigkeiten in einem Kraftfahrzeug, der Zusammenbau eines Möbelstücks, die Bedienung einer Waschmaschine, die Verwendung oder Wartung eines Rasenmähers usw., je nach Blickwinkel zum Objekt erläutert werden. Dies ist immer möglich, auch wenn das Referenzobjekt 10 selbst nicht im Sichtbereich des Geräts 1 ist.

[0071] Auch können beispielsweise Details von ausgestellten Kunstwerken, wie Bildern oder Skulpturen in Galerien oder Museen, je nach Fokussierung des Geräts 1 auf einen bestimmten Bereich bereitgestellt und anhand der Darstellung erläutert werden.

[0072] Es ist auch denkbar, in einem Raum mehrere Referenzobjekte, also Marker auszulegen, beispielsweise in den Raumecken. Durch Schwenkbewegungen mit dem Gerät könne alle Marker erfasst werden. Danach können durch die Schwenkbewegungserfassung die Positionen der Marker im Raum erfasst bzw. ermittelt werden. In weiterer Folge kann nun mit Hilfe einfacher Algorithmen die Fläche zwischen den Markern berechnet und falls gewünscht auch auf dem Display angezeigt werden. Damit wäre es beispielsweise möglich, mit Hilfe der vorliegenden AR-Applikation verschiedene Beispiele von Fußböden anzuzeigen, und zwar jeweils korrekt in der jeweiligen Raumgröße.

[0073] Es ist auch denkbar, einen Marker bzw. ein Referenzobjekt auf einem Fußboden aufzulegen und danach den Boden zu filmen. Das Gerät erkennt den Marker und den Boden um den Marker herum. In weiterer Folge ist es nun möglich, durch die Bodenstruktur, die um den Marker herum gegeben ist, den Boden als Fläche zu erkennen und virtuell mit einer anderen Textur zu überlagern. Auf diese Weise könnte man beispielsweise einen Fliesenboden, etwa mit weißen Fliesen, durch einen Parkettboden ersetzen. Der Boden, der als Fläche erkannt wurde, wäre wie in der Filmtechnologie als „Bluescreen" anzusehen. Durch den Marker erkennt das 9/18

Claims (9)

1. isterrekiiäsches fisisü-a^t AT12 855U1 2013-01-15 Gerät die Blickrichtung auf den Boden und kann demnach die Texturen des neuen Bodenmaterials entsprechend ausrichten. [0074] Wie erwähnt ist das Gerät 1 bevorzugt ein Mobiltelefon-gerät, es kann aber auch ein anderes mobiles Gerät sein, wie eine digitale Bild- bzw. Videokamera, oder eine mit entsprechender Elektronik ausgerüstet Brille. Ansprüche 1. Verfahren zum Darstellen eines virtuellen dreidimensionalen größengetreuen (3D-)Objekts (20) relativ zu einem im Raum positionierten realen Referenzobjekt (10) auf einem Bildschirm eines mobilen Bild- bzw. Videokamera-Geräts (1), - wobei Bilddaten des virtuellen Objekts (20) im Gerät (1) gespeichert werden, das reale Referenzobjekt (10) mit dem Gerät (1) aufgenommen und die Darstellung des Referenzobjekts (10) auf dem Bildschirm (2) mit einer Darstellung des virtuellen Objekts (20) kombiniert wird, - und wobei bei einer Bewegung des Geräts (1) relativ zum Referenzobjekt (10) das virtuelle Objekt (20) mit einer der geänderten Lage und Distanz des Referenzobjekts relativ zum Gerät entsprechenden Positionsänderung im Raum dargestellt wird, - dadurch gekennzeichnet, dass die Bewegung des Geräts (1) dann, wenn das Referenzobjekt (10) zur Gänze aus dem Blickwinkel des Geräts verschwindet, mit Hilfe von im Gerät vorgesehenen Bewegungs-Sensoren (6), wie z.B. Beschleunigungs- bzw. Trägheits-Sensoren und/oder Gyroskop-Sensoren, weiter erfasst und das virtuelle Objekt (20) auf Basis dieser Bewegungserfassung mit der entsprechenden Positionsänderung dargestellt wird, bis es gegebenenfalls aufgrund der Bewegung ebenfalls aus dem -virtuellen - Gerät-Blickwinkel verschwindet.
2. 2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die Bewegung - und damit die Lage und Distanz - des Geräts (1) relativ zum Referenzobjekt (10) auf der Basis der sich bei der Bewegung des Geräts (1) ergebenden Verzerrung und Größenänderung der Darstellung des Referenzobjekts (10) erfasst wird.
3. 3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die Bewegung des Geräts (1) nach dem Verschwinden des Referenzobjekts (10) aus dem Gerät-Blickwinkel auf Basis einer dreidimensionalen Vektorbewegung, mit Hilfe von über die Sensoren (6) erfassten Bewegungsvektoren, berechnet wird.
4. 4. Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass als Referenzobjekt (10) ein erkennbares quadratisches Symbol verwendet wird.
5. 5. Verfahren nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass das Referenzobjekt (10) in seiner realen Position verändert wird, um dadurch das virtuelle Objekt (20) in der Darstellung ebenfalls anders zu positionieren.
6. 6. Verfahren nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, dass dann, wenn bei einer fortgesetzten Bewegung des Geräts (1) das Referenzobjekt (10) wieder zur Gänze im Blickwinkel des Geräts (1) erscheint, die Messung der Bewegung mit Hilfe der Sensoren (6) beendet wird, wobei die Sensorsignale initialisiert werden, und die Gerätebewegung wieder mit Hilfe des Referenzobjekts (10) erfasst wird.
7. 7. Mobiles Gerät (1) mit Bild- bzw. Videokamera (3) und Bildschirm (2) zum Darstellen eines virtuellen größengetreuen 3D-Objekts (20) relativ zu einem im Raum positionierten realen Referenzobjekt (10) auf dem Bildschirm (2), gemäß dem Verfahren nach einem der Ansprüche 1 bis 6, mit Speichermitteln (5) zum Speichern von Bilddaten des virtuellen Objekts (20) und mit Rechnermitteln (4), die mit den Speichermitteln (5), dem Bildschirm (2) sowie mit der Videokamera (3) verbunden sind, und die eingerichtet sind, bei einer Bewegung des Geräts (1) relativ zum Referenzobjekt (10) die Bilddaten des virtuellen Objekts (20) umzurechnen und die geänderten Bilddaten dem Bildschirm (2) zur Darstellung des virtuellen Objekts (20) gemäß der durch die Bewegung des Geräts (1) geänderten Position 10/18

   psiesiäÄi AT12 855U1 2013-01-15 zuzuführen, dadurch gekennzeichnet, dass die Rechnermittel (4) weiters mit Bewegungs-Sensoren (6) im Gerät (1) verbunden sind, die eingerichtet sind, die Bewegung des Geräts (1) zu erfassen und zugehörige Bewegungsdaten zu liefern, die dann, wenn im Zuge der Bewegung des Geräts (1) relativ zum Referenzobjekt (10) dieses Referenzobjekt (10) aus dem Blickwinkel des Geräts (1) verschwindet, den Rechnermitteln (4) zugeführt werden, wobei die Rechnermittel (4) überdies eingerichtet sind, auf Basis dieser Bewegungsdaten die weiteren Positionsänderungen des Geräts (1) relativ zum Referenzobjekt (10) und damit Daten für die Darstellung des virtuellen Objekts (20) in der geänderten Position bzw. Lage auf dem Bildschirm (2) zu berechnen, welche Daten dem Bildschirm (2) zur Darstellung übermittelt werden.
8. 8. Gerät nach Anspruch 7, dadurch gekennzeichnet, dass die Rechnermittel (4) eingerichtet sind, aus den von der Kamera (3) erhaltenen Bilddaten des Referenzobjekts (10) bei einer Gerät-Bewegung Verzerrungen und Größenänderungen in der Darstellung des Referenzobjekts (10) zu erfassen und auf Basis hiervon die geänderten Bilddaten für die Darstellung des virtuellen Objekts (20) auf dem Bildschirm (2) in der geänderten Position zu berechnen.
9. 9. Gerät nach Anspruch 7 oder 8, dadurch gekennzeichnet, dass es durch ein Mobiltelefon-Gerät (1) mit Videokamera (3) und Bewegungs-Sensoren (6) gebildet ist. Hierzu 7 Blatt Zeichnungen 11 /18