DE112018006930T5

DE112018006930T5 - Virtuelles-Objekt-Anzeige-Steuerungseinrichtung, Virtuelles-Objekt-Anzeigesystem, Virtuelles-Objekt-Anzeige-Steuerungsverfahren und Virtuelles-Objekt-Anzeige-Steuerungsprogramm

Info

Publication number: DE112018006930T5
Application number: DE112018006930.3T
Authority: DE
Inventors: Masaya Nidaira; Satoshi Sakurai
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2018-02-26
Filing date: 2018-02-26
Publication date: 2020-10-08
Also published as: KR20200103115A; JP6698972B2; KR102279300B1; JPWO2019163129A1; CN111758121A; WO2019163129A1; US20200402310A1

Abstract

Eine Virtuelles-Objekt-Anzeige-Steuerungseinrichtung (10) umfasst eine Erkennungseinheit (110), um Realrauminformationen (A1, A2), anzeigend einen Realraum, zu empfangen; eine Betrachtungspunktposition-Beurteilungseinheit (121), um eine Position eines Betrachtungspunkts eines Betrachters zu beurteilen auf Grundlage der Realrauminformationen (A1, A2); eine Realobjekt-Beurteilungseinheit (122), um eine Position und eine Form eines Realobjekts zu beurteilen auf Grundlage der Realrauminformationen (A1, A2); eine Bildsteuerungseinheit (123), um Bildinformationen zum Anzeigen einer Animation eines virtuellen Objekts zu erzeugen durch Verarbeiten der Bildinformationen über das virtuelle Objekt; eine Anzeigeeinstellungseinheit (124), um zu beurteilen, ob die Animation des virtuellen Objekts angezeigt werden soll oder nicht, auf Grundlage der Position des Betrachtungspunktes, der Position und der Form des Realobjekts und der Bildinformationen über das virtuelle Objekt, und um Bildinformationen, umfassend irgendeine der Bildinformationen über das virtuelle Objekt oder der Bildinformationen zum Anzeigen der Animation des virtuellen Objekts, einzustellen als Anzeigebildinformationen (B2) auf Grundlage eines Ergebnisses der Beurteilung; und eine Zeicheneinheit (125), um die Anzeigebildinformationen (B2) auszugeben.

Description

TECHNISCHES GEBIET
Die vorliegende Erfindung betrifft eine Virtuelles-Objekt-Anzeige-Steuerungseinrichtung, ein Virtuelles-Objekt-Anzeige-Steuerungsverfahren und ein Virtuelles-Objekt-Anzeige-Steuerungsprogramm zum Durchführen von Steuerung zum Anzeigen eines Bildes eines virtuellen Objekts, und ein Virtuelles-Objekt-Anzeigesystem, umfassend die Virtuelles-Objekt-Anzeige-Steuerungseinrichtung.
HINTERGRUND ZUM STAND DER TECHNIK
Es wurde eine Einrichtung vorgeschlagen, die ein Bild eines Realobjekts und ein Bild eines virtuellen Objekts, das auf dem ersteren Bild eingeblendet ist, auf einem Bildschirm einer Anzeigeeinrichtung anzeigt (siehe zum Beispiel Patentreferenz 1). Das Bild des virtuellen Objekts ist zum Beispiel ein Augmented-Reality (AR)-Bild.
REFERENZEN ZUM STAND DER TECHNIK
PATENTREFERENZEN
Patentreferenz 1: Japanische Patentanmeldung Veröffentlichungsnummer: 2015-49039
KURZFASSUNG DER ERFINDUNG
DER ERFINDUNG ZUGRUNDE LIEGENDES PROBLEM
In der oben erwähnten herkömmlichen Einrichtung wird das Bild des virtuellen Objekts an einer Position angezeigt, die von einer Position, an der das Bild ursprünglich angezeigt werden sollte, verschoben ist, durch Berücksichtigung der Okklusion im Realraum (d.h. so dass das Bild des virtuellen Objekts durch das Bild des Realobjekts nicht verdeckt ist). In diesem Fall kann ein Betrachter jedoch nicht die Position erfahren, an der das Bild des virtuellen Objekts ursprünglich angezeigt werden sollte. Wenn es sich bei dem Bild des virtuellen Objekts um ein Bild mit einer Anmerkung zu einem Realobjekt handelt, ist dementsprechend unklar, auf welches Realobjekt sich die Anmerkung bezieht.
Eine Aufgabe der vorliegenden Erfindung ist es, eine Virtuelles-Objekt-Anzeige-Steuerungseinrichtung, ein Virtuelles-Objekt-Anzeigesystem, ein Virtuelles-Objekt-Anzeige-Steuerungsverfahren und ein Virtuelles-Objekt-Anzeige-Steuerungsprogramm, die in der Lage sind, es dem Betrachter zu ermöglichen, die Position des Bildes des virtuellen Objekts mittels Animationsanzeige zu erkennen, selbst wenn das Bild des virtuellen Objekts an einer für den Betrachter nicht-sichtbaren Position angezeigt wird.
MITTEL ZUR LÖSUNG DES PROBLEMS
Eine Virtuelles-Objekt-Anzeige-Steuerungseinrichtung gemäß einem Aspekt der vorliegenden Erfindung umfasst eine Erkennungseinheit, um Realrauminformationen, anzeigend einen Realraum, zu empfangen; eine Betrachtungspunktposition-Beurteilungseinheit, um eine Position eines Betrachtungspunkts eines Betrachters zu beurteilen auf Grundlage der Realrauminformationen; eine Realobjekt-Beurteilungseinheit, um eine Position und eine Form eines Realobjekts zu beurteilen auf Grundlage der Realrauminformationen; eine Bildsteuerungseinheit, um Bildinformationen über ein virtuelles Objekt zu empfangen und die Bildinformationen über das virtuelle Objekt zu verarbeiten, wodurch Bildinformationen zum Anzeigen einer Animation des virtuellen Objekts erzeugt werden; eine Anzeigeeinstellungseinheit, um zu beurteilen, ob die Animation des virtuellen Objekts angezeigt werden soll oder nicht, auf Grundlage der Position des Betrachtungspunktes, der Position und der Form des Realobjekts und der Bildinformationen über das virtuelle Objekt, und um Bildinformationen, umfassend irgendeine der Bildinformationen über das virtuelle Objekt und der Bildinformationen zum Anzeigen der Animation des virtuellen Objekts, als Anzeigebildinformationen anzuzeigen auf Grundlage eines Ergebnisses der Beurteilung; und eine Zeicheneinheit, um die Anzeigebildinformationen auszugeben.
Ein Virtuelles-Objekt-Anzeigesystem gemäß einem weiteren Aspekt der vorliegenden Erfindung umfasst eine Rauminformationen-Erwerbungseinheit, um Realrauminformationen, anzeigend einen Realraum, zu erwerben; eine Erkennungseinheit, um die Realrauminformationen zu empfangen; eine Betrachtungspunktposition-Beurteilungseinheit, um eine Position eines Betrachtungspunkts eines Betrachters zu beurteilen auf Grundlage der Realrauminformationen; eine Realobjekt-Beurteilungseinheit, um eine Position und eine Form eines Realobjekts zu beurteilen auf Grundlage der Realrauminformationen; eine Bildsteuerungseinheit, um Bildinformationen über ein virtuelles Objekt zu empfangen und die Bildinformationen über das virtuelle Objekt zu verarbeiten, wodurch Bildinformationen zum Anzeigen einer Animation des virtuellen Objekts erzeugt werden; eine Anzeigeeinstellungseinheit, um zu beurteilen, ob die Animation des virtuellen Objekts angezeigt werden soll oder nicht, auf Grundlage der Position des Betrachtungspunktes, der Position und der Form des Realobjekts und der Bildinformationen über das virtuelle Objekt, und um Bildinformationen, umfassend irgendeine der Bildinformationen über das virtuelle Objekt und der Bildinformationen zum Anzeigen der Animation des virtuellen Objekts, als Anzeigebildinformationen anzuzeigen auf Grundlage eines Ergebnisses der Beurteilung; eine Zeicheneinheit, um die Anzeigebildinformationen auszugeben; uns eine Anzeigeeinrichtung, um ein Bild auf Grundlage der Anzeigebildinformationen anzuzeigen.
WIRKUNG DER ERFINDUNG
Nach der vorliegenden Erfindung ist es selbst dann, wenn das Bild des virtuellen Objekts an einer für den Betrachter nicht-sichtbaren Position angezeigt wird, möglich, dem Betrachter zu ermöglichen, die Position des Bildes des virtuellen Objekts mittels einer Animationsanzeige zu erkennen.
Figurenliste

1 ist ein Diagramm, das eine Hardwarekonfiguration eines Virtuelles-Objekt-Anzeigesystems gemäß einer ersten Ausführungsform der vorliegenden Erfindung zeigt.
2 ist ein Diagramm, das schematisch eine Positionsbeziehung zwischen einer Position eines Betrachtungspunktes und einem Realobjekt (okkludierendes Objekt) zeigt.
3 ist ein funktionales Blockdiagramm, das eine Virtuelles-Objekt-Anzeige-Steuerungseinrichtung gemäß der ersten Ausführungsform zeigt.
4 ist ein erläuterndes Diagramm, das das Virtuelle-Objekt-Anzeigesystem gemäß der ersten Ausführungsform zeigt.
5 ist ein Diagramm, das ein Beispiel eines Anzeigebildes eines virtuellen Objekts zeigt, das durch Animation (zu einem Zeitpunkt normaler Größe) auf einer Anzeigeeinrichtung des Virtuelles-Objekt-Anzeigesystems gemäß der ersten Ausführungsform angezeigt wird.
6 ist ein Diagramm, das ein Beispiel eines Anzeigebildes des virtuellen Objekts zeigt, das durch Animation (zu einem Zeitpunkt vergrößerter Größe) auf der Anzeigeeinrichtung des Virtuelles-Objekt-Anzeigesystems gemäß der ersten Ausführungsform angezeigt wird.
7 ist ein Diagramm, das ein Beispiel des Anzeigebildes des virtuellen Objekts zeigt, das durch Animation (nämlich Bewegtanzeige) auf der Anzeigeeinrichtung des Virtuelles-Objekt-Anzeigesystems gemäß der ersten Ausführungsform angezeigt wird.
8 ist ein Flussdiagramm, das den Betrieb der Virtuelles-Objekt-Anzeige-Steuerungseinrichtung gemäß der ersten Ausführungsform zeigt.
9 ist ein Diagramm, das eine Hardwarekonfiguration eines Virtuelles-Objekt-Anzeigesystems gemäß einer zweiten Ausführungsform der vorliegenden Erfindung zeigt.
10 ist ein erläuterndes Diagramm, das das Virtuelle-Objekt-Anzeigesystem gemäß der zweiten Ausführungsform zeigt.
11 ist ein Diagramm, das eine Hardwarekonfiguration eines Virtuelles-Objekt-Anzeigesystems gemäß einer dritten Ausführungsform der vorliegenden Erfindung zeigt.
12 ist ein erläuterndes Diagramm, das das Virtuelle-Objekt-Anzeigesystem gemäß der dritten Ausführungsform zeigt.

ART DER AUSFÜHRUNG DER ERFINDUNG
Virtuelles-Objekt-Anzeige-Steuerungseinrichtungen, Virtuelles-Objekt-Anzeigesysteme, Virtuelles-Objekt-Anzeige-Steuerungsverfahren und Virtuelles-Objekt-Anzeige-Steuerungsprogramme gemäß Ausführungsformen der vorliegenden Erfindung werden unter Bezugnahme auf die beiliegenden Zeichnungen nachfolgend erläutert. Die folgenden Ausführungsformen sind nur Beispiele, und eine Reihe verschiedener Modifikationen sind innerhalb des Umfangs der vorliegenden Erfindung möglich.
Im Übrigen ist ein orthogonales xyz-Koordinatensystem in den Zeichnungen gezeigt. Im orthogonalen xyz-Koordinatensystem repräsentiert die x-Achse eine Querrichtung (d.h. horizontale Querrichtung) im Realraum, die y-Achse repräsentiert eine Tiefenrichtung (d.h. horizontale Tiefenrichtung) im Realraum und die z-Achse repräsentiert eine Höhenrichtung (d.h. vertikale Richtung) im Realraum.
Erste Ausführungsform
Im Folgenden wird zunächst eine Konfiguration eines Virtuelles-Objekt-Anzeigesystems 1 und einer Virtuelles-Objekt-Anzeige-Steuerungseinrichtung 10 beschrieben. 1 ist ein Diagramm, das eine Hardwarekonfiguration des Virtuelles-Objekt-Anzeigesystems 1 gemäß einer ersten Ausführungsform zeigt. Wie in 1 dargestellt, umfasst das Virtuelles-Objekt-Anzeigesystem 1 eine Rauminformationen-Erwerbungseinheit 20 als eine Raumerfassungseinheit, die Realrauminformationen, anzeigend einen Realraum (d. h. reale Welt), erwirbt, eine Anzeigeeinrichtung 30, die ein Bild anzeigt, und die Virtuelles-Objekt-Anzeige-Steuerungseinrichtung 10, die die Anzeigevorrichtung 30 veranlasst, das Bild anzuzeigen. Die Anzeigeeinrichtung 30 zeigt zum Beispiel ein Bild eines Realobjekts und ein Bild eines virtuellen Objekts an. Das Bild des virtuellen Objekts ist zum Beispiel ein AR-Bild. Die Virtuelles-Objekt-Anzeige-Steuerungseinrichtung 10 ist in der Lage, ein Virtuelles-Objekt-Anzeige-Steuerungsverfahren gemäß der ersten Ausführungsform auszuführen.
Die Rauminformationen-Erwerbungseinheit 20 umfasst z.B. eine oder mehrere Bildaufnahmeeinheiten 21 zum Erwerben von Bildinformationen A1 über den Realraum und eine oder mehrere Tiefenerfassungseinheiten 22 zum Erwerben von Tiefeninformationen A2 über ein Realobjekt (d.h. Objekt), das sich im Realraum befindet. Die Rauminformationen-Erwerbungseinheit 20 kann eingerichtet sein, eine von der Bildaufnahmeeinheit 21 und der Tiefenerfassungseinheit 22 zu enthalten. Die Bildaufnahmeeinheit 21 ist zum Beispiel eine Farbkamera (auch als eine „RGB-Kamera“ bezeichnet), die ein Farbbild erwirbt, eine Stereokamera, die Bilder eines Realobjekts aus mehreren verschiedenen Richtungen gleichzeitig aufnimmt, oder dergleichen. Die Tiefenerfassungseinheit 22 ist zum Beispiel eine Tiefenkamera (auch als eine „Kamera mit Tiefensensor“ bezeichnet) mit der Funktion, die Tiefe (Tiefenwirkung) eines Realobjekts oder dergleichen zu erfassen. In der ersten Ausführungsform umfassen die Realrauminformationen die Bildinformationen A1 über den Realraum und die Tiefeninformationen A2 über das Realobjekt.
Die Virtuelles-Objekt-Anzeige-Steuerungseinrichtung 10 umfasst eine CPU (Central Processing Unit) 11 als eine Informationsverarbeitungseinheit, eine GPU (Graphics Processing Unit) 12 als eine Bildverarbeitungseinheit und einen Speicher 13 als eine Speichereinheit zum Speichern von Informationen. Die GPU 12 ist eine Graphik-Zeicheneinheit und schreibt Bilddaten als ein Ergebnis des Zeichnens in den Speicher 13 (d.h. führt das Zeichnen aus), basierend auf einem von der CPU 11 empfangenen Zeichenbefehl. Die in den Speicher 13 geschriebenen Bilddaten werden auf die Anzeigeeinrichtung 30 übertragen. Funktionen der GPU 12 können durch die CPU 11 ausgeführt werden. Die Virtuelles-Objekt-Anzeige-Steuerungseinrichtung 10 ist zum Beispiel ein Personal Computer (PC), ein Smartphone, ein Tablett-Endgerät oder dergleichen. Der Speicher 13 kann ein Virtuelles-Objekt-Anzeige-Steuerungsprogramm gemäß der ersten Ausführungsform speichern. Die CPU 11 ist in der Lage, einen Anzeigebetrieb der Anzeigeeinrichtung 30 durch Ausführen des Virtuelles-Objekt-Anzeige-Steuerungsprogramms zu steuern.
Die Anzeigeeinrichtung 30 ist zum Beispiel eine Einrichtung mit einem Anzeigebildschirm (d.h. Display), wie z.B. ein PC-Monitor, ein Smartphone oder ein Tablet-Endgerät.
2 ist ein Diagramm, das schematisch eine Positionsbeziehung zwischen einer Position 91 eines Betrachtungspunktes eines Betrachters 90 und einem Realobjekt 311 zeigt. Das Realobjekt 311 kann als ein okkludierendes Objekt vorhanden sein, das ein virtuelles Objekt verdeckt. Wenn das Realobjekt 311 im Realraum vorhanden ist, kann der Betrachter 90 ein Bild des virtuellen Objekts, das in einer Region (schraffierte Region) 314 angezeigt wird, die durch das Realobjekt 311 verdeckt wird, von der Position 91 des Betrachtungspunktes aus nicht betrachten. Wenn das Bild des virtuellen Objekts an eine andere Position verschoben wird, wird außerdem unklar, auf welches Realobjekt sich das Bild des virtuellen Objekts bezieht. Daher beurteilt die Virtuelles-Objekt-Anzeige-Steuerungseinrichtung 10 die Position 91 des Betrachtungspunkts des Betrachters 90 und die Position und die Form des Realobjekts 311 auf Grundlage der Realrauminformationen und beurteilt, ob Animationsanzeige als Bewegtanzeige notwendig ist oder nicht, auf Grundlage der Position 91 des Betrachtungspunkts, der Position und der Form des Realobjekts 311 und der Bildinformationen über das virtuelle Objekt. Bei der Animationsanzeige handelt es sich zum Beispiel um eine Skalierungsanzeige des Bildes des virtuellen Objekts, eine Hin-und-Her-Bewegung des Bildes des virtuellen Objekts oder dergleichen. Wenn die Animationsanzeige notwendig ist, stellt die Virtuelles-Objekt-Anzeige-Steuerungseinrichtung 10 Bildinformationen auf der Animationsanzeige ein und gibt Bildinformationen zum Anzeigen der Animation des virtuellen Objekts (d.h. Animationsbildinformationen) aus. Wenn die Animationsanzeige nicht-notwendig ist, stellt die Virtuelles-Objekt-Anzeige-Steuerungseinrichtung 10 Bildinformationen zum Anzeigen des virtuellen Objekts in einer normalen Größe als ein Standbild (d.h. Normalbildinformationen) aus.
3 ist ein funktionales Blockdiagramm, das die Virtuelles-Objekt-Anzeige-Steuerungseinrichtung 10 gemäß der ersten Ausführungsform zeigt. Wie in 3 dargestellt, umfasst die Virtuelles-Objekt-Anzeige-Steuerungseinrichtung 10 eine Erkennungseinheit 110, die die Bildinformationen A1 über den Realraum und die Tiefeninformationen A2 über das Realobjekt als die Realrauminformationen empfängt, und eine Anzeigesteuerungseinheit 120.
Die Erkennungseinheit 110 umfasst z.B. eine Raumerkennungseinheit 111, die die Bildinformationen A1 über den Realraum (d.h. Objektraum) empfängt, einen Erkennungsprozess zum Erkennen, an welcher Position im Realraum das Realobjekt vorhanden ist, durchführt und das Ergebnis des Prozesses an die Anzeigesteuerungseinheit 120 liefert, und eine Realobjekt-Erkennungseinheit 112, die die Tiefeninformationen A2 über das Realobjekt empfängt, einen Erkennungsprozess zum Erkennen, was das Realobjekt ist, durchführt und das Ergebnis des Prozesses an die Anzeigesteuerungseinheit 120 liefert. Die Realobjekt-Erkennungseinheit 112 kann Daten ausgeben, in denen das Realobjekt durch ein Modell des Realobjekts ersetzt wurde (d.h. im Voraus gespeicherte Bildinformationen). Das Modell des Realobjekts, als im Voraus gespeicherte Bildinformationen, kann Bildinformationen über einen Schreibtisch, einen Stuhl oder dergleichen oder eine typische dreidimensionale Form, wie ein Zylinder, ein rechteckiges Prisma, eine dreieckige Pyramide oder eine Kugel sein. Die Konfiguration und die Funktionen der Erkennungseinheit 110 sind jedoch nicht auf die oben beschriebenen Beispiele beschränkt.
Die Anzeigesteuerungseinheit 120 umfasst eine Betrachtungspunktposition-Beurteilungseinheit 121, die die Position 91 des Betrachtungspunktes des Betrachters 90 auf Grundlage der von der Erkennungseinheit 110 gelieferten Realrauminformationen beurteilt, und eine Realraum-Beurteilungseinheit 122, die die Position und die Form des Realobjekts 311 auf Grundlage der von der Erkennungseinheit 110 gelieferten Realrauminformationen beurteilt. Die Betrachtungspunktpositions-Beurteilungseinheit 121 berechnet die Position 91 des Betrachtungspunktes des Betrachters 90, der das virtuelle Objekt beobachtet, das im Realraum angezeigt wird, auf Grundlage von Positionsinformationen, die von der Raumerkennungseinheit 111 empfangen werden, und erzeugt Betrachtungspunktpositionsinformationen, die die Position des Betrachtungspunktes angeben. Die Realobjekt-Beurteilungseinheit 122 ist eine Okkludierendes-Objekt-Beurteilungseinheit, die die Position eines okkludierenden Objekts berechnet, das das im Realraum angezeigte virtuelle Objekt verdeckt, auf Grundlage der von der Realobjekt-Erkennungseinheit 112 empfangenen Realobjektinformationen und erzeugt Okkludierendes-Objekt-Beurteilungsinformationen, anzeigend das okkludierende Objekt.
Darüber hinaus umfasst die Anzeigesteuerungseinheit 120 eine Bildsteuerungseinheit 123, die die Bildinformationen über das virtuelle Objekt empfängt und die Bildinformationen zum Anzeigen der Animation des virtuellen Objekts erzeugt durch Verarbeiten der Bildinformationen über das virtuelle Objekt. Die Bildinformationen über das virtuelle Objekt sind zum Beispiel Kommentarinformationen über das Realobjekt 311. Die Bildsteuerungseinheit 123 kann entweder die Bildinformationen über das virtuelle Objekt im Voraus speichern oder die Bildinformationen über das virtuelle Objekt von einer externen Speichereinrichtung (nicht gezeigt) oder dem Speicher 13 (1) erwerben. Die Bildsteuerungseinheit 123 liefert die Bildinformationen über das virtuelle Objekt und die Bildinformationen zum Anzeigen der Animation des virtuellen Objekts an eine Anzeigeeinstellungseinheit 124. Die Animationsanzeige ist ein Anzeigeverfahren des wiederholten Wechselns des Bildes des virtuellen Objekts auf eine vergrößerte Größe und eine normale Größe (d.h. Skalierungsanzeige). Alternativ kann die Animationsanzeige auch ein Anzeigeverfahren des wiederholten Bewegens (Hin-und-Her-Bewegens) des Bildes des virtuellen Objekts wiederholt zwischen einer ursprünglichen Bildposition des virtuellen Objekts und einer Position, die durch das Realobjekt nicht verdeckt ist (zum Beispiel Bewegtanzeige) sein. Die von der Bildsteuerungseinheit 123 an die Anzeigeeinstellungseinheit 124 gelieferten Bildinformationen werden als Bildinformationen B1 bezeichnet.
Die Bildsteuerungseinheit 123 kann die Skalierungsanzeige oder die Bewegtanzeige als das Verfahren des bs der Animation des virtuellen Objekts gemäß einer Bedingung auswählen. Beispielsweise verwendet die Bildsteuerungseinheit 123 die Skalierungsanzeige als die Animationsanzeige, wenn das virtuelle Objekt an einer Position in einer Entfernung vorhanden ist, die größer ist als eine vorherbestimmte Referenzentfernung vom Betrachter 90, und verwendet die Bewegtanzeige als die Animationsanzeige, wenn das virtuelle Objekt innerhalb der Referenzentfernung vorhanden ist. Alternativ kann die Bildsteuerungseinheit 123 die Bewegtanzeige als die Animationsanzeige auswählen, wenn das virtuelle Objekt ein Kommentar mit Buchstaben ist, und die Skalierungsanzeige als die Animationsanzeige auswählen, wenn das virtuelle Objekt kein Kommentar ist. Ferner kann die Bildsteuerungseinheit 123 die Bewegtanzeige als die Animationsanzeige auswählen, wenn das Realobjekt, das das virtuelle Objekt okkludiert, größer ist als eine vorherbestimmte Referenzgröße, und die Skalierungsanzeige als die Animationsanzeige auswählen, wenn das Realobjekt, das das virtuelle Objekt okkludiert, kleiner ist als oder gleich ist wie die Referenzgröße. Das Animationsanzeigeauswahlverfahren ist nicht auf diese Beispiele beschränkt.
Die Anzeigesteuerungseinheit 120 umfasst die Anzeigeeinstellungseinheit 124, die beurteilt, ob die Anzeige des Bildes der Animation des virtuellen Objekts angezeigt werden soll oder nicht, auf Grundlage der Position 91 des Betrachtungspunkts, der Position und der Form des Realobjekts 311 und der Bildinformationen B1, und stellt die Bildinformationen, umfassend die Bildinformationen über das virtuelle Objekt oder die Bildinformationen zum Anzeigen der Animation des virtuellen Objekts als Anzeigebildinformationen B2 ein auf Grundlage des Ergebnisses der Beurteilung, und eine Zeicheneinheit 125, die die Anzeigebildinformationen B2 an die Anzeigeeinrichtung 30 ausgibt durch Schreiben der Anzeigebildinformationen B2 in den Speicher 13.
Die Anzeigeeinstellungseinheit 124 kann die Bildinformationen für das Anzeigen der Animation des virtuellen Objekts als die Anzeigebildinformationen B2 einstellen, wenn das virtuelle Objekt ganz oder teilweise durch das Realobjekt bei Betrachtung von der Position des Betrachtungspunktes aus verdeckt ist. Die Anzeigeeinstellungseinheit 124 kann beurteilen, dass die Animationsanzeige des virtuellen Objekts notwendig ist, wenn ein vorherbestimmter bestimmter Anteil oder mehr (z.B. 50 % oder mehr) des virtuellen Objekts durch das Realobjekt bei Betrachtung von der Position 91 des Betrachtungspunktes aus verdeckt ist.
Für die Anzeigeeinstellungseinheit 124 ist es auch möglich, synthetische Bildinformationen, die durch Kombinieren der Bildinformationen über das virtuelle Objekt oder der Bildinformationen zum Anzeigen der Animation des virtuellen Objekts mit den Bildinformationen A1 über den Realraum erhalten werden, als die Anzeigebildinformationen B2 einzustellen.
Als nächstes wird im Folgenden der Betrieb der Virtuelles-Objekt-Anzeige-Steuerungseinrichtung 10 beschrieben. 4 ist ein erläuterndes Diagramm, das das Virtuelle-Objekt-Anzeigesystem 1 gemäß der ersten Ausführungsform zeigt. In 4 sind zwei Bildaufnahmeeinheiten 21a und 21b als die Bildaufnahmeeinheit 21 in 1 dargestellt. Im Beispiel von 4 liefern die Bildaufnahmeeinheiten 21a und 21b der Rauminformationen-Erwerbungseinheit 20 die Bildinformationen A1 über den Realraum an die Virtuelles-Objekt-Anzeige-Steuerungseinrichtung 10, und die Tiefenerfassungseinheit 22 liefert die Tiefeninformationen A2 über das Realobjekt an die Virtuelles-Objekt-Anzeige-Steuerungseinrichtung 10.
5 und 6 sind Diagramme, die ein Beispiel für ein Animationsanzeigebild 322 des virtuellen Objekts auf der Anzeigeeinrichtung 30 des Virtuelles-Objekt-Anzeigesystems 1 gemäß der ersten Ausführungsform zeigen. 5 und 6 zeigen einen Fall, in dem die Animationsanzeige die Skalierungsanzeige ist. 5 zeigt einen Fall, in dem das Animationsanzeigebild 322 in der normalen Größe vorliegt, und 6 zeigt einen Fall, in dem das Animationsanzeigebild 322 in der vergrößerten Größe vorliegt. Der Vergrößerungsfaktor liegt zum Zeitpunkt der Vergrößerung bei einem Wert, bei dem das Bild des virtuellen Objekts einen Teil hat, der durch das Bild des Realobjekts nicht okkludiert ist. Zum Zeitpunkt der Vergrößerung kann die Skalierungsanzeige mit einer Hervorhebungsanzeige kombiniert sein, beispielsweise durch Erhöhung der Leuchtdichte oder Änderung der Farbe.
7 ist ein Diagramm, das ein Beispiel für ein Animationsanzeigebild auf der Anzeigeeinrichtung 30 des Virtuelles-Objekt-Anzeigesystems 1 gemäß der ersten Ausführungsform zeigt. 7 zeigt einen Fall, in dem die Animationsanzeige eines virtuellen Objekts eine Bewegtanzeige. In 7 ist ein Bild 322a des virtuellen Objekts zu einem Zeitpunkt der Bewegung oberhalb eines Bilds 322 des virtuellen Objekts, das sich an seiner ursprünglichen Position befindet, dargestellt. Die Position des Bildes 322a des virtuellen Objekts zum Zeitpunkt der Bewegung kann jedoch auch eine Position sein, die seitlich von der ursprünglichen Position verschoben wurde, oder eine Position, die in einer Schrägrichtung von der ursprünglichen Position verschoben wurde. Ferner kann die Position des Bildes 322a des virtuellen Objekts zum Zeitpunkt der Bewegung eine Position sein, an der das Bild des virtuellen Objekts durch das Bild des Realobjekts nicht okkludiert wird und die Bewegungsentfernung am kürzesten ist. Zum Zeitpunkt der Bewegung kann die Bewegtanzeige mit der Hervorhebungsanzeige kombiniert sein, beispielsweise durch Erhöhung der Leuchtdichte oder Änderung der Farbe.
8 ist ein Flussdiagramm, das den Betrieb der Virtuelles-Objekt-Anzeige-Steuerungseinrichtung 10 zeigt. Die Virtuelles-Objekt-Anzeige-Steuerungseinrichtung 10 empfängt die Realrauminformationen in Schritt S1, beurteilt die Position 91 des Betrachtungspunktes des Betrachters 90 auf Grundlage der Realrauminformationen (z.B. die Bildinformationen A1 über den Realraum) in Schritt S2, beurteilt die Position und die Form des Realobjekts 311 auf Grundlage der Realrauminformationen (z.B. die Tiefeninformationen A2 über das Realobjekt) in Schritt S3, und stellt die Bildinformationen über das virtuelle Objekt 312 auf Grundlage der Position 91 des Betrachtungspunktes und der Position und der Form des Realobjekts 311 (oder der Position und der Form des modellierten Realobjekts) in Schritt S4 ein.
Anschließend beurteilt die Virtuelles-Objekt-Anzeige-Steuerungseinrichtung 10 in Schritt S5, ob die Animation des virtuellen Objekts angezeigt werden soll oder nicht, auf Grundlage der Position 91 des Betrachtungspunktes, der Position und der Form des Realobjekts 311 und der Bildinformationen über das virtuelle Objekt. Mit anderen Worten beurteilt die Virtuelles-Objekt-Anzeige-Steuerungseinrichtung 10, ob oder ob nicht das Bild 322 des virtuellen Objekts 312 durch das Bild 321 des Realobjekts 311 bei Betrachtung von der Position 91 des Betrachtungspunkts aus verdeckt ist.
Wenn das Bild 322 des virtuellen Objekts 312 nicht verdeckt ist (NEIN in Schritt S5), zeichnet die Virtuelles-Objekt-Anzeige-Steuerungseinrichtung 10 in Schritt S6 das Bild 321 des Realobjekts auf Grundlage der Bildinformationen über den Realraum und zeichnet das Bild 322 des virtuellen Objekts. Dann veranlasst die Virtuelles-Objekt-Anzeige-Steuerungseinrichtung 10 in Schritt S7 die Anzeigeeinrichtung 30, das Bild 321 des Realobjekts und das Bild 322 des virtuellen Objekts anzuzeigen.
Wenn das Bild 322 des virtuellen Objekts 312 verdeckt wird (JA in Schritt S5), bestimmt die Virtuelles-Objekt-Anzeige-Steuerungseinrichtung 10 das Verfahren der Animationsanzeige in Schritt S8, und zeichnet das Bild 321 des Realobjekts auf Grundlage der Bildinformationen über den Realraum und zeichnet das Bild 321 des virtuellen Objekts und das Animationsanzeigebild 322 des virtuellen Objekts in Schritt S9. Dann, wie in 5 und 6 dargestellt, veranlasst die Virtuelles-Objekt-Anzeige-Steuerungseinrichtung 10, dass die Anzeigeeinrichtung 30 das Bild 321 des Realobjekts und das Animationsanzeigebild 322 des virtuellen Objekts anzeigt.
Wie oben beschrieben, wird mit dem Virtuelles-Objekt-Anzeigesystem 1 und der Virtuelles-Objekt-Anzeige-Steuerungseinrichtung 10 gemäß der ersten Ausführungsform auch dann, wenn das Bild des virtuellen Objekts an einer für den Betrachter 90 nicht-sichtbaren Position, wie z.B. hinter dem Realobjekt, angezeigt wird, das Bild des virtuellen Objekts mit Hilfe des Animationsanzeigebildes 322 des virtuellen Objekts für den Betrachter 90 sichtbar angezeigt, und somit ist es möglich, dem Betrachter 90 zu ermöglichen, die Position des Bildes 322 des virtuellen Objekts zu erkennen.
Ferner wird mit dem Virtuelles-Objekt-Anzeigesystem 1 und der Virtuelles-Objekt-Anzeige-Steuerungseinrichtung 10 gemäß der ersten Ausführungsform das Animationsanzeigebild 322 an der ursprünglichen Position des virtuellen Objekts angezeigt, so dass der Betrachter 90 korrekt erkennen kann, um welches Realobjekt es sich bei dem Animationsanzeigebild 322 des virtuellen Objekts handelt.
Zweite Ausführungsform
9 ist ein Diagramm, das eine Hardwarekonfiguration eines Virtuelles-Objekt-Anzeigesystems 2 gemäß einer zweiten Ausführungsform zeigt. In 9 wird jeder Komponente, die einer in 1 gezeigten Komponente gleich ist oder entspricht, das gleiche Bezugszeichen zugewiesen wie in 1. 10 ist ein erläuterndes Diagramm, das das Virtuelle-Objekt-Anzeigesystem 2 von 9 zeigt. In 10 wird jeder Komponente, die einer in 4 gezeigten Komponente gleich ist oder entspricht, das gleiche Bezugszeichen zugewiesen wie in 4.
Das in 9 und 10 gezeigte Virtuelles-Objekt-Anzeigesystem 2 unterscheidet sich von dem in 1 gezeigten Virtuelles-Objekt-Anzeigesystem 1 dadurch, dass eine Anzeigeeinrichtung 40 eine Bildaufnahmeeinheit 42, die Bildaufnahmeinformationen C1 bei Betrachtung von der Position 91 des Betrachtungspunktes aus erwirbt, einen Anzeigebildschirm 41 und eine Syntheseeinheit 43 umfasst, die veranlasst, dass der Anzeigebildschirm 41 ein Bild anzeigt, in dem die Bildinformationen B1 über das virtuelle Objekt und Anzeigebildinformationen B2 über die Führung auf den Bildaufnahmeinformationen C1 eingeblendet sind.
In dem Virtuelles-Objekt-Anzeigesystem 2 kann die Virtuelles-Objekt-Anzeige-Steuerungseinrichtung 10 die Position 91 des Betrachtungspunkts des Betrachters 90 von der Anzeigeeinrichtung 40 empfangen.
Ferner kann im Virtuelles-Objekt-Anzeigesystem 2 die Bildaufnahmeeinheit 42 der Anzeigeeinrichtung 40 als die Bildaufnahmeeinheit der Rauminformationen-Erwerbungseinheit 20 verwendet werden.
Wie oben beschrieben ist mit dem Virtuelles-Objekt-Anzeigesystem 2 und der Virtuelles-Objekt-Anzeige-Steuerungseinrichtung 10 gemäß der zweiten Ausführungsform, selbst wenn das Anzeigebild des virtuellen Objekts an einer für den Betrachter 90 nicht-sichtbaren Position angezeigt wird, möglich, dem Betrachter 90 zu ermöglichen, das virtuelle Objekt mittels des Animationsanzeigebildes des virtuellen Objekts zu erkennen.
Mit Ausnahme der vorstehend erläuterten Merkmale ist das in 9 und 10 gezeigte Virtuelles-Objekt-Anzeigesystem 2 das gleiche wie das in 1 und 4 gezeigte Virtuelles-Objekt-Anzeigesystem 1.
Dritte Ausführungsform
11 ist ein Diagramm, das eine Hardwarekonfiguration eines Virtuelles-Objekt-Anzeigesystems 3 gemäß einer dritten Ausführungsform zeigt. In 11 wird jeder Komponente, die einer in 1 gezeigten Komponente gleich ist oder entspricht, das gleiche Bezugszeichen zugewiesen wie in 1. 12 ist ein erläuterndes Diagramm, das das Virtuelle-Objekt-Anzeigesystem 3 von 11 zeigt. In 12 wird jeder Komponente, die einer in 4 gezeigten Komponente gleich ist oder entspricht, das gleiche Bezugszeichen zugewiesen wie in 4.
Das in 11 und 12 gezeigte Virtuelle-Objekt-Anzeigesystem 3 unterscheidet sich von dem in 1 und 4 gezeigten Virtuelles-Objekt-Anzeigesystem 1 darin, dass eine Anzeigeeinrichtung 50 ein Projektor ist, der ein Bild auf den Realraum (d.h. reale Welt) projiziert und Animationsanzeigebilder 332 und 332a des virtuellen Objekts auf einem Fußboden, einer Wand, einer Decke einem Realobjekt oder dergleichen in einem Realraum angezeigte Projektionsbilder sind. In dem Beispiel von 12 sind die Animationsanzeigebilder 332 und 332a des virtuellen Objekts Animationsbilder, die zwischen der Position, an der das virtuelle Objekt ursprünglich angezeigt werden sollte, und einer Position direkt oberhalb der früheren Position, wiederholt gewechselt werden.
Wie oben beschrieben ist mit dem Virtuelles-Objekt-Anzeigesystem 3 und einer Virtuelles-Objekt-Anzeige-Steuerungseinrichtung 10 gemäß der dritten Ausführungsform, selbst wenn das Anzeigebild 332 des virtuellen Objekts an einer für den Betrachter 90 nicht-sichtbaren Position angezeigt wird, möglich, dem Betrachter 90 zu ermöglichen, das virtuelle Objekt mittels der Animationsanzeigebilder 332 und 332a des virtuellen Objekts zu erkennen.
Ferner wird mit dem Virtuelles-Objekt-Anzeigesystem 3 und der Virtuelles-Objekt-Anzeige-Steuerungseinrichtung 10a gemäß der dritten Ausführungsform die Position des Animationsanzeigebilds 332, 332a des virtuellen Objekts wiederholt verschoben, so dass der Betrachter 90 korrekt erkennen kann, um welches Realobjekt es sich bei den Animationsanzeigebildern 332 und 332a des virtuellen Objekts handelt.
Darüber hinaus wird die Intention der Führung leichter verständlich, da eine Führungsanzeige 333 direkt auf die reale Welt projiziert wird und die Rauminformationen über die reale Welt ohne Änderung nutzbar sind.
Mit Ausnahme der vorstehend erläuterten Merkmale ist das in 11 und 12 gezeigte Virtuelles-Objekt-Anzeigesystem 3 das gleiche wie das in 1 und 4 gezeigte Virtuelles-Objekt-Anzeigesystem 1 oder das in 9 und 10 gezeigte Virtuelles-Objekt-Anzeigesystem 2.
Bezugszeichenliste

1, 2, 3: Virtuelles-Objekt-Anzeigesystem,
10, 10a: Virtuelles-Objekt-Anzeige-steuerungseinrichtung
20: Rauminformationen-Erwerbungseinheit,
21, 21a, 21b: Bildaufnahmeeinheit,
22: Tiefenerfassungseinheit,
30, 40: Anzeigeeinrichtung,
31, 41: Anzeigebildschirm,
42: Bildaufnahmeeinheit,
43: Syntheseeinheit,
50: Anzeigeeinrichtung (Projektor),
90: Betrachter,
91: Position des Betrachtungspunkts,
110: Erkennungseinheit,
120: Anzeigesteuerungseinheit,
121: Betrachtungspunktposition-Beurteilungseinheit,
122: Realobjekt-Beurteilungseinheit,
123: Bildsteuerungseinheit,
124: Anzeigeeinstellungseinheit,
125: Zeicheneinheit,
311: Realobjekt,
312: virtuelles Objekt, 3
21: Bild des Realobjekts,
322: Animationsanzeigebild (zum Zeitpunkt der Normalgröße),
322: Animationsanzeigebild (zum Zeitpunkt der vergrößerten Größe),
322b: Animationsanzeigebild (zum Zeitpunkt der Bewegung),
332: Animationsanzeigebild,
332a: Animationsanzeigebild (zum Zeitpunkt der Bewegung),
A1: Bildinformationen über Realraum,
A2: Tiefeninformationen über Realobjekt,
B2: Anzeigebildinformationen.

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

JP 201549039 [0003]

Claims

Virtuelles-Objekt-Anzeige-Steuerungseinrichtung, umfassend: eine Erkennungseinheit, um Realrauminformationen, anzeigend einen Realraum, zu empfangen; eine Betrachtungspunktposition-Beurteilungseinheit, um eine Position eines Betrachtungspunkts eines Betrachters zu beurteilen auf Grundlage der Realrauminformationen; eine Realobjekt-Beurteilungseinheit, um eine Position und eine Form eines Realobjekts zu beurteilen auf Grundlage der Realrauminformationen; eine Bildsteuerungseinheit, um Bildinformationen über ein virtuelles Objekt zu empfangen und die Bildinformationen über das virtuelle Objekt zu verarbeiten, wodurch Bildinformationen zum Anzeigen einer Animation des virtuellen Objekts erzeugt werden; eine Anzeigeeinstellungseinheit, um zu beurteilen, ob die Animation des virtuellen Objekts angezeigt werden soll oder nicht, auf Grundlage der Position des Betrachtungspunktes, der Position und der Form des Realobjekts und der Bildinformationen über das virtuelle Objekt, und um Bildinformationen, umfassend irgendeine der Bildinformationen über das virtuelle Objekt und der Bildinformationen zum Anzeigen der Animation des virtuellen Objekts, einzustellen als Anzeigebildinformationen, auf Grundlage eines Ergebnisses der Beurteilung; und eine Zeicheneinheit, um die Anzeigebildinformationen auszugeben.
Virtuelles-Objekt-Anzeige-Steuerungseinrichtung nach Anspruch 1, wobei die Anzeigeeinstellungseinheit die Bildinformationen zum Anzeigen der Animation des virtuellen Objekts einstellt als die Anzeigebildinformationen, wenn ein Ganzes oder Teil des virtuellen Objekts durch das Realobjekt bei Betrachtung von der Position des Betrachtungspunktes aus verdeckt ist.
Virtuelles-Objekt-Anzeige-Steuerungseinrichtung nach Anspruch 1 oder 2, wobei die Bildinformationen zum Anzeigen der Animation des virtuellen Objekts Bildinformationen für eine Skalierungsanzeige als durchgeführte Anzeige sind, so dass sich die Größe des virtuellen Objekts ändert, oder Bildinformationen für eine Bewegtanzeige als durchgeführte Anzeige sind, so dass sich das virtuelle Objekt bewegt.
Virtuelles-Objekt-Anzeige-Steuerungseinrichtung nach Anspruch 1 oder 2, wobei die Bildinformationen zum Anzeigen der Animation des virtuellen Objekts Bildinformationen für eine Skalierungsanzeige als durchgeführte Anzeige sind, so dass sich die Größe des virtuellen Objekts ändert, und Bildinformationen für eine Bewegtanzeige als durchgeführte Anzeige sind, so dass sich das virtuelle Objekt bewegt, und irgendeine der Bildinformationen für die Skalierungsanzeige und der Bildinformationen für die Bewegtanzeige ausgewählt ist auf Grundlage einer vorherbestimmten Bedingung.
Virtuelles-Objekt-Anzeige-Steuerungseinrichtung nach einem der Ansprüche 1 bis 4, wobei die Realrauminformationen Bildinformationen über den Realraum und Tiefeninformationen über das Realobjekt umfassen.
Virtuelles-Objekt-Anzeige-Steuerungseinrichtung nach einem der Ansprüche 1 bis 5, wobei die Anzeigeeinstellungseinheit synthetische Bildinformationen, die erhalten werden durch Kombinieren der Bildinformationen über das virtuelle Objekt oder der Bildinformationen zum Anzeigen der Animation des virtuellen Objekts mit Bildinformationen über den Realraum, ausgibt als die Anzeigebildinformationen.
Virtuelles-Objekt-Anzeigesystem, umfassend: eine Rauminformationen-Erwerbungseinheit, um Realrauminformationen, anzeigend einen Realraum, zu erwerben; eine Erkennungseinheit, um die Realrauminformationen zu empfangen; eine Betrachtungspunktposition-Beurteilungseinheit, um eine Position eines Betrachtungspunkts eines Betrachters zu beurteilen auf Grundlage der Realrauminformationen; eine Realobjekt-Beurteilungseinheit, um eine Position und eine Form eines Realobjekts zu beurteilen auf Grundlage der Realrauminformationen; eine Bildsteuerungseinheit, um Bildinformationen über ein virtuelles Objekt zu empfangen und die Bildinformationen über das virtuelle Objekt zu verarbeiten, wodurch Bildinformationen zum Anzeigen einer Animation des virtuellen Objekts erzeugt werden; eine Anzeigeeinstellungseinheit, um zu beurteilen, ob die Animation des virtuellen Objekts angezeigt werden soll oder nicht, auf Grundlage der Position des Betrachtungspunktes, der Position und der Form des Realobjekts und der Bildinformationen über das virtuelle Objekt, und um Bildinformationen, umfassend irgendeine der Bildinformationen über das virtuelle Objekt und der Bildinformationen zum Anzeigen der Animation des virtuellen Objekts, einzustellen als Anzeigebildinformationen auf Grundlage eines Ergebnisses der Beurteilung; eine Zeicheneinheit, um die Anzeigebildinformationen auszugeben; und eine Anzeigeeinrichtung, um ein Bild auf Grundlage der Anzeigebildinformationen anzuzeigen.
Virtuelles-Objekt-Anzeigesystem nach Anspruch 7, wobei die Rauminformationen-Erwerbungseinheit eine Bildaufnahmeeinheit, um Bildinformationen über den Realraum zu erfassen, und eine Tiefenerfassungseinheit, um Tiefeninformationen über das Realobjekt zu erwerben, umfasst.
Virtuelles-Objekt-Anzeigesystem nach Anspruch 7 oder 8, wobei die Anzeigeeinstellungseinheit synthetische Bildinformationen, die erhalten werden durch Kombinieren von aus der Bildsteuerungseinheit ausgegebenen Bildinformationen mit Bildinformationen über den Realraum, ausgibt als die Anzeigebildinformationen.
Virtuelles-Objekt-Anzeigesystem nach Anspruch 7 oder 8, wobei die Anzeigeeinrichtung umfasst: eine weitere Bildaufnahmeeinheit, um Bildaufnahmeinformationen bei Betrachtung von der Position des Betrachtungspunkts aus zu erwerben; einen Anzeigebildschirm; und eine Syntheseeinheit, um den Anzeigebildschirm zu veranlassen, ein Bild anzuzeigen, in dem von der Bildsteuerungseinheit ausgegebene Bildinformationen auf den Bildaufnahmeinformationen eingeblendet sind.
Virtuelles-Objekt-Anzeigesystem nach Anspruch 7 oder 8, wobei die Anzeigeeinrichtung einen Projektor umfasst, um die Anzeigebildinformationen auf den Realraum zu projizieren.
Virtuelles-Objekt-Anzeige-Steuerungsverfahren, umfassend die Schritte des: Empfangens von Realrauminformationen, anzeigend einen Realraum; Beurteilens einer Position eines Betrachtungspunkts eines Betrachters auf Grundlage der Realrauminformationen; Beurteilens einer Position und einer Form eines Realobjekts auf Grundlage der Realrauminformationen; Empfangens von Bildinformationen über ein virtuelles Objekt und Verarbeitens der Bildinformationen über das virtuelle Objekt, wodurch Bildinformationen zum Anzeigen einer Animation des virtuellen Objekts erzeugt werden; Beurteilens, ob die Animation des virtuellen Objekts angezeigt werden soll oder nicht, auf Grundlage der Position des Betrachtungspunktes, der Position und der Form des Realobjekts und der Bildinformationen über das virtuelle Objekt, und Einstellens von Bildinformationen, umfassend irgendeine der Bildinformationen über das virtuelle Objekt und der Bildinformationen zum Anzeigen der Animation des virtuellen Objekts, als Anzeigebildinformationen auf Grundlage eines Ergebnisses der Beurteilung; und Ausgebens der Anzeigebildinformationen.
Virtuelles-Objekt-Anzeige-Steuerungsprogramm, umfassend die Prozesse des: Empfangens von Realrauminformationen, anzeigend einen Realraum; Beurteilens einer Position eines Betrachtungspunkts eines Betrachters auf Grundlage der Realrauminformationen; Beurteilens einer Position und einer Form eines Realobjekts auf Grundlage der Realrauminformationen; Empfangens von Bildinformationen über ein virtuelles Objekt und Verarbeitens der Bildinformationen über das virtuelle Objekt, wodurch Bildinformationen zum Anzeigen einer Animation des virtuellen Objekts erzeugt werden; Beurteilens, ob die Animation des virtuellen Objekts angezeigt werden soll oder nicht, auf Grundlage der Position des Betrachtungspunktes, der Position und der Form des Realobjekts und der Bildinformationen über das virtuelle Objekt, und Einstellens von Bildinformationen, umfassend irgendeine der Bildinformationen über das virtuelle Objekt und der Bildinformationen zum Anzeigen der Animation des virtuellen Objekts, als Anzeigebildinformationen auf Grundlage eines Ergebnisses der Beurteilung; und Ausgebens der Anzeigebildinformationen.