DE112019001690T5

DE112019001690T5 - Informationsverarbeitungsvorrichtung, Informationsverarbeitungsverfahren und Programm

Info

Publication number: DE112019001690T5
Application number: DE112019001690.3T
Authority: DE
Inventors: Tomohiko Gotoh
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2018-03-30
Filing date: 2019-01-10
Publication date: 2021-02-25
Also published as: WO2019187488A1; US20210026142A1; JP2021103341A

Abstract

[Problem] Bereitstellen einer Informationsverarbeitungsvorrichtung, eines Informationsverarbeitungsverfahrens und eines Programms, mit denen es möglich ist, eine Anzeigesteuerung zum Vermeiden einer Reduzierung der Sichtbarkeit eines virtuellen Objekts durchzuführen.[Lösung] Eine Informationsverarbeitungsvorrichtung, die mit einer Steuereinheit zum Durchführen der Anzeigesteuerung ausgestattet ist, sodass ein virtuelles Objekt bevorzugt in einem zweiten Gebiet anstatt einem ersten Gebiet angeordnet wird, aus einem ersten Gebiet eines realen Raums, in dem eine erste Sichtbarkeit erhalten wird, und einem zweiten Gebiet, in dem eine zweite Sichtbarkeit erhalten wird, die höher als die erste Sichtbarkeit ist.

Description

Technisches Gebiet
Die vorliegende Erfindung betrifft eine Informationsverarbeitungseinrichtung, ein Informationsverarbeitungsverfahren und ein Programm.
Hintergrund
In den letzten Jahren wurde weitläufig eine Technologie eingesetzt, die als erweiterte Realität (AR: Augmented Reality) oder gemischte Realität (MR: Mixed Reality) bezeichnet wird und zusätzliche Informationen in einem realen Raum überlagert und eine vom Menschen wahrgenommene reale Umgebung erweitert, und eine Informationspräsentation wurde durchgeführt, die AR- oder MR-Technologie anwendet. Informationen, die einem Benutzer präsentiert werden, werden mithilfe virtueller Objekte in verschiedenen Modi wie etwa Text, Symbolen, Bildern und 3D-Modellen visualisiert.
Zu den hauptsächlich verwendeten Anzeigen zum Überlagern und Anzeigen eines virtuellen 3D-Objekts oder dergleichen in der realen Welt in der AR- oder MR-Technologie gehören zwei Arten von Anzeigen (Anzeigevorrichtungen), bei denen es sich um eine optische Transmissions-Anzeige und eine Video-Transmissions-Anzeige handelt.
Die Video-Transmissions-Anzeige weist eine Struktur auf, die ein Sichtfeld mit der Anzeige abdeckt, und die reale Welt und ein virtuelles Objekt werden als ein in Echtzeit aufgenommenes Video visualisiert. Währenddessen ermöglicht die optische Transmissions-Anzeige die visuelle Erkennung des virtuellen Objekts gleichzeitig mit der visuellen Erkennung der realen Welt mit bloßem Auge, ist hinsichtlich Sicherheit und Videoqualität für AR oder MR im Freien geeignet und bietet eine große Möglichkeit zur weiteren Verbreitung als ein Instrument, um in Zukunft AR- oder MR-Inhalte im Freien zu genießen. In Bezug auf die optische Transmissions-Anzeige beschreibt beispielsweise die folgende Patentliteratur 1, dass ein Durchlässigkeitsgrad eines Anzeigebereichs gemäß einer Menge an externem Licht angepasst werden kann.
Zitatliste
Patentliteratur
Patentliteratur 1: JP 2013-210643 A
Kurzfassung
Technisches Problem
Bei der optischen Transmissions-Anzeige wird die Videoanzeige jedoch durch Zeichnen des virtuellen Objekts auf einem Transmissions-Bildschirm durch Projektionslicht mit einem Instrument durchgeführt, und dementsprechend im Prinzip, insbesondere in einer Umgebung mit extrem hoher Beleuchtungsintensität, auf die Sonnenlicht direkt angewendet wird, und so weiter, wird die reale Welt im Vergleich zum angezeigten virtuellen Objekt extrem hell, und das virtuelle Objekt wird extrem schwer zu sehen sein.
In diesem Zusammenhang schlägt die vorliegende Offenbarung eine Informationsverarbeitungseinrichtung, ein Informationsverarbeitungsverfahren und ein Programm vor, die in der Lage sind, eine Anzeigesteuerung durchzuführen, um eine Verringerung der Sichtbarkeit des virtuellen Objekts zu vermeiden.
Lösung für das Problem
Gemäß der vorliegenden Offenbarung wird eine Informationsverarbeitungseinrichtung bereitgestellt, die eine Steuereinheit aufweist, die eine Anzeigesteuerung durchführt, um ein virtuelles Objekt bevorzugt in einem zweiten Gebiet anstatt in einem ersten Gebiet anzuordnen, wobei das erste Gebiet ein Gebiet in einem realen Raum ist, von dem eine erste Sichtbarkeit erhalten wird, und das zweite Gebiet ein Gebiet im realen Raum ist, von dem eine zweite Sichtbarkeit erhalten wird, die höher als die erste Sichtbarkeit ist.
Gemäß der vorliegenden Offenbarung wird ein Informationsverarbeitungsverfahren bereitgestellt, das Durchführen einer Anzeigesteuerung durch einen Prozessor aufweist, um ein virtuelles Objekt bevorzugt in einem zweiten Gebiet anstatt in einem ersten Gebiet anzuordnen, wobei das erste Gebiet ein Gebiet in einem realen Raum ist, von dem die erste Sichtbarkeit erhalten wird, und das zweite Gebiet ein Gebiet im realen Raum ist, von dem eine zweite Sichtbarkeit erhalten wird, die höher als die erste Sichtbarkeit ist.
Gemäß der vorliegenden Offenbarung wird ein Programm bereitgestellt, das bewirkt, dass ein Computer als eine Steuereinheit fungiert, die eine Anzeigesteuerung durchführt, um ein virtuelles Objekt bevorzugt in einem zweiten Gebiet anstatt in einem ersten Gebiet anzuordnen, wobei das erste Gebiet ein Gebiet in einem realen Raum ist, von dem eine erste Sichtbarkeit erhalten wird, und das zweite Gebiet ein Gebiet im realen Raum ist, von dem eine zweite Sichtbarkeit erhalten wird, die höher als die erste Sichtbarkeit ist.
Vorteilhafte Effekte der Erfindung
Gemäß der oben beschriebenen vorliegenden Offenbarung wird es möglich, die Anzeigesteuerung durchzuführen, um die Verringerung der Sichtbarkeit des virtuellen Objekts zu vermeiden.
Der oben beschriebene Effekt ist nicht notwendigerweise beschränkt, und beliebige der in der vorliegenden Beschreibung angegebenen Effekte oder andere Effekte, die aus der vorliegenden Beschreibung erfasst werden können, können zusammen mit dem oben beschriebenen Effekt oder anstelle des oben beschriebenen Effekts ausgeübt werden.
Figurenliste

1 ist ein Diagramm, das eine Übersicht eines Informationsverarbeitungssystems gemäß einer Ausführungsform der vorliegenden Offenbarung erläutert.
2 ist ein Blockdiagramm, das ein Beispiel für das äußere Erscheinungsbild einer Informationsverarbeitungseinrichtung gemäß der vorliegenden Ausführungsform veranschaulicht.
3 ist ein Blockdiagramm, das ein Konfigurationsbeispiel der Informationsverarbeitungseinrichtung gemäß der vorliegenden Ausführungsform veranschaulicht.
4 ist ein Diagramm, das ein Beispiel eines Lichtquellenpositionsschätzalgorithmus erklärt, wenn die Lichtquelle gemäß der vorliegenden Ausführungsform die Sonne ist.
5 ist ein Diagramm, das ein Beispiel eines Algorithmus zum Bestimmen eines Ziels eines virtuellen Objekts gemäß der vorliegenden Ausführungsform veranschaulicht.
6 ist ein Flussdiagramm, das ein Beispiel eines Flusses einer Ausgabesteuerungsverarbeitung gemäß der vorliegenden Ausführungsform veranschaulicht.
7 ist ein Flussdiagramm, das ein Beispiel eines Flusses einer Benutzersichtfeldschätzungsverarbeitung des Benutzers gemäß der vorliegenden Ausführungsform veranschaulicht.
8 ist ein Flussdiagramm, das ein Beispiel eines Flusses einer Schätzungsverarbeitung für eine Lichtquellenposition gemäß der vorliegenden Ausführungsform veranschaulicht.
9 ist ein Flussdiagramm, das ein Beispiel einer Zielbestimmungsverarbeitung für ein virtuelles Objekt gemäß der vorliegenden Ausführungsform veranschaulicht.
10 ist ein Flussdiagramm, das ein Beispiel einer Zielbestimmungsverarbeitung begleitet von einer Bewegungsroutenänderung des virtuellen Objekts gemäß der vorliegenden Ausführungsform veranschaulicht.
11 ist ein Diagramm, das die Bewegungsroutenänderung des virtuellen Objekts gemäß der vorliegenden Ausführungsform erklärt.

Beschreibung der Ausführungsformen
Bevorzugte Ausführungsformen der vorliegenden Offenbarung werden unten unter Bezugnahme auf die begleitenden Zeichnungen ausführlich beschrieben. In der vorliegenden Beschreibung und den Zeichnungen werden Komponenten mit im Wesentlichen denselben Funktionskonfigurationen dieselben Bezugsziffern zugewiesen, und eine duplizierte Beschreibung davon wird weggelassen.
Zudem wird die Beschreibung in der folgenden Reihenfolge gegeben.

1. Übersicht über das Informationsverarbeitungssystem gemäß einer Ausführungsform der vorliegenden Offenbarung
2. Konfigurationsbeispiel
3. Operationsverarbeitung
3-1. Ausgabesteuerungsverarbeitung
3-2. Benutzersichtfeldschätzungsverarbeitung
3-3. Sonnenpositionsschätzungsverarbeitung
3-4. Zielbestimmungsverarbeitung
4. Anwendungsfälle
5. Zusammenfassung

<<Übersicht über das Informationsverarbeitungssystem gemäß der Ausführungsform der vorliegenden Offenbarung>>
1 ist ein Diagramm, das eine Übersicht eines Informationsverarbeitungssystems gemäß einer Ausführungsform der vorliegenden Offenbarung erläutert. Wie in 1 veranschaulicht, kann das Informationsverarbeitungssystem gemäß der vorliegenden Ausführungsform ein virtuelles Objekt an einer beliebigen Position im realen Raum unter Verwendung einer optischen Transmissions-Anzeige (Informationsverarbeitungseinrichtung 10) anzeigen, die von einem Benutzer am Kopf getragen wird, und kann AR- und MR-Inhalte von Spielen, Informationsbereitstellung und dergleichen (im Folgenden als AR-Inhalte bezeichnet) präsentieren.
(Hintergrund)
Hier wird, wie oben erwähnt, im Fall der optischen Transmissions-Anzeige die Videoanzeige durchgeführt, indem ein virtuelles Objekt durch Projektionslicht von einem Instrument auf einen Transmissions-Bildschirm gezeichnet wird, und dementsprechend im Prinzip, in einer Umgebung mit einer extrem hohen Beleuchtungsintensität, auf die Sonnenlicht direkt angewendet wird, und so weiter, tritt ein solches Problem auf, dass die reale Welt im Vergleich zum angezeigten virtuellen Objekt extrem hell wird, was dazu führt, dass das virtuelle Objekt extrem schwer zu sehen ist. Beispielsweise kann im Fall eines AR-Spielinhalts, der veranlasst, dass ein gegnerischer Charakter oder Gegenstand in Verbindung mit einer Position im realen Raum im Freien erscheint, ein derartiges Phänomen auftreten, bei dem der Sonnenschein zu hell ist, um ein virtuelles Objekt 20 sichtbar zu machen, wie auf der linken Seite von 1 veranschaulicht.
Darüber hinaus kann die Hintergrundbeleuchtung auch im Fall der Erkennung der Hand eines Benutzers durch eine im Instrument installierte Kamera zum Zwecke der Interaktion mit dem AR-Inhalt usw. einen Belichtungseinstellbereich der Kamera überschreiten, wenn das Instrument im Freien verwendet wird, und eine Form der Hand kann möglicherweise nicht richtig erkannt werden. Wenn eine solche Interaktion beispielsweise als ein Angriff auf einen gegnerischen Charakter ausgeführt wird, der im realen Raum erscheint, indem die Hand des Benutzers an diesen gehalten wird, kann die Interaktion nicht erzeugt werden, falls die Hand des Benutzers aufgrund der Hintergrundbeleuchtung nicht richtig erkennbar ist, und der Benutzer kann das Spiel nicht genießen.
Als eine Gegenmaßnahme gegen eine solche Verringerung der Sichtbarkeit aufgrund eines Einflusses von externem Licht ist ein Verfahren zum Unterdrücken einer Menge an durchgelassenem einfallendem Licht durch eine Dimmfunktion von lichtabschirmendem Glas oder einer Transmissions-Anzeige denkbar. Die reale Welt sieht jedoch völlig dunkel aus, und ein Erfahrungswert des AR-Inhalts, bei dem das virtuelle Objekt der realen Welt überlagert wird, während die reale Welt natürlich aussieht, wird stark beeinträchtigt.
Dementsprechend wird in der vorliegenden Ausführungsform ein Informationsverarbeitungssystem vorgeschlagen, das eine Anzeigesteuerung durchführt, um die Verringerung der Sichtbarkeit des virtuellen Objekts aufgrund von externem Licht zu vermeiden. Insbesondere vermeidet ein Informationsverarbeitungssystem gemäß der vorliegenden Ausführungsform die Verringerung der Sichtbarkeit des virtuellen Objekts aufgrund von externem Licht, indem eine Anzeigesteuerung durchgeführt wird, um ein virtuelles Objekt bevorzugt in einem zweiten Gebiet anstatt in einem ersten Gebiet anzuordnen, wobei das erste Gebiet ein Gebiet in dem realen Raum ist, von dem die erste Sichtbarkeit erhalten wird, und das zweite Gebiet ein Gebiet in dem realen Raum ist, von dem eine zweite Sichtbarkeit erhalten wird, die höher als die erste Sichtbarkeit ist. Die Sichtbarkeit ist eine solche Sichtbarkeit des virtuellen Objekts, und beispielsweise kann das zweite Gebiet, von dem die zweite Sichtbarkeit erhalten wird, die höher als die erste Sichtbarkeit ist, basierend auf einer Beleuchtungsstärkeumgebung bestimmt werden. Die Beleuchtungsstärkeumgebung kann eine Beleuchtungsstärkeinformation sein, die durch Erfassung erhalten wird (in Echtzeit durch einen Beleuchtungsstärkesensor, der in einer Informationsverarbeitungseinrichtung 10 installiert ist, oder einen Beleuchtungsstärkesensor, der an einer Umgebungsseite installiert ist), oder kann eine Positionsinformation einer Lichtquelle sein.
Wenn sich beispielsweise die Beleuchtungsstärkeumgebung in Beleuchtungsstärkeinformationen befindet, die durch die Erfassung erhalten werden, kann das erste Gebiet ein Gebiet mit einer Beleuchtungsstärke sein, die eine erste Schwelle überschreitet, und das zweite Gebiet kann ein Gebiet mit einer Beleuchtungsstärke sein, die kleiner als die erste Schwelle ist. Es wird angenommen, dass das Gebiet mit der Beleuchtungsstärke, die die erste Schwelle überschreitet, ein Gebiet ist, das durch starkes Licht von einer natürlichen Lichtquelle wie etwa der Sonne oder einer künstlichen Lichtquelle wie etwa einem Scheinwerfer beleuchtet wird. Dies liegt daran, dass das virtuelle Objekt in einem zu hellen Gebiet schwer zu sehen ist (die Sichtbarkeit ist verringert). Wenn die Beleuchtungsstärkeumgebung eine Positionsinformation der Lichtquelle ist, kann das erste Gebiet ein Gebiet sein, das eine Richtung enthält, in der sich die Lichtquelle in Bezug auf eine Position des Benutzers befindet, und das zweite Gebiet kann ein Gebiet sein, das eine Richtung entgegengesetzt zu der Richtung enthält, in der sich die Lichtquelle in Bezug auf die Position des Benutzers befindet. Die Lichtquelle kann eine natürliche Lichtquelle wie etwa die Sonne oder eine künstliche Lichtquelle wie etwa ein Scheinwerfer sein. Das Informationsverarbeitungssystem gemäß der vorliegenden Ausführungsform schätzt eine Position der Lichtquelle durch eine bekannte Positionsinformationsdatenbank oder -berechnung und führt eine Anordnungssteuerung des virtuellen Objekts basierend auf einer Positionsbeziehung mit einer aktuellen Position des Benutzers durch. Beispielsweise ist „das Gebiet, das die Richtung enthält, in der sich die Lichtquelle in Bezug auf die Position des Benutzers befindet“ (erstes Gebiet) ein Bereich, in dem die Lichtquelle in das Sichtfeld eines Benutzers gelangt, und „das Gebiet, das die Richtung entgegengesetzt der Richtung enthält, in der sich die Lichtquelle in Bezug auf die Position des Benutzers befindet“ (zweites Gebiet) ist ein Bereich, in dem die Lichtquelle nicht in das Sichtfeld des Benutzers gelangt. Ferner kann die Beleuchtungsstärkeumgebung ferner Positionsinformationen einer Abschirmung enthalten, und ein durch die Abschirmung beschattetes Gebiet kann als das zweite Gebiet definiert werden. Darüber hinaus kann das Informationsverarbeitungssystem gemäß der vorliegenden Ausführungsform das erste und zweite Gebiet als die Beleuchtungsstärkeumgebung bestimmen, indem sowohl die durch die Erfassung erhaltenen Beleuchtungsstärkeinformationen als auch die Positionsinformationen der Lichtquelle berücksichtigt werden.
Wie oben beschrieben, steuert beispielsweise das Informationsverarbeitungssystem gemäß der vorliegenden Ausführungsform, dass das virtuelle Objekt in dem Bereich angeordnet wird, in dem die Lichtquelle nicht in das Sichtfeld des Benutzers gelangt (dieser Bereich ist ein Beispiel für das zweite Gebiet), wodurch ermöglicht wird, die Verringerung der Sichtbarkeit des virtuellen Objekts aufgrund von externem Licht zu vermeiden. Zum Beispiel, wie auf der rechten Seite von 1 veranschaulicht, wenn die Informationsverarbeitungseinrichtung 10 gemäß der vorliegenden Ausführungsform ein virtuelles Objekt 20 an einen Ort bewegt, an dem die Lichtquelle nicht in das Sichtfeld des Benutzers gelangt, bewegt der Benutzer die Sichtlinie, indem er dem sich bewegenden virtuellen Objekt 20 visuell folgt. Daher wendet der Benutzer der Sonne natürlich den Rücken zu und der Benutzer kann das virtuelle Objekt 20 an einem gut sichtbaren Ort sehen, an dem die Lichtquelle nicht in das Sichtfeld gelangt.
Darüber hinaus wird durch die Tatsache, dass der Benutzer auf natürliche Weise der Sonne den Rücken zuwendet, eine Hintergrundbeleuchtungsbedingung beseitigt, und es wird möglich, eine Abnahme der Genauigkeit der Erkennung durch die Kamera zu verhindern.
(Beispiel für das äußere Erscheinungsbild der Informationsverarbeitungseinrichtung 10)
2 ist ein Diagramm, das ein Beispiel für das äußere Erscheinungsbild der Informationsverarbeitungseinrichtung 10 gemäß der vorliegenden Ausführungsform erläutert. Wie in 2 veranschaulicht, wird die Informationsverarbeitungseinrichtung 10 gemäß der vorliegenden Ausführungsform beispielsweise durch ein am Kopf des Benutzers angebrachtes brillenartiges Head-Mounted-Display (HMD) erreicht. Eine Anzeigeeinheit 120, die einem Brillenlinsenabschnitt entspricht, der sich beim Tragen vor den Augen des Benutzers befindet, kann eine sogenannte optische Durchsichtanzeige mit optischer Transparenz sein. Durch das Anzeigen des virtuellen Objekts auf der Anzeigeeinheit 120 kann die Informationsverarbeitungseinrichtung 10 das virtuelle Objekt innerhalb des Sichtfelds des Benutzers präsentieren. Ferner ist das HMD, das ein Beispiel für die Informationsverarbeitungseinrichtung 10 ist, nicht auf eines beschränkt, das beiden Augen ein Bild präsentiert, und kann eines sein, das nur einem Auge ein Bild präsentiert. Beispielsweise kann das HMD ein Ein-Augen-Typ sein, bei dem eine solche Anzeigeeinheit 120 bereitgestellt ist, die einem Auge ein Bild präsentiert.
Ferner ist die Informationsverarbeitungseinrichtung 10 mit einer nach außen gerichteten Kamera 111 ausgestattet, die eine Sichtlinienrichtung des Benutzers aufnimmt, das heißt das Sichtfeld des Benutzers, wenn die Informationsverarbeitungseinrichtung 10 getragen wird. Obwohl nicht in 2 veranschaulicht, kann die Informationsverarbeitungseinrichtung 10 mit einer nach innen gerichteten Kamera, die ein Bild des Auges des Benutzers aufnimmt, wenn die Informationsverarbeitungseinrichtung 10 getragen wird, und mit verschiedenen Sensoren wie etwa einem Mikrofon ausgestattet sein. Es können mehrere nach außen gerichtete Kameras 111 und mehrere nach innen gerichtete Kameras bereitgestellt sein.
Eine Form der Informationsverarbeitungseinrichtung 10 ist nicht auf das in 1 veranschaulichte Beispiel beschränkt. Beispielsweise kann die Informationsverarbeitungseinrichtung 10 ein Kopfband-HMD sein (Typ, der mit einem Band getragen wird, das sich über den gesamten Umfang des Kopfes erstreckt. Ferner kann ein Band bereitgestellt sein, das nicht nur an der Seite des Kopfes, sondern auch an der Oberseite des Kopfes verläuft) oder kann ein Helm-HMD sein (ein Visierabschnitt eines Helms entspricht der Anzeigeeinheit 120).
Wenn hier beispielsweise die Anzeigeeinheit 120 optische Transparenz aufweist, kann der Benutzer Informationen, die auf der Anzeigeeinheit 120 angezeigt werden, visuell erkennen, während er den realen Raum durch die Anzeigeeinheit 120 visuell erkennt. Daher kann gesagt werden, dass das auf der Anzeigeeinheit 120 angezeigte virtuelle Objekt im realen Raum angezeigt wird.
Ferner kann eine solche Steuerung durchgeführt werden, um dem Benutzer das Gefühl zu geben, dass das virtuelle Objekt im realen Raum existiert. Beispielsweise können Anordnung, Form und dergleichen des virtuellen Objekts basierend auf Informationen über den realen Raum gesteuert werden, die durch eine Bildaufnahme durch die nach außen gerichtete Kamera 111 erhalten werden, beispielsweise basierend auf Informationen über eine Position und Form eines im realen Raum existierenden realen Objekts.
Die auf der Anzeigeeinheit 120 angezeigten virtuellen Objekte können verschiedenartig sein. Beispielsweise kann das virtuelle Objekt ein virtuelles Objekt sein, das verschiedene Inhalte angibt, abhängig von einer Anwendung, die von der Informationsverarbeitungseinrichtung 10 bereitgestellt wird. Alternativ kann das virtuelle Objekt ein virtuelles Objekt zum Hervorheben eines realen Objekts, auf das der Benutzer achten soll, unter den im realen Raum existierenden realen Objekten sein.
Das Informationsverarbeitungssystem gemäß der Ausführungsform der vorliegenden Offenbarung wurde oben beschrieben. Als Nächstes wird eine spezifische Konfiguration und Operationsverarbeitung der Informationsverarbeitungseinrichtung 10, die das Informationsverarbeitungssystem gemäß der vorliegenden Ausführungsform erreicht, ausführlicher beschrieben.
<<Konfigurationsbeispiel>>
3 ist ein Blockdiagramm, das ein Konfigurationsbeispiel der Informationsverarbeitungseinrichtung 10 gemäß der vorliegenden Ausführungsform veranschaulicht. Wie in 3 veranschaulicht, weist die Informationsverarbeitungseinrichtung 10 eine Sensoreinheit 110, eine Steuereinheit 100, die Anzeigeeinheit 120, einen Lautsprecher 130, eine Kommunikationseinheit 140, eine Bedienungseingabeeinheit 150 und eine Speicherungseinheit 160 auf.
<2-1. Sensoreinheit 110>
Die Sensoreinheit 110 weist eine Funktion zum Akquirieren (Erfassen) einer Vielfalt von Informationen bezüglich des Benutzers oder einer umliegenden Umgebung auf. Beispielsweise weist die Sensoreinheit 110 eine nach außen gerichtete Kamera 111, eine nach innen gerichtete Kamera 112, ein Mikrofon 113, einen Gyrosensor 114, einen Beschleunigungssensor 115, einen Richtungssensor 116, eine Positionspositionierungseinheit 117 und einen Beleuchtungsstärkesensor 118 auf. Ein spezifisches Beispiel der hier erwähnten Sensoreinheit 110 ist lediglich ein Beispiel, und die vorliegende Ausführungsform ist nicht darauf beschränkt. Beispielsweise kann die Sensoreinheit 110 einen biometrischen Sensor, eine nach innen gerichtete Kamera oder dergleichen aufweisen. Ferner kann jeder Sensor mehrfach vorliegen.
Sowohl die nach außen gerichtete Kamera 111 als auch die nach innen gerichtete Kamera 112 weist Folgendes auf: ein Linsensystem, das aus einer Abbildungslinse, einer Blende, einer Zoomlinse, einer Fokuslinse und dergleichen besteht; ein Antriebssystem, das bewirkt, dass das Linsensystem eine Fokusoperation und eine Zoomoperation ausführt; ein Festkörper-Bildgebungselement-Array, das eine photoelektrische Umwandlung von Abbildungslicht durchführt, das von dem Linsensystem erhalten wird, um ein Bildgebungssignal zu erzeugen; und dergleichen. Das Festkörper-Bildgebungselement-Array kann beispielsweise durch ein Charge-Coupled-Device(CCD)-Sensorarray oder ein Complementary-Metal-Oxide-Semiconductor(CMOS)-Sensorarray erreicht werden.
In der vorliegenden Ausführungsform ist es wünschenswert, dass ein Blickwinkel und eine Orientierung der nach außen gerichteten Kamera 111 so eingestellt werden, dass die nach außen gerichtete Kamera 111 ein Bild eines Gebiets aufnimmt, das dem Sichtfeld des Benutzers im realen Raum entspricht. Darüber hinaus kann eine Vielzahl der nach außen gerichteten Kameras 111 bereitgestellt sein. Darüber hinaus kann die nach außen gerichtete Kamera 111 eine Tiefenkamera enthalten, die in der Lage ist, eine Tiefenkarte durch Erfassung zu akquirieren.
Das Mikrofon 113 sammelt die Stimme eines Benutzers und umliegende Umgebungsgeräusche und gibt die gesammelten Geräusche als Sprachdaten an die Steuereinheit 100 aus.
Der Gyrosensor 114 wird beispielsweise durch einen 3-Achsen-Gyrosensor erreicht und detektiert eine Winkelgeschwindigkeit (Drehgeschwindigkeit).
Der Beschleunigungssensor 115 wird beispielsweise durch einen 3-Achsen-Beschleunigungssensor erreicht und detektiert eine Beschleunigung während der Bewegung.
Der Richtungssensor 116 wird beispielsweise durch einen geomagnetischen 3-Achsen-Sensor (Kompass) erreicht und detektiert eine absolute Richtung (Azimut).
Die Positionspositioniereinheit 117 berechnet eine Eigenposition der Informationsverarbeitungseinrichtung 10. Beispielsweise kann die Positionspositionierungseinheit 117 sogenannte simultane Positionsbestimmung und Kartenerstellung (SLAM: Simultaneous Localization And Mapping) als ein Eigenpositionsschätzungsverfahren verwenden. Ein SLAM-Algorithmus ist nicht besonders eingeschränkt, aber beispielsweise kann eine auf Landmarken basierende SLAM verwendet werden, die eine Landmarke verwendet, die durch Punktkoordinaten auf einer Karte repräsentiert wird. Die auf Landmarken basierende SLAM erkennt ein charakteristisches Objekt als eine Landmarke, erzeugt eine Karte der Landmarke und gibt unter Verwendung der Koordinateninformationen der Landmarke eine Rückmeldung zur Eigenpositionsschätzung.
Ferner kann die Positionspositionierungseinheit 117 eine aktuelle Position der Informationsverarbeitungseinrichtung 10 basierend auf einem von außen akquirierten Signal detektieren. Insbesondere wird beispielsweise die Positionspositionierungseinheit 117 durch eine Positionierungseinheit des globalen Positionierungssystems (GPS) erreicht, empfängt Funkwellen von GPS-Satelliten, detektiert eine Position, an der die Informationsverarbeitungseinrichtung 10 vorhanden ist, und gibt Informationen über die detektierte Position an die Steuereinheit 100 aus. Ferner kann die Positionspositionierungseinheit 117 eine Einheit sein, die die Position beispielsweise durch WiFi (eingetragenes Markenzeichen), Bluetooth (eingetragenes Markenzeichen), Übertragung/Empfang mit einem Mobiltelefon/PHS/Smartphone, Nahfeldkommunikation oder dergleichen sowie das GPS detektiert.
Der Beleuchtungsstärkesensor 118 wird beispielsweise durch eine Fotodiode oder dergleichen erreicht und detektiert die Helligkeit.
<2-2. Steuereinheit 100>
Die Steuereinheit 100 fungiert als eine arithmetische Verarbeitungsvorrichtung und eine Steuervorrichtung und steuert den Gesamtbetrieb in der Informationsverarbeitungseinrichtung 10 gemäß verschiedenen Programmen. Beispielsweise wird die Steuereinheit 100 durch eine elektronische Schaltung wie etwa eine Zentralverarbeitungseinheit (CPU) und einen Mikroprozessor erreicht. Ferner kann die Steuereinheit 100 einen Nur-LeseSpeicher (ROM), der ein Programm und Berechnungsparameter und dergleichen speichert, die zur Verwendung dienen, und einen Direktzugriffsspeicher (RAM), der vorübergehend Parameter und dergleichen speichert, die sich entsprechend ändern, enthalten. Darüber hinaus weist die Steuereinheit 100 gemäß der vorliegenden Ausführungsform eine Verarbeitungsfunktion für verschiedene Informationen und eine Ausgabesteuerungsfunktion auf.
(2-2-1. Informationsverarbeitungsfunktion)
Wie in 3 veranschaulicht, kann die Steuereinheit 100 als eine Vorrichtungsstellungserkennungseinheit 101, eine Räumliche-Karteninformationen-Verarbeitungseinheit 102, eine Lichtquellenpositionsschätzungseinheit 103 und eine Bilderkennungseinheit 104 fungieren.
Die Vorrichtungsstellungserkennungseinheit 101 erkennt eine Stellung der an dem Kopf des Benutzers angebrachten Vorrichtung, das heißt eine Stellung der Informationsverarbeitungseinrichtung 10 (die Stellung entspricht einer Haltung des Kopfes des Benutzers), basierend auf verschiedenen Sensorinformationen (Erfassungsergebnissen), die durch die Sensoreinheit 110 erfasst werden. Als solche Informationen über die Vorrichtungsstellung können beispielsweise Informationen wie etwa eine Orientierung des Gesichts des Benutzers und eine Neigung des Körpers des Benutzers erkannt werden. Insbesondere kann beispielsweise die Vorrichtungsstellungserkennungseinheit 101 die Vorrichtungsstellung anhand der Detektionsergebnisse der nach außen gerichteten Kamera 111, des Gyrosensors 114, des Beschleunigungssensors 115 und des Richtungssensors 116 detektieren. Ferner kann die Vorrichtungsstellungserkennungseinheit 101 auch eine dreidimensionale Position des Kopfes des Benutzers im realen Raum basierend auf diesen Informationen erkennen.
Die Räumliche-Karteninformationen-Verarbeitungseinheit 102 kann räumliche Informationen im Umfeld des Benutzers basierend auf räumlichen Kartendaten, die im Voraus in einer Räumliche-Kartendaten-DB (Datenbank) 161 registriert wurden, und basierend auf den verschiedenen Sensorinformationen (Erfassungsergebnissen), die durch die Sensoreinheit 110 erfasst werden, akquirieren. Die räumlichen Kartendaten enthalten ein dreidimensionales Erkennungsergebnis des realen Raums in einem vorbestimmten Bereich und ein Erkennungsergebnis eines im realen Raum existierenden realen Objekts. Beispielsweise kann die Räumliche-Karteninformationen-Verarbeitungseinheit 102 eine Gesichtsorientierung des Benutzers, die aus einem Vorrichtungsstellungsergebnis erhalten wird, eine dreidimensionale Positionsinformation, die durch die Positionspositionierungseinheit 117 erhalten wird, und die räumlichen Kartendaten miteinander kollationieren, und kann bestimmen, welche Art von realem Objekt im Sichtfeld des Benutzers vorhanden ist (das heißt, was sich im Sichtfeldbereich des Benutzers befindet). Ferner kann die Räumliche-Karteninformationen-Verarbeitungseinheit 102 auch einen umliegenden Raum basierend auf den verschiedenen Sensorinformationen (Erfassungsergebnissen) erkennen, die durch die Sensoreinheit 110 erfasst werden, und räumliche Kartendaten neu erzeugen oder aktualisieren.
Die Lichtquellenpositionsschätzungseinheit 103 schätzt eine Lichtquellenposition basierend auf den verschiedenen Sensorinformationen (Erfassungsergebnis), die durch die Sensoreinheit 110 erfasst werden. Es wird angenommen, dass die Lichtquelle beispielsweise die Sonne (natürliche Lichtquelle) oder eine Beleuchtungsvorrichtung (künstliche Lichtquelle) ist, wie etwa ein Außenlicht, ein Scheinwerfer und ein Lichtmast in einem Stadion oder dergleichen. Ferner können auch die Sonne und die Beleuchtung angenommen werden, die von einer Glaswand reflektiert werden. Positionen der künstlichen Lichtquelle wie etwa einer Beleuchtungsvorrichtung und der Glaswand oder dergleichen können aus bekannten räumlichen Kartendaten (Positionsinformationsdatenbank, in der die künstliche Lichtquelle und dergleichen bekannt sind) akquiriert werden, und dementsprechend verwendet die Lichtquellenpositionsschätzungseinheit 103 solche bekannten Positionsinformationen zum Schätzen dieser Lichtquellen. Wenn währenddessen die Lichtquelle die Sonne ist, ändert sich die Position der Lichtquelle mit der Zeit, und dementsprechend berechnet die Lichtquellenpositionsschätzungseinheit 103 zweckmäßig die Position der Lichtquelle unter Verwendung eines vorbestimmten Algorithmus. In der vorliegenden Ausführungsform ist es natürlich auch möglich, eine Anzeigeposition des Inhalts unter Berücksichtigung sowohl der Sonne als auch der künstlichen Lichtquelle zu steuern.
Hier wird ein Beispiel eines Lichtquellenpositionsschätzungsalgorithmus, wenn die Lichtquelle die Sonne ist, unter Bezugnahme auf 4 beschrieben. Eine Höhe (Elevationswinkel) h der Sonne und ein Azimutwinkel A (die Richtung im Uhrzeigersinn ist positiv, wenn der Norden 0° beträgt) davon auf dem Boden werden durch die folgenden Gleichungen unter Bezugnahme auf 4 erhalten.
In den folgenden Gleichungen beträgt eine Deklination der Sonne (ein Winkel zwischen dem Sonnenlicht und der Äquatorialebene der Erde) δ, ein nördlicher Breitengrad einer aktuellen Position ist Φ und ein östlicher Längengrad davon ist θ.

. Höhe (Elevationswinkel): h $h=asin (sin (ϕ) sin (δ) + cos (ϕ) cos (δ) cos (t))$
· Azimutwinkel: A(Norden=0, Osten=90, Süden=180, Westen=270°) $sinA=cos (δ) sin (t) / cos (h)$
$cosA= (sin (h) sin (ϕ) - sin (δ)) / cos (h) /cos (ϕ)$
$A=atan2 (sinA,cosA) + π$

Unter diesen kann die aktuelle Position (φ,θ) aus der Positionierung der Vorrichtung akquiriert werden. Da ferner die Deklination 8 der Sonne eine durch das Datum bestimmte Konstante ist, kann ihre Berechnung weggelassen werden, indem solche Deklinationen δ der Sonne als eine Tabelle in der Sonnenpositionsdaten-DB 162 gespeichert werden.
Die Bilderkennungseinheit 104 kann eine Erkennungsverarbeitung von Bildern durchführen, die durch die nach außen gerichtete Kamera 111 und die nach innen gerichtete Kamera 112 aufgenommen wurden. Beispielsweise erkennt die Bilderkennungseinheit 104 eine Form der Hand des Benutzers aus dem Bild, das durch die nach außen gerichtete Kamera 111 aufgenommen wurde.
(2-2-2. Ausgabesteuerungsfunktion)
Wie in 3 veranschaulicht, kann die Steuereinheit 100 ferner als eine Inhaltswiedergabesteuereinheit 105 fungieren.
Unter Verwendung der Anzeigeeinheit 120 und des Lautsprechers 130 führt die Inhaltswiedergabesteuereinheit 105 eine Wiedergabeausgabesteuerung (Inhaltsanzeigesteuerung, Inhaltsaudiosteuerung) des Inhalts, der aus der Sonnenpositionsdaten-DB 162 akquiriert wird, basierend auf den verschiedenen durch die Sensoreinheit 110 erfassten Sensorinformationen (Erfassungsergebnissen) und der verschiedenartigen oben erwähnten Informationsverarbeitung (Vorrichtungsstellungserkennungsergebnis, Räumliche-Karteninformationen-Verarbeitungsergebnis, Lichtquellenpositionsschätzungsergebnis und Bilderkennungsergebnis) durch. Insbesondere steuert die Inhaltswiedergabesteuereinheit 105 die Anzeige durch die Anzeigeeinheit 120 mit optischer Transparenz, um das virtuelle Objekt im realen Raum anzuzeigen. Um dem Benutzer das Gefühl zu geben, dass das virtuelle Objekt im realen Raum existiert, führt die Inhaltswiedergabesteuereinheit 105 beispielsweise eine Anzeigesteuerung durch, sodass kein Gefühl der Unrichtigkeit bei einer Positionsbeziehung zwischen dem im realen Raum existierenden realen Objekt und dem virtuellen Objekt auftritt. Beispielsweise führt die Inhaltswiedergabesteuereinheit 105 basierend auf Informationen über die Position und Form des realen Objekts eine solche Anzeigesteuerung durch, dass das virtuelle Objekt angezeigt wird, während ein Abschnitt abgeschirmt wird, der auf der entfernten Seite des realen Objekts vorhanden ist, wie vom Benutzer aus gesehen, sodass die Positionsbeziehung zwischen dem realen Objekt und dem virtuellen Objekt zweckmäßig ausgedrückt wird.
Wenn ferner Regeln wie etwa eine Erscheinungsposition, ein Erscheinungsbereich und eine Bewegungsroute für jedes virtuelle Objekt festgelegt werden, führt die Inhaltswiedergabesteuereinheit 105 die Wiedergabeausgabesteuerung gemäß den Regeln durch. Diese Regeln können als Inhaltsdaten in einer Inhaltsdaten-DB 163 gespeichert werden.
Darüber hinaus kann die Inhaltswiedergabesteuereinheit 105 auch eine Interaktionssteuerung mit dem Inhalt gemäß der Bewegung, Äußerung oder dergleichen eines Benutzers durchführen. Wenn der Benutzer beispielsweise eine vorbestimmte Handlung durchführt, führt die Inhaltswiedergabesteuereinheit 105 eine Steuerung durch, um eine vorbestimmte Interaktion zu bewirken, wie etwa einen Geräuscheffekt oder eine Anzeigeänderung des virtuellen Objekts als Reaktion auf die Handlung eines Benutzers.
Weiterhin bezieht sich die Inhaltswiedergabesteuereinheit 105 gemäß der vorliegenden Ausführungsform auf eine Position des Benutzers und eine Position der Lichtquelle, wenn das virtuelle Objekt gemäß den obigen Regeln angezeigt oder bewegt wird, und führt eine Verarbeitung durch, um das virtuelle Objekt zu einem vorbestimmten Bereich zu bewegen oder dessen Bewegungsroute zu ändern, um die Verringerung der Sichtbarkeit des virtuellen Objekts aufgrund der Lichtquelle zu vermeiden. Dies ermöglicht es, den Erfahrungswert des AR-Inhalts weiter zu verbessern.
Insbesondere führt die Inhaltswiedergabesteuereinheit 105 basierend auf dem Sichtfeld des Benutzers und einer geschätzten Lichtquellenposition eine Steuerung durch, um das virtuelle Objekt in einem Bereich anzuordnen, in dem die Lichtquelle nicht in das Sichtfeld des Benutzers eintritt. Hier wird ein Beispiel eines Algorithmus zum Bestimmen eines Ziels des virtuellen Objekts gemäß der Position des Benutzers und der Position der Lichtquelle unter Bezugnahme auf 5 beschrieben.
Wie in 5 veranschaulicht, definiert die Inhaltswiedergabesteuereinheit 105 in einem Bereich, der von einer sphärischen Oberfläche umgeben ist, deren Zentrum eine Blickpunktposition 31 des Benutzers ist (zum Beispiel ein Zentrum zwischen den Augen) und deren maximaler Anzeigeabstand d des virtuellen Objekts ein Radius ist, und durch eine Ebene 34 orthogonal zu einer geraden Linie, die die Blickpunktposition 31 des Benutzers und die Lichtquellenposition 32 miteinander verbindet (hier wird die gerade Linie als optische Achse 33 bezeichnet), ein Gebiet, das weiter von der Lichtquelle entfernt ist (auf der der Lichtquelle gegenüberliegenden Seite) (hier wird dieses Gebiet als Lichtrückbereich 35 bezeichnet) als das Ziel des virtuellen Objekts. Der Benutzer folgt visuell dem virtuellen Objekt, das sich zum Lichtrückbereich 35 bewegt, wobei der Benutzer der Lichtquelle natürlich den Rücken zuwendet. In diesem Fall kann der Benutzer das virtuelle Objekt in einer Situation sehen, in der die Lichtquelle nicht in das Sichtfeld des Benutzers eintritt, und die Sichtbarkeit des virtuellen Objekts wird verbessert.
Ferner verhindert die Inhaltswiedergabesteuereinheit 105, dass das Ziel unter eine Bodenfläche 36 eintritt, wenn das Ziel innerhalb des Lichtrückbereichs 35 bestimmt wird. Der maximale Anzeigeabstand d des virtuellen Objekts kann aus einem Bereich bestimmt werden, in dem eine Kollationierung einer räumlichen Karte möglich ist (beispielsweise innerhalb eines Bereichs der zuvor in der Räumliche-Kartendaten-DB 161 registrierten räumlichen Kartendaten), oder aus einem Bereich, in dem eine Entfernungsmessung durch einen Sensor möglich ist. Wenn der maximale Anzeigeabstand d des virtuellen Objekts nicht akquiriert werden kann, kann die Inhaltswiedergabesteuereinheit 105 beispielsweise annehmen, dass der maximale Anzeigeabstand d ungefähr 15 m beträgt. Darüber hinaus weist der Lichtrückbereich 35 in dem in 5 veranschaulichten Beispiel einfach eine halbkugelförmige Form auf, die vorliegende Ausführungsform ist jedoch nicht darauf beschränkt.
Ferner kann die Inhaltswiedergabesteuereinheit 105 die Bewegung des Benutzers vorhersagen, kann als den Lichtrückbereich 35 einen Bereich berechnen, in dem die Lichtquelle nicht in das Sichtfeld des Benutzers eintritt, selbst wenn sich der Benutzer zu einem gewissen Grad bewegt, und kann das Ziel des virtuellen Objekts bestimmen.
Ferner kann im Fall eines Inhalts, der ein virtuelles Objekt üblicherweise einer Vielzahl von Benutzern präsentiert, die Inhaltswiedergabesteuereinheit 105 die Sichtfelder der Vielzahl von Benutzern berücksichtigen, kann als den Lichtrückbereich 35 einen Bereich berechnen, in dem die Lichtquelle nicht in die Sichtfelder aller Benutzer eintritt, und kann das Ziel des virtuellen Objekts bestimmen.
<2-3. Anzeigeeinheit 120>
Die Anzeigeeinheit 120 wird durch eine Linseneinheit, eine Flüssigkristallanzeige(LCD)-Vorrichtung, eine Vorrichtung mit organischer Leuchtdiode (OLED) oder dergleichen erreicht, die optische Transparenz aufweist und beispielsweise eine Anzeige unter Verwendung einer optischen Hologrammtechnologie durchführt. Die Anzeigeeinheit 120 kann von transmittierender Art, von semitransmittierender Art oder nicht transmittierender Art sein. Ferner kann die optische Transparenz der Anzeigeeinheit 120 durch die Steuereinheit 100 gesteuert werden.
<2-4. Lautsprecher 130>
Der Lautsprecher 130 gibt ein Audiosignal unter der Steuerung der Steuereinheit 100 wieder.
<2-5. Kommunikationseinheit 140>
Die Kommunikationseinheit 140 ist ein Kommunikationsmodul zum drahtgebundenen/drahtlosen Übertragen/Empfangen von Daten zu/von einer anderen Vorrichtung. Die Kommunikationseinheit 140 führt eine drahtlose Kommunikation mit einem externen Instrument direkt oder über einen Netzwerkzugangspunkt durch ein System durch, beispielsweise wie etwa ein drahtgebundenes lokales Netzwerk (LAN), ein drahtloses LAN, Wireless Fidelity (WiFi) (eingetragenes Markenzeichen), Infrarotkommunikation, Bluetooth (eingetragenes Markenzeichen) und Nahfeld-/kontaktlose Kommunikation.
<2-6. Bedienungseingabeeinheit 150>
Die Bedienungseingabeeinheit 150 wird durch ein Bedienungselement mit einer physischen Struktur, wie einen Schalter, eine Taste und einen Hebel, erreicht.
<2-7. Speicherungseinheit 160>
Die Speicherungseinheit 160 wird durch einen Nur-LeseSpeicher (ROM), der ein Programm und Berechnungsparameter und dergleichen speichert, die zur Verwendung in der oben erwähnten Verarbeitung der Steuereinheit 100 dienen, und einen Direktzugriffsspeicher (RAM), der vorübergehend Parameter und dergleichen speichert, die sich zweckmäßig ändern, erreicht.
Ferner speichert die Speicherungseinheit 160 die Räumliche-Kartendaten-DB 161, die Sonnenpositionsdaten-DB 162 und die Inhaltsdaten-DB 163. Die Räumliche-Kartendaten-DB 161 speichert eine räumliche Karte, die vom realen Raum, einer Tiefenkamera oder dergleichen dreidimensional erkannt wird und die Position, Form und dergleichen eines im Raum existierenden realen Objekts angibt. Die räumlichen Kartendaten können durch die Räumliche-Karteninformationen-Verarbeitungseinheit 102 erzeugt werden, oder Raumkartendaten in einem vorbestimmten Bereich (zum Beispiel dem Bereich des bereitgestellten AR-Spielinhalts) können im Voraus registriert werden. Die Sonnenpositionsdaten-DB 162 speichert Parameter zur Verwendung beim Schätzen der Sonnenposition. Da, wie oben erwähnt, die Deklination 8 der Sonne eine durch das Datum bestimmte Konstante ist, kann ihre Berechnung weggelassen werden, indem solche Deklinationen δ der Sonne als eine Tabelle in der Sonnenpositionsdaten-DB 162 gespeichert werden. Die Inhaltsdaten-DB 163 speichert verschiedene Inhaltsdaten wie etwa den AR-Spielinhalt. Die räumlichen Kartendaten, die Sonnenpositionsdaten und die Inhaltsdaten können in der Informationsverarbeitungseinrichtung 10 gespeichert oder von einem vorbestimmten Server in einem Netzwerk über die Kommunikationseinheit 140 akquiriert werden.
Obwohl die Konfiguration der
Obwohl die Konfiguration der Informationsverarbeitungseinrichtung 10 gemäß der vorliegenden Ausführungsform oben spezifisch beschrieben wurde, ist die Konfiguration der Informationsverarbeitungseinrichtung 10 gemäß der vorliegenden Ausführungsform nicht auf das in 3 veranschaulichte Beispiel beschränkt. Beispielsweise kann die Informationsverarbeitungseinrichtung 10 aus mehreren Vorrichtungen bestehen. Insbesondere kann beispielsweise die Informationsverarbeitungseinrichtung 10 gemäß der vorliegenden Ausführungsform eine Systemkonfiguration aufweisen, die aus einem vom Benutzer getragenen HMD und einem Smartphone besteht. In diesem Fall kann das Smartphone beispielsweise mit der Funktion der Steuereinheit 100 ausgestattet sein, und Informationen können durch das HMD gemäß der Steuerung des Smartphones präsentiert werden.
Ferner kann zumindest ein Teil der Sensoreinheit 110 ein externer Sensor sein (zum Beispiel ein Umgebungssensor wie etwa eine Kamera, ein Tiefensensor, ein Mikrofon, ein Infrarotsensor und ein Beleuchtungsstärkesensor, die in einem Raum installiert sind).
Ferner kann zumindest ein Teil der Funktionen der Steuereinheit 100 der Informationsverarbeitungseinrichtung 10 in einer anderen Vorrichtung vorhanden sein, die über die Kommunikationseinheit 140 kommunikativ verbunden ist. Beispielsweise kann zumindest ein Teil der Funktionen der Steuereinheit 100 der Informationsverarbeitungseinrichtung 10 in einem Zwischenserver, einem Cloud-Server im Internet oder dergleichen bereitgestellt sein. Ferner kann eine Ebene der durch die Steuereinheit 100 durchgeführten Verarbeitung vereinfacht werden, und die erweiterte Verarbeitung kann durch eine externe Vorrichtung durchgeführt werden, beispielsweise eine andere mobile Vorrichtung wie etwa ein Smartphone, das dem Benutzer gehört, einen Heimserver, einen Edge-Server, einen Zwischenserver oder einen Cloud-Server. Die Verarbeitung wird somit auf mehrere Vorrichtungen verteilt, wodurch eine Last reduziert wird.
Die Funktionskonfiguration der Informationsverarbeitungseinrichtung 10 gemäß der vorliegenden Ausführungsform ist gemäß den Spezifikationen und den Operationen flexibel modifizierbar.
<<Operationsverarbeitung>>
Als Nächstes wird die Operationsverarbeitung des Informationsverarbeitungssystems gemäß der vorliegenden Ausführungsform spezifisch unter Bezugnahme auf die Zeichnungen beschrieben.
<3-1. Ausgabesteuerungsverarbeitung>
Zunächst wird die Ausgabesteuerungsverarbeitung gemäß der vorliegenden Ausführungsform unter Bezugnahme auf 6 beschrieben. 6 ist ein Flussdiagramm, das ein Beispiel eines Flusses der Ausgabesteuerungsverarbeitung gemäß der vorliegenden Ausführungsform veranschaulicht.
Wie in 6 veranschaulicht, schätzt die Steuereinheit 100 der Informationsverarbeitungseinrichtung 10 zunächst das Sichtfeld des Benutzers (Schritt S103) und die Lichtquellenposition (Schritt S106). Diese Elemente einer solchen Schätzungsverarbeitung können immer oder periodisch durchgeführt werden. Die Benutzersichtfeldschätzungsverarbeitung und die Lichtquellenpositionsschätzungsverarbeitung können in der Reihenfolge der in 6 veranschaulichten Schritte durchgeführt werden, können in umgekehrter Reihenfolge durchgeführt werden oder können parallel durchgeführt werden. Einzelheiten der Benutzersichtfeldschätzungsverarbeitung und der Lichtquellenpositionsschätzungsverarbeitung werden später unter Bezugnahme auf die 7 und 8 beschrieben.
Als Nächstes bestimmt die Steuereinheit 100 basierend auf der Position des Benutzers, der geschätzten Position der Lichtquelle und den räumlichen Kartendaten, ob die Lichtquelle durch eine Abschirmung (ein künstliches Objekt wie etwa ein Dach und ein Gebäude oder ein natürliches Objekt) aus der Position des Benutzers abgeschirmt ist oder nicht (Schritt S109).
Wenn dann die Lichtquelle nicht durch die Abschirmung abgeschirmt ist (Schritt S109/Nein), bestimmt die Inhaltswiedergabesteuereinheit 105 basierend auf dem Sichtfeld des Benutzers und einer solchen geschätzten Lichtquellenposition, ob die Lichtquelle in das Sichtfeld des Benutzers eintritt oder nicht (Schritt S112). Die Inhaltswiedergabesteuereinheit 105 bestimmt, ob die Lichtquelle in das aktuelle Sichtfeld des Benutzers eintritt oder nicht, und/oder bestimmt, ob die Lichtquelle in das Sichtfeld des Benutzers eintritt oder nicht, wenn der Benutzer dem virtuellen Objekt visuell folgt, das sich auf einer für das virtuelle Objekt voreingestellten Bewegungsroute bewegt, basierend auf der aktuellen Position des Benutzers und der Bewegungsroute. Die Inhaltswiedergabesteuereinheit 105 ist auch in der Lage, ein aufgenommenes Bild zu analysieren, das durch die nach außen gerichtete Kamera 111 akquiriert wird und dem Sichtfeld des Benutzers entspricht, und zu bestimmen, ob sich die Lichtquelle innerhalb des Sichtfelds des Benutzers befindet oder nicht, basierend darauf, ob es einen Überbelichtungspunkt gibt oder nicht.
Wenn als Nächstes die Lichtquelle in das Sichtfeld eintritt (Schritt S112/Ja), akquiriert die Inhaltswiedergabesteuereinheit 105 die Inhaltsdaten aus der Inhaltsdaten-DB 163 (Schritt S115) und führt eine Verarbeitung zum Bestimmen des Ziels des virtuellen Objekts durch (Schritt S118). Insbesondere führt die Inhaltswiedergabesteuereinheit 105 eine Verarbeitung zum Ändern der Anzeigeposition oder der Bewegungsroute in dem realen Raum, die für das virtuelle Objekt festgelegt sind, in einen Bereich durch, in dem die Lichtquelle nicht in das Sichtfeld des Benutzers eintritt (den unter Bezugnahme auf 5 beschriebenen Lichtrückbereich 35). Einzelheiten werden später unter Bezugnahme auf die 9 und 10 beschrieben.
Dann führt die Inhaltswiedergabesteuereinheit 105 Steuerungen durch, um das virtuelle Objekt an der bestimmten Position oder Route anzuzeigen (Schritt S121). Somit wird es möglich, die Anzeigesteuerung durchzuführen, um die Verringerung der Sichtbarkeit des virtuellen Objekts aufgrund von externem Licht zu vermeiden. Während das virtuelle Objekt zum Ziel bewegt wird, während das virtuelle Objekt auf die geänderte Bewegungsroute bewegt wird oder wenn bewirkt wird, dass das virtuelle Objekt am Ziel erscheint, ist die Inhaltswiedergabesteuereinheit 105 in der Lage, eine Audiosignalverarbeitung zum Lokalisieren einer Tonquelle eines vorbestimmten Geräuscheffekts oder dergleichen zum Ziel durchführen und den Benutzer durch Ton über das Ziel zu informieren, selbst wenn sich das Ziel außerhalb des Sichtfelds des Benutzers befindet (das heißt außerhalb des Anzeigebereichs durch die Anzeigeeinheit 120) (zum Beispiel der Rücken). Wenn das virtuelle Objekt zum ersten Mal an einer voreingestellten Position im realen Raum angezeigt wird, dieses virtuelle Objekt dann in das Sichtfeld des Benutzers eintritt, und sich die Lichtquelle auch innerhalb des Sichtfelds des Benutzers befindet, kann die Inhaltswiedergabesteuereinheit 105 das Ziel bestimmen und das virtuelle Objekt dorthin bewegen. Beim Bewegen des virtuellen Objekts kann das virtuelle Objekt während der Anzeige zu dem Ziel bewegt werden, oder es kann veranlasst werden, dass das virtuelle Objekt am Ziel erscheint, während es nicht angezeigt wird.
Währenddessen führt die Inhaltswiedergabesteuereinheit 105 die Bewegungsverarbeitung für das virtuelle Objekt nicht durch, wenn die Lichtquelle abgeschirmt ist (Schritt S109/Ja) oder wenn sich die Lichtquelle nicht im Sichtfeld des Benutzers befindet (Schritt S112/Nein), und führt eine Steuerung durch, um das virtuelle Objekt an einer vorbestimmten Position oder einer Bewegungsroute im realen Raum basierend auf Positionsinformationen und Bewegungspfadinformationen anzuzeigen, die für das virtuelle Objekt voreingestellt sind. Zu diesem Zeitpunkt kann die Steuereinheit 100 gemäß den Beleuchtungsstärkeinformationen (Menge an externem Licht) eine Steuerung durchführen, um die Sichtbarkeit des virtuellen Objekts zu verbessern, indem das Licht in einem Ausmaß, dass das Sichtfeld nicht zu dunkel ist, durch die Dimmfunktion der Anzeigeeinheit 120 (Transmissions-Anzeige) blockiert wird.
<3-2. Benutzersichtfeldschätzungsverarbeitung>
7 ist ein Flussdiagramm, das ein Beispiel eines Flusses der Benutzersichtfeldschätzungsverarbeitung des Benutzers gemäß der vorliegenden Ausführungsform veranschaulicht. Wie in 7 veranschaulicht, akquiriert die Steuereinheit 100 zunächst Sensorinformationen von der Sensoreinheit 110 (Schritt S123) und schätzt eine Vorrichtungsstellung durch die Vorrichtungsstellungserkennungseinheit 101 (Schritt S126). Die Vorrichtungsstellung ist die Orientierung und der Elevationswinkel des HMD, bei dem es sich um die Informationsverarbeitungseinrichtung 10 handelt, die am Kopf des Benutzers angebracht ist, und die Vorrichtungsstellungserkennungseinheit 101 kann die Vorrichtungsstellung basierend auf Sensorinformationen berechnen, die beispielsweise durch den Gyrosensor 114, den Beschleunigungssensor 115 und den Richtungssensor 116 erhalten werden.
Als Nächstes akquiriert die Steuereinheit 100 die Positionsinformationen der Vorrichtung (Informationsverarbeitungseinrichtung 10) (Schritt S129). Die Positionsinformationen der Vorrichtung (zum Beispiel Breiten-/Längengradinformationen) können durch die Positionspositionierungseinheit 117 akquiriert werden. Wie oben erwähnt, kann die Positionspositionierungseinheit 117 eine aktuelle Position der Vorrichtung unter Verwendung einer SLAM-Technologie berechnen oder kann die aktuelle Position der Vorrichtung durch das Empfangen einer externen Funkwelle eines GPS oder dergleichen berechnen.
Als Nächstes führt die Steuereinheit 100 eine Kollationierung der räumlichen Kartendaten durch die Räumliche-Karteninformationen-Verarbeitungseinheit 102 basierend auf einem Schätzergebnis der Vorrichtungsstellung und Vorrichtungspositionsinformationen durch (Schritt S132) und schätzt das Sichtfeld des Benutzers (Schritt S135). Insbesondere kann die Steuereinheit 100 schätzen, welcher Bereich in den räumlichen Kartendaten ein Bereich des Sichtfelds des Benutzers ist, welches reale Objekt sich innerhalb des Sichtfelds des Benutzers befindet und so weiter. Durch das Erhalten solcher Informationen über das reale Objekt, das sich innerhalb des Sichtfelds befindet, wird es möglich, die Existenz der Abschirmung zu ermitteln, die die Lichtquelle in dem oben beschriebenen Schritt S109 abschirmt.
<3-3. Sonnenpositionsschätzungsverarbeitung>
8 ist ein Flussdiagramm, das ein Beispiel eines Flusses der Sonnenpositionsschätzungsverarbeitung gemäß der vorliegenden Ausführungsform veranschaulicht. Wie in 8 veranschaulicht, akquiriert die Steuereinheit 100 zunächst Beleuchtungsstärkeinformationen von dem Beleuchtungsstärkesensor 118 (Schritt S143) und bestimmt, ob die Beleuchtungsstärke gleich oder größer als eine Schwelle ist oder nicht (Schritt S146).
Wenn die Beleuchtungsstärke nicht gleich oder größer als die Schwelle ist (Schritt S146/Nein), führt die Inhaltswiedergabesteuereinheit 105 die Bewegungsverarbeitung für das virtuelle Objekt nicht durch und führt die Steuerung, um das virtuelle Objekt an der vorbestimmten Position oder der Bewegungsroute im realen Raum anzuzeigen, basierend auf den Positionsinformationen und den Bewegungspfadinformationen durch, die für das virtuelle Objekt voreingestellt sind (Schritt S118, veranschaulicht in 6).
Wenn währenddessen die Beleuchtungsstärke gleich oder größer als die Schwelle ist (Schritt S146/Ja), führt die Steuereinheit 100 eine Lichtquellenpositionsschätzung durch die Lichtquellenpositionsschätzungseinheit 103 durch (Schritt S149). Wie oben unter Bezugnahme auf 4 erwähnt, schätzt die Lichtquellenpositionsschätzungseinheit 103 die Lichtquellenposition unter Verwendung der Positionsinformationen (Vorrichtungspositionsinformationen) des Benutzers, des Datums und der Parameter der Sonnenpositionsdaten-DB 162. In dem in 8 veranschaulichten Beispiel wird die Schätzungsverarbeitung für die Lichtquellenposition durchgeführt, wenn die Beleuchtungsstärke (Menge an externem Licht) gleich oder größer als die Schwelle ist (das heißt, wenn eine Helligkeit gleich oder größer als ein gewisser Pegel detektiert wird); die vorliegende Ausführungsform ist jedoch nicht darauf beschränkt, und die Schätzungsverarbeitung für die Lichtquellenposition kann durchgeführt werden, ohne die Schwelle der Beleuchtungsstärke zu bestimmen (während die Schritte S143 bis S146 übersprungen werden).
Als Nächstes führt die Steuereinheit 100 die Kollationierung der räumlichen Karte durch die Räumliche-Karteninformationen-Verarbeitungseinheit 102 durch (Schritt S152) und schätzt einen abgeschirmten Zustand der Lichtquelle (Schritt S155). Insbesondere schätzt die Steuereinheit 100 basierend auf der geschätzten Lichtquellenposition und der Position, Form und dergleichen des realen Objekts, die in den räumlichen Kartendaten enthalten sind, ein Gebiet, in dem ein Schatten in dem Raum erzeugt wird, das heißt ein Gebiet, in dem die Lichtquelle abgeschirmt ist, und dergleichen. Durch das derartige Schätzen des abgeschirmten Zustands der Lichtquelle kann in dem oben beschriebenen Schritt S109 bestimmt werden, ob ein Ort, an dem sich der Benutzer befindet, das Gebiet ist, in dem die Lichtquelle abgeschirmt ist.
Die Kollationierungsverarbeitung der räumlichen Karte in der Schätzungsverarbeitung für das Sichtfeld des Benutzers, die in Schritt S132 von 7 veranschaulicht ist, und die Kollationierungsverarbeitung der räumlichen Karte in der Sonnenpositionsschätzungsverarbeitung, die in Schritt S152 von 8 veranschaulicht ist, sind relativ schwer, und dementsprechend kann eine Verarbeitungslast von beiden verringert werden, indem beide zum gleichen Zeitpunkt in der Räumliche-Karteninformationen-Verarbeitungseinheit 102 durchgeführt werden.
<3-4. Zielbestimmungsverarbeitung für ein virtuelles Objekt>
Als Nächstes wird die Zielbestimmungsverarbeitung für das virtuelle Objekt, die in Schritt S115 von 6 veranschaulicht ist, spezifisch unter Bezugnahme auf die 9 und 10 beschrieben. In der vorliegenden Ausführungsform wird für die Zielbestimmungsverarbeitung für das virtuelle Objekt speziell Folgendes angenommen: Bewegung einer voreingestellten Anzeigeposition (Steuerung, um das virtuelle Objekt in dem Bereich anzuordnen, in dem die Lichtquelle nicht in das Sichtfeld des Benutzers eintritt); und Bewegung einer Anzeigeposition, die von einer Änderung der Bewegungsroute begleitet wird (Bewegungssteuerung des virtuellen Objekts, das durch den Bereich verläuft, in dem die Lichtquelle nicht in das Sichtfeld des Benutzers eintritt).
(Bestimmung des Ziels des virtuellen Objekts)
9 ist ein Flussdiagramm, das ein Beispiel einer Zielbestimmungsverarbeitung für das virtuelle Objekt gemäß der vorliegenden Ausführungsform veranschaulicht. Wie in 9 veranschaulicht, akquiriert die Inhaltswiedergabesteuereinheit 105 zunächst Anzeigepositionsinformationen jedes virtuellen Objekts aus der Inhaltsdaten-DB 163 und bestimmt, ob das virtuelle Objekt innerhalb des Sichtfelds des Benutzers angezeigt wird oder nicht (Schritt S203). Die Anzeigepositionsinformationen des virtuellen Objekts sind beispielsweise Informationen über eine vorbestimmte Erscheinungsposition im realen Raum, die von einer Inhaltsanbieterseite im Voraus festgelegt wird (im Fall eines virtuellen Objekts, das schwebt oder sich ein wenig bewegt, kann die Erscheinungsbildposition ein „Erscheinungsbereich“ sein). Die Inhaltswiedergabesteuereinheit 105 bezieht sich auf die aktuelle Position des Benutzers, das Sichtfeld des Benutzers, die räumliche Karte und die Inhaltsdaten und bestimmt, ob das virtuelle Objekt innerhalb des Sichtfelds des Benutzers angezeigt wird oder nicht. Zu diesem Zeitpunkt kann die Inhaltswiedergabesteuereinheit 105 das virtuelle Objekt bereits im Sichtfeld des Benutzers basierend auf den Anzeigepositionsinformationen anzeigen.
Als Nächstes bestimmt die Inhaltswiedergabesteuereinheit 105 das Ziel des virtuellen Objekts in dem Bereich, in dem die Lichtquelle nicht in das Sichtfeld des Benutzers eintritt (Schritt S206). Der Bereich, in dem die Lichtquelle nicht in das Sichtfeld des Benutzers eintritt, ist beispielsweise der Lichtrückbereich 35, der unter Bezugnahme auf 5 beschrieben ist.
Die Bewegungsverarbeitung für das virtuelle Objekt wurde oben beschrieben. Hier wurde der Fall beschrieben, in dem die Informationen über die Anzeigeposition im virtuellen Objekt voreingestellt sind; die vorliegende Ausführungsform ist jedoch nicht darauf beschränkt, und die Anzeigeposition des virtuellen Objekts kann gemäß einer vorbestimmten Regel zufällig eingestellt werden. In diesem Fall führt die Inhaltswiedergabesteuereinheit 105 die Verarbeitung zum Bewegen der Anzeigeposition durch, wenn die zufällig eingestellte Anzeigeposition innerhalb des Bereichs liegt, in dem die Lichtquelle in das Sichtfeld des Benutzers eintritt (kann beispielsweise die Anzeigeposition erneut zufällig einstellen und das gleiche bestimmen, oder kann das Ziel im Lichtrückbereich 35 bestimmen).
Ferner kann die Inhaltswiedergabesteuereinheit 105 bewirken, dass das virtuelle Objekt an einer Standardanzeigeposition erscheint, und dann das virtuelle Objekt zum Ziel bewegen, oder kann bewirken, dass das virtuelle Objekt auf dem Ziel (Anordnungsziel) erscheint, ohne zu bewirken, dass das virtuelle Objekt an der Standardanzeigeposition erscheint.
(Änderung der Bewegungsroute des virtuellen Objekts)
10 ist ein Flussdiagramm, das ein Beispiel einer Zielbestimmungsverarbeitung begleitet von einer Bewegungsroutenänderung des virtuellen Objekts gemäß der vorliegenden Ausführungsform veranschaulicht. Je nach Inhalt ist es möglich, für jedes virtuelle Objekt eine vorbestimmte Bewegungsroute im realen Raum festzulegen. Alternativ ist es auch möglich, im Voraus eine Einstellung vorzunehmen, um die Bewegungsroute für jedes virtuelle Objekt gemäß einer vorbestimmten Regel zu bestimmen (Bewegung, um dem Benutzer zu entkommen, sich um den Benutzer zu drehen, sich am Himmel zu drehen, sich entlang des Bodens zu bewegen und so weiter). In diesem Fall tritt die Lichtquelle in das Sichtfeld ein, wenn der Benutzer dem sich auf der Bewegungsroute bewegenden virtuellen Objekt visuell folgt, und dann wird angenommen, dass es schwierig ist, das virtuelle Objekt zu sehen, und dass das sich bewegende virtuelle Objekt verloren geht, und solch eine Erfahrung im Freien des AR-Inhalts nicht vollständig genossen werden kann. Daher wird in der vorliegenden Ausführungsform basierend auf der voreingestellten/zufällig bestimmten Bewegungsroute, der aktuellen Position des Benutzers und der geschätzten Lichtquellenposition eine Verarbeitung zum Einstellen der Bewegungsroute, die durch den Bereich verläuft, in dem die Lichtquelle nicht in das Sichtfeld des Benutzers eintritt, und Bestimmen des Ziels des virtuellen Objekts durchgeführt.
Insbesondere, wie in 10 veranschaulicht, bestimmt (akquiriert) die Inhaltswiedergabesteuereinheit 105 zunächst die Bewegungsroute des virtuellen Objekts im realen Raum basierend auf den Inhaltsdaten (Schritt S213). Wenn die Bewegungsroute gemäß einer vorbestimmten Regel zufällig eingestellt wird, setzt die Inhaltswiedergabesteuereinheit 105 die Bewegungsroute zufällig und bestimmt (akquiriert) die Bewegungsroute im realen Raum.
Als Nächstes bestimmt die Inhaltswiedergabesteuereinheit 105, ob die Bewegungsroute zwischen dem Benutzer und der Lichtquellenposition verläuft oder nicht (Schritt S216). Das heißt, basierend auf der aktuellen Position des Benutzers und der geschätzten Lichtquellenposition bestimmt die Inhaltswiedergabesteuereinheit 105, ob die Bewegungsroute durch den Bereich verläuft oder nicht, in dem die Lichtquelle in das Sichtfeld des Benutzers eintritt. Da angenommen wird, dass der Benutzer dem virtuellen Objekt, das sich auf der Bewegungsroute bewegt, visuell folgt, sagt die Inhaltswiedergabesteuereinheit 105 nicht nur das aktuelle Sichtfeld des Benutzers voraus, sondern auch eine Änderung des Sichtfelds des Benutzers, wenn der Benutzer dem virtuellen Objekt, das sich auf dem Bewegungspfad bewegt, visuell folgt, und bestimmt, ob die Bewegungsroute durch den Bereich verläuft oder nicht, in dem die Lichtquelle in das Sichtfeld des Benutzers eintritt.
Wenn die Bewegungsroute zwischen dem Benutzer und der Lichtquellenposition verläuft (Schritt S216/Ja), setzt die Inhaltswiedergabesteuereinheit 105 als Nächstes die Bewegungsroute zurück (Schritt S219). Beispielsweise kann die Inhaltswiedergabesteuereinheit 105 die Bewegungsroute gemäß einer vorbestimmten Regel wieder zufällig einstellen oder kann die Bewegungsroute einstellen, die durch den unter Bezugnahme auf 5 beschriebenen Lichtrückbereich 35 verläuft.
Wenn dann die Bewegungsroute nicht zwischen dem Benutzer und der Lichtquellenposition verläuft (Schritt S216/Nein), bestimmt die Inhaltswiedergabesteuereinheit 105 die Bewegungsroute und das Ziel des virtuellen Objekts (Schritt S222). Zum Beispiel, wie in 11 veranschaulicht, wenn eine anfängliche Bewegungsroute R1 eines virtuellen Objekts 20 zwischen dem Benutzer und der Lichtquelle (Sonne) verläuft, wird die Bewegungsroute zurückgesetzt und als eine Bewegungsroute R2 bestimmt, die nicht zwischen dem Benutzer und der Lichtquellenposition verläuft.
<<Anwendungsfälle>>
Als Nächstes werden Anwendungsfälle der vorliegenden Ausführungsform mit spezifischen Beispielen beschrieben.
<Anwendungsfall 1: Bewegen eines erscheinenden virtuellen Charakters von einem spezifischen Ort in der realen Welt zu einer Position, an der der virtuelle Charakter leicht zu sehen ist>
Die Informationsverarbeitungseinrichtung 10 führt Operationen aus, die nachstehend unter Verwendung der folgenden Daten beschrieben werden sollen.
Inhaltsdaten: Spielinhaltsdaten, die auf einer Spiel-Engine ausgeführt werden sollen

· Räumliche Kartendaten: Daten einer räumlichen Karte von Straßen und Gebieten der realen Welt, die als eine Plattform eines Spiels und von Erscheinungspositionen der Charaktere dienen (beispielsweise eine Schachtposition und dergleichen)

(Operationsbeispiel)
Wenn der Benutzer in einem Spielbereich läuft, während er die Informationsverarbeitungseinrichtung 10 (optisches Transmissions-HMD) trägt und sich einem Schacht nähert (ein Beispiel für die Position des Erscheinens eines virtuellen Objekts), wird eine AR-Anzeigesteuerung durchgeführt, bei der der virtuelle Charakter (zum Beispiel ein Geist: ein Beispiel für das virtuelle Objekt) zusammen mit einem Geräuscheffekt aus dem Schacht erscheint.
Wenn sich dann der Charakter und die Sonne als ein Ergebnis der Lichtquellenpositionsschätzung innerhalb des Sichtfelds des Benutzers befinden, bewegt die Informationsverarbeitungseinrichtung 10 den Charakter in den Lichtrückbereich.
Durch die Ausrichtung der Sichtlinie auf den Charakter dreht sich der Benutzer natürlich in die entgegengesetzte Richtung zur Sonne und kann den Charakter visuell sicher erkennen.
(Implementierungsvariante)
Die Informationsverarbeitungseinrichtung 10 kann die Erscheinungsposition des Charakters nicht durch räumliche Kartendaten eines spezifischen Bereichs, sondern durch eine Markierungserkennung oder allgemeine Objekterkennung vorschreiben, wobei jeweils eine Bilderkennung verwendet wird (bei der beispielsweise der Charakter aus einer spezifischen Markierung herauskommt, der Charakter herauskommt, wenn ein Bild des Schachts erkannt wird, und so weiter).
Ferner kann die Informationsverarbeitungseinrichtung 10, wenn der Charakter aus dem Schacht herausspringt oder sich bewegt, einen Ton durch ein 3D-Audio mit einem der Position entsprechenden Audioeffekt ausdrücken (beispielsweise unter Verwendung einer VPT(Virtualphones Technology)-Technologie).
<Anwendungsfall 2: Einrichten einer Bewegungsroute des virtuellen Charakters, der sich in einem Bereich bewegt, sodass der Benutzer die Bewegungsroute leicht finden kann>
Die Informationsverarbeitungseinrichtung 10 führt Operationen aus, die nachstehend unter Verwendung der folgenden Daten beschrieben werden sollen.
Inhaltsdaten: Spielinhaltsdaten, die auf einer Spiel-Engine ausgeführt werden sollen

• Räumliche Kartendaten: Daten, in denen ein Bewegungsbereich des Charakters auf einer räumlichen Karte von Straßen und Gebieten der realen Welt festgelegt ist, die als eine Plattform eines Spiels dienen

(Operationsbeispiel)
Wenn der Benutzer in einem Spielbereich läuft, während er die Informationsverarbeitungseinrichtung 10 (optisches Transmissions-HMD) trägt, wird eine AR-Anzeigesteuerung durchgeführt, bei der ein virtueller Charakter (zum Beispiel ein in einem Ballon hängendes Geschenk) mit einem Geräuscheffekt erscheint und beginnt, sich entlang einer anfänglich festgelegten Bewegungsroute zu bewegen.
Wenn dann die Bewegungsroute eine Route ist, auf der sich der Charakter zwischen der Position des Benutzers und der Position der Sonne als ein Ergebnis der Lichtquellenpositionsschätzung bewegt, setzt die Informationsverarbeitungseinrichtung 10 die Bewegungsroute des Charakters zurück, sodass die Bewegungsroute die Sonnenseite vermeidet.
Durch die Ausrichtung der Sichtlinie auf den Charakter dreht sich der Benutzer natürlich in die entgegengesetzte Richtung zur Sonne und kann den Charakter visuell sicher erkennen.
(Implementierungsvariante)
Die Bewegungsroute des Charakters kann aus einer Vielzahl vorbestimmter Muster ausgewählt oder durch künstliche Intelligenz (KI) autonom festgelegt werden.
Ferner kann die Informationsverarbeitungseinrichtung 10 einen Ton, wenn der Charakter erscheint, und einen Ton, wenn sich der Charakter bewegt, durch das 3D-Audio mit einem der Position entsprechenden Audioeffekt ausdrücken.
<Anwendungsfall 3: Bewegen eines erscheinenden virtuellen Charakters von einem spezifischen Ort in der realen Welt zu einer Position, an der die Hand leicht erkannt werden kann>
Die Informationsverarbeitungseinrichtung 10 führt Operationen, die nachstehend beschrieben werden sollen, unter Verwendung der folgenden Daten und einer Bilderkennungsfunktion aus.
· Inhaltsdaten: Spielinhaltsdaten, die auf einer Spiel-Engine ausgeführt werden sollen, in der eine Interaktion mit dem virtuellen Charakter durchgeführt werden kann, wenn die Hand erkannt wird (beispielsweise ist die Interaktion derart, dass eine AR-Anzeige, aus der ein Strahl aus der Hand herauszukommen scheint, und ein Geräuscheffekt präsentiert werden, sowie eine AR-Anzeige und ein Geräuscheffekt präsentiert werden, bei denen der Charakter durch den Strahl besiegt wird).
Räumliche Kartendaten: Daten einer räumlichen Karte von Straßen und Gebieten der realen Welt, die als eine Plattform eines Spiels und von Erscheinungspositionen der Charaktere dienen (beispielsweise eine Schachtposition)

· Handerkennungsfunktion: Eine Funktion (Bilderkennungseinheit 104) zum Erkennen der ausgestreckten Hand des Benutzers aus einem Bild der nach außen gerichteten Kamera 111, die an der Vorrichtung (Informationsverarbeitungseinrichtung 10) angebracht ist

(Operationsbeispiel)
Wenn der Benutzer in dem Spielbereich läuft, während er die Informationsverarbeitungseinrichtung 10 (optisches Transmissions-HMD) trägt und sich einem Schacht nähert, wird eine AR-Anzeigesteuerung, bei der der virtuelle Charakter (zum Beispiel ein Geist) aus dem Schacht herausspringt, zusammen mit einem Geräuscheffekt durchgeführt.
Wenn sich dann der Charakter und die Sonne als ein Ergebnis der Lichtquellenpositionsschätzung innerhalb des Sichtfelds des Benutzers befinden, bewegt die Informationsverarbeitungseinrichtung 10 den Charakter in den Lichtrückbereich.
Durch das Ausrichten der Sichtlinie auf den Charakter dreht sich der Benutzer natürlich in die entgegengesetzte Richtung zur Sonne und kann den Charakter visuell sicher erkennen, und zusätzlich wird die auf den Charakter ausgestreckte Hand sicher von der Bilderkennungseinheit 104 ohne Hintergrundbeleuchtung erkannt, und die Interaktion des Besiegens des Charakters durch den Strahl kann durchgeführt werden.
(Implementierungsvariante)
Die Interaktion mit dem Charakter ist nicht auf die Strahlemission von der Hand beschränkt und kann das manuelle Reiben des Charakters, das manuelle Drücken des Charakters und so weiter sein.
Ferner kann die Informationsverarbeitungseinrichtung 10 die Erscheinungsposition des Charakters durch eine Markierungserkennung durch Bilderkennung oder allgemeine Objekterkennung anstelle der räumlichen Kartendaten des spezifischen Bereichs vorschreiben.
Darüber hinaus kann die Informationsverarbeitungseinrichtung 10 einen Ton, wenn der Charakter aus einem Schacht herausspringt, und einen Ton, wenn sich der Charakter bewegt, durch das 3D-Audio mit einem der Position entsprechenden Audioeffekt ausdrücken.
<Anwendungsfall 4: Festlegen der Route des virtuellen Charakters, der sich in dem Bereich bewegt, sodass die Hand leicht erkannt werden kann>
Die Informationsverarbeitungseinrichtung 10 führt Operationen, die nachstehend beschrieben werden sollen, unter Verwendung der folgenden Daten und einer Bilderkennungsfunktion aus.

· Inhaltsdaten: Spielinhaltsdaten, die auf einer Spiel-Engine ausgeführt werden sollen, in der eine Interaktion mit dem virtuellen Charakter ausgeführt werden kann, wenn die Hand erkannt wird (beispielsweise wird ein Strahl von der Hand emittiert, um den Charakter zu besiegen, und so weiter).
· Räumliche Kartendaten: Daten, in denen ein Bewegungsbereich des Charakters auf einer räumlichen Karte von Straßen und Gebieten der realen Welt festgelegt ist, die als eine Plattform eines Spiels dienen
• Handerkennungsfunktion: Eine Funktion (Bilderkennungseinheit 104) zum Erkennen der ausgestreckten Hand des Benutzers aus einem Bild der nach außen gerichteten Kamera 111, die an der Vorrichtung (Informationsverarbeitungseinrichtung 10) angebracht ist

(Operationsbeispiel)
Wenn der Benutzer in einem Spielbereich läuft, während er die Informationsverarbeitungseinrichtung 10 (optisches Transmissions-HMD) trägt, wird eine AR-Anzeigesteuerung durchgeführt, bei der ein virtueller Charakter (zum Beispiel ein in einem Ballon hängendes Geschenk) mit einem Geräuscheffekt erscheint und beginnt, sich entlang einer anfänglich festgelegten Bewegungsroute zu bewegen.
Wenn dann die Bewegungsroute eine Route ist, auf der sich der Charakter zwischen der Position des Benutzers und der Position der Sonne als ein Ergebnis der Lichtquellenpositionsschätzung bewegt, setzt die Informationsverarbeitungseinrichtung 10 die Bewegungsroute des Charakters zurück, sodass die Bewegungsroute die Sonnenseite vermeidet.
Durch das Ausrichten der Sichtlinie auf den Charakter dreht sich der Benutzer natürlich in die entgegengesetzte Richtung zur Sonne und kann den Charakter visuell sicher erkennen, und zusätzlich wird die auf den Charakter ausgestreckte Hand sicher von der Bilderkennungseinheit 104 ohne Hintergrundbeleuchtung erkannt, und die Interaktion des Besiegens des Charakters durch den Strahl kann durchgeführt werden.
(Implementierungsvariante)
Die Interaktion mit dem Charakter ist nicht auf die Strahlemission von der Hand beschränkt und kann das manuelle Reiben des Charakters, das manuelle Drücken des Charakters und so weiter sein.
Die Bewegungsroute des Charakters kann aus einer Vielzahl vorbestimmter Muster ausgewählt oder durch KI autonom festgelegt werden.
Ferner kann die Informationsverarbeitungseinrichtung 10 einen Ton, wenn der Charakter erscheint, und einen Ton, wenn sich der Charakter bewegt, durch das 3D-Audio mit einem der Position entsprechenden Audioeffekt ausdrücken.
<<Zusammenfassung>>
Wie oben erwähnt, wird es in dem Informationsverarbeitungssystem gemäß der Ausführungsform der vorliegenden Offenbarung möglich, die Anzeigesteuerung durchzuführen, um die Verringerung der Sichtbarkeit des virtuellen Objekts aufgrund von externem Licht zu vermeiden.
In dem Informationsverarbeitungssystem gemäß der vorliegenden Ausführungsform werden solche Effekte ausgeübt, dass die Leichtigkeit des Spielens von AR- und MR-Spielinhalten für die Verwendung im Freien verbessert wird, dass eine Fähigkeit verbessert wird, den Benutzer in Navigationsanwendungen im Freien unter Verwendung von AR und MR zu führen, dass Aufmerksamkeit vom Benutzer gegenüber AR- und MR-Shows in Themenparks im Freien oder dergleichen erhöht wird, und dass ein Werbeeffekt bei der Anzeige von Außenwerbung und Werbebotschaften (CM) unter Verwendung von AR und MR verbessert wird.
Ferner kann in dem Informationsverarbeitungssystem gemäß der vorliegenden Ausführungsform die Anpassung der AR- und MR-Spiele an die Verwendung im Freien durch Einstecken derselben in ein 3D-Spieleentwicklungstool vereinfacht werden.
Die bevorzugten Ausführungsformen der vorliegenden Offenbarung wurden oben unter Bezugnahme auf die begleitenden Zeichnungen ausführlich beschrieben; die vorliegende Technologie ist jedoch nicht auf solche Beispiele beschränkt. Es ist offensichtlich, dass ein Durchschnittsfachmann in dem technischen Gebiet der vorliegenden Offenbarung verschiedene Modifikationen oder Veränderungen innerhalb des Schutzumfangs der technischen Idee, die in den Patentansprüchen beschrieben ist, erdenken kann, und es versteht sich, dass diese selbstverständlich auch in den technischen Schutzumfang der vorliegenden Offenbarung fallen.
Beispielsweise ist es möglich, ein Computerprogramm zu erstellen, um zu veranlassen, dass Hardware wie etwa die CPU, der ROM und der RAM, die in der oben erwähnten Informationsverarbeitungseinrichtung 10 eingebaut sind, die Funktionen der Informationsverarbeitungseinrichtung 10 ausüben. Ferner ist auch ein computerlesbares Speicherungsmedium bereitgestellt, das das Computerprogramm darin speichert.
Ferner sind die in dieser Beschreibung beschriebenen Effekte lediglich veranschaulichend oder beispielhaft und nicht einschränkend. Das heißt, die Technologie gemäß der vorliegenden Offenbarung kann andere Effekte aufweisen, die für den Fachmann aus der Beschreibung in der vorliegenden Beschreibung zusätzlich zu oder anstelle der obigen Effekte ersichtlich sind.
Es ist zu beachten, dass die vorliegende Technologie auch solche Konfigurationen wie folgt annehmen kann.

(1) Eine Informationsverarbeitungseinrichtung, die Folgendes umfasst:
- eine Steuereinheit, die eine Anzeigesteuerung durchführt, um ein virtuelles Objekt bevorzugt in einem zweiten Gebiet anstatt in einem ersten Gebiet anzuordnen, wobei das erste Gebiet ein Gebiet in einem realen Raum ist, von dem eine erste Sichtbarkeit erhalten wird, und das zweite Gebiet ein Gebiet im realen Raum ist, von dem eine zweite Sichtbarkeit erhalten wird, die höher als die erste Sichtbarkeit ist.
(2) Die Informationsverarbeitungseinrichtung gemäß (1), wobei die Steuereinheit das zweite Gebiet mit höherer Sichtbarkeit als das erste Gebiet basierend auf einer Beleuchtungsstärkeumgebung bestimmt.
(3) Die Informationsverarbeitungseinrichtung gemäß (2), wobei die Beleuchtungsstärkeumgebung eine Beleuchtungsstärkeinformation ist, die durch Erfassung erhalten wird, das erste Gebiet ein Gebiet mit einer Beleuchtungsstärke ist, die eine erste Schwelle überschreitet, und das zweite Gebiet ein Gebiet mit einer Beleuchtungsstärke ist, die kleiner als die erste Schwelle ist.
(4) Die Informationsverarbeitungseinrichtung gemäß (2), wobei die Beleuchtungsstärkeumgebung eine Positionsinformation einer Lichtquelle ist, das erste Gebiet ein Gebiet ist, das eine Richtung enthält, in der sich die Lichtquelle in Bezug auf eine Position eines Benutzers befindet, und das zweite Gebiet ein Gebiet ist, das eine Richtung enthält, die der Richtung entgegengesetzt ist, in der sich die Lichtquelle in Bezug auf die Position des Benutzers befindet.
(5) Die Informationsverarbeitungseinrichtung gemäß (4), wobei die Beleuchtungsstärkeumgebung ferner eine Positionsinformation einer Abschirmung enthält, und die Steuereinheit als das zweite Gebiet ein Gebiet definiert, das von der Abschirmung beschattet wird.
(6) Die Informationsverarbeitungseinrichtung gemäß (4) oder (5), wobei die Lichtquelle die Sonne ist, und die Steuereinheit eine Sonnenposition als die Positionsinformation der Lichtquelle basierend auf einer aktuellen Position des Benutzers sowie einem Datum und einer Uhrzeit schätzt.
(7) Die Informationsverarbeitungseinrichtung gemäß einem von (1) bis (6), wobei die Steuereinheit Anzeigepositionsinformationen akquiriert, die einer dreidimensionalen Position des realen Raums entsprechen, wobei die Anzeigepositionsinformationen für das virtuelle Objekt voreingestellt sind, und eine Steuerung durchführt, um eine durch die Anzeigepositionsinformationen angegebene Position in einen Bereich des zweiten Gebiets zu ändern, wenn die Position innerhalb eines Bereichs des ersten Gebiets liegt.
(8) Die Informationsverarbeitungseinrichtung gemäß einem von (1) bis (7), wobei die Steuereinheit Anzeigepositionsinformationen akquiriert, die einer dreidimensionalen Position des realen Raums entsprechen, wobei die Anzeigepositionsinformationen für das virtuelle Objekt voreingestellt sind, eine Bewegungsroute des virtuellen Objekts basierend auf den Anzeigepositionsinformationen bestimmt, und eine Steuerung durchführt, um die Bewegungsroute des virtuellen Objekts in einen Bereich des zweiten Gebiets zu ändern, wenn die Bewegungsroute durch einen Bereich des ersten Gebiets verläuft.
(9) Die Informationsverarbeitungseinrichtung gemäß einem von (1) bis (8), wobei ein Gebiet, das die Richtung entgegengesetzt zu der Richtung enthält, in der sich die Lichtquelle in Bezug auf die Position des Benutzers befindet, ein Bereich gegenüber der Lichtquelle ist, wobei der Bereich durch eine sphärischen Oberfläche umgeben ist, deren Zentrum ein Blickpunkt des Benutzers ist und deren maximaler Anzeigeabstand des virtuellen Objekts ein Radius ist, und durch eine Ebene orthogonal zu einer geraden Linie, die den Blickpunkt des Benutzers und eine Position der Lichtquelle miteinander verbindet.
(10) Die Informationsverarbeitungseinrichtung gemäß einem von (1) bis (9), wobei die Steuereinheit eine Audiosignalverarbeitung durchführt, um eine vorbestimmte Tonquelle an einem Anordnungsziel des virtuellen Objekts zu lokalisieren, und eine Steuerung durchführt, um von einer Audioausgabeeinheit ein Audiosignal auszugeben, das der Audiosignalverarbeitung unterzogen wird.
(11) Die Informationsverarbeitungseinrichtung gemäß (8), wobei die Steuereinheit eine Audiosignalverarbeitung durchführt, um eine vorbestimmte Tonquelle auf die Bewegungsroute des virtuellen Objekts zu lokalisieren, und eine Steuerung durchführt, um von einer Audioausgabeeinheit ein Audiosignal auszugeben, das der Audiosignalverarbeitung unterzogen wird.
(12) Die Informationsverarbeitungseinrichtung gemäß einem von (4) bis (6), wobei die Steuereinheit sich auf Positionen einer Vielzahl von Benutzern bezieht und das erste und zweite Gebiet bestimmt, die der Vielzahl von Benutzern gemein sind.
(13) Die Informationsverarbeitungseinrichtung gemäß einem von (1) bis (12), wobei die Steuereinheit eine Anzeigesteuerung durchführt, um das virtuelle Objekt über eine Transmissions-Anzeigeeinheit im realen Raum anzuordnen.
(14) Ein Informationsverarbeitungsverfahren, das Folgendes umfasst:
- Durchführen, durch einen Prozessor, einer Anzeigesteuerung, um ein virtuelles Objekt bevorzugt in einem zweiten Gebiet anstatt in einem ersten Gebiet anzuordnen, wobei das erste Gebiet ein Gebiet in einem realen Raum ist, von dem eine erste Sichtbarkeit erhalten wird, und das zweite Gebiet ein Gebiet im realen Raum ist, von dem eine zweite Sichtbarkeit erhalten wird, die höher als die erste Sichtbarkeit ist.
(15) Ein Programm, um einen Computer zu Folgendem zu veranlassen:
- Fungieren als eine Steuereinheit, die eine Anzeigesteuerung durchführt, um ein virtuelles Objekt bevorzugt in einem zweiten Gebiet anstatt in einem ersten Gebiet anzuordnen, wobei das erste Gebiet ein Gebiet in einem realen Raum ist, von dem eine erste Sichtbarkeit erhalten wird, und das zweite Gebiet ein Gebiet im realen Raum ist, von dem eine zweite Sichtbarkeit erhalten wird, die höher als die erste Sichtbarkeit ist.

Bezugszeichenliste

10: INFORMATIONSVERARBEITUNGSEINRICHTUNG
100: STEUEREINHEIT
101: VORRICHTUNGSSTELLUNGSERKENNUNGSEINHEIT
102: RÄUMLICHE-KARTENINFORMATIONENVERARBEITUNGSEINHEIT
103: LICHTQUELLENPOSITIONSSCHÄTZUNGSEINHEIT
104: BILDERKENNUNGSEINHEIT
105: INHALTSWIEDERGABESTEUEREINHEIT
110: SENSOREINHEIT
111: NACH AUSSEN GERICHTETE KAMERA
112: NACH INNEN GERICHTETE KAMERA
113: MIKROFON
114: GYROSENSOR
115: BESCHLEUNIGUNGSSENSOR
116: RICHTUNGSSENSOR
117: POSITIONSPOSITIONIERUNGSEINHEIT
120: ANZEIGEEINHEIT
130: LAUTSPRECHER
140: KOMMUNIKATIONSEINHEIT
150: BEDIENUNGSEINGABEEINHEIT
160: SPEICHERUNGSEINHEIT
161: RÄUMLICHE-KARTENDATEN-DB
162: SONNENPOSITIONSDATEN-DB
163: INHALTSDATEN-DB

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

JP 2013210643 A [0005]

Claims

Informationsverarbeitungseinrichtung, die Folgendes umfasst: eine Steuereinheit, die eine Anzeigesteuerung durchführt, um ein virtuelles Objekt bevorzugt in einem zweiten Gebiet anstatt in einem ersten Gebiet anzuordnen, wobei das erste Gebiet ein Gebiet in einem realen Raum ist, von dem eine erste Sichtbarkeit erhalten wird, und das zweite Gebiet ein Gebiet im realen Raum ist, von dem eine zweite Sichtbarkeit erhalten wird, die höher als die erste Sichtbarkeit ist.
Informationsverarbeitungseinrichtung nach Anspruch 1, wobei die Steuereinheit das zweite Gebiet mit höherer Sichtbarkeit als das erste Gebiet basierend auf einer Beleuchtungsstärkeumgebung bestimmt.
Informationsverarbeitungseinrichtung nach Anspruch 2, wobei die Beleuchtungsstärkeumgebung eine Beleuchtungsstärkeinformation ist, die durch Erfassung erhalten wird, das erste Gebiet ein Gebiet mit einer Beleuchtungsstärke ist, die eine erste Schwelle überschreitet, und das zweite Gebiet ein Gebiet mit einer Beleuchtungsstärke ist, die kleiner als die erste Schwelle ist.
Informationsverarbeitungseinrichtung nach Anspruch 2, wobei die Beleuchtungsstärkeumgebung eine Positionsinformation einer Lichtquelle ist, das erste Gebiet ein Gebiet ist, das eine Richtung enthält, in der sich die Lichtquelle in Bezug auf eine Position eines Benutzers befindet, und das zweite Gebiet ein Gebiet ist, das eine Richtung enthält, die der Richtung entgegengesetzt ist, in der sich die Lichtquelle in Bezug auf die Position des Benutzers befindet.
Informationsverarbeitungseinrichtung nach Anspruch 4, wobei die Beleuchtungsstärkeumgebung ferner eine Positionsinformation einer Abschirmung enthält, und die Steuereinheit als das zweite Gebiet ein Gebiet definiert, das von der Abschirmung beschattet wird.
Informationsverarbeitungseinrichtung nach Anspruch 4, wobei die Lichtquelle die Sonne ist, und die Steuereinheit eine Sonnenposition als die Positionsinformation der Lichtquelle basierend auf einer aktuellen Position des Benutzers sowie einem Datum und einer Uhrzeit schätzt.
Informationsverarbeitungseinrichtung nach Anspruch 1, wobei die Steuereinheit Anzeigepositionsinformationen akquiriert, die einer dreidimensionalen Position des realen Raums entsprechen, wobei die Anzeigepositionsinformationen für das virtuelle Objekt voreingestellt sind, und eine Steuerung durchführt, um eine durch die Anzeigepositionsinformationen angegebene Position in einen Bereich des zweiten Gebiets zu ändern, wenn die Position innerhalb eines Bereichs des ersten Gebiets liegt.
Informationsverarbeitungseinrichtung nach Anspruch 1, wobei die Steuereinheit Anzeigepositionsinformationen akquiriert, die einer dreidimensionalen Position des realen Raums entsprechen, wobei die Anzeigepositionsinformationen für das virtuelle Objekt voreingestellt sind, eine Bewegungsroute des virtuellen Objekts basierend auf den Anzeigepositionsinformationen bestimmt, und eine Steuerung durchführt, um die Bewegungsroute des virtuellen Objekts in einen Bereich des zweiten Gebiets zu ändern, wenn die Bewegungsroute durch einen Bereich des ersten Gebiets verläuft.
Informationsverarbeitungseinrichtung nach Anspruch 4, wobei ein Gebiet, das die Richtung entgegengesetzt zu der Richtung enthält, in der sich die Lichtquelle in Bezug auf die Position des Benutzers befindet, ein Bereich gegenüber der Lichtquelle ist, wobei der Bereich durch eine sphärischen Oberfläche umgeben ist, deren Zentrum ein Blickpunkt des Benutzers ist und deren maximaler Anzeigeabstand des virtuellen Objekts ein Radius ist, und durch eine Ebene orthogonal zu einer geraden Linie, die den Blickpunkt des Benutzers und eine Position der Lichtquelle miteinander verbindet.
Informationsverarbeitungseinrichtung nach Anspruch 1, wobei die Steuereinheit eine Audiosignalverarbeitung durchführt, um eine vorbestimmte Tonquelle an einem Anordnungsziel des virtuellen Objekts zu lokalisieren, und eine Steuerung durchführt, um von einer Audioausgabeeinheit ein Audiosignal auszugeben, das der Audiosignalverarbeitung unterzogen wird.
Informationsverarbeitungseinrichtung nach Anspruch 8, wobei die Steuereinheit eine Audiosignalverarbeitung durchführt, um eine vorbestimmte Tonquelle auf die Bewegungsroute des virtuellen Objekts zu lokalisieren, und eine Steuerung durchführt, um von einer Audioausgabeeinheit ein Audiosignal auszugeben, das der Audiosignalverarbeitung unterzogen wird.
Informationsverarbeitungseinrichtung nach Anspruch 4, wobei die Steuereinheit sich auf Positionen einer Vielzahl von Benutzern bezieht und das erste und zweite Gebiet bestimmt, die der Vielzahl von Benutzern gemein sind.
Informationsverarbeitungseinrichtung nach Anspruch 1, wobei die Steuereinheit eine Anzeigesteuerung durchführt, um das virtuelle Objekt über eine Transmissions-Anzeigeeinheit im realen Raum anzuordnen.
Informationsverarbeitungsverfahren, das Folgendes umfasst: Durchführen, durch einen Prozessor, einer Anzeigesteuerung, um ein virtuelles Objekt bevorzugt in einem zweiten Gebiet anstatt in einem ersten Gebiet anzuordnen, wobei das erste Gebiet ein Gebiet in einem realen Raum ist, von dem eine erste Sichtbarkeit erhalten wird, und das zweite Gebiet ein Gebiet im realen Raum ist, von dem eine zweite Sichtbarkeit erhalten wird, die höher als die erste Sichtbarkeit ist.
Programm, um einen Computer zu Folgendem zu veranlassen: Fungieren als eine Steuereinheit, die eine Anzeigesteuerung durchführt, um ein virtuelles Objekt bevorzugt in einem zweiten Gebiet anstatt in einem ersten Gebiet anzuordnen, wobei das erste Gebiet ein Gebiet in einem realen Raum ist, von dem eine erste Sichtbarkeit erhalten wird, und das zweite Gebiet ein Gebiet im realen Raum ist, von dem eine zweite Sichtbarkeit erhalten wird, die höher als die erste Sichtbarkeit ist.