DE112021003465T5

DE112021003465T5 - Informationsprozessor, informationsverarbeitungsverfahren und speichermedium

Info

Publication number: DE112021003465T5
Application number: DE112021003465.0T
Authority: DE
Inventors: Atsushi Ishihara; Hirotake Ichikawa
Original assignee: Sony Group Corp
Current assignee: Sony Group Corp
Priority date: 2020-06-30
Filing date: 2021-05-10
Publication date: 2023-05-17
Also published as: WO2022004130A1; CN115917609A; US20230260220A1

Abstract

[Problem] Einen Informationsprozessor, ein Informationsverarbeitungsverfahren und ein Speichermedium bereitzustellen, die eine Anzeigeverzögerung in geeigneter Weise verringern können, wenn ein virtuelles Objekt einem Sichtfeld auf einer Videodurchsichtanzeige überlagert wird.[Lösung] Der Informationsprozessor weist eine Anzeigesteuereinheit auf, wobei die Anzeigesteuereinheit die Videodurchsichtanzeige steuert, die zum Anzeigen eines aufgenommenen Bildes ausgebildet ist, das von einer Abbildungseinheit erfasst wird, die Anzeigesteuereinheit das virtuelle Objekt einem ersten aufgenommenen Bild überlagert, falls eine Last einer Erkennung eines realen Raums basierend auf einem vorbestimmten aufgenommenen Bild eine erste Last ist, wobei das virtuelle Objekt auf der Basis der Erkennung des realen Raums gezeichnet wird, und die Anzeigesteuereinheit das virtuelle Objekt einem zweiten aufgenommenen Bild überlagert, falls die Last der Erkennung eine zweite Last ist, die größer als die erste Last ist, wobei das zweite aufgenommene Bild vor dem ersten aufgenommenen Bild erfasst wird.

Description

[Technisches Gebiet]
Die vorliegende Offenbarung betrifft einen Informationsprozessor, ein Informationsverarbeitungsverfahren und ein Speichermedium.
[Stand der Technik]
In den letzten Jahren wurden verschiedene Techniken zur Darstellung einer Vereinigung eines realen Raums und eines virtuellen Raums entwickelt. Zum Beispiel wurde erweiterte Realität (AR - Augmented Reality) als Technik zum Anzeigen eines Bildes eines virtuellen Raums (im Folgenden als virtuelles Objekt bezeichnet) entwickelt, das einem direkt betrachteten realen Raum überlagert wird. Eine Vorrichtung zum Implementieren erweiterter Realität ist zum Beispiel eine am Kopf angebrachte optische Durchsichtanzeige (hierin im Folgenden als „HMD“ (Head Mounted Display) bezeichnet).
PTL 1 beschreibt zum Beispiel, dass ein virtuelles Objekt, das mit einem Objekt in einem realen Raum verbunden ist, in einer AR-Technik angezeigt wird. Insbesondere wird die Position oder Orientierung eines Objekts im realen Raum erkannt, und dann wird das virtuelle Objekt gemäß dem Erkennungsergebnis angezeigt. In PTL 1 wird ein virtuelles Objekt angezeigt, während eine Änderung der Position oder Orientierung eines Objekts im realen Raum vorhergesagt wird. Außerdem wird in PTL 1, falls die Anzeige durcheinandergebracht wird, beispielsweise die Anzeigeposition oder -orientierung eines virtuellen Objekts aufgrund einer Zeitverzögerung von einer Erfassungszeit von Vorhersageinformationen bis zu einer Anzeigezeit des virtuellen Objekts von einer anzuzeigenden Position oder Orientierung verschoben wird, die Verschiebung durch Verunschärfung der Anzeigeposition mit Bewegungsunschärfe oder dergleichen weniger auffällig gemacht.
PTL 2 beschreibt auch, dass, wenn ein Benutzer, der eine HMD trägt, oder ein Objekt in einem realen Raum sich in einer AR-Technik bewegt, die Position und die Orientierung eines virtuellen Objekts gemäß der Bewegung eingestellt werden, um dadurch eine durch eine Anzeigevorzögerung verursachte Unnatürlichkeit zu verringern. Insbesondere werden in PTL 2 die Position und die Orientierung einer HMD vorhergesagt, und dann wird ein Bild eines virtuellen Objekts gemäß der Vorhersage so umgeformt, dass es weniger wahrscheinlich ist, dass ein Benutzer eine Verschiebung einer Überlagerungsposition und einer Anzeigeposition wahrnimmt. In PTL 2 wird eine Rasterabtastanzeige verwendet und senkrecht zur Abtastrichtung einer Rasterabtastung in eine Mehrzahl von Slices (Anzeigebereiche) geteilt. Die Slices werden gemäß einer Abtastung der Reihe nach angezeigt. Mit anderen Worten umfasst die HMD von PTL 2 eine Anzeige mit einer Mehrzahl von benachbarten Anzeigebereichen mit verschiedenen Anzeigetakten. Unmittelbar vor der Anzeige jedes der Slices sagt die HMD von PTL 2 die Position und Orientierung der HMD zum Zeitpunkt des Anzeigens jedes der Slices vorher und formt ein Bild für jedes der Slices gemäß dem Vorhersageergebnis so um, dass es weniger wahrscheinlich ist, dass ein Benutzer eine Verschiebung einer Überlagerungsposition und einer Anzeigeverzögerung wahrnimmt.
[Zitationsl iste]
[Patentliteratur]

[PTL 1] WO 2017/047178
[PTL 2] WO 2019/181263

[Kurzdarstellung]
[Technisches Problem]
Die verwandte Technik untersucht nicht die Probleme einer Anzeigeverzögerung in einem Sichtfeld eines Benutzers, wenn ein virtuelles Objekt einer Videodurchsichtanzeige überlagert wird.
Infolgedessen schlägt die vorliegende Offenbarung einen Informationsprozessor, ein Informationsverarbeitungsverfahren und ein Speichermedium vor, die eine Anzeigeverzögerung in geeigneter Weise verringern können, wenn ein virtuelles Objekt einem Sichtfeld auf einer Videodurchsichtanzeige überlagert wird.
[Problemlösung]
Die vorliegende Offenbarung schlägt einen Informationsprozessor vor, der eine Anzeigesteuereinheit aufweist, wobei die Anzeigesteuereinheit eine Videodurchsichtanzeige steuert, die zum Anzeigen eines aufgenommenen Bildes ausgebildet ist, das von einer Abbildungseinheit erfasst wird, die Anzeigesteuereinheit ein virtuelles Objekt einem ersten aufgenommenen Bild überlagert, falls eine Last einer Erkennung eines realen Raums basierend auf einem vorbestimmten aufgenommenen Bild eine erste Last ist, wobei das virtuelle Objekt auf der Basis der Erkennung des realen Raums gezeichnet wird, und die Anzeigesteuereinheit das virtuelle Objekt einem zweiten aufgenommenen Bild überlagert, falls die Last der Erkennung eine zweite Last ist, die größer als die erste Last ist, wobei das zweite aufgenommene Bild vor dem ersten aufgenommenen Bild erfasst wird.
Die vorliegende Offenbarung schlägt ein Informationsverarbeitungsverfahren vor, das aufweist: Veranlassen eines Prozessors zum Durchführen von Anzeigesteuerung einer Videodurchsichtanzeige, die zum Anzeigen eines aufgenommenen Bildes ausgebildet ist, das von einer Abbildungseinheit erfasst wird; Veranlassen des Prozessors zum Durchführen von Anzeigesteuerung, um ein virtuelles Objekt einem ersten aufgenommenen Bild zu überlagern, falls eine Last einer Erkennung eines realen Raums basierend auf einem vorbestimmten aufgenommenen Bild eine erste Last ist, wobei das virtuelle Objekt auf der Basis der Erkennung des realen Raums gezeichnet wird; und Veranlassen des Prozessors zum Durchführen von Anzeigesteuerung, um das virtuelle Objekt einem zweiten aufgenommenen Bild zu überlagern, falls die Last der Erkennung eine zweite Last ist, die größer als die erste Last ist, wobei das zweite aufgenommene Bild vor dem ersten aufgenommenen Bild erfasst wird.
Die vorliegende Offenbarung schlägt einen Speichermedium vor, in dem ein Programm gespeichert ist, wobei das Programm einen Computer veranlasst, als eine Anzeigesteuereinheit zu fungieren, wobei die Anzeigesteuereinheit eine Videodurchsichtanzeige steuert, die zum Anzeigen eines aufgenommenen Bildes ausgebildet ist, das von einer Abbildungseinheit erfasst wird, die Anzeigesteuereinheit ein virtuelles Objekt einem ersten aufgenommenen Bild überlagert, falls eine Last einer Erkennung eines realen Raums basierend auf einem vorbestimmten aufgenommenen Bild eine erste Last ist, wobei das virtuelle Objekt auf der Basis der Erkennung des realen Raums gezeichnet wird, und die Anzeigesteuereinheit das virtuelle Objekt einem zweiten aufgenommenen Bild überlagert, falls die Last der Erkennung eine zweite Last ist, die größer als die erste Last ist, wobei das zweite aufgenommene Bild vor dem ersten aufgenommenen Bild erfasst wird.
Figurenliste

[1] 1 ist ein Blockdiagramm, das ein Hardwarekonfigurationsbeispiel eines Informationsprozessors gemäß einer Ausführungsform der vorliegenden Offenbarung veranschaulicht.
[2] 2 ist eine erläuternde Zeichnung, die eine durch eine Anzeigeverzögerung eines virtuellen Objekts verursachte Unnatürlichkeit veranschaulicht.
[3] 3 ist ein Zeitdiagramm, das den Ablauf einer Verarbeitungsserie zeigt, um eine Anzeigeverzögerung des virtuellen Objekts zu erklären.
[4] 4 ist ein Ablaufdiagramm, das den Ablauf einer Verarbeitungsserie zeigt, um Anzeigesteuerung zu erklären, die vom Informationsprozessor gemäß der vorliegenden Ausführungsform durchgeführt wird.
[5] 5 ist ein Ablaufdiagramm, das ein Beispiel des Ablaufs der Anzeigesteuerung zeigt, die vom Informationsprozessor gemäß der vorliegenden Ausführungsform durchgeführt wird.
[6] 6 ist eine erläuternde Zeichnung einer Überlagerungsstopplinie und eines Beurteilungskriteriumselements zur Umschaltungssteuerung gemäß der vorliegenden Ausführungsform.
[7] 7 ist ein Ablaufdiagramm, das ein Beispiel eines Umschaltungsablaufs bei geringer Verzögerung gemäß der vorliegenden Ausführungsform zeigt.
[8] 8 ist ein Ablaufdiagramm, das ein Beispiel eines Umschaltungsablaufs bei hoher Verzögerung gemäß der vorliegenden Ausführungsform zeigt.
[9] 9 ist ein Zeitdiagramm zur Erklärung des Umschaltens eines Ansichtsbildes über eine vorbestimmte Anzahl von Frames beim Umschalten von hoher Verzögerung auf geringe Verzögerung gemäß der vorliegenden Ausführungsform.
[10] 10 ist ein Zeitdiagramm zur Erklärung des Umschaltens eines Ansichtsbildes über eine vorbestimmte Anzahl von Frames beim Umschalten von geringer Verzögerung auf hohe Verzögerung gemäß der vorliegenden Ausführungsform.
[11] 11 ist ein Zeitdiagramm zur Erklärung schnellen Umschaltens eines Ansichtsbildes über eine vorbestimmte Anzahl von Frames beim Umschalten von hoher Verzögerung auf geringe Verzögerung gemäß der vorliegenden Ausführungsform.
[12] 12 ist ein Zeitdiagramm zur Erklärung schnellen Umschaltens eines Ansichtsbildes beim Umschalten von geringer Verzögerung auf hohe Verzögerung gemäß der vorliegenden Ausführungsform.
[13] 13 ist ein Zeitdiagramm, das ein Beispiel der Aktualisierungsfrequenz bei Erkennung zeigt, wenn ein Algorithmus zur Erkennung dreidimensionaler Objekte gemäß der vorliegenden Ausführungsform verwendet wird.
[14] 14 ist ein Zeitdiagramm, das ein Beispiel der Aktualisierungsfrequenz bei Erkennung zeigt, wenn ein Algorithmus zur Erkennung zweidimensionaler Objekte gemäß der vorliegenden Ausführungsform verwendet wird.
[15] 15 ist ein Zeitdiagramm, das ein Beispiel der Aktualisierungsfrequenz bei Erkennung derart zeigt, dass dreidimensionale Erkennung gemäß der vorliegenden Ausführungsform und zweidimensionale Erkennung in Kombination mit Verfolgung eines Merkmalspunkts parallel durchgeführt werden.
[16] 16 ist eine erläuternde Zeichnung der Anzeige eines virtuellen Objekts auf der Basis von zweidimensionaler Erkennung in Kombination mit Verfolgung eines Merkmalspunkts gemäß der vorliegenden Ausführungsform.
[17] 17 ist eine erläuternde Zeichnung eines Zustands einer Diskrepanz zwischen einem Gesichtssinn und einem Tastsinn.
[18] 18 ist eine erläuternde Zeichnung, die ein Beispiel der Unterstützung bezüglich einer Tastsinn-Diskrepanz gemäß der vorliegenden Ausführungsform veranschaulicht.
[19] 19 veranschaulicht ein Anzeigebeispiel einer Mehrzahl von virtuellen Objekten gemäß der vorliegenden Ausführungsform.
[20] 20 ist ein Zeitdiagramm, das den Ablauf einer Verarbeitungsserie zeigt, um Anzeigesteuerung zu erklären, die unter Verwendung einer Mehrzahl von Erkennungsalgorithmen im Informationsprozessor gemäß der vorliegenden Ausführungsform durchgeführt wird.

[Beschreibung von Ausführungsformen]
Im Folgenden wird eine bevorzugte Ausführungsform der vorliegenden Offenbarung unter Bezugnahme auf die beiliegenden Zeichnungen ausführlich beschrieben. In der vorliegenden Spezifikation und den Zeichnungen sind Bestandteile mit der im Wesentlichen gleichen funktionellen Konfiguration mit den gleichen Bezugszeichen versehen, und wiederholte Beschreibungen davon werden unterlassen.
Die Beschreibung erfolgt in der folgenden Reihenfolge.

1. Konfigurationsbeispiel
- 1-1. Konfigurationsbeispiel des Informationsprozessors
- 1-2. Organisation von Problemen
2. Technische Merkmale
- 2-1. Verringerung der Anzeigeverzögerungszeit eines virtuellen Objekts
- 2-2. Operationsverarbeitung
- 2-3. Unterstützung der Sicherheit
- 2-4. Unterstützung bezüglich Tastsinn-Diskrepanz
3. Schlussfolgerung

<<1. Konfigurationsbeispiel>>
<1-1. Konfigurationsbeispiel des Informationsprozessors>
Zunächst wird im Anschluss eine Basiskonfiguration eines Informationsprozessors 10 gemäß einer Ausführungsform der vorliegenden Offenbarung beschrieben. 1 ist ein Blockdiagramm, das ein Beispiel einer Basiskonfiguration des Informationsprozessors 10 gemäß einer Ausführungsform der vorliegenden Offenbarung veranschaulicht. Wie in 1 veranschaulicht, weist der Informationsprozessor 10 eine Steuereinheit 100, eine Kommunikationseinheit 110, eine Kamera 120, eine Operationseingabeeinheit 130, eine Sensoreinheit 140, eine Anzeigeeinheit 150, einen Lautsprecher 160 und eine Speichereinheit 170 auf.
Der Informationsprozessor 10 gemäß der vorliegenden Ausführungsform führt in erster Linie Steuerung zum Anzeigen eines aufgenommenen Bildes eines realen Raums auf der Anzeigeeinheit 150 durch und zeigt ein virtuelles Objekt an, das gemäß der Position eines Objekts im realen Raum (hierin im Folgenden als reales Objekt bezeichnet) überlagert ist, das im aufgenommenen Bild enthalten ist. Die Konfigurationen des Informationsprozessors 10 werden nachstehend beschrieben.
(1) Kommunikationseinheit 110
Die Kommunikationseinheit 110 ist mit der einer externen Vorrichtung verbunden und sendet und empfängt Daten an die bzw. von der externe/n Vorrichtung über Draht- oder Funkkommunikationen. Zum Beispiel ist die Kommunikationseinheit 110 mit einem Netzwerk verbunden, um Daten an einen Server im Netzwerk zu senden und von diesem zu empfangen. Zum Beispiel kann die Kommunikationseinheit 110 vom Server Daten über ein virtuelles Objekt, das einem aufgenommenen Bild eines realen Raums überlagert werden soll, oder verschiedene Arten von Daten über Überlagerung empfangen. Die Kommunikationseinheit 110 ist mit einer externen Vorrichtung oder einem Netzwerk verbunden, um Kommunikationen zum Beispiel über ein drahtgebundenes/drahtloses lokales Netzwerk (LAN - Local Area Network), Wi-Fi (eingetragene Marke), Bluetooth (eingetragene Marke) oder ein Mobilkommunikationsnetzwerk (LTE (Long Term Evolution), 3G (Mobilkommunikationssystem der dritten Generation), 4G (Mobilkommunikationssystem der vierten Generation) und 5G (Mobilkommunikationssystem der fünften Generation)) durchzuführen.
(2) Kamera 120
Die Kamera 120 ist ein Beispiel einer Abbildungseinheit mit der Funktion des Aufnehmens eines Bildes eines realen Raums. Ein Bild eines realen Raums, das von der Kamera 120 aufgenommen wird, wird auf der Anzeigeeinheit 150 angezeigt. Das aufgenommene Bild auf der Anzeigeeinheit 150 wird als ein sogenanntes Durchgangsbild angezeigt, das der Ansicht eines Benutzers des Informationsprozessors 10 entspricht. Das Durchgangsbild kann als ein aufgenommenes Bild angesehen werden, das in Echtzeit angezeigt wird. Alternativ kann das Durchgangsbild als das letzte von Bildern angesehen werden, das von der Kamera 120 aufgenommen wird. Ein Bild eines realen Raums, das von der Kamera 120 aufgenommen wird, kann zum Erkennen des realen Raums verwendet werden.
In der vorliegenden Spezifikation wird ein angezeigtes Bild, das einer Benutzeransicht entspricht, auch als Ansichtsbild bezeichnet werden. Die Kamera 120, die beabsichtigt, ein Ansichtsbild zu erfassen, ist wünschenswerterweise in der Richtung des Sichtfeldes des Benutzers orientiert, der den Informationsprozessor 10 verwendet. Es wird davon ausgegangen, dass der Benutzer bei Verwendung des Informationsprozessors 10 die Anzeigeeinheit 150 betrachtet. Falls der Informationsprozessor 10 zum Beispiel durch eine HMD implementiert ist, die am Kopf des Benutzers angebracht und mit der Anzeigeeinheit 150 ausgebildet ist, die unmittelbar vor den Augen des Benutzers platziert ist, wenn sie angebracht ist, ist die Kamera 120 daher in derselben Richtung wie der Kopf des Benutzers orientiert.
Bei der Kamera 120 kann es sich um eine einzige Kamera oder eine Mehrzahl von Kameras handeln. Alternativ kann die Kamera 120 als eine sogenannte Stereokamera ausgebildet sein.
(3) Operationseingabeeinheit 130
Die Operationseingabeeinheit 130 hat die Funktion des Empfangens einer Benutzeroperation. Die Operationsempfangseinheit 130 gibt Informationen über eine empfangene Operation an die Steuereinheit 100 aus. Die Operationseingabeeinheit 130 kann durch eine Eingabevorrichtung, z. B. einen Berührungsbildschirm oder eine Taste, implementiert sein.
(4) Sensoreinheit 140
Die Sensoreinheit 140 hat die Funktion des Erfassens eines realen Raums, zum Beispiel, einer Position (Benutzerposition) und einer Bewegung des Informationsprozessors 10 und der Begleitumstände. Die Sensoreinheit 140 weist zum Beispiel eine Positionsmesseinheit, einen Beschleunigungssensor, einen Winkelgeschwindigkeitssensor und einen Erdmagnetismus-Sensor auf. Die Sensoreinheit 140 kann zum Beispiel eine Kamera zum Aufnehmen eines Bildes aufweisen, das zum Erkennen eines realen Raums verwendet wird (eine Erkennungskamera), wobei die Kamera sich von der Kamera 120 zum Aufnehmen eines Ansichtsbildes unterscheidet. In diesem Fall kann der Blickwinkel der Erkennungskamera zumindest den Blickwinkel der Kamera 120 zum Aufnehmen eines Ansichtsbildes enthalten. Außerdem kann die Sensoreinheit 140 einen Sensor zum Messen eines Abstands von einem Objekt aufweisen, das in einem realen Raum existiert. Der Sensor zum Messen eines Abstands kann ein Sensor zur Messung basierend auf einem stereoskopischen Bild sein, das von einer Stereokamera oder einem Infrarotsensor aufgenommen wird.
Die Positionsmesseinheit hat die Funktion des Berechnens einer absoluten oder relativen Position des Informationsprozessors 10. Zum Beispiel kann die Positionsmesseinheit eine aktuelle Position auf der Basis eines von außen erfassten Signals detektieren. Insbesondere ein globales Satellitennavigationssystem (GNSS - Global Navigation Satellite System), das die aktuelle Position des Informationsprozessors 10 zum Beispiel durch Empfangen von Funkwellen von einem künstlichen Satelliten detektiert. Neben GNSS können Wi-Fi (eingetragene Marke), Bluetooth (eingetragene Marke), Senden und Empfangen zu und von einem Zellulartelefon, einem PHS und einem Smartphone oder Nahbereichskommunikation für ein Verfahren zur Detektion einer Position verwendet werden. Die Positionsmesseinheit kann Informationen, die eine relative Änderung angeben, auf der Basis des Detektionsergebnisses eines Beschleunigungssensors oder eines Winkelgeschwindigkeitssensors oder dergleichen schätzen.
(5) Anzeigeeinheit 150
Die Anzeigeeinheit 150 ist durch eine sogenannte Videodurchsichtanzeige implementiert. Eine Videodurchsichtanzeige stellt ein Bild eines realen Raums durch Anzeigen eines Bewegtbildes des realen Raums, das von einer in Bezug auf die Anzeige unbeweglichen Abbildungsvorrichtung aufgenommen wird, das heißt ein Durchgangsbild in Echtzeit, auf der Anzeige für den Benutzer bereit. Im Falle einer typischen Videodurchsichtanzeige wird Licht in einem realen Raum durch das Gehäuse der Videodurchsichtanzeige blockiert und erreicht die Augen des Benutzers nicht direkt.
Die Anzeigeeinheit 150 kann zwischen einer Videodurchsichtanzeige und einer optischen Durchsichtanzeige umschaltbar sein. Eine optische Durchsichtanzeige ist eine Anzeige, die Licht in einem realen Raum direkt zu den Augen des Benutzers übertragen kann. Eine optische Durchsichtanzeige kann in bekannten Modi verwendet werden, die einen Halbspiegelmodus, einen Lichtleiterplattenmodus und einen Retina-Direktzeichnungsmodus aufweisen. Die Außenfläche einer optischen Durchsichtanzeige weist eine Konfiguration, zum Beispiel ein Abblendelement, auf, die Licht in einem realen Raum dynamisch blockiert und Umschalten zwischen der optischen Durchsichtanzeige und einer Videodurchsichtanzeige ermöglicht.
Darüber hinaus kann eine Videodurchsichtanzeige zum Implementieren der Anzeigeeinheit 150 ein Handheld-Anzeige für ein Smartphone oder ein mobiles Endgerät für eine am Körper tragbare Anzeige sein. Ein mobiles Endgerät kann drahtlos oder über ein Kabel mit einem Computer verbunden sein, der vom mobilen Endgerät getrennt ist. Eine Videodurchsichtanzeige zum Implementieren der Anzeigeeinheit 150 kann in verschiedenen beweglichen Objekten, einschließlich eines Kraftfahrzeugs, bereitgestellt werden. Die Funktion des Steuerns der Anzeige einer Videodurchsichtanzeige kann durch ein eigenständiges Endgerät ausgeführt werden, oder sie kann von einer Mehrzahl von Informationsprozessoren über ein drahtloses Netzwerk oder eine drahtgebundene Verbindung ausgeführt werden.
(6) Lautsprecher 160
Der Lautsprecher 160 hat die Funktion des Ausgebens von Ton. Zum Beispiel kann der Lautsprecher 160 als Kopfhörer, Ohrhörer oder Knochenleitungslautsprecher ausgebildet sein.
(7) Speichereinheit 170
Die Speichereinheit 170 ist durch einen Nur-Lese-Speicher (ROM - Read Only Memory), in dem Programme, die zur Verarbeitung der Steuereinheit 100 verwendet werden, und arithmetische Parameter oder dergleichen gespeichert werden, und einen Direktzugriffsspeicher (RAM - Random Access Memory) implementiert, in dem gegebenenfalls geänderte Parameter oder dergleichen temporär gespeichert werden.
(8) Steuereinheit 100
Die Steuereinheit 100 fungiert als eine arithmetische Verarbeitungseinheit und eine Steuerung und steuert den alle Operationen im Informationsprozessor 10 gemäß verschiedenen Programmen. Die Steuereinheit 100 ist zum Beispiel durch eine zentrale Verarbeitungseinheit (CPU Central Processing Unit) und elektronische Schaltungen wie etwa einen Mikroprozessor implementiert. Die Speichereinheit 100 kann ferner einen Nur-Lese-Speicher (ROM - Read Only Memory), in dem zu verwendende Programme und arithmetische Parameter oder dergleichen gespeichert werden, und einen Direktzugriffsspeicher (RAM - Random Access Memory) aufweisen, in dem gegebenenfalls geänderte Parameter oder dergleichen temporär gespeichert werden.
Die Steuereinheit 100 gemäß der vorliegenden Ausführungsform fungiert auch als Erkennungseinheit 101, eine Einheit zum Zeichnen virtueller Objekte 102, eine Ansichtszeicheneinheit 103 und eine Anzeigeverarbeitungseinheit 104.
(Erkennungseinheit 101)
Die Erkennungseinheit 101 erkennt verschiedene Arten von Daten, die in die Steuereinheit 100 eingegeben werden. Insbesondere erkennt die Erkennungseinheit 101 einen realen Raum auf der Basis eines aufgenommenen Bildes des realen Raums. Alternativ kann die Erkennungseinheit 101 ihre eigene Position oder Orientierung auf der Basis von Sensordaten oder dergleichen erkennen, die von der Sensoreinheit 140 eingegeben werden. Wenn die Steuereinheit 100 ein virtuelles Objekt einem aufgenommenen Bild eines realen Raums derart überlagert, dass das virtuelle Objekt einem realen Objekt entspricht, werden die Position und die Orientierung des realen Objekts oder die Position und die Orientierung der Kamera 120 (oder, anders gesagt, des Informationsprozessors 10, der die Kamera 120 umfasst, oder eines Benutzers, der den Informationsprozessor 10 am Körper trägt) verwendet.
- Erkennung des realen Raums
Die Erkennungseinheit 101 erkennt einen realen Raum auf der Basis eines aufgenommenen Bildes des realen Raums. Bei der Erkennung des realen Raums wird zum Beispiel ein Objekt (reales Objekt) in einem aufgenommenen Bild des realen Raums erkannt. Der Algorithmus für Objekterkennung ist nicht speziell beschränkt. Zum Beispiel kann Erkennung dreidimensionaler Objekte oder ein Knochenschätzungsalgorithmus verwendet werden. Außerdem kann Erkennung durch Verwenden einer Mehrzahl von Erkennungsalgorithmen gleichzeitig durchgeführt werden, wobei die Erkennungsalgorithmen einen Algorithmus zum Erkennen von Menschen und einen Algorithmus zum Erkennen von Menschen und einen Algorithmus zum Erkennen von anderen Objekten als Menschen aufweisen. Die Erkennung eines Objekts weist zumindest die Position oder die Orientierung des Objekts auf. Ein aufgenommenes Bild, das zur Erkennung verwendet wird, kann ein Bild sein, das von einer Kamera aufgenommen wird, die ein Bild (Durchgangsbild) aufnimmt, das auf der Anzeigeeinheit 150 angezeigt werden soll, oder es kann ein Bild sein, das von einer Kamera aufgenommen wird, die sich von der Kamera unterscheidet und für Erkennung vorgesehen ist. Die Erkennungseinheit 101 kann Tiefendaten von der Kamera 120 oder der Sensoreinheit 140 erfassen und die Daten zur Erkennung eines realen Raums verwenden. Die Erkennungseinheit 101 kann einen Abstand von einem Objekt in einem realen Raum erfassen.
- Erkennung der eigenen Position
Die Erkennungseinheit 101 erkennt mindestens eine der Position und der Orientierung des Informationsprozessors 10 (genauer gesagt der Kamera 120) auf der Basis des Detektionsergebnisses der Sensoreinheit 140. Die Erkennung durch die Erkennungseinheit 101 kann Verarbeitung aufweisen, die von der Positionsmesseinheit durchgeführt wird, oder sie kann Verarbeitung zum Erfassen von Informationen von der Positionsmesseinheit sein, die ihre eigene Position angeben. Zum Beispiel erkennt die Erkennungseinheit 101 ihre eigene Position oder Orientierung als Informationen, die eine relative Änderung angeben, auf der Basis des Detektionsergebnisses eines Beschleunigungssensors oder eines Winkelgeschwindigkeitssensors oder dergleichen. Die Informationen, die ihre eigene Position angeben, können eine Bewegungsgeschwindigkeit aufweisen.
Alternativ kann die Erkennungseinheit 101 die Position des Informationsprozessors 10 (oder, anders gesagt, eines Benutzers) durch einen Vergleich mit einer Raumkarte erkennen, die durch eine Technik der simultanen Lokalisierung und Kartierung (SLAM - Simultaneous Localization and Mapping) vorab erstellt wird, oder eine Lagebeziehung im realen Raum zu einem realen Objekt in einem aufgenommenen Bild erkennen. Falls der Informationsprozessor 10 eine am Kopf eines Benutzers anzubringende HMD ist, kann die Erkennungseinheit 101 die Position, die Orientierung, die Neigung und eine Bewegungsgeschwindigkeit oder dergleichen des Kopfs des Benutzers als die Erkennung ihrer eigenen Position erkennen. In einem spezifischen Beispiel detektiert die Erkennungseinheit 101 Komponenten in einer Gierrichtung, einer Nickrichtung und einer Rollrichtung als Bewegungen des Kopfs des Benutzers, um dadurch eine Änderung mindestens einer der Position und der Orientierung des Kopfs des Benutzers zu erkennen.
(Einheit zum Zeichnen virtueller Objekte 102)
Die Einheit zum Zeichnen virtueller Objekte 102 zeichnet ein virtuelles Objekt, das einem aufgenommenen Bild (Ansichtsbild) in einem realen Raum überlagert werden soll, in einen entsprechenden Puffer. Der Puffer ist zumindest ein Teil des Speicherbereichs einer Speichereinheit, z. B. eines Flash-Speichers oder eines RAM, zur temporären oder permanenten Aufbewahrung verschiedener Arten von Daten. Außerdem ist der Puffer ein sogenannter Framepuffer zum Speichern der Anzeigeinhalte eines Bildschirms. Bei Abschluss der Erkennung durch die Erkennungseinheit 101 auf der Basis eines aufgenommenen Bildes im realen Raum zeichnet die Einheit zum Zeichnen virtueller Objekte 102 ein virtuelles Objekt in einer geeigneten Position oder mit einer geeigneten Orientierung in Bezug auf die Position oder die Orientierung eines realen Objekts auf der Basis des Ergebnisses der Erkennung (der Position oder der Orientierung des realen Objekts). Im Folgenden wird hierin der Puffer, in dem ein virtuelles Objekt gezeichnet wird, das einem Ansichtsbild überlagert werden soll, auch als Puffer virtueller Informationen bezeichnet.
(Ansichtszeicheneinheit 103)
Die Ansichtszeicheneinheit 103 zeichnet ein Bild (Ansichtsbild), das von der Kamera 120 in einem realen Raum aufgenommen wird, in einen entsprechenden Puffer. Als ein Beispiel wird davon ausgegangen, dass der Puffer zum Zeichnen eines Ansichtsbildes und der Puffer zum Zeichnen eines virtuellen Objekts getrennte Speicherbereiche sind. Die getrennten Speicherbereiche können verschiedene Speicherbereiche sein, die in einer Speichereinheit zugewiesen sind, oder sie können durch logisches Teilen desselben Speicherbereichs erhalten werden. Alternativ können verschiedene Speichereinheiten zugewiesen sein. Im Folgenden wird hierin der Puffer, in dem ein aufgenommenes Bild (Ansichtsbild) in einem realen Raum gezeichnet wird, als Ansichtsinformationspuffer bezeichnet.
(Anzeigeverarbeitungseinheit 104)
Die Anzeigeverarbeitungseinheit 104 führt Steuerung (Anzeigesteuerung) zum Auslesen von im Puffer gezeichneten Informationen und Ausgeben der Informationen an die Anzeigeeinheit 150 durch. Insbesondere führt die Anzeigeverarbeitungseinheit 104 Steuerung derart durch, dass ein virtuelles Objekt, das aus dem Puffer virtueller Informationen ausgelesen wird, einem aus dem Ansichtsinformationspuffer ausgelesenen Ansichtsbild überlagert und auf der Anzeigeeinheit 150 angezeigt wird.
Die Konfiguration des Informationsprozessors 10 wurde vorstehend genau beschrieben. Die Konfiguration des Informationsprozessors 10 gemäß der vorliegenden Offenbarung ist jedoch nicht auf das Beispiel von 1 beschränkt. Zum Beispiel braucht der Informationsprozessor 10 nicht alle der Konfigurationen in 1 aufzuweisen.
Eine Vorrichtung zum Implementieren des Informationsprozessors 10 ist zum Beispiel eine am Kopf angebrachte Anzeige (HMD - Head-Mounted Display). Der Informationsprozessor 10 gemäß der vorliegenden Ausführungsform ist zum Beispiel durch eine Videodurchsicht-HMD implementiert. Eine Videodurchsicht-HMD ist zum Abdecken der Augen eines Benutzers ausgebildet, wenn sie am Kopf oder Gesicht eines Benutzers angebracht wird. Eine Anzeigeeinheit, z. B. eine Anzeige (die Anzeigeeinheit 150 in der vorliegenden Ausführungsform), wird unmittelbar vor den Augen des Benutzers gehalten. Außerdem weist die Videodurchsicht-HMD eine Abbildungseinheit (die Kamera 120 in der vorliegenden Ausführungsform) zum Aufnehmen eines Bildes einer Szenerie um den Benutzer auf und zeigt ein Bild der von der Abbildungseinheit aufgenommenen Szenerie auf der Anzeigeeinheit vor dem Benutzer an. Bei dieser Konfiguration kann ein Benutzer, der eine Videodurchsicht-HMD trägt, Schwierigkeiten beim direkten Betrachten der Szenerie außerhalb haben, kann aber die Szenerie durch ein auf der Anzeigeeinheit angezeigtes Bild bestätigen. Falls der Informationsprozessor 10 durch eine Videodurchsicht-HMD implementiert ist, weist die Anzeigeeinheit 150 einen linken und einen rechten Bildschirm auf, die in Positionen fixiert sind, die dem linken und dem rechten Auge eines Benutzers entsprechen, und zeigt ein Bild des linken Auges und ein Bild des rechten Auges an. Die Anzeigeeinheit, die für eine Videodurchsicht-HMD zum Implementieren des Informationsprozessors 10 gemäß der vorliegenden Ausführungsform vorgesehen ist, kann Umschalten auf einen optischen Durchsichtmodus ermöglichen.
Der Informationsprozessor 10 kann ein Endgerät sein, das mit einer Hand eines Benutzer gehalten wird, z. B. ein Smartphone, ein Zellulartelefon oder ein Tablet oder eine am Körper eines Benutzers tragbare Vorrichtung sein.
Der Informationsprozessor 10 kann durch eine Mehrzahl von Vorrichtungen implementiert sein. Zum Beispiel kann der Informationsprozessor 10 ein System sein, das mit einer Anzeigevorrichtung ausgebildet ist, die zumindest die Kamera 120, die Sensoreinheit 140 und die Anzeigeeinheit 150 in 1 und eine Steuerung mit mindestens einer Steuereinheit 100 aufweist. Die Anzeigevorrichtung und die Steuerung sind über Draht- oder Funkkommunikationen miteinander verbunden und können Daten aneinander senden und voneinander empfangen. Die Anzeigevorrichtung und die Steuerung können miteinander zum Beispiel durch Wi-Fi (eingetragene Marke), ein LAN (Local Area Network) oder Bluetooth (eingetragene Marke) miteinander kommunizieren.
Zumindest einige der Funktionen der Steuereinheit 100 im Informationsprozessor 10 können durch einen in einem Netzwerk vorgesehenen Server, ein dediziertes Endgerät, das im gleichen Raum wie der Benutzer angeordnet ist, ein Smartphone, ein Tablet oder einen PC implementiert sein.
<1-2. Organisation von Problemen>
Im Folgenden werden Probleme beschrieben, wenn ein aufgenommenes Bild in einem realen Raum in Echtzeit angezeigt und ihm durch Verwenden der Videodurchsichtanzeige ein virtuelles Objekt überlagert wird.
Um eine Ansicht zu erhalten, als ob ein virtuelles Objekt tatsächlich in einem realen Raum vorhanden wäre, wird das virtuelle Objekt wünschenswerterweise in der Position eines realen Objekts angezeigt. Wenn außerdem die Videodurchsichtanzeige verwendet wird, wird ein reales Objekt auf der Basis des aufgenommenen Bildes in einem realen Raum erkannt. Bei Abschluss der Erkennung wird ein virtuelles Objekt in einer geeigneten Position oder mit einer geeigneten Orientierung gemäß der Position oder Orientierung des realen Objekts auf der Basis des Erkennungsergebnisses gezeichnet.
Das Zeichnen eines virtuellen Objekts erfordert die Erkennung eines realen Raums als einen vorhergehenden Schritt und kann demnach vom Zeichnen eines aufgenommenen Bildes in einem realen Raum verzögert sein. Falls zum Beispiel der Benutzer sich bewegt, um die Ansicht zu ändern, kann Verarbeitung zum Zeichnen eines virtuellen Objekts hinter der Verarbeitung zum Zeichnen eines aufgenommenen Bildes in einem realen Raum zurückbleiben. 2 ist eine erläuternde Zeichnung, die eine durch eine Anzeigeverzögerung eines virtuellen Objekts verursachte Unnatürlichkeit veranschaulicht. Ein angezeigtes Bild in 2 ist ein Beispiel für ein Bild, das auf der Anzeigeeinheit 150 angezeigt wird. Das angezeigte Bild weist ein aufgenommenes Bild (Ansichtsbild) in einem realen Raum und ein virtuelles Objekt 30 auf. Falls zum Beispiel der Benutzer sich nach rechts dreht (die Kamera 120 sich nach rechts dreht), wird ein von der Kamera 120 aufgenommenes Bild in Echtzeit (zum Beispiel etwa 15 Millisekunden vom Abbilden zum Anzeigen) auf der Anzeigeeinheit 150 angezeigt, wie in einem Anzeigebild 200 und einem Anzeigebild 201 in 2 veranschaulicht, so dass sich die Ansicht verändert. Falls die Ansicht mit der Anzeigeeinheit 150 verdeckt wird und eine Szenerie in einem realen Raum nicht direkt in Sicht kommt, nimmt der Benutzer eine Verschiebung (Anzeigeverzögerung) zwischen einer realen Ansicht und einem auf der Kamera 120 angezeigten Ansichtsbild kaum wahr, was die Natürlichkeit nicht beeinträchtigt. Dagegen neigt eine Anzeigeverzögerung des virtuellen Objekts 30 in Bezug auf das Ansichtsbild dazu, auch bei verhältnismäßig kleiner Verschiebung wahrnehmbar zu sein ist, was zu Unnatürlichkeit führt. Insbesondere wird, wie im Anzeigebild 201 von 2 dargestellt, das letzte (aktuelle) Bild als ein Ansichtsbild angezeigt. An diesem Punkt ist die Erkennung des letzten (aktuellen) Ansichtsbildes nicht abgeschlossen, so dass die Anzeigeposition des virtuellen Objekts 30 von einem Tisch (reales Objekt) verschoben ist, was zu Unnatürlichkeit führt. Bei Abschluss der Erkennung und des Zeichnens basierend auf der Erkennung wird danach die Anzeigeposition des virtuellen Objekts 30 auf eine geeignete Position aktualisiert, die der Position des Tisches entspricht, wie in einem Anzeigebild 202 dargestellt.
Unter Bezugnahme auf 3 wird nachstehend das Prinzip einer Anzeigeverzögerung des virtuellen Objekts genau beschrieben. 3 ist ein Zeitdiagramm, das den Ablauf einer Verarbeitungsserie zeigt, um eine Anzeigeverzögerung des virtuellen Objekts 30 zu erklären.
Wie in 3 dargestellt, weist eine Serie zum Anzeigen eines virtuellen Objekts, das einem realen Objekt überlagert wird, ein „Abbilden“ eines realen Raums, „Erkennung“ eines realen Objekts durch Analysieren eines aufgenommenen Bildes, „Zeichnen (Zeichnen eines virtuellen Objekts)“ eines virtuellen Objekts, das überlagert werden soll, „Zeichnen (Ansichtszeichnen)“ eines aufgenommenen Bildes und „Anzeigen (Ausgeben)“ des gezeichneten virtuellen Objekts und des aufgenommenen Bildes auf. Ein aufgenommenes Bild wird gezeichnet, wenn es erfasst wird. Ein virtuelles Objekt wird nach Abschluss der Erkennung des aufgenommenen Bildes gezeichnet. Bei der Erkennung kann Verarbeitung, die eine Verarbeitungszeit (ein Beispiel einer Erkennungslast) benötigt, zum Beispiel Erkennung dreidimensionaler Objekte, durchgeführt werden. Das Ansichtszeichnen, die Erkennung und das Zeichnen des virtuellen Objekts werden parallel durchgeführt, aber der Abschluss des Zeichnens des virtuellen Objekts ist vom Abschluss eines aufgenommenen Bildes verzögert.
Im Beispiel von 3 sind ein aufgenommenes Bild, das als ein Ansichtsbild verwendet wird, und ein aufgenommenes Bild, das zur Erkennung verwendet wird, beide so dargestellt, dass sie aus einem einzigen Schritt des „Abbildens“ (Abbildungseinheit) erhalten werden. Das „Abbilden“ (Abbildungseinheit) kann in mehreren Schritten bereitgestellt werden. Insbesondere können ein „Abbilden“ (Abbildungseinheit) zum Erfassen eines aufgenommenen Bildes, das als Ansichtsbild verwendet wird, und ein „Abbilden“ (Abbildungseinheit) zum Erfassen eines aufgenommenen Bildes, das zur Erkennung verwendet wird, bereitgestellt werden. Die Anzeigeverarbeitung kann typischerweise bei 90 Hz aktualisiert werden. Es kann davon ausgegangen werden, dass eine Zeit zur Erkennung in Abhängigkeit von der Hardwareleistung, der Art des Erkennungsalgorithmus und eines Erkennungsziels zum Beispiel etwa 12 ms bis 13 ms beträgt.
Wenn, wie in 3 dargestellt, Abbilden I1 von der Kamera 120 durchgeführt wird, analysiert die Erkennungseinheit 101 ein aufgenommenes Bild (1), das durch das Abbilden I1 erfasst wurde, und führt Erkennung R1 zum Erkennen eines realen Objekts durch. Die Einheit zum Zeichnen virtueller Objekte 102 führt dann Zeichnen W_v1 eines virtuellen Objekts auf der Basis des Erkennungsergebnisses der Erkennung R1 durch. Da die Kamera 120 Abbilden kontinuierlich durchführt, ist ein aufgenommenes Bild (3), das durch Abbilden I3 erfasst wird, das letzte Ansichtsbild bei Abschluss des Zeichnens W_v1 durch die Einheit zum Zeichnen virtueller Objekte 102, und dann führt die Ansichtszeicheneinheit 103 Zeichnen W_f1 des aufgenommenen Bildes (3) durch. Anschließend führt die Anzeigeverarbeitungseinheit 104 Anzeigeverarbeitung O1 zum Anzeigen des virtuellen Objekts, das durch das Zeichnen W_v1 auf der Basis des Erkennungsergebnisses des aufgenommenen Bildes (1) gezeichnet wird, und des zuletzt aufgenommenen Bildes (3), das beim Zeichnen W_f1 gezeichnet wird, auf der Anzeigeeinheit 150 durch. Insbesondere ist, wenn das zuletzt aufgenommene Bild (3) angezeigt wird, das beim Zeichnen W_f1 gezeichnet wird, Erkennung R2 des zuletzt aufgenommenen Bildes (3) nicht abgeschlossen, und das virtuelle Objekt, das durch das Zeichnen W_v1 basierend auf der Erkennung R1 gezeichnet wird, wird in einem Puffer zum Auslesen gespeichert, so dass das durch das Zeichnen W_v1 gezeichnete virtuelle Objekt ausgelesen und angezeigt wird, während es überlagert wird.
Bei der Anzeigeverarbeitung O1 können eine Anzeigeverzögerung einer Ansicht und eine Anzeigeverzögerung des virtuellen Objekts eintreten, wie in 3 dargestellt. Die Anzeigeverzögerung einer Ansicht ist eine Verschiebung zwischen einer realen Außenszenerie und einem angezeigten Ansichtsbild. Insbesondere zum Beispiel eine Zeit vom Abbilden I3 bis zum Anzeigen (Ausgeben) des aufgenommenen Bildes (3), das durch das Abbilden I3 erfasst wird. Die Anzeigeverzögerung des virtuellen Objekts ist eine Verschiebung zwischen einem Ansichtsbild und dem virtuellen Objekt. Insbesondere eine Zeit zwischen einer Zeit, zu der das Abbilden I3 zum Erfassen des Ansichtsbildes (aufgenommenes Bild (3)) durchgeführt wird, und einer Zeit, zu der das Abbilden I1 zum Erfassen des aufgenommenen Bildes (1) basierend auf dem Erkennungsergebnis (Erkennung R1) durchgeführt wird, auf das beim Zeichnen des virtuellen Objekts Bezug genommen wird. Mit anderen Worten basiert die Anzeigeposition oder -orientierung des virtuellen Objekts, das bei der Anzeigeverarbeitung O1 ausgegeben wird, auf dem aufgenommenen Bild (1), das durch das Abbilden I1 erfasst wird, und das Ansichtsbild ist das aufgenommene Bild (3), das durch das Abbilden I3 erfasst wird. Wenn die Ansicht sich vor dem Anzeigen des gezeichneten virtuellen Objekts ändert, kann eine Verschiebung der relativen Lagebeziehung zwischen der Position des realen Objekts des Ansichtsbildes und der Position der Überlagerung des gezeichneten virtuellen Objekts eintreten.
Wie bereits erwähnt, wird, falls die Ansicht mit der Anzeigeeinheit 150 verdeckt wird und eine Szenerie in einem realen Raum nicht direkt in Sicht kommt, eine Verschiebung zwischen einer realen Ansicht (Außenszenerie) und einem Ansichtsbild, das auf der Kamera 120 angezeigt wird, bei der Anzeigeverzögerung der Ansicht kaum wahrgenommen, was die Natürlichkeit nicht beeinträchtigt. Wie unter Bezugnahme auf 2 beschrieben wurde, neigt dagegen selbst eine kleine Anzeigeverzögerung des virtuellen Objekts dazu, wahrnehmbar zu sein, was zu Unnatürlichkeit führt. Im Beispiel von 3 weist das virtuelle Objekt, das dem Ansichtsbild überlagert werden soll, eine Anzeigeverzögerung von zwei Frames (zwei Abbildungsprozesse) auf.
Daher schlägt die vorliegende Offenbarung den Informationsprozessor 10 vor, der eine Verschiebung der relativen Lagebeziehung zwischen einem realen Objekt und einem virtuellen Objekt (das heißt eine Anzeigeverzögerung, wenn das virtuelle Objekt einer Ansicht überlagert wird) in einer Videodurchsichtanzeige verringern und eine besser geeignete Anzeigesteuerung durchführen kann.
«2. Technische Merkmale»
Im Folgenden werden die technischen Merkmale des Informationsprozessors 10 gemäß der vorliegenden Ausführungsform beschrieben.
<2-1. Verringerung der Anzeigeverzögerungszeit eines virtuellen Objekts>
4 ist ein Zeitdiagramm, das den Ablauf einer Verarbeitungsserie zeigt, um Anzeigesteuerung gemäß der vorliegenden Ausführungsform zu erklären. Wie in 4 dargestellt, ist in der vorliegenden Ausführungsform ein Anzeigebild, das bei Anzeigeverarbeitung O11 angezeigt (ausgegeben) wird, nicht das zuletzt (gegenwärtig) aufgenommene Bild (ein aufgenommenes Bild, das durch das Abbilden I3 erfasst wird), sondern ein früher aufgenommenes Bild (zum Beispiel ein aufgenommenes Bild, das durch das Abbilden I2 erfasst wurde). Insbesondere führt die Anzeigeverarbeitungseinheit 104 Steuerung zum Anzeigen eines virtuellen Objekts durch, das einem Ansichtsbild überlagert wird, wobei das virtuelle Objekt, das durch das Zeichnen W_v1 auf der Basis des Erkennungsergebnisses der Erkennung R1 gezeichnet wird, bei der das aufgenommene Bild (1), das durch das Abbilden I1 erfasst wird, analysiert und erkannt wird, und das Ansichtsbild durch das Zeichnen W_f1 auf der Basis des aufgenommenen Bildes (2) gezeichnet wird, das durch das Abbilden I2 erfasst wird. In diesem Fall wird die Anzeige des virtuellen Objekts um einen Frame in Bezug auf das Ansichtsbild verzögert, so dass die Anzeigeverzögerung kürzer als die im Beispiel von 3 ist. Dagegen ist die Anzeigeverzögerungszeit der Ansicht länger als die im Beispiel von 3. „Die Anzeigeverzögerung der Ansicht“ wird jedoch von einem Benutzer kaum wahrgenommen, so dass, selbst wenn die „Anzeigeverzögerung der Ansicht“ verlängert wird, Unnatürlichkeit verringert wird, indem vorzugsweise „die Anzeigeverzögerung des dem Ansichtsbild überlagerten virtuellen Objekts“ verringert wird, was eine besser geeignete Anzeigesteuerung ermöglicht. Außerdem wird weder Bildumformung noch -vorhersage durchgeführt, wodurch die Künstlichkeit einer Position und einer Orientierung verringert wird, wenn ein virtuelles Objekt überlagert wird.
Im Beispiel von 4 wird Abbilden nach dem Abbilden I3 kontinuierlich durchgeführt. Das anschließende Abbilden wird unterlassen. Außerdem wird bei der Anzeigeverarbeitung unmittelbar vor der Anzeigeverarbeitung O11 ein aufgenommenes Bild, das durch das Abbilden erfasst wird, das unmittelbar vor dem Abbilden I1 durchgeführt wird, als ein Ansichtsbild verwendet. Das aufgenommene Bild wird weggelassen. Ferner wird auch Anzeigeverarbeitung in der Vergangenheit unterlassen. In der vorliegenden Ausführungsform können die Abbildungsgeschwindigkeit einer Ansicht und die Frequenz der Anzeigeaktualisierung aufrechterhalten werden. Die Anzeigeverarbeitungseinheit 104 verwendet als ein anzuzeigendes Ansichtsbild ein vor einem gegenwärtig (zuletzt) aufgenommenen Bild aufgenommenes Bild bei gleichbleibender Frequenz der Anzeigeaktualisierung, um dadurch die Anzeigeverzögerung eines virtuellen Objekts zu verringern, das dem Ansichtsbild überlagert werden soll. Im Beispiel von 4 wird ein aufgenommenes Bild eines unmittelbar vorhergehenden Frames als ein anzuzeigendes Ansichtsbild ausgewählt. Die Auswahl ist lediglich beispielhaft. Stattdessen kann ein aufgenommenes Bild im zweiten Frame vor dem aktuellen Frame ausgewählt werden, und der Frame eines auszuwählenden Bildes ist nicht speziell beschränkt.
<2-2. Operationsverarbeitung>
5 ist ein Ablaufdiagramm, das ein Beispiel eines Ablaufs der Anzeigesteuerung zeigt, die vom Informationsprozessor gemäß der vorliegenden Ausführungsform durchgeführt wird. Wie in 5 dargestellt, führt die Kamera 120 des Informationsprozessors 10 Abbilden zum Aufnehmen eines Bildes eines realen Raums durch (Schritt S103). Falls eine zusätzliche Kamera für Erkennung vorgesehen ist, führt auch die Kamera für Erkennung Abbilden zum Aufnehmen eines Bildes des realen Raums parallel zur Kamera 120 durch.
Die Erkennungseinheit 101 des Informationsprozessors 10 analysiert dann ein aufgenommenes Bild des realen Raums und erkennt ein reales Objekt (Schritt S106). Die Erkennung wird auf der Basis des zuletzt aufgenommenen Bildes in Bezug auf die Zeit des Beginns der Erkennung durchgeführt.
Anschließend misst die Steuereinheit 100 eine Zeit für die Erkennung (Schritt S109). In der vorliegenden Ausführungsform wird „Zeit“, die zur Erkennung benötigt wird, als ein Beispiel einer Erkennungslast beschrieben. Eine zur Erkennung benötigte Zeit bezieht sich auf eine Zeit ab dem Beginn der Erkennung eines aufgenommenen Bildes in einem realen Raum durch die Einheit zum Zeichnen virtueller Objekte 102 bis zum Abschluss der Erkennung. Die zur Erkennung benötigte Zeit kann in Abhängigkeit vom Merkmal eines Erkennungsalgorithmus, der zum Analysieren eines aufgenommenen Bildes verwendet wird, und der Anzahl verwendeter Algorithmen variieren. Außerdem variiert die zur Erkennung benötigte Zeit auch in Abhängigkeit vom Ziel und Grad der Erkennung. Zum Beispiel wird im Falle eines Algorithmus mit hoher Verarbeitungslast, z. B. Erkennung dreidimensionaler Objekte oder Knochenschätzung, mehr Zeit benötigt als bei Erkennung zweidimensionaler Objekte und dergleichen. Darüber hinaus kann eine Mehrzahl, von Erkennungsalgorithmen verwendet werden, wobei die Erkennungsalgorithmen einen Algorithmus zur Erkennung einer Änderung (Differenz) aus einem früher aufgenommenen Bild aufweisen. Alternativ kann eine Mehrzahl von Erkennungsalgorithmen für verschiedene zu erkennende Objekte verwendet werden. Falls eine Mehrzahl von Erkennungsalgorithmen verwendet wird, ist eine zu messende Erkennungszeit eine Zeit bis zum Abschluss der Erkennung aller Algorithmen.
Anschließend bestimmt die Steuereinheit, ob die Erkennungszeit länger als eine Ansichtszeichenzeit ist (Schritt S112). Die Ansichtszeichenzeit bezieht sich auf eine Zeit vom Beginn des Zeichnens eines Ansichtsbildes im Puffer durch die Einheit zum Zeichnen virtueller Objekte 102 bis zum Abschluss des Zeichnens. Die Erkennung kann parallel zum Ansichtszeichnen durchgeführt werden. Die Steuereinheit 100 kann nach der Ansichtszeichenzeit bestimmen, ob die Erkennung abgeschlossen ist. In einem Beispiel einer ersten Last der vorliegenden Offenbarung ist eine Erkennungszeit gleich wie oder kürzer als eine Ansichtszeichenzeit. In einem Beispiel einer zweiten Last, die größer als die erste Last der vorliegenden Offenbarung ist, ist eine Erkennungszeit länger als eine Ansichtszeichenzeit. Mit anderen entspricht die erste Last dem Fall, in dem eine zur Erkennung benötigte Zeit gleich wie oder kürzer als eine Zeit zum Zeichnen eines aufgenommenen Bildes ist. Die zweite Last entspricht dem Fall, in dem eine zur Erkennung benötigte Zeit länger als eine Zeit zum Zeichnen eines aufgenommenen Bildes ist.
Falls eine Erkennungszeit länger als eine Ansichtszeichenzeit ist (das heißt, falls eine Erkennungszeit der zweiten Last entspricht) (Schritt S112/Ja), ändert die Ansichtszeicheneinheit 103 anschließend ein Ansichtszeichenobjekt in ein vorher aufgenommenes Bild (Schritt S115). Mit anderen Worten wählt die Ansichtszeicheneinheit 103 ein früher aufgenommenes Bild anstelle des gegenwärtig (zuletzt) aufgenommenen Bildes (d. h. eines Durchgangsbildes) als ein Ansichtszeichenobjekt aus. Welches der früher aufgenommenen Bilder ausgewählt werden soll, ist nicht speziell beschränkt. Zum Beispiel kann das ausgewählte Bild ein aufgenommenes Bild, das mit derselben Zeitvorgabe wie ein aufgenommenes Bild erfasst wird, das bei der Erkennung zum Zeichnen eines virtuellen Objekts verwendet wird, oder ein kürzlicher aufgenommenes Bild sein. Außerdem kann die Abbildungszeit des früher aufgenommenen Bildes innerhalb einer Toleranz ab der aktuellen Zeit sein. Die Toleranz wird wünschenswertweise auf einen Grad eingestellt, bei dem der Benutzer keine Unnatürlichkeit hinsichtlich der Differenz (der Anzeigeverzögerung einer Ansicht) zwischen einer realen Außenszenerie und einem Ansichtsbild empfindet. „Ein Grad, bei dem der Benutzer keine Unnatürlichkeit empfindet“, kann auf einen vorbestimmten Wert (die Obergrenze der Anzeigeverzögerung einer Ansicht) gesetzt werden, oder er kann je nach der Situation flexible geändert werden. Die Situation gibt einen Bewegungsbereich des Benutzers und eine Veränderung um den Benutzer herum an. Da die Anzeigeverzögerung einer Ansicht verlängert wird, kann die Anzeigeverzögerung eines virtuellen Objekts verkürzt werden, um Unnatürlichkeit zu reduzieren. Im Hinblick auf die Sicherheit ist es wünschenswert, eine Differenz zwischen einer realen Außenszenerie und einem Ansichtsbild vom Benutzer zu unterbinden.
Wie bereits erwähnt, wird in einer typischen Videodurchsichtanzeige das gegenwärtig (zuletzt) aufgenommene Bild möglichst in Echtzeit angezeigt. In der vorliegenden Ausführungsform wird eine Anzeigeverschiebung zwischen einem virtuellen Objekt und einem Ansichtsbild durch Verzögern der Ansichtsanzeige unterbunden. In der vorliegenden Spezifikation führt eine erste Verarbeitung zum Zeichnen des gegenwärtig (zuletzt) aufgenommenen Bildes (Durchgangsbild) als Ansichtsbild Verarbeitung mit einer kleinen Verzögerung bei der Ansichtsanzeige durch und wird als „Verarbeitung mit geringer Verzögerung“ bezeichnet. Außerdem führt gemäß der vorliegenden Ausführungsform eine zweite Verarbeitung zum Zeichnen eines früher aufgenommenen Bildes als Ansichtsbild und Verzögern der Ansichtsanzeige Verarbeitung mit einer größeren Verzögerung bei der Ansichtsanzeige als die „Verarbeitung mit geringer Verzögerung“ durch und wird in der vorliegenden Spezifikation als „Verarbeitung mit hoher Verzögerung“ bezeichnet.
In der vorliegenden Ausführungsform wird eine Zeit (eine zur Erkennung benötigte Zeit) als ein Beispiel einer Erkennungslast beschrieben. Die vorliegende Offenbarung ist nicht darauf beschränkt. Eine Erkennungslast kann zum Beispiel auf der Art des Erkennungsalgorithmus oder einer Framerate basieren.
Anschließend veranlasst die Steuereinheit 100 die Ansichtszeicheneinheit 103 zum Zeichnen des Ansichtsbildes in den Ansichtsinformationspuffer und veranlasst die Einheit zum Zeichnen virtueller Bilder 102 zum Zeichnen des virtuellen Objekts in den Puffer virtueller Informationen (Schritt S118). Diese Zeichenprozesse können parallel durchgeführt werden.
Falls eine Erkennungszeit gleich wie oder kürzer als eine Ansichtszeichenzeit ist (das heißt, falls eine Erkennungszeit der ersten Last entspricht) (Schritt S112/Nein), ändert die Ansichtszeicheneinheit 103 ein Ansichtszeichenobjekt anschließend nicht. Mit anderen Worten zeichnet die Ansichtszeicheneinheit 103 wie üblich ein zum letzten Abbildungszeitpunkt aufgenommenes Bild (das heißt ein Durchgangsbild) im Ansichtsinformationspuffer.
Die Steuereinheit 100 veranlasst dann die Anzeigeverarbeitungseinheit 104 zum Auslesen von in jedem der Puffer gezeichneten Informationen und Anzeigen der Informationen auf der Anzeigeeinheit 150 (Schritt S121). Insbesondere führt die Anzeigeverarbeitungseinheit 104 Steuerung zum Anzeigen des dem Ansichtsbild überlagerten virtuellen Objekts durch.
Die Verarbeitung der Schritte S103 bis S121 wird bis zur Beendigung der Anzeigesteuerung der Anzeigeeinheit 150 wiederholt (Schritt S124).
Der Anzeigesteuerungsablauf gemäß der vorliegenden Ausführungsform wurde vorstehend genau beschrieben. Die Reihenfolge der Verarbeitung gemäß der vorliegenden Offenbarung ist nicht auf den Ablauf von 5 beschränkt. Zum Beispiel können das Abbilden in Schritt S103 und die Erkennung in Schritt S106 parallel durchgeführt werden. Bei Abschluss der Erkennung erfasst die Erkennungseinheit 101 das zuletzt aufgenommene Bild als nächstes Erkennungsobjekt und beginnt mit der Erkennung.
<2-3. Unterstützung der Sicherheit>
Der Informationsprozessor 10 gemäß der vorliegenden Ausführungsform führt gegebenenfalls abhängig von der Situation ein Umschalten von der Verarbeitung mit hoher Verzögerung (zweite Verarbeitung) zum Anzeigen eines früher aufgenommenen Bildes als Ansichtsbild auf Verarbeitung mit geringer Verzögerung (erste Verarbeitung) zum Anzeigen des gegenwärtig (zuletzt) aufgenommenen Bildes (Durchgangsbildes) als Ansichtsbild durch, um dadurch die Sicherheit zu unterstützen.
Wenn zum Beispiel der Benutzer des Informationsprozessors 10 sich mit einer vorgegebenen Geschwindigkeit oder darüber bewegt, führt der Informationsprozessor 10 im Hinblick auf die Sicherheit Steuerung zum Umschalten der Verarbeitung mit hoher Verzögerung auf die Verarbeitung mit geringer Verzögerung durch. Beim Umschalten (Umschalten von einem Anzeigezustand eines früher aufgenommenen Bildes auf einen Anzeigezustand des gegenwärtig aufgenommenen Bildes) kann das Umschalten mit reduzierter Unnatürlichkeit und Künstlichkeit durch Ergreifen von Maßnahmen wie die Verwendung eines Ansichtsbildes erreicht werden, das über eine vorbestimmte Anzahl von Frames gemäß der Geschwindigkeit umgeformt wird (wobei das Ansichtsbild schrittweise an das gegenwärtig/früher aufgenommene Bild herangeführt wird). Die Details werden später beschrieben.
Beim Umschalten auf die Verarbeitung mit geringer Verzögerung kann der Informationsprozessor 10 die Erkennung durch Ändern der Art des zu verwendenden Erkennungsalgorithmus oder Erhöhen einer Framerate so weit wie möglich verkürzen. Dies kann die Anzeigeverzögerung eines virtuellen Objekts während der Verarbeitung mit geringer Verzögerung verringern. Die Details werden später beschrieben.
Wenn ein bewegliches Objekt sich in der Nähe des Benutzers befindet, kann der Informationsprozessor 10 Steuerung zum Umschalten der Verarbeitung mit hoher Verzögerung auf die Verarbeitung mit geringer Verzögerung durchführen. Falls es wahrscheinlich ist, dass der Benutzer mit einem realen Objekt zusammenstößt, kann der Informationsprozessor 10 die Anzeige eines überlagerten virtuellen Objekts stoppen (ein Ansichtsbild wird durch die Verarbeitung mit geringer Verzögerung angezeigt).
Die Unterstützung für jedes Sicherheitselement wird im Folgenden genau beschrieben.
(1) Steuerung des Umschaltens zwischen Verarbeitung mit hoher Verzögerung und Verarbeitung mit geringer Verzögerung
Zunächst wird im Folgenden Steuerung des Umschaltens zwischen der Verarbeitung mit hoher Verzögerung und der Verarbeitung mit geringer Verzögerung gemäß der Geschwindigkeit des Benutzers beschrieben. Die Geschwindigkeit des Benutzers bezieht sich auf eine Geschwindigkeit des Benutzers, der den Informationsprozessor 10 auf dem Kopf oder dergleichen trägt oder hält. Die Geschwindigkeit kann auch als die Geschwindigkeit des Informationsprozessors 10 (zumindest der Kamera 120) bezeichnet werden. Zusätzlich zur Steuerung des Umschaltens zwischen der Verarbeitung mit hoher Verzögerung und der Verarbeitung mit geringer Verzögerung wird ein Schwellenwert zum Stoppen der Überlagerung eines virtuellen Objekts festgelegt. Der Schwellenwert zum Stoppen der Überlagerung eines virtuellen Objekts wird zum Beispiel durch einen Abstand festgelegt. Solch ein Schwellenwert wird auch als Überlagerungsstopplinie bezeichnet.
6 ist eine erläuternde Zeichnung einer Überlagerungsstopplinie und eines Beurteilungskriteriumselements zur Steuerung des Umschaltens. Wie in 6 veranschaulicht, erfasst der Informationsprozessor 10 eine eigene Position P, eine eigene Geschwindigkeit s und einen Abstand d von einem sich bewegenden Objekt q auf der Basis von Messungen durch die Sensoreinheit 140 und der Erkennung durch die Erkennungseinheit 101. Es wird davon ausgegangen, dass das sich bewegende Objekt q ein Objekt ist, das in einem realen Raum vorhanden ist und ein Objekt ist, das verlagert (bewegt) wird. Zum Beispiel wird davon ausgegangen, dass das Objekt en Mensch, ein Fahrrad, ein Kraftfahrzeug, ein Roboter mit Selbstantrieb oder ein Drohn ist.
Der Informationsprozessor 10 legt eine Überlagerungsstopplinie (Abstand D) zum Stoppen der überlagerten Anzeige eines virtuellen Objekts zum Beispiel gemäß der eigenen Geschwindigkeit s fest. Die Anzeigeposition eines virtuellen Objekts obj kann Tiefeninformationen aufweisen. Der Informationsprozessor 10 führt Nicht-Anzeigesteuerung durch, wenn die Anzeigeposition des virtuellen Objekts obj näher als die Überlagerungsstopplinie (nahe der eigenen Position P) ist, und er führt Anzeigesteuerung durch, wenn die Anzeigeposition des virtuellen Objekts obj weiter entfernt als die Überlagerungsstopplinie ist. Demnach wird im Beispiel von 6 ein virtuelles Objekt V-obj1, das sich weiter entfernt als die Überlagerungsstopplinie befindet, angezeigt, während ein virtuelles Objekt V-obj2, das sich näher als die Überlagerungsstopplinie befindet, verborgen wird.
Außerdem führt der Informationsprozessor 10 gegebenenfalls Steuerung zum Umschalten zwischen der Verarbeitung mit hoher Verzögerung und der Verarbeitung mit geringer Verzögerung gemäß der eigenen Geschwindigkeit s und dem Abstand d vom sich bewegenden Objekt q durch.
Unter Bezugnahme auf 7 und 8 wird im Folgenden ein Beispiel eines Ablaufs des Umschaltens zwischen geringer Verzögerung/hoher Verzögerung beschrieben. Tabelle 1 zeigt Schwellenwerte, die für die eigene Geschwindigkeit s vorgegeben sind, die in 7 und 8 verwendet wird. Tabelle 1

Gering ← → Hoch

s 1 > s 2 > s 3 > s 4 > s 5 > s 6
Tabelle 2 zeigt Schwellenwerte, die für die eigene Position P und den Abstand d vom sich bewegenden Objekt q vorgegeben sind, wobei die eigene Position P und der Abstand d in 7 und 8 verwendet werden. In Tabelle 2 gibt „Nah“ einen kurzen Abstand von der eigenen Position P an, während „Fern“ einen großen Abstand von der eigenen Position P angibt. [Tabelle 2]

Nah← → Fern

d 1 > d 2 > d 3 >
Tabelle 3 zeigt Schwellenwerte (den Abstand D von der eigenen Position P), die für die Überlagerungsstopplinie vorgegeben sind, die in 7 und 8 verwendet wird. In Tabelle 3 gibt „Nah“ einen kurzen Abstand von der eigenen Position P an, während „Fern“ einen großen Abstand von der eigenen Position P angibt. Für einen Abstandswert wird die Beziehung von d3 < D4 hergestellt. [Tabelle 3]

Nah ← → Fern

D 4 >D 5 >D 6 >
- Umschalten auf hohe Verzögerung während geringer Verzögerung
7 ist ein Ablaufdiagramm, das ein Beispiel eines Umschaltungsablaufs während geringer Verzögerung gemäß der vorliegenden Ausführungsform zeigt. Während der geringen Verzögerung wird Steuerung mit einer kleinen Verzögerung bei der Ansichtsanzeige durchgeführt. Mit anderen Worten wird Steuerung zum Zeichnen des gegenwärtig (zuletzt) aufgenommenen Bildes als Ansichtsbild und Anzeigen des Bildes auf der Anzeigeeinheit 150 durchgeführt. 7 beschreibt das Umschalten auf hohe Verzögerung in diesem Fall.
Wie in 7 dargestellt, legt die Steuereinheit 100, falls die eigene Geschwindigkeit s größer (höher) als s6 ist (Schritt S203/Ja), die Überlagerungsstopplinie zunächst bei D6 fest (Schritt S206).
Falls anschließend die eigene Geschwindigkeit s größer (höher) als s5 ist (Schritt S209/Ja), legt die Steuereinheit 100 die Überlagerungsstopplinie bei D5 fest (Schritt S212).
Falls danach die eigene Geschwindigkeit s größer (höher) als s4 ist (Schritt S215/Ja), legt die Steuereinheit 100 die Überlagerungsstopplinie bei D4 fest (Schritt S218).
Die Anzeigeverarbeitungseinheit 104 führt Verarbeitung derart durch, dass ein virtuelles Objekt, das sich näher (nahe dem Benutzer) als die festgelegte Überlagerungsstopplinie befindet, ohne Überlagerung angezeigt wird. Die Verarbeitung zum Umschalten von geringer Verzögerung auf hohe Verzögerung gemäß der eigenen Geschwindigkeit s und dem Abstand d vom sich bewegenden Objekt q wird im Folgenden beschrieben.
Falls die eigene Geschwindigkeit kleiner (niedriger) als s2 ist (Schritt S221/Nein), führt die Steuereinheit 100 gemäß den Bedingungen Umschalten auf Verarbeitung mit hoher Verzögerung (Einstellung hoher Verzögerung) durch.
Insbesondere setzt die Steuereinheit 100 das Ansichtszeichnen auf hohe Verzögerung (Schritt S227), falls das sich bewegende Objekt q nicht zwischen dem Benutzer und der Überlagerungsstopplinie vorhanden ist (Schritt S224/Nein). Mit anderen Worten versetzt die Steuereinheit 100 das Ansichtszeichnen in einen Modus zum Durchführen von Verzögerungssteuerung an der Ansichtsanzeige gemäß dem vorliegenden Ausführungsform, wobei ein früheres Ansichtsbild im Puffer gezeichnet wird. In diesem Fall wird die folgende Bedingung festgelegt:
. Bedingung 1
Eigene Geschwindigkeit s < s2
(Es ist zu beachten, dass das sich bewegende Objekt q nicht zwischen dem Benutzer und der Überlagerungsstopplinie vorhanden ist)
Falls das sich bewegende Objekt q zwischen dem Benutzer und der Überlagerungsstopplinie vorhanden ist (Schritt S224/Ja), bestimmt die Steuereinheit 100, ob die eigene Geschwindigkeit s größer als (höher als) s1 ist (Schritt (s230).
Falls die eigene Geschwindigkeit s größer (höher) als s1 ist (Schritt S230/Ja), bestimmt die Steuereinheit 100 ferner, ob der Abstand d vom sich bewegenden Objekt q größer (weiter) als d3 ist (Schritt S233).
Falls der Abstand d vom sich bewegenden Objekt q größer (weiter) als d3 ist (Schritt S233/Ja), setzt die Steuereinheit 100 das Ansichtszeichnen auf hohe Verzögerung (Schritt S227). In diesem Fall wird die folgende Bedingung festgelegt:
· Bedingung 2
s1 < eigene Geschwindigkeit s < s2 und Abstand d > d3
Falls in Schritt S230 die eigene Geschwindigkeit s kleiner (niedriger) als s1 ist (Schritt S230/Nein), bestimmt die Steuereinheit 100 ferner, ob der Abstand d vom sich bewegenden Objekt q größer (weiter) als d1 ist (Schritt S236).
Falls der Abstand d vom sich bewegenden Objekt q größer (weiter) als d1 ist (Schritt S236/Ja), setzt die Steuereinheit 100 das Ansichtszeichnen auf hohe Verzögerung (Schritt S227). In diesem Fall wird die folgende Bedingung festgelegt:
· Bedingung 3
Eigene Geschwindigkeit s < s1 und Abstand d > d1
Die Verarbeitung der Schritte S203 bis S236 wird bis zum Abschluss der Verarbeitung mit geringer Verzögerung wiederholt (Schritt S239).
Die Beschreibung hat bis jetzt das Umschalten auf hohe Verzögerung erklärt. Falls die vorstehenden Bedingungen nicht erfüllt werden (Schritt S221/Ja, Schritt S233/Nein, Schritt S236/Nein), behält die Steuereinheit 100 eine Einstellung geringer Verzögerung bei, ohne auf hohe Verzögerung umzuschalten.
- Umschalten auf geringe Verzögerung während hoher Verzögerung
8 ist ein Ablaufdiagramm, das ein Beispiel eines Umschaltungsablaufs während hoher Verzögerung gemäß der vorliegenden Ausführungsform zeigt. Während der hohen Verzögerung wird Steuerung mit einer großen Verzögerung bei der Ansichtsanzeige durchgeführt. Mit anderen Worten wird Steuerung zum Zeichnen eines früher aufgenommenen Bildes als Ansichtsbild und Anzeigen des Bildes auf der Anzeigeeinheit 150 durchgeführt. 8 beschreibt das Umschalten auf geringe Verzögerung in diesem Fall.
Wie in 8 dargestellt, legt die Steuereinheit 100, falls die eigene Geschwindigkeit s größer (höher) als s6 ist (Schritt S303/Ja), die Überlagerungsstopplinie zunächst bei D6 fest (Schritt S306).
Falls anschließend die eigene Geschwindigkeit s größer (höher) als s5 ist (Schritt S309/Ja), legt die Steuereinheit 100 die Überlagerungsstopplinie bei D5 fest (Schritt S312).
Falls die eigene Geschwindigkeit s größer (höher) als s4 ist (Schritt S315/Ja), legt die Steuereinheit 100 die Überlagerungsstopplinie bei D4 fest (Schritt S318).
Die Anzeigeverarbeitungseinheit 104 führt Verarbeitung derart durch, dass ein virtuelles Objekt, das sich näher (nahe dem Benutzer) als die festgelegte Überlagerungsstopplinie befindet, ohne Überlagerung angezeigt wird.
In allen Fällen, in denen die eigene Geschwindigkeit s größer (höher) als s6 ist (Schritt S303/Ja), die eigene Geschwindigkeit s größer (höher) als s5 ist (Schritt S309/Ja), und die eigene Geschwindigkeit s größer (höher) als s4 (Schritt S315/Ja) ist, führt die Steuereinheit 100 Umschalten auf Verarbeitung mit geringer Verzögerung (Einstellung geringer Verzögerung) durch (Schritt S321). Auch in dem Fall, in dem die eigene Geschwindigkeit kleiner (niedriger) als s3 ist (Schritt S324/Nein), führt die Steuereinheit 100 Umschalten auf Verarbeitung mit geringer Verzögerung (Einstellung geringer Verzögerung) durch (S321). In diesem Fall wird die folgende Bedingung festgelegt:
· Bedingung 1
Eigene Geschwindigkeit s > s3
Wie bereits erwähnt, wird, falls die Geschwindigkeit des Benutzers einen Schwellenwert überschreitet, Verarbeitung mit hoher Verzögerung zur Unterstützung der Sicherheit auf Verarbeitung mit geringer Verzögerung umgeschaltet.
Falls die eigene Geschwindigkeit kleiner (niedriger) als s3 ist (Schritt S324/Nein), führt die Steuereinheit 100 gemäß den Bedingungen Umschalten auf Verarbeitung mit geringer Verzögerung (Einstellung geringer Verzögerung) durch.
Insbesondere bestimmt die Steuereinheit 100, ob das sich bewegende Objekt q zwischen dem Benutzer und der Überlagerungsstopplinie vorhanden ist (Schritt S327).
Falls das sich bewegende Objekt q zwischen dem Benutzer und der Überlagerungsstopplinie vorhanden ist (Schritt S327/Ja) und der Abstand d vom sich bewegenden Objekt q kleiner (enger) als d1 ist (Schritt S330/Ja), führt die Steuereinheit 100 Umschalten auf Verarbeitung mit geringer Verzögerung (Einstellung geringer Verzögerung) durch (Schritt S321). In diesem Fall wird die folgende Bedingung festgelegt:
· Bedingung 2
Eigene Geschwindigkeit s < s3 und Abstand d < d1
Wie bereits erwähnt, wird, falls die Geschwindigkeit des Benutzers einen Schwellenwert nicht überschreitet, aber das sich bewegende Objekt ziemlich nahe beim Benutzer ist, Verarbeitung mit hoher Verzögerung zur Unterstützung der Sicherheit auf Verarbeitung mit geringer Verzögerung umgeschaltet.
Falls der Abstand d größer (weiter) als d1 in Schritt S330 ist (Schritt S330/Nein), bestimmt die Steuereinheit 100, ob die eigene Geschwindigkeit s größer als (höher als) s1 ist (Schritt (s333).
Falls die eigene Geschwindigkeit s größer (höher) als s1 ist (Schritt S333/Ja) und der Abstand d vom sich bewegenden Objekt q kleiner (enger) als d2 ist (Schritt S336/Ja), führt die Steuereinheit 100 Umschalten auf Verarbeitung mit geringer Verzögerung (Einstellung geringer Verzögerung) durch (Schritt S321). In diesem Fall wird die folgende Bedingung festgelegt:
· Bedingung 3
s1 < eigene Geschwindigkeit s < s3 und Abstand d < d2
Wie bereits erwähnt, wird, falls die Geschwindigkeit des Benutzers einen Schwellenwert nicht überschreitet, aber das sich bewegende Objekt nahe beim Benutzer ist, Verarbeitung mit hoher Verzögerung zur Unterstützung der Sicherheit auf Verarbeitung mit geringer Verzögerung umgeschaltet.
Die Verarbeitung der Schritte S303 bis S336 wird bis zum Abschluss der Verarbeitung mit hoher Verzögerung wiederholt (Schritt S339).
Die Beschreibung hat bis jetzt das Umschalten auf geringe Verzögerung erklärt. Falls die vorstehenden Bedingungen nicht erfüllt werden (Schritt S327/Ja, Schritt S333/Nein, Schritt S336/Nein), behält die Steuereinheit 100 eine Einstellung hoher Verzögerung bei, ohne auf geringe Verzögerung umzuschalten.
Wie in Schritt S221 von 7 und Schritt S324 von 8 dargestellt, schaltet die Ansichtszeicheneinheit 103 während der Verarbeitung mit hoher Verzögerung auf geringe Verzögerung um, wenn die eigene Geschwindigkeit s > s3 erfüllt wird (das heißt s3 als Stopp-Schwellenwert hoher Verzögerung verwendet wird), und die Ansichtszeicheneinheit 103 schaltet während der Verarbeitung mit geringer Verzögerung auf hohe Verzögerung um, wenn die eigene Geschwindigkeit s < s2 erfüllt wird (das heißt s2 als ein Start-Schwellenwert hoher Verzögerung verwendet wird), um dadurch Wiederholungen von Start/Stopp hoher Verzögerung in einer kurzen Zeit zu unterbinden.
(2) Maßnahmen beim Umschalten
Im Folgenden werden Maßnahmen zum Verringern von Unnatürlichkeit und Künstlichkeit beim Umschalten zwischen der Verarbeitung mit hoher Verzögerung und der Verarbeitung mit geringer Verzögerung beschrieben.
Beim Umschalten zwischen der Verarbeitung mit geringer Verzögerung und der Verarbeitung mit hoher Verzögerung ermöglicht die Steuereinheit 100 Umschalten mit reduzierter Unnatürlichkeit und Künstlichkeit durch das Ergreifen von Maßnahmen wie die Verwendung eines Ansichtsbildes, das über eine vorbestimmte Anzahl von Frames umgeformt wird (wobei das Ansichtsbild schrittweise an das gegenwärtig/früher aufgenommene Bild herangeführt wird). Zum Beispiel kann die Verarbeitung zum Heranführen des Ansichtsbildes an das gegenwärtig/früher aufgenommene Bild durch schrittweises Umformen des Bildes auf der Basis der letzten eigenen Position während des Zeichnens des aufgenommenen Bildes (Ansichtsbild) implementiert werden. Alternativ kann im Hinblick auf die Sicherheit schnelles Umschalten (ohne die Verarbeitung zum schrittweisen Heranführen des Ansichtsbildes an das gegenwärtig/früher aufgenommene Bild) durchgeführt werden.
Welches der Umschaltverfahren verwendet werden soll, kann zum Beispiel gemäß der eigenen Geschwindigkeit s ausgewählt werden.
- Umschalten unter schrittweisem Heranführen des Ansichtsbildes an das gegenwärtig/früher aufgenommene Bild
Die Ansichtszeicheneinheit 103 formt ein aufgenommenes Bild auf der Basis der eigenen Position des Informationsprozessors 10 zu einem vorbestimmten Zeitpunkt nach der Abbildungszeit des zu zeichnenden Bildes um, um dadurch das Bild schrittweise an das gegenwärtig/früher aufgenommene Bild heranzuführen. In diesem Fall kann das Bild zum Beispiel durch Verwenden eines Spielraums eines Ansichtsbildes umgeformt werden, der in einem von der Kamera 120 aufgenommenen Bild enthalten ist. Mit anderen Worten wird davon ausgegangen, dass ein von der Kamera 120 aufgenommenes Bild mit einem größeren Blickwinkel als ein Ansichtsbild erfasst wird. Die Ansichtszeicheneinheit 103 ermöglicht Bildumformung durch Durchführen von Zeichnen nach dem Bewegen des Bereichs eines Ansichtsbildes, der sich normalerweise in der Mitte des aufgenommen Bildes befindet, in einer vorbestimmten Richtung gemäß einer Änderung (Bewegung) der eigenen Position ab der Abbildungszeit.
9 ist ein Zeitdiagramm zur Erklärung des Umschaltens eines Ansichtsbildes über eine vorbestimmte Anzahl von Frames beim Umschalten von hoher Verzögerung auf geringe Verzögerung gemäß der vorliegenden Ausführungsform. Im Beispiel von 9 wird Verarbeitung mit hoher Verzögerung auf Verarbeitung mit geringer Verzögerung umgeschaltet, wenn die eigene Geschwindigkeit s während der Verarbeitung mit hoher Verzögerung s3 überschreitet.
Wie in 9 dargestellt, zeichnet die Ansichtszeicheneinheit 103 beim Ansichtszeichnen W_f1 und W_f2 während der Verarbeitung mit hoher Verzögerung zum Beispiel ein aufgezeichnetes Bild eines unmittelbar vorhergehenden Frames. Wenn in diesem Fall die eigene Geschwindigkeit s s3 überschreitet, zeichnet die Ansichtszeicheneinheit 103 ein aufgenommenes Bild nach der Bildumformung basierend auf einer eigenen Position P vom Ansichtszeichnen W_f3, das gestartet wird, nachdem die eigene Geschwindigkeit s s3 überschritten hat. Im Beispiel von 9 wird das Bild beim Ansichtszeichnen W_f3, W_f4 und W_f5 (das heißt über drei Frames) umgeformt. Die Anzahl von Frames ist nicht speziell beschränkt.
Genauer gesagt formt die Ansichtszeicheneinheit beim Ansichtszeichnen W_f3 zum Beispiel ein aufgenommenes Bild, das durch das Abbilden I2 erfasst wird, auf der Basis einer eigenen Position P1 zu einem Zeitpunkt t1 um und zeichnet es. Anschließend formt die Ansichtszeicheneinheit 103 beim Ansichtszeichnen W_f4 ein aufgenommenes Bild, das durch das Abbilden I3 erfasst wird, auf der Basis einer eigenen Position P2 zu einem Zeitpunkt t2 um und zeichnet es. Danach formt die Ansichtszeicheneinheit 103 beim Ansichtszeichnen W_f5 ein aufgenommenes Bild, das durch das Abbilden I3 erfasst wird, auf der Basis einer eigenen Position P3 zu einem Zeitpunkt t3 um und zeichnet es. Die Ansichtszeicheneinheit 103 zeichnet dann ein aufgenommenes Bild, das durch das Abbilden I6 erfasst wird, beim Ansichtszeichnen W_f6 (Verarbeitung mit geringer Verzögerung).
Insbesondere wird, da ein aufgenommenes Bild, das um einen Frame verzögert ist, vor dem Umschalten (während der Verarbeitung mit hoher Verzögerung) gezeichnet wird, ein aufgenommenes Bild, das verwendet werden soll, an der eigenen Position P1 zuerst zum Zeitpunkt t1 mit einer Verzögerung von drei Vierteln eines Frames, zum Zeitpunkt t2 mit einer Verzögerung von zwei Vierteln des Frames und zum Zeitpunkt t3 mit einer Verzögerung von einem Viertel des Frames umgeformt. Solch eine schrittweise Verringerung der Verzögerung kann Unnatürlichkeit und Künstlichkeit beim Umschalten auf geringe Verzögerung reduzieren. Die Zeitintervalle bei t1 bis t3 sind lediglich beispielhaft und nicht unbedingt regelmäßige Intervalle.
10 ist ein Zeitdiagramm zur Erklärung des Umschaltens eines Ansichtsbildes über eine vorbestimmte Anzahl von Frames beim Umschalten von geringer Verzögerung auf hohe Verzögerung gemäß der vorliegenden Ausführungsform. Im Beispiel von 10 wird Verarbeitung mit geringer Verzögerung auf Verarbeitung mit hoher Verzögerung umgeschaltet, wenn die eigene Geschwindigkeit s während der Verarbeitung mit geringer Verzögerung unter s2 abfällt.
Wie in 10 dargestellt, zeichnet die Ansichtszeicheneinheit 103 beim Ansichtszeichnen W_f1 während der Verarbeitung mit geringer Verzögerung das gegenwärtig (zuletzt) aufgenommene Bild (ein aufgenommenes Bild, das durch das Abbilden I1 erfasst wird). Wenn in diesem Fall die eigene Geschwindigkeit s unter s2 abfällt, zeichnet die Ansichtszeicheneinheit 103 ein aufgenommenes Bild nach der Bildumformung basierend auf einer eigenen Position P vom Ansichtszeichnen W_f2, das gestartet wird, nachdem die eigene Geschwindigkeit s unter s2 abgefallen ist. Im Beispiel von 10 wird das Bild beim Ansichtszeichnen W_f2, W_f3 und W_f4 (das heißt über drei Frames) umgeformt. Die Anzahl von Frames ist nicht speziell beschränkt.
Genauer gesagt formt die Ansichtszeicheneinheit beim Ansichtszeichnen W_f2 zum Beispiel ein aufgenommenes Bild, das durch das Abbilden I2 erfasst wird, auf der Basis der eigenen Position P1 zum Zeitpunkt t1 um und zeichnet es. Anschließend formt die Ansichtszeicheneinheit 103 beim Ansichtszeichnen W_f3 ein aufgenommenes Bild, das durch das Abbilden I3 erfasst wird, auf der Basis der eigenen Position P2 zum Zeitpunkt t2 um und zeichnet es. Danach formt die Ansichtszeicheneinheit 103 beim Ansichtszeichnen W_f4 ein aufgenommenes Bild, das durch das Abbilden I4 erfasst wird, auf der Basis der eigenen Position P3 zum Zeitpunkt t3 um und zeichnet es. Die Ansichtszeicheneinheit 103 zeichnet dann ein aufgenommenes Bild, das durch das Abbilden I4 erfasst wird, beim Ansichtszeichnen W_f5 (ohne Umformung des Bildes) (Verarbeitung mit hoher Verzögerung).
Insbesondere wird, da das zuletzt aufgenommene Bild vor dem Umschalten (während der Verarbeitung mit geringer Verzögerung) gezeichnet wird, ein aufgenommenes Bild, das verwendet werden soll, an der eigenen Position P1 zuerst zum Zeitpunkt t1 mit einer Verzögerung von einem Viertel eines Frames, zum Zeitpunkt t2 mit einer Verzögerung von zwei Vierteln des Frames und zum Zeitpunkt t3 mit einer Verzögerung von drei Vierteln des Frames umgeformt. Solch eine schrittweise Verlängerung der Verzögerung kann Unnatürlichkeit und Künstlichkeit beim Umschalten auf hohe Verzögerung reduzieren. Die Zeitintervalle bei t1 bis t3 sind lediglich beispielhaft und nicht unbedingt regelmäßige Intervalle.
- Schnelles Umschalten
Im Folgenden wird schnelles Umschalten (ohne die Verarbeitung zum schrittweisen Heranführen des Ansichtsbildes an das gegenwärtig/früher aufgenommene Bild) beschrieben, das im Hinblick auf die Sicherheit durchgeführt wird.
11 ist ein Zeitdiagramm zur Erklärung des schnellen Umschaltens eines Ansichtsbildes über eine vorbestimmte Anzahl von Frames beim Umschalten von hoher Verzögerung auf geringe Verzögerung gemäß der vorliegenden Ausführungsform. Im Beispiel von 11 wird Verarbeitung mit hoher Verzögerung schnell auf Verarbeitung mit geringer Verzögerung umgeschaltet, wenn die eigene Geschwindigkeit s während der Verarbeitung mit hoher Verzögerung s4 überschreitet.
Wie in 11 dargestellt, zeichnet die Ansichtszeicheneinheit 103 beim Ansichtszeichnen W_f1 und W_f2 während der Verarbeitung mit hoher Verzögerung ein aufgezeichnetes Bild eines unmittelbar vorhergehenden Frames. Wenn in diesem Fall die eigene Geschwindigkeit s s4 überschreitet, zeichnet die Ansichtszeicheneinheit 103 das gegenwärtig (zuletzt) aufgenommene Bild (ein aufgenommenes Bild, das durch das Abbilden I3 erfasst wird) beim Ansichtszeichnen W_f3, das gestartet wird, nachdem die eigene Geschwindigkeit s s4 überschritten hat. Demnach kann durch Umschalten auf das gegenwärtig aufgenommene Bild vom Ansichtszeichnen, unmittelbar nachdem die eigene Geschwindigkeit s s4 überschritten hat, schnelles Umschalten erreicht werden, das die Sicherheit unterstützt.
12 ist ein Zeitdiagramm zur Erklärung des schnellen Umschaltens eines Ansichtsbildes beim Umschalten von geringer Verzögerung auf hohe Verzögerung gemäß der vorliegenden Ausführungsform. Im Beispiel von 12 wird Verarbeitung mit geringer Verzögerung schnell auf Verarbeitung mit hoher Verzögerung umgeschaltet, wenn die eigene Geschwindigkeit s während der Verarbeitung mit geringer Verzögerung unter s1 abfällt.
Wie in 12 dargestellt, zeichnet die Ansichtszeicheneinheit 103 beim Ansichtszeichnen W_f1 während der Verarbeitung mit geringer Verzögerung das gegenwärtig (zuletzt) aufgenommene Bild (ein aufgenommenes Bild, das durch das Abbilden I1 erfasst wird). Wenn in diesem Fall die eigene Geschwindigkeit s unter s1 abfällt, zeichnet die Ansichtszeicheneinheit 103 ein aufgenommenes Bild eines unmittelbar vorhergehenden Frames (ein aufgenommenes Bild, das durch das Abbilden I1 erfasst wird) beim Ansichtszeichnen W_f2, das gestartet wird, nachdem die eigene Geschwindigkeit s unter s1 abgefallen ist. Demnach kann durch Umschalten auf ein früher aufgenommenes Bild vom Ansichtszeichnen, unmittelbar nachdem die eigene Geschwindigkeit s unter s1 abgefallen ist, schnelles Umschalten erreicht werden, das die Sicherheit unterstützt.
(3) Änderung des Erkennungsalgorithmus während der Verarbeitung mit geringer Verzögerung
Bei der Erkennung können verschiedene Arten von Erkennungsalgorithmen verwendet werden. Zum Beispiel können Erkennung dreidimensionaler Objekte und ein Knochenschätzalgorithmus Positionen und Orientierung erkennen, aber zu verhältnismäßig langen Verarbeitungszeiten führen. Erkennung zweidimensionaler Objekte neigt dazu, kürzere Verarbeitungszeiten als Erkennung dreidimensionaler Objekte aufzuweisen, neigt aber im Gegensatz zu Erkennung dreidimensionaler Objekte und einem Knochenschätzalgorithmus dazu, zu Erkennung des realen Raums zu führen, die für ein angemessenes Überlagern eines virtuellen Objekts unzureichend ist. Anstelle der Objekterkennung steht ein Algorithmus zur Verfolgung einer Änderung eines Merkmalspunkts von einem vorherigen Frame und der Richtung der Änderung zur Verfügung. Solch ein Algorithmus kann in Kombination mit Erkennung zweidimensionaler Objekte und Erkennung dreidimensionaler Objekte oder dergleichen verwendet werden.
Wenn in diesem Fall ein Ansichtsbild auf Verarbeitung mit geringer Verzögerung umgeschaltet wird, verkürzt die Steuereinheit eine Erkennungszeit durch Ändern eines zur Erkennung verwendeten Algorithmus, um dadurch die Anzeigeverzögerung eines virtuellen Objekts (eine Verschiebung von der Anzeige eines realen Objekts) zu minimieren.
13 und 14 zeigen Beispiele der Aktualisierungsfrequenz bei Erkennung, wenn verschiedene Arten von Erkennungsalgorithmen verwendet werden. 13 ist ein Zeitdiagramm, das ein Beispiel der Aktualisierungsfrequenz bei Erkennung zeigt, wenn ein Algorithmus zur Erkennung dreidimensionaler Objekte verwendet wird. 14 ist ein Zeitdiagramm, das ein Beispiel der Aktualisierungsfrequenz bei Erkennung zeigt, wenn ein Algorithmus zur Erkennung zweidimensionaler Objekte verwendet wird. Bei einem Vergleich zwischen 13 und 14 ist Erkennung (Erkennung einer Position und einer Orientierung) unter Verwendung des Algorithmus zur Erkennung dreidimensionaler Objekte zeitintensiver als Erkennung (Erkennung einer Position) unter Verwendung des Algorithmus zur Erkennung zweidimensionaler Objekte, so dass die Aktualisierungsfrequenz der Aktualisierungsfrequenz gering ist. Wenn demnach ein Ansichtsbild auf Verarbeitung mit geringer Verzögerung umgeschaltet wird, kann die Erkennungseinheit 101 die Erkennung durch Ändern des Algorithmus zur dreidimensionalen Erkennung in den Algorithmus zur zweidimensionalen Erkennung verkürzen.
Alternativ können, wie in 15 dargestellt, dreidimensionale Erkennung und zweidimensionale Erkennung in Kombination mit Verfolgung eines Merkmalspunkts parallel durchgeführt werden. Falls das Ergebnis von dreidimensionaler Erkennung bei zweidimensionaler Erkennung erhalten wird, wird das Ergebnis von dreidimensionaler Erkennung ausgegeben. Solange das Ergebnis von dreidimensionaler Erkennung nicht erhalten wird, wird das Ergebnis von zweidimensionaler Erkennung in Kombination mit Verfolgung eines Merkmalspunkts ausgegeben. Mit anderen Worten wird das Ergebnis von Verfolgung eines Merkmalspunkts bei zweidimensionaler Erkennung verwendet, so dass das Ergebnis von zweidimensionaler Erkennung nahe an das Ergebnis von dreidimensionaler Erkennung herangeführt werden kann. Demnach kann Erkennung mit einer hohen Aktualisierungsfrequenz im Gegensatz zu zweidimensionaler Erkennung allein genau durchgeführt werden.
Unter Bezugnahme auf 16 wird im Folgenden die Anzeige eines virtuellen Objekts auf der Basis von zweidimensionaler Erkennung in Kombination mit Verfolgung eines Merkmalspunkts beschrieben. Die obere Reihe von 16 veranschaulicht virtuelle Objekte, die nur basierend auf zweidimensionaler Erkennung angezeigt werden. In einem Anzeigebild 210 wird ein virtuelles Objekt 32 angezeigt, das einem realen Objekt 40 überlagert ist. Wenn sich in diesem Fall der Benutzer bewegt, werden die Position und die Orientierung eines realen Objekts 42 geändert, wie in einem Anzeigebild 211 veranschaulicht. Im Falle einer zweidimensionalen Erkennung allein wird nur die Position eines virtuellen Objekts 34, das überlagert werden soll, korrekt aktualisiert, aber die Orientierung davon wird unnatürlich aktualisiert.
Die untere Reihe von 16 veranschaulicht virtuelle Objekte, die basierend auf zweidimensionaler Erkennung in Kombination mit Verfolgung eines Merkmalspunkts angezeigt werden. In einem Anzeigebild 215 wird das virtuelle Objekt 32 angezeigt, das dem realen Objekt 40 überlagert ist. Wenn sich in diesem Fall der Benutzer bewegt, werden die Position und die Orientierung des realen Objekts 42 geändert, wie in einem Anzeigebild 216 veranschaulicht. Die Ansichtszeicheneinheit 103 zeichnet ein virtuelles Objekt durch Schätzen einer Änderung der Orientierung durch zweidimensionale Erkennung in Kombination mit Verfolgung eines Merkmalspunkts, um dadurch ein virtuelles Objekt 36 bei gleichzeitigem Reduzieren der Künstlichkeit bei der Orientierung anzuzeigen.
Die Ansichtszeicheneinheit 103 kann nur zweidimensionale Erkennung in Kombination mit Verfolgung eines Merkmalspunkts durchführen.
<2-4. Unterstützung bezüglich Tastsinn-Diskrepanz>
Im Folgenden wird Unterstützung bezüglich einer Tastsinn-Diskrepanz gemäß der vorliegenden Ausführungsform beschrieben. Die Tastsinn-Diskrepanz kann durch Verzögerungsverarbeitung (Verarbeitung mit hoher Verzögerung) der Ansichtsanzeige verursacht werden.
Falls die Verzögerungsverarbeitung (Verarbeitung mit hoher Verzögerung) der Ansichtsanzeige gemäß der vorliegenden Ausführungsform zum Verringern der Anzeigeverzögerung eines virtuellen Objekts durchgeführt wird, wird ein Ansichtsbild, das auf der Anzeigeeinheit 150 angezeigt wird, von der Szenerie eines realen Raums verzögert. Dies kann eine Diskrepanz zwischen einem Gesichtssinn und einem Tastsinn verursachen, so dass zum Beispiel möglicherweise keine Berührung in einem Ansichtsbild dargestellt wird, aber möglicherweise eine Berührung an einem Objekt in einem realen Raum empfunden wird. 17 ist eine erläuternde Zeichnung eines Zustands einer Diskrepanz zwischen einem Gesichtssinn und einem Tastsinn. 17 veranschaulicht ein Anzeigebild 218 (Ansichtsbild). Als ein Beispiel wird davon ausgegangen, dass ein Buch oder dergleichen, das vom Benutzer tatsächlich gehalten wird, der anderen Person übergeben wird.
In 17 ist kein virtuelles Objekt veranschaulicht. Es wird davon ausgegangen, dass die Verzögerungsverarbeitung (Verarbeitung mit hoher Verzögerung) der Ansichtsanzeige gemäß der vorliegenden Ausführungsform angewendet wird. Demnach wird das Anzeigebild 218, das auf der Anzeigeeinheit 150 angezeigt wird, von der Szenerie eines realen Raums verzögert. Wenn daher der Benutzer ein Buch 46, das er mit einer Hand 45 hält, an eine Hand 47 der anderen Person übergibt, kann das Buch 46 mit einer Hand 51 der anderen Person in einem realen Raum berührt werden, obwohl das Buch 46 mit der Hand 47 der anderen Person im Anzeigebild 218 nicht berührt wurde. An diesem Punkt empfindet der Benutzer einen Widerstand oder Schwingungen vom Buch 46, was zu einer Diskrepanz zwischen einem Gesichtssinn und einem Tastsinn führt.
Demnach wird in der vorliegenden Ausführungsform als ein Beispiel für Unterstützung bezüglich einer Tastsinn-Diskrepanz Steuerung zum Anzeigen eines virtuellen Objekts zur Unterstützung eines Gesichtssinns durchgeführt, um eine Tastsinn-Diskrepanz auszuschalten. 18 ist eine erläuternde Zeichnung, die ein Beispiel der Unterstützung bezüglich einer Tastsinn-Diskrepanz gemäß der vorliegenden Ausführungsform veranschaulicht. Wie in 18 veranschaulicht, zeigt die Steuereinheit 100 eine Rahmenbild 37 (virtuelles Objekt) um das Buch 46 in einem Anzeigebild 220 (Ansichtsbild) an, um dadurch eine Berührung mit der Hand 47 der anderen Person visuell zu unterstützen. Das angezeigte Rahmenbild 37 ist so groß, dass es mit der Hand 47 der anderen Peron berührt wird. Demnach erkennt der Benutzer, dass das Rahmenbild 37 des Buchs 46, das vom Benutzer tatsächlich gehalten wird, mit der Hand 47 der anderen Person berührt wird, wodurch eine Diskrepanz mit einem Tastsinn reduziert wird. Die Größe des Rahmenbildes 37 ändert sich gemäß der Position der Hand 47 der anderen Person. Die Steuereinheit 100 erkennt aus der Erkennung oder dergleichen eines aufgenommenen Bildes in einem realen Raum, dass zumindest ein Teil des Körpers eines Benutzers mit einem Objekt im realen Raum in Kontakt kommt, und führt Steuerung derart durch, dass ein virtuelles Objekts zur visuellen Unterstützung einer Berührung mit dem Objekt dem Ansichtsbild überlagert wird. Die Form des virtuellen Objekts zur visuellen Unterstützung einer Berührung ist nicht auf das Beispiel von 18 beschränkt.
Gleichermaßen kann eine Diskrepanz zwischen einem Gehörsinn und einem Gesichtssinn auftreten. Auch in diesem Fall als einem Beispiel einer Unterstützung bezüglich einer Gehörsinn-Diskrepanz kann die Steuereinheit 100 Steuerung derart durchführen, dass ein virtuelles Objekt zur visuellen Unterstützung eines Gehörsinns einem Ansichtsbild überlagert wird. Zum Beispiel kann die Anzeige eines virtuellen Objekts zur visuellen Unterstützung einer Berührung gleichzeitig einen Berührungston unterstützen.
<2-5. Verringerung der Anzeigeverzögerung für jedes virtuelle Objekt>
Die Steuereinheit 100 gemäß der vorliegenden Ausführungsform kann ferner eine Anzeigeverzögerung für jedes virtuelle Objekt durch Verwenden eines verschiedenen Erkennungsalgorithmus (mindestens einer verschiedenen Erkennungszeit) für jedes zu erkennende Objekt verringern. Dies wird unter Bezugnahme auf 19 und 20 beschrieben.
19 veranschaulicht ein Anzeigebeispiel einer Mehrzahl von virtuellen Objekten gemäß der vorliegenden Ausführungsform. Wie in 19 veranschaulicht, werden in einem Anzeigebild 240 (Ansichtsbild) ein virtuelles Objekt 38A und ein virtuelles Objekt 38B als ein Beispiel angezeigt. Das virtuelle Objekt 38A ist zum Beispiel ein Bild von Informationen, die den Namen und die Abteilung einer Person 48 aufweisen, und wird um die Person 48 angezeigt. Das virtuelle Objekt 38B ist zum Beispiel ein Bild, das angezeigt wird, während es dem Körper der Person 48 überlagert ist. Das virtuelle Objekt 38B kann zum Beispiel ein Bild von virtuellen Kleidungsstücken und Accessoire oder dergleichen sein.
In diesem Fall wird das virtuelle Objekt 38B angezeigt, während es dem Körper der Person 48 überlagert ist. Die Anzeigeverzögerung des virtuellen Objekts 38B von einem realen Objekt (Person 48) wird gegenüber dem virtuellen Objekt 38A wünschenswerterweise minimiert. Mit anderen Worten verursacht das virtuelle Objekt 38A mit einer etwas größeren Anzeigeverzögerung kaum Unnatürlichkeit.
Demnach wird in der vorliegenden Ausführungsform ein Erkennungsalgorithmus mit einer kürzeren Verarbeitungszeit zur Erkennung zum Anzeigen des überlagerten virtuellen Objekts 38B verwendet, um dadurch die Anzeigeverzögerung des virtuellen Objekts 38B von einem realen Objekt zu verringern. Im Folgenden wird eine spezifische Beschreibung unter Bezugnahme auf 20 bereitgestellt.
20 ist ein Zeitdiagramm, das den Ablauf einer Verarbeitungsserie zeigt, um die Anzeigesteuerung zu erklären, die unter Verwendung einer Mehrzahl von Erkennungsalgorithmen im Informationsprozessor gemäß der vorliegenden Ausführungsform durchgeführt wird. Wie in 20 dargestellt, führt die Erkennungseinheit 101 Erkennung 1 und Erkennung 2 an einem aufgenommenen Bild durch, das durch ein Abbilden I erfasst wird.
Die Erkennung 1 und die Erkennung 2 sind zum Beispiel Erkennungsalgorithmen verschiedene Erkennungszeiten. Die Einheit zum Zeichnen virtueller Objekte 102 erfasst dann beim Zeichnen eines virtuellen Objekts das Ergebnis von Erkennung R1-2 durch die Erkennung 1 und das Ergebnis von Erkennung R2-1 durch die Erkennung 2. Das Ergebnis der Erkennung R1-2 ist die Erkennung eines aufgenommenen Bildes, das durch das Abbilden I3 erfasst wird, und das Ergebnis der Erkennung R2-1 ist die Erkennung eines aufgenommenen Bildes, das durch das Abbilden I1 vor dem Abbilden I3 erfasst wird. Insbesondere basiert die Erkennung R2-1 auf einem aufgenommenen Bild, das vor einem aufgenommenen Bild der Erkennung R1-2 erfasst wird. Demnach ist die Anzeigeverzögerung eines virtuellen Objekts, das auf der Basis des Ergebnisses der Erkennung R2-1 gezeichnet wird, von einem Ansichtsbild (z. B. ist das Ansichtsbild ein aufgenommenes Bild, das durch das Abbilden I3 erfasst wird) größer als die Anzeigeverzögerung eines virtuellen Objekts, das auf der Basis des Ergebnisses der Erkennung R1-2 gezeichnet wird.
Demnach zeichnet die Einheit zum Zeichnen virtueller Objekte 102 das virtuelle Objekt 38B, das mit einer kleineren Anzeigeverzögerung bereitgestellt werden soll, auf der Basis des Ergebnisses der Erkennung R1-2, und sie zeichnet das virtuelle Objekt 38A, das auch mit einer größeren Anzeigeverzögerung als das virtuelle Objekt 3B kaum Unnatürlichkeit verursacht, auf der Basis des Ergebnisses der Erkennung R2-1. Dies kann die Anzeigeverzögerung jedes der virtuellen Objekte in geeigneter Weise verringern. Bei der Erkennung 2 kann ein Erkennungsalgorithmus nur zum Erkennen eines realen Objekts verwendet werden, das mit dem Zeichnen eines virtuellen Objekts unter Verwendung der Erkennung in Beziehung steht.
<<3. Schlussfolgerung>>
Wie vorstehend beschrieben, kann in der Ausführungsform der vorliegenden Offenbarung die Anzeigeverzögerung eines virtuellen Objekts je nach der Situation in geeigneter Weise verringert werden.
Die bevorzugte Ausführungsform der vorliegenden Offenbarung wurde unter Bezugnahme auf die beiliegenden Zeichnungen ausführlich beschrieben. Die vorliegende Technik ist nicht auf diese Beispiele beschränkt. Es versteht sich, dass sich ein Fachmann auf dem technischen Gebiet der vorliegenden Offenbarung verschiedene modifizierte Beispiele oder geänderte Beispiele innerhalb des Schutzbereichs der in den Ansprüchen beschriebenen technischen Idee vorstellen kann, und es versteht sich natürlich, dass diese ebenfalls in den technischen Schutzbereich der vorliegenden Offenbarung fallen.
Zum Beispiel kann auch ein Computerprogramm zum Ausführen der Funktionen des Informationsprozessors 10 in Hardware, beispielsweise CPU, ROM und RAM, im Informationsprozessor 10 erstellt werden. Es wird auch ein computerlesbares Speichermedium bereitgestellt, in welchem das Computerprogramm gespeichert wird.
Die Wirkungen, die in der vorliegenden Spezifikation beschrieben werden, sind lediglich erläuternd oder beispielhaft und nicht als Einschränkung gedacht. Mit anderen Worten kann die Technik gemäß der vorliegenden Offenbarung zusätzlich zu den vorstehenden Wirkungen oder anstelle derselben andere Wirkungen aufweisen, die für einen Fachmann auf dem Gebiet aus der Beschreibung hierin ersichtlich sind.
Die vorliegende Technik kann auch folgendermaßen ausgebildet sein:

(1) Informationsprozessor, aufweisend eine Anzeigesteuereinheit, wobei die Anzeigesteuereinheit eine Videodurchsichtanzeige steuert, die zum Anzeigen eines aufgenommenen Bildes ausgebildet ist, das von einer Abbildungseinheit erfasst wird, die Anzeigesteuereinheit ein virtuelles Objekt einem ersten aufgenommenen Bild überlagert, falls eine Last einer Erkennung eines realen Raums basierend auf einem vorbestimmten aufgenommenen Bild eine erste Last ist, wobei das virtuelle Objekt auf der Basis der Erkennung des realen Raums gezeichnet wird, und die Anzeigesteuereinheit das virtuelle Objekt einem zweiten aufgenommenen Bild überlagert, falls die Last der Erkennung eine zweite Last ist, die größer als die erste Last ist, wobei das zweite aufgenommene Bild vor dem ersten aufgenommenen Bild erfasst wird.
(2) Informationsprozessor nach (1), wobei jede der ersten Last und der zweiten Last mit einer Zeit in Beziehung steht, die zur Erkennung benötigt wird.
(3) Informationsprozessor nach (2), wobei die erste Last einem Fall entspricht, in dem die zur Erkennung benötigte Zeit gleich wie oder kürzer als eine Zeit zum Zeichnen des aufgenommenen Bildes ist, das von der Abbildungseinheit aufgenommen wird, und die zweite Last einem Fall entspricht, in dem die zur Erkennung benötigte Zeit länger als eine Zeit zum Zeichnen des aufgenommenen Bildes ist, das von der Abbildungseinheit erfasst wird.
(4) Informationsprozessor nach einem von (1) bis (3), wobei das erste aufgenommene Bild ein Durchgangsbild ist, das von der Abbildungseinheit erfasst und auf der Videodurchsichtanzeige in Echtzeit angezeigt wird.
(5) Informationsprozessor nach (4), wobei das zweite aufgenommene Bild das aufgenommene Bild ist, das von der Abbildungseinheit erfasst wird, und ein vor einer vorbestimmten Anzahl von Frames vor dem ersten aufgenommenen Bild aufgenommenes Bild ist.
(6) Informationsprozessor nach einem von (1) bis (5), wobei bei der Erkennung der reale Raum auf der Basis eines zuletzt aufgenommenen Bildes in Bezug auf eine Startzeit der Erkennung erkannt wird.
(7) Informationsprozessor nach einem von (1) bis (6), wobei das aufgenommene Bild, das auf der Videodurchsichtanzeige angezeigt werden soll, und das vorbestimmte aufgenommene Bild, das der Erkennung unterzogen werden soll, verschiedene aufgenommene Bilder zu verschiedenen Abbildungszeiten sind.
(8) Informationsprozessor nach einem von (1) bis (7), wobei die Anzeigesteuereinheit das virtuelle Objekt dem ersten aufgenommenen Bild unter vorbestimmten Bedingungen überlagert, selbst wenn die Last der Erkennung die zweite Last ist, die größer als die erste Last ist.
(9) Informationsprozessor nach (8), wobei die vorbestimmten Bedingungen mit einer Bewegungsgeschwindigkeit des mit der Abbildungseinheit und der Videodurchsichtanzeige versehenen Informationsprozessors in Beziehung stehen.
(10) Informationsprozessor nach (8) oder (9), wobei die vorbestimmten Bedingungen mit einem Abstand zwischen dem mit der Abbildungseinheit und der Videodurchsichtanzeige versehenen Informationsprozessors und einem sich bewegenden Objekt, das im realen Raum vorhanden ist, in Beziehung stehen.
(11) Informationsprozessor nach einem von (1) bis (10), wobei die Anzeigesteuereinheit Umschaltungssteuerung zum Umschalten von der zweiten Verarbeitung, die das zweite aufgenommene Bild auf der Videodurchsichtanzeige anzeigt und das virtuelle Objekt dem zweiten aufgenommenen Bild überlagert, auf die erste Verarbeitung durchführt, die das erste aufgenommene Bild auf der Videodurchsichtanzeige anzeigt und das virtuelle Objekt dem ersten aufgenommenen Bild überlagert.
(12) Informationsprozessor nach (11), wobei bei der Umschaltungssteuerung Verarbeitung durchgeführt wird, um das aufgenommene Bild, das auf der Videodurchsichtanzeige angezeigt werden soll, auf der Basis der letzten eigenen Position des Informationsprozessors schrittweise vom zweiten aufgenommenen Bild in das erste aufgenommenen Bild umzuformen.
(13) Informationsverarbeitungsverfahren, aufweisend:
- Veranlassen eines Prozessors zum Durchführen von Anzeigesteuerung einer Videodurchsichtanzeige, die zum Anzeigen eines aufgenommenen Bildes ausgebildet ist, das von einer Abbildungseinheit erfasst wird;
- Veranlassen des Prozessors zum Durchführen von Anzeigesteuerung, um ein virtuelles Objekt einem ersten aufgenommenen Bild zu überlagern, falls eine Last einer Erkennung eines realen Raums basierend auf einem vorbestimmten aufgenommenen Bild eine erste Last ist, wobei das virtuelle Objekt auf der Basis der Erkennung des realen Raums gezeichnet wird; und
- Veranlassen des Prozessors zum Durchführen von Anzeigesteuerung, um das virtuelle Objekt einem zweiten aufgenommenen Bild zu überlagern, falls die Last der Erkennung eine zweite Last ist, die größer als die erste Last ist, wobei das zweite aufgenommene Bild vor dem ersten aufgenommenen Bild erfasst wird.
(14) Speichermedium, in dem ein Programm gespeichert ist, wobei das Programm einen Computer veranlasst, als eine Anzeigesteuereinheit zu fungieren, wobei die Anzeigesteuereinheit eine Videodurchsichtanzeige steuert, die zum Anzeigen eines aufgenommenen Bildes ausgebildet ist, das von einer Abbildungseinheit erfasst wird, die Anzeigesteuereinheit ein virtuelles Objekt einem ersten aufgenommenen Bild überlagert, falls eine Last einer Erkennung eines realen Raums basierend auf einem vorbestimmten aufgenommenen Bild eine erste Last ist, wobei das virtuelle Objekt auf der Basis der Erkennung des realen Raums gezeichnet wird, und die Anzeigesteuereinheit das virtuelle Objekt einem zweiten aufgenommenen Bild überlagert, falls die Last der Erkennung eine zweite Last ist, die größer als die erste Last ist, wobei das zweite aufgenommene Bild vor dem ersten aufgenommenen Bild erfasst wird.

Bezugszeichenliste

10: Informationsprozessor
100: Steuereinheit
101: Erkennungseinheit
102: Einheit zum Zeichnen virtueller Objekte
103: Ansichtszeicheneinheit
104: Anzeigeverarbeitungseinheit
110: Kommunikationseinheit
120: Kamera
130: Operationseingabeeinheit
140: Sensoreinheit
150: Anzeigeeinheit
160: Lautsprecher
170: Speichereinheit

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

WO 2017/047178 [0004]
WO 2019/181263 [0004]

Claims

Informationsverarbeitungsvorrichtung, aufweisend eine Anzeigesteuereinheit, wobei die Anzeigesteuereinheit eine Videodurchsichtanzeige steuert, die zum Anzeigen eines aufgenommenen Bildes ausgebildet ist, das von einer Abbildungseinheit erfasst wird, die Anzeigesteuereinheit ein virtuelles Objekt einem ersten aufgenommenen Bild überlagert, falls eine Last einer Erkennungsverarbeitung eines realen Raums basierend auf einem vorbestimmten aufgenommenen Bild eine erste Last ist, wobei das virtuelle Objekt auf einer Basis der Erkennungsverarbeitung des realen Raums gezeichnet wird, und die Anzeigesteuereinheit das virtuelle Objekt einem zweiten aufgenommenen Bild überlagert, falls die Last der Erkennungsverarbeitung eine zweite Last ist, die größer als die erste Last ist, wobei das zweite aufgenommene Bild vor dem ersten aufgenommenen Bild erfasst wird.
Informationsverarbeitungsvorrichtung nach Anspruch 1, wobei jede der ersten Last und der zweiten Last mit einer Zeit in Beziehung steht, die zur Erkennungsverarbeitung benötigt wird.
Informationsverarbeitungsvorrichtung nach Anspruch 2, wobei die erste Last einem Fall entspricht, in dem die Zeit, die zur Erkennungsverarbeitung benötigt wird, gleich wie oder kürzer als eine Zeit zum Zeichnen eines aufgenommenen Bildes ist, das von der Abbildungseinheit erfasst wird, und die zweite Last einem Fall entspricht, in dem die zur Erkennungsverarbeitung benötigte Zeit länger als eine Zeit zum Zeichnen des aufgenommenen Bildes ist, das von der Abbildungseinheit erfasst wird.
Informationsverarbeitungsvorrichtung nach Anspruch 1, wobei das erste aufgenommene Bild ein Durchgangsbild ist, das von der Abbildungseinheit erfasst und auf der Videodurchsichtanzeige in Echtzeit angezeigt wird.
Informationsverarbeitungsvorrichtung nach Anspruch 4, wobei das zweite aufgenommene Bild das aufgenommene Bild ist, das von der Abbildungseinheit erfasst wird, und ein vor einer vorbestimmten Anzahl von Frames vor dem ersten aufgenommenen Bild aufgenommenes Bild ist.
Informationsverarbeitungsvorrichtung nach Anspruch 1, wobei bei der Erkennungsverarbeitung der reale Raum auf einer Basis eines zuletzt aufgenommenen Bildes in Bezug auf eine Startzeit der Erkennungsverarbeitung erkannt wird.
Informationsverarbeitungsvorrichtung nach Anspruch 1, wobei das aufgenommene Bild, das auf der Videodurchsichtanzeige angezeigt werden soll, und das vorbestimmte aufgenommene Bild, das der Erkennungsverarbeitung unterzogen werden soll, verschiedene aufgenommene Bilder zu verschiedenen Abbildungszeiten sind.
Informationsverarbeitungsvorrichtung nach Anspruch 1, wobei die Anzeigesteuereinheit das virtuelle Objekt dem ersten aufgenommenen Bild unter vorbestimmten Bedingungen überlagert, selbst wenn die Last der Erkennungsverarbeitung die zweite Last ist, die größer als die erste Last ist.
Informationsverarbeitungsvorrichtung nach Anspruch 8, wobei die vorbestimmten Bedingungen mit einer Bewegungsgeschwindigkeit der mit der Abbildungseinheit und der Videodurchsichtanzeige versehenen Informationsverarbeitungsvorrichtung in Beziehung stehen.
Informationsverarbeitungsvorrichtung nach Anspruch 8, wobei die vorbestimmten Bedingungen mit einem Abstand zwischen der mit der Abbildungseinheit und der Videodurchsichtanzeige versehenen Informationsverarbeitungsvorrichtung und einem sich bewegenden Objekt, das im realen Raum vorhanden ist, in Beziehung stehen.
Informationsverarbeitungsvorrichtung nach Anspruch 1, wobei die Anzeigesteuereinheit Umschaltungssteuerung zum Umschalten von der zweiten Verarbeitung, die das zweite aufgenommene Bild auf der Videodurchsichtanzeige anzeigt und das virtuelle Objekt dem zweiten aufgenommenen Bild überlagert, auf die erste Verarbeitung durchführt, die das erste aufgenommene Bild auf der Videodurchsichtanzeige anzeigt und das virtuelle Objekt dem ersten aufgenommenen Bild überlagert.
Informationsverarbeitungsvorrichtung nach Anspruch 11, wobei bei der Umschaltungssteuerung Verarbeitung durchgeführt wird, um das aufgenommene Bild, das auf der Videodurchsichtanzeige angezeigt werden soll, auf einer Basis der letzten eigenen Position der Informationsverarbeitungsvorrichtung schrittweise vom zweiten aufgenommenen Bild in das erste aufgenommene Bild umzuformen.
Informationsverarbeitungsverfahren, aufweisend: Veranlassen einer Verarbeitungsvorrichtung zum Durchführen von Anzeigesteuerung einer Videodurchsichtanzeige, die zum Anzeigen eines aufgenommenen Bildes ausgebildet ist, das von einer Abbildungseinheit erfasst wird; Veranlassen der Verarbeitungsvorrichtung zum Durchführen von Anzeigesteuerung, um ein virtuelles Objekt einem ersten aufgenommenen Bild zu überlagern, falls eine Last einer Erkennungsverarbeitung eines realen Raums basierend auf einem vorbestimmten aufgenommenen Bild eine erste Last ist, wobei das virtuelle Objekt auf einer Basis der Erkennungsverarbeitung des realen Raums gezeichnet wird; und Veranlassen der Verarbeitungsvorrichtung zum Durchführen von Anzeigesteuerung, um das virtuelle Objekt einem zweiten aufgenommenen Bild zu überlagern, falls die Last der Erkennungsverarbeitung eine zweite Last ist, die größer als die erste Last ist, wobei das zweite aufgenommene Bild vor dem ersten aufgenommenen Bild erfasst wird.
Speichermedium, in dem ein Programm gespeichert ist, wobei das Programm einen Computer veranlasst, als eine Anzeigesteuereinheit zu fungieren, wobei die Anzeigesteuereinheit eine Videodurchsichtanzeige steuert, die zum Anzeigen eines aufgenommenen Bildes ausgebildet ist, das von einer Abbildungseinheit erfasst wird, die Anzeigesteuereinheit ein virtuelles Objekt einem ersten aufgenommenen Bild überlagert, falls eine Last einer Erkennungsverarbeitung eines realen Raums basierend auf einem vorbestimmten aufgenommenen Bild eine erste Last ist, wobei das virtuelle Objekt auf einer Basis der Erkennungsverarbeitung des realen Raums gezeichnet wird, und die Anzeigesteuereinheit das virtuelle Objekt einem zweiten aufgenommenen Bild überlagert, falls die Last der Erkennungsverarbeitung eine zweite Last ist, die größer als die erste Last ist, wobei das zweite aufgenommene Bild vor dem ersten aufgenommenen Bild erfasst wird.