DE112018005160T5

DE112018005160T5 - Informationsverarbeitungsgerät, informationsverarbeitungsverfahren und programm

Info

Publication number: DE112018005160T5
Application number: DE112018005160.9T
Authority: DE
Inventors: Takanobu Omata
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2017-09-15
Filing date: 2018-08-06
Publication date: 2020-07-02
Also published as: US20200279110A1; WO2019054086A1

Abstract

Bereitstellen eines Informationsverarbeitungsgeräts, eines Informationsverarbeitungsverfahrens und eines Programms, die so ausgelegt sind, dass sie verhindern, dass ein Zielobjekt außerhalb des Blickfelds nicht bemerkt wird.
[Lösung] Dieses Informationsverarbeitungsgerät ist mit einer Steuereinheit ausgestattet, die: ein Zielobjekt und ein Basispunktobjekt aus einem mit dem Blickfeld eines Benutzers korrespondierenden Bild extrahiert; Basispunktobjektinformationen zum Basispunktobjekt in einer Datenspeichereinheit speichert; bestimmt, ob das Zielobjekt in einem mit dem derzeitigen Blickfeld korrespondierenden Bild enthalten ist, wenn der Benutzer zum Zielobjekt hingeführt werden soll; und einen Prozess zum Präsentieren der Position des Zielobjekts mittels der gespeicherten Basispunktobjektinformationen durchführt, falls das Zielobjekt nicht im mit dem derzeitigen Blickfeld korrespondierenden Bild enthalten ist.

Description

Gebiet der Technik
Die vorliegende Offenbarung betrifft eine Informationsverarbeitungsvorrichtung, ein Informationsverarbeitungsverfahren und ein Programm.
Stand der Technik
Es ist bereits eine Technik vorgeschlagen worden, mit der einem Benutzer Informationen zur Benutzerführung/-lenkung unter Nutzung einer Informationsverarbeitungsvorrichtung zweckmäßig präsentiert werden.
Die Patentliteratur 1 unten offenbart zum Beispiel einen Werbungspräsentationsserver, der eine Blicklinienrichtung eines Kunden in einem Geschäft detektiert, Informationen zu einem in der Blicklinienrichtung betrachteten Produkt bewertet, Attribute des Kunden in dem Geschäft bestimmt, die Informationen zum Produkt basierend auf beiden bewerteten Ergebnissen erfasst und den korrespondierenden Inhalt liest sowie den Inhalt mittels einer Anzeigevorrichtung wiedergibt.
Darüber hinaus offenbart die Patentliteratur 2 unten ein Head-Mounted-Display-System, das in einem realen Raum eingeblendete und angezeigte AR-Objekte (AR = Augmented Reality) gemäß Prioritäten wie dem Modus, der Präferenz und der Nähe filtert.
Liste der Anführungen
Patentliteratur

Patentliteratur 1: JP 2016-38877 A
Patentliteratur 2: JP 2016-507833 A

Zusammenfassung der Erfindung
Technische Aufgabe
Die bekannte Technik ist jedoch nur wirksam, wenn ein Objekt, an dem der Benutzer wahrscheinlich interessiert ist, in das Blickfeld des Benutzers eintritt, und es ist systemseitig schwierig, dem Benutzer ein Objekt, das nicht in das Blickfeld des Benutzers eintritt, mitzuteilen. Infolgedessen übersieht der Benutzer möglicherweise das Objekt, an dem der Benutzer wahrscheinlich interessiert ist.
Deshalb schlägt die vorliegende Offenbarung eine Informationsverarbeitungsvorrichtung, ein Informationsverarbeitungsverfahren und ein Programm vor, die derart ausgelegt sind, dass sie verhindern, dass ein Zielobjekt außerhalb eines Blickfelds übersehen wird.
Technische Lösung
Gemäß der vorliegenden Offenbarung wird eine Informationsverarbeitungsvorrichtung bereitgestellt, die Folgendes enthält: eine Steuereinheit, die ein Zielobjekt und ein Basispunktobjekt aus einem mit dem Blickfeld eines Benutzers korrespondierenden Bild extrahiert, Basispunktobjektinformationen zum Basispunktobjekt in einer Datenspeichereinheit speichert, bestimmt, ob das Zielobjekt in einem mit einem momentanen Blickfeld korrespondierenden Bild enthalten ist, wenn der Benutzer zum Zielobjekt hingeführt wird, und einen Prozess zum Präsentieren einer Position des Zielobjekts mittels der gespeicherten Basispunktobjektinformationen durchführt, wenn das Zielobjekt nicht in einem mit dem momentanen Blickfeld korrespondierenden Bild enthalten ist.
Gemäß der vorliegenden Offenbarung wird ein Informationsverarbeitungsverfahren bereitgestellt, das Folgendes enthält: Extrahieren eines Zielobjekts und eines Basispunktobjekts aus einem mit dem Blickfeld eines Benutzers korrespondierenden Bild durch einen Prozessor; Speichern von Basispunktobjektinformationen zum Basispunktobjekt in einer Datenspeichereinheit durch den Prozessor; Bewerten durch den Prozessor, ob das Zielobjekt in einem mit einem momentanen Blickfeld korrespondierenden Bild enthalten ist, wenn der Benutzer zum Zielobjekt hingeführt wird; und Durchführen eines Prozesses zum Präsentieren der Position des Zielobjekts durch den Prozessor mittels der gespeicherten Basispunktobjektinformationen, wenn das Zielobjekt nicht im mit dem momentanen Blickfeld korrespondierenden Bild enthalten ist.
Gemäß der vorliegenden Offenbarung wird ein Programm bereitgestellt, das ermöglicht, dass ein Computer als eine Steuerung fungiert, die ein Zielobjekt und ein Basispunktobjekt aus einem mit dem Blickfeld eines Benutzers korrespondierenden Bild extrahiert, Basispunktobjektinformationen zum Basispunktobjekt in einer Datenspeichereinheit speichert, bewertet, ob das Zielobjekt in einem mit einem momentanen Blickfeld korrespondierenden Bild enthalten ist, wenn der Benutzer zum Zielobjekt hingeführt wird, und einen Prozess zum Präsentieren der Position des Zielobjekts mittels der gespeicherten Basispunktobjektinformationen durchführt, wenn das Zielobjekt nicht im mit dem momentanen Blickfeld korrespondierenden Bild enthalten ist.
Vorteilhafte Wirkungen der Erfindung
Wie oben beschrieben, ist es gemäß der vorliegenden Offenbarung möglich zu verhindern, dass Zielobjekte außerhalb des Blickfelds übersehen werden.
Es wird darauf hingewiesen, dass die obigen Wirkungen nicht zwingend Einschränkungen unterliegen, sondern dass in Verbindung mit den obigen Wirkungen oder an ihrer Stelle beliebige derjenigen Wirkungen, die in der vorliegenden Patentbeschreibung beschrieben werden, oder noch andere Wirkungen, die aus der vorliegenden Patentbeschreibung hervorgehen, erzielt werden können.
Figurenliste

1 ist eine Abbildung zur groben Darstellung eines in einem Informationsverarbeitungssystem gemäß einer Ausführungsform der vorliegenden Offenbarung genutzten Informationsverarbeitungsendgeräts.
2 ist ein Blockschema, das eine beispielhafte Konfiguration eines Informationsverarbeitungssystems gemäß der vorliegenden Ausführungsform veranschaulicht.
3 ist ein Blockschema, das eine beispielhafte Konfiguration eines Informationsverarbeitungsendgeräts gemäß der vorliegenden Ausführungsform veranschaulicht.
4 ist ein Blockschema, das eine beispielhafte Konfiguration eines Informationsverarbeitungsservers gemäß der vorliegenden Ausführungsform veranschaulicht.
5 ist ein Blockschema, das eine beispielhafte Konfiguration einer Antwortinformationsgenerierungseinheit eines Informationsverarbeitungsservers gemäß einer ersten Ausführungsform veranschaulicht.
6 ist eine Abbildung zum Erläutern eines beispielhaften Informationsverarbeitungsendgeräts gemäß einer ersten Ausführungsform.
7 ist ein Flussdiagramm, das ein Schema der Abläufe beim Erheben von Anforderungsinformationen gemäß der ersten Ausführungsform veranschaulicht.
8 ist ein Flussdiagramm, das ein Schema der Abläufe beim Mitteilen von Anforderungsinformationen gemäß der ersten Ausführungsform veranschaulicht.
9 ist eine Abbildung, die beispielhaft veranschaulicht, wie ein AR-Bild von einem Kaufanforderungsartikel gemäß der ersten Ausführungsform angezeigt wird.
10 ist eine Abbildung, die beispielhaft veranschaulicht, wie die Anforderungsinformationen gemäß der ersten Ausführungsform auf einem Smartphone-Bildschirm präsentiert werden.
11 ist ein Blockschema, das eine beispielhafte Konfiguration einer Antwortinformationsgenerierungseinheit eines Informationsverarbeitungsservers gemäß einer zweiten Ausführungsform veranschaulicht.
12 ist ein Flussdiagramm, das einen Prozess der Zielobjekt- und Basispunktobjektregistrierung gemäß der zweiten Ausführungsform veranschaulicht.
13 ist eine Abbildung zum Erläutern einer Situation eines Benutzers gemäß der zweiten Ausführungsform.
14 ist eine Abbildung, die beispielhaft veranschaulicht, wie das Zielobjekt und das Basispunktobjekt aus einem mit dem Blickfeld eines Benutzers korrespondierenden Bild gemäß der zweiten Ausführungsform extrahiert werden.
15 ist ein Flussdiagramm, das einen Prozess der Hinführung zu einem Zielobjekt gemäß der zweiten Ausführungsform veranschaulicht.
16 ist eine Abbildung, die beispielhaft veranschaulicht, wie das Zielobjekt mit einer AR-Markierung gemäß der zweiten Ausführungsform versehen wird.
17 ist ein Blockschema, das eine beispielhafte Hardwarekonfiguration des Informationsverarbeitungsendgeräts und des Informationsverarbeitungsservers gemäß der Ausführungsform der vorliegenden Offenbarung veranschaulicht.

Beschreibung der Ausführungsformen
Im Folgenden werden bevorzugte Ausführungsformen der vorliegenden Offenbarung mit Bezug auf die beiliegenden Zeichnungen ausführlich beschrieben. Darüber hinaus sind in dieser Patentbeschreibung und den Zeichnungen Komponenten, die im Wesentlichen dieselbe Funktionskonfiguration aufweisen, mit denselben Bezugszeichen versehen und werden deshalb nicht mehrmals beschrieben.
Darüber hinaus wird in der Beschreibung folgende Reihenfolge eingehalten.

1. Überblick
2. Konfiguration
2-1. Beispielhafte Systemkonfiguration
2-2. Konfiguration des Informationsverarbeitungsendgeräts 1
2-3. Konfiguration des Informationsverarbeitungsservers 2
3. Erste Ausführungsform (Produktkaufanforderung)
3-1. Konfiguration
3-2. Ablaufschema
(3-2-1. Prozess der Erhebung von Anforderungsinformationen)
(3-2-2. Prozess der Mitteilung von Anforderungsinformationen)
3-3. Wirkung
4. Zweite Ausführungsform (Hinführung zu einem Zielobjekt)
4-1. Konfiguration
4-2. Ablaufschema
(4-2-1. Prozess der Zielobjekt- und Basispunktobjektregistrierung)
(4-2-2. Prozess der Hinführung zu einem Zielobjekt)
4-3. Wirkung
5. Hardwarekonfiguration
6. Zusammenfassung

«Überblick»
1 ist eine Abbildung, die ein in einem Informationsverarbeitungssystem gemäß einer Ausführungsform der vorliegenden Offenbarung genutztes Informationsverarbeitungsendgerät 1 grob veranschaulicht. Wie in 1 veranschaulicht, ist das im Informationsverarbeitungssystem gemäß der vorliegenden Ausführungsform genutzte Informationsverarbeitungsendgerät 1 zum Beispiel durch ein brillenartiges Head Mounted Display (HMD), das am Kopf eines Benutzers U angebracht ist, realisiert. Eine mit einem Brillenglasabschnitt korrespondierende Anzeigeeinheit 13, die sich, wenn sie getragen wird, vor den Augen des Benutzers U befindet, kann lichtdurchlässig oder lichtundurchlässig sein. Das Informationsverarbeitungsendgerät 1 kann ein virtuelles Objekt im Blickfeld des Benutzers U präsentieren, indem es das virtuelle Objekt auf der Anzeigeeinheit 13 anzeigt. Ferner muss das HMD, das für das Informationsverarbeitungsendgerät 1 beispielhaft ist, nicht unbedingt ein HMD sein, das beiden Augen ein Bild präsentiert, sondern kann auch ein HMD sein, das nur einem Auge ein Bild präsentiert. Das HMD ist zum Beispiel möglicherweise ein monokulares HMD, das mit der Anzeigeeinheit 13, die nur einem Auge ein Bild präsentiert, ausgestattet ist.
Darüber hinaus ist das Informationsverarbeitungsendgerät 1 mit einer nach außen gerichteten Kamera 110 ausgestattet, die die Blicklinienrichtung des Benutzers U, also das Blickfeld des Benutzers U, aufnimmt, wenn es getragen wird. Ferner ist das Informationsverarbeitungsendgerät 1, auch wenn dies in 1 nicht veranschaulicht ist, mit verschiedenen Sensoren wie einer nach innen gerichteten Kamera und einem Mikrofon (im Folgenden als „Mikro“ bezeichnet) ausgestattet, wobei diese die Augen des Benutzers U aufnimmt, wenn es getragen wird. Es kann eine Vielzahl von nach außen gerichteten Kameras 110 und nach innen gerichteten Kameras bereitgestellt sein.
Das Informationsverarbeitungsendgerät 1 ist ferner in seiner Form nicht auf das in 1 veranschaulichte Beispiel beschränkt. Das Informationsverarbeitungsendgerät 1 kann vom Typ zum Beispiel ein Kopfhörerbügel sein (ein Bügel, der beim Tragen um den ganzen Kopfumfang herumgeht). Darüber hinaus kann das HMD auch mit einem über den Scheitel sowie eine Schläfenregion verlaufenden Bügel ausgestattet sein, oder es kann vom Typ ein Helm sein (wobei ein Helmvisierabschnitt mit einem Display korrespondiert). Darüber hinaus kann das Informationsverarbeitungsendgerät 1 durch ein Wearable in der Art eines Armbands (das zum Beispiel ein Gehäuse mit oder ohne Smartwatch-Display enthält), eines Kopfhörers (ohne Display) oder eines Halslautsprechers (der ein Gehäuse mit oder ohne Halslautsprecher-Display enthält) realisiert werden.
Wenn die Anzeigeeinheit 13 von einem lichtdurchlässigen Typ ist, kann hierbei das Informationsverarbeitungsendgerät 1 zum Beispiel eine Anzeigesteuerung zur Platzierung eines virtuellen Objekts in einem realen Raum basierend auf Informationen (einem mit dem Blickfeld eines Benutzers korrespondierenden Bild) zum realen Raum (zum Beispiel zum Blickfeld eines Benutzers), die durch einen Fotografiervorgang mit der nach außen gerichteten Kamera 110 erhalten werden, durchführen.
Möglicherweise bemerkt ein Benutzer ein Objekt, das im Blickfeld des Benutzers U ist, wenn das virtuelle Objekt durch die Anzeigesteuerung im realen Raum platziert wird, während hingegen der Benutzer ein Objekt, das außerhalb des Blickfelds des Benutzers U ist, schwer bemerkt.
Das Informationsverarbeitungssystem gemäß der vorliegenden Ausführungsform ermöglicht deshalb, dass verhindert wird, dass ein Zielobjekt außerhalb des Blickfelds übersehen wird, indem nämlich eine Hinführung zum Zielobjekt mittels eines Basispunktobjekts, das leicht die visuelle Aufmerksamkeit des Benutzers erregen kann, erfolgt.
Es wird davon ausgegangen, dass das Zielobjekt außerhalb des Blickfelds ein reales Objekt, an dem der Benutzer wahrscheinlich interessiert ist, oder ein vorbestimmtes reales Objekt, auf das der Benutzer hingewiesen werden soll, oder dergleichen ist.
Ferner kann das Informationsverarbeitungsendgerät 1 gemäß der vorliegenden Ausführungsform dem Benutzer zum Beispiel eine Produktkaufanforderung eines anderen Benutzers mitteilen. Wenn das Informationsverarbeitungsendgerät 1, wie oben beschrieben, zum Beispiel durch ein brillenartiges HMD realisiert ist und ein Benutzer das brillenartige HMD jeden Tag trägt, lässt sich der Nutzen weiter erhöhen, indem erlaubt wird, dass Familienmitglieder oder andere Personen zu Hause oder an anderen Orten eine Kaufanforderung zu einer zweckmäßigen Zeit, wenn der Benutzer gerade außer Hauses ist, übermitteln.
In der vorliegenden Patentbeschreibung wird im Folgenden zunächst eine Grundkonfiguration eines Informationsverarbeitungssystems gemäß der vorliegenden Ausführungsform beschrieben, und anschließend wird jede Funktion des Informationsverarbeitungssystems gemäß der vorliegenden Ausführungsform mit Bezug auf Beispiele ausführlich beschrieben.
«Konfiguration»
<Beispielhafte Systemkonfiguration>
Als Nächstes soll eine beispielhafte Konfiguration des Informationsverarbeitungssystems gemäß der vorliegenden Ausführungsform beschrieben werden. 2 ist ein Blockschema, das eine beispielhafte Konfiguration des Informationsverarbeitungssystems gemäß der vorliegenden Ausführungsform veranschaulicht. Das Informationsverarbeitungssystem gemäß der vorliegenden Ausführungsform enthält unter Bezugnahme auf 2 ein Informationsverarbeitungsendgerät 1 und einen Informationsverarbeitungsserver 2. Das Informationsverarbeitungsendgerät 1 und der Informationsverarbeitungsserver 2 sind über ein Netz 3 miteinander verbunden, sodass das Informationsverarbeitungsendgerät 1 und der Informationsverarbeitungsserver 2 miteinander kommunizieren können.
(Informationsverarbeitungsendgerät 1)
Das Informationsverarbeitungsendgerät 1 gemäß der vorliegenden Ausführungsform ist eine Informationsverarbeitungsvorrichtung, die die Funktion hat, einen Benutzer basierend auf einer Steuerung durch den Informationsverarbeitungsserver 2 zu einem Zielobjekt hinzuführen. Ferner kann das Informationsverarbeitungsendgerät 1 gemäß der vorliegenden Ausführungsform die Funktion haben, verschiedene Informationen zum Benutzerverhalten zu erheben.
(Informationsverarbeitungsserver 2)
Der Informationsverarbeitungsserver 2 gemäß der vorliegenden Ausführungsform ist eine Informationsverarbeitungsvorrichtung mit einer Funktion zum Steuern der Hinführung zu einem Zielobjekt durch das Informationsverarbeitungsendgerät 1. Insbesondere hat der Informationsverarbeitungsserver 2 zum Beispiel eine Agentenfunktion zum Interagieren mit einem Benutzer und kann durch eine der Informationspräsentationen durch den Agenten zu einem Zielobjekt hinführen. Die Agentenfunktion ist eine Funktion, die den Benutzer durch natürliche Sprache unterstützt, und wird manchmal als Funktion eines digitalen Assistenten, KI-Assistent (KI = künstliche Intelligenz), intelligenter persönlicher Agent oder anhand ähnlicher Begriffe bezeichnet.
(Netz 3)
Das Netz 3 hat die Funktion, das Informationsverarbeitungsendgerät 1 und den Informationsverarbeitungsserver 2 miteinander zu verbinden. Das Netz 3 kann ein öffentliches Netz wie das Internet, ein Telefonnetz, ein Satellitenkommunikationsnetz, verschiedene lokale Netze (LANs) wie ein Ethernet (eingetragene Marke), ein Weitbereichsnetz (WAN) oder dergleichen enthalten. Das Netz 3 kann dedizierte Netze wie ein Internet Protocol-Virtual Private Network (IP-VPN) enthalten. Und das Netz 3 kann drahtlose Kommunikationsnetze wie Wi-Fi (eingetragene Marke) oder Bluetooth (eingetragene Marke) enthalten.
Oben ist eine beispielhafte Systemkonfiguration des Informationsverarbeitungssystems gemäß der vorliegenden Ausführungsform beschrieben worden. Es sei angemerkt, dass die oben beschriebene Konfiguration, die unter Bezug auf 2 beschrieben worden ist, lediglich ein Beispiel darstellt und die Konfiguration des Informationsverarbeitungssystems gemäß der vorliegenden Ausführungsform nicht auf dieses Beispiel beschränkt ist. Die Funktionen des Informationsverarbeitungsendgeräts 1 und des Informationsverarbeitungsservers 2 gemäß der vorliegenden Ausführungsform können zum Beispiel auch durch ein einziges Gerät realisiert werden. Die Konfiguration des Informationsverarbeitungssystems gemäß der vorliegenden Ausführungsform kann abhängig von den Spezifikationen und vom Betriebsverhalten flexibel abgewandelt werden.
<Konfiguration des Informationsverarbeitungsendgeräts 1>
3 ist ein Blockschema, das eine beispielhafte Konfiguration des Informationsverarbeitungsendgeräts 1 gemäß der vorliegenden Ausführungsform veranschaulicht. 3 ist ein Blockschema, das eine beispielhafte Konfiguration des Informationsverarbeitungsendgeräts 1 gemäß der vorliegenden Ausführungsform veranschaulicht. Wie in 3 veranschaulicht, enthält das Informationsverarbeitungsendgerät 1 eine Sensoreinheit 11, eine Steuereinheit 12, eine Anzeigeeinheit 13, einen Lautsprecher 14, eine Kommunikationseinheit 15, eine Bedieneingabeeinheit 16 und eine Datenspeichereinheit 17.
(Sensoreinheit 11)
Die Sensoreinheit 11 hat die Funktion, verschiedenartige Benutzer- oder Umgebungsinformationen zu erfassen. Die Sensoreinheit 11 enthält zum Beispiel eine nach außen gerichtete Kamera 110, eine nach innen gerichtete Kamera 111, ein Mikro 112, einen Gyrosensor 113, einen Beschleunigungssensor 114, einen Orientierungssensor 115, eine Positionsbestimmungseinheit 116 und einen biometrischen Sensor 117. Das spezielle hierin genannte Beispiel für die Sensoreinheit 11 ist darüber hinaus rein beispielhaft, und die vorliegende Ausführungsform ist nicht darauf beschränkt. Darüber hinaus können von jedem Sensor auch mehrere Sensoren vorhanden sein.
Bei den konkreten beispielhaften Elementen der in 3 veranschaulichten Sensoreinheit 11 handelt es sich ferner um bevorzugte Beispiele, es müssen aber nicht unbedingt all diese Elemente vorhanden sein. Die Konfiguration kann zum Beispiel auch nur einen Teil der konkreten beispielhaften Elemente der in 3 veranschaulichten Sensoreinheit 11 wie die nach außen gerichtete Kamera 110, den Beschleunigungssensor 114 und die Positionsbestimmungseinheit 116 enthalten, oder sie kann noch einen weiteren Sensor enthalten.
Die nach außen gerichtete Kamera 110 und die nach innen gerichtete Kamera 111 enthalten je ein Linsensystem, das eine Abbildungslinse, eine Apertur, ein Zoomobjektiv, ein Fokusobjektiv oder dergleichen enthält, eine Aufnahmesteuerung, die bewirkt, dass das Linsensystem einen Fokussiervorgang und einen Zoomvorgang durchführt, eine Festkörperbildwandleranordnung, die durch das Linsensystem erhaltenes bildformendes Licht optoelektrisch umwandelt, um ein bildgebendes Signal zu generieren, oder dergleichen. Die Festkörperbildwandleranordnung kann zum Beispiel durch ein CCD-Sensor-Array (CCD = Charge Coupled Device) oder ein CMOS-Sensor-Array (CMOS = Complementary Metal Oxide Semiconductor) realisiert werden.
In der vorliegenden Ausführungsform ist die nach außen gerichtete Kamera 110 vorzugsweise so eingestellt, dass sie aufgrund ihres Blickwinkels und ihrer Orientierung einen mit dem Blickfeld eines Benutzers in einem realen Raum korrespondierenden Bereich aufnimmt.
Das Mikro 112 nimmt die Stimme eines Benutzers sowie Umgebungsgeräusche auf und gibt die Stimme des Benutzers sowie die Umgebungsgeräusche als Sprachdaten an die Steuereinheit 12 aus.
Der Gyrosensor 113 ist zum Beispiel durch einen dreiachsigen Gyrosensor realisiert und detektiert eine Winkelgeschwindigkeit (Drehgeschwindigkeit).
Der Beschleunigungssensor 114 ist zum Beispiel durch einen dreiachsigen Beschleunigungssensor (auch als G-Sensor bezeichnet) realisiert und detektiert die Beschleunigung während einer Bewegung.
Der Orientierungssensor 115 ist zum Beispiel durch einen dreiachsigen geomagnetischen Sensor (Kompass) realisiert und detektiert eine absolute Richtung (Azimut).
Die Positionsbestimmungseinheit 116 hat die Funktion, die momentane Position des Informationsverarbeitungsendgeräts 1 basierend auf einem von außen erfassten Signal zu detektieren. Insbesondere ist die Positionsbestimmungseinheit 116 zum Beispiel durch eine GPS-Positionsbestimmungseinheit (GPS = Global Positioning System) realisiert und empfängt eine Funkwelle von einem GPS-Satelliten, detektiert einen Standort, an dem sich das Informationsverarbeitungsendgerät 1 befindet, und gibt die Informationen zum detektierten Standort an die Steuereinheit 12 aus. Außer über das GPS kann die Positionsbestimmungseinheit 116 den Standort auch durch Senden und Empfangen zum Beispiel über Wi-Fi (eingetragene Marke), Bluetooth (eingetragene Marke), Mobiltelefone, das PHS, Smartphones oder dergleichen oder Near Field Communication detektieren.
Der biometrische Sensor 117 detektiert biometrische Benutzerinformationen. Insbesondere können zum Beispiel die Herzfrequenz, die Körpertemperatur, Schwitzen, der Blutdruck, Schwitzen, der Puls, die Atmung, Blinzeln, Augenbewegungen, die Blickdauer, die Pupillengröße, der Blutdruck, Gehirnwellen, Körperbewegungen, Körperpositionen, die Hauttemperatur, der elektrische Hautwiderstand, Mikrovibrationen (MV), die myoelektrische Spannung oder die Blutsauerstoffsättigung (SpO2) oder dergleichen detektiert werden.
(Steuereinheit 12)
Die Steuereinheit 12 fungiert als Arithmetikprozessor und Steuerteil und steuert die gesamten Abläufe des Informationsverarbeitungsendgeräts 1 gemäß verschiedenen Programmen. Die Steuereinheit 12 wird durch eine elektronische Schaltung wie zum Beispiel einen Hauptprozessor (CPU) oder einen Mikroprozessor realisiert. Die Steuereinheit 12 kann einen Festwertspeicher (ROM), der die zu nutzenden Programme, Kalkulationsparameter und dergleichen speichert, und einen Arbeitsspeicher (RAM), der Parameter, die entsprechend variieren, vorübergehend speichert, enthalten.
Die Steuereinheit 12 gemäß der vorliegenden Ausführungsform steuert zum Beispiel das Starten und Stoppen jeder Komponente. Ferner kann die Steuereinheit 12 ein durch den Informationsverarbeitungsserver 2 generiertes Steuersignal der Anzeigeeinheit 13 oder dem Lautsprecher 14 zuführen.
Ferner kann die Steuereinheit 12 gemäß der vorliegenden Ausführungsform als eine Erkennungseinheit 120, eine Antwortinformationserfassungseinheit 121 und eine Ausgabesteuereinheit 122 fungieren, wie in 3 veranschaulicht.
. Erkennungseinheit 120
Die Erkennungseinheit 120 hat die Funktion, Benutzer- oder Umgebungssituationsinformationen mittels verschiedener Sensorinformationen, die durch die Sensoreinheit 11 erfasst werden, zu erkennen (etwa zu detektieren). Die Erkennungseinheit 120 kann zum Beispiel eine Stimmerkennung basierend auf durch die Sensoreinheit 11 erfassten Benutzeräußerungen durchführen sowie Benutzeranforderungen und -antworten erkennen. Die Erkennungseinheit 120 kann das Benutzerverhalten aus Bild- und Sprachdaten, die durch die Sensoreinheit 11 erfasst werden, Positions-, Bewegungs- und sonstigen Informationen erkennen. Die Erkennungseinheit 120 gibt das Erkennungsergebnis an die Antwortinformationserfassungseinheit 121 aus.
Es sei angemerkt, dass von der Erkennungseinheit 120 gemäß der vorliegenden Ausführungsform möglicherweise eine einfache Erkennungsverarbeitung und eine weitergehende Erkennungsverarbeitung durch ein externes Gerät, zum Beispiel den Informationsverarbeitungsserver 2, durchgeführt wird. Indem die Erkennungseinheit 120 des Informationsverarbeitungsendgeräts 1 und eine Erkennungseinheit 201 des Informationsverarbeitungsservers 2 zweckmäßig genutzt werden, ist es also möglich, die Verarbeitungslast infolge der Verarbeitungsverteilung zu verringern, die Echtzeiteigenschaften zu verbessern und Sicherheit zu gewährleisten. Alternativ enthält das Informationsverarbeitungsendgerät 1 möglicherweise keine Erkennungseinheit 120, und es werden stattdessen alle Erkennungsprozesse durch ein externes Gerät, zum Beispiel den Informationsverarbeitungsserver 2, durchgeführt. Alternativ kann die Erkennungseinheit 120 gemäß der vorliegenden Ausführungsform auch eine Funktion aufweisen, die der Funktion der Erkennungseinheit 201 des Informationsverarbeitungsservers 2, die unten noch beschrieben wird, entspricht.
. Antwortinformationserfassungseinheit 121
Die Antwortinformationserfassungseinheit 121 erfasst basierend auf dem Ergebnis der Erkennung durch die Erkennungseinheit 120 dem Benutzer zu präsentierende Informationen (hierin als Antwortinformationen bezeichnet) und gibt die Informationen an die Ausgabesteuereinheit 122 aus. Die Antwortinformationen enthalten viele verschiedene Ausgabeinformationen, etwa eine Reaktion auf eine Benutzeranforderung, Führungsinformationen, die mit dem Benutzerverhalten korrespondieren, einen Hinweis auf ein vorbestimmtes Zielobjekt, eine Interaktion mit dem Murmeln eines Benutzers oder einen zur Situation passenden Dialog mit dem Benutzer. Die Antwortinformationen sind zum Beispiel möglicherweise Sprach- oder Bilddaten (Standbild, Bewegtbild, virtuelles Objekt (auch als AR-Bild bezeichnet)).
Die Antwortinformationen werden entweder aus der Datenspeichereinheit 17 oder über die Kommunikationseinheit 15 aus dem Informationsverarbeitungsserver 2 erfasst. Die Antwortinformationserfassungseinheit 121 überträgt das Ergebnis der Erkennung durch die Erkennungseinheit 120 zum Beispiel möglicherweise von der Kommunikationseinheit 15 an den Informationsverarbeitungsserver 2 und erfasst Antwortinformationen, die basierend auf dem Erkennungsergebnis im Informationsverarbeitungsserver 2 generiert werden.
Ferner ist die Antwortinformationserfassungseinheit 121 nicht auf den Fall beschränkt, dass ein Ergebnis einer Erkennung durch die Erkennungseinheit 120 vorliegt, sondern sie kann die Antwortinformationen auch basierend auf verschiedenen durch die Sensoreinheit 11 registrierten Sensorinformationen erfassen. Die Antwortinformationserfassungseinheit 121 überträgt zum Beispiel möglicherweise verschiedene durch die Sensoreinheit 11 registrierte Sensorinformationen von der Kommunikationseinheit 15 an den Informationsverarbeitungsserver 2 und erfasst Antwortinformationen, die basierend auf einer auf den verschiedenen Sensorinformationen basierenden Erkennungsverarbeitung, die im Informationsverarbeitungsserver 2 durchgeführt wird, generiert werden.
Alternativ kann die Antwortinformationserfassungseinheit 121 Antwortinformationen basierend auf dem Erkennungsergebnis und verschiedenen Sensorinformationen erfassen. Die Antwortinformationserfassungseinheit 121 überträgt zum Beispiel möglicherweise ein Erkennungsergebnis und verschiedene Sensorinformationen von der Kommunikationseinheit 15 an den Informationsverarbeitungsserver 2 und erfasst die Antwortinformationen, die basierend auf dem Erkennungsergebnis und den verschiedenen Sensorinformationen im Informationsverarbeitungsserver 2 generiert werden.
. Ausgabesteuereinheit 122
Die Ausgabesteuereinheit 122 führt eine Steuerung zur Ausgabe verschiedenartiger Informationen aus der Anzeigeeinheit 13 oder dem Lautsprecher 14 durch. Die Ausgabesteuereinheit 122 gemäß der vorliegenden Ausführungsform führt zum Beispiel eine Steuerung zur Ausgabe der durch die Antwortinformationserfassungseinheit 121 erfassten Antwortinformationen entweder durch Sprache oder durch eine Anzeige oder sowohl durch Sprache als auch durch eine Anzeige durch. Die Ausgabesteuereinheit 122 steuert zum Beispiel die Sprachausgabe aus dem Lautsprecher 14, wenn die Antwortinformationen Sprachdaten sind, und führt eine mit der Anzeigeeinheit 13 zusammenhängende Anzeigesteuerung aus, falls ein virtuelles Objekt vorliegt, das innerhalb des Blickfelds des Benutzers sein soll.
(Anzeigeeinheit 13)
Die Anzeigeeinheit 13 ist zum Beispiel durch eine (für eine Durchlichtanzeigeeinheit beispielhafte) Linseneinheit, die eine Anzeige zum Beispiel mittels einer holografischoptischen Technik durchführt, ein LCD-Display (LCD = Liquid Crystal Display), ein OLED-Display (OLED = Organic Light Emitting Diode) oder dergleichen realisiert. Darüber hinaus kann die Anzeigeeinheit 13 von einem lichtdurchlässigen, transflektiven oder lichtundurchlässigen Typ sein.
(Lautsprecher 14)
Der Lautsprecher 14 gibt Sprachsignale gemäß der Steuerung der Steuereinheit 12 wieder.
(Kommunikationseinheit 15)
Die Kommunikationseinheit 15 ist ein Kommunikationsmodul, durch das Daten über Kabel/drahtlos an andere Geräte gesendet und von anderen Geräten empfangen werden. Drahtlos kommuniziert die Kommunikationseinheit 15 mit externen Geräten entweder direkt oder über einen Netzzugangspunkt, zum Beispiel über ein kabelgebundenes lokales Netz (LAN), ein WLAN, Wireless Fidelity (Wi-Fi (eingetragene Marke), eine Infrarotkommunikation, Bluetooth (eingetragene Marke), Near Field Communication/kontaktlose Kommunikation, ein Mobilfunknetz (Long Term Evolution (LTE)), ein Mobilkommunikationssystem der 3. Generation (3G) oder dergleichen.
(Bedieneingabeeinheit 16)
Die Bedieneingabeeinheit 16 ist durch ein körperlich ausgestaltetes Bedienelement wie einen Schalter, einen Knopf oder einen Hebel realisiert.
(Datenspeichereinheit 17)
Die Datenspeichereinheit 17 ist durch einen Festwertspeicher (ROM), der bei Verarbeitungsvorgängen der oben beschriebenen Steuereinheit 12 genutzte Programme und Kalkulationsparameter speichert, und einen Arbeitsspeicher (RAM), der Parameter, die entsprechend variieren, vorübergehend speichert, realisiert. In der Datenspeichereinheit 17 gemäß der vorliegenden Ausführungsform können zum Beispiel die verschiedenen Sensorinformationen, die Erkennungsergebnisse, die Antwortinformationen, die Benutzerinformationen sowie sonstige Informationen gespeichert werden.
Oben ist die Konfiguration des Informationsverarbeitungsendgeräts 1 gemäß der vorliegenden Ausführungsform genauer beschrieben worden. Es sei angemerkt, dass die oben beschriebene Konfiguration, die unter Bezug auf 3 beschrieben worden ist, lediglich ein Beispiel darstellt und die Funktionskonfiguration des Informationsverarbeitungsendgeräts 1 gemäß der vorliegenden Ausführungsform nicht auf dieses Beispiel beschränkt ist. Zum Beispiel muss das Informationsverarbeitungsendgerät 1 gemäß der vorliegenden Ausführungsform nicht unbedingt alle der in 3 veranschaulichten Konfigurationen aufweisen. Das Informationsverarbeitungsendgerät 1 kann auch so konfiguriert sein, dass es etwa das Mikro 112, den biometrischen Sensor 117 oder dergleichen nicht enthält. Darüber hinaus kann das Informationsverarbeitungsendgerät 1 auch durch eine Vielzahl kommunikationsverbundener Geräte (ein von einem Benutzer separat getragenes Wearable, ein an einer Brille angebrachtes Gerät oder dergleichen) konfiguriert sein. Ferner kann zum Beispiel mindestens ein Teil der Funktionen der Steuereinheit 12 des Informationsverarbeitungsendgeräts 1 in einem anderen, über die Kommunikationseinheit 15 verbundenen Gerät untergebracht sein. Die Funktionskonfiguration des Informationsverarbeitungsendgeräts 1 gemäß der vorliegenden Ausführungsform kann abhängig von den Spezifikationen und vom Betriebsverhalten flexibel abgewandelt werden.
<Konfiguration des Informationsverarbeitungsservers 2>
4 ist ein Blockschema, das eine beispielhafte Konfiguration des Informationsverarbeitungsservers 2 gemäß der vorliegenden Ausführungsform veranschaulicht. Wie in 4 veranschaulicht, enthält der (für die Informationsverarbeitungsvorrichtung beispielhafte) Informationsverarbeitungsserver 2 eine Steuereinheit 20, eine Kommunikationseinheit 21 und eine Datenspeichereinheit 22.
(Steuereinheit 20)
Die Steuereinheit 20 fungiert als Arithmetikprozessor und Steuerteil und steuert die gesamten Abläufe des Informationsverarbeitungsservers 2 gemäß verschiedenen Programmen. Die Steuereinheit 20 wird durch eine elektronische Schaltung wie einen Hauptprozessor (CPU) oder einen Mikroprozessor realisiert. Die Steuereinheit 20 kann darüber hinaus einen Festwertspeicher (ROM), der die zu nutzenden Programme, Kalkulationsparameter und dergleichen speichert, und einen Arbeitsspeicher (RAM), der Parameter, die entsprechend variieren, vorübergehend speichert, enthalten.
Die Steuereinheit 20 gemäß der vorliegenden Ausführungsform fungiert auch als eine Erkennungseinheit 201, eine Antwortinformationsgenerierungseinheit 202, eine Sprachsyntheseeinheit 203 und eine Ausgabesteuereinheit 204, wie in 4 veranschaulicht.
. Erkennungseinheit 201
Die Erkennungseinheit 201 hat die Funktion, Benutzer- oder Umgebungssituationsinformationen basierend auf verschiedenen vom Informationsverarbeitungsendgerät 1 empfangenen Sensorinformationen zu erkennen (etwa zu detektieren).
Die Erkennungseinheit 201 kann zum Beispiel eine Benutzererkennung durchführen, indem sie eine Benutzeräußerung oder ein Bild von einem Benutzer, die durch das Informationsverarbeitungsendgerät 1 erhoben werden, mit Benutzerstimmeigenschaften bzw. -bildern abgleicht, die zuvor als Benutzererkennungsinformationen in einer Benutzerinformations-DB 221 gespeichert wurden.
Darüber hinaus kann die Erkennungseinheit 201 ein Benutzerverhalten basierend auf Toninformationen, Bildern und Sensorinformationen, die durch das Informationsverarbeitungsendgerät 1 erhoben werden, erkennen. Die Erkennungseinheit 201 kann zum Beispiel eine Stimmerkennung basierend auf durch das Informationsverarbeitungsendgerät 1 erhobenen Benutzeräußerungen durchführen sowie Anforderungen, Anweisungen, Antworten von Benutzern oder dergleichen erkennen. Die Erkennungseinheit 201 kann zudem Hobbys, Vorlieben, Termine von Benutzern oder dergleichen basierend auf Anforderungen, Anweisungen, Antworten von Benutzern oder dergleichen erkennen. Ferner kann die Erkennungseinheit 201 zum Beispiel den Status eines Benutzers (Joggen, Gehen, Fahren in einem Zug, Essen, Schlafen oder dergleichen, den Aufenthaltsort oder die momentane Tätigkeit des Benutzers) basierend auf den durch das Informationsverarbeitungsendgerät 1 erhobenen Bild- und Sensorinformationen erkennen.
Ferner kann die Erkennungseinheit 201 zum Beispiel die Position und die Haltung des Kopfes des Benutzers (einschließlich der Orientierung oder der Neigung des Gesichts mit Bezug auf den Körper), die Blicklinie des Benutzers, den Blickpunkt des Benutzers oder dergleichen im Zusammenhang mit einer auf den Benutzer bezogenen Erkennung erkennen. Die Erkennungseinheit 201 kann den Blickpunkt des Benutzers basierend auf der Blicklinie des Benutzers erkennen. Wenn die Blicklinie des Benutzers zum Beispiel mindestens eine vorbestimmte Zeit lang in einem bestimmten Bereich bleibt, kann die Erkennungseinheit 201 einen vor der Blicklinie des Benutzers liegenden Punkt (eine räumliche Position) als Blickpunkt detektieren. Es sei angemerkt, dass das Verfahren zum Detektieren des Benutzerblickpunkts durch die Erkennungseinheit 201 nicht auf dieses Beispiel beschränkt ist und die Detektion durch verschiedene bekannte Verfahren durchgeführt werden kann.
Ferner kann die Erkennungseinheit 201 eine dreidimensionale Form im Blickfeld eines Benutzers als Umgebungssituationsinformationen erkennen. Wenn das Informationsverarbeitungsendgerät 1 zum Beispiel mit der Vielzahl von nach außen gerichteten Kameras 110 ausgestattet ist, kann die Erkennungseinheit 201 aus Parallaxeninformationen ein Tiefenbild (Distanzbild) gewinnen und die dreidimensionale Form im Blickfeld des Benutzers erkennen. Und auch wenn das Informationsverarbeitungsendgerät 1 nur eine nach außen gerichtete Kamera 110 aufweist, erkennt die Erkennungseinheit 201 die dreidimensionale Form im Blickfeld des Benutzers trotzdem aus nacheinander erfassten Bildern.
Ferner kann die Erkennungseinheit 201 ein reales Objekt (Objekt) im Blickfeld des Benutzers als Umgebungssituationsinformationen detektieren. Insbesondere kann die Detektion des realen Objekts realisiert werden, indem zum Beispiel eine Grenzfläche des realen Objekts detektiert wird. In dieser Patentbeschreibung wird mit dem Ausdruck „Grenzfläche“ zum Beispiel eine Fläche zwischen einem realen Objekt und einem weiteren realen Objekt oder eine Fläche zwischen einem Raum, in dem keine realen Objekte sind, und dem realen Objekt oder dergleichen beschrieben. Die Grenzfläche kann darüber hinaus eine gekrümmte Fläche sein. Die Erkennungseinheit 201 kann das reale Objekt im Bild, das durch die nach außen gerichtete Kamera 110 erfasst wurde, detektieren oder kann die Grenzfläche des realen Objekts basierend auf der erkannten dreidimensionalen Form im Blickfeld des Benutzers detektieren. Wenn die dreidimensionale Form im Blickfeld des Benutzers zum Beispiel in Form von Punktwolkendaten ausgedrückt wird, kann die Erkennungseinheit 201 die Grenzfläche aufgrund einer Clusterung der Punktwolkendaten detektieren. Es sei angemerkt, dass das Verfahren zum Detektieren einer Grenzfläche durch die Erkennungseinheit 201 nicht auf dieses Beispiel beschränkt ist und die Detektion durch verschiedene bekannte Verfahren durchgeführt werden kann.
Ferner kann die Erkennungseinheit 201 die Objekterkennung am detektierten realen Objekt durchführen. Es bestehen keine besonderen Einschränkungen für die Objekterkennungsalgorithmen, hierbei in Frage kommen nämlich zum Beispiel unter anderem Techniken wie eine allgemeine Objekterkennung, bei der ein Objekt erkannt wird, indem Merkmale aus einem Eingabebild extrahiert und durch einen gelernten Klassifikator erkannt werden, oder eine spezifische Objekterkennung, bei der Merkmale aus einem Eingabebild extrahiert und die extrahierten Merkmale mittels eines Abgleichs mit einer zuvor generierten Datenbank bewertet werden.
Oben sind verschiedene Erkennungsprozesse, die durch die Erkennungseinheit 201 durchgeführt werden, beschrieben worden, wobei die Erkennungsprozesse mindestens zum Teil durch die Erkennungseinheit 120 des Informationsverarbeitungsendgeräts 1 oder eines externen Geräts durchgeführt werden können. Die Erkennungseinheit 120 des Informationsverarbeitungsendgeräts 1 kann zum Beispiel die oben beschriebene Erkennung der Haltung, der Blicklinie und des Blickpunkts des Benutzers und die Erkennung der dreidimensionalen Form im Blickfeld des Benutzers durchführen.
Darüber hinaus können verschiedene Erkennungsergebnisse, die durch die Erkennungseinheit 201 erkannt werden, in der Datenspeichereinheit 22 gespeichert werden.
• Antwortinformationsgenerierungseinheit 202
Die Antwortinformationsgenerierungseinheit 202 generiert einem Benutzer in Echtzeit zu präsentierende Informationen basierend auf den durch die Erkennungseinheit 201 erkannten Informationen zum Benutzer oder zur Situation um den Benutzer herum. Wie oben beschrieben, enthalten die „Antwortinformationen“ viele verschiedene Ausgabeinformationen, etwa eine Reaktion auf eine Benutzeranforderung, Führungsinformationen, die mit dem Benutzerverhalten korrespondieren, einen Hinweis auf ein vorbestimmtes Zielobjekt, eine Interaktion mit dem Murmeln eines Benutzers oder einen zur Situation passenden Dialog mit dem Benutzer.
Darüber hinaus kann die Antwortinformationsgenerierungseinheit 202 beim Generieren der Antwortinformationen Benutzerinformationen (Benutzerprofil, das bisherige Verhalten, bevorzugte Hobbys, Termine oder dergleichen), die in der Datenspeichereinheit 22 gesammelt worden sind, Antwortgenerierungsinformationen (eine feste Antwortformulierung, ein Antwortsatzmuster oder sonstige Daten, die mit vorbestimmten Schlüsselwörtern korrespondieren) und Inhalte (Nachrichten, Wettervorhersagen, Videos, Musik, Spiele oder dergleichen) und dergleichen nutzen oder kann Informationen nutzen, die von einem externen Gerät (etwa einem anderen Server), der über die Kommunikationseinheit 21 kommunikationsverbunden ist, erfasst worden sind. Es sei angemerkt, dass auf die generierten Inhalte der speziellen Antwortinformationen gemäß der vorliegenden Ausführungsform in jedem an späterer Stelle beschriebenen Beispiel noch eingegangen wird.
Ferner können die durch die Antwortinformationsgenerierungseinheit 202 generierten Antwortinformationen dem Benutzer durch einen visuellen oder akustischen Ausdruck im Informationsverarbeitungsendgerät 1 präsentiert werden. Mit dem visuellen Ausdruck ist konkret eine Form von Informationen gemeint, bei denen es sich annahmegemäß um Textdaten, Bilddaten (Standbild, Bewegtbild), ein AR-Objekt oder dergleichen handelt und die mittels der Anzeigeeinheit 13 des Informationsverarbeitungsendgeräts 1 ausgegeben werden. Mit dem akustischen Ausdruck sind hingegen Sprachdaten gemeint, die mittels des Lautsprechers 14 des Informationsverarbeitungsendgeräts 1 ausgegeben werden, hierbei wird eine künstliche Stimme durch die Sprachsyntheseeinheit 203, die unten noch beschrieben wird, erzeugt.
. Sprachsyntheseeinheit 203
Die Sprachsyntheseeinheit 203 hat die Funktion, eine künstliche Stimme, die aus dem Informationsverarbeitungsendgerät 1 ausgegeben wird, zu erzeugen. Insbesondere erzeugt die Sprachsyntheseeinheit 203 eine künstliche Stimme, die mit den durch die Antwortinformationsgenerierungseinheit 202 generierten Antwortinformationen korrespondiert.
. Ausgabesteuereinheit 204
Die Ausgabesteuereinheit 204 überträgt verschiedenartige Antwortinformationen wie die erzeugte künstliche Stimme oder die generierten visuellen Informationen an das Informationsverarbeitungsendgerät 1 und steuert das Informationsverarbeitungsendgerät 1 so, dass die Antwortinformationen ausgegeben werden.
Oben ist die Steuereinheit 20 gemäß der vorliegenden Ausführungsform beschrieben worden. Es sei angemerkt, dass die Funktion der Steuereinheit 20 gemäß der vorliegenden Ausführungsform nicht auf das in 4 veranschaulichte Beispiel beschränkt ist, sondern zum Beispiel auch eine Steuerung verschiedenartiger Geräte (Ein-/Ausschaltung, Bedienungssteuerung oder dergleichen) oder eine Nutzung von Internetdiensten (Einkäufe im Internet, Unterkunftsbuchungen, Sitzplatzreservierungen oder dergleichen) gemäß den erkannten Informationen zum Benutzer oder zur Situation um den Benutzer herum einschließen kann.
(Kommunikationseinheit 21)
Die Kommunikationseinheit 21 ist über Kabel oder drahtlos mit dem Netz 3 verbunden, und durch die Kommunikationseinheit werden über das Netz 3 Daten an externe Geräte gesendet sowie von externen Geräten empfangen. Die Kommunikationseinheit 21 ist zum Beispiel durch ein lokales Festnetz (LAN)/ein WLAN oder über Wireless Fidelity (Wi-Fi) (eingetragene Marke) mit dem Netz 3 kommunikationsverbunden. Insbesondere empfängt die Kommunikationseinheit 21 gemäß der vorliegenden Ausführungsform Ton-, Bild- und Sensorinformationen vom Informationsverarbeitungsendgerät 1. Darüber hinaus überträgt die Kommunikationseinheit 21 die durch die Antwortinformationsgenerierungseinheit 202 generierten Antwortinformationen oder die durch die Sprachsyntheseeinheit 203 erzeugte künstliche Stimme (Sprachdaten von Antwortinformationen) gemäß der Steuerung der Ausgabesteuereinheit 204 an das Informationsverarbeitungsendgerät 1.
(Datenspeichereinheit 22)
Die Datenspeichereinheit 22 ist durch ein ROM, das bei Verarbeitungsvorgängen der Steuereinheit 20 genutzte Programme, Kalkulationsparameter und dergleichen speichert, und ein RAM, das Parameter, die entsprechend variieren, vorübergehend speichert, realisiert. Die Datenspeichereinheit 22 gemäß der vorliegenden Ausführungsform speichert zum Beispiel eine Benutzerinformationsdatenbank (Benutzerinformations-DB) 221, eine Antwortgenerierungsinformations-DB 222 und eine Inhalts-DB 223.
Die Benutzerinformations-DB 221 speichert Benutzerprofile, das bisherige Verhalten, bevorzugte Hobbys, Termine und dergleichen. Diese können vorab registriert oder durch die Erkennungseinheit 201 automatisch aus einem Benutzerverhalten oder -dialog erkannt und erfasst werden. Darüber hinaus speichert die Antwortgenerierungsinformations-DB 222 einen beim Generieren von Antwortinformationen genutzten Algorithmus oder dergleichen. Es werden zum Beispiel feste Antwortformulierungen und Antwortsatzmuster, die mit vorbestimmten Schlüsselwörtern korrespondieren, gespeichert.
Darüber hinaus speichert die Inhalts-DB 223 Inhalte wie Nachrichten, Wettervorhersagen, Videos, Musik, Spiele oder dergleichen. Derartige Inhalte können durch regelmäßiges Erfassen aktueller Informationen von außen durch die Kommunikationseinheit 21 gesammelt werden.
Oben ist eine beispielhafte Funktionskonfiguration des Informationsverarbeitungsservers 2 gemäß der vorliegenden Ausführungsform beschrieben worden. Es sei angemerkt, dass die oben beschriebene Funktionskonfiguration, die unter Bezug auf 4 beschrieben worden ist, lediglich ein Beispiel darstellt und die Funktionskonfiguration des Informationsverarbeitungsservers 2 gemäß der vorliegenden Ausführungsform nicht auf dieses Beispiel beschränkt ist. Zum Beispiel muss der Informationsverarbeitungsserver 2 nicht unbedingt alle der in 4 veranschaulichten Konfigurationen aufweisen. Die Erkennungseinheit 201, die Antwortinformationsgenerierungseinheit 202, die Sprachsyntheseeinheit 203, die Ausgabesteuereinheit 204 und die Datenspeichereinheit 22 können statt im Informationsverarbeitungsserver 2 auch in einem anderen Gerät bereitgestellt sein. Die Funktionskonfiguration des Informationsverarbeitungsservers 2 gemäß der vorliegenden Ausführungsform kann abhängig von den Spezifikationen oder vom Betriebsverhalten flexibel abgewandelt werden.
Es kann zum Beispiel mindestens ein Teil der Konfiguration der Erkennungseinheit 201, der Antwortinformationsgenerierungseinheit 202, der Sprachsyntheseeinheit 203, der Ausgabesteuereinheit 204 und der Datenspeichereinheit 22 in einem externen Gerät untergebracht sein, oder es kann mindestens ein Teil jeder Funktion der Steuereinheit 20 durch das Informationsverarbeitungsendgerät 1 oder die Informationsverarbeitungsvorrichtung (zum Beispiel einen sogenannten Edge-Server) mit einer relativ kurzen Kommunikationsdistanz zum Informationsverarbeitungsendgerät 1 realisiert sein. Wie oben beschrieben, ist es möglich, durch eine zweckmäßige Verteilung aller Konfigurationen des Informationsverarbeitungsservers 2 die Echtzeitleistung zu verbessern, die Verarbeitungslast zu verringern und ferner Sicherheit zu gewährleisten.
Darüber hinaus sind alle Konfigurationen der Steuereinheit 20, die in 4 veranschaulicht ist, und der Datenspeichereinheit 22 im Informationsverarbeitungsendgerät 1 bereitgestellt, und das Informationsverarbeitungssystem gemäß der vorliegenden Ausführungsform kann durch die Anwendung des Informationsverarbeitungsendgeräts 1 ausgeführt werden.
«Erste Ausführungsform»
Als Nächstes sollen beispielhafte Funktionen des Informationsverarbeitungssystems gemäß der vorliegenden Ausführungsform mit Bezug auf die 5 bis 10 beschrieben werden.
Das Informationsverarbeitungssystem gemäß der ersten Ausführungsform enthält ein Informationsverarbeitungsendgerät 1a, das Produktkaufanforderungsinformationen von einem ersten Benutzer (Kaufanforderer) erhebt, ein Informationsverarbeitungsendgerät 1b, das einem zweiten Benutzer (einem stellvertretenden Käufer) Produktkaufanforderungsinformationen zweckmäßig präsentiert, und einen Informationsverarbeitungsserver 2, der Antwortinformationen für jeden Benutzer generiert. In der vorliegenden Ausführungsform wird zum Beispiel davon ausgegangen, dass der erste Benutzer und der zweite Benutzer zu einer Familie gehören und eine vom System bereitgestellte Agentenfunktion von dieser Familie gemeinsam genutzt wird.
Der Informationsverarbeitungsserver 2 (ein virtueller Agent) kann über das Informationsverarbeitungsendgerät 1a und das Informationsverarbeitungsendgerät 1b mit jedem Benutzer ein jeweiliges Gespräch führen. Es bestehen keine besonderen Einschränkungen dafür, wie die Informationsverarbeitungsendgeräte 1 ausgeführt sein müssen, zum Beispiel kann das Informationsverarbeitungsendgerät 1a (etwa ein stationäres, dediziertes Gerät, siehe 6) ein zu Hause aufgestelltes Gerät sein, während das Informationsverarbeitungsendgerät 1b ein Wearable (in Form eines brillenartigen HMD oder dergleichen) ist, das vom zweiten Benutzer getragen wird.
<Konfiguration>
Die Grundkonfiguration des Informationsverarbeitungsservers 2 so ist wie mit Bezug auf 4 beschrieben, jedoch wird in dieser Ausführungsform, genauer in der Antwortinformationsgenerierungseinheit 202 der Steuereinheit 20, die Erhebung der Produktkaufanforderungsinformationen oder der Antwortinformationen für eine Anforderung zweckmäßig generiert. Eine Konfiguration einer Antwortinformationsgenerierungseinheit 202-1 gemäß der vorliegenden Ausführungsform, die die Antwortinformationen für den Benutzer im Zusammenhang mit einer solchen Anforderung generiert, wird mit Bezug auf 5 beschrieben.
5 ist ein Blockschema, das eine beispielhafte Konfiguration der Antwortinformationsgenerierungseinheit 202-1 des Informationsverarbeitungsservers 2 gemäß der vorliegenden Ausführungsform veranschaulicht. Wie in 5 veranschaulicht, fungiert die Antwortinformationsgenerierungseinheit 202-1 als eine Anforderungsinformationserhebungsantwort-Generierungseinheit 300, eine Anforderungsinhaltsbestimmungseinheit 301, eine Prioritätskalkulationseinheit 302, eine zur Bestimmung schrittweiser Mitteilungen vorgesehene Einheit 303, eine Abstraktionsgradbestimmungseinheit 304 und eine Anforderungsantwortgenerierungseinheit 305.
(Anforderungsinhaltbestimmungsfunktion)
Die Antwortinformationsgenerierungseinheit 202-1 erhebt und bestimmt die Anforderungsinhalte durch die Anforderungsinformationserhebungsantwort-Generierungseinheit 300 und die Anforderungsinhaltsbestimmungseinheit 301.
Insbesondere generiert die Anforderungsinformationserhebungsantwort-Generierungseinheit 300 in zweckmäßiger Weise Antwortinformationen (Fragesatz) zum Erheben von Anforderungsinformationen zum Produktkauf eines Benutzers und präsentiert die generierten Antwortinformationen einem Benutzer durch das Informationsverarbeitungsendgerät 1. Konkrete Beispiele für die Antwortinformationen (Fragesatz) zum Erheben der Anforderungsinformationen werden unten noch beschrieben, es können zum Beispiel genaue Informationen bezüglich des Kaufs wie der Artikel, die Stückzahl, der Preis und die Besorgungsart (wo ein Kauf möglich ist oder wer gefragt werden kann) durch eine Benutzerinteraktion erfasst werden.
Die Anforderungsinhaltsbestimmungseinheit 301 bestimmt ein Element aus dem Anforderungsinhalt (in diesem Fall den Einkaufsinhalt) aus dem Gespräch mit dem Benutzer. In dieser Ausführungsform stellt der Benutzer eine Frage, solange bis die Anforderungsinhaltsbestimmungseinheit 301 ein element aus dem Anforderungsinhalt bestimmt, und wenn die nötigen Informationen verfügbar sind, bestimmt die Anforderungsinhaltsbestimmungseinheit 301, ob der Anforderungsinhalt korrekt ist oder nicht, nachdem sie vom Benutzer eine Einwilligung eingeholt hat.
(Anforderungsfunktion)
Darüber hinaus führt die Antwortinformationsgenerierungseinheit 202-1 eine Kaufanforderungsantwort an einen Benutzer durch die Prioritätskalkulationseinheit 302, die zur Bestimmung schrittweiser Mitteilungen vorgesehene Einheit 303, die Abstraktionsgradbestimmungseinheit 304 und die Anforderungsantwortgenerierungseinheit 305 durch. Beim Anfordern eines Kaufs beim Benutzer werden die Kaufanforderungsinformationen bevorzugt im Verlauf eines natürlichen Gesprächs mit dem Benutzer in einzelnen Schritten angefangen bei einer Angabe mit hoher Priorität und einem hohen Abstraktionsgrad präsentiert. Infolgedessen lässt sich zum Beispiel sicherstellen, dass der Benutzer nicht unnötig irritiert wird oder ihm nicht unverhältnismäßig viele Informationen zur Anforderung präsentiert werden, da die Anforderung möglicherweise abgelehnt wird, wenn sofort detaillierte Informationen präsentiert werden.
Insbesondere kalkuliert die Prioritätskalkulationseinheit 302 die Priorität jeder Angabe der bestimmten Anforderungsinhalte. Für den Prioritätskalkulationsalgorithmus bestehen keine besonderen Einschränkungen, es kann zum Beispiel eine Angabe mit hoher Priorität kalkuliert werden, wenn geschätzt wird, dass diese Angabe einen großen Einfluss auf die Bestimmung durch einen stellvertretenden Käufer, ob er einen Kauf durch einen Stellvertreter durchführen möchte oder nicht, haben wird. Eine hohe Priorität wird zum Beispiel für Informationen kalkuliert, die angeben, was gekauft werden soll, mit wie viel Aufwand ein Kauf verbunden sein wird und ob ein Artikel dringend erforderlich ist. Die Prioritätskalkulationseinheit 302 kann die Priorität unter Berücksichtigung des momentanen Status des stellvertretenden Käufers kalkulieren. Wenn der stellvertretende Käufer zum Beispiel mit dem Fahrrad oder zu Fuß unterwegs ist, wird für Transportinformationen wie die Stückzahl, die Größe und das Gewicht gekaufter Artikel eine hohe Priorität kalkuliert. Wenn ferner die Zeit, die nötig ist, um an einen Kaufort zu gelangen, basierend auf dem momentanen Standort eines stellvertretenden Käufers und dem Fortbewegungsmittel einen vorbestimmten Wert überschreitet, wird für die Kaufortinformationen eine hohe Priorität kalkuliert. Ferner kann die Priorität des Betrags für einen zu kaufenden Artikel abhängig vom Betrag, über den der stellvertretende Käufer gerade verfügt, kalkuliert werden.
Im Folgenden werden Angaben aufgeführt, die zum Beispiel als Anforderungsinhalte gelten können. Die im Folgenden aufgeführten Angaben sind lediglich beispielhaft, die vorliegende Ausführungsform ist nicht auf sie beschränkt, und es ist nicht immer nötig, beim Einholen der oben beschriebenen Anforderungsinformationen vom Kaufanforderer Informationen zu allen folgenden Angaben zu erfassen. Zu den angeforderten Angaben können außer den im Folgenden aufgeführten Angaben auch noch andere Angaben gehören.

• Kaufanforderungsprodukt-Artikel, Marke (Verkäufer/Hersteller), Produktname, Produktnummer, Produktbild, Größe, Gewicht, Farbe und dergleichen
• Kaufgrund (Zweck)
• Stückzahl
• Budget
• Kaufort, Name des Geschäfts, Adresse (Karte), Bild vom Geschäft, Inventurstatus, Preis, Rabattinformationen und dergleichen
• Gewünschter Kaufzeitpunkt (heute, bis o Uhr, bis morgen und dergleichen)
• Lieferanschrift (Familie, Freund und dergleichen) • Versandmethode (wenn zu Hause und dergleichen)
• Zahlungsmethode (E-Wallet-Zugriff für die ganze Familie oder dergleichen)

Die zur Bestimmung schrittweiser Mitteilungen vorgesehene Einheit 303 bestimmt, ob eine schrittweise Mitteilung der Anforderungsinformationen abhängig von der Umgebung des Benutzers (eines stellvertretenden Käufers) durchgeführt werden soll, und bewertet das Verfahren zur schrittweisen Mitteilung, wenn schrittweise Mitteilungen durchgeführt werden. Bei der Umgebung des Benutzers handelt es sich um Informationen zum von der Erkennungseinheit 201 erkannten Benutzer und schließen zum Beispiel die Benutzersituation (den Ort und die momentane Tätigkeit (oder Zeitinformationen)), einen Status der Nutzung eines Ausgabegeräts (Informationsverarbeitungsendgerät 1), Ausgabeeigenschaften oder dergleichen ein. Als Informationsverarbeitungsendgerät 1 kommen verschiedene Geräte mit unterschiedlichen Ausgabeeigenschaften in Frage, etwa ein zum Präsentieren mit akustischen Informationen ausgelegtes Gerät, ein zum Präsentieren mit visuellen Informationen ausgelegtes Gerät, ein zum Präsentieren mit akustischen und visuellen Informationen ausgelegtes Gerät oder ein zum Präsentieren virtueller Objekte (AR-Anzeige) als visuelle Informationen ausgelegtes Gerät. Als Verfahren zur schrittweisen Mitteilung kommen zum Beispiel schrittweise Ausgabemitteilungen mittels visueller und akustischer Informationen, schrittweise Ausgabemitteilungen nur mittels akustischer Informationen und schrittweise Ausgabemitteilungen nur mittels visueller Informationen und dergleichen in Frage.
Nach einer Bewertung der zur Bestimmung schrittweiser Mitteilungen vorgesehenen Einheit 303 ist zum Beispiel die schrittweise Mitteilung möglich, wenn der Benutzer in einem Status, in dem er ein (für das Informationsverarbeitungsendgerät 1 beispielhaftes) brillenartiges HMD trägt, gerade joggt, und sie bestimmt ein Verfahren zum schrittweisen Mitteilen von Anforderungsinformationen durch eine Sprachausgabe und ein Bild. Selbst wenn der Benutzer in dem Status, in dem er das (für das Informationsverarbeitungsendgerät 1 beispielhafte) brillenartige HMD trägt, gerade Auto fährt, wird bestimmt, dass die schrittweise Mitteilung möglich ist, wobei dies durch ein Verfahren zum schrittweisen Mitteilen von Anforderungsinformationen mittels einer Mitteilung durch eine Sprachausgabe während des Fahrens und mittels eines Bilds nach dem Anhalten bestimmt wird. Wenn der Benutzer gerade ein Smartphone-Endgerät bedient, wird darüber hinaus festgelegt, dass die Antwortinformationen in Bildform zu präsentieren sind, falls es aber für einen Benutzer besser verständlich ist, wenn die genauen Informationen zur Anforderung auf einmal anstatt als schrittweise Mitteilung angezeigt werden, kann in diesem Fall bestimmt werden, dass die schrittweise Mitteilung nicht durchzuführen ist.
Die Abstraktionsgradbestimmungseinheit 304 bestimmt einen Abstraktionsgrad der Mitteilungsinformationen, der bei jedem Schritt durch die zur Bestimmung schrittweiser Mitteilungen vorgesehene Einheit 303 gemäß der Ausgabeeinheit bestimmt wird. Die Abstraktionsgradbestimmungseinheit 304 bestimmt zum Beispiel beim Schritt einer Audiopräsentation einen höheren Abstraktionsgrad als beim Schritt einer Bildpräsentation. Wird bei einer Präsentation detaillierter Informationen durch eine Sprachausgabe vermutet, dass die Inhalte den Benutzer irritieren könnten und er sie nur schwer im Gedächtnis behalten kann, werden bevorzugt Informationen mit einem hohen Abstraktionsgrad durch eine Sprachpräsentation präsentiert. Im Fall einer Bildpräsentation hingegen werden bevorzugt Informationen mit einem niedrigen Abstraktionsgrad (hohe Konkretheit) präsentiert, da Informationen zu einem Einkauf einfach mittels Text, Schaubildern, Fotos und dergleichen kommuniziert werden können.
Die Anforderungsantwortgenerierungseinheit 305 generiert Antwortinformationen (Satz mit einer Antwort (Äußerung), Bild oder dergleichen), um einem Benutzer Abstraktionsgradanforderungsinformationen, die mit dem durch die Abstraktionsgradbestimmungseinheit 304 bestimmten Abstraktionsgrad korrespondieren, mitzuteilen. Die Angaben der Anforderungsinformationen, die mitgeteilt werden sollen, werden entweder basierend auf einer vorbestimmten Reihenfolge, die im Voraus festgelegt wird, oder zufällig oder basierend auf der durch die Prioritätskalkulationseinheit 302 kalkulierten Priorität, Benutzeräußerungsinhalten (einer Frage zu einer Anforderung vom Benutzer, dem Verlauf eines Dialogs mit dem Benutzer) oder dergleichen bestimmt.
Erfolgt eine Generierung basierend auf Prioritäten, generiert die Anforderungsantwortgenerierungseinheit 305 zum Beispiel zunächst Antwortinformationen zum Ermitteln, ob ein Kauf durch einen Stellvertreter möglich ist oder nicht, zusammen mit Informationen zu einer Angabe (zum Beispiel „Kaufort“) mit der höchsten Priorität unter den Angaben der Anforderungsinformationen. Hierbei präsentiert die Anforderungsantwortgenerierungseinheit 305 Informationen zu einer Angabe mit einer höheren Priorität, deren Ebene mit dem durch die Abstraktionsgradbestimmungseinheit 304 bestimmten Abstraktionsgrad korrespondiert. Wenn die Anforderungsinformationsangabe zum Beispiel „Kaufort“ lautet, kann angegeben werden, dass der Abstraktionsgrad für „Kaufortname (Name des Geschäfts)“ hoch und für „Adresse (Karte)“ und „Bild vom Geschäft“ niedrig ist (hohe Konkretheit). Wenn die Anforderungsinformationsangabe zum Beispiel „Kaufanforderungsprodukt“ lautet, kann angegeben werden, dass der Abstraktionsgrad für „Artikel“ hoch ist, während für „Produktname“ und „Marke“ der nächsthöhere Abstraktionsgrad gilt und der Abstraktionsgrad für „Produktnummer“ und „Produktbild“ niedrig ist. Es sei angemerkt, dass möglicherweise eine Vielzahl von Angaben mitzuteilender Anforderungsinformationen vorhanden ist, und im Fall einer Sprachpräsentation können zum Beispiel Antwortinformationen zum Ermitteln, ob ein Kauf durch einen Stellvertreter möglich ist, zusammen mit den Kaufortinformationen und den Produktinformationen mit einem hohen Abstraktionsgrad generiert werden.
Ferner kann die Anforderungsantwortgenerierungseinheit 305 eine Angabe mitzuteilender Anforderungsinformationsangabe grundsätzlich basierend auf einer vorbestimmten Reihenfolge, die im Voraus festgelegt wird, oder der kalkulierten Priorität bestimmen und, wenn eine Frage eines Benutzers vorliegt, die Antwortinformationen im Wesentlichen (mit Unterbrechung) so generieren, dass sie Informationen zu der Angabe, auf die sich die Frage bezieht, enthalten.
Darüber hinaus kann die Anforderungsantwortgenerierungseinheit 305 dazu genutzt werden, um anhand der bisherigen Einkäufe eines Benutzers oder einer Familie den Kenntnisstand eines Benutzers (eines stellvertretenden Käufers) in Bezug auf den Kaufanforderungsartikel oder dergleichen zu schätzen und den Kaufanforderungsartikel beim Mitteilen der Anforderungsinformationen abzurufen.
Ferner bestehen keine Einschränkungen insofern, als die Anforderungsantwortgenerierungseinheit 305 gemäß der vorliegenden Ausführungsform nicht zwangsläufig nur Antwortinformationen für eine schrittweise Mitteilung der Anforderungsinformationen generiert, sondern sie die Antwortinformationen für die Anforderungsinformationsmitteilung auch nach Bedarf abhängig von der Benutzerumgebung generieren kann. Wenn das vom Benutzer genutzte Informationsverarbeitungsendgerät 1 zum Beispiel Eigenschaften aufweist, aufgrund derer die schrittweise Mitteilung nicht bevorzugt wird, etwa wenn es sich um ein Smartphone oder ein Tablet-Endgerät handelt, kann die Anforderungsantwortgenerierungseinheit 305 Bildschirmdaten generieren, die die genauen Anforderungsinformationen jeweils als Antwortinformationen präsentieren.
Oben ist die Antwortinformationsgenerierungseinheit 202-1 gemäß der vorliegenden Ausführungsform genauer beschrieben worden. Im Folgenden soll ein Ablaufschema dieser Ausführungsform beschrieben werden.
<Ablaufprozess>
(Prozess der Erhebung von Anforderungsinformationen)
Zunächst soll ein Prozess der Erhebung von Anforderungsinformationen von einem Kaufanforderer mit Bezug auf die 6 und 7 beschrieben werden.
Die Anforderungsinformationen vom Kaufanforderer können zum Beispiel über das Informationsverarbeitungsendgerät 1 durch einen Sprachdialog zwischen dem Benutzer und dem Agenten erhoben werden. 6 ist eine Abbildung zum Erläutern eines beispielhaften Informationsverarbeitungsendgeräts gemäß der vorliegenden Ausführungsform. Wie in 6 veranschaulicht, kann das Informationsverarbeitungsendgerät 1a zum Beispiel durch ein stationäres, dediziertes Gerät realisiert sein, und die Anforderungsinformationen können durch einen mit der Benutzerin A durchgeführten Sprachdialog erhoben werden. Hierbei kann die Analyse mündlicher Äußerungen der Benutzerin A oder die Generierung von Sprachausgaben eines Agenten zum Beispiel durch den Informationsverarbeitungsserver 2, der über das Netz 3 mit dem Informationsverarbeitungsendgerät 1a verbunden ist, durchgeführt werden.
Das Informationsverarbeitungsendgerät 1a kann Informationen präsentieren, indem es durch eine Sprachausgabe oder, falls nötig, einen im Informationsverarbeitungsendgerät 1a bereitgestellten Projektor (zum Beispiel einen kleinen Einzelfokusprojektor) ein Bild auf eine Wandfläche projiziert. Hier wird beispielhaft ein stationäres, dediziertes Gerät veranschaulicht, jedoch ist die vorliegende Ausführungsform nicht darauf beschränkt, und das Informationsverarbeitungsendgerät 1a kann zum Beispiel auch ein Smartphone sein. In diesem Fall wird die Sprachausgabe des Agenten aus dem Lautsprecher des Smartphones ausgegeben, es wird eine Interaktion mit der Benutzerin A durchgeführt, und die Anforderungsinformationen werden erhoben.
7 ist ein Flussdiagramm, das ein Schema der Abläufe beim Erheben von Anforderungsinformationen gemäß dieser Ausführungsform veranschaulicht. Wie in 7 veranschaulicht, nutzt der Informationsverarbeitungsserver 2 zunächst die Anforderungsinformationserhebungsantwort-Generierungseinheit 300 zum Erfassen der Anforderungsinhalte, während er über das Informationsverarbeitungsendgerät 1a mit der Benutzerin A (der Anforderin) interagiert (Schritt S103).
Als Nächstes wiederholt der Informationsverarbeitungsserver 2 den Dialog mit der Kundin, solange bis die Anforderungsinhaltsbestimmungseinheit 301 das Anforderungsziel bestimmen kann (Schritt S106). Als Anforderungsinformationen, die zu erheben sind, dienen zum Beispiel Informationen wie ein Artikel, eine Marke, ein Produktname oder eine Produktnummer des gekauften Produkts, mindestens das Produkt, das identifiziert werden kann, und Informationen wie eine Stückzahl, ein Budget und ein gewünschter Kaufzeitpunkt.
Sobald ein Ziel bestimmt worden ist (Schritt S106/ja), sucht die Anforderungsinhaltsbestimmungseinheit 301 nach in Frage kommenden Erwerbsmitteln (Schritt S109). Zu Beispielen für Erwerbsmittel zählen ein Einkauf im Internet, ein Einkauf in einem realen Geschäft, eine Kaufanforderung in einem realen Geschäft oder dergleichen.
Als Nächstes schlägt die Anforderungsinhaltsbestimmungseinheit 301 der Anforderin ein Erwerbsmittel vor (Schritt S112) und bestimmt das von der Anforderin erhaltene Erwerbsmittel (Schritt S115).
Der Informationsverarbeitungsserver 2 führt einen Produkterwerbsprozess, der basierend auf den erhobenen Anforderungsinformationen bestimmt worden ist, durch ein Erwerbsmittel durch, in das die Kundin eingewilligt hat. Im Fall eines Einkaufs im Internet wird durch das Informationsverarbeitungsendgerät 1a eine vorbestimmte Versandhandels-Website oder dergleichen auf der Wandfläche angezeigt, und die Kaufverarbeitung wird gemäß einer Anweisung der Benutzerin A durchgeführt (oder die Kaufverarbeitung wird automatisch durchgeführt). Wenn die Benutzerin A einen Einkauf in einem realen Geschäft selbst tätigt, zeigt der Informationsverarbeitungsserver 2 ferner eine Karte mit der Route zum realen Geschäft durch das Informationsverarbeitungsendgerät 1a auf der Wandfläche an oder führt eine Navigation oder dergleichen durch, wenn die Benutzerin A sich in Bewegung setzt. Wenn in die Kaufanforderung in einem realen Geschäft eingewilligt wird, präsentiert der Informationsverarbeitungsserver 2 alternativ die Kaufanforderung und die Anforderungsinformationen dem stellvertretenden Käufer, bei dem es sich um einen Anforderungspartner handelt. Der Prozess, bei dem dem stellvertretenden Käufer die Anforderungsinformationen präsentiert werden, wird mit Bezug auf 8 weiter unten noch beschrieben.
Oben ist ein beispielhafter Anforderungsinformationserhebungsprozess gemäß der vorliegenden Ausführungsform beschrieben worden. Es sei angemerkt, dass das in 7 veranschaulichte Ablaufschema nur beispielhaft ist und die vorliegende Offenbarung nicht auf das in 7 veranschaulichte Beispiel beschränkt ist. Die vorliegende Offenbarung ist zum Beispiel nicht auf die in 7 veranschaulichte Reihenfolge der Schritte beschränkt. Mindestens einer der Schritte kann auch parallel oder in umgekehrter Reihenfolge verarbeitet werden. Nach der Bestimmung des Erwerbsverfahrens, die beim Schritt S115 veranschaulicht wird, kann zum Beispiel der beim Schritt S103 veranschaulichte Anforderungsinhaltserfassungsprozess durchgeführt werden, um das Ziel zu bestimmen.
Ferner müssen nicht alle der in 7 veranschaulichten Prozesse ausgeführt werden. Das Erwerbsverfahren kann zum Beispiel auch automatisch bestimmt und der beim Schritt S115 veranschaulichte Prozess zum Einholen einer Einwilligung deshalb ausgelassen werden.
Ferner müssen nicht unbedingt alle der in 7 veranschaulichten Prozesse nur durch ein Gerät durchgeführt werden. Die Verarbeitung vom Schritt S103 bis zum Schritt S106 wird zum Beispiel möglicherweise durch das Informationsverarbeitungsendgerät 1a durchgeführt, während hingegen die Verarbeitung vom Schritt S109 bis zum Schritt S115 durch den Informationsverarbeitungsserver 2 durchgeführt wird.
Außerdem müssen die in 7 veranschaulichten Prozesse nicht unbedingt durchgehend nacheinander durchgeführt werden. Zum Beispiel kann der bei den Schritten S112 bis S115 veranschaulichte Prozess, nachdem die bei den Schritten S103 bis S109 veranschaulichten Prozesse durchgeführt worden sind, auch zu einem vorbestimmten Zeitpunkt durchgeführt werden (zum Beispiel wenn eine Anforderung der Benutzerin vorliegt, wenn die Benutzerin nicht beschäftigt ist oder wenn sich mehrere Kaufanforderungen angesammelt haben).
Nunmehr soll ein beispielhafter Dialog (über das Informationsverarbeitungsendgerät 1a) mit der Benutzerin A (der Kaufanforderin) des Agenten, der die Anforderungsinformationen erhebt, veranschaulicht werden. Der folgende beispielhafte Dialog findet in einer Situation statt, in der die Benutzerin A zum Beispiel zusammen mit einem Agenten überlegt, welches Geschenk für eine Abschiedsfeier, die heute stattfinden wird, in Frage käme.
(Dialogbeispiel)
Agent: „Wie wäre es mit diesem Gericht?“ (Produktpräsentation; das Informationsverarbeitungsendgerät 1a projiziert ein Bild von einem vorliegenden, in Frage kommenden Gericht mit einem Projektor an eine Wand)
Benutzerin A (Ehefrau): „Gut, wo kann ich es kaufen?“
Agent: „Es wird zum Beispiel im Geschäft World Kitchen AA in der Nähe des Büros von Benutzerin A oder in einem Gemischtwarenladen mit dem Namen CC in der Nähe von Park B verkauft.“ (Präsentation von Kaufortinformationen)
Benutzerin A (Ehefrau): „Der Gemischtwarenladen CC verkauft es also?“
Agent: „Ja, dieser Laden führt es seit kurzem.“
Benutzerin A (Ehefrau): „Der Gemischtwarenladen CC ist nicht weit weg, aber schaffen wir das, bevor die Feier anfängt?“
Agent: „Benutzerin A, dein Mann ist vermutlich gerade in der Nähe von Park B zu Fuß unterwegs. Warum fragst du nicht ihn, ob er es kauft?“ (Suche nach einem Erwerbsmittel und Vorschlagen eines Kaufs durch einen Stellvertreter)
Benutzerin A (Ehefrau): „Ja, gute Idee. Kannst du das übernehmen?“
Agent: „Ja, klar. Wie viele brauchst du davon?“ (Erhebung von Anforderungsinformationen; Produktinformationen wurden infolge der Agentenempfehlung bereits erhoben)
Benutzerin A (Ehefrau): „Zwei bitte. Du bist meine Rettung!“
Agent: „Ja.“ (Erhebung von Anforderungsinformationen ist beendet)
Hier schlägt der Informationsverarbeitungsserver 2 den Kauf durch einen Stellvertreter durch den Benutzer B als in Frage kommendes Erwerbsmittel vor. Dabei kann der Informationsverarbeitungsserver 2 den Status des stellvertretenden Käufers berücksichtigen und den Kauf durch einen Stellvertreter vorschlagen, wenn eine günstige Möglichkeit zu einem Kauf durch einen Stellvertreter besteht. In diesem Zusammenhang bezeichnet der „Status des stellvertretenden Käufers“ zum Beispiel den momentanen Standort, den gerade verfügbaren Betrag (oder einen Status in Form eines alternativen zur Verfügung stehenden Mittels wie einer Kreditkarte), das Mittel zum Transportieren des gekauften Produkts, wobei vom momentanen Fortbewegungsmittel ausgegangen wird (zu Fuß unterwegs, auf dem Fahrrad, im Auto), die für einen Kauf durch einen Stellvertreter zur Verfügung stehende Zeit (Termine, Dialog mit dem stellvertretenden Käufer, feststellbar durch eine Kontextanalyse durch die Erkennungseinheit 201) oder dergleichen.
In der vorliegenden Ausführungsform wird davon ausgegangen, dass der Agent von der Familie gemeinsam genutzt wird und dass zum Beispiel der Benutzer B, bei dem es sich um den Ehemann der Benutzerin A handelt, das Informationsverarbeitungsendgerät 1b (ein brillenartiges HMD) jeden Tag trägt, wenn er außer Hauses ist. Deswegen kann der Informationsverarbeitungsserver 2 den Status des Benutzers B in Echtzeit erkennen. Deshalb nimmt der Informationsverarbeitungsserver 2 zum Beispiel Bezug auf den momentanen Status des Benutzers B, wenn eine Kaufanforderung der Benutzerin A vorliegt und der Benutzer B gerade in der Nähe des Kauforts joggt und den zu kaufenden Artikel mit nach Hause nehmen könnte, wobei dem Benutzer B der Kauf durch einen Stellvertreter deshalb vorgeschlagen wird, weil eine günstige Möglichkeit zum Kauf durch einen Stellvertreter besteht. Wenn sich der Benutzer B hingegen nicht in der Nähe des Kauforts aufhält, wenn der Benutzer B zu Fuß oder mit dem Fahrrad unterwegs ist, wenn der zu kaufende Artikel schwer ist oder wenn es schwierig ist, ihn nach Hause mitzunehmen, besteht keine günstige Möglichkeit zum Kauf durch einen Stellvertreter, sodass dem Benutzer B der Kauf durch einen Stellvertreter dann nicht vorgeschlagen wird.
Im obigen Dialogbeispiel erkennt der Informationsverarbeitungsserver 2 richtig die Standortinformationen des Benutzers B, des Ehemanns der Benutzerin A, durch das Informationsverarbeitungsendgerät 1b (ein brillenartiges HMD), das vom Benutzer B getragen wird, um aber die Benutzerprivatsphäre zu schützen, wird dies durch „Der Benutzer B ist vermutlich gerade in der Nähe von Park B zu Fuß unterwegs“ ausgedrückt.
(Prozess der Mitteilung von Anforderungsinformationen)
Als Nächstes wird der Prozess, bei dem dem stellvertretenden Käufer Anforderungsinformationen mitgeteilt werden, mit Bezug auf 8 beschrieben. 8 ist ein Flussdiagramm, das ein Schema der Abläufe beim Mitteilen von Anforderungsinformationen gemäß dieser Ausführungsform veranschaulicht.
Wie in 8 veranschaulicht, kalkuliert die Prioritätskalkulationseinheit 302 des Informationsverarbeitungsservers 2 zunächst die Prioritäten jeder Angabe der Anforderungsinformationen, die von der Benutzerin A (der Anforderin) gemäß dem in 7 veranschaulichten Ablauf erhoben wurden (Schritt S203).
Als Nächstes erfasst der Informationsverarbeitungsserver 2 die Echtzeitumgebung des Benutzers B (des stellvertretenden Käufers) (Schritt S206). Insbesondere erkennt der Informationsverarbeitungsserver 2 hierbei unter Nutzung der Erkennungseinheit 201 (4) die Umgebung des Benutzers B basierend auf Sprach-, Bild- und verschiedenen Sensorinformationen, die vom Informationsverarbeitungsendgerät 1b, das vom Benutzer B (vom stellvertretenden Käufer) getragen wird, übertragen werden.
Als Nächstes holt der Informationsverarbeitungsserver 2 eine Kaufanforderungsberechtigung des stellvertretenden Käufers ein (Schritt S209). Der Informationsverarbeitungsserver 2 interagiert mit dem stellvertretenden Käufer zum Beispiel über das Informationsverarbeitungsendgerät 1b, um zu prüfen, ob der Kauf durch einen Stellvertreter möglich ist. Dabei kann der Informationsverarbeitungsserver 2 Bezug auf die ungefähren Inhalte des Kaufs durch einen Stellvertreter nehmen. Es wird zum Beispiel möglicherweise davon ausgegangen, wer die Frage stellt, warum ein Artikel benötigt wird und was gekauft werden soll (Informationen mit einem hohen Abstraktionsgrad, die ein Produkt nicht identifizieren können) wie „Deine Frau bittet dich darum, dass du etwas einkaufst“, „Deine Frau möchte, dass du ein Gericht einkaufst“ oder „Deine Frau möchte, dass du ein Geschenk für die heutige Feier einkaufst“.
Wenn eine Berechtigung vom stellvertretenden Käufer eingeholt werden kann (Schritt S212/ja), bestimmt der Informationsverarbeitungsserver 2 als Nächstes unter Nutzung der zur Bestimmung schrittweiser Mitteilungen vorgesehenen Einheit 303, der Abstraktionsgradbestimmungseinheit 304 und der Anforderungsantwortgenerierungseinheit 305 den Abstraktionsgrad bei jedem Schritt der schrittweisen Mitteilung unter Berücksichtigung der Benutzerumgebung (einschließlich der Geräteeigenschaften) und meldet dem stellvertretenden Käufer die Anforderungsinformationen schrittweise (Schritt S215). Insbesondere bestimmt der Informationsverarbeitungsserver 2, ob die zur Bestimmung schrittweiser Mitteilungen vorgesehene Einheit 303 die schrittweise Mitteilung abhängig von der Benutzerumgebung durchführen kann oder nicht. Der Informationsverarbeitungsserver 2 bestimmt beim Durchführen der schrittweisen Mitteilung den Abstraktionsgrad mitzuteilender Informationen abhängig von den Eigenschaften des Geräts, also eines Ausgabemittels (Ton, Bildanzeige oder dergleichen), wie oben beschrieben. Der Abstraktionsgrad ist zum Beispiel hoch, wenn eine Sprachpräsentation erfolgt, während hingegen der Abstraktionsgrad niedrig ist, wenn die Präsentation durch eine Bildanzeige erfolgt. Ferner können die mitzuteilenden Anforderungsinformationen abhängig von der kalkulierten Priorität oder dem Dialog mit dem Benutzer mitgeteilt werden.
Nach dem Bestätigen des Anforderungsproduktkaufs durch den stellvertretenden Käufer beendet der Informationsverarbeitungsserver 2 den Anforderungsinformationsmitteilungsprozess (Schritt S218). Es ist zum Beispiel möglich zu erkennen, dass der stellvertretende Käufer das Anforderungsprodukt über ein vom Informationsverarbeitungsendgerät 1b übertragenes Bild (ein aufgenommenes Bild, das mit dem Blickfeld des stellvertretenden Käufers korrespondiert) gekauft hat.
Wenn hingegen keine Berechtigung eingeholt werden kann (Schritt S212/nein), überträgt der Informationsverarbeitungsserver 2 eine Einwilligungsablehnungsantwort an den stellvertretenden Käufer (Benutzer B) und teilt der Anforderin (Benutzerin A) die Ablehnung mit.
Oben ist ein beispielhaftes Ablaufschema gemäß der vorliegenden Ausführungsform beschrieben worden. Es sei angemerkt, dass das in 8 veranschaulichte Ablaufschema nur beispielhaft ist und die vorliegende Offenbarung nicht auf das in 8 veranschaulichte Beispiel beschränkt ist. Die vorliegende Offenbarung ist zum Beispiel nicht auf die in 8 veranschaulichte Reihenfolge der Schritte beschränkt. Mindestens einer der Schritte kann auch parallel oder in umgekehrter Reihenfolge verarbeitet werden. Die Prozesse der Schritte S209 bis S212 und die Prozesse des Schritts S215 können zum Beispiel auch parallel oder in umgekehrter Reihenfolge durchgeführt werden.
Außerdem müssen nicht alle der in 8 veranschaulichten Prozesse ausgeführt werden. Der beim Schritt S203 veranschaulichte Prioritätskalkulationsprozess kann zum Beispiel ausgelassen werden.
Ferner müssen nicht unbedingt alle der in 8 veranschaulichten Prozesse nur durch ein Gerät durchgeführt werden. Die Prozesse können zum Beispiel durch eine Vielzahl von Vorrichtungen durchgeführt werden, etwa indem der Informationsverarbeitungsserver 2 die Prozesse der Schritte S203 bis S212, das Informationsverarbeitungsendgerät 1 den Prozess des Schritts S215 und der Informationsverarbeitungsserver 2 den Prozess der Schritte S218 und S221 durchführt.
Ferner müssen die in 8 veranschaulichten Prozesse nicht unbedingt durchgehend nacheinander durchgeführt werden. Zum Beispiel können die bei den Schritten S203 bis S206 veranschaulichte Prozesse in periodischen Abständen durchgeführt werden, und daraufhin können die bei den Schritten S209 bis S218 veranschaulichten Prozesse zu einem vorbestimmten Zeitpunkt durchgeführt werden (zum Beispiel sobald die Benutzeranforderung empfangen wird, der Benutzer in einem vorbestimmten Status ist oder dergleichen).
Nunmehr soll ein beispielhafter Dialog (über das Informationsverarbeitungsendgerät 1b) mit dem Benutzer B (dem stellvertretenden Käufer) dabei, wenn die Anforderungsinformationen durch den Agenten mitgeteilt werden, veranschaulicht werden. Im folgenden Dialogbeispiel wird zum Beispiel von einer Situation ausgegangen, in der der Benutzer B, der das als brillenartiges HMD realisierte Informationsverarbeitungsendgerät 1b trägt, beim Joggen in einem Park mit einem Agenten spricht (die Stimme des Agenten wird aus dem Lautsprecher des Informationsverarbeitungsendgeräts 1b ausgegeben).
(Dialogbeispiel)
Agent: „Benutzer B, ist bei dir alles klar?“
Benutzer B (Ehemann): „Was ist los?“
Agent: „Deine Frau möchte, dass du ein Geschenk für die heutige Feier einkaufst.“ (Der Informationsverarbeitungsserver 2 überträgt durch eine Sprachpräsentation zunächst nur die ungefähren Anforderungsinformationen (Informationen mit einem hohen Abstraktionsgrad).)
Benutzer B (Ehemann): „Ach ja, die Feier, was soll ich denn besorgen?“
Agent: „Es geht um ein Gericht, das in einem Gemischtwarenladen verkauft wird, der CC heißt. Deine Frau hat es schon mal gekauft.“ (Der Informationsverarbeitungsserver 2 teilt dann Informationen mit einem relativ hohen Abstraktionsgrad wie den Namen des Kauforts und den Namen des Artikels mit. Darüber hinaus kann der Informationsverarbeitungsserver 2 Bezug auf die bisherigen Käufe der Familie nehmen und eine Antwort übermitteln, die aufgreift, was der Benutzer B einer Schätzung zufolge über den Kaufanforderungsartikel bereits weiß.)
Benutzer B (Ehemann): „Gut. Wie sieht das Gericht aus?“
Agent: (Wie in 9 veranschaulicht, führt das Informationsverarbeitungsendgerät 1b eine Anzeige durch, bei der das AR-Bild 31 von dem Gericht, also dem Kaufanforderungsprodukt, über beiden Händen des Benutzers B eingeblendet wird, und kann infolgedessen konkrete Informationen (Informationen mit einem niedrigen Abstraktionsgrad) wie das Aussehen und die Größe des Anforderungsprodukts präsentieren.)
Benutzer B (Ehemann): „Gut, wo wird das Gericht noch mal verkauft?“
Agent: „Der Gemischtwarenladen CC ist ganz in der Nähe, darf ich den Kauf anfordern?“ (Der Informationsverarbeitungsserver 2 antwortet auf die Frage des Benutzers, dass der Kaufort in der Nähe ist, und fragt, ob ein Kauf durch einen Stellvertreter möglich ist.)
Benutzer B (Ehemann): „Ja, okay.“
Agent: „Danke.“ (Die Berechtigung zu einem Kauf durch einen Stellvertreter wird eingeholt.)
Benutzer B (Ehemann): „Kannst du mich dorthin führen?“
Agent: „Ja, dazu musst du gleich links abbiegen.“ (Der Informationsverarbeitungsserver 2 kalkuliert eine Route zum Ziel und führt die Sprachnavigation unten fort.)
Als Nächstes wird ein beispielhafter Dialog nach der Ankunft am Ziel veranschaulicht.
(Beispielhafter Dialog nach der Ankunft am Ziel)
Benutzer B (Ehemann): „Worum ging es noch mal? Weißt du noch, wie das Gericht hieß?“
Agent: „Möchtest du, dass ich dir noch mal ein Bild davon zeige?“
Benutzer B (Ehemann): „Ja, bitte.“
Agent: „Hier, bitte sehr.“ (Das Informationsverarbeitungsendgerät 1b zeigt als Antwort auf eine Anforderung des Agenten das AR-Bild 31 noch einmal an, wie in 9 veranschaulicht.)
Benutzer B (Ehemann): „Gut, das finde ich.“
Benutzer B (Ehemann): „Da ist es ja, das ist doch das Gericht, oder?“
Agent: „Ja.“ (Der Informationsverarbeitungsserver 2 analysiert das Gericht, das der Benutzer B in der Hand hält, durch eine Bilderkennung und erkennt, ob es mit dem Kaufanforderungsartikel übereinstimmt.)
Benutzer B (Ehemann): „Wie viele soll ich davon kaufen?“
Agent: „Sie hat zwei gesagt.“ (Angabe einer Stückzahl als Antwort auf eine Frage des Benutzers B)
Benutzer B (Ehemann): „Gut. Dann kaufe ich es jetzt.“
Nach dem Bestätigen des Kaufs des Benutzers B beendet der Informationsverarbeitungsserver 2 den Anforderungsinformationsmitteilungsprozess.
(Beispiel für einen Dialog beim Fahren)
Als Nächstes wird ein Beispiel für einen Dialog bezüglich einer Anforderungsinformationsmitteilung während einer Autofahrt eines stellvertretender Käufers veranschaulicht. Während des Fahrens werden aus Sicherheitsgründen bevorzugt keine auf visuellen Informationen beruhenden Anforderungsinformationen präsentiert, sondern es erfolgen nur Mitteilungen mittels akustischer Informationen. Aus Sicherheitsgründen wird bevorzugt längere Zeit lang nicht geredet. Die akustischen Informationen können aus einem Autolautsprecher oder einem Lautsprecher eines vom Benutzer B getragenen Geräts ausgegeben werden.
Agent: „Benutzer B, ist bei dir alles klar?“
Benutzer B (Ehemann): „Was ist los?“
Agent: „Deine Frau möchte, dass du ein Gericht einkaufst. Das Gericht kannst du in einem Geschäft einkaufen, das etwa 2 Meilen von hier entfernt ist.“ (Der Informationsverarbeitungsserver 2 teilt bevorzugt Kaufortinformationen mit, weil zum Kaufort eine bestimmte Entfernung zurückzulegen ist. Was die Inhalte der Anforderung betrifft, werden darüber hinaus Informationen mit einem hohen Abstraktionsgrad zu einem Produkt und einem Kaufort präsentiert, etwa „Gericht“ und „Geschäft, das etwa 2 Meilen von hier entfernt ist“.)
Benutzer B (Ehemann): „Okay.“
Agent: „Danke.“
Benutzer B (Ehemann): „Kannst du mich dorthin führen?“
Agent: „Ja, an der nächsten Ampel musst du rechts abbiegen.“
(Danach wird die Sprachnavigation fortgesetzt.)
Agent: „Wir sind gleich da. Das Geschäft ist ein Gemischtwarenladen, der CC heißt und sich rechts befindet. Es gibt dort einen freien Parkplatz, da kannst du parken.“ (Da es bis zum Ziel nicht mehr weit ist, werden detaillierte Informationen zum Kaufort wie „Gemischtwarenladen, der CC heißt“ präsentiert.)
Der Dialog bei der Mitteilung der Anforderungsinformationen, nachdem der Benutzer B nach der Ankunft am Ziel ausgestiegen ist und das Geschäft betreten hat, entspricht dem Dialog im oben beschriebenen Beispiel. So ist es möglich, dem Benutzer B während einer Autofahrt durch eine Sprachausgabe sowie Bilder mitzuteilen, wann er aussteigen soll, und die Anforderungsinformationen schrittweise zu präsentieren.
(Smartphone-Beispielsfall)
Wenn ein stellvertretender Käufer ein (für das Informationsverarbeitungsendgerät 1 beispielhaftes) Smartphone in der Hand hält und eine andere Anwendung bedient, wie oben beschrieben, bestimmt der Informationsverarbeitungsserver 2, dass spezielle Informationen statt durch eine schrittweise Mitteilung bevorzugter jeweils durch visuelle Informationen mitgeteilt werden sollen. Auch in diesem Fall zeigt der Informationsverarbeitungsserver 2 zunächst eine Kaufanforderungsmitteilungsnachricht wie „Deine Frau hat eine Kaufanforderung gesendet“ auf dem Smartphone an, und es wird eine Berechtigung zum Kauf durch einen Stellvertreter beim Benutzer B eingeholt, woraufhin detaillierte Informationen präsentiert werden können.
Wenn der Benutzer B zum Beispiel auf die Kaufanforderungsmitteilungsanzeige tippt, präsentiert der Informationsverarbeitungsserver 2 die detaillierten Informationen der Anforderungsinformationen, wie in 10 veranschaulicht, auf der Anzeigeeinheit des Smartphones. 10 ist eine Abbildung, die beispielhaft veranschaulicht, wie die Anforderungsinformationen gemäß der vorliegenden Ausführungsform auf einem Smartphone-Bildschirm präsentiert werden. Wie in 10 veranschaulicht, enthält der Anforderungsinformationsanzeigebildschirm 32 die Angabe, von wem die Anforderung stammt, ein Bild vom Kaufanforderungsprodukt, Produktinformationen (Marke, Fabrikationsnummer), die Stückzahl, den Preis, den Namen des Geschäfts und dergleichen. Infolgedessen kann der Benutzer B überlegen, ob er die Berechtigung zum Kauf durch einen Stellvertreter erteilen möchte.
Darüber hinaus wird auf dem Anforderungsinformationsanzeigebildschirm 32 eine Option („JA“, „NEIN“) für die Erteilung oder Nichterteilung der Berechtigung zu einem Kauf durch einen Stellvertreter angezeigt, und der Benutzer B kann nach der Bestätigung der Inhalte auswählen, ob er sie erteilt oder nicht erteilt.
<Wirkung>
Wie oben beschrieben, ist es in dieser Ausführungsform möglich, Anforderungen an Familienmitglieder in einer zweckmäßigen Situation (zum Beispiel Familienmitglieder, die außer Hauses sowie in der Nähe eines Kauforts sind) durch einen von den Familienmitgliedern oder sonstigen Personen gemeinsam genutzten Agenten (eine vom Informationsverarbeitungssystem gemäß dieser Ausführungsform bereitgestellte Agentenfunktion) zu richten und das Alltagsleben komfortabler zu gestalten. Da systemseitig die jeweilige Situation jedes Benutzers bekannt ist und zweckmäßig bestimmt wird, ob ein Kauf durch einen Stellvertreter möglich ist, müssen die Benutzer keinen unnötigen Aufwand mit dem Prüfen der Status derjenigen Familienmitglieder, die außer Hauses sind, treiben. Darüber hinaus ist es möglich, das von einem Stellvertreter gekaufte Produkt direkt vor Ort daheim zu erhalten, indem Familienmitglieder dazu aufgefordert werden.
Darüber hinaus präsentiert das Informationsverarbeitungssystem gemäß der vorliegenden Ausführungsform abstrakte Informationen schrittweise mittels visueller und akustischer Informationen bei einer Anforderung eines Kaufs durch einen Stellvertreter, wodurch ermöglicht wird, dass die Informationen zum Kauf durch einen Stellvertreter oder die Anforderungsinformationen so präsentiert werden, dass dies den jeweiligen stellvertretenden Käufer nicht irritiert.
<<Zweite Ausführungsform>>
Als Nächstes soll eine weitere beispielhafte Funktion eines Informationsverarbeitungssystems gemäß der vorliegenden Ausführungsform mit Bezug auf die 11 bis 16 beschrieben werden.
Wie oben beschrieben, sind die oben beschriebenen Techniken, die in der Patentliteratur 1 und der Patentliteratur 2 offenbart werden, effektiv, wenn ein Objekt, an dem der Benutzer wahrscheinlich interessiert ist, in das Blickfeld des Benutzers eintritt, während das systemseitige Mitteilen von Objekten, die nicht in das Blickfeld des Benutzers eintreten, mit Schwierigkeiten verbunden ist.
Infolgedessen übersieht der Benutzer möglicherweise Objekte, an denen der Benutzer wahrscheinlich interessiert ist.
Zum Beispiel ist in der Situation, von der in der ersten Ausführungsform ausgegangen wird, nachdem ein Benutzer B an einem Geschäft angelangt ist, eine Hinführung gemäß dieser Ausführungsform sogar dann wirksam, wenn während einer Anforderungsproduktsuche in dem Geschäft kein Zielobjekt gefunden werden kann.
In der vorliegenden Ausführungsform ist es in der Situation, von der in der ersten Ausführungsform ausgegangen wird, sobald ein Benutzer B an einem Geschäft angelangt ist und nach einem Objekt sucht, falls zufällig ein Objekt vorhanden ist, an dem der Benutzer B wahrscheinlich interessiert ist, dann möglich, dem Benutzer B dies mitzuteilen und zu verhindern, dass er es übersieht.
Selbstverständlich sind anstelle der Situation, von der in der ersten Ausführungsform ausgegangen wird, auch noch andere Situationen möglich, und wenn in dieser Ausführungsform ein vorbestimmtes Objekt, das ein Benutzer nicht bemerkt hat, gefunden wird, ist es möglich, dem Benutzer B dies mitzuteilen und zu verhindern, dass er es übersieht.
Das Blickfeld eines Menschen hat eine horizontale Ausdehnung von etwa 180° bis 210°, wobei aber die Retina im mittleren Teil (in der Fovea; dem Teil mit dem höchsten Auflösungsvermögen und der größten Sehschärfe) sehr empfindlich ist und der mittlere Teil nur etwa 2° groß ist. Aus diesem Grund sieht der Benutzer nicht immer alle Objekte (reale Objekte), die in einem mit dem Blickfeld des Benutzers korrespondierenden Bild (einem Bild, das durch ein vom Benutzer getragenes Informationsverarbeitungsendgerät 1b aufgenommen wurde) erkannt werden, und viele Objekte können hierbei übersehen werden, selbst wenn sich Objekte innerhalb des Blickfelds befinden.
Deshalb ist es in dieser Ausführungsform möglich zu verhindern, dass Objekte übersehen werden, indem nämlich der Benutzer mittels eines Basispunktobjekts, das leicht die visuelle Aufmerksamkeit des Benutzers erregt, zu einem Zielobjekt außerhalb des Blickfelds hingeführt wird.
Ein Informationsverarbeitungssystem gemäß dieser Ausführungsform enthält ein Informationsverarbeitungsendgerät 1b, das die Situation eines Benutzers erkennt, und einen Informationsverarbeitungsserver 2, der dem Benutzer eine Position eines vorbestimmten Zielobjekts, das aus einem mit dem Blickfeld eines Benutzers korrespondierenden Bild extrahiert wurde, durch das Informationsverarbeitungsendgerät 1b mitteilt. Mitteilungen an den Benutzer können mittels einer künstlichen Stimme erfolgen, die beispielhaft für eine vom vorliegenden System bereitgestellte Agentenfunktion ist.
Das Informationsverarbeitungsendgerät 1b ist mit einer Kamera (der nach außen gerichteten Kamera 110) ausgestattet, die ein mit dem Blickfeld eines Benutzers korrespondierendes Bild aufnimmt, wobei davon ausgegangen wird, dass die Kamera zum Beispiel durch das mit Bezug auf 1 beschriebene brillenartige HMD realisiert ist.
<Konfiguration>
Die Grundkonfiguration des Informationsverarbeitungsservers 2 ist so wie mit Bezug auf 4 beschrieben, und konkret generiert in dieser Ausführungsform eine Antwortinformationsgenerierungseinheit 202 einer Steuereinheit 20 in zweckmäßiger Weise Antwortinformationen zum Hinführen eines Benutzers zu einem Zielobjekt außerhalb eines Blickfelds mittels eines Basispunktobjekts, das leicht die visuelle Aufmerksamkeit des Benutzers erregt und aus dem mit dem Blickfeld des Benutzers korrespondierenden Bild extrahiert wird. Die Konfiguration der Antwortinformationsgenerierungseinheit 202-2 gemäß der vorliegenden Ausführungsform, die die Antwortinformationen für die Hinführung zu einem Zielobjekt außerhalb des Blickfelds generiert, wird mit Bezug auf 11 beschrieben.
11 ist ein Blockschema, das eine beispielhafte Konfiguration der Antwortinformationsgenerierungseinheit 202-2 des Informationsverarbeitungsservers 2 gemäß der vorliegenden Ausführungsform veranschaulicht. Wie in 11 veranschaulicht, fungiert die Antwortinformationsgenerierungseinheit 202-2 als eine Zielobjekt-/Basispunktobjekt-Extraktionseinheit 310, als eine Zielobjekt-/Basispunktobjekt-Datenspeichereinheit 311, als eine zum Kollationieren sichtbarer Objekte vorgesehene Einheit 312 und als eine Führungsinformationsgenerierungseinheit 313.
Die Zielobjekt-/Basispunktobjekt-Extraktionseinheit 310 extrahiert ein Zielobjekt und ein Basispunktobjekt aus einem mit dem Blickfeld des Benutzers korrespondierenden Bild. Das „mit dem Blickfeld des Benutzers korrespondierende Bild“ weist hierbei vorzugsweise einen horizontalen Blickwinkel von 180° bis 210° auf, der mit dem Blickfeld eines Menschen, wie oben beschrieben, korrespondiert, es muss aber nicht unbedingt diesen Blickwinkel aufweisen, sondern es kann auch einen Blickwinkel aufweisen, bei dem es sich um die Richtung handelt, die mit der Blicklinie des Benutzers statt mit dem Sehzentrum (2° horizontal) oder dem effektiven Blickfeld (ungefähr 30° horizontal) mit einer hervorragenden Informationsaufnahmefähigkeit korrespondiert. Der Blickwinkel beträgt in einer horizontalen Richtung, die mit der Blicklinie des Benutzers korrespondiert zum Beispiel möglicherweise etwa 60° bis 90°. Ein „Zielobjekt“ in dieser Patentbeschreibung ist ein vorbestimmtes Objekt, das dem Benutzer mitgeteilt wird, unter Objekten, die in einem realen Raum angeordnet sind, zum Beispiel um ein Objekt, das einer Schätzung zufolge für den Benutzer von Interesse ist. Das Objekt, das einer Schätzung zufolge für den Benutzer von Interesse ist, kann zum Beispiel basierend auf einem vom Benutzer bevorzugten Hobby, einer Favoritenliste (Lesezeichen) des Benutzers, einem Suchverlauf, einer Einkaufsliste, einer Liste von persönlichen Dingen, einem bisherigen Verhalten, einem Benutzerkontext oder dergleichen bestimmt werden. Die Informationen werden in einer Benutzerinformations-DB 221 (siehe 4) gespeichert. Alternativ ist das „Zielobjekt“ möglicherweise ein im Voraus registriertes Objekt (zum Beispiel ein Produkt aus der Werbung, ein empfohlenes Produkt, ein themenbezogenes Produkt oder dergleichen), das einem Benutzer mitgeteilt werden soll.
In der vorliegenden Patentbeschreibung wird ferner davon ausgegangen, dass es sich bei dem „Basispunktobjekt“ um ein Objekt handelt, das um das Zielobjekt in dem realen Raum herum angeordnet ist und leicht die visuelle Aufmerksamkeit einer Person erregt (das die Person mit Wahrscheinlichkeit bemerken wird), bevorzugter ist es jedoch ein „Objekt, das von einem Benutzer visuell erkannt wird“.
Wenn zum Beispiel der Blickpunkt eines Benutzers und ein Objekt, das in einem mit dem Blickfeld des Benutzers korrespondierenden Bild erkannt wird, teilweise zusammenfallen (zum Beispiel so lange, dass hierbei ein vorbestimmter Schwellenwert überschritten wird), kann die Zielobjekt-/Basispunktobjekt-Extraktionseinheit 310 das Objekt als ein „von einem Benutzer erkanntes Objekt“ festlegen. Der Blickpunkt des Benutzers kann basierend auf einem Bild von den Augen des Benutzers, das von einer nach innen gerichteten Kamera 111 sowie aus dem Informationsverarbeitungsendgerät 1 erfasst wird, einer Position und einer Haltung des Kopfes eines Benutzers oder dergleichen erkannt werden.
Es sei angemerkt, dass das Verfahren zum Festlegen eines „von einem Benutzer erkannten Objekts“ nicht auf das auf dem Benutzerblickpunkt basierende Verfahren beschränkt ist und dass zum Beispiel auch ein Objekt, das mindestens eine vorbestimmte Zeit lang ungefähr in der Mitte (also in der Mitte der Richtung, in der die Blicklinie des Benutzers verläuft) des mit dem Blickfeld des Benutzers korrespondierenden Bilds bleibt, als das vom Benutzer visuell erkannte Objekt festgelegt werden kann.
Ferner muss das Basispunktobjekt nicht unbedingt das vom Benutzer visuell erkannte Objekt sein. Als Basispunktobjekt festgelegt werden kann zum Beispiel auch ein Objekt (ein auffälliges Objekt), das ein vorbestimmtes Kriterium erfüllt und einer Schätzung zufolge für einen Benutzer am meisten hervorsticht, etwa eine auffällige oder großflächige Farbe (Farbton, Helligkeit) im mit dem Blickfeld des Benutzers korrespondierenden Bild. Als Basispunktobjekt festgelegt werden kann ferner ein Objekt (zum Beispiel ein Objekt, das am größten ist), das sich um das Zielobjekt herum befindet und einer Schätzung zufolge unter den Objekten, die vom Benutzer visuell erkannt werden, dasjenige ist, das am meisten hervorsticht. Der Begriff „auffällige Farbe“ bezeichnet zum Beispiel eine hochgesättigte, warme Farbe (eine ansprechende Farbe, die das menschliche Auge anspricht) oder eine Farbe, die sich von einer bestimmten Hintergrundfarbe (einer hochsichtbaren Farbe, die bei der Betrachtung gut sichtbar oder einfach zu bestätigen ist) abhebt. Darüber hinaus dient der Begriff „großflächig“ zum Bezeichnen einer großflächigen Farbe, die eine vorbestimmte Größe überschreitet, sodass Objekte um es herum überdeckt werden oder ein großer Teil einer Fläche (der größer ist als ein vorbestimmter Teil) im mit dem Blickfeld des Benutzers korrespondierenden Bild überdeckt wird. Ferner kann die Zielobjekt-/Basispunktobjekt-Extraktionseinheit 310 das Zielobjekt und das Basispunktobjekt durch einen Kalkulationsprozess extrahieren, bei dem ein neuronales Netz, das durch einen vorbestimmten Maschinenlernprozess optimiert wird, oder dergleichen genutzt wird.
Bei dem Basispunktobjekt, das wahrscheinlich die visuelle Aufmerksamkeit einer Person erregen (und bevorzugt von einem Benutzer betrachtet werden) wird, handelt es sich um nützliche Informationen, die dazu dienen können, eine Position eines Zielobjekts, das dem Benutzer leicht im Gedächtnis bleiben wird und das der Benutzer nicht bemerkt, zu übermitteln. Wenn das Zielobjekt außerhalb des Blickfelds ist, ist es besonders schwierig, die Position des Zielobjekts durch eine Sprachausgabe oder eine AR-Anzeige zu präsentieren, möglich sind hierbei jedoch Hinweise wie „nahe bei oo“ oder „neben oo“ sowie Hinweise auf die Stelle des Zielobjekts, was sich als einfacher erweist, wenn hierzu die Position des Basispunktobjekts, an das sich der Benutzer erinnert, genutzt wird.
Die Zielobjekt-/Basispunktobjektextraktion durch die Zielobjekt-/Basispunktobjekt-Extraktionseinheit 310 kann mittels einer der oben beschriebenen Objekterkennungstechniken (einer allgemeinen Objekterkennung, einer speziellen Objekterkennung oder dergleichen) durchgeführt werden. Alternativ kann die Zielobjekt-/Basispunktobjekt-Extraktionseinheit 310 das Zielobjekt und das Basispunktobjekt basierend auf dem Ergebnis einer Objekterkennung im mit dem Blickfeld des Benutzers korrespondierenden Bild durch die Erkennungseinheit 201 extrahieren. Alternativ können das Zielobjekt und das Basispunktobjekt durch die Erkennungseinheit 201 extrahiert werden.
Die Informationen zu extrahierten Zielobjekt- und Basispunktobjekten werden in der Zielobjekt-/ Basispunktobjekt-Datenspeichereinheit 311 gespeichert.
Die Zielobjekt-/Basispunktobjekt-Datenspeichereinheit 311 speichert Zielobjektinformationen, nämlich Informationen zum Zielobjekt, das durch die Zielobjekt-/Basispunktobjekt-Extraktionseinheit 310 extrahiert wird, sowie Basispunktobjektinformationen, nämlich Informationen zum Basispunktobjekt (zum Beispiel einen Objektnamen, räumliche Positionsinformationen, eine Objektform, eine Größe, einen Merkmalswert, eine Farbe, ein Objektbild, Namen von im Objektbild enthaltenen Merkmalen (Menschen oder Tieren, Orten oder sonstigen Merkmalen, die ein Benutzer auf einem Objekt erkennen kann), ein Attribut oder dergleichen für jedes Zielobjekt und jedes Basispunktobjekt). Darüber hinaus Informationen, die die Beziehung zwischen dem Zielobjekt und dem Basispunktobjekt angeben, etwa Beziehungen zwischen dem Zielobjekt und dem Basispunktobjekt, was Positionen oben, unten, links und rechts oder die Tiefe oder den Helligkeitskontrast angeht. Es ist möglich, eine Hinführung zum Zielobjekt mittels des Basispunktobjekts zu einem späteren Zeitpunkt durch Speichern der Zielobjekt- und Basispunktobjektinformationen auf diese Weise durchzuführen. Wenn sich zum Beispiel das Zielobjekt oder das Basispunktobjekt unmittelbar außerhalb des Blickfelds des Benutzers befindet, wenn das Zielobjekt oder das Basispunktobjekt nicht in Echtzeit extrahiert wird oder auch wenn das Zielobjekt zu einem zweckmäßigen, benutzersituationsabhängigen Zeitpunkt zum Zielobjekt hingeführt wird, ist es möglich, die Hinführung zum Zielobjekt mittels des Basispunktobjekts durchzuführen. Es sei angemerkt, dass keine besonderen zeitlichen oder den Abstand betreffenden Einschränkungen für das Wort „nach“ gelten, jedoch wird die Hinführung zum Zielobjekt bevorzugt durchgeführt, bevor sich ein Benutzer zum Beispiel vom Zielobjekt und vom Basispunktobjekt (mindestens um einen vorbestimmten Abstand) entfernt.
Die zum Kollationieren sichtbarer Objekte vorgesehene Einheit 312 kollationiert ein vorbestimmtes Zielobjekt, zu dem hingeführt werden soll, aus dem mit dem Blickfeld des Benutzers korrespondierenden Bild oder kollationiert ein Basispunktobjekt, das in der Zielobjekt-/Basispunktobjekt-Datenspeichereinheit 311 gespeichert ist.
Die Führungsinformationsgenerierungseinheit 313 generiert Informationen für die Hinführung zum vorbestimmten Zielobjekt gemäß dem Ergebnis der Kollationierung durch die zum Kollationieren sichtbarer Objekte vorgesehene Einheit 312. Wenn das vorbestimmte Zielobjekt, zu dem hingeführt werden soll, nicht aus dem mit dem Blickfeld des Benutzers korrespondierenden Bild kollationiert werden kann (wenn also das Zielobjekt nicht im Blickfeld des Benutzers ist), nutzt die Führungsinformationsgenerierungseinheit 313 zum Beispiel die Informationen zum Basispunktobjekt, das sich um das Zielobjekt herum befindet, wobei sich dieses in der Nähe des in der Zielobjekt-/Basispunktobjekt-Datenspeichereinheit 311 registrierten Benutzers befindet, dazu, um (für die Antwortinformationen beispielhafte) Informationen zur Hinführung zum Zielobjekt mittels einer Sprachausgabe zu generieren. Wenn das für die Hinführung genutzte Basispunktobjekt im Blickfeld des Benutzers ist, kann die Führungsinformationsgenerierungseinheit 313 darüber hinaus (für die Antwortinformationen beispielhafte) Informationen für einen speziellen Hinweis auf die Positionsbeziehung zwischen dem Basispunktobjekt und dem Zielobjekt mittels einer Sprachausgabe generieren. Die Antwortinformationen werden durch die Sprachsyntheseeinheit 203 (siehe 4) synthetisiert, durch die Ausgabesteuereinheit 204 über die Kommunikationseinheit 21 an das Informationsverarbeitungsendgerät 1b übertragen und aus dem Lautsprecher 14 des Informationsverarbeitungsendgeräts 1b (siehe 3) ausgegeben. Darüber hinaus ist die Hinführung mittels des Basispunktobjekts zum vorbestimmten Zielobjekt nicht auf die Hinführung mittels der Positionsbeziehung zwischen dem Zielobjekt und dem Basispunktobjekt beschränkt, und die Informationen zur Hinführung zum vorbestimmten Zielobjekt mittels einer Sprachausgabe können zum Beispiel mittels eines Objektnamens, einer Objektform, einer Größe, eines Merkmalbetrags, einer Farbe, Namen von in einem Objektbild enthaltenen Merkmalen (Menschen oder Tieren, Orten oder sonstigen Merkmalen, die ein Benutzer auf einem Objekt erkennen kann), eines Attributs oder dergleichen oder der Informationen, die die Beziehung zwischen dem Zielobjekt und dem Basispunktobjekt wie die Helligkeitskontrastbeziehung zwischen dem Zielobjekt und dem Basispunktobjekt angeben, generiert werden. Ferner können Informationen für die Hinführung und das Anzeigen eines Bilds vom Basispunktobjekt generiert werden.
Ferner generiert die Führungsinformationsgenerierungseinheit 313 (für die Antwortinformationen beispielhafte) Informationen zum Anzeigen eines AR-Bilds (einer AR-Markierung) um das Zielobjekt herum, damit das Zielobjekt visuell erkannt wird, wenn das vorbestimmte Zielobjekt, zu dem hingeführt werden soll, innerhalb des Blickfelds des Benutzers ist. Die generierten AR-Bildanzeige-Informationen werden durch die Ausgabesteuereinheit 204 über die Kommunikationseinheit 21 an das Informationsverarbeitungsendgerät 1b übertragen und um das Zielobjekt (ein reales Objekt) in der Anzeigeeinheit 13 (siehe 3) des Informationsverarbeitungsendgeräts 1b herum angezeigt.
Oben ist die Antwortinformationsgenerierungseinheit 202-2 gemäß der vorliegenden Ausführungsform ausführlich beschrieben worden. Im Folgenden soll ein Ablaufschema dieser Ausführungsform beschrieben werden.
<Ablaufschema>
(Prozess der Zielobjekt- und Basispunktobjektregistrierung)
Zunächst wird ein Prozess der Zielobjekt- und Basispunktobjektregistrierung mit Bezug auf 12 beschrieben. 12 ist ein Flussdiagramm, das einen Prozess der Zielobjekt- und Basispunktobjektregistrierung gemäß der vorliegenden Ausführungsform veranschaulicht.
Wie in 12 veranschaulicht, erkennt der Informationsverarbeitungsserver 2 zunächst ein Objekt in einem mit dem Blickfeld des Benutzers korrespondierenden Bild (Schritt S303). Das mit dem Blickfeld des Benutzers korrespondierende Bild wird durch die nach außen gerichtete Kamera 110 des vom Benutzer getragenen Informationsverarbeitungsendgeräts 1 aufgenommen und an den Informationsverarbeitungsserver 2 übertragen. Hier wird beispielhaft davon ausgegangen, dass ein Benutzer B agiert, während er das Informationsverarbeitungsendgerät 1b trägt. 13 ist eine Abbildung zum Erläutern der Situation des Benutzers B gemäß der vorliegenden Ausführungsform.
Wie in 13 veranschaulicht, wird in der vorliegenden Ausführungsform zum Beispiel davon ausgegangen, dass der Benutzer B ein Geschäft aufsucht, in dem er Gerichte kauft und nach Gerichten sucht. Der Benutzer B richtet seine Aufmerksamkeit einen Moment lang auf ein vor ihm angebrachtes Plakat 401, weil er aber das Gericht nicht findet, wendet der Benutzer B den Blick wieder ab und sieht sich an einer anderen Stelle um. Dabei nimmt das vom Benutzer B getragene Informationsverarbeitungsendgerät 1b ein mit dem Blickfeld des Benutzers B korrespondierendes Bild (Video) durch die nach außen gerichtete Kamera 110 auf, und der Informationsverarbeitungsserver 2 erkennt basierend auf dem aufgenommenen Bild ein Objekt innerhalb des Blickfelds.
Wenn das Zielobjekt durch die Objekterkennung im Blickfeld des Benutzers extrahiert wird (Schritt S306/ja), registriert der Informationsverarbeitungsserver 2 als Nächstes Informationen (zum Beispiel räumliche Positionsinformationen) zum erkannten Zielobjekt (Schritt S309). Bei dem Zielobjekt handelt es sich um ein reales Objekt, an dem der Benutzer zum Beispiel aufgrund eines seiner Hobbys oder seines bisherigen Verhaltens wahrscheinlich interessiert ist. Insbesondere kann systemseitig, wenn der Benutzer B zum Beispiel Informationen zu einem Ort wahrnimmt, den er bei seiner nächsten Reise besuchen möchte (was sich aus dem Terminplan des Benutzers, den Inhalten von Dialogen mit dem Agenten, einem Suchverlauf des Benutzers oder dergleichen ergibt), folglich eine Schätzung dahingehend erfolgen, dass der Benutzer an einem mit seinem Reiseziel zusammenhängenden Objekt interessiert sein könnte. Wenn in diesem Fall zum Beispiel das mit dem Reiseziel zusammenhängende Objekt (Reiseführer mit einem Foto von einer Sehenswürdigkeit auf dem Umschlag oder dergleichen) im Blickfeld des Benutzers B erkannt wird, befindet sich das Zielobjekt gemäß der Bewertung im Blickfeld (das Zielobjekt wird extrahiert).
Wenn der Benutzer noch weitere Objekte um das Zielobjekt herum erkennt (Schritt S312/ja), registriert der Informationsverarbeitungsserver 2 als Nächstes die weiteren erkannten Objekte als Basispunktobjekte, also als Basispunktobjektinformationen (zum Beispiel räumliche Positionsinformationen, Forminformationen, Merkmalsinformationen oder dergleichen) (Schritt S315). 14 hierin ist eine Abbildung, die beispielhaft veranschaulicht, wie ein Zielobjekt und ein Basispunktobjekt aus einem mit dem Blickfeld des Benutzers korrespondierenden Bild extrahiert werden. Zunächst extrahiert der Informationsverarbeitungsserver 2 ein Zielobjekt 402, an dem der Benutzer wahrscheinlich interessiert ist, aus dem aufgenommenen Bild 40, das in 14 veranschaulicht ist, durch eine Objekterkennung (zum Beispiel basierend auf einem Merkmalbetrag oder der Erkennung eines Musters eines Umschlagbilds des Zielobjekts 402). Dabei extrahiert der Informationsverarbeitungsserver 2 ein um das Zielobjekt 402 herum befindliches Objekt (das Plakat 401), das vom Benutzer als Basispunktobjekt erkannt wird (zum Beispiel fällt es eine bestimmte Zeit lang mit dem Blickpunkt (Bereich der Blickfeldmitte) des Benutzers zusammen).
Der Prozess der Zielobjekt- und Basispunktobjektregistrierung, der oben beschrieben worden ist, kann entweder durchgehend oder mit Unterbrechungen durchgeführt werden.
Es sei angemerkt, dass das in 12 veranschaulichte Ablaufschema nur beispielhaft ist und die vorliegende Offenbarung nicht auf das in 12 veranschaulichte Beispiel beschränkt ist. Die vorliegende Offenbarung ist zum Beispiel nicht auf die in 12 veranschaulichte Reihenfolge der Schritte beschränkt. Mindestens einer der Schritte kann auch parallel oder in umgekehrter Reihenfolge verarbeitet werden.
Der bei den Schritten S312 bis S315 veranschaulichte Prozess der Basispunktobjektregistrierung muss nicht unbedingt dann durchgeführt werden, wenn das Zielobjekt gefunden wird (falls bei Schritt S306 „ja“ gilt), vielmehr können auch alle Objekte (oder auch nur ein Objekt unter ihnen, das hervorsticht), die vom Benutzer erkannt (betrachtet) werden, als Basispunktobjekt(e) registriert werden. In diesem Fall ist es selbst dann, wenn das Zielobjekt nicht im Blickfeld ist, sofern die räumlichen Positionsinformationen des Zielobjekts erfasst werden können, möglich, das registrierte Basispunktobjekt, das sich nahe bei den räumlichen Positionsinformationen befindet, zu extrahieren und das extrahierte Basispunktobjekt für eine Hinführung zu nutzen.
Darüber hinaus müssen nicht unbedingt alle der in 12 veranschaulichten Prozesse ausgeführt werden. Zum Beispiel kann der Prozess des Schritts S312 ausgelassen werden. Das heißt, außer dem vom Benutzer visuell erkannten Objekt kann auch ein Objekt, das die Aufmerksamkeit einer Person erregt (das besonders auffällt) und das sich um das Zielobjekt herum befindet, als Basispunktobjekt registriert werden. Denn bei einer Hinführung mittels des Basispunktobjekts kann selbst dann, wenn sich der Benutzer die Stelle des Basispunktobjekts nicht merken kann, wenn das Objekt auffällig ist, folglich damit gerechnet werden, dass der Benutzer, wenn er sich umsieht, das Basispunktobjekt sofort bemerken wird.
Darüber hinaus müssen nicht unbedingt alle der in 12 veranschaulichten Prozesse durch eine einzige Vorrichtung ausgeführt werden. Die Prozesse können zum Beispiel durch die Vielzahl von Vorrichtungen durchgeführt werden, etwa indem das Informationsverarbeitungsendgerät 1 die Prozesse der Schritte S303 bis S306 durchführt, indem der Informationsverarbeitungsserver 2 die Prozesse der Schritte S309 bis S315 durchführt etc. Ferner können auch alle der in 12 veranschaulichten Prozesse durch das Informationsverarbeitungsendgerät 1 durchgeführt werden.
Darüber hinaus müssen nicht unbedingt alle der in 12 veranschaulichten Prozesse nacheinander durchgeführt werden. Zum Beispiel werden die bei den Schritten S303 bis S309 veranschaulichten Prozesse durchgeführt, sofort nachdem ein neu aufgenommenes Bild erfasst worden ist oder immer wenn sich eine bestimmte Menge aufgenommener Bilder angesammelt hat, und anschließend können die bei den Schritten S312 bis S315 veranschaulichten Prozesse in einem vorbestimmten Zeitablauf (einem festgelegten Zyklus oder dergleichen) durchgeführt werden.
(Prozess der Hinführung zu einem Zielobjekt)
Als Nächstes wird der Prozess der Hinführung zu einem Zielobjekt mit Bezug auf 15 beschrieben. 15 ist ein Flussdiagramm, das den Prozess der Hinführung zu einem Zielobjekt gemäß der vorliegenden Ausführungsform veranschaulicht. Der in 15 veranschaulichte Hinführungsprozess kann zum Beispiel als Reaktion auf einen vorbestimmten Hinführungsauslöser wie einen zweckmäßigen, benutzersituationsabhängigen Zeitpunkt eingeleitet werden.
Wie in 15 veranschaulicht, bestimmt der Informationsverarbeitungsserver 2 zunächst, ob das Zielobjekt im Blickfeld ist oder nicht, basierend auf einem mit dem momentanen Blickfeld eines Benutzers korrespondierenden Bild (Schritt S333).
Wenn das Zielobjekt innerhalb des Blickfelds ist (Schritt S333/ja), versieht der Informationsverarbeitungsserver 2 als Nächstes das Zielobjekt mit einer AR-Markierung (Schritt S336).
Als Nächstes wird bestimmt, ob der Benutzer das Zielobjekt gefunden hat oder nicht (Schritt S339). Der Informationsverarbeitungsserver 2 kann durch die Blicklinie (Betrachtungsposition) des Benutzers, eine Benutzeräußerung, eine Benutzerbewegung oder dergleichen bestimmen, ob der Benutzer das Zielobjekt gefunden hat oder nicht.
Wenn ein Benutzer das Zielobjekt findet (Schritt S339/ja), beendet der Informationsverarbeitungsserver 2 den Hinführungsprozess.
Wenn das Zielobjekt hingegen nicht innerhalb des Blickfelds ist (Schritt S333/ja), führt der Informationsverarbeitungsserver 2 den Benutzer durch eine Sprachausgabe mittels des registrierten Basispunktobjekts hin (Schritt S342). Insbesondere generiert der Informationsverarbeitungsserver 2 zum Beispiel Sprachinformationen, die mitteilen, dass das Zielobjekt in der Nähe des registrierten Basispunktsobjekts ist, welches sich um das Zielobjekt herum befindet, und steuert die generierten Sprachinformationen so, dass diese aus dem Informationsverarbeitungsendgerät 1b ausgegeben werden. Weil das Basispunktobjekt ein Objekt ist, das mindestens vom Benutzer betrachtet wird, wie oben beschrieben, kann, wenn der Name sowie Eigenschaften des Basispunktobjekts präsentiert werden, damit gerechnet werden, dass sich der Benutzer an eine bestimmte Position erinnern wird. Weil darüber hinaus davon ausgegangen wird, dass das vom Benutzer betrachtete Basispunktobjekt auffällig ist, kann auch dann, wenn er sich nicht an die Position erinnern wird, damit gerechnet werden, dass es leicht seine Aufmerksamkeit erregen wird, während er sich umsehen wird.
Als Nächstes bestimmt der Informationsverarbeitungsserver 2, ob das Basispunktobjekt im Blickfeld des Benutzers enthalten ist oder nicht (Schritt S345).
Wenn das Basispunktobjekt innerhalb des Blickfelds des Benutzers ist (Schritt S345/ja), steuert der Informationsverarbeitungsserver 2 als Nächstes die Positionsbeziehung zwischen dem Basispunktobjekt und dem Zielobjekt so, dass sie aus dem Informationsverarbeitungsendgerät 1b, insbesondere durch eine Sprachausgabe, ausgegeben wird (Schritt S348). Dadurch kann der Benutzer einfacher nach dem Zielobjekt suchen.
Wenn das Zielobjekt innerhalb des Blickfelds des Benutzers ist (Schritt S351/ja), versieht der Informationsverarbeitungsserver 2 das Zielobjekt als Nächstes mit einer AR-Markierung (Schritt S354). Hierdurch kann eine explizitere Hinführung zum Zielobjekt durchgeführt werden. 16 hierin veranschaulicht eine beispielhafte AR-Markierung auf dem Zielobjekt gemäß der vorliegenden Ausführungsform. Wie in 16 veranschaulicht, werden ein AR-Bild 421a von einem zum Zielobjekt 402 zeigenden Pfeil, ein das Zielobjekt 402 umgebendes AR-Bild 421b oder dergleichen um das innerhalb des Blickfelds 42 des Benutzers extrahierte Zielobjekt 402 herum angezeigt, damit das Zielobjekt 402 zuverlässiger bemerkt wird.
Sobald ein Benutzer das Zielobjekt findet (Schritt S357/ja), beendet der Informationsverarbeitungsserver 2 den Hinführungsprozess.
Oben ist ein Hinführungsprozess gemäß der vorliegenden Ausführungsform ausführlich beschrieben worden. Es sei angemerkt, dass das in 15 veranschaulichte Ablaufschema nur beispielhaft ist und die vorliegende Offenbarung nicht auf das in 15 veranschaulichte Beispiel beschränkt ist. Die vorliegende Offenbarung ist zum Beispiel nicht auf die in 15 veranschaulichte Reihenfolge der Schritte beschränkt. Mindestens einer der Schritte kann auch parallel oder in umgekehrter Reihenfolge verarbeitet werden. Darüber hinaus müssen nicht unbedingt alle der in 15 veranschaulichten Prozesse ausgeführt werden.
Die Prozesse der Schritte S354 und S357 können zum Beispiel auch in umgekehrter Reihenfolge durchgeführt werden. Insbesondere kann die AR-Markierung des Zielobjekts durchgeführt werden, wenn der Benutzer das Zielobjekt nicht finden kann, selbst wenn das Zielobjekt innerhalb des Blickfelds des Benutzers ist.
Ferner können die Prozesse der Schritte S342 bis S345 ausgelassen werden. Das heißt, die Positionsbeziehung zwischen dem Basispunktobjekt und dem Zielobjekt kann unabhängig davon, ob das Basispunktobjekt im Blickfeld ist oder nicht, gezielt ausgegeben werden.
Darüber hinaus müssen nicht unbedingt alle der in 15 veranschaulichten Prozesse durch eine einzige Vorrichtung ausgeführt werden. Die Prozesse können zum Beispiel durch die Vielzahl von Vorrichtungen durchgeführt werden, etwa indem das Informationsverarbeitungsendgerät 1 die Prozesse der Schritte S333 bis S339 durchführt, indem der Informationsverarbeitungsserver 2 die Prozesse der Schritte S342 bis S357 durchführt etc. Ferner können alle der in 15 veranschaulichten Prozesse durch das Informationsverarbeitungsendgerät 1 durchgeführt werden.
Darüber hinaus müssen nicht unbedingt alle der in 15 veranschaulichten Prozesse nacheinander durchgeführt werden. Der bei den Schritten S333 bis S339 veranschaulichte Prozess kann zum Beispiel immer sofort, nachdem ein neues aufgenommenes Bild erfasst worden ist, durchgeführt werden, und die bei den Schritten S342 bis S357 veranschaulichten Prozesse können zu einem vorbestimmten Zeitpunkt (einem zweckmäßigen, benutzersituationsabhängigen Zeitpunkt, bevor sich der Benutzer um einen vorbestimmten Abstand vom Zielobjekt entfernt oder dergleichen) durchgeführt werden.
(Dialogbeispiel)
Im Folgenden wird eine beispielhafte Hinführungssprachausgabe gemäß der vorliegenden Ausführungsform veranschaulicht. Hier führt beispielhaft die vom Informationsverarbeitungsserver 2 bereitgestellte Agentenfunktion eine Hinführung während eines Dialogs mit dem Benutzer B durch. In der Situation wird davon ausgegangen, dass der Benutzer B, der das Geschäft aufsucht, das von der Benutzerin A angeforderte Gericht findet und zur Kasse geht. Die Stimme des Agenten wird aus dem vom Benutzer B getragenen Informationsverarbeitungsendgerät 1b ausgegeben.
Agent: „Benutzer B.“ (Der Agent spricht zu einer Zeit, zu der der Benutzer B bereits Feierabend gemacht hat.)
Benutzer B: „Was gibt es?“
Agent: „Schau mal, da ist ein Buch über die Kirche □□, die ihr doch bei eurem nächsten Familienurlaub besichtigen wollt.“ (Das Buch über das Reiseziel, das sich aus dem Terminplan des Benutzers B, dem Suchverlauf oder dergleichen ergibt, wird festgelegt als das Zielobjekt, das einer Schätzung zufolge für den Benutzer von Interesse sein könnte. Der Agent hat das Buch aus dem Blickfeld des Benutzers extrahiert, als der Benutzer B nach einem Gericht gesucht hat, und hat sich das extrahierte Buch gemerkt.)
Benutzer B: „Aha, wo ist es?“
Agent: „Unter einem Plakat mit einer Frau.“ (Der Agent hat beim Extrahieren des Buchs als Zielobjekt das Plakat mit der Frau, das um das Zielobjekt herum platziert ist und vom Benutzer angesehen worden ist, als Basispunktobjekt festgelegt und sich gemerkt.)
Benutzer B: „Stimmt. Das Foto, das ich zu Hause gesehen habe, hat genauso ausgesehen.“ (Der Benutzer B sieht sich um und entdeckt ein Plakat mit einer Frau, nähert sich dem Plakat mit der Frau und entdeckt das Buch unter dem Plakat. Ein Foto von der Kirche □□, das zuvor von einem Agenten als Zielortinformationen präsentiert worden ist, wird über dem Buchumschlag eingeblendet.)
Im obigen Dialogbeispiel wurde der Prozess der Hinführung des Benutzers zu einem Zielobjekt mittels eines Basispunktobjekts durchgeführt, jedoch ist diese Ausführungsform nicht auf das obige Beispiel beschränkt, denn es kann auch eine Hinführung zu einem Zielobjekt mittels einer Vielzahl von Basispunktobjekten ausgeführt werden, oder der Prozess der Hinführung zu einer Vielzahl von Zielobjekten kann mittels eines Basispunktobjekts ausgeführt werden. Der Agent kann zum Beispiel eine Hinführung mit den Worten „Zwischen einem Basispunktobjekt A und einem Basispunktobjekt B ist ein Zielobjekt A“, eine Hinführung mit den Worten „Ein Zielobjekt B und ein Zielobjekt C sind neben einem Basispunktobjekt C“ oder des Weiteren einen Prozess einer Hinführung mit den Worten „Es sind ein Zielobjekt D und ein Zielobjekt E in Richtung auf ein Basispunktobjekt D und ein Basispunktobjekt E vorhanden“ ausführen. In diesem Fall speichert die Zielobjekt-/Basispunktobjekt-Datenspeichereinheit 311 eine Vielzahl von Basispunktobjektinformationen oder eine Vielzahl von Zielobjektinformationen, und die Steuereinheit 20 führt den Hinführungsprozess gemäß den Prozessbeispielen oder sonstigen Prozessen, die beschrieben werden, mittels der Vielzahl gespeicherter Basispunktobjektinformationen und der Vielzahl gespeicherter Zielobjektinformationen durch.
<Wirkung>
Wie oben beschrieben, ist es in dieser Ausführungsform dadurch, dass eine Hinführung zum Zielobjekt außerhalb des Blickfelds mittels des Basispunktobjekts erfolgt, möglich, das Zielobjekt geschickter und einfacher zum Benutzer hin zu versetzen und zu verhindern, dass das Zielobjekt außerhalb des Blickfelds übersehen wird.
«Hardwarekonfiguration»
Als Nächstes soll eine beispielhafte Hardwarekonfiguration beschrieben werden, nämlich eine dem Informationsverarbeitungsendgerät 1 und dem Informationsverarbeitungsserver 2 gemäß der Ausführungsform der vorliegenden Offenbarung gemeinsame Hardwarekonfiguration. 17 ist ein Blockschema, das eine beispielhafte Hardwarekonfiguration des Informationsverarbeitungsendgeräts 1 und des Informationsverarbeitungsservers 2 gemäß der Ausführungsform der vorliegenden Offenbarung veranschaulicht. Das Informationsverarbeitungsendgerät 1 und der Informationsverarbeitungsserver 2 enthalten mit Bezug auf 17 zum Beispiel eine CPU 871, ein ROM 872, ein RAM 873, einen Hostbus 874, eine Brücke 875, einen externen Bus 876, eine Schnittstelle 877, ein Eingabegerät 878, ein Ausgabegerät 879, einen Datenspeicher 880, ein Laufwerk 881, einen Verbindungsport 882 und eine Kommunikationseinrichtung 883. Es sei angemerkt, dass die hierin veranschaulichte Hardwarekonfiguration nur beispielhaft ist und einige der Komponenten auch weggelassen werden können. Darüber hinaus können statt der hierin veranschaulichten Komponenten auch andere Komponenten enthalten sein.
(CPU 871)
Eine CPU 871 fungiert zum Beispiel als Arithmetikprozessor oder Steuerteil und steuert die gesamten Abläufe aller oder einiger Komponenten basierend auf verschiedenen im ROM 872, im RAM 873, im Datenspeicher 880 oder in einem Wechselspeichermedium 901 abgelegten Programmen.
Insbesondere werden die Abläufe der Erkennungseinheit 120, der Antwortinformationserfassungseinheit 121 und der Ausgabesteuereinheit 122 im Informationsverarbeitungsendgerät 1 realisiert. Alternativ werden die Abläufe der Erkennungseinheit 201, der Antwortinformationsgenerierungseinheit 202 (202-1 und 202-2), der Sprachsyntheseeinheit 203 und der Ausgabesteuereinheit 204 im Informationsverarbeitungsserver 2 realisiert.
(ROM 872 und RAM 873)
Das ROM 872 ist ein Mittel zum Speichern eines durch die CPU 871 gelesenen Programms, von zur Kalkulation genutzten Daten oder dergleichen. Das RAM 873 speichert vorübergehend oder dauerhaft zum Beispiel ein Programm, das in die CPU 871 eingelesen wird, sowie verschiedene Parameter, die sich mit der Programmausführung entsprechend ändern.
(Hostbus 874, Brücke 875, externer Bus 876, Schnittstelle 877)
Die CPU 871, das ROM 872 und das RAM 873 sind zum Beispiel über den Hostbus 874, der für Hochgeschwindigkeitsdatenübertragungen ausgelegt ist, miteinander verbunden. Dahingegen ist der Hostbus 874 mit dem externen Bus 876 mit einer relativ geringen Datenübertragungsgeschwindigkeit zum Beispiel über die Brücke 875 verbunden. Darüber hinaus ist der externe Bus 876 über die Schnittstelle 877 mit verschiedenen Komponenten verbunden.
(Eingabegerät 878)
Als Eingabegerät 878 wird zum Beispiel eine Maus, eine Tastatur, ein berührungsempfindlicher Bildschirm, ein Knopf, ein Schalter, ein Hebel oder dergleichen genutzt. Des Weiteren kann als Eingabegerät 878 eine Fernsteuerung (im Folgenden als Fernsteuerung bezeichnet), die für Steuersignalübertragungen unter Nutzung von Infrarotstrahlen oder Funkwellen ausgelegt ist, genutzt werden. Darüber hinaus enthält das Eingabegerät 878 ein Spracheingabegerät, etwa ein Mikrofon.
(Ausgabegerät 879)
Das Ausgabegerät 879 ist ein Anzeigegerät wie etwa eine Kathodenstrahlröhre (CRT), ein LCD-Display oder ein OLED-Display, ein Audioausgabegerät wie etwa ein Lautsprecher oder Kopfhörer, ein Gerät, das dazu ausgelegt ist, dem Benutzer die erfassten Informationen visuell oder akustisch mitzuteilen, etwa ein Drucker, ein Mobiltelefon oder ein Faxgerät. Darüber hinaus enthält das Ausgabegerät 879 gemäß der vorliegenden Offenbarung verschiedene Vibrationselemente, die haptische Reize ausgeben können.
(Datenspeicher 880)
Der Datenspeicher 880 ist ein Element zum Speichern verschiedener Daten. Als Datenspeicher 880 wird zum Beispiel ein Magnetspeicherelement wie ein Festplattenspeicher (HDD), ein Halbleiterspeicherelement, ein optisches Speicherelement oder ein magnetooptisches Speicherelement genutzt.
(Laufwerk 881)
Das Laufwerk 881 ist ein Element, das Informationen, die im Wechselspeichermedium 901 wie einer Magnetspeicherplatte, einer optischen Speicherplatte, einer magnetooptischen Speicherplatte oder einem Halbleiterspeicher abgelegt sind, liest oder das Wechselspeichermedium 901 mit Informationen beschreibt.
(Wechselspeichermedium 901)
Das Wechselspeichermedium 901 ist zum Beispiel ein DVD-Medium, ein Blu-ray™-Medium, ein HD-DVD-Medium, eines von verschiedenen Halbleiterspeichermedien oder dergleichen. Selbstverständlich kann das Wechselspeichermedium 901 zum Beispiel auch eine Chipkarte, auf der ein kontaktloser IC-Chip montiert ist, eine elektronische Einrichtung oder dergleichen sein.
(Verbindungsport 882)
Der Verbindungsport 882 ist ein Port für die Verbindung mit einem extern angeschlossenen Gerät 902, etwa ein USB-Port (USB = Universal Serial Bus), ein IEEE-1394-Port, ein Small Computer System Interface (SCSI), ein RS-232C-Port oder ein optischer Audioanschluss.
(Extern angeschlossenes Gerät 902)
Das extern angeschlossene Gerät 902 ist zum Beispiel ein Drucker, ein tragbarer Musikplayer, eine Digitalkamera, eine Digitalvideokamera, ein IC-Recorder oder dergleichen.
(Kommunikationseinrichtung 883)
Die Kommunikationseinrichtung 883 ist eine Kommunikationseinrichtung für die Verbindung mit einem Netz und ist zum Beispiel eine Kommunikationskarte für ein verkabeltes LAN oder ein WLAN, Bluetooth (eingetragene Marke) oder Wireless USB (WUSB), ein Router für optische Kommunikation, ein ADSL-Router (ADSL = Asymmetrie Digital Subscriber Line), ein Modem für verschiedene Kommunikationsarten oder dergleichen.
<Zusammenfassung>
Wie oben beschrieben, ist es im Informationsverarbeitungssystem gemäß der Ausführungsform der vorliegenden Offenbarung möglich zu verhindern, dass Zielobjekte außerhalb des Blickfelds übersehen werden.
Oben sind bevorzugte Ausführungsformen der vorliegenden Offenbarung mit Bezug auf die beiliegenden Zeichnungen ausführlich beschrieben worden, jedoch ist die vorliegende Offenbarung nicht auf derartige Beispiele beschränkt. Es ist ersichtlich, dass der Fachmann auf dem Gebiet der vorliegenden Offenbarung zu verschiedenen Änderungen oder Abwandlungen im Schutzbereich des in den Ansprüchen beschriebenen Erfindungsgedankens gelangen kann, und selbstverständlich fallen diese Änderungen oder Abwandlungen ebenfalls in den Schutzbereich der vorliegenden Offenbarung.
Es ist zum Beispiel möglich, ein Computerprogramm zum Ausführen des Informationsverarbeitungsendgeräts 1 oder des Informationsverarbeitungsservers 2 in Hardware wie der CPU, dem ROM und dem RAM, die in das oben beschriebene Informationsverarbeitungsendgerät 1 oder den oben beschriebenen Informationsverarbeitungsserver 2 eingebaut sind, zu schreiben. Darüber hinaus wird auch ein computerlesbares Speichermedium, in dem das Computerprogramm gespeichert ist, bereitgestellt.
Ferner sind die erste Ausführungsform und die zweite Ausführungsform kombinierbar oder unabhängig voneinander implementierbar.
Darüber hinaus sind das Zielobjekt und das Basispunktobjekt, die oben beschrieben werden, nicht auf reale Objekte im realen Raum beschränkt, sondern können auch virtuelle Objekte sein, die im realen oder virtuellen Raum (einem dreidimensionalen Raum) angeordnet sind.
Darüber hinaus sind die Wirkungen, die in der vorliegenden Patentbeschreibung beschrieben werden, lediglich beispielhaft oder exemplarisch und sind nicht auf die in der vorliegenden Patentbeschreibung beschriebenen Wirkungen beschränkt. Das heißt, die Technik gemäß der vorliegenden Offenbarung kann ausgehend von der Beschreibung der vorliegenden Patentschrift zusätzlich zu den oben beschriebenen Wirkungen oder an ihrer Stelle auch noch andere Wirkungen aufweisen, die für den Fachmann erkennbar sind.
Es sei angemerkt, dass die vorliegende Technik auch wie folgt konfiguriert sein kann.

(1) Informationsverarbeitungsvorrichtung, umfassend: eine Steuereinheit, die ein Zielobjekt und ein Basispunktobjekt aus einem mit dem Blickfeld eines Benutzers korrespondierenden Bild extrahiert, Basispunktobjektinformationen zum Basispunktobjekt in einer Datenspeichereinheit speichert, bestimmt, ob das Zielobjekt in einem mit einem momentanen Blickfeld korrespondierenden Bild, wenn der Benutzer zum Zielobjekt hingeführt wird, enthalten ist, und einen Prozess zum Präsentieren einer Position des Zielobjekts mittels der gespeicherten Basispunktobjektinformationen, wenn das Zielobjekt nicht in einem mit dem momentanen Blickfeld korrespondierenden Bild enthalten ist, durchführt.
(2) Informationsverarbeitungsvorrichtung gemäß Abschnitt (1), wobei die Steuereinheit eine Steuerung zum Präsentieren einer Position des Zielobjekts mittels der Basispunktobjektinformationen durch eine Sprachausgabe durchführt.
(3) Informationsverarbeitungsvorrichtung gemäß Abschnitt (2), wobei die Steuereinheit eine Positionsbeziehung zwischen dem Basispunktobjekt und dem Zielobjekt durch eine Sprachausgabe präsentiert.
(4) Informationsverarbeitungsvorrichtung gemäß Abschnitt (2) oder Abschnitt (3), wobei die Steuereinheit eine Steuerung zum Speichern räumlicher Positionsinformationen des extrahierten Zielobjekts und des extrahierten Basispunktobjekts in der Datenspeichereinheit durchführt.
(5) Informationsverarbeitungsvorrichtung gemäß einem der Abschnitte (2) bis (4), wobei die Steuereinheit eine Objekterkennung in einem mit dem Blickfeld des Benutzers korrespondierenden Bild durchführt und als Zielobjekt ein Objekt, das einer Schätzung zufolge basierend auf den registrierten Benutzerinformationen für den Benutzer von Interesse sein könnte, extrahiert.
(6) Informationsverarbeitungsvorrichtung gemäß einem der Abschnitte (2) bis (4), wobei die Steuereinheit eine Objekterkennung in einem mit dem Blickfeld des Benutzers korrespondierenden Bild durchführt, das erkannte Objekt mit einem vorbestimmten, im Voraus registrierten Zielobjekt abgleicht und das Zielobjekt extrahiert.
(7) Informationsverarbeitungsvorrichtung gemäß einem der Abschnitte (2) bis (6), wobei die Steuereinheit eine Objekterkennung im mit dem Blickfeld des Benutzers korrespondierenden Bild durchführt und ein Objekt, das ein vorbestimmtes Kriterium erfüllt, als Basispunktobjekt festlegt.
(8) Informationsverarbeitungsvorrichtung gemäß Abschnitt (7), wobei die Steuereinheit ein Objekt, das sich um das Zielobjekt herum befindet und vom Benutzer visuell erkannt wird, als Basispunktobjekt festlegt.
(9) Informationsverarbeitungsvorrichtung gemäß Abschnitt (7) oder Abschnitt (8), wobei die Steuereinheit ein Objekt, das um das Zielobjekt herum positioniert ist und mindestens eine Farbe oder Größe, die ein vorbestimmtes Kriterium erfüllt, im mit dem Blickfeld des Benutzers korrespondierenden Bild aufweist, als Basispunktobjekt identifiziert.
(10) Informationsverarbeitungsvorrichtung gemäß einem der Abschnitte (2) bis (9), wobei die Steuereinheit, wenn ein Zielobjekt, zu dem hingeführt werden soll, im Blickfeld des Benutzers ist, eine Steuerung zur klaren Angabe einer Position des Zielobjekts durch ein AR-Bild durchführt.
(11) Informationsverarbeitungsvorrichtung gemäß einem der Abschnitte (2) bis (10), ferner umfassend: eine Übertragungseinheit, die Informationen zur Zielobjektführung an ein Informationsverarbeitungsendgerät im Besitz des Benutzers überträgt.
(12) Informationsverarbeitungsvorrichtung gemäß Abschnitt (11), wobei das Informationsverarbeitungsendgerät ein am Kopf befestigtes, vom Benutzer getragenes Gerät ist.
(13) Informationsverarbeitungsvorrichtung gemäß einem der Abschnitte (2) bis (12), wobei die Steuereinheit eine Steuerung zum Beginnen einer Hinführung zum Zielobjekt zu einem benutzersituationsabhängigen Zeitpunkt durchführt.
(14) Informationsverarbeitungsverfahren, umfassend:
- Extrahieren eines Zielobjekts und eines Basispunktobjekts aus einem mit dem Blickfeld eines Benutzers korrespondierenden Bild durch einen Prozessor;
- Speichern von Basispunktobjektinformationen zum Basispunktobjekt in einer Datenspeichereinheit durch den Prozessor;
- Bewerten durch den Prozessor, ob das Zielobjekt in einem mit einem momentanen Blickfeld korrespondierenden Bild, wenn der Benutzer zum Zielobjekt hingeführt wird, enthalten ist; und
- Durchführen eines Prozesses zum Präsentieren der Position des Zielobjekts mittels der gespeicherten Basispunktobjektinformationen, wenn das Zielobjekt nicht im mit dem momentanen Blickfeld korrespondierenden Bild enthalten ist, durch den Prozessor.
(15) Programm, das ermöglicht, dass ein Computer als eine Steuerung fungiert, die ein Zielobjekt und ein Basispunktobjekt aus einem mit dem Blickfeld eines Benutzers korrespondierenden Bild extrahiert, Basispunktobjektinformationen zum Basispunktobjekt in einer Datenspeichereinheit speichert, bewertet, ob das Zielobjekt in einem mit einem momentanen Blickfeld korrespondierenden Bild, wenn der Benutzer zum Zielobjekt hingeführt wird, enthalten ist, und einen Prozess zum Präsentieren der Position des Zielobjekts mittels der gespeicherten Basispunktobjektinformationen, wenn das Zielobjekt nicht im mit dem momentanen Blickfeld korrespondierenden Bild enthalten ist, durchführt.

Darüber hinaus kann die vorliegende Technik auch wie folgt konfiguriert sein.

(20) Informationsverarbeitungsvorrichtung, enthaltend: eine Steuereinheit, die ein Verfahren zum schrittweisen Mitteilen von vorbestimmten Informationen basierend auf Informationen zur Umgebung eines Benutzers, die Eigenschaften eines von einem Benutzer genutzten Informationsverarbeitungsendgeräts enthalten, bestimmt und eine Steuerung zum Bestimmen eines Abstraktionsgrads von Mitteilungsinformationen bei jedem Schritt gemäß einem Mittel zur Ausgabe der Mitteilungsinformationen im Informationsverarbeitungsendgerät durchführt.
(21) Informationsverarbeitungsvorrichtung gemäß Abschnitt (20), wobei die Steuereinheit bewertet, ob die schrittweise Mitteilung mittels entweder akustischer oder visueller Informationen oder mittels sowohl akustischer als auch visueller Informationen als vorbestimmte Informationen basierend auf den in den Informationen zur Umgebung des Benutzers enthaltenen Eigenschaften des Ausgabemittels des Informationsverarbeitungsendgeräts durchzuführen ist.
(22) Informationsverarbeitungsvorrichtung gemäß Abschnitt (21), wobei die Steuereinheit bewertet, ob die schrittweise Mitteilung unter Berücksichtigung eines in den Informationen zur Umgebung des Benutzers enthaltenen Status des Benutzers durchgeführt wird.
(23) Informationsverarbeitungsvorrichtung gemäß Abschnitt (21) oder Abschnitt (22), wobei die visuellen Informationen ein in einem realen Raum eingeblendetes und angezeigtes virtuelles Objekt enthalten.
(24) Informationsverarbeitungsvorrichtung gemäß einem der Abschnitte (20) bis (23), wobei die Steuereinheit einen Abstraktionsgrad, der einen vorbestimmten Wert überschreitet, bei einem Schritt einer Mitteilung durch ein Sprachausgabemittel bestimmt.
(25) Informationsverarbeitungsvorrichtung gemäß einem der Abschnitte (20) bis (24), wobei die Steuereinheit einen Abstraktionsgrad, der einen vorbestimmten Wert unterschreitet, bei einem Schritt einer Mitteilung durch ein Anzeigemittel bestimmt.
(26) Informationsverarbeitungsvorrichtung gemäß einem der Abschnitte (20) bis (25), wobei die Steuereinheit eine Steuerung zum Mitteilen einer Angabe mit hoher Priorität unter jeweiligen Angaben der vorbestimmten Informationen bei jedem Schritt durchführt.
(27) Informationsverarbeitungsvorrichtung gemäß einem der Abschnitte (20) bis (26), wobei die Steuereinheit Antwortinformationen, die Informationen zur Mitteilung der bestimmten Auflösung enthalten, generiert und eine Steuerung zur Ausgabe aus dem Informationsverarbeitungsendgerät durchführt.
(28) Informationsverarbeitungsvorrichtung gemäß Abschnitt (27), wobei die Steuereinheit eine Steuerung für eine Sprachsynthese zum Erzeugen einer künstlichen Stimme bezüglich der Antwortinformationen und zum Ausgeben der Sprachsyntheseinformationen aus dem Informationsverarbeitungsendgerät durchführt.
(29) Informationsverarbeitungsvorrichtung gemäß Abschnitt (27) oder Abschnitt (28), wobei die bei jedem Schritt mitzuteilenden Mitteilungsinformationen basierend auf Fragen zur Priorität jeder Angabe bezüglich der vorbestimmten Informationen vom Benutzer basierend auf sprachlichen Äußerungen eines Benutzers, die durch das Informationsverarbeitungsendgerät erhoben werden, bestimmt werden.
(30) Informationsverarbeitungsvorrichtung gemäß einem der Abschnitte (20) bis (29), wobei die vorbestimmten Informationen Informationen zu einer Anforderung eines Kaufs durch einen Stellvertreter für den Benutzer sind.
(31) Informationsverarbeitungsvorrichtung gemäß Abschnitt (30), wobei die Steuereinheit die Umsetzbarkeit des Kaufs durch einen Stellvertreter durch den Benutzer basierend auf den Informationen zur Anforderung des Kaufs durch einen Stellvertreter und dem Status des Benutzers bestimmt und die schrittweise Mitteilung der Informationen zur Anforderung des Kaufs durch einen Stellvertreter durchführt, wenn eine Umsetzbarkeit gegeben ist.
(32) Informationsverarbeitungsvorrichtung gemäß einem der Abschnitte (20) bis (31), wobei das Informationsverarbeitungsendgerät ein brillenartiges, am Kopf eines Benutzers angebrachtes HMD ist.
(33) Informationsverarbeitungsverfahren, enthaltend:
- Bestimmen eines Verfahrens zum schrittweisen Mitteilen von vorbestimmten Informationen durch einen Prozessor basierend auf Informationen zur Umgebung eines Benutzers, die Eigenschaften eines von einem Benutzer genutzten Informationsverarbeitungsendgeräts enthalten; und
- Durchführen einer Steuerung durch den Prozessor zum Bestimmen eines Abstraktionsgrads von Mitteilungsinformationen bei jedem Schritt gemäß einem Mittel zur Ausgabe der Mitteilungsinformationen im Informationsverarbeitungsendgerät.
(34) Programm zum Ermöglichen, dass ein Computer als eine Steuereinheit fungiert, die:
- ein Verfahren zum schrittweisen Mitteilen von vorbestimmten Informationen basierend auf Informationen zur Umgebung eines Benutzers, die Eigenschaften eines von einem Benutzer genutzten Informationsverarbeitungsendgeräts enthalten, bestimmt; und
- eine Steuerung zum Bestimmen eines Abstraktionsgrads von Mitteilungsinformationen bei jedem Schritt gemäß einem Mittel zur Ausgabe der Mitteilungsinformationen im Informationsverarbeitungsendgerät durchführt.

Bezugszeichenliste

1(1a, 1b): INFORMATIONSVERARBEITUNGSENDGERÄT
2: INFORMATIONSVERARBEITUNGSSERVER
3: NETZ
11: SENSOREINHEIT
12: STEUEREINHEIT
120: ERKENNUNGSEINHEIT
121: ANTWORTINFORMATIONSERFASSUNGSEINHEIT
122: AUSGABESTEUEREINHEIT
13: ANZEIGEEINHEIT
14: LAUTSPRECHER
15: KOMMUNIKATIONSEINHEIT
16: BEDIENEINGABEEINHEIT
17: DATENSPEICHEREINHEIT
20: STEUEREINHEIT
201: ERKENNUNGSEINHEIT
202: ANTWORTINFORMATIONSGENERIERUNGSEINHEIT
202-1: ANTWORTINFORMATIONSGENERIERUNGSEINHEIT
202-2: ANTWORTINFORMATIONSGENERIERUNGSEINHEIT
203: SPRACHSYNTHESEEINHEIT
204: AUSGABESTEUEREINHEIT
21: KOMMUNIKATIONSEINHEIT
22: DATENSPEICHEREINHEIT
221: BENUTZERINFORMATIONS-DB
222: ANTWORTGENERIERUNGSINFORMATIONS-DB
223: INHALTS-DB
31: BILD
32: ANFORDERUNGSINFORMATIONSANZEIGEBILDSCHIRM
40: AUFGENOMMENES BILD
42: BLICKFELD
110: NACH AUßEN GERICHTETE KAMERA
111: NACH INNEN GERICHTETE KAMERA
112: MIKRO
300: ANFORDERUNGSINFORMATIONSERHEBUNGSANTWORTGENERIERUNGSEINHEIT
301: ANFORDERUNGSINHALTSBESTIMMUNGSEINHEIT
302: PRIORITATSKALKULATIONSEINHEIT
303: ZUM BESTIMMEN SCHRITTWEISER MELDUNGEN VORGESEHENE EINHEIT
304: ABSTRAKTIONSGRADBESTIMMUNGSEINHEIT
305: ANFORDERUNGSANTWORTGENERIERUNGSEINHEIT
310: ZIELOBJEKT-/BASISPUNKTOBJEKTEXTRAKTIONSEINHEIT
311: ZIELOBJEKT-/BASISPUNKTOBJEKTDATENSPEICHEREINHEIT
312: ZUM KOLLATIONIEREN SICHTBARER OBJEKTE VORGESEHENE EINHEIT
313: FÜHRUNGSINFORMATIONSGENERIERUNGSEINHEIT

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

JP 2016038877 A [0004]
JP 2016507833 A [0004]

Claims

Informationsverarbeitungsvorrichtung, umfassend: eine Steuereinheit, die ein Zielobjekt und ein Basispunktobjekt aus einem mit dem Blickfeld eines Benutzers korrespondierenden Bild extrahiert, Basispunktobjektinformationen zum Basispunktobjekt in einer Datenspeichereinheit speichert, bestimmt, ob das Zielobjekt in einem mit einem momentanen Blickfeld korrespondierenden Bild, wenn der Benutzer zum Zielobjekt hingeführt wird, enthalten ist, und einen Prozess zum Präsentieren einer Position des Zielobjekts mittels der gespeicherten Basispunktobjektinformationen, wenn das Zielobjekt nicht in einem mit dem momentanen Blickfeld korrespondierenden Bild enthalten ist, durchführt.
Informationsverarbeitungsvorrichtung gemäß Anspruch 1, wobei die Steuereinheit eine Steuerung zum Präsentieren einer Position des Zielobjekts mittels der Basispunktobjektinformationen durch eine Sprachausgabe durchführt.
Informationsverarbeitungsvorrichtung gemäß Anspruch 2, wobei die Steuereinheit eine Positionsbeziehung zwischen dem Basispunktobjekt und dem Zielobjekt durch eine Sprachausgabe präsentiert.
Informationsverarbeitungsvorrichtung gemäß Anspruch 2, wobei die Steuereinheit eine Steuerung zum Speichern räumlicher Positionsinformationen des extrahierten Zielobjekts und des extrahierten Basispunktobjekts in der Datenspeichereinheit durchführt.
Informationsverarbeitungsvorrichtung gemäß Anspruch 2, wobei die Steuereinheit eine Objekterkennung in einem mit dem Blickfeld des Benutzers korrespondierenden Bild durchführt und als Zielobjekt ein Objekt, das einer Schätzung zufolge basierend auf den registrierten Benutzerinformationen für den Benutzer von Interesse sein könnte, extrahiert.
Informationsverarbeitungsvorrichtung gemäß Anspruch 2, wobei die Steuereinheit eine Objekterkennung in einem mit dem Blickfeld des Benutzers korrespondierenden Bild durchführt, das erkannte Objekt mit einem vorbestimmten, im Voraus registrierten Zielobjekt abgleicht und das Zielobjekt extrahiert.
Informationsverarbeitungsvorrichtung gemäß Anspruch 2, wobei die Steuereinheit eine Objekterkennung im mit dem Blickfeld des Benutzers korrespondierenden Bild durchführt und ein Objekt, das ein vorbestimmtes Kriterium erfüllt, als Basispunktobjekt festlegt.
Informationsverarbeitungsvorrichtung gemäß Anspruch 7, wobei die Steuereinheit ein Objekt, das sich um das Zielobjekt herum befindet und vom Benutzer visuell erkannt wird, als Basispunktobjekt festlegt.
Informationsverarbeitungsvorrichtung gemäß Anspruch 7, wobei die Steuereinheit ein Objekt, das um das Zielobjekt herum positioniert ist und mindestens eine Farbe oder Größe, die ein vorbestimmtes Kriterium erfüllt, im mit dem Blickfeld des Benutzers korrespondierenden Bild aufweist, als Basispunktobjekt identifiziert.
Informationsverarbeitungsvorrichtung gemäß Anspruch 2, wobei die Steuereinheit, wenn ein Zielobjekt, zu dem hingeführt werden soll, im Blickfeld des Benutzers ist, eine Steuerung zur klaren Angabe einer Position des Zielobjekts durch ein AR-Bild durchführt.
Informationsverarbeitungsvorrichtung gemäß Anspruch 2, ferner umfassend: eine Übertragungseinheit, die Informationen zur Zielobjektführung an ein Informationsverarbeitungsendgerät im Besitz des Benutzers überträgt.
Informationsverarbeitungsvorrichtung gemäß Anspruch 11, wobei das Informationsverarbeitungsendgerät ein am Kopf befestigtes, vom Benutzer getragenes Gerät ist.
Informationsverarbeitungsvorrichtung gemäß Anspruch 2, wobei die Steuereinheit eine Steuerung zum Beginnen einer Hinführung zum Zielobjekt zu einem benutzersituationsabhängigen Zeitpunkt durchführt.
Informationsverarbeitungsverfahren, umfassend: Extrahieren eines Zielobjekts und eines Basispunktobjekts aus einem mit dem Blickfeld eines Benutzers korrespondierenden Bild durch einen Prozessor; Speichern von Basispunktobjektinformationen zum Basispunktobjekt in einer Datenspeichereinheit durch den Prozessor; Bewerten durch den Prozessor, ob das Zielobjekt in einem mit einem momentanen Blickfeld korrespondierenden Bild, wenn der Benutzer zum Zielobjekt hingeführt wird, enthalten ist; und Durchführen eines Prozesses zum Präsentieren der Position des Zielobjekts mittels der gespeicherten Basispunktobjektinformationen, wenn das Zielobjekt nicht im mit dem momentanen Blickfeld korrespondierenden Bild enthalten ist, durch den Prozessor.
Programm, das ermöglicht, dass ein Computer als eine Steuerung fungiert, die ein Zielobjekt und ein Basispunktobjekt aus einem mit dem Blickfeld eines Benutzers korrespondierenden Bild extrahiert, Basispunktobjektinformationen zum Basispunktobjekt in einer Datenspeichereinheit speichert, bewertet, ob das Zielobjekt in einem mit einem momentanen Blickfeld korrespondierenden Bild, wenn der Benutzer zum Zielobjekt hingeführt wird, enthalten ist, und einen Prozess zum Präsentieren der Position des Zielobjekts mittels der gespeicherten Basispunktobjektinformationen, wenn das Zielobjekt nicht im mit dem momentanen Blickfeld korrespondierenden Bild enthalten ist, durchführt.