DE112017001987T5

DE112017001987T5 - Datenverarbeitungsvorrichtung, Datenverarbeitungsverarbeitungsverfahren und Programm

Info

Publication number: DE112017001987T5
Application number: DE112017001987.7T
Authority: DE
Inventors: Yuhei Taki; Shinichi Kawano; Yusuke Nakagawa; Kunihito Sawai; Ayumi KATO
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2016-04-12
Filing date: 2017-01-24
Publication date: 2018-12-20
Also published as: CN108885594A; US20210193168A1; JPWO2017179262A1; US11100944B2; WO2017179262A1; KR20180134339A; JP6943237B2; CN108885594B

Abstract

[Problem] Eine Datenverarbeitungsvorrichtung, ein Datenverarbeitungsverfahren und ein Programm vorzuschlagen, wodurch es möglich ist, eine Annehmlichkeit zu verbessern, wenn Nachrichten zwischen Benutzern ausgetauscht werden. [Lösung] Eine Datenverarbeitungsvorrichtung, die mit einer Ausgabesteuereinheit versehen ist, die auf der Basis der Detektion von Sprache, die von einem ersten Benutzer geäußert wird, der eine Stimmeingabe verwendet, eine Ausgabe von Informationen steuert, die den Zustand angeben, in dem der erste Benutzer auf eine Antwort von einem zweiten Benutzer wartet, der eine Texteingabe verwendet, wobei eingegebene Nachrichten zwischen dem ersten Benutzer und dem zweiten Benutzer ausgetauscht werden.

Description

Technisches Gebiet
Die vorliegende Offenbarung bezieht sich auf eine Datenverarbeitungseinrichtung, ein Datenverarbeitungsverfahren und ein Programm.
Stand der Technik
Herkömmlich wurden verschiedene Technologien zum Durchführen einer Kommunikation zwischen Benutzern über Netze wie beispielsweise Chatten entwickelt. Durch Chatten können Teilnehmer Text, Ton und dergleichen in Echtzeit austauschen.
Außerdem wurden auch Technologien zum Umsetzen von Textinformationen und Toninformationen vorgeschlagen. Die nachstehend aufgelistete Patentliteratur 1 beschreibt beispielsweise eine Technologie zum Umsetzen von Text, der von einem Benutzer eingegeben wird, in Tondaten und Ausgeben der umgesetzten Tondaten an einen Kopfhörer, den ein anderer Benutzer verwendet.
Entgegenhaltungsliste
Patentliteratur
Patentliteratur 1: JP 2004-129174A
Zusammenfassung der Erfindung
Technisches Problem
Im Übrigen wird, wenn angenommen wird, dass die in der Patentliteratur 1 beschriebene Technologie auf eine Situation angewendet wird, in der Nachrichten zwischen Benutzern ausgetauscht werden, gemäß der in der Patentliteratur 1 beschriebenen Technologie ein Benutzer nicht über Informationen in Bezug auf einen Status eines Gegenbenutzers benachrichtigt. Daher ist es gemäß der in Patentliteratur 1 beschriebenen Technologie schwierig, dass ein Benutzer beispielsweise einen Status feststellt, in dem ein Gegenbenutzer auf eine Nachricht vom Benutzer wartet.
Folglich schlägt die vorliegende Offenbarung eine neue und verbesserte Datenverarbeitungseinrichtung, ein neues und verbessertes Datenverarbeitungsverfahren und ein neues und verbessertes Programm vor, die in der Lage sind, zu bewirken, dass eine Annehmlichkeit in einer Situation, in der Nachrichten zwischen Benutzern ausgetauscht werden, verbessert wird.
Lösung für das Problem
Gemäß der vorliegenden Offenbarung wird eine Datenverarbeitungseinrichtung geschaffen, die umfasst: eine Ausgabesteuereinheit, die eine Ausgabe von Informationen, die einen Wartestatus eines ersten Benutzers in Bezug auf eine Antwort von einem zweiten Benutzer, der eine Texteingabe verwendet, angeben, auf einer Basis einer Detektion von Sprache des ersten Benutzers, der eine Toneingabe verwendet, steuert. Eingegebene Nachrichten werden zwischen dem ersten Benutzer und dem zweiten Benutzer ausgetauscht.
Gemäß der vorliegenden Offenbarung wird außerdem ein Datenverarbeitungsverfahren geschaffen, das umfasst: Steuern einer Ausgabe von Informationen durch einen Prozessor, die einen Wartestatus eines ersten Benutzers in Bezug auf eine Antwort von einem zweiten Benutzer, der eine Textangabe verwendet, angeben, auf einer Basis einer Detektion von Sprache des ersten Benutzers, der eine Toneingabe verwendet. Eingegebene Nachrichten werden zwischen dem ersten Benutzer und dem zweiten Benutzer ausgetauscht.
Gemäß der vorliegenden Offenbarung wird außerdem ein Programm geschaffen, das bewirkt, dass ein Computer funktioniert als: Ausgabesteuereinheit, die eine Ausgabe von Informationen, die einen Wartestatus eines ersten Benutzers in Bezug auf eine Antwort von einem zweiten Benutzer, der eine Texteingabe verwendet, angeben, auf einer Basis der Detektion von Sprache des ersten Benutzers, der eine Toneingabe verwendet, steuert. Eingegebene Nachrichten werden zwischen dem ersten Benutzer und dem zweiten Benutzer ausgetauscht.
Vorteilhafte Effekte der Erfindung
Gemäß der vorliegenden Offenbarung ist es möglich, die Annehmlichkeit in einer Situation zu verbessern, in der Nachrichten zwischen Benutzern ausgetauscht werden, wie vorstehend beschrieben. Es ist zu beachten, dass der hier beschriebene Vorteil nicht notwendigerweise begrenzend ist, und beliebige in der vorliegenden Offenbarung beschriebene Vorteile erreicht werden können.
Figurenliste

[1] 1 ist ein erläuterndes Diagramm, das ein Konfigurationsbeispiel eines Datenverarbeitungssystems darstellt, das von den jeweiligen Ausführungsformen gemeinsam genutzt wird.
[2] 2 ist ein Funktionsblockdiagramm, das ein Konfigurationsbeispiel eines Endgeräts 20 gemäß einer ersten Ausführungsform darstellt.
[3] 3 ist ein Sequenzdiagramm, das einen Ablauf einer Nachrichtenaustauschverarbeitung gemäß der ersten Ausführungsform darstellt.
[4] 4 ist ein Funktionsblockdiagramm, das ein Konfigurationsbeispiel eines Servers 10 gemäß der ersten Ausführungsform darstellt.
[5] 5 ist ein erläuterndes Diagramm, das ein Konfigurationsbeispiel einer Zeitgrenzenberechnungs-DB 124 gemäß der ersten Ausführungsform darstellt.
[6] 6 ist ein erläuterndes Diagramm, das ein Konfigurationsbeispiel einer Spracheigenschaftskoeffiziententabelle 126 gemäß der ersten Ausführungsform darstellt.
[7] 7 ist ein erläuterndes Diagramm, das ein Konfigurationsbeispiel einer Wahrnehmungsinformationskoeffiziententabelle 128 gemäß der ersten Ausführungsform darstellt.
[8] 8 ist ein erläuterndes Diagramm, das ein Konfigurationsbeispiel einer Demonstrativpronomen-Anwesenheits/Abwesenheits-Koeffiziententabelle 130 gemäß der ersten Ausführungsform darstellt.
[9] 9 ist ein erläuterndes Diagramm, das ein Konfigurationsbeispiel einer Zeitinformationskoeffiziententabelle 132 gemäß der ersten Ausführungsform darstellt.
[10] ist ein erläuterndes Diagramm, das ein Anzeigebeispiel eines Indikators gemäß der ersten Ausführungsform darstellt.
[11] 11 ist ein erläuterndes Diagramm, das ein Anzeigebeispiel eines Indikators gemäß der ersten Ausführungsform darstellt.
[12] 12 ist ein erläuterndes Diagramm, das ein Anzeigebeispiel eines Indikators gemäß der ersten Ausführungsform darstellt.
[13] 13 ist ein Ablaufplan, der einen Gesamtablauf von Operationen gemäß der ersten Ausführungsform darstellt.
[14] 14 ist ein Ablaufplan, der einen Ablauf einer Indikatoranzeigenotwendigkeitsbestimmungsverarbeitung gemäß der ersten Ausführungsform darstellt.
[15] 15 ist ein Ablaufplan, der einen Ablauf einer Antwortzeitgrenzenberechnungsverarbeitung gemäß der ersten Ausführungsform darstellt.
[16] 16 ist ein Ablaufplan, der einen Ablauf einer Indikatorstoppbestimmungsverarbeitung gemäß der ersten Ausführungsform darstellt.
[17] 17 ist ein Sequenzdiagramm, das einen Teil von Operationen gemäß einer zweiten Ausführungsform darstellt.
[18] 18 ist ein Sequenzdiagramm, das einen Teil von Operationen gemäß einer zweiten Ausführungsform darstellt.
[19] 19 ist ein Sequenzdiagramm, das Operationen gemäß einer dritten Ausführungsform darstellt.
[20] 20 ist ein Sequenzdiagramm, das Operationen gemäß einer vierten Ausführungsform darstellt.
[21] 21 ist ein erläuterndes Diagramm, das ein Hardware-Konfigurationsbeispiel eines Servers 10, der von jeweiligen Ausführungsformen gemeinsam genutzt wird, darstellt.

Beschreibung von Ausführungsformen
Nachstehend wird (werden) (eine) bevorzugte Ausführungsform(en) der vorliegenden Offenbarung im Einzelnen mit Bezug auf die beigefügten Zeichnungen beschrieben. Es ist zu beachten, dass in dieser Patentbeschreibung und in den beigefügten Zeichnungen Strukturelemente, die im Wesentlichen dieselbe Funktion und Struktur aufweisen, mit denselben Bezugszeichen bezeichnet sind und auf eine wiederholte Erläuterung dieser Strukturelemente verzichtet wird.
Außerdem werden mehrere Komponenten, die im Wesentlichen dieselben Funktionskonfigurationen aufweisen, in einigen Fällen in der Patentbeschreibung und den Zeichnungen durch Hinzufügen von verschiedenen Buchstaben zu Enden derselben Bezugszeichen unterschieden. Mehrere Komponenten, die im Wesentlichen dieselben Funktionskonfigurationen aufweisen, werden beispielsweise als Endgerät 20a und Endgerät 20b unterschieden, wie erforderlich. Nur dieselben Bezugszeichen werden jedoch in einem Fall hinzugefügt, in dem es nicht speziell erforderlich ist, die mehreren jeweiligen Komponenten zu unterscheiden, die im Wesentlichen dieselben Funktionskonfigurationen aufweisen. In einem Fall, in dem es beispielsweise nicht speziell erforderlich ist, das Endgerät 20a und das Endgerät 20b zu unterscheiden, werden das Endgerät 20a und das Endgerät 20b einfach als Endgeräte 20 bezeichnet.
Außerdem wird die „Beschreibung von Ausführungsformen“ in der Reihenfolge der nachstehend beschriebenen Punkte beschrieben.

1. Konfiguration des Datenverarbeitungssystems
2. Erste Ausführungsform
3. Zweite Ausführungsform
4. Dritte Ausführungsform
5. Vierte Ausführungsform
6. Hardware-Konfiguration
7. Modifikationsbeispiel

<< 1. Konfiguration des Datenverarbeitungssystems>>
Zuerst wird ein Konfigurationsbeispiel eines Datenverarbeitungssystems, das von den jeweiligen Ausführungsformen der vorliegenden Offenbarung gemeinsam genutzt wird, mit Bezug auf 1 beschrieben. Wie in 1 dargestellt, umfasst das von den jeweiligen Ausführungsformen gemeinsam genutzte Datenverarbeitungssystem einen Server 10, ein Endgerät 20 und ein Kommunikationsnetz 30.
In den jeweiligen Ausführungsformen der vorliegenden Offenbarung wird eine Situation, in der beispielsweise zwei Benutzer 2 Chatten durchführen, angenommen. Spezieller führt ein Benutzer 2a das Chatten durch Toneingaben (Ton-Chatten) durch und der andere Benutzer 2b führt das Chatten durch Texteingaben (Text-Chatten) durch. Die zwei Benutzer führen beispielsweise das Chatten durch, während sie dasselbe Videospiel spielen. Es ist zu beachten, dass beim Text-Chatten der Benutzer Text unter Verwendung einer Eingabevorrichtung wie einer Tastatur, beispielsweise einer Software-Tastatur, die auf einem Anzeigebildschirm angezeigt wird, oder dergleichen eingeben kann oder Text durch Tontexteingaben eingeben kann.
<Endgerät 20>
Die Endgeräte 20 sind Vorrichtungen, die die Benutzer 2 zum Durchführen von Chatten verwenden. Es ist zu beachten, dass, obwohl 1 ein Beispiel darstellt, in dem die Endgeräte 20 Spielekonsolen sind, die Endgeräte 20 nicht auf ein solches Beispiel begrenzt sind. Die Endgeräte 20 können beispielsweise Universalpersonalcomputer (PCs), Tablet-Endgeräte, Mobiltelefone wie z. B. Smartphones oder tragbare Vorrichtungen wie z. B. am Kopf angebrachte Anzeigen (HMDs) oder Headsets sein. Es ist zu beachten, dass nachstehend hauptsächlich das Beispiel, in dem die Endgeräte 20 Spielekonsolen sind, beschrieben wird.
Hier wird ein Beispiel einer Funktionskonfiguration jedes Endgeräts 20 mit Bezug auf 2 beschrieben. Wie in 2 dargestellt, weist das Endgerät 20 beispielsweise eine Steuereinheit 200, eine Tonaufnahmeeinheit 220, eine Bedienungseinheit 222, eine Messeinheit 224, eine Anzeigeeinheit 226, eine Tonausgabeeinheit 228 und eine Kommunikationseinheit 230 auf.
Die Steuereinheit 200 steuert gesamte Operationen des Endgeräts 20 unter Verwendung von Hardware wie beispielsweise einer Zentraleinheit (CPU) und eines Direktzugriffsarbeitsspeichers (RAM).
Die Tonaufnahmeeinheit 220 nimmt externen Ton auf. Außerdem liefert die Tonaufnahmeeinheit 220 den aufgenommenen Ton zur Steuereinheit 200.
Die Bedienungseinheit 222 empfängt Eingaben eines Benutzers. Außerdem liefert die Bedienungseinheit 222 empfangenen Inhalt zur Steuereinheit 200.
Die Messeinheit 224 umfasst verschiedene Sensoren, wie beispielsweise eine Kamera, einen Schweißsensor und einen Temperatursensor. Die Messeinheit 224 führt eine Messung beispielsweise in Bezug auf den Zustand eines Benutzers durch. Außerdem liefert die Messeinheit 224 ein Messergebnis zur Steuereinheit 200.
Die Anzeigeeinheit 226 ist ein Beispiel einer Ausgabeeinheit gemäß der vorliegenden Offenbarung. Die Anzeigeeinheit 226 zeigt einen Anzeigebildschirm unter der durch die Steuereinheit 200 durchgeführten Steuerung an.
Die Tonausgabeeinheit 228 ist ein Beispiel der Ausgabeeinheit gemäß der vorliegenden Offenbarung. Die Tonausgabeeinheit 228 gibt Ton unter der durch die Steuereinheit 200 durchgeführten Steuerung aus.
Die Kommunikationseinheit 230 sendet und empfängt Informationen zu und von einer anderen Einrichtung über beispielsweise das Kommunikationsnetz 30. Die Kommunikationseinheit 230 sendet beispielsweise den Ton, der durch die Tonaufnahmeeinheit 220 aufgenommen wird, zum Server 10 unter der durch die Steuereinheit 200 durchgeführten Steuerung. Außerdem empfängt die Kommunikationseinheit 230 Nachrichten und dergleichen, die durch einen anderen Benutzer eingegeben werden, vom Server 10.
Es ist zu beachten, dass die Konfiguration des Endgeräts 20 nicht auf das vorstehend erwähnte Beispiel begrenzt ist. Irgendeine oder mehrere der Tonaufnahmeeinheit 220, der Bedienungseinheit 222, der Messeinheit 224, der Anzeigeeinheit 226 und der Tonausgabeeinheit 228 können beispielsweise außerhalb des Endgeräts 20 vorgesehen sein.
<Server 10>
Der Server 10 ist ein Beispiel der Datenverarbeitungseinrichtung gemäß der vorliegenden Offenbarung. Der Server 10 steuert den Austausch von eingegebenen Nachrichten zwischen den Endgeräten 20. Der Server 10 kann beispielsweise eine Toneingabe durch den Ton-chattenden Benutzer 2a ohne irgendeine Änderung zum Endgerät 20b, das der Text-chattende Benutzer 2b verwendet, liefern oder kann ein Ergebnis der Durchführung einer Tonerkennung am Eingangston zum Endgerät 20b liefern. Außerdem setzt der Server 10 einen durch den Text-chattenden Benutzer 2b eingegebenen Text in Ton unter Verwendung von TextToSpeech (TTS) um und liefert dann den Ton, in den er umgesetzt wird, zum Endgerät 20a, das der Ton-chattende Benutzer 2a verwendet. In dieser Weise können der Ton-chattende Benutzer 2a und der Text-chattende Benutzer 2b Chatten mit einem Gefühl ähnlich zu jenem in einem Fall, in dem die Benutzer dasselbe Chat-Verfahren verwenden, durchführen.
{Ablauf der Nachrichtenaustauschverarbeitung}
Hier wird ein Ablauf der Nachrichtenaustauschverarbeitung zwischen dem Ton-chattenden Benutzer 2a und dem Text-chattenden Benutzer 2b speziell mit Bezug auf 3 beschrieben. Wie in 3 dargestellt, trägt der Ton-chattende Benutzer 2a zuerst Sprache vor (S11). Dann nimmt das Endgerät 20a, das der Ton-chattende Benutzer 2a verwendet, Ton der Sprache auf und überträgt dann den aufgenommenen Ton zum Server 10 (S13) .
Danach sendet der Server 10 den empfangenen Ton zum Endgerät 20b, das der Text-chattende Benutzer 2b verwendet (S15).
Danach gibt die Tonausgabeeinheit 228b des Endgeräts 20b den empfangenen Ton aus (S17). Danach gibt der Text-chattende Benutzer 2b Text beispielsweise unter Verwendung der Bedienungseinheit 222 ein (S19). Sobald die Eingabe vollendet ist, sendet dann das Endgerät 20b den eingegebenen Text zum Server 10 (S21).
Danach setzt der Server 10 den empfangenen Text in Ton durch die TTS-Funktion um (S23). Dann sendet der Server 10 den umgesetzten Ton zum Endgerät 20a (S25).
Danach gibt die Tonausgabeeinheit 228a des Endgeräts 20a den empfangenen Ton aus (S27).
<Kommunikationsnetz 30>
Das Kommunikationsnetz 30 ist ein verdrahteter oder drahtloser Übertragungspfad von Informationen, die von einer Einrichtung, die mit dem Kommunikationsnetz 30 verbunden ist, übertragen werden. Das Kommunikationsnetz 30 kann beispielsweise öffentliche Leitungsnetze wie z. B. ein Telefonleitungsnetz, das Internet und ein Satellitenkommunikationsnetz, verschiedene lokale Netze (LANs), einschließlich Ethernet (eingetragene Handelsmarke), ein weiträumiges Netz (WAN) und dergleichen umfassen. Außerdem kann das Kommunikationsnetz 30 zweckgebundene Leitungsnetze wie z. B. ein virtuelles privates Internetprotokollnetz (IP-VPN) umfassen.
<Organisation von Problemen>
Die Konfiguration des Datenverarbeitungssystems, das von den jeweiligen Ausführungsformen gemeinsam genutzt wird, wurde vorstehend beschrieben. Im Übrigen dauert es im Allgemeinen längere Zeit, um eine Nachricht beim Text-Chatten einzugeben, als beim Ton-Chatten. Daher wird eine Zeit, während der der Ton-chattende Benutzer auf eine Antwort vom Text-chattenden Benutzer wartet, lang und er kann sich beim Chatten zwischen dem Ton-chattenden Benutzer und dem Text-chattenden Benutzer unwohl fühlen. Folglich ist es erwünscht, dass der Text-chattende Benutzer Informationen über die Länge einer Zeit kennen kann, die beispielsweise der Ton-chattende Benutzer zum Warten auf eine Antwort vom Text-chattenden Benutzer erlaubt.
Folglich wurde der Server 10 gemäß der ersten Ausführungsform durch Betrachten der vorstehend erwähnten Umstände als einen Blickpunkt entworfen. Gemäß der ersten Ausführungsform kann der Server 10 eine Ausgabe von Informationen, die einen Wartestatus des Ton-chattenden Benutzers in Bezug auf eine Antwort vom Text-chattenden Benutzer angeben (nachstehend als Informationen, die einen Wartestatus des Ton-chattenden Benutzers angeben, bezeichnet), auf der Basis der Detektion der Sprache des Ton-chattenden Benutzers steuern, wie später beschrieben wird. In dieser Weise kann der Text-chattende Benutzer den Wartestatus des Ton-chattenden Benutzers zur Zeit der Eingabe der Nachricht feststellen.
«2. Erste Ausführungsform»
<Konfiguration>
Als nächstes wird eine erste Ausführungsform beschrieben. Zuerst wird eine Konfiguration des Servers 10 gemäß der ersten Ausführungsform im Einzelnen beschrieben. 4 ist ein Funktionsblockdiagramm, das ein Konfigurationsbeispiel des Servers 10 gemäß der ersten Ausführungsform darstellt. Wie in 4 dargestellt, weist der Server 10 eine Steuereinheit 100, eine Kommunikationseinheit 120 und eine Speichereinheit 122 auf.
{Steuereinheit 100}
Die Steuereinheit 100 steuert gesamte Operationen des Servers 10 unter Verwendung von Hardware wie z. B. einer CPU 150 und eines RAM 154, die in den Server 10 eingebaut sind und später beschrieben werden. Außerdem weist die Steuereinheit 100 eine Tonanalyseeinheit 102, eine Gefühlsabschätzeinheit 104, eine Antwortzeitgrenzenberechnungseinheit 106 und eine Ausgabesteuereinheit 108 auf, wie in 4 dargestellt.
{Tonanalyseeinheit 102}
(Analyse von Spracheigenschaften)
Die Tonanalyseeinheit 102 analysiert Ton, der von den Endgeräten 20 empfangen wird. Die Tonanalyseeinheit 102 analysiert beispielsweise Spracheigenschaften des empfangenen Tons. Hier sind die Spracheigenschaften beispielsweise eine Tonlautstärke der Stimme, eine Sprachgeschwindigkeit, eine Tonhöhe und dergleichen.
(Tonerkennung)
Außerdem führt die Tonanalyseeinheit 102 eine Tonerkennung und syntaktische Analyse am empfangenen Ton durch. Die Tonanalyseeinheit 102 führt beispielsweise eine Tonerkennung am empfangenen Ton durch und führt dann eine Modalitätsanalyse eines Sprachsatzes auf der Basis des Ergebnisses der Erkennung durch. Hier ist die Modalitätsanalyse eine Analyse vom linguistischen Typ (beispielsweise „verneinend“, „ausrufend“, „Bitte“, „Frage“ und dergleichen) des Satzes.
Außerdem bestimmt die Tonanalyseeinheit 102, ob die Modalität des Satzes der Sprache eine Modalität ist oder nicht, die eine Antwort erfordert, auf der Basis des Ergebnisses der Modalitätsanalyse. In einem Fall, in dem der durch die Modalitätsanalyse analysierte Modalitätstyp beispielsweise „Bedingung“, „Anfrage“, „Aufmunterung“ oder „Bitte“ ist, bestimmt die Tonanalyseeinheit 102, dass die Modalität eine Modalität ist, die eine Antwort erfordert. In einem Fall, in dem der analysierte Modalitätstyp keine der vorstehend erwähnten Modalitäten ist, bestimmt die Tonanalyseeinheit 102 außerdem, dass die Modalität eine Modalität ist, die keine Antwort erfordert.
{Gefühlsabschätzeinheit 104}
Die Gefühlsabschätzeinheit 104 schätzt Gefühle der Benutzer, die die Endgeräte 20 verwenden, auf der Basis von verschiedenen Wahrnehmungsergebnissen, die von den Endgeräten 20 empfangen werden, ab. Beispielsweise schätzt die Gefühlsabschätzeinheit 104 die Gefühle der Benutzer (beispielsweise verärgert, traurig, sich amüsierend oder dergleichen) durch Analysieren von Gesichtsausdrücken auf der Basis von aufgenommenen Gesichtsbildern der Benutzer ab. Außerdem kann die Gefühlsabschätzeinheit 104 auch die Gefühle der Benutzer durch Analysieren des empfangenen Tons abschätzen.
{Antwortzeitgrenzenberechnungseinheit 106}
Die Antwortzeitgrenzenberechnungseinheit 106 berechnet eine Nachrichtenantwortzeitgrenze in Bezug auf den Text-chattenden Benutzer auf der Basis einer vorbestimmten Referenz. Hier entspricht die Antwortzeitgrenze einer maximalen Zeit, von der abgeschätzt wird, dass der Ton-chattende Benutzer sie beispielsweise zum Warten (oder die der Benutzer sich beim Warten nicht unwohl fühlt) auf eine Antwort vom Text-chattenden Benutzer erlaubt. Außerdem kann die vorbestimmte Referenz die detektierten Spracheigenschaften des Ton-chattenden Benutzers umfassen. Außerdem kann die vorbestimmte Referenz ein Ergebnis der Gefühlsabschätzung umfassen, die durch die Gefühlabschätzeinheit 104 auf der Basis des empfangenen Tons (des Ton-chattenden Benutzers) durchgeführt wird. Außerdem kann die vorbestimmte Referenz ein Wahrnehmungsergebnis in Bezug auf den Zustand des Ton-chattenden Benutzers umfassen. Außerdem kann die vorbestimmte Referenz ein Ergebnis der Tonerkennung umfassen, die durch die Tonanalyseeinheit 102 am empfangenen Ton (des Ton-chattenden Benutzers) durchgeführt wird.
Die Antwortzeitgrenzenberechnungseinheit 106 berechnet beispielsweise die Antwortzeitgrenze auf der Basis des Ergebnisses der Analyse, die durch die Tonanalyseeinheit 102 durchgeführt wird, des Ergebnisses der Abschätzung, die durch die Gefühlsabschätzeinheit 104 durchgeführt wird, und des Inhalts, der in einer Zeitgrenzenberechnungs-DB 124 eingetragen ist, die später beschrieben wird. In einem Beispiel berechnet die Antwortzeitgrenzenberechnungseinheit 106 zuerst eine Verringerungsrate von einer Referenzzeit auf der Basis der jeweiligen Verringerungskoeffizienten, die in der Zeitgrenzenberechnungs-DB 124 gespeichert sind. Dann berechnet die Antwortzeitgrenzenberechnungseinheit 106 die Antwortzeitgrenze durch Multiplizieren der Referenzzeit mit der berechneten Verringerungsrate. Hier kann die Länge der Referenzzeit im Voraus für jeden der Typen der Endgeräte 20 und der Typen von Diensten (ein Chat-Dienst und dergleichen) festgelegt werden. Dann berechnet die Antwortzeitgrenzenberechnungseinheit 106 die Antwortzeitgrenze durch Multiplizieren der Referenzzeit, die den Typen der Endgeräte 20, die die Benutzer verwenden, oder dem Typ des Diensts, den die Benutzer verwenden, zugeordnet sind, mit der berechneten Verringerungsrate.
(Zeitgrenzenberechnungs-DB 124).
Die Zeitgrenzenberechnungs-DB 124 ist eine Datenbank, in der Verringerungskoeffizienten, die verwendet werden, um die Antwortzeitgrenze zu berechnen, gespeichert sind. Die Zeitgrenzenberechnungs-DB 124 kann beispielsweise in der Speichereinheit 122 gespeichert sein. 5 ist ein erläuterndes Diagramm, das ein Konfigurationsbeispiel der Zeitgrenzenberechnungs-DB 124 darstellt. Wie in 5 dargestellt, umfasst die Zeitgrenzenberechnungs-DB 124 eine Spracheigenschaftskoeffiziententabelle 126, eine Wahrnehmungsinformationskoeffiziententabelle 128, eine Demonstrativpronomen-Anwesenheits/Abwesenheits-Koeffiziententabelle 130 und eine Zeitinformationskoeffiziententabelle 132.
6 ist ein erläuterndes Diagramm, das ein Konfigurationsbeispiel der Spracheigenschaftskoeffiziententabelle 126 darstellt. Wie in 6 dargestellt, sind beispielsweise eine Tonlautstärke und eine Sprachgeschwindigkeit von Sprache und ein Verringerungskoeffizient 1260 in der Spracheigenschaftskoeffiziententabelle 126 einander zugeordnet. In dem in 6 dargestellten Beispiel ist ein Verringerungskoeffizient in einem Fall, in dem die Tonlautstärke der Sprache „gewöhnlich“ ist und die Sprachgeschwindigkeit „höher als gewöhnlich“ ist, „0,8“. Es ist zu beachten, dass in der Spracheigenschaftskoeffiziententabelle 126 das, was zugeordnet ist, nicht auf die Tonlautstärke und die Sprachgeschwindigkeit der Sprache begrenzt ist, und beispielsweise eine Tonhöhe der Sprache, ein Ergebnis der Abschätzung eines Gefühls auf der Basis des Tons der Sprache und dergleichen zusätzlich oder alternativ zugeordnet sein können.
7 ist ein erläuterndes Diagramm, das ein Konfigurationsbeispiel der Wahrnehmungsinformationskoeffiziententabelle 128 darstellt. Wie in 7 dargestellt, sind beispielsweise ein Ergebnis der Gefühlsabschätzung auf der Basis von anderen Wahrnehmungsinformationen (Gesichtsbilder und dergleichen) als dem Ton, ein Ergebnis der Wahrnehmung der Menge an Schweiß und ein Verringerungskoeffizient 1280 in der Wahrnehmungsinformationskoeffiziententabelle 128 einander zugeordnet. In dem in 7 dargestellten Beispiel ist der Verringerungskoeffizient in einem Fall, in dem das Ergebnis der Gefühlsabschätzung „verärgert“ ist und die Menge an Schweiß „mehr als gewöhnlich“ ist, „0,5“. Es ist zu beachten, dass das, was zugeordnet ist, nicht auf das Ergebnis der Gefühlsabschätzung und der Menge an Schweiß begrenzt ist, und beispielsweise ein Ergebnis der Detektion einer Sichtlinie (ob der Benutzer die Anzeigeeinheit 226 betrachtet oder nicht oder dergleichen), ein Ergebnis der Detektion, die durch die Bedienungseinheit 222 durchgeführt wird (ob der Benutzer die Bedienungseinheit 222 greift oder nicht, ob Finger mit der Bedienungseinheit 222 in Kontakt stehen oder nicht, oder dergleichen), ein Ergebnis einer Handlungserkennung (ein Spielstatus und dergleichen) oder dergleichen zusätzlich oder alternativ in der Wahrnehmungsinformationskoeffiziententabelle 128 zugeordnet sein können.
8 ist ein erläuterndes Diagramm, das ein Konfigurationsbeispiel der Demonstrativpronomen-Anwesenheits/Abwesenheits-Koeffiziententabelle 130 darstellt. Wie in 8 dargestellt, sind die Anwesenheit/Abwesenheit eines Demonstrativpronomens und ein Verringerungskoeffizient 13300 in der Demonstrativpronomen-Anwesenheit/Abwesenheits-Koeffiziententabelle 130 einander zugeordnet. In dem in 8 dargestellten Beispiel ist ein Verringerungskoeffizient in einem Fall, in dem ein Demonstrativpronomen in einem Ergebnis der Durchführung der Tonerkennung am empfangenen Ton „anwesend“ ist, „0,8“.
9 ist ein erläuterndes Diagramm, das ein Konfigurationsbeispiel der Zeitinformationskoeffiziententabelle 132 darstellt. Wie in 9 dargestellt, sind ein Punkt, der durch ein Wort angegeben ist, das in einem Ergebnis der Tonerkennung enthalten ist, und ein Verringerungskoeffizient 1320 in der Zeitinformationskoeffiziententabelle 132 einander zugeordnet. In dem in 9 dargestellten Beispiel ist ein Verringerungskoeffizient in einem Fall, in dem ein Wort, das „aktuell“ angibt, in dem Ergebnis der Tonerkennung des Tons vorhanden ist, „0,8“. Es ist zu beachten, dass die individuellen Werte der Verringerungskoeffizienten, die in 6 bis 9 dargestellt sind, nur Beispiele sind, die Werte nicht auf solche Beispiele begrenzt sind und beliebige Werte eingetragen sein können.
(Beispiel der Berechnung der Zeitgrenze)
Hier wird ein Beispiel, in dem die Antwortzeitgrenzenberechnungseinheit 106 eine Nachrichtenantwortzeitgrenze auf der Basis der verschiedenen Tabellen berechnet, die in 6 bis 9 dargestellt sind, beschrieben. Beispielsweise wird angenommen, dass die Referenzzeit „30 Sekunden“ ist, der Verringerungskoeffizient, der aus der Spracheigenschaftskoeffiziententabelle 126 bestimmt wird, „0,8“ ist, der Verringerungskoeffizient, der aus der Wahrnehmungsinformationskoeffiziententabelle 128 bestimmt wird, „1,0“ ist, der Verringerungskoeffizient, der aus der Demonstrativpronomen-Anwesenheits/Abwesenheits-Koeffiziententabelle 130 bestimmt wird, „0,8“ ist und der Verringerungskoeffizient, der aus der Zeitinformationskoeffiziententabelle 132 bestimmt wird, „1,0“ ist. In diesem Fall berechnet die Antwortzeitgrenzenberechnungseinheit 106 die Antwortzeitgrenze als „19 Sekunden“ durch Multiplizieren der Referenzzeit mit allen vorstehend erwähnten Verringerungskoeffizienten (30 (Sekunden) × 0,8 × 1,0 × 0,8 × 1, 0 ≈ 19 (Sekunden)).
{Ausgabesteuereinheit 108}
(Start und Ende der Ausgabe von Informationen, die den Wartestatus angeben)
Die Ausgabesteuereinheit 108 steuert eine Ausgabe der Informationen, die den Wartestatus des Ton-chattenden Benutzers angeben, auf der Basis der Detektion von Sprache des Ton-chattenden Benutzers. Die Ausgabesteuereinheit 108 steuert beispielsweise eine Ausgabe der Informationen, die den Wartestatus des Ton-chattenden Benutzers angeben, auf der Basis eines Ergebnisses der Analyse der detektierten Sprache durch die Tonanalyseeinheit 102. In einem Beispiel bewirkt die Ausgabesteuereinheit 108, dass die Ausgabe der Informationen, die den Wartestatus des Ton-chattenden Benutzers angeben, startet, auf der Basis eines Ergebnisses der Bestimmung, ob der Satz der detektierten Sprache eine Modalität aufweist oder nicht, die eine Antwort erfordert. In einem Fall, in dem durch die Tonanalyseeinheit 102 bestimmt wird, dass der Satz der detektierten Sprache eine Modalität aufweist, die eine Antwort erfordert, bewirkt beispielsweise die Ausgabesteuereinheit 108, dass die Ausgabe der Informationen, die den Wartestatus des Ton-chattenden Benutzers angeben, startet. In einem Fall, in dem durch die Tonanalyseeinheit 102 bestimmt wird, dass der Satz der detektierten Sprache eine Modalität aufweist, die keine Antwort erfordert, bewirkt außerdem die Ausgabesteuereinheit 108 nicht, dass die Ausgabe der Informationen, die den Wartestatus des Ton-chattenden Benutzers angeben, startet.
Nachdem die Ausgabe der Informationen, die den Wartestatus des Ton-chattenden Benutzers angeben, gestartet wird, bewirkt außerdem die Ausgabesteuereinheit 108, dass die Ausgabe der Informationen, die den Wartestatus des Ton-chattenden Benutzers angeben, endet, auf der Basis einer vorbestimmten Bedingung. In einem Fall, in dem beispielsweise eine Eingabe einer Nachricht durch den Text-chattenden Benutzer vollendet wurde, bewirkt die Ausgabesteuereinheit 108, dass die Ausgabe der Informationen, die den Wartestatus des Ton-chattenden Benutzers angeben, endet. Wenn eine Ablaufzeit von der Zeit der Ausgabe der Informationen, die den Wartestatus des Ton-chattenden Benutzers angeben, eine vorbestimmte obere Grenzzeit überschreitet, bewirkt außerdem die Ausgabesteuereinheit 108, dass die Ausgabe der Informationen, die den Wartestatus des Ton-chattenden Benutzers angeben, endet. Hier kann die vorbestimmte obere Grenzzeit eine Zeit sein, die im Voraus festgelegt wird, kann eine Zeit sein, die durch Hinzufügen einer vorbestimmten Zeit zur Antwortzeitgrenze erhalten wird, die durch die Antwortzeitgrenzenberechnungseinheit 106 berechnet wird, oder kann dieselbe wie die Antwortzeitgrenze sein.
(Darstellung durch GUI)
Hier wird ein Beispiel der Ausgabe der Informationen, die den Wartestatus des Ton-chattenden Benutzers angeben, genauer beschrieben. Die Ausgabesteuereinheit 108 bewirkt beispielsweise, dass eine Anzeigeeinheit 226 auf der Seite des Text-chattenden Benutzers einen Indikator mit der Antwortzeitgrenze, die durch die Antwortzeitgrenzenberechnungseinheit 106 berechnet wird, als Informationen, die den Wartestatus des Ton-chattenden Benutzers angeben, anzeigt.
10 ist ein erläuterndes Diagramm, das ein Anzeigebeispiel (Anzeigebildschirm 40) eines Indikators darstellt. Wie in 10 dargestellt, bewirkt beispielsweise die Ausgabesteuereinheit 108, dass ein Texteingabeabschnitt 42 und ein Indikator 40 zusammen im Anzeigebildschirm 40 angezeigt werden. Hier ist der Texteingabeabschnitt 42 ein Eingabeabschnitt, damit der Text-chattende Benutzer Text (eine Nachricht) eingibt. Außerdem umfasst der Indikator 50 einen Messer 52, wie in 10 dargestellt. Der Messer 52 ist eine Anzeige, die eine Differenz zwischen der Antwortzeitgrenze und einer abgelaufenen Zeit von der Zeit, zu der die Anzeige des Indikators 50 gestartet wird, angibt (nachstehend in einige Fällen als restliche Zeit bezeichnet). Gemäß dem Anzeigebeispiel kann der Text-chattende Benutzer eine restliche Zeit kennen, die der Ton-chattende Benutzer zum Warten auf eine Antwort auf die Nachricht erlaubt. Folglich kann der Text-chattende Benutzer beispielsweise zu irgendeiner Zeit bestimmen, ob der Benutzer sich beeilen muss oder nicht, um eine Antwortnachricht einzugeben.
Außerdem gibt das rechte Ende des Indikators 50 in 10 die Länge der Antwortzeitgrenze an, die durch die Antwortzeitgrenzenberechnungseinheit 106 berechnet wird. In einem Fall, in dem die Länge der Antwortzeitgrenze beispielsweise „2 Minuten“ ist, wird die Länge des Indikators 50 zweimal so lang wie jene in einem Fall, in dem die Länge der Antwortzeitgrenze „1 Minute“ ist. Außerdem können das rechte Ende des Messers 52 und das rechte Ende des Indikators 50 miteinander übereinstimmen, wenn die Anzeige des Indikators 50 gestartet wird. Alternativ kann die Länge des Indikators 50 ungeachtet der Länge der Antwortzeitgrenze fest sein und es kann bewirkt werden, dass sich eine Geschwindigkeit, mit der sich die Länge des Messers 52 ändert, gemäß einer Antwortsteuerzeit ändert, wie später beschrieben wird. In dem Fall, in dem die Länge der Antwortzeitgrenze beispielsweise „2 Minuten“ ist, kann die Ausgabesteuereinheit 108 die Länge des Messers 52 mit einer Geschwindigkeit verkürzen, die „zweimal“ so hoch wie jene in dem Fall ist, in dem die Länge der Antwortzeitgrenze „1 Minute“ ist.
Die Ausführungsform ist jedoch nicht auf ein solches Beispiel begrenzt und das rechte Ende des Indikators 50 kann auf eine vorbestimmte Zeit (beispielsweise 3 Minuten oder dergleichen) gesetzt werden. Dann wird in einem Fall, in dem die Antwortzeitgrenze geringer ist als eine vorbestimmte Zeit in diesem Fall, der Messer 52 derart angezeigt, dass der Messer 52 kürzer ist als der Indikator 50, wenn die Anzeige des Indikators 50 gestartet wird.
- Anzeigesteuerung gemäß dem Ablauf der Zeit
Außerdem kann die Ausgabesteuereinheit 108 bewirken, dass ein Anzeigemodus des Indikators sich gemäß dem Ablauf einer Zeit von der Zeit, zu der die Anzeige des Indikators gestartet wird, ändert. 11 ist ein erläuterndes Diagramm, das ein Beispiel darstellt, in dem die Anzeige des Indikators 50 gemäß dem Ablauf einer Zeit geändert wird. Es ist zu beachten, dass 11 Anzeigebeispiele des Indikators 50, wenn eine längere Zeit abgelaufen ist, in der Reihenfolge von (a), (b), (c) und (d) darstellt. Wie in 11 dargestellt, verkürzt die Ausgabesteuereinheit 108 die Länge des Messers 52, wenn die Ablaufzeit von der Zeit, zu der die Anzeige des Indikators 50 gestartet wird, länger ist (das heißt wenn die restliche Zeit kürzer ist). Ferner kann die Ausgabesteuereinheit 108 bewirken, dass sich beispielsweise eine Anzeigefarbe des Messers 52 gemäß einem Verhältnis der Länge der restlichen Zeit in Bezug auf die Antwortzeitgrenze ändert, wie in 11 dargestellt. In einem Fall, in dem ein Verhältnis der restlichen Zeit in Bezug auf die Antwortzeitgrenze geringer ist als „50 %“, wie in (b) von 11 dargestellt, bewirkt die Ausgabesteuereinheit 108, dass sich die Anzeigefarbe des Messers 52 in eine Anzeigefarbe, die „Achtung“ angibt, ändert. In einem Fall, in dem das Verhältnis der restlichen Zeit in Bezug auf die Antwortzeitgrenze geringer ist als „30 %“, wie in (c) von 11 dargestellt, bewirkt die Ausgabesteuereinheit 108 außerdem, dass sich die Anzeigefarbe des Messers 52 in eine Anzeigefarbe ändert, die „Warnung“ angibt. Gemäß diesen Anzeigebeispielen ist es möglich, die Tatsache, dass die restliche Zeit bis zur Antwortzeitgrenze kurz ist, für den Text-chattenden Benutzer in einer betonten Weise darzustellen.
Es ist zu beachten, dass (d) von 11 ein Anzeigebeispiel des Indikators 50 darstellt, nachdem der Text-chattende Benutzer eine Nachricht überträgt. Wie in (d) von 11 dargestellt, bewirkt die Ausgabesteuereinheit 108 nur, dass der Messer 52 nicht angezeigt wird, oder bewirkt, dass der Indikator 50 nicht angezeigt wird, beispielsweise nachdem die Nachricht übertragen wird. Es ist zu beachten, dass, obwohl die vorstehend erwähnte Beschreibung unter der Annahme gegeben wurde, dass der Indikator 50 und der Messer 52 unterschiedlich sind, der Indikator 50 und der Messer 52 nicht auf ein solches Beispiel begrenzt sind und gleich sein können.
- Hilfsanzeige
Ferner kann die Ausgabesteuereinheit 108 bewirken, dass die Hilfsanzeige 54 in der Nähe (beispielsweise auf der rechten Seite neben) des Indikators 50 angezeigt wird, wie in 11 dargestellt. Hier ist die Hilfsanzeige 54 ein Beispiel der Informationen, die den Wartestatus des Ton-chattenden Benutzers angeben.
Beispielsweise können ein Verhältnis der restlichen Zeit in Bezug auf die Antwortzeitgrenze und Text (beispielsweise „OK“, „Beeil dich!“, „Er ist verärgert!!!“ oder dergleichen) im Voraus in einer zugeordneten Weise in einer Tabelle eingetragen werden. Dann kann die Ausgabesteuereinheit 108 fortlaufend den Typ des Texts, der als Hilfsanzeige 54 angezeigt wird, gemäß dem Verhältnis der aktuellen restlichen Zeit und dem in der Tabelle eingetragenen Inhalt aktualisieren.
Alternativ kann die Ausgabesteuereinheit 108 bewirken, dass ein Ergebnis der Abschätzung eines Gefühls durch die Gefühlsabschätzeinheit 104 als Hilfsanzeige 54 angezeigt wird. In einem Fall, in dem durch die Gefühlabschätzeinheit 104 beispielsweise abgeschätzt wird, dass der Ton-chattende Benutzer verärgert ist, wenn die Sprache des Ton-chattenden Benutzers detektiert wird, kann die Ausgabesteuereinheit 108 bewirken, dass der Text „Er ist verärgert!!!“ als Hilfsanzeige 54 angezeigt wird (ungeachtet der Ablaufzeit). In einem Fall, in dem es möglich ist, ein Gefühl des Ton-chattenden Benutzers in Echtzeit abzuschätzen, kann die Ausgabesteuereinheit 108 ferner fortlaufend den Anzeigeinhalt der Hilfsanzeige 43 jedes Mal aktualisieren, wenn das Ergebnis der Abschätzung des Gefühls sich ändert.
Alternativ kann die Ausgabesteuereinheit 108 bewirken, dass ein Wahrnehmungsergebnis in Bezug auf einen Zustand des Ton-chattenden Benutzers (beispielsweise ob der Benutzer die Anzeigeeinheit 226 betrachtet oder nicht, ob der Benutzer die Bedienungseinheit 222 greift oder nicht, oder dergleichen) als Hilfsanzeige 54 angezeigt wird. Es ist zu beachten, dass, obwohl 11 das Beispiel darstellt, in dem Text als Hilfsanzeige 54 angezeigt wird, die Hilfsanzeige 54 nicht auf ein solches Beispiel begrenzt ist und beispielsweise ein Bild wie z. B. ein Bildsymbol angezeigt werden kann.
- Anzeigebeispiel, wenn die Zeitgrenze überschritten wird
Außerdem ist 12 ein erläuterndes Diagramm, das ein Anzeigebeispiel des Indikators in einem Fall darstellt, in dem eine Ablaufzeit von der Zeit, zu der die Anzeige des Indikators gestartet wird, eine Antwortzeitgrenze überschreitet. Wie in (a) von 12 dargestellt, kann die Ausgabesteuereinheit 108 den Texteingabeabschnitt 42 blinken lassen, wenn die Ablaufzeit die Antwortzeitgrenze überschreitet. Alternativ kann die Ausgabesteuereinheit 108 bewirken, dass eine Tastatur auf dem Bildschirm (OSK) 60 im Anzeigebildschirm angezeigt wird, während bewirkt wird, dass der Texteingabeabschnitt 42 blinken lassen wird, wie in (b) von 12 dargestellt. In dieser Weise ist es möglich, den Text-chattenden Benutzer zu zwingen, Text einzugeben.
(Darstellung durch Ton)
Alternativ kann die Ausgabesteuereinheit 108 auch bewirken, dass die Tonausgabeeinheit 228 des Endgeräts 20, das der Text-chattende Benutzer verwendet, Ton ausgibt, der den Wartestatus des Ton-chattenden Benutzers angibt. Wenn die Sprache des Ton-chattenden Benutzers detektiert wird, kann die Ausgabesteuereinheit 108 beispielsweise bewirken, dass die Tonausgabeeinheit 228 Ton ausgibt, der die Antwortzeitgrenze liest, die durch die Antwortzeitgrenzenberechnungseinheit 106 berechnet wird.
Alternativ können die Länge einer Zeit (oder das Verhältnis der restlichen Zeit) und der Typ von Ton im Voraus in einer zugeordneten Weise in einer Tabelle eingetragen werden. Wenn Sprache des Ton-chattenden Benutzers detektiert wird, kann dann die Ausgabesteuereinheit 108 bewirken, dass die Tonausgabeeinheit 228 den Typ von Ton gemäß der Länge der Antwortzeitgrenze, die durch die Antwortzeitgrenzenberechnungseinheit 106 berechnet wird (oder „100 %“), und dem Inhalt, der in der Tabelle eingetragen ist, ausgibt. Ferner kann die Ausgabesteuereinheit 108 fortlaufend den Typ des auszugebenden Tons gemäß der Länge der aktuellen restlichen Zeit (oder dem Verhältnis der restlichen Zeit) und dem Inhalt, der in der Tabelle eingetragen ist, aktualisieren. In dieser Weise kann der Text-chattende Benutzer wissen, wie viel restliche Zeit übrig ist.
Alternativ können die Länge einer Zeit (oder das Verhältnis der restlichen Zeit) und die Länge von Zeitintervallen, in denen vorbestimmter Ton (beispielsweise Glockenton, Piepston oder dergleichen) ausgegeben wird, im Voraus in einer zugeordneten Weise in einer Tabelle eingetragen werden. Die Eintragung kann beispielsweise derart durchgeführt werden, dass das Zeitintervall des ausgegebenen Tons kürzer wird, wenn die Länge der restlichen Zeit (oder das Verhältnis der restlichen Zeit) kürzer ist. Wenn die Sprache des Ton-chattenden Benutzers detektiert wird, kann dann die Ausgabesteuereinheit 108 bewirken, dass die Tonausgabeeinheit 228 vorbestimmten Ton in Zeitintervallen ausgibt, die in der Tabelle der Länge der durch die Antwortzeitgrenzenberechnungseinheit 106 berechneten Antwortzeitgrenze zugeordnet eingetragen sind (oder „100 %“). Ferner kann die Ausgabesteuereinheit 108 fortlaufend das Zeitintervall, in dem der Ton ausgegeben wird, gemäß der Länge der aktuellen restlichen Zeit (oder dem Verhältnis der restlichen Zeit) und dem in der Tabelle eingetragenen Inhalt aktualisieren. In dieser Weise kann der Text-chattende Benutzer wissen, wie viel die restliche Zeit ist.
Es ist zu beachten, dass, wenn eine Ablaufzeit von der Zeit, zu der der Ton, der den Wartestatus angibt, ausgegeben wird, die Antwortzeitgrenze überschreitet, die Ausgabesteuereinheit 108 bewirken kann, dass der Texteingabeabschnitt 42, der im Anzeigebildschirm angezeigt wird, beispielsweise blinken lassen wird, wie in 12 dargestellt.
(Darstellung durch Vibration)
Alternativ kann die Ausgabesteuereinheit 108 bewirken, dass die Bedienungseinheit 222 des Endgeräts 20, das der Text-chattende Benutzer verwendet, beispielsweise eine Vibration ausgibt, die den Wartestatus des Ton-chattenden Benutzers angibt.
Die Länge einer Zeit (oder das Verhältnis der restlichen Zeit) und der Typ der Vibration können beispielsweise im Voraus in einer zugeordneten Weise in der Tabelle eingetragen werden. In einem Beispiel kann ein Vibrationsmuster, das als komfortabler bewertet wurde, wenn die Länge der Zeit (oder das Verhältnis der restlichen Zeit) länger ist, in der Tabelle eingetragen werden. Wenn die Sprache des Ton-chattenden Benutzers detektiert wird, kann dann die Ausgabesteuereinheit 108 bewirken, dass die Bedienungseinheit 222 einen Typ von Vibration gemäß der Länge der Antwortzeitgrenze, die durch die Antwortzeitgrenzenberechnungseinheit 106 berechnet wird (oder "100 %), und dem Inhalt, der in der Tabelle eingetragen ist, ausgibt. Ferner kann die Ausgabesteuereinheit 108 fortlaufend den auszugebenden Typ der Vibration gemäß der Länge der aktuellen restlichen Zeit (oder dem Verhältnis der restlichen Zeit) und dem Inhalt, der in der Tabelle eingetragen ist, aktualisieren.
Alternativ können die Länge einer Zeit (oder das Verhältnis der restlichen Zeit) und die Länge von Zeitintervallen, in denen ein vorbestimmter Typ von Vibration ausgegeben wird, im Voraus in einer zugeordneten Weise in der Tabelle eingetragen werden. Die Eintragung kann beispielsweise derart durchgeführt werden, dass die Zeitintervalle der ausgegebenen Vibration kürzer werden, wenn die Länge der restlichen Zeit (oder das Verhältnis der restlichen Zeit) kürzer ist. Wenn die Sprache des Ton-chattenden Benutzers detektiert wird, kann dann die Ausgabesteuereinheit 108 bewirken, dass die Bedienungseinheit 222 eine vorbestimmte Vibration mit den Zeitintervallen ausgibt, die in der Tabelle in Zusammenhang mit der Länge der Antwortzeitgrenze eingetragen sind, die durch die Antwortzeitgrenzenberechnungseinheit 106 berechnet wird (oder „100 %“). Ferner kann die Ausgabesteuereinheit 108 fortlaufend die Zeitintervalle, in denen die Vibration ausgegeben wird, gemäß der Länge der aktuellen restlichen Zeit (oder dem Verhältnis der restlichen Zeit) und dem Inhalt, der in der Tabelle eingetragen ist, aktualisieren.
Alternativ können das Verhältnis der restlichen Zeit (oder die Länge der Zeit) und ein Ort, von dem die Vibration ausgegeben wird, der Bedienungseinheit 222 im Voraus in einer zugeordneten Weise in der Tabelle eingetragen werden. Beispielsweise kann die Eintragung derart durchgeführt werden, dass der Ort, von dem die Vibration ausgegeben wird, weiter zunimmt, wenn das Verhältnis der restlichen Zeit kleiner ist. Dann kann die Ausgabesteuereinheit 108 nacheinander bewirken, dass der Ort, von dem die Vibration ausgegeben wird, sich gemäß dem Verhältnis der aktuellen restlichen Zeit (oder der Länge der restlichen Zeit) und dem in der Tabelle eingetragenen Inhalt ändert.
Es ist zu beachten, dass, wenn eine Ablaufzeit von der Zeit, zu der die Vibration, die den Wartestatus angibt, ausgegeben wird, die Antwortzeitgrenze überschreitet, die Ausgabesteuereinheit 108 bewirken kann, dass der im Anzeigebildschirm angezeigte Texteingabeabschnitt 42 blinkt, wie beispielsweise in 12 dargestellt.
(Erhöhung oder Verringerung der restlichen Zeit)
Es ist zu beachten, dass die Ausgabesteuereinheit 108 auch die restliche Zeit (in Bezug auf die Antwort des Text-chattenden Benutzers) auf der Basis einer vorbestimmten Bedingung erhöhen oder verringern kann.
Wenn die Ausgabesteuereinheit 108 die restliche Zeit erhöht oder verringert, bewirkt die Ausgabesteuereinheit 108 ferner, dass der Indikator angezeigt wird, bewirkt, dass der Ton ausgegeben wird, oder bewirkt, dass die Vibration ausgegeben wird, in einer Form gemäß der restlichen Zeit nach dem Erhöhen oder Verringern.
Die Ausgabesteuereinheit 108 kann beispielsweise eine vorbestimmte Zeit zu einer aktuellen restlichen Zeit jedes Mal hinzufügen, wenn neue Sprache des Ton-chattenden Benutzers detektiert wird, bevor der Text-chattende Benutzer eine Antwort sendet.
Bevor der Text-chattende Benutzer eine Antwort sendet und wenn detektiert wird, dass der Ton-chattende Benutzer neue Sprache vorgetragen hat, kann alternativ die Ausgabesteuereinheit 108 die aktuelle restliche Zeit gemäß der neuen Sprache erhöhen oder verringern. Wenn detektiert wird, dass der Ton-chattende Benutzer neue Sprache mit einem solchen Schlüsselwort vorgetragen hat, das das Gegenüber drängt, eine Nachricht zu beantworten, wie z. B. „Antworte mir bald!“, kann die Ausgabesteuereinheit 108 die restliche Zeit um eine vorbestimmte Zeit verkürzen.
Bevor der Text-chattende Benutzer eine Antwort sendet und wenn ein Ergebnis der Abschätzung eines Gefühls durch die Gefühlsabschätzeinheit 104 sich geändert hat, kann die Ausgabesteuereinheit 108 alternativ die restliche Zeit gemäß einer Änderung des Ergebnisses der Abschätzung des Gefühls erhöhen oder verringern. Wenn das Ergebnis der Abschätzung des Gefühls, wenn die Sprache detektiert wird, „gewöhnlich“ ist, und wenn das Ergebnis der Abschätzung des Gefühls des Ton-chattenden Benutzers sich auf „verärgert“ geändert hat, bevor der Text-chattende Benutzer eine Antwort sendet, kann die Ausgabesteuereinheit 108 beispielsweise die restliche Zeit um eine vorbestimmte Zeit verkürzen. Wenn das Ergebnis der Abschätzung des Gefühls, wenn die Sprache detektiert wird, „verärgert“ ist, und wenn das Ergebnis der Abschätzung des Gefühls des Ton-chattenden Benutzers sich auf „gewöhnlich“ geändert hat, bevor der Text-chattende Benutzer eine Antwort sendet, kann die Ausgabesteuereinheit 108 außerdem eine vorbestimmte Zeit zur aktuellen restlichen Zeit hinzufügen.
- Modifikationsbeispiel
Es ist zu beachten, dass die Ausgabesteuereinheit 108 die restliche Zeit in Bezug auf irgendeinen Text-chattenden Benutzer in einem Modifikationsbeispiel in einer Situation erhöhen oder verringern kann, in der Nachrichten zwischen drei oder mehr Benutzern ausgetauscht werden. Die Ausgabesteuereinheit 108 kann beispielsweise das Ausmaß der Erhöhung oder Verringerung der restlichen Zeit in Bezug auf die Antwort auf die Nachricht für jeden Text-chattenden Benutzer auf der Basis einer vorbestimmten Bedingung in einer Situation ändern, in der ein Ton-chattender Benutzer vorhanden ist und mehrere Text-chattende Benutzer vorhanden sind.
Ein Anwendungsbeispiel in einer Situation, in der ein Ton-chattender Benutzer ein Lehrer ist und Text-chattende Benutzer Studenten sind, wird als Beispiel beschrieben. Beispielsweise wird angenommen, dass der Lehrer Sprache zum Fragen „Gibt es irgendjemanden, der oo kennt?“ im Unterricht vorträgt und jemand (nachstehend als Student A bezeichnet) der mehreren Studenten mit einer Nachricht auf die Sprache antwortet. In diesem Fall kann die Ausgabesteuereinheit 108 die restliche Zeit für den Studenten A auf „0 Sekunden“ setzen und eine vorbestimmte Zeit zur aktuellen restlichen Zeit in Bezug auf alle anderen Studenten als den Studenten A hinzufügen. Gemäß dem Steuerbeispiel ist es möglich, beispielsweise eine Zeit zum genaueren Untersuchen oder Betrachten der Frage in Bezug auf die Frage den Studenten mit Ausnahme des Studenten A zu geben. Außerdem ist es möglich, die Klasse durch Ermuntern von mehreren Studenten, die gleiche Frage zu beantworten, zu aktivieren.
Ein Anwendungsbeispiel in einer Situation, in der ein Lehrer (Ton-chattender Benutzer), der sich an einem entfernten Ort befindet, und mehrere Studenten (Text-chattende Benutzer) Englischgruppenunterricht nehmen, und Filme der mehreren Studenten auf einer Anzeigeeinheit des Endgeräts 20 (PC oder dergleichen) angezeigt werden, das der Lehrer verwendet, wird außerdem als anderes Beispiel beschrieben. Beispielsweise wird angenommen, dass, auf welchen der Filme der mehreren Studenten die Sichtlinie des Lehrers gerichtet ist, beispielsweise durch eine Kamera detektiert wird, die in der Nähe der Anzeigeeinheit installiert ist, und der Lehrer Sprache für eine Frage vorgetragen hat. In diesem Fall kann die Ausgabesteuereinheit 108 bewirken, dass die restliche Zeit nur des Studenten, der dem Film entspricht, von dem detektiert wird, dass auf ihn die Sichtlinie des Lehrers gerichtet ist, zunimmt. Alternativ kann die Ausgabesteuereinheit 108 bewirken, dass nur eine Anzeigeeinheit, die der Student, von dem detektiert wird, dass auf ihn die Sichtlinie des Lehrers gerichtet ist, betrachtet, einen Indikator anzeigt und ermöglicht, dass nur der Student eine Nachricht als Antwort auf die Frage eingibt.
{Kommunikationseinheit 120}
Die Kommunikationseinheit 120 sendet und empfängt Informationen zu und von anderen Vorrichtungen. Die Kommunikationseinheit 120 sendet beispielsweise Informationen, die den Wartestatus des Ton-chattenden Benutzers angeben, zum Endgerät 20, das der Text-chattende Benutzer verwendet, unter der durch die Ausgabesteuereinheit 108 durchgeführten Steuerung. Außerdem empfängt die Kommunikationseinheit 120 Ton von Sprache des Benutzers, einen eingegebenen Text oder dergleichen vom Endgerät 20.
{Speichereinheit 122}
Die Speichereinheit 122 speichert verschiedene Arten von Daten und verschiedene Arten von Software. Die Speichereinheit 122 speichert beispielsweise die Zeitgrenzenberechnungs-DB 124 und dergleichen.
<Operationen>
Die Konfiguration gemäß der ersten Ausführungsform wurde vorstehend beschrieben. Als nächstes wird ein Beispiel von Operationen gemäß der ersten Ausführungsform mit Bezug auf 13 bis 16 beschrieben.
{Gesamtablauf von Operationen}
Zuerst wird ein Gesamtablauf von Operationen gemäß der ersten Ausführungsform mit Bezug auf 13 beschrieben. Es ist zu beachten, dass ein Beispiel von Operationen, die durchgeführt werden, nachdem das Chatten zwischen dem Ton-chattenden Benutzer und dem Text-chattenden Benutzer gestartet wird, hier beschrieben wird. Außerdem wird ein Beispiel, in dem der Server 10 bewirkt, dass ein Indikator als Informationen angezeigt wird, die einen Wartestatus des Ton-chattenden Benutzers angeben, beschrieben.
Wie in 13 dargestellt, trägt der Ton-chattende Benutzer zuerst Sprache vor. Dann nimmt das Endgerät 20a, das der Ton-chattende Benutzer verwendet, Ton der Sprache auf und sendet dann fortlaufend den aufgenommenen Ton zum Server 10 (S101).
Danach führt der Server 10 eine „Indikatoranzeigenotwendigkeitsbestimmungsverarbeitung“ durch, die später beschrieben wird (S103). In einem Fall, in dem bestimmt wird, dass es nicht erforderlich ist, den Indikator anzuzeigen (S105: Nein), wird dann die Verarbeitung in S101 erneut ausgeführt.
In einem Fall, in dem bestimmt wird, dass es erforderlich ist, den Indikator anzuzeigen (S105: Ja), führt unterdessen der Server 10 eine „Antwortzeitgrenzenberechnungsverarbeitung“ durch, die später beschrieben wird (S107).
Dann bewirkt die Ausgabesteuereinheit 108 des Servers, dass (die Anzeigeeinheit 226 des) das Endgerät 20b, das der Text-chattende Benutzer verwendet, die Anzeige des Indikators gemäß dem Ergebnis der Verarbeitung in S107 startet (S109).
Danach führt der Server 10 eine „Indikatoranzeigeendbestimmungsverarbeitung“ durch, die später beschrieben wird (S111). In einem Fall, in dem bestimmt wird, die Anzeige des Indikators nicht zu beenden (S113: Nein), wartet der Server 10 dann beispielsweise um eine vorbestimmte Zeit und führt dann die Verarbeitung in S111 erneut durch. In einem Fall, in dem bestimmt wird, die Anzeige des Indikators zu beenden (S113: Ja), enden unterdessen die Operationen.
{ Indikatoranzeigenotwendigkeitsbestimmungsverarbeitung}
Hier werden detaillierte Operationen in der „Indikatoranzeigenotwendigkeitsbestimmungsverarbeitung“ in S103 mit Bezug auf 14 beschrieben. Wie in 14 dargestellt, führt die Tonanalyseeinheit 102 die Tonerkennung des in S101 empfangenen Tons zuerst durch (S201). Dann führt die Tonanalyseeinheit 102 eine Modalitätsanalyse eines Satzes der Sprache auf der Basis eines Ergebnisses der Tonerkennung durch (S203). In einem Fall, in dem bestimmt wird, dass die Modalität eine Antwort erfordert (S205: Ja), bestimmt dann die Ausgabesteuereinheit 108, dass es erforderlich ist, den Indikator anzuzeigen (S207). Dann endet die „Indikatoranzeigenotwendigkeitsbestimmungsverarbeitung“
In einem Fall, in dem bestimmt wird, dass die Modalität keine Antwort erfordert (S205: Nein), bestimmt die Ausgabesteuereinheit 108 dann unterdessen, ob eine vorbestimmte Zeit nach der vorher detektierten Sprache abgelaufen ist oder nicht (S209). In einem Fall, in dem die vorbestimmte Zeit nach der vorherigen Sprache abgelaufen ist (S209: Ja), bestimmt die Ausgabesteuereinheit 108, dass die Sprache, die dem in S101 empfangenen Ton entspricht, die erste Sprache im neuen Kontext ist (S211). Dann führt die Ausgabesteuereinheit 108 die vorstehend erwähnte Verarbeitung in S207 durch.
In einem Fall, in dem die vorbestimmte Zeit nach der vorherigen Sprache nicht abgelaufen ist (S209: Nein), bestimmt unterdessen die Ausgabesteuereinheit 108, ob das Ergebnis der Tonerkennung in S201 ein Wort umfasst oder nicht, das auf ein Ende der Konversation hinweist (S213). Hier kann das Wort, das auf das Ende der Konversation hinweist, beispielsweise „Auf Wiedersehen“, „Tschüss“, „Es ist Zeit fürs Bett“, „Bis morgen“, oder dergleichen sein. Außerdem kann das Wort, das auf das Ende der Konversation hinweist, in einer Wortliste eingetragen sein, die auf der Basis von Chat-Verlaufsinformationen konstruiert wird. Es ist zu beachten, dass die Wortliste beispielsweise auf der Basis der Sammlung von Worten von der endgütigen Sprache auf der Basis der Chat-Verlaufsinformationen konstruiert werden kann.
In einem Fall, in dem das Ergebnis der Tonerkennung nicht das Wort umfasst, das auf das Ende der Konversation hinweist (S213: Nein), führt die Ausgabesteuereinheit 108 die vorstehend erwähnte Verarbeitung in S207 durch. In einem Fall, in dem das Ergebnis der Tonerkennung das Wort umfasst, das auf das Ende der Konversation hinweist (S213: Ja), bestimmt die Ausgabesteuereinheit 108 unterdessen, dass es nicht erforderlich ist, den Indikator anzuzeigen (S215). Dann endet die „Indikatoranzeigenotwendigkeitsbestimmungsverarbeitung“
{Antwortzeitgrenzenberechnungsverarbeitung}
Als nächstes werden detaillierte Operationen in der „Antwortzeitgrenzenberechnungsverarbeitung“ in S107 mit Bezug auf 15 beschrieben. Wie in 15 dargestellt, erfasst die Antwortzeitgrenzenberechnungseinheit 106 Spracheeigenschaften des in S201 analysierten Tons zuerst (S301). Dann erfasst die Antwortzeitgrenzenberechnungseinheit 106 andere Wahrnehmungsinformationen als den Ton, beispielsweise ein Gesichtsbild, ein Ergebnis der Detektion einer Sichtlinie, ein Ergebnis einer Handlungsreaktion oder dergleichen in Bezug auf den Tontext-chattenden Benutzer (S303). Es ist zu beachten, dass die Wahrnehmungsinformationen durch das Endgerät 20 zum Server 10 zusammen mit dem Ton der Sprache in S101 übertragen werden können oder durch das Endgerät 20 zum Server 10 in S303 übertragen werden können.
Dann erfasst die Antwortzeitgrenzenberechnungseinheit 106 ein Ergebnis der Analyse der Anwesenheit/Abwesenheit eines Demonstrativpronomens in Bezug auf den Satz der in S201 analysierten Sprache (S305).
Dann erfasst die Antwortzeitgrenzenberechnungseinheit 106 ein Ergebnis der Analyse von Zeitinformationen in Bezug auf den Satz der in S201 analysierten Sprache (S307).
Dann berechnet die Antwortzeitgrenzenberechnungseinheit 106 eine Verringerungsrate von der Referenzzeit auf der Basis der in S301 bis S307 erfassten Informationen und des in der Zeitgrenzenberechnungs-DB 124 eingetragenen Inhalts (S309).
Danach berechnet die Antwortzeitgrenzenberechnungseinheit 106 die Antwortzeitgrenze durch Multiplizieren der Referenzzeit mit der in S309 berechneten Verringerungsrate (S311).
{Indikatoranzeigenendbestimmungsverarbeitung}
Als nächstes wird eine detaillierte Operation in der „Indikatoranzeigenendbestimmungsverarbeitung“ in S111 mit Bezug auf 16 beschrieben. Wie in 16 dargestellt, bestimmt die Ausgabesteuereinheit 108 zuerst, ob der Text-chattende Benutzer bereits eine Antwort gesendet hat oder nicht, in Bezug auf die in S101 detektierte Sprache (S401). In einem Fall, in dem der Text-chattende Benutzer bereits eine Antwort gesendet hat (S401: Ja), bestimmt die Ausgabesteuereinheit 108 zu bewirken, dass die Anzeige des Indikators endet (S403). Dann endet die „Indikatoranzeigenendbestimmungsverarbeitung“.
In einem Fall, in dem der Text-chattende Benutzer noch keine Antwort gesendet hat (S401: Nein), bestimmt unterdessen die Ausgabesteuereinheit 108, ob eine neue Sprache vom Ton-chattenden Benutzer detektiert wurde oder nicht (S405). In einem Fall, in dem neue Sprache vom Ton-chattenden Benutzer detektiert wurde (S405: Ja), bestimmt die Ausgabesteuereinheit 108, ob eine gewisse Beziehung zwischen der detektierten neuen Sprache (nachstehend als „neue Sprache“ bezeichnet) und der in S101 detektierten Sprache (nachstehend als Zielsprache bezeichnet) detektiert wurde oder nicht, durch Abschätzen beispielsweise einer Beziehung zwischen Sätzen unter Verwendung einer bekannten Technologie (S407). In einem Fall, in dem abgeschätzt wird, dass die Beziehung zwischen den Sätzen, nämlich zwischen dem Satz der neuen Sprache und dem Satz der Zielsprache, „eine Beziehung auf der Basis von Identität der Angelegenheiten“ ist (beispielsweise „äquivalent“, „einfach“, „detailliert“, „erläuternd“, „Referenz“, „ergänzend“ oder dergleichen), bestimmt die Ausgabesteuereinheit 106 beispielsweise, dass die neue Sprache eine Beziehung zur Zielsprache aufweist (das heißt die Sprache fortfährt).
In einem Fall, in dem bestimmt wird, dass die neue Sprache keine Beziehung zur Zielsprache aufweist (S407: Nein), führt der Server 10 die vorstehend erwähnte Verarbeitung in S403 durch. In einem Fall, in dem bestimmt wird, dass die neue Sprache eine Beziehung zur Zielsprache aufweist (S407: Ja), bestimmt die Ausgabesteuereinheit 108, nicht zu bewirken, dass die Anzeige des Indikators endet (S409). Danach endet die „Indikatoranzeigenendbestimmungsverarbeitung“.
In einem Fall, in dem die neue Sprache in S405 nicht detektiert wurde, (S405: Nein), bestimmt dann die Ausgabesteuereinheit 108, ob eine Ablaufzeit nach der Zeit, zu der die Anzeige des Indikators in S109 gestartet wird, eine vorbestimmte obere Zeitgrenze überschritten hat oder nicht (S411).
In einem Fall, in dem die abgelaufene Zeit die obere Zeitgrenze überschritten hat (S411: Ja), führt der Server 10 die vorstehend erwähnte Verarbeitung in S403 durch. Unterdessen führt in einem Fall, in dem die abgelaufene Zeit die obere Zeitgrenze nicht überschritten hat (S411: Nein), der Server 10 die vorstehend erwähnte Verarbeitung in S409 durch.
{Modifikationsbeispiel}
Es ist zu beachten, dass die Operation in der ersten Ausführungsform nicht auf das vorstehend erwähnte Beispiel begrenzt ist. Die in 13 dargestellte Verarbeitung in S107 kann beispielsweise vor S103 ausgeführt werden.
<Vorteile>
Gemäß der ersten Ausführungsform steuert der Server 10 eine Ausgabe der Informationen, die den Wartestatus des Ton-chattenden Benutzers angeben, auf der Basis einer Detektion von Sprache des Ton-chattenden Benutzers in einer Situation, in der Nachrichten zwischen dem Ton-chattenden Benutzer und dem Text-chattenden Benutzer ausgetauscht werden, wie vorstehend beschrieben. In dieser Weise kann der Text-chattende Benutzer den Wartestatus des Ton-chattenden Benutzers feststellen, wenn die Nachricht eingegeben wird.
Der Server 10 berechnet beispielsweise die Antwortzeitgrenze auf der Basis der Detektion der Sprache des Ton-chattenden Benutzers und bewirkt dann, dass die Anzeigeeinheit 226 auf der Seite des Text-chattenden Benutzers den Indikator mit der berechneten Antwortzeitgrenze anzeigt. Dann umfasst der Indikator einen Messer, der eine Differenz zwischen der Antwortzeitgrenze und einer Ablaufzeit nach der Zeit angibt, zu der die Anzeige des Indikators gestartet wird. In dieser Weise kann der Text-chattende Benutzer eine restliche Zeit kennen, die der Ton-chattende Benutzer zum Warten auf eine Antwort auf die Nachricht zu irgendeiner Zeit erlaubt. Folglich kann der Text-chattende Benutzer beispielsweise bestimmen, ob sich der Benutzer beeilen sollte oder nicht, die Nachricht als Antwort einzugeben.
<Modifikationsbeispiel>
Es ist zu beachten, dass die erste Ausführungsform nicht auf die obige Beschreibung begrenzt ist. Obwohl beispielsweise das Beispiel, in dem der Server 10 nur bewirkt, dass die Anzeigeeinheit 226b auf der Seite des Text-chattenden Benutzers den Indikator anzeigt, beschrieben wurde, ist die Ausführungsform nicht auf ein solches Beispiel begrenzt und der Server 10 kann auch bewirken, dass die Anzeigeeinheit 226a auf der Seite des Ton-chattenden Benutzers denselben Indikator anzeigt. In dieser Weise kann der Ton-chattende Benutzer den Inhalt des Indikators feststellen, den der Text-chattende Benutzer betrachtet.
«3. Zweite Ausführungsform»
Die erste Ausführungsform wurde vorstehend beschrieben. Wie vorstehend beschrieben, dauert es im Allgemeinen eine längere Zeit, die Nachricht beim Textchatten als beim Tonchatten einzugeben. Folglich ist es erwünscht, dass der Ton-chattende Benutzer ferner den Eingabestatus des Text-chattenden Benutzers prüfen kann, um die Verschlechterung der Nutzbarkeit in einer Situation zu unterdrücken, in der das Chatten zwischen dem Ton-chattenden Benutzer und dem Text-chattenden Benutzer durchgeführt wird.
Als nächstes wird eine zweite Ausführungsform beschrieben. Gemäß der zweiten Ausführungsform kann der Server 10 eine Ausgabe eines Rückmeldungstons (nachstehend als FB-Ton bezeichnet) an den Ton-chattenden Benutzer auf der Basis eines Eingabestatus von Text vom Text-chattenden Benutzer steuern, wie später beschrieben wird. Es ist zu beachten, dass ein Anwendungsbeispiel in einer Situation, in der der Text-chattende Benutzer eine Tontexteingabe durchführt, in der zweiten Ausführungsform beschrieben wird. Die zweite Ausführungsform ist jedoch nicht auf ein solches Beispiel begrenzt und kann im Wesentlichen ähnlich auf eine Situation angewendet werden, in der der Text-chattende Benutzer eine Texteingabe unter Verwendung einer Hardware-Tastatur, einer Software-Tastatur oder dergleichen durchführt.
<Konfiguration>
Als nächstes wird eine Konfiguration des Servers 10 gemäß der zweiten Ausführungsform im Einzelnen beschrieben. Es ist zu beachten, dass Komponenten, die im Server 10 gemäß der zweiten Ausführungsform enthalten sind, zu jenen gemäß der ersten Ausführungsform ähnlich sind. Nachstehend wird später nur Inhalt, der von jenem in der ersten Ausführungsform verschieden ist, beschrieben.
{Ausgabesteuereinheit 108}
Die Ausgabesteuereinheit 108 gemäß der zweiten Ausführungsform bewirkt, dass die Tonausgabeeinheit 228 des Endgeräts 20, das der Ton-chattende Benutzer verwendet, FB-Ton auf der Basis eines Eingabestatus des Texts vom Text-chattenden Benutzer ausgibt. In einem Fall, in dem ein Ton-FB-Zeitpunkt, der im Voraus festgelegt wird, erreicht wurde, bewirkt die Ausgabesteuereinheit 108 beispielsweise, dass die Tonausgabeeinheit 228 den FB-Ton ausgibt. Hier ist der Ton-FB-Zeitpunkt beispielsweise „die Zeit, zu der die Eingabe der Nachricht gestartet wird“, „die Zeit, zu der die Nachricht eingegeben wird“, „die Zeit, zu der die Eingabe der Nachricht endet“, „die Zeit, zu der die Nachricht übertragen wird“, und dergleichen. Es ist zu beachten, dass „die Zeit, zu der die Nachricht eingegeben wird“ ein Zeitpunkt ist, zu dem die Tonlautstärke der Sprache einen vorbestimmten Schwellenwert in einer Sprachperiode (der Tontexteingabe) überschritten hat, die beispielsweise durch Sprachaktivitätsdetektion (VAD) detektiert wird.
Der Ton-FB-Zeitpunkt und der Typ des Tons können beispielsweise im Voraus in einer zugeordneten Weise in einer FB-Tontabelle (in der Zeichnung weggelassen) eingetragen werden. In einem Beispiel kann der Ton „Du hast eine Nachricht von OO“ in Zusammenhang mit „der Zeit, zu der die Nachricht übertragen wird“ in der FB-Tontabelle eingetragen werden. In diesem Fall bewirkt die Ausgabesteuereinheit 108 auch, dass die Tonausgabeeinheit 228 den FB-Ton, der in Zusammenhang mit dem Ton-FB-Zeitpunkt in der FB-Tontabelle gespeichert ist, jedes Mal, wenn irgendein Ton-FB-Zeitpunkt erreicht wird, ausgibt. Es ist zu beachten, dass die FB-Tontabelle in der Speichereinheit 122 gespeichert sein kann.
<Operationen>
Die Konfiguration gemäß der zweiten Ausführungsform wurde vorstehend beschriebenen. Als nächstes werden Operationen gemäß der zweiten Ausführungsform mit Bezug auf 17 und 18 beschrieben. Wie in 17 dargestellt, wartet zuerst das Endgerät 20b, das der Text-chattende Benutzer verwendet, bis eine Tontexteingabe durch den Text-chattenden Benutzer gestartet wird (S501). In einem Fall, in dem die Tontexteingabe durch den Text-chattenden Benutzer gestartet wurde (S501: Ja), überträgt dann das Endgerät 20b eine Benachrichtigung, dass die Texteingabe gestartet wurde, zum Server 10 (S503).
Danach extrahiert die Ausgabesteuereinheit 108 des Servers 10 den FB-Ton, der in einer FB-Tontabelle in Zusammenhang mit „der Zeit, zu der die Eingabe der Nachricht gestartet wird“ gespeichert ist. Dann überträgt die Kommunikationseinheit 120 den extrahierten FB-Ton zum Endgerät 20a, das der Ton-chattende Benutzer verwendet, unter der durch die Ausgabesteuereinheit 108 durchgeführten Steuerung (S505). Danach gibt das Endgerät 20a den empfangenen Ton aus (S507).
Außerdem bestimmt das Endgerät 20b, ob die Tontexteingabe durch den Text-chattenden Benutzer beendet wurde oder nicht, nach S503 (S509). Wenn die Tontexteingabe durchgeführt wird (S509: Nein), wartet das Endgerät 20b, bis die Tonlautstärke der Sprache des Text-chattenden Benutzers einen vorbestimmten Schwellenwert überschreitet (S511). In einem Fall, in dem die Tonlautstärke der Sprache den vorbestimmten Schwellenwert überschritten hat (S511: Ja), überträgt dann das Endgerät 20b eine Benachrichtigung, dass der Tontext eingegeben wird, zum Server 10 (S513).
Danach extrahiert die Ausgabesteuereinheit 108 des Servers 100 den FB-Ton, der in der FB-Tontabelle in Zusammenhang mit „der Zeit, zu der die Nachricht eingegeben wird“ gespeichert ist. Dann überträgt die Kommunikationseinheit 120 den extrahierten FB-Ton zum Endgerät 20a unter der durch die Ausgabesteuereinheit 108 durchgeführten Steuerung (S515). Danach gibt das Endgerät 20a den empfangenen Ton aus (S517).
Hier werden Operationen, die in einem Fall durchgeführt werden, in dem die Tontexteingabe in S509 beendet wurde (S509: Ja), mit Bezug auf 18 beschrieben. Wie in 18 dargestellt, überträgt das Endgerät 20b zuerst eine Benachrichtigung, dass die Texteingabe geendet hat, zum Server 10 (S521).
Danach extrahiert die Ausgabesteuereinheit 108 des Servers 10 den FB-Ton, der in der FB-Tontabelle in Zusammenhang mit „der Zeit, zu der die Eingabe der Nachricht endet“ gespeichert ist. Dann überträgt die Kommunikationseinheit 120 den extrahierten FB-Ton zum Endgerät 20a unter der durch die Ausgabesteuereinheit 108 durchgeführten Steuerung (S523). Danach gibt das Endgerät 20a den empfangenen Ton aus (S525).
Außerdem überträgt das Endgerät 20b die eingegebene Nachricht zum Server 10 nach S521 (S527). Dann extrahiert die Ausgabesteuereinheit 108 des Servers 10 den FB-Ton, der in der FB-Tontabelle in Zusammenhang mit „der Zeit, zu der die Nachricht übertragen wird“, gespeichert ist. Dann überträgt die Kommunikationseinheit 120 den extrahierten FB-Ton zum Endgerät 20a unter der durch die Ausgabesteuereinheit 108 durchgeführten Steuerung (S529). Danach gibt das Endgerät 20a den empfangenen Ton aus (S531).
Es ist zu beachten, dass die Verarbeitung in S533 bis S537, die in 18 dargestellt ist, zu jener in S23 bis S27, die in 3 dargestellt ist, ähnlich ist.
<Vorteile>
Der Server 10 gemäß der zweiten Ausführungsform steuert die Ausgabe des FB-Tons an den Ton-chattenden Benutzer auf der Basis eines Eingabestatus des Texts vom Text-chattenden Benutzer, wie vorstehend beschrieben. Daher kann der Ton-chattende Benutzer den Eingabestatus des Text-chattenden Benutzers prüfen, wenn der Ton-chattende Benutzer auf eine Nachricht vom Text-chattenden Benutzer wartet. Daher ist es möglich, eine Verschlechterung der Nutzbarkeit des Ton-chattenden Benutzers zu unterdrücken.
«4. Dritte Ausführungsform»
Die zweite Ausführungsform wurde vorstehend beschrieben. Wie vorstehend beschrieben, wird die durch den Text-chattenden Benutzer eingegebene Nachricht in der ersten Ausführungsform und der zweiten Ausführungsform zum Ton-chattenden Benutzer durch TTS-Lesen geliefert. Da der Text im Allgemeinen beim TTS-Lesen ausdruckslos gelesen wird, überhört im Übrigen der Benutzer, der dem gelesenen Ton zuhört, gewöhnlich Informationen. Folglich besteht ein Fall, in dem die Reibungslosigkeit der Kommunikation zwischen dem Ton-chattenden Benutzer und dem Text-chattenden Benutzer verschlechtert wird.
Als nächstes wird eine dritte Ausführungsform beschrieben. Gemäß der dritten Ausführungsform kann der Server 10 bewirken, dass eine Ausgabeform von Ton einer Nachricht, die an den Ton-chattenden Benutzer ausgegeben wird, sich auf der Basis der Extraktion von Schlüsselwörtern aus der Nachricht, die durch den Text-chattenden Benutzer eingegeben wird, ändert, wie später beschrieben wird. In dieser Weise ist es möglich zu unterdrücken, dass der Ton-chattende Benutzer einen wichtigen Teil der Nachricht vom Text-chattenden Benutzer überhört. Hier können die Schlüsselwörter Wörter sein, die beispielsweise ein Datum und eine Zeit, einen Ort und dergleichen angeben.
<Konfiguration>
Als nächstes wird eine Konfiguration des Servers 10 gemäß der dritten Ausführungsform im Einzelnen beschrieben. Es ist zu beachten, dass Komponenten, die im Server 10 gemäß der dritten Ausführungsform enthalten sind, zu jenen gemäß der ersten Ausführungsform ähnlich sind.
{Ausgabesteuereinheit 108}
Die Ausgabesteuereinheit 108 gemäß der dritten Ausführungsform bewirkt, dass eine Ausgabeform des Tons der Nachricht, die an den Ton-chattenden Benutzer ausgegeben wird, sich auf der Basis der Extraktion eines Schlüsselworts aus der Nachricht, die durch den Text-chattenden Benutzer eingegeben wird, ändert.
Die Ausgabesteuereinheit 108 kann beispielsweise die Anzahl von Malen erhöhen, die der Ton des aus der eingegebenen Nachricht extrahierten Schlüsselworts ausgegeben wird. In einem Beispiel bewirkt die Ausgabesteuereinheit 108 zuerst, dass die Tonausgabeeinheit 228a auf der Seite des Ton-chattenden Benutzers den Ton der durch den Text-chattenden Benutzer eingegebenen Nachricht ausgibt, und die Ausgabesteuereinheit 108 bewirkt dann, dass die Tonausgabeeinheit 228a nur den Ton des aus der Nachricht extrahierten Schlüsselworts ausgibt. In einem Beispiel wird angenommen, dass die Nachricht „Ok, ich treffe dich morgen um 9 am Trolley-Raum“ durch den Text-chattenden Benutzer eingegeben wird und „morgen“, „9“ und „Trolley-Raum“ als Schlüsselwörter extrahiert werden. In diesem Fall bewirkt die Ausgabesteuereinheit 108, dass die Tonausgabeeinheit 228a den Ton „Ok, ich treffe dich morgen um 9 am Trolley-Raum“ zuerst ausgibt, und bewirkt dann, dass die Tonausgabeeinheit 228a den Ton nur der Schlüsselwörter wie z. B. „morgen, 9, Trolley-Raum“ durch TTS ausgibt.
Alternativ kann die Ausgabesteuereinheit 108 bewirken, dass der Ton der Nachricht durch Unterscheiden des Tons von Schlüsselwortteilen, die aus der eingegebenen Nachricht extrahiert werden, ausgegeben wird. Die Ausgabesteuereinheit 108 bewirkt beispielsweise, dass die Tonausgabeeinheit 228a den Ton der Nachricht durch TTS durch Bewirken, dass die Tonlautstärke der Schlüsselwortteile, die aus der eingegebenen Nachricht extrahiert werden, höher ist als die Tonlautstärke von anderen Teilen als den Schlüsselwörtern, ausgibt. Alternativ kann die Ausgabesteuereinheit 108 bewirken, dass die Tonausgabeeinheit 228a den Ton der Nachricht durch TTS durch Unterscheiden eines Typs von Ton an den Schlüsselwortteilen, die aus der eingegebenen Nachricht extrahiert werden, von einem Typ von Ton von anderen Teilen als den Schlüsselwörtern ausgibt.
Alternativ kann die Ausgabesteuereinheit 108 bewirken, dass der Ton der Nachricht durch Unterscheiden der Geschwindigkeit des Tons der Schlüsselwortteile, die aus der eingegebenen Nachricht extrahiert werden, ausgegeben wird. Die Ausgabesteuereinheit 108 kann beispielsweise bewirken, dass die Tonausgabeeinheit 228a den Ton der Nachricht durch TTS durch vorübergehendes Stoppen der Ausgabe des Tons vor und nach den Schlüsselwörtern, die aus der eingegebenen Nachricht extrahiert werden, und Verringern der Geschwindigkeit des Tons der Schlüsselwortteile auf beispielsweise 0,8-mal so hoch wie die Geschwindigkeit des Tons der anderen Teile als der Schlüsselwörter ausgibt.
<Operationen>
Die Konfiguration gemäß der dritten Ausführungsform wurde vorstehend beschrieben. Als nächstes werden Operationen gemäß der dritten Ausführungsform mit Bezug auf 19 beschrieben. Wie in 19 dargestellt, gibt der Text-chattende Benutzer eine Nachricht in das Endgerät 20b ein (S601). Dann überträgt das Endgerät 20b die eingegebene Nachricht zum Server 10 (S603).
Danach extrahiert die Ausgabesteuereinheit 108 des Servers 10 ein Schlüsselwort aus der empfangenen Nachricht (S605). Dann erzeugt die Ausgabesteuereinheit 108 Ton, wobei das Schlüsselwort durch TTS in Bezug auf die Nachricht auf der Basis der empfangenen Nachricht und des extrahierten Schlüsselworts betont wird (S607).
Danach überträgt die Kommunikationseinheit 120 den erzeugten Ton zum Endgerät 20a unter der durch die Ausgabesteuereinheit 108 durchgeführten Steuerung (S609). Danach gibt das Endgerät 20a den empfangenen Ton aus (S611).
<Vorteile>
Der Server 10 gemäß der dritten Ausführungsform bewirkt, dass die Ausgabeform des Tons der Nachricht, die an den Ton-chattenden Benutzer ausgegeben wird, sich auf der Basis der Extraktion des Schlüsselworts aus der durch den Text-chattenden Benutzer eingegebenen Nachricht ändert, wie vorstehend beschrieben. Daher kann der Ton-chattende Benutzer das in der Nachricht enthaltene Schlüsselwort zuverlässiger anhören. Folglich ist es möglich, eine reibungslose Kommunikation zu verwirklichen, und die Anzahl von Malen, die der Ton-chattende Benutzer den Text-chattenden Benutzer bittet, erneut zu sprechen, nimmt beispielsweise ab.
«5. Vierte Ausführungsform»
Die dritte Ausführungsform wurde vorstehend beschrieben. Selbst wenn der Text-chattende Benutzer Ton während der Sprache des Ton-chattenden Benutzers in einer Situation erzeugt, in der das Chatten zwischen dem Ton-chattenden Benutzer und dem Text-chattenden Benutzer durchgeführt wird, wird im Übrigen der Ton im Allgemeinen nicht zum Ton-chattenden Benutzer geliefert. Da der Ton-chattende Benutzer Toninformationen nicht erhalten kann, die angeben, dass das Text-chattende Benutzer zuhört, wie beispielsweise einen Zwischenruf, kann daher der Ton-chattende Benutzer spüren, dass es schwierig ist, eine natürliche Kommunikation durchzuführen.
Als nächstes wird die vierte Ausführungsform beschrieben. Gemäß der vierten Ausführungsform kann der Server 10 die automatische Tonausgabe eines Zwischenrufs durch TTS an den Ton-chattenden Benutzer auf der Basis der Detektion der Sprache des Ton-chattenden Benutzers steuern, wie später beschrieben wird.
<Konfiguration>
Als nächstes wird eine Konfiguration des Servers 10 gemäß der vierten Ausführungsform im Einzelnen beschrieben. Es ist zu beachten, dass Komponenten, die im Server 10 gemäß der vierten Ausführungsform enthalten sind, zu jenen gemäß der ersten Ausführungsform ähnlich sind.
[Ausgabesteuereinheit 108]
Die Ausgabesteuereinheit 108 gemäß der vierten Ausführungsform steuert die Tonausgabe des Zwischenrufs durch TTS an den Ton-chattenden Benutzer auf der Basis des Ergebnisses der Abschätzung, ob der Text-chattende Benutzer zuhört oder nicht, in einem Fall, in dem die Sprache des Ton-chattenden Benutzers detektiert wurde. In einem Fall, in dem die Sprache des Ton-chattenden Benutzers detektiert wurde und abgeschätzt wird, dass der Text-chattende Benutzer der Sprache des Ton-chattenden Benutzers zuhört, bewirkt beispielsweise die Ausgabesteuereinheit 108, dass die Tonausgabeeinheit 228 auf der Seite des Ton-chattenden Benutzers den Ton als Zwischenruf durch TTS ausgibt. In einem Beispiel, wenn die Tonlautstärke der Sprache des Ton-chattenden Benutzers relativ abnimmt, nachdem die Sprache des Ton-chattenden Benutzers detektiert wird, oder wenn eine vorbestimmte Zeit nach der Unterbrechung der Sprache des Ton-chattenden Benutzers abgelaufen ist, bewirkt die Ausgabesteuereinheit 108, dass die Tonausgabeeinheit 228 auf der Seite des Ton-chattenden Benutzers den Ton als Zwischenruf durch TTS ausgibt.
Es ist zu beachten, dass die Ausgabesteuereinheit 108 abschätzen kann, ob der Text-chattende Benutzer der Sprache des Ton-chattenden Benutzers zuhört oder nicht, beispielsweise durch die folgenden Verfahren. Die Ausgabesteuereinheit 108 kann beispielsweise bestimmen, ob der Text-chattende Benutzer der Sprache zuhört oder nicht, auf der Basis dessen, ob der Ton der Sprache des Ton-chattenden Benutzers an die Tonausgabeeinheit 228b auf der Seite des Text-chattenden Benutzers ausgegeben wurde. Alternativ kann die Ausgabesteuereinheit 108 bestimmen, ob der Text-chattende Benutzer der Sprache zuhört oder nicht, auf der Basis eines Ergebnisses der Detektion, ob der Text-chattende Benutzer einen Ohrhörer oder einen Kopfhörer verwendet. Alternativ kann die Ausgabesteuereinheit 108 bestimmen, ob der Text-chattende Benutzer der Sprache zuhört oder nicht, auf der Basis eines Ergebnisses einer Handlungserkennung des Text-chattenden Benutzers. In einem Fall, in dem beispielsweise der Ton-chattende Benutzer und der Text-chattende Benutzer ein Computerspiel spielen, kann die Ausgabesteuereinheit 108 bestimmen, ob der Text-chattende Benutzer der Sprache zuhört oder nicht, auf der Basis eines Ergebnisses der Detektion eines Grades an Konzentration des Text-chattenden Benutzers auf das Computerspiel. Es ist zu beachten, dass der Grad an Konzentration auf das Computerspiel auf der Basis eines Ergebnisses der Detektion einer Häufigkeit von Operationen, die an der Bedienungseinheit 222b durchgeführt werden, eines Ergebnisses der Detektion einer Sichtlinie des Text-chattenden Benutzers und eines Status des Spiels, wenn die Sprache des Ton-chattenden Benutzers detektiert wird, und dergleichen beispielsweise bestimmt werden kann.
Ein Anwendungsbeispiel in einer Situation, in der Sprache „Was soll ich tun? Ich habe nun nur 10000 Rupien“, durch den Ton-chattenden Benutzer vorgetragen wird und die Tonlautstärke unmittelbar nach der Sprache „Was soll ich tun?“ vorübergehend abnimmt, wird als Beispiel beschrieben. In diesem Fall bewirkt die Ausgabesteuereinheit 108, dass die Tonausgabeeinheit 228 Ton als Zwischenruf durch TTS, beispielsweise „Uh-huh“, zuerst unmittelbar nach der Sprache „Was soll ich tun?“ ausgibt. Dann kann die Ausgabesteuereinheit 108 bewirken, dass die Tonausgabeeinheit 228a Ton als Zwischenruf durch TTS, beispielsweise „Ich verstehe“, unmittelbar nach der Sprache „Ich habe nun nur 10000 Rupien“ ausgibt.
<Operationen>
Die Konfiguration gemäß der vierten Ausführungsform wurde vorstehend beschrieben. Als nächstes werden Operationen gemäß der vierten Ausführungsform mit Bezug auf 20 beschrieben. Wie in 20 dargestellt, wartet zuerst das Endgerät 20a, das der Ton-chattende Benutzer verwendet, darauf, dass die Sprache des Ton-chattenden Benutzers detektiert wird (S701). In einem Fall, in dem die Sprache des Ton-chattenden Benutzers detektiert wird (S701: Ja), überträgt dann das Endgerät 20a fortlaufend Ton der detektierten Sprache zum Server 10 (S703).
Danach überträgt die Kommunikationseinheit 120 des Servers 10 den empfangenen Ton zum Endgerät 20b, das der Text-chattende Benutzer verwendet, unter der Steuerung, die durch die Steuereinheit 100 durchgeführt wird (S705). Ferner überträgt die Kommunikationseinheit 120 eine Anforderung zum Liefern von Wahrnehmungsinformationen zum Endgerät 20b (S707).
Danach überträgt das Endgerät 20b die Wahrnehmungsinformationen, wie z. B. ein Ergebnis der Messung, die beispielsweise durch die Messeinheit 224 durchgeführt wird, zum Server 10 (S709).
Danach bestimmt die Ausgabesteuereinheit 108 des Servers 10, ob der Text-chattende Benutzer der Sprache des Ton-chattenden Benutzers zuhört oder nicht, auf der Basis der empfangenen Wahrnehmungsinformationen (S711). In einem Fall, in dem bestimmt wird, dass der Text-chattende Benutzer der Sprache des Ton-chattenden Benutzers nicht zuhört (S711: Nein), führt der Server 10 die Verarbeitung in S707 erneut durch.
In einem Fall, in dem bestimmt wird, dass der Text-chattende Benutzer der Sprache des Ton-chattenden Benutzers zuhört (S711: Ja), wartet unterdessen der Server 10, bis die Tonlautstärke der Sprache des Ton-chattenden Benutzers um ein Ausmaß abnimmt, das gleich oder größer als ein Schwellenwert ist, oder bis die Sprache des Ton-chattenden Benutzers unterbrochen wird und eine vorbestimmte Zeit nach dem Unterbrechungszeitpunkt abläuft (S713).
In einem Fall, in dem die Bedingung in S713 erfüllt ist (S713: Ja), erzeugt dann die Ausgabesteuereinheit 108 Ton als Zwischenruf durch TTS. Dann überträgt die Kommunikationseinheit 120 den erzeugten Ton zum Endgerät 20a unter der durch die Ausgabesteuereinheit 108 durchgeführten Steuerung (S715). Danach gibt das Endgerät 20a den empfangenen Ton aus (S717).
{Modifikationsbeispiel}
Es ist zu beachten, dass die Operationen gemäß der vierten Ausführungsform nicht auf das vorstehend erwähnte Beispiel begrenzt sind. Das Endgerät 20b kann beispielsweise automatisch die Wahrnehmungsinformationen zum Server 10 übertragen, ohne die Verarbeitung in S707 durchzuführen. Das Endgerät 20b kann beispielsweise konstant die Wahrnehmungsinformationen erfassen und die erfassten Wahrnehmungsinformationen zum Server 10 in vorbestimmten Zeitintervallen übertragen.
<Vorteile>
Wie vorstehend beschrieben, steuert der Server 10 gemäß der vierten Ausführungsform die Tonausgabe eines Zwischenrufs durch TTS an den Ton-chattenden Benutzer auf der Basis eines Ergebnisses der Abschätzung, ob der Text-chattende Benutzer zuhört oder nicht, in einem Fall, in dem die Sprache des Ton-chattenden Benutzers detektiert wird. Daher ist es möglich, den Ton-chattenden Benutzer intuitiv wissen zu lassen, dass der Text-chattende Benutzer der Sprache des Ton-chattenden Benutzers zuhört. Daher kann der Ton-chattende Benutzer die Kommunikation natürlicher durchführen.
«6. Hardware-Konfiguration»
Als nächstes wird eine Hardware-Konfiguration des Servers 10, der von den jeweiligen Ausführungsformen gemeinsam genutzt wird, mit Bezug auf 21 beschrieben. Wie in 21 dargestellt, umfasst der Server 10 eine CPU 150, einen Festwertarbeitsspeicher (ROM) 152, einen RAM 154, einen Bus 156, eine Schnittstelle 158, eine Speichervorrichtung 160 und eine Kommunikationsvorrichtung 162.
Die CPU 150 funktioniert als arithmetische Verarbeitungsvorrichtung und Steuervorrichtung und steuert gesamte Operationen im Server 10 gemäß verschiedenen Programmen. Außerdem verwirklicht die CPU 150 die Funktionen der Steuereinheit 100 im Server 10. Es ist zu beachten, dass die CPU 150 durch einen Prozessor wie z. B. einen Mikroprozessor gebildet ist.
Der ROM 152 speichert Steuerdaten wie z. B. Programme und arithmetische Parameter, die von der CPU 150 verwendet werden.
Der RAM 154 speichert vorübergehend Programme und dergleichen, die beispielsweise von der CPU 150 ausgeführt werden.
Der Bus 156 umfasst einen CPU-Bus oder dergleichen. Der Bus 156 verbindet die CPU 150, den ROM 152 und den RAM 154 miteinander.
Die Schnittstelle 158 verbindet die Speichervorrichtung 160 und die Kommunikationsvorrichtung 162 mit dem Bus 156.
Die Speichervorrichtung 160 ist eine Datenspeichervorrichtung, die als Speichereinheit 122 funktioniert. Die Speichervorrichtung 160 umfasst beispielsweise ein Aufzeichnungsmedium, eine Aufzeichnungsvorrichtung, die Daten im Aufzeichnungsmedium aufzeichnet, eine Lesevorrichtung, die die Daten vom Aufzeichnungsmedium liest, eine Löschvorrichtung, die die im Aufzeichnungsmedium aufgezeichneten Daten löscht, oder dergleichen.
Die Kommunikationsvorrichtung 162 ist eine Kommunikationsschnittstelle, die eine Kommunikationsvorrichtung oder dergleichen umfasst, um beispielsweise mit dem Kommunikationsnetz 30 oder dergleichen verbunden zu werden. Außerdem kann die Kommunikationsvorrichtung 162 eine drahtlose mit LAN kompatible Kommunikationsvorrichtung, eine mit Langzeitentwicklung (LTE) kompatible Kommunikationsvorrichtung oder eine verdrahtete Kommunikationsvorrichtung, die eine verdrahtete Kommunikation durchführt, sein. Die Kommunikationsvorrichtung 162 funktioniert als Kommunikationseinheit 120.
«7. Modifiziertes Beispiel»
Die bevorzugte(n) Ausführungsform(en) der vorliegenden Offenbarung wurde(n) vorstehend mit Bezug auf die begleitenden Zeichnungen beschrieben, obwohl die vorliegende Offenbarung nicht auf die obigen Beispiele begrenzt ist. Ein Fachmann auf dem Gebiet kann verschiedene Änderungen und Modifikationen innerhalb des Schutzbereichs der beigefügten Ansprüche finden, und es sollte selbstverständlich sein, dass sie natürlich in den technischen Schutzbereich der vorliegenden Offenbarung fallen.
Die Konfiguration des Datenverarbeitungssystems gemäß den jeweiligen Ausführungsformen ist beispielsweise nicht auf die vorstehend erwähnten Beispiele begrenzt. Der Ton-chattende Benutzer und der Text-chattende Benutzer können beispielsweise voneinander verschiedene Typen von Endgeräten verwenden. In einem Beispiel kann das Endgerät, das der Ton-chattende Benutzer verwendet, nicht mit der Anzeigeeinheit 226 versehen sein, während das Endgerät, das der Text-chattende Benutzer verwendet, mit der Anzeigeeinheit 226 versehen sein kann.
Obwohl das Beispiel, in dem der Server 10 die Tonanalyseeinheit 102 und die Gefühlsabschätzeinheit 104 aufweist, in den vorstehend erwähnten jeweiligen Ausführungsformen beschrieben wurde, sind die Ausführungsformen außerdem nicht auf ein solches Beispiel begrenzt. Die Endgeräte 20 anstelle des Servers 10 können beispielsweise die Funktionen der Tonanalyseeinheit 102 aufweisen. In diesem Fall ist es auch möglich, dass die Endgeräte 20 den Inhalt der Sprache des Tontextchattenden Benutzers analysieren. Außerdem können die Endgeräte 20 einen Teil oder eine Gesamtheit der Funktionen der Gefühlsabschätzeinheit 104 aufweisen.
Ferner müssen die Schritte der Operation gemäß jeder der vorstehend beschriebenen Ausführungsformen nicht notwendigerweise in der beschriebenen Reihenfolge ausgeführt werden. Die Reihenfolge, in der die Schritte ausgeführt werden, kann beispielsweise geändert werden, wie geeignet. Ferner können die Schritte teilweise parallel oder einzeln ausgeführt werden, anstatt dass sie in chronologischer Reihenfolge ausgeführt werden.
Gemäß jeder der vorstehend beschriebenen Ausführungsformen ist es ferner möglich, ein Computerprogramm zum Bewirken, dass Hardware wie z. B. die CPU 150, der ROM 152 und der RAM 154 eine Funktion ausführt, die zu jener von jeder Komponente des Servers 10 gemäß jeder vorstehend beschriebenen Ausführungsform äquivalent ist, bereitzustellen. Ferner wird auch ein Aufzeichnungsmedium bereitgestellt, auf dem das Computerprogramm aufgezeichnet ist.
Ferner sind die in dieser Patentbeschreibung beschriebenen Effekte lediglich erläuternde oder veranschaulichte Effekte und sind nicht begrenzend. Das heißt mit oder anstelle der obigen Effekte kann die Technologie gemäß der vorliegenden Offenbarung andere Effekte erreichen, die für den Fachmann auf dem Gebiet aus der Beschreibung dieser Patenteschreibung klar sind.
Außerdem kann die vorliegende Technologie auch wie nachstehend konfiguriert sein.

(1) Eine Datenverarbeitungseinrichtung, die Folgendes umfasst:
- eine Ausgabesteuereinheit, die eine Ausgabe von Informationen, die einen Wartestatus eines ersten Benutzers in Bezug auf eine Antwort von einem zweiten Benutzer, der eine Texteingabe verwendet, angeben, auf einer Basis einer Detektion von Sprache des ersten Benutzers, der eine Toneingabe verwendet, steuert,
- wobei eingegebene Nachrichten zwischen dem ersten Benutzer und dem zweiten Benutzer ausgetauscht werden.
(2) Die Datenverarbeitungseinrichtung gemäß (1), wobei die Informationen, die den Wartestatus des ersten Benutzers angeben, eine Nachrichtenantwortzeitgrenze umfassen.
(3) Die Datenverarbeitungseinrichtung gemäß (2), die ferner Folgendes umfasst:
- eine Antwortzeitgrenzenberechnungseinheit, die die Nachrichtenantwortzeitgrenze auf einer Basis einer vorbestimmten Referenz berechnet.
(4) Die Datenverarbeitungseinrichtung gemäß (3), wobei die vorbestimmte Referenz eine Eigenschaft der detektierten Sprache des ersten Benutzers umfasst.
(5) Die Datenverarbeitungseinrichtung gemäß (4), wobei die Eigenschaft der Sprache eine Tonlautstärke oder eine Sprechgeschwindigkeit der Sprache umfasst.
(6) Die Datenverarbeitungseinrichtung gemäß irgendeinem von (3) bis (5), wobei die vorbestimmte Referenz ein Ergebnis einer Gefühlsabschätzung auf der Basis der detektierten Sprache des ersten Benutzers umfasst.
(7) Die Datenverarbeitungseinrichtung gemäß irgendeinem von (3) bis (6), wobei die vorbestimmte Referenz ein Ergebnis einer Wahrnehmung in Bezug auf einen Zustand des ersten Benutzers umfasst.
(8) Die Datenverarbeitungseinrichtung gemäß irgendeinem von (3) bis (7), wobei die vorbestimmte Referenz ein Ergebnis einer Tonerkennung der detektierten Sprache des ersten Benutzers umfasst.
(9) Die Datenverarbeitungseinrichtung gemäß irgendeinem von (2) bis (8), wobei die Informationen, die den Wartestatus des ersten Benutzers angeben, einen Indikator umfassen; und der Indikator eine Differenz zwischen der Nachrichtenantwortzeitgrenze und der Ablaufzeit ab einem Start der Anzeige des Indikators angibt.
(10) Die Datenverarbeitungseinrichtung gemäß (9), wobei die Ausgabesteuereinheit bewirkt, dass ein Anzeigemodus des Indikators sich mit dem Ablauf einer Zeit vom Start der Anzeige des Indikators ändert.
(11) Die Datenverarbeitungseinrichtung gemäß irgendeinem von (1) bis (10), wobei die Informationen, die den Wartestatus des ersten Benutzers angeben, ein Ergebnis einer Gefühlsabschätzung auf der Basis der detektierten Sprache des ersten Benutzers umfassen.
(12) Die Datenverarbeitungseinrichtung gemäß irgendeinem von (1) bis (11), wobei die Ausgabesteuereinheit ferner bewirkt, dass eine Ausgabeeinheit beginnt, die Informationen, die den Wartestatus des ersten Benutzers angeben, auf einer Basis eines Ergebnisses der Tonerkennung der detektierten Sprache des ersten Benutzers auszugeben.
(13) Die Datenverarbeitungseinrichtung gemäß (12), wobei die Ausgabesteuereinheit ferner bewirkt, dass die Ausgabeeinheit beginnt, die Informationen, die den Wartestatus des ersten Benutzers angeben, auf einer Basis eines Ergebnisses einer Modalitätsanalyse, die an einem Ergebnis der Tonerkennung durchgeführt wird, auszugeben.
(14) Die Datenverarbeitungseinrichtung gemäß irgendeinem von (1) bis (13), wobei die Ausgabesteuereinheit bewirkt, dass eine Ausgabeeinheit die Ausgabe der Informationen, die den Wartestatus des ersten Benutzers angeben, auf einer Basis einer Eingabe einer Nachricht vom zweiten Benutzer, nachdem die Ausgabe der Informationen, die den Wartestatus des ersten Benutzers angeben, gestartet wird, beendet.
(15) Die Datenverarbeitungseinrichtung gemäß irgendeinem von (1) bis (14), wobei die Ausgabesteuereinheit bewirkt, dass eine Ausgabeeinheit die Ausgabe der Informationen, die den Wartestatus des ersten Benutzers angeben, auf einer Basis einer Ablaufzeit von einem Start der Ausgabe der Informationen, die den Wartestatus des ersten Benutzers angeben, nachdem die Ausgabe der Informationen, die den Wartestatus des ersten Benutzers angeben, gestartet wird, beendet.
(16) Die Datenverarbeitungseinrichtung gemäß irgendeinem von (1) bis (15), wobei die Ausgabesteuereinheit ferner eine Ausgabe eines Rückmeldungstons an den ersten Benutzer auf einer Basis eines Eingabestatus von Text vom zweiten Benutzer nach der Detektion der Sprache des ersten Benutzers steuert.
(17) Die Datenverarbeitungseinrichtung gemäß irgendeinem von (1) bis (16), wobei die Ausgabesteuereinheit ferner bewirkt, dass eine Ausgabeform von Ton einer Nachricht, die an den ersten Benutzer ausgegeben wird, auf einer Basis der Extraktion eines Schlüsselworts aus der vom zweiten Benutzer eingegebenen Nachricht geändert wird.
(18) Die Datenverarbeitungseinrichtung gemäß irgendeinem von (1) bis (17), wobei die Ausgabesteuereinheit ferner eine Tonausgabe eines Zwischenrufs an den ersten Benutzer auf einer Basis der Detektion der Sprache des ersten Benutzers steuert.
(19) Ein Datenverarbeitungsverfahren, das Folgendes umfasst:
- Steuern einer Ausgabe von Informationen durch einen Prozessor, die einen Wartestatus eines ersten Benutzers in Bezug auf eine Antwort von einem zweiten Benutzer, der eine Texteingabe verwendet, angeben, auf einer Basis der Detektion von Sprache des ersten Benutzers, der eine Toneingabe verwendet,
- wobei eingegebene Nachrichten zwischen dem ersten Benutzer und dem zweiten Benutzer ausgetauscht werden.
(20) Ein Programm, das bewirkt, dass ein Computer funktioniert als:
- Ausgabesteuereinheit, die eine Ausgabe von Informationen, die einen Wartestatus eines ersten Benutzers in Bezug auf eine Antwort von einem zweiten Benutzer, der eine Texteingabe verwendet, angeben, auf einer Basis der Detektion von Sprache des ersten Benutzers, der eine Toneingabe verwendet, steuert,
- wobei eingegebene Nachrichten zwischen dem ersten Benutzer und dem zweiten Benutzer ausgetauscht werden.

Bezugszeichenliste

10: Server
20: Endgerät
30: Kommunikationsnetz
100, 200: Steuereinheit
102: Tonanalyseeinheit
104: Gefühlsabschätzeinheit
106: Antwortzeitgrenzenberechnungseinheit
108: Ausgabesteuereinheit
120, 230: Kommunikationseinheit
122: Speichereinheit
124: Zeitgrenzenberechnungs-DB
126: Spracheigenschaftskoeffiziententabelle
128: Wahrnehmungsinformationskoeffiziententabelle
130: Demonstrativpronomen-Anwesenheits/Abwesenheits-Koeffiziententabelle
132: Zeitinformationskoeffiziententabelle
220: Tonaufnahmeeinheit
222: Bedienungseinheit
224: Messeinheit
226: Anzeigeeinheit
228: Tonausgabeeinheit

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

JP 2004129174 A [0004]

Claims

Datenverarbeitungseinrichtung, die Folgendes umfasst: eine Ausgabesteuereinheit, die eine Ausgabe von Informationen, die einen Wartestatus eines ersten Benutzers in Bezug auf eine Antwort von einem zweiten Benutzer, der eine Texteingabe verwendet, angeben, auf einer Basis einer Detektion von Sprache des ersten Benutzers, der eine Toneingabe verwendet, steuert, wobei eingegebene Nachrichten zwischen dem ersten Benutzer und dem zweiten Benutzer ausgetauscht werden.
Datenverarbeitungseinrichtung nach Anspruch 1, wobei die Informationen, die den Wartestatus des ersten Benutzers angeben, eine Nachrichtenantwortzeitgrenze umfassen.
Datenverarbeitungseinrichtung nach Anspruch 2, die ferner Folgendes umfasst: eine Antwortzeitgrenzenberechnungseinheit, die die Nachrichtenantwortzeitgrenze auf einer Basis einer vorbestimmten Referenz berechnet.
Datenverarbeitungseinrichtung nach Anspruch 3, wobei die vorbestimmte Referenz eine Eigenschaft der detektierten Sprache des ersten Benutzers umfasst.
Datenverarbeitungseinrichtung nach Anspruch 4, wobei die Eigenschaft der Sprache eine Tonlautstärke oder eine Sprechgeschwindigkeit der Sprache umfasst.
Datenverarbeitungseinrichtung nach Anspruch 3, wobei die vorbestimmte Referenz ein Ergebnis einer Gefühlsabschätzung auf der Basis der detektierten Sprache des ersten Benutzers umfasst.
Datenverarbeitungseinrichtung nach Anspruch 3, wobei die vorbestimmte Referenz ein Ergebnis einer Wahrnehmung in Bezug auf einen Zustand des ersten Benutzers umfasst.
Datenverarbeitungseinrichtung nach Anspruch 3, wobei die vorbestimmte Referenz ein Ergebnis einer Tonerkennung der detektierten Sprache des ersten Benutzers umfasst.
Datenverarbeitungseinrichtung nach Anspruch 2, wobei die Informationen, die den Wartestatus des ersten Benutzers angeben, einen Indikator umfassen; und der Indikator eine Differenz zwischen der Nachrichtenantwortzeitgrenze und der Ablaufzeit von einem Start der Anzeige des Indikators angibt.
Datenverarbeitungseinrichtung nach Anspruch 9, wobei die Ausgabesteuereinheit bewirkt, dass ein Anzeigemodus des Indikators sich mit dem Ablauf einer Zeit vom Start der Anzeige des Indikators ändert.
Datenverarbeitungseinrichtung nach Anspruch 1, wobei die Informationen, die den Wartestatus des ersten Benutzers angeben, ein Ergebnis einer Gefühlsabschätzung auf der Basis der detektierten Sprache des ersten Benutzers umfassen.
Datenverarbeitungseinrichtung nach Anspruch 1, wobei die Ausgabesteuereinheit ferner bewirkt, dass eine Ausgabeeinheit die Ausgabe der Informationen, die den Wartestatus des ersten Benutzers angeben, auf einer Basis eines Ergebnisses einer Tonerkennung der detektierten Sprache des ersten Benutzers startet.
Datenverarbeitungseinrichtung nach Anspruch 12, wobei die Ausgabesteuereinheit ferner bewirkt, dass die Ausgabeeinheit die Ausgabe der Informationen, die den Wartestatus des ersten Benutzers angeben, auf einer Basis einer Modalitätsanalyse, die an einem Ergebnis der Tonerkennung durchgeführt wird, startet.
Datenverarbeitungseinrichtung nach Anspruch 1, wobei die Ausgabesteuereinheit bewirkt, dass eine Ausgabeeinheit die Ausgabe der Informationen, die den Wartestatus des ersten Benutzers angeben, auf einer Basis einer Eingabe einer Nachricht vom zweiten Benutzer, nachdem die Ausgabe der Informationen, die den Wartestatus des ersten Benutzers angeben, gestartet wird, beendet.
Datenverarbeitungseinrichtung nach Anspruch 1, wobei die Ausgabesteuereinheit bewirkt, dass eine Ausgabeeinheit die Ausgabe der Informationen, die den Wartestatus des ersten Benutzers angeben, auf einer Basis einer Ablaufzeit von einem Start der Ausgabe der Informationen, die den Wartestatus des ersten Benutzers angeben, nachdem die Ausgabe der Informationen, die den Wartestatus des ersten Benutzers angeben, gestartet wird, beendet.
Datenverarbeitungseinrichtung nach Anspruch 1, wobei die Ausgabesteuereinheit ferner eine Ausgabe eines Rückmeldungstons an den ersten Benutzer auf einer Basis eines Eingabestatus von Text vom zweiten Benutzer nach der Detektion der Sprache des ersten Benutzers steuert.
Datenverarbeitungseinrichtung nach Anspruch 1, wobei die Ausgabesteuereinheit ferner bewirkt, dass eine Ausgabeform von Ton einer Nachricht, die an den ersten Benutzer ausgegeben wird, auf einer Basis der Extraktion eines Schlüsselworts aus der vom zweiten Benutzer eingegebenen Nachricht geändert wird.
Datenverarbeitungseinrichtung nach Anspruch 1, wobei die Ausgabesteuereinheit ferner eine Tonausgabe eines Zwischenrufs an den ersten Benutzer auf einer Basis der Detektion der Sprache des ersten Benutzers steuert.
Datenverarbeitungsverfahren, das Folgendes umfasst: Steuern einer Ausgabe von Informationen durch einen Prozessor, die einen Wartestatus eines ersten Benutzers in Bezug auf eine Antwort von einem zweiten Benutzer, der eine Texteingabe verwendet, angeben, auf einer Basis der Detektion von Sprache des ersten Benutzers, der eine Toneingabe verwendet, wobei eingegebene Nachrichten zwischen dem ersten Benutzer und dem zweiten Benutzer ausgetauscht werden.
Programm, das bewirkt, dass ein Computer funktioniert als: Ausgabesteuereinheit, die eine Ausgabe von Informationen, die einen Wartestatus eines ersten Benutzers in Bezug auf eine Antwort von einem zweiten Benutzer, der eine Texteingabe verwendet, angeben, auf einer Basis der Detektion von Sprache des ersten Benutzers, der eine Toneingabe verwendet, steuert, wobei eingegebene Nachrichten zwischen dem ersten Benutzer und dem zweiten Benutzer ausgetauscht werden.