JP2015186199A - 通信装置および方法、並びにプログラム - Google Patents

通信装置および方法、並びにプログラム Download PDF

Info

Publication number
JP2015186199A
JP2015186199A JP2014063523A JP2014063523A JP2015186199A JP 2015186199 A JP2015186199 A JP 2015186199A JP 2014063523 A JP2014063523 A JP 2014063523A JP 2014063523 A JP2014063523 A JP 2014063523A JP 2015186199 A JP2015186199 A JP 2015186199A
Authority
JP
Japan
Prior art keywords
communication
unit
user
communication device
partner
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014063523A
Other languages
English (en)
Other versions
JP6071006B2 (ja
JP2015186199A5 (ja
Inventor
城井 学
Manabu Shiroi
学 城井
育英 細田
Ikuhide Hosoda
育英 細田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2014063523A priority Critical patent/JP6071006B2/ja
Priority to US14/661,282 priority patent/US9420111B2/en
Publication of JP2015186199A publication Critical patent/JP2015186199A/ja
Publication of JP2015186199A5 publication Critical patent/JP2015186199A5/ja
Priority to US15/202,377 priority patent/US20160316054A1/en
Application granted granted Critical
Publication of JP6071006B2 publication Critical patent/JP6071006B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M3/00Automatic or semi-automatic exchanges
    • H04M3/42Systems providing special services or facilities to subscribers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M7/00Arrangements for interconnection between switching centres
    • H04M7/0024Services and arrangements where telephone services are combined with data services
    • H04M7/0036Services and arrangements where telephone services are combined with data services where the data service is an information service
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174Facial expression recognition
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/78Detection of presence or absence of voice signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M2201/00Electronic components, circuits, software, systems or apparatus used in telephone systems
    • H04M2201/38Displays
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M2201/00Electronic components, circuits, software, systems or apparatus used in telephone systems
    • H04M2201/60Medium conversion
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M2203/00Aspects of automatic or semi-automatic exchanges
    • H04M2203/10Aspects of automatic or semi-automatic exchanges related to the purpose or context of the telephonic communication
    • H04M2203/1016Telecontrol
    • H04M2203/1025Telecontrol of avatars

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Telephone Function (AREA)
  • Information Transfer Between Computers (AREA)
  • Telephonic Communication Services (AREA)

Abstract

【課題】コミュニケーションの利便性を向上させることができるようにする。【解決手段】ユーザと仮想的な通信相手とのコミュニケーションである第1のコミュニケーションが実現されている間に、仮想的な通信相手に関連付けられた現実の通信相手の通信装置に対して現実の通信相手を呼び出すための呼び出し処理を行い、ユーザと現実の通信相手とのコミュニケーションである第2のコミュニケーションを実現する。本開示は、例えば、通信装置に適用することができる。【選択図】図22

Description

本開示は通信装置および方法、並びにプログラムに関し、特に、コミュニケーションの利便性を向上させることができるようにした通信装置および方法、並びにプログラムに関する。
従来の携帯電話機の通話システムやテレビ会議システム等では、端末同士の接続を確立することにより端末間の通信が可能になった(例えば、特許文献1参照)。接続を確立するために、端末から所望の他の端末に対して発呼処理が行われ、その発呼処理に対する応答処理が行われていた。
特開2008−271124号公報
しかしながら、この方法の場合、発呼処理およびそれに対する応答処理の処理時間が必要であり、接続を確立し、通話等のコミュニケーションを開始することができる状態になるまで、ユーザが待機しなければならず、コミュニケーションの利便性が低減する恐れがあった。
本開示は、このような状況に鑑みてなされたものであり、コミュニケーションの利便性を向上させることができるようにするものである。
本技術の一側面は、ユーザの入力を受け付ける入力部により受け付けられた該ユーザ入力に対する仮想的な通信相手による応答を生成し、前記応答を画像または音声を出力する出力部より出力することにより、ユーザと前記仮想的な通信相手とのコミュニケーションである第1のコミュニケーションを実現する第1のコミュニケーション部と、前記第1のコミュニケーション部により前記第1のコミュニケーションが実現されている間に、他の装置と通信を行う通信部を制御し、前記仮想的な通信相手に関連付けられた現実の通信相手の通信装置に対して前記現実の通信相手を呼び出すための呼び出し処理を行う呼び出し処理部と、前記通信部を制御して、前記入力部により受け付けられた前記ユーザ入力を、前記呼び出し処理部による前記呼び出し処理に応答した前記現実の通信相手の通信装置に供給し、前記現実の通信相手の通信装置から前記ユーザ入力に対する応答を取得し、前記応答を前記出力部より出力することにより、ユーザと前記現実の通信相手とのコミュニケーションである第2のコミュニケーションを実現する第2のコミュニケーション部とを備える通信装置である。
前記呼び出し処理部は、前記第1のコミュニケーションの開始とともに、前記呼び出し処理を開始することができる。
前記第1のコミュニケーションの内容を評価し、前記呼び出し処理を行うか否かを判定する評価判定部をさらに備え、前記呼び出し処理部は、前記評価判定部により前記呼び出し処理を行うと判定された場合、前記呼び出し処理を開始することができる。
前記評価判定部は、前記入力部により受け付けられた前記ユーザの音声のトーンを分析し、評価することができる。
前記評価判定部は、前記音声のトーンが普段の会話の音声のトーンの範囲内であるか否かを評価し、前記音声のトーンが前記範囲外である場合、前記呼び出し処理を行うと判定することができる。
前記評価判定部は、前記入力部により受け付けられた前記ユーザの音声のキーワードを分析し、評価することができる。
前記評価判定部は、前記ユーザの音声に、所定のネガティブなキーワードが含まれるか否かを評価し、前記ネガティブなキーワードが含まれる場合、前記呼び出し処理を行うと判定することができる。
前記評価判定部は、前記入力部により受け付けられた画像を分析し、評価することができる。
前記評価判定部は、前記画像に前記ユーザの顔が含まれている場合、前記ユーザの表情が普段の範囲内であるか否かを評価し、前記ユーザの表情が前記範囲外であるとき、前記呼び出し処理を行うと判定することができる。
前記評価判定部は、前記画像に前記ユーザの顔の周辺が含まれている場合、前記周辺の画像が変化したか否かを評価し、前記ユーザの顔周辺の画像が変化したとき、前記呼び出し処理を行うと判定することができる。
前記評価判定部は、前記入力部により受け付けられた前記通信装置自身の動きを分析し、評価することができる。
前記評価判定部は、前記通信装置に対して所定の基準以上の振動や圧力が加えられたか否かを評価し、前記基準以上の振動や圧力が加えられた場合、前記呼び出し処理を行うと判定することができる。
前記第1のコミュニケーション部は、前記第2のコミュニケーションの終了とともに、前記第1のコミュニケーションを開始することができる。
前記通信部を制御して、前記第1のコミュニケーション部により実現される前記第1のコミュニケーションの内容を示す第1の情報を、前記仮想的な通信相手に関連付けられた現実の通信相手の通信装置に対して供給する第1の情報供給部をさらに備えることができる。
前記第1の情報は、前記第1のコミュニケーションのログ、若しくは前記ログの要約であるようにすることができる。
前記第1の情報は、前記第1のコミュニケーションの内容を示す色、濃度、模様、図形、文字、若しくは記号であるようにすることができる。
前記仮想的な通信相手の設定情報を記憶する記憶部をさらに備え、前記第1のコミュニケーション部は、前記記憶部に記憶される前記設定情報を用いて、前記入力部により受け付けられた前記ユーザ入力に対する仮想的な通信相手による応答を生成し、前記第1のコミュニケーションを実現することができる。
他の装置から前記設定情報を取得する設定情報取得部をさらに備え、前記記憶部は、前記設定情報取得部により取得された前記設定情報を記憶することができる。
本技術の一側面は、また、受け付けられたユーザ入力に対する仮想的な通信相手による応答を生成し、前記応答を出力することにより、ユーザと前記仮想的な通信相手とのコミュニケーションである第1のコミュニケーションを実現し、前記第1のコミュニケーションが実現されている間に、前記仮想的な通信相手に関連付けられた現実の通信相手の通信装置に対して前記現実の通信相手を呼び出すための呼び出し処理を行い、受け付けられた前記ユーザ入力を、前記呼び出し処理に応答した前記現実の通信相手の通信装置に供給し、前記現実の通信相手の通信装置から前記ユーザ入力に対する応答を取得し、前記応答を出力することにより、ユーザと前記現実の通信相手とのコミュニケーションである第2のコミュニケーションを実現する通信方法である。
本技術の一側面は、さらに、コンピュータを、ユーザの入力を受け付ける入力部により受け付けられた該ユーザ入力に対する仮想的な通信相手による応答を生成し、前記応答を画像または音声を出力する出力部より出力することにより、ユーザと前記仮想的な通信相手とのコミュニケーションである第1のコミュニケーションを実現する第1のコミュニケーション部と、前記第1のコミュニケーション部により前記第1のコミュニケーションが実現されている間に、他の装置と通信を行う通信部を制御し、前記仮想的な通信相手に関連付けられた現実の通信相手の通信装置に対して前記現実の通信相手を呼び出すための呼び出し処理を行う呼び出し処理部と、前記通信部を制御して、前記入力部により受け付けられた前記ユーザ入力を、前記呼び出し処理部による前記呼び出し処理に応答した前記現実の通信相手の通信装置に供給し、前記現実の通信相手の通信装置から前記ユーザ入力に対する応答を取得し、前記応答を前記出力部より出力することにより、ユーザと前記現実の通信相手とのコミュニケーションである第2のコミュニケーションを実現する第2のコミュニケーション部として機能させるプログラムである。
本技術の一側面においては、受け付けられたユーザ入力に対する仮想的な通信相手による応答が生成され、応答が出力されることにより、ユーザと仮想的な通信相手とのコミュニケーションである第1のコミュニケーションが実現され、第1のコミュニケーションが実現されている間に、仮想的な通信相手に関連付けられた現実の通信相手の通信装置に対して現実の通信相手を呼び出すための呼び出し処理が行われ、受け付けられたユーザ入力が、呼び出し処理に応答した現実の通信相手の通信装置に供給され、現実の通信相手の通信装置からユーザ入力に対する応答が取得され、応答が出力されることにより、ユーザと現実の通信相手とのコミュニケーションである第2のコミュニケーションが実現される。
本開示によれば、通信相手と通信することができる。特に、コミュニケーションの利便性を向上させることができる。
コミュニケーションデバイスの筐体の主な構成例を示す図である。 使用例を説明する図である。 他の使用例を説明する図である。 さらに他の使用例を説明する図である。 接続例を説明する図である。 コミュニケーションデバイスの主な構成例を示すブロック図である。 コミュニケーションデバイスの筐体の他の構成例を示す図である。 表示例を示す図である。 コミュニケーションデバイスの筐体の、さらに他の構成例を示す図である。 使用例を説明する図である。 表示例を説明する図である。 パーソナル設定画面の主な構成例を示す図である。 CPUおよび記憶部の主な構成例を示すブロック図である。 パーソナル設定処理の流れの例を説明するフローチャートである。 パーソナル提供処理の流れの例を説明するフローチャートである。 パーソナル取得処理の流れの例を説明するフローチャートである。 パーソナル削除処理の流れの例を説明するフローチャートである。 非生コミュニケーション処理の流れの例を説明するフローチャートである。 非生情報提供処理の流れの例を説明するフローチャートである。 学習処理の流れの例を説明するフローチャートである。 コミュニケーション切り替えの様子の例を説明する図である。 CPUおよび記憶部の主な構成例を示すブロック図である。 切替処理の流れの例を説明するフローチャートである。 表示例を説明する図である。 表示例を説明する図である。 非生情報表示処理の流れの例を説明するフローチャートである。 切替処理の流れの例を説明するフローチャートである。 評価処理の流れの例を説明するフローチャートである。 呼び出し応答処理の流れの例を説明するフローチャートである。 表示例を説明する図である。 コミュニケーションの例を説明する図である。 切替処理の流れの例を説明するフローチャートである。
以下、本開示を実施するための形態(以下実施の形態とする)について説明する。なお、説明は以下の順序で行う。
1.第1の実施の形態(コミュニケーションデバイス)
2.第2の実施の形態(非生コミュニケーション)
3.第3の実施の形態(コミュニケーションの切り替え)
<1.第1の実施の携帯>
<コミュニケーションデバイス>
図1は、本技術を適用したコミュニケーションデバイスの筐体の主な構成例を示す外観図である。
図1に示されるコミュニケーションデバイス100は、ユーザと対話等のコミュニケーションを行う装置である。例えば、コミュニケーションデバイス100は、所定の通信機能を有しており、他の通信装置と通信を行うことができる。この通信機能を利用することにより、コミュニケーションデバイス100は、ユーザと、通信相手(他の通信装置のユーザ)とのコミュニケーション(例えば通話等)を実現することができる。
図1Aは、コミュニケーションデバイス100を正面からみた図である。図1Aに示されるように、コミュニケーションデバイス100の正面には、ディスプレイ101、カメラ102、マイクロホン103、およびスピーカ104等の入出力デバイスが設けられている。
ディスプレイ101は、例えばLCD(Liquid Crystal Display)や有機ELディスプレイ(Organic ElectroLuminescence Display)等よりなる。ディスプレイ101には、例えば、通信相手の画像(通信相手画像111)や、その通信相手のユーザ名(通信相手名)等が表示される。この通信相手画像111は、例えば、コミュニケーションデバイス100に予め登録されている画像であってもよいし、他の通信装置において撮像され、伝送された画像であってもよい。また、ディスプレイ101に重畳してタッチパネルを設けるようにしてもよい。その場合、ディスプレイ101に操作用のGUI(Graphical User Interface)等を表示し、タッチパネルによりそのGUIに対するユーザ操作を受け付けるようにしてもよい。
カメラ102は、コミュニケーションデバイス100の正面前方を撮像する。この撮像により得られた画像データは、例えば、コミュニケーションデバイス100の通信機能により他の通信装置に伝送される。なお、この撮像により得られる画像は動画像であってもよいし、静止画像であってもよいし、その両方であってもよい。
マイクロホン103は、主にコミュニケーションデバイス100の正面前方の音声を集音する。この集音により得られた音声データは、例えば、コミュニケーションデバイス100の通信機能により他の通信装置に伝送される。
スピーカ104は、音声を出力する。例えば、スピーカ104は、コミュニケーションデバイス100の通信機能により他の通信装置から取得した音声データを音声として出力する。
ユーザは、コミュニケーションデバイス100のこれらの入出力デバイスを用いることにより、例えば通信相手と、画像や音声等を用いたコミュニケーションを行うことができる。
このコミュニケーションデバイス100の大きさは任意である。図1の例では、後述するように、コミュニケーションデバイス100は、例えばユーザの首からぶら下げて使用される。したがって、この場合、コミュニケーションデバイス100は、例えば、ユーザの手のひらに乗る程度の大きさか、若しくは、手のひらよりやや大きい程度の大きさである(首からぶら下げた状態において邪魔にならない、かつ、重すぎない程度の大きさである)。
また、コミュニケーションデバイス100の形状は任意である。例えば、コミュニケーションデバイス100は、図1に示されるような形状に形成される。例えば、図1Aに示されるように、コミュニケーションデバイス100は、正面から見て楕円形に形成される。
図1Bは、コミュニケーションデバイス100を側面(図1A中の右側)からみた図である。すなわち、図1Bにおいて左側が正面となる。図1Bに示されるように、この例では、コミュニケーションデバイス100は、正面が上下方向に曲面となっている。なお、正面に対向する背面(図1Bにおいて右側の面)も、上下方向に曲面となっているが、正面よりは、湾曲率が低くなっている。
図1Cは、コミュニケーションデバイスを下面(図1A中の下側)からみた図である。すなわち、図1Cにおいて上側が正面となる。図1Cに示されるように、この例では、コミュニケーションデバイス100は、正面が左右方向に曲面となっている。なお、正面に対向する背面(図1Cにおいて下側の面)も、左右方向に曲面となっているが、正面よりは、湾曲率が低くなっている。
図1のように、正面を曲面に形成し、その正面の表面に(すなわち曲面状に)ディスプレイ101を設けるようにすることにより、ディスプレイ101に通信相手画像111(通信相手の顔画像)が立体的に表示されるようにすることができる。このようにすることにより、通信相手画像の視線を立体的に表現することができる。例えば、通信相手画像の視線が正面中心より横方向であっても、その視線の先の人物と目が合うようにすることができる。なお、ディスプレイ101を筐体内部に平面状に設け、その上に透明の筐体を重畳させて正面を曲面に形成するようにしても、その筐体によるレンズ効果により、ディスプレイ101に表示される画像を多少立体的に見えるようにすることができる。
なお、上述したように、コミュニケーションデバイス100の筐体の形状は任意であり、この正面や背面などが平面状に形成されるようにしてもよい。また、図1Aのように正面が楕円形状に形成されなくてもよい。例えば、四角形等の矩形や円形などであってもよい。
図1Aに示されるように、コミュニケーションデバイス100の上部には、ストラップ105を装着することができる。上述したように、コミュニケーションデバイス100は、このストラップ105をユーザの首に通し、首からぶら下げた状態で使用することができる。
<ユースケース1>
次に、このコミュニケーションデバイス100の使用例を説明する。上述したように、コミュニケーションデバイス100は、ユーザの首からぶら下げた状態で使用することができる。この場合、コミュニケーションデバイス100の正面は、ユーザと対向せず、例えば、図2に示されるように、ユーザと同じ方向を無ことになる。
図2の例の場合、コミュニケーションデバイス100のユーザであるユーザAは、遠隔地に居る通信相手Cとのコミュニケーションを行っている。コミュニケーションデバイス100は、通信相手Cが操作する通信デバイス120と通信を行い、画像や音声を授受することにより、このコミュニケーションを実現する。
その際、コミュニケーションデバイス100の正面のディスプレイ101には、通信相手Cの顔画像C’が表示される。しかしながら、カメラ102は、コミュニケーションデバイス100の正面に設けられており、通信デバイス120には、ユーザAの顔画像ではなく、ユーザAとほぼ同じ視点で得られる画像が表示される。
このように、コミュニケーションデバイス100は、カメラ102やマイクロホン103等の入力デバイスが筐体正面に設けられ、その正面をユーザAの視線方向と同様の方向を向かせた状態で使用されるので、通信相手Cは、ユーザAと同じ方向(例えば風景や物等)を見たり聞いたりすることができる。つまり、ユーザAは、遠隔地の通信相手Cと体験を共有し、その体験について、対話等のコミュニケーションを行うことができる。
<ユースケース2>
また、上述したように、コミュニケーションデバイス100は、ディスプレイ101やスピーカ104も筐体正面に設けられている。したがって、例えば、図3に示されるように、同じ場所にいるユーザAと対話相手Bとの会話に、遠隔地に居る通信相手Cを参加させることができる。
図3の例の場合、コミュニケーションデバイス100のディスプレイ101には、通信相手Cの顔画像C’が表示される。また、通信デバイス120には、対話相手Bの顔画像B’が表示される。したがって、対話相手Bと通信相手Cとが、対話等のコミュニケーションを行うことができる。もちろん、図3の例においても、図2の例の場合と同様に、ユーザAと通信相手Cとの間でも、対話等のコミュニケーションを行うことができる。つまり、コミュニケーションデバイス100は、ユーザA、対話相手B、および通信相手Cの3人のコミュニケーションを実現することができる。
その際、コミュニケーションデバイス100は、ユーザAの首からぶら下げられて使用されるので、単に、ユーザA、対話相手B、および通信相手Cの3人のコミュニケーションを実現することができるだけでなく、通信相手CをユーザAの側の(ユーザAと親しい)立場として、ユーザAおよび対話相手Bとのコミュニケーションに参加させることができる。このようにコミュニケーションデバイス100は、コミュニケーションの参加者の立場に指向性を持たせることができる。
<ユースケース3>
もちろん、コミュニケーションデバイス100は、上述した状態(姿勢)以外でも使用することができる。例えば、図4に示されるように、コミュニケーションデバイス100の正面とユーザAとを対面させた状態で使用することもできる。
また、コミュニケーションデバイス100は、任意の通信装置と通信を行うことができる。つまり、図4の例に示されるように、コミュニケーションデバイス100同士で通信を行うこともできる。図4の例においては、ユーザAがコミュニケーションデバイス100−1を操作し、通信相手Cがコミュニケーションデバイス100−2を操作している。コミュニケーションデバイス100−1およびコミュニケーションデバイス100−2が互いに通信を行うことにより、ユーザAと通信相手Cとの間の対話等のコミュニケーションを実現する。
図4の例においては、ユーザAは、コミュニケーションデバイス100−1の正面をユーザA自身に向けて使用し、通信相手Cは、コミュニケーションデバイス100−2の正面を通信相手C自身に向けて使用している。そのため、コミュニケーションデバイス100−1のディスプレイ101には、通信相手Cの顔画像C’が表示される。また、コミュニケーションデバイス100−2のディスプレイ101には、ユーザAの顔画像A’が表示される。つまり、図4の例の場合、ユーザAと通信相手Cは、互いの顔画像を見ながら、対話等のコミュニケーションを行うことができる。
<通信>
上述したように、コミュニケーションデバイス100は、他の通信装置と通信を行う。この通信の方法は任意である。図4の例を用いて説明すると、例えば図5Aのように、コミュニケーションデバイス100−1とコミュニケーションデバイス100−2とが無線通信により互いに直接通信を行うようにしてもよい。この無線通信は、例えば、IEEE(Institute of Electrical and Electronic Engineers)802.11無線LAN(Local Area Network)のアドホックモード、IrDA(InfraRed Data Association)のような赤外線等の光通信、またはBluetooth(登録商標)等の所定の規格に準拠する方法であっても良いし、独自の無線通信方式であってもよい。
なお、上述したようにコミュニケーションデバイス100をユーザが携帯して使用することから、コミュニケーションデバイス100の通信方式は無線通信の方が望ましいが、有線通信による通信を行うことができるようにしてももちろんよい。つまり、図5Aの例において、コミュニケーションデバイス100−1とコミュニケーションデバイス100−2とが有線通信により互いに直接通信を行うようにしてもよい。その場合、コミュニケーションデバイス100−1とコミュニケーションデバイス100−2とが、例えば、USB(Universal Serial Bus)やIEEE1394等の所定の規格のケーブルにより互いを接続し、その規格に準拠する方法で通信を行うようにしても良いし、独自のケーブルを用いて互いを接続する独自の規格の通信であってもよい。
また、図5Bのように、コミュニケーションデバイス100−1とコミュニケーションデバイス100−2とが、所定のネットワーク131を介して互いに通信を行うようにしてもよい。ネットワーク131は、どのような通信網であってもよく、有線通信網であってもよいし、無線通信網であってもよいし、それらの両方であってもよい。例えば、有線LAN、無線LAN、公衆電話回線網、所謂3G回線や4G回線等の無線移動体用の広域通信網、またはインターネット等であってもよい。また、ネットワーク131は、1の通信網であってもよいし、複数の通信網であってもよい。
コミュニケーションデバイス100とネットワーク131とは、無線通信により接続される。例えば、コミュニケーションデバイス100がIEEE802.11無線LANのアクセスポイントを介してネットワーク131と接続されるようにしてもよい。また、例えば、コミュニケーションデバイス100が無線移動体通信の基地局を介してネットワーク131に接続されるようにしてもよい。
もちろん、コミュニケーションデバイス100とネットワーク131とが、有線通信により接続されるようにしてもよい。例えば、LANケーブル(イーサネット(登録商標)ケーブル)等によりHUBやルータを介してネットワーク131と接続されるようにしてもよい。
コミュニケーションデバイス100がネットワーク131と複数の通信方法により接続されるようにしてもよい。また、コミュニケーションデバイス100が予め用意された複数の通信方法の中から選択されたいずれか1つの通信方法によりネットワーク131と接続されるようにしてもよい。その場合、図5Bの例において、コミュニケーションデバイス100−1がネットワーク131に接続する通信方法と、コミュニケーションデバイス100−2がネットワーク131に接続する通信方法とが、互いに一致していてもよいし、互いに異なっていてもよい。
さらに、図5Cのように、コミュニケーションデバイス100−1とコミュニケーションデバイス100−2との間の通信が、所定のサーバ132を介して行われるようにしてもよい。例えば、コミュニケーションデバイス100−1とコミュニケーションデバイス100−2との間で接続が確立した後に行われるデータの授受が、このサーバ132を介して行われるようにしてもよいし、コミュニケーションデバイス100−1とコミュニケーションデバイス100−2との間の接続を確立するための通信が、このサーバ132を介して行われるようにしてもよい。
このサーバ132が提供するサービスは任意である。例えば、サーバ132が、コミュニケーションデバイス100等の各端末やそのユーザの情報を管理するようにしてもよい。また、サーバ132が、コミュニケーションデバイス100にインストールされるソフトウエア(プログラムやデータ)を提供するようにしてもよい。さらに、サーバ132が、端末間の通信のログを管理するようにしてもよい。
<内部構成>
図6は、コミュニケーションデバイス100の内部の主な構成例を示すブロック図である。
図6に示されるように、コミュニケーションデバイス100において、CPU(Central Processing Unit)151、ROM(Read Only Memory)152、RAM(Random Access Memory)153は、バス154を介して相互に接続されている。
バス154にはまた、入出力インタフェース160も接続されている。入出力インタフェース160には、入力部161、出力部162、記憶部163、通信部164、およびドライブ165が接続されている。
入力部161は、ユーザ入力等の外部の情報を受け付ける入力デバイスよりなる。例えば、入力部161には、カメラ102、マイクロホン103、操作ボタン、タッチパネル、入力端子等が含まれる。また、加速度センサ、光センサ、温度センサ等の各種センサが入力部161に含まれるようにしてもよい。
出力部162は、画像や音声等の情報を出力する出力デバイスよりなる。例えば、出力部162には、ディスプレイ101、スピーカ104、出力端子等が含まれる。
記憶部163は、例えば、ハードディスク、RAMディスク、不揮発性メモリなどよりなる。通信部164は、例えば、ネットワークインタフェースよりなる。ドライブ165は、例えば磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブルメディア171を駆動する。
CPU151は、例えば、記憶部163に記憶されているプログラムを、入出力インタフェース160およびバス154を介して、RAM153にロードして実行することにより、各種処理を行う。RAM153にはまた、CPU151が各種の処理を実行する上において必要なデータなども適宜記憶される。
CPU151が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア171に記録してコミュニケーションデバイス100に提供することができる。その場合、プログラムは、リムーバブルメディア171をドライブ165に装着することにより、入出力インタフェース160を介して、記憶部163にインストールすることができる。
また、このプログラムは、LAN、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介してコミュニケーションデバイス100に提供することもできる。その場合、プログラムは、有線または無線の伝送媒体を介して、通信部164で受信し、記憶部163にインストールすることができる。
その他、このプログラムは、ROM152や記憶部163に、あらかじめインストールしておくこともできる。
なお、CPU151が実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
<入出力デバイス>
図1においては、コミュニケーションデバイス100には、マイクロホン103やスピーカ104がそれぞれ1つずつ設けられるように説明したが、これらが複数設けられるようにしてもよい。
例えば、図7Aの場合、コミュニケーションデバイス100には、マイクロホン103−1、スピーカ104−1、マイクロホン103−2、スピーカ104−2が設けられている。マイクロホン103−1およびスピーカ104−1は、正面前方に向けて設置されている。つまり、マイクロホン103−1は、主に正面前方の音声を集音し、スピーカ104−1は、正面前方に向かって音声を出力する。すなわち、図3の使用例の場合、マイクロホン103−1およびスピーカ104−1は、主に対話相手Bと通信相手Cとの間のコミュニケーション用に設けられている。つまり、マイクロホン103−1は、主に対話相手Bの音声を集音し、スピーカ104−1は、主に対話相手Bに向けて通信相手Cの音声を出力する。
また、マイクロホン103−2およびスピーカ104−2は、正面上方に向けて設置されている。つまり、マイクロホン103−2は、主に正面上方の音声を集音し、スピーカ104−2は、正面上方に向かって音声を出力する。すなわち、図3の使用例の場合、マイクロホン103−2およびスピーカ104−2は、主にユーザAと通信相手Cとの間のコミュニケーション用に設けられている。つまり、マイクロホン103−2は、主にユーザAの音声を集音し、スピーカ104−2は、主にユーザAに向けて通信相手Cの音声を出力する。
この場合、マイクロホン103−1およびマイクロホン103−2は、入力部161(図6)に含まれる。また、スピーカ104−1およびスピーカ104−2は、出力部162(図6)に含まれる。
このように、ユーザA向けの入出力デバイスと対話相手B向けの入出力デバイスとを分けることにより、コミュニケーションデバイス100は、通信相手Cのコミュニケーションの相手を選択することができる。例えば、コミュニケーションデバイス100は、マイクロホン103−1の入力やスピーカ104−1の出力を停止することにより、対話相手Bと通信相手Cとのコミュニケーションを停止させた状態で、ユーザAと通信相手Cとのコミュニケーションを実現させることができる。このようにすることにより、例えば、通信相手Cが、対話相手Bに聞かせないように、ユーザAに対して小声で囁くことができる。また、ユーザAも、対話相手Bに聞こえないように小声で囁くことにより、通信相手Cとだけコミュニケーションを行うことができる。
なお、このような入出力先の制御方法は任意である。例えば、ユーザAが行うことができるようにしてもよい。その場合、例えば、図7Bのように、ユーザAが、ディスプレイ101に表示される通信相手画像111(顔画像C’)(例えば目や口等)を手で覆うと、ディスプレイ101に重畳されるタッチパネルがその操作を検出し、マイクロホン103−1やスピーカ104−1の動作状態をオフにするようにしてもよい。この時、マイクロホン103−2およびスピーカ104−2はオンのままであるので、上述したように、ユーザAと通信相手Cとのコミュニケーションのみが実現可能となる。ユーザAがディスプレイ101から手を離すと、マイクロホン103−1やスピーカ104−1の動作状態がオンに戻り、対話相手Bと通信相手Cとのコミュニケーションも実現可能となる。
また、例えば、ユーザCが遠隔地からこのような制御を行うことができるようにしてもよい。その場合、例えば、図7Cのように、通信相手Cが、自分の口を手で覆うと、通信デバイス120のカメラがその様子の画像をコミュニケーションデバイス100に伝送する。コミュニケーションデバイス100は、その画像から、通信相手Cが自分の口を手で覆っていると判定すると、マイクロホン103−1やスピーカ104−1の動作状態をオフにする。この時、マイクロホン103−2およびスピーカ104−2はオンのままであるので、上述したように、ユーザAと通信相手Cとのコミュニケーションのみが実現可能となる。通信相手Cが自分の口から手を離すと、コミュニケーションデバイス100は、通信デバイス120から伝送される画像からそのことを検出し、マイクロホン103−1やスピーカ104−1の動作状態をオンに戻す。これにより、対話相手Bと通信相手Cとのコミュニケーションも実現可能となる。
以上のような制御により、コミュニケーションデバイス100は、より多様なコミュニケーションを実現することができ、コミュニケーションの利便性を向上させることができる。
<表示>
コミュニケーションデバイス100のディスプレイ101の表示例は任意であり、上述した通信相手画像111や通信相手名112以外の画像をディスプレイ101に表示させることができるようにしてもよい。
例えば、所定の図形、記号、文字等よりなるスタンプ画像が、コミュニケーションの内容やユーザ指示等に応じてディスプレイ101に表示されるようにしてもよい。また、その表示は、通信を行う両端末で互いに異なるようにしてもよい。
例えば、図8Aに示されるように、通信相手Cが通信デバイス120を操作し、そのディスプレイにスタンプ画像181を表示させると、そのスタンプ画像181は、コミュニケーションデバイス100に伝送され、そのディスプレイ101にも表示される。その際、通信デバイス120のディスプレイにおいては、スタンプ画像181の裏側が表示され、コミュニケーションデバイス100のディスプレイ101においては、スタンプ画像181の表側が表示されるようにしてもよい。
また、このスタンプ画像は動画像であってもよい。例えば図8Bに示されるように、通信相手Cが通信デバイス120を操作し、そのディスプレイにスタンプ画像181を表示させると、通信デバイス120のディスプレイにおいて、そのスタンプ画像181がだんだん小さくなるように(スタンプ画像181が通信デバイス120からコミュニケーションデバイス100に伝送されている様子を示すように)表示されるようにしてもよい。
さらに、そのスタンプ画像181は、コミュニケーションデバイス100に伝送される。そして、例えば図8Bに示されるように、コミュニケーションデバイス100のディスプレイ101において、そのスタンプ画像181がだんだん大きくなるように(スタンプ画像181が通信デバイス120からコミュニケーションデバイス100に伝送されている様子を示すように)表示されるようにしてもよい。
その際、図8Aの場合と同様に、通信デバイス120のディスプレイにおいては、スタンプ画像の裏側が表示されるようにしてもよい。
このような表示を行うことにより、コミュニケーションデバイス100は、コミュニケーションの様子をより分かりやすく表現することができ、コミュニケーションの娯楽性や利便性を向上させることができる。
<アクチュエータ>
コミュニケーションデバイス100に、出力デバイスの1つとして、アクチュエータを設けるようにしてもよい。例えば、筐体を振動させるバイブレータをコミュニケーションデバイス100に設けるようにしてもよいし、図9の例のように、コミュニケーションデバイス100に可動部を設けるようにしてもよい。
図9の例の場合、コミュニケーションデバイス100には、可動部としてしっぽ182が設けられている。しっぽ182は、コミュニケーションデバイス100に内蔵されるアクチュエータ(図示せず)により点182Aを軸として両矢印のように左右に駆動する。
この場合、アクチュエータおよびしっぽ182は、出力部162(図6)に含まれる。
コミュニケーションデバイス100は、このしっぽ182を動かすことにより、例えば通信相手Cの感情等を表現することができる。例えば、コミュニケーションデバイス100が、通信相手Cの音声や画像を解析して通信相手Cの感情を推定し、その感情に合わせてしっぽ182を動かすようにしてもよい。また、例えば、通信相手Cが、通信を介した遠隔操作により、しっぽ182の動きを指示し、コミュニケーションデバイス100がその指示に従ってしっぽ182を動かすようにしてもよい。
なお、このような表現は、しっぽ182以外により行うようにしてもよい。例えば、アクチュエータによりコミュニケーションデバイス100の筐体を動かす(例えば上下前後左右等への移動や回転等)ようにしてもよいし、バイブレータにより筐体を振動させるようにしてもよい。また、LED(Light Emitting Diode)等の発光デバイスを発光させるようにしてもよい。さらに、スタンプ画像や背景等の画像としてディスプレイ101に表示させるようにしてもよい。
以上のように、コミュニケーションデバイス100は、対話に関する画像や音声以外の情報(感情等)を表現することができるので、より多様なコミュニケーションを実現し、コミュニケーションの利便性を向上させることができる。
<2.第2の実施の形態>
<非生コミュニケーション>
コミュニケーションデバイス100は、図10に示されるように、通信相手の通信装置と通信の接続が確立していない状態であっても、仮想的なコミュニケーションを実現することができる。
コミュニケーションデバイス100には、パーソナルと称する仮想的な通信相手を登録することができる。例えば、図10の例のように、コミュニケーションデバイス100−1とコミュニケーションデバイス100−2との間で接続が確立していない状態において、コミュニケーションデバイス100−1に仮想的な通信相手CであるパーソナルC’’が登録されている場合、ユーザAは、そのパーソナルC’’とのコミュニケーションを行うことができる。同様に、コミュニケーションデバイス100−2に仮想的なユーザAであるパーソナルA’’が登録されている場合、通信相手Cは、そのパーソナルA’’とのコミュニケーションを行うことができる。
これらのコミュニケーションは、実際の通信相手とのコミュニケーションではない、仮想的なコミュニケーションである。以下において、このような仮想的なコミュニケーションを非生コミュニケーションと称する(第1のコミュニケーションとも称する)。
図11を参照して、この非生コミュニケーション(第1のコミュニケーション)の様子の例を説明する。
最初にユーザAがコミュニケーションデバイス100に対して何らかの情報入力操作を行う。例えば、図10Aに示されるように、ユーザAがコミュニケーションデバイス100に向かって「今日、どうしよう・・・」と話しかけるとする。なお、この情報入力操作は、コミュニケーションデバイス100が受け付け可能なものであれば、どのようなものであってもよく、例えば、ジェスチャ動作、タッチパネル操作、ボタン操作等、音声以外の情報入力操作であってもよい。例えば、コミュニケーションデバイス100は、音声入力であればマイクロホン103等により受け付けることができ、ジェスチャ動作であればカメラ102等により受け付けることができ、タッチパネル操作であればタッチパネル等により受け付けることができ、ボタン操作であれば入力ボタン等により受け付けることができる。
コミュニケーションデバイス100は、ユーザ入力を受け付けると、そのユーザ入力を解析し、非生コミュニケーション開始の合図(若しくは指示)であるか否かを判定する。例えば、コミュニケーションデバイス100は、上述したような音声入力をマイクロホン103において受け付けると、その音声データを解析し、コミュニケーションデバイス100に対する話しかけであるか否かを判定する。話しかけ、すなわち、コミュニケーション開始の合図(若しくは指示)であると判定すると、コミュニケーションデバイス100は、予め登録されている停止状態のパーソナルを起動し動作状態とする。コミュニケーションデバイス100は、その動作状態のパーソナルによるユーザ入力に対する応答を生成し、出力する。例えば、図10Aの例のように、コミュニケーションデバイス100は、ユーザAの話しかけに対する応答として、パーソナルのアバタ画像をディスプレイ101に表示し、返事となる音声をスピーカ104より出力する。
図10Aに示されるように、コミュニケーションデバイス100には、パーソナルを複数登録することができ、ユーザ入力に対して、各パーソナルの応答を行うことができる。
図10Aの例の場合、コミュニケーションデバイス100は、「今日、どうしよう・・・」という話しかけに対して、アバタ画像201−1乃至アバタ画像201−5がディスプレイ101に表示され、各アバタ画像のパーソナルによる「何?」、「何?どうした?」、「遊ぼう!」、「でかけようか?」、「何何?」等といった返事(音声)をスピーカ104から出力する。
そして、例えばユーザAがディスプレイ101に表示されたアバタ画像201−1乃至201−5の中から所望のアバタ画像を選択すると、図10Bに示されるように、そのアバタ画像201がディスプレイ101全体に表示され、そのアバタ画像のパーソナルがユーザAのコミュニケーション相手として選択される。つまり、そのパーソナルのみが起動状態を保ち、その他のパーソナルは動作を終了する。
図10Bの例においては、コミュニケーションデバイス100は、選択されたアバタ画像201のパーソナルによる、自身が選択されたことに対して「オレ?」という応答(音声)を生成し、スピーカ104から出力する。
ユーザAは、コミュニケーションデバイス100に対して、話しかけ、ジェスチャ動作、タッチ操作等の入力を行うと、コミュニケーションデバイス100は、このように選択されたパーソナルによるそのユーザ入力に対する応答を生成し、出力する。
パーソナルは、例えば、現実の他の通信装置のユーザに対応付けられており、非接続時にそのユーザに代わって応答する機能である。つまり、パーソナルは、コミュニケーションデバイス100のユーザの仮想的な通信相手(コミュニケーション相手)を実現する情報であり、例えば、その仮想的な通信相手の性格(特徴)を示す設定情報(以下、プロファイルとも称する)と、その仮想的な通信相手の画像や音声等の特徴を示す情報(例えばアバタ画像や音声サンプリングデータ等)とを含む。
プロファイルは、パーソナルの応答を特徴づける情報である。この特徴の付け方はどのようなものであってもよい。例えば、プロファイルが、「あるユーザ入力に対してはこのように応答する」等といった、入力に対する応答内容を具体的に指定するものであってもよいし、「面白い」、「怒りっぽい」、「よく泣く」等の性格(特徴)の抽象的な指定であってもよいし、「全ての入力に応答する」、「悩み事や相談に応答する」、「挨拶程度の応答をする」、「無視する」、「攻撃する」等の応答する話題の範囲や応答の方向性を制限するものであってもよい。
このプロファイルは、設定データであってもよいし、プログラムであってもよい。いずれにしてもこのプロファイルがCPU151により実行されることにより、そのパーソナルが起動状態となり、応答可能となる。CPU151は、このプロファイルに従ってユーザ入力に対するそのパーソナルの応答を生成する。つまり、パーソナルは、人工知能のようにユーザ入力に対して応答を返す。
このようにすることにより、コミュニケーションデバイス100は、ユーザAとパーソナルとの非生コミュニケーションを実現することができる。
このようにコミュニケーションデバイス100は、ユーザAと通信相手Cとのコミュニケーション(以下において生コミュニケーション若しくは第2のコミュニケーションとも称する)だけでなく、このような非生コミュニケーションも実現することができる。つまり、コミュニケーションデバイス100は、より多様なコミュニケーションを実現することができ、コミュニケーションの利便性を向上させることができる。
なお、以上のような非生コミュニケーションは、どのようなデバイスにおいて実現させるようにしてもよい。つまり、非生コミュニケーションは、デバイスに依存しない。例えば、コミュニケーションデバイス100以外の通信装置において上述した非生コミュニケーションを実現させるようにしてもよい。ただし、以下においては、非生コミュニケーションを実現するデバイスとして、コミュニケーションデバイス100を例に説明する。
また、以上のような非生コミュニケーションの内容を示す情報(以下、非生情報若しくは第1の情報とも称する)、パーソナルの提供元に提供するようにしてもよい。この非生情報は、非生コミュニケーションの内容を示すものであればどのようなものであってもよい。例えば、非生情報(第1の情報)が、非生コミュニケーションのログ(例えば、音声やその音声をテキスト化したものであってもよいし、ログの要約(サマライズ)であってもよいし、例えば色、濃度、模様、図形、文字、若しくは記号等によって、ログの内容を抽象的に表すものであってもよい。
また、この非生情報は、パーソナルの提供元に限らず、任意の他の装置に提供することができるようにしてもよい。例えば、非生情報を管理するサーバに提供するようにしてもよい。
さらに、この非生情報の提供タイミングは、任意である。例えば、非生情報は、非生コミュニケーション中に適宜提供されるようにしてもよいし、非生コミュニケーション終了後に提供されるようにしてもよい。
このように提供された非生情報は、提供先の装置において画像や音声として出力されたり、パーソナル(特にプロファイル)の更新に利用されたりする。もちろん、これら以外の目的に利用されるようにしてもよい。
以上のようなパーソナルは、各ユーザが自身のパーソナルを設定し、他のユーザのコミュニケーションデバイス100に提供(登録)する。換言するに、コミュニケーションデバイス100のユーザは、他の通信装置から他のユーザのパーソナルを取得(譲渡若しくは貸与)し、コミュニケーション相手として自身のコミュニケーションデバイス100に登録(記憶)する。他のユーザのパーソナルを登録することができる期間は、無期限であってもよいし、有限であってもよい。また、パーソナルの提供は、無償であってもよいし、有償であってもよい。
ユーザは、自身のパーソナルとして複数のキャラクタ(性格)を設定することができる。パーソナルはそのユーザに対応付けられるが、一般的に、現実のユーザの性格は複雑であり、単純な特定のタイプ分けで分類することが困難である場合が多い。また、時期や気分によって多少の変化を伴う場合が多い。さらに、コミュニケーションをとる相手によって応答の仕方が異なるのが一般的である。例えば、ユーザの勤務先の上司に対する場合と、気の置けない友人や家族に対する場合とで話題や応答の内容が異なったり、年上の人間に対する対応と年下の人間に対する言葉づかいが異なったりすることは一般的である。
換言するに、パーソナルを提供される側のユーザも、コミュニケーション相手として、他のユーザに求めるキャラクタが異なる場合がある。上述したようにユーザの性格は多面性を有している場合が一般的であり、例えば、ユーザAがユーザBに対して求めるキャラクタと、ユーザCがユーザBに対して求めるキャラクタとが常に同一であるとは限らない。また、仮想的なコミュニケーション相手として求めるキャラクタが、現実のユーザのキャラクタと一致していなくてもよい。
そこで、パーソナルとして、複数のキャラクタを設定することができるようにし、提供先に応じて提供するキャラクタを制御することができるようにしてもよい。例えば、ユーザAに対しては、キャラクタAのパーソナルを提供し、ユーザBに対しては、キャラクタBのパーソナルを提供するといったことができるようにしてもよい。
このようにすることにより、より多様なキャラクタを授受することができるので、コミュニケーションデバイス100は、ユーザの要求により適した非生コミュニケーションを実現することができる。つまり、コミュニケーションデバイス100は、非生コミュニケーションの利便性を向上させることができる。
なお、プロファイルは、基本設定と任意設定よりなる。基本設定は、そのユーザ(パーソナル)を特徴づける情報よりなる。この基本設定は、そのパーソナルの全キャラクタで共有する情報である。この基本設定の内容は任意である。任意設定は、各キャラクタを特徴づける情報よりなる。この任意設定は、キャラクタ毎に設定される。つまり、各キャラクタのプロファイルは、基本設定とそのキャラクタ用の任意設定よりなる。この任意設定の内容は任意である。
また、このようなパーソナルの設定は、そのユーザの端末(コミュニケーションデバイス100等)に登録(保持)されていてもよいし、例えばサーバ132のような他の装置に登録(保持)されていてもよい。つまり、パーソナルの物理的な提供元は、そのパーソナルを登録(保持)している装置となり、そのユーザの端末(コミュニケーションデバイス100等)であるとは限らない。
なお、上述したパーソナル(特にプロファイル)は、学習機能を有するようにしてもよい。つまり、提供先において行われた非生コミュニケーションの結果を反映させるように、そのキャラクタのプロファイルを更新するようにしてもよい。
<パーソナルの設定>
このようなパーソナルの設定は、任意の装置において行うことができる。設定を行う装置と、登録(保持)する装置とが同一であってもよいし、同一でなくてもよい。例えば、ユーザがコミュニケーションデバイス100を操作してパーソナルを設定し、そのコミュニケーションデバイス100にその設定を登録(保持)するようにしてもよい。また、例えば、ユーザがコミュニケーションデバイス100を操作してパーソナルを設定し、サーバ132のような他の装置にその設定を登録(保持)するようにしてもよい。
例えば、ユーザは、図12に示されるようなGUI(パーソナル設定画面210)を操作してパーソナルを設定する。図12の例においては、パーソナル設定画面210には、プロファイルを設定する設定領域211、広告を表示する広告表示領域212、および他のユーザのパーソナル(友キャラとも称する)の登録・管理を行う友キャラ設定領域213が形成される。
設定領域211には、「キャラ作成」ボタン、「キャラ削除」ボタン、「設定更新」ボタン等のGUIと、現在の設定の状況を示す画像が表示される。新たなキャラクタを作成したり、既存のキャラクタの任意設定や基本設定を更新したり、削除したりする場合は、この領域のGUIを操作して行う。設定が変更されると、その変更結果がこの領域の表示に反映される。
友キャラ設定領域213には、「友キャラ申請」ボタン等のGUIと、現在の登録状況を示す「友キャラリスト」が表示される。他のユーザのパーソナル(友キャラ)を自分のコミュニケーションデバイス100に登録する際は、この領域のGUIを操作して行う。登録状況が変更されると、その変更結果が友キャラリストに反映される。つまり、他のユーザのパーソナルは、キャラクタ毎に取得される。
<機能ブロック>
以上のような非生コミュニケーションやパーソナルの設定を実現するための機能ブロックの例を図13に示す。図13の例において、CPU151は、機能ブロックとして、パーソナル設定部251、パーソナル学習部252、パーソナル提供部253、パーソナル取得部254、パーソナル削除部255、パーソナル管理部256、非生コミュニケーション部257、および非生情報提供部258を有する。これらの機能ブロックは、ハードウエアにより構成されるようにしてもよいが、ソフトウエアにより構成されるようにしてもよい。その場合、CPU151がプログラムやデータを実行することにより、上述した各機能ブロックが実現する。
パーソナル設定部251は、パーソナルの設定に関する処理を行う。パーソナル学習部252は、パーソナルの学習に関する処理を行う。パーソナル提供部253は、自身のユーザのパーソナルの提供に関する処理を行う。パーソナル取得部254は、他の装置のユーザのパーソナルの取得に関する処理を行う。パーソナル削除部255は、既に自身に登録されている、他の装置のユーザのパーソナルの削除に関する処理を行う。パーソナル管理部256は、既に自身に登録されている、他の装置のユーザのパーソナルを管理する。
非生コミュニケーション部257は、非生コミュニケーションに関する処理を行う。非生情報提供部258は、非生情報の提供に関する処理を行う。
また、記憶部163は、パーソナル記憶部261を有する。パーソナル記憶部261は、パーソナルの情報を記憶する記憶領域である。例えば、パーソナル記憶部261には、自身のユーザのパーソナルの情報や、他の装置から取得した他のユーザのパーソナル(友キャラ)の情報が格納される。このパーソナル記憶部261は、記憶部163の記憶領域の一部若しくは全部に形成される。
次に、以上のような機能ブロックが実行する各種処理の流れについて説明する。
<パーソナル設定処理>
ユーザが自身のパーソナルを設定したり更新したりする際、パーソナル設定部251は、パーソナル設定処理を実行する。図14のフローチャートを参照して、このパーソナル設定処理の流れの例を説明する。
ステップS201において、パーソナル設定部251は、パーソナル管理部256を制御して、パーソナル記憶部261に自身のユーザのパーソナルのプロファイルの基本設定が存在するか否かを判定する。存在しないと判定された場合、処理はステップS202に進む。ステップS202において、パーソナル設定部251は、出力部162を制御してGUIをディスプレイ101に表示したり、入力部161を制御してユーザ入力を受け付けたりして、プロファイルの基本設定を作成する。
ステップS202の処理が終了すると、処理はステップS203に進む。また、ステップS201においてプロファイルの基本設定が存在すると判定された場合、処理はステップS203に進む。
ステップS203において、パーソナル設定部251は、例えば入力部161を制御して受け付けたユーザ指示等に基づいて、プロファイルの基本設定を更新するか否かを判定する。更新すると判定された場合、処理はステップS204に進む。ステップS204において、パーソナル設定部251は、出力部162を制御してGUIをディスプレイ101に表示したり、入力部161を制御してユーザ入力を受け付けたりして、プロファイルの基本設定を更新する。
ステップS204の処理が終了すると、処理はステップS205に進む。また、ステップS203においてプロファイルの基本設定が更新しないと判定された場合、処理はステップS205に進む。
ステップS205において、パーソナル設定部251は、例えば入力部161を制御して受け付けたユーザ指示等に基づいて、新キャラクタを設定するか否かを判定する。設定すると判定された場合、処理はステップS206に進む。ステップS206において、パーソナル設定部251は、出力部162を制御してGUIをディスプレイ101に表示したり、入力部161を制御してユーザ入力を受け付けたりして、新キャラクタを設定する。例えば、パーソナル設定部251は、プロファイルの任意設定(応用プロファイルとも称する)を作成し、(必要に応じて)アバタを設定する。
ステップS206の処理が終了すると、処理はステップS207に進む。また、ステップS205において新キャラクタを設定しないと判定された場合、処理はステップS207に進む。
ステップS207において、パーソナル設定部251は、例えば入力部161を制御して受け付けたユーザ指示等に基づいて、パーソナル記憶部261に格納されている既存キャラクタのプロファイルを更新するか否かを判定する。更新すると判定された場合、処理はステップS208に進む。ステップS208において、パーソナル設定部251は、出力部162を制御してGUIをディスプレイ101に表示したり、入力部161を制御してユーザ入力を受け付けたりして、既存キャラクタのプロファイルを更新する。例えば、パーソナル設定部251は、既存キャラクタのプロファイルの任意設定(既存の応用プロファイルとも称する)を更新し、(必要に応じて)そのアバタを更新する。
ステップS208の処理が終了すると、処理はステップS209に進む。また、ステップS207において既存キャラクタのプロファイルを更新しないと判定された場合、処理はステップS209に進む。
ステップS209において、パーソナル設定部251は、以上のように作成若しくは更新されたパーソナルの情報をパーソナル記憶部261に記憶する。
ステップS209の処理が終了すると、パーソナル設定処理が終了する。
<パーソナル設定処理>
自身のパーソナルが他の装置から要求された場合、パーソナル提供部253は、パーソナル提供処理を実行する。図15のフローチャートを参照して、このパーソナル提供処理の流れの例を説明する。
ステップS211において、パーソナル提供部253は、通信部164を介して、他の装置からパーソナルの要求を取得する。ステップS212において、パーソナル提供部253は、パーソナル管理部256を介して、パーソナル記憶部261に記憶されている提供可能なキャラクタを選択し、その選択したキャラクタを示す情報を、通信部164を介して要求元に通知する。
ステップS213において、パーソナル提供部253は、通信部164を介して、他の装置からキャラクタの指定を取得する。ステップS214において、パーソナル提供部253は、出力部162を制御し、指定されたキャラクタのパーソナルを提供する旨を、画像や音声でユーザに確認する。
ステップS215において、パーソナル提供部253は、入力部161を制御して受け付けられたユーザ入力に基づいて、パーソナルの提供が許可されたか否かを判定する。許可されたと判定された場合、処理は、ステップS216に進む。
ステップS216において、パーソナル提供部253は、パーソナル管理部256を介して、要求されたキャラクタのパーソナルを、パーソナル記憶部261から読み出し、その読み出したパーソナルを、通信部164を介して要求元である他の装置に提供する。
ステップS216の処理が終了すると、パーソナル提供処理が終了する。また、ステップS215において、パーソナルの提供がユーザにより拒否されたと判定された場合、処理は、ステップS217に進む。
ステップS217において、パーソナル提供部253は、要求を拒否する旨を、通信部164を介して要求元である他の装置に通知する。ステップS217の処理が終了すると、パーソナル提供処理が終了する。
<パーソナル取得処理>
他の装置から他のユーザのパーソナルを取得する場合、パーソナル取得部254は、パーソナル取得処理を実行する。図16のフローチャートを参照して、このパーソナル取得処理の流れの例を説明する。
ステップS221において、パーソナル取得部254は、入力部161を制御して受け付けたユーザ指示に従って、通信部164を介して、ユーザが所望する他の通信装置に対してパーソナルを要求する。
ステップS222において、パーソナル取得部254は、通信部164を介して、要求先の通信装置から提供可能なキャラクタの候補を取得する。ステップS223において、パーソナル取得部254は、出力部162を制御して例えばキャラクタの選択に関するGUIをディスプレイ101に表示させたり、入力部161を制御してそのGUIに対するユーザ操作を受け付けたりする等して、ユーザにキャラクタを選択させる。
ステップS224において、パーソナル取得部254は、受け付けたユーザ指示に従って、要求するキャラクタの指定を、通信部164を介して要求先の通信装置に供給する。
ステップS225において、パーソナル取得部254は、そのキャラクタの指定に対する応答を、通信部を介して要求先の通信装置から取得する。ステップS226において、パーソナル取得部254は、その応答として、パーソナルを取得したか否かを判定する。取得したと判定された場合、処理はステップS227に進む。
ステップS227において、パーソナル取得部254は、取得したパーソナルをパーソナル記憶部261に記憶させる。ステップS227の処理が終了すると、パーソナル取得処理が終了する。
また、ステップS227において、パーソナルを取得していないと判定された場合、パーソナル取得処理が終了する。
<パーソナル削除処理>
パーソナル記憶部261に記憶されているパーソナル(既存のパーソナル)を削除する場合、パーソナル削除部255は、パーソナル削除処理を実行する。図17のフローチャートを参照して、このパーソナル削除処理の流れの例を説明する。
ステップS231において、パーソナル削除部255は、入力部161や出力部162を制御して、ユーザによる削除するキャラクタの指定を受け付ける。
ステップS232において、パーソナル削除部255は、パーソナル管理部256を介して、パーソナル記憶部261から、ステップS231において指定されたキャラクタのパーソナルを削除する。
ステップS232の処理が終了すると、パーソナル削除処理が終了する。
<非生コミュニケーション処理>
非生コミュニケーションを実現する場合、非生コミュニケーション部257は、非生コミュニケーション処理を実行する。図18のフローチャートを参照して、この非生コミュニケーション処理の流れの例を説明する。
ステップS241において、非生コミュニケーション部257は、入力部161を制御してユーザ指示を受け付け、その受け付けたユーザ指示に基づいて、非生コミュニケーションを開始するか否かを判定し、開始すると判定されるまで待機する。
ステップS241において、非生コミュニケーションを開始すると判定された場合、処理はステップS242に進む。
ステップS242において、非生コミュニケーション部257は、パーソナル管理部256を介して、パーソナル記憶部261に記憶されているパーソナルの内、非生コミュニケーションの相手として該当するキャラクタのパーソナルを起動する。
ステップS243において、非生コミュニケーション部257は、入力部161を制御して、ユーザによる入力を受け付ける。ステップS244において、非生コミュニケーション部257は、ステップS243において受け付けたユーザ入力に対する起動中の(動作状態の)パーソナルによる応答処理を行う。
ステップS245において、非生コミュニケーション部257は、非生コミュニケーションのログを作成する。ステップS246において、非生コミュニケーション部257は、非生コミュニケーションを終了するか否かを判定する。終了しないと判定された場合、処理は、ステップS243に戻り、それ以降の処理が実行される。また、ステップS246において、非生コミュニケーションを終了すると判定された場合、非生コミュニケーション部257は、非生コミュニケーション処理を終了することにより、非生コミュニケーションを終了する。
<非生情報提供処理>
非生情報を提供する場合、非生情報提供部258は、非生情報提供処理を実行する。図19のフローチャートを参照して、この非生情報提供処理の流れの例を説明する。
ステップS251において、非生情報提供部258は、図18のステップS245において生成された非生コミュニケーションのログから非生情報を生成する。
ステップS252において、非生情報提供部258は、ステップS251において生成された非生情報を、通信部164を介して、非生コミュニケーションに用いたパーソナルの提供元の通信装置に提供する。
ステップS252の処理が終了すると、非生情報提供処理が終了する。
なお、この非生情報提供処理は、どのようなタイミングにおいて実行されるようにしてもよい。例えば、非生情報提供処理が、図17の非生コミュニケーション処理と並行して実行されるようにし、非生コミュニケーション処理のログから得られた非生情報が、その非生コミュニケーション中に提供されるようにしてもよい。また、非生コミュニケーション処理の終了後、所定のタイミングにおいて非生情報提供処理が実行され、その非生コミュニケーションのログから非生情報が生成されて提供されるようにしてもよい。
<学習処理>
以上のように提供される非生情報を用いて、非生コミュニケーションに用いられたパーソナル(特にプロファイル)を更新する場合、パーソナル学習部252は、学習処理を実行する。図20のフローチャートを参照して、この学習処理の流れの例を説明する。
ステップS261において、パーソナル学習部252は、通信部164を介して、パーソナルを提供した他の通信装置から供給される非生情報を取得する。
ステップS262において、パーソナル学習部252は、パーソナル管理部256を介して、パーソナル記憶部261から、ステップS261において取得した非生情報に対応するキャラクタのパーソナルを読み出す。
ステップS263において、パーソナル学習部252は、ステップS261において取得した非生情報に応じて、ステップS262において読み出されたパーソナルのプロファイルの任意設定(応用プロファイル)を更新する。
ステップS264において、パーソナル学習部252は、ステップS263において更新したパーソナルを、パーソナル管理部256を介してパーソナル記憶部261に供給し、記憶させる。
ステップS264の処理が終了すると学習処理が終了する。
以上のように各種処理を実行することにより、コミュニケーションデバイス100は、非生コミュニケーションを実現することができ、コミュニケーションの利便性を向上させることができる。
<3.第3の実施の形態>
<コミュニケーションの切り替え>
なお、上述した非生コミュニケーションは、他の通信装置と接続を確立することができるか否かに関わらずに実行することができる。例えば、ユーザは、生コミュニケーション(第2のコミュニケーション)を実行することができるにも関わらず、非生コミュニケーション(第1のコミュニケーション)を優先して実行することもできる。
また、ユーザは、実行するコミュニケーションを切り替えることもできる。つまり、コミュニケーションデバイス100は、例えば、非生コミュニケーション中に、通信相手の通信装置との通信の接続を確立して、非生コミュニケーションを終了し、生コミュニケーションを開始することができる。逆に、コミュニケーションデバイス100は、例えば、生コミュニケーション中に、通信相手の通信装置との通信の接続を切断して、生コミュニケーションを終了し、非生コミュニケーションを開始することができる。
このようにすることにより、コミュニケーションデバイス100は、例えばユーザの希望に応じたコミュニケーションを提供することができ、コミュニケーションの利便性を向上させることができる。
また、従来の電話機等の通話システム、テレビ会議システム、チャットシステム等の場合、図21の上側に示されるように、一方が他方を呼び出し、その呼び出しに対する応答が行われてから両者の接続が確立し、例えば通話等の生コミュニケーションが行われる。したがって、ユーザは、接続が確立し、生コミュニケーションを開始することができるようになるまで、待機しなければならなかった。そのため、生コミュニケーションの利便性が低減する恐れがあった。
また、従来の電話機等の通話システム、テレビ会議システム、チャットシステム等の場合、図21の上側に示されるように、いずれか一方若しくは両方が切断処理を行うと、接続が切断され、その瞬間、生コミュニケーションが終了する。したがって、切断処理を行った後、生コミュニケーションを行っていた両者は、その時点からコミュニケーションを行うことができなかった。例えば伝言するのを忘れていた事項がある場合等、再度コミュニケーションを行うためには、再度接続を確立しなければならなかった。そのため、煩雑な作業を必要とするだけでなく、接続が確立するまで再度待機しなければならなかった。そのため、生コミュニケーションの利便性が低減する恐れがあった。
これに対して、コミュニケーションデバイス100は、上述したように、非生コミュニケーションを行うことができ、さらに、その非生コミュニケーションから生コミュニケーションに切り替えることができる。
したがって、図21の下側に示されるように、コミュニケーションデバイス100は、生コミュニケーションを行う前に、その通信相手のパーソナルと非生コミュニケーションを行うことができる。そして、その非生コミュニケーション中に通信相手を呼び出し、接続を確立し、生コミュニケーションに切り替えることができる。したがって、ユーザは、待機せずにコミュニケーションを継続することができる。
また、コミュニケーションデバイス100は、その呼び出しの際、若しくは、それ以前の非生コミュニケーション中に、その非生コミュニケーションの非生情報を通信相手に提供することができる。したがって、通信相手は、その非生情報に基づいて非生コミュニケーションの内容を把握することができ、その内容を把握した状態で生コミュニケーションを開始することができる。したがって、コミュニケーションデバイス100は、非生コミュニケーションから生コミュニケーションへの切り替えを、ユーザがより自然に感じるように行うことができる。
また、コミュニケーションデバイス100は、生コミュニケーションから、その通信相手のパーソナルとの非生コミュニケーションに切り替えることができる。つまり、ユーザは、生コミュニケーションを行った後、その通信相手のパーソナルとの非生コミュニケーションを行うことができる。そしてコミュニケーションデバイス100は、その非生情報を通信相手に提供することができる。したがって、例えば、ユーザが生コミュニケーションにおいて伝達し忘れた情報を、生コミュニケーション後の非生コミュニケーションにおいて容易に伝達することができる。
さらに、コミュニケーションデバイス100は、上述したのと同様に、非生コミュニケーションから生コミュニケーションへの切り替えを再度行うことができる。つまり、ユーザは、待機せずにコミュニケーションをさらに継続することができる。
以上のように、コミュニケーションデバイス100は、コミュニケーションの利便性を向上させることができる。
<機能ブロック>
以上のようなコミュニケーションの切り替えを実現するための機能ブロックの例を図22に示す。図22の例において、CPU151は、機能ブロックとして、パーソナル管理部256、非生コミュニケーション部257、非生情報提供部258、評価判定部351、呼び出し処理部352、接続部353、生コミュニケーション部354、非生情報表示部355、および切断部356を有する。これらの機能ブロックは、ハードウエアにより構成されるようにしてもよいが、ソフトウエアにより構成されるようにしてもよい。その場合、CPU151がプログラムやデータを実行することにより、上述した各機能ブロックが実現する。
評価判定部351は、非生コミュニケーションにおけるユーザ入力の分析、評価、および切り替え判定等の処理を行う。呼び出し処理部352は、接続を確立する際の呼び出しに関する処理を行う。接続部353は、接続の確立に関する処理を行う。生コミュニケーション部354は、生コミュニケーションに関する処理を行う。非生情報表示部355は、非生情報の表示に関する処理を行う。切断部356は、接続の切断に関する処理を行う。
また、記憶部163は、パーソナル記憶部261を有する。
次に、以上のような機能ブロックが実行する各種処理の流れについて説明する。
<切替処理>
例えば、コミュニケーションデバイス100は、非生コミュニケーション開始とともに生コミュニケーションへの切り替えを試みるようにしてもよい。つまり、生コミュニケーションが非生コミュニケーションに優先されることになる。この場合、非生コミュニケーションは、生コミュニケーションが開始されるまでの間つなぎとして行われる。
このような場合の、コミュニケーションデバイス100が実行する切替処理の流れの例を、図23のフローチャートを参照して説明する。
ステップS301において、呼び出し処理部352は、非生コミュニケーション部257が非生コミュニケーション処理を開始するとともに、通信部164を介して、非生コミュニケーションの通信相手のキャラクタに対応する通信装置に対して、通信相手を呼び出す呼び出し処理を行う。
ステップS302において、呼び出し処理部352は、通信部164を介して通信相手の通信装置から接続要求を受け付けたか否かを判定し、受け付けたと判定するまで待機する。接続要求を受け付けたと判定された場合、処理は、ステップS303に進む。
ステップS303において、接続部353は、生コミュニケーションの接続を確立する。ステップS304において、非生コミュニケーション部257は、非生コミュニケーション処理を終了し、生コミュニケーション部354は、ステップS303において接続された通信相手との生コミュニケーション処理を開始する。
以上のようにコミュニケーション方法が切り替えられると、切替処理が終了する。
<非生情報の表示>
なお、非生コミュニケーション中に、その非生情報を、非生コミュニケーションの通信相手となるキャラクタに対応する現実の通信相手の通信装置に表示させるようにしてもよい。
その表示例を図24に示す。例えば、通信相手のコミュニケーションデバイス100には、図24の例のように、名前やアバタ画像とともに、例えば色等の抽象的な非生情報や、例えばキーワード、アラート表示、用件等の具体的な非生情報や、入力用GUI等が表示されるようにしてもよい。
また、例えば、図25Aに示されるように、非生コミュニケーションの内容が文字化されて表示されるようにしてもよい。さらに、例えば、非生コミュニケーション中であることを示す画像が表示されるようにしてもよい。図25Bの例の場合、非生コミュニケーション中であることを示す画像として閉じた状態の障子が表示され、非生コミュニケーションの音声が小音で出力される。つまり、障子の向こうで非生コミュニケーションが行われているように表現される。
さらに、図25Cに示されるように、この障子をユーザが開閉することができるようにしてもよい。ユーザが例えばタッチパネル等の入力部161を操作して図25Cに示されるように障子を開くと、その開き具合に応じて非生コミュニケーションの音声の音量が大きくなるようにしてもよい。また、障子の開いた部分に、その開いた程度に応じて、通信相手のカメラ102の画像が表示されるようにしてもよい。つまりより開く程、画像のより多くの部分が表示されるようにしてもよい。
<非生情報表示処理>
非生コミュニケーションの通信相手となるキャラクタに対応する現実の通信相手のコミュニケーションデバイス100は、非生情報表示処理を実行して、このように供給される非生情報の表示を行う。図26のフローチャートを参照してこの非生情報表示処理の流れの例を説明する。
ステップS311において、非生情報表示部355は、通信部164を介して非生情報を取得する。ステップS312において、非生情報表示部355は、出力部162を制御して、ディスプレイ101に非生情報を表示する。
ステップS313において、呼び出し処理部352は、入力部161を制御して受け付けたユーザ入力に基づいて、接続を要求するか否かを判定する。接続を要求しないと判定された場合、処理はステップS314に進む。
ステップS314において、非生情報表示部355は、非生情報の表示を終了するか否かを判定する。非生情報の表示を終了しないと判定された場合、処理はステップS311に戻り、それ以降の処理が実行される。
また、ステップS314において非生情報の表示を終了すると判定された場合、処理はステップS315に進む。ステップS315において、非生情報表示部355は、非生情報の表示を終了する。ステップS315の処理が終了すると、非生情報表示処理が終了する。
また、ステップS313において、接続を要求すると判定された場合、処理はステップS316に進む。
ステップS316において、呼び出し処理部352は、生コミュニケーションの接続を要求する。ステップS317において、呼び出し処理部352は、通信部164を介して要求先から接続が許可されたか否かを判定する。許可されなかったと判定された場合、処理は、ステップS314に戻り、それ以降の処理を実行する。
また、ステップS317において、接続が許可されたと判定された場合、処理はステップS318に進む。
ステップS318において、接続部353は、生コミュニケーションの接続を確立する。これにより、生コミュニケーション部354は、生コミュニケーションを開始する。
ステップS318の処理が終了すると、非生情報表示処理が終了する。
<切替処理>
コミュニケーションデバイス100は、非生コミュニケーションの最初からではなく、非生コミュニケーションにおいて、例えば所定のキーワードが出現する等、所定の状態になった場合に、切替処理を行い、呼び出しを行うようにしてもよい。図27のフローチャートを参照してこの場合の切替処理の流れの例を説明する。
ステップS321において、評価判定部351は、非生コミュニケーションにおけるユーザ入力を分析し、評価する。このユーザ入力の分析や評価の内容および方法は任意であるが、具体例については後述する。
ステップS322において、評価判定部351は、ステップS321において求めた評価結果に従って、生コミュニケーションに切り替えるべきか否かを判定する。切り替えるべきと判定された場合、処理はステップS323に進む。
ステップS323において、呼び出し処理部352は、ステップS321において求めた評価結果に応じた呼び出し処理を行う。例えば、生コミュニケーションへの切り替えの重要性が高くないと評価された場合は、呼び出し処理部352は、通信相手に対して、切替可能であることを通知する程度の呼び出し処理を行う。また、例えば、生コミュニケーションへの切り替えの重要性がある程度高いと評価された場合は、呼び出し処理部352は、通信相手に対して、切替を勧める程度の呼び出し処理を行う。さらに、例えば、生コミュニケーションへの切り替えの重要性が非常に高いと評価された場合は、呼び出し処理部352は、通信相手に対して、アラート(警告)表示を伴う呼び出し処理を行う。
ステップS323の処理が終了すると、処理はステップS324に進む。また、ステップS322において生コミュニケーションに切り替えるべきでないと判定された場合、処理はステップS324に進む。
ステップS324において、接続部353は、通信部164を介して他の通信装置から接続要求を受け付けたか否かを判定する。受け付けていないと判定された場合、処理はステップS321に戻り、それ以降の処理が実行される。
また、ステップS324において接続要求を受け付けたと判定された場合、処理はステップS325に進む。
ステップS325において、接続部353は、出力部162や入力部161を制御してユーザ指示を受け付ける等して、接続するか否かを判定する。接続しないと判定された場合、処理は、ステップS326に進む。
ステップS326において、接続部353は、通信部164を介した接続要求元に対して接続を拒否する。ステップS326の処理が終了すると、処理はステップS321に戻り、それ以降の処理を実行する。
また、ステップS325において、接続すると判定された場合、処理はステップS327に進む。
ステップS327において、接続部353は、生コミュニケーションの接続を確立する。ステップS328において、非生コミュニケーション部257は、非生コミュニケーションを終了し、生コミュニケーション部354は、生コミュニケーションを開始する。
ステップS328の処理が終了すると、切替処理が終了する。
<評価処理>
図28のフローチャートを参照して、図27のステップS321において実行される評価処理の流れの例を説明する。
ステップS331において、評価判定部351は、入力部161を制御して受け付けたユーザの音声のトーンを分析する。ステップS332において、評価判定部351は、ステップS331のトーン分析結果を評価する。例えば、評価判定部351は、ユーザの音声のトーンが普段の会話の音声のトーンの範囲内であるか否かを評価する。ユーザの音声のトーンが普段の会話の音声のトーンの範囲内であると評価した場合、評価判定部351は、図27のステップS322において生コミュニケーションに切り替えるべきでないと判定する。逆に、ユーザの音声のトーンが普段の会話の音声のトーンの範囲外であると評価した場合、評価判定部351は、図27のステップS322において生コミュニケーションに切り替えるべきであると判定する。また、評価判定部351は、評価結果に基づいて、どの程度生コミュニケーションに切り替えるべきであるのかを判定するようにしてもよい。
ステップS333において、評価判定部351は、入力部161を制御して受け付けたユーザの音声のキーワードを分析する。ステップS334において、評価判定部351は、ステップS333のキーワード分析結果を評価する。例えば、評価判定部351は、ユーザの音声に、所定のネガティブなキーワードが含まれるか否かを評価する。ユーザの音声にネガティブなキーワードが含まれないと評価した場合、評価判定部351は、図27のステップS322において生コミュニケーションに切り替えるべきでないと判定する。逆に、ユーザの音声にネガティブなキーワードが含まれると評価した場合、評価判定部351は、図27のステップS322において生コミュニケーションに切り替えるべきであると判定する。また、評価判定部351は、評価結果に基づいて、どの程度生コミュニケーションに切り替えるべきであるのかを判定するようにしてもよい。
ステップS335において、評価判定部351は、入力部161を制御してカメラ102において撮像した画像を分析する。ステップS336において、評価判定部351は、ステップS335において得られた画像分析結果を評価する。例えば、評価判定部351は、その画像にユーザの顔が含まれている場合、ユーザの表情が普段の範囲内であるか否かを評価する。ユーザの表情が普段の範囲内であると評価した場合、評価判定部351は、図27のステップS322において生コミュニケーションに切り替えるべきでないと判定する。逆に、ユーザの表情が普段の範囲外であると評価した場合、評価判定部351は、図27のステップS322において生コミュニケーションに切り替えるべきであると判定する。
また、例えば、評価判定部351は、その画像に前記ユーザの顔の周辺が含まれている場合、その周辺の画像が変化したか否かを評価する。周辺の画像が変化していないと評価した場合、評価判定部351は、図27のステップS322において生コミュニケーションに切り替えるべきでないと判定する。逆に、周辺の画像が変化したと評価した場合、評価判定部351は、図27のステップS322において生コミュニケーションに切り替えるべきであると判定する。
また、評価判定部351は、評価結果に基づいて、どの程度生コミュニケーションに切り替えるべきであるのかを判定するようにしてもよい。
ステップS337において、評価判定部351は、入力部161を制御してコミュニケーションデバイス100自身の動きを分析する。ステップS338において、評価判定部351は、ステップS337において得られた動き分析結果を評価する。例えば、評価判定部351は、コミュニケーションデバイス100に対して所定の基準以上の振動や圧力が加えられたか否かを評価する。コミュニケーションデバイス100に対して所定の基準以上の振動や圧力が加えられていないと評価した場合、評価判定部351は、図27のステップS322において生コミュニケーションに切り替えるべきでないと判定する。逆に、コミュニケーションデバイス100に対して所定の基準以上の振動や圧力が加えられたと評価した場合、評価判定部351は、図27のステップS322において生コミュニケーションに切り替えるべきであると判定する。
ステップS339において、評価判定部351は、以上のように行った評価結果を表す評価値を算出する。評価判定部351は、この評価値を用いて図27のステップS322の処理を行う。
ステップS339の処理が終了すると、評価処理が終了する。
<呼び出し応答処理>
呼び出しを受けたコミュニケーションデバイス100は、呼び出し応答処理を行い、呼び出しに対する応答を行う。図29のフローチャートを参照して呼び出し応答処理の流れの例を説明する。
ステップS351において、呼び出し処理部352は、通信部164を介して他の通信装置からの呼び出しを受ける。ステップS352において、呼び出し処理部352は、出力部162を制御してディスプレイ101に呼び出し画面を表示する。
ステップS353において、呼び出し処理部352は、呼び出しに応答するか否かを判定する。応答しないと判定された場合、処理はステップS354に進む。
ステップS354において、呼び出し処理部352は、呼び出しが終了したか否かを判定する。呼び出しが終了していないと判定された場合、処理はステップS353に戻る。ステップS354において呼び出し処理が終了したと判定された場合、処理はステップS355に進む。
ステップS355において呼び出し処理部352は、呼び出し画面の表示を終了する。ステップS355の処理が終了すると、呼び出し応答処理が終了する。
また、ステップS353において、応答すると判定された場合、処理はステップS356に進む。ステップS356において、呼び出し処理部352は、呼び出し元に対して、生コミュニケーションの接続を要求する。
ステップS354において、接続部353は、生コミュニケーションの接続を確立する。ステップS354の処理が終了すると、呼び出し応答処理が終了する。
以上のように、各処理を実行することにより、コミュニケーションデバイス100は、非生コミュニケーションから生コミュニケーションへの切り替えを実現することができる。したがって、コミュニケーションデバイス100は、コミュニケーションの利便性を向上させることができる。
<アラート表示>
上述したように切替の重要性が高い場合、アラート表示による呼び出しが行われる。アラート表示は、どのようなものであってもよいが、より緊急性を表現するようなものであるのが望ましい。例えば、図30Aに示されるように、検出されたネガティブなキーワードを文字化して表示するようにしてもよい。
また、図30Bの例のように、図25Bに示した障子が炎上した画像を表示するようにしてもよい。
<呼び出し操作>
なお、非生コミュニケーション中に、ユーザが、現実の通信相手を呼び出すように操作することができるようにしてもよい。
例えば、非生コミュニケーション中のコミュニケーションデバイス100−1のユーザが、そのタッチパネルをタップすると(図31の左側)、その操作が、非生コミュニケーションの仮想的な通信相手に対応する現実の通信相手のコミュニケーションデバイス100−2に伝送され、コミュニケーションデバイス100−2が筐体を振動させて、現実の通信相手(コミュニケーションデバイス100−2のユーザ)に通知するようにしてもよい。
このようなより直接的な操作による呼び出しを実現することにより、コミュニケーションデバイス100は、コミュニケーションの利便性を向上させることができる。
<切替処理>
コミュニケーションデバイス100は、切替処理を行うことにより、生コミュニケーションを非生コミュニケーションに切り替えることができる。図32のフローチャートを参照してこの場合の切替処理の流れの例を説明する。
ステップS371において、生コミュニケーション部354は、生コミュニケーション中、入力部161を制御して受け付けたユーザ入力等に基づいて、生コミュニケーションを終了するか否かを判定し、終了すると判定されるまで待機する。
ステップS371において、生コミュニケーションを終了すると判定された場合、処理はステップS372に進む。
ステップS372において、切断部356は、生コミュニケーションを切断する。ステップS373において、非生コミュニケーション部257は、仮想的な通信相手との非生コミュニケーションを開始する。
ステップS373の処理が終了すると、切替処理が終了する。
このように切替処理を実行することにより、コミュニケーションデバイス100は、生コミュニケーションから非生コミュニケーションへ切り替えることができ、コミュニケーションの利便性を向上させることができる。
<コンピュータ>
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここでコンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等が含まれる。
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
また、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
また、本明細書において、システムとは、複数の構成要素(装置、モジュール(部品)等)の集合を意味し、全ての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、1つの筐体の中に複数のモジュールが収納されている1つの装置は、いずれも、システムである。
また、以上において、1つの装置(または処理部)として説明した構成を分割し、複数の装置(または処理部)として構成するようにしてもよい。逆に、以上において複数の装置(または処理部)として説明した構成をまとめて1つの装置(または処理部)として構成されるようにしてもよい。また、各装置(または各処理部)の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置(または処理部)の構成の一部を他の装置(または他の処理部)の構成に含めるようにしてもよい。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
例えば、本技術は、1つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
また、上述のフローチャートで説明した各ステップは、1つの装置で実行する他、複数の装置で分担して実行することができる。
さらに、1つのステップに複数の処理が含まれる場合には、その1つのステップに含まれる複数の処理は、1つの装置で実行する他、複数の装置で分担して実行することができる。
なお、本技術は以下のような構成も取ることができる。
(1) ユーザの入力を受け付ける入力部により受け付けられた該ユーザ入力に対する仮想的な通信相手による応答を生成し、前記応答を画像または音声を出力する出力部より出力することにより、ユーザと前記仮想的な通信相手とのコミュニケーションである第1のコミュニケーションを実現する第1のコミュニケーション部と、
前記第1のコミュニケーション部により前記第1のコミュニケーションが実現されている間に、他の装置と通信を行う通信部を制御し、前記仮想的な通信相手に関連付けられた現実の通信相手の通信装置に対して前記現実の通信相手を呼び出すための呼び出し処理を行う呼び出し処理部と、
前記通信部を制御して、前記入力部により受け付けられた前記ユーザ入力を、前記呼び出し処理部による前記呼び出し処理に応答した前記現実の通信相手の通信装置に供給し、前記現実の通信相手の通信装置から前記ユーザ入力に対する応答を取得し、前記応答を前記出力部より出力することにより、ユーザと前記現実の通信相手とのコミュニケーションである第2のコミュニケーションを実現する第2のコミュニケーション部と
を備える通信装置。
(2) 前記呼び出し処理部は、前記第1のコミュニケーションの開始とともに、前記呼び出し処理を開始する
(1)に記載の通信装置。
(3) 前記第1のコミュニケーションの内容を評価し、前記呼び出し処理を行うか否かを判定する評価判定部をさらに備え、
前記呼び出し処理部は、前記評価判定部により前記呼び出し処理を行うと判定された場合、前記呼び出し処理を開始する
(1)または(2)に記載の通信装置。
(4) 前記評価判定部は、前記入力部により受け付けられた前記ユーザの音声のトーンを分析し、評価する
(1)乃至(3)のいずれかに記載の通信装置。
(5) 前記評価判定部は、前記音声のトーンが普段の会話の音声のトーンの範囲内であるか否かを評価し、前記音声のトーンが前記範囲外である場合、前記呼び出し処理を行うと判定する
(1)乃至(4)のいずれかに記載の通信装置。
(6) 前記評価判定部は、前記入力部により受け付けられた前記ユーザの音声のキーワードを分析し、評価する
(1)乃至(5)のいずれかに記載の通信装置。
(7) 前記評価判定部は、前記ユーザの音声に、所定のネガティブなキーワードが含まれるか否かを評価し、前記ネガティブなキーワードが含まれる場合、前記呼び出し処理を行うと判定する
(1)乃至(6)のいずれかに記載の通信装置。
(8) 前記評価判定部は、前記入力部により受け付けられた画像を分析し、評価する
(1)乃至(7)のいずれかに記載の通信装置。
(9) 前記評価判定部は、前記画像に前記ユーザの顔が含まれている場合、前記ユーザの表情が普段の範囲内であるか否かを評価し、前記ユーザの表情が前記範囲外であるとき、前記呼び出し処理を行うと判定する
(1)乃至(8)のいずれかに記載の通信装置。
(10) 前記評価判定部は、前記画像に前記ユーザの顔の周辺が含まれている場合、前記周辺の画像が変化したか否かを評価し、前記ユーザの顔周辺の画像が変化したとき、前記呼び出し処理を行うと判定する
(1)乃至(9)のいずれかに記載の通信装置。
(11) 前記評価判定部は、前記入力部により受け付けられた前記通信装置自身の動きを分析し、評価する
(1)乃至(10)のいずれかに記載の通信装置。
(12) 前記評価判定部は、前記通信装置に対して所定の基準以上の振動や圧力が加えられたか否かを評価し、前記基準以上の振動や圧力が加えられた場合、前記呼び出し処理を行うと判定する
(1)乃至(11)のいずれかに記載の通信装置。
(13) 前記第1のコミュニケーション部は、前記第2のコミュニケーションの終了とともに、前記第1のコミュニケーションを開始する
(1)乃至(12)のいずれかに記載の通信装置。
(14) 前記通信部を制御して、前記第1のコミュニケーション部により実現される前記第1のコミュニケーションの内容を示す第1の情報を、前記仮想的な通信相手に関連付けられた現実の通信相手の通信装置に対して供給する第1の情報供給部をさらに備える
(1)乃至(13)のいずれかに記載の通信装置。
(15) 前記第1の情報は、前記第1のコミュニケーションのログ、若しくは前記ログの要約である
(1)乃至(14)のいずれかに記載の通信装置。
(16) 前記第1の情報は、前記第1のコミュニケーションの内容を示す色、濃度、模様、図形、文字、若しくは記号である
(1)乃至(15)のいずれかに記載の通信装置。
(17) 前記仮想的な通信相手の設定情報を記憶する記憶部をさらに備え、
前記第1のコミュニケーション部は、前記記憶部に記憶される前記設定情報を用いて、前記入力部により受け付けられた前記ユーザ入力に対する仮想的な通信相手による応答を生成し、前記第1のコミュニケーションを実現する
(1)乃至(16)のいずれかに記載の通信装置。
(18) 他の装置から前記設定情報を取得する設定情報取得部をさらに備え、
前記記憶部は、前記設定情報取得部により取得された前記設定情報を記憶する
(1)乃至(17)のいずれかに記載の通信装置。
(19) 受け付けられたユーザ入力に対する仮想的な通信相手による応答を生成し、前記応答を出力することにより、ユーザと前記仮想的な通信相手とのコミュニケーションである第1のコミュニケーションを実現し、
前記第1のコミュニケーションが実現されている間に、前記仮想的な通信相手に関連付けられた現実の通信相手の通信装置に対して前記現実の通信相手を呼び出すための呼び出し処理を行い、
受け付けられた前記ユーザ入力を、前記呼び出し処理に応答した前記現実の通信相手の通信装置に供給し、前記現実の通信相手の通信装置から前記ユーザ入力に対する応答を取得し、前記応答を出力することにより、ユーザと前記現実の通信相手とのコミュニケーションである第2のコミュニケーションを実現する
通信方法。
(20) コンピュータを、
ユーザの入力を受け付ける入力部により受け付けられた該ユーザ入力に対する仮想的な通信相手による応答を生成し、前記応答を画像または音声を出力する出力部より出力することにより、ユーザと前記仮想的な通信相手とのコミュニケーションである第1のコミュニケーションを実現する第1のコミュニケーション部と、
前記第1のコミュニケーション部により前記第1のコミュニケーションが実現されている間に、他の装置と通信を行う通信部を制御し、前記仮想的な通信相手に関連付けられた現実の通信相手の通信装置に対して前記現実の通信相手を呼び出すための呼び出し処理を行う呼び出し処理部と、
前記通信部を制御して、前記入力部により受け付けられた前記ユーザ入力を、前記呼び出し処理部による前記呼び出し処理に応答した前記現実の通信相手の通信装置に供給し、前記現実の通信相手の通信装置から前記ユーザ入力に対する応答を取得し、前記応答を前記出力部より出力することにより、ユーザと前記現実の通信相手とのコミュニケーションである第2のコミュニケーションを実現する第2のコミュニケーション部と
して機能させるプログラム。
100 コミュニケーションデバイス, 101 ディスプレイ, 102 カメラ, 103 マイクロホン, 104 スピーカ, 105 ストラップ, 111 通信相手画像, 120 通信デバイス, 131 ネットワーク, 132 サーバ, 151 CPU, 152 ROM, 153 RAM, 154 バス, 160 入出力インタフェース, 161 入力部, 162 出力部, 163 記憶部, 164 通信部, 165 ドライブ, 171 リムーバブルメディア, 182 しっぽ, 210 パーソナル設定画面, 251 パーソナル設定部, 252 パーソナル学習部, 253 パーソナル提供部, 254 パーソナル取得部, 255 パーソナル削除部, 256 パーソナル管理部, 257 非生コミュニケーション部, 258 非生情報提供部, 261 パーソナル記憶部, 351 評価判定部, 352 呼び出し処理部, 353 接続部, 354 生コミュニケーション部, 355 非生情報表示部, 356 切断部

Claims (20)

  1. ユーザの入力を受け付ける入力部により受け付けられた該ユーザ入力に対する仮想的な通信相手による応答を生成し、前記応答を画像または音声を出力する出力部より出力することにより、ユーザと前記仮想的な通信相手とのコミュニケーションである第1のコミュニケーションを実現する第1のコミュニケーション部と、
    前記第1のコミュニケーション部により前記第1のコミュニケーションが実現されている間に、他の装置と通信を行う通信部を制御し、前記仮想的な通信相手に関連付けられた現実の通信相手の通信装置に対して前記現実の通信相手を呼び出すための呼び出し処理を行う呼び出し処理部と、
    前記通信部を制御して、前記入力部により受け付けられた前記ユーザ入力を、前記呼び出し処理部による前記呼び出し処理に応答した前記現実の通信相手の通信装置に供給し、前記現実の通信相手の通信装置から前記ユーザ入力に対する応答を取得し、前記応答を前記出力部より出力することにより、ユーザと前記現実の通信相手とのコミュニケーションである第2のコミュニケーションを実現する第2のコミュニケーション部と
    を備える通信装置。
  2. 前記呼び出し処理部は、前記第1のコミュニケーションの開始とともに、前記呼び出し処理を開始する
    請求項1に記載の通信装置。
  3. 前記第1のコミュニケーションの内容を評価し、前記呼び出し処理を行うか否かを判定する評価判定部をさらに備え、
    前記呼び出し処理部は、前記評価判定部により前記呼び出し処理を行うと判定された場合、前記呼び出し処理を開始する
    請求項1に記載の通信装置。
  4. 前記評価判定部は、前記入力部により受け付けられた前記ユーザの音声のトーンを分析し、評価する
    請求項3に記載の通信装置。
  5. 前記評価判定部は、前記音声のトーンが普段の会話の音声のトーンの範囲内であるか否かを評価し、前記音声のトーンが前記範囲外である場合、前記呼び出し処理を行うと判定する
    請求項4に記載の通信装置。
  6. 前記評価判定部は、前記入力部により受け付けられた前記ユーザの音声のキーワードを分析し、評価する
    請求項3に記載の通信装置。
  7. 前記評価判定部は、前記ユーザの音声に、所定のネガティブなキーワードが含まれるか否かを評価し、前記ネガティブなキーワードが含まれる場合、前記呼び出し処理を行うと判定する
    請求項6に記載の通信装置。
  8. 前記評価判定部は、前記入力部により受け付けられた画像を分析し、評価する
    請求項3に記載の通信装置。
  9. 前記評価判定部は、前記画像に前記ユーザの顔が含まれている場合、前記ユーザの表情が普段の範囲内であるか否かを評価し、前記ユーザの表情が前記範囲外であるとき、前記呼び出し処理を行うと判定する
    請求項8に記載の通信装置。
  10. 前記評価判定部は、前記画像に前記ユーザの顔の周辺が含まれている場合、前記周辺の画像が変化したか否かを評価し、前記ユーザの顔周辺の画像が変化したとき、前記呼び出し処理を行うと判定する
    請求項8に記載の通信装置。
  11. 前記評価判定部は、前記入力部により受け付けられた前記通信装置自身の動きを分析し、評価する
    請求項3に記載の通信装置。
  12. 前記評価判定部は、前記通信装置に対して所定の基準以上の振動や圧力が加えられたか否かを評価し、前記基準以上の振動や圧力が加えられた場合、前記呼び出し処理を行うと判定する
    請求項11に記載の通信装置。
  13. 前記第1のコミュニケーション部は、前記第2のコミュニケーションの終了とともに、前記第1のコミュニケーションを開始する
    請求項1に記載の通信装置。
  14. 前記通信部を制御して、前記第1のコミュニケーション部により実現される前記第1のコミュニケーションの内容を示す第1の情報を、前記仮想的な通信相手に関連付けられた現実の通信相手の通信装置に対して供給する第1の情報供給部をさらに備える
    請求項1に記載の通信装置。
  15. 前記第1の情報は、前記第1のコミュニケーションのログ、若しくは前記ログの要約である
    請求項14に記載の通信装置。
  16. 前記第1の情報は、前記第1のコミュニケーションの内容を示す色、濃度、模様、図形、文字、若しくは記号である
    請求項14に記載の通信装置。
  17. 前記仮想的な通信相手の設定情報を記憶する記憶部をさらに備え、
    前記第1のコミュニケーション部は、前記記憶部に記憶される前記設定情報を用いて、前記入力部により受け付けられた前記ユーザ入力に対する仮想的な通信相手による応答を生成し、前記第1のコミュニケーションを実現する
    請求項1に記載の通信装置。
  18. 他の装置から前記設定情報を取得する設定情報取得部をさらに備え、
    前記記憶部は、前記設定情報取得部により取得された前記設定情報を記憶する
    請求項17に記載の通信装置。
  19. 受け付けられたユーザ入力に対する仮想的な通信相手による応答を生成し、前記応答を出力することにより、ユーザと前記仮想的な通信相手とのコミュニケーションである第1のコミュニケーションを実現し、
    前記第1のコミュニケーションが実現されている間に、前記仮想的な通信相手に関連付けられた現実の通信相手の通信装置に対して前記現実の通信相手を呼び出すための呼び出し処理を行い、
    受け付けられた前記ユーザ入力を、前記呼び出し処理に応答した前記現実の通信相手の通信装置に供給し、前記現実の通信相手の通信装置から前記ユーザ入力に対する応答を取得し、前記応答を出力することにより、ユーザと前記現実の通信相手とのコミュニケーションである第2のコミュニケーションを実現する
    通信方法。
  20. コンピュータを、
    ユーザの入力を受け付ける入力部により受け付けられた該ユーザ入力に対する仮想的な通信相手による応答を生成し、前記応答を画像または音声を出力する出力部より出力することにより、ユーザと前記仮想的な通信相手とのコミュニケーションである第1のコミュニケーションを実現する第1のコミュニケーション部と、
    前記第1のコミュニケーション部により前記第1のコミュニケーションが実現されている間に、他の装置と通信を行う通信部を制御し、前記仮想的な通信相手に関連付けられた現実の通信相手の通信装置に対して前記現実の通信相手を呼び出すための呼び出し処理を行う呼び出し処理部と、
    前記通信部を制御して、前記入力部により受け付けられた前記ユーザ入力を、前記呼び出し処理部による前記呼び出し処理に応答した前記現実の通信相手の通信装置に供給し、前記現実の通信相手の通信装置から前記ユーザ入力に対する応答を取得し、前記応答を前記出力部より出力することにより、ユーザと前記現実の通信相手とのコミュニケーションである第2のコミュニケーションを実現する第2のコミュニケーション部と
    して機能させるプログラム。
JP2014063523A 2014-03-26 2014-03-26 通信装置および方法、並びにプログラム Expired - Fee Related JP6071006B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2014063523A JP6071006B2 (ja) 2014-03-26 2014-03-26 通信装置および方法、並びにプログラム
US14/661,282 US9420111B2 (en) 2014-03-26 2015-03-18 Communication device, method, and program
US15/202,377 US20160316054A1 (en) 2014-03-26 2016-07-05 Communication device, method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014063523A JP6071006B2 (ja) 2014-03-26 2014-03-26 通信装置および方法、並びにプログラム

Publications (3)

Publication Number Publication Date
JP2015186199A true JP2015186199A (ja) 2015-10-22
JP2015186199A5 JP2015186199A5 (ja) 2016-03-31
JP6071006B2 JP6071006B2 (ja) 2017-02-01

Family

ID=54192107

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014063523A Expired - Fee Related JP6071006B2 (ja) 2014-03-26 2014-03-26 通信装置および方法、並びにプログラム

Country Status (2)

Country Link
US (2) US9420111B2 (ja)
JP (1) JP6071006B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109104532B (zh) * 2018-09-21 2020-09-22 Oppo(重庆)智能科技有限公司 来电控制方法及相关装置和存储介质
US11134042B2 (en) * 2019-11-15 2021-09-28 Scott C Harris Lets meet system for a computer using biosensing

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11122374A (ja) * 1997-10-09 1999-04-30 Sony Corp 仮想対話機能付き電話機
US20030221183A1 (en) * 2002-05-24 2003-11-27 Petr Hejl Virtual friend with special features
JP2006086902A (ja) * 2004-09-16 2006-03-30 Fujitsu Ltd コールセンタ支援システム、コールセンタ支援方法、およびコンピュータプログラム
US20070036334A1 (en) * 2005-04-22 2007-02-15 Culbertson Robert F System and method for intelligent service agent using VoIP
US20080263458A1 (en) * 2007-04-20 2008-10-23 Utbk, Inc. Methods and Systems to Facilitate Real Time Communications in Virtual Reality

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8108005B2 (en) * 2001-08-28 2012-01-31 Sony Corporation Method and apparatus for displaying an image of a device based on radio waves
US20030179306A1 (en) * 2002-03-20 2003-09-25 Kinpo Electronics, Inc. Image display remote control device for digital camera or video camera
US6771746B2 (en) * 2002-05-16 2004-08-03 Rockwell Electronic Commerce Technologies, Llc Method and apparatus for agent optimization using speech synthesis and recognition
US7665024B1 (en) * 2002-07-22 2010-02-16 Verizon Services Corp. Methods and apparatus for controlling a user interface based on the emotional state of a user
US20040126038A1 (en) * 2002-12-31 2004-07-01 France Telecom Research And Development Llc Method and system for automated annotation and retrieval of remote digital content
US7940897B2 (en) * 2005-06-24 2011-05-10 American Express Travel Related Services Company, Inc. Word recognition system and method for customer and employee assessment
KR100750157B1 (ko) * 2006-01-18 2007-08-21 삼성전자주식회사 화상형성시스템 및 화상형성방법
US20080032627A1 (en) * 2006-08-02 2008-02-07 Cheng Uei Precision Industry Co., Ltd. Bluetooth wireless communication system for transmitting image data in real time
KR20080080917A (ko) * 2007-03-02 2008-09-05 우민제 블루투스 통신 기반의 인터넷폰 장치와 이를 이용한 무선마우스 및 통신 시스템
JP2008271124A (ja) 2007-04-19 2008-11-06 Toyota Motor Corp ハンズフリー電話装置及びハンズフリー接続方法
US8194117B2 (en) * 2007-08-08 2012-06-05 Qnx Software Systems Limited Video phone system
CN101427916B (zh) * 2008-12-05 2012-02-22 张锦景 电生理数据与病理图像监测的移动网络终端装置及方法
US8831203B2 (en) * 2008-12-23 2014-09-09 Genesys Telecommunications Laboratories, Inc. System and methods for tracking unresolved customer involvement with a service organization and automatically formulating a dynamic service solution
US20100246571A1 (en) * 2009-03-30 2010-09-30 Avaya Inc. System and method for managing multiple concurrent communication sessions using a graphical call connection metaphor
TWI554076B (zh) * 2009-09-04 2016-10-11 普露諾洛股份有限公司 遠距離的電話管理器
SG11201508518UA (en) * 2013-04-22 2015-11-27 Theranos Inc Methods, devices, and systems for secure transport of materials
US20150066797A1 (en) * 2013-09-04 2015-03-05 Christopher Scott Outwater System and method for enhancing delivery security and preventing fraud

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11122374A (ja) * 1997-10-09 1999-04-30 Sony Corp 仮想対話機能付き電話機
US20030221183A1 (en) * 2002-05-24 2003-11-27 Petr Hejl Virtual friend with special features
JP2006086902A (ja) * 2004-09-16 2006-03-30 Fujitsu Ltd コールセンタ支援システム、コールセンタ支援方法、およびコンピュータプログラム
US20070036334A1 (en) * 2005-04-22 2007-02-15 Culbertson Robert F System and method for intelligent service agent using VoIP
US20080263458A1 (en) * 2007-04-20 2008-10-23 Utbk, Inc. Methods and Systems to Facilitate Real Time Communications in Virtual Reality

Also Published As

Publication number Publication date
US9420111B2 (en) 2016-08-16
JP6071006B2 (ja) 2017-02-01
US20150281443A1 (en) 2015-10-01
US20160316054A1 (en) 2016-10-27

Similar Documents

Publication Publication Date Title
US11722537B2 (en) Communication sessions between computing devices using dynamically customizable interaction environments
KR101674337B1 (ko) 인스턴트 메시징 방법, 장치, 프로그램 및 기록매체
WO2018113639A1 (zh) 用户终端之间的互动方法、终端、服务器、系统及存储介质
JP7163908B2 (ja) 情報処理装置、情報処理方法、および記録媒体
KR20180057366A (ko) 이동 단말기 및 그 제어방법
US20220224735A1 (en) Information processing apparatus, non-transitory computer readable medium storing program, and method
DE112011103728T5 (de) Selbsttätiger Profilwechsel auf einer mobilen Rechenvorrichtung
WO2020063675A1 (zh) 一种智能音箱及智能音箱使用的方法
CN102981613A (zh) 终端和终端控制方法
EP3633497A1 (en) Information processing apparatus, information processing method, and program
CN105677023B (zh) 信息呈现方法及装置
JP2015517268A (ja) 呼管理方法及びこれを用いた端末装置
WO2020210298A1 (en) Techniques for participation in a shared setting
CN111739517A (zh) 语音识别方法、装置、计算机设备及介质
JP2018092528A (ja) チャットシステム、管理装置、端末装置、宛先選択支援方法および宛先選択支援プログラム
WO2022127670A1 (zh) 一种通话方法、相关设备和系统
JP6071006B2 (ja) 通信装置および方法、並びにプログラム
CN110178159A (zh) 具有集成式投影仪的音频/视频可穿戴式计算机系统
CN111108491A (zh) 会议系统
CN112423011B (zh) 消息回复方法、装置、设备及存储介质
WO2023134490A1 (zh) 数据显示方法、装置、移动终端及存储介质
US20230046894A1 (en) Network dataset processing method and apparatus, computer device, and storage medium
KR20160092820A (ko) 이동 단말기 및 그 제어방법
CN113573154B (zh) 多媒体数据播放方法、装置、终端及存储介质
JP2015186199A5 (ja)

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160210

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160210

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20161129

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20161208

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20161221

R151 Written notification of patent or utility model registration

Ref document number: 6071006

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees