JP2021099538A - 情報処理装置、情報処理方法およびプログラム - Google Patents

情報処理装置、情報処理方法およびプログラム Download PDF

Info

Publication number
JP2021099538A
JP2021099538A JP2018069787A JP2018069787A JP2021099538A JP 2021099538 A JP2021099538 A JP 2021099538A JP 2018069787 A JP2018069787 A JP 2018069787A JP 2018069787 A JP2018069787 A JP 2018069787A JP 2021099538 A JP2021099538 A JP 2021099538A
Authority
JP
Japan
Prior art keywords
user
avatar
input
information processing
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018069787A
Other languages
English (en)
Inventor
賢次 杉原
Kenji Sugihara
賢次 杉原
真里 斎藤
Mari Saito
真里 斎藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Group Corp
Original Assignee
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Group Corp filed Critical Sony Group Corp
Priority to JP2018069787A priority Critical patent/JP2021099538A/ja
Priority to US17/040,194 priority patent/US20210014457A1/en
Priority to PCT/JP2019/002858 priority patent/WO2019187593A1/ja
Publication of JP2021099538A publication Critical patent/JP2021099538A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/15Conference systems
    • H04N7/157Conference systems defining a virtual conference space and using avatars or agents
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/54Interprogram communication
    • G06F9/542Event management; Broadcasting; Multicasting; Notifications
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00Animation
    • G06T13/203D [Three Dimensional] animation
    • G06T13/403D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)
  • Information Transfer Between Computers (AREA)
  • Telephone Function (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

【課題】通知受信側のユーザまたは通知送信側のユーザが相手の状況を容易に把握することが可能な技術が提供されることが望まれる。【解決手段】第1のロケーションに存在する第1のユーザの行動状態に関する第1行動状態情報を取得する第1行動状態取得部と、第2のロケーションに存在する第2のユーザの行動状態に関する第2行動状態情報を取得する第2行動状態取得部と、前記第2のロケーションにおいて前記第2のユーザが視認可能なように提供される第1のユーザを表す第1のアバターを、前記第1のユーザの行動状態に応じて徐々に変化させるアバター制御部と、前記第2行動状態情報に基づいて前記第1のアバターに関する入力を判定する入力判定部と、前記第1のアバターに関する入力に基づいて、前記第1のロケーションに存在する第1のユーザの端末に信号を送信する送信部と、を備える、情報処理装置が提供される。【選択図】図1

Description

本開示は、情報処理装置、情報処理方法およびプログラムに関する。
近年、ユーザに対して通知を行う技術として様々な技術が知られている。例えば、ユーザが通知を受けるタイミングは、通知を受けるユーザの状況によって変わる場合が想定される。そこで、通知を受けるユーザの状況に応じてユーザに対して通知を行うタイミングを制御する技術が開示されている(例えば、特許文献1参照)。
特開2014−123192号公報
しかし、通知受信側のユーザまたは通知送信側のユーザが相手の状況を把握することは肝要である。そこで、通知受信側のユーザまたは通知送信側のユーザが相手の状況を容易に把握することが可能な技術が提供されることが望まれる。
本開示によれば、第1のロケーションに存在する第1のユーザの行動状態に関する第1行動状態情報を取得する第1行動状態取得部と、第2のロケーションに存在する第2のユーザの行動状態に関する第2行動状態情報を取得する第2行動状態取得部と、前記第2のロケーションにおいて前記第2のユーザが視認可能なように提供される第1のユーザを表す第1のアバターを、前記第1のユーザの行動状態に応じて徐々に変化させるアバター制御部と、前記第2行動状態情報に基づいて前記第1のアバターに関する入力を判定する入力判定部と、前記第1のアバターに関する入力に基づいて、前記第1のロケーションに存在する第1のユーザの端末に信号を送信する送信部と、を備える、情報処理装置が提供される。
本開示によれば、第1のロケーションに存在する第1のユーザの行動状態に関する第1行動状態情報を取得することと、第2のロケーションに存在する第2のユーザの行動状態に関する第2行動状態情報を取得することと、前記第2のロケーションにおいて前記第2のユーザが視認可能なように提供される第1のユーザを表す第1のアバターを、前記第1のユーザの行動状態に応じて徐々に変化させることと、前記第2行動状態情報に基づいて前記第1のアバターに関する入力を判定することと、プロセッサが、前記第1のアバターに関する入力に基づいて、前記第1のロケーションに存在する第1のユーザの端末に信号を送信することと、を含む、情報処理方法が提供される。
本開示によれば、コンピュータを、第1のロケーションに存在する第1のユーザの行動状態に関する第1行動状態情報を取得する第1行動状態取得部と、第2のロケーションに存在する第2のユーザの行動状態に関する第2行動状態情報を取得する第2行動状態取得部と、前記第2のロケーションにおいて前記第2のユーザが視認可能なように提供される第1のユーザを表す第1のアバターを、前記第1のユーザの行動状態に応じて徐々に変化させるアバター制御部と、前記第2行動状態情報に基づいて前記第1のアバターに関する入力を判定する入力判定部と、前記第1のアバターに関する入力に基づいて、前記第1のロケーションに存在する第1のユーザの端末に信号を送信する送信部と、を備える情報処理装置として機能させるためのプログラムが提供される。
以上説明したように本開示によれば、通知受信側のユーザまたは通知送信側のユーザが相手の状況を容易に把握することが可能な技術が提供される。なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の実施形態に係る情報処理システムの構成例を示す図である。 コール時間と通知レベルとの対応関係の例を示す図である。 アバターを変化させる要素と通知レベルとの対応関係の例を示す図である。 送信側端末の機能構成例を示す図である。 受信側端末の機能構成例を示す図である。 アバター制御の例を説明するための図である。 送信側端末の動作例を示すフローチャートである。 受信側端末の動作例を示すフローチャートである。 本開示の実施形態に係る情報処理装置のハードウェア構成例を示すブロック図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
また、本明細書および図面において、実質的に同一または類似の機能構成を有する複数の構成要素を、同一の符号の後に異なる数字を付して区別する場合がある。ただし、実質的に同一または類似の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。また、異なる実施形態の類似する構成要素については、同一の符号の後に異なるアルファベットを付して区別する場合がある。ただし、類似する構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。
なお、説明は以下の順序で行うものとする。
1.概要
2.実施形態の詳細
2.1.システム構成例
2.2.アバター変化の要素と通知レベルとの対応関係
2.3.送信側端末の機能構成例
2.4.受信側端末の機能構成例
2.5.情報処理システムの機能詳細
3.ハードウェア構成例
4.むすび
5.変形例
<1.概要>
まず、本開示の実施形態の概要について説明する。近年、ユーザに対して通知を行う技術として様々な技術が知られている。例えば、ユーザが通知を受けるタイミングは、通知を受けるユーザの状況によって変わる場合が想定される。そこで、通知を受けるユーザの状況に応じてユーザに対して通知を行うタイミングを制御する技術が開示されている。
しかし、通知受信側のユーザまたは通知送信側のユーザが相手の状況を把握することは肝要である。例えば、送信側のユーザの行動状態を把握することによって受信側のユーザは、通知の緊急度を推測することができる。あるいは、受信側のユーザの行動状態を把握することによって送信側のユーザは、受信側のユーザが通知に応答しそうかを推測することができる。
そこで、本開示の実施形態においては、通知受信側のユーザまたは通知送信側のユーザが相手の状況を容易に把握することが可能な技術について主に説明する。具体的に、本開示の実施形態においては、通知受信側のユーザまたは通知送信側のユーザが、相手の行動状態に応じて変化するアバターによって相手の状況を把握することが可能な技術について主に説明する。
以上、本開示の実施形態の概要について説明した。
<2.実施形態の詳細>
以下、本開示の実施形態の詳細について説明する。
[2.1.システム構成例]
まず、本開示の実施形態に係る情報処理システムの構成例について説明する。
図1は、本開示の実施形態に係る情報処理システムの構成例を示す図である。図1に示すように、情報処理システム1は、送信側端末10Aおよび受信側端末10Bを有している。送信側端末10Aは、ユーザAによって利用され得る。また、受信側端末10Bは、ユーザBによって利用され得る。送信側端末10Aおよび受信側端末10Bは、ネットワーク90に接続されており、ネットワーク90を介して相互に通信可能に構成されている。
送信側端末10Aは、ロケーションXに存在する。そして、ユーザAもロケーションXに存在する。また、ロケーションXには、ユーザBを表すアバター(以下、単に「ユーザBのアバター」とも言う。)が存在し、ユーザBのアバターは、ロケーションXに存在するユーザAによって視認可能である。一方、受信側端末10Bは、ロケーションYに存在する。そして、ユーザBもロケーションYに存在する。また、ロケーションYには、ユーザAを表すアバター(以下、単に「ユーザAのアバター」とも言う。)が存在し、ユーザAのアバターは、ロケーションYに存在するユーザBによって視認可能である。ロケーションXおよびロケーションYそれぞれは、ある広がりを持った領域であればよく、ロケーションXおよびロケーションYそれぞれは、どこに位置していてもよい。なお、本開示において、ロケーションXを第1のロケーション、ユーザAを第1のユーザ、ユーザAのアバターを第1のアバターと言う場合がある。また、本開示において、ロケーショYを第2のロケーション、ユーザBを第2のユーザ、ユーザBのアバターを第2のアバターと言う場合がある。
本開示の実施形態においては、ユーザAがユーザBと通話を行おうとする場合を想定する。かかる場合、ユーザAは、送信側端末10Aに対して通知開始操作を行う。なお、通知は、実際に通話が開始される前の呼び出しに該当し、以下の説明では、「通知」を「コール」とも称する。なお、本開示において、通話には音声通話やビデオ通話といった種々の通話手段が用いられ得る。通知開始操作は、ユーザAから発信される、ユーザBへのコミュニケーション開始の許可依頼と見做されても良い。また、後述するユーザAのアバターの変更は、前記第1のユーザの端末から送信されるコミュニケーション開始に関する許可依頼に応じて開始されるものと見做されても良い。また、通知開始操作は、ユーザAの行動状態の一例に該当し得る。送信側端末10Aは、通知開始操作を検出すると、受信側端末10Bに対して通知を開始する。なお、本開示において、このユーザAの行動状態に関する情報を、第1行動状態情報という場合がある。同様に、本開示において、ユーザBの行動状態に関する情報を、第2行動状態情報という場合がある。第1行動状態情報は、ユーザAの行動状態をセンシングする各種センサの出力信号、当該出力信号に基づくユーザAの行動状態の判定結果等、ユーザAの行動状態に関する種々の情報が含み得る。第2行動状態情報も同様に、ユーザBの行動状態に関する種々の情報が含み得る。
ユーザBは、ユーザAとの通話を開始したい場合には、受信側端末10Bに対して通知応答操作を行う。受信側端末10Bは、通知応答操作を検出すると、送信側端末10Aとの間の接続を確立させる。これによって、送信側端末10Aおよび受信側端末10Bを介したユーザAとユーザBとの通話が成立し、送信側端末10Aおよび受信側端末10Bを介したユーザAとユーザBとの間のコミュニケーションが開始される。通知応答操作は、ユーザBの行動状態の一例に該当し得る。
なお、本開示の実施形態においては、ユーザAとユーザBとの間で音声によってコミュニケーションが行われる場合を想定する。しかし、音声の代わりに、または、音声に追加して他のコンテンツ(例えば、映像など)によって、ユーザAとユーザBとの間でコミュニケーションが行われてもよい。
また、本開示の実施形態においては、送信側端末10Aおよび受信側端末10BそれぞれがPC(Personal Computer)である場合を主に想定する。しかし、送信側端末10Aおよび受信側端末10BそれぞれはPCに限定されない。例えば、送信側端末10Aおよび受信側端末10Bの少なくとも一方は、テレビジョン装置であってもよいし、携帯電話であってもよいし、タブレット端末であってもよいし、スマートフォンであってもよいし、ウェアラブル端末(例えば、ヘッドマウントディスプレイなど)であってもよいし、カメラであってもよい。送信側端末10Aおよび受信側端末10Bそれぞれは、情報処理装置として機能し得る。
以上、本開示の実施形態に係る情報処理システム1の構成例について説明した。
[2.2.アバター変化の要素と通知レベルとの対応関係]
ここで、ユーザAからユーザBに対して通知がなされる場合を想定する。ユーザAからユーザBへの通知が緊急度に依らずに同じになってしまうと、ユーザBが緊急度の高い通知に気づかなかったり、緊急度の低い通知に気を取られてしまったりする。仮に、事前に定義された緊急度を利用した場合には、ユーザAまたはユーザBのリアルな状況が通知に反映されない。そこで、ユーザAまたはユーザBのリアルな状況に即した緊急度が通知に反映されるのが望ましい。
一例として、通知開始からの経過時間(以下、「コール時間」とも言う。)が長いほど、ユーザAがユーザBに用事を伝えたいという意図が強いことが想定されるため、緊急度(以下、「通知レベル」とも言う。)が高いことが想定される。以下では、コール時間と通知レベルとの対応関係の例について説明する。
図2は、コール時間と通知レベルとの対応関係の例を示す図である。図2を参照すると、送信側端末10Aを利用するユーザAが示されている。ここで、ユーザAがユーザBに通知を行う場合を想定する。かかる場合、送信側端末10Aは、ユーザAによる通知開始操作が検出されると、ユーザBによって利用される受信側端末10Bへの通知を開始する。
まず、通知開始から第1の時間後(例えば、10秒後)においても、ユーザBが通知に対する応答をしない場合(応答不可の場合)を想定する。かかる場合、ユーザAは、ユーザBに通知してみただけで特にユーザBに用事はない場合(S11)、ユーザBへの通知を中止する(S21)。一方、ユーザAは、ユーザBに用事がある場合、ユーザBへの通知を継続する(S31)。
続いて、通知開始から第2の時間後(例えば、30秒後)においても、ユーザBが通知に対する応答をしない場合を想定する。かかる場合、ユーザAは、ユーザBに用事があったがユーザBが忙しいならユーザBに対する用事を諦めようと考えた場合(S12)、ユーザBへの通知を中止する(S22)。一方、ユーザAは、ユーザBに対する用事を諦められない場合、ユーザBへの通知を継続する(S32)。
続いて、通知開始から第3の時間後(例えば、1分後)においても、ユーザBが通知に対する応答をしない場合を想定する。かかる場合、ユーザAは、ユーザBに出来れば用事を伝えたかったが、通知に応答するのが無理なら仕方ないと考えた場合(S13)、ユーザBへの通知を中止する(S23)。一方、ユーザAは、ユーザBに対する用事をどうしても今ユーザBに伝えたいと考えた場合、ユーザBへの通知を継続する(S33)。
図2を参照しながら説明したように、コール時間が長いほど、ユーザAがユーザBに用事を伝えたいという意図が強いことが想定され、通知レベルが高いことが想定される。そして、ユーザBに対する通知は、通知レベルが高いほど、ユーザBが気づきやすい通知であるのが望ましい。このとき、ユーザBに対する通知は、徐々に気づきやすい通知に変化してもよい。本開示の実施形態においては、ユーザBに対する通知の変化が、ユーザBによって視認されるユーザAのアバターの変化である場合を想定する。
図3は、アバターを変化させる要素と通知レベルとの対応関係の例を示す図である。図3を参照すると、ユーザAのアバターを変化させる要素の例としてのコール時間と通知レベルとの対応関係の例が示されている。コール時間と通知レベルとの対応関係については、図2を参照しながら説明した通りである。また、図3を参照すると、ユーザAのアバターを変化させる要素の例としてのユーザAのストレス度と通知レベルとの対応関係の例が示されている。
図3に示すように、ユーザAのストレス度が大きいほど、ユーザAがユーザBに用事を伝えたいという意図が強いことが想定されるため、通知レベルが高いことが想定される。なお、ユーザAのストレス度は、どのように検出されてもよい。一例として、ユーザAのストレス度は、撮像装置によって撮像されたユーザAの画像に対する画像認識結果に基づいて推定/取得されてもよいし、ユーザAから生体センサによってセンシングされた生体情報に基づいて推定/取得されてよい。
以上、アバターを変化させる要素と通知レベルとの対応関係の例について説明した。
[2.3.送信側端末の機能構成例]
続いて、送信側端末10Aの機能構成例について説明する。
図4は、送信側端末10Aの機能構成例を示す図である。図4に示したように、送信側端末10Aは、制御部110A、センサ部120A、通信部140A、記憶部150Aおよび提示部160Aを有している。以下、送信側端末10Aが備えるこれらの機能ブロックについて説明する。
制御部110Aは、例えば、1または複数のCPU(Central Processing Unit;中央演算処理装置)などといった処理装置によって構成されてよい。これらのブロックがCPUなどといった処理装置によって構成される場合、かかる処理装置は電子回路によって構成されてよい。制御部110Aは、かかる処理装置によってプログラムが実行されることによって実現され得る。
制御部110Aは、送信側ユーザ行動状態取得部111A、入力判定部112A、送信部113A、受信側ユーザ行動状態取得部114Aおよびアバター制御部115Aを有する。送信側ユーザ行動状態取得部111Aは、第2行動状態取得部の一例に該当し得る。また、受信側ユーザ行動状態取得部114Aは、第1行動状態取得部の一例に該当し得る。これらのブロックの詳細な機能については後に説明する。
センサ部120Aは、各種のセンサを有しており、各種センサによって各種のセンシングデータを検出する。より具体的に、センサ部120Aは、ユーザAが発する音声、ユーザAの状態を検出する。ユーザAの状態には、ユーザAの行動状態が含まれ得る。センサ部120Aは、送信側端末10Aの任意の場所に設けられてよい。
本開示の実施形態においては、センサ部120Aが、マイクロフォンおよび撮像装置を含んで構成される場合を想定する。そして、マイクロフォンによってユーザAが発する音声が検出され、ユーザAが発する音声がコミュニケーションに利用される場合を想定する。しかし、ユーザAが発する音声の代わりに、または、ユーザAが発する音声に追加して、ユーザAが撮像装置によって撮像された映像がコミュニケーションに利用されてもよい。
また、本開示の実施形態においては、撮像装置によってユーザAの状態が検出される場合を想定する。しかし、ユーザAの状態は、撮像装置以外のセンサによって検出されてもよい。例えば、送信側端末10Aがウェアラブル端末である場合、ユーザAの状態は、ウェアラブル端末のセンサ(例えば、加速度センサ、ジャイロセンサ、振動センサ、GPS(Global Positioning System)センサなど)によって検出されてもよい。
通信部140Aは、通信回路を含んで構成され、ネットワーク90を介して受信側端末10Bとの間で通信を行う機能を有する。例えば、通信部140Aは、受信側端末10Bからのデータの取得および受信側端末10Bへのデータの提供を行う機能を有する。例えば、通信部140Aは、センサ部120AによってユーザAによる通知開始操作が検出されると、ネットワーク90を介して受信側端末10Bに通知を送信する。また、通信部140Aは、受信側端末10Bからネットワーク90を介して通知応答を受信すると、ネットワーク90を介して受信側端末10Bとの接続を確立する。そして、通信部140Aは、マイクロフォンによってユーザAが発する音声が検出されると、当該音声を受信側端末10Bに送信する。
記憶部150Aは、メモリを含んで構成され、制御部110Aによって実行されるプログラムを記憶したり、プログラムの実行に必要なデータを記憶したりする記録媒体である。また、記憶部150Aは、制御部110Aによる演算のためにデータを一時的に記憶する。例えば、記憶部150Aは、磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス、または、光磁気記憶デバイスにより構成される。
提示部160Aは、ユーザAに対して各種の情報の提示を行う。本開示の実施形態においては、提示部160Aが、ディスプレイおよびスピーカを有する場合を想定する。ここで、ディスプレイの種類は限定されない。例えば、ディスプレイは、液晶ディスプレイであってもよいし、有機EL(Electro−Luminescence)ディスプレイであってもよいし、壁などに投影できるプロジェクタであってもよい。あるいは、ディスプレイは、LED(light−emitting diode)などのライトであってもよい。
具体的に、本開示の実施形態においては、ユーザBのアバターが仮想オブジェクトである場合を想定し、ディスプレイがユーザBのアバターを表示する場合を想定する。しかし、ユーザBのアバターは実オブジェクトであってもよい。実オブジェクトは、例えば、駆動機構を有する移動体であってもよい。より具体的には、ローラ、ホイール、あるいはタイヤを備える移動体、あるいは二足歩行ロボットや四足歩行ロボットなど、種々の形態が採用され得る。このような場合、当該自立移動体が独立した情報処理装置として構成され得る。その場合、提示部160Aは、ディスプレイを有していなくてもよい。また、スピーカは、通信部140Aによって受信側端末10Bとの接続が確立され、受信側端末10Bからネットワーク90を介してユーザBによって発せられた音声が受信されると、当該音声を出力する。スピーカによって出力された音声は、ユーザAの聴覚によって知覚される。
なお、本開示の実施形態においては、制御部110A、センサ部120A、通信部140A、記憶部150Aおよび提示部160Aが送信側端末10Aの内部に存在する場合を主に想定する。しかし、制御部110A、センサ部120A、通信部140A、記憶部150Aおよび提示部160Aの少なくともいずれか一つは、送信側端末10Aの外部に存在していてもよい。
以上、本開示の実施形態に係る送信側端末10Aの機能構成例について説明した。
[2.4.受信側端末の機能構成例]
続いて、受信側端末10Bの機能構成例について説明する。
図5は、受信側端末10Bの機能構成例を示す図である。図5に示したように、受信側端末10Bは、制御部110B、センサ部120B、通信部140B、記憶部150Bおよび提示部160Bを有している。以下、受信側端末10Bが備えるこれらの機能ブロックについて説明する。
制御部110Bは、例えば、1または複数のCPU(Central Processing Unit;中央演算処理装置)などといった処理装置によって構成されてよい。これらのブロックがCPUなどといった処理装置によって構成される場合、かかる処理装置は電子回路によって構成されてよい。制御部110Bは、かかる処理装置によってプログラムが実行されることによって実現され得る。
制御部110Bは、受信側ユーザ行動状態取得部111B、入力判定部112B、送信部113B、送信側ユーザ行動状態取得部114Bおよびアバター制御部115Bを有する。受信側ユーザ行動状態取得部111Bは、第2行動状態取得部の一例に該当し得る。また、送信側ユーザ行動状態取得部114Bは、第1行動状態取得部の一例に該当し得る。これらのブロックの詳細な機能については後に説明する。
センサ部120Bは、各種のセンサを有しており、各種センサによって各種のセンシングデータを検出する。より具体的に、センサ部120Bは、ユーザBが発する音声、ユーザBの状態を検出する。ユーザBの状態には、ユーザBの行動状態が含まれ得る。センサ部120Bは、受信側端末10Bの任意の場所に設けられてよい。
本開示の実施形態においては、センサ部120Bが、マイクロフォンおよび撮像装置を含んで構成される場合を想定する。そして、マイクロフォンによってユーザBが発する音声が検出され、ユーザBが発する音声がコミュニケーションに利用される場合を想定する。しかし、ユーザBが発する音声の代わりに、または、ユーザBが発する音声に追加して、ユーザBが撮像装置によって撮像された映像がコミュニケーションに利用されてもよい。
また、本開示の実施形態においては、撮像装置によってユーザBの状態が検出される場合を想定する。しかし、ユーザBの状態は、撮像装置以外のセンサによって検出されてもよい。例えば、受信側端末10Bがウェアラブル端末である場合、ユーザBの状態は、ウェアラブル端末のセンサ(例えば、加速度センサ、ジャイロセンサ、振動センサ、GPS(Global Positioning System)センサなど)によって検出されてもよい。
通信部140Bは、通信回路を含んで構成され、ネットワーク90を介して送信側端末10Aとの間で通信を行う機能を有する。例えば、通信部140Bは、送信側端末10Aからのデータの取得および送信側端末10Aへのデータの提供を行う機能を有する。例えば、通信部140Bは、センサ部120BによってユーザBによる通知応答操作が検出されると、ネットワーク90を介して送信側端末10Aに通知応答を送信し、ネットワーク90を介して送信側端末10Aとの接続を確立する。そして、通信部140Bは、マイクロフォンによってユーザBが発する音声が検出されると、当該音声を送信側端末10Aに送信する。また、通信部140Bは、送信側端末10Aからネットワーク90を介して通知を受信する。
記憶部150Bは、メモリを含んで構成され、制御部110Bによって実行されるプログラムを記憶したり、プログラムの実行に必要なデータを記憶したりする記録媒体である。また、記憶部150Bは、制御部110Bによる演算のためにデータを一時的に記憶する。例えば、記憶部150Bは、磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス、または、光磁気記憶デバイスにより構成される。
提示部160Bは、ユーザBに対して各種の情報の提示を行う。本開示の実施形態においては、提示部160Bが、ディスプレイおよびスピーカを有する場合を想定する。ここで、ディスプレイの種類は限定されない。例えば、ディスプレイは、液晶ディスプレイであってもよいし、有機EL(Electro−Luminescence)ディスプレイであってもよいし、壁などに投影できるプロジェクタであってもよい。あるいは、ディスプレイは、LED(light−emitting diode)などのライトであってもよい。
具体的に、本開示の実施形態においては、ユーザAのアバターが仮想オブジェクトである場合を想定し、ディスプレイがユーザAのアバターを表示する場合を想定する。しかし、ユーザAのアバターは実オブジェクト(例えば、ロボットなど)であってもよい。その場合、提示部160Bは、ディスプレイを有していなくてもよい。また、スピーカは、通信部140Bによって送信側端末10Aとの接続が確立され、送信側端末10Aからネットワーク90を介してユーザAによって発せられた音声が受信されると、当該音声を出力する。スピーカによって出力された音声は、ユーザBの聴覚によって知覚される。
なお、本開示の実施形態においては、制御部110B、センサ部120B、通信部140B、記憶部150Bおよび提示部160Bが受信側端末10Bの内部に存在する場合を主に想定する。しかし、制御部110B、センサ部120B、通信部140B、記憶部150Bおよび提示部160Bの少なくともいずれか一つは、受信側端末10Bの外部に存在していてもよい。
以上、本開示の実施形態に係る受信側端末10Bの機能構成例について説明した。
[2.5.情報処理システムの機能詳細]
続いて、情報処理システム1の機能詳細について説明する。
本開示の実施形態では、(ロケーションXに存在するユーザAの)送信側端末10Aにおいて、センサ部120Aは、センシングによってユーザAの行動状態に関する情報を得る。ユーザAの行動状態には、通知開始、通知継続、通知終了、再通知などが含まれ得る。なお、センサ部120Aは、例えばユーザAの画像情報あるいはデプス情報を取得するセンサであってもよい。入力判定部112Aは、ユーザAの行動状態に関する情報に基づいて、ユーザBを表すアバターに関する入力を判定する。ユーザBを表すアバターに関する入力には、通知開始、通知継続、通知終了、再通知などが含まれ得る。送信部113Aは、ユーザBを表すアバターに関する入力に基づいて、受信側端末10Bに信号(アバターAを制御するための信号)を送信する。
(ロケーションYに存在するユーザBの)受信側端末10Bにおいて、通信部140Bは、ネットワーク90を介してユーザAの行動状態に関する情報(アバターAを制御するための信号)を受信する。送信側ユーザ行動状態取得部114Bは、ユーザAの行動状態に関する情報を取得する。アバター制御部115Bは、ユーザAの行動状態に応じて、ユーザAを表すアバターAを徐々に変化させる。ユーザBは、ユーザAの行動状態に応じて変化するアバターによってユーザAの状況を容易に把握することが可能となる。
一方、センサ部120Bは、センシングによってユーザBの行動状態に関する情報を得る。ユーザBの行動状態には、通知に気づいたか否か、通知に応答したか否かなどが含まれ得る。なお、センサ部120Bは、例えばユーザBの画像情報あるいはデプス情報を取得するセンサであってもよい。入力判定部112Bは、ユーザBの行動状態に関する情報に基づいて、ユーザAを表すアバターに関する入力を判定する。ユーザAを表すアバターに関する入力には、通知に気づいたか否か、通知に応答したか否かなどが含まれ得る。送信部113Bは、ユーザAを表すアバターに関する入力に基づいて、送信側端末10Aに信号(アバターBを制御するための信号)を送信する。なお、送信部113Bは、第1の入力に基づいて、送信側端末10Aにコミュニケーション開始を示す第1の信号を送信し、第2の入力に基づいて送信側端末10Aにコミュニケーション開始の不許可を示す第2の信号を送信すると見做されても良い。また、送信部113Bは、ユーザAの送信側端末10Aに、ユーザBの行動状態を示す信号を送信するものと見做されても良い。後述の通り、送信部113Bは、ユーザBのアバターAに関する入力に基づいて、ユーザBの行動状態を示す信号を変化させ得る。なお、送信部113Bが送信する信号は、送信側端末10Aにより制御されるアバターBを制御する信号として見做されても良い。送信部113Bが送信する信号は、アバターBを直接制御する信号であってもよい。あるいは、送信部113Bが送信した信号は、ネットワーク90による処理を経てアバターBを制御する信号に変換されても良い。あるいは、送信部113Bが送信した信号は、送信側端末10Aによる処理を経てアバターBを制御する信号に変換されても良い。
送信側端末10Aにおいて、通信部140Aは、ネットワーク90を介してユーザBの行動状態に関する情報(アバターBを制御するための信号)を受信する。受信側ユーザ行動状態取得部114Aは、ユーザBの行動状態に関する情報を取得する。アバター制御部115Aは、ユーザBの行動状態に応じて、ユーザBを表すアバターBを徐々に変化させる。ユーザAは、ユーザBの行動状態に応じて変化するアバターによってユーザBの状況を容易に把握することが可能となる。
ここで、アバター制御の例について説明する。図6は、アバター制御の例を説明するための図である。図6に示すように、ロケーションXには、送信側ユーザAが存在する。ロケーションXにおいては、センサ部120Aが、ユーザAによる(アバターBに対する)各種インタラクションを検出可能である。一方、ロケーションYには、受信側ユーザBが存在する。ロケーションYにおいては、センサ部120Bが、ユーザBによる(アバターAに対する)各種インタラクションを検出可能である。
S101は、ユーザAが、ロケーションXに存在する、ユーザBの状態を表すアバターBに対し話しかけた状態を示す。なお、ユーザAの状態(動作、行動)は、ロケーションXに存在するセンサ部120Aによって判定される。これにより、ユーザAからユーザBへの通知(コール)が開始され、送信側ユーザ行動状態取得部114Bによって通知開始が取得され、ロケーションYに存在する、ユーザAの状態を表すアバターAの状態が、アバター制御部115BによってユーザAからの通知の受信を示す状態に変化される。
S102においては、ユーザBがユーザAからの通知に気付いたことが、ロケーションXと同様、ロケーションYに存在するセンサ部120Bによって判定される。例えば、ユーザBの視線がアバターAに当たっているか否かによって、ユーザBが通知に気づいているか否かが判定されてもよい。ユーザBがユーザAの連絡に気付いたことは、ネットワーク90を経て、受信側ユーザ行動状態取得部114Aによって取得され、アバター制御部115Aによる制御に従ったアバターBの動作によってユーザAに通知される。なお、本開示における第2の入力は、“ユーザBがユーザAからの通知に気付いたこと”を含むと見做されても良い。
S103において、アバター制御部115Bによる制御に従って、ロケーションYに存在するアバターAの動作や位置は、通知レベルに応じて変化する。例えば、アバターAは、ユーザBにとって誘目度の高い範囲に移動し、および/または動作量を増加させる。より具体的には、アバターAは、ユーザBが作業しているオブジェクトとユーザBとの間に移動し、ユーザBの作業(仕事)を妨げてもよい。
S104は、ユーザAがコールを継続したことが、送信側ユーザ行動状態取得部114Bによって取得され、アバター制御部115Bによる制御に従って、アバターAがユーザAの通知意図を段階的に示すよう動作したものの、通知に気付いたユーザBがコミュニケーションを開始しなかった状態を表す。アバターBは、アバター制御部115Aによる制御に従って、それぞれユーザBのコミュニケーション拒否(応答拒否)を示す状態に変化する。一方、アバターAは、アバター制御部115Bによる制御に従って、ユーザBから応答拒否をユーザAに伝えたことを示すように、ユーザAが落胆したことを示すよう変化してもよい。
S105は、ユーザBの応答拒否を確認したものの、ユーザAがユーザBに対し通知の継続(再通知)を行った状態を示す。通知の継続が通信部140Bによって受信され、送信側ユーザ行動状態取得部114Bによって取得されると、アバター制御部115Bによる制御に従って、アバターAは、より高い緊急度を示すよう変化するとよい。
S106は、アバターAの変化を受け、ユーザBが最終的にユーザAとのコミュニケーションを開始した状態を示す。コミュニケーションは、ロケーションXにおける通知開始と同様に、ユーザBがアバターAに話しかけたことがセンサ部120Aによって検出されることで開始されてもよい。なお、入力判定部112Bは、ユーザBがコミュニケーションを開始したことを、ユーザBが特定のジェスチャを行ったことを示す画像情報またはデプス情報に基づいて判定しても良い。一方で、入力判定部112Bは、ユーザBが通知に気付いたこと、またはユーザBが応答拒否を行ったことを、特定のジェスチャを行っていないことを示すユーザBの画像情報またはデプス情報に基づいて判定されてもよい。このような特定のジェスチャは、例えばユーザBの手が顔に近づくジェスチャ、より具体的にはユーザBの手が顔に近接するジェスチャであっても良い。手と顔の近接は、手と顔の距離が所定値以内か否かによって判定され得る。なお、より具体的には、特定のジェスチャは、ユーザBの手と耳が近接するジェスチャ、すなわち、一般的に受話器を耳に当てるジェスチャであってもよい。なお、入力判定部112Bは、ユーザBの画像情報またはデプス情報に基づくユーザBの向き又は視線情報に基づいてユーザBが通知に気付いたことを判定し、ユーザBの音声情報に基づいてコミュニケーションの開始を判定しても良い。この構成において、ユーザBは特定のジェスチャを行うことなくユーザAとのコミュニケーション開始を自然な動作で制御することができる。このように、入力判定部112Bは、ユーザBの意図的な入力(第1の入力)と、相対的に意図的では無い入力(第2の入力)に基づいて、アバターAに関する入力を判定すると見做されても良い。
以上、アバター制御の例について説明した。
図7は、送信側端末10Aの動作例を示すフローチャートである。図7を参照しながら、送信側端末10Aの動作例について説明する。図7に示すように、センサ部120AによってユーザAによる通知開始操作が検出されず、通信部140Aによる通知が開始されない場合には(S201において「No」)、S201が繰り返し実行される。一方、センサ部120AによってユーザAによる通知開始操作が検出され、通信部140Aによる通知が開始された場合には(S201において「Yes」)、S202に動作が移行される。
受信側ユーザBが通知に対する応答を行い、かかる応答が通信部140Aによって受信され、受信側ユーザ行動状態取得部114Aによって応答が取得された場合(S202において「Yes」)、通信部140Aは、受信側端末10Bとの接続を確立する。これによって、通信部140Aは、ユーザAとユーザBとのコミュニケーションを開始させる(S203)。このとき、アバター制御部115Aは、コミュニケーション開始を示すようにアバターBを制御する。
送信側ユーザAがコミュニケーションを継続していることがセンサ部120Aによって検出され、送信側ユーザ行動状態取得部111Aによって取得された場合には(S204において「No」)、S204が繰り返し実行される。一方、送信側ユーザAがコミュニケーションを終了したことがセンサ部120Aによって検出され、送信側ユーザ行動状態取得部111Aによって取得された場合には(S204において「Yes」)、送信側端末10Aの動作が終了する。
受信側ユーザBが通知に対する応答を行わず(S202において「No」)、応答拒否も行わない場合(S211において「No」)、受信側ユーザ行動状態取得部111Bによって、ユーザBが通知に気づいていないことが取得された場合、アバター制御部115Aは、ユーザBが通知に気づいていないことを示すようにアバターBを制御する。
そして、送信側ユーザ行動状態取得部111Aは、通知レベルを判定する(S221)。通知レベルは、ユーザAの行動状態に関する情報の例であり、上記したように、コール時間またはユーザAのストレス度に基づいて推定/取得され得る。通知レベルが更新されない場合には(S222において「No」)、S224に動作が移行されてよい。一方、送信部113Aは、通知レベルが更新された場合には(S222において「Yes」)、更新後の通知レベルを受信側端末10Bに送信し(S223)、S224に進む。
なお、コール時間が長くなるほど、通知レベルが上がるように更新されてよいし、ユーザAのストレス度が大きくなるほど、通知レベルが上がるように更新されてよい。あるいは、ユーザAによる特定のジェスチャが検出された場合、通知レベルが上がるように更新されてもよい。しかし、通知レベルは下がるように更新されてもよい。例えば、送信側ユーザAがユーザBとのコミュニケーション以外に特定の行動を始めてしまったことが検出された場合や、ユーザAによる特定の音声が検出された場合などには、通知レベルは下がるように更新されてもよい。
したがって、現在の通知レベルをユーザAに把握させるため、現在の通知レベルが提示部160AによってユーザAに提示されるとよい。現在の通知レベルは、どのようにユーザAに提示されてもよい。現在の通知レベルが数値によってディスプレイによって表示されてもよい。あるいは、現在の通知レベルに対応する表現を伴うアニメーション(例えば、コール時のアニメーション)がディスプレイによって表示されてもよい。また、通知レベルが更新されないようにユーザAが設定することも可能である。
センサ部120AによってユーザAによる通知終了操作が検出されない場合には(S224において「No」)、S202に動作が移行される。一方、センサ部120AによってユーザAによる通知終了操作が検出された場合には(S224において「Yes」)、動作が終了する。
通信部140Aによって応答拒否が受信され、受信側ユーザ行動状態取得部114Aによって応答拒否が取得された場合(S211において「Yes」)、アバター制御部115Aは、応答拒否を示すようにアバターBを制御する。なお、後に説明するように、応答拒否には、拒否の強さを示すレベル(以下、「拒否レベル」とも言う)が設けられていてもよい。このとき、アバター制御部115Aは、拒否レベルによって異なる状態となるようにアバターBを制御してもよい。
送信側ユーザ行動状態取得部111Aによって、応答拒否に対するユーザAによる容認が取得された場合(S212において「Yes」)、動作が終了する。一方、送信側ユーザ行動状態取得部111Aによって、応答拒否に対するユーザAによる容認が取得されず(S212において「No」)、応答拒否に対するユーザAによる否認も取得されない場合(S213において「No」)、動作が終了する。
一方、送信側ユーザ行動状態取得部111Aによって、応答拒否に対するユーザAによる否認が取得された場合(S213において「Yes」)、通知レベルを更新し(S214)、送信部113Aは、更新後の通知レベルを受信側端末10Bに送信し(S215)、S202に動作が移行される。通知レベルの更新は、上記した通りである。
以上、送信側端末10Aの動作例について説明した。
図8は、受信側端末10Bの動作例を示すフローチャートである。図8を参照しながら、受信側端末10Bの動作例について説明する。図8に示すように、通信部140Bによってネットワーク90を介して送信側端末10Aから通知レベルが受信されると、送信側ユーザ行動状態取得部114Bによって通知レベルが取得され、アバター制御部115Bによって通知レベルに応じてアバターAを制御する(アバターAを変化させる)(S302)。
ユーザBが通知(すなわち、アバターAの変化)に気づかないことがセンサ部120Bによって検出され、受信側ユーザ行動状態取得部111Bによって取得された場合には(S303において「No」)、S301に動作が移行される。一方、ユーザBが通知に気づいたことがセンサ部120Bによって検出され、受信側ユーザ行動状態取得部111Bによって取得された場合には(S303において「Yes」)、S204に動作が移行される。
続いて、受信側ユーザBが通知に対して応答したことがセンサ部120Bによって検出され、受信側ユーザ行動状態取得部111Bによって取得された場合には(S304において「Yes」)、通信部140Bは、送信側端末10Aとの接続を確立する。これによって、通信部140Bは、ユーザAとユーザBとのコミュニケーションを開始させる(S305)。このとき、アバター制御部115Bは、コミュニケーション開始を示すようにアバターAを制御する。
受信側ユーザBがコミュニケーションを継続していることがセンサ部120Bによって検出され、受信側ユーザ行動状態取得部111Bによって取得された場合には(S306において「No」)、S306が繰り返し実行される。一方、受信側ユーザBがコミュニケーションを終了したことがセンサ部120Bによって検出され、受信側ユーザ行動状態取得部111Bによって取得された場合には(S306において「Yes」)、受信側端末10Bの動作が終了する。受信側ユーザBが通知に対する応答を行わない場合(S304において「No」)、S311に動作が移行される。
受信側ユーザBによる応答拒否がセンサ部120Bによって検出されない場合(S311において「No」)、S321に動作が移行される。そして、送信側ユーザの通知終了が通信部140Bによって受信され、送信側ユーザ行動状態取得部114Bによって取得された場合には(S321において「Yes」)、動作が終了する。送信側ユーザの通知終了が通信部140Bによって受信されず、送信側ユーザ行動状態取得部114Bによって取得されない場合には(S321において「No」)、動作がS301に移行される。
受信側ユーザBによる応答拒否がセンサ部120Bによって検出され、受信側ユーザ行動状態取得部111Bによって取得された場合(S311において「Yes」)、応答拒否が送信側端末10Aに送信され、S312に動作が移行される。なお、応答拒否は、どのようにして検出されてもよい。例えば、応答拒否は、ユーザBがアバターAから視線を外したことの検出によって検出されてもよいし、ユーザBがユーザAとのコミュニケーション以外の特定の行動を始めたことの検出によって検出されてもよいし、応答できないという明示的な動作の検出によって検出されてもよい。
また、応答拒否とともに拒否レベルが送信されてもよい。拒否レベルはユーザBによってどのようにして入力されてもよい。例えば、拒否レベルは、ユーザBによる操作(例えば、ボタン操作など)によって入力されてもよいし、ユーザBが発する音声(例えば、「応答できない」といったような特定の音声など)によって入力されてもよいし、ユーザBによるジェスチャ(例えば、通知を遮るような特定の動作など)によって入力されてもよい。
通信部140Bによって受信側ユーザBによる応答拒否に対する送信側ユーザAによる容認が受信された場合(S312において「Yes」)、動作が終了する。一方、通信部140Bによって受信側ユーザBによる応答拒否に対する送信側ユーザAによる容認が受信されない場合(S312において「No」)、S313に動作が移行される。
通信部140Bによって受信側ユーザBによる応答拒否に対する送信側ユーザAによる否認が受信された場合(S313において「Yes」)、S301に動作が移行される。一方、通信部140Bによって受信側ユーザBによる応答拒否に対する送信側ユーザAによる否認が受信されない場合(S313において「No」)、動作が終了する。
以上、受信側端末10Bの動作例について説明した。
<3.ハードウェア構成例>
次に、図9を参照して、本開示の実施形態に係る情報処理装置10(送信側端末10Aおよび受信側端末10B)のハードウェア構成について説明する。図9は、本開示の実施形態に係る情報処理装置10のハードウェア構成例を示すブロック図である。
図9に示すように、情報処理装置10は、CPU(Central Processing unit)901、ROM(Read Only Memory)903、およびRAM(Random Access Memory)905を含む。また、情報処理装置10は、ホストバス907、ブリッジ909、外部バス911、インターフェース913、入力装置915、出力装置917、ストレージ装置919、ドライブ921、接続ポート923、通信装置925を含む。さらに、情報処理装置10は、撮像装置933、およびセンサ935を含む。情報処理装置10は、CPU901に代えて、またはこれとともに、DSP(Digital Signal Processor)またはASIC(Application Specific Integrated Circuit)と呼ばれるような処理回路を有してもよい。
CPU901は、演算処理装置および制御装置として機能し、ROM903、RAM905、ストレージ装置919、またはリムーバブル記録媒体927に記録された各種プログラムに従って、情報処理装置10内の動作全般またはその一部を制御する。ROM903は、CPU901が使用するプログラムや演算パラメータなどを記憶する。RAM905は、CPU901の実行において使用するプログラムや、その実行において適宜変化するパラメータなどを一時的に記憶する。CPU901、ROM903、およびRAM905は、CPUバスなどの内部バスにより構成されるホストバス907により相互に接続されている。さらに、ホストバス907は、ブリッジ909を介して、PCI(Peripheral Component Interconnect/Interface)バスなどの外部バス911に接続されている。
入力装置915は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチおよびレバーなど、ユーザによって操作される装置である。入力装置915は、ユーザの音声を検出するマイクロフォンを含んでもよい。入力装置915は、例えば、赤外線やその他の電波を利用したリモートコントロール装置であってもよいし、情報処理装置10の操作に対応した携帯電話などの外部接続機器929であってもよい。入力装置915は、ユーザが入力した情報に基づいて入力信号を生成してCPU901に出力する入力制御回路を含む。ユーザは、この入力装置915を操作することによって、情報処理装置10に対して各種のデータを入力したり処理動作を指示したりする。
出力装置917は、取得した情報をユーザに対して視覚的または聴覚的に通知することが可能な装置で構成される。出力装置917は、例えば、LCD(Liquid Crystal Display)、PDP(Plasma Display Panel)、有機EL(Electro−Luminescence)ディスプレイ、プロジェクタなどの表示装置、ホログラムの表示装置、スピーカおよびヘッドホンなどの音出力装置、ならびにプリンタ装置などであり得る。出力装置917は、情報処理装置10の処理により得られた結果を、テキストまたは画像などの映像として出力したり、音声または音響などの音として出力したりする。また、出力装置917は、LED(light−emitting diode)などのライトを含んでもよい。
ストレージ装置919は、情報処理装置10の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置919は、例えば、HDD(Hard Disk Drive)などの磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス、または光磁気記憶デバイスなどにより構成される。このストレージ装置919は、CPU901が実行するプログラムや各種データ、および外部から取得した各種のデータなどを格納する。
ドライブ921は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブル記録媒体927のためのリーダライタであり、情報処理装置10に内蔵、あるいは外付けされる。ドライブ921は、装着されているリムーバブル記録媒体927に記録されている情報を読み出して、RAM905に出力する。また、ドライブ921は、装着されているリムーバブル記録媒体927に記録を書き込む。
接続ポート923は、機器を情報処理装置10に直接接続するためのポートである。接続ポート923は、例えば、USB(Universal Serial Bus)ポート、IEEE1394ポート、SCSI(Small Computer System Interface)ポートなどであり得る。また、接続ポート923は、RS−232Cポート、光オーディオ端子、HDMI(登録商標)(High−Definition Multimedia Interface)ポートなどであってもよい。接続ポート923に外部接続機器929を接続することで、情報処理装置10と外部接続機器929との間で各種のデータが交換され得る。
通信装置925は、例えば、通信ネットワーク931に接続するための通信デバイスなどで構成された通信インターフェースである。通信装置925は、例えば、有線または無線LAN(Local Area Network)、Bluetooth(登録商標)、またはWUSB(Wireless USB)用の通信カードなどであり得る。また、通信装置925は、光通信用のルータ、ADSL(Asymmetric Digital Subscriber Line)用のルータ、または、各種通信用のモデムなどであってもよい。通信装置925は、例えば、インターネットや他の通信機器との間で、TCP/IPなどの所定のプロトコルを用いて信号などを送受信する。また、通信装置925に接続される通信ネットワーク931は、有線または無線によって接続されたネットワークであり、例えば、インターネット、家庭内LAN、赤外線通信、ラジオ波通信または衛星通信などである。
撮像装置933は、例えば、CCD(Charge Coupled Device)またはCMOS(Complementary Metal Oxide Semiconductor)などの撮像素子、および撮像素子への被写体像の結像を制御するためのレンズなどの各種の部材を用いて実空間を撮像し、撮像画像を生成する装置である。撮像装置933は、静止画を撮像するものであってもよいし、また動画を撮像するものであってもよい。
センサ935は、例えば、測距センサ、加速度センサ、ジャイロセンサ、地磁気センサ、振動センサ、光センサ、音センサなどの各種のセンサである。センサ935は、例えば情報処理装置10の筐体の姿勢など、情報処理装置10自体の状態に関する情報や、情報処理装置10の周辺の明るさや騒音など、情報処理装置10の周辺環境に関する情報を取得する。また、センサ935は、GPS(Global Positioning System)信号を受信して装置の緯度、経度および高度を測定するGPSセンサを含んでもよい。
<4.むすび>
以上説明したように、本開示の実施形態によれば、第1のロケーションに存在する第1のユーザの行動状態に関する第1行動状態情報を取得する第1行動状態取得部と、第2のロケーションに存在する第2のユーザの行動状態に関する第2行動状態情報を取得する第2行動状態取得部と、前記第2のロケーションにおいて前記第2のユーザが視認可能なように提供される第1のユーザを表す第1のアバターを、前記第1のユーザの行動状態に応じて徐々に変化させるアバター制御部と、前記第2行動状態情報に基づいて前記第1のアバターに関する入力を判定する入力判定部と、前記第1のアバターに関する入力に基づいて、前記第1のロケーションに存在する第1のユーザの端末に信号を送信する送信部と、を備える、情報処理装置が提供される。
かかる構成によれば、通知受信側のユーザまたは通知送信側のユーザが相手の状況を容易に把握することが可能となる。
<5.変形例>
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
例えば、コンピュータに内蔵されるCPU、ROMおよびRAMなどのハードウェアを、上記した制御部110Aが有する機能と同等の機能を発揮させるためのプログラムも作成可能である。また、該プログラムを記録した、コンピュータに読み取り可能な記録媒体も提供され得る。また、例えば、コンピュータに内蔵されるCPU、ROMおよびRAMなどのハードウェアを、上記した制御部110Bが有する機能と同等の機能を発揮させるためのプログラムも作成可能である。また、該プログラムを記録した、コンピュータに読み取り可能な記録媒体も提供され得る。
上記では、送信側ユーザ行動状態取得部111A、入力判定部112A、送信部113A、受信側ユーザ行動状態取得部114Aおよびアバター制御部115Aが、送信側端末10Aに組み込まれている場合について主に説明した。しかし、これらの機能の一部は、送信側端末10Aとは異なる装置に組み込まれてもよい。例えば、入力判定部112Aは、送信側端末10Aとは異なる装置(例えば、サーバなど)に組み込まれていてもよい。
上記では、受信側ユーザ行動状態取得部111B、入力判定部112B、送信部113B、送信側ユーザ行動状態取得部114Bおよびアバター制御部115Bが、受信側端末10Bに組み込まれている場合について主に説明した。しかし、これらの機能の一部は、受信側端末10Bとは異なる装置に組み込まれてもよい。例えば、入力判定部112Bは、受信側端末10Bとは異なる装置(例えば、サーバなど)に組み込まれていてもよい。
上記では、アバターはユーザに視認可能なように提供される場合について主に説明した。一方で、アバターの存在は、いわゆる音像定位を行うことが可能な出力装置を利用することで、視認可能な情報を利用することなくユーザに提示されても良い。すなわち、アバターは、空間のいずれかの位置に定位されるエージェントとして見做されても良く、ユーザへの提供方法は表示制御に限定されない。このような音像定位を行う出力装置として、頭部伝達関数(HRTF)に基づいてアバターの音像を空間に定位するオープンスピーカーが用いられても良い。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏し得る。
なお、以下のような構成も本開示の技術的範囲に属する。
(1)
第1のロケーションに存在する第1のユーザの行動状態に関する第1行動状態情報を取得する第1行動状態取得部と、
第2のロケーションに存在する第2のユーザの行動状態に関する第2行動状態情報を取得する第2行動状態取得部と、
前記第2のロケーションにおいて前記第2のユーザが視認可能なように提供される第1のユーザを表す第1のアバターを、前記第1のユーザの行動状態に応じて徐々に変化させるアバター制御部と、
前記第2行動状態情報に基づいて前記第1のアバターに関する入力を判定する入力判定部と、
前記第1のアバターに関する入力に基づいて、前記第1のロケーションに存在する第1のユーザの端末に信号を送信する送信部と、
を備える、情報処理装置。
(2)
前記第1のアバターに関する入力は、第1の入力または第2の入力の少なくとも一方を含み、
前記送信部は、
前記第1の入力に基づいて、前記第1のユーザの端末にコミュニケーション開始を示す第1の信号を送信し、
前記第2の入力に基づいて、前記第1のユーザの端末にコミュニケーション開始の不許可を示す第2の信号を送信する、(1)に記載の情報処理装置。
(3)
前記アバター制御部は、前記送信部が前記第2の信号を送信した前後で、前記第1行動状態情報に基づくコミュニケーション許可通知が継続的に送信されている場合、前記第1のアバターの状態を、前記第1のユーザからの再通知を示す状態に変更する、(2)に記載の情報処理装置。
(4)
前記第1の入力は、前記第2の入力と比較して相対的に意図的な前記第2のユーザによる入力である、(2)または(3)に記載の情報処理装置。
(5)
前記第2のユーザの画像情報またはデプス情報に基づいて前記第1の入力及び前記第2の入力を判定する入力判定部をさらに備え、
前記第1の入力は、特定のジェスチャに関する情報を含み、
前記第2の入力は、前記特定のジェスチャに関する情報を含まない、(4)に記載の情報処理装置。
(6)
前記特定のジェスチャは、前記第2のユーザの手が前記第2のユーザの顔に近づくジェスチャである、(5)に記載の情報処理装置。
(7)
前記第2のユーザの音声情報に基づいて前記第1の入力を判定するとともに、前記第2のユーザの画像情報またはデプス情報に基づいて前記第2の入力を判定する入力判定部をさらに備える、(4)に記載の情報処理装置。
(8)
前記入力判定部は、前記第2のユーザの画像情報またはデプス情報に基づいて、前記第2の入力として、前記第2のユーザが前記第1のアバターの変化を認識したことを判定する、(4)から(7)のいずれか一項に記載の情報処理装置。
(9)
前記アバター制御部は、前記第1のユーザの端末から送信される、前記第2のユーザとのコミュニケーションの開始に関する許可依頼に応じて、前記第1のアバターの表示の変更を開始する、(1)から(8)のいずれか一項に記載の情報処理装置。
(10)
前記第1のユーザの端末への信号の送信に応じて、ネットワークを介した前記情報処理装置と前記第1のユーザの端末の通信を確立する通信部をさらに備える、(9)に記載の情報処理装置。
(11)
前記送信部は、前記第1のユーザの端末に、前記第2のユーザの行動状態を示す信号を送信する、(1)から(10)のいずれか一項に記載の情報処理装置。
(12)
前記送信部は、前記第1のアバターに関する入力に基づいて、前記第2のユーザの行動状態を示す信号を変化させる、(11)に記載の情報処理装置。
(13)
前記送信部は、前記第1のユーザの端末により制御される前記第2のユーザを示すアバターを制御する信号を送信する、(12)に記載の情報処理装置。
(14)
前記第1のアバターを表示する表示装置を更に備える、(1)から(13)のいずれか一項に記載の情報処理装置。
(15)
前記第1のアバターは、駆動機構を有する移動体である、(1)から(13)のいずれか一項に記載の情報処理装置。
(16)
第1のロケーションに存在する第1のユーザの行動状態に関する第1行動状態情報を取得することと、
第2のロケーションに存在する第2のユーザの行動状態に関する第2行動状態情報を取得することと、
前記第2のロケーションにおいて前記第2のユーザが視認可能なように提供される第1のユーザを表す第1のアバターを、前記第1のユーザの行動状態に応じて徐々に変化させることと、
前記第2行動状態情報に基づいて前記第1のアバターに関する入力を判定することと、
プロセッサが、前記第1のアバターに関する入力に基づいて、前記第1のロケーションに存在する第1のユーザの端末に信号を送信することと、
を含む、情報処理方法。
(18)
コンピュータを、
第1のロケーションに存在する第1のユーザの行動状態に関する第1行動状態情報を取得する第1行動状態取得部と、
第2のロケーションに存在する第2のユーザの行動状態に関する第2行動状態情報を取得する第2行動状態取得部と、
前記第2のロケーションにおいて前記第2のユーザが視認可能なように提供される第1のユーザを表す第1のアバターを、前記第1のユーザの行動状態に応じて徐々に変化させるアバター制御部と、
前記第2行動状態情報に基づいて前記第1のアバターに関する入力を判定する入力判定部と、
前記第1のアバターに関する入力に基づいて、前記第1のロケーションに存在する第1のユーザの端末に信号を送信する送信部と、
を備える情報処理装置として機能させるためのプログラム。
1 情報処理システム
10A 送信側端末(情報処理装置)
110A 制御部
111A 送信側ユーザ行動状態取得部
112A 入力判定部
113A 送信部
114A 受信側ユーザ行動状態取得部
115A アバター制御部
120A センサ部
140A 通信部
150A 記憶部
160A 提示部
10B 受信側端末(情報処理装置)
110B 制御部
111B 受信側ユーザ行動状態取得部
112B 入力判定部
113B 送信部
114B 送信側ユーザ行動状態取得部
115B アバター制御部
120B センサ部
140B 通信部
150B 記憶部
160B 提示部

Claims (17)

  1. 第1のロケーションに存在する第1のユーザの行動状態に関する第1行動状態情報を取得する第1行動状態取得部と、
    第2のロケーションに存在する第2のユーザの行動状態に関する第2行動状態情報を取得する第2行動状態取得部と、
    前記第2のロケーションにおいて前記第2のユーザが視認可能なように提供される第1のユーザを表す第1のアバターを、前記第1のユーザの行動状態に応じて徐々に変化させるアバター制御部と、
    前記第2行動状態情報に基づいて前記第1のアバターに関する入力を判定する入力判定部と、
    前記第1のアバターに関する入力に基づいて、前記第1のロケーションに存在する第1のユーザの端末に信号を送信する送信部と、
    を備える、情報処理装置。
  2. 前記第1のアバターに関する入力は、第1の入力または第2の入力の少なくとも一方を含み、
    前記送信部は、
    前記第1の入力に基づいて、前記第1のユーザの端末にコミュニケーション開始を示す第1の信号を送信し、
    前記第2の入力に基づいて、前記第1のユーザの端末にコミュニケーション開始の不許可を示す第2の信号を送信する、請求項1に記載の情報処理装置。
  3. 前記アバター制御部は、前記送信部が前記第2の信号を送信した前後で、前記第1行動状態情報に基づくコミュニケーション許可通知が継続的に送信されている場合、前記第1のアバターの状態を、前記第1のユーザからの再通知を示す状態に変更する、請求項2に記載の情報処理装置。
  4. 前記第1の入力は、前記第2の入力と比較して相対的に意図的な前記第2のユーザによる入力である、請求項2に記載の情報処理装置。
  5. 前記第2のユーザの画像情報またはデプス情報に基づいて前記第1の入力及び前記第2の入力を判定する入力判定部をさらに備え、
    前記第1の入力は、特定のジェスチャに関する情報を含み、
    前記第2の入力は、前記特定のジェスチャに関する情報を含まない、請求項4に記載の情報処理装置。
  6. 前記特定のジェスチャは、前記第2のユーザの手が前記第2のユーザの顔に近づくジェスチャである、請求項5に記載の情報処理装置。
  7. 前記第2のユーザの音声情報に基づいて前記第1の入力を判定するとともに、前記第2のユーザの画像情報またはデプス情報に基づいて前記第2の入力を判定する入力判定部をさらに備える、請求項4に記載の情報処理装置。
  8. 前記入力判定部は、前記第2のユーザの画像情報またはデプス情報に基づいて、前記第2の入力として、前記第2のユーザが前記第1のアバターの変化を認識したことを判定する、請求項4に記載の情報処理装置。
  9. 前記アバター制御部は、前記第1のユーザの端末から送信される、前記第2のユーザとのコミュニケーションの開始に関する許可依頼に応じて、前記第1のアバターの表示の変更を開始する、請求項1に記載の情報処理装置。
  10. 前記第1のユーザの端末への信号の送信に応じて、ネットワークを介した前記情報処理装置と前記第1のユーザの端末の通信を確立する通信部をさらに備える、請求項9に記載の情報処理装置。
  11. 前記送信部は、前記第1のユーザの端末に、前記第2のユーザの行動状態を示す信号を送信する、請求項1に記載の情報処理装置。
  12. 前記送信部は、前記第1のアバターに関する入力に基づいて、前記第2のユーザの行動状態を示す信号を変化させる、請求項11に記載の情報処理装置。
  13. 前記送信部は、前記第1のユーザの端末により制御される前記第2のユーザを示すアバターを制御する信号を送信する、請求項12に記載の情報処理装置。
  14. 前記第1のアバターを表示する表示装置を更に備える、請求項1に記載の情報処理装置。
  15. 前記第1のアバターは、駆動機構を有する移動体である、請求項1に記載の情報処理装置。
  16. 第1のロケーションに存在する第1のユーザの行動状態に関する第1行動状態情報を取得することと、
    第2のロケーションに存在する第2のユーザの行動状態に関する第2行動状態情報を取得することと、
    前記第2のロケーションにおいて前記第2のユーザが視認可能なように提供される第1のユーザを表す第1のアバターを、前記第1のユーザの行動状態に応じて徐々に変化させることと、
    前記第2行動状態情報に基づいて前記第1のアバターに関する入力を判定することと、
    プロセッサが、前記第1のアバターに関する入力に基づいて、前記第1のロケーションに存在する第1のユーザの端末に信号を送信することと、
    を含む、情報処理方法。
  17. コンピュータを、
    第1のロケーションに存在する第1のユーザの行動状態に関する第1行動状態情報を取得する第1行動状態取得部と、
    第2のロケーションに存在する第2のユーザの行動状態に関する第2行動状態情報を取得する第2行動状態取得部と、
    前記第2のロケーションにおいて前記第2のユーザが視認可能なように提供される第1のユーザを表す第1のアバターを、前記第1のユーザの行動状態に応じて徐々に変化させるアバター制御部と、
    前記第2行動状態情報に基づいて前記第1のアバターに関する入力を判定する入力判定部と、
    前記第1のアバターに関する入力に基づいて、前記第1のロケーションに存在する第1のユーザの端末に信号を送信する送信部と、
    を備える情報処理装置として機能させるためのプログラム。
JP2018069787A 2018-03-30 2018-03-30 情報処理装置、情報処理方法およびプログラム Pending JP2021099538A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2018069787A JP2021099538A (ja) 2018-03-30 2018-03-30 情報処理装置、情報処理方法およびプログラム
US17/040,194 US20210014457A1 (en) 2018-03-30 2019-01-29 Information processing device, information processing method, and program
PCT/JP2019/002858 WO2019187593A1 (ja) 2018-03-30 2019-01-29 情報処理装置、情報処理方法およびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018069787A JP2021099538A (ja) 2018-03-30 2018-03-30 情報処理装置、情報処理方法およびプログラム

Publications (1)

Publication Number Publication Date
JP2021099538A true JP2021099538A (ja) 2021-07-01

Family

ID=68061299

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018069787A Pending JP2021099538A (ja) 2018-03-30 2018-03-30 情報処理装置、情報処理方法およびプログラム

Country Status (3)

Country Link
US (1) US20210014457A1 (ja)
JP (1) JP2021099538A (ja)
WO (1) WO2019187593A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023095531A1 (ja) * 2021-11-25 2023-06-01 ソニーグループ株式会社 情報処理装置、情報処理方法および情報処理プログラム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000066807A (ja) * 1998-08-18 2000-03-03 Nippon Telegr & Teleph Corp <Ntt> 気持ち入力装置、気持ち出力装置および気持ち通信システム
JP2002152386A (ja) * 2000-11-09 2002-05-24 Sony Corp 通信システム、通信方法及び通信端末
US20090300525A1 (en) * 2008-05-27 2009-12-03 Jolliff Maria Elena Romera Method and system for automatically updating avatar to indicate user's status
WO2011004652A1 (ja) * 2009-07-09 2011-01-13 日本電気株式会社 イベント報知装置、イベント報知方法、プログラムおよび記録媒体

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023095531A1 (ja) * 2021-11-25 2023-06-01 ソニーグループ株式会社 情報処理装置、情報処理方法および情報処理プログラム

Also Published As

Publication number Publication date
WO2019187593A1 (ja) 2019-10-03
US20210014457A1 (en) 2021-01-14

Similar Documents

Publication Publication Date Title
US11153431B2 (en) Mobile terminal and method of operating the same
US10613330B2 (en) Information processing device, notification state control method, and program
EP3097458B1 (en) Directing audio output based on gestures
US20230247360A1 (en) Modifying and transferring audio between devices
EP3227788A1 (en) Master device for using connection attribute of electronic accessories connections to facilitate locating an accessory
JP6402718B2 (ja) 情報処理装置、制御方法およびプログラム
WO2019080775A1 (zh) 通知消息的提示方法及移动终端
WO2020057258A1 (zh) 信息处理方法及终端
JP6789668B2 (ja) 情報処理装置、情報処理システム、情報処理方法
WO2019206077A1 (zh) 视频通话处理方法及移动终端
WO2019214502A1 (zh) 多媒体内容的操作方法和移动终端
WO2019154190A1 (zh) 人脸识别解锁控制方法和移动终端
WO2021004281A1 (zh) 状态显示方法及终端设备
KR20170111450A (ko) 보청장치, 휴대장치 및 그 제어방법
JP2019092216A (ja) 情報処理装置、情報処理方法及びプログラム
JP6627775B2 (ja) 情報処理装置、情報処理方法およびプログラム
CN110856152A (zh) 播放音频数据的方法、装置、电子设备及介质
JP2016109726A (ja) 情報処理装置、情報処理方法およびプログラム
WO2015125364A1 (ja) 電子機器、および画像の提供方法
WO2019187593A1 (ja) 情報処理装置、情報処理方法およびプログラム
KR102379070B1 (ko) 화상통신 디바이스 및 동작 방법
WO2018227757A1 (zh) 一种提示方法以及vr设备
US20210333862A1 (en) Information processing apparatus, information processing method, and program
CN111010480A (zh) 一种通信控制及相关设备
KR101497181B1 (ko) 통화모드를 제어하는 방법, 모바일 단말기 및 기록매체