JP2022002387A - 情報処理装置、情報処理方法およびプログラム - Google Patents

情報処理装置、情報処理方法およびプログラム Download PDF

Info

Publication number
JP2022002387A
JP2022002387A JP2020172415A JP2020172415A JP2022002387A JP 2022002387 A JP2022002387 A JP 2022002387A JP 2020172415 A JP2020172415 A JP 2020172415A JP 2020172415 A JP2020172415 A JP 2020172415A JP 2022002387 A JP2022002387 A JP 2022002387A
Authority
JP
Japan
Prior art keywords
user
communication
communication method
information
virtual space
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020172415A
Other languages
English (en)
Other versions
JP7143874B2 (ja
Inventor
ジョン・セーヒョン
Sae Hyung Jung
博和 長谷川
Hirokazu Hasegawa
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ovice Inc
Original Assignee
Ovice Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ovice Inc filed Critical Ovice Inc
Priority to EP21809303.7A priority Critical patent/EP4141764A1/en
Priority to IL293438A priority patent/IL293438A/en
Priority to IL293437A priority patent/IL293437A/en
Priority to US17/761,081 priority patent/US11871152B2/en
Priority to US17/761,095 priority patent/US20220345325A1/en
Priority to CA3152507A priority patent/CA3152507A1/en
Priority to CN202180006019.5A priority patent/CN115486057A/zh
Priority to CA3152654A priority patent/CA3152654A1/en
Priority to CN202180006018.0A priority patent/CN115485705A/zh
Priority to AU2021274233A priority patent/AU2021274233A1/en
Priority to PCT/JP2021/016458 priority patent/WO2021235173A1/ja
Priority to PCT/JP2021/016457 priority patent/WO2021235172A1/ja
Priority to KR1020227010796A priority patent/KR20230015302A/ko
Priority to KR1020227010795A priority patent/KR20230015870A/ko
Priority to EP21808741.9A priority patent/EP4134890A1/en
Priority to AU2021276760A priority patent/AU2021276760A1/en
Publication of JP2022002387A publication Critical patent/JP2022002387A/ja
Application granted granted Critical
Publication of JP7143874B2 publication Critical patent/JP7143874B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Information Transfer Between Computers (AREA)
  • Telephonic Communication Services (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

【課題】ユーザ同士のコミュニケーション手段において、より利便性が高く、利用しやすいコミュニケーション手段を提供する。【解決手段】位置情報管理部80は、アイコン位置情報に基づいて各ユーザに対応するアイコンの仮想空間内における位置を特定する。オブジェクト会話管理部62は、仮想空間内に配置されたオブジェクトに対するユーザの指示操作がされた場合、ユーザ端末2の夫々から送信されてくるオブジェクト指示操作情報を取得する。通常会話管理部63は、オブジェクトに対するユーザの指示操作がなされていない場合、通常会話モードに関する各種処理を実行する。通信方式決定部64は、ユーザに提供されるコミュニケーションの方式および当該コミュニケーションを実現する通信方式を決定する。出力情報生成部65は、ユーザ端末の夫々で出力するための出力情報を生成する。【選択図】図3

Description

本発明は、情報処理装置、情報処理方法およびプログラムに関する。
従来より、いわゆるWEB会議など、ネットワークを介して音声や動画像を参加者が共有する技術が存在する。しかし、このようなWEB会議においては、軽微な通信の遅延などであっても、円滑なコミュニケーションが妨げられることも多い。そのため、多くの場合、通信状況の維持や通信方式の選択が課題とされている。
そして、例えば、クライアントから取得されたノイズの音量に応じて通信方式を選択可能な技術が提案されている(例えば、特許文献1を参照)。
特開2019−117998号公報
しかし、上述の特許文献1に記載の従来技術のみでは、あくまでもノイズの音量に応じた通信方法を選択できるに過ぎず、会話の種別や性質に合わせて、通信方式を選択できるわけではない。さらに言えば、上述の特許文献1に言う通信方式とは、単にノイズなどが生じた場合にテキスト文章での意思疎通を行うなどの代替手段を提供しているに過ぎず、十分な通信方式を選択できていると言うことは困難である。
本発明は、このような状況に鑑みてなされたものであり、ユーザ同士のコミュニケーション手段において、より利便性が高く、利用しやすいコミュニケーション手段を提供することを目的とする。
上記目的を達成するため、本発明の一態様の情報処理装置は、
仮想空間を用いた第1ユーザおよび第2ユーザのコミュニケーションに利用し得るコミュニケーションシステムにかかる情報処理装置であって、
前記第1ユーザおよび前記第2ユーザの前記仮想空間における位置に関する情報を、位置情報として取得する位置情報取得手段と、
前記第1ユーザまたは前記第2ユーザの前記仮想空間における指示操作または入力に関する情報を、入力情報として取得する入力情報取得手段と、
取得された前記位置情報または前記入力情報の少なくとも一方に基づいて、前記コミュニケーションを実現する通信方式を決定する通信方式決定手段と、
を備える。
本発明によれば、ユーザ同士のコミュニケーション手段において、より利便性が高く、利用しやすいコミュニケーション手段を提供することができる。
本発明の一実施形態にかかる情報処理システムの構成の一例を示すブロック図である。 図1の情報処理システムのうちサーバのハードウェア構成の一例を示す図である。 図2のサーバおよび図1のユーザ端末の機能的構成のうち、通信方式決定処理を実行するための機能的構成の一例を示す機能ブロック図である。 本発明の一実施形態にかかる情報処理システムに関係する従来技術の概要を説明する図である。 図3のユーザ端末を介してユーザに表示される画像の一例を示す図である。 図3のユーザ端末を介してユーザに表示される画像の一例を示す図であり、図5の例とは異なる例を示す図である。 図3の機能的構成を有するサーバの処理のうち、通信方式決定処理の流れの一例を説明するフローチャートである。
以下、本発明の実施形態について、図面を用いて説明する。
ここで、図1の説明をするに先立ち、本発明の一実施形態にかかる情報処理システム(以下、「本システム」と呼ぶ)の適用対象となるサービスについて簡単に説明する。なお、以下、本システムの適用対象となるサービスを本サービスと呼ぶ。
本サービスは、仮想空間などを利用したコミュニケーションサービス(以下、「WEB会議サービス」と呼ぶ)において、仮想空間に関する所定の基準に基づいて、適切な通信方式などを決定する通信方式の決定サービスである。
具体的に例えば、本サービスは、仮想空間内の状況などに基づいて、その状況に適したコミュニケーションの方法および通信方式を決定し、その方法によりコミュニケーションを実現することができる。
ここで、本サービスにかかるサーバは、以下に示す第1の通信方式または第2の通信方式のうちから、適切な通信方式を決定する。
第1の通信方式とは、他のサーバを経由して情報の送受信を行う方法である。この第1の通信方式は、サーバからユーザに対して情報が送受信されるため、多人数で通信を行う場合であっても通信量の増大を抑えることができる。一方、第1の通信方式は、サーバを経由するため遅延などが発生する可能性がある。さらに、第1の通信方式は、サービス提供者にサーバ管理コストが発生する。
第2の通信方式とは、他のサーバなどを経由せずユーザ同士がP2P(Peer to Peer)などの方式により直接通信を行うことで、情報の送受信を行う方法である。第2の通信方式は、典型的に例えば、オープンソースとして提供されているWebRTC(Web Real Time Communication)などが採用されてもよい。
この第2の通信方式は、特に少人数での通信を行う場合に、経由するサーバがないため、遅延が少なく安定的な通信が可能である。また、第2の通信方式は、ユーザが直接通信を行うため、サービスの提供者のサーバ管理コストを軽減することができる。一方、第2の通信方式は、多人数で通信を行う場合、ユーザの端末に負荷がかかり、全体の通信量も増大する。
以上をまとめると、本サービスは、仮想空間内の状況に応じて適切なコミュニケーションの方法および通信の方式を選択し、最適なコミュニケーションの機会を提供することができる。これにより、本サービスの提供を受けるユーザは、仮想空間を利用した多種多様なコミュニケーションを行うことができるだけでなく、情報の遅延や欠落が少ない状況で快適にそれぞれのコミュニケーションを実現することができる。
続いて、図1を参照しながら、本システムの構成について説明する。
図1は、本発明の一実施形態にかかる情報処理システムの構成の一例を示すブロック図である。
図1に示す通り、本システムは、サーバ1と、ユーザ端末2−1乃至2−n(nは1以上の任意の整数値)とを含み構成される。サーバ1と、ユーザ端末2−1乃至2−nとは、インターネット等のネットワークNを介して相互に接続されている。なお、ネットワークNは、必ずしも必須の構成要素ではなく、例えば、Bluetooth(登録商標)、Wi−Fi、LAN(Local Area Network)などが利用されてもよい。
また、以降の説明においてユーザ端末2−1乃至2−nのそれぞれを個々に区別する必要がない場合、これらをまとめて「ユーザ端末2」と呼ぶ。
サーバ1は、例えば、本サービスの提供者などにより管理される情報処理装置である。サーバ1は、ユーザ端末2のそれぞれと、ネットワークNを介して適宜通信をしながら、後述する各種処理を実行する
ユーザ端末2は、例えば、本サービスの提供を希望するユーザにより操作される情報処理端末である。なお、ユーザ端末2は、例えば、汎用的なスマートフォン、タブレット、もしくはパーソナルコンピュータなどで構成される。
図2は、図1の情報処理システムのうちサーバのハードウェア構成の一例を示すブロック図である。
サーバ1は、制御部11と、ROM(Read Only Memory)12と、RAM(Random Access Memory)13と、バス14と、入出力インターフェース15と、出力部16と、入力部17と、記憶部18と、通信部19と、ドライブ20とを備えている。
制御部11は、CPUやGPUおよび半導体メモリを含むマイクロコンピュータ等で構成され、ROM12に記録されているプログラム、または記憶部18からRAM13にロードされたプログラムに従って各種の処理を実行する。
RAM13には、制御部11が各種の処理を実行する上において必要なデータ等も適宜記憶される。
制御部11、ROM12およびRAM13は、バス14を介して相互に接続されている。このバス14にはまた、入出力インターフェース15も接続されている。入出力インターフェース15には、出力部16、入力部17、記憶部18、通信部19およびドライブ20が接続されている。
出力部16は、ディスプレイやスピーカ等で構成され、各種情報を画像や音声として出力する。
入力部17は、キーボードやマウス等で構成され、各種情報を入力する。
記憶部18は、ハードディスクやDRAM(Dynamic Random Access Memory)等で構成され、各種データを記憶する。
通信部19は、インターネットを含むネットワークNを介して他の装置(例えば図1のユーザ端末2)との間で通信を行う。
ドライブ20は、必要に応じて設けられる。ドライブ20には、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等よりなる、リムーバブルメディア31が適宜装着される。ドライブ20によってリムーバブルメディア31から読み出されたプログラムは、必要に応じて記憶部18にインストールされる。また、リムーバブルメディア31は、記憶部18に記憶されている各種データも、記憶部18と同様に記憶することができる。
ここで、ユーザ端末2のハードウェア構成は、サーバ1のハードウェア構成と基本的に同様とすることができので、ここでは説明を省略する。
このようなサーバ1およびユーザ端末2を含む、本システムを構成する各種ハードウェアとソフトウェアとの協同により、本システムにおける各種処理の実行が可能となる。
図3は、図2のサーバおよび図1のユーザ端末の機能的構成のうち、通信方式決定処理を実行するための機能的構成の一例を示す機能ブロック図である。
ここで、上述の通り、ユーザ端末2−1乃至2−nは、音声情報の送信および受信(コミュニケーション)を希望するn人のユーザの夫々により使用される。そのため、ユーザ端末2−1乃至2−nの何れもが、上述の図3に示す機能的構成を有するが、説明の便宜上、情報の送信を希望するユーザ(以下、「発信者」と呼ぶ)の使用するユーザ端末2−Eについては、各機能ブロックの符号の最後に「E」を付し、情報の受信を希望するユーザ(以下、「受信者」と呼ぶ)が使用するユーザ端末2−Fについては各機能ブロックの最後に「F」を付している。また、図3の例において、点線は、機能ブロック自体は有するが、当該機能ブロックは機能しないことを意味している。すなわち、図3の例において、ユーザ端末2−Eは音声情報の送信にのみ利用されるため、出力情報管理部223−Eは機能しない。
図3に示すように、サーバ1の制御部11は、各種プログラム等を実行することにより、送信音声情報取得部60と、仮想空間管理部61と、オブジェクト会話管理部62と、通常会話管理部63と、通信方式決定部64と、出力情報生成部65として機能する。
サーバ1の送信音声情報取得部60は、ユーザ端末2−Eから送信されてくる発信者が送信を希望する音声に関する情報(以下、「送信音声情報」と呼ぶ)を、通信部19を介して取得する。
仮想空間管理部61は、図示せぬDBなどに格納されている画像情報などに基づいて、ユーザの夫々に提示し得る仮想空間を生成し、生成した仮想空間に関する情報(以下、「仮想空間情報」と呼ぶ)を、ユーザ端末2−Eおよびユーザ端末2−Fのそれぞれに送信する。なお、ユーザ端末2−Eおよび2−Fのそれぞれで取得された仮想空間情報は、図示せぬ表示部を介して、ユーザのそれぞれに提示される。
ここで、仮想空間情報を提示されたユーザのそれぞれは、仮想空間内の状況やコミュニケーションの目的などに応じて、自身に対応するアイコンを仮想空間内の任意の位置に配置することができる。そして、このようにして配置された各アイコンの仮想空間内の位置情報(「アイコン位置情報」と呼ぶ)は、ユーザ端末2−Eおよび2−Fのそれぞれからサーバ1へと送信される。
そこで、仮想空間管理部61の位置情報管理部80は、ユーザ端末2−Eおよび2−Fのそれぞれから送信されてきた、各アイコンのアイコン位置情報を、通信部19を介して取得する。仮想空間管理部61は、取得したアイコン位置情報に基づいて、各アイコンの仮想空間内の位置を特定する。
なお、各アイコンの仮想空間内の位置と各種コミュニケーションとの関係については、図4などを参照しながら後述する。
オブジェクト会話管理部62は、ユーザのそれぞれの仮想空間における指示操作または入力に関する情報(以下、「指示操作情報」と呼ぶ)を取得する。
すなわち、オブジェクト会話管理部62は、ユーザ端末2のそれぞれから送信されてくるユーザが所定のオブジェクトに対してクリック操作を行ったか否かなどを含む指示操作情報を、通信部19を介して取得する。
そして、オブジェクト会話管理部62は、取得した指示操作情報に基づいて、オブジェクトに対する指示操作がなされているか否かを判断する。
ここで、オブジェクトとは、本サービスおよび上述のWEB会議サービスにおいて、例えば、ノートパソコンやプロジェクターなどを模してデザインされたアイコンである。本実施形態においてオブジェクトは、仮想空間内の所定の位置に静的に配置され、例えば、本システムにおけるモードの切り替えや通信方式の決定などに利用される。なお、オブジェクトの詳細については、図5などを参照しながら、後述する。
また、オブジェクト会話管理部62は、後述する通信方式決定部64でコミュニケーションの方式が「オブジェクト会話モード」に決定された場合、対象となるユーザのそれぞれに対して、オブジェクト会話モードおよび第1の通信方式に関する各種処理を実行する。
通常会話管理部63は、後述する通信方式決定部64でコミュニケーションの方式が「通常会話モード」に決定された場合、対象となるユーザのそれぞれに対して、通常会話モードおよび第2の通信方式に関する各種処理を実行する。
距離算出部90は、位置情報管理部80で取得されたアイコン位置情報に基づいて、仮想空間内における各アイコンの距離を算出する。なお、各アイコンの距離は、後述する出力情報生成部65において、出力情報が生成される際の補正(音声の大きさなど)の条件として利用される。
通信方式決定部64は、位置情報管理部80で取得されたアイコン位置情報およびオブジェクト会話管理部62で取得されたオブジェクト指示操作情報に基づいて、ユーザに提供されるコミュニケーションの方式および当該コミュニケーションを実現する通信方式を決定する。
具体的に例えば、通信方式決定部64は、対象となるユーザに提供されるコミュニケーションの方式として、「オブジェクト会話モード」または「通常会話モード」のいずれかのモードを決定する。
オブジェクト会話モードとは、例えば、オブジェクトを介して接続されたアイコンに対応するユーザを、一律に取り扱い会話を実現するモードである。具体的に例えば、サーバ1は、仮想空間内に設置されたオブジェクトに対して指示操作を行ったユーザを通信の対象として特定し、対応するユーザ端末2のそれぞれを第1の通信方式により接続する。
これに対して、通常会話モードとは、ユーザに対応するアイコンのそれぞれの距離に応じて、出力する音声の音量などを変更する会話を実現するモードである。具体的に例えば、サーバ1は、上述の指示操作を行わず、かつ仮想空間内で近接した位置に配置されたアイコンに対応するユーザを通信の対象として特定し、対応するユーザ端末2のそれぞれを第2の通信方式により接続する。なお、オブジェクト会話モードおよび通常会話モードの詳細については、図4乃至6の図面を参照しながら、それぞれ説明する。
出力情報生成部65は、送信音声情報取得部60で取得された送信音声情報などに基づいて、ユーザ端末2の夫々で出力する情報(以下、「出力情報」と呼ぶ)を生成する。また、出力情報生成部65は、生成した出力情報の夫々を、ユーザ端末2の夫々へ送信する。
続いて、ユーザ端末2−Eの機能的構成の一例について説明する。
図3に示すように、ユーザ端末2−Eの制御部200−Eは、各種プログラム等を実行することにより、仮想空間管理部220−Eと、操作情報管理部221−Eと、送信音声情報管理部222−Eと、出力情報管理部223−Eとして機能する。
ユーザ端末2−Eの仮想空間管理部220−Eは、サーバ1から送信されてきた仮想空間情報を、通信部203−Eを介して取得する。また、仮想空間管理部220−Eは、取得した仮想空間情報を出力部201−Eに表示する。
操作情報管理部221−Eは、出力部201−Eを介して仮想空間情報を提示されたユーザによる指示操作または入力操作に関する指示操作情報を受け付ける。また、操作情報管理部221−Eは、受け付けた指示操作情報を、サーバ1へ送信する。
送信音声情報管理部222−Eは、ユーザ(発信者)が送信を希望する音声に関する情報(以下、「送信側音声情報」と呼ぶ)を取得する。送信音声情報管理部222−Eは、取得した送信側音声情報を、サーバ1へ送信する。
ここで、上述の通り、ユーザ端末2−Eおよび2−Fは、原則として同様の機能的構成を有することができるが、ユーザ端末2−Eにおいて、出力情報管理部223−Eは機能しない。一方で、ユーザ端末2−Fにおいては、送信音声情報管理部222−Fは機能しないが、出力情報管理部223−Fは機能する。
そこで、ユーザ端末2−Fの機能的構成について、必要な部分のみを説明する。出力情報管理部223−Fは、サーバ1から送信されてきた出力情報を、通信部203−Fを介して取得する。また、出力情報管理部223−Fは、取得した出力情報を出力部201−Fを介して出力する。
続いて、図4を参照しながら、本サービスと関係するWEB会議サービスの一例について説明する。図4は、本発明の一実施形態にかかる情報処理システムと関係する従来技術の概要を説明する図である。
図4には、現実世界の会議室を模した仮想空間(以下、「オフィス空間」と呼ぶ)が表示されている。そして、図4の例では、ユーザの夫々に対応するアイコンA乃至Dがオフィス空間の所定の位置に表示されている。
上述のWEB会議サービスでは、例えば、オフィス空間におけるアイコンの距離に応じて、出力される音声の音量などが調整される。
そして、図4の例では、アイコンAとアイコンBは互いに近い位置に配置されているのに対して、アイコンAとアイコンCは比較的離れた位置にアイコンが配置されている。アイコンAとアイコンDは、さらに離れた位置にアイコンが配置されている。
そのため、上述のWEB会議サービスでは、例えば「A」のアイコン対応するユーザにより入力された音声は、「B」のアイコンに対応するユーザのユーザ端末2では大きく出力され、「C」のアイコンに対応するユーザのユーザ端末2では小さく出力される。
なお、図4における点線は、例えば「A」のアイコンに対応するユーザの音声の可聴域を示している。そのため、アイコン「D」に対応するユーザのユーザ端末2では、「A」に対応するユーザの音声は出力されない。
ここで、上述のWEB会議サービスにおいて、ユーザの夫々は、例えば、アイコンをドラッグする操作などにより、自身に対応するアイコンをオフィス空間内で自由に移動させることができる。
そのため、例えば、ユーザは、他のユーザとの会話を希望するのであれば会話を希望するユーザの近くにアイコンを配置して、会話を行うことができる。他方、例えば、ユーザが仕事に集中したい場合であれば、敢えて他のユーザと遠い距離(可聴域外)にアイコンを配置することで、他のユーザの音声が出力されないように設定してもよい。
すなわち、上述のWEB会議サービスにおいて、ユーザの夫々は、仮想空間内で自身に対応するアイコンを任意の場所に配置することにより、仮想空間内に配置されたアイコンの位置(位置関係)に応じて、あたかも現実世界でのコミュニケーションと同様に、多種多様なコミュニケーションの態様を実現することができる。
そして、本サービスは、このような仮想空間を利用したWEB会議サービスにおいて、仮想空間内の状況などに応じて、最適なコミュニケーションの方式および通信方法を提案するものである。
続いて、図5を参照しながら本サービスにおけるオブジェクト会話モードについて詳細に説明する。
図5は、図3のユーザ端末を介してユーザに表示される画像の一例を示す図である。
図5を見ると、アイコンT1乃至T3の夫々は、仮想空間内に設置されたオブジェクトPと矢印を介して関連付けされている。図5の例では、アイコンT1乃至T3の夫々に対応するユーザの夫々は、オブジェクトPを利用したオブジェクト会話モードでの会話を希望しており、事前にそれぞれのユーザによりオブジェクトPへの指示操作が行われている状況である。
そのため、サーバ1の通信方式決定部64は、アイコンT1乃至T3に対応するユーザを対象として、オブジェクト会話モードにより会話を行うことを決定する。オブジェクト会話モードにおいて、全てのユーザはそれぞれのアイコンの位置に関係することなく、会話を行うことができる。そのため、任意の発信者(例えば、アイコンT1に対応するユーザ)により入力された音声は、夫々のアイコンの距離に関係なく、他のユーザ(例えば、アイコンT2およびT3に対応するユーザ)のユーザ端末2において、入力された音量の同じ程度の大きさでそのまま出力される。
これに対して、図6の例では、アイコンT4乃至T6の夫々は、仮想空間内のオブジェクトに対して、特に関連付けられてはいない。このような場合、サーバ1の通信方式決定部64は、アイコンT4乃至T6に対応するユーザを対象として、通常モードにより会話を行うことを決定する。
具体的に図6の例において、アイコンT4およびT5は仮想空間内で近接して配置されているのに対して、アイコンT6は他のアイコンとは離れた位置に配置されている。ここで、図6の例では、アイコンT4に対応するユーザが発信者であり、図中に表示された点線は会話の可聴域を示している。そのため、図6の例では、アイコンT4に対応するユーザにより入力された音声情報は、アイコンT6に対応するユーザのユーザ端末2では出力されない。
ここで重要な点の一つは、オブジェクト会話モードは、アイコン同士の距離によらず会話が可能であることから、比較的多人数で会話する状況が想定される。これに対して、通常会話モードは、仮想空間内の近接した領域に配置されたアイコンに対応するユーザのみで会話が行われるため、比較的少人数での会話が想定される。このような考え方に基づいて、通信方式決定部64は、オブジェクト会話モードの場合には第1の通信方式を採用し、通常会話モードの場合には第2の通信方式を採用する。
つまり、通信方式決定部64は、仮想空間を利用したコミュニケーションシステムなどにおいて、その仮想空間の状況から想定されるシチュエーションに対して、ふさわしい会話の方法やそれに伴う通信方式を提案する。これにより、本サービスは、情報の遅延や欠落を効率的に低減しつつ、ユーザの希望(仮想空間における操作など)に応じたコミュニケーションを実現することが可能となる。
図7は、図3の機能的構成を有するサーバの処理のうち、通信方式決定処理の流れの一例を説明するフローチャートである。
ステップS1において、仮想空間管理部61は、図示せぬDBなどに格納されている画像情報などに基づいて、ユーザの夫々に提示し得る仮想空間を生成し、生成した仮想空間情報を、ユーザ端末2−Eおよびユーザ端末2−Fの夫々に送信する。
ステップS2において、位置情報管理部80は、ユーザ端末2の夫々から送信されてきたアイコン位置情報を取得する。
また、ステップS2において、仮想空間管理部61は、取得したアイコン位置情報に基づいて、各ユーザに対応するアイコンの仮想空間内における位置を特定する。
ステップS3において、オブジェクト会話管理部62は、ユーザ端末2の夫々から送信されてくる指示操作情報を取得する。
ステップS4において、オブジェクト会話管理部62は、ステップS3で取得した指示操作情報に基づいて、ユーザにより所定のオブジェクトに対する指示操作がなされてたか否かを判断する。
ここで、オブジェクト会話管理部62は、ユーザにより所定のオブジェクトに対する指示操作がなされたと判断した場合、ステップS4においてYESと判断されて、処理はステップS5へ進む。
これに対して、オブジェクト会話管理部62は、ユーザにより所定のオブジェクトに対する指示操作がなされていないと判断された場合、ステップS4においてNOであると判断されて、処理はステップS7へ進む。
ステップS5において、オブジェクト会話管理部62は、対象となるユーザ端末2が会話を遮断する設定(以下、「ミュート設定」と呼ぶ)がされているか否かを判断する。
ここで、オブジェクト会話管理部62は、ミュート設定がされていないと判断した場合、ステップS5においてYESと判断され、処理はステップS6に進む。
これに対して、オブジェクト会話管理部62は、ミュート設定がされていると判断した場合、ステップS5において処理はステップS11へ進む。
ステップS6において、通信方式決定部64は、ステップS4でオブジェクト指示操作がなされたと判断され、ステップS5でミュート設定がなされていないと判断された場合、第1の通信方式を利用したオブジェクト会話モードでの会話を実行することを決定する。このようにしてステップS6の処理が終了すると処理はステップS2へ戻される。
なお、オブジェクト会話モードおよび第1の通信方式に関する各種処理は、オブジェクト会話管理部62により実行されてもよい。
ステップS7において、距離算出部90は、ステップS2において特定された各ユーザに対応するアイコンの仮想空間内における位置に基づいて、それぞれのアイコンの距離を算出する。
ステップS8において、通常会話管理部63は、ステップS7で算出されたアイコン間の距離の夫々が、所定の距離以内(例えば、可聴域内)であるか否かを判断する。
ここで、通常会話管理部63は、アイコン間の距離の夫々が、所定の距離以内と判断した場合、ステップS8においてYESと判断され、処理はステップS9へ進む。
これに対して、通常会話管理部63は、アイコン間の距離の夫々が、所定の距離以内ではないと判断した場合、ステップS8においてNOと判断されて、処理はステップS11へ進む。
ステップS9において、通常会話管理部63は、対象となるユーザ端末2にミュート設定がされているか否かを判断する。
ここで、通常会話管理部63は、ミュート設定がされていないと判断した場合、ステップS9においてYESと判断されて、処理はステップS10に進む。
これに対して、通常会話管理部63は、ミュート設定がされていると判断した場合、ステップS9においてNOと判断されて、処理はステップS11に進む。
ステップS10において、通信方式決定部64は、ステップS8でアイコン間の距離の夫々が所定の距離以内と判断され、ステップS9でミュート設定がなされていないと判断された場合、第2の通信方式を利用した通常会話モードでの会話を実行することを決定する。このようにしてステップS10の処理が終了すると処理はステップS2へ戻される。
なお、第2の通信方式および通常会話モードに関する各種処理は、通常会話管理部63により実行されてもよい。
ステップS11において、通信方式決定部64は、各ステップにおいて上述の各種条件が満たされていないと判断された場合、各ユーザ端末2の夫々について通信を行わない旨を決定する。このようにしてステップS11の処理が終了すると処理はステップS2へ戻される。
以上本発明の一実施形態について説明したが、本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。
また例えば、上述の実施形態において、コミュニケーションは会話であり、送受信する情報の対象は音声であるものとして説明したが、特にこれに限定されない。
すなわち、コミュニケーションは、会話以外のあらゆるコミュニケーションの手段で良いし、また、送受信する情報も音声だけでなく、テキスト情報、画像情報などの各種各様の情報であってもよい。
また例えば、上述の実施形態(特に図6に示す実施形態)において、説明を省略したが、上述の各種アイコンに視野(向き)の概念を採用してもよい。
具体的に例えば、図6の例では、アイコンT4およびT5の付近には、三角の小さなアイコン(以下、「視野アイコン」と呼ぶ)が表示されている。これらの視野アイコンは、それぞれのアイコンT4およびT5の「視野(向き)」を示している。図6の例では、視野アイコンは互いのアイコンの方向を向いており、例えば、現実世界で言うところの、互いのユーザが注目し、向かい合って話をしている状況と考えることができる。このような場合、例えば、それぞれのアイコンに対応するユーザ端末2の夫々では、互いに大きな音声が出力されてもよい。逆に、互いのアイコンが互いに向き合っていない場合には夫々のユーザ端末2において、小さな音声が出力されてもよい。
また例えば、上述の実施形態(特に図5に示す実施形態)では、簡易的な説明のみを行ったが、オブジェクトの概念について補足的に説明する。
オブジェクトは、例えば、仮想空間内の任意の位置に固定して配置され、全てのユーザに共通したコンテンツの利用を促すことに利用される。すなわち、オブジェクトは、上述の実施形態(特に図5に示す実施形態)のように指示操作(クリックなど)を行ったユーザに共通して会話を実現させることに利用できるだけでなく、例えば、動画像の再生や各種ゲーム(将棋、オセロ、人狼ゲームなど)への参加、動画像の共有(カメラ画像やPC画像など)、広告の再生など、あらゆる内容のコンテンツを共有し得るオブジェクトであってもよい。
ここで、このようなオブジェクトの使用には、自身が使用して楽しむ要素の他、他者とのインタラクティブを実現するという意味合いを含んでいる。すなわち、例えば、オブジェクトとして一人でプレイすることを前提とするゲームを採用する場合には、自身が楽しむことを主たる目的とする。これに対して、他者とプレイすることを前提とするゲームや画面の共有などを行う場合には、他者とのインタラクティブを実現することを主たる目的とする。
これにより、サービスの提供を受けたユーザの夫々は、さらに現実世界に近い多様なコミュニケーションを実現することができる。
さらに言えば、オブジェクトは、設定されるコンテンツの内容などに応じて、動的オブジェクトまたは静的オブジェクトを含むことができる。
すなわち、動的オブジェクトとは、テレビやプロジェクターなど、設定されたコンテンツの内容が頻繁に変更され得るオブジェクトであってもよい。他方、静的オブジェクトとは、大型の看板や案内板など、設定されたコンテンツの内容が変更されることが少ないオブジェクトであってもよい。これにより、サービスの提供を受けたユーザの夫々は、さらに現実世界に近い多様なコミュニケーションを実現することができる。
また例えば、上述の実施形態において、WEB会議サービスは、仮想空間内の距離に応じて、出力する音声などの調整や各種コミュニケーションの方法などを決定するものとして説明したが、特にこれに限定されない。
すなわち、本システムと関連性の高いWEB会議サービスは、必ずしも仮想空間内の距離に基づく処理が実行される必要はないし、各ユーザに対応したアイコンなどが使用される必要もなく本サービスの提供者など任意である。
また例えば、上述の実施形態において、サーバ1の通信方式決定部64は、オブジェクトに対する指示操作の有無に基づいて、会話(コミュニケーション)の方法および通信方式を決定したが、特にこれに限定されない。
通信方式決定部64は、仮想空間内の状況についての任意の基準に基づいて、会話(コミュニケーション)の方法および通信方式を決定してもよい。例えば、通信方式決定部64は、仮想空間(または表示空間など)に表示されるIDの順番、グループの種別などに応じて、会話(コミュニケーション)の方法および通信方式を決定してもよい。
また例えば、本サービスおよびWEB会議サービスにおいて、AR(Augmented Reality)、VR(Virtual Reality)など、仮想空間に関連する工学的な手法が応用されてもよい。
また例えば、本サービスおよびWEB会議サービスにおいて、上述の実施形態で示すアイコンの他、図示はしないが、メガフォン、マイク、ドア(出入口)等を示すアイコンが任意の位置に配置されてもよい。
具体的に例えば、メガフォンは、会議室に入室しているユーザ以外の全てのユーザに音声を届かせる必要があるときに利用するアイコンである。また、マイクは、自身が発する音声のミュートのONとOFFとを切り替えるときに利用するアイコンである。また、ドアは、オフィス空間を退室してロビー(図示せず)に移動する際に利用するアイコンである。
また例えば、上述のWEB会議サービスまたは本システムに関連するサービスにおいて、仮想空間としてオフィス空間が採用されているが、特にこれに限定されない。他のあらゆる仮想空間が採用されてもよい。具体的には例えば、イベント会場、パーティールーム、レストラン、お見合い会場など各種各様の仮想空間が採用されてもよい。
ここで、本サービスの適用対象となる仮想空間としてイベント会場を採用する場合の詳細について補足する。一般的にイベント会場では、多数のユーザが任意の行動を行うため、多種多様なコミュニケーションがリアルタイムで発生する。本サービスでは、直感的に認識可能なUIのみにより、このような現実世界においてリアルタイムに発生し得る多種多様なコミュニケーションをリアルタイムで再現することが可能になる。
また例えば、図1に示すシステム構成、および図2に示すサーバ1のハードウェア構成は、本発明の目的を達成するための例示に過ぎず、特に限定されない。
また例えば、上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
また例えば、本システムを構成する各種ハードウェア(サーバ1およびユーザ端末2)の数や使用者は任意であるし、他のハードウェア等を含み構成されてもよい。さらに言えば、上述の各種ハードウェアには、同一のコンピュータ等が採用されてもよい。
また例えば、一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであっても良い。
また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えばサーバの他汎用のスマートフォンやパーソナルコンピュータであってもよい。
即ち、例えば、上述の実施形態における各種ハードウェア(サーバ1およびユーザ端末2)には、任意のコンピュータ、任意のスマートフォン等の携帯端末等が自由に採用されてもよい。さらに言えば、各種入力部や各種出力部等の種別や内容についても任意の組み合わせが採用されてもよい。
さらに言えば、上述の各種ハードウェアは、コンピュータ等の採用は任意であり、特に限定されない。
また例えば、このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に提供される図示せぬリムーバブルメディアにより構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理を含むものである。
また、本明細書において、システムの用語は、複数の装置や複数の手段等より構成される全体的な装置を意味するものとする。
さらに言えば、図7に示すフローチャートにおいて、通信は受信側と送信側は別途処理されてもよく、記載された全てのまたは一部の処理は、例えば、受信側または送信側のみで通信されてもよい。
以上をまとめると、本発明が適用される情報処理システムは、次のような構成を有する各種各様の実施形態を取ることができる。
即ち、本発明が適用される情報処理装置は、
仮想空間を用いた第1ユーザおよび第2ユーザのコミュニケーションに利用し得るコミュニケーションシステムにかかる情報処理装置であって、
前記第1ユーザおよび前記第2ユーザの前記仮想空間における位置に関する情報を、位置情報として取得する位置情報取得手段(例えば、位置情報管理部80)と、
前記第1ユーザまたは前記第2ユーザの前記仮想空間における指示操作または入力に関する情報を、入力情報として取得する入力情報取得手段(例えば、送信音声情報取得部60)と、
取得された前記位置情報または前記入力情報の少なくとも一方に基づいて、前記コミュニケーションを実現する通信方式を決定する通信方式決定手段(例えば、通信方式決定部64)と、
を備える。
さらに、
前記通信方式は、
経由するサーバを含み構成される第1通信方式と、
経由するサーバを含まずに構成される第2通信方式と、
を少なくとも含み、
前記通信方式決定手段は、前記第1通信方式または前記第2通信方式の少なくともいずれかを含む通信方式を決定することができる。
さらに、
前記入力情報取得手段は、前記第1ユーザまたは前記第2ユーザによる仮想空間内に配置された所定のオブジェクトに対する指示操作に関する情報を含むことができる。
さらに、
前記通信方式決定手段は、前記コミュニケーションの実施に想定される前記ユーザまたは前記第2ユーザの人数を考慮して、前記通信方式を決定することができる。
1 サーバ
11 制御部
60 送信音声情報取得部
61 仮想空間管理部
62 オブジェクト会話管理部
63 通常会話管理部
64 通信方式決定部
65 出力情報生成部
80 位置情報管理部
90 距離算出部
2−1乃至2−n ユーザ端末
200−1乃至200−n 制御部
220−1乃至220−n 仮想空間管理部
221−1乃至221−n 操作情報管理部
222−1乃至222−n 送信音声情報管理部
223−1乃至223−n 出力情報管理部

Claims (6)

  1. 仮想空間を用いた第1ユーザおよび第2ユーザのコミュニケーションに利用し得るコミュニケーションシステムにかかる情報処理装置であって、
    前記第1ユーザおよび前記第2ユーザの前記仮想空間における位置に関する情報を、位置情報として取得する位置情報取得手段と、
    前記第1ユーザまたは前記第2ユーザの前記仮想空間における指示操作または入力に関する情報を、入力情報として取得する入力情報取得手段と、
    取得された前記位置情報または前記入力情報の少なくとも一方に基づいて、前記コミュニケーションを実現する通信方式を決定する通信方式決定手段と、
    を備える情報処理装置。
  2. 前記通信方式は、
    経由するサーバを含み構成される第1通信方式と、
    経由するサーバを含まずに構成される第2通信方式と、
    を少なくとも含み、
    前記通信方式決定手段は、前記第1通信方式または前記第2通信方式の少なくともいずれかを含む通信方式を決定する、
    請求項1に記載の情報処理装置。
  3. 前記入力情報取得手段は、前記第1ユーザまたは前記第2ユーザによる仮想空間内に配置された所定のオブジェクトに対する指示操作に関する情報を含む、
    請求項1または2に記載の情報処理装置。
  4. 前記通信方式決定手段は、前記コミュニケーションの実施に想定される前記第1ユーザまたは前記第2ユーザの人数を考慮して、前記通信方式を決定する、
    請求項1乃至3のうちいずれか1項に記載の情報処理装置。
  5. 仮想空間を用いた第1ユーザおよび第2ユーザのコミュニケーションに利用し得るコミュニケーションシステムの通信方式にかかるコンピュータが実行する情報処理方法であって、
    前記第1ユーザおよび前記第2ユーザの前記仮想空間における位置情報を取得する位置情報取得ステップと、
    前記第1ユーザまたは前記第2ユーザより、前記コミュニケーションの対象に関して入力された入力情報を取得する入力情報取得ステップと、
    取得された前記位置情報または前記入力情報の少なくとも一方に基づいて、前記コミュニケーションを実現する通信方式を決定する通信方式決定ステップと、
    を含む情報処理方法。
  6. 仮想空間を用いた第1ユーザおよび第2ユーザのコミュニケーションに利用し得るコミュニケーションシステムの通信方式にかかるコンピュータに、
    前記第1ユーザおよび前記第2ユーザの前記仮想空間における位置情報を取得する位置情報取得ステップと、
    前記第1ユーザまたは前記第2ユーザより、前記コミュニケーションの対象に関して入力された入力情報を取得する入力情報取得ステップと、
    取得された前記位置情報または前記入力情報の少なくとも一方に基づいて、前記コミュニケーションを実現する通信方式を決定する通信方式決定ステップと、
    を含む処理を実行させるプログラム。
JP2020172415A 2020-05-19 2020-10-13 情報処理装置、情報処理方法およびプログラム Active JP7143874B2 (ja)

Priority Applications (16)

Application Number Priority Date Filing Date Title
PCT/JP2021/016457 WO2021235172A1 (ja) 2020-05-19 2021-04-23 情報処理システム、情報処理装置およびプログラム
PCT/JP2021/016458 WO2021235173A1 (ja) 2020-05-19 2021-04-23 情報処理装置、情報処理方法およびプログラム
KR1020227010796A KR20230015302A (ko) 2020-05-19 2021-04-23 정보 처리 장치, 정보 처리 방법 및 프로그램
IL293438A IL293438A (en) 2020-05-19 2021-04-23 Data processing device, data processing method and program
CA3152507A CA3152507A1 (en) 2020-05-19 2021-04-23 Information processing system, information processing apparatus, and program
CN202180006019.5A CN115486057A (zh) 2020-05-19 2021-04-23 信息处理系统、信息处理装置及程序
CA3152654A CA3152654A1 (en) 2020-05-19 2021-04-23 Information processing apparatus, information processing method, and program
CN202180006018.0A CN115485705A (zh) 2020-05-19 2021-04-23 信息处理装置、信息处理方法及程序
EP21809303.7A EP4141764A1 (en) 2020-05-19 2021-04-23 Information processing system, information processing device, and program
IL293437A IL293437A (en) 2020-05-19 2021-04-23 Information processing system, information processing device, and program
US17/761,095 US20220345325A1 (en) 2020-05-19 2021-04-23 Information processing apparatus, information processing method, and program
US17/761,081 US11871152B2 (en) 2020-05-19 2021-04-23 Information processing system, information processing apparatus, and program
KR1020227010795A KR20230015870A (ko) 2020-05-19 2021-04-23 정보 처리 시스템, 정보 처리 장치 및 프로그램
EP21808741.9A EP4134890A1 (en) 2020-05-19 2021-04-23 Information processing device, information processing method, and program
AU2021276760A AU2021276760A1 (en) 2020-05-19 2021-04-23 Information processing system, information processing apparatus, and program
AU2021274233A AU2021274233A1 (en) 2020-05-19 2021-04-23 Information processing apparatus, information processing method, and program

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2020087176 2020-05-19
JP2020087176 2020-05-19
JP2020110871 2020-06-26
JP2020110871 2020-06-26

Publications (2)

Publication Number Publication Date
JP2022002387A true JP2022002387A (ja) 2022-01-06
JP7143874B2 JP7143874B2 (ja) 2022-09-29

Family

ID=79244537

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020172415A Active JP7143874B2 (ja) 2020-05-19 2020-10-13 情報処理装置、情報処理方法およびプログラム

Country Status (1)

Country Link
JP (1) JP7143874B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12008209B2 (en) 2022-06-09 2024-06-11 Canon Kabushiki Kaisha Virtual space management system and method for the same

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002281468A (ja) * 2001-03-19 2002-09-27 Ricoh Co Ltd 電子会議システム
JP2010074245A (ja) * 2008-09-16 2010-04-02 Nippon Telegr & Teleph Corp <Ntt> 通話接続制御方法,通話接続制御装置,通話接続制御プログラムおよびその記録媒体
JP2016057714A (ja) * 2014-09-05 2016-04-21 村田機械株式会社 電子会議システム
JP2017135460A (ja) * 2016-01-25 2017-08-03 ブラザー工業株式会社 通信方法、通信プログラム、及び、サーバ

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002281468A (ja) * 2001-03-19 2002-09-27 Ricoh Co Ltd 電子会議システム
JP2010074245A (ja) * 2008-09-16 2010-04-02 Nippon Telegr & Teleph Corp <Ntt> 通話接続制御方法,通話接続制御装置,通話接続制御プログラムおよびその記録媒体
JP2016057714A (ja) * 2014-09-05 2016-04-21 村田機械株式会社 電子会議システム
JP2017135460A (ja) * 2016-01-25 2017-08-03 ブラザー工業株式会社 通信方法、通信プログラム、及び、サーバ

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12008209B2 (en) 2022-06-09 2024-06-11 Canon Kabushiki Kaisha Virtual space management system and method for the same

Also Published As

Publication number Publication date
JP7143874B2 (ja) 2022-09-29

Similar Documents

Publication Publication Date Title
US12010156B1 (en) System and method of enabling a non-host, participant-initiated breakout session in a videoconferencing system, and displaying breakout session participants in a participant-initiated breakout session view
US9197755B2 (en) Multidimensional virtual learning audio programming system and method
US7574474B2 (en) System and method for sharing and controlling multiple audio and video streams
US8144633B2 (en) Method and system for controlling audio in a collaboration environment
US20080084981A1 (en) Audio processing for improved user experience
US10979671B1 (en) Internet communication system that modifies users&#39; perceptions based on their proximity within a virtual space
US20090106670A1 (en) Systems and methods for providing services in a virtual environment
EP2145465A2 (en) Virtual reality-based teleconferencing
US20170187884A1 (en) Controlling output volume levels
JP2022002387A (ja) 情報処理装置、情報処理方法およびプログラム
WO2016002331A1 (ja) 情報処理装置、情報処理方法およびコンテンツ共有システム
JP2021064944A (ja) 内緒話を利用したグループ通話方法、コンピュータプログラムおよびコンピュータ装置
WO2021235173A1 (ja) 情報処理装置、情報処理方法およびプログラム
JP7160263B2 (ja) 情報処理システム、情報処理装置およびプログラム
US11825026B1 (en) Spatial audio virtualization for conference call applications
US20230262169A1 (en) Core Sound Manager
JP2023058977A (ja) 情報処理装置及びプログラム
WO2011158493A1 (ja) 音声通信システム、音声通信方法及び音声通信機器
JP2023001650A (ja) 情報処理システム、情報処理装置及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210506

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220707

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220802

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220826

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220829

R150 Certificate of patent or registration of utility model

Ref document number: 7143874

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150