JP2023123389A5 - - Google Patents

Description

上記課題を解決するために成された本発明に係るコミュニケーションシステムは、
現実イベント空間で開催される実イベントに対応する模擬イベントを仮想イベント空間に表示するための表示データ、該現実イベント空間内の位置と該仮想イベント空間内の位置を対応付ける対応位置情報、該現実イベント空間で前記実イベントに参加する第１ユーザのアバターの表示データ、及び該仮想イベント空間で前記模擬イベントに参加する第２ユーザのアバターの表示データが保存された記憶部と、
前記第１ユーザにより用いられる端末であって、該第１ユーザの位置に応じた視点で捉えた前記現実イベント空間の画像を取得する画像取得部、及び該画像取得部により取得される画像を表示する表示部を備えた第１端末と、
前記現実イベント空間における前記第１端末の位置の情報を取得する第１端末位置取得部と、
前記第２ユーザにより用いられる、入力部及び表示部を備えた第２端末と、
前記入力部を通じた操作により設定される、前記仮想イベント空間における前記第２ユーザのアバターの位置の情報を取得する第２ユーザ位置取得部と、
前記第２ユーザ位置取得部により取得された前記第２ユーザのアバターの位置を、前記対応位置情報に基づいて前記現実イベント空間における位置に変換し、該変換後の位置に該第２ユーザのアバターを配置した画像を前記第１端末の表示部に表示させる第１表示制御部と、
前記第１端末位置取得部により取得された前記第１端末の位置を、前記対応位置情報に基づいて前記仮想イベント空間における位置に変換して前記第１ユーザのアバターを配置し、前記第２ユーザのアバターの位置に応じた視点で捉えた模擬イベントの画像を前記第２端末の表示部に表示させる第２表示制御部と
を備えることを特徴とする。

本発明に係るコミュニケーションシステムは、現実空間に設けられたイベント空間（現実イベント空間）においてイベント（実イベント）を開催するとともに、該実イベントに対応する模擬イベントを仮想空間に設けられたイベント空間（仮想イベント空間）で開催する際に用いられる。このシステムでは、現実イベント空間で実イベントに参加する第１ユーザは、第１ユーザの位置に応じた視点で捉えた現実イベント空間の画像を取得する画像取得部と表示部とを備えた第１端末を使用する。また、仮想イベント空間で模擬イベントに参加する第２ユーザは、入力部と表示部を備えた第２端末を使用する。なお、第１ユーザの位置に応じた視点で捉えた画像は、第１ユーザが頭部に装着するMRグラス等のデバイスに前記画像取得部が設けられたものである場合には該第１ユーザの視点から捉えた画像であり、第１ユーザが使用するタブレット端末等のポータブルデバイスに前記画像取得部が設けられたものである場合には、そのタブレット端末の撮影部から捉えた画像である。

第１ユーザが実イベントに参加している間、現実イベント空間内を移動する第１ユーザが使用する第１端末の位置の情報が、第１端末位置取得部により取得される。第１端末の位置の情報には、第１端末の向きに関する情報が含まれうる。第２ユーザは、第２端末の入力部を通じた操作により仮想イベント空間にアバターを登場させ、その中で自由に移動させることができる。第２ユーザが模擬イベントに参加している間、第２ユーザのアバターの位置の情報は第２ユーザ位置取得部により取得される。

図３に第１端末３０の要部構成を示す。第１端末３０は、記憶部３１と画像取得部３２を備えている。また、第１端末３０は、機能ブロックとして、第１端末位置取得部３３、第１表示制御部３４、拡張表示部３５、感情画像選択受付部３６、及び感情動作選択受付部３７を備えている。これらの機能ブロックは、第１端末３０に予めインストールされている専用のアプリケーションを動作させるとともに、後述するスクリプトをサーバ装置１０からダウンロードして、第１端末用のプログラムをプロセッサで実行することにより具現化される。上記アプリケーションには、イベントの内容に関係なく共通して用いられるデータ（例えば、感情を表現するための感情表示ボタン７３１やアクション表示ボタン７３２等のデータ）や、それらのデータを記憶部３１から読み出して表示する機能が含まれる。一方、スクリプトは、イベント毎に作成され、イベント毎に固有の処理を行うプログラムである。

ここでは、第２ユーザが感情表示ボタン７３１やアクション表示ボタン７３２を選択する例を説明したが、第１ユーザも同様にアイコン７３１やアクションボタン７３２を選択することができ、第１端末３０の感情画像選択受付部３６と感情動作選択受付部３７が上記同様に機能する。図５に示した表示例の画面において所定の操作（例えば画面をダブルタップ）を行うと、図６と同様に、表示部４２に補助画面７３を表示することができる。補助画面７３の操作は第２ユーザと同様に行えばよく、サーバ装置１０でも第２ユーザによるアイコン７３１１やアクションの選択時と同様の処理がなされる。ただし、本実施例では、第１ユーザによってアイコン７３１１やアクションが選択されたときに、それらの選択に応じた画像データを生成して表示部６２に表示するのは第２表示制御部５３のみである。つまり、第１ユーザが視認する第１端末３０の表示部４２に表示する画像データはアクションの選択の前後で変更しない。これは、第１端末３０に表示される他の第１ユーザはアバターではなく実像であり、第１ユーザの実像に動作を付与することが不可能であるためである。ただし、実像で表示される第１ユーザの近傍にアイコン７３１１を表示することは可能であるため、第１ユーザがアイコン７３１１を選択した場合には、当該ユーザの実像の近傍にアイコン７３１１を表示してもよい。また、アクションが選択された場合に、第１ユーザの実像の近傍に選択されたアクションに対応する動きを付したアイコンを表示するようにしてもよい。

本実施例のコミュニケーションシステム１では、第１ユーザと第２ユーザはそれぞれ、自らの感情を表現する感情表示ボタン７３１やアクション表示ボタン７３２を選択することにより、他のユーザにアピールすることができる。また、第１ユーザと第２ユーザの間で、又は第２ユーザ間でプライベートチャットにより交流することもできる。

（第１項）
本発明の一態様に係るミュニケーションシステムは、
現実イベント空間で開催される実イベントに対応する模擬イベントを仮想イベント空間に表示するための表示データ、該現実イベント空間内の位置と該仮想イベント空間内の位置を対応付ける対応位置情報、該現実イベント空間で前記実イベントに参加する第１ユーザのアバターの表示データ、及び該仮想イベント空間で前記模擬イベントに参加する第２ユーザのアバターの表示データが保存された記憶部と、
前記第１ユーザにより用いられる端末であって、該第１ユーザの位置に応じた視点で捉えた前記現実イベント空間の画像を取得する画像取得部、及び該画像取得部により取得される画像を表示する表示部を備えた第１端末と、
前記現実イベント空間における前記第１端末の位置の情報を取得する第１端末位置取得部と、
前記第２ユーザにより用いられる、入力部及び表示部を備えた第２端末と、
前記入力部を通じた操作により設定される、前記仮想イベント空間における前記第２ユーザのアバターの位置の情報を取得する第２ユーザ位置取得部と、
前記第２ユーザ位置取得部により取得された前記第２ユーザのアバターの位置を、前記対応位置情報に基づいて前記現実イベント空間における位置に変換し、該変換後の位置に該第２ユーザのアバターを配置した画像を前記第１端末の表示部に表示させる第１表示制御部と、
前記第１端末位置取得部により取得された前記第１端末の位置を、前記対応位置情報に基づいて前記仮想イベント空間における位置に変換して前記第１ユーザのアバターを配置し、前記第２ユーザのアバターの位置に応じた視点で捉えた模擬イベントの画像を前記第２端末の表示部に表示させる第２表示制御部と
を備える。

（第１１項）
本発明の別の一態様に係るコミュニケーションシステム用プログラムは、
現実イベント空間で開催される実イベントの参加者である第１ユーザが使用する端末であって該第１ユーザの位置に応じた視点で捉えた前記現実イベント空間の画像を取得する画像取得部及び該画像取得部により取得される画像を表示する表示部を備えた第１端末と、
仮想イベント空間で開催される前記実イベントに対応する模擬イベントの参加者である第２ユーザが使用する端末であって入力部及び表示部を備えた第２端末と、
前記第１端末及び前記第２端末と通信可能に設けられ、前記模擬イベントを前記仮想イベント空間に表示するための表示データ、前記現実イベント空間内の位置と該仮想イベント空間内の位置を対応付ける対応位置情報、及び該仮想イベント空間で前記模擬イベントに参加する第２ユーザのアバターの表示データが保存された記憶部を有するサーバ装置とを含み、
前記第２端末又は前記サーバ装置が前記入力部を通じた操作により設定される、前記仮想イベント空間における前記第２ユーザのアバターの位置の情報を取得する第２ユーザ位置取得部を有するコミュニケーションシステムにおいて、
前記第１端末を、
前記現実イベント空間における前記第１端末の位置の情報を取得する第１端末位置取得部と、
前記第２ユーザ位置取得部により取得された前記第２ユーザのアバターの位置を、前記対応位置情報に基づいて前記現実イベント空間における位置に変換し、該変換後の位置に該第２ユーザのアバターを配置した画像を前記第１端末の表示部に表示させる第１表示制御部
として動作させることを特徴とするプログラム。

（第７項）
第７項に係るコミュニケーションシステムは、第１項から第６項のいずれかに係るコミュニケーションシステムにおいて、
前記第２端末が複数存在する場合に、該複数の第２端末を複数のグループに分けてそれぞれに仮想イベント空間を設定し、
前記第１端末表示制御部が、前記複数のグループのいずれかに分類された前記第２端末のユーザのアバターのみを前記第１端末の表示部に表示させる。

Claims (11)

1. 現実イベント空間で開催される実イベントに対応する模擬イベントを仮想イベント空間に表示するための表示データ、該現実イベント空間内の位置と該仮想イベント空間内の位置を対応付ける対応位置情報、該現実イベント空間で前記実イベントに参加する第１ユーザのアバターの表示データ、及び該仮想イベント空間で前記模擬イベントに参加する第２ユーザのアバターの表示データが保存された記憶部と、
   前記第１ユーザにより用いられる端末であって、該第１ユーザの位置に応じた視点で捉えた前記現実イベント空間の画像を取得する画像取得部、及び該画像取得部により取得される画像を表示する表示部を備えた第１端末と、
   前記現実イベント空間における前記第１端末の位置の情報を取得する第１端末位置取得部と、
   前記第２ユーザにより用いられる、入力部及び表示部を備えた第２端末と、
   前記入力部を通じた操作により設定される、前記仮想イベント空間における前記第２ユーザのアバターの位置の情報を取得する第２ユーザ位置取得部と、
   前記第２ユーザ位置取得部により取得された前記第２ユーザのアバターの位置を、前記対応位置情報に基づいて前記現実イベント空間における位置に変換し、該変換後の位置に該第２ユーザのアバターを配置した画像を前記第１端末の表示部に表示させる第１表示制御部と、
   前記第１端末位置取得部により取得された前記第１端末の位置を、前記対応位置情報に基づいて前記仮想イベント空間における位置に変換して前記第１ユーザのアバターを配置し、前記第２ユーザのアバターの位置に応じた視点で捉えた模擬イベントの画像を前記第２端末の表示部に表示させる第２表示制御部と
   を備えることを特徴とするコミュニケーションシステム。
2. 前記記憶部に、さらに、前記現実イベント空間における基準位置情報が保存されており、
   前記第１端末位置取得部は、前記画像取得部によって取得された前記現実イベント空間の画像を前記基準位置情報と照合することにより前記第１端末の位置の情報を取得する
   ことを特徴とする請求項１に記載のコミュニケーションシステム。
3. 前記記憶部に、さらに、それぞれがユーザの感情を表現した画像である複数の感情画像のデータが保存されており、
   さらに、
   前記第１端末及び前記第２端末の一方において前記感情画像の1つを選択する操作を受け付ける感情画像選択受付部と、
   前記第１端末及び前記第２端末の他方の表示部に、前記感情画像選択受付部が操作を受け付けた端末のユーザのアバターとともに前記選択された感情画像を表示させる感情画像表示部と
   を備えることを特徴とする請求項１に記載のコミュニケーションシステム。
4. 前記記憶部に、さらに、それぞれがユーザの感情を表現するアバターの動作である感情動作のデータが保存されており、
   さらに、
   前記第１端末及び前記第２端末の一方において前記感情動作の1つを選択する操作を受け付ける感情動作選択受付部と、
   前記第１端末及び前記第２端末の他方の表示部に、前記感情動作選択受付部が操作を受け付けた端末のユーザのアバターに前記選択された感情動作を実行させた画像を表示させる感情動作実行部と
   を備えることを特徴とする請求項１に記載のコミュニケーションシステム。
5. 前記記憶部に、さらに、前記現実イベント空間と前記仮想空間のそれぞれに配置される拡張表示対象、及び該拡張表示対象に対応付けられた拡張表示内容の情報が保存されており、
   さらに、
   前記第１端末位置取得部により取得された位置の情報に基づいて該第１端末のユーザの視線が前記拡張表示対象に予め決められた時間滞留していると判断した場合に、当該拡張表示対象とともに前記拡張表示内容を前記第１端末の表示部に表示させる画像データを生成し、前記第２ユーザ位置取得部により取得された位置の情報に基づいて該第２ユーザのアバターの視線が前記拡張表示対象に予め決められた時間滞留していると判断した場合に、当該拡張表示対象とともに前記拡張表示内容を前記第２端末の表示部に表示させる拡張表示部
   を備えることを特徴とする請求項１に記載のコミュニケーションシステム。
6. 前記記憶部に、さらに、前記現実イベント空間において投影される動画像のデータ、該動画像の投影場所、及び該動画像を投影するタイミングの情報が保存されており、
   前記第２表示制御部は、前記タイミングで、前記仮想イベント空間における前記投映場所に対応する位置に前記動画像を投影した画像を前記第２端末の表示部に表示させる
   ことを特徴とする請求項１に記載のコミュニケーションシステム。
7. 前記第２端末が複数存在する場合に、該複数の第２端末を複数のグループに分けてそれぞれに仮想イベント空間を設定し、
   前記第１端末表示制御部が、前記複数のグループのいずれかに分類された前記第２端末のユーザのアバターのみを前記第１端末の表示部に表示させる
   ことを特徴とする請求項１に記載のコミュニケーションシステム。
8. さらに、
   前記第２端末から、前記第１ユーザの一人を指定して該第１ユーザとつながりを持つことを希望する要請を受け付け、該第１ユーザが所有する第１端末に対して前記第２端末の所有者である第２ユーザとのつながりの諾否を問い合わせ、該第１端末から許諾の操作が行われた場合に該第１端末と該第２端末の連携を設定するユーザ仲介部
   を備えることを特徴とする請求項１に記載のコミュニケーションシステム。
9. 前記ユーザ仲介部が、さらに、前記連携が設定された第１端末と第２端末のみから書き込み及び閲覧可能なチャット画面を、該第１ユーザが使用する前記第１端末の表示部と、該第２ユーザが使用する前記第２端末の表示部のそれぞれに表示する
   ことを特徴とする請求項８に記載のコミュニケーションシステム。
10. 前記ユーザ仲介部が、前記第１端末で取得された画像を、該第１端末との間で連携が設定された第２端末の表示部に表示する
    ことを特徴とする請求項８に記載のコミュニケーションシステム。
11. 現実イベント空間で開催される実イベントの参加者である第１ユーザが使用する端末であって該第１ユーザの位置に応じた視点で捉えた前記現実イベント空間の画像を取得する画像取得部及び該画像取得部により取得される画像を表示する表示部を備えた第１端末と、
    仮想イベント空間で開催される前記実イベントに対応する模擬イベントの参加者である第２ユーザが使用する端末であって入力部及び表示部を備えた第２端末と、
    前記第１端末及び前記第２端末と通信可能に設けられ、前記模擬イベントを前記仮想イベント空間に表示するための表示データ、前記現実イベント空間内の位置と該仮想イベント空間内の位置を対応付ける対応位置情報、及び該仮想イベント空間で前記模擬イベントに参加する第２ユーザのアバターの表示データが保存された記憶部を有するサーバ装置とを含み、
    前記第２端末又は前記サーバ装置が前記入力部を通じた操作により設定される、前記仮想イベント空間における前記第２ユーザのアバターの位置の情報を取得する第２ユーザ位置取得部を有するコミュニケーションシステムにおいて、
    前記第１端末を、
    前記現実イベント空間における前記第１端末の位置の情報を取得する第１端末位置取得部と、
    前記第２ユーザ位置取得部により取得された前記第２ユーザのアバターの位置を、前記対応位置情報に基づいて前記現実イベント空間における位置に変換し、該変換後の位置に該第２ユーザのアバターを配置した画像を前記第１端末の表示部に表示させる第１表示制御部
    として動作させることを特徴とするプログラム。