JP2023136814A - 端末装置の制御プログラム、端末装置、端末装置の制御方法、サーバ装置の制御プログラム、サーバ装置、及びサーバ装置の制御方法 - Google Patents

端末装置の制御プログラム、端末装置、端末装置の制御方法、サーバ装置の制御プログラム、サーバ装置、及びサーバ装置の制御方法 Download PDF

Info

Publication number
JP2023136814A
JP2023136814A JP2022042722A JP2022042722A JP2023136814A JP 2023136814 A JP2023136814 A JP 2023136814A JP 2022042722 A JP2022042722 A JP 2022042722A JP 2022042722 A JP2022042722 A JP 2022042722A JP 2023136814 A JP2023136814 A JP 2023136814A
Authority
JP
Japan
Prior art keywords
user
terminal device
image
displaying
voice
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2022042722A
Other languages
English (en)
Other versions
JP7333529B1 (ja
Inventor
素貴 内田
Motoki Uchida
啓吾 増住
Keigo Masuzumi
大起 早田
Daiki HAYATA
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GREE Inc
Original Assignee
GREE Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GREE Inc filed Critical GREE Inc
Priority to JP2022042722A priority Critical patent/JP7333529B1/ja
Priority to US18/090,492 priority patent/US20230298294A1/en
Priority to JP2023126118A priority patent/JP2023138621A/ja
Application granted granted Critical
Publication of JP7333529B1 publication Critical patent/JP7333529B1/ja
Publication of JP2023136814A publication Critical patent/JP2023136814A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】他ユーザとのコミュニケーションを継続しようとするユーザの意欲を向上させることを可能とする。【解決手段】端末装置の制御プログラムは、第1ユーザの端末装置に、第1ユーザを示す第1オブジェクトを含む第1画像と、第2ユーザを示す第2オブジェクトを含む第2画像とを少なくとも表示し、第1画像の表示に関する情報を第2ユーザの端末装置に送信し、第1ユーザの第1音声を取得した場合、第1音声を第2ユーザの端末装置に送信し、第1ユーザの動作又は第1音声に応じて変化する第1オブジェクトを含む第1画像を表示し、第2ユーザの第2音声を受信した場合、第2音声を出力し、第2ユーザの動作又は第2音声に応じて変化する第2オブジェクトを含む第2画像を表示し、第1ユーザによる指示又は第2ユーザによる指示に応じて、少なくとも一部が変更された第1画像又は少なくとも一部が変更された第2画像を表示すること、を実行させる。【選択図】図3

Description

本明細書で開示された実施形態は、端末装置の制御プログラム、端末装置、端末装置の制御方法、サーバ装置の制御プログラム、サーバ装置、及びサーバ装置の制御方法に関する。
従来から、複数のユーザがそれぞれPC(Personal Computer)等の端末装置を用いて各ユーザ自身を示す画像及び/又は各ユーザの音声等の各種情報を互いに他ユーザの端末装置に送信することでコミュニケーションを実現する情報システムが知られている。例えば、特許文献1には、各ユーザが、仮想空間内でユーザの分身として行動するアバター等のキャラクタオブジェクトを用いて、他ユーザのキャラクタオブジェクトとの音声チャットを行う情報システムの技術が開示されている。
特開2009-199198号公報
しかしながら、従来の情報システムでは、ユーザが他ユーザとのコミュニケーションを行っている時にユーザの端末装置からの出力に多様性がないため、ユーザが他ユーザとのコミュニケーションに飽きてしまうという問題が生じていた。
開示された端末装置の制御プログラム、端末装置、端末装置の制御方法、サーバ装置の制御プログラム、サーバ装置、及びサーバ装置の制御方法は、他ユーザとのコミュニケーションを継続しようとするユーザの意欲を向上させることを可能とする。
端末装置の制御プログラムは、第1ユーザの端末装置の制御プログラムであって、第1ユーザの端末装置に、第1ユーザを示す第1オブジェクトを含む第1画像と、第1ユーザとは異なる第2ユーザを示す第2オブジェクトを含む第2画像とを少なくとも表示し、第1画像の表示に関する情報を第2ユーザの端末装置に送信し、第1ユーザの第1音声を取得した場合、第1音声を第2ユーザの端末装置に送信し、第1ユーザの動作又は第1音声に応じて変化する第1オブジェクトを含む第1画像を表示し、第2ユーザの第2音声を受信した場合、第2音声を出力し、第2ユーザの動作又は第2音声に応じて変化する第2オブジェクトを含む第2画像を表示し、第1ユーザによる指示又は第2ユーザによる指示に応じて、少なくとも一部が変更された第1画像又は少なくとも一部が変更された第2画像を表示すること、を実行させる。
また、端末装置の制御プログラムにおいて、少なくとも一部が変更された第1画像の表示において、第1ユーザの端末装置に、第1ユーザに関連付けられた一又は複数の第1候補オブジェクトの中から第1ユーザによる指示に応じて選択された第1候補オブジェクトに基づいて、一部が変更された第1オブジェクトを含む第1画像を表示すること、を実行させることが好ましい。
また、端末装置の制御プログラムにおいて、第1オブジェクトは仮想空間内に配置される立体オブジェクトであり、第1オブジェクトを含む第1画像の表示において、第1ユーザの端末装置に、仮想空間内の所定の視点から見た仮想空間を示す画像を第1画像として表示すること、を実行させ、第1ユーザの端末装置に、仮想空間内において自動的に移動する所定の視点から見た仮想空間を示す画像を第1画像として表示すること、を実行させることが好ましい。
また、端末装置の制御プログラムにおいて、所定の視点は、第1オブジェクトの変更された一部に近づくように移動制御されることが好ましい。
また、端末装置の制御プログラムにおいて、所定の視点は、所定の視点からの視線方向を第1オブジェクトに向く方向に合わせながら第1オブジェクトの周囲を移動するように移動制御されることが好ましい。
また、端末装置の制御プログラムにおいて、少なくとも一部が変更された第1画像の表示において、第1ユーザの端末装置に、一又は複数の第2候補オブジェクトを含む選択グループの中から第2ユーザによる指示に応じて選択された第2候補オブジェクトに対応する第3オブジェクトを含む第1画像を表示すること、を実行させることが好ましい。
また、端末装置の制御プログラムにおいて、所定の条件が満たされた場合、選択グループに特定の第2候補オブジェクトが含まれることが好ましい。
また、端末装置の制御プログラムにおいて、所定の条件は、第1画像の表示時間及び/又は第2画像の表示時間に関する条件を含むことが好ましい。
また、端末装置の制御プログラムにおいて、第1ユーザの端末装置に、一又は複数の第2候補オブジェクトを含む選択グループの中から第1ユーザによる指示に応じて選択された第2候補オブジェクトに基づいて、選択された第2候補オブジェクトに対応する第3オブジェクトを含む第2画像を表示するとともに、当該第3オブジェクトの表示に関する情報を第2ユーザの端末装置に送信すること、を実行させ、所定の条件は、第1ユーザ及び/又は第2ユーザによる第2候補オブジェクトの選択回数に関する条件を含むことが好ましい。
また、端末装置の制御プログラムにおいて、第1画像と第2画像との表示において、第1ユーザの端末装置に、複数の第2ユーザのそれぞれを示す複数の第2画像を表示すること、を実行させ、第1ユーザの端末装置に、第2ユーザによる指示に応じて選択された第2候補オブジェクトに基づいて、選択された第2候補オブジェクトに対応する第3オブジェクトを含む、第1画像及び複数の第2ユーザのそれぞれを示す複数の第2画像を表示すること、を実行させることが好ましい。
また、端末装置の制御プログラムにおいて、第1ユーザによって第3オブジェクトの選択指示が可能であり、第1ユーザの端末装置に、第1ユーザによる第3オブジェクトの選択指示に応じて、一部が変更された第1オブジェクトを含む第1画像を表示すること、を実行させることが好ましい。
また、端末装置の制御プログラムにおいて、少なくとも一部が変更された第1画像の表示において、第1ユーザの端末装置に、第1ユーザ及び/又は第2ユーザによってプレイされるゲームの進行を示す画像を、第1画像の少なくとも一部に替えて表示すること、を実行させることが好ましい。
また、端末装置の制御プログラムにおいて、第1ユーザの端末装置に、第2ユーザによる指示に応じて選択された第2候補オブジェクトがゲームに対応する場合、第1ユーザ及び/又は第2ユーザによってプレイされるゲームの進行を示す画像を、第2画像の少なくとも一部に替えて表示すること、を実行させることが好ましい。
サーバ装置の制御プログラムは、第1ユーザの端末装置及び第1ユーザとは異なる第2ユーザの端末装置のそれぞれと通信可能なサーバ装置の制御プログラムであって、第1ユーザを示す第1オブジェクトを含む第1画像の表示に関する情報を、第1ユーザの端末装置から受信し、第2ユーザを示す第2オブジェクトを含む第2画像の表示に関する情報を、第2ユーザの端末装置から受信し、第1画像を少なくとも表示するための情報を、少なくとも第2ユーザの端末装置に送信し、第2画像を少なくとも表示するための情報を、少なくとも第1ユーザの端末装置に送信し第1ユーザの第1音声を受信した場合、第1音声を第2ユーザの端末装置に送信し、第1ユーザの動作又は第1音声に応じて変化する第1オブジェクトを含む第1画像を表示するための情報を、少なくとも第2ユーザの端末装置に送信し、第2ユーザの第2音声を受信した場合、第2音声を第1ユーザの端末装置に送信し、第2ユーザの動作又は第2音声に応じて変化する第2オブジェクトを含む第2画像を表示するための情報を、少なくとも第1ユーザの端末装置に送信し、第1ユーザによる指示に応じて、少なくとも一部が変更された第1画像を表示するための情報を、少なくとも第2ユーザの端末装置に送信し、第2ユーザによる指示に応じて、少なくとも一部が変更された第2画像を表示するための情報を、少なくとも第1ユーザの端末装置に送信すること、を実行させる。
端末装置は、第1ユーザの端末装置であって、第1ユーザを示す第1オブジェクトを含む第1画像と、第1ユーザとは異なる第2ユーザを示す第2オブジェクトを含む第2画像とを少なくとも表示し、第1画像の表示に関する情報を第2ユーザの端末装置に送信し、第1ユーザの第1音声を取得した場合、第1音声を第2ユーザの端末装置に送信し、第1ユーザの動作又は第1音声に応じて変化する第1オブジェクトを含む第1画像を表示し、第2ユーザの第2音声を受信した場合、第2音声を出力し、第2ユーザの動作又は第2音声に応じて変化する第2オブジェクトを含む第2画像を表示し、第1ユーザによる指示又は第2ユーザによる指示に応じて、少なくとも一部が変更された第1画像又は少なくとも一部が変更された第2画像を表示する、処理部を備える。
サーバ装置は、第1ユーザの端末装置及び第1ユーザとは異なる第2ユーザの端末装置のそれぞれと通信可能なサーバ装置であって、第1ユーザを示す第1オブジェクトを含む第1画像の表示に関する情報を、第1ユーザの端末装置から受信し、第2ユーザを示す第2オブジェクトを含む第2画像の表示に関する情報を、第2ユーザの端末装置から受信し、第1画像を少なくとも表示するための情報を、少なくとも第2ユーザの端末装置に送信し、第2画像を少なくとも表示するための情報を、少なくとも第1ユーザの端末装置に送信し、第1ユーザの第1音声を受信した場合、第1音声を第2ユーザの端末装置に送信し、第1ユーザの動作又は第1音声に応じて変化する第1オブジェクトを含む第1画像を表示するための情報を、少なくとも第2ユーザの端末装置に送信し、第2ユーザの第2音声を受信した場合、第2音声を第1ユーザの端末装置に送信し、第2ユーザの動作又は第2音声に応じて変化する第2オブジェクトを含む第2画像を表示するための情報を、少なくとも第1ユーザの端末装置に送信し、第1ユーザによる指示に応じて、少なくとも一部が変更された第1画像を表示するための情報を、少なくとも第2ユーザの端末装置に送信し、第2ユーザによる指示に応じて、少なくとも一部が変更された第2画像を表示するための情報を、少なくとも第1ユーザの端末装置に送信する、処理部を備える。
端末装置の制御方法は、第1ユーザの端末装置の制御方法であって、第1ユーザの端末装置が、第1ユーザを示す第1オブジェクトを含む第1画像と、第1ユーザとは異なる第2ユーザを示す第2オブジェクトを含む第2画像とを少なくとも表示し、第1画像の表示に関する情報を第2ユーザの端末装置に送信し、第1ユーザの第1音声を取得した場合、第1音声を第2ユーザの端末装置に送信し、第1ユーザの動作又は第1音声に応じて変化する第1オブジェクトを含む第1画像を表示し、第2ユーザの第2音声を受信した場合、第2音声を出力し、第2ユーザの動作又は第2音声に応じて変化する第2オブジェクトを含む第2画像を表示し、第1ユーザによる指示又は第2ユーザによる指示に応じて、少なくとも一部が変更された第1画像又は少なくとも一部が変更された第2画像を表示すること、を含む。
サーバ装置の制御方法は、第1ユーザの端末装置及び第1ユーザとは異なる第2ユーザの端末装置のそれぞれと通信可能なサーバ装置の制御方法であって、第1ユーザを示す第1オブジェクトを含む第1画像の表示に関する情報を、第1ユーザの端末装置から受信し、第2ユーザを示す第2オブジェクトを含む第2画像の表示に関する情報を、第2ユーザの端末装置から受信し、第1画像を少なくとも表示するための情報を、少なくとも第2ユーザの端末装置に送信し、第2画像を少なくとも表示するための情報を、少なくとも第1ユーザの端末装置に送信し、第1ユーザの第1音声を受信した場合、第1音声を第2ユーザの端末装置に送信し、第1ユーザの動作又は第1音声に応じて変化する第1オブジェクトを含む第1画像を表示するための情報を、少なくとも第2ユーザの端末装置に送信し、第2ユーザの第2音声を受信した場合、第2音声を第1ユーザの端末装置に送信し、第2ユーザの動作又は第2音声に応じて変化する第2オブジェクトを含む第2画像を表示するための情報を、少なくとも第1ユーザの端末装置に送信し、第1ユーザによる指示に応じて、少なくとも一部が変更された第1画像を表示するための情報を、少なくとも第2ユーザの端末装置に送信し、第2ユーザによる指示に応じて、少なくとも一部が変更された第2画像を表示するための情報を、少なくとも第1ユーザの端末装置に送信すること、を含む。
端末装置の制御プログラム、端末装置、端末装置の制御方法、サーバ装置の制御プログラム、サーバ装置、及びサーバ装置の制御方法によって、他ユーザとのコミュニケーションを継続しようとするユーザの意欲を向上させることが可能となる。
情報システムの概要の一例を説明するための模式図である。 情報システムの概略構成の一例を示す図である。 端末装置の概略構成の一例を示す図である。 各種テーブルのデータ構造の一例を示す図である。 サーバ装置の概略構成の一例を示す図である。 端末装置の表示装置に表示される画面の一例を示す図である。 端末装置の表示装置に表示される画面の一例を示す図である。 端末装置の表示装置に表示される画面の一例を示す図である。 端末装置の表示装置に表示される画面の一例を示す図である。 端末装置の表示装置に表示される画面の一例を示す図である。 端末装置の表示装置に表示される画面の一例を示す図である。 端末装置の表示装置に表示される画面の一例を示す図である。 端末装置の表示装置に表示される画面の一例を示す図である。 端末装置の表示装置に表示される画面の一例を示す図である。 端末装置の表示装置に表示される画面の一例を示す図である。 情報システムの動作シーケンスの一例を示す図である。 端末装置の表示装置に表示される画面の一例を示す図である。 仮想空間内を説明するための模式図である。
以下、図面を参照しつつ、本発明の様々な実施形態について説明する。ただし、本発明の技術的範囲はそれらの実施形態に限定されず、特許請求の範囲に記載された発明とその均等物に及ぶ点に留意されたい。
(情報システムの概要)
図1は、情報システムの概要の一例を説明するための模式図である。情報システムは、複数のユーザのそれぞれが操作する端末装置とサーバ装置とを備える。例えば、端末装置は、ユーザが所有する多機能携帯電話(所謂「スマートフォン」)等の情報処理装置である。例えば、サーバ装置は、通信ネットワークを介して端末装置間のコミュニケーションサービスを提供するためのコンピュータである。
端末装置は、アプリケーションプログラム等の制御プログラムを記憶し、ユーザからの開始操作に応じて制御プログラムをメモリにロードし、ロードした制御プログラムに含まれる命令の実行によりコミュニケーションサービスを開始する。コミュニケーションサービスが開始されると、端末装置は、制御プログラムに含まれる命令を実行することにより複数の機能を実現する。
例えば、ユーザの端末装置は、ユーザによって入力された各種の入力データに基づくモーションデータを含むキャラクタ動画データを含む出力情報を生成する生成機能を実現する。例えば、入力データは、ユーザの端末装置に備えられた撮像装置によって所定のサンプリング時間間隔ごとに取得された複数の撮像データであり、この場合、各撮像データにはユーザが写されている。キャラクタ動画データは、ユーザを示すキャラクタオブジェクトを含むユーザ出力画像の表示に関する情報の一例である。コミュニケーションサービス中において、出力情報は所定時間ごとに生成される。
また、例えば、ユーザの端末装置は、キャラクタ動画データに基づいてユーザ出力画像を表示し、生成された出力情報をサーバ装置経由で他ユーザの端末装置に送信するため、当該出力情報をサーバ装置に所定時間ごとに送信する出力機能を実現する。また、例えば、ユーザの端末装置は、サーバ装置から所定時間ごとに送信された他ユーザの出力情報に基づいて、他ユーザを示すキャラクタオブジェクトを含む他ユーザ出力画像を表示する機能を実現する。
コミュニケーションサービスが開始されると、図1(a)に示されるように、ユーザの端末装置によって、例えば、ユーザ出力画像(1)と他ユーザ出力画像(2)とが表示される。コミュニケーションサービスが開始されたときに、他ユーザがコミュニケーションサービスに参加していない場合、ユーザの端末装置によって、ユーザ出力画像(1)のみが表示される。コミュニケーションサービスが開始されたときに、ユーザがコミュニケーションサービスに参加していない場合、他ユーザの端末装置では、他ユーザ出力画像(2)のみが表示される。
ユーザ出力画像(1)は、キャラクタ動画データに含まれるユーザのモーションデータに応じて動作するユーザのキャラクタオブジェクトを含む。また、他ユーザ出力画像(2)は、受信された他ユーザの出力情報に含まれる他ユーザのモーションデータに応じて動作する他ユーザのキャラクタオブジェクトを含む。このように、ユーザの端末装置は、ユーザの動作に応じて変化するユーザのキャラクタオブジェクトを含むユーザ出力画像(1)を表示し、他ユーザの動作に応じて変化する他ユーザのキャラクタオブジェクトを含む他ユーザ出力画像(2)を表示する。
ユーザの端末装置及び他ユーザの端末装置はともにマイクを備えるため、ユーザの端末装置はユーザによって発せられた音声を取得し、他ユーザの端末装置は他ユーザによって発せられた音声を取得する。そして、ユーザの端末装置は、取得したユーザの音声データを出力情報に含め、ユーザの音声データを含む出力情報をサーバ装置経由で他ユーザの端末装置に送信するため、当該出力情報をサーバ装置に送信する。また、ユーザの端末装置は、他ユーザの端末装置によってサーバ装置に送信された他ユーザの音声データを含む出力情報を、サーバ装置から受信する。
例えば、ユーザによって音声が発生される時、キャラクタ動画データに含まれるユーザのモーションデータには、ユーザの唇の動きを示すフェイスモーションデータが含まれる。この場合、ユーザの端末装置において、ユーザが発生している音声と略同期するように唇が動作するユーザのキャラクタオブジェクトを含むユーザ出力画像(1)が表示されることになる。ユーザの端末装置によって受信された他ユーザの出力情報に、他ユーザのモーションデータとともに他ユーザの音声データが含まれる場合がある。この場合、ユーザの端末装置において、他ユーザの音声が出力されるとともに、他ユーザの音声と略同期するように唇が動作する他ユーザのキャラクタオブジェクトを含む他ユーザ出力画像(2)が表示されることになる。
上述した機能の他に、ユーザの端末装置は、ユーザによる指示に応じてユーザ出力画像(1)の少なくとも一部を変更し、変更されたユーザ出力画像(1)を表示する機能を実現する。また、ユーザの端末装置は、ユーザによる指示に応じて他ユーザ出力画像(2)の少なくとも一部を変更し、変更された他ユーザ出力画像(2)を表示する機能を実現してもよい。
例えば、ユーザの端末装置は、ユーザによる変更指示に応じて、ユーザのキャラクタオブジェクトの少なくとも一部を変化させ、これにより、ユーザ出力画像(1)の少なくとも一部を変更する。図1(b)に示されるように、例えば、ユーザの端末装置は、ユーザによる変更指示に応じて、ユーザのキャラクタオブジェクトの一部(頭部に装着されているアイテム「帽子」)を変化させる(アイテム「帽子」がアイテム「リボン」に変更される)。例えば、ユーザによる変更指示は、所定の操作オブジェクト(ボタンオブジェクト等)をユーザが選択する選択操作によって入力される。また、ユーザによる変更指示は、それぞれが互いに異なるアイテムに対応する複数の候補オブジェクトの内の一の候補オブジェクトをユーザが選択する選択操作によって入力されてもよい。この場合、ユーザ出力画像(1)に含まれるユーザのキャラクタオブジェクトのアイテムが、ユーザによって選択された一の候補オブジェクトに対応するアイテムに変更される。または、ユーザによって選択された一の候補オブジェクトに対応するアイテムが追加された、ユーザのキャラクタオブジェクトを含むユーザ出力画像(1)が表示されてもよい。
また、例えば、ユーザの端末装置は、ユーザによる追加指示に応じて、他ユーザ出力画像(2)に追加オブジェクトを含ませ、これにより、他ユーザ出力画像(2)の少なくとも一部を変更する。例えば、図1(c)に示されるように、ユーザの端末装置は、ユーザによる追加指示に応じて、他ユーザのキャラクタオブジェクトの周囲に配置されるように、又は、他ユーザのキャラクタの少なくとも一部に重畳するように、追加オブジェクトを他ユーザ出力画像(2)に含ませる。ユーザによる追加指示は、例えば、所定の操作オブジェクト(ボタンオブジェクト等)をユーザが選択する選択操作によって入力される。また、ユーザによる追加指示は、それぞれが互いに異なる追加オブジェクトに対応する複数の候補オブジェクトの内の一の候補オブジェクトをユーザが選択する選択操作によって入力されてもよい。この場合、ユーザによって選択された一の候補オブジェクトに対応する追加オブジェクトが含まれる他ユーザ出力画像(2)が表示される。
また、ユーザの端末装置は、他ユーザによる指示に応じてユーザ出力画像(1)の少なくとも一部を変更し、変更されたユーザ出力画像(1)を表示する機能を実現してもよい。例えば、この機能では、ユーザの端末装置は、他ユーザによる追加指示に応じて、ユーザのキャラクタオブジェクトの周囲に配置されるように、又は、ユーザのキャラクタの少なくとも一部に重畳するように、追加オブジェクトをユーザ出力画像(1)に含ませる。また、ユーザの端末装置は、他ユーザによる指示に応じて他ユーザ出力画像(2)の少なくとも一部を変更し、変更された他ユーザ出力画像(2)を表示する機能を実現してもよい。例えば、この機能では、ユーザの端末装置は、他ユーザによる変更指示に応じて、他ユーザのキャラクタオブジェクトの一部を変化させ、変化した他ユーザのキャラクタオブジェクトを含む他ユーザ出力画像(2)を表示する。
なお、ユーザの端末装置は、ユーザによる指示又は他ユーザによる指示に応じて、ユーザの端末装置による出力を変更してもよい。例えば、ユーザの端末装置は、ユーザによる指示又は他ユーザによる指示に応じて、ユーザの音声又は他ユーザの音声の音質を、所定期間だけ変更してもよい。また、ユーザの端末装置は、ユーザによる指示又は他ユーザによる指示に応じて、ユーザの端末装置の振動部を所定期間だけ動作させてもよい。
以上、図1を参照しつつ説明したとおり、端末装置の制御プログラム、端末装置、端末装置の制御方法、サーバ装置の制御プログラム、サーバ装置、及びサーバ装置の制御方法では、ユーザによる指示又は他ユーザによる指示に応じて、少なくとも一部が変更されたユーザ出力画像又は少なくとも一部が変更された他ユーザ出力画像が表示される。このように、端末装置の制御プログラム、端末装置、端末装置の制御方法、サーバ装置の制御プログラム、サーバ装置、及びサーバ装置の制御方法によって、コミュニケーションサービス中に、端末装置からの出力がユーザ又は他ユーザによって変更されるようにすることで、コミュニケーションに対するユーザの継続使用の意欲を向上させることが可能となる。
図1に示される例において、ユーザ及び他ユーザは、コミュニケーションサービスを利用可能な複数のユーザのうち、所定のコミュニケーショングループに所属するユーザである。所定のコミュニケーショングループは、ユーザ及び他ユーザのいずれかによって作成されたグループ等である。図1に示される例では、2人のユーザのキャラクタオブジェクトが表示されるが、所定のコミュニケーショングループに所属する3人以上のユーザのキャラクタオブジェクトが表示され、3人以上のユーザがコミュニケーションできるように構成されてもよい。
また、図1に示される例において、ユーザ及び他ユーザは、所定の関係を有しているユーザでもよい。例えば、ユーザと所定の関係を有する他ユーザは、ユーザの相互フォロワーである。なお、ユーザが他ユーザをフォローし且つ他ユーザもユーザをフォローしている(ユーザと他ユーザが相互フォローしている)場合、ユーザと他ユーザは相互フォロワーとなる。また、ユーザと所定の関係を有する他ユーザは、ユーザの相互フォロワーである所定ユーザと相互フォローの関係にある他ユーザでもよい。また、ユーザと所定の関係を有する他ユーザは、ユーザとフレンド関係にある他ユーザでもよく、または、ユーザの端末装置に特定情報(電話番号、メールアドレス、所定のID(identification)等)が記憶されている他のユーザでもよい。また、ユーザの端末装置が、ユーザのキャラクタオブジェクトを含むユーザ出力画像を、一又は複数の他ユーザの端末装置にサーバ装置を介して配信する機能を有する場合、ユーザと所定の関係を有する他ユーザは、ユーザが配信したユーザ出力画像を視聴した他ユーザである。この場合、所定の関係を有しているユーザ及び他ユーザが、図1に示されるようなコミュニケーションを行う場合、ユーザ及び他ユーザによって構成される所定のコミュニケーショングループが、ユーザ若しくは他ユーザの端末装置又はサーバ装置によって一時的に作成されてもよい。
なお、上述した図1の説明は、本発明の内容への理解を深めるための説明にすぎない。本発明は、具体的には、次に説明する各実施形態において実施され、且つ、本発明の原則を実質的に超えずに、さまざまな変形例によって実施されてもよい。このような変形例はすべて、本発明および本明細書の開示範囲に含まれる。
(情報システム1)
図2は、情報システム1の概略構成の一例を示す図である。情報システム1は、複数のユーザのそれぞれが操作する端末装置2と、サーバ装置3とを備える。端末装置2及びサーバ装置3は、例えば、基地局4と移動体通信網5とゲートウェイ6とインターネット7等の通信ネットワークとを介して相互に接続される。端末装置2及びサーバ装置3間では、ハイパーテキスト転送プロトコル(Hypertext Transfer Protocol,HTTP)等の通信プロトコルに基づいて通信が行われる。また、端末装置2及びサーバ装置3間において、最初にHTTP通信によりコネクションが確立され、その後は、HTTP通信よりも小コスト(通信負荷及び処理負荷が少ない)の双方向通信が行われるWebSocketに基づいて通信が行われてもよい。なお、端末装置2及びサーバ装置3間の通信方式は、上述の方式に限定されず、本実施形態を実現できるものであれば、端末装置2及びサーバ装置3間においてどのような通信方式の技術が用いられてもよい。
端末装置2は、スマートフォン等の情報処理装置である。端末装置2は、携帯電話機、ノートPC、タブレット端末、タブレットPC、ヘッドマウントディスプレイ(Head Mounted Display,HMD)、電子書籍リーダー、又はウェアラブルコンピュータ等でもよい。端末装置2は、携帯ゲーム機、又はゲーム用コンソール等でもよい。端末装置2は、ユーザ及び他ユーザのキャラクタオブジェクトの表示出力、並びに、ユーザ及び他ユーザの音声の出力が可能であれば、どのような情報処理装置でもよい。
図2に示される例では、1台のサーバ装置3が情報システム1の構成要素として図示されているが、サーバ装置3は複数の物理的に別体のサーバ装置3の集合であってもよい。この場合、複数のサーバ装置3のそれぞれは、同一の機能を有するものでもよく、1台のサーバ装置3の機能を分散して有するものでもよい。
(端末装置2)
図3は、端末装置2の概略構成の一例を示す図である。端末装置2は、基地局4と移動体通信網5とゲートウェイ6とインターネット7等の通信ネットワークとを介してサーバ装置3に接続し、サーバ装置3と通信を行う。端末装置2は、ユーザによって入力された各種データ(撮像データ等)に従ってモーションデータを含むキャラクタ動画データを生成し、生成したキャラクタ動画データ及び/又はユーザの音声データを含む出力情報をサーバ装置3に送信する。また、端末装置2は、サーバ装置3から送信された他ユーザの出力情報を受信し、受信した出力情報に基づいて他ユーザのキャラクタオブジェクトを表示し、及び/又は、他ユーザの音声を出力する。このような機能を実現するため、端末装置2は、端末通信I/F21と、端末記憶装置22と、表示装置23と、入力装置24と、撮像装置25と、マイク26と、端末処理装置27とを備える。
端末通信I/F21は、ハードウェア、ファームウェア、又はTCP/IP(Transmission Control Protocol / Internet Protocol)ドライバやPPP(Point-to-Point Protocol)ドライバ等の通信用ソフトウェア又はこれらの組み合わせとして実装される。端末装置2は、端末通信I/F21を介して、サーバ装置3等の他の装置にデータを送信し且つ他の装置からデータを受信することができる。
端末記憶装置22は、例えば、ROM(Read Only Memory)、RAM(Random Access Memory)等の半導体メモリ装置である。端末記憶装置22は、端末処理装置27における処理に用いられるオペレーティングシステムプログラム、ドライバプログラム、制御プログラム及びデータ等を記憶する。端末記憶装置22に記憶されるドライバプログラムは、表示装置23を制御する出力デバイスドライバプログラム、及び、入力装置24を制御する入力デバイスドライバプログラム等である。端末記憶装置22に記憶される制御プログラムは、例えば、コミュニケーションサービスに関する各種機能を実現するためのアプリケーションプログラムである。なお、制御プログラムは、サーバ装置3又はその他の装置から送信されたものでもよい。
端末記憶装置22は、データとして、端末装置2を操作するユーザを一意に識別するための識別情報(例えば、ユーザID(identification))等を記憶する。また、端末記憶装置22は、データとして、背景データ及びモデルデータ等を記憶する。また、端末記憶装置22は、データとして、ユーザテーブルT1、オブジェクトテーブルT2、及びグループテーブルT3を記憶する。また、端末記憶装置22は、所定の処理に係るデータを一時的に記憶してもよい。
背景データは、ユーザ出力画像において、ユーザのキャラクタオブジェクトが存在する仮想空間を構築するためのアセットデータである。背景データは、仮想空間の背景を描画するためのデータ、ユーザ出力画像に含まれる各種物体を描画するためのデータ、及びこれら以外のユーザ出力画像に表示される各種背景オブジェクトを描画するためのデータが含まれる。背景データには、仮想空間における各種背景オブジェクトの位置を示すオブジェクト位置情報を含んでもよい。
表示装置23は、液晶ディスプレイである。なお、表示装置23は、有機EL(Electro-Luminescence)ディスプレイ等でもよい。表示装置23は、端末処理装置27から供給された、動画像データに応じた動画像及び/又は静止画像データに応じた静止画像等を表示画面に表示する。また、表示装置23は、端末装置2の構成要素でなくてもよく、この場合、表示装置23は、サーバ装置3と通信可能なHMDのディスプレイ、有線又は無線を介して端末装置2と通信可能な、プロジェクションマッピング(Projection Mapping)用の映写装置、網膜投影型の投影装置等でもよい。
入力装置24は、タッチパネル等のポインティングデバイスである。入力装置24がタッチパネルである場合、入力装置24は、ユーザのタップ、ダブルタップ、ドラッグ等の各種タッチ操作を検出することができる。タッチパネルは、静電容量式の近接センサを備え、ユーザの非接触操作を検出可能に構成されてもよい。なお、入力装置24は、入力キー等でもよい。ユーザは、入力装置24を用いて、文字、数字及び記号、若しくは、表示装置23の表示画面上の位置等を入力することができる。入力装置24は、ユーザにより操作されると、その操作に対応する信号を発生する。そして、入力装置24は、発生した信号を、ユーザの指示として、端末処理装置27に供給する。
撮像装置25は、結像光学系、撮像素子及び画像処理部等を有するカメラである。結像光学系は、例えば光学レンズであり、被写体からの光束を撮像素子の撮像面上に結像させる。撮像素子は、CCD(Charge Coupled Device)又はCMOS(Complementary Metal Oxide Semiconductor)等であり、撮像面上に結像した被写体像の画像を出力する。画像処理部は、連続して撮像素子によって生成された画像から、所定期間毎に所定のファイル形式の動画像データを作成して撮像データとして出力する。または、画像処理部は、撮像素子によって生成された画像から所定のファイル形式の静止画像データを作成して撮像データとして出力する。
マイク26は、ユーザによって発せられた音声を取得し、音声データに変換するように構成された集音装置である。マイク26は、ユーザの音声入力を取得することができるように構成され、マイク26により取得されたユーザの音声入力を音声データに変換し、音声データを端末処理装置27に出力する。
端末処理装置27は、端末記憶装置22に記憶されているオペレーティングシステムプログラム、ドライバプログラム及び制御プログラムをメモリにロードし、ロードしたプログラムに含まれる命令を実行するプロセッサである。端末処理装置27は、例えば、CPU(Central Processing Unit)、MPU(Micro Processing Unit)、DSP(Digital Signal Processor)、GPU(Graphics Processing Unit)等の電子回路、又は各種電子回路の組み合わせである。端末処理装置27は、ASIC(Application Specific Integrated Circuit)、PLD(Programmable Logic Device)、FPGA(Field Programmable Gate Array)、MCU(Micro Controller Unit)等の集積回路により実現されてもよい。図3においては、端末処理装置27が単一の構成要素として図示されているが、端末処理装置27は複数の物理的に別体のプロセッサの集合であってもよい。
端末処理装置27は、制御プログラムに含まれる各種命令を実行することにより、生成部271、送信部272、受信部273、表示処理部274、及び音声出力部275として機能する。生成部271、送信部272、受信部273、表示処理部274、及び音声出力部275の機能については後述する。
(各種テーブル)
図4は、端末記憶装置22に記憶されるユーザテーブルT1、オブジェクトテーブルT2、及びグループテーブルT3のデータ構造の一例を示す図である。なお、ユーザテーブルT1、オブジェクトテーブルT2、及びグループテーブルT3のうちの少なくとも一つのテーブルは、サーバ装置3のサーバ記憶装置32に記憶されてもよい。この場合、端末装置2は、所定のタイミングで、サーバ記憶装置32に記憶されている最新のテーブルを受信して端末記憶装置22に記憶してもよい。
(ユーザテーブルT1)
図4(a)は、コミュニケーションサービスに参加するユーザを管理するユーザテーブルT1のデータ構造の一例である。ユーザテーブルT1では、各ユーザについて、ユーザID、ユーザの名称、ユーザのキャラクタオブジェクト、ユーザの保有オブジェクト、及び使用オブジェクト等が、互いに関連付けて記憶されている。ユーザテーブルT1において、ユーザのユーザIDに関連付けて、ユーザの保有コイン(ユーザが保有している仮想的な貨幣価値の「コイン」の総量を示す情報)及び/又はユーザポイント等が記憶されてもよい。ユーザIDは、各ユーザを一意に識別するための識別データの一例である。名称は、各ユーザの名称を示すデータの一例である。
例えば、キャラクタオブジェクトは、キャラクタオブジェクトのアニメーションを生成するためのモデルデータを識別するためのモデルIDである。モデルデータは、モデルIDに関連付けられて端末記憶装置22に記憶される。モデルデータは、3次元のアニメーションを生成するための3次元モデルデータであってもよいし、2次元のモデルデータを生成するための2次元モデルデータであってもよい。モデルデータは、例えば、キャラクタオブジェクトの顔及び顔以外の部分の骨格を示すリグデータ(所謂「スケルトンデータ」)と、キャラクタオブジェクトの表面の形状や質感を示す表面データとを含む。モデルデータには、互いに異なる複数のモデルデータが含まれてもよい。複数のモデルデータのそれぞれは、互いに異なるリグデータを有してもよく、又は、同じリグデータを有してもよい。複数のモデルデータのそれぞれは、互いに異なる表面データを有してもよく、又は、同じ表面データを有してもよい。
保有オブジェクトは、各ユーザが保有しているオブジェクトを示すオブジェクトIDである。保有オブジェクトは、キャラクタオブジェクトの特定の部位に関連付けることが可能な装着オブジェクト、及び、ユーザ出力画像内においてユーザのキャラクタオブジェクトの背面に配置される壁紙オブジェクト等である。装着オブジェクト及び壁紙オブジェクトの詳細は後述する。保有オブジェクトは、ユーザの操作によって、ユーザの端末装置2又はサーバ装置3によって実行された抽選ゲームによって選択されたオブジェクトである。また、保有オブジェクトは、情報システム1における購入機能において、ユーザが仮想的な貨幣価値の「コイン」を消費することで、ユーザが保有することになったオブジェクトでもよい。
使用オブジェクトは、ユーザの端末装置2において表示中のユーザ出力画像において使用されているオブジェクトを示すオブジェクトIDである。例えば、コミュニケーションサービス中に、ユーザの変更指示が入力された場合、表示中のユーザ出力画像に含まれるユーザのキャラクタオブジェクトに、ユーザの保有オブジェクトとして保有している装着オブジェクトが装着される。この場合、ユーザのキャラクタオブジェクトに装着された装着オブジェクトのオブジェクトIDが、使用オブジェクトとしてユーザIDに関連付けてユーザテーブルT1に記憶される。また、例えば、コミュニケーションサービス中に、ユーザの変更指示が入力された場合、表示中のユーザ出力画像においてユーザのキャラクタオブジェクトの背面に、ユーザの保有オブジェクトとして保有している壁紙オブジェクトが配置される。この場合、ユーザ出力画像に配置された壁紙オブジェクトのオブジェクトIDが、使用オブジェクトとしてユーザIDに関連付けてユーザテーブルT1に記憶される。
(オブジェクトテーブルT2)
図4(b)は、追加オブジェクトとして選択されるオブジェクトを管理するオブジェクトテーブルT2のデータ構造の一例である。追加オブジェクトは、例えば、ユーザが他ユーザに贈るギフトオブジェクトである。オブジェクトテーブルT2では、各追加オブジェクトについて、オブジェクトID、名称、画像情報、希少度及び配置箇所等が、互いに関連付けて記憶されている。
オブジェクトIDは、各追加オブジェクトを一意に識別するための識別データの一例である。画像情報は、各追加オブジェクトに対応する一又は複数の静止画像である。画像情報は、各追加オブジェクトに対応する1種類以上の動画像でもよい。希少度は、各追加オブジェクトの希少度合いを示す情報である。配置箇所は、各追加オブジェクトの画像情報が表示される箇所を示す情報である。なお、キャラクタオブジェクトの表示位置及び表示範囲が定められている場合、当該キャラクタオブジェクトに対する相対的な位置を示す情報が配置箇所として記憶されてもよい。
追加オブジェクトは、複数の種類(カテゴリ)に分類される。例えば、追加オブジェクトには、エフェクトギフトとして使用されるエフェクトオブジェクトと、通常ギフトとして使用される通常オブジェクトと、装着ギフトとして使用される装着オブジェクトと、メッセージギフトとして使用されるメッセージオブジェクトと、が含まれる。追加オブジェクトに、ユーザ出力画像内のキャラクタオブジェクトの背面に配置される壁紙オブジェクトが含まれてもよい。なお、追加オブジェクトの種類(カテゴリ)を示す情報が、追加オブジェクトのオブジェクトIDに関連付けてオブジェクトテーブルT2に記憶されてもよい。以下、追加オブジェクトの種類に応じて、画像情報及び配置箇所について説明する。
エフェクトオブジェクトは、ユーザ出力画像及び/又は他ユーザ出力画像の全体の印象に影響を与えるオブジェクトである。エフェクトオブジェクトは、例えば、紙吹雪を模したオブジェクトである。エフェクトオブジェクトが紙吹雪を模したオブジェクトである場合、画像情報として、複数の紙を示す画像が記憶される。
エフェクトオブジェクトの配置箇所として「空間」を示す情報が記憶される。例えば、紙吹雪を模したオブジェクトは、ユーザ出力画像及び/又は他ユーザ出力画像の全体に表示される。なお、エフェクトオブジェクトは、ユーザの指示に応じて、ユーザ出力画像及び他ユーザ出力画像を含む画面(後述するコミュニケーション画面)全体に表示されてもよい。また、エフェクトオブジェクトは、ユーザ出力画像及び他ユーザ出力画像のうち、ユーザによって選択された出力画像内にのみ表示されてもよい。また、エフェクトオブジェクトは、ユーザ出力画像及び/又は他ユーザ出力画像に含まれるキャラクタオブジェクトと重複するように表示されてもよい。エフェクトオブジェクトは、後述する装着オブジェクトと異なり、キャラクタの特定の部位に関連付けられずに表示される。このように、情報システム1の端末装置2は、ユーザの指示に応じてエフェクトオブジェクトを表示することで、当該エフェクトオブジェクトが表示される前に比べて、ユーザ出力画像及び/又は他ユーザ出力画像の全体の印象を変えることができる。
通常オブジェクトは、例えば、ぬいぐるみ、花束、アクセサリ、又はギフトやプレゼントに適した物品を模したオブジェクトである。通常オブジェクトの配置箇所として「空間」を示す情報が記憶される。例えば、通常オブジェクトには、所定の移動ルートに関する情報が関連付けられており、ユーザ出力画像又は他ユーザ出力画像内を所定の移動ルートに沿って移動する通常オブジェクトが表示される。「通常オブジェクト」の配置箇所として記憶される「空間」を示す情報は、複数の種類に分類されてもよい。複数の種類の「空間」は、例えば、「中央の空間」(ユーザ出力画像又は他ユーザ出力画像を左右に3分割した場合の画像中央の領域)、「左の空間」(ユーザ出力画像又は他ユーザ出力画像を左右に3分割した場合の画像左側の領域)、及び「右の空間」(ユーザ出力画像又は他ユーザ出力画像を左右に3分割した場合の画像右側の領域)である。また、複数の種類の「空間」は、「中央の空間」(ユーザ出力画像又は他ユーザ出力画像を上下に3分割した場合の画像中央の領域)、「上の空間」(ユーザ出力画像又は他ユーザ出力画像を上下に3分割した場合の画像上側の領域)、及び「下の空間」(ユーザ出力画像又は他ユーザ出力画像を上下に3分割した場合の画像下側の領域)でもよい。この場合、通常オブジェクトに関連付けられた移動ルートは、当該通常オブジェクトの配置箇所として関連付けられた種類の「空間」内に設定される。例えば、通常オブジェクトに、「右の空間」を示す情報が記憶された場合、当該通常オブジェクトに、ユーザ出力画像又は他ユーザ出力画像を左右に3分割した場合の画像右側の領域内を移動する移動ルートに関する情報が関連付けられる。また、通常オブジェクトは、ユーザ出力画像又は他ユーザ出力画像内の通常オブジェクトごとに設定された位置又は自動的にランダムに決定された位置から、所定の移動ルールに沿って移動する通常オブジェクトが表示されてもよい。所定の移動ルールは、例えば、通常オブジェクトが自由落下しているような移動となるように設定された移動ルールである。なお、通常オブジェクトは、キャラクタオブジェクトと重複するように表示されてもよい。この場合、通常オブジェクトは、後述する装着オブジェクトと異なり、キャラクタオブジェクトの特定の部位に関連付けられずに表示される。また、通常オブジェクトは、キャラクタオブジェクトに接したタイミングで跳ね返るような移動を行うように表示されてもよい。
通常オブジェクトがキャラクタオブジェクトと重複して表示される場合、例えば、通常オブジェクトは、キャラクタオブジェクトの「『顔』を含む『頭部』以外の部分」と重複するように表示されてもよい。この場合、通常オブジェクトは、キャラクタオブジェクトの「頭部」とは重複しないように表示される。また、通常オブジェクトは、キャラクタオブジェクトの「『顔』を含む『上半身』以外の部分」と重複するように表示されてもよい。この場合、通常オブジェクトは、キャラクタオブジェクトの「上半身」とは重複しないように表示される。
装着オブジェクトは、キャラクタオブジェクトの特定の部位(装着箇所)に関連付けてユーザ出力画像又は他ユーザ出力画像に表示されるオブジェクトである。例えば、特定の部位は、キャラクタオブジェクトの頭部における、頭部の前方左側、前方右側、後方左側、後方右側、中央前側、中央後側、左目、右目、左耳、右耳、及び髪全体等である。また、特定の部位は、親指、薬指、手首、肘、肩、二の腕、手全体、腕全体等でもよい。
キャラクタオブジェクトの特定の部位に関連付けられた装着オブジェクトは、キャラクタオブジェクトの特定の部位に接するようにユーザ出力画像又は他ユーザ出力画像に表示される。また、キャラクタオブジェクトの特定の部位に関連付けられた装着オブジェクトは、キャラクタオブジェクトの特定の部位の一部又は全部を覆うようにユーザ出力画像又は他ユーザ出力画像に表示されてもよい。特定の部位は、3次元座標空間における位置を示す3次元位置情報で特定されてもよく、また、3次元座標空間の位置情報に関連付けられてもよい。
装着オブジェクトの画像情報は、例えば、キャラクタオブジェクトに装着されるアクセサリ(カチューシャ、ネックレス又はイヤリング等)、衣服(Tシャツ又はワンピース等)、コスチューム、及び、これら以外のキャラクタオブジェクトが装着可能なもの、を模した画像情報である。
装着オブジェクトの配置箇所として、装着オブジェクトがキャラクタオブジェクトのどの部位に関連付けられるかを示す装着部位を示す情報が記憶される。例えば、装着オブジェクトが「カチューシャ」である場合、装着オブジェクトの配置箇所として、キャラクタオブジェクトの「頭部」を示す情報が記憶される。また、装着オブジェクトが「Tシャツ」である場合、装着オブジェクトの配置箇所として、キャラクタオブジェクトの「胴部」を示す情報が記憶される。
装着オブジェクトの配置箇所として、3次元座標空間における複数の装着部位を示す情報が記憶されてもよい。例えば、装着オブジェクトが「カチューシャ」である場合、装着オブジェクトの配置箇所として、キャラクタオブジェクトの「頭部後方左側」及び「頭部後方右側」の2つの部位を示す情報が記憶されてもよい。これにより、「カチューシャ」を模した装着オブジェクトは、キャラクタオブジェクトの「頭部後方左側」及び「頭部後方右側」の両方に装着されるように表示される。
キャラクタオブジェクトに装着箇所が共通する複数種類の装着オブジェクトが装着される場合、当該複数種類の装着オブジェクトは時間を隔ててキャラクタオブジェクトに装着される。これにより、装着部位が共通する複数種類の装着オブジェクトは、キャラクタオブジェクトに同時に装着されない。例えば、「カチューシャ」を示す装着オブジェクト及び「帽子」を示す装着オブジェクトの装着箇所として、ともに「頭部」が記憶される場合、「カチューシャ」を示す装着オブジェクト及び「帽子」を示す装着オブジェクトは、同時にキャラクタオブジェクトの頭部に表示されない。
オブジェクトテーブルT2において、追加オブジェクトの種類に応じた表示時間が、当該追加オブジェクトのオブジェクトIDに関連付けて記憶されてもよい。例えば、装着オブジェクトの表示時間は、エフェクトオブジェクトの表示時間及び通常オブジェクトの表示時間よりも長い時間が記憶されてもよい。例えば、装着オブジェクトの表示時間として「60秒」が記憶された場合、エフェクトオブジェクトの表示時間として「5秒」が記憶され、通常オブジェクトの表示時間として「10秒」が記憶されてもよい。
(グループテーブルT3)
図4(c)は、ユーザが属するグループ(フレンド関係のユーザのグループ、相互フォロワーである他ユーザとのグループ、ユーザ又は他ユーザによって任意に作成されたグループ等)を管理するグループテーブルT3のデータ構造の一例である。グループテーブルT3は、ユーザごとに個別に設けられ、図4(c)に示されるグループテーブルT3は、当該グループテーブルT3を記憶する端末装置2を操作するユーザのグループテーブルT3である。
グループテーブルT3では、各グループについて、グループのグループID、グループの名称、グループに所属する所属ユーザ等が、互いに関連付けて記憶されている。グループIDは、各グループを一意に識別するための識別データの一例である。名称は、各グループの名称を示すデータの一例である。所属ユーザは、グループに所属する各ユーザのユーザIDである。
図3に戻り、生成部271、送信部272、受信部273、表示処理部274、音声出力部275の機能について説明する。
(生成部271)
生成部271は、撮像装置25によって連続的に出力された撮像データを、撮像装置25から取得する。例えば、ユーザによって把持された端末装置2の撮像装置25は、表示装置23の表示画面を眺めるユーザの顔が撮影方向となるように、端末装置2に設けられる。撮像装置25は、撮影方向のユーザの顔を連続的に撮像し、ユーザの顔の撮像データを取得し、端末処理装置27の生成部271に出力する。撮像装置25は、ユーザの顔以外の部位、例えば、頭部、腕部、手部(指部を含む)、胸部、胴部、脚部、又はこれら以外の部位を撮像して撮像データを取得しても良い。また、撮像装置25は、人物の顔の奥行きを検出可能な3Dカメラであってもよい。
生成部271は、連続的に取得した撮像データに基づいて、ユーザの顔の動きのデジタル表現であるフェイスモーションデータを、時間の経過に伴って随時生成する。フェイスモーションデータは、所定のサンプリング時間間隔ごとに生成されてもよい。このように、生成部271によって生成されたフェイスモーションデータは、ユーザの顔の動き(表情の変化)を時系列的にデジタル表現することができる。
生成部271は、ユーザの各部位(頭部、腕部、手部(指部を含む)、胸部、胴部、脚部、又はこれら以外の部位)の位置及び向きのデジタル表現であるボディモーションデータを、フェイスモーションデータとともに、又は、フェイスモーションデータとは別に、生成してもよい。
ボディモーションデータは、ユーザに装着された公知のモーションセンサからの検出情報に基づいて生成されてもよい。この場合、端末装置2の端末通信I/F21は、ユーザに装着されたモーションセンサからの検出情報を無線通信で取得するための所定の通信回路を有する。そして、生成部271は、端末通信I/F21によって取得された検出情報に基づいてボディモーションデータを生成する。ボディモーションデータは、所定のサンプリング時間間隔ごとに生成されてもよい。このように、生成部271によって生成されたボディモーションデータは、ユーザの体の動きを時系列的にデジタル表現することができる。
ユーザに装着されたモーションセンサからの検出情報に基づくボディモーションデータの生成は、例えば、撮影スタジオで行われてもよい。この場合、撮影スタジオには、ベースステーションと、トラッキングセンサと、ディスプレイと、が備えられてもよい。ベースステーションは、例えば、多軸レーザーエミッターである。ユーザに装着されるモーションセンサは、例えば、HTC CORPORATIONから提供されているVive Trackerでもよく、また、ベースステーションは、例えば、HTC CORPORATIONから提供されているベースステーションでもよい。
また、撮影スタジオに隣接した別室に、サポーターコンピュータが設置されていてもよい。撮影スタジオのディスプレイは、サポーターコンピュータから受信した情報を表示するように構成されてもよい。サーバ装置3は、サポーターコンピュータが設置されている部屋と同じ部屋に設置されてもよい。サポーターコンピュータが設置されている部屋と撮影スタジオとはガラス窓によって隔てられていてもよい。この場合、サポーターコンピュータのオペレータは、ユーザを視認できる。サポーターコンピュータは、サポーターの操作に応じて、撮影スタジオに備えられた各種装置の設定を変更することができるように構成されてもよい。サポーターコンピュータは、例えば、ベースステーションによる走査インターバルの設定、トラッキングセンサの設定、及びこれら以外の各種機器の各種設定の変更を行うことができる。オペレータは、サポーターコンピュータにメッセージを入力し、当該入力されたメッセージが撮影スタジオのディスプレイに表示されてもよい。
生成部271は、随時生成したフェイスモーションデータ及び/又はボディモーションデータを含むキャラクタ動画データを生成し、生成したキャラクタ動画データを、表示処理部274に出力する。以下、フェイスモーションデータ及びボディモーションデータを、モーションデータと総称する場合がある。また、生成部271は、生成したキャラクタ動画データと、端末記憶装置22に記憶されたユーザIDとを含む出力情報を生成し、生成した出力情報を送信部272に出力する。なお、生成部271は、マイク26から出力されたユーザの音声データを取得した場合、生成したキャラクタ動画データと、取得した音声データと、端末記憶装置22に記憶されたユーザIDとを含む出力情報を生成し、生成した出力情報を送信部272に出力する。
生成部271は、ユーザがプレイするゲームのゲーム画面を示すゲーム画像データを、ゲーム進行中に随時生成し、生成したゲーム画像データと、端末記憶装置22に記憶されたユーザIDとを含む出力情報を生成し、生成した出力情報を送信部272に出力する。なお、出力情報には、生成したゲーム画像データとともに、生成したキャラクタ動画データ及び/又は取得した音声データが含まれてもよい。
(送信部272)
送信部272は、生成部271から出力された出力情報を、送信先情報とともに端末通信I/F21を介してサーバ装置3に送信する。送信先情報は、ユーザとのコミュニケーションサービスに参加中の一又は複数の他ユーザのユーザIDを含む。また、出力情報に含まれるユーザIDが送信先情報として用いられてもよい。例えば、サーバ装置3は、ユーザとのコミュニケーションサービスに参加中の一又は複数の他ユーザのユーザIDを記憶しており、出力情報を取得すると、出力情報に含まれるユーザIDのユーザとのコミュニケーションサービスに参加中の一又は複数の他ユーザのユーザIDを特定し、特定されたユーザIDによって示される他ユーザの端末装置2に、受信した出力情報を送信する。
また、送信部272は、ユーザが入力装置24を操作することによって入力された各種の指示を示す情報を、端末記憶装置22に記憶されたユーザID及び送信先情報とともに端末通信I/F21を介してサーバ装置3に送信する。ユーザによる各種の指示には、例えば、追加指示が含まれる。追加指示は、他ユーザ出力画像に含ませる追加オブジェクトのオブジェクトIDとユーザIDとともに端末通信I/F21を介してサーバ装置3に送信される。
(受信部273)
受信部273は、サーバ装置3から送信された、他ユーザの出力情報及び他ユーザの各種の指示を示す情報等を、端末通信I/F21を介して受信する。受信部273は、受信した情報を端末処理装置27に出力する。サーバ装置3から送信された他ユーザの出力情報は、他ユーザの端末装置2の生成部271によって生成され且つ他ユーザの端末装置2の送信部272によってサーバ装置3に送信されたものである。他ユーザの出力情報には、他ユーザのキャラクタ動画データと、他ユーザの音声データと、他ユーザのユーザID等が含まれる。他ユーザの出力情報に、他ユーザの音声データが含まれない場合があってもよく、他ユーザの出力情報に、他ユーザのキャラクタ動画データが含まれない場合があってもよい。
(表示処理部274)
表示処理部274は、生成部271によって生成されたモーションデータ(キャラクタ動画データ)に基づいて描画された画像をユーザ出力画像として表示装置23に表示する。また、表示処理部274は、受信部273によって受信された他ユーザの出力情報に含まれるモーションデータ(キャラクタ動画データ)に基づいて描画された画像を他ユーザ出力画像として表示装置23に表示する。以下、モーションデータに基づく画像の描画処理について説明する。ユーザ(端末装置2を操作するユーザ)のモーションデータに基づく画像の描画処理では、端末記憶装置22に記憶されたユーザIDが用いられ、受信部273によって受信された他ユーザの出力情報に含まれるモーションデータに基づく画像の描画処理では、出力情報に含まれるユーザIDが用いられる。
まず、表示処理部274は、ユーザIDに関連付けられたキャラクタオブジェクトのモデルIDと、使用オブジェクトのオブジェクトIDとをユーザテーブルT1から抽出する。次に、表示処理部274は、抽出したモデルIDに関連付けられたモデルデータと、抽出した使用オブジェクトのオブジェクトIDに関連付けられた画像情報及び配置箇所を端末記憶装置22から読み出す。次に、表示処理部274は、読み出したモデルデータと使用オブジェクトの画像情報及び配置箇所とモーションデータとに基づいて、使用オブジェクトが配置箇所に装着されたキャラクタオブジェクトのアニメーションを生成する。表示処理部274は、モーションデータにフェイスモーションデータが含まれる場合、キャラクタオブジェクトの表情がフェイスモーションデータに基づいて変化するように、キャラクタオブジェクトのアニメーションを生成する。これにより、表示処理部274は、読み出したモデルデータとフェイスモーションデータとに基づいて、ユーザの表情の動きに同期して動くキャラクタオブジェクトのアニメーションを生成することができる。表示処理部274は、モーションデータにフェイスモーションデータ及びボディモーションデータが含まれる場合、読み出したモデルデータとフェイスモーションデータ及びボディモーションデータとに基づいて、ユーザの表情及び体の動きに同期して動くキャラクタオブジェクトのアニメーションを生成する。次に、表示処理部274は、生成したキャラクタオブジェクトのアニメーション(動画像)と、端末記憶装置22に記憶された背景データを用いて生成した背景を示す背景画像と、を含む画像を描画する。なお、表示処理部274は、コミュニケーショングループに予め関連付けて端末記憶装置22に記憶された壁紙オブジェクトを背景画像として用いてもよい。この場合、コミュニケーショングループ全員の背景画像として、同一の壁紙オブジェクトが適用されてもよい。そして、表示処理部274は、描画された画像を示す描画データを出力し、モーションデータに基づく画像の描画処理を終了する。なお、端末記憶装置22に記憶されたユーザIDに関連付けられたキャラクタオブジェクトに基づいて描画された画像が、ユーザのユーザ出力画像である。また、受信された他ユーザの出力情報に含まれるユーザIDに関連付けられたキャラクタオブジェクトに基づいて描画された画像は、当該他ユーザの他ユーザ出力画像である。
また、表示処理部274は、ユーザの変更指示に応じて、ユーザの保有オブジェクトとしてユーザが保有する装着オブジェクトを新たに装着したキャラクタオブジェクトを、表示装置23に表示してもよい。例えば、ユーザによって変更指示された装着オブジェクトが「カチューシャ」である場合、表示処理部274は、当該装着オブジェクト(「カチューシャ」)のオブジェクトIDを、ユーザテーブルT1においてユーザのユーザIDに関連付けられた保有オブジェクトから抽出し、使用オブジェクトとして記憶する。表示処理部274は、使用オブジェクトとして記憶されたオブジェクトIDに関連付けられた画像情報及び配置箇所をオブジェクトテーブルT2から抽出する。次に、表示処理部274は、抽出した画像情報及び配置箇所に基づいて、装着オブジェクト(「カチューシャ」)を頭部(「カチューシャ」のオブジェクトIDに関連付けられた配置箇所)に装着したキャラクタオブジェクトを含むユーザ出力画像を生成する。なお、表示処理部274は、キャラクタオブジェクトの装着部位(配置箇所)の動きに付随して動く装着オブジェクトを装着したキャラクタオブジェクトを含むユーザ出力画像を生成してもよい。
また、表示処理部274は、他ユーザからの追加オブジェクトの追加指示に応じて、追加オブジェクトを含むユーザ出力画像を表示する。表示処理部274は、ユーザからの他ユーザ出力画像に追加オブジェクトを表示させる追加指示に応じて、追加オブジェクトを含む他ユーザ出力画像を表示する。
表示処理部274は、他ユーザからの追加オブジェクトの追加指示に含まれるオブジェクトIDがいずれかのエフェクトオブジェクトのオブジェクトIDである場合、オブジェクトテーブルT2を参照して、追加指示に含まれるオブジェクトIDに関連付けられたエフェクトオブジェクトの静止画像又は動画像(画像情報)を端末記憶装置22から抽出し、抽出した静止画像又は動画像を含むユーザ出力画像を生成する。例えば、紙吹雪や花火を示すエフェクトオブジェクトの追加指示がなされた場合、表示処理部274は、紙吹雪や花火を模したエフェクトオブジェクト(図示せず)の動画像を含むユーザ出力画像を生成する。表示処理部274は、ユーザからの追加オブジェクトの追加指示に含まれるオブジェクトIDがいずれかのエフェクトオブジェクトのオブジェクトIDである場合、同様に、オブジェクトテーブルT2を参照して、追加指示に含まれるオブジェクトIDに関連付けられたエフェクトオブジェクトの静止画像又は動画像(画像情報)を端末記憶装置22から抽出し、抽出した静止画像又は動画像を含む他ユーザ出力画像を生成する。
表示処理部274は、他ユーザからの追加オブジェクトの追加指示に含まれるオブジェクトIDが通常オブジェクトのオブジェクトIDである場合、オブジェクトテーブルT2を参照して、通常オブジェクトのオブジェクトIDに関連付けられた、通常オブジェクトの静止画像又は動画像(画像情報)及び配置箇所を抽出する。次に、表示処理部274は、配置箇所によって示される位置に配置した通常オブジェクトの静止画像又は動画像を含むユーザ出力画像を生成する。また、表示処理部274は、ユーザからの追加オブジェクトの追加指示に含まれるオブジェクトIDが通常オブジェクトのオブジェクトIDである場合、同様に、オブジェクトテーブルT2を参照して、通常オブジェクトのオブジェクトIDに関連付けられた、通常オブジェクトの静止画像又は動画像(画像情報)及び配置箇所を抽出し、配置箇所によって示される位置に配置した通常オブジェクトの静止画像又は動画像を含む他ユーザ出力画像を生成する。
表示処理部274は、ユーザ出力画像及び他ユーザ出力画像の表示領域内を移動する通常オブジェクトの動画像を含むユーザ出力画像及び他ユーザ出力画像を生成してもよい。以下、ユーザ出力画像及び他ユーザ出力画像を、出力画像と総称する場合がある。例えば、表示処理部274は、通常オブジェクトは、出力画像の上から下に向かって落下する通常オブジェクトの動画像を含む出力画像を生成してもよい。この場合、通常オブジェクトは、落下開始から出力画像の下端まで落下する間、出力画像の表示領域内に表示され、出力画像の下端に落下した後に出力画像から消滅してもよい。なお、通常オブジェクトの移動ルートは、出力画像の、左から右の方向、右から左の方向、左上から左下の方向、またはこれら以外の方向のルートでもよく、また、直線軌道、円軌道、楕円軌道、螺旋軌道、またはこれら以外の軌道に沿ったルートでもよい。
表示処理部274は、他ユーザからの追加オブジェクトの追加指示に含まれるオブジェクトIDが装着オブジェクトのオブジェクトIDである場合、ユーザ出力画像内に、装着指示に関する通知情報を表示する。表示処理部274は、ユーザからの装着指示に応じて、オブジェクトテーブルT2を参照して、追加指示に含まれるオブジェクトIDに関連付けられた装着オブジェクトの画像情報及び配置箇所を抽出する。次に、表示処理部274は、抽出した画像情報及び配置箇所に基づいて、装着オブジェクトを、配置箇所によって示される装着部位に装着したキャラクタオブジェクトを含むユーザ出力画像を生成する。
また、表示処理部274は、ユーザの指示に応じて、ユーザがプレイするゲームを開始し、当該ゲームのゲーム画面を表示装置23に表示する。ゲームが開始されると、表示処理部274は、ユーザのゲーム操作によるゲーム進行指示に応じて進行するゲームのゲーム画面を表示装置23に表示し、ゲームの終了条件が満たされると、ゲーム画面の表示を終了する。ゲームの終了条件は、ゲームのルールに応じて予め定められており、例えば、ユーザのゲーム媒体(キャラクタ等)が対戦相手に勝利又は敗北したこと、ユーザのゲーム媒体が所定の目的地に到達したこと、又は、ユーザによって操作されるゲームオブジェクトが所定の状態となる(例えば、複数のコマ(ゲームオブジェクト)がゲームフィールド上の升目に並ぶ)こと等である。
また、表示処理部274は、サーバ装置3から送信された他ユーザの出力情報に、他ユーザがプレイするゲームのゲーム画像データが含まれる場合、他ユーザがプレイするゲームのゲーム画像を表示装置23に表示する。なお、他ユーザがプレイするゲームのゲーム画像が表示されているときには、当該他ユーザの他ユーザ出力画像は表示されないが、他ユーザがプレイするゲームのゲーム画像と当該他ユーザの他ユーザ出力画像とが同時に表示されてもよい。
(音声出力部275)
音声出力部275は、他ユーザの出力情報に他ユーザの音声データが含まれる場合、表示処理部274による他ユーザ出力画像の表示とともに、音声データに基づいて生成される他ユーザの音声をスピーカ(図示せず)から音声出力する。これにより、他ユーザ出力画像に含まれる他ユーザのキャラクタオブジェクトの唇の動作中に、他ユーザの音声が出力されるため、ユーザは、音声を発しているような他ユーザのキャラクタオブジェクトを含む他ユーザ出力画像を見ることができる。
(サーバ装置3)
図5は、サーバ装置3の概略構成の一例を示す図である。複数のユーザのそれぞれの端末装置2にコミュニケーションサービスを提供するサーバ装置3は、一のユーザの端末装置2から送信された出力情報及び各種の指示を示す情報を、一のユーザとは異なる他ユーザの端末装置2に送信する。そのために、サーバ装置3は、サーバ通信I/F31と、サーバ記憶装置32と、サーバ処理装置33とを備える。例えば、一のユーザの端末装置2による情報の送信先の端末装置2は、受信した送信先情報に含まれるユーザIDによって示されるユーザの端末装置2である。
サーバ通信I/F31は、ハードウェア、ファームウェア、又はTCP/IPドライバやPPPドライバ等の通信用ソフトウェア又はこれらの組み合わせとして実装される。サーバ装置3は、サーバ通信I/F31を介して、他の装置に情報を送信し且つ他の装置から情報を受信することができる。
サーバ記憶装置32は、例えば、ROM、RAM等の半導体メモリ装置である。サーバ記憶装置32は、例えば、磁気ディスク、光ディスク、又はデータを記憶可能な前記以外の各種記憶装置でもよい。サーバ記憶装置32は、サーバ処理装置33における処理に用いられるオペレーティングシステムプログラム、ドライバプログラム、アプリケーションプログラム及びデータ等を記憶する。なお、サーバ記憶装置32は、データとして、ユーザテーブルT1、オブジェクトテーブルT2、及びグループテーブルT3を記憶してもよい。
サーバ処理装置33は、サーバ記憶装置32に記憶されているオペレーティングシステムプログラム、ドライバプログラム、及び制御プログラムをメモリにロードし、ロードしたプログラムに含まれる命令を実行するプロセッサである。サーバ処理装置33は、例えば、CPU、MPU、DSP、GPU等の電子回路、又は各種電子回路の組み合わせである。サーバ処理装置33は、ASIC、PLD、FPGA、MCU等の集積回路により実現されてもよい。図5においては、サーバ処理装置33が単一の構成要素として図示されているが、サーバ処理装置33は複数の物理的に別体のプロセッサの集合であってもよい。サーバ処理装置33は、制御プログラムに含まれる各種命令を実行することにより、サーバ受信部331、サーバ送信部332として機能する。
(サーバ受信部331)
サーバ受信部331は、複数のユーザのうちのいずれかユーザの端末装置2から送信された出力情報及び各種の指示を示す情報等を、サーバ通信I/F31を介して受信する。なお、サーバ受信部331は、端末装置2から送信された出力情報及び各種の指示を示す情報とともに、送信先情報を受信してもよい。
(サーバ送信部332)
サーバ送信部332は、サーバ受信部331によって受信された出力情報及び各種の指示を示す情報を、サーバ通信I/F31を介して、同時に受信した送信先情報に含まれるユーザIDによって示される他ユーザの端末装置2に送信する。また、サーバ送信部332は、サーバ受信部331によって受信された各種の指示を示す情報を、サーバ通信I/F31を介して、情報を送信したユーザによって指定された、1人又は複数の他ユーザの端末装置2に送信してもよい。
(各種画面の例)
以下、図6~図15を参照し、ユーザの端末装置2の表示装置23に表示される各種画面の例について説明する。図6~図15において、同一の符号が付されている複数の構成要素は、互いに等価な機能を有する構成要素である。
図6(a)は、ユーザの端末装置2の表示装置23に表示されるグループ作成画面600の一例を示す図である。グループ作成画面600には、他ユーザ表示領域601、選択オブジェクト602と、作成ボタン603と、が含まれる。例えば、グループ作成画面600は、端末記憶装置22に記憶された制御プログラムの実行に応じて表示されたホーム画面(図示せず)のグループ作成オブジェクト等がユーザの入力装置24の操作によって選択された場合に表示される。
他ユーザ表示領域601には、ユーザと所定の関係を有する他ユーザのそれぞれを示す他ユーザ情報が表示される。図6(a)に示される例では、ユーザの端末装置2の表示処理部274は、他ユーザのキャラクタオブジェクトのサムネイル画像及び他ユーザの名称を他ユーザ情報として表示する。
選択オブジェクト602は、各他ユーザ情報によって示される各他ユーザを選択するための操作オブジェクトである。図6(a)に示される例では、ユーザの端末装置2の表示処理部274は、各他ユーザ情報に対応するチェックボックスオブジェクトを選択オブジェクト602として表示する。例えば、ユーザの入力装置24の操作によって選択オブジェクト602が選択されると、選択オブジェクト602が「チェック」マークを含む表示となる。この場合、「チェック」マークを含む表示となっている選択オブジェクト602に対応する他ユーザ情報の他ユーザが選択された状態となる。また、「チェック」マークを含む表示となっている選択オブジェクト602がユーザの入力装置24の操作によって選択されると、選択オブジェクト602が「チェック」マークを含まない表示となる。
この場合、「チェック」マークを含まない表示となっている選択オブジェクト602に対応する他ユーザ情報の他ユーザが選択されていない状態となる。選択オブジェクト602のそれぞれには、対応する他ユーザ情報に係る他ユーザのユーザIDが関連付けられている。
作成ボタン603は、ユーザが新たにコミュニケーショングループを作成するためのボタンオブジェクト等である。ユーザによる入力装置24の操作によって作成ボタン603が選択されると、端末装置2を操作するユーザと選択オブジェクト602において選択された状態の他ユーザとを所属ユーザとする新たなグループが作成される。例えば、ユーザの端末装置2の表示処理部274は、端末記憶装置22に記憶されたユーザのユーザIDと、選択オブジェクト602において選択された状態の他ユーザに係る選択オブジェクト602に関連付けられた他ユーザのユーザIDと、を特定する。そして、表示処理部274は、新たに作成したグループIDに、特定されたユーザのユーザID及び他ユーザのユーザIDを所属ユーザとして関連付けてグループテーブルT3に記憶する。この際、表示処理部274は、新たに作成したグループIDに対して、自動的に作成したグループの名称を対応付けてもよく、又は、ユーザによって入力されたグループの名称を対応付けてもよい。
作成ボタン603の選択に応じて新たなグループが作成されると、表示処理部274は、新たなグループの所属ユーザによる情報交換画面700を表示する。図7(a)は、ユーザの端末装置2の表示装置23に表示される情報交換画面700の一例を示す図である。情報交換画面700には、新たなグループの所属ユーザのそれぞれが入力したテキスト又は画像等の情報を表示する表示領域701と、表示領域701に表示された情報を入力した所属ユーザを示す情報(キャラクタオブジェクトのサムネイル画像等)702と、ユーザが新たな表示領域701に表示させるテキスト又は画像を入力するための入力オブジェクト703と、コミュニケーションサービスを開始するための開始オブジェクト704が含まれる。
ユーザの端末装置2の送信部272は、情報交換画面700が表示されると、情報交換画面の表示指示を、新たなグループに関する情報及び送信先情報とともに端末通信I/F21を介してサーバ装置3に送信する。新たなグループに関する情報は、新たなグループのグループID、名称、及び所属ユーザのそれぞれのユーザIDである。送信先情報には、新たなグループの所属ユーザのうち端末装置2を操作するユーザを除く他ユーザのそれぞれのユーザIDが含まれる。サーバ装置3のサーバ受信部331は、サーバ通信I/F31を介して、情報交換画面の表示指示、新たなグループに関する情報及び送信先情報を受信する。なお、サーバ受信部331は、受信した送信先情報をサーバ記憶装置32に記憶してもよい。サーバ装置3のサーバ送信部332は、情報交換画面の表示指示及び新たなグループに関する情報を、送信先情報に含まれるユーザIDによって示される他ユーザの端末装置2にサーバ通信I/F31を介して送信する。他ユーザの端末装置2は、サーバ装置3経由でユーザの端末装置2から送信された情報交換画面の表示指示を受信すると、新たなグループの所属ユーザによる情報の交換が可能な情報交換画面700を表示することができる。
図7(a)に説明を戻す。例えば、いずれかの所属ユーザの操作によって入力オブジェクト703に新たな情報が入力されると、情報を入力したユーザの端末装置2によって表示される情報交換画面700に新たな情報を表示する表示領域701が追加される。また、情報を入力したユーザの端末装置2の送信部272は、情報を入力したユーザ以外の所属ユーザの端末装置2に、サーバ装置3経由で、入力された新たな情報を送信する。これにより、情報を入力したユーザ以外の所属ユーザである他ユーザの端末装置2に表示される情報交換画面700においても、新たな情報を表示する表示領域701が追加される。
開始オブジェクト704は、新たなグループの所属ユーザのそれぞれが参加可能なコミュニケーションサービスを開始するためのボタンオブジェクト等である。ユーザによる入力装置24の操作によって開始オブジェクト704が選択されると、情報交換画面700による情報交換が可能なグループをコミュニケーショングループとするコミュニケーションサービスの開始処理が実行される。以下、ユーザによる開始オブジェクト704の選択に応じた開始処理の一例について説明する。
まず、ユーザの端末装置2の表示処理部274は、コミュニケーショングループに所属する各ユーザの端末装置2によって表示可能なコミュニケーション画面810(図8(b))を表示する。また、表示処理部274は、コミュニケーショングループのグループIDを、コミュニケーションサービスを開始したグループのグループIDとして端末記憶装置22に記憶する。さらに、表示処理部274は、ユーザのユーザIDをコミュニケーションサービスに参加中のユーザのユーザIDとして端末記憶装置22に記憶する。なお、コミュニケーショングループに所属する他ユーザの全てが未だコミュニケーションサービスに参加していない場合、コミュニケーション画面810においてユーザのユーザ出力情報のみが表示される。
次に、ユーザの端末装置2の送信部272は、コミュニケーションサービスの開始指示を、端末記憶装置22に記憶されたユーザのユーザID、コミュニケーショングループに関する情報及び/又は送信先情報とともに端末通信I/F21を介してサーバ装置3に送信する。コミュニケーショングループに関する情報は、コミュニケーショングループのグループID、名称、及び所属ユーザのそれぞれのユーザIDである。送信先情報には、コミュニケーショングループの所属ユーザのうち端末装置2を操作するユーザを除く他ユーザのそれぞれのユーザIDが含まれる。なお、サーバ記憶装置32に送信先情報が記憶されている場合、送信先情報が送信されなくてもよい。サーバ装置3のサーバ受信部331は、サーバ通信I/F31を介して、開始指示、ユーザID、コミュニケーショングループに関する情報及び送信先情報を受信する。サーバ装置3のサーバ送信部332は、開始指示、ユーザID及びコミュニケーショングループに関する情報を、送信先情報に含まれるユーザIDによって示される他ユーザの端末装置2にサーバ通信I/F31を介して送信する。
他ユーザの端末装置2の受信部237は、サーバ装置3から、ユーザの端末装置2から送信された開始指示、ユーザID及びコミュニケーショングループに関する情報を受信する。受信部237は、コミュニケーショングループに関する情報のうちのグループIDを、コミュニケーションサービスを開始したグループのグループIDとして端末記憶装置22に記憶する。さらに、表示処理部274は、送信されたユーザIDをコミュニケーションサービスに参加中のユーザのユーザIDとして端末記憶装置22に記憶する。他ユーザの端末装置2の表示処理部274は、受信したコミュニケーショングループに関する情報に基づき、通知画面(図示せず)を表示する。表示処理部274は、ユーザによる通知画面内の所定のオブジェクトの選択に応じて、コミュニケーションサービスに参加するためのグループ選択画面710(図7(b))を表示装置23に表示する。以上により、開始処理が終了する。なお、他ユーザの端末装置2の表示処理部274は、通知画面に後述する参加ボタン805を含めてもよい。これにより、グループ選択画面710を表示することなく、他のユーザは、即座にコミュニケーションサービスに参加することが可能となる。
開始処理は、ユーザによる入力装置24の操作によってグループ作成画面600の作成ボタン603が選択された場合に実行されてもよい。すなわち、ユーザによる作成ボタン603の選択に応じて、グループ作成画面600において作成された新たなグループをコミュニケーショングループとするコミュニケーションサービスの開始処理が実行されてもよい。この場合、情報交換画面700は表示されない。
また、開始処理は、グループ作成画面600において作成された新たなグループをコミュニケーショングループとするコミュニケーションサービスの開始処理に限らない。例えば、既に作成されたグループをコミュニケーショングループとするコミュニケーションサービスの開始処理が実行されてもよい。例えば、図6(b)は、いずれかのユーザによって作成されたコミュニケーショングループを選択するためのグループ選択画面610の一例を示す図である。例えば、グループ選択画面610は、端末記憶装置22に記憶された制御プログラムの実行に応じて表示されたホーム画面(図示せず)のグループ選択オブジェクト等がユーザの入力装置24の操作によって選択された場合に表示される。
ユーザの端末装置2に表示されたグループ選択画面610には、複数のコミュニケーショングループのいずれかを選択するためのグループ表示領域611が含まれる。グループ表示領域611には、既に作成済み且つユーザが所属するコミュニケーショングループのそれぞれを示すグループ情報が表示される。図6(b)に示される例では、ユーザの端末装置2の表示処理部274は、コミュニケーショングループの所属ユーザのそれぞれのサムネイル画像及びグループの名称をグループ情報として表示する。図6(b)に示される例では、所属ユーザのうち他ユーザのそれぞれのサムネイル画像が表示されるが、所属ユーザ全員のそれぞれのサムネイル画像が表示されてもよい。なお、コミュニケーショングループに、ユーザ以外に1人の他ユーザしか含まれていない場合、図6(b)に示されるように、グループの名称ではなく、当該1人の他ユーザの名称が表示されてもよい。
ユーザによる入力装置24の操作によってグループ表示領域611に含まれる一のグループ情報が選択されると、選択されたグループ情報に対応するコミュニケーショングループの所属ユーザによる情報交換画面700が表示される。情報交換画面700には、コミュニケーショングループの所属ユーザのそれぞれが入力したテキスト又は画像等の情報が含まれる。この場合においても、コミュニケーショングループの所属ユーザのうちの他ユーザの端末装置2には、サーバ装置3経由で、情報交換画面の表示指示、コミュニケーショングループに関する情報が送信され、他ユーザの端末装置2においても情報交換画面700が表示される。
そして、情報交換画面700において、ユーザによって開始オブジェクト704が選択された場合、情報交換画面700において情報交換を行うコミュニケーショングループによるコミュニケーションサービスの開始処理が実行される。開始処理が実行されると、ユーザの端末装置2の表示処理部274は、コミュニケーショングループに所属する各ユーザの端末装置2によって表示可能なコミュニケーション画面810(図8(b))を表示する。また、他ユーザの端末装置2の表示処理部274は、通知画面(図示せず)を表示し、通知画面に対する他のユーザの操作に応じて、コミュニケーションサービスに参加するためのグループ選択画面710(図7(b))を表示装置23に表示する。なお、この場合においても、他ユーザの端末装置2の表示処理部274は、通知画面に後述する参加ボタン805を含めてもよい。
なお、この場合においても、開始処理は、ユーザによる入力装置24の操作によってグループ選択画面610において一のグループ情報が選択された場合に実行されてもよい。すなわち、ユーザによる一のグループ情報の選択に応じて、選択されたグループ情報に対応するコミュニケーショングループによるコミュニケーションサービスの開始処理が実行されてもよい。この場合、情報交換画面700は表示されない。
次に、既に開始されたコミュニケーションサービスに参加していないユーザの参加方法について説明する。図7(b)は、ユーザの端末装置2の表示装置23に表示されるグループ選択画面710の一例を示す図である。例えば、グループ選択画面710は、表示された通知画面内の所定のオブジェクトの選択に応じて表示される。また、グループ選択画面710は、端末記憶装置22に記憶された制御プログラムの実行に応じて表示されたホーム画面のグループ選択オブジェクト等がユーザの入力装置24の操作によって選択された場合に表示されてもよい。
グループ選択画面710のグループ表示領域711において、コミュニケーションサービスを開始しているコミュニケーショングループを示すグループ情報が、他のグループ情報と判別可能に表示される。図7(b)に示される例では、最も上に表示されているグループ情報が、コミュニケーションサービスを開始しているコミュニケーショングループを示すものである。例えば、コミュニケーショングループの所属ユーザのそれぞれのサムネイル画像に重畳して又は近傍に、コミュニケーションサービスに参加している所属ユーザの数を示す情報が表示される。また、コミュニケーショングループの名称の近傍に、コミュニケーションサービスを示すマーク画像712が表示される。
ユーザによる入力装置24の操作によってグループ表示領域711に含まれるグループ情報のうち、コミュニケーションサービスを開始しているコミュニケーショングループを示すグループ情報が選択されると、選択されたグループ情報に対応するコミュニケーショングループの所属ユーザによる情報交換画面800が表示される。
図8(a)は、ユーザの端末装置2の表示装置23に表示される情報交換画面800の一例を示す図である。情報交換画面800には、コミュニケーションサービスを開始しているコミュニケーショングループの所属ユーザのそれぞれが入力したテキスト又は画像等の情報を表示する表示領域801a~801bと、表示領域801a~801bのそれぞれに表示された情報を入力した所属ユーザを示す情報(キャラクタオブジェクトのサムネイル画像等)802a~802bと、ユーザが新たな表示領域801に表示させるテキスト又は画像を入力するための入力オブジェクト803と、既に開始されているコミュニケーションサービスを示すサービス表示領域804と、既に開始されているコミュニケーションサービスに参加するための参加ボタン805が含まれる。
図8(a)に示されるサービス表示領域804には、コミュニケーションサービスに参加している3人のユーザのキャラクタオブジェクトのサムネイル画像が表示される。図8(a)に示される表示領域801bには、コミュニケーションサービスを開始したことを示す情報が表示される。参加ボタン805がユーザによって選択されることによって参加処理が実行される。以下、参加処理の一例について説明する。
ユーザによる入力装置24の操作によって参加ボタン805が選択されると、まず、ユーザの端末装置2の表示処理部274は、端末記憶装置22に記憶されたユーザのユーザIDを、サービス表示領域804に関するコミュニケーションサービスに参加中のユーザのユーザIDとして端末記憶装置22に記憶する。次に、表示処理部274は、コミュニケーションサービスに参加中の全てのユーザのユーザ出力画像を含むコミュニケーション画面810(図8(b))を表示する。
次に、ユーザの端末装置2の送信部272は、コミュニケーションサービスの参加指示を、端末記憶装置22に記憶されたユーザのユーザID、コミュニケーショングループに関する情報及び/又は送信先情報とともに端末通信I/F21を介してサーバ装置3に送信する。コミュニケーショングループに関する情報は、コミュニケーショングループのグループID、名称、及び所属ユーザのそれぞれのユーザIDである。送信先情報には、コミュニケーショングループの所属ユーザのうち端末装置2を操作するユーザを除く他ユーザのそれぞれのユーザIDが含まれる。サーバ装置3のサーバ受信部331は、サーバ通信I/F31を介して、参加指示、ユーザID、コミュニケーショングループに関する情報及び/又は送信先情報を受信する。サーバ装置3のサーバ送信部332は、参加指示、ユーザID及びコミュニケーショングループに関する情報を、送信先情報に含まれるユーザIDによって示される他ユーザの端末装置2にサーバ通信I/F31を介して送信する。
他ユーザの端末装置2の受信部237は、サーバ装置3から、ユーザの端末装置2から送信された参加指示、ユーザID及びコミュニケーショングループに関する情報を受信する。受信部237は、受信したユーザIDを、コミュニケーションサービスに参加中のユーザのユーザIDとして端末記憶装置22に記憶する。当該端末装置においてコミュニケーション画面810が表示されている場合、他ユーザの端末装置2の表示処理部274は、コミュニケーションサービスに参加中の全てのユーザのユーザ出力画像を含むコミュニケーション画面810を表示する。以上により、参加処理が終了する。
選択処理は、ユーザによる入力装置24の操作によってグループ選択画面710においてグループ情報が選択された場合に実行されてもよい。すなわち、ユーザによるグループ情報の選択に応じて、グループ情報に対応するコミュニケーショングループが参加可能なコミュニケーションサービスへの参加処理が実行されてもよい。この場合、情報交換画面800は表示されない。
コミュニケーションサービスの開始又は参加の実施形態は、上述した例に限らない。例えば、ユーザによる開始オブジェクト704の選択に応じた開始処理とは異なる他の開始処理が実行されてもよい。他の開始処理は、ホーム画面等の所定の画面において、コミュニケーションサービスの開始を指定するための所定の表示オブジェクトがユーザによって選択された場合に実行される。なお、所定の表示オブジェクトは、ユーザのキャラクタオブジェクトのサムネイル画像等が選択された場合に表示されてもよく、また、所定の画面のメニュー項目に含まれていてもよい。他の開始処理は、所定の開始条件が満たされた場合に自動的に実行されてもよい。例えば、所定の開始条件は、現在時刻が予め定められた時刻となったこと、前回のコミュニケーションサービスの終了から所定の時間が経過したこと、ユーザの相互フォロワー数が所定数を超えたこと等である。以下、他の開始処理の一例について説明する。
まず、ユーザの端末装置2の送信部272は、コミュニケーションサービスの開始指示を、端末記憶装置22に記憶されたユーザのユーザID、及び/又は送信先情報とともに端末通信I/F21を介してサーバ装置3に送信する。また、送信部272は、ユーザのユーザIDをコミュニケーションサービスに参加中のユーザのユーザIDとして端末記憶装置22に記憶する。送信先情報には、ユーザと所定の関係を有する一又は複数の他ユーザのそれぞれのユーザIDが含まれる。例えば、送信先情報には、ユーザの相互フォロワーである一又は複数の他のユーザのユーザIDが含まれてもよい。また、送信先情報には、ユーザの相互フォロワーである一又は複数の他のユーザのユーザIDに替えて又は加えて、ユーザの相互フォロワーである所定ユーザと相互フォローの関係にある他ユーザのユーザIDが含まれてもよい。
サーバ装置3のサーバ受信部331は、サーバ通信I/F31を介して、開始指示、ユーザID及び/又は送信先情報を受信する。サーバ装置3のサーバ送信部332は、開始指示、ユーザID及び送信先情報を、送信先情報に含まれるユーザIDによって示される他ユーザの端末装置2にサーバ通信I/F31を介して送信する。他ユーザの端末装置2の受信部237は、サーバ装置3から、ユーザの端末装置2から送信された開始指示、ユーザID及び送信先情報を受信する。受信部237は、送信されたユーザIDをコミュニケーションサービスに参加中のユーザのユーザIDとして端末記憶装置22に記憶する。他ユーザの端末装置2の表示処理部274は、受信したユーザIDに基づいて通知画面(図示せず)を表示装置23に表示する。通知画面には、受信したユーザIDによって示されるユーザからコミュニケーションサービスの参加を促す情報と参加ボタン等が含まれる。
他ユーザによる入力装置24の操作によって通知画面内の参加ボタンが選択されると、他ユーザの端末装置2の表示処理部274は、端末記憶装置22に記憶された他ユーザのユーザIDを、サービス表示領域804に関するコミュニケーションサービスに参加中のユーザのユーザIDとして端末記憶装置22に記憶する。次に、表示処理部274は、コミュニケーションサービスに参加中の全てのユーザのユーザ出力画像を含むコミュニケーション画面810(図8(b))を表示する。
次に、他ユーザの端末装置2の送信部272は、コミュニケーションサービスの参加指示を、端末記憶装置22に記憶された他ユーザのユーザID及び/又は送信先情報とともに端末通信I/F21を介してサーバ装置3に送信する。送信先情報は、先に受信部237により受信された送信先情報に含まれるユーザIDから、送信先情報を送信する端末装置2の他ユーザのユーザIDを送信先情報から削除し、同時に受信部237により受信されたユーザIDを加えたものである。サーバ装置3のサーバ受信部331は、サーバ通信I/F31を介して、参加指示、ユーザID、及び/又は送信先情報を受信する。サーバ装置3のサーバ送信部332は、参加指示、ユーザID、及び送信先情報を、送信先情報に含まれるユーザIDによって示される他ユーザの端末装置2にサーバ通信I/F31を介して送信する。
参加指示の送信先のユーザの端末装置2の受信部237は、サーバ装置3から、ユーザの端末装置2から送信された参加指示、ユーザID、及び送信先情報を受信する。受信部237は、受信したユーザIDを、コミュニケーションサービスに参加中のユーザのユーザIDとして端末記憶装置22に記憶する。当該端末装置2においてコミュニケーション画面810が表示されている場合、端末装置2の表示処理部274は、コミュニケーションサービスに参加中の全てのユーザのユーザ出力画像を含むコミュニケーション画面810を表示する。以上により、一連の参加処理が終了する。
なお、ユーザと所定の関係を有する他ユーザとのコミュニケーションサービスの開始又は参加の実施形態は、上述した例に限らない。例えば、ユーザによってコミュニケーションサービスの開始を指定するための所定の表示オブジェクトがユーザによって選択された場合、一又は複数のユーザの相互フォロワーである他ユーザを示す情報を含む選択画面が表示されてもよい。この場合、ユーザによっていずれかの他ユーザを示す情報が選択されると、選択された他ユーザとのコミュニケーションを開始する開始指示に基づく他の開始処理が実行されてもよい。さらにこの場合、選択された他ユーザとの情報交換画面が表示され、当該情報交換画面内の開始ボタンが選択されることにより、他ユーザとのコミュニケーションを開始する開始指示に基づく他の開始処理が実行されてもよい。
従来の情報システムでは、ユーザの相互フォロワー等のユーザと所定の関係を有する他ユーザとのコミュニケーションの開始及び/又は参加指示を、ユーザが簡易なインターフェースを用いて行うことができなかった。本実施形態において開示される情報システム1では、上述の他の開始処理が実行されることにより、コミュニケーションの開始及び/又は参加指示に係るユーザインタフェースを向上させ、サーバ装置3及び端末装置2間の通信負荷を低減させることが可能となる。
図8(b)は、端末装置2の表示装置23に表示されるコミュニケーション画面810の一例を示す図である。コミュニケーション画面810は、端末装置2を操作するユーザを所属ユーザとして含むコミュニケーショングループのコミュニケーション画面である。以下、端末装置2を操作するユーザをユーザAと称し、コミュニケーション画面810に対応するコミュニケーションサービスに参加中の、ユーザA以外のユーザを、ユーザB1、ユーザB2、ユーザB3、・・・と称する。なお、ユーザB1、ユーザB2、ユーザB3、・・・を、ユーザBと総称する場合がある。
コミュニケーション画面810には、ユーザAのキャラクタオブジェクト811aを含むユーザ出力画像812aが少なくとも含まれる。図8(b)に示される例では、ユーザA以外で、コミュニケーションサービスに参加中のユーザが3人(ユーザB1、ユーザB2、ユーザB3)いる。すなわち、ユーザB1、ユーザB2、及びユーザB3のそれぞれのキャラクタオブジェクト811b1、811b2、811b3を含むユーザ出力画像812b1、812b2、812b3がコミュニケーション画面810に含まれる。以下、キャラクタオブジェクト811b1、811b2,811b3を、キャラクタオブジェクト811bと総称し、ユーザ出力画像812b1、812b2、812b3を、ユーザ出力画像812bと総称する場合がある。なお、ユーザBは、ユーザAにとって他ユーザであり、ユーザAの端末装置2に表示されるユーザBのユーザ出力画像812bは、他ユーザ出力画像である。
ユーザA以外で、コミュニケーションサービスに参加中のユーザがいない場合、コミュニケーション画面810にユーザ出力画像812aのみが含まれ、ユーザBがコミュニケーションサービスに参加するたびに、当該ユーザBのユーザ出力画像812bが新たにコミュニケーション画面810に含まれる。コミュニケーションサービスに参加可能なユーザ数に上限はなく、例えば、ユーザA以外に9人のユーザBがコミュニケーションサービスに参加している場合、ユーザAのユーザ出力画像812aとともに、9人のユーザBのそれぞれのユーザ出力画像812b1、812b2,812b3、・・・812b9がコミュニケーション画面810に含まれる。
キャラクタオブジェクト811aは、生成部271によって生成されたユーザAのモーションデータと、ユーザテーブルT1のユーザAのユーザIDに関連付けられたキャラクタオブジェクト及び使用オブジェクトとに基づいて、表示処理部274によって生成されたユーザAのキャラクタオブジェクトのアニメーション(動画像)である。なお、生成部271によって生成されたユーザAのモーションデータは、ユーザBの端末装置2に送信される出力情報に含まれるモーションデータと同一である。ユーザAの出力情報には、ユーザAのモーションデータとともにユーザAの音声データが含まれる。生成部271によって生成されたユーザAのモーションデータにユーザAのフェイスモーションデータが含まれる場合、ユーザAの表情の動きに同期して表情が変化するキャラクタオブジェクト811aを含むユーザ出力画像812aが表示される。例えば、ユーザAが音声を発しているときには、唇が動作しているキャラクタオブジェクト811aを含むユーザ出力画像812aが表示される。また、生成部271によって生成されたユーザAのモーションデータにユーザAのボディモーションデータが含まれる場合、ユーザAの体の動きに同期して、対応する部位が動作するキャラクタオブジェクト811aを含むユーザ出力画像812aが表示される。
なお、ユーザAの端末装置2の送信部272は、ユーザAの出力情報を、送信先情報(コミュニケーショングループに含まれる各ユーザB(ユーザB1~ユーザB3)のユーザID)とともに、端末通信I/F21を介してサーバ装置3に送信する。次に、サーバ装置3のサーバ受信部331は、サーバ通信I/F31を介して、ユーザAの端末装置2から送信されたユーザAの出力情報を受信する。次に、サーバ装置3のサーバ送信部332は、受信したユーザB(ユーザB1~ユーザB3)のユーザIDを参照し、サーバ通信I/F31を介して、ユーザAの出力情報をユーザB(ユーザB1~ユーザB3)の端末装置2に送信する。そして、ユーザBの端末装置2の受信部273によって、端末通信I/F21を介して出力情報が受信されると、ユーザBの端末装置2の表示処理部274は、出力情報に含まれるユーザIDによって示されるユーザAのモーションデータに基づくキャラクタオブジェクト811aを含むユーザ出力画像812aを表示する。
キャラクタオブジェクト811bは、受信部273によって受信されたユーザBの出力情報に含まれるモーションデータと、ユーザテーブルT1のユーザBのユーザIDに関連付けられたキャラクタオブジェクトとに基づいて、表示処理部274によって生成されたユーザBのキャラクタオブジェクトのアニメーション(動画像)である。受信部273によって受信されたユーザBのモーションデータにユーザBのフェイスモーションデータが含まれる場合、ユーザBの表情の動きに同期して表情が変化するキャラクタオブジェクト811bを含むユーザ出力画像812bが表示される。例えば、ユーザBが音声を発した場合では、唇が動作しているキャラクタオブジェクト811bを含むユーザ出力画像812bが表示される。また、生成部271によって生成されたユーザBのモーションデータにユーザBのボディモーションデータが含まれる場合、ユーザBの体の動きに同期して、対応する部位が動作するキャラクタオブジェクト811bを含むユーザ出力画像812bが表示される。受信部273によって受信されたユーザBの出力情報にユーザBの音声データが含まれる場合、表示処理部274によってユーザ出力画像812bが表示されるとともに、音声出力部275によって音声データに基づいて生成されるユーザBの音声が音声出力される。
このように、ユーザ出力画像812a及びユーザ出力画像812bを含むコミュニケーション画面810が表示されることによって、ユーザAは、音声を発しているようなユーザBのキャラクタオブジェクト811bを見ながらユーザBの音声を聞くことができる。また、ユーザAのキャラクタオブジェクト及び音声データは、ユーザBの端末装置2によって出力される。これにより、コミュニケーションサービスに参加しているユーザAとユーザBは、キャラクタオブジェクトを介してコミュニケーションすることが可能となる。
コミュニケーション画面810には、追加ボタン813及びゲームボタン814が含まれる。図8(b)に示される例では、追加ボタン813及びゲームボタン814は、ユーザ出力画像812aの表示領域内に配置されているが、ユーザ出力画像812aの表示領域外に表示されてもよい。また、追加ボタン813及びゲームボタン814は、所定の表示条件が満たされた場合に、所定時間だけ表示されるように表示処理部274によって表示制御されてもよい。
追加ボタン813は、コミュニケーション画面810に含ませる追加オブジェクトを選択するための選択画面1200の表示を指示するためのボタンオブジェクト等のオブジェクト画像である。ユーザAによる入力装置24の操作によって追加ボタン813が選択されると、選択画面1200が表示される。選択画面1200の詳細は後述する。
ゲームボタン814は、ゲームの開始を指示するためのボタンオブジェクト等のオブジェクト画像である。ユーザAによる入力装置24の操作によってゲームボタン814が選択されると、入力装置24はゲーム開始指示を表示処理部274に入力する。端末処理装置27は、入力装置24から入力されたゲーム開始指示を取得すると、端末記憶装置22に記憶されている制御プログラム(ゲームプログラム)に含まれる各種命令を実行する。これにより、端末処理装置27の表示処理部274は、ゲームを開始し、開始したゲームのゲーム画面を含むゲーム表示オブジェクト1500(図15(a))を表示装置23に表示する機能を実現する。ゲーム画面を含むゲーム表示オブジェクト1500の詳細は後述する。
ユーザAは、キャラクタオブジェクト811aに、新たな装着オブジェクトを装着させたい場合、又は、キャラクタオブジェクト811aに装着されている装着オブジェクトを、新たな装着オブジェクトに変更したい場合、キャラクタオブジェクト811aを選択する操作を行う。ユーザAによる入力装置24の操作によってキャラクタオブジェクト811aが選択されると、コミュニケーション画面810の表示が終了し、コミュニケーション画面900(図9(a))が表示される。なお、コミュニケーション画面900の表示は、ユーザAによる入力装置24の操作によってユーザ出力画像812aが選択された場合に実行されてもよい。
図9(a)は、端末装置2の表示装置23に表示されるコミュニケーション画面900の他の一例を示す図である。コミュニケーション画面900は、コミュニケーション画面810(図8(b))に含まれる、ユーザAによる入力装置24の操作によってキャラクタオブジェクト811a又はユーザ出力画像812aが選択された場合に表示される。
コミュニケーション画面900では、ユーザAのキャラクタオブジェクト811aを含むユーザ出力画像812aが全面に表示される。また、ユーザ出力画像812aに重畳して、ユーザB1、ユーザB2、ユーザB3のそれぞれのキャラクタオブジェクト811b1、811b2、811b3を含むユーザ出力画像901が表示される。なお、コミュニケーション画面900において、ユーザ出力画像901が表示されなくてもよい。この場合、ユーザB1、ユーザB2、ユーザB3のそれぞれの音声データが出力されてもよい。
さらに、コミュニケーション画面900には、追加ボタン813及びゲームボタン814とともに、変更ボタン902及び画面終了ボタン903が含まれる。なお、コミュニケーション画面900において、追加ボタン813及びゲームボタン814が含まれなくてもよい。
変更ボタン902は、選択画面910(図9(b))の表示を指示するためのボタンオブジェクト等のオブジェクト画像である。ユーザAによる入力装置24の操作によって変更ボタン902が選択されると、キャラクタオブジェクト811aに装着させる新たな装着オブジェクトを選択するための選択画面910が表示される。選択画面910の詳細は後述する。
画面終了ボタン903は、コミュニケーション画面900の表示の終了を指示するためのボタンオブジェクト等のオブジェクト画像である。ユーザAによる入力装置24の操作によって画面終了ボタン903が選択されると、コミュニケーション画面900の表示が終了し、コミュニケーション画面810(図8(b))が表示される。
図9(b)は、端末装置2の表示装置23に表示される選択画面910の一例を示す図である。選択画面910では、コミュニケーション画面900(図9(a))と同様に、ユーザAのキャラクタオブジェクト811aを含むユーザ出力画像812aが全面に表示される。また、選択画面910には、配置候補オブジェクト911、及び画面終了ボタン912が含まれる。
オブジェクトテーブルT2に示されるように、各装着オブジェクトが配置される配置箇所は、予め定められた複数の配置箇所のうちのいずれかの配置箇所である。図9(b)に示される例では、複数の配置箇所のそれぞれを示す複数の配置候補オブジェクト911が選択画面910に含まれる。なお、複数の配置候補オブジェクト911は、各装着オブジェクトが属する複数のカテゴリ(種類)に対応するものでもよい。選択画面910に表示される配置候補オブジェクト911の数は、5つに限らない。端末装置2の表示処理部274は、複数の配置候補オブジェクト911を示す画像の一部を選択画面910内に含めることができない場合、配置候補オブジェクト911をスクロール可能に表示してもよい。この場合、ユーザAによるスワイプ操作(例えば、指が画面に接しながら当該指が画面下から上に移動する操作)に応じて、選択画面910に現在表示されていない配置候補オブジェクト911が、選択画面910内にスクロール表示される。
ユーザAは、まず、キャラクタオブジェクト811aに装着させたい装着オブジェクトの配置箇所を選択する。すなわち、ユーザAによる入力装置24の操作によって複数の配置候補オブジェクト911のいずれかが選択されると、選択された配置候補オブジェクト911に対応する配置候補に関連付けられたユーザAの装着オブジェクトを選択するための選択画面1000が表示される。
画面終了ボタン912は、選択画面910の表示の終了を指示するためのボタンオブジェクト等のオブジェクト画像である。ユーザAによる入力装置24の操作によって画面終了ボタン912が選択されると、選択画面910の表示が終了し、コミュニケーション画面810(図8(b))が表示される。
図10(a)は、端末装置2の表示装置23に表示される選択画面1000の一例を示す図である。選択画面1000では、コミュニケーション画面900(図9(a))と同様に、ユーザAのキャラクタオブジェクト811aを含むユーザ出力画像812aが全面に表示される。また、選択画面1000には、キャラクタオブジェクト811aに装着させる装着オブジェクトの候補となる装着候補オブジェクト1001及び画面終了ボタン1002が含まれる。
装着候補オブジェクト1001は、選択画面910(図9(b))において選択された配置候補オブジェクト911に対応する配置候補に関連付けられたユーザAの保有オブジェクトのオブジェクトIDに対応する選択オブジェクトである。図10(a)に示される例では、3つの保有オブジェクトのオブジェクトIDのそれぞれに対応する3つの装着候補オブジェクト1001が選択画面1000に含まれる。選択画面1000に表示される装着候補オブジェクト1001の数は、3つに限らない。端末装置2の表示処理部274は、複数の装着候補オブジェクト1001を示す画像の一部を選択画面1000内に含めることができない場合、装着候補オブジェクト1001をスクロール可能に表示してもよい。この場合、ユーザAによるスワイプ操作(例えば、指が画面に接しながら当該指が画面下から上に移動する操作)に応じて、選択画面1000に現在表示されていない装着候補オブジェクト1001が、選択画面1000内にスクロール表示される。
ユーザAによる入力装置24の操作によって複数の装着候補オブジェクト1001のいずれかが選択されると、入力装置24は、変更指示を端末処理装置27に入力する。入力装置24は、変更指示とともに、選択された装着候補オブジェクト1001に対応するオブジェクトIDを端末処理装置27に入力する。以下、変更指示に応じた変更処理の一例について説明する。
まず、表示処理部274は、入力装置24から入力された変更指示及びオブジェクトIDを取得すると、取得したオブジェクトIDを使用オブジェクトとしてユーザAのユーザIDに関連付けてユーザテーブルT1に記憶する。なお、ユーザテーブルT1において、取得したオブジェクトIDの装着オブジェクトと同じ装着箇所の他の使用オブジェクトのオブジェクトIDが記憶されている場合、表示処理部274は、当該他の使用オブジェクトのオブジェクトIDをユーザテーブルT1から削除して、取得したオブジェクトIDを使用オブジェクトとしてユーザAのユーザIDに関連付けてユーザテーブルT1に記憶する。表示処理部274は、生成部271によって生成されたユーザAのモーションデータと、ユーザテーブルT1のユーザAのユーザIDに関連付けられたキャラクタオブジェクト及び使用オブジェクトとに基づいて、ユーザAのキャラクタオブジェクト1011aのアニメーション(動画像)を含むユーザ出力画像1012aを生成して、ユーザ出力画像1012aを含む選択画面1010(図10(b))を表示する。これにより、新たな装着オブジェクトを装着したキャラクタオブジェクト1011aを含むユーザ出力画像1012aが表示される。
次に、送信部272は、入力装置24から入力された変更指示及びオブジェクトIDを取得すると、変更指示を示す情報を、端末記憶装置22に記憶されたユーザAのユーザID、及び、取得したオブジェクトID、並びに、送信先情報(ユーザB(ユーザB1~ユーザB3)のユーザID)とともに、端末通信I/F21を介してサーバ装置3に送信する。次に、サーバ装置3のサーバ受信部331は、サーバ通信I/F31を介して、変更指示を示す情報とユーザAのユーザIDとオブジェクトIDと送信先情報とを受信する。次に、サーバ装置3のサーバ送信部332は、サーバ通信I/F31を介して、変更指示を示す情報とユーザAのユーザIDとオブジェクトIDとを、ユーザB(ユーザB1~ユーザB3)の端末装置2に送信する。そして、ユーザBの端末装置2の受信部273は、端末通信I/F21を介して、変更指示を示す情報とユーザAのユーザIDとオブジェクトIDとを受信すると、受信したオブジェクトIDを使用オブジェクトとしてユーザAのユーザIDに関連付けてユーザテーブルT1に記憶する。ユーザBの端末装置2の表示処理部274は、受信されたユーザAのモーションデータと、ユーザテーブルT1のユーザAのユーザIDに関連付けられたキャラクタオブジェクト及び使用オブジェクトとに基づいて、ユーザAのキャラクタオブジェクト1011aのアニメーション(動画像)を含むユーザ出力画像1012aを生成して、ユーザ出力画像1012aを含むコミュニケーション画面1110(図11(b))を表示する。これにより、ユーザBの端末装置2においても、新たな装着オブジェクトを装着したキャラクタオブジェクト1011aを含むユーザ出力画像1012aが表示される。以上により、変更処理は終了する。
画面終了ボタン1002は、選択画面1000の表示の終了を指示するためのボタンオブジェクト等のオブジェクト画像である。ユーザAによる入力装置24の操作によって画面終了ボタン1002が選択されると、選択画面1000の表示が終了し、コミュニケーション画面810(図8(b))が表示される。なお、ユーザAによる入力装置24の操作によって複数の装着候補オブジェクト1001のいずれかが選択されると、上述した変更処理が実行されて、選択画面1000の表示が終了し、新たな装着オブジェクトを装着したキャラクタオブジェクト1011aを含むユーザ出力画像1012aを含むコミュニケーション画面1110(図11(b))が表示されてもよい。
図10(b)は、端末装置2の表示装置23に表示される選択画面1010の一例を示す図である。選択画面1010では、選択画面1000(図10(a))と同様に、ユーザAのキャラクタオブジェクト1011aを含むユーザ出力画像1012aが全面に表示される。また、選択画面1010には、選択画面1000と同様に、キャラクタオブジェクト1011aに装着させる装着オブジェクトの候補となる装着候補オブジェクト1013及び画面終了ボタン1014が含まれる。
キャラクタオブジェクト1011aは、選択画面1000(図10(a))において、変更指示が入力された後のユーザのキャラクタオブジェクトである。装着候補オブジェクト1013は、選択画面1000の装着候補オブジェクト1001と同一の配置位置に関連付けられたユーザAの保有オブジェクトのオブジェクトIDに対応する選択オブジェクトである。キャラクタオブジェクト1011aは、選択画面1000(図10(a))の装着候補オブジェクト1001のうちの一つの装着候補オブジェクト1001に対応する装着オブジェクトが装着されているため、キャラクタオブジェクト1011aに装着されている装着オブジェクトに対応する装着候補オブジェクトは、装着候補オブジェクト1013に含まれていない。なお、キャラクタオブジェクト1011aに装着されている装着オブジェクトに対応する装着候補オブジェクトは、装着候補オブジェクト1013に含まれていてもよい。この場合、装着されている装着オブジェクトに対応する装着候補オブジェクトは、ユーザAによって選択できないようにグレーアウト表示されていてもよい。
画面終了ボタン1014は、選択画面1010の表示の終了を指示するためのボタンオブジェクト等のオブジェクト画像である。ユーザAによる入力装置24の操作によって画面終了ボタン1014が選択されると、選択画面1010の表示が終了し、新たな装着オブジェクトを装着したキャラクタオブジェクト1011aを含むユーザ出力画像1012aを含むコミュニケーション画面1110(図11(b))が表示される。なお、選択画面1010に決定ボタン(図示せず)が表示されてもよい。ユーザAによる入力装置24の操作によって決定ボタンが選択されると、選択画面1010の表示が終了し、新たな装着オブジェクトを装着したキャラクタオブジェクト1011aを含むユーザ出力画像1012aを含むコミュニケーション画面1110(図11(b))が表示されてもよい。この場合、ユーザAによる入力装置24の操作によって画面終了ボタン1014が選択されると、選択画面1010の表示が終了し、変更処理前のキャラクタオブジェクト811aを含むユーザ出力画像812aを含むコミュニケーション画面810(図8(b))が表示されてもよい。
ユーザAによる入力装置24の操作によってコミュニケーション画面900の変更ボタン902が選択された場合に表示される画面は選択画面910に限らず、選択画面1100が表示されてもよい。図11(a)は、端末装置2の表示装置23に表示される選択画面1100の一例を示す図である。
図11(a)に示される選択画面1100は、コミュニケーション画面900に重畳して表示される。選択画面1100は、コミュニケーション画面900の表示を終了させた後に表示されてもよい。
選択画面1100には、複数の配置箇所のそれぞれを示す複数の配置候補オブジェクト1101、及び、キャラクタオブジェクト811aに装着させる装着オブジェクトの候補となる装着候補オブジェクト1102が含まれる。ユーザAによる入力装置24の操作によって複数の配置候補オブジェクト1101のいずれかが選択されると、選択された配置候補オブジェクト1101に対応する配置候補に関連付けられたユーザAの保有オブジェクトのオブジェクトIDに対応する装着候補オブジェクト1102が選択画面1100に含まれる。ユーザAによる入力装置24の操作によって複数の装着候補オブジェクト1102のいずれかが選択されると、入力装置24は、変更指示を端末処理装置27に入力し、上述の変更処理が実行され、表示処理部274は、新たな装着オブジェクトを装着したキャラクタオブジェクト1011aを含むユーザ出力画像1012aを含むコミュニケーション画面1110(図11(b))を表示する。
図11(b)は、端末装置2の表示装置23に表示されるコミュニケーション画面1110の他の一例を示す図である。コミュニケーション画面1110には、新たな装着オブジェクトを装着したユーザAのキャラクタオブジェクト1011aを含むユーザ出力画像1012aが少なくとも含まれる。
また、コミュニケーション画面1110には、コミュニケーション画面810(図8(b))と同様に、コミュニケーションサービスに参加中のユーザB1、ユーザB2、及びユーザB3のそれぞれのキャラクタオブジェクト811b1、811b2、及び811b3を含むユーザ出力画像812b1、812b2、及び812b3が含まれる。
なお、コミュニケーションサービスに参加中のユーザBによって入力された変更指示が、ユーザBの端末装置2に入力されると、ユーザBによって入力された変更指示に応じた変更処理が、ユーザBの端末装置2及びユーザAの端末装置2において実行される。これにより、新たな装着オブジェクトが装着されたユーザBのキャラクタオブジェクトを含むユーザ出力画像がユーザBの端末装置2及びユーザAの端末装置2において表示される。
図8(b)~図11(b)を参照して説明したように、ユーザAによる変更指示に応じて、ユーザAのキャラクタオブジェクトの少なくとも一部が変更され、又は、ユーザBによる変更指示に応じて、ユーザBのキャラクタオブジェクトの少なくとも一部が変更される。これにより、キャラクタオブジェクトを介したコミュニケーション中に、ユーザA及びユーザBが飽きてしまうこと防止し、ユーザAがユーザBとのコミュニケーションを継続しようとするユーザの意欲を向上させることが可能となる。
また、従来の情報システムでは、ユーザは、キャラクタオブジェクトを介して他ユーザとのコミュニケーションを開始した後に、キャラクタオブジェクトを含む出力画像を変更しようとするためには、コミュニケーションサービスを中断しなければならなかった。そして、コミュニケーションサービスが中断された後に、キャラクタオブジェクトの外観及び/又はキャラクタオブジェクトを含む出力画像内の背景等の画像を変更するための機能を起動させる必要があった。そして、ユーザは、変更機能を用いてキャラクタオブジェクト及び/又は出力画像を変更した後に、再度コミュニケーションサービスに参加するという煩雑な手続きを行う必要があった。これに対し、本実施形態の情報システム1は、キャラクタオブジェクトを介したコミュニケーションを中断してユーザのキャラクタオブジェクトの再設定を行うことなく、ユーザのキャラクタオブジェクトの変更を可能とする。これにより、本実施形態の情報システム1では、コミュニケーション中にユーザのキャラクタオブジェクトを変更させるためのユーザインタフェースが複雑とならないため、従来の情報システムより、ユーザビリティを向上させることが可能となる。また、本実施形態の情報システム1では、コミュニケーションを中断することなくユーザのキャラクタオブジェクトの変更が可能であるため、サーバ装置3及び端末装置2間の通信回数及び通信量を低減させることができる。このように、本実施形態の情報システム1では、サーバ装置3及び端末装置2間の通信を改善することが可能となる。
図8(b)に戻り、ユーザAは、少なくとも1人のユーザBのユーザ出力画像812bに追加オブジェクトを含ませることにより、少なくとも1人のユーザBのユーザ出力画像812bを変更したい場合、追加ボタン813を選択する操作を行う。ユーザAによる入力装置24の操作によって追加ボタン813が選択されると、選択画面1200が表示される。
図12(a)は、端末装置2の表示装置23に表示される選択画面1200の一例を示す図である。図12(a)に示される選択画面1200は、コミュニケーション画面810に重畳して表示される。選択画面1200は、コミュニケーション画面810の表示を終了させた後に表示されてもよい。
図12(a)に示される例では、8種類の追加候補オブジェクトを示す画像及び名称が選択画面1200の表示領域内に含まれる。選択画面1200の表示領域内に含まれる追加候補オブジェクトの数は、8つに限らない。端末装置2の表示処理部274は、複数の追加候補オブジェクトを示す画像の一部を選択画面1200の表示領域内に含めることができない場合、追加候補オブジェクトを示す画像をスクロール可能に表示してもよい。この場合、ユーザAによるスワイプ操作(例えば、指が画面に接しながら当該指が画面右から左に移動する操作)に応じて、選択画面1200の表示領域内に現在含まれていない追加候補オブジェクトを示す画像がスクロールされて、選択画面1200の表示領域内にス出現される。
追加候補オブジェクトのそれぞれは追加オブジェクトを示し、追加候補オブジェクトを示す画像は、例えば、ギフトオブジェクトを示すアイコン画像、サムネイル画像等である。なお、選択画面1200において、各追加候補オブジェクトの画像及び/又は名称が、追加オブジェクトの種類(無料ギフト、有料ギフト、アクセサリ、応援グッズ、アピール、バラエティ等)ごとに分類されて表示されてもよい。なお、有料ギフトに属する追加オブジェクトとは、ユーザが仮想的な貨幣価値の「コイン」を消費することにより購入可能な追加オブジェクトである。無料ギフトに属する追加オブジェクトとは、貨幣価値を消費することなく、代わりに配信を視聴することなどで取得できるポイントを消費すること等で入手可能な追加オブジェクトである。なお、追加オブジェクトは、ユーザAが、端末装置2において実行される所定のミッションをプレイして、当該所定のミッションをクリアすることで保有するオブジェクトでもよい。
ユーザAによる入力装置24の操作によって、追加候補オブジェクトのいずれかが選択されると、入力装置24は、追加指示を端末処理装置27に入力する。追加候補オブジェクトの選択と前後して、ユーザAによる入力装置24の操作によって、追加オブジェクトを含ませたいユーザBのユーザ出力画像812bのいずれかが選択されると、選択されたユーザ出力画像812bに対応するユーザBのユーザIDが特定される。入力装置24は、追加指示とともに、選択された追加候補オブジェクトに対応するオブジェクトIDと、特定されたユーザIDと、を端末処理装置27に入力する。なお、ユーザBのユーザ出力画像812bのいずれも選択されていない場合、入力装置24は、追加指示とともに、選択された追加候補オブジェクトに対応するオブジェクトIDを端末処理装置27に入力する。この場合、全てのユーザBのユーザ出力画像812bに追加オブジェクトが含まれることになる。なお、追加オブジェクトを含ませたいユーザBのユーザ出力画像812bの選択は、ユーザ出力画像812bに含まれるキャラクタオブジェクト811bの選択であってもよい。また、2人以上のユーザBのユーザ出力画像812b又はキャラクタオブジェクト811bが選択されてもよい。以下、ユーザB1のユーザ出力画像812b1が選択された場合における追加指示に応じた追加処理の一例について説明する。
まず、表示処理部274は、入力装置24から入力された追加指示及びオブジェクトIDを取得すると、オブジェクトテーブルT2を参照して、取得したオブジェクトIDに関連付けられた追加オブジェクトの静止画像又は動画像(画像情報)を端末記憶装置22から抽出し、抽出した静止画像又は動画像を含むユーザ出力画像を生成する。なお、追加指示とともにユーザB1のユーザIDを取得した場合、抽出した追加オブジェクトの静止画像又は動画像を含むユーザ出力画像は、取得したユーザB1のユーザIDに対応するユーザ出力画像である。なお、追加指示とともにユーザB1~ユーザB3のいずれのユーザIDを取得していない場合、抽出した静止画像又は動画像を含むユーザ出力画像は、全てのユーザ(ユーザAのユーザ出力画像及びユーザB1~ユーザB3)それぞれに対応するユーザ出力画像である。
次に、送信部272は、入力装置24から入力された追加指示及びオブジェクトIDを取得すると、追加指示を示す情報を、端末記憶装置22に記憶されたユーザAのユーザID、及び、取得したオブジェクトID、並びに送信先情報(ユーザB(ユーザB1~B3)それぞれのユーザID)とともに、端末通信I/F21を介してサーバ装置3に送信する。次に、サーバ装置3のサーバ受信部331は、サーバ通信I/F31を介して、追加指示を示す情報とユーザAのユーザIDとオブジェクトIDとを受信する。次に、サーバ装置3のサーバ送信部332は、サーバ通信I/F31を介して、追加指示を示す情報とユーザAのユーザIDとオブジェクトIDとを、全てのユーザB(ユーザB1~B3)それぞれの端末装置2に送信する。そして、ユーザBの端末装置2の受信部273は、端末通信I/F21を介して、変更指示を示す情報とユーザAのユーザIDとオブジェクトIDとを受信すると、ユーザBの端末装置2の表示処理部274は、オブジェクトテーブルT2を参照して、受信したオブジェクトIDに関連付けられた追加オブジェクトの静止画像又は動画像(画像情報)を端末記憶装置22から抽出し、抽出した追加オブジェクトの静止画像又は動画像を含むユーザ出力画像を生成する。なお、ユーザAの端末装置2の送信部272が、追加指示とともにユーザB1のユーザIDを送信している場合、ユーザB1のユーザIDもサーバ装置3によって送信されている。ユーザBの端末装置2が追加指示とともにユーザB1のユーザIDを受信した場合、ユーザBの端末装置2において表示される追加オブジェクトを含むユーザ出力画像は、受信したユーザB1のユーザIDに対応するユーザ出力画像のみである。ユーザBの端末装置2が追加指示とともにユーザBのユーザIDを取得していない場合、ユーザBの端末装置2において表示される追加オブジェクトを含むユーザ出力画像は、全てのユーザ(ユーザA及びユーザB1~ユーザB3)に対応するユーザ出力画像である。以上により、追加処理は終了する。
図12(b)は、ユーザAの追加指示後の端末装置2の表示装置23に表示されるコミュニケーション画面1210の他の一例を示す図である。図12(b)には、追加指示とともにユーザB1のユーザIDが受信された場合における、追加指示後の端末装置2の表示装置23に表示されるコミュニケーション画面1210が示されている。図12(b)に示されるように、追加オブジェクト1211を含むユーザ出力画像は、ユーザB1のユーザIDに対応するユーザ出力画像812b1のみである。
図13(a)は、ユーザAの追加指示後の端末装置2の表示装置23に表示されるコミュニケーション画面1300の他の一例を示す図である。図13(a)には、追加指示とともにユーザBのユーザIDが受信されなかった場合における、追加指示後の端末装置2の表示装置23に表示されるコミュニケーション画面1300が示されている。図13(a)に示されるように、追加オブジェクト1301を含むユーザ出力画像は、ユーザAのユーザ出力画像812aと、全てのユーザBのユーザIDに対応するユーザ出力画像812b1~812b3である。ユーザAの追加指示後の追加オブジェクト1301を含むユーザ出力画像は、全てのユーザBのユーザIDのそれぞれに対応するユーザ出力画像812b1~812b3でもよい(ユーザAのユーザ出力画像812aが含まれなくてもよい)。
図12(a)~図13(a)に示される例では、ユーザによる追加指示に応じて、自動的に追加オブジェクトが一又は複数のユーザのユーザ出力画像に追加されるが、ユーザによる追加指示後に、追加指示を行ったユーザ以外の他ユーザの承諾指示があった場合に、追加オブジェクトが一又は複数のユーザのユーザ出力画像に追加されるように構成されてもよい。
図13(b)は、追加指示後の端末装置2の表示装置23に表示されるコミュニケーション画面1310の他の一例を示す図である。図13(b)に示す例では、追加指示は、ユーザB1による端末装置2の入力装置24の操作によって入力される。図13(b)に示される例における追加指示は、装着オブジェクトを示す追加候補オブジェクトのいずれかが選択され、且つ、装着オブジェクトを含ませたいユーザ出力画像としてユーザAのユーザ出力画像812aが選択された場合に、ユーザB1の端末装置2の入力装置24によって入力される。
選択された追加候補オブジェクトに対応する装着オブジェクトのオブジェクトIDとともに追加指示を受信したユーザAの端末装置2は、図13(b)に示されるような追加オブジェクト1311を含むユーザ出力画像612aを表示する。追加オブジェクト1311は、追加指示を行ったユーザB1から追加オブジェクトが贈られたことを示す情報が表示されるものである。追加オブジェクト1311は、ユーザB1~ユーザB3の端末装置2には表示されない。なお、追加オブジェクト1311は、ユーザB1~ユーザB3の端末装置2に表示されてもよい。
ユーザAよって、追加オブジェクト1311を含むユーザ出力画像812aが表示されたコミュニケーション画面1310に対する所定の操作(例えば、ユーザ出力画像812aに対するタップ操作、所定方向へのスワイプ操作等)がされた場合、ユーザAの端末装置2の入力装置24は、承諾指示を、ユーザB1の端末装置2から送信された装着オブジェクトのオブジェクトIDとともに端末処理装置27に入力する。以下、承諾指示に応じた承諾処理の一例について説明する。
まず、表示処理部274は、入力装置24から入力された承諾指示及びオブジェクトIDを取得すると、オブジェクトテーブルT2を参照して、取得したオブジェクトIDに関連付けられた追加オブジェクト(装着オブジェクト)を装着したユーザAのキャラクタオブジェクトを含むユーザ出力画像を生成する。そして、表示処理部274は、追加オブジェクト(装着オブジェクト)1401を装着したユーザAのキャラクタオブジェクト811aを含むユーザ出力画像812aを含むコミュニケーション画面1400を表示する。
次に、送信部272は、入力装置24から入力された承諾指示及びオブジェクトIDを取得すると、承諾指示を示す情報を、端末記憶装置22に記憶されたユーザAのユーザID、及び、取得したオブジェクトID、並びに、送信先情報(ユーザB(ユーザB1~ユーザB3)のユーザID)とともに、端末通信I/F21を介してサーバ装置3に送信する。次に、サーバ装置3のサーバ受信部331は、サーバ通信I/F31を介して、承諾指示を示す情報とユーザAのユーザIDとオブジェクトIDと送信先情報とを受信する。次に、サーバ装置3のサーバ送信部332は、サーバ通信I/F31を介して、承諾指示を示す情報とユーザAのユーザIDとオブジェクトIDとを、全てのユーザB(ユーザB1~B3)それぞれの端末装置2に送信する。そして、ユーザBの端末装置2の受信部273は、端末通信I/F21を介して、承諾指示を示す情報とユーザAのユーザIDとオブジェクトIDとを受信する。次に、ユーザBの端末装置2の表示処理部274は、オブジェクトテーブルT2を参照して、受信したオブジェクトIDに関連付けられた追加オブジェクト(装着オブジェクト)1401を装着したユーザAのキャラクタオブジェクト811aを含むユーザ出力画像812aを生成する。そして、表示処理部274は、追加オブジェクト(装着オブジェクト)1401を装着したユーザAのキャラクタオブジェクト811aを含むユーザ出力画像812aを含むコミュニケーション画面1400を表示する。以上により、承諾処理は終了する。
なお、ユーザB1による追加指示に係る追加オブジェクト(装着オブジェクト)によって変更されるキャラクタオブジェクトは、ユーザB1以外の全てのユーザ(図13(b)に示す例では、ユーザA,ユーザB2及びユーザB3)のキャラクタオブジェクトでもよい。この場合、ユーザB1以外の全てのユーザの端末装置2において追加オブジェクト1311を含むユーザ出力画像812a、812b2及び812b3が表示される。ユーザA,ユーザB2及びユーザB3による追加オブジェクト1311に係る承諾指示が入力されると、追加オブジェクト(装着オブジェクト)1401を装着したユーザAのキャラクタオブジェクト811aを含むユーザ出力画像812a、追加オブジェクト(装着オブジェクト)1401を装着したユーザB2のキャラクタオブジェクト811b2を含むユーザ出力画像812b2、及び追加オブジェクト(装着オブジェクト)1401を装着したユーザB3のキャラクタオブジェクト811b3を含むユーザ出力画像812b3が表示される。なお、この場合、追加指示をしたユーザB1のキャラクタオブジェクト811b1に追加オブジェクト(装着オブジェクト)1401が装着されてもよい。
図14(a)は、承諾指示後の端末装置2の表示装置23に表示されるコミュニケーション画面1400の他の一例を示す図である。図14(a)に示されるように、コミュニケーション画面1400には、追加オブジェクト(装着オブジェクト)1401が装着されたキャラクタオブジェクト811aを含むユーザ出力画像812aが表示される。
ユーザのキャラクタオブジェクトに新たに装着オブジェクトが装着された場合、他ユーザが評価できるようにしてもよい。図14(b)は、ユーザB2のキャラクタオブジェクト811b2に新たに装着オブジェクト1411が装着された場合におけるユーザAの端末装置2の表示装置23に表示されるコミュニケーション画面1410の他の一例を示す図である。
コミュニケーション画面1410には、追加ボタン813及びゲームボタン814とともに、新たに評価ボタン1412が含まれる。図14(b)に示される例では、評価ボタン1412は、ユーザ出力画像812aの表示領域内に配置されているが、ユーザ出力画像812aの表示領域外に表示されてもよい。また、評価ボタン1412は、ユーザB2のキャラクタオブジェクト811b2に新たに装着オブジェクト1411が装着されてから所定時間(例えば、10秒間)だけ表示されるように表示処理部274によって表示制御されてもよい。
評価ボタン1412は、新たに装着オブジェクト1411が装着されたキャラクタオブジェクト811b2に対するユーザAの評価を示す評価データを送信させるための評価指示を入力するためのオブジェクト画像である。ユーザAによる入力装置24の操作によって評価ボタン1412が選択されると、入力装置24は、評価指示を端末処理装置27に入力する。入力装置24は、評価指示とともに、端末記憶装置22に記憶されたユーザAのユーザIDと、新たに装着オブジェクトが装着されたキャラクタオブジェクト811b2に係るユーザB2のユーザIDを端末処理装置27に入力する。以下、評価指示に応じた評価処理の一例について説明する。
まず、ユーザAの端末装置2の表示処理部274は、入力装置24から入力された評価指示、ユーザAのユーザID、及びユーザB2のユーザIDを取得すると、新たに装着オブジェクトが装着されたキャラクタオブジェクト811b2に関する肯定的な評価を示す情報を表示する。表示処理部274は、例えば、ユーザB2のユーザIDに関連付けられたユーザB2の名称を抽出して、ユーザB2の名称を褒める文字列を肯定的な評価を示す情報として表示する。また、例えば、表示処理部274は、キャラクタオブジェクト811b2のユーザ出力画像812b2の表示領域内に所定のマーク画像を肯定的な評価を示す情報として表示してもよい。
次に、ユーザAの端末装置2の送信部272は、入力装置24から入力された評価指示を示す情報、ユーザAのユーザID、及びユーザB2のユーザIDを取得すると、取得した情報を、送信先情報(ユーザB(ユーザB1~ユーザB3)のユーザID)とともに端末通信I/F21を介してサーバ装置3に送信する。次に、サーバ装置3のサーバ受信部331は、サーバ通信I/F31を介して、評価指示を示す情報とユーザAのユーザIDとユーザB2のユーザIDと送信先情報とを受信する。次に、サーバ装置3のサーバ送信部332は、サーバ通信I/F31を介して、評価指示を示す情報とユーザAのユーザIDとユーザB2のユーザIDとを、ユーザB(ユーザB1~ユーザB3)の端末装置2に送信する。そして、ユーザBの端末装置2の受信部273によって、端末通信I/F21を介して変評価指示を示す情報とユーザAのユーザIDとユーザB2のユーザIDとが受信されると、ユーザBの端末装置2の表示処理部274は、新たに装着オブジェクトが装着されたキャラクタオブジェクト811b2に関する肯定的な評価を示す情報を表示する。表示処理部274は、例えば、ユーザB2のユーザIDに関連付けられたユーザB2の名称を抽出して、ユーザB2の名称を褒める文字列を肯定的な評価を示す情報として表示する。また、例えば、表示処理部274は、キャラクタオブジェクト811b2のユーザ出力画像812b2の表示領域内に所定のマーク画像を肯定的な評価を示す情報として表示してもよい。以上により、評価処理は終了する。
これにより、ユーザAは、ユーザBのキャラクタオブジェクトに装着オブジェクトが装着された場合に、簡単な操作でリアクションを行うことができ、ユーザBとのコミュニケーションを継続しようとするユーザAの意欲を向上させることが可能となる。また、端末装置2の表示装置23のディスプレイ画面の大きさには限りがあり、多くの情報を表示装置23に表示させると、ユーザが表示された情報の認識することが難しくなるという問題があった。本実施形態におけるユーザAの端末装置2では、ユーザA以外のユーザのキャラクタオブジェクト又はユーザ出力画像が変化した場合に、評価ボタン1412が表示される。そして、ユーザAは、評価ボタン1412を操作することで、変化後のユーザA以外のユーザのキャラクタオブジェクト又はユーザ出力画像に対する評価を入力することができる。このように、本実施形態におけるユーザAの端末装置2は、キャラクタオブジェクト又はユーザ出力画像に対する評価のタイミングに合わせて評価ボタン1412をユーザAに提供することができるため、ユーザビリティを向上させることが可能となる。なお、ユーザAによる評価指示に応じて表示される情報は、肯定的な情報に限らず、否定的な情報でもよい。また、表示される評価ボタン1412は複数種類であってもよい。例えば、肯定的な評価データを送信するための評価ボタン及び否定的な評価データを送信するための評価ボタンの2種類の評価ボタン等が表示されてもよい。
図8(b)に戻り、ユーザAのユーザ出力画像812aに替えて、又は、ユーザAのユーザ出力画像812aとともに、ユーザAがプレイするゲームの進行を示すゲーム画面を含むゲーム表示オブジェクトが表示されてもよい。ゲーム表示オブジェクトは、所謂フィルターでもよい。例えば、ユーザAによる入力装置24の操作によってゲームボタン814が選択されると、入力装置24は、ゲーム開始指示を端末処理装置27に入力する。なお、選択画面1200において、追加候補オブジェクトとして、ゲームボタン814と同じ機能を有するオブジェクトが含まれてもよい。この場合、ユーザAによる入力装置24の操作によってゲーム開始指示の入力するための追加候補オブジェクトが選択されると、入力装置24は、ゲーム開始指示を端末処理装置27に入力する。
まず、表示処理部274は、入力装置24から入力されたゲーム開始指示を取得すると、端末記憶装置22に記憶された制御プログラム(ゲームアプリケーションプログラム等)に含まれる各種命令を実行することで実現されるゲームを開始し、開始したゲームのゲーム画面を含むゲーム表示オブジェクト1500を表示装置23に表示する。図15(a)は、ユーザAによるゲーム開始指示に応じてユーザAの端末装置2の表示装置23に表示されるゲーム画面を含むゲーム表示オブジェクト1500の一例を示す図である。
ゲーム表示オブジェクト1500が表示されると、表示処理部274は、ユーザAからの各種入力情報と、制御プログラム(ゲームアプリケーションプログラム等)に含まれる各種命令とに応じて、ゲーム表示オブジェクト1500のゲームを進行させる。そして、表示処理部274は、所定のゲーム終了条件が満たされた場合、ゲーム表示オブジェクト1500のゲームを終了する。
また、ゲーム表示オブジェクト1500が表示されると、生成部271は、ユーザAがプレイするゲームのゲーム画面を示すゲーム画像データを、ゲーム進行中に随時生成する。次に生成部271は、生成したゲーム画像データと、端末記憶装置22に記憶されたユーザIDとを含む出力情報を生成し、生成した出力情報を送信部272に出力する。
次に、ユーザAの端末装置2の送信部272は、ユーザAの出力情報を、送信先情報(ユーザB(ユーザB1~ユーザB3)のユーザID)とともに端末通信I/F21を介してサーバ装置3に送信する。次に、サーバ装置3のサーバ受信部331は、サーバ通信I/F31を介して、ユーザAの端末装置2から送信されたユーザAの出力情報を受信する。次に、サーバ装置3のサーバ送信部332は、サーバ通信I/F31を介して、ユーザAの出力情報をユーザB(ユーザB1~ユーザB3)の端末装置2に送信する。そして、ユーザBの端末装置2の受信部273によって、端末通信I/F21を介して出力情報が受信されると、ユーザBの端末装置2の表示処理部274は、出力情報に含まれるユーザIDによって示されるユーザAのユーザ出力画像812aに替えて、出力情報に含まれるゲーム画像データに基づくゲーム画像を含むゲーム表示オブジェクト1511を表示する(図15(b))。
図15(a)に示される例では、ゲーム表示オブジェクト1500に含まれるゲーム画面のゲームは釣りゲームである。ゲーム表示オブジェクト1500に含まれるゲーム画面には、ゲームオブジェクト1501、標的オブジェクト1502、パラメータカーソル1503、及びパラメータゲージ枠1504が含まれる。
ゲームオブジェクト1501は、魚を模したオブジェクト画像であり、ゲーム画面内における予め定められた経路又はランダムに決定された経路を自動的に移動するように、表示処理部274によって表示制御される。なお、端末記憶装置22には、ゲームオブジェクト1501に関連付けられた初期値が記憶されており、表示処理部274は、ゲームの開始時点において、ゲームオブジェクト1501のパラメータ値としてゲームオブジェクト1501に関連付けられた初期値を設定する。
標的オブジェクト1502は、第1標的オブジェクト1502a、第2標的オブジェクト1502b及び第3標的オブジェクト1502cにより構成される。第1標的オブジェクト1502aは、略円形の形状を有するオブジェクト画像であり、第2標的オブジェクト1502bは、第1標的オブジェクト1502aの周囲を囲む形状を有するオブジェクト画像であり、第3標的オブジェクト1502cは、第2標的オブジェクト1502bの周囲を囲む形状を有するオブジェクト画像である。
入力装置24がタッチパネルである場合、ゲームオブジェクト1501内をユーザAがタップ操作することにより、入力装置24はゲーム入力指示を表示処理部274に入力する。表示処理部274は、入力装置24からゲーム入力指示を取得した時点のゲームオブジェクト1501の所定箇所(例えば、魚の口に対応する箇所)が、第1標的オブジェクト152a、第2標的オブジェクト1502b及び第3標的オブジェクト1502cのいずれかに位置するかを判定する。
表示処理部274は、ゲームオブジェクト1501の所定箇所が、第1標的オブジェクト1502a、第2標的オブジェクト1502b及び第3標的オブジェクト1502cのいずれかに位置すると判定した場合、ゲームオブジェクト1501のパラメータ値を変化(増大又は減少)させる。
表示処理部274は、ゲームオブジェクト1501のパラメータ値の変化量を、入力装置24からゲーム入力指示を取得した時点のゲームオブジェクト1501の所定箇所の位置に応じて変更させる。例えば、ゲーム入力指示があった時点のゲームオブジェクト1501の所定箇所が第1標的オブジェクト1502a内に位置する場合、表示処理部274は、ゲームオブジェクト1501のパラメータ値を、第1減少値分だけ減少させる。なお、ゲーム入力指示があった時点のゲームオブジェクト1501の所定箇所が第1標的オブジェクト1502aに位置する場合、表示処理部274は、ゲームオブジェクト1501のパラメータ値を、第1増大値分だけ増大させてもよい。また、ゲーム入力指示があった時点のゲームオブジェクト1501の所定箇所が第1標的オブジェクト1502a外であり且つ第2標的オブジェクト1502b内に位置する場合、表示処理部274は、ゲームオブジェクト1501のパラメータ値を、第1減少値よりも小さい値の第2減少値分だけ減少させる。なお、ゲーム入力指示があった時点のゲームオブジェクト1501の所定箇所が第1標的オブジェクト1502a外、且つ、第2標的オブジェクト1502b内に位置する場合、表示処理部274は、ゲームオブジェクト1501のパラメータ値を、第1増大値よりも小さい値の第2増大値分だけ増大させてもよい。また、ゲーム入力指示があった時点のゲームオブジェクト1501の所定箇所が第2標的オブジェクト1502b外であり且つ第3標的オブジェクト1502c内に位置する場合、表示処理部274は、ゲームオブジェクト1501のパラメータ値を、第2減少値よりも小さい値の第3減少値分だけ減少させる。なお、ゲーム入力指示があった時点のゲームオブジェクト1501の所定箇所が第2標的オブジェクト1502b外であり且つ第3標的オブジェクト1502c内に位置する、表示処理部274は、ゲームオブジェクト1501のパラメータ値を、第2増大値よりも小さい値の第3増大値分だけ増大させてもよい。また、ゲーム入力指示があった時点のゲームオブジェクト1501の所定箇所が標的オブジェクト1502外に位置する場合、表示処理部274は、ゲームオブジェクト1501のパラメータ値を変化させない。
パラメータカーソル1503は、ゲームオブジェクト1501のパラメータ値を示すカーソルオブジェクトである。表示処理部274は、パラメータゲージ枠1504内における、ゲームオブジェクト1501のパラメータ値に対応する位置に、パラメータカーソル1503を配置する。図13(a)に示される例では、パラメータカーソル1503は、パラメータゲージ枠1504内を左右に移動可能であり、ゲームオブジェクト1501のパラメータ値が大きい程、パラメータゲージ枠1504内の右方向に配置される。
表示処理部274は、ゲームオブジェクト1501のパラメータ値が所定値(例えば、「0」(ゼロ))以下となった場合、ユーザAがゲームのクリアに成功したと判定し、当該ゲームを終了する。表示処理部274は、ゲームオブジェクト1501のパラメータ値が所定値(ゲームの開始時点のパラメータ値よりも大きい値)以上となった場合、ユーザAがゲームのクリアに成功したと判定してもよい。表示処理部274は、ゲームが成功するまで当該ゲームを継続させてもよく、また、ゲームの開始から所定のゲーム期間(例えば、30秒)が経過した場合、ユーザAがゲームのクリアに成功していなくても当該ゲームを終了させてもよい。
ゲーム表示オブジェクト1500に含まれるゲーム画面のゲームが終了した場合、ユーザBのいずれかの端末装置2に、ゲーム表示オブジェクトが表示されてもよい。例えば、ユーザAの端末装置2の送信部272は、ゲーム終了を示す情報をサーバ装置3に送信し、サーバ装置3は、ユーザB1の端末装置2にユーザAに係るゲーム終了を示す情報を送信する。ユーザB1の端末装置2の表示処理部274は、受信されたゲーム終了に関する情報を取得すると、端末記憶装置22に記憶された制御プログラム(ゲームアプリケーションプログラム等)に含まれる各種命令を実行することで実現されるゲームを開始し、開始したゲームのゲーム画面を含むゲーム表示オブジェクト1500を表示装置23に表示する。ユーザB1がプレイしたゲームが終了すると、同様に、ユーザB1の端末装置2によってサーバ装置3経由でゲーム終了を示す情報がユーザB2の端末装置2に送信され、ユーザB1の端末装置2の表示処理部274は、ゲーム表示オブジェクト1500を表示する。さらに、ユーザB2がプレイしたゲームが終了すると、同様に、ユーザB2の端末装置2によってサーバ装置3経由でゲーム終了を示す情報がユーザB3の端末装置2に送信され、ユーザB1の端末装置2の表示処理部274は、ゲーム表示オブジェクト1500を表示する。なお、ゲームをプレイしていないユーザの端末装置2には、図13(b)の画面が表示され、他のユーザのプレイ状況を視認することができる。このように、コミュニケーショングループに含まれる各ユーザが順番にゲームを行うことができ、コミュニケーションに対するユーザの継続使用の意欲を向上させることが可能となる。
なお、端末装置2は、ゲームを実行するために、制御プログラムに組み込まれたブラウザ機能を呼び出して、ゲームプログラムを実行してもよい。例えば、端末装置2は、呼び出したブラウザ機能を用いて、サーバ装置3からウェブページ(HTML(Hyper Text Markup Language)等のマークアップ言語によって記述されたドキュメント)を受信する。そして、端末装置2は、受信したウェブページに組み込まれたゲームプログラムを実行する。例えば、マークアップ言語として、HTML5が用いられることにより、端末装置2は、新規なゲームを容易に実行することができる。情報システム1において上述のウェブアプリケーションを採用することにより、ゲームプログラムの製作者は、サーバ装置3が送信するウェブページに新しいゲームプログラムを組み込むだけで新しいゲームをクライアントサイド(端末装置2側)に提供できる。これにより、ゲームプログラムの製作者は、新しいゲームプログラムの製作工数を大幅に抑えることが可能となる。また、クライアントサイドでは、新しいゲームプログラムをダウンロードせずにウェブページを受信するだけで、新しいゲームの提供を受けることができる。これにより、情報システム1において、ゲームプログラムのダウンロードに比べ、通信ネットワークの負荷、通信コスト及び/又は通信時間の低減が可能となり且つユーザのインターフェースの簡素化を実現することが可能となる。
入力装置24によるユーザAのゲーム入力指示は、タップ操作に応じて入力されるものに限らない。例えば、ユーザAによる所定方向へのスワイプ操作に応じて、入力装置24はゲーム入力指示を表示処理部274に入力してもよい。また、ゲーム入力指示は、入力装置24によって入力されるものに限らない。例えば、表示処理部274が、連続的に取得した撮像データに基づいて生成部271によって時間の経過に伴って随時生成されたフェイスモーションデータを取得し、フェイスモーションデータに基づいて、ユーザAが所定の動作をしたと判定した時に、ゲーム入力指示を生成してもよい。所定の動作は、例えば、ユーザAが目をつぶること、ユーザAの顔が所定方向を向くこと、又は、ユーザの手が所定の動作をしたこと等である。フェイスモーションデータに基づいてゲーム入力指示が生成される場合、ユーザAのユーザ出力画像812aとともに、ユーザAがプレイするゲームの進行を示すゲーム画面を含むゲーム表示オブジェクト1500が表示されてもよい。ユーザ出力画像812aとゲーム表示オブジェクト1500との同時表示は、ユーザ出力画像812aとゲーム表示オブジェクト1500とが並んで表示される方式でもよく、また、ユーザ出力画像812aがゲーム表示オブジェクト1500に重畳して表示される方式でもよい。例えば、ユーザ出力画像812aがゲーム表示オブジェクト1500の背景画像として表示されてもよい。これにより、ユーザは、ユーザのキャラクタオブジェクトの動作を確認しながらゲームをプレイすることができ、ゲームの操作性を向上させることが可能となる。また、加速度センサ(図示せず)を有する端末装置2をユーザAが振る動作をすることで、加速度センサによって所定値以上の加速度が測定された場合に、表示処理部274が、ゲーム入力指示を生成してもよい。
ゲーム表示オブジェクト1500に含まれるゲーム画面のゲームは釣りゲーム以外のゲームでもよい。例えば、ユーザAが目をつぶるたびに所定距離移動するユーザAのキャラクタオブジェクトが登場するゲームでもよく、また、ユーザAが目をつぶるたびに所定距離移動するいずれかのユーザBのキャラクタオブジェクトが登場するゲームでもよい。
また、ゲーム表示オブジェクト1511内のゲーム画像に対してユーザBによる所定のゲーム入力指示が入力できる場合、いずれかのユーザBの操作に応じたゲーム入力指示により、ゲーム表示オブジェクト1511内のゲーム画像に示されるゲームが進行してもよい。なお、ゲーム表示オブジェクト1511内のゲーム画像に対してユーザBによる所定のゲーム入力指示が入力できる場合、ユーザAによるゲーム入力指示ができないように、ユーザAの端末装置2の入力装置24が制御されてもよい。また、ゲーム表示オブジェクト1511内のゲーム画像に対してユーザBによる所定のゲーム入力指示が入力できる場合、ユーザAによるゲーム入力指示と全てのユーザBによるゲーム入力指示とにより、ゲーム表示オブジェクト1511内のゲーム画像に示されるゲームが進行してもよい。図15(b)の画面において、ユーザAによってプレイされるゲーム表示オブジェクト1511だけでなく、ユーザB1、ユーザB2及びユーザB3のそれぞれによってプレイされるゲーム表示オブジェクト1511が表示されてもよい。この場合、各ユーザは、図15(b)の画面において、4つのゲーム表示オブジェクト1511が表示され、各ユーザが、各ユーザに対応するゲーム表示オブジェクト1511のゲームをプレイする。
このように、ユーザAは、ユーザBとのコミュニケーション中にゲーム画面を提供することができる。これにより、ユーザA及びユーザBはコミュニケーションを継続しようとする意欲を向上させることが可能となる。
(情報システム1の動作シーケンス)
図16は、情報システム1の動作シーケンスの一例を示す図である。この動作シーケンスは、予め端末記憶装置22及びサーバ記憶装置32に記憶されている制御プログラムに基づいて、主に端末処理装置27及びサーバ処理装置33により、端末装置2及びサーバ装置3の各要素と協働して実行される。以下、ユーザAは端末装置2aを操作し、ユーザB1は端末装置2b1を操作し、ユーザB2は端末装置2b2を操作するものとして説明する。なお、ユーザA以外のユーザの端末装置は、ユーザB1及びB2の端末装置2b1~2b2だけに限らず、3人以上のユーザの端末装置2がサーバ装置3に接続されてもよい。
まず、端末装置2aの送信部272は、撮像装置25によって連続的に出力された撮像データに基づいて生成部271によって生成されたユーザAのモーションデータを含むキャラクタ動画データと、マイク26から出力されたユーザAの音声データと、ユーザAのユーザIDとを含む出力情報を、端末通信I/F21を介してサーバ装置3に送信する(ステップS101)。なお、出力情報は、ユーザがプレイするゲームのゲーム画面を示すゲーム画像データとユーザAのユーザIDを含むものでもよい。また、送信部272の送信処理において送信先情報が含まれてもよい。ステップS101の処理は、配信イベントが終了するまで所定時間間隔ごと(例えば、2秒間隔ごと)に連続して実行されるため、ステップS101~S110に係る処理は、断続的に実行される。
次に、サーバ装置3のサーバ送信部332は、端末装置2aから受信した出力情報を、サーバ通信I/F31を介して、端末装置2b1に送信する(ステップS102)とともに、端末装置2b2に送信する(ステップS103)。
また、端末装置2b1の送信部272は、ユーザB1のキャラクタ動画データとユーザB1の音声データとユーザB1のユーザIDとを含む出力情報を、端末通信I/F21を介してサーバ装置3に送信する(ステップS104)。次に、サーバ装置3のサーバ送信部332は、端末装置2b1から受信した出力情報を、サーバ通信I/F31を介して、端末装置2aに送信する(ステップS105)とともに、端末装置2b2に送信する。
また、端末装置2b2の送信部272は、ユーザB2のキャラクタ動画データとユーザB2の音声データとユーザB2のユーザIDとを含む出力情報を、端末通信I/F21を介してサーバ装置3に送信する(ステップS106)。次に、サーバ装置3のサーバ送信部332は、端末装置2b2から受信した出力情報を、サーバ通信I/F31を介して、端末装置2aに送信する(ステップS107)とともに、端末装置2b1に送信する。
端末装置2aの表示処理部274は、ユーザA、ユーザB1、及びユーザB2のそれぞれの出力情報に基づいてユーザAのキャラクタオブジェクトを含むユーザ出力画像、ユーザB1のキャラクタオブジェクトを含むユーザ出力画像、及びユーザB2のキャラクタオブジェクトを含むユーザ出力画像を含むコミュニケーション画面を、端末装置2aの表示装置23に表示出力し、ユーザB1及びユーザB2の音声を出力する(ステップS108)。
ステップS108と同様に、端末装置2b1の表示処理部274は、ユーザA、ユーザB1、及びユーザB2のそれぞれの出力情報に基づいてユーザAのキャラクタオブジェクトを含むユーザ出力画像、ユーザB1のキャラクタオブジェクトを含むユーザ出力画像、及びユーザB2のキャラクタオブジェクトを含むユーザ出力画像を含むコミュニケーション画面を、端末装置2b1の表示装置23に表示出力し、ユーザA及びユーザB2の音声を出力する(ステップS109)。
ステップS108と同様に、端末装置2b2の表示処理部274は、ユーザA、ユーザB1、及びユーザB2のそれぞれの出力情報に基づいてユーザAのキャラクタオブジェクトを含むユーザ出力画像、ユーザB1のキャラクタオブジェクトを含むユーザ出力画像、及びユーザB2のキャラクタオブジェクトを含むユーザ出力画像を含むコミュニケーション画面を、端末装置2b2の表示装置23に表示出力し、ユーザA及びユーザB1の音声を出力する(ステップS110)。
次に、端末装置2aの送信部272は、ユーザAによる入力装置24の操作に応じて入力された、変更指示、追加指示及び評価指示のいずれかを示す情報を、端末通信I/F21を介してサーバ装置3に送信する(ステップS111)。
次に、サーバ装置3のサーバ送信部332は、端末装置2aから受信した変更指示、追加指示及び評価指示のいずれかを示す情報を、サーバ通信I/F31を介して、端末装置2b1に送信する(ステップS112)とともに、端末装置2b2に送信する(ステップS113)。
端末装置2aの表示処理部274は、ユーザAによる入力装置24の操作に応じて入力された、変更指示、追加指示及び評価指示のいずれかに応じて、ユーザAのユーザ出力画像、ユーザB1のユーザ出力画像、及びユーザB2のユーザ出力画像、の少なくとも一部を変更して、端末装置2aの表示装置23に表示出力する(ステップS114)。
端末装置2b1の表示処理部274は、ユーザAの端末装置2aから送信された、変更指示、追加指示及び評価指示のいずれかを示す情報に応じて、ユーザAのユーザ出力画像、ユーザB1のユーザ出力画像、及びユーザB2のユーザ出力画像、の少なくとも一部を変更して、端末装置2b1の表示装置23に表示出力する(ステップS115)。
端末装置2b2の表示処理部274は、ユーザAの端末装置2aから送信された、変更指示、追加指示及び評価指示のいずれかを示す情報に応じて、ユーザAのユーザ出力画像、ユーザB1のユーザ出力画像、及びユーザB2のユーザ出力画像、の少なくとも一部を変更して、端末装置2b2の表示装置23に表示出力する(ステップS116)。
次に、端末装置2b1の送信部272は、ユーザB1による入力装置24の操作に応じて入力された、装着オブジェクトの追加指示を示す情報を、端末通信I/F21を介してサーバ装置3に送信する(ステップS117)。
次に、サーバ装置3のサーバ送信部332は、端末装置2b1から受信した装着オブジェクトの追加指示を示す情報を、サーバ通信I/F31を介して、端末装置2aに送信する(ステップS118)。
端末装置2aの表示処理部274は、ユーザB1の端末装置2aから送信された装着オブジェクトの追加指示を示す情報に応じて表示された追加オブジェクトに対して、ユーザAによって承諾に関する所定の操作がされたか否かを判定する(ステップS119)。
ユーザAによって承諾に関する所定の操作がされなかったと判定された場合(ステップS119-No)、ステップS123は実行されない。ユーザAによって承諾に関する所定の操作がされたと判定された場合(ステップS119-Yes)、端末装置2aの送信部272は、承諾指示を示す情報を、端末通信I/F21を介してサーバ装置3に送信する(ステップS120)。
次に、サーバ装置3のサーバ送信部332は、端末装置2aから受信した承諾指示を示す情報を、サーバ通信I/F31を介して、端末装置2b1に送信する(ステップS121)とともに、端末装置2b2に送信する(ステップS122)。なお、承諾指示を示す情報とともに、ステップS117においてユーザB1の端末装置2aから送信された追加指示を示す情報に係る装着オブジェクトを示すオブジェクトIDも送信される。
端末装置2aの表示処理部274は、ステップS117においてユーザB1の端末装置2aから送信された追加指示を示す情報に係る装着オブジェクトを装着した、ユーザAのキャラクタオブジェクトを含むユーザ出力画像を、端末装置2aの表示装置23に表示出力する(ステップS123)。
端末装置2b1の表示処理部274は、ステップS117においてユーザB1の端末装置2aから送信された追加指示を示す情報に係る装着オブジェクトを装着した、ユーザAのキャラクタオブジェクトを含むユーザ出力画像を、端末装置2b1の表示装置23に表示出力する(ステップS124)。
端末装置2b2の表示処理部274は、ステップS117においてユーザB1の端末装置2aから送信された追加指示を示す情報に係る装着オブジェクトを装着した、ユーザAのキャラクタオブジェクトを含むユーザ出力画像を、端末装置2b2の表示装置23に表示出力する(ステップS125)。
以上、詳述したとおり、本実施形態の情報システム1では、ユーザAによる指示に応じて、少なくとも一部が変更されたユーザAのユーザ出力画像、及び/又は、少なくとも一部が変更された少なくともの1人のユーザBのユーザ出力画像が表示される。このように、本実施形態の情報システム1によって、コミュニケーションサービス中に、端末装置2からの出力がユーザA又は少なくとも1人のユーザBによって変更されるようにすることで、コミュニケーションに対するユーザの継続使用の意欲を向上させることが可能となる。
(変形例1)
なお、本発明は、本実施形態に限定されるものではない。例えば、所定の条件が満たされた場合、ユーザAの端末装置2の表示処理部274は、選択画面1200(図12(a))の表示領域内に、新たな追加候補オブジェクトを追加してもよい。また、所定の条件が満たされた場合、ユーザAの端末装置2の表示処理部274は、選択画面1200の表示領域内に含まれる追加候補オブジェクトの少なくとも一部を削除してもよい。
所定の条件は、ユーザAのキャラクタオブジェクト又はユーザ出力画像がコミュニケーション画面に表示された時間が所定時間を超えたという条件である。また、所定の条件は、ユーザAのキャラクタオブジェクト又はユーザ出力画像がコミュニケーション画面に表示された時間が所定時間を超えていないという条件でもよい。また、所定の条件は、いずれかのユーザBのキャラクタオブジェクト又はユーザ出力画像がコミュニケーション画面に表示された時間が、所定時間を超えたという条件又は所定時間を超えていないという条件でもよい。また、所定の条件は、ユーザA及び全てのユーザBのそれぞれのキャラクタオブジェクト又はユーザ出力画像がコミュニケーション画面に表示された時間の合計が所定時間を超えたという条件又は所定時間を超えていないという条件でもよい。また、所定の条件は、ユーザA及び全てのユーザBのうちの少なくとも2人のキャラクタオブジェクト又はユーザ出力画像がコミュニケーション画面に表示された時間の合計が所定時間を超えたという条件又は所定時間を超えていないという条件でもよい。
また、所定の条件は、ユーザAによる入力装置24の操作によって、追加候補オブジェクトのいずれかが選択された回数が所定回数を超えたという条件でもよい。また、所定の条件は、ユーザAによる入力装置24の操作によって、追加候補オブジェクトのいずれかが選択された回数が所定回数を超えていないという条件でもよい。また、所定の条件は、いずれかのユーザBによる入力装置24の操作によって、追加候補オブジェクトのいずれかが選択された回数が、所定回数を超えたという条件又は所定の回数を超えていないという条件でもよい。また、所定の条件は、ユーザA及び全てのユーザBのそれぞれによる入力装置24の操作によって、追加候補オブジェクトのいずれかが選択された回数の合計が、所定回数を超えたという条件又は所定の回数を超えていないという条件でもよい。また、所定の条件は、ユーザA及び全てのユーザBのうちの少なくとも2人による入力装置24の操作によって、追加候補オブジェクトのいずれかが選択された回数の合計が、所定回数を超えたという条件又は所定の回数を超えていないという条件でもよい。
所定の条件が満たされた場合に選択画面1200の表示領域内に追加される新たな追加候補オブジェクトは、例えば、ユーザ出力画像内のキャラクタオブジェクトの背面に配置される特定の壁紙オブジェクト、及び特定の装着オブジェクト等に対応するものでもよい。
このように、所定の条件が満たされることで、追加オブジェクトの選択の幅が広がる(又は狭まる)ため、コミュニケーションサービス中のユーザAの操作に応じた出力に多様性を持たせることが可能となる。したがって、ユーザAがユーザBとのコミュニケーションを継続使用する意欲を向上させることが可能となる。
(変形例2)
図14(b)に示されるように、ユーザB2のキャラクタオブジェクト811b2に新たに装着オブジェクト1411が装着された場合、ユーザAは、新たに表示されたコミュニケーション画面1410に含まれた評価ボタン1412を操作できる。ユーザAの端末装置2において、ユーザAが、評価ボタン1412に替えて又は評価ボタン1412とともに、評価ボタン1412の操作以外の操作ができるように構成されてもよい。
例えば、ユーザB2のキャラクタオブジェクト811b2に新たに装着オブジェクト1411が装着された場合、コミュニケーション画面1410に、ユーザAのキャラクタオブジェクト811aに所定の動作を自動的に行わせるための動作ボタンを所定の表示期間(例えば10秒間)含めるようにしてもよい。ユーザAによる入力装置24の操作によって動作ボタンが選択されると、生成部271は、ユーザAのモーションデータの使用を所定の動作期間(例えば5秒間)中止し、予め端末記憶装置22に記憶された所定の動作に関する情報を抽出して、ユーザAのキャラクタオブジェクト611aに所定の動作を所定の動作期間(例えば5秒間)自動的に行わせる。所定の動作は、例えば、拍手をする動作、驚きを示す動作等である。なお、ユーザAによる入力装置24の操作によって動作ボタンが選択されると、生成部271は、ユーザAの一部のモーションデータの使用を中止しなくてもよい。例えば、動作ボタンに応じた動作が、キャラクタオブジェクト611aの腕に関する動作である場合、フェイスモーションデータの使用は継続されてもよい。これにより、情報システム1は、動作ボタンによる画一的な動きに止まらず、キャラクタオブジェクトに対し豊かな表現を行わせることができ、ユーザとのコミュニケーションを継続使用する意欲を向上させることが可能となる。
また、ユーザAによる複数の所定の操作のそれぞれに、ユーザAのキャラクタオブジェクト811aに自動的に行わせる所定の動作に関する情報が関連付けられて端末記憶装置22に記憶させてもよい。例えば、上方向へのスワイプ操作に関連付けて、ピースサインをする動作に関する情報が端末記憶装置22に記憶され、下方向へのスワイプ操作に関連付けて、飛び跳ねる動作に関する情報が端末記憶装置22に記憶されてもよい。例えば、ユーザAによって上方向へのスワイプ操作が行われたことが入力装置24によって検知されると、生成部271は、ユーザAのモーションデータの使用を所定の動作期間(例えば5秒間)中止し、予め端末記憶装置22に記憶されたピースサインをする動作に関する情報を抽出して、ユーザAのキャラクタオブジェクト811aにピースサインをする動作を所定の動作期間(例えば5秒間)自動的に行わせる。そして、この場合、ユーザB2のキャラクタオブジェクト811b2に新たに装着オブジェクト1411が装着されてから所定の期間(例えば10秒間)、所定の操作に関連付けられた所定の動作に関する情報を変更してもよい。例えば、ユーザB2のキャラクタオブジェクト811b2に新たに装着オブジェクト1411が装着されてから所定の期間(例えば10秒間)、上方向へのスワイプ操作に関連付けて、(ピースサインをする動作に関する情報を変更して)拍手をする動作に関する情報が端末記憶装置22に記憶されてもよい。これにより、ユーザB2のキャラクタオブジェクト811b2に新たに装着オブジェクト1411が装着されてから所定の期間(例えば10秒間)において、ユーザAによって上方向へのスワイプ操作が行われたことが入力装置24によって検知されると、生成部271は、ユーザAのモーションデータの使用を所定の動作期間(例えば5秒間)中止し、予め端末記憶装置22に記憶された拍手をする動作に関する情報を抽出して、ユーザAのキャラクタオブジェクト811aに拍手をする動作を所定の動作期間(例えば5秒間)自動的に行わせる。このように、通常のコミュニケーション中と、他ユーザのキャラクタオブジェクトに新たな装着オブジェクトが装着された時とで、同一操作であっても異なる動作をキャラクタオブジェクトにさせることができ、コミュニケーションサービス中のユーザAの操作に応じた出力に多様性を持たせることが可能となる。したがって、ユーザAがユーザBとのコミュニケーションを継続使用する意欲を向上させることが可能となる。また、情報システム1は、キャラクタオブジェクトに対して所定の操作に対応付けられた所定の動作を行わせることにより、モーションデータを用いる場合よりも端末装置2の処理負荷を低減させ、且つ、端末装置2とサーバ装置3間の通信負荷の増加を防止することが可能となる。
(変形例3)
表示処理部274は、コミュニケーション画面中に追加させる追加オブジェクトを選択するための選択ボタンを、コミュニケーション画面に含めてもよい。例えば、ユーザAによる入力装置24の操作によって選択ボタンが選択されると、表示処理部274は、端末記憶装置22に記憶された複数の追加オブジェクトを含むグループから、所定の選択方法に基づいて一又は複数の追加オブジェクトを選択する。なお、所定の選択方法は、複数の追加オブジェクトを含むグループからランダムに抽選する方法、複数の追加オブジェクトを含むグループから所定の順番により選択する方法等である。そして、表示処理部274及び送信部272は、選択された追加オブジェクトのオブジェクトIDと追加指示を用いて追加処理を実行する。これにより、ユーザAのキャラクタオブジェクトは、選択された追加オブジェクトに基づいてユーザ出力情報を変更することができる。
なお、この場合、選択された追加オブジェクトと関連がある装着オブジェクトを装着しているキャラクタオブジェクトのユーザBのコミュニケーション画面中に、装着ボタンを含めるようにしてもよい。追加オブジェクトと関連がある装着オブジェクトは、例えば、追加オブジェクトと同一属性の装着オブジェクト、又は、追加オブジェクトと同一色の装着オブジェクト等である。この場合、オブジェクトテーブルT2において、各オブジェクトIDに関連付けて、各オブジェクトの属性を示す情報及び/又は色を示す情報が記憶される。また、ユーザテーブルT1において、各ユーザのユーザIDに関連付けて、各ユーザのキャラクタオブジェクトの属性を示す情報及び/又は色を示す情報が記憶される。属性は、例えばオブジェクトの型(男性又は女性等)である。また、属性は、オブジェクトを取得可能な抽選ゲームの種類でもよい。ユーザBよる入力装置24の操作によって装着ボタンが選択されると、表示処理部274は、選択された追加オブジェクトのオブジェクトIDを特定し、表示処理部274及び送信部272は、選択された追加オブジェクトのオブジェクトIDと追加指示を用いて追加処理を実行する。これにより、ユーザAのユーザ出力画像に含まれる追加オブジェクトに関連がある装着オブジェクトを、ユーザBのキャラクタオブジェクトに装着させることができ、ユーザAがユーザBとのコミュニケーションを継続使用する意欲を向上させることが可能となる。なお、選択された追加オブジェクトと関連がある壁紙オブジェクトを適用しているユーザ出力画像のユーザBのコミュニケーション画面中に、装着ボタンを含めるようにしてもよい。
(変形例4)
追加オブジェクト1311を含むユーザ出力画像812aが表示されたコミュニケーション画面1310に対する所定の操作がユーザAによって行われない場合、追加オブジェクト1311は、ユーザAの端末装置2のコミュニケーション画面1310に表示され続けてもよい。この場合、追加オブジェクト1311はマーク画像に変更されてもよい。これにより、ユーザAは、自身の好みのタイミングで、追加オブジェクト1311に対応する装着オブジェクト等によってユーザキャラクタを変更させることができる。
また、ユーザAによって所定の操作が行われない追加オブジェクト1311の数が所定数を超えた場合、他のユーザB(ユーザB1~B3)のそれぞれの端末装置2に、サーバ装置3を介して、ユーザAによって所定の操作が行われない追加オブジェクト1311に関する情報を送信してもよい。この場合、ユーザB(ユーザB1~B3)のそれぞれの端末装置2において、ユーザAによって所定の操作が行われない追加オブジェクト1311が表示される。そして、ユーザBによって追加オブジェクト1311に対する所定の操作がされた場合、ユーザBの端末装置2の入力装置24が、ユーザAの端末装置2の入力装置24に替わり、承諾指示を、追加オブジェクト1311のオブジェクトIDとともに端末処理装置27に入力する。以降、承諾処理が実行される。これにより、ユーザAが、他のユーザBから贈られた追加オブジェクトに対応する装着オブジェクトを装着しない場合でも、ユーザAとは異なる他のユーザが、追加オブジェクトに対応する装着オブジェクトを装着することが可能となる。
(変形例5)
キャラクタオブジェクトが、3次元のアニメーションを生成するための3次元モデルデータに基づいて生成される場合、各ユーザのユーザ出力画像は、ユーザごとに定められた仮想空間内に配置された立体オブジェクト(3次元オブジェクト)であるキャラクタオブジェクトを、当該仮想空間内の所定の視点から見た画像であってもよい。例えば、表示処理部274は、所定の視点の視線方向に2次元スクリーンを配置し、仮想空間内に配置された各種の立体オブジェクトの3次元座標を当該2次元スクリーンに投影し、各種のオブジェクトが投影された2次元スクリーン面の画像をユーザ出力画像として表示する。なお、例えば、ユーザAの端末装置2において表示されるユーザAのユーザ出力画像を表示するための所定の視点の視線方向は、ユーザAのキャラクタオブジェクトに向く方向である。そして、ユーザAの端末装置2において表示されるユーザAのユーザ出力画像を表示するための2次元スクリーンは、所定の視点の移動及び視線方向の回転に応じて、移動及び回転するように制御される。
例えば、ユーザAのキャラクタオブジェクト811aが新たな装着オブジェクトを装着した場合、図11(b)に示されるコミュニケーション画面1110が表示されるが、当該コミュニケーション画面1110の表示の前又は後において、表示処理部274は、所定の視点を自動的に移動させてもよい。
例えば、ユーザAのキャラクタオブジェクト811aが新たな装着オブジェクトを装着した場合、表示処理部274は、所定の視点をユーザAのキャラクタオブジェクト811aに近づくように移動させてもよい。例えば、表示処理部274は、ユーザAのキャラクタオブジェクト811aが新たな装着オブジェクトを装着したときの所定の視点の位置と新たな装着オブジェクトの位置とを結ぶ経路を算出し、当該経路にそって自動的に移動させる。表示処理部274は、仮想空間内において自動的に移動する所定の視点から見た仮想空間を示す画像をユーザ出力画像として表示する。
図17(a)は、仮想空間内において自動的に移動する所定の視点から見た仮想空間を示す画像をユーザ出力画像1012aとしたコミュニケーション画面1700の一例を示す図である。図17(a)に示す例では、ユーザAのキャラクタオブジェクト811aの髪型が新たな装着オブジェクトに変更されたため、拡大されたキャラクタオブジェクト1011aの頭部を含むユーザ出力画像1012aが表示される。
例えば、表示処理部274は、ユーザAのキャラクタオブジェクト811aが新たな装着オブジェクトを装着したときに、装着後のキャラクタオブジェクト1011aの周囲に経路を設定する。そして、表示処理部274は、所定の視点の視線方向をキャラクタオブジェクト1011aに向く方向に合せながら、所定の視点を当該経路にそって自動的に移動させる。表示処理部274は、仮想空間内において自動的に移動する所定の視点から見た仮想空間を示す画像をユーザ出力画像として表示する。
図17(b)は、仮想空間内において自動的に移動する所定の視点から見た仮想空間を示す画像をユーザ出力画像1012aとしたコミュニケーション画面1710の他の一例を示す図である。図17(a)に示す例では、ユーザAのキャラクタオブジェクト1011aの周囲を移動している時のユーザ出力画像1012aであり、キャラクタオブジェクト1011aの背面を含むユーザ出力画像1012aが表示される。
また、表示処理部274は、コミュニケーション画面に対するユーザAによる入力装置24の所定の操作に応じて、所定の視点の移動及び/又は所定の視点の視線方向の回転を制御してもよい。また、表示処理部274は、コミュニケーション画面中に、所定の視点を自動的に移動させるための自動移動ボタンを、コミュニケーション画面に含めてもよい。この場合、例えば、ユーザAによる入力装置24の操作によって自動移動ボタンが選択されると、表示処理部274は、予め定められた移動ルールに応じて所定の視点を自動的に移動させてもよい。
(変形例6)
キャラクタオブジェクトが、3次元のアニメーションを生成するための3次元モデルデータに基づいて生成される場合、各ユーザのユーザ出力画像は、各ユーザに共通の仮想空間内に配置された立体オブジェクト(3次元オブジェクト)であるキャラクタオブジェクトの所定位置(例えば、キャラクタオブジェクトの目の位置)に配置されたユーザ視点から仮想空間内を見た画像でもよい。なお、ユーザ視点は、ユーザによる操作に応じて及び/又は自動で、キャラクタオブジェクトの所定位置から移動して、キャラクタオブジェクトの後方、上方、又は前方等に位置してもよい。
各ユーザに共通の仮想空間におけるコミュニケーションサービスの利用方法の一例について説明する。例えば、図18に示すように、表示処理部274は、仮想空間内において、ユーザAのキャラクタオブジェクトCのユーザ視点からの視野範囲内に、仮想のタブレットPC等の装置オブジェクトSを登場させる。この装置オブジェクトSの表示装置部分に、図6~15及び17において説明した各種画面が表示される。この場合、装置オブジェクトSの表示装置部分に表示されるユーザAのユーザ出力画像は、装置オブジェクトSの所定位置に設けられた仮想カメラから仮想空間内を見た2次元画像である。ユーザAの音声データは、端末装置2のマイク26によって取得された音声データである。
端末装置2の送信部272は、ユーザAのユーザ出力画像と、ユーザAの音声データと、ユーザAのユーザIDとを、サーバ装置3を経由して全てのユーザBの端末装置2に送信する。なお、送信部272は、ユーザAのユーザ出力画像に替えて、仮想空間内における仮想カメラの位置及び視線方向、仮想空間内におけるユーザAのキャラクタオブジェクトの位置及びボディの向き、並びに、ユーザAのモーションデータを送信してもよい。また、ユーザAの端末装置2は、各ユーザBの端末装置2から、サーバ装置3を介して、各ユーザBのユーザ出力画像と、各ユーザBの音声データと、各ユーザBのユーザIDとを受信する。そして、ユーザAの端末装置2の表示処理部274は、各ユーザBのユーザ出力画像を装置オブジェクトSの表示装置部分に表示し、各ユーザBの音声データを端末装置2から音声出力する。これにより、仮想の装置オブジェクトSを用いたコミュニケーションサービスを実現することが可能となる。
(変形例7)
端末装置2の端末処理装置27により実現される機能の少なくとも一部は、端末装置2の端末処理装置27以外のプロセッサにより実現されてもよい。端末処理装置27により実現される機能の少なくとも一部は、例えば、サーバ装置3のサーバ処理装置33により実現されてもよい。具体的には、生成部271と表示処理部274の機能の一部は、サーバ装置3において実行されてもよい。例えば、端末装置2は、連続的に取得した撮像データと音声データを、端末装置2を操作するユーザのユーザIDとともにサーバ装置3に送信する。そして、サーバ装置3は、生成部271及び表示処理部274の機能を用いて、キャラクタ動画データを生成し、全てのユーザのユーザ出力画像を含むコミュニケーション画面を表示装置23に表示するための表示情報を生成する。そして、サーバ装置3は、表示情報を、音声情報(音声データ)とともに全てのユーザの各端末装置2に送信する。各端末装置2は、サーバ装置3から受信した各情報を出力する(所謂「サーバレンダリング」)。
(変形例8)
端末装置2は、端末装置2に記憶された制御プログラムに含まれる各種命令を実行することにより、コミュニケーション画面等を表示する機能を有するが、端末装置2は、コミュニケーションサービスを実現するために、ウェブアプリケーションに組み込まれたブラウザ機能を呼び出し、このブラウザ機能を用いて、サーバ装置からウェブページ(HTML(Hyper Text Markup Language)等のマークアップ言語によって記述されたドキュメント)を受信し、このウェブページに組み込まれた制御プログラムを実行してもよい(所謂「ブラウザレンダリング」)。例えば、マークアップ言語として、HTML 5が用いられることにより、端末装置2は、新規な情報処理を容易に実行することができる。端末装置においてコミュニケーションサービスを実現させるためにこのようなウェブアプリケーションを採用することにより、プログラムの製作者は、サーバ装置により送信されるウェブページに新しいプログラムを組み込むだけで新しい情報処理をクライアントサイド(端末装置側)に提供することができ、新しいプログラムの製作工数を大幅に抑えることが可能となる。また、クライアントサイドでは、新しい制御プログラムをダウンロードせずにウェブページを受信するだけで、新しいサービスの提供を受けることができ、制御プログラムのダウンロードに比べ、通信ネットワークの負荷、通信コスト及び/又は通信時間の低減が可能となり且つユーザのインターフェースの簡素化を実現することが可能となる。
(変形例9)
ユーザAの端末装置2の生成部271は、撮像データを用いずにフェイスモーションデータを含む出力情報を生成してもよい。例えば、端末装置2の端末記憶装置22には、音声データに対応するフェイスモーションデータを記憶しており、生成部271は、取得したユーザAの音声データに対応するフェイスモーションデータを端末記憶装置22から抽出して、抽出したフェイスモーションデータと、音声データ及びユーザAのユーザIDとを含む出力情報を生成してもよい。また、ユーザAの端末装置2の生成部271は、フェイスモーションデータを含めずに、マイク26から出力されたユーザAの音声データと端末記憶装置22に記憶されたユーザIDとを含む出力情報を生成してもよい。この場合、ユーザBの端末装置2の表示処理部274は、サーバ装置3経由で受信したユーザAの出力情報に含まれるユーザAの音声データに対応するフェイスモーションデータを抽出して、ユーザAのキャラクタオブジェクトのアニメーションを生成してもよい。なお、ユーザの音声データに対応するフェイスモーションデータの生成処理は、公知のリップシンクアルゴリズムを用いた処理であってもよい。
このように、HMDを表示装置23として用いるユーザAの端末装置2において、ユーザAの撮像データを取得することなしに、キャラクタオブジェクトを介したコミュニケーションをユーザBと行うことが可能となる。
1 情報システム
2(2a、2b1、2b2) 端末装置
21 端末通信I/F
22 端末記憶装置
23 表示装置
24 入力装置
25 撮像装置
26 マイク
27 端末処理装置
271 生成部
272 送信部
273 受信部
274 表示処理部
275 音声出力部
3 サーバ装置
31 サーバ通信I/F
32 サーバ記憶装置
33 サーバ処理装置
331 サーバ受信部
332 サーバ送信部
4 基地局
5 移動体通信網
6 ゲートウェイ
7 インターネット

Claims (18)

  1. 第1ユーザの端末装置の制御プログラムであって、
    前記第1ユーザの端末装置に、
    前記第1ユーザを示す第1オブジェクトを含む第1画像と、前記第1ユーザとは異なる第2ユーザを示す第2オブジェクトを含む第2画像とを少なくとも表示し、
    前記第1画像の表示に関する情報を前記第2ユーザの端末装置に送信し、
    前記第1ユーザの第1音声を取得した場合、前記第1音声を前記第2ユーザの端末装置に送信し、
    前記第1ユーザの動作又は前記第1音声に応じて変化する前記第1オブジェクトを含む前記第1画像を表示し、
    前記第2ユーザの第2音声を受信した場合、前記第2音声を出力し、
    前記第2ユーザの動作又は前記第2音声に応じて変化する前記第2オブジェクトを含む前記第2画像を表示し、
    前記第1ユーザによる指示又は前記第2ユーザによる指示に応じて、少なくとも一部が変更された前記第1画像又は少なくとも一部が変更された前記第2画像を表示すること、
    を実行させるための制御プログラム。
  2. 少なくとも一部が変更された前記第1画像の表示において、前記第1ユーザの端末装置に、
    前記第1ユーザに関連付けられた一又は複数の第1候補オブジェクトの中から前記第1ユーザによる前記指示に応じて選択された前記第1候補オブジェクトに基づいて、一部が変更された前記第1オブジェクトを含む前記第1画像を表示すること、
    を実行させる、請求項1に記載の制御プログラム。
  3. 前記第1オブジェクトは仮想空間内に配置される立体オブジェクトであり、
    前記第1オブジェクトを含む前記第1画像の表示において、前記第1ユーザの端末装置に、
    前記仮想空間内の所定の視点から見た前記仮想空間を示す画像を前記第1画像として表示すること、
    を実行させ、
    前記第1ユーザの端末装置に、
    前記仮想空間内において自動的に移動する前記所定の視点から見た前記仮想空間を示す画像を前記第1画像として表示すること、
    を実行させる、請求項2に記載の制御プログラム。
  4. 前記所定の視点は、前記第1オブジェクトの変更された一部に近づくように移動制御される、請求項3に記載の制御プログラム。
  5. 前記所定の視点は、前記所定の視点からの視線方向を前記第1オブジェクトに向く方向に合わせながら前記第1オブジェクトの周囲を移動するように移動制御される、請求項3に記載の制御プログラム。
  6. 少なくとも一部が変更された前記第1画像の表示において、前記第1ユーザの端末装置に、
    一又は複数の第2候補オブジェクトを含む選択グループの中から前記第2ユーザによる前記指示に応じて選択された前記第2候補オブジェクトに対応する第3オブジェクトを含む前記第1画像を表示すること、
    を実行させる、請求項1~5のいずれか一項に記載の制御プログラム。
  7. 所定の条件が満たされた場合、前記選択グループに特定の第2候補オブジェクトが含まれる、請求項6に記載の制御プログラム。
  8. 前記所定の条件は、前記第1画像の表示時間及び/又は前記第2画像の表示時間に関する条件を含む、請求項7に記載の制御プログラム。
  9. 前記第1ユーザの端末装置に、
    一又は複数の第2候補オブジェクトを含む前記選択グループの中から前記第1ユーザによる前記指示に応じて選択された前記第2候補オブジェクトに基づいて、選択された前記第2候補オブジェクトに対応する前記第3オブジェクトを含む前記第2画像を表示するとともに、前記第3オブジェクトの表示に関する情報を前記第2ユーザの端末装置に送信すること、
    を実行させ、
    前記所定の条件は、前記第1ユーザ及び/又は前記第2ユーザによる前記第2候補オブジェクトの選択回数に関する条件を含む、請求項7又は8に記載の制御プログラム。
  10. 前記第1画像と前記第2画像との表示において、前記第1ユーザの端末装置に、
    複数の前記第2ユーザのそれぞれを示す複数の前記第2画像を表示すること、
    を実行させ、
    前記第1ユーザの端末装置に、
    前記第2ユーザによる前記指示に応じて選択された前記第2候補オブジェクトに基づいて、選択された前記第2候補オブジェクトに対応する前記第3オブジェクトを含む、前記第1画像及び複数の前記第2ユーザのそれぞれを示す複数の前記第2画像を表示すること、
    を実行させる、請求項6~9のいずれか一項に記載の制御プログラム。
  11. 前記第1ユーザによって前記第3オブジェクトの選択指示が可能であり、
    前記第1ユーザの端末装置に、
    前記第1ユーザによる前記第3オブジェクトの選択指示に応じて、一部が変更された前記第1オブジェクトを含む前記第1画像を表示すること、
    を実行させる、請求項6~10のいずれか一項に記載の制御プログラム。
  12. 少なくとも一部が変更された前記第1画像の表示において、前記第1ユーザの端末装置に、
    前記第1ユーザ及び/又は前記第2ユーザによってプレイされるゲームの進行を示す画像を、前記第1画像の少なくとも一部に替えて表示すること、
    を実行させる、請求項1~11のいずれか一項に記載の制御プログラム。
  13. 前記第1ユーザの端末装置に、
    前記第2ユーザによる前記指示に応じて選択された前記第2候補オブジェクトがゲームに対応する場合、前記第1ユーザ及び/又は前記第2ユーザによってプレイされる前記ゲームの進行を示す画像を、前記第2画像の少なくとも一部に替えて表示すること、
    を実行させる、請求項6~11のいずれか一項に記載の制御プログラム。
  14. 第1ユーザの端末装置及び前記第1ユーザとは異なる第2ユーザの端末装置のそれぞれと通信可能なサーバ装置の制御プログラムであって、
    前記第1ユーザを示す第1オブジェクトを含む第1画像の表示に関する情報を、前記第1ユーザの端末装置から受信し、前記第2ユーザを示す第2オブジェクトを含む第2画像の表示に関する情報を、前記第2ユーザの端末装置から受信し、
    前記第1画像を少なくとも表示するための情報を、少なくとも前記第2ユーザの端末装置に送信し、前記第2画像を少なくとも表示するための情報を、少なくとも前記第1ユーザの端末装置に送信し
    前記第1ユーザの第1音声を受信した場合、前記第1音声を前記第2ユーザの端末装置に送信し、
    前記第1ユーザの動作又は前記第1音声に応じて変化する前記第1オブジェクトを含む前記第1画像を表示するための情報を、少なくとも前記第2ユーザの端末装置に送信し、
    前記第2ユーザの第2音声を受信した場合、前記第2音声を前記第1ユーザの端末装置に送信し、
    前記第2ユーザの動作又は前記第2音声に応じて変化する前記第2オブジェクトを含む前記第2画像を表示するための情報を、少なくとも前記第1ユーザの端末装置に送信し、
    前記第1ユーザによる指示に応じて、少なくとも一部が変更された前記第1画像を表示するための情報を、少なくとも前記第2ユーザの端末装置に送信し、
    前記第2ユーザによる指示に応じて、少なくとも一部が変更された前記第2画像を表示するための情報を、少なくとも前記第1ユーザの端末装置に送信すること、
    を実行させるための制御プログラム。
  15. 第1ユーザの端末装置であって、
    前記第1ユーザを示す第1オブジェクトを含む第1画像と、前記第1ユーザとは異なる第2ユーザを示す第2オブジェクトを含む第2画像とを少なくとも表示し、
    前記第1画像の表示に関する情報を前記第2ユーザの端末装置に送信し、
    前記第1ユーザの第1音声を取得した場合、前記第1音声を前記第2ユーザの端末装置に送信し、
    前記第1ユーザの動作又は前記第1音声に応じて変化する前記第1オブジェクトを含む前記第1画像を表示し、
    前記第2ユーザの第2音声を受信した場合、前記第2音声を出力し、
    前記第2ユーザの動作又は前記第2音声に応じて変化する前記第2オブジェクトを含む前記第2画像を表示し、
    前記第1ユーザによる指示又は前記第2ユーザによる指示に応じて、少なくとも一部が変更された前記第1画像又は少なくとも一部が変更された前記第2画像を表示する、処理部
    を備えることを特徴とする端末装置。
  16. 第1ユーザの端末装置及び前記第1ユーザとは異なる第2ユーザの端末装置のそれぞれと通信可能なサーバ装置であって、
    前記第1ユーザを示す第1オブジェクトを含む第1画像の表示に関する情報を、前記第1ユーザの端末装置から受信し、前記第2ユーザを示す第2オブジェクトを含む第2画像の表示に関する情報を、前記第2ユーザの端末装置から受信し、
    前記第1画像を少なくとも表示するための情報を、少なくとも前記第2ユーザの端末装置に送信し、前記第2画像を少なくとも表示するための情報を、少なくとも前記第1ユーザの端末装置に送信し、
    前記第1ユーザの第1音声を受信した場合、前記第1音声を前記第2ユーザの端末装置に送信し、
    前記第1ユーザの動作又は前記第1音声に応じて変化する前記第1オブジェクトを含む前記第1画像を表示するための情報を、少なくとも前記第2ユーザの端末装置に送信し、
    前記第2ユーザの第2音声を受信した場合、前記第2音声を前記第1ユーザの端末装置に送信し、
    前記第2ユーザの動作又は前記第2音声に応じて変化する前記第2オブジェクトを含む前記第2画像を表示するための情報を、少なくとも前記第1ユーザの端末装置に送信し、
    前記第1ユーザによる指示に応じて、少なくとも一部が変更された前記第1画像を表示するための情報を、少なくとも前記第2ユーザの端末装置に送信し、
    前記第2ユーザによる指示に応じて、少なくとも一部が変更された前記第2画像を表示するための情報を、少なくとも前記第1ユーザの端末装置に送信する、処理部
    を備えることを特徴とするサーバ装置。
  17. 第1ユーザの端末装置の制御方法であって、
    前記第1ユーザの端末装置が、
    前記第1ユーザを示す第1オブジェクトを含む第1画像と、前記第1ユーザとは異なる第2ユーザを示す第2オブジェクトを含む第2画像とを少なくとも表示し、
    前記第1画像の表示に関する情報を前記第2ユーザの端末装置に送信し、
    前記第1ユーザの第1音声を取得した場合、前記第1音声を前記第2ユーザの端末装置に送信し、
    前記第1ユーザの動作又は前記第1音声に応じて変化する前記第1オブジェクトを含む前記第1画像を表示し、
    前記第2ユーザの第2音声を受信した場合、前記第2音声を出力し、
    前記第2ユーザの動作又は前記第2音声に応じて変化する前記第2オブジェクトを含む前記第2画像を表示し、
    前記第1ユーザによる指示又は前記第2ユーザによる指示に応じて、少なくとも一部が変更された前記第1画像又は少なくとも一部が変更された前記第2画像を表示すること、
    を含むことを特徴とする制御方法。
  18. 第1ユーザの端末装置及び前記第1ユーザとは異なる第2ユーザの端末装置のそれぞれと通信可能なサーバ装置の制御方法であって、
    前記第1ユーザを示す第1オブジェクトを含む第1画像の表示に関する情報を、前記第1ユーザの端末装置から受信し、前記第2ユーザを示す第2オブジェクトを含む第2画像の表示に関する情報を、前記第2ユーザの端末装置から受信し、
    前記第1画像を少なくとも表示するための情報を、少なくとも前記第2ユーザの端末装置に送信し、前記第2画像を少なくとも表示するための情報を、少なくとも前記第1ユーザの端末装置に送信し、
    前記第1ユーザの第1音声を受信した場合、前記第1音声を前記第2ユーザの端末装置に送信し、
    前記第1ユーザの動作又は前記第1音声に応じて変化する前記第1オブジェクトを含む前記第1画像を表示するための情報を、少なくとも前記第2ユーザの端末装置に送信し、
    前記第2ユーザの第2音声を受信した場合、前記第2音声を前記第1ユーザの端末装置に送信し、
    前記第2ユーザの動作又は前記第2音声に応じて変化する前記第2オブジェクトを含む前記第2画像を表示するための情報を、少なくとも前記第1ユーザの端末装置に送信し、
    前記第1ユーザによる指示に応じて、少なくとも一部が変更された前記第1画像を表示するための情報を、少なくとも前記第2ユーザの端末装置に送信し、
    前記第2ユーザによる指示に応じて、少なくとも一部が変更された前記第2画像を表示するための情報を、少なくとも前記第1ユーザの端末装置に送信すること、
    を含むことを特徴とする制御方法。
JP2022042722A 2022-03-17 2022-03-17 端末装置の制御プログラム、端末装置、端末装置の制御方法、サーバ装置の制御プログラム、サーバ装置、及びサーバ装置の制御方法 Active JP7333529B1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2022042722A JP7333529B1 (ja) 2022-03-17 2022-03-17 端末装置の制御プログラム、端末装置、端末装置の制御方法、サーバ装置の制御プログラム、サーバ装置、及びサーバ装置の制御方法
US18/090,492 US20230298294A1 (en) 2022-03-17 2022-12-29 Control program of terminal device, terminal device, method of controlling terminal device, control program of server device, server device, and method of controlling server device
JP2023126118A JP2023138621A (ja) 2022-03-17 2023-08-02 端末装置の制御プログラム、端末装置、端末装置の制御方法、サーバ装置の制御プログラム、サーバ装置、及びサーバ装置の制御方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2022042722A JP7333529B1 (ja) 2022-03-17 2022-03-17 端末装置の制御プログラム、端末装置、端末装置の制御方法、サーバ装置の制御プログラム、サーバ装置、及びサーバ装置の制御方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2023126118A Division JP2023138621A (ja) 2022-03-17 2023-08-02 端末装置の制御プログラム、端末装置、端末装置の制御方法、サーバ装置の制御プログラム、サーバ装置、及びサーバ装置の制御方法

Publications (2)

Publication Number Publication Date
JP7333529B1 JP7333529B1 (ja) 2023-08-25
JP2023136814A true JP2023136814A (ja) 2023-09-29

Family

ID=87654355

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2022042722A Active JP7333529B1 (ja) 2022-03-17 2022-03-17 端末装置の制御プログラム、端末装置、端末装置の制御方法、サーバ装置の制御プログラム、サーバ装置、及びサーバ装置の制御方法
JP2023126118A Pending JP2023138621A (ja) 2022-03-17 2023-08-02 端末装置の制御プログラム、端末装置、端末装置の制御方法、サーバ装置の制御プログラム、サーバ装置、及びサーバ装置の制御方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2023126118A Pending JP2023138621A (ja) 2022-03-17 2023-08-02 端末装置の制御プログラム、端末装置、端末装置の制御方法、サーバ装置の制御プログラム、サーバ装置、及びサーバ装置の制御方法

Country Status (1)

Country Link
JP (2) JP7333529B1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021149407A (ja) * 2020-03-18 2021-09-27 グリー株式会社 情報処理システム、情報処理方法およびコンピュータプログラム
JP2021158558A (ja) * 2020-03-27 2021-10-07 グリー株式会社 動画用アプリケーションプログラム、動画のオブジェクト描画方法、動画管理プログラム、動画管理方法、サーバ及び動画配信システム
JP2021174422A (ja) * 2020-04-30 2021-11-01 グリー株式会社 動画配信装置、動画配信方法及び動画配信プログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021149407A (ja) * 2020-03-18 2021-09-27 グリー株式会社 情報処理システム、情報処理方法およびコンピュータプログラム
JP2021158558A (ja) * 2020-03-27 2021-10-07 グリー株式会社 動画用アプリケーションプログラム、動画のオブジェクト描画方法、動画管理プログラム、動画管理方法、サーバ及び動画配信システム
JP2021174422A (ja) * 2020-04-30 2021-11-01 グリー株式会社 動画配信装置、動画配信方法及び動画配信プログラム

Also Published As

Publication number Publication date
JP2023138621A (ja) 2023-10-02
JP7333529B1 (ja) 2023-08-25

Similar Documents

Publication Publication Date Title
US20220233956A1 (en) Program, method, and information terminal device
US20240013502A1 (en) Storage medium, method, and information processing apparatus
JP7442091B2 (ja) 動画配信装置、動画配信方法及び動画配信プログラム
JP7051941B2 (ja) 端末装置の制御プログラム、端末装置の制御方法、端末装置、サーバ装置の制御方法、一又は複数のプロセッサにより実行される方法、及び配信システム
US20220323862A1 (en) Program, method, and information processing terminal
US20220297006A1 (en) Program, method, and terminal device
JP2020044139A (ja) ゲームプログラム、ゲーム方法、および情報処理装置
JP2023171797A (ja) 端末装置の制御プログラム、端末装置、端末装置の制御方法、サーバ装置の制御プログラム、サーバ装置、及びサーバ装置の制御方法
US20220355200A1 (en) Game program, game method, and information terminal device
JP7437480B2 (ja) プログラム、方法、およびコンピュータ
JP7333529B1 (ja) 端末装置の制御プログラム、端末装置、端末装置の制御方法、サーバ装置の制御プログラム、サーバ装置、及びサーバ装置の制御方法
JP7398069B2 (ja) 端末装置の制御プログラム、端末装置、端末装置の制御方法、サーバ装置の制御プログラム、サーバ装置、及びサーバ装置の制御方法
JP7312975B1 (ja) 端末装置の制御プログラム、端末装置、端末装置の制御方法、サーバ装置の制御プログラム、サーバ装置、及びサーバ装置の制御方法
US20230298294A1 (en) Control program of terminal device, terminal device, method of controlling terminal device, control program of server device, server device, and method of controlling server device
JP7335572B1 (ja) 情報処理システム、制御方法、及びサーバ装置
JP7410525B1 (ja) 情報処理システム、制御方法、及びサーバ装置
JP7421762B1 (ja) 情報処理システム、制御方法、及びサーバ装置
US20240106778A1 (en) Information processing system, control method, and server device
JP2024052539A (ja) 情報処理システム、制御方法、及びサーバ装置
JP7357865B1 (ja) プログラム、情報処理方法、及び情報処理装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220317

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230425

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230623

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230704

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230802

R150 Certificate of patent or registration of utility model

Ref document number: 7333529

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150