JP2022185453A - 通信システム、通信方法及び通信プログラム - Google Patents

Abstract

【課題】リアリティのある仮想空間上の体験をユーザに提供することを可能とする。【解決手段】通信システム１は、ユーザが使用するＡＲグラス１０と、ユーザが携帯するスマートデバイス３０と、スマートデバイスと通信を行うサーバ４０とを有する通信システムであって、サーバ４０は、ユーザの選択に応じた種別の武器の仮想的なコンテンツをスマートデバイスに設定する武器コンテンツ設定部と、少なくともスマートデバイス３０の位置情報と地図情報と天候情報とを基に、ユーザの周辺状況を判定する周辺状況判定部と、ユーザの周辺状況に応じて、ユーザに設定した武器の仮想的なコンテンツの攻撃力を設定する攻撃力設定部と、を有し、スマートデバイス３０は、武器コンテンツ設定部によって設定された武器の仮想的なコンテンツを、攻撃力設定部によって設定された攻撃力となるように、表示装置に出力させるＡＲグラス制御部を有する。【選択図】図３

Description

本発明は、通信システム、通信方法及び通信プログラムに関する。

近年、仮想現実（ＶＲ：Virtual Reality）や拡張現実（ＡＲ：Augmented Reality）をユーザに体感させるＨＭＤ（Head Mounted Display）などが提案されている。このうち、ＡＲ技術を用いたＨＭＤとして、一般的な眼鏡と同様に、ユーザの頭部に装着して使用されるＡＲグラスが提案されている。

ＡＲグラスは、ユーザの前方の実空間を撮像し、撮像した実空間の画像を、ＡＲグラスのレンズ部分に相当するディスプレイに表示させる。また、ＡＲグラスは、ＣＧで生成された仮想的なコンテンツを、撮像された実空間の画像に重畳してディスプレイに表示させる。これにより、ＡＲグラスを装着したユーザは、実空間の中に仮想的なコンテンツが重畳されたＡＲ空間を体感することができる。

特許第６６５５７５１号公報

ＡＲグラスのディスプレイにＲＰＧ（Role－Playing Game）コンテンツを表示させることで、ＲＰＧをユーザに体験させるシステムが提案されている。このシステムに対し、リアリティのあるＡＲ体験のユーザへの提供が要望されていた。

本発明は、上記に鑑みてなされたものであって、リアリティのある仮想空間上の体験をユーザに提供することを可能とする通信システム、通信方法及び通信プログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明の通信システムは、ユーザが使用する表示装置と、ユーザが持つモーションコントローラーと、ユーザが携帯するスマートデバイスと、スマートデバイスと通信を行うサーバとを有し、仮想的なコンテンツを表示装置に表示させてゲーム体験をユーザに提供する通信システムであって、サーバは、ユーザの選択に応じた種別の武器の仮想的なコンテンツをスマートデバイスに設定する第１の設定部と、少なくともスマートデバイスの位置情報と、地図情報と、天候情報とを基に、ユーザの周辺状況を判定する判定部と、ユーザの周辺状況に応じて、ユーザに設定した武器の仮想的なコンテンツの攻撃力を設定する第２の設定部と、を有し、スマートデバイスは、少なくとも該スマートデバイスの位置情報を検出し、検出した位置情報をサーバに送信する位置検出部と、第１の設定部によって設定された武器の仮想的なコンテンツを、第２の設定部によって設定された攻撃力となるように、表示装置に出力させる制御部と、を有することを特徴とする。

本発明によれば、仮想空間上の体験をユーザに提供することを可能とする。

図１は、ＡＲグラスのディスプレイに表示される画像の一例を示す図である。 図２は、実施の形態に係る通信システムの構成を説明する図である。 図３は、実施の形態に係る通信システムの構成の一例を示すブロック図である。 図４は、図３に示すＡＲグラスの構成の一例を示すブロック図である。 図５は、図３に示すスマートデバイスの構成の一例を示すブロック図である。 図６は、図３に示すサーバの構成の一例を示すブロック図である。 図７は、ユーザによる武器の設定例を説明する図である。 図８は、ユーザの周辺状況の一例を説明する図である。 図９は、ユーザの周辺状況の一例を説明する図である。 図１０は、実施の形態に係る通信処理の処理手順を示すシーケンス図である。 図１１は、プログラムを実行するコンピュータを示す図である。

以下に、本願に係る通信システム、通信方法及び通信プログラムの実施の形態を図面に基づいて詳細に説明する。なお、この実施の形態により本願に係る通信システム、通信方法及び通信プログラムが限定されるものではない。

以下の実施の形態では、実施の形態に係る通信システム、通信方法及び通信プログラムの処理の流れを順に説明し、最後に実施の形態による効果を説明する。

［実施の形態］
まず、実施の形態について説明する。実施の形態では、所定の地域、具体的には、観光地（例えば、島）を観光するユーザに、ユーザが使用する表示装置として、例えば、仮想的なＲＰＧコンテンツを表示可能であるＡＲグラスを装着させ、観光地を観光しながら、ＲＰＧも体験可能とするシステムについて説明する。

図１は、ＡＲグラスのディスプレイに表示される画像の一例を示す図である。図１に例示するように、実際の島の画像（例えば、森の画像）に、モンスターのコンテンツＣ１やコインのコンテンツＣ２を重畳してＡＲグラスに表示させ、ユーザが、モンスターを倒す、コインを集める、ミッションに取り組むなどのゲーム体験を可能としている。また、ＡＲグラスを装着したユーザ間で通信が可能である。実施の形態では、小さな島全体を活用して、ユーザ自身が体を動かし、仲間とコミュニケーションを取りながら、その土地ならではのＲＰＧ体験を可能とする。

さらに、実施の形態では、ユーザが手に持つモーションコントローラーを武器に見立て、モーションコントローラーの動きに応じて動く武器のコンテンツをＡＲグラスに表示させることで、ユーザの動きをゲーム世界に反映する。この際、実施の形態では、ユーザの動きに応じて、攻撃力や攻撃の種類が変化するように仮想的なコンテンツをＡＲグラスに表示させるとともに、ユーザの周囲の状況に応じて、武器の攻撃力を変化させることで、リアリティのあるＡＲ体験を提供する。

［通信システムの構成］
実施の形態に係る通信システムの構成を説明する。図２は、実施の形態に係る通信システムの構成を説明する図である。図３は、実施の形態に係る通信システムの構成の一例を示すブロック図である。

図２及び図３に示すように、実施の形態に係る通信システム１は、ＡＲグラス１０（表示装置）、ユーザが手に持つモーションコントローラー２０、ユーザが携帯するスマートデバイス３０、及び、データセンタ等に配置されるサーバ４０を有する。

ＡＲグラス１０は、一般的な眼鏡と同様にユーザの頭部に装着される。ＡＲグラス１０は、撮像機能、音声入力機能、通信機能、表示機能、音声出力機能を有する。ＡＲグラス１０は、実空間を撮像し、撮像した実空間の画像を、ＡＲグラス１０のレンズ部分に相当するディスプレイに表示させる。また、ＡＲグラス１０は、スマートデバイス３０の制御の基、ＣＧで生成された仮想的なコンテンツを、撮像された実空間の画像に重畳してディスプレイに表示させる。また、ＡＲグラス１０は、スマートデバイス３０の制御の基、ユーザの周辺状況に応じた仮想的なコンテンツを出力する。

モーションコントローラー２０は、ユーザが手に持つコントローラである。モーションコントローラー２０は、例えば、加速度センサと、加速度センサの検出結果をスマートデバイス３０送信する通信機能とを有する。

スマートデバイス３０は、ユーザが携帯するデバイスであり、例えば、タブレット、スマートフォン等のスマートデバイスであり、位置検出機能、画像認識機能を有する。スマートデバイス３０は、ＡＲグラス１０の制御を行う。スマートデバイス３０は、ネットワークＮを介して、サーバ４０に接続し、ユーザの位置情報、画像認識結果、気温情報をサーバ４０に送信する。スマートデバイス３０は、ネットワークＮを介して、サーバ４０から、ＡＲグラス１０が出力する敵キャラクター画像や武器等の仮想的なコンテンツの提供を受ける。

スマートデバイス３０は、モーションコントローラー２０から送信された加速度センサの検出結果を基に、ユーザの手の動きを取得する。スマートデバイス３０は、ＡＲグラス１０に対する、サーバ４０から提供された仮想的なコンテンツの出力を制御する。例えば、スマートデバイス３０は、ユーザが手に武器を手に持つように武器の画像コンテンツをＡＲグラス１０に表示させ、ユーザが手に持つモーションコントローラー２０の動きに応じて動くように武器の画像コンテンツをＡＲグラス１０に表示させる。この際、スマートデバイス３０は、サーバ４０によって設定された攻撃力となるように、ＡＲグラス１０に武器の画像コンテンツを出力させる。

サーバ４０は、地図情報及びＡＲ空間上の仮想的なコンテンツを保持する。サーバ４０は、スマートデバイス３０に、ＡＲグラス１０に出力させる仮想的なコンテンツを送信する。サーバ４０は、ユーザの選択に応じた種別の武器の仮想的なコンテンツをユーザに設定する。サーバ４０は、スマートデバイス３０の位置情報と、地図情報と、天候情報と、スマートデバイス３０による画像認識結果、気温情報とを基に、ユーザの周辺状況を判定する。そして、サーバ４０は、ユーザの周辺状況に応じてユーザに設定した武器の仮想的なコンテンツの攻撃力を設定する。

［ＡＲグラス］
次に、ＡＲグラス１０について説明する。図４は、図３に示すＡＲグラス１０の構成の一例を示すブロック図である。

図４に示すように、ＡＲグラス１０は、撮像部１１、音声入力部１２（録音部）、通信部１３、表示部１４及び音声出力部１５を有する。

撮像部１１は、実空間を撮像する。例えば、撮像部１１は、撮像部１１の撮像方向がＡＲグラス１０の前方である場合には、ＡＲグラス１０の前方の実空間を撮像する。撮像部１１は、ＣＣＤやＣＭＯＳ等の光電変換素子と、撮像素子から出力される光電変換信号を処理して実空間の画像を生成する。撮像部１１は、例えば、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の３色の２次元画像を取得する。

音声入力部１２は、音声の入力を受け付け、入力された音声を録音するデバイスによって構成される。

通信部１３は、スマートデバイス３０との無線通信を行う。通信部１３は、撮像部１１が撮像した画像及び音声入力部１２が録音した音声を、スマートデバイス３０に送信する。通信部１３は、スマートデバイス３０から送信された仮想的なコンテンツを受信する。仮想的なコンテンツは、敵や味方のキャラクター画像、武器の画像、敵や味方等の音声やユーザのアクションに伴う音声のコンテンツである。なお、キャラクター画像は、ゲームキャラクター風の画像に限らず、写真等から作成した画像でもよく、動画も含まれる。

表示部１４は、ディスプレイによって構成される。表示部１４は、撮像部１１が撮像した実空間の画像を表示する。表示部１４は、通信部１３が受信した仮想的なコンテンツのうち、武器の画像コンテンツを、実空間の画像に重畳して表示する。武器の画像コンテンツは、ユーザが手に持つモーションコントローラーに差し替えて表示する。なお、表示部１４は、透過表示可能なディスプレイであって、画像コンテンツを表示してもよい。

音声出力部１５は、音声を出力する。音声出力部１５は、通信部が受信した仮想的なコンテンツのうち、動物の鳴き声や足音等の音声を出力する。

［スマートデバイス］
次に、スマートデバイス３０について説明する。図５は、図３に示すスマートデバイス３０の構成の一例を示すブロック図である。図５に示すように、スマートデバイス３０は、通信部３１、記憶部３２及び制御部３３を有する。

通信部３１は、無線または有線にて他の装置との間で通信を行う。通信部３１は、ネットワーク等を介して接続された他の装置との間で、各種情報を送受信する通信インタフェースである。通信部３１は、ＮＩＣ（Network Interface Card）等で実現され、ＬＡＮ（Local Area Network）やインターネットなどの電気通信回線を介した他の装置と制御部３３（後述）との間の通信を行う。例えば、通信部３１は、ＡＲグラス１０から画像、音声を受信し、ＡＲグラス１０に仮想的なコンテンツを送信する。通信部３１は、サーバ４０に、位置情報、画像認識結果、気温情報を送信し、サーバ４０から仮想的なコンテンツを受信する。

記憶部３２は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、光ディスク等の記憶装置である。なお、記憶部３２は、ＲＡＭ（Random Access Memory）、フラッシュメモリ、ＮＶＳＲＡＭ（Non Volatile Static Random Access Memory）等のデータを書き換え可能な半導体メモリであってもよい。記憶部３２は、スマートデバイス３０で実行されるＯＳ（Operating System）や各種プログラムを記憶する。さらに、記憶部３２は、プログラムの実行で用いられる各種情報を記憶する。記憶部３２は、ＡＲグラス１０から送信された画像データ３２１と、サーバ４０から送信された敵や武器等の仮想的なコンテンツを含むコンテンツ情報３２２とを記憶する。

制御部３３は、スマートデバイス３０全体を制御する。制御部３３は、例えば、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）等の電子回路や、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field Programmable Gate Array）等の集積回路である。また、制御部３３は、各種の処理手順を規定したプログラムや制御データを格納するための内部メモリを有し、内部メモリを用いて各処理を実行する。また、制御部３３は、各種のプログラムが動作することにより各種の処理部として機能する。制御部３３は、位置検出部３３１、画像認識部３３２、温度検出部３３３、動き検出部３３４、ＡＲグラス制御部３３５（制御部）を有する。

位置検出部３３１は、スマートデバイス３０の位置を検出する。位置検出部３３１は、例えば、ＧＰＳ（Global Positioning System）等によりスマートデバイス３０の位置情報が取得可能である。位置検出部３３１は、定期的に、スマートデバイス３０の位置を取得して、緯度及び経度で表した位置情報を、通信部３１を介して、サーバ４０に送信する。

画像認識部３３２は、ＡＲグラス１０が撮像した画像を処理し、画像に映るオブジェクトなどの画像の特徴を認識する。画像認識部３３２は、ＡＲグラス１０が撮像した画像の中に映る、動物、植物、風景、建物を認識する。画像認識部３３２は、例えば、機械学習によって、所定の地域、具体的には、ユーザが観光中の観光地に特有の動物、植物、風景、建物等の画像の特徴を学習済みである画像認識モデルを用いて、ＡＲグラス１０が撮像した画像の特徴を認識する。画像認識部３３２は、ＡＲグラス１０が撮像した画像から、ユーザがいる場所の明るさを認識する。画像認識部３３２は、前後の画像を比べて、画像に所定以上の変化があった場合に、動物、植物、風景、建物を認識する処理を行ってもよい。画像認識部３３２は、画像認識処理結果を、通信部３１を介してサーバ４０に送信する。

なお、画像認識機能は、サーバ４０が有してもよい。その際には、スマートデバイス３０は、ＡＲグラス１０が撮像した画像をサーバ４０に送信する。

温度検出部３３３は、スマートデバイス３０が位置する箇所の気温を検出し、検出した気温情報を、通信部３１を介してサーバ４０に送信する。

動き検出部３３４は、モーションコントローラー２０から送信された加速度センサの検出結果を基に、ユーザのアクション、具体的には、ユーザの手の動きを取得する。

ＡＲグラス制御部３３５は、ＡＲグラス１０の処理を制御する。例えば、ＡＲグラス制御部３３５は、ＡＲグラス１０のレンズ部のディスプレイへの画像表示処理やＡＲグラス１０による音声出力処理を制御する。ＡＲグラス制御部３３５は、ＲＰＧ体験において、ユーザが選択した武器や装備等の選択情報を、通信部３１を介して、サーバ４０に送信する。ＡＲグラス制御部３３５は、コンテンツ取得部３３６と、コンテンツ合成部３３７とを有する。

コンテンツ取得部３３６は、サーバ４０から送信された、仮想的なコンテンツを取得する。この仮想的なコンテンツは、実空間の画像に重畳するための敵や味方のキャラクター画像、武器画像のコンテンツ、或いは、敵や味方等の音声やユーザのアクションに伴う音声のコンテンツである。ＡＲグラス制御部３３５は、コンテンツ取得部３３６が取得したコンテンツが音声である場合、敵や味方のキャラクター画像の動きやユーザのアクションに合わせて、ＡＲグラス１０の音声出力部１５から音声を出力させる。

コンテンツ合成部３３７は、コンテンツ取得部３３６が取得したコンテンツが、実空間の画像に重畳してのキャラクター画像である場合、キャラクター画像と実空間の画像との合成処理を行う。コンテンツ合成部３３７による合成処理後、ＡＲグラス制御部３３５は、ＡＲグラス１０の表示部１４に、実空間の画像にキャラクター画像を重畳させた画像を表示させる。キャラクター画像の重畳位置は、例えば、予め設定されている。或いは、キャラクター画像の重畳位置は、サーバ４０による指示によって設定される。

ＡＲグラス制御部３３５は、コンテンツ合成部３３７の合成処理を制御し、ユーザが持つモーションコントローラー２０が武器と見えるように、武器画像のコンテンツをＡＲグラス１０に表示させる。そして、ＡＲグラス制御部３３５は、モーションコントローラー２０の動きに応じて武器が動くように、武器画像のコンテンツをＡＲグラス１０に表示させる。ＡＲグラス制御部３３５は、ユーザの動きに応じて、攻撃力や攻撃の種類が変化するように仮想的なコンテンツをＡＲグラス１０に表示させる。

その際、ＡＲグラス制御部３３５は、ユーザのアクションを演出する仮想的なコンテンツをＡＲグラス１０に表示させる。例えば、ＡＲグラス制御部３３５は、剣で敵と戦っている際には、剣がぶつかったときに火花が出るような画像コンテンツをＡＲグラス１０に表示させる。ＡＲグラス制御部３３５は、剣で敵と戦っている際には、剣が敵にぶつかったような音声をＡＲグラス１０に出力させる。

そして、ＡＲグラス制御部３３５は、ユーザの周囲の状況に応じて武器の攻撃力を変化させることで、リアリティのあるＡＲ体験を提供する。すなわち、ＡＲグラス制御部３３５は、武器の仮想的なコンテンツを、攻撃力設定部４３３（後述）によって設定された攻撃力となるように、ＡＲグラス１０に出力させる。

［サーバ］
次に、サーバ４０について説明する。図６は、図３に示すサーバ４０の構成の一例を示すブロック図である。図６に示すように、サーバ４０は、通信部４１、記憶部４２及び制御部４３を有する。

通信部４１は、無線または有線にて他の装置との間で通信を行う。通信部４１は、ネットワーク等を介して接続された他の装置との間で、各種情報を送受信する通信インタフェースである。通信部４１は、ＮＩＣ（Network Interface Card）等で実現され、ＬＡＮ（Local Area Network）やインターネットなどの電気通信回線を介した他の装置と制御部４３後述）との間の通信を行う。例えば、通信部４１は、スマートデバイス３０から位置情報、画像認識結果、音声認識結果を受信し、スマートデバイス３０に仮想的なコンテンツを送信する。

記憶部４２は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、光ディスク等の記憶装置である。なお、記憶部４２は、ＲＡＭ（Random Access Memory）、フラッシュメモリ、ＮＶＳＲＡＭ（Non Volatile Static Random Access Memory）等のデータを書き換え可能な半導体メモリであってもよい。記憶部４２は、サーバ４０で実行されるＯＳ（Operating System）や各種プログラムを記憶する。記憶部４２は、プログラムの実行で用いられる各種情報を記憶する。記憶部４２は、地図情報４２１と、各種仮想的なコンテンツを含むコンテンツ情報４２２と、基準情報４２３とを記憶する。

地図情報４２１は、ユーザが観光する島等の観光地の森、川、山、平野、名所等を含む地図である。地図情報４２１は、等高線で土地の高低が示される。地図情報４２１は、ぬかるみやすい場所が記載されたものでもよいし、山道であるか舗装された道であるかを区別して道を表示したものでもよい。

各種仮想的なコンテンツは、敵や味方のキャラクター画像、武器の画像、敵や味方等の音声、或いは、ユーザのアクションに伴う音声のコンテンツである。武器の画像コンテンツ及びユーザのアクションに伴う音声のコンテンツは、攻撃力の各度合いに合わせてそれぞれ設定される。これらのコンテンツは、所定の地域、例えば、観光地や名所等の各所定箇所に対応づけて予め作成された、観光地の各所定箇所に特有のコンテンツであってもよい。例えば、名所であれば、この名所のシンボルキャラクターの画像が、敵または味方のコンテンツとして設定されていてもよい。コンテンツ情報４２２は、例えば、キャラクター画像の表示位置や大きさ等の設定情報である各種コンテンツの設定条件を含む。

基準情報４２３は、周辺状況判定部４３２（後述）における判定において、基準とする状況を示す情報を含む。基準情報４２３は、基準となる攻撃力である基準攻撃力を示す情報を含む。基準状況は、例えば、乾いた道、傾斜がない、曇天程度の明るさ、気温が平均気温であり、雨が降っていない状況である。また、基準攻撃力は、例えば、レベルが「１」～「３」である場合、レベル「２」である。

制御部４３は、サーバ４０全体を制御する。制御部４３は、例えば、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）等の電子回路や、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field Programmable Gate Array）等の集積回路である。また、制御部４３は、各種の処理手順を規定したプログラムや制御データを格納するための内部メモリを有し、内部メモリを用いて各処理を実行する。また、制御部４３は、各種のプログラムが動作することにより各種の処理部として機能する。制御部４３は、武器コンテンツ設定部４３１（第１の設定部）、周辺状況判定部４３２（判定部）及び攻撃力設定部４３３（第２の設定部）を有する。

武器コンテンツ設定部４３１は、スマートデバイス３０からユーザによる武器の選択情報を取得すると、このユーザの選択に応じた種別の武器の仮想的なコンテンツをユーザのスマートデバイス３０に設定する。

武器コンテンツ設定部４３１は、攻撃力の各度合いに合わせてそれぞれ設定された武器の画像コンテンツをスマートデバイス３０に設定する。武器コンテンツ設定部４３１は、ユーザによって選択された武器の画像コンテンツと武器使用時の演出用のコンテンツとをスマートデバイス３０に送信する。この武器の画像コンテンツは、ユーザの動きによって、攻撃力や攻撃の種類を変化させるよう、設定されている。また、この武器の画像コンテンツは、攻撃力に応じて、例えば、攻撃力のレベルごとに、各コンテンツが設定されている。例えば、攻撃力のレベルが「３」である場合には金色の剣の画像であり、攻撃力のレベルが「２」である場合には金属の剣の画像であり、攻撃力のレベルが「１」である場合には、さびて欠けのある剣の画像である。

周辺状況判定部４３２は、少なくともスマートデバイス３０の位置情報と、地図情報４２１と、天候情報とを基に、ユーザの周辺状況を判定する。周辺状況判定部４３２は、さらに、スマートデバイス３０の画像認識部３３２による画像認識結果、または、画像認識結果及び温度検出部３３３によって検出された気温情報を用いて、より的確にユーザの周辺状況を判定してもよい。周辺状況判定部４３２は、ユーザの周辺状況が基準となる状況よりも良いか、または、悪いかを判定する。

例えば、基準となる状況を、乾いた道、傾斜がない、曇天程度の明るさ、気温が平均気温であり、雨が降っていない状況とする。そして、周辺状況判定部４３２は、次の場合には、ユーザの周辺状況が基準となる状況よりも悪いと判定する。具体的には、ユーザがいる場所が、地図情報４２１、天候情報及び画像認識結果に基づいて、ぬかるんでいて状況が悪い道であると周辺状況判定部４３２が判定した場合である。或いは、ユーザがいる場所が、地図情報４２１の等高線に基づいて、傾斜している場所であると周辺状況判定部４３２が判定した場合である。或いは、ユーザがいる場所が、画像認識結果に基づいて、見通しが悪く、暗く、気温情報に基づいて、平均気温よりも気温が低いと周辺状況判定部４３２が判定した場合である。或いは、天候情報及び画像認識結果に基づいて、雨が降っていると周辺状況判定部４３２が判定した場合である。

また、周辺状況判定部４３２は、次の場合には、ユーザの周辺状況が基準となる状況よりも良いと判定する。例えば、ユーザがいる場所が、地図情報４２１、天候情報及び画像認識結果に基づいて、舗装道路であると周辺状況判定部４３２が判定した場合である。或いは、地図情報４２１の等高線に基づいて、平坦な場所であると周辺状況判定部４３２が判定した場合である。或いは、画像認識結果に基づいて、見通しがよく、明るく、気温情報に基づいて、平均気温の気温であると周辺状況判定部４３２が判定した場合や、天候情報及び画像認識結果から晴れていると周辺状況判定部４３２が判定した場合である。

攻撃力設定部４３３は、ユーザの周辺状況に応じて、ユーザに設定した武器の仮想的なコンテンツの攻撃力を設定する。攻撃力設定部４３３は、ユーザの周辺状況が基準となる状況よりも悪い場合、ユーザに設定した武器の攻撃力を、基準の攻撃力よりも低く設定する。また、攻撃力設定部４３３は、ユーザの周辺状況が基準となる状況よりも良い場合、ユーザに設定した武器の攻撃力を、基準の攻撃力よりも高く設定する。

［ユーザによる武器設定例］
図７は、ユーザによる武器の設定例を説明する図である。例えば、ユーザＵ１が、武器として、剣と盾を選択した場合には、サーバ４０は、ユーザＵ１が選択した剣と盾の画像コンテンツをユーザＵ１のスマートデバイス３０に送信する。また、サーバ４０は、他の装備のコンテンツもユーザＵ１の選択に応じて、ユーザＵ１のスマートデバイス３０に送信する。なお、剣と盾を選択する際には、二つのモーションセンサー２０をユーザが有する。或いは、一つのモーションセンサー２０をユーザが有する場合には、一つのモーションセンサー２０の動きを、所定の設定で剣と盾とに使い分けてもよい。或いは、一つのモーションセンサー２０をユーザが有する場合には、剣と盾のいずれかは、モーションセンサー２０とは連動しない構成でもよい。

スマートデバイス３０は、図７の例では、ユーザＵ１が、右手に剣を持ち、左手に盾を持つように、剣と盾の画像コンテンツをＡＲグラス１０に表示させる。そして、ユーザＵ１が縦に右手を振ると、スマートデバイス３０は、モンスター等のキャラクターを縦に切るアクション画像をＡＲグラス１０に表示させる。この時、ユーザＵ１が素早く剣を振った際には、スマートデバイス３０は、剣の攻撃力を高くし、さらに、演出として、火花や、きらきらとした光が出るような演出用の画像コンテンツをＡＲグラス１０に表示させる。また、ユーザＵ１が横に右手を振ると、スマートデバイス３０は、モンスター等のキャラクターを薙ぎ払うアクション画像をＡＲグラス１０に表示させる。

そして、通信システム１は、ユーザＵ１の周辺状況に応じて武器の攻撃力を変更する。図８及び図９は、ユーザの周辺状況の一例を説明する図である。図８に示すように、ユーザＵ１が、暗く、ぬかるんでいる森の中の道にいる場合、通信システム１は、ユーザの周辺状況が基準となる状況よりも悪いと判定する。そして、通信システム１では、ユーザＵ１が選択した剣の攻撃力を、周辺状況の悪化度合いに応じて、基準攻撃力（例えば、レベル「２」）より低い、レベル「１」とする。これによって、ユーザＵ１のＡＲグラス１０には、ユーザＵ１の手に握られるように、レベル「１」の攻撃力しかない剣の画像コンテンツＣ１１が表示される。

また、図９に示すように、ユーザＵ１が、晴天下で見晴らしのよい舗装道路にいる場合、通信システム１は、ユーザの周辺状況が基準となる状況よりも良いと判定する。そして、通信システム１では、ユーザＵ１が選択した剣の攻撃力を、周辺状況に応じて、基準攻撃力より高い、レベル「３」とする。これによって、ユーザＵ１のＡＲグラス１０には、ユーザＵ１の手に握られるように、レベル「３」の金色の剣の画像コンテンツＣ１２が表示される。

このように、通信システム１は、ユーザの実際の周辺状況に応じて、ユーザがＡＲ空間上で持つ武器の攻撃力を変える。

［通信処理の処理手順］
図１０は、実施の形態に係る通信処理の処理手順を示すシーケンス図である。

図１０に示すように、ユーザによるスマートデバイス３０の操作によって、ユーザによる武器の選択が行われると（ステップＳ１）、スマートデバイス３０は、ユーザによって選択された武器を示す武器情報をサーバ４０に送信する（ステップＳ２）。これに応じて、サーバ４０は、このユーザの選択に応じた種別の武器の仮想的なコンテンツをユーザのスマートデバイス３０に設定し（ステップＳ３）、この武器の仮想的なコンテンツをスマートデバイス３０に送信する（ステップＳ４）。

スマートデバイス３０は、スマートデバイス３０の位置を検出する度に（ステップＳ５）、サーバ４０に位置情報を送信する（ステップＳ６）。そして、スマートデバイス３０は、ＡＲグラス１０から画像が送信されると（ステップＳ７）、その画像に対する画像認識処理を実行し（ステップＳ８）、画像認識結果をサーバ４０に送信する（ステップＳ９）。スマートデバイス３０は、気温を検出し（ステップＳ１０）、検出した気温を示す気温情報をサーバ４０に送信する（ステップＳ１１）。

サーバ４０は、さらに、天候情報を参照する（ステップＳ１２）。サーバ４０は、ユーザの周辺状況を判定する（ステップＳ１３）。サーバ４０は、判定のために、少なくとも、スマートデバイス３０の位置情報と、地図情報４２１と、天候情報とを用いる。サーバ４０は、さらに、スマートデバイス３０の画像認識部３３２による画像認識結果、または、画像認識結果及び温度検出部３３３によって検出された気温情報を用いてもよい。サーバ４０は、ユーザの周辺状況に応じて、ユーザに設定した武器の仮想的なコンテンツの攻撃力を設定する（ステップＳ１４）。サーバ４０は、設定した攻撃力を示す情報をスマートデバイス３０に送信する（ステップＳ１５）。

モーションコントローラー２０は、加速度センサを用いて加速度を検出し（ステップＳ１６）、検出した加速度情報をスマートデバイス３０送信する（ステップＳ１７）。スマートデバイス３０は、モーションコントローラー２０から送信された加速度情報を基に、ユーザの手の動きを検出する（ステップＳ１８）。

スマートデバイス３０は、送信された武器の画像コンテンツを、サーバ４０によって設定された攻撃力となるように、動き検出処理（ステップＳ１８）で検出した動きに応じて、実空間の画像と合成するコンテンツ合成処理を行う（ステップＳ１９）。そして、スマートデバイス３０は、ＡＲグラス１０に、コンテンツの出力を指示し（ステップＳ２０）、ＡＲ空間上の仮想的なコンテンツ（例えば、敵、味方、武器の画像コンテンツ、演出用のコンテンツ、音声コンテンツ）をＡＲグラス１０から出力させる（ステップＳ２１）。

［実施の形態の効果］
このように、本実施の形態では、ユーザの実際の周辺状況に応じて、ユーザがＡＲ空間上で持つ武器の攻撃力を変えることで、実環境で実際に敵に戦っているような、よりリアリティのある仮想空間上のＡＲ体験をユーザに提供することができる。

［システム構成等］
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。さらに、各装置にて行なわれる各処理機能は、その全部または任意の一部が、ＣＰＵやＧＰＵ及び当該ＣＰＵやＧＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。

また、本実施形態において説明した各処理のうち、自動的におこなわれるものとして説明した処理の全部または一部を手動的におこなうこともでき、あるいは、手動的におこなわれるものとして説明した処理の全部または一部を公知の方法で自動的におこなうこともできる。この他、上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。

［プログラム］
また、上記実施形態において説明したＡＲグラス１０、スマートデバイス３０及びサーバ４０及びが実行する処理をコンピュータが実行可能な言語で記述したプログラムを作成することもできる。例えば、実施形態におけるＡＲグラス１０、スマートデバイス３０及びサーバ４０が実行する処理をコンピュータが実行可能な言語で記述したプログラムを作成することもできる。この場合、コンピュータがプログラムを実行することにより、上記実施形態と同様の効果を得ることができる。さらに、かかるプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータに読み込ませて実行することにより上記実施形態と同様の処理を実現してもよい。

図１１は、プログラムを実行するコンピュータを示す図である。図１１に例示するように、コンピュータ１０００は、例えば、メモリ１０１０と、ＣＰＵ１０２０と、ハードディスクドライブインタフェース１０３０と、ディスクドライブインタフェース１０４０と、シリアルポートインタフェース１０５０と、ビデオアダプタ１０６０と、ネットワークインタフェース１０７０とを有し、これらの各部はバス１０８０によって接続される。

メモリ１０１０は、図１１に例示するように、ＲＯＭ（Read Only Memory）１０１１及びＲＡＭ１０１２を含む。ＲＯＭ１０１１は、例えば、ＢＩＯＳ（Basic Input Output System）等のブートプログラムを記憶する。ハードディスクドライブインタフェース１０３０は、図１１に例示するように、ハードディスクドライブ１０９０に接続される。ディスクドライブインタフェース１０４０は、ディスクドライブ１１００に接続される。例えば磁気ディスクや光ディスク等の着脱可能な記憶媒体が、ディスクドライブ１１００に挿入される。シリアルポートインタフェース１０５０は、例えばマウス１１１０、キーボード１１２０に接続される。ビデオアダプタ１０６０は、例えばディスプレイ１１３０に接続される。

ここで、図１１に例示するように、ハードディスクドライブ１０９０は、例えば、ＯＳ１０９１、アプリケーションプログラム１０９２、プログラムモジュール１０９３、プログラムデータ１０９４を記憶する。すなわち、上記の、プログラムは、コンピュータ１０００によって実行される指令が記述されたプログラムモジュールとして、例えばハードディスクドライブ１０９０に記憶される。

また、上記実施形態で説明した各種データは、プログラムデータとして、例えばメモリ１０１０やハードディスクドライブ１０９０に記憶される。そして、ＣＰＵ１０２０が、メモリ１０１０やハードディスクドライブ１０９０に記憶されたプログラムモジュール１０９３やプログラムデータ１０９４を必要に応じてＲＡＭ１０１２に読み出し、各種処理手順を実行する。

なお、プログラムに係るプログラムモジュール１０９３やプログラムデータ１０９４は、ハードディスクドライブ１０９０に記憶される場合に限られず、例えば着脱可能な記憶媒体に記憶され、ディスクドライブ等を介してＣＰＵ１０２０によって読み出されてもよい。あるいは、プログラムに係るプログラムモジュール１０９３やプログラムデータ１０９４は、ネットワーク（ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）等）を介して接続された他のコンピュータに記憶され、ネットワークインタフェース１０７０を介してＣＰＵ１０２０によって読み出されてもよい。

上記の実施形態やその変形は、本願が開示する技術に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

１ 通信システム
１０ ＡＲグラス
１１ 撮像部
１２ 音声入力部
１３，３１，４１ 通信部
１４ 表示部
１５ 音声出力部
２０ モーションコントローラー
３０ スマートデバイス
３２，４２ 記憶部
３３，４３ 制御部
４０ サーバ
３２１ 画像データ
３２２，４２２ コンテンツ情報
３３１ 位置検出部
３３２ 画像認識部
３３３ 温度検出部
３３４ 動き検出部
３３５ ＡＲグラス制御部
３３６ コンテンツ取得部
３３７ コンテンツ合成部
４２１ 地図情報
４３１ 武器コンテンツ設定部
４３２ 周辺状況判定部
４３３ 攻撃力設定部

Claims (7)

1. ユーザが使用する表示装置と、前記ユーザが持つモーションコントローラーと、前記ユーザが携帯するスマートデバイスと、スマートデバイスと通信を行うサーバとを有し、仮想的なコンテンツを前記表示装置に表示させてゲーム体験を前記ユーザに提供する通信システムであって、
   前記サーバは、
   前記ユーザの選択に応じた種別の武器の仮想的なコンテンツを前記スマートデバイスに設定する第１の設定部と、
   少なくとも前記スマートデバイスの位置情報と、地図情報と、天候情報とを基に、前記ユーザの周辺状況を判定する判定部と、
   前記ユーザの周辺状況に応じて、前記ユーザに設定した前記武器の仮想的なコンテンツの攻撃力を設定する第２の設定部と、
   を有し、
   前記スマートデバイスは、
   少なくとも該スマートデバイスの位置情報を検出し、検出した位置情報を前記サーバに送信する位置検出部と、
   前記第１の設定部によって設定された前記武器の仮想的なコンテンツを、前記第２の設定部によって設定された攻撃力となるように、前記表示装置に出力させる制御部と、
   を有することを特徴とする通信システム。
2. 前記第２の設定部は、前記ユーザの周辺状況が基準となる状況よりも悪い場合、前記ユーザに設定した武器の攻撃力を、基準の攻撃力よりも低く設定することを特徴とする請求項１に記載の通信システム。
3. 前記第２の設定部は、前記ユーザの周辺状況が前記基準となる状況よりも良い場合、前記ユーザに設定した武器の攻撃力を、前記基準の攻撃力よりも高く設定することを特徴とする請求項２に記載の通信システム。
4. 前記表示装置は、ユーザの頭部に装着され、
   前記表示装置は、
   実空間の画像を撮像する撮像部と、
   前記スマートデバイスとの間で通信を行い、前記実空間の画像を前記スマートデバイスに送信する通信部と、
   前記実空間の画像に仮想的なコンテンツを重畳して表示する表示部と、
   を有し、
   当該通信システムは、
   前記実空間の画像の特徴を認識する画像認識部
   を有し、
   前記判定部は、前記スマートデバイスの位置情報と、地図情報と、天候情報と、前記画像認識部による画像認識結果とを基に、前記ユーザの周辺状況を判定することを特徴とする請求項１～３のいずれか一つに記載の通信システム。
5. 前記スマートデバイスは、
   前記スマートデバイスが位置する箇所の気温を検出し、検出した気温情報を前記サーバに送信する温度検出部
   を有し、
   前記判定部は、少なくとも前記スマートデバイスの位置情報と、地図情報と、天候情報と、前記気温情報とを基に、前記ユーザの周辺状況を判定することを特徴とする請求項１～４のいずれか一つに記載の通信システム。
6. ユーザが使用する表示装置と、前記ユーザが携帯するスマートデバイスと、スマートデバイスと通信を行うサーバとを有する通信システムが実行する通信方法であって、
   前記サーバが、前記ユーザの選択に応じた種別の武器の仮想的なコンテンツを前記スマートデバイスに設定する第１の設定工程と、
   前記サーバが、少なくとも前記スマートデバイスの位置情報と、地図情報と、天候情報とを基に、前記ユーザの周辺状況を判定する工程と、
   前記サーバが、前記ユーザの周辺状況に応じて、前記ユーザに設定した前記武器の仮想的なコンテンツの攻撃力を設定する第２の設定工程と、
   前記スマートデバイスが、少なくとも該スマートデバイスの位置情報を検出し、検出した位置情報を前記サーバに送信する工程と、
   前記スマートデバイスが、前記第１の設定工程において設定された前記武器の仮想的なコンテンツを、前記第２の設定工程において設定された攻撃力となるように、前記表示装置に出力させる工程と、
   を含んだことを特徴とする通信方法。
7. 方法をコンピュータに実行させる通信プログラムであって、
   サーバとしてのコンピュータに、
   ユーザの選択に応じた種別の武器の仮想的なコンテンツを、ユーザが携帯するスマートデバイスに設定する第１の設定ステップと、
   少なくとも前記スマートデバイスの位置情報と、地図情報と、天候情報とを基に、前記ユーザの周辺状況を判定するステップと、
   前記ユーザの周辺状況に応じて、前記ユーザに設定した前記武器の仮想的なコンテンツの攻撃力を設定する第２の設定ステップと、
   を実行させ、
   前記スマートデバイスとしてのコンピュータに、
   少なくとも前記スマートデバイスの位置情報を検出し、検出した位置情報を前記サーバに送信するステップと、
   前前記第１の設定ステップにおいて設定された前記武器の仮想的なコンテンツを、前記第２の設定ステップにおいて設定された攻撃力となるように、ユーザが使用する表示装置に出力させるステップと、
   を実行させることを特徴とする通信プログラム。

Images