JP2021126454A - ゲームシステム - Google Patents

Abstract

【課題】リアルなゲームにバーチャルの演出力を適用することにより、リアルなゲームの楽しさを強化する。【解決手段】現実物体としてのラジコンカーを操作するレースゲームを想定する。サーバは、ラジコンカーの現実空間における位置および方向を検出し、ラジコンカーの現実空間における位置および方向も検出する。サーバは、ラジコンカーおよびユーザ端末の位置関係に基づいて仮想画像を生成する。サーバは、ユーザ端末に仮想画像を送信する。ユーザ端末は、現実画像に仮想画像を合成することによりＡＲ画像を生成する。【選択図】図６

Description

本発明は、拡張現実感技術、特に、ゲーム分野における拡張現実感技術の応用、に関する。

画像処理技術の発展により、ゲーム映像はいっそう迫力のあるものに進化しつつある。一方、玩具を使った遊びには、コンピュータゲームにはない魅力がある。たとえば、ラジオコントロールカー（以下、単に「ラジコンカー」とよぶ）によるレースには、五感を駆使して本物を操る特有の楽しさがある。

特開２０１３−１２２７０８号公報

近年、ＶＲゴーグルが急速に普及しつつあり、仮想現実（Virtual Reality）に触れる機会は飛躍的に増えていくと予想される。また、撮像画像にコンピュータグラフィックス（仮想画像）を合成する拡張現実感技術（Augmented Reality）により、実在現実と仮想現実の融合による新しい世界観が生まれるのではないかと期待されている。

しかし、現状においては、拡張現実感技術の便利さや目新しさそのものを楽しむことを主眼としたコンテンツが多く、ゲーム分野においてリアル（実在）とバーチャル（仮想）を組み合わせる技術についてはあまり提案がなされていないのが現状である。

本発明者は、ラジコンカーのような現実物体を操作するリアル・ゲームに拡張現実感技術を応用することにより、リアルに特有の楽しさやリアルタイムのライブ感をバーチャルに特有の表現力や演出力によっていっそう強化できるのではないかと想到した。

本発明は、本発明者の上記認識に基づいて完成された発明であり、その主たる目的は、リアルなゲームにバーチャルの演出力を適用することにより、リアルなゲームの楽しさを強化する技術、を提供することにある。

本発明のある態様におけるゲームシステムは、現実物体としての移動体を操作するゲームを対象として、現実空間における移動体の位置を検出する移動体検出部と、現実空間におけるユーザ端末の位置を検出する端末検出部と、移動体およびユーザ端末の位置関係に基づいて仮想画像を生成する仮想画像生成部と、ユーザ端末により撮像される現実画像に仮想画像を合成した拡張現実画像を表示させるＡＲ画像表示部と、を備える。

本発明のある態様におけるユーザ端末は、現実物体としての移動体を操作するゲームを観戦するための装置であって、撮像部と、撮像方向を検出する角度検出部と、サーバに、撮像方向を送信する送信部と、サーバから、移動体の位置、自端末の位置および撮像方向に基づいて生成される仮想画像を受信する受信部と、撮像部により撮像される現実画像に仮想画像を合成して拡張現実画像を表示させる表示部と、を備える。

本発明の別の態様におけるゲームシステムは、現実空間において展開されるゲームを対象として、現実空間において隠蔽領域をあらかじめ設定しておき、ユーザ端末により撮像される現実画像のうち隠蔽領域に対応する画像領域を仮想画像により隠蔽するＡＲ画像表示部を備える。

本発明によれば、リアルなゲームの楽しみを強化しやすくなる。

本実施形態におけるゲームシステムの概要を説明するための模式図である。 図２（ａ）は、ユーザ端末に表示される現実画像の模式図である。図２（ｂ）は、ユーザ端末に表示されるＡＲ画像の模式図である。 ユーザ端末の機能ブロック図である。 サーバの機能ブロック図である。 ＡＲ画像の生成過程を示すフローチャートである。 仮想画像の対象領域を特定する方法を説明するための模式図である。 移動体位置情報の第１の特定方法を説明するための模式図である。 移動体位置情報を第２の特定方法を説明するための模式図である。 端末位置情報の第１の特定方法を説明するための模式図である。 端末位置情報を特定する第２の特定方法を説明するための模式図である。 ＡＲ画像の生成過程を示すフローチャートの別例である。

図１は、本実施形態におけるゲームシステム１００の概要を説明するための模式図である。
ゲームセンターにおいて、本物（現実物体）のラジコンカー１０４（移動体）を使ったレースゲームが行われる。ゲームセンター内にはサーキット１０６が設置される。複数のプレイヤ（操作者）は、ラジコンカー１０４を操作桿により操作して勝敗を競う。

プレイヤとは別に、複数のユーザ（以下、「観戦者」とよぶ）がサーキット１０６のそばでレースを観戦する。観戦者は肉眼でレースを観戦してもよいが、ユーザ端末１０２のモニタを介してレースを観戦してもよい。ユーザ端末１０２は、スマートフォン、タブレットコンピュータ、ＶＲゴーグルなど、撮像機能を備える通信端末であればよい。本実施形態においては、ユーザ端末１０２としてスマートフォンを想定して説明する。

ユーザ端末１０２は、無線通信回線を介してサーバ２００と接続される。サーバ２００および複数のユーザ端末１０２により、ゲームシステム１００が構成される。観戦者は、ユーザ端末１０２によりレースをライブビューとして撮像する。詳細は後述するが、ユーザ端末１０２の撮像画像には、サーバ２００から提供される仮想画像が重畳される。仮想画像を重畳された撮像画像を「拡張現実画像」または「ＡＲ画像」とよぶ。観戦者は、ユーザ端末１０２を介して、ＡＲ画像をレースのライブ映像として楽しむことができる。

サーキット１０６の外側は遮蔽領域１０８として設定される。遮蔽領域１０８は、サーキット１０６（ゲーム空間）の外側であるため、ＡＲ画像において「見せたくない領域」「見せる必要のない領域」となる。遮蔽領域１０８の取り扱いについては後述する。

サーバ２００（ターミナル）には、１以上のサテライト２３０（ゲーム筐体）が接続されてもよい。サテライト２３０には、ゲームセンター内に設置される複数の固定カメラ（図示せず）による撮像画像が表示される。観戦者は、ユーザ端末１０２と同様、サテライト２３０においてレースの撮像画像を視認できる。サテライト２３０はサーバ２００から仮想画像を受信し、撮像画像と合成しＡＲ画像として画面表示してもよい。観戦者はサテライト２３０に着席することで、固定カメラによる撮像画像またはＡＲ画像をレースのライブ映像として楽しむことができる。

サテライト２３０は、ラジコンカー１０４を操作するための操作桿を有してもよい。この場合、プレイヤは、操作桿によりラジコンカー１０４を操作する。具体的には、サテライト２３０からラジコンカー１０４に操作指示を送信し、ラジコンカー１０４は操作指示にしたがって速度と方向を変化させる。プレイヤは、複数の固定カメラを切り替えつつ、サテライト２３０に表示される撮像画像を見ながらラジコンカー１０４を制御してもよい。また、ラジコンカー１０４に設けられたカメラ（図示しない）で撮影された撮像画像を受信し、これに仮想画像を合成したＡＲ画像を画面表示してもよい。

図２（ａ）は、ユーザ端末１０２に表示される現実画像の模式図である。
観戦者は、ユーザ端末１０２をサーキット１０６に向ける。ユーザ端末１０２はサーキット１０６を撮像し、ユーザ端末１０２が内蔵するモニタに撮像画像をライブビュー表示させる。以下、ＡＲ技術を適用する前の加工前の撮像画像のことを「現実画像１１０」とよぶ。図２（ａ）の現実画像１１０には、２台のラジコンカー１０４の実物画像が映っている。サーキット１０６はアスファルトを模した路面により形成される。サーキット１０６外の遮蔽領域１０８には、配線や壁、床面、他の観戦者など、レースの臨場感・没入感を妨げかねないもの、いいかえれば「見せたくないモノ」が映っている。

詳細は後述するが、サーバ２００は各ラジコンカー１０４の位置および向きをリアルタイムにて把握する。以下、ラジコンカー１０４（移動体）の位置および向きに関する情報を「移動体位置情報」とよぶ。サーバ２００は各ユーザ端末１０２の位置および向き（撮像方向）もリアルタイムにて把握する。以下、ユーザ端末１０２の位置および向きに関する情報を「端末位置情報」とよぶ。サーバ２００は、移動体位置情報および端末位置情報に基づいて、ユーザ端末１０２における現実画像１１０の構図を計算する。いいかえれば、サーバ２００は、移動体位置情報および端末位置情報を、ユーザ端末１０２からみた仮想座標系（仮想の三次元空間）に設定し、これに基づいて、現実画像１１０に適合する仮想画像を生成し、仮想画像をユーザ端末１０２に送信する。

図２（ｂ）は、ユーザ端末１０２に表示されるＡＲ画像１２０の模式図である。
ユーザ端末１０２は、サーバ２００から仮想画像を受信し、現実画像１１０に仮想画像を合成することによりＡＲ画像１２０を生成する。この結果、ユーザ端末１０２のモニタには現実画像１１０ではなく、ＡＲ画像１２０が表示される。

図２（ｂ）においては、仮想画像として、土煙１２２や火花１２４などのエフェクト画像が合成されている。また、サーキット１０６は、アスファルト路面（オンロードコース：現実画像）ではなく、舗装されていない路面（オフロードコース：仮想画像）に変更されている。遮蔽領域１０８には柵１２６および観客１２８を示す仮想画像が合成される。このような制御により、遮蔽領域１０８のような見せたくない領域を仮想画像により効果的に隠すことができる。

観戦者がユーザ端末１０２のモニタを通してレースを観戦したときには、仮想画像により現実画像１１０が演出される。観戦者は、現実物体としてのラジコンカー１０４によるレースを肉眼で「実在現実」として楽しんでもよいし、ユーザ端末１０２を通して「拡張現実」として楽しむこともできる。
ＡＲ画像１２０の生成方法の詳細は後述する。

図３は、ユーザ端末１０２の機能ブロック図である。
ユーザ端末１０２の各構成要素は、ＣＰＵ（Central Processing Unit）および各種コプロセッサなどの演算器、メモリやストレージといった記憶装置、それらを連結する有線または無線の通信線を含むハードウェアと、記憶装置に格納され、演算器に処理命令を供給するソフトウェアによって実現される。コンピュータプログラムは、デバイスドライバ、オペレーティングシステム、それらの上位層に位置する各種アプリケーションプログラム、また、これらのプログラムに共通機能を提供するライブラリによって構成されてもよい。以下に説明する各ブロックは、ハードウェア単位の構成ではなく、機能単位のブロックを示している。
次の図４に示すサーバ２００についても同様である。

ユーザ端末１０２は、ユーザインタフェース処理部１３０、データ処理部１３２、データ格納部１３４および通信部１３６を含む。
ユーザインタフェース処理部１３０は、タッチパネル等の入力デバイスを介して観戦者からの操作を受け付けるほか、画像表示や音声出力など、ユーザインタフェースに関する処理を担当する。通信部１３６は、サーバ２００等との通信処理を担当する。データ格納部１３４は各種データを格納する。データ処理部１３２は、ユーザインタフェース処理部１３０からの入力、通信部１３６の受信データおよびデータ格納部１３４に格納されているデータに基づいて各種処理を実行する。データ処理部１３２は、通信部１３６、ユーザインタフェース処理部１３０およびデータ格納部１３４のインタフェースとしても機能する。

ユーザインタフェース処理部１３０は、観戦者からの入力を受け付ける入力部１３８、観戦者に対して画像や音声等の各種情報を出力する出力部１４２および撮像部１４０を含む。出力部１４２は、現実画像１１０に仮想画像を合成してＡＲ画像１２０を生成し、ＡＲ画像１２０をユーザ端末１０２のモニタに表示させるＡＲ画像表示部１４４を含む。

通信部１３６は、サーバ２００にデータを送信する送信部１４８とサーバ２００からデータを受信する受信部１５０を含む。送信部１４８は、現実画像１１０あるいはＡＲ画像１２０をサーバ２００に送信する画像転送部１５２を含む。また、受信部１５０は、他のユーザ端末１０２から現実画像１１０またはＡＲ画像１２０をサーバ２００経由にて受信する画像受信部１５４を含む。

データ処理部１３２は、角度検出部１４６を含む。角度検出部１４６は、ユーザ端末１０２に内蔵されるジャイロセンサにより、ユーザ端末１０２の傾斜角（ヨー角、ピッチ角、ロー角）を検出する。傾斜角は、送信部１４８によりサーバ２００に通知される。サーバ２００は、この傾斜角に基づいてユーザ端末１０２の撮像方向を特定する（後述）。

なお、撮像部１４０は、立体表示を可能とするために現実画像１１０から視差画像を生成してもよい。同様にして、ＡＲ画像表示部１４４は、ＡＲ画像１２０から視差画像を生成してもよい。この場合には、観戦者は立体画像としてのＡＲ画像１２０をライブで楽しむことができる。

本実施形態におけるユーザ端末１０２は、スマートフォンを想定している。上述したように、ユーザ端末１０２は、据え置き型のサテライト２３０であってもよい。サテライト２３０は、ゲームセンターの固定カメラから撮像画像を取得してもよい。また、サテライト２３０自体がカメラを備えてもよい。サテライト２３０は撮像画像を画面表示させてもよい。サテライト２３０はカメラの向きと拡大率を観戦者の指示に基づいて変更できてもよい。

ユーザ端末１０２は、移動可能な汎用端末であってもよい。たとえば、ユーザ端末１０２はヘッドマウントディスプレイであってもよい。ユーザ端末１０２は、通信機能を備える双眼鏡として形成されてもよい。スマートフォンとしてのユーザ端末１０２をゴーグルなど観戦者の頭部に装着される機材に設置してもよい。この場合には、観戦者はゴーグルを装着しつつ、スマートフォンの通信機能と表示機能によりＡＲ画像１２０を楽しむことができる。

図４は、サーバ２００の機能ブロック図である。
サーバ２００は、データ処理部２０４、データ格納部２０６および通信部２０２を含む。
通信部２０２は、ユーザ端末１０２との通信処理を担当する。データ格納部２０６は各種データを格納する。データ処理部２０４は、通信部２０２の受信データおよびデータ格納部２０６に格納されているデータに基づいて各種処理を実行する。データ処理部２０４は、通信部２０２およびデータ格納部２０６のインタフェースとしても機能する。

データ処理部２０４は、移動体検出部２１４、端末検出部２１６および仮想画像生成部２１８を含む。
移動体検出部２１４は、移動体位置情報に基づいて、ラジコンカー１０４の位置および移動方向を特定する。サーキット１０６（実在のゲーム空間）周辺の現実空間に重ねて仮想空間の座標系（以下、「仮想座標系」とよぶ）をあらかじめ設定しておく。たとえば、サーキット１０６の中心を仮想空間の原点として設定する。移動体検出部２１４は、複数のラジコンカー１０４それぞれの仮想座標系における位置座標および進行方向のベクトルを計算する。

端末検出部２１６は、端末位置情報に基づいて、ユーザ端末１０２の位置および撮像方向を特定する。端末検出部２１６は、仮想座標系において、複数のユーザ端末１０２それぞれの位置座標および撮像方向のベクトルを計算する。以上の処理により、仮想空間におけるユーザ端末１０２とラジコンカー１０４の位置関係が特定される。

仮想画像生成部２１８は、移動体位置情報および端末位置情報に基づいて、ユーザ端末１０２のモニタに表示される現実画像１１０を想定計算する。その上で、仮想画像生成部２１８は想定計算した現実画像１１０に合成するための仮想画像を生成する。

なお、サーバ２００は、ラジコンカー１０４同士の位置関係からゲームとしてのレースの順位判定やタイム等の算定を行うゲーム判定部（不図示）を備えてもよい。仮想画像生成部２１８は、判定結果に基づいて現実画像１１０に合成するためのインフォメーション画像も生成してもよい。ここでいうインフォメーション画像は、仮想画像の一種であり、たとえば、ラジコンカー１０４の順位、ラップタイム、衝突回数、最高速度、回転数、サイズ、プレイヤ名などの各種設定またはレース状況を示す画像であればよい。

以下、ユーザ端末１０２が現実に撮像した現実画像１１０と区別する意味で、サーバ２００の仮想画像生成部２１８が端末位置情報および移動体位置情報に基づいて想定する現実画像１１０のことを「想定画像」とよぶ。

通信部２０２は、データを送信する送信部２０８とデータを受信する受信部２１０を含む。送信部２０８は、仮想画像を送信する仮想画像送信部２１２を含む。

図５は、ＡＲ画像１２０の生成過程を示すフローチャートである。
前提として、サーバ２００は、複数のユーザ端末１０２それぞれの位置をあらかじめ把握しており、かつ、観戦者は位置決め後に移動しないものとする。ラジコンカー１０４の位置検出方法については図７、図８に関連して後述する。ユーザ端末１０２の位置検出方法については、図９、図１０に関連して後述する。図５に示す処理は定期的に繰り返し実行される。ユーザ端末１０２の撮像部１４０は現実画像１１０を高速かつ定期的に取得する。

ユーザ端末１０２の角度検出部１４６は定期的に傾斜角を検出し（Ｓ１０）、送信部１４８は傾斜角を含む端末位置情報をユーザ端末１０２のＩＤ（以下、「端末ＩＤ」とよぶ）とともにサーバ２００に送信する（Ｓ２００）。サーバ２００の端末検出部２１６は、端末位置情報に含まれる傾斜角に基づいてユーザ端末１０２の撮像方向を特定する（Ｓ１４）。より具体的には、ヨー角、ピッチ角、ロー角の３軸それぞれについての角度に基づいて、端末検出部２１６はユーザ端末１０２のカメラレンズの方向を撮像方向として特定する。

ラジコンカー１０４はＩＤ（以下、「カーＩＤ」とよぶ）により識別される。サーバ２００の移動体検出部２１４は、ラジコンカー１０４のカーＩＤ、位置および方向（向き）を示す移動体位置情報を定期的に取得する（Ｓ１６）。

仮想画像生成部２１８は、端末位置情報と移動体位置情報に基づいて、仮想座標系におけるユーザ端末１０２およびラジコンカー１０４の位置と向きを計算する。その上で、仮想画像生成部２１８は、ユーザ端末１０２の撮像範囲に含まれるラジコンカー１０４等のオブジェクトを特定し、ユーザ端末１０２のモニタに表示される想定画像（二次元の投影画像）を生成する。より具体的には、仮想画像生成部２１８は、ラジコンカー１０４とユーザ端末１０２の相対距離に基づいて、想定画像におけるラジコンカー１０４のサイズを特定し、ラジコンカー１０４とユーザ端末１０２の相対角度に基づいて想定画像におけるラジコンカー１０４の向きを特定する。

たとえば、仮想画像生成部２１８は、まず、カーＩＤ＝Ｃ０１のラジコンカー１０４（以下、「ラジコンカー１０４（Ｃ０１）」のように表記する）の位置を特定する。同様にして、仮想画像生成部２１８は、端末ＩＤ＝Ｔ０１のユーザ端末１０２（以下、「ユーザ端末１０２（Ｔ０１）」のように表記する）の位置をあらかじめ特定しておく。仮想画像生成部２１８はそれぞれの位置情報を仮想座標系（仮想の三次元空間）に設定する。

仮想画像生成部２１８は、仮想空間内の座標計算により、ユーザ端末１０２（Ｔ０１）およびラジコンカー１０４（Ｃ０１）の相対距離を特定する。また、仮想画像生成部２１８は、仮想空間内の座標計算により、ユーザ端末１０２（Ｔ０１）の撮像範囲にラジコンカー１０４（Ｃ０１）が含まれるか否かを判定する。

次に、ラジコンカー１０４（Ｃ０１）とユーザ端末１０２（Ｔ０１）の相対距離および相対角度に基づいて、想定画像におけるラジコンカー１０４（Ｃ０１）の大きさと向きを特定する。仮想画像生成部２１８は、複数のラジコンカー１０４について同様に計算し、ユーザ端末１０２（Ｔ０１）にどのラジコンカー１０４が映り込むか、映り込むとすればどのような大きさ、かつ、どのような角度で映り込むかを計算する。このような計算方法は、一般的なコンピュータゲームにおいて、３次元の仮想空間内に存在する各種オブジェクトを特定のビューポイントから見たときにどのように映るかを投影計算する方法と同様である。仮想画像生成部２１８は、複数のユーザ端末１０２それぞれについて同様の計算を行い、各ユーザ端末１０２の想定画像を生成する。

同様にして、仮想画像生成部２１８は、サーキット１０６がどのようにユーザ端末１０２のモニタに現実画像として映るかを想定計算する。たとえば、仮想画像生成部２１８は、ユーザ端末１０２のモニタにおいて遮蔽領域１０８が映るかを判定し、想定画像（二次元画像）のうち、遮蔽領域１０８が映り込む領域を計算する。

仮想画像生成部２１８は、想定画像を前提として、仮想画像を生成する（Ｓ１８）。仮想画像生成部２１８は、まず、想定画像におけるラジコンカー１０４の映り込み領域に基づいて、土煙１２２、火花１２４などの仮想画像を重畳すべき位置と形状を計算する。また、仮想画像生成部２１８は、遮蔽領域１０８の映り込み領域に基づいて、柵１２６および観客１２８を生成する。仮想画像の生成方法については、次の図６に関連して更に詳述する。

サーバ２００の仮想画像送信部２１２は、生成した仮想画像をユーザ端末１０２に送信する（Ｓ２０）。ユーザ端末１０２のＡＲ画像表示部１４４は、現実画像１１０に仮想画像を合成することにより、ＡＲ画像１２０を生成する（Ｓ２２）。

図６は、仮想画像の対象領域を特定する方法を説明するための模式図である。
図６においては、図２（ａ）に示した現実画像１１０を対象として図２（ｂ）に示したＡＲ画像１２０を生成する方法を説明する。仮想画像生成部２１８は、まず、端末位置情報および移動体位置情報に基づいてユーザ端末１０２ごとの想定画像１６０を計算する。仮想画像生成部２１８は、想定画像１６０においてサーキット１０６が映り込む領域である路面領域１６６、サーキット１０６の内壁が映り込む領域である内壁領域１６４および遮蔽領域１０８が映り込む領域である外部領域１６８を特定する。また、仮想画像生成部２１８は、ラジコンカー１０４が映り込む領域である車両領域１６２ａ、１６２ｂを特定する。ラジコンカー１０４等の現実物体を仮想空間のオブジェクトとみなして座標計算することにより想定画像１６０を計算している。

次に、仮想画像生成部２１８は、路面領域１６６に対応してオフロード路面を示す仮想画像を生成する。具体的には、あらかじめオフロード路面に対応する仮想画像を生成し、路面領域１６６の形状にあわせてこの仮想画像を切り出す。仮想画像生成部２１８は、同様にして、外部領域１６８の形状にて観客１２８と柵１２６の仮想画像を生成する。仮想画像生成部２１８は、車両領域１６２ａおよび車両領域１６２ｂ付近に土煙領域１７０ａ、１７０ｂを特定する。仮想画像生成部２１８は、土煙領域１７０ａ、１７０ｂに対応して土煙１２２（図２（ｂ）参照）の仮想画像を生成する。また、車両領域１６２ａと車両領域１６２ｂの中間部分に小さな火花領域１８０を特定し、火花領域１８０に合わせて火花１２４を示す仮想画像を生成する。

このように、仮想画像生成部２１８は、端末位置情報および移動体位置情報に基づいて、想定画像１６０を計算した上で、車両領域１６２ａ、車両領域１６２ｂ、内壁領域１６４のように仮想画像を合成しない領域、いいかえれば、現実画像（実物の画像）をそのまま残すべき領域と、外部領域１６８、路面領域１６６のように仮想画像を合成すべき領域を特定する。仮想画像生成部２１８は、現実画像１１０に映り込むラジコンカー１０４のシルエットである車両領域１６２ａ、車両領域１６２ｂを特定するとともに、ラジコンカー１０４の後方にラジコンカー１０４の向きと大きさに合わせて土煙領域１７０ａ、土煙領域１７０ｂを特定する。

仮想画像生成部２１８による仮想画像の生成方法は、一般的な３Ｄゲームにおける画像処理方法と基本的には同じである。３Ｄゲームでは、三次元オブジェクトとカメラ（視点）の位置関係に基づいて三次元オブジェクトのゲーム画面（二次元画面）への「映り方」を決める。そして、三次元オブジェクトの周辺に土煙などのエフェクト画像を付与する。本実施形態においては、サーバ２００は、端末位置情報および移動体位置情報に基づいて仮想座標系における各種オブジェクトの配置を計算し、計算結果に基づいて想定画像１６０を計算する。そして、ラジコンカー１０４の周辺に土煙などのエフェクト画像（仮想画像）を付与している。

次に、ラジコンカー１０４の移動体位置情報を特定する方法について説明する。

図７は、移動体位置情報の第１の特定方法を説明するための模式図である。
第１の特定方法においては、サーキット１０６にあらかじめマーカー１８４を敷き詰めておく。マーカー１８４は二次元コードである。ラジコンカー１０４は車体下部にカメラ１８２を搭載する。カメラ１８２によりマーカー１８４を撮像し、ラジコンカー１０４は撮像したマーカー１８４のコード番号をサーバ２００に送信する。また、ラジコンカー１０４は、内蔵するジャイロセンサにより、ラジコンカー１０４の進行方向を特定する。ラジコンカー１０４は、コード番号と進行方向を移動体位置情報としてカーＩＤとともにサーバ２００に送信する。サーバ２００は、ラジコンカー１０４から受信したコード番号に基づいて、ラジコンカー１０４の位置を特定する。

二次元コードの光学的読み取りに限らず、マーカー１８４はコード番号を電磁波として発信してもよい。ラジコンカー１０４は、車体下部に受信アンテナを搭載し、マーカー１８４から発信されるコード番号を受信してもよい。この場合にも、ラジコンカー１０４はコード番号を移動体位置情報の一部としてサーバ２００に送信すればよい。

ラジコンカー１０４は、車体下部に送信アンテナを搭載し、カーＩＤを送信してもよい。サーキット１０６には複数の受信アンテナを敷き詰めておく。サーキット１０６に内蔵される送信装置から、カーＩＤを検出した受信アンテナのアンテナＩＤをカーＩＤとともにサーバ２００に送信してもよい。

図８は、移動体位置情報を第２の特定方法を説明するための模式図である。
第２の特定方法においては、サーキット１０６の直上に固定カメラ１９０を設置する。ラジコンカー１０４の天井部分にカーＩＤを示す二次元コードを貼付する。固定カメラ１９０は、撮像画像をサーバ２００に送信する。サーバ２００の移動体検出部２１４は、固定カメラ１９０から送信される撮像画像を画像認識することにより、ラジコンカー１０４のカーＩＤ、位置、方向を特定する。ラジコンカー１０４に二次元コードを貼付することにより、カーＩＤおよびラジコンカー１０４の位置を検出しやすくなる。

あるいは、移動体検出部２１４は、ラジコンカー１０４の形状を画像認識することでラジコンカー１０４のカーＩＤを特定してもよい。具体的には、サーバ２００のデータ格納部２０６において、カーＩＤおよびラジコンカー１０４の上面形状を対応づけた形状情報を対応付けて登録しておく。移動体検出部２１４は、固定カメラ１９０の撮像画像から複数のラジコンカー１０４を特定する。次に、移動体検出部２１４は、ラジコンカー１０４の上面形状を特定し、形状情報に基づいてカーＩＤを特定してもよい。この場合には、ラジコンカー１０４の天井に二次元コードを貼付する必要はない。

第２の特定方法によれば、ラジコンカー１０４にジャイロセンサや通信機能等をもたせることなく、サーバ２００はラジコンカー１０４の移動体位置情報を取得できる。

次に、ユーザ端末１０２の端末位置情報を特定する方法について説明する。

図９は、端末位置情報の第１の特定方法を説明するための模式図である。
第１の特定方法においては、ゲームセンターの壁面（固定位置）に実体マーク１９２を設定しておく。実体マーク１９２は、長方形、楕円形など、縦幅と横幅が異なる形状であればよい。観戦者は、サーキット１０６の立ち位置（観戦位置）を決めたあと、ユーザ端末１０２により実体マーク１９２を撮像する。ユーザ端末１０２のモニタ１９４には実体マーク１９２が影像マーク１９６として表示される。観戦者は、影像マーク１９６の映る撮像画像を端末ＩＤとともにサーバ２００に送信する。

サーバ２００の端末検出部２１６は、撮像画像に映る影像マーク１９６の大きさから、実体マーク１９２とユーザ端末１０２の距離を判定する。また、実体マーク１９２とユーザ端末１０２の相対角度により、影像マーク１９６の高さＨと幅Ｗの比率が変化する。ユーザ端末１０２が実体マーク１９２を真正面から撮像するときにはＷ／Ｈはもっとも大きくなり、ユーザ端末１０２が実体マーク１９２を水平方向にずれて斜めから撮像するときにはＷ／Ｈは小さくなる。端末検出部２１６は、Ｗ／Ｈにより、実体マーク１９２とユーザ端末１０２の水平方向における相対角度を判定する。水平方向の相対角度だけでなく、垂直方向の相対角度についても同様である。このような制御方法によれば、端末検出部２１６は、各観戦者が送信する実体マーク１９２の撮像画像（影像マーク１９６の形状）に基づいて、各観戦者のゲームセンター内における位置を特定できる。

図１０は、端末位置情報を特定する第２の特定方法を説明するための模式図である。
第２の特定方法においては、ユーザ端末１０２の画面に所定のテスト画像を表示させる。テスト画像は、サーバ２００からユーザ端末１０２にダウンロードしてもよい。テスト画像には照準マーク１９８ａ、１９８ｂが含まれる。照準マーク１９８ａはモニタ１９４の右上隅に表示される正方形であり、照準マーク１９８ｂはモニタ１９４の左下済に表示される正方形である。

観戦者は、サーキット１０６のそばで立ち位置を決めたあと、ユーザ端末１０２にテスト画像を表示させる。観戦者の後方には固定カメラ２２０が設置される。固定カメラ２２０はユーザ端末１０２のモニタ１９４に表示されるテスト画像を撮像する。固定カメラ２２０は、照準マーク１９８ａ、照準マーク１９８ｂを含む撮像画像をサーバ２００に送信する。

サーバ２００の端末検出部２１６は、撮像画像に映る照準マーク１９８ａ、照準マーク１９８ｂの大きさから、固定カメラ２２０とユーザ端末１０２の距離を判定する。また、ユーザ端末１０２と固定カメラ２２０の相対角度により、照準マーク１９８ａから照準マーク１９８ｂの距離は変化する。固定カメラ２２０の正面にユーザ端末１０２があるときには照準マーク１９８ａから照準マーク１９８ｂまでの距離は最も長くなり、固定カメラ２２０の正面からユーザ端末１０２の位置が水平方向にずれていくほど距離は短くなる。端末検出部２１６は、撮像画像における照準マーク１９８ａと照準マーク１９８ｂの距離に基づいて固定カメラ２２０とユーザ端末１０２の相対角度を判定する。垂直方向の相対角度についても同様である。このような制御方法によれば、端末検出部２１６は、各観戦者のユーザ端末１０２に映されるテスト画像に基づいて、各観戦者のゲームセンター内における位置を特定できる。

以上、実施形態に基づいてゲームシステム１００を説明した。
本実施形態によれば、観戦者は肉眼で現実のレースを楽しむだけでなく、ユーザ端末１０２（スマートフォン、ＶＲゴーグルなど）により拡張現実としてもレースを楽しむことができる。いいかえれば、同一のレースを「実在現実」と「拡張現実」という２種類の認識にて楽しむことができる。

コンピュータ・グラフィックス（仮想画像）のみのコンピュータゲームとは異なり、リアルなラジコンカー１０４のレース（現実画像）に、コンピュータ・グラフィックス（仮想画像）による演出力を取り込むことができる。

たとえば、図２（ｂ）に示したように、土煙１２２あるいは火花１２４などの仮想画像を合成することにより、現実物体のラジコンカー１０４が土煙を巻き上げ、火花を散らしながらレースをしているかのような迫力のあるＡＲ画像１２０を提供できる。

また、サーキット１０６の外側の遮蔽領域１０８には、他の観戦者や配線、壁、床材など、レース（ゲーム空間）とは関係のないモノが存在する。このようなレースとは直接関係しないモノがＡＲ画像１２０に映り込むと、レース観戦の興趣を削がれてしまう。本実施形態においては、想定画像１６０の遮蔽領域１０８に対応する画像領域に観客１２８等の仮想画像を合成することにより、遮蔽領域１０８にある「見せたくないモノ」を隠蔽する。遮蔽領域１０８に仮想画像を重畳することにより、レースの臨場感をいっそう高めることができる。

プレイヤだけでなく、観戦者もレースを楽しむことができるので、レースの注目度を高めることができる。観戦者が多くなるほどレースゲームはいっそう盛り上がると考えられる。レースゲームにおいて観戦者も楽ませることは、ゲームセンターに顧客を誘引する上でも有効である。

仮想画像生成部２１８は、観戦者ごとに異なる仮想画像を提供してもよい。たとえば、観戦者Ｐ１には土煙が巻き上がる仮想画像を提供し、観戦者Ｐ２には水しぶきが巻き上がる仮想画像を提供してもよい。観戦者は、仮想画像による演出方法を選択し、サーバ２００は観戦者の選択にしたがって提供すべき仮想画像を選択すればよい。

仮想空間内で自動車などの三次元オブジェクトを操作する一般的なレースゲーム（コンピュータゲーム）では、三次元の仮想空間における三次元オブジェクトの位置等を計算することで三次元画像を形成し、この三次元画像を二次元画像に投影することでゲーム画面を作成する。本実施形態においては、移動体位置情報に基づいてラジコンカー１０４の位置等を計算し、これをユーザ端末１０２のモニタ位置における二次元画像として投影することにより、サーバ２００はユーザ端末１０２に表示される想定画像１６０を計算する。サーバ２００は、想定画像１６０に基づいて仮想画像を生成し、ユーザ端末１０２は現実画像１１０と仮想画像を合成することによりＡＲ画像１２０を生成する。ＡＲ画像１２０にはラジコンカー１０４の実際の撮像画像が映り込むため、仮想画像だけでは提供できない独特の実在感・臨場感を提供できる。

なお、本発明は上記実施形態や変形例に限定されるものではなく、要旨を逸脱しない範囲で構成要素を変形して具体化することができる。上記実施形態や変形例に開示されている複数の構成要素を適宜組み合わせることにより種々の発明を形成してもよい。また、上記実施形態や変形例に示される全構成要素からいくつかの構成要素を削除してもよい。

ユーザ端末１０２とサーバ２００によりサーバ２００が構成されるとして説明したが、ユーザ端末１０２の機能の一部はサーバ２００により実現されてもよいし、サーバ２００の機能の一部はユーザ端末１０２により実現されてもよい。また、ユーザ端末１０２およびサーバ２００以外の第３の装置が、これらの装置の機能の一部を担ってもよい。

［変形例］
本実施形態においては、観戦者のみがＡＲ画像１２０を楽しむとして説明したが、プレイヤもＡＲ画像１２０を楽しんでもよい。または、プレイヤのみがプレイ中のラジコンカー１０４（移動体）の撮像画像（現実画像１１０）に合成されたＡＲ画像１２０をゲームのプレイ画像として楽しむようにしてもよい。たとえば、プレイヤはＶＲゴーグルを装着し、ＡＲ画像１２０を通してラジコンカー１０４を操作してもよい。その際、プレイヤが装着するＶＲゴーグルに設けられたカメラにより現実空間内で自身が位置する場所から撮影した撮像画像に対し、上記の実施形態で説明した手法によりＡＲ画像１２０を生成してもよい。このようにすることで、実際のラジコン競技と同等の視点から、自身が操作するラジコンカー１０４に対し、現実空間では存在しないエフェクトや障害物等の画像が付加されたＡＲ画像１２０としてゲームを楽しむことができる。

図１１は、ＡＲ画像の生成過程を示すフローチャートの別例である。
本実施形態においては、ユーザ端末１０２の位置をサーバ２００に登録したあと、レース中において観戦者（ユーザ端末１０２）は移動しないものとして説明した。変形例として、レース中であっても、観戦者は自由に移動してもよい。図５に示す処理と同様、図１１に示す処理は定期的に繰り返し実行される。ユーザ端末１０２の撮像部１４０は現実画像１１０を高速かつ定期的に取得する。

変形例におけるサーバ２００の端末検出部２１６は、定期的にラジコンカー１０４の位置を検出する（Ｓ１１）。たとえば、ゲームセンターの壁面に多数の実体マーク１９２を貼り付けておく。実体マーク１９２は二次元コード等により識別可能である。ユーザ端末１０２のモニタ面に映り込んだ実体マーク１９２を固定カメラ２２０で撮像することにより、端末検出部２１６は各ラジコンカー１０４の位置をリアルタイムにて計測してもよい。なお、ＬＩＤＡＲ（Light Detection and Ranging）等の他の既存技術の応用により、ユーザ端末１０２の位置をリアルタイムにて計測してもよい。

ユーザ端末１０２は傾斜角を検出し（Ｓ１０）、サーバ２００に送信する（Ｓ２００）。サーバ２００は、傾斜角に基づいてユーザ端末１０２の撮像方向を特定する（Ｓ１４）。

サーバ２００は、ラジコンカー１０４のカーＩＤ、位置および方向を示す移動体位置情報を定期的に取得する（Ｓ１６）。

仮想画像生成部２１８は、Ｓ１１により検出されたユーザ端末１０２の位置、Ｓ１４において特定されたユーザ端末１０２の撮像方向およびＳ１６において取得されたラジコンカー１０４の移動体位置情報に基づいて、ユーザ端末１０２のモニタに表示される想定画像（二次元の投影画像）を生成する（Ｓ１８）。

サーバ２００は、生成した仮想画像をユーザ端末１０２に送信する（Ｓ２０）。ユーザ端末１０２のＡＲ画像表示部１４４は、現実画像１１０に仮想画像を合成することにより、ＡＲ画像１２０を生成する（Ｓ２２）。

本実施形態においては、角度検出部１４６は、ユーザ端末１０２が内蔵するジャイロセンサにより傾斜角を検出するとして説明した。角度検出部１４６は、ユーザ端末１０２による撮像画像からユーザ端末１０２の傾斜角を検出してもよい。角度検出部１４６は、たとえば、撮像画像に映る柱（固定物）の傾斜角から、ユーザ端末１０２の傾斜角を推定してもよい。

本実施形態においてはラジコンカー１０４を移動体の例として説明したが、ラジコンカー１０４に限らず、飛行機やヘリコプター、ドローンなど他の移動体を対象としてＡＲ画像１２０を提供してもよい。

本実施形態においては、土煙や火花などのエフェクト画像を仮想画像の一種として説明した。ここでいうエフェクト画像は、水しぶき、水煙、火炎、飛行機雲、衝撃波など、地面または空気が移動体と摩擦するときに発生する自然現象を模した仮想画像であればよい。

所定の条件が成立したとき、仮想画像生成部２１８はエフェクト画像を提供するとしてもよい。たとえば、ラジコンカー１０４がサーキット１０６の所定地点に到達したとき、水柱や爆炎などのエフェクト画像を表示させるとしてもよい。あるいは、ラジコンカー１０４が故障したとき、仮想画像生成部２１８はラジコンカー１０４の周辺から発火するエフェクト画像を想定画像１６０に付与してもよい。この場合、ラジコンカー１０４は内部的なトラブルを検出したとき、もしくは図示しない衝撃センサ等が衝突や接触等を検出したとき、これら検出されたトラブル情報をサーバ２００に送信する。サーバ２００の仮想画像生成部２１８は、トラブル情報を受信したとき、発火に対応する仮想画像を生成し、これをユーザ端末１０２に送信してもよい。

サーバ２００は、音声を発生させる音声生成部（不図示）を備えてもよい。音声生成部は、所定の条件が成立したとき、ユーザ端末１０２に音声情報を提供し、ユーザ端末１０２の出力部１４２は提供された音声を出力してもよい。たとえば、複数のラジコンカー１０４が衝突したときには、音声生成部は衝撃音をユーザ端末１０２に提供してもよい。より具体的には、音声生成部は、複数のラジコンカー１０４の距離が所定値以内となったとき、衝撃音を各ユーザ端末１０２に提供してもよい。

仮想画像あるいは音声による演出量は変更可能であってもよい。たとえば、演出量の設定をＶ１、Ｖ２の二種類とする。Ｖ１設定のときにはＶ２設定のときよりも土煙１２２を大きく表示させるとしてもよい。サーバ２００の仮想画像生成部２１８は、各ユーザ端末１０２から設定値を取得しておき、設定値に合わせて提供すべき仮想画像を変更する。観戦者Ｐ１が設定Ｖ１を選択し、観戦者Ｐ２が設定Ｖ２を選択したとき、仮想画像生成部２１８は観戦者Ｐ２よりも観戦者Ｐ１の方により大きな土煙１２２（仮想画像）を提供すればよい。このような制御方法によれば、観戦者は仮想現実による派手な演出を楽しむこともできるし、演出を控え目にしてリアル・ゲームとしての現実性を重視して楽しむこともできる。

仮想画像は、ラジコンカー１０４に対応する車両領域１６２に重ねられてもよい。たとえば、仮想空間内の三次元オブジェクトにテクスチャを貼り付けるのと同様の方法により、ラジコンカー１０４の現実画像に仮想画像を合成してラジコンカー１０４を装飾してもよい。また、プレイヤの顔画像をあらかじめ撮像しておき、顔画像をラジコンカー１０４の運転席に対応する領域に合成してもよい。このような方法によれば、どのラジコンカー１０４をどのプレイヤが操作しているかが観戦者にわかりやすくなる。プレイヤに限らず、他の人物の顔画像を合成してもよいし、顔画像は現実画像ではなく仮想画像であってもよい。

仮想画像生成部２１８は、ラジコンカー１０４の現実画像を別の移動体の仮想画像に置換してもよい。たとえば、ラジコンカー１０４の画像領域である車両領域１６２をロボットや戦車、競走馬の仮想画像に変更してもよい。このような制御方法によれば、ラジコンカー１０４のレースであっても、たとえば、ＡＲ画像１２０においては競馬ゲームとして楽しむことができ、また、シューティングや対戦アクションなどのゲームとして楽しむこともできる。また、スポーツカー（現実物体）をトラック（仮想物体）に変更してもよい。この場合、ユーザ端末１０２からみたラジコンカー１０４の位置や向き、距離による大きさの変化等が刻一刻と変化するため、生成する仮想画像もエフェクト画像と同様に変化させる必要がある。このように、移動体を別種の仮想画像（仮想物体）に置換して表示させてもよく、その場合は、ラジコンカー１０４自体は、画像処理として検出や合成がしやすくなるよう装飾や塗装等のない簡素なものとしてもよい。

固定カメラ１９０によりユーザ端末１０２または観戦者を撮像し、移動体検出部２１４はその撮像画像に基づいてユーザ端末１０２の端末位置情報を取得してもよい。たとえば、観戦者Ｐ１の顔画像を撮像することにより、観戦者Ｐ１の位置を特定してもよい。移動体検出部２１４は、更に、観戦者Ｐ１が所有するユーザ端末１０２の傾斜角を撮像画像から検出してもよい。

観戦者は、自らの立ち位置を自己申告してもよい。たとえば、サーキット１０６の周辺に番号を記載したプレートを敷き詰めてもよい。観戦者は、任意の場所に立つとともに、自分が立っている場所のプレート番号を端末ＩＤとともに端末位置情報としてユーザ端末１０２からサーバ２００に送信する。このような制御方法によれば、サーバ２００の移動体検出部２１４は簡単にユーザ端末１０２の位置を特定できる。

ユーザ端末１０２により撮像される現実画像１１０またはユーザ端末１０２に表示されるＡＲ画像１２０は、他のモニタに表示されてもよい。たとえば、ゲームセンター内に大型モニタを設置してもよい。ユーザ端末１０２の画像転送部１５２は現実画像１１０またはＡＲ画像１２０をサーバ２００に送信し、サーバ２００の送信部２０８は現実画像１１０またはＡＲ画像１２０を大型モニタに転送してもよい。このような制御方法によれば、観戦者Ｐ１の視点を他の多くの観戦者で共有して楽しむことができる。いいかえれば、観戦者Ｐ１は、カメラマンとして現実画像１１０またはＡＲ画像１２０を他のユーザに提供できる。

また、携帯型のユーザ端末１０２に限らず、ゲームセンター内で固定された観戦カメラにより、サーキット１０６を撮像してもよい。観戦カメラの位置および撮像方向は、あらかじめサーバ２００に登録されればよい。観戦カメラは撮像画像（現実画像１１０）をサーバ２００に送信する。サーバ２００の仮想画像生成部２１８は、固定の観戦カメラの位置および撮像方向に基づいて仮想画像を生成する。この場合、サーバ２００がＡＲ画像表示部１４４を備えてもよい。サーバ２００のＡＲ画像表示部１４４は、観戦カメラから得られた現実画像１１０に仮想画像を合成することによりＡＲ画像１２０を生成し、これを大型モニタに表示させてもよい。

ユーザ端末１０２は望遠機能を備えてもよい。観戦者は、ユーザ端末１０２において撮像画像を拡大または縮小表示してもよい。ユーザ端末１０２は、拡大率をサーバ２００に送信する。サーバ２００の仮想画像生成部２１８は、拡大率に基づいて想定画像１６０を計算し、拡大率に応じて仮想画像の形状を変化させてもよい。このような制御方法によれば、サーキット１０６から離れた位置にいる観戦者であっても、望遠機能を利用してＡＲ画像１２０を楽しむことができる。

本実施形態においては、サーバ２００が移動体位置情報と端末位置情報を取得し、これらに基づいて仮想画像生成部２１８が想定画像１６０（ユーザ端末１０２に表示されると現実画像の想定画像）を生成し、この想定画像１６０に基づいて仮想画像を生成するとして説明した。仮想画像送信部２１２は、仮想画像をユーザ端末１０２に送信し、ユーザ端末１０２のＡＲ画像表示部１４４は実際の現実画像１１０に仮想画像を合成することにより、ＡＲ画像１２０を作成する。このほかにも、ＡＲ画像１２０の作成方法として以下の２種類の変形例を例示する。

（変形例Ａ１：サーバ２００がＡＲ画像１２０を生成する方式）
変形例Ａ１においては、ユーザ端末１０２ではなく、サーバ２００がＡＲ画像表示部１４４を含む。ユーザ端末１０２の画像転送部１５２は、定期的に撮像画像（現実画像１１０）を端末ＩＤとともにサーバ２００に送信する。サーバ２００は、ユーザ端末１０２から現実画像１１０の動画像をストリーミング方式にて受信する。

サーバ２００の仮想画像生成部２１８は、受信した現実画像１１０を画像認識することにより、外部領域１６８、路面領域１６６、車両領域１６２等の画像領域を特定する。すなわち、変形例Ａ１では、サーバ２００が想定画像１６０を生成するのではなく、ユーザ端末１０２から現実画像１１０を直接受信し、現実画像１１０を解析する。

次に、サーバ２００の仮想画像生成部２１８は、外部領域１６８等に合わせて仮想画像を生成する。サーバ２００のＡＲ画像表示部１４４は、現実画像１１０に観客１２８等の仮想画像を合成することにより、ＡＲ画像１２０を生成する。サーバ２００の送信部２０８は、生成したＡＲ画像１２０をユーザ端末１０２にストリーミング方式にて送信する。ユーザ端末１０２は、サーバ２００により生成されたＡＲ画像１２０をモニタに動画表示させる。

変形例Ａ１の場合、サーバ２００は端末位置情報および移動体位置情報を取得する必要はない。サーバ２００は、ユーザ端末１０２から送信される現実画像１１０を画像処理することにより、ＡＲ画像１２０を生成し、これをユーザ端末１０２に送り返すことで、観戦者はＡＲ画像１２０を楽しむことができる。変形例Ａ１の場合、サーキット１０６の外側に境界を示すマーク、たとえば、黄色い線をつけてもよい。このような準備をしておけば、仮想画像生成部２１８は、黄色い線の内側がサーキット１０６であり、外側が遮蔽領域１０８であることを画像認識しやすくなる。

（変形例Ａ２：ユーザ端末１０２がＡＲ画像１２０を生成する方式）
変形例Ａ２においては、ユーザ端末１０２において仮想画像を生成し、現実画像１１０に仮想画像を合成することでＡＲ画像１２０を生成する。いいかえれば、ユーザ端末１０２が自ら撮像した現実画像１１０に対して独自に仮想画像を付与することにより、ＡＲ画像１２０を生成する。

サーバ２００ではなく、ユーザ端末１０２が仮想画像生成部２１８を含む。ユーザ端末１０２の撮像部１４０は定期的に撮像画像（現実画像１１０）を取得する。ユーザ端末１０２の仮想画像生成部２１８は、現実画像１１０を画像認識することにより、外部領域１６８等の画像領域を特定する。ユーザ端末１０２の仮想画像生成部２１８は、次に、外部領域１６８等に合わせて仮想画像を生成する。ユーザ端末１０２のＡＲ画像表示部１４４は、現実画像１１０に観客１２８等の仮想画像を合成することにより、ＡＲ画像１２０を生成する。ＡＲ画像１２０は、ユーザ端末１０２にモニタに表示される。

変形例Ａ２ではサーバ２００を必要としない。ユーザ端末１０２に十分な画像処理能力があれば、通信処理をすることなく、ユーザ端末１０２のみでＡＲ画像１２０を生成できる。

本実施形態においては、複数のラジコンカー１０４によるレースゲームを想定したが、レースである必要はない。たとえば、１人のプレイヤが１台のラジコンカー１０４をだけを操作するタイムアタック方式の競技であってもよい。

１人のプレイヤが１台のラジコンカー１０４を操作し、仮想のラジコンカーと拡張現実空間内でレースを楽しんでもよい。プレイヤはＶＲゴーグルを装着し、現実物体としてのラジコンカー１０４を操作する。サーバ２００はゲーム制御部（不図示）を備え、サーキット１０６を想定した仮想空間において、いいかえれば現実座標系と重ねた仮想空間において仮想のラジコンカーを走行させる。サーバ２００は、この仮想ラジコンカーをＡＲ画像１２０としてユーザ端末１０２（ＶＲゴーグル）に表示させる。このような制御方法によれば、プレイヤは現実物体としてのラジコンカー１０４を操作することで、拡張現実空間を走行する仮想のラジコンカーとレースを楽しむことができる。

移動体は、ラジコンカー１０４以外にもさまざまなものが考えられる。たとえば、鉄道模型に対してＡＲ技術を応用してもよい。このときには、流れる雲、駅の喧騒などを仮想画像として提供してもよい。

クレーンゲームにＡＲ技術を応用してもよい。この場合、クレーンゲームにおけるクレーンを「移動体」としてもよい。クレーンゲームの場合、クレーンが景品を掴む瞬間や落とす瞬間に仮想画像を重ねてもよいし、クレーンの現実画像を人間の手の仮想画像に変更してもよい。

他人の視点から、ＡＲ画像１２０を楽しんでもよい。たとえば、観戦者Ｐ１のユーザ端末１０２におけるＡＲ画像１２０を他の観戦者Ｐ２のユーザ端末１０２に転送してもよい。観戦者Ｐ２は複数の観戦者からいずれかの観戦者を選択する。観戦者Ｐ２が観戦者Ｐ１を選択したとき、観戦者Ｐ１のＡＲ画像１２０はサーバ２００を経由して、観戦者Ｐ２のユーザ端末１０２に送信される。このような制御方法によれば、観戦者は自らの視点のＡＲ画像１２０ではなく、他の観戦者の視点のＡＲ画像１２０も楽しむことができる。このため、サーキット１０６のそばにいない観戦者であっても、近くにいるサーキット１０６と同様の迫力のあるＡＲ画像１２０を楽しむことができる。

サーキット１０６の周辺に複数の固定カメラを設けてもよい。そして、複数の固定カメラの視点それぞれについてＡＲ画像１２０を生成し、これをインターネット経由で配信してもよい。このような制御方法によれば、実際のレースゲームを複数の視点からのＡＲ画像１２０として演出し、ゲームセンターにいない多数の視聴者にレースゲームをＡＲでライブ中継してもよい。

ゲームセンターにジオラマ模型を設置し、ジオラマ模型内に怪獣を模したロボットを走行させてもよい。複数のプレイヤはＶＲゴーグルを装着する。ジオラマ模型（現実座標系）と重なるように仮想空間を設定し、仮想空間に複数の仮想のキャラクタを設定する。プレイヤはＶＲゴーグルを通して仮想のキャラクタを制御し、ＡＲ画像１２０に映るロボット（現実物体）を敵として戦ってもよい。このような制御方法によれば、仮想のキャラクタと実在のロボットの対戦を、ＡＲ画像１２０を通して楽しむことができる。

あるいは、ジオラマ模型の中心に現実物体として城を設置する。複数のプレイヤはＶＲゴーグルを装着すると、城に籠もる仮想の敵キャラクタを見ることができる。プレイヤは、城に現れる敵キャラクタをユーザ端末１０２からシューティングすることによりＡＲ空間における城攻めを楽しんでもよい。

サーキット１０６あるいはジオラマ模型の直上にプロジェクタ等の映像投影装置を設けてもよい。映像投影装置は、ジオラマ模型等に所定の映像を投影してもよい（プロジェクションマッピング）。たとえば、映像投影装置は、レースゲームであれば、ラジコンカー１０４がブレーキをかけた場所にスリップ痕の模様をサーキット１０６に直接投影してもよい。また、昼夜の設定に応じて、映像投影装置はジオラマ模型等に投影する光の量と色彩を変化させてもよい。このような制御方法によれば、ジオラマ模型やサーキットコース等の表面のディテールやエフェクト等の演出の一部については、端末位置情報や移動体位置情報に基づいて端末ごとに仮想画像を生成する必要がなくなる。また、ユーザ端末１０２を使わない観戦者も、映像投影装置による演出を楽しむことができる。

（付記）
上記実施形態に基づいて、下記の技術思想を定義可能である。
現実物体としての移動体を操作するゲームを対象として、現実空間における移動体の位置を検出する移動体検出部と、撮像機能を搭載したユーザ端末の現実空間における位置を検出する端末検出部と、移動体およびユーザ端末の位置関係に基づいて仮想画像を生成する仮想画像生成部と、仮想画像をユーザ端末に送信する仮想画像送信部と、を備えることを特徴とするサーバ。

１００ ゲームシステム、１０２ ユーザ端末、１０４ ラジコンカー、１０６ サーキット、１０８ 遮蔽領域、１１０ 現実画像、１２０ ＡＲ画像、１２２ 土煙、１２４ 火花、１２６ 柵、１２８ 観客、１３０ ユーザインタフェース処理部、１３２ データ処理部、１３４ データ格納部、１３６ 通信部、１３８ 入力部、１４０ 撮像部、１４２ 出力部、１４４ ＡＲ画像表示部、１４６ 角度検出部、１４８ 送信部、１５０ 受信部、１５２ 画像転送部、１５４ 画像受信部、１６０ 想定画像、１６２ 車両領域、１６２ａ 車両領域、１６２ｂ 車両領域、１６４ 内壁領域、１６６ 路面領域、１６８ 外部領域、１７０ａ 土煙領域、１７０ｂ 土煙領域、１８０ 火花領域、１８２ カメラ、１８４ マーカー、１９０ 固定カメラ、１９２ 実体マーク、１９４ モニタ、１９６ 影像マーク、１９８ａ 照準マーク、１９８ｂ 照準マーク、２００ サーバ、２０２ 通信部、２０４ データ処理部、２０６ データ格納部、２０８ 送信部、２１０ 受信部、２１２ 仮想画像送信部、２１４ 移動体検出部、２１６ 端末検出部、２１８ 仮想画像生成部、２２０ 固定カメラ

Claims (12)

1. 現実物体としての移動体を操作するゲームを対象として、
   現実空間における前記移動体の位置を検出する移動体検出部と、
   現実空間におけるユーザ端末の位置を検出する端末検出部と、
   前記移動体および前記ユーザ端末の位置関係に基づいて仮想画像を生成する仮想画像生成部と、
   前記ユーザ端末により撮像される現実画像に前記仮想画像を合成した拡張現実画像を表示させるＡＲ画像表示部と、を備えることを特徴とするゲームシステム。
2. 前記仮想画像生成部は、端末位置情報に基づいて前記ユーザ端末の所在地点を仮想三次元空間内の視点とした上で、当該仮想三次元空間に移動体位置情報を設定し、前記移動体の移動状況に応じて前記生成する仮想画像を変化させることを特徴とする請求項１に記載のゲームシステム。
3. 前記仮想画像生成部は、前記移動体の移動にともなう視覚的効果を示すエフェクト画像を仮想画像として生成することを特徴とする請求項２に記載のゲームシステム。
4. 前記ＡＲ画像表示部は、前記現実画像に含まれる前記移動体の画像領域を、前記移動体とは別種の移動体の仮想画像に置換することを特徴とする請求項１から３のいずれかに記載のゲームシステム。
5. 前記ＡＲ画像表示部は、前記現実画像に対して、観客を示す仮想画像を合成することを特徴とする請求項１から４のいずれかに記載のゲームシステム。
6. 現実空間において隠蔽領域をあらかじめ設定しておき、
   前記ＡＲ画像表示部は、前記現実画像のうち前記隠蔽領域に対応する画像領域を仮想画像により隠蔽することを特徴とする請求項１から５のいずれかに記載のゲームシステム。
7. 前記ゲームは、複数の移動体によるレースゲームであって、
   前記移動体検出部は、レース場にあらかじめ設置されるカメラにより、前記複数の移動体それぞれの位置を検出することを特徴とする請求項１から６のいずれかに記載のゲームシステム。
8. 前記端末検出部は、複数のユーザ端末それぞれの位置を検出し、
   前記仮想画像生成部は、前記複数のユーザ端末それぞれの位置に基づいて異なる複数の仮想画像を生成し、
   前記ＡＲ画像表示部は、前記複数のユーザ端末により撮像される複数の現実画像それぞれに、対応する仮想画像を合成することを特徴とする請求項１から７のいずれかに記載のゲームシステム。
9. 複数のユーザ端末の間で画像を転送する画像転送部、を更に備え、
   前記画像転送部は、第１のユーザ端末により撮像された現実画像に仮想画像を合成した拡張現実画像を、第２のユーザ端末が内蔵するモニタに表示させることを特徴とする請求項１から８のいずれかに記載のゲームシステム。
10. 現実物体としての移動体を操作するゲームを観戦するための装置として、
    撮像部と、
    撮像方向を検出する角度検出部と、
    サーバに、前記検出された撮像方向を送信する送信部と、
    前記サーバから、前記移動体の位置、自端末の位置および撮像方向に基づいて生成される仮想画像を受信する受信部と、
    前記撮像部により撮像される現実画像に前記仮想画像を合成して拡張現実画像を表示させる表示部と、を備えることを特徴とするユーザ端末。
11. 現実空間において展開されるゲームを対象として、
    現実空間において隠蔽領域をあらかじめ設定しておき、
    ユーザ端末により撮像される現実画像のうち前記隠蔽領域に対応する画像領域を仮想画像により隠蔽するＡＲ画像表示部と、を備えることを特徴とするゲームシステム。
12. 現実物体としての移動体を操作するゲームを対象として、
    現実空間における前記移動体の位置を検出する機能と、
    現実空間におけるユーザ端末の位置を検出する機能と、
    前記移動体および前記ユーザ端末の位置関係に基づいて仮想画像を生成する機能と、
    前記ユーザ端末により撮像される現実画像に前記仮想画像を合成した拡張現実画像を表示させる機能と、をコンピュータに発揮させることを特徴とするゲームプログラム。

Images