JP2020119584A - 仮想現実提供システム - Google Patents

Abstract

【課題】映像からアスリートのパフォーマンスを観戦するだけでなく、ユーザ自ら主役となれる新しい体験を得られる仮想現実提供システムを提供する。【解決手段】アスリートから放たれた飛体のトラッキングデータを取得するトラッキングデータ取得部と、取得したトラッキングデータを用いて、仮想空間に前記飛体に対応する仮想飛体の飛翔映像を表示するための３次元表示データを生成する３次元表示データ生成部と、３次元表示データを用いて、仮想空間に仮想飛体の飛翔映像を表示する少なくとも一以上の仮想空間提供システムと、集計部とを備える。集計部は、仮想空間提供システムから送信される仮想飛体の衝突結果及び飛翔結果を集計して集計結果を算出し、実アスリートの映像である放送映像又は配信映像に集計結果を表示するための編成装置に送信する。【選択図】図２０

Description

本発明は仮想現実提供システムに関する。

ユーザの頭部に装着され、眼前に配置されたディスプレイ等によってユーザに３次元仮想空間画像を提示可能なヘッドマウントディスプレイ（ＨＭＤ）が知られている。このヘッドマウントディスプレイを利用した練習支援システムが、特許文献１に記載されている。

特許文献１の練習支援システムは、練習者の頭部に装着され、練習者が扱う用具の仮想オブジェクトである仮想動作体を配置した仮想空間の３次元映像を提示する表示手段を有するＨＭＤと、練習者の頭部の位置姿勢を検出する頭部位置検出手段と、用具に取り付けられる角速度検出手段と、角速度検出手段によって取得された角速度データに基づいて仮想動作体の軌道データを算出する演算手段と、軌道データを記憶する記憶手段と、軌道データに基づいて仮想空間内での仮想動作体の軌道映像を生成し、頭部位置検出手段によって検出された練習者の頭部の位置姿勢に対応する仮想空間内の視点位置からの軌道映像を表示手段に提示させる画像生成手段とを備える。

特開２０１６−４７２１９号公報

国内のプロ野球中継やＪリーグ中継をはじめ、世界的なオリンピックやワールドカップ等、世界中の人々が家にいながらして、テレビやネットを通じたスポーツのライブ観戦を楽しんでいる。

しかし、ライブの映像は観戦のためのものであり、その映像に登場するアスリートのパフォーマンスを体感できるものではない。

そこで、本発明は、映像からアスリートのパフォーマンスを観戦するだけでなく、ユーザ自ら主役となれる新しい体験を得られる仮想現実提供システムを提供することにある。

本発明の一態様は、アスリートから放たれた飛体をトラッキングするセンサのセンサ情報から得られた前記飛体のトラッキングデータを取得するトラッキングデータ取得部と、取得したトラッキングデータを用いて、仮想空間に前記飛体に対応する仮想飛体の飛翔映像を表示するための３次元表示データを生成する３次元表示データ生成部と、前記３次元表示データを用いて、仮想空間に仮想飛体の飛翔映像を表示する少なくとも一以上の仮想空間提供システムと、前記３次元表示データを、前記少なくとも１以上の仮想空間提供システムに送信する送信部と、集計部と、を有し、前記仮想空間提供システムは、仮想空間を表示する表示部と、前記仮想飛体のオブジェクトデータと、ユーザが扱う用具に対応する仮想用具体のオブジェクトデータとを記憶する記憶部と、前記仮想飛体の３次元表示データを受信する受信部と、前記仮想空間における前記ユーザの位置及び前記ユーザの向きを検出する位置・向き検出部と、前記ユーザが操作する用具のトラッキングデータを取得する用具トラッキングデータ取得部と、前記用具のトラッキングデータに基づいて、表示される仮想空間に前記用具に対応する仮想用具体の軌道映像を表示するための３次元表示データを算出する第１の演算部と、前記仮想飛体の３次元表示データと前記仮想用具体の３次元表示データとに基づいて、前記仮想空間内で前記仮想飛体と前記仮想用具体との衝突に起因する前記仮想飛体の飛翔映像の３次元表示データを算出する第２の演算部と、前記仮想飛体及び前記仮想用具体の３次元表示データ、前記オブジェクトデータ及び前記ユーザの位置及び向きに基づいて、前記ユーザの位置姿勢に対応する前記仮想空間内の視点位置からの前記仮想飛体の飛翔映像、及び、前記仮想用具体の軌道映像を生成し、前記表示部に表示する第１の画像生成部と、前記仮想空間内で前記仮想飛体と前記仮想用具体との衝突に起因する前記仮想飛体の飛翔軌道の３次元表示データに基づいて、前記ユーザの位置姿勢に対応する前記仮想空間内の視点位置からの前記仮想飛体の飛翔映像を生成し、前記表示部に表示する第２の画像生成部と、前記仮想飛体と前記仮想用具体とが衝突したかの衝突結果と、前記仮想飛体の飛翔映像の３次元表示データから得られる前記仮想飛体の飛翔結果とを算出する第３の演算部と、前記衝突結果及び前記飛翔結果を、前記集計部に送信する送信部とを有し、前記集計部は、前記仮想空間提供システムから送信される前記衝突結果及び前記飛翔結果を集計して集計結果を算出し、前記実アスリートの映像である放送映像又は配信映像に前記集計結果を表示するための編成装置に送信する仮想現実提供システムである。

本発明によれば、映像からアスリートのパフォーマンスを観戦するだけでなく、ユーザ自ら主役となれる新しい体験を提供することができる。

図１は第１の実施の形態における仮想現実提供システムの概略構成図である。 図２はトラッキングデータの各パラメータの座標系を示す図である。 図３は変化量を説明するための図である。 図４はトラッキングデータのデータ構成を説明するための図である。 図５はコンピュータシステムによって構成された３次元表示データ生成サーバ３のブロック図である。 図６は３次元表示データのデータ構成を説明するための図である。 図７はヘッドマウントディスプレイシステム５のブロック図である。 図８は表示部５１１に表示される３次元映像の一例を示す図である。 図９は第１の実施の形態におけるトラッキングシステム２からヘッドマウントディスプレイシステム５５までの処理や情報の流れを示すシーケンス図である。 図１０は第１の実施の形態の変形例における仮想現実提供システムの概略構成図である。 図１１は、第１の実施の形態の変形例における放送設備７からヘッドマウントディスプレイシステム５までの処理や情報の流れを示すシーケンス図である。 図１２は第２の実施の形態における仮想現実提供システムの概略構成図である。 図１３はコンピュータシステムによって構成された配信データ生成サーバ１０のブロック図である。 図１４は第２の実施の形態におけるヘッドマウントディスプレイシステム５のブロック図である。 図１５は第２の実施の形態におけるライブ映像生成部９からヘッドマウントディスプレイシステム５までの処理や情報の流れを示すシーケンス図である。 図１６は第３の実施の形態におけるヘッドマウントディスプレイシステム５のブロック図である。 図１７は仮想ボールと仮想バットが衝突した場合の映像の一例を示す図である。 図１８は仮想ボールと仮想バットとの衝突後の仮想ボールの軌道映像の一例を示す図である。 図１９は複数の異なる仮想用具体の一例を示す図である。 図２０は第４の実施の形態における仮想現実提供システムの概略構成図である。 図２１はコンピュータシステムによって構成された集計サーバ１１のブロック図である。 図２２は仮想飛体がボールであり、仮想用具体がバットである場合の統計結果の画像の一例である。 図２３はライブ映像と統計画像とが合成された映像の一例を示す図である。 図２４は第５の実施の形態における仮想現実提供システムの概略構成図である。

（第１の実施の形態）
第１の実施の形態における仮想現実提供システムを、図面を参照しつつ説明する。図１は、第１の実施の形態における仮想現実提供システムの概略構成図である。

図１中、１はスタジアム等で試合を行っている現実のアスリート（実アスリート）であり、２はトラッキングシステムであり、３は３次元（３D）表示データ生成サーバであり、４は同報送信システムであり、５はヘッドマウントディスプレイシステム（仮想空間提供システム）であり、６はカメラであり、７は放送設備であり、８はテレビである。

尚、以下の実施の形態の説明では、仮想空間提供システムの例として、ヘッドマウントディスプレイシステムを例にして説明する。しかし、仮想空間提供システムは、ヘッドマウントディスプレイシステムに限られず、ユーザに３次元仮想空間を提示できるものであれば良い。例えば、左眼用と右眼用の映像を同時に撮影したものなどをスクリーンに表示し、ユーザが直線偏光フィルター方式や液晶シャッター方式等の眼鏡を装着して視聴することにより、仮想空間をユーザに提供するようなシステムであっても良い。

アスリート１は、プロ野球の試合のように、テレビ放送などによりライブ中継される状況下で、試合を行っているアスリートである。野球の試合は、カメラ６により撮影され、その試合の映像は放送設備７により放送され、テレビ８により視聴される。尚、本実施の形態では、野球の試合を例にするが、野球に限らず、テニス、卓球、ゴルフ、サッカー、格闘技（ボクシング、フェンシング）等でも良い。

トラッキングシステム２は、アスリート１や、アスリート１から放たれる飛体を追尾してデータ化するシステムである。ここで、飛体とは、アスリート１から投げられたり、蹴られたりして飛球するボールが代表的な例であるが、これに限られない。アスリート１の体の一部（例えば、ボクシングのパンチ）や、アスリート１が身に着けている用具（例えば、フェンシングの剣）でも良い。

トラッキングシステム２は、レーダ、カメラ等のセンサ２１と、センサ２１から得られたデータから、ピッチ上のアスリート１、ボール、審判のトラッキングデータを生成するトラッキングデータ生成部２２とを備える。このような、トラッキングシステム２の代表的な例として、TrackManや、PITCHf/x等のシステムが提供されている。尚、本実施の形態では、ピッチ上の全ての動体（アスリート１、審判等）のトラッキングデータは必要なく、トラッキングシステム２は、少なくもアスリート１から放たれる飛体（例えば、ボール）のトラッキングデータが生成できれば良い。

投手が投げるボールをトラッキングする場合、本実施の形態におけるトラッキングデータ生成部２２が生成するトラッキングデータの一例として、以下のパラメータがある。各パラメータの座標系は、図２に示す通り、ホームベースの所定位置を原点とし、捕手方向から投手方向を正面とし、捕手右方向をＸ方向（Ｘ軸）、捕手方向から投手方向をＹ方向（Ｙ軸）とし、高さ方向をＺ方向（Ｚ軸）とする座標系である。

（１）投手からボールが離れるリリースポイントの座標（リリースポイント座標）
（２）球速（初速）
（３）ホームベース上の所定の通過点の座標（実着弾点座標）
（４）リリースポイント付近から、ホームベース付近までの縦方向（Ｚ方向）及び横方向（Ｘ方向）の変化量
ここで、変化量は、図３に示すように、リリース時のベクトルは同じだが、無回転で、まったく変化しないボールのホームベース上の仮着弾点座標と、実際に投げられたボールの着弾点座標との縦方向及び横方向のそれぞれの差分である。

尚、トラッキングデータは、アスリート１、ボール等の動きを表す形式であれば、種類は問わない。また、トラッキングシステム２は、トラッキングデータを取得した取得時刻を、例えば、図４に示すように、トラッキングデータに含めておくことが好ましい。

３次元（３D）表示データ生成サーバ３は、ヘッドマウントディスプレイシステム５において、ボール等の飛体が仮想空間上の映像化された仮想飛体、実アスリート１が仮想空間上の映像化された仮想動体を表示するための３次元表示データ（３次元座標データ）を、トラッキングデータから生成するものである。

３次元表示データ生成サーバ３は、トラッキングデータ取得部３１と、３次元表示データ生成部３２とを備える。トラッキングデータ取得部３１は、トラッキングシステム２から提供されるトラッキングデータを取得する。３次元表示データ生成部３２は、ヘッドマウントディスプレイシステム５に、仮想のボール等の仮想飛体、仮想のアスリート１等の仮想動作体を表示するための３次元表示データを、トラッキングデータから生成する。尚、かならずしも、実アスリート１の仮想動体を表示するための３次元表示データは必要ではなく、少なくとも仮想飛体を表示するための３次元表示データが生成できれば良い。

３次元表示データ生成サーバ３は、具体的には、各種の演算処理等を行うプロセッサを有するコンピュータシステム（情報処理装置）によって実現することができる。図５はコンピュータシステムによって構成された３次元表示データ生成サーバ３のブロック図である。

３次元表示データ生成サーバ３は、プロセッサ３００、メモリ（ＲＯＭやＲＡＭ）３０１、記憶装置（ハードディスク、半導体ディスクなど）３０２、入力装置（キーボード、マウス、タッチパネルなど）３０３、表示装置３０４、通信装置３０５などのハードウェア資源を有する汎用のコンピュータにより構成することができる。

３次元表示データ生成サーバ３は、記憶装置３０２に格納されたプログラムがメモリ３０１にロードされ、プロセッサ３００により実行されることにより、トラッキングデータ取得処理と、３次元表示データ生成処理が実現されるものである。尚、トラッキングデータ取得処理はトラッキングデータ取得部３１に対応し、３次元表示データ生成処理は３次元表示データ生成部３２に対応する。

トラッキングデータ取得処理は、トラッキングシステム２から提供されるトラッキングデータを取得する処理である。

３次元表示データ生成処理は、ヘッドマウントディスプレイシステム５に、仮想飛体（本例では仮想ボール）、仮想のアスリート等の仮想動作体（本例では仮想アスリート）を表示するための３次元表示データを、トラッキングデータから生成する。具体的には、トラッキングデータが、投球の変化量や打球角度、フィールド上のアスリート、打球、送球の動きに関するデータである場合、これらのデータを、ヘッドマウントディスプレイシステム５が仮想ボールや仮想アスリートを表示するために必要な３次元表示データに変換する処理である。

ここで、３次元表示データは、トラッキングデータを、ヘッドマウントディスプレイシステム５が処理可能なデータ形式に変換したデータも含む概念である。従って、３次元表示データ生成処理は、トラッキングデータを、ヘッドマウントディスプレイシステム５が処理可能なデータ形式に変換するだけの処理でも良いし、トラッキングデータから仮想飛体等の軌道データまでを生成する処理でも良い。

次に、仮想飛体が投手から投げられたボールである場合、ヘッドマウントディスプレイシステム５が、実ボールのトラッキングデータから、その実ボールに対応する仮想ボール（仮想飛体）を再現表示するに必要な３次元表示データの生成の一例を説明する。

ヘッドマウントディスプレイシステム５が仮想ボール（仮想飛体）の飛翔映像を再現表示するためには、以下の4つの要素が定まっていれば、仮想ボール（仮想飛体）の飛翔映像を再現表示できる。

（１）リリースポイント座標
リリースポイント座標は、トラッキングデータから取得できる。尚、リリースポイント座標は、ヘッドマウントディスプレイシステム５に表示される投手の仮想動体の投球モーションに合わせるので、厳密な座標値でなくても良い。

（２）ヘッドマウントディスプレイシステム５の表示フレーム毎に加算される加速度（ボールの曲がる力）
加速度は、トラッキングデータから取得した変化量を、ヘッドマウントディスプレイシステム５の表示フレームレートで除算することにより得ることが出来る。

（３）ボールへの空気抵抗
ボールへの空気抵抗は、初速に対して終速（実着弾点座標付記の速度）が９０％−９２％となるように設定する。

（４）初速ベクトル
初速ベクトルのうち、投手からホームベースのＹ方向のベクトルは、トラッキングデータから取得した初速から求めることができる。しかし、投手からみて、Ｘ方向及びＺ方向のベクトルは、トラッキングデータから取得できない。一方、初速ベクトルのうち、Ｘ方向及びＺ方向のベクトルなくても、実着弾点は異なるが、まったく同じスピード、変化量の投球をシミュレートできる。そこで、初速ベクトルのＸ方向及びＺ方向のベクトルの値を少しずつ変更しながら、ボールの着弾点が本来の実着弾点に近づくようにする。ボールの着弾点が実着弾点に最も近い時のＸ方向及びＺ方向のベクトルを、Ｘ方向及びＺ方向のベクトルとして採用する。

３次元表示データ生成処理は、これらの４つの要素を、３次元表示データとして生成する。

また、３次元表示データ生成処理において、例えば、図６に示すように、放送設備７により放送されるアスリート１の試合の映像の所定映像区間に同期して、ヘッドマウントディスプレイシステム５が仮想ボール（仮想飛体）の飛翔映像を表示するタイミングに関するタイミンク情報を、生成した３次元表示データに含めておく。

タイミング情報は、所定映像区間の時間がわかるものであれば種類は問わないが、時刻情報や、アスリート１の試合の映像のタイムコード等がある。また、所定映像区間とは、例えば、解説者が仮想ボール（仮想飛体）の飛翔映像の体験をできる旨の告知している区間や、放送映像上に仮想ボール（仮想飛体）の飛翔映像の体験をできる旨の告知を表示している区間等があるが、これに限られない。また、映像区間は、ラジオ放送のような音声だけも含む概念である。尚、所定映像区間の取得は、３次元表示データ生成サーバ３が予め定められた映像区間を記憶しておいても良いし、適時、放送設備７から受け取っても良い。

このようなタイミング情報を用いれば、例えば、Ａ投手が決め球を投げたシーン（映像区間）の後に、Ａ投手の決め球を体験できる旨の告知を表示している映像区間中に、Ａ投手が投げた決め球の仮想ボール（仮想飛体）の飛翔映像を、ヘッドマウントディスプレイシステム５で再現できる。このようにすることにより、テレビ中継等との連携を行うことができる。

尚、タイミング情報は、アスリート１が実際に放った飛体のトラッキングデータを特定する必要がある。このトラッキングデータの特定は、トラッキングデータに含まれているトラッキングデータの取得時刻を用いることにより可能である。

また、他の方法として、図６に示すように、タイミング情報の代わりに、３次元表示データに、３次元表示データを一意に識別できる３次元表示データ識別情報を含めて、ヘッドマウントディスプレイシステム５に送信するようにしても良い。ここで、３次元表示データ識別情報は、各々の３次元表示データを個別に識別できるものであれば良く、上述したトラッキングデータの取得時刻や、３次元表示データを一意に識別する識別子等がある。

３次元表示データに３次元表示データ識別情報を含める場合には、３次元表示データ識別情報を含む３次元表示データを配信後、仮想ボール（仮想飛体）の飛翔映像をヘッドマウントディスプレイシステム５に表示するタイミングで、３次元表示データ生成サーバ３、又は、同報送信システム４から、仮想現実を実行する際に用いられる３次元表示データを識別する３次元表示データ識別情報を含む実行情報を送信するようにする。ヘッドマウントディスプレイシステム５では、実行情報を受信し、その中に含まれる３次元表示データ識別情報で特定される３次元表示データを用いて、仮想ボール（仮想飛体）の飛翔映像をヘッドマウントディスプレイシステム５に表示する。

このようにすることにより、３次元表示データにタイミング情報を含める場合と同様に、テレビ中継等との連携を行うことができる。

３次元表示データは、同報送信システム４を介して、少なくとも１以上のヘッドマウントディスプレイシステム５に送信される。

更に、３次元表示データ生成サーバ３は、３次元表示データの生成のみならず、試合のテレビ映像のうち音声のみを取得し、３次元表示データともに送信するようにしても良い。このとき、上述したトラッキングデータの取得時刻と、音声データとが同期するように、音声データにも時刻情報を付与しておく。このようにすれば、後述するように、ヘッドマウントディスプレイシステム５において、仮想空間の映像が表示される際、スタジアムで実際に発せられた生の音声が出力され、より臨場感のある仮想空間を実現することができる。

３次元表示データ生成サーバ３は、一台のコンピュータにより構成してもよいし、複数台のコンピュータによる分散コンピューティングにより構成してもよい。また、処理の高速化のため、３次元表示データ生成サーバ３の機能の一部または全部を専用のハードウェア（例えばＧＰＵやＦＰＧＡ、ＡＳＩＣなど）を用いて実現することも可能である。

同報送信システム４は、ネットワークに接続される複数のヘッドマウントディスプレイシステム５に、３次元表示データを同報送信するシステムである。同報送信システム４の例としては、コンテンツデリバリネットワーク（Content Delivery Network: CDN）がある。

同報送信システム４は、好ましくは、先に述べた試合のテレビ放送の映像中継と同期したリアルタイム性を持って、３次元表示データを同報送信する。実現方法のひとつとしては、３次元表示データに含まれているトラッキングデータの取得時刻と、テレビ映像側のタイムコードとを参照することにより、テレビ映像に追従した状態で、３次元表示データを同報送信することができる。

ヘッドマウントディスプレイ（頭部装着ディスプレイ: Head Mounted Display、HMD）システム５は、装着したユーザに対して奥行きを持った３次元映像を表示することが可能な表示部を有するものである。そして、後述する演算処理や画像生成処理によって生成される各種の仮想オブジェクト等が配置された仮想空間の３次元映像を表示部に表示できるように構成されている。ヘッドマウントディスプレイは、ユーザの頭部に装着されることにより、ユーザの両眼を覆うように表示部が配置される。表示部は、視差のある画像を左右の画像表示面にそれぞれ表示することによって３次元映像がユーザに対して表示される。これにより、ヘッドマウントディスプレイを頭部に装着したユーザは、現実に近い感覚を仮想空間内の３次元映像として体験することができる。

図７は、ヘッドマウントディスプレイシステム５のブロック図である。

ヘッドマウントディスプレイシステム５は、ヘッドマウントディスプレイ５１と、コンピュータ５２とを備える。

ヘッドマウントディスプレイ５１は、仮想空間の映像が表示される表示部５１１と、頭部位置検出センサ５１２と、スピーカ５１３とを備える。

頭部位置検出センサ５１２は、ユーザの頭部の絶対座標系におけるユーザの頭部の位置及び姿勢を検出し、その検出信号をコンピュータ５２へと出力するように構成されている。頭部位置検出センサ５１２は、ヘッドマウントディスプレイ５１と一体として設けられているので、ヘッドマウントディスプレイ５１がユーザの頭部に装着されることによって、ユーザの頭部の動きを追跡して位置及び姿勢を検出することができる。そして、その検出結果を、ヘッドマウントディスプレイ５１の表示部５１１が表示する仮想空間の３次元映像にフィードバックすることにより、ユーザの頭部の動きに応じた視点位置から見た３次元映像を提示することができる。

スピーカ５１３は、ユーザに対して音声を出力するものであって、例えば、仮想空間内の状況に応じた音声をユーザに出力する。尚、ユーザに音声を伝える手段は、スピーカ５１３に限定されるものではなく、例えば、イヤホーン等の他の音声出力手段であっても良い。

このような機能を備えるヘッドマウントディスプレイ５１としては、例えば、エイチティーシー(HTC) Viveや、Oculus VR社のOculus Rift等がある。尚、頭部位置検出センサ５１２は、ヘッドマウントディスプレイ５１とは別に設けて、ユーザの頭部に装着するように構成しても良い。

コンピュータ５２は、ヘッドマウントディスプレイ５１の表示部５１１に表示する映像等の生成や各種の演算処理等を行うためのものである。コンピュータ５２は、プロセッサ５２０、メモリ（ＲＯＭやＲＡＭ）５２１、記憶装置（ハードディスク、半導体ディスクなど）５２２、入力装置（キーボード、マウス、タッチパネルなど）５２３、表示装置５２４、通信装置５２５などのハードウェア資源を有する汎用のコンピュータにより構成することができる。

記憶装置５２２には、ヘッドマウントディスプレイ５１の表示部５１１に表示する映像等の生成や各種の演算処理等を行うための処理プログラム等が格納されている。更に、アスリート１の仮想空間内での仮想アスリート（仮想動体）、仮想アスリートから放たれる仮想ボール（仮想飛体）、背景となる仮想ホームベース等を、プロセッサ５２０によって生成するための各種のオブジェクトデータが格納されている。

そして、記憶装置５２２に格納されたプログラム、オブジェクトデータ、受信した３次元表示データがメモリ５２１にロードされ、プロセッサ５２０が、プログラムに基づいて、ヘッドマウントディスプレイ５１の表示部５１１表示する仮想空間の映像等の生成を行う。

プロセッサ５２０は、プログラムに基づいて、画像生成処理を行う。画像生成処理は、公知のコンピュータグラフィックス技術により、仮想アスリート（仮想動体）から放たれる仮想ボール（仮想飛体）の３次元表示データと、頭部位置検出センサ５１２が検出したユーザの頭部の位置及び姿勢と、仮想アスリート（仮想動体）及び仮想ボール（仮想飛体）等の各種のオブジェクトデータとを用いて、仮想アスリートの動作及び仮想ボールの飛翔映像の３次元映像を順次生成して、表示部５１１に表示する。このとき、３次元表示データにタイミング情報が含まれている場合には、画像生成処理は、タイミング情報に含まれている時刻情報や映像のタイムコードにより表示可能期間を特定し、その期間のみ、仮想ボールの飛翔映像等の３次元映像を表示する。

例えば、Ａ投手の決め球を体験できる旨の告知を表示している放送映像区間中に、仮想動体である投手の投球動作をオブジェクトデータから表示部５１１に表示し、仮想動体である投手から投げられる仮想ボール（仮想飛体）の飛翔映像を、リリースポイント座標、加速度（ボールの曲がる力）、ボールへの空気抵抗、初速ベクトルを含む３次元表示データを用いて、表示部５１１に表示する。図８は表示部５１１に表示される３次元映像の一例を示す図である。図８に示す３次元映像では、ユーザの位置姿勢に対応する仮想空間内の視点位置から見た仮想投手、仮想ボールの飛翔映像、仮想のスタジアム等が表示されている。

また、３次元表示データに３次元表示データ識別情報が含まれており、配信される実行情報により、仮想ボールの飛翔映像等の３次元映像を表示する場合、実行情報の受信に応答して、実行情報に含まれる３次元表示データ識別情報で特定される３次元表示データを用いて、仮想ボールの飛翔映像等の３次元映像を表示する処理を開始する。

上述したヘッドマウントディスプレイシステム５は、一例であり、これに限られない。例えば、ヘッドマウントディスプレイには、コンピュータグラフィックス等で作り出される仮想空間のみが表示されるVirtual Reality（ＶＲ）型のヘッドマウントディスプレイと、現実空間（例えば、光学的に透過されて表示される現実空間）と仮想空間とがリアルタイムで表示されるMixed Reality（ＭＲ）型のヘッドマウントディスプレイがあるが、本発明は、いずれのヘッドマウントディスプレイにも適用することができる。尚、ＭＲ型のヘッドマウントディスプレイには、例えば、Microsoft社のHoloLensがある。

また、上述したヘッドマウントディスプレイシステム５では、ヘッドマウントディスプレイ５１とコンピュータ５２とが物理的に別の筐体で構成される例を説明したが、これに限られない。ヘッドマウントディスプレイ５１とコンピュータ５２とが一体となって、ヘッドマウントディスプレイシステム５が構成されても良い。ヘッドマウントディスプレイ５１とコンピュータ５２とが一体となったヘッドマウントディスプレイシステム５の例には、上述したMicrosoft社のHoloLensがある。

更に、ヘッドマウントディスプレイシステム５は専用のヘッドマウントディスプレイシステムでなくても良い。例えば、ゴーグル型のヘッドセットにスマートフォンを装着して使用すれば、ヘッドマウントディスプレイと同様な機能を実現することができる。このような例としては、Samsung社のGalaxy Gear VR等がある。

次に、本実施の形態の動作を説明する。図９は、第１の実施の形態におけるトラッキングシステム２からヘッドマウントディスプレイシステム５までの処理や情報の流れを示すシーケンス図である。

まず、トラッキングシステム２は、中継されている試合のピッチ上のアスリート１（投手）から投げられるボールをリアルタイムに、レーダ、カメラ等でセンシングする。尚、ピッチ上のアスリート１、審判等も、リアルタイムに、レーダ、カメラ等でセンシングしても良い（Ｓｔｅｐ１）。センシングしたデータから少なくとも、アスリート１（投手）から投げられるボールのトラッキングデータを生成する。尚、ピッチ上のアスリート１、審判等のトラッキングデータも生成しても良い（Ｓｔｅｐ２）。このとき、トラッキングデータの時刻情報も取得する。そして、時刻情報を含むトラッキングデータは、３次元表示データ生成サーバ３に送信される。

３次元表示データ生成サーバ３は、トラッキングデータを取得する（Ｓｔｅｐ３）。３次元表示データ生成サーバ３は、取得したトラッキングデータに基づいて、ヘッドマウントディスプレイシステム５に仮想ボールの飛翔映像を表示するための３次元表示データを生成する。仮想アスリートを表示するための３次元表示データも生成しても良い（Ｓｔｅｐ４）。このとき、トラッキングデータの取得時刻に用いて、仮想ボールの飛翔映像を表示するタイミング情報を３次元表示データに含めておく。更に、トラッキングデータの取得時刻を、生成した３次元表示データに含めておいても良い。そして、３次元表示データを、同報送信システム４に送信する。

同報送信システム４は、受信した３次元表示データを、ネットワークに接続される複数のヘッドマウントディスプレイシステム５に同報送信する（Ｓｔｅｐ５）。３次元表示データの同報送信は、３次元表示データにトラッキングデータの取得時刻が含まれている場合、テレビ中継される映像のタイムコードの情報に近い順に行う。このようにすることにより、試合のテレビ中継に追従した形で３次元表示データを同報送信することができ、リアルタイム性をある程度保つことができる。

ヘッドマウントディスプレイシステム５は、３次元表示データを受信する（Ｓｔｅｐ６）。

ヘッドマウントディスプレイシステム５は、３次元表示データにタイミング情報が含まれている場合には、タイミング情報に含まれている時刻情報や映像のタイムコードにより表示可能期間を特定し、その期間に、装着しているユーザの頭部の動きに応じた視点位置から見た仮想ボールの３次元映像（飛翔映像）を表示する（Ｓｔｅｐ７）。また、ヘッドマウントディスプレイシステム５は、３次元表示データに３次元表示データ識別情報が含まれている場合には、３次元表示データ識別情報を含んだ実行情報を受信したタイミングで、装着しているユーザの頭部の動きに応じた視点位置から見た仮想ボールの３次元映像（飛翔映像）を表示する（Ｓｔｅｐ７）。このとき、仮想ボールを投げる仮想投手（仮想アスリート）は、ヘッドマウントディスプレイシステム５に予め格納されている仮想投手のオブジェクトデータを用いても表示しても良いし、３次元表示データに実投手の表示データが格納されている場合には、それを用いて仮想投手を表示するようにしても良い。

第１の実施の形態は、配信されるスポーツ等の試合の映像等とある程度の同期性を保ちつつ、アスリート、ボール等の動きの情報を、ヘッドマウントディスプレイシステムに同報送信する。これにより、ユーザは、映像からアスリートのパフォーマンスを観戦するだけでなく、ヘッドマウントディスプレイシステムを用いることにより、ユーザの自由な視点で、アスリートのパフォーマンスを体験することができる。

尚、かならずしも全てのトラッキングデータの３次元表示データを生成して送る必要はない。体感できる場面は限られるが、限られたアスリート（例えば、投手のみ）や飛体（例えば、投手から投げられたボールのみ）の３次元表示データのみ生成して同報送信するようにしても良い。同様に、試合の全時間を通してトラッキングデータの３次元表示データを生成して送る必要はない。試合の一部の時間のトラッキングデータの３次元表示データを生成し、その時間だけ、３次元表示データを生成して同報送信するようにしても良い。

（第１の実施の形態の変形例）
第１の実施の形態の変形例を説明する。第１の実施の形態の変形例は、３次元表示データを送信する手段として、ハイブリッドキャストを用いる例を説明する。図１０は第１の実施の形態の変形例における仮想現実提供システムの概略構成図である。

ヘッドマウントディスプレイシステム５及びテレビ８がハイブリッドキャスト規格に対応している場合、ヘッドマウントディスプレイシステム５は、ハイブリッドキャスト規格でテレビ８に接続しておく。放送番組がハイブリッドキャストを用いた番組連動型の放送である場合、同報送信システム４はハイブリッドキャストサーバとして機能する。そして、放送局から指定される指定タイミングに先立ち、同報送信システム４は、３次元表示データ生成サーバ３から取得した仮想飛体（仮想ボール）等の３次元表示データに、３次元表示データを一意に識別できる３次元表示データ識別情報を含めて、ヘッドマウントディスプレイシステム５に送信する。ここで、３次元表示データ識別情報は、各々の３次元表示データを個別に識別できるものであれば良く、上述したトラッキングデータの取得時刻や、３次元表示データを個別に識別する識別子がある。

放送設備７は、ヘッドマウントディスプレイシステム５において仮想現実を実行するタイミングで、仮想現実を実行する際に用いられる３次元表示データを識別する３次元表示データ識別情報が格納されたイベントメッセージを放送する。ここで、３次元表示データ識別情報は、例えば、上述したトラッキングデータの取得時刻や、３次元表示データを個別に識別する識別子である。

テレビ８では、放送設備７から放送されたイベントメッセージを検出して解析し、そのイベントメッセージに格納されている３次元表示データ識別情報を、ヘッドマウントディスプレイシステム５に送信する。ヘッドマウントディスプレイシステム５の画像生成処理部５２０は、受信している３次元表示データのうち、テレビ８から送信された３次元表示データ識別情報を持つ３次元表示データを用いて、上述した第１の実施の形態と同様に、仮想アスリートの動作及び仮想ボールの飛翔映像の３次元映像を順次生成して、表示部５１１に表示する。

次に、第１の実施の形態の変形例の動作を説明する。図１１は、第１の実施の形態の変形例における放送設備７からヘッドマウントディスプレイシステム５までの処理や情報の流れを示すシーケンス図である。

まず、放送設備７は、中継されている試合のライブ映像を放送する（Ｓｔｅｐ１）。

テレビ８では、放送波を受信し、ライブ映像を表示する（Ｓｔｅｐ２）。

一方、トラッキングシステム２は、中継されている試合のピッチ上のピッチ上のアスリート１（投手）から投げられるボールをリアルタイムに、レーダ、カメラ等でセンシングする。尚、ピッチ上のアスリート１、審判等も、リアルタイムに、レーダ、カメラ等でセンシングしても良い（Ｓｔｅｐ３）。センシングしたデータから少なくとも、アスリート１（投手）から投げられるボールのトラッキングデータを生成する。尚、ピッチ上のアスリート１、審判等のトラッキングデータも生成しても良い（Ｓｔｅｐ４）。そして、トラッキングデータは、３次元表示データ生成サーバ３に送信される。

３次元表示データ生成サーバ３は、トラッキングデータを取得する（Ｓｔｅｐ５）。３次元表示データ生成サーバ３は、取得したトラッキングデータに基づいて、ヘッドマウントディスプレイシステム５に仮想ボールの飛翔映像を表示するための３次元表示データを生成する（Ｓｔｅｐ６）。尚、仮想アスリートを表示するための３次元表示データも生成しても良い（Ｓｔｅｐ４）。このとき、３次元表示データを識別する３次元表示データ識別子を、生成した３次元表示データに含めておく。そして、３次元表示データを、同報送信システム４に送信する。尚、ここで用いられる３次元表示データ識別子は、予め放送設備７との間で、共有されている３次元表示データ識別子である。

同報送信システム４は、受信した３次元表示データを、ハイブリットキャストを利用してヘッドマウントディスプレイシステム５に送信する（Ｓｔｅｐ７）。

ヘッドマウントディスプレイシステム５は、３次元表示データを受信する（Ｓｔｅｐ８）。

放送設備７は、ヘッドマウントディスプレイシステム５において仮想現実を実行するタイミングで、３次元表示データ識別子が格納されたイベントメッセージを放送する（Ｓｔｅｐ９）。

テレビ８は、放送設備７から放送されたイベントメッセージを検出し、そのイベントメッセージを解析し、３次元表示データ識別子をヘッドマウントディスプレイシステム５に送信する（Ｓｔｅｐ１０）。

ヘッドマウントディスプレイシステム５は、テレビ８から受信した３次元表示データ識別子と、受信している３次元表示データの３次元表示データ識別子とを照合する（Ｓｔｅｐ１１）。そして、テレビ８から受信した３次元表示データ識別子を持つ３次元表示データを用いて、装着しているユーザの頭部の動きに応じた視点位置から見た仮想ボールの３次元映像（飛翔映像）を表示する（Ｓｔｅｐ１２）。このとき、仮想ボールを投げるか仮想投手（仮想アスリート）は、ヘッドマウントディスプレイシステム５に予め格納されている仮想投手のオブジェクトデータを用いても表示しても良いし、３次元表示データに実投手の表示データが格納されている場合には、それを用いて仮想投手を表示するようにしても良い。

尚、第１の実施の形態と同様に、かならずしも全てのトラッキングデータの３次元表示データを生成して送る必要はない。体感できる場面は限られるが、限られたアスリート（例えば、投手のみ）や飛体（例えば、投手から投げられたボールのみ）の３次元表示データのみ生成して同報送信するようにしても良い。同様に、試合の全時間を通してトラッキングデータの３次元表示データを生成して送る必要はない。放送局側で、予め定めた選手、試合の一部の時間のトラッキングデータの３次元表示データを生成し、その選手や時間だけ、３次元表示データを生成して同報送信し、放送局側はそれ対応した３次元表示データ識別情報を含むイベントメッセージを放送するようにしても良い。

このような構成にすることにより、番組連動型のサービスとして、放送局側からヘッドマウントディスプレイシステム５に仮想現実を実行するタイミングを指定することができ、放送されるスポーツ等の試合の番組映像と連動した仮想現実をヘッドマウントディスプレイシステム５で提供することができる。

（第２の実施の形態）
第２の実施の形態は、コンテンツデリバリネットワーク(content delivery network、CDN)等を用いて、ライブ配信される試合の映像とともに、トラッキングデータの３次元表示データを送信する例を説明する。図１２は第２の実施の形態における仮想現実提供システムの概略構成図である。

第２の実施の形態では、第１の実施の形態と比較して、カメラ６により撮影された野球の試合の映像は、テレビ放送ではなく、コンテンツデリバリネットワークシステムにより、タブレットやスマートフォン等の端末に同報送信される。第２の実施の形態では、３次元表示データを、送信される試合の映像データとともに送信する点が第１の実施の形態と異なる。

第２の実施の形態では、試合のライブ映像の映像データを生成するライブ映像生成部９と、３次元表示データを、試合のライブ映像の映像データに含めて配信データを生成する配信データ生成サーバ１０とが設けられる。尚、第１の実施の形態と同様な構成のものについては、同じ符号を付する。

配信データ生成サーバ１０は、具体的には、各種の演算処理等を行うプロセッサを有するコンピュータシステムによって実現することができる。図１３はコンピュータシステムによって構成された配信データ生成サーバ１０のブロック図である。

配信データ生成サーバ１０は、プロセッサ１００、メモリ（ＲＯＭやＲＡＭ）１０１、記憶装置（ハードディスク、半導体ディスクなど）１０２、入力装置（キーボード、マウス、タッチパネルなど）１０３、表示装置１０４、通信装置１０５などのハードウェア資源を有する汎用のコンピュータにより構成することができる。

配信データ生成サーバ１０は、記憶装置１０２に格納されたプログラムがメモリ１０１にロードされ、プロセッサ１００により実行されることにより、配信データ生成処理が実現されるものである。

プロセッサ１００は、ライブの映像データと３次元表示データとを受信する受信処理と、配信データを生成する配信データ生成処理を行う。

配信データ生成処理は、ライブの映像データと３次元表示データとを、ヘッドマウントディスプレイシステム５側で分離できる形式で配信データを生成する。例えば、映像データのパケットのヘッダに、映像データであることを識別する識別子を付与し、３次元表示データのパケットのヘッダに、３次元表示データであることを識別する識別子を付与して、配信データを生成する。ヘッドマウントディスプレイシステム５側では、その識別子により、映像データと３次元表示データとを分離することができる。また、映像データの各パケットのペイロードのうち、映像データ以外のデータを含めることができるフィールドがある場合には、そのフィールドに、３次元表示データを識別できる形式で挿入するようにしても良い。

更に、配信データ生成処理は、映像データのタイムコードと３次元表示データに含まれているトラッキングデータの取得時刻とを参照し、互いにデータが同期するように、配信データを生成する。例えば、映像データの各パケットのペイロードのうち、映像データ以外のデータを含めることができるフィールドがある場合には、そのパケットのタイムコードと同一のトラッキングデータの取得時刻を持つ３次元表示データをそのフィールドに挿入する。この例はあくまで一例であり、他の方法でも良い。

配信データ生成サーバ１０は、生成した配信データを、同報送信システム４に送信する。

同報送信システム４は、ヘッドマウントディスプレイシステム５及び映像を鑑賞するタブレットやスマートフォンに同報送信する。

図１４は第２の実施の形態におけるヘッドマウントディスプレイシステム５のブロック図である。

ヘッドマウントディスプレイシステム５では、プロセッサ５２０により、予め定められた分離方法によって、映像データと３次元表示データとを分離するデータ分離処理を行う。具体的には、パケットに各データの種類を識別する識別子が付与されている場合には、その識別子に基づいて、映像データと３次元表示データとを分離する。また、映像データの各パケットのペイロードに識別子と共に３次元表示データが含まれている場合には、その識別子に基づいて、映像データと３次元表示データとを分離する。

画像生成処理は、第１の実施の形態と同様に、仮想空間の３次元映像を表示部に表示する。

尚、ヘッドマウントディスプレイシステム５が、配信される映像データも視聴可能なシステムである場合、ユーザの選択により、ライブ映像又は仮想空間の３次元映像のいずれかを選択できるようにしても良い。

次に、本実施の形態の動作を説明する。図１５は、第２の実施の形態におけるライブ映像生成部９からヘッドマウントディスプレイシステム５までの処理や情報の流れを示すシーケンス図である。尚、第１の実施の形態と同様な動作については、同じステップ番号を付与した。

まず、ライブ映像生成部９は、中継されている試合の映像データを生成する（Ｓｔｅｐ１）。生成された映像データは、配信データ生成サーバ１０に送信される。

トラッキングシステム２では、中継されている試合のピッチ上のアスリート１（投手）から投げられるボールをリアルタイムに、レーダ、カメラ等でセンシングする。尚、ピッチ上のアスリート１、審判等を、リアルタイムに、レーダ、カメラ等でセンシングしても良い（Ｓｔｅｐ１）。センシングしたデータから少なくとも、アスリート１（投手）から投げられるボールのトラッキングデータを生成する。尚、ピッチ上のアスリート１、審判等のトラッキングデータも生成しても良い（Ｓｔｅｐ２）。このとき、トラッキングデータの時刻情報も取得する。そして、時刻情報を含むトラッキングデータは、３次元表示データ生成サーバ３に送信される。

３次元表示データ生成サーバ３は、トラッキングデータを取得する（Ｓｔｅｐ３）。３次元表示データ生成サーバ３は、取得したトラッキングデータに基づいて、ヘッドマウントディスプレイシステム５に仮想ボールの飛翔映像を表示するための３次元表示データを生成する（Ｓｔｅｐ４）。尚、仮想アスリートを表示するための３次元表示データも生成しても良いこのとき、トラッキングデータの取得時刻を、生成した３次元表示データに含めておく。そして、３次元表示データを、配信データ生成サーバ１０に送信する。

配信データ生成サーバ１０は、３次元表示データを、試合のライブ映像の映像データに含めて配信データを生成する（Ｓｔｅｐ１１）。生成された配信データは、同報送信システム４に送信される。

同報送信システム４は、受信した配信データを、ネットワークに接続される複数のヘッドマウントディスプレイシステム５、タブレットやスマートフォン（図示せず）に同報送信する（Ｓｔｅｐ５）。

ヘッドマウントディスプレイシステム５は、配信データを受信する（Ｓｔｅｐ６）。ヘッドマウントディスプレイシステム５は、予め定められた分離方法によって、映像データと３次元表示データとを分離するデータ分離処理を行う（Ｓｔｅｐ１２）。そして、ヘッドマウントディスプレイシステム５は、装着しているユーザの頭部の動きに応じた視点位置から見た仮想ボールの３次元映像（飛翔映像）を表示する（Ｓｔｅｐ７）。このとき、仮想ボールを投げるか仮想投手（仮想アスリート）は、ヘッドマウントディスプレイシステム５に予め格納されている仮想投手のオブジェクトデータを用いても表示しても良いし、３次元表示データに実投手の表示データが格納されている場合には、それを用いて仮想投手を表示するようにしても良い。

第２の実施の形態は、テレビ放送と異なり、データを配信する側で、３次元表示データの配信とライブ映像の配信との同期が図れる。結果として、ユーザは、現在行われている試合と、より同期したタイミングで、アスリートのパフォーマンスを体験することができる。

（第２の実施の形態の変形例）
第２の実施の形態も、第１の実施の形態と同様に、３次元表示データにタイミング情報を含めることも可能である。そして、トラッキングデータの取得時刻を３次元表示データに含めず、タイミング情報のみを含めても良い。

この場合、配信データ生成サーバ１０は、タイミング情報で特定される３次元映像（飛翔映像）を表示するタイミング（所定の映像区間）前に、その３次元表示データと映像データとを、ヘッドマウントディスプレイシステム５側で分離できる形式で配信データを生成する。

このようにすれば、第２の実施の形態も第１の実施の形態と同様な効果を得ることができる。

更に、タイミング情報の代わりに、３次元表示データに、３次元表示データを一意に識別できる３次元表示データ識別情報を含めて、ヘッドマウントディスプレイシステム５に送信するようにしても良い。

３次元表示データに３次元表示データ識別情報を含める場合には、３次元表示データ識別情報を含む３次元表示データを配信後、仮想ボール（仮想飛体）の飛翔映像をヘッドマウントディスプレイシステム５に表示するタイミングで、配信データ生成サーバ１０から、仮想現実を実行する際に用いられる３次元表示データを識別する３次元表示データ識別情報を含む実行情報を送信するようにする。ヘッドマウントディスプレイシステム５では、実行情報を受信し、その中に含まれる３次元表示データ識別情報で特定される３次元表示データを用いて、仮想ボール（仮想飛体）の飛翔映像をヘッドマウントディスプレイシステム５に表示する。

このようにすれば、第２の実施の形態も第１の実施の形態と同様な効果を得ることができる。

（第３の実施の形態）
第３の実施の形態は、第１の実施の形態（第１の実施の形態の変形例も含む）又は第２の実施の形態（第２の実施の形態の変形例も含む）に加えて、ユーザ側に試合に用いられ用具（例えば、バットやグラブ）と同様な用具を用意し、実アスリート１から得られたトラッキングデータから再現される飛体（例えば、ボール）を打ったり、捉えたりすることを体験できるように構成したものである。

図１６は第３の実施の形態におけるヘッドマウントディスプレイシステム５のブロック図である。

第３の実施の形態では、ユーザがヘッドマウントディスプレイ５１を装着した状態で、ユーザが用いる用具の動きをトラッキングするための用具トラッキング取得部５２０を設ける。用具トラッキング取得部５２０は、マイクロソフト社のＫｉｎｅｃｔ（登録商標）やＡＳＵＳ社のＸｔｉｏｎ Ｐｒｏ（登録商標）等を用いることができる。また、用具に加速度センサを設けて、用具のトラッキングデータを取得することも可能である。

ヘッドマウントディスプレイシステム５では、第１の実施の形態（第１の実施の形態の変形例も含む）又第２の実施の形態（第２の実施の形態の変形例も含む）の動作に加えて、コンピュータ５２のプロセッサ５２０が用具３次元表示データ生成処理を行う。

用具３次元表示データ生成処理は、用具トラッキング取得部５２０が取得した用具トラッキングデータに基づいて、用具に対応する仮想用具体の３次元表示データ（軌道データ）を算出する。また、仮想飛体の３次元表示データ（軌道データ）と仮想用具体の３次元表示データ（軌道データ）とに基づいて、仮想空間内で仮想飛体と仮想用具体との衝突に起因する新たな仮想飛体の３次元表示データ（軌道データ）を算出する。

具体的に説明すると、用具３次元表示データ生成処理は、仮想飛体が仮想ボール、仮想用具体が仮想バットである場合、ユーザが仮想アスリートから投じられる仮想ボールの飛翔映像に合わせてバットをスイングすると、バットのトラッキングデータにより、仮想バットのスイングの３次元表示データ（軌道データ）を算出する。そして、用具３次元表示データ生成処理は、仮想バットの３次元表示データ（軌道データ）と仮想ボールの３次元表示データ（軌道データ）とに基づいて、仮想空間内で仮想バットと仮想ボールとが衝突するかを判定する（仮想ボールが仮想バットに当たったかを判定）。衝突した場合は、仮想バットの大きさや反発係数に基づいて、衝突後の仮想ボールの飛翔軌道の３次元表示データ（軌道データ）を生成する。そして、画像生成処理は、仮想ボールの飛翔軌道の３次元表示データ（軌道データ）に基づいて、衝突後の仮想ボールの飛翔映像を生成して表示する。図１７は仮想ボールと仮想バットが衝突した場合の映像の一例であり、図１８は仮想ボールと仮想バットとの衝突後の仮想ボールの飛翔映像の一例である。

尚、ユーザが用いる用具に対応する仮想用具の大きさ、反発係数を複数用意しておき、ユーザに選択できるようにしても良い。例えば、用具がバットの場合、図１９に示すように、大きさが異なりそれぞれの反発係数が異なる仮想バットを複数用意し、ユーザに選択させるようにしても良い。この利点は、通常の用具では、打ってないようなボールであっても、大きな反発係数を持つ大きな仮想バットであれば、より、仮想ボールを打ちやすくなり、また、仮想ボールの飛行距離も長くなる。その結果、遊戯性が高まる。

第３の実施の形態は、ユーザがアスリートのパフォーマンスを観るだけではなく、ユーザは、実アスリートの放ったボール等と同様な仮想飛体を、打ったり、捕ったりすることができ、アスリートのパフォーマンスに挑戦することができる。

（第４の実施の形態）
第４の実施の形態は、第３の実施の形態に加えて、各ヘッドマウントディスプレイシステム５における仮想飛体と仮想用具体とが衝突したかの衝突結果と、新たな前記仮想飛体の軌道データから得られる仮想飛体の飛翔結果とを集計し、その集計結果をライブ映像に反映させる態様である。

図２０は第４の実施の形態における仮想現実提供システムの概略構成図である。

ヘッドマウントディスプレイシステム５のコンピュータ５２は、仮想飛体と仮想用具体とが衝突したかを判定する。例えば、仮想ボールと仮想バットが衝突、すなわち、仮想ボールを打つことが出来たかを判定する。そして、仮想飛体と仮想用具体とが衝突した場合、その仮想飛体の飛翔結果を算出する。例えば、仮想ボールを打った打球がヒットなのか、ホームランなのかである。そして、これらの衝突結果と飛翔結果とを、集計サーバ１１に送信する。更に、各ユーザの衝突結果や飛翔結果は、個別に管理される。

集計サーバ１１は、具体的には、各種の演算処理等を行うプロセッサを有するコンピュータシステムによって実現することができる。図２１はコンピュータシステムによって構成された集計サーバ１１のブロック図である。

集計サーバ１１は、プロセッサ１１０、メモリ（ＲＯＭやＲＡＭ）１１１、記憶装置（ハードディスク、半導体ディスクなど）１１２、入力装置（キーボード、マウス、タッチパネルなど）１１３、表示装置１１４、通信装置１１５などのハードウェア資源を有する汎用のコンピュータにより構成することができる。

集計サーバ１１は、記憶装置１１２に格納されたプログラムがメモリ１１１にロードされ、プロセッサ１１０により実行されることにより、集計処理を行う。集計処理は、各ヘッドマウントディスプレイシステム５から送信されてくる衝突結果と飛翔結果とを集計する。例えば、衝突結果と飛翔結果とを送信したヘッドマウントディスプレイシステム５の数、そのヘッドマウントディスプレイシステム５の数に対する衝突結果（衝突した）の割合、又は、飛翔結果の割合である。

更に、集計サーバ１１は、集計結果の画像である集計結果画像を生成する集計結果画像生成処理を行う。図２２は、仮想飛体がボールであり、仮想用具体がバットである場合の統計結果の画像の一例である。

集計サーバ１１は、生成した統計画像を放送設備、又は、同報送信システムに送信する。

放送設備、又は、同報送信システムでは、ライブ映像と生成した統計画像とを合成し、放送又は同報送信する。図２３はライブ映像と統計画像とが合成された映像の一例を示す図である。

尚、第４の実施の形態は、ライブ映像を放送するだけでなく、ライブ映像をコンテンツデリバリネットワークシステムによって送信する場合にも適用できることはいうまでもない。

第４の実施の形態は、ヘッドマウントディスプレイを装着したユーザの成績がライブ映像に反映されるので、ライブ中継を単に視聴するだけでなく、ユーザ自ら主役となれる新しい体験を提供することができる。

（第５の実施の形態）
第５の実施の形態は、第１の実施の形態（第１の実施の形態の変形も含む）、又は、第２の実施の形態（第２の実施の形態の変形も含む）に加えて、過去の実績から、投手等のアスリート１が次にバッターに投じるボールの球種を予測する予測サーバ１２を有する。

図２４は第５の実施の形態における仮想現実提供システムの概略構成図である。

予測サーバ１２は、トラッキングデータ取得部１２１と、予測部１２２とを備える。

トラッキングデータ取得部１２１は、トラッキングシステム２から提供されるトラッキングデータを取得する。取得されるトラッキングデータには、投手及び対戦している打者を識別するデータも含まれている。

予測部１２２は、過去に各投手が各打者に対して投じたボールの球種を機械学習し、取得したトラッキングデータを入力すると、次に投手が打者に対して投じる球種を予測する。予測した球種は、トラッキングデータと同様な形式で、３次元表示データ生成サーバ３に送信される。

３次元表示データ生成サーバ３は、予測サーバ１２からトラッキングデータを取得する。３次元表示データ生成部３２は、上述した実施の形態と同様に、ヘッドマウントディスプレイシステム５に、予測された球種の仮想ボールの飛翔映像を表示するための３次元表示データを生成する。そして、生成された３次元表示データは、同報送信システム４を介して、少なくとも１以上のヘッドマウントディスプレイシステム５に送信される。

第５の実施の形態は、上述した第１の実施の形態（第１の実施の形態の変形も含む）、又は、第２の実施の形態（第２の実施の形態の変形も含む）の効果に加えて、投手が次に投げると予測される球種のボールを、ユーザが体験することができる。

尚、第５の実施の形態は、上述した第１の実施の形態（第１の実施の形態の変形も含む）のみならず、第２から第４の実施の形態と組み合わせて構成することができる。

また、上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。

（付記１）
ユーザに仮想空間の３次元映像を提供する少なくとも一以上の仮想空間提供システムと
センサから取得される、少なくともピッチ上の実アスリートから放たれる飛体のトラッキングデータを取得するトラッキングデータ取得手段と、
取得したトラッキングデータに基づいて、前記仮想空間提供システムに表示される仮想空間に前記飛体に対応する仮想飛体を表示するための三次元座標データを生成する三次元座標データ生成手段と、
同報送信手段を介して、前記三次元座標データを、前記少なくとも１以上の仮想空間提供システムに送信する送信手段と
を有する仮想現実提供システム。

（付記２）
前記トラッキングデータは、ピッチ上の実アスリートの動きのトラッキングデータを含み、
前記三次元座標データ生成手段は、取得したトラッキングデータに基づいて、前記仮想空間提供システムに表示される仮想空間に前記実アスリートに対応する仮想動作体を表示するための三次元座標データを生成する
付記１に記載の仮想現実提供システム。

（付記３）
前記アスリートの試合の実映像の映像データと前記三次元座標データとを含む配信データを生成する配信データ生成手段を有し、
前記送信手段は、同報送信手段を介して、前記配信データを、前記少なくとも１以上の仮想空間提供システムに送信し、
前記仮想空間提供システムは、前記配信データから、前記映像データと前記三次元座標データとを分離する分離手段を有する
付記１又は付記２に記載の仮想現実提供システム。

（付記４）
前記配信データ生成手段は、前記実映像の映像データと前記実映像に対応する三次元座標データとが同期するように、前記配信データを生成する
付記３に記載の仮想現実提供システム。

（付記５）
前記仮想空間提供システムは、
前記仮想飛体及び前記仮想動作体のオブジェクトデータと、前記ユーザが扱う用具に対応する仮想用具体のオブジェクトデータとを記憶する記憶手段と、
前記三次元座標データを受信する受信手段と、
前記仮想空間における前記ユーザの位置データ及び前記ユーザの向きデータを検出する位置・向き検出手段と、
前記ユーザが扱う用具のトラッキングデータを取得する用具トラッキングデータ取得手段と、
前記用具のトラッキングデータに基づいて、前記仮想空間提供システムに表示される仮想空間に前記用具に対応する仮想用具体を表示するための三次元座標データを算出する第１の演算手段と、
前記仮想飛体の三次元座標データと前記仮想用具体の三次元座標データとに基づいて、前記仮想空間内で前記仮想飛体と前記仮想用具体との衝突に起因する前記仮想飛体の飛翔軌道の三次元座標データを算出する第２の演算手段と、
前記三次元座標データ、前記オブジェクトデータ及び前記ユーザの位置データ及び向きデータに基づいて、前記ユーザの位置姿勢に対応する前記仮想空間内の視点位置からの前記仮想飛体、前記仮想動作体及び前記仮想用具体の軌道映像を生成し、前記仮想空間提供システムの表示手段に表示する第１の画像生成手段と、
前記仮想空間内で前記仮想飛体と前記仮想用具体との衝突に起因する前記仮想飛体の飛翔軌道の三次元座標データに基づいて、前記ユーザの位置姿勢に対応する前記仮想空間内の視点位置からの前記仮想飛体の飛翔軌道の軌道映像を生成し、前記仮想空間提供システムの表示手段に表示する第２の画像生成手段と
を有する付記１から付記４に記載の仮想現実提供システム。

（付記６）
前記記憶手段は、複数の仮想飛体の少なくとも大きさに関する飛体データ及び前記複数の仮想飛体の前記仮想用具に対する反発係数の飛体反発係数データと、複数の仮想用具の少なくとも大きさに関する用具データ及び前記複数の仮想用具の前記仮想飛体に対する反発係数の用具反発係数データが記憶され、
前記第２の演算手段は、飛体データ及び前記飛体反発係数データと前記用具データ及び前記反発係数データとを参照し、前記仮想飛体と前記仮想用具体との衝突に起因する新たな前記仮想飛体の軌道データを算出する
付記５に記載の仮想現実提供システム。

（付記７）
集計サーバを有し、
前記仮想空間提供システムは、
前記仮想飛体と前記仮想用具体とが衝突したかの衝突結果と、前記仮想飛体の飛翔軌道の三次元座標データから得られる前記仮想飛体の飛翔結果とを算出する第３の演算手段と、
前記衝突結果及び前記飛翔結果を、前記集計サーバに送信する送信手段と
を有し、
前記集計サーバは、
前記仮想空間提供システムは、から送信される前記衝突結果及び前記飛翔結果を集計して集計結果を算出し、前記実アスリートの実映像である放送映像又は同報送信映像に前記集計結果を表示するための編成装置に送信する手段を
有する付記５又は付記６に記載の仮想現実提供システム。

（付記８）
前記仮想空間提供システムは、ユーザの頭部に装着され、仮想空間の３次元映像を表示する表示手段と、前記仮想空間の３次元映像を生成する３次元映像生成手段とを有するヘッドマウントディスプレイシステムである
付記１から付記７のいずれかに記載の仮想現実提供システム。

（付記９）
ユーザに仮想空間の３次元映像を提供する仮想空間提供システムのコンピュータのプログラムであって、
センサから取得された、少なくともピッチ上の実アスリートから放たれる飛体のトラッキングデータから生成された仮想空間に前記飛体に対応する仮想飛体を表示するための三次元座標データを、同報送信手段から受信する処理と、
前記仮想空間における前記ユーザの位置データ及び前記ユーザの向きデータを検出する処理と、
前記仮想飛体の三次元座標データ、前記仮想飛体のオブジェクトデータ及び前記ユーザの位置データ及び向きデータに基づいて、前記ユーザの位置姿勢に対応する前記仮想空間内の視点位置からの前記仮想飛体の軌道映像を生成し、前記仮想空間提供システムの表示手段に表示する処理と
をコンピュータに実行させるプログラム。

（付記１０）
前記プログラムは、
前記ユーザが扱う用具のトラッキングデータを取得する処理と、
前記用具のトラッキングデータに基づいて、前記用具に対応する仮想用具体の三次元座標データを算出する処理と、
前記仮想飛体の三次元座標データと前記仮想用具体の三次元座標データとに基づいて、前記仮想空間内で前記仮想飛体と前記仮想用具体との衝突に起因する前記仮想飛体の飛翔軌道の三次元座標データを算出する処理と、
前記三次元座標データ、前記オブジェクトデータ及び前記ユーザの位置データ及び向きデータに基づいて、前記ユーザの位置姿勢に対応する前記仮想空間内の視点位置からの前記仮想飛体及び前記仮想用具体の軌道映像を生成し、前記仮想空間提供システムの表示手段に表示する処理と、
前記仮想空間内で前記仮想飛体と前記仮想用具体との衝突に起因する前記仮想飛体の飛翔軌道の三次元座標データに基づいて、前記ユーザの位置姿勢に対応する前記仮想空間内の視点位置からの前記仮想飛体の飛翔軌道の軌道映像を生成し、前記仮想空間提供システムの表示手段に表示する処理と
を更に有する付記８に記載のプログラム。

（付記１１）
前記プログラムは、
前記仮想飛体と前記仮想用具体とが衝突したかの衝突結果と、前記仮想飛体の飛翔軌道の三次元座標データから得られる前記仮想飛体の飛翔結果とを算出する処理と、
前記衝突結果及び前記飛翔結果を集計するサーバに、前記前記衝突結果及び前記飛翔結果を送信する処理と
を更に有する付記９又は付記１１に記載のプログラム。

（付記１２）
前記仮想空間提供システムは、ユーザの頭部に装着され、仮想空間の３次元映像を表示する表示手段と、前記仮想空間の３次元映像を生成する３次元映像生成手段とを有するヘッドマウントディスプレイシステムである
付記９から付記１１のいずれかに記載のプログラム。

以上好ましい実施の形態をあげて本発明を説明したが、本発明は必ずしも上記実施の形態に限定されるものではなく、その技術的思想の範囲内において様々に変形し実施することが出来る。

１ アスリート（実アスリート）
２ トラッキングシステム
３ ３次元（３D）表示データ生成サーバ
４ 同報送信システム
５ ヘッドマウントディスプレイシステム
６ カメラ
７ 放送設備
８ テレビ
９ ライブ映像生成部
１０ 配信データ生成サーバ
１１ 集計サーバ
１２ 予測サーバ

Claims (1)

1. アスリートから放たれた飛体をトラッキングするセンサのセンサ情報から得られた前記飛体のトラッキングデータを取得するトラッキングデータ取得部と、
   取得したトラッキングデータを用いて、仮想空間に前記飛体に対応する仮想飛体の飛翔映像を表示するための３次元表示データを生成する３次元表示データ生成部と、
   前記３次元表示データを用いて、仮想空間に仮想飛体の飛翔映像を表示する少なくとも一以上の仮想空間提供システムと、
   前記３次元表示データを、前記少なくとも１以上の仮想空間提供システムに送信する送信部と、
   集計部と、
   を有し、
   前記仮想空間提供システムは、
   仮想空間を表示する表示部と、
   前記仮想飛体のオブジェクトデータと、ユーザが扱う用具に対応する仮想用具体のオブジェクトデータとを記憶する記憶部と、
   前記仮想飛体の３次元表示データを受信する受信部と、
   前記仮想空間における前記ユーザの位置及び前記ユーザの向きを検出する位置・向き検出部と、
   前記ユーザが操作する用具のトラッキングデータを取得する用具トラッキングデータ取得部と、
   前記用具のトラッキングデータに基づいて、表示される仮想空間に前記用具に対応する仮想用具体の軌道映像を表示するための３次元表示データを算出する第１の演算部と、
   前記仮想飛体の３次元表示データと前記仮想用具体の３次元表示データとに基づいて、前記仮想空間内で前記仮想飛体と前記仮想用具体との衝突に起因する前記仮想飛体の飛翔映像の３次元表示データを算出する第２の演算部と、
   前記仮想飛体及び前記仮想用具体の３次元表示データ、前記オブジェクトデータ及び前記ユーザの位置及び向きに基づいて、前記ユーザの位置姿勢に対応する前記仮想空間内の視点位置からの前記仮想飛体の飛翔映像、及び、前記仮想用具体の軌道映像を生成し、前記表示部に表示する第１の画像生成部と、
   前記仮想空間内で前記仮想飛体と前記仮想用具体との衝突に起因する前記仮想飛体の飛翔軌道の３次元表示データに基づいて、前記ユーザの位置姿勢に対応する前記仮想空間内の視点位置からの前記仮想飛体の飛翔映像を生成し、前記表示部に表示する第２の画像生成部と、
   前記仮想飛体と前記仮想用具体とが衝突したかの衝突結果と、前記仮想飛体の飛翔映像の３次元表示データから得られる前記仮想飛体の飛翔結果とを算出する第３の演算部と、
   前記衝突結果及び前記飛翔結果を、前記集計部に送信する送信部と
   を有し、
   前記集計部は、前記仮想空間提供システムから送信される前記衝突結果及び前記飛翔結果を集計して集計結果を算出し、前記実アスリートの映像である放送映像又は配信映像に前記集計結果を表示するための編成装置に送信する
   仮想現実提供システム。

Images