JP2015525085A - モバイルデバイス動作センサ入力を用いたwebベースのゲームプラットフォーム - Google Patents

モバイルデバイス動作センサ入力を用いたwebベースのゲームプラットフォーム Download PDF

Info

Publication number
JP2015525085A
JP2015525085A JP2015510447A JP2015510447A JP2015525085A JP 2015525085 A JP2015525085 A JP 2015525085A JP 2015510447 A JP2015510447 A JP 2015510447A JP 2015510447 A JP2015510447 A JP 2015510447A JP 2015525085 A JP2015525085 A JP 2015525085A
Authority
JP
Japan
Prior art keywords
game
data
connection
motion
image content
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015510447A
Other languages
English (en)
Other versions
JP2015525085A5 (ja
JP6313283B2 (ja
Inventor
ラナ,マノジ
コモラウス−キング,ロバート,エス.
ジェフリー,マーク
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aquimo LLC
Original Assignee
Aquimo LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aquimo LLC filed Critical Aquimo LLC
Publication of JP2015525085A publication Critical patent/JP2015525085A/ja
Publication of JP2015525085A5 publication Critical patent/JP2015525085A5/ja
Application granted granted Critical
Publication of JP6313283B2 publication Critical patent/JP6313283B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • A63F13/21Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/211Input arrangements for video game devices characterised by their sensors, purposes or types using inertial sensors, e.g. accelerometers or gyroscopes
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/33Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers using wide area network [WAN] connections
    • A63F13/335Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers using wide area network [WAN] connections using Internet
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/35Details of game servers
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/35Details of game servers
    • A63F13/355Performing operations on behalf of clients with restricted processing capabilities, e.g. servers transform changing game scene into an encoded video stream for transmitting to a mobile phone or a thin client
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/35Details of game servers
    • A63F13/358Adapting the game course according to the network or server load, e.g. for reducing latency due to different connection speeds between clients
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/428Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving motion or position input signals, e.g. signals representing the rotation of an input controller or a player's arm motions sensed by accelerometers or gyroscopes
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50Controlling the output signals based on the game progress
    • A63F13/53Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game
    • A63F13/537Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game using indicators, e.g. showing the condition of a game character on screen
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/80Special adaptations for executing a specific game genre or game mode
    • A63F13/812Ball games, e.g. soccer or baseball
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/90Constructional details or arrangements of video game devices not provided for in groups A63F13/20 or A63F13/25, e.g. housing, wiring, connections or cabinets
    • A63F13/92Video game devices specially adapted to be hand-held while playing
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/105Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals using inertial sensors, e.g. accelerometers, gyroscopes
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/20Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterised by details of the game platform
    • A63F2300/204Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterised by details of the game platform the platform being a handheld device
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/40Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterised by details of platform network
    • A63F2300/406Transmission via wireless network, e.g. pager or GSM
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/40Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterised by details of platform network
    • A63F2300/407Data transfer via internet

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Information Transfer Between Computers (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Pinball Game Machines (AREA)

Abstract

動作センサを搭載したモバイルデバイス(10)(例えば、スマートフォン)をゲームの入力コントローラとして使用している分散型ゲームプラットフォーム(100)を提供する。クラウドベースのゲームルールエンジン(110)が複数プレイヤー、および、ゲームで表示するコンテンツを管理する。出力されたゲームはモバイルデバイス(10)と物理的に区別されるWeb対応ディスプレイ(20)上に表示される。複数プレイヤーが複数の地域で、同時に、同じゲーム、または、異なったゲームをプレイできる。【選択図】図2

Description

[関連出願の相互参照]
本出願は2012年5月2日付け出願のJefferyらによるモバイルフォン動作センサ入力を用いたWebベースのスポーツゲームプラットフォームという米国特許仮出願番号第61/641、825号の利益を主張し、これらそれぞれの主題は、その全体が参照により本明細書に組み込まれる。また、本出願はJefferyの2011年10月7日提出「マルチメディア・プレゼンテーション・スレッドの動的アセンブリの方法およびシステム」と題する米国特許出願第13/269、534号、Jefferyらの2012年10月18日提出「モバイルデバイスの動的センサを使用してスポーツ動作を分析する方法およびシステム」と題する米国特許出願第13/655、366号、Jefferyらの2012年10月24日提出「モバイルデバイスの動きに合致する動的でカスタマイズされたスポーツ指導を提供する方法」と題する米国特許出願大13/659、774号に関し、これらそれぞれの主題は、その全体が参照により本明細書に組み込まれる。
[本発明の背景]
1.発明の属する技術分野
本発明はコンピュータゲーム分野に、更に詳しくは、モバイルデバイス動作センサ入力を搭載の分散型ウエブベースゲームのプラットフォーム関する。
2.関連技術の説明
テレビゲームにはユーザが簡単なコントローラを使って(2つの短い線が上下する)「paddles/かい」で「ボール」を打つ、1972年の「Pong」というゲームに始まる広範にわたって先行技術が存在する。過去40年間の間にコントローラおよびゲームコンソールは目覚ましい進歩をとげた。例えば、プレイステーションムーブにはゴルフ(「Tiger Woods Golf」)、テニス(「Grand Slam Tennis」)、格闘(「The Fight」)に関するカスタマイズされたコントローラがあり、これらの場合ゲームコンソールには約250ドル、さらに、カスタマイズされたコントローラには70ドルを要する。例えば、Moveコントローラはカメラを使用し、かつ、赤外線センサ搭載のブルートゥースコントローラにより動作を捉える。Xボックス360Kinectの場合は、プレイヤーの身体動作は3つの3Dカメラおよび高度のパターン認識技術で捉えるので物理的なコントローラさえも使用していない。Wii、PlayStation、Xbox 360にはネットワーク能力が有り、ホストされたオンラインネットワークを介してマルチプレイヤーゲームが可能である。
PCベースのゲームの多くでは、コンピュータキーボードおよび/またはマウスをコントローラとして使用している。例えば、「World of Warcraft」ではユーザはコミュニケーション用にキーボードを使用して戦士の移動動作、戦闘動作、構築動作の制御のために戦士キャラクターおよびスクリーン上の機能を選択する。Gameloftの「Let’s Golf 3」および「World PGA Tour Golf」では、プレイヤーはアバター(分身)ゴルフキャラクターのスイングを制御する「sliding bar(滑り棒)」を選択する。これらのゲームでは高額なコントローラの購入を必要としないが、キーボードおよび/またはマウスを使用した制御は困難な場合がある。ゴルフなどの高スキルを要するゲームではこの困難性は特に顕著であり、つまり、ボールを打つ最適なスイングでは腕の振り、腰および肩の回転、手首の曲げ、腰の移動、前腕の回転、インサイドアウトスイング軌道で成る多次元的な身体動作が要求されるので、それぞれが正しくないと最適なショットとは成らない。実際、キーボードおよび/またはマウスを使用してゴルフスイング完全動態をシミュレーションすることは簡単には出来ない。
任天堂Wiiコントローラは、ゲームコンソールにブルートゥースコネクションにより接続されており、かつ、ADXL330加速度計を使用して3軸で加速度を検知している。さらに、Wiiリモートは10LEDセンサバーと組み合わされて物理的にゲームコンソールに接続されているPixArt光学的センサを特徴としているが、これによりWiiリモートが指す位置の測定が可能である。台湾の会社であるASRockは任天堂Wiiゲーム用のコントローラを模するiPhoneの動作センサ使用を主張し、その結果として、ユーザはゲームコントローラとしてiPhoneを使用する既存のWiiまたはPCベースのゲームをプレイが出来るとしている。iPhoneはブルートゥースまたはWiFiネットワークを使用してゲームコンソールに接続されている。これによりコントローラ費用は抑えられるが、ユーザは依然としてゲームコンソールまたは特有のゲームコントローラ・ハードウエア・マザーボードを自身のパソコンに取り付ける必要がある。ASRockのソフトウエアインストールは挑戦的であっても、いくつかの使い勝手の問題がある。
任天堂WiiコントローラまたはiPhoneを使用してシミュレーションしたASRockのWiiコントローラはゴルフスイング、野球のスイング、または、テニスのサーブなどのスポーツ動作を正確に表現してはいないデータ提供であることを留意すべきである。すなわち、Wiiコントローラは多くのスポーツ動作に対しては精緻ではない近似のみの提供である。例えば、実施したゴルフスイング動作およびスイングの強さの検知はできるが、Wiiコントローラの方法ではインパクト速度、または、インパクトでのクラブヘッドの精密角度を正確に計算できない。
Kimの米国特許出願第2010/0069158号は表示デバイスに接続されたモバイルフォーン、ゲームサーバ、ゲームコンソールを用いた韓国人HwatuおよびMah−Jongなどによるマルチプレイヤー・カードおよびボードゲームの方法を開示している。しかしながら、Kimの方法は表示デバイスに物理的に接続しているゲームコンソールを明らかに必要とし、ゴルフなどのスポーツゲームの現実的な制御には好適とは言えないモバイルデバイスから重要なデータ入力を簡単に得ており、そして、モバイルフォーンはゲームコンソールへの接続(例えば、ブルートゥース、赤外線またはワイヤレスLAN接続により)が必要である。
Allenらの米国特許出願第8、019、878号はゲームを作るのにモバイルデバイスを用いてローカルエリアネットワーク(LAN)上のウエブブラウザの制御方法を記載している。しかしながら、この方法は同一のLAN上で接続されたデバイスに限定され、かつ、LAN上のwebブラウザによるモバイルデバイス直接接続、および、webブラウザにダウンロードしたプラグインソフトウエアが必要となり、このソフトウエアは現在市販されているWeb対応テレビでは作動しない。
テレビゲームに関する先行技術には重大な限界がある。コンソールベースのゲームの場合、導入維持に必要な全費用は非常に大きい(少なくとも、ゲームをサポートするプラットフォームに約250ドル、個別のゲーム購入費に約70ドル、コントローラ購入にも70ドルを要する)。これがコンソールベースのゲーム売上げが過去数年間、停滞気味である一つの理由となっていると思われる。PC、タブレット、または、モバイルフォーンベースのゲームでは典型的なユーザ入力はパソコンのキーボードまたはタッチスクリーン経由でなされるが、この様なインターフェイスはゴルフ、野球、ボウリング、テニスなどのスポーツ身体動作に係るゲームに最適とは言えない。
本発明のシステムおよび方法によれば、動作センサを搭載したモバイルデバイスをゲームの入力コントローラとして使用される分散型ゲームプラットフォームを提供する。クラウドベースのゲームサーバは複数プレイヤー、および、ゲームで表示するコンテンツを管理する。出力されたゲームはモバイルデバイスと物理的に区別されるWeb対応ディスプレイ上に表示される。複数プレイヤーが複数の地域で同時に同じゲーム、または、異なったゲームをプレイできる。
本発明の注目すべき特徴はユーザが次の2つの接続の確立である:第1に、ユーザのモバイルデバイスからクラウドベースのゲームルールエンジンへの接続、第2に、Web対応ディスプレイからゲームルールエンジンへの接続から成る2つの個別、同時のインターネット接続。必要とされていないが、モバイルデバイスおよび表示デバイスが同じワイヤレスのローカルエリアネットワーク(LAN)上にある場合には、モバイルデバイスから表示デバイスへの直接的接続がある。この任意の接続はユーザおよび表示デバイスに対して遅延低減の利点がある。つまり、表示デバイスが同じローカルエリアネットワーク(LAN)上にある場合には、LAN経由で表示デバイスへのスイングデータの直接的受け渡しの方が、複数ルータ経由でリモートサーバにデータを送った後に複数ルータ経由でディスプレイに返すよりも速いのである。
さらに、分散型アーキテクチャは次の3つのレベルの計算処理が用いられている:身体動作のモバイルデバイスプロセッサを使用した分析、クラウドベースのゲームルールエンジンの複数プレイヤー管理、プレイヤーインターアクション分析、プレイヤー動作履歴を保存と分析、および、ゲームコンテンツを各表示デバイスへの押上げ(または、引き寄せ)、ならびに、クラウドベースのゲームルールエンジンから押上げられた軽量なゲームロジックを使用した表示デバイスのローカルゲームロジック処理およびアニメーションの表現。
本発明の方法の有意な利点は少なくとも3点である:
別の機器の必要がない。2015年までに世界で使用されるスマートフォンは10億個を超えているが、これら全てのスマートフォンには動作センサが備えられる。本明細書に開示されたシステムは通常のゲームコンソールと比べて著しく低コストであり、かつ、近い将来、一般ユーザは動作センサを搭載したモバイルデバイスおよびWeb対応ディスプレイ等の必要な機器を有するであろう。
ゲームを制御するのにキーボード、マウス、タッチスクリーンは必要ない。特に、ゴルフ、野球、テニスなどのスポーツゲームをするにはキーボードによる方法は不向きである。例えば、ゴルフ、野球、テニスの場合を見ると、キーボード上のキーの押下とかマウスのクリックよりも、フォーンを振り回してWeb対応テレビ表示の仮想ボールを打撃する方が比べられないほど多くの現実世界的な経験が得られる。さらに、Wiiゲームコントローラおよびテレビベースの身体動作キャプチャは必ずしも正確でなく、かつ、現在、精密な分析ができるものではない。
WiiまたはXboxなどのゲームコンソールは三次元物体の優れた図形描画を可能にし、かつ、1990年代のクレイY−MPなどの高性能スーパーコンピュータと同等の計算能力を持つ。開示されたシステムにより、高性能のグラフィックプロセッサが備わっているゲームコンソールまたはPCを購入することなく、複数の分散された地域で複数プレイヤーが同時にゲームをすることを可能にする。開示されたゲームは比較的低い計算能力のWeb対応デバイス上で作動し、かつ、タイガーウッズPGAゴルフなどの幾つかのコンソールゲームへの機能強化となる優れたグラフィックコンテンツを有するように特に設計されている。
加えて、開示されたウエブベースの分散型ゲームプラットフォームを実行するには、少なくとも5つの顕著な技術革新が用いられる:
(1)モバイルデバイスセンサから生動作データを正確に捉え、そのデータを分析し、かつ、短い遅延接続を可能にする形態の分析データを送信する方法;
(2)ゲームルールエンジンからWeb対応表示デバイスへ送達され、かつ、帯域幅利用率および遅延を最小限にするためにWeb対応ディスプレイでキャッシュする待ち行列コンテンツに関する帯域幅およびゲーム表示媒体の遅延を短縮する方法;
(3)表示デバイスの帯域幅および分解能を最適化する一方で、現実世界をシミュレーションする特有の表示デバイス用ゲーム表示媒体の強化方法;
(4)ゲームの挙動、複数プレイヤー、ゲームルール、および、分散型処理アーキテクチャにおける出力動画それぞれをモバイルデバイス、ゲームルールエンジン、および、Web対応ディスプレイが最適に分析する計算処理分散方法;
(5)モバイルデバイスがスイングイベントを公開し、かつ、ゲームエンジンおよび表示デバイスが特有の特定ユーザ用の特定イベントに加入する、ユーザデータベースの周期的なポーリングまたはイベント駆動型アーキテクチャのいずれか使用のユーザ入力を検知するゲームルールエンジンおよび表示デバイスの方法;
本発明のこれらの点、別の面、特徴、利点は添付図面とともに理解することで以下の好適な実施形態から明らかになる。
図1は、モバイルデバイスのいろいろな種類の回転運動を図示する。 図2は、本発明の一実施形態による、マルチプレイヤー分散型ゲームプラットフォーム用の例示的アーキテクチャを図示する。 図3は、本発明の一実施形態による、マルチプレイヤーゲームプラットフォームアーキテクチャの例示的実施形態を図示する。 図4(a)ないし(e)は、本発明のゴルフゲームの好ましい実施形態における、いろいろなユーザ経験を図示する。 図5は、本発明の一実施形態による、ゴルフゲーム用のマルチプレイヤーゲームプラットフォームの例示的実施形態を図示する。 図6(a)および(b)は、本発明の一実施形態による、デジタル画像に対応するセグメントに区切ったゴルフ場のホールを図示する。 図7(a)および(b)は、スイング正確性判断に有益であるゴルフスイング例でのモバイルデバイスのピッチとロールを示す。 図8(a)および(b)は、打点およびその打点を通過するゴルフクラブヘッドの速度を測定するモバイルデバイスのピッチデータについて図示する。 図9(a)および(b)は、打点を判断するゴルフスイングの例におけるモバイルデバイスのピッチおよびヨーについて図示する。 図10は、本発明の一実施形態による、デジタル画像のリアル感を強化する層、シネマグラフ、および/または、スプライトアニメーションについて図示する。 図11(a)ないし(c)は、例示テニススイングまたは座りながら水平に打つゴルフスイング中のモバイルデバイスのピッチ、ヨー、ロールの変化を図示する。 図12(a)ないし(c)は、野球のスイングのヨー、ロール、およびピッチを図示する。 図13(a)ないし(c)は、ボウリング動作のピッチ、ロール、およびヨーを図示する。
本明細書で使用するときモバイルデバイスはマイクロプロセッサ、メモリー、統合動作センサを有するハンデヘルドデバイスを言う。モバイルデバイスの例としてはアップルiPhone、アップルiPod、サムソンGalaxyスマートフォンが含まれる。本明細書に記載したモバイルデバイスは例示目的に過ぎないことを理解すべきである。
本明細書で使用するとき、表示デバイスはWebページを図で表示可能なインターネット接続ディスプレイを言う。
本明細書で使用するとき画像は限定されないが、写真、スプライト、シネマグラフ、ビデオ、ラスタまたはベクター画像、アニメーション、その別のグラフィックエンジン生成視覚物体、およびこれらの組み合わせを含む視覚的に認識できる図形要素を言う。
本明細書で使用するとき、帯域幅利用率とは所定の時間に通信チャネルを通過するデータ量を言う。
本明細書で使用するとき、遅延とは送信とデータ受信との間の時間の遅れを言う。
本明細書で使用するとき、校正点はスポーツ動作が開始する前の構えのポジションでのモバイルデバイスの時間および空間の位置を言う。
本明細書で使用するとき、打点は仮想物体とのインパクトの時間および空間の位置を言う。
本明細書で使用するとき、放出点は仮想物体の放出の時間および空間の位置を言う。
ゴルフなどのスポーツでは打点および放出点は、時間及び空間での同じ物理的位置である。しかしながら、別のスポーツでは打点および放出点は同じではない。例えば、ラクロスでは長柄のスティックでボールを受け取った後(打点でボールがラクロススティックに当たる)、異なる位置の(放出点で)スティックから投げる。更に、いくつかのスポーツでは打点が無くて放出点のみである。例えば、フライフィッシングでは特定の最大値を超えると加重された釣り針が釣竿から放出され、釣竿に角運動量を付与する手首の軽い振りで放出点が生じる。
図1はモバイルデバイス10の動作センサにより測定された種々の回転運動を図示する。このセンサはX、Y、Zの加速度データ(各軸に沿ってGで表示)を捉える加速度計、ならびに、移動(各軸でのラジアン単位で表わす)中のモバイルデバイス10のピッチ、ロール、および、ヨーを測定するジャイロスコープを含む。現在、動作センサはモバイルデバイス10に搭載されたアプリケーションで利用できる(押上げされたデータをポーリングさせるか、所有するかのいずれかで)データを用いて、1秒当たり(100ヘルツ)約100回でサンプリングする。本発明と併せて用いられる代表的なジャイロスコープはSTMicroelectronics,Inc.社製のL3G4200Dジャイロスコープである。しかしながら、本発明は現在利用可能な動作センサ技術に限定されないことを理解すべきである。
図2は本発明の一実施形態による、ゲームプラットフォーム100の例示的アーキテクチャを図示する。図示の様に、ゲームプラットフォーム100の3つの主要な部品はモバイルデバイス10、ゲームサーバ110、表示デバイス20である。ゲームサーバ110はプレイ中の複数のゲームを管理するゲームルールエンジン115を含む。図示の様に、ゲームルールエンジン115はユーザデータベース116、ゲームリソースデータベース117、動作アーカイブデータベース118にアクセスする。ユーザデータベース116はログイン情報およぶゲーム情報を保存する。ゴルフの場合にはゲーム中に行われた各スイングのスイング情報、プレイヤーの現在のスコア、何番のホールでプレイしているか、今使用しているゴルフクラブ等の情報を含む。ゲームリソースデータベース117は、表示デバイス20上のゲームシシミュレーション用のグラフィカルコンテンツを含む。例えば、ゲームリソースデータベース117は飛んでいる仮想ゴルフボールが地面に落ちるまで投影しているゴルフホールのセグメントに基づいて画像を取り出せるような指数化したゴルフホールの複数の2D画像またはビデオを含む。更に詳しく説明するとおり、ゲームリソースデータベース117はゲーム経験を強化するための様々な(シネマグラフ、ビデオ、スプライトなどの)図形要素を含む。動作アーカイブデータベース118は中長期的な分析用に実績動作データ、例えば、ゴルフの場合にはスイング、パッティング、チッピング等の一貫性向上の縦断的比較用のスイング動作正確性のデータを含む。さらに、スイング動作データの正確性はユーザに提示され、かつ、パッティング一貫性向上の縦断的比較のために、アプリにローカルで、および、ユーザのアカウントにあるサーバに格納される。
例示されている実施形態において、ゲームサーバ110はインターネット150経由のクラウドベース対応のグローバルな接続性がある。ユーザにとってユーザのモバイルデバイス10および表示デバイス20を、個別の区別されるインターネット接続経由でゲームサーバ110に同時接続することができる。初めに、モバイルデバイス10は分析動作データを含めたデータをゲームサーバ110へ送信すると、今度は、ゲームサーバ110は別々のインターネット接続経由でディスプレイ20においてゲーム媒体表示を促進する。一実施形態では、ソフトウエアアプリケーションの形式で軽量のゲームロジックエンジン120はゲームルールエンジン115の大量のロジックが符号化された好適なWeb対応表示デバイス20に押し入れることができ、また続けて、ゲームロジックエンジン120は条件が違えばゲームサーバ110で直接実施することになる仕事の多くを行える。
一実施形態では、図2の点線75で図示したように、同一のネットワーク上のローカルエリアネットワーク(LAN)経由でユーザのモバイルデバイス10および表示デバイス20は任意で接続することができる。LAN接続により同じ地域のユーザにとって、動作とゲームアニメーション表示との間の大幅な遅延低減が可能になる。この実施形態では、(同じ物理的LAN上ではない)異なる地域で複数プレイヤーのゲームを可能にするために、動作データはモバイルデバイス19から表示デバイス20、さらには、ゲームサーバ110へ直接的送信する。ゲームに入っている別のプレイヤーの表示デバイス10および/または20を更新し、動作データはそれぞれのモバイルデバイス10からインターネット150経由でゲームサーバ110へ送信する。LAN接続75により特定のプレイヤーに対するゲームの進行を速め、モバイルデバイス10と同じLAN上の表示デバイス20へのデータの高速(ミリ秒)送信が可能になる。例えば、非ローカル接続経由でゲームロジックサーバへ送信、続けて、表示デバイス20へ送信される場合の感知できるデータ遅延(例えば、三分の一秒)と比較すれば、同じLANに接続されている場合にはモバイルデバイス10をスイング動作すると、ほぼ同時に表示デバイス20上にボールの飛球として現れる。
表示デバイスがパソコン(PC)、Web対応テレビ、タブレット、または、類似の計算装置である場合、適切なWebブラウザプラグイン装着で接続ができる。好ましくは、ユーザはプラグインを装着し、モバイルデバイス10用にLANを検索し、かつ、デバイス10と通信するには「了解ボタン」をクリックする必要がある。または、そのプログラムはローカルネットワークを「聞く」ように構成されたカスタムWebブラウザであり得て、それゆえに、プラグインが有効に組み込まれる。現在市販されているiPad、アンドロイド、Webテレビプ、Webブラウザはプラグイン機能をサポートしていないが、近い将来に、これらデバイスのいくつかはオープンプラットフォームになって類似の接続が可能になる。iPadおよびアンドロイドのプラットフォームに関しては、組む込まれたプラグインと併せて本質的にWebブラウザ周りのカスタムアプリケーションが記述できる。このことから、モバイルデバイス10への直接的なLAN接続を複数のWeb対応表示デバイスに対して行うことができる。
図3は本発明の一実施形態による、マルチプレイヤーゲームプラットフォームアーキテクチャの例示的実施形態を図示する。モバイルデバイス10およびWeb表示デバイス20は同一地域または異なる地域であり得る。WebSocketなどのロングポーリングを使用することにより、モバイルデバイス10とWeb表示デバイス20との間の通信を行う。示したように、2つの異なるロングポーリング接続180はモバイルデバイス10とゲームサーバ110との間、および、ゲームサーバ110と表示デバイス20との間で実施される。ゲームサーバ110は複数のポーリングポート130を用いて、複数のユーザおよび表示デバイスをサポートする。
本発明の次の記載において、本発明の様々な実施態様を実施する例示的方法を開示する。本明細書に開示された本発明の方法およびシステムはC、C++、C#、Objective−C、Visual Basic、Javaなどの様々な適切なプログラミング言語で記述されたコンピュータプログラムコードの実施で実現できることを理解すべきである。一部の実施形態では、アプリケーションロジックの大部分は、例えば、非同期Webアプリケーションを作るAJAX(非同期 JavaScript と XML)パラダイムを使用して表示デバイス上で実施できることを理解すべきである。さらに、一部の実施形態では、アプリケーションソフトウエアは複数の異なるサーバ(示さず)に分散できることを理解すべきである。
また、好ましくは、本発明のソフトウエアは最適なブラウザ(例えば、Safari、Internet Explorer、Mozilla Firefox、Google Chrome、Opera)を使用してクライアントによりアクセス可能であるHTML、PHP、Javascript、XML、AJAXで記述された様々なWebベースのアプリケーションをさらに含むことを理解すべきである。
本発明の重要な側面は帯域幅利用率の最適化および遅延最小化への体系的なアプローチであり、そして、特別な表示デバイス20のグラフィック解像度を最適化することである。特に、遅延は重大な関心事項であり、かつ、帯域幅利用率およびディスプレイのグラフィック解像度に関連している。ユーザ入力の身体動作とアウトプット表示デバイスにシミュレーションされた動作との間の時間の遅れは、スポーツゲームのリアル感を削いてしまう。さらには、次のシーンが出遅れることもユーザをイライラさせる。別の目標は、インプット動作に対してほぼ即時の表示アウトプットをすることで、優れたグラフィックコンテントのシーン切り替えが一秒未満になるようにユーザ経験を出来うる限り均一にすることである。
帯域幅利用率の影響を見る例として、1Mb/s(T1)接続では5MB(メガバイト)ビデオまたは写真はダウンロードするのに40秒かかる。米国で平均的家庭用ブロードバンド接続である5Mb/s接続では同じビデオをダウンロードするのに8秒かかる。このことから、ゲームでのデータ密度(ビット数)が高いと、コンテントのダウンロードでユーザは潜在的に重大な遅延を経験することになる。
今後数年間に、先進国においては帯域幅利用率がおおよそ50Mb/sに著しく増加することが考えられる。この理由としては4GおよびLTEセルラーデータネットワークの発明があり、また、システムを向上させている固定電話ケーブルおよび通信会社が4Gでの競争力維持努力がある。50Mb/sでは、5MBファイルはダウンロードするのに僅か0.8秒しかかからない。しかしながら、同時に経時的には表示デバイスは大きくなり画素解像度も上がっている。例えば、2012年、米国の平均的LCDテレビ表示デバイスは1920x1080画素解像度で37インチの大きさであり、300ドルから500ドルの値段であったが、同じ解析度であれば、46インチは約700ドル、60インチは2000ドル未満の値段であった。これが2015年には60インチLCDは700ドル近辺に下がり、解析度は2560x1440に上がるであろう。このことから、帯域幅利用率とディスプレイの解像度は経時的に互いに競い合う状態である。
遅延の影響を見る例として、ユーザがモバイルデバイス10をスイングして(モバイルデバイスおよび表示デバイスは異なるネットワークにあると仮定)、このデータが計算を行うゲームサーバ110へインターネット経由で送信され、次に、表示デバイス20に送信されると時間の遅れを生じる。この時間の遅れは、デバイスの帯域幅利用率を超える大きな帯域幅ファイルが表示デバイスに同時に送信される時には悪化するが、これは、別のゲームデータと併せて動作データが列を作って待っている待ちに入り渋滞が起こるからである。本明細書に開示された方法はシステム性能を(1)帯域幅利用率、(2)全般的なシステム遅延、(3)表示デバイスの解析度の3つの側面で最適化する。
図2および3において、スポーツ動作検出およびアウトプット表示における全体のシステム遅延
Figure 2015525085

は以下のように表され、
Figure 2015525085
式中、
Figure 2015525085
は、モバイルデバイスでのスポーツ動作分析時間であり、
Figure 2015525085
は、モバイルデバイス10からインターネット150経由でゲームサーバ110への送信時間であり、
Figure 2015525085
は、ゲームサーバ110での処理時間であり、
Figure 2015525085
は、ゲームサーバ110から表示デバイス20への送信時間であり、
Figure 2015525085
は、表示デバイス20上でのアニメーション、画像、または、別のデータの表示処理時間である。図3の実施形態では、WebSocketなどのロングポーリングの利点はモバイルデバイス10からの動作データがイベントとしてゲームエンジン110にブロードキャストされると、ここから表示デバイス20にブロードキャストされることである。米国本土ではWebSocket接続の間の遅延は約50ミリ秒(ms)である。動作データおよびユーザインタフェースの更新などのデータの小さなパケットについて図3に図示したアーキテクチャを使用した場合では、全体のシステム遅延はモバイルデバイス10、ゲームエンジン処理、グラフィックエンジン表示での動作分析処理制約を主として受けるのであり、
Figure 2015525085
=100ミリ秒であるインターネット経由のデータ通信時間にあるのではない。
実際、図3のアーキテクチャは複数の同時ユーザ向けにモバイルデバイス10、ゲームサーバ110、Webディスプレイ20の間での実時間に近い同期を提供する。このアーキテクチャにより、スイング動作データをWebディスプレイ20と送受信しながら、モバイルデバイス10およびWebディスプレイ20に関してユーザ行動の実時間に近い同期が可能になる。加えて、図3のアーキテクチャは高拡張性であり、かつ、本質的なデザインから逸脱することなく数千のプレイヤーに対応するように提供する。そのような場合には、何千もの異なったゲームが任意の時点であり、完了の様々なステージであり、また、アーキテクチャは任意の時点においてゲームサーバ110で管理されているゴルフ、野球、ボウリングなどの種々の異なったスポーツ動作をも支持することが出来る。
本発明の新規要素は仮想の多人数参加型ゴルフゲーム、二人および四人プレイヤーによるテニスゲーム、多人数参加型野球ゲームの発明に関する以下の詳細な説明で明らかになるであろう。しかしながら、以下の実施例は限定するものではないことを理解すべきである。
ゴルフの実施例
図4ないし10を参照することで、本発明は、ここに記載された技術を使用して実装されたゴルフゲームの例により一層明確化する。図4(a)ないし4(e)はユーザ経験を示し、かつ、図5は対応する分散型ゴルフアーキテクチャである。
一実施形態では、分散型ゲームプラットフォーム100にアクセスするために、ユーザはまず初めにアプリケーション(「app」)を自身のモバイルデバイス10にダウンロードする。アップルiPhone 4/4sについての一実施形態では、このappはObjective Cでプログラミングされ、かつ、毎秒あたり100個サンプルのスピードで加速度計、ジャイロスコープ、磁力計などの内蔵ハードウエアベースセンサーにアクセスするために、Cocoa Touch SDK(ソフトウエア開発キット)に含まるCoreMotionフレームワークを利用している。「信号処理パイプライン」と呼ばれるこの上にある層は、実時間スイング分析計算を提供するプラットフォーム独立型クラスのプログラムを含む。信号処理パイプラインの上には、信号処理エンジンにより計算されたデータを処理するグラフィックベースのゲームプレゼンテーション層があり、これらのデータをサーバベースのゲームルールエンジンに送信し、かつ、ゲーム経験を捕捉するデバイス固有のコンテントが付いた画面をユーザに表示する。
別の実施形態において、モバイルウエブサイトにより、モバイルブラウザーに簡単なJavaScriptイベントハンドラを使用して同一ハードウエアベースのセンサにアクセスが可能である。一般的に、ブラウザ経由のセンサへのアクセスはCoreMotionフレームワークと比較してはるかに遅いが、しかし、現在の技術では毎秒あたり10個のサンプルのスピードである。本明細書において、同一の信号処理パイプラインをスイング情報分析に使用し、かつ、インタラクティブJavaScriptウエブサイトがモバイルデバイスのスクリーン上にグラフィカルなインターアクションを構成する。
図4(a)では、ユーザが自身のモバイルデバイス10を使用して指定されたウエブサイトにログインすると標準ブラウザを開き、かつ、そこへナビゲートすることでユーザのWeb対応ディスプレイ20が同一ウエブサイトに接続する。ユーザが接続を行うと、その都度、ユーザ情報を質問するログインページが表示される。ログインするとゲームサーバ110によりゲームリソースデータベース117からダウンロードされて、web対応表示デバイス20に仮想のゴルフ練習場またはゴルフコースが表示される。しかしながら、表示デバイス10へWebページを最初にダウンロードしている間には、軽量のゲームロジックエンジン120もバックグランドにダウンロードできる。非Webベースのゲームエンジンは、例えば、AJAXを使用して同期アプリケーションとしてプログラムできる。
図4(b)では、デバイス10および20にログインした後にはユーザは打ちっぱなし練習場に入るか、または、ゲームを開始できるが、いずれの場合においても友達30をプレイに招待できる。自身のデバイスにログインした後に招待された友達は招待を受諾してホストのゲームに参加できる。プレイするゲーム毎に一時的テーブル作成のために、プレイヤーのデータベースにある各ユーザの記録を連結し、クラウドベースのゲームルールエンジン115は複数プレイヤーを管理する。アカウントを所有しているユーザはユーザデータベース116内にユーザ自身のデータベース記録を所有する。
図4(c)では、ゲームを開始した後は各プレイヤー自身が特定する仮想ゴルフバッグからゴルフクラブを選択し、自身のモバイルデバイス10をスイングすると、「打撃」により各デバイスが該スイングを分析してスイングデータの小さなパケットをデータがユーザデータベース116で更新されるゲームサーバ110に送信する。ゴルフスイング動作分析については以下のサブセクションで詳しく記載した。プレイヤーとゲームルールエンジン115とのインターアクションはキー入力、タッチスクリーンのタッチ、さらに、利用可能な場合は音声認識などのモバイルデバイス10の様々な入力デバイスを使用して実施される。
次に、このスイング情報は以下のサブセクション(2)に記載の3つの方法の1つを使用して表示デバイス20に送信される。図4(d)では、(飛球を計算して予測するアルゴリズムを使用して)ダウンロードされた表示デバイスグラフィックエンジン125はディスプレイ20上に飛球25を表現する。同様に、友達が仮想ボールを打撃したデータが友達のモバイルデバイス10からゲームサーバ110へ送信されるが、このデータはユーザデータベース116に送信され更新される。図4(e)では、データは特定ユーザに送られ、かつ、飛球は特定の環境に合わせて表現され、そして、各プレイヤーはゲーム環境での自身の特定位置から各友達からの複数のゴルフスイングゲーム動作を観る。
ユーザはクリックまたはタッチしてユーザそれぞれの飛球位置に進む。ダウンロードされた軽量のWebベースのゲームエンジン120には、ゴルフスイング後の仮想ゴルフコース上のユーザの場所を判断し、かつ、ゲームルールエンジン115によりゲームリソースデータベース117から適切なグラフィック表示コンテンツを要求する表示デバイス用のロジックが含まれている。そして、プレイヤーがゴルフホール上の異なる位置にいる場合以外、このプロセスは繰り返す。プレイヤーの位置はユーザデータベース116に送信され更新され、かつ、ゲームエンジン120は仮想ゴルフコース上の各プレイヤーの飛球を表現する。加えて、一実施形態では、プレイヤーは相互に通信することができるのでゲームプレイヤー間のソシアルネットワークが構築される。かかる通信は例えば、適切なIPボイスオーバ、テキストチャット、テキストメッセージボードアプリケーションなどを有するゲームルールエンジン115により達成可能である。
ゲームをすることに加えて、ユーザは複数の仮想の商品およびサービスを購入できる。これらにはゴルフレッスン、最新のゴルフクラブ、カスタムバッグ、ゴルフクラブカバー、友達のショットを混乱させるマジックボール、トーナメント優勝の仮想賞品などを含むが、これらに限定さえるものではない。Jefferyらの2012年10月24日提出「モバイルデバイスの動きに合致する動的でカスタマイズされたスポーツ指導を提供する方法」と題する米国特許出願大13/659、774号に詳細に説明されているように、仮想の商品にはユーザ定義のゴルフスイング分析を基にしたカスタマイズされたスポーツ指導が含まれる。
本発明の関連する新規性は予測分析により可能になる「仮想キャディー」である。当該システム内でユーザが行った全てのスイングは、動作アーカイブデータベース118で捉えられる。ユーザが打ったショットのデータは分析ソフトウエアを使用して取り出す。例えば、あるホールのティーグラウンドでドライバーを100回スイングした結果、平均飛距離が249ヤードで30ヤード右側にスライスするようであれば、235ヤード前方で25ヤード右側のウオターハザードを避けるために「仮想キャディー」は3番ウッドを推奨するであろう。
また、ユーザがショット後にスクリーンをタッチしてモバイルアプリケーションに手操作入力または音声入力する方法で、または、モバイルデバイスにブルートゥースにより連結されているゴルフクラブに物理的に結合したジャイロスコープおよび加速度計による方法で動作アーカイブデータベース118を現実のゴルフコースで得られたデータで増強しても良い。仮想キャディーは現実および仮想ゴルフに拡大することも可能であるので、現実のゴルフコース上において、仮想コースでプレイにした類似のアドバイスをする。
開示されたゴルフゲームのさらなる技術的態様は、以下のセクションに記載される:(1)分散型ゲームエンジン、(2)モバイルデバイススイング分析、(3)表示デバイス最適化。
(1)分散型ゲームエンジン
図5はゴルフゲームにおけるゲームプラットフォーム100の実施形態を図示する。上述のようにゲーム分析は3つの主要な部品、つまり、モバイルデバイス10、ゲームサーバ110、表示デバイス20に分散している。図5は4人の異なるプレイヤー30、つまり、A、B、C、Dの異なるモードの実施例を提供する。この実施例は例示的であり、4人のプレイヤーに限定するものではない。ここに示すように、プレイヤーAはモバイルデバイス10を所有しているが、表示デバイス20を所有していない。このモードでは、ゲームグラフィックスがプレイヤーAのモバイルデバイス10に単独で表示されている。プレイヤーBはプレイヤーAとは異なる地域にいるが表示デバイス20にアクセスする。ゲームインターアクションおよび表示デバイス20上のグラフィカル表示は以下で記載する。例証的に、プレイヤーCおよびDはプレイヤーAおよびBとは違う同一の地域にいて、表示デバイス20を所有している。同一地域にいるプレイヤーたちは、デバイスを使用してそれぞれのプレイヤーを知るように構成され、単独のモバイルデバイスを使用するか、または、プレイヤー自身のモバイルデバイスを所有している。図5に示した実施例は特定のハードウエア製品に限定されるものではないことを理解すべきである。
ゴルフスイング分析は以下のセクションに記載する方法によるモバイルデバイス10で分析を行うこの分析からのアウトプットはモバイルフォーンのスイング速度、インパクトでのフォーンの角度(フックまたはスライス)、前腕の回転率、手首の曲げ率、スイング軌道(インサイド・アウトサイドまたはアウトサイド・イン)を含むが、これらに限定さえるものではない。これらのデータはユーザデータベース116を更新し、異なるユーザインターアクションを管理し、ゲームコンテンツを供給するゲームサーバ110へ送信される。ユーザがログインした時に比較的軽量のJavascript/AJAXゲームエンジン120は、HTML5対応表示デバイスWebブラウザにダウンロードすることができる。個々のユーザのスイングデータがゴルフゲームサーバ110から渡されたら、このゲームエンジン120は特定のユーザディスプレイ環境を制御する。ゲームエンジン120はゴルフゲームのゲームロジック、および、飛球シミュレーションならびに別のレンダリング用のグラフィックエンジン125を有する。以下のセクションで詳しく記載するように、各ゴルフホールは二次元写真またはビデオに対応するセグメントに分けられている各ホールの写真の数は、以下のセクションで記載するようにユーザ経験とシステムの帯域幅および遅延との両方を最適化するように選択される。各ホールのグリッド位置はホールごとに前もって定義し、かつ、WebブラウザゲームエンジンのJavaコードでプログラムする。各ホールでのグリッド位置に対応するグラフィカルコンテンツはゲームリソースデータベース117に保存する。
ボールの飛球距離および方向は主としてクラブのヘッド速度、クラブのロフト、打撃角度で決まる。ゴルフクラブが異なればロフトも異なる。しかしながら、クラブの速度はインパクトでのユーザが手で持っているフォーンの速度に正比例する。以下のセクションに記載するように、フォーンの速度の正確性およびゴルフドライバーのクラブヘッド速度を検証するために毎秒1,000フレームの高速ビデオカメラを用いて詳細な実験を実施した。このデータを、様々なクラブおよびクラブヘッド速度に関する飛球距離のベンダー表との比較をした。ボールがスライスまたはフェードすると飛距離が小さくなるが、ドローの程度が小さい限りフックまたはドローしたボールは飛距離が大きくなるが、ただし、数度を超えたフックボールでは距離がでない。
ユーザが手で持っているフォーン速度、ユーザ身長、クラブ長さからクラブヘッドの速度を計算できる。さらに具体的には、様々なゴルフクラブの表索引を使用すれば特定のゴルフクラブのクラブヘッド速度を計算できるので、表索引を使用して計算した速度におけるクラブの様々なロフト角度での飛球をマッピングする。続けて、モバイルフォーンセンサーのスイングデータからショットによる距離および方向を正確に計算するために、スイング軌道およびフックまたはスライスの情報はフラクショナルな乗数/除算として使用する。
図6(a)および(b)はホールを仮想グリッドに分ける方法を図示する。ショットの距離および方向はショットの終点になる(X、Y)座標を定義している。この(X、Y)ショット終点は特定のグリッド位置に対応する。図6(a)参照。各グリッド位置について、(画像、スプライト、および/またはビデオなどの)媒体119はゲームリソースデータベース117に保存される。ショットの終点(X、Y)座標が決まれば、Webページグラフィックエンジンが表索引によりリソースデータベース117に問い合わせして(X、Y)座標位置に対応する媒体119を表示する。次には、ユーザ経験(X、Y)としては座標位置での立体的な視点からフラグのWebページ上の媒体を観ることである。ユーザが再度スイングするとスイング速度、選択されたクラブ、クラブヘッドの打撃角度から次の(X、Y)座標位置が計算される。さらには、グラフィックエンジンが新しい位置に関してデータベースから正しい画像を表示する。
ユーザ毎にスイング履歴は動作アーカイブデータベース118に送信され更新される。前記したように、このデータは経過的なユーザパフォーマンス分析に使用する。ゲーム中の複数プレイヤーについて進捗状況を追跡しながらユーザデータベース116も更新される。このデータはゲームエンジン120を更新するマスタデータとして使用することができ、かつ、特定のユーザの表示スクリーン上に別のユーザの分身(アバター)および飛球シミュレーションを描くことが出来るようにする。
3Dのグラフィックエンジンモジュール125を使用して、シミュレーションされた飛球が2Dに現れる。1600x900画素表示解像度でスイングした後のゴルフボールの飛行は、個別対象物としてボールの動画化で達成される。ボールが下部近くに位置するページの中心で、縦横それぞれの35画素で飛行する。スイングが検知されると、その距離および方向は飛球の正確な軌道測定用に使用するゲームエンジンに送信される。飛球は開始位置から始まり使用されるクラブにより決定される高さの位置まで通る指数曲線である。
+0 パターは0画素(これにより、ボールの転がりに似た直線を作成される)
+200ドライバーは200画素
+225から+325 アイアンは225画素から325画素
+350 ウエッジは350画素。
画像視野の高さ+(フラグからの現在距離−打球前進距離)/2に等しい画素でのY位置、および、画像の画素の中心+打球の横方向距離* 4に等しいX位置でボールは止まる。
ボールは3画素+170/現在のスイングのヤード数で逆幾何級数的に「小さくなる」ように表示される。上記の画素数は例示的であり限定するものではない。
本発明の特に重要な特徴は最小化した遅延で、モバイルデバイスでゴルフスイングすると飛球が実時間に近い表示が実施されることである。ゲーム中は、ウエブサイトはユーザディスプレイ116を繰り返しポーリングして更新する。更新が検出されると、スイングデータを取り入れてゲームエンジン120へ送信して、スイングデータにより駆動された飛球シミュレーションを起動する。スクリーン上のボールの高さ、落下点までの距離、左右にバールがずれる距離、小さくなるボールのサイズ、動画化にかかる時間はスイングデータにより変わる。ゲーム参加者の飛球は各プレイヤーのスクリーン上に表示される。例えば、仮想ゴルフ練習場で複数プレイヤーが練習する場合、最大のヤード数が表示される。プレイヤーがゴルフゲーム中である場合、前に行われたスイングにより決定されたホールでの新しい位置に各プレイヤーが移動する。パッティンググリーンの位置に殆ど来るまでゲーム中のプレイヤーは進み、パッティングをシミュレーションした後にホールにボールが入ったら次のホールに移動する。
発明者らはモバイルデバイスをスイングした後の実時間グラフィカル表示に関して複数の方法を実施した。現在のAJAXソリューションである「ショートポーリング」は高拡張性であり、数多くのユーザに対して実時間でコンテンツ更新に使用できる。
使用するディフォルトポーリングが1秒当たり1回であるが、より多くのポーリング、例えば、1秒当たり5回または6回のポーリングも可能である。AJAXポーリングまたは「ショートポーリング」では、このことは利用可能帯域幅の1つである。データが送信されていなくても、ただ単なるイベントチェックでもいくつかの帯域幅を使う。従って、もしユーザの数が多い場合、例えば、200、000の場合、1秒当たり5回でのポーリングはかなりの帯域幅を必要とする。しかしながら、一般的に帯域幅は処理能力および記憶領域よりも良くスケールする。また、加えて、帯域幅利用を管理するようにポーリングレートをダイナミックに調節できる。
図3を再度参照して、「ロングポーリング」を取り入れたアーキテクチャを図示した。アーキテクチャはWebSocketのWeb技術を使用している。発明者らは、サーバがウエブサイトに新しいデータを「押し入れる」のでラグが無くなる拡張性ロングポーリングアーキテクチャを作成した。AJAXポーリングでは、ウエブサイトが1秒当たり1回データベースをチェックするのを待つが、認識可能なラグがある可能性もある。
ロングポーリングによりデータの双方向伝送が可能になり、かつ、妥当な一つの技術としては、単独のTCP接続に全二重通信チャンネルを供給するウエブプロトコールであるWebStocktがある。WebStockt APIはW3Cにより標準化されており、かつ、WebStocktプロトコールはRFC6455としてIETFにより標準化されている。また、これは参照によりその全体が本明細書中に組み入れられる。
図3はコントローラとしてモバイルデバイスを使用してWebディスプレイを制御およびナビゲートし、かつ、ネットワークに亘ってモバイルデバイスが捉えたスポーツ動作データを送信するロングポーリングアーキテクチャによる方法を図示する。フォーンおよびWebディスプレイデバイスは同一または異なった地域でもあり得る。モバイルデバイスとWebディスプレイとの間の通信はWebStockt技術を使用して行われる。図5は具体的なゴルフの場合の図2のアーキテクチャの実施形態であり、かつ、図3のショートポーリングまたはロングポーリング法を使用して実施できる。
(2)モバイルデバイスのゴルフスイング分析
本発明の重要な側面は、Jefferyらの2012年10月18日提出「モバイルデバイスの動的センサを使用してスポーツ動作を分析する方法およびシステム」と題する米国特許出願第13/655、366号を受けて、モバイルデバイス10内に組込まれた加速度計およびジャイロスコープを使う動作アナライザー130である。本発明が克服しようとした特別の課題は実際にボールを打たずに、または、クラブやラケットを握らずに、ゴルフスイング分析をいかに正確に実施できるかということである。ここではゴルフについてスイング分析を記載するが、ここに記載された方法は、これらに限定されるわけではないが、例えばボールの打撃または投球、銃の照準合わせまたは射撃、釣竿での放出などの別の動作に応用可能であることを理解すべきである。最終のセクションはボウリング、テニス、野球などの別のスポーツに適用する動作分析法の一般化方法に関する。
図7はゴルフスイングをしている時のモバイルデバイス10のピッチ(a)およびロール(b)を図示する。本発明の重要な要素はアドレスの位置(ポジション1)でモバイルデバイス10を静かに持つことによる、モバイルデバイス10の校正である。次に、ピッチのモーションシグネチャはバックスイング(ポジション2)で増加し、ゴルフバックスイングのトップ(ポジション3)で局所最小値を示す。しかしながら、最小値(ポジション3)は、180度以上回転するピッチ動作センサのアーティファクトである。現実に、ピッチはバックスイングのトップの位置で180度を超える最大値まで増加し続ける。しかしながら、センサの限定により、モーションシグネチャを0から180度に制限する。ピッチデータは図示したように、打点(ポジション5)までのダウンスイング(ポジション4)中は低下し続ける。
精度分析
打点(ポジション5)でモバイルデバイス16は、ほぼ初期の校正点(ポジション1)に戻り、ゴルフでのこのポイントは仮想ゴルフボールを用いたインパクトでの手の位置で、かつ、局所最小値あることに留意する。ゴルフスイングが高速の場合では、打点での最小値はジャイロスコープの分解能限界により校正ゼロに正確に戻らない。打点の測定が極めて重要であるのは、このポイントでのモバイルデバイス10のロールが、クラブのフックまたはスライスを決定するからである。別のスポーツでは、打点はバットまたはラケットのフックおよびスライス、および/または、投擲あるいは投げるスポーツでの放出点測定に不可欠である。打点から開始し、ゴルフスイングはポジション(6)および(7)の位置をフォロースルーする。
要約すると、ピッチデータ、または、スクリーン(X軸)(図1参照)に見るモバイルデバイス10を上部半分と下部半分に分ける軸の周りの回転は、ゴルファーがスイングをする際に最も明らかになるデータストリームである。インパクトは、開始校正点(ゴルファーが構えのポジションにある時のスイング前に取った、例えば、1秒間で全てのフォーンの位置/方向データを平均値で「ゼロ」と定義する)に近づく主要な最小値で見られる。具体的に見ると、ゴルファーのスイングでゴルファーがバックスイングに入るとピッチデータが取れて、インパクトの際に校正に戻るが、フォロースルーに入ると再度、上昇する。インパクトは構えの位置、または、校正点に最も近いピッチポジションである。
一実施形態では、ゴルフスイングでの打撃点はクローラアルゴリズムを使用してピッチの第2の最小値になるように選択する。別の実施形態では、最小値はこれとZ加速度でのスパイクとを一致させるとこで確認できる。ピッチに1つ以上の主要な最小値が認められる場合は、インパクトであるとして選択された最小値はZ加速度の最大値を有するポイントにより決定される。この確認は、ゴルファーのバックスイングまたはフォロースルーにおける回転が非常に大きくてジャイロスコープが完全に機能せず、かつ、校正点近くで余分な最小値が出来てしまうケースで役立つ。
一度、インパクトが見られると、スイングの正確性は校正でのロールデータからインパクトでのロールデータを差し引いて測定される。ロールデータ、または、スクリーン(Y軸)を見る時のフォーンを左側半分と右側半分に分ける軸の周りの回転は、クラブフェイス上の「オープンおよびクローズ」フェイスポジションを示す。図7(b)はロールデータの拡大図を示す。負の差異を応答するスイングはユーザが回転過多であることを意味し、これは、インパクトでクローズフェイスを示し、その量により、ドローまたはフックになる。正の差異を応答するスイングはユーザが回転過少であることを意味し、これは、インパクトでオープンフェイスを示し、その量によりフェードまたはスライスになる。ほぼゼロを応答するスイングはクラブフェイスがインパクトで極めて近く校正方向に合っていることを意味し、ストレートな球飛を示す。
速度分析
クラブヘッドの速度は球飛距離測定にはゴルフでは重要なパラメータである。ゴルフクラブの製造者は、特定のスイングスピードとクラブヘッドでゴルフボールを打球した際の球飛距離を詳述した実験的な表を持っている。また、そのような表はクラブタイプ(具体的には、ドライバー、5番アイアン、パター)、クラブヘッドのロフト、シャフトの硬さ、および球飛にインパクトを与えるその他の変数を考慮に入れている。
スイングスピードはスポーツ動作のメカニズムのため複雑な計算である。ゴルフクラブヘッドなどの仮想のスポーツ器具の速度計算は関心事であるが、センサで手の動作を測定することは挑戦的なことである。プロの運動選手が使う幅広い器具に対して、手および腕の動作がどの様に動作センサ・データ・アウトプットに翻訳されるかを理解するために、広範な実験を適切にフィットしたスポーツ器具を使って実施した。ゴルフ分析を図示したが本方法は野球、テニス、ボウリング、バスケットボール、アメリカンフットボール、卓球を含めるが、これに限定されないその他のスポーツ動作に一般化可能であることを理解すべきである。また、これらの実施例は限定を意味するものではないと理解される。
図8(b)はゴルフスイングのスイング動作要素を図示する。もしも、クラブが腕に沿って正確にスイングされるとモバイルデバイス速度Vは以下の関係式でクラブヘッド速度(Vクラブヘッド)に関係する:
クラブヘッド = V x(腕の長さ + クラブの長さ)/腕の長さ(2)
しかしながら、エキスパートのゴルフプレイヤーは手首を曲げ、かつ、前腕を回転してボールに伝わるクラブヘッドの速度を増加させる。これらの手首の曲げ、および、回転はインパクトでのクラブヘッドの速度を飛躍的に増加させるので、式(2)は多くのゴルファーのゴルフスイングスピードについて巨視的な過小評価の値といえる。しかしながら、パッティングは手首の曲げが無いのでパッティングには有効である。
図8(a)は、具体的に、ゴルフスイングにつてモバイルデバイス10の速度を計算する方法を図示している。例示のフルゴルフスイングの場合のモバイルデバイス10のピッチに関するモーションシグネチャをグラフにした。スイングに関して標識したピッチデータでのポイント(4)、ポイント(5)、ポイント(6)に対応するスポーツ動作を下記に示した。初めに、スイングの局所最小値(ポイント5)でのピッチの最小値として定義するピッチデータでの打点を見出す。次に、60度の角度でピッチデータの前後を調べる。これらのデータポイントは正しい手首の曲げであると仮定すれば、スイング(4)および(6)のポジションと一致する。一般的に、2つのポジションの間の通過には10分の1秒で、プレイヤーの腕の長さを考えると、120度のアーク長で割りインパクトでのモバイルデバイス10の速度を得ることができるが、ここで、アークの半径は経過時間による腕の長さと等しいとする。このことからモバイルデバイス10の速度(手の速度)を得る。類似の方法をチッピングに使用できるが、しかし、短いスイング長のため55度以下の短くなったアーク長で行う。
高速ビデオクロッキングを用いて、ドライバー・クラブヘッド・スピードは手の速度の2.4倍程度に遅く(ユーザが緩まない腕、前腕、手首でクラブをスイングした場合)なり、または、手の速度の6倍程度に速く(世界レベルのプロのゴルファーの場合)なることが確認されている。これら2つのマルチプライヤの違いは、インパクトで90度のアーク長で腕を動かすのに要する時間では、ゴルファーがより大きなアーク長(180度に近いこともある)でクラブヘッドを動かすことを可能にする前腕の回転および手首の曲げの組み合わせから生まれる。発明者らが選択したマルチプライヤは手首の曲げおよび前腕の回転それぞれについて、Z軸およびY軸(ヨーおよびロール)上のインパクトからジャイロスコープの加速度により直接的に駆動される。
アイフォン4および4に関する詳細な実験からジャイロスコープは特に正確であることが分かっており、ロールデータは約1/2度以内ではフックまたはスライスを予測するのに非常に好適である。しかしながら、アイフォン4からの加速度計データは「雑音のある」状態であり、さらには、特に、ゴルフスイング全体からみて正確ではないが、しかし、インパクトで前腕の回転率を測定するには良好に働く。この理由により、スイングを部分に分けて、インパクトのモバイルデバイスの平均速度Vを計算する:
Figure 2015525085
式中、D−Dは図8のポイント(4)と(6)との間の距離であり;かつ、t−tは距離D−Dに要する時間である。打点での瞬間速度に極めて近い近似を可能にするので、より短い距離が好適である。しかしながら、このジャイロスコープの0.01秒分解能は120度のアークを必要とする。将来、ジャイロスコープのサンプリング分解能が向上すれば30度以下のアークが好ましい。
式(3)はモバイルデバイスの実際の瞬間速度の近似であり、かつ、上記の手首の曲げまたは前腕の回転を含んでいないので、ゴルフクラブヘッド速度の一次近似である。高速ビデオカメラに関する詳細な実験から、各種のスイングタイプについて+/−10%範囲のクラブヘッド速度を計算することにより、これらの変数のマルチプライヤを見出すことができる。クラブヘッド速度から理想的な状況で球飛距離を予測できる。
本発明者は加速度計からのデータ品質アウトプットが将来的には、飛躍的にアイフォンまたはアンドロイドベースのフォーンのバージョンを向上させると考える。一実施態様では、インパクトでのモバイルデバイス10(十分に正確な加速度計を有する)の速度は、バックスイングのトップ
Figure 2015525085
からモバイルデバイスのゼロ
Figure 2015525085
までの加速度(a,a,a)を積分することにより計算する。
Figure 2015525085
インパクトでの全モバイルデバイス速度は次のようになり:
Figure 2015525085
式中、
Figure 2015525085
は、ピッチデータから測定したバックスイングのトップでの最小値
Figure 2015525085
とインパクトでのスイングの最下点でのゼロ
Figure 2015525085
との間の時間である。積分は4次Runge−Kuttaアルゴリズムを使用してソフトウエアで計算する。例として、William H. Press et al、Numerical Recipes 3rd Edition: The Art of Scientific Computing、2007を参照のこと。
速度成分ベクトル(5)では内部加速度計は雑音のあるアウトプットなので、加速度計の現在のバージョンを用いて正確に計算するのは困難であり、このことから、現在は平均法の方程式(3)を使用する。スイング動作データはユーザに提示され、かつ、スイング一貫性向上の縦断的比較のために、アプリにローカルで、および、ユーザのアカウントにあるサーバで格納される。
また、ユーザはフォーンを自身のゴルフクラブにクレードルで装着し、距離および正確性について実際の練習スイングと計算されたスイングを比較できる。フォーンをクラブに装着した時に同様の分析を使用するが、しかし、フォーンはゴルフクラブと比べて軽量なのでユーザの手は自然と動きが速いことが主な理由で、フォーンと比べてユーザのゴルフクラブのスイングが遅くなり、マルチプライヤは違うものになる。
スイング分析の更なる実施例として、ゴルフクラブのフルスイングではなくパッティングを考察する。PING、Inc.は以前からパッティング用のアイフォンアプリを製作している。しかしながら、この会社の先行技術発明は3つの重大な限界がある:この方法では(1)パターにアタッチメントを必要とし、(2)物理的なボールとのインパクトを必要とし、(3)(約20フィート以上の)ロングパットでは正確でない。
本明細書に記載された方法は、これらのいかなる制限もない。上記に記載されたフルスイングと同様に、ユーザはパターのようにモバイルデバイス10を手に持ち、そして、静止1秒後に振動する:これでフォーンは準備完了となる。次に、ユーザは想像の(仮想の)ボールをパッティングする。フルスイングと比較してフォーンからのピッチデータは、インパクトで最小値となる相対的に滑らかな正弦波関数である。パターのストロークは式3から計算した平均速度を用いてゴルフのフルスイングと同様に分析するが、式中、DおよびDはボールとのインパクトした際のプールバックおよびストロークそれぞれの最大距離である。パターストロークの利点は関数が滑らかで、速度がゴルフのフルスイングと比較して相対的に遅いことである。このことから、式(4)および(5)はインパクトでの瞬間速度を計算するのにも使用し得る;パターの長さに関して、ボールとのインパクト時のパターヘッド速度のスケールマルチプライヤを用いて、式(4)の積分および式(3)の平均速度の両方を使用する。式(2)を参照。長いパターの場合の加速度法は、ますます精度が落ちていくが、平均速度法は経験的測定から得られたマルチプライヤを用いて、より良い結果を提供する。
パターヘッドのスピードからボールが転がる距離は、理想状態を仮定して計算できる。しかしながら、最も重要なことは物理的なボールを打つことをしないでインパクトでのフォーンのロール角の差の定量化(フルスイングの場合のフックおよびスライスと同様)が可能であることである。また、パットでの減速、または、左プルあるいは右プッシュ(これら最後の2つのエラーは加速度の第2積分およびロールデータから識別される)などのエラーについてジャイロスコープ加速度データの分析が可能である。さらに、スイング動作正確性データはユーザに提示され、かつ、パッティング一貫性向上の縦断的比較のためにアプリにローカルで、および、使用者のアカウントにあるサーバに格納される。
分散型ゲームプラットフォームに関連して、パッティングについての本発明の方法はゴルフゲームの先行技術の主要な欠陥を克服するが、仮想ゴルフゲームでのパッティングは信頼性がないことで有名である。PGSツアーでプレイしているエキスパートゴルファーでもゴルフコンピュータゲームでは一貫してパッティングを連続で3回または4回はすることが知られている。以前に述べたように、モバイルデバイスジャイロスコープを使用する本発明の方法は、例えば、NintendoWiiコントローラと比較してはるかに正確であるので、仮想ゴルフゲームでプロフェッショナルなゴルフパッティングを再現できる。
マルチセンサインパクト検知
モバイルデバイス10の単一タイプの回転データ(ピッチ)を使用する仮想物体との「打点」を検出する技術は上記に記載した。スポーツ動作シグネチャ(時間の関数としてのピッチデータ)は、スポーツ動作のタイプに特異な(例えば、ゴルフのフルスイング)特徴を分析した。スポーツ動作シグネチャのアプリオリ構造は、仮想打点の時間および空間の位置を分離するのに必要であった。別の実施態様では、発明概念を拡張して多くの異なるスポーツ動作シグネチャ、および、幅の広い動作について打点の検出ができるようにする。
図8(a)および(b)は、ゴルフスイングをしている時のモバイルデバイス10のピッチおよびヨーの変化を図示する。この場合、使用されたモバイルデバイスはアップルアイフォーン4Gsである。前述のとおり、モバイルデバイス10の校正はアドレスの位置(ポジション1)でモバイルデバイス10を静かに持つことで達成される。次に、ピッチの動作シグネチャはバックスイング(ポジション2)で増加し、ゴルフバックスイングのトップ(ポジション3)で局所最小値を示す。しかしながら、最小値(ポジション3)は180度以上回転するピッチ動作センサのアーティファクトである。先に述べた様に、現実に、ピッチはバックスイングのトップの位置で180度を超える最大値まで増加し続ける。しかしながら、センサの限定は動作シグネチャを0から180度に制限する。図示したように、ピッチデータは打点(ポジション5)までダウンスイング(ポジション4)中は低下し続ける。
高速カメラを用いた詳細な実験から、モバイルデバイスは初期のアドレス位置(ポジション1)近くに戻り、仮想打点(ポジション5)はピッチの局所最小値であることを見出した。打点(ポジション5)から、ゴルフスイングはフォロースルーして行く(ポジション6およびポジション7)。
打点の測定が極めて重要であるのは、このポイントでのフォーンのロールがクラブのフックまたはスライス、バットまたはラケット、および/または、投擲あるいは投げるスポーツでの放出点を定義するからである。以前、発明者らは第2の最小値のピッチ動作シグネチャを検索するクローラソフトウエアを使用した。しかしながら、異なるスイングが異なる動作シグネチャを有するので、この方法は普遍的に適用可能ではない。
異なるタイプのゴルフスイングは異なる動作シグネチャになる可能性が有る。具体的には、ゴルフをする高齢者ではバックスイングを短縮する傾向があることが分かったが、その結果、動作シグネチャはチップのように見えて、図9(a)にある第1の最小値がない。
このことから、単一動作センサアウトプットの動作シグネチャの特異的特徴を検索するクローラ法は誤った結果を生む。具体的には、ゴルフの場合、プロゴルファーのフルスイングの動作シグネチャではピッチデータの第2の最小値に打点がある。しかしながら、図7(b)および(c)には第2の最小値が無い;このことから、これらのタイプのショットで第2の最小値を検索するとエラーが発生する。従って、打点を得るために単一タイプの回転測定に動作シグネチャデータを使う方法には限界がある。本実施態様では、この問題を克服するために、打点および/または放出点を計算する少なくとも2つの異なるタイプの回転測定(例えば、ゴルフのピッチおよびヨー)を使用する。
図9(b)はフルゴルフスイングでのモバイルデバイスのヨーを図示する。ゴルフおよび野球のスイングではヨーは打点(5)で急速に変化する。このことから、ピッチおよびヨー動作センサデータを使用して、最大のヨー微分(ヨーの変化)を有するピッチ動作データの最小値を探索してインパクトゾーンを分離し得る。この方法は全てのタイプのゴルフスイングに効果があり、かつ、チップおよびパットの正確な打点検出を可能にする。
マルチセンサ打点検知方法の有意な利点は、モバイルデバイスにおける動作分析で遅延最小化が可能なことである。具体的には、ゴルフの場合では、ユーザが違えばそのゴルフスイングも大きく違い、かつ、校正点通過後のスイング開始をランダムに遅延できる。最も遅いスイングは校正後、約5秒後に完了する一方、最も速いスイングは2秒ほどである。一つの方法は大部分のスイングを捉えたために5秒間のデータを収集し、次に、打点最小値を検出するのにクローラを使う。しかしながら、3秒ほどの遅延が加わっており、かつ、モバイルデバイスでの処理を遅くする追加的なデータを捉えているので、この方法は非効率である。
本発明の方法では、カギとなるイベントはヨーが校正点でのヨーに等しくなる時、または、等価的にヨーがゼロを交差する時である。図9(b)参照。スライスボールの場合、打点はヨーがゼロを交差した後の100分の数秒であり、また、フックの場合、打点はヨーが校正点を交差する前の100分の数秒である。このことから、ヨーゼロ交差はゴルフスイングの下部での打点の位置を決める指数となる。具体的には、ヨーがゼロを交差した時で探し、かつ、追加的な150ミリ秒後のデータを短縮し、打点はヨーゼロ交差からプラスマイナス100ミリ秒に見出す。
10ミリ秒未満の演算処理時間を仮定して、本発明の総合インパクト検出およびスイング分析時間は200ミリ秒未満である。従って、ゴルフスイングの場合、本発明のオリジナルで進歩的なマルチセンサインパクト検知法を使用することで、式(1)におけるモバイルデバイス動作分析の遅延
Figure 2015525085
を約3秒から200ミリ秒未満に短縮できる。小さなデータパケット送信における50ミリ秒の米国の場合の総合的な公共のインターネット遅延、式(1)での
Figure 2015525085
=100ミリ秒を仮定し、データ送信がモバイルデバイス10からゲームサーバ110まで、そして表示デバイス20まで戻るのに数千マイルと認めれば、モバイルデバイス上の打点から表示デバイス上の飛球までの大体の合計遅延時間は約350ミリ秒である。ユーザはゴルフスイングのフォロースルー、つまり、図7の動作5−7を完了するのに約500ミリ秒かかる。このことから、図5のゴルフゲームシステムにいる複数の同時ユーザ30(A、B、C、D)に対して、飛球がほほ瞬間的に表示デバイス20に現れる。
モバイルデバイス動作分析遅延を短縮させる本明細書に記載された方法はゴルフスイングに限定されず、別の動作にも一般化可能であることを理解すべきである。さらに、複数のセンサはモバイルデバイスのピッチおよびヨーでなくてもよいが、モバイルデバイスで得られる複数のセンサ出力のうちの2つである。
本発明に記載するように、スイング動作の正確性に関するデータはユーザに提示され、かつ、スイング、パッティング、チッピング等の一貫性向上の縦断的比較用の動作アーカイブデータベース118内のゲームサーバ110に保存される。また、これらのデータはJefferyらの2012年10月24日提出「モバイルデバイスの動きに合致する動的でカスタマイズされたスポーツ指導を提供する方法」と題する米国特許出願大13/659、774号に詳細に開示された、上記の「仮想キャディー」分析およびカスタマイズされたスポーツ指導の基礎である。
(3)表示デバイス最適化
先行技術と比較した本発明のさらに別の利点は表示デバイス帯域幅利用率の最適化、および、全般的な遅延、モバイルデバイスのスイングと表示デバイス上の飛球表示との間の遅延時間の最小化を図る分散型インターネット環境で操作するように設計されたアーキテクチャであり、ここで、遅延とはゴルフの場合ではモバイルデバイスのスイングと次のショット表示媒体表現との間の時間の遅れである。遅延最小化に関してはスイングデータをモバイルデバイス10からゲームサーバ110へ送信、更には、グラフィックエンジン120へ送信に関する式(1)で記載した。ここでは、グラフィック解像度および特定のユーザの表示デバイスのインターネット接続速度(帯域幅利用率)を最適化する方法について見てみる。
ゴルフなどの3Dゲームを表現するにはかなりの計算能力を必要とし、かつ、先行技術のコンソールベースのゲームにおけるグラフィック画質はその処理能力に制約がある。本発明の方法は、ゴルフホールがセグメント化され、かつ、そのセグメントに画像がマッピングされている点で、コンソールベースのゲームとは実質的に異なる。一実施態様では、高いダイナミックレンジ(HDR)のカメラなどの現在利用可能な画像化技術が使われている。画像はシネマグラフ(循環する短編ビデオクリップ)およびスプライト(グラフィックエンジンで制御する短いビデオ)(図10に示す)によりさらに強調されるので、例えば、木々、旗、さらには雲が風にたなびくのである。写真の代わりに、画像は圧縮された高精細画質ビデオ、HDRビデオ、まだ発明されていない別の画像化技術などのフルスクリーンビデオであり得る。素晴らし効果が可能であり、ショット毎に低いデータ密度および計算要求となる。使用画像は写真機材で取った実際のゴルフコースのデジタル画像であり得る(または、それに基づいても良い)が、デジタル画像は必ずしも実際のゴルフコースに対応しなくても良く、例えば、芸術家が描くゴルフコースであったり、実際のゴルフコースの地形を簡素化したもの可能であることを理解すべきである。
2000年以降Webブラウザで支持されているカスケーディングスタイルシート(CSS)により、ウエブページ上でグラフィックスおよびテキストのフォーマット化が可能になる。CSSの1つの特徴は1つの数字をZ−インデックスと呼ばれる、1つのページ上のグラフィックスの層に付すことである。Z−インデックスは特定のウエブページから成る積み重なる画像層における数字と層序列の両方を定義する。
図10はシミュレーションされたゴルフゲームにおける画像に奥深さを出すためのCSSを使用した本発明の技術に関する例示的な例を示す。この方法は表示デバイスでのグラフィック処理を最小化するので遅延を短縮する。アニメーションの雲210、特定のヤード数で設定してある障害物220および230は画像の上に、300のZ−インデックスを背景画像200に付す。例えば、100ヤードには木230を、150ヤードには複数のブッシュおよび木220を設定、または、それぞれに100および150のZ−インデックスを付す。
初期段階で、飛球25は300のZ−インデックスを有し主要な背景に表示されるが、飛球距離、フック、スライスなどによりZ−インデックスは変わる。右にスライスした時に飛球距離が120ヤードであれば、飛球25のZ−インデックスは125に変わり、ボールが木の層100の背後でブッシュと木の層150の前に落下する。このことから、2Dイメージ環境において奥行き効果を作るために飛球のZ−インデックスをダイナミックに変更するので、ボールは特定の距離に対応した層の後ろに落下する。この方法は2D写真に限定されないだけでなく、デジタルビデオ、HDRビデオ、または、まだ発明されていない別の画像化技術に応用可能である。
また、表示デバイスの遅延を短縮し、かつ、帯域幅利用率の最適化する方法を開示することで本発明の新規性を図示する。
Figure 2015525085
表1.「Aquimo」が本発明の新しい方法である、デジタルゴルフゲームの先行技術方法との画像密度比較
表1は、方法1および方法2と表記した別の代表的方法と本発明の新しい方法(「Aquimo」)との比較である。
具体的には、本発明ではパー3では50画像未満、パー4では75画像未満、パー5では100画像未満を使用したが、別の方法ではこの量の2倍または4倍を使用する。表2(a)ないし2(c)は5、20、50Mb/秒の代表的な帯域幅について10%画像のロード時間を秒単位で示す。具体的に言うと、利用可能帯域幅は経時的に増大するが、本発明の方法は画像解像度および画像のプリロード時間の側面で最適化し、常に、先行技術よりも良い成績である。
Figure 2015525085
表2a.低帯域幅(5Mb/秒)
Figure 2015525085
表2b.中帯域幅(5Mb/秒)
Figure 2015525085
表2c.高帯域幅(5Mb/秒)
例として、飛球の飛びを予測するために過去のプレイヤーのスイング動作分析を使用する。従って、例えば、ユーザの平均ドライバー飛距離、フックまたはスライス、およびそれらのスイングメトリクスの標準偏差から見て、強調画像に対応させてボールが着地する可能性のあるコース上のトップ5の場所予測が可能である。より粒度の細かい方法(表2a−2cの方法1および方法2)は、同じ場所カバーするのにより多くの画像をロードしなければならない。(Translator’s Note:It seems“Method 1 and Method 2 is correct instead of“Method 2 and Method 3.)表2a−2cは10%プリローディングしたと仮定した全ての方法の場合における、低、中、高解像度画像での3つの帯域幅の場合の比較を示す。
目標としているのはユーザの表示デバイスに帯域幅利用率を組み込むことで、可能である限りユーザにグラフィカルな経験を提供することである。従って、例えば、5Mb/sの比較的低い帯域幅を使用するユーザには5画像に対してプリロード時間が6秒である低解像度の画像が提供されるが、これは、ゴルフクラブの選択、友達との会話等に費やす予想時間から見て許容される。しかしながら、ユーザが50Mb/s接続を有している場合には5画像に対してプリロード時間が4秒の高解像度を提供する。
特定の表示デバイスについての帯域幅利用率は次のように測定する:Javascriptの変数が定義され、全体で約2MBであるゲームスクリーン(2D画像、シネマグラフ、スプライトなど)のデジタル画像がゲームロジックサーバから送信されるので、startLoadを現在時間にセットする。画像ロード完了でfinishLoadと呼ばれる第2の変数が定義される:finishLoad−startLoad=ロード時間。もしも、ロード時間が単一の画像で4秒を超える場合にはデジタルコンテンツの解像度を低くし、さらに、もしも、ロード時間が2秒未満である場合にはゲームデジタルコンテンツの解像度を高くする。
従って、ユーザは合理的なバックグランドプリロード時間で最も高い解像度画像を経験する。効果として得られるのは、ユーザの帯域幅利用率に適合可能な最も高い解像度画像での瞬間的なショットからショットへの移行である。表2の方法1および方法2に示す別の方法では、これらの側面で最適化せず、プリロード時間が受け入れがたいほど大きいのでゲーム開始、ショット間の移行またはホール間の移行などで潜在的に重大な時間の遅れ、または、画像解像度が最適にならない。
上記以外のスポーツゲーム例
ここに記載された技術は身体動作、投擲、打撃などをする多くのゲームに対して一般化可能である。さらなる例としては、ボウリング、テニス、野球などが挙げられる。しかしながら、本発明の方法およびシステムはゴルフや別のスポーツに限定されず、モータスポーツ、アメリカンフットボール、ホッケー、ラグビーなどの数多くの別のスポーツゲームに応用可能である。また、本発明の方法およびシステムはスポーツゲーム以外のジャンルにも応用可能であることを理解すべきである。
(1)ボウリング
ボウリングゲームは二人対抗または相手チームとで競技する。各ユーザ(またはチーム)はボウリング場のフレーム、ピンに当たる時のクローズアップを「観る」が、さらに、ズームアウトして同時にプレイしている友達がいる横のレーンも観られる。いずれの場合も写真、アーチストによる2D表現、好ましくは、スコアボード、観客の歓声などにフラッシュライトを当てたシネマグラフであり得るが、または、メインの画像はフルスクリーンビデオであっても良い。
本発明の方法の利点は、Nintendo Wiiコントローラなどの先行技術と比べるとモバイルフォーンセンサーの方法がボウリングスイングの正確なモデル化に使用できる点である。また結果として、ボウリングボールにスピン速度を付与する投げ出し速度、および、角回転を測定できる。投げ出すたびに、ユーザは脇にある手から開始するフォーンをゼロに設定し、そして、表示デバイスの中心に向く。振動を感じたり、または、音響的な「スイング」を聞いたりしながらボウリングのスイング動作を行う。
ゴルフと同様に、スイングはモバイルデバイス10上で分析され、分析データはボウリングゲームサーバ110へ送信され、さらに、上記の方法の1つを使用して表示デバイス20に送信される。ボウリングボールの軌跡は、ダウンロードされた表示デバイスグラフィックエンジン125によりダイナミックに描かれる。スプライトはモバイルフォーンスイング動作分析に送られたボールの速度、軌跡、スピン速度によって変わり、Webベースのゲームエンジン120にプログラムされたロジックに従っている様々なピンモーションおよびピン倒れのモデル化に使用する。前述のゴルフゲームと同様に、プリロードコンテンツで遅延を最小化する同じ方法を使用する。また、Jefferyらの2012年10月24日提出「モバイルデバイスの動きに合致する動的でカスタマイズされたスポーツ指導を提供する方法」と題する米国特許出願大13/659、774号を受けて、ボウリング指示をゲーム環境に取り入れることができる。
(2)テニス
テニスはネットを張ったコート上で二人ないし四人で競技する。二人の場合の実施例を説明するが、本方法は複数ゲームを異なるプレイヤーにより同時に競技する4人の場合にも一般化可能である。テニスコートの様々な場所を取った写真はプレイヤーからの視点である。環境にプリロードされた最小限の写真セットを使用することで、ユーザに瞬間的に表示可能になる。この2D写真は観客の歓声および流れる雲など、および、ネットに当たったボールを拾いにコート上を走るボールボーイのスプライトによりシネマグラフで強調される。または、フルスクリーンビデオをシネマグラフで強調された写真の代わりに使用できる。
主要なショット、サーブ、フォアハンド、バックハンド、ロブショットなどを模倣するプレイヤーの分身(アバター)についてスプライトを作成する。このスプライトは表示デバイスWebページにダウンロードされたWebベースのテニスゲームエンジンで制御される。モバイルフォーン動作センサからの入力データにより、飛球はダウンロードされたグラフィック表示エンジンによりドラマチックに表現される。
テニススイングはグローバル・ポジショニング・センサーと組み合わせているモバイルフォーンで動作センサを使用して分析する。ユーザがサーブするために手を挙げるサーブ開始時点でフォーンをゼロに設定する。次に、フォーンのピッチおよびロール、ならびに、仮想ボールを打撃するフォーンの速度を分析することができ、これらのデータが仮想ボールに付与される方向およびスピンを定義する。
同様に、バックハンド、フォアハンド、ロブショット動作も分析される。これらのデータに対しては、仮想ボールがネットを超えてきたときには同期されたデータ中の特定の回転運動を検索する。また、プレイヤーのスクリーンに対する右か左へのシフト、前進、ネット際への寄りなどを知るためにGPSデータを取り込む。これらのデータはテニスゲームエンジンに送信されるので、プレイヤーは自身の動きに反応してダイナミックにコートの変化が観られる。例えば、プレイヤーがスクリーンの右側方向に前進すれば、2D画像がコートの右側のネットに近づくのである。
速いペースで動くので遅延最小化はテニスでは特に重要である。ショットから次のショットまでにはかなりの間があり、周期的に、ユーザのモバイルフォーンそれぞれの零点を再校正する。好ましい実施形態では、モバイルデバイス10は局所Socket接続経由で同時にWebベースのゲームサーバ110および表示デバイス20に接続される。この方法により、局所ゲーム部品の間の直接的なデータ送受信が可能になる。
このことから、動作分析は、ほほ瞬間的に局所ゲームエンジン120に送信され飛球が表示される。ボールはネットを超えて相手方に落ちるまで約1秒かかるが、0.2秒のポーリングまたはWebSocket(図3)を採用してモバイルフォーンのデータを別のプレイヤーのグラフィカルな表示用に送信する。ボールの運動を予測し、また、例えば、「プリインパクト検出」データの送信ができるので、アバターはプリリターンスイング動作をするので最小限の遅延でプレイを同調させる。
加えて、Jefferyらの2012年10月24日提出「モバイルデバイスの動きに合致する動的でカスタマイズされたスポーツ指導を提供する方法」と題する米国特許出願大13/659、774号を受けて、テニス指示をゲーム環境に取り入れることができる。
(3)野球
野球は特に本開示方法に適する。ゲームリソースデータベース117は、野球の内野での様々な位置で体系的に取られた2D写真またはビデオを含むことが可能である。写真は観衆、流れる雲などについてはシネマグラフにより強調可能である。さらに、スプライトを、例えば、打ち上げ花火や上空の飛行機の画像を強調するのに使用する。
例えば、ゲームは仮想チームに対抗する単一のプレイヤーや、複数プレイヤーによる2つのチームでもよい。プレイヤーおよび位置それぞれについて、捕球および投球動作用スプライトに関するデータベース117を作る。例えば、一塁のアバターはベースに片足をつけて複数の方角からくるボールを主に捕球し、ピッチャーにボールを投げ返すが、時々は二塁、三塁、ホームへ投げても良い。このことから、スプライトは一連のゲーム次第でプリロードできる。
ゲームルールエンジン115は複数プレイヤーのインターアクションを判断し、ゲームリソースデータベース117およびユーザデータベース116でインターフェイスするが、ウエブサイトゲームエンジン120およびグラフィックスエンジン125は特定のユーザの表示デバイス20にダウンロードされる。スイングおよび投球の動作分析はユーザのモバイルデバイス10で実施する。従って、例えば、バットのスイングはモバイルデバイスのスイングによりなされる。表示デバイスに仮想のストライクゾーンを定義し、このゾーンにピッチャーのアバターが投げ込んだ仮想ボールをユーザがスイングして打つ。本発明は、スイングとスイング軌道を定義する以下のセクションに記載の方法を使用する。スイングのタイミングはモバイルデバイス(バット)がストライクボールを打ち損じるか、または、潜在的にボールを打つかどうかを概算するのに使用する。ゲームルールエンジン115は一塁打、フライ、ホームランなど様々なヒットになったピッチャーの投球に対して一連のスイングを定義する。続けて、ゲームロジックエンジン120はモバイルデバイスのスイングに反応した飛球を判断する。プレイヤーらは仮想のチームメイトにより制御される可能性が有り、また、チームメイトは自身の場所で、プレイヤーのアバターがプレイするフィールドおよびスプライトに関して対応する2D写真またはビデオを見る。動作センサを使用して投球を分析するが、ここでは、スクリーン上の仮想グローブがボールをキャッチする。
好ましい実施形態では、ストライクであるかヒットであるかは次の方法を使用して決定する。ピッチャーの仮想投球がプレイヤーに到達に要する時間t打点は、時間t打点=d/vから計算できるが、ここで、dはピッチャーからホームプレートまでの距離(メジャーリーグの場合は60.5フィート、リトルリーグの場合は45フィート)であり、vは投球の速度である。メジャーリーグの95mphの投球速度を仮定して、ピッチャーからホームプレートまでの飛球時間は0.43秒である。つまり、時間t打点=0.43秒であった。クラウドベースのエンジンは投球のタイムスタンプtピッチプラスt飛球を、打点t打点のタイムスタンプと比較する。これが、所定の時間間隔内であれば、これらは衝突し、
Δt=[打点t打点−(tピッチプラス+t飛球)] (6)
例えば、δ秒、つまり、0.15秒以下であれば、仮想バットで仮想ボールをヒットしたと仮定でき、クラウドベースのグラフィックエンジン125により飛球のアニメーションがWeb対応ディスプレイ20上に表現される。しかしながら、もしも、Δt>δ秒であれば、仮想バットは仮想ボールを打ち損じ、そして、スイングはストライクであると仮定できる。
好ましくは、スポーツ動作分析および同期は、それぞれに0.1秒以下である忠実度をもつ同期されたモバイルデバイス10、クラウドベースの(またはネットワークされた)ゲームサーバ120、Web対応ディスプレイ20を使用する。現在のブラウザのローカルクロックタイムスタンプは信頼性が無く、かつ、Javascript呼び出しは内部時計に対して正確に等間隔でポーリングしない。好ましい実施形態では、ネットワーク時間プロトコール(NTP)はパケット交換、変数−遅延データネットワーク上のコンピュータシステム同期のために使用できる。本発明は、Javascript NTPクライアントを使用してクライアント(モバイルデバイス10および表示デバイス20)ならびにサーバ(クラウドベースのソフトウエアエンジン)の時間オフセットを取得する。これにより、正確な外部時計に基づく初期の協調型時間を設定する。続けて、可能な限り信頼性の高い粒度で、Webブラウザ依存的であるsetInterval()を使用してJavaScriptのコールバックをスケジューリングする。信頼性の高い間隔でコールバックがコールされていると仮定はしないが、しかし、代わりに、コールバック内から新しいDate().getTime()コールを使用し、かつ、実際の協調型時間を得るためにオフセットを適用し、さらに続けて、ピッチの実際時間tピッチおよび仮想打点t打点を見つけるために内挿する。これらのデータは式(6)を計算するのに使用する。
このことから、本方法はスポーツ動作が野球またはテニスボールなどの可動仮想物体に影響する活用事例に対して一般化可能および拡張可能であり、かつ、可動仮想物体(例えば、ボール、パック、シャトルコック)が動き、スポーツ動作およびプレイヤーの仮想スポーツ器具により打撃され、投げられ、受け取られるテニス、バトミントン、卓球、ラケットボール、ホッケー、バスケットボール、アメリカンフットボール、その他の類似の全てのスポーツに同様に適用できる。
Jefferyらの2012年10月24日提出「モバイルデバイスの動きに合致する動的でカスタマイズされたスポーツ指導を提供する方法」と題する米国特許出願大13/659,774号を受けて、特に、バッティングおよびピッチングに関する野球指示をゲーム環境に取り入れることができる。
一般的なスポーツ動作分析
ゴルフスイング分析にモバイルデバイスの複数の動作センサからのデータを使用する本発明の方法は、別のタイプのスポーツ動作に一般化可能である。図11(a)ないし(c)はテニスのフォアハンドの場合の、または、座った位置での水平なゴルフスイングのサンプル動作データを示す。この実施例ではスイング軌道は水平面にあるが、前腕は回転し、かつ、インパクトで手首は曲げている。このことから、この動作シグネチャデータは立位でのゴルフスイングおよび図11(a)の打点と異なり、かつ、ピッチはピッチデータがゼロ交差している。正しいゼロ交差の検出が課題となる。この実施例では、ヨーは打点近くの局所最小値である。このことから、図11(a)および(b)にあるピッチおよびヨーのそれぞれを参照しながら、2つのタイプの回転測定(ピッチおよびヨー)を使用して、この場合はピッチであるが単一センサのデータからより正確に打点を検出することができる。テニスのスイングの場合、図11(c)を参照しながら打点でのロールデータを使用してテニスボールに付与されたフックまたはスライススピンを計算できる。
校正点はモバイルデバイス10が、同じポジションで1秒間静止して保持されている特定に構えのポジションである必要はないことに留意する。テニスまたは卓球の場合では、校正点はプレイヤーがプレイの準備ができているポジションでの手が有るポイントから取得するか、および/または、前のスポーツ動作100の終点または校正点として選択しても良い。
スポーツ動作が可動仮想物体と交差し、かつ、放出点および打点が校正点とは異なる状態の好ましい実施態様の図示するために、野球およびボウリングの例を示す。
野球のスイング動作センサデータを図12(a)ないし(c)に図示する。野球のスイングの場合、校正点は仮想のティー上にボールを備え、モバイルデバイス(仮想バット)は自然に並ぶように親指を向け、手は地面に対して垂直で、体の前にした構えている両手でモバイルデバイス10を支持するポジションである。示したデータはプロのアスリートのデータであり、かつ、最適な野球のスイング動作の重要な特徴を示す野球のスポーツ動作の場合にはヨーが重要な変数であり、その理由は「バット」で仮想ボールに対して打点でスイングする時の理想の手の位置は、手のひらが地上に対して平行になる状態であり、これにより、インパクトでモバイルデバイスのヨーに急激な変化が起こる。校正点でのヨーはゼロであるから、モバイルデバイスは校正点に対して90度回転するが、打点はヨーがゼロを交差する時である。図13(a)参照。理想的な野球のスイングではバットのロールは打点の直ぐ後に起こる。図13(b)参照。次に、打点でロール値が最大値である場合、手首はバットをボールの上方向に上げる傾向があり、ゴロまたはボールに当たらない原因となり、これを「スイングバブル」と言う。
まとめると、モバイルデバイス10のピッチおよびヨーは打点でのバット角度について洞察を与える。例えば、図12(c)のピッチデータは打点でピッチは負であり、かつ、打点の後はゼロに戻らないので手が打点に対して下り勾配の状態であり、さらに、このことから、仮想のボールが校正点の下、つまり、ストライクゾーンの下半分のゾーンに投げられるとバットが仮想ボールに接触することを示す。
最後の実施例では、放出点が校正点とも打点とも異なる場合での使用を考える。図13(a)ないし(c)はボウリングスポーツ動作でのモバイルデバイス動作センサのデータを図示する。この実施例では、校正点は休めの状態でリラックスしていて、プレイヤーの体側で伸ばし、手のひらを前方に向けた状態である。第1に、ボウリング動作は仮想のボウリングボールを顎の方向に動かして両手で抱き、次に、数歩の間にダウンスイングと前方スイングをする。ピッチデータはプレイヤーが歩き始める時に局所最小値で、モバイルデバイス10が顎の方向に動くに従いモバイルデバイス10のピッチが増加することを図示する。次に、ピッチはプレイヤーがダウンスイング動作中にダウンスイングすると減少するが、初期校正ゼロに対応するゼロのピッチがあり、続けて、仮想ボウリングボールの放出点である第2のゼロのピッチに向かう最後のダウンスイングへの動作の移行がある。
前記のゴルフスイングと同様に、仮想のボウリングボールの速度は図8と同様に、または、積分方程式(3)により式(2)および30と60度のピッチポイントの時間差から計算できる。放出点を通じてのロールデータの変化率、ロールの微分は仮想のボウリングボールに与えられるスピン率に比例する。このことから、放出点での仮想のボウリングボールの速度およびスピンを計算できる。
この実施例では、放出点は校正点からの空間で異なり、かつ、打点は放出点から更に離れることに留意する。この実施例では打点は仮想の空間に生じる。上述したように、クラウドベースのゲームプラットフォーム100を使用して、仮想ボウリングボールの速度およびスピン、さらには、仮想ボウリングボールレーンの長さを考えに入れて、ボウリングボールおよび時間と空間でシュミレーションしたピンでのインパクトをウエブTVなどのHTML5対応ウエブディスプレイ上の仮想ボーリングレーンに表示できる。このことから、プレイヤーは仮想ボウリング動作を実施して、ウエブ対応ディスプレイ上で仮想ボウリングボールがレーンを転がりピンに当たるのを見るが、ここで、軌道とスピードはモバイルデバイスのスイングのシグネチャから計算した速度およびスピンにより判断され、かつ、連続動作のように時間でシンクロナイズさせる。
本発明は上記に概説した種々の実施態様と共に記載されたが、多くの代替形態、修飾形態および変形形態が当事者に自明であることが明らかである。従って、上記に説明された本発明の例示的実施態様は、例示のみを目的とするもので、限定するものではない。本発明の精神と範囲から逸脱することなく様々な変更を為すことができる。

Claims (55)

  1. 以下から成るゲームシステム;
    少なくとも1つのゲームを管理するように構成されたゲームサーバであり、ここで
    (a)第1の接続は第1のデバイスとゲームサーバの間でなされ、第1のデバイスが第1の動作センサを有し、
    (b)第2の接続は第2のデバイスとゲームサーバの間でなされ、
    (c)第1の接続によりゲームサーバ上で第1のデバイスゲーム動作データを第1のデバイスから受信し、ゲーム中に第1のプレイヤーに動かされる第1のデバイスに応答して、第1の動作センサを使用して第1のデバイスゲーム動作データは判断され、
    (d)第2のデバイス上でゲームに関連する第1の画像コンテンツが表示され、第1の画像コンテンツは、少なくとも一部は、受信した第1のデバイスゲーム動作データに基づき表現する。
  2. 第2のデバイスがWeb対応ディスプレイである、請求項1に記載のゲームシステム。
  3. 第1の接続および第2の接続が別々のインターネット接続である、請求項1に記載のゲームシステム。
  4. 第1の動作センサがジャイロスコープおよび加速度計を含む、請求項1に記載のゲームシステム。
  5. 第1のデバイスがジャイロスコープおよび加速度計から得た生動作データを分析し、第1のデバイスゲーム動作データを判断する、請求項1に記載のゲームシステム。
  6. 第1のゲーム動作データがスイング速度およびロール角を含む、請求項1に記載のゲームシステム。
  7. 第1のゲーム動作データが前腕の回転率、手首の曲げ率、スイング軌道を含む、請求項6に記載のゲームシステム。
  8. 以下から成るゲームシステム;
    少なくとも1つのゲームを管理するように構成されたゲームサーバであり、ここで
    (a)第1の接続は第1のデバイスとゲームサーバの間でなされ、第1のデバイスが第1の動作センサを有し、
    (b)第2の接続は第2のデバイスとゲームサーバの間でなされ、
    (c)第3の接続は第3のデバイスとゲームサーバの間でなされ、第3のデバイスが第2の動作センサを有し、
    (d)第1の接続によりゲームサーバ上で第1のデバイスゲーム動作データは第1のデバイスから受信され、ゲーム中に第1のプレイヤーに動かされる第1のデバイスに応答して、第1の動作センサを使用して第1のデバイスゲーム動作データは判断され、
    (e)第2のデバイス上でゲームに関連する第1の画像コンテンツが表示され、第1の画像コンテンツは、少なくとも一部は、受信した第1のデバイスゲーム動作データに基づいて表現され、
    (f)第3の接続によりゲームサーバ上で第3のデバイスゲーム動作データを第3のデバイスから受信し、ゲーム中に第2のプレイヤーに動かされる第3のデバイスに応答して、第2の動作センサを使用して第3のデバイスゲーム動作データは判断され、
    (g)ゲームに関連する第2のデバイス上で第2の画像コンテンツが表示され、第2の画像コンテンツは、少なくとも一部は、受信した第3のデバイスゲーム動作データに基づいて表現される。
  9. 第2のデバイスがWeb対応ディスプレイである、請求項8に記載のゲームシステム。
  10. 第1の接続および第2の接続が別々のインターネット接続である、請求項8に記載のゲームシステム。
  11. 第1の動作センサがジャイロスコープおよび加速度計を含む、請求項8に記載のゲームシステム。
  12. 第1のデバイスがジャイロスコープおよび加速度計から得た生の動作データを分析し、第1のゲーム動作データを判断する、請求項8に記載のゲームシステム。
  13. 第1のゲーム動作データがスイング速度およびロール角を含む、請求項8に記載のゲームシステム。
  14. 第1のゲーム動作データが前腕の回転率、手首の曲げ率、スイング軌道を含む、請求項13に記載のゲームシステム。
  15. 第2のデバイスがゲームサーバからダウンロードされた非同期Webアプリケーションを含む、請求項8に記載のゲームシステム。
  16. 以下から成る方法:
    (a)第1のデバイスとゲームサーバの間で第1の接続を確立し、第1のデバイスが第1の動作センサを有し、
    (b)第2のデバイスとゲームサーバの間で第2の接続を確立し、
    (c)第1の接続によりゲームサーバ上で第1のデバイスゲーム動作データを第1のデバイスから受信し、ゲーム中に第1のプレイヤーに動かされる第1のデバイスに応答して、第1の動作センサを使用して第1のデバイスゲーム動作データは判断され、
    (d)第2のデバイス上でゲームに関連する画像コンテンツを表示し、画像コンテンツは、少なくとも一部は、受信した第1のゲーム動作データに基づいて表現される。
  17. さらに以下から成る、請求項16に記載の方法:
    (e)第3のデバイスとゲームサーバとの間で第3の接続を確立し、第3のデバイスが第2の動作センサを有し、
    (f)第3の接続によりゲームサーバ上で第3のデバイスゲーム動作データを第3のデバイスから受信し、ゲーム中に第2のプレイヤーに動かされる第3のデバイスに応答して、第2の動作センサを使用して第3のデバイスゲーム動作データは判断され、
    (g)第2のデバイス上でゲームに関連する画像コンテンツを表示し、画像コンテンツは、少なくとも一部は、受信した第3のゲーム動作データに基づいて表現される。
  18. ゲームはゴルフのミュレーションされたバージョンであり、かつ、ゲームが進むに従いステップ(c)とステップ(d)、および、ステップ(f)とステップ(g)は二者択一的に実施される、請求項17に記載の方法。
  19. 画像コンテンツが第1のデバイスからローカルネットワーク接続経由で第2のデバイスで受信し、少なくとも一部は、第1のデバイスゲーム動作データに基づいて表示される、請求項16に記載の方法。
  20. 第1のデバイスがモバイルデバイスである、請求項16に記載の方法。
  21. モバイルデバイスがスマートフォンである、請求項20に記載の方法。
  22. 第2のデバイスがWeb対応ディスプレイである、請求項16に記載の方法。
  23. 第1の接続および第2の接続が別々のインターネット接続である、請求項16に記載の方法。
  24. 第1の動作センサがジャイロスコープおよび加速度計を含む、請求項16に記載の方法。
  25. 第1のデバイスがジャイロスコープおよび加速度計から得た生の動作データを分析し、第1のゲーム動作データを判断する、請求項24に記載の方法。
  26. 第1のゲーム動作データがスイング速度およびロール角を含む、請求項25に記載の方法。
  27. 第1のゲーム動作データが前腕の回転率、手首の曲げ率、スイング軌道を含む、請求項25に記載の方法。
  28. さらに以下から成る、請求項16に記載の方法:
    ゲームロジックが非同期Webアプリケーションを含んでおり、ゲームサーバからゲームロジックを第2のデバイスにダウンロードする。
  29. ゲームサーバの直接統制無しで非同期Webアプリケーションが画像コンテンツを表現し、かつ、ゲームサーバをポーリングして運動の示唆を取得するように構成された、請求項29に記載の方法。
  30. ポーリングがロングポーリングである、請求項29に記載の方法。
  31. ロングポーリングがWebSocketプロトコールにより実施される、請求項30に記載の方法。
  32. さらに以下から成る、請求項16に記載の方法:
    (e)第3のデバイスとゲームサーバとの間で第3の接続を確立し、第3のデバイスが第2の動作センサを有し、
    (f)第4のデバイスとゲームサーバとの間で第4の接続を確立し、
    (g)第3の接続によりゲームサーバ上で第3のデバイスゲーム動作データを第3のデバイスから受信し、ゲーム中に第2のプレイヤーに動かされる第3のデバイスに応答して、第2の動作センサを使用して第3のデバイスゲーム動作データが判断され、
    (h)第2および第4のデバイス上で、ゲームに関連する画像コンテンツを表示し、画像コンテンツは、少なくとも一部は、第3のデバイスゲーム動作データに基づいて表現され、(i)ここで、第2および第4のデバイス上に表示される画像コンテンツは、実質的に、同じ画像コンテンツを含む。
  33. さらに以下から成る、請求項32に記載の方法:
    (i)第1の接続によりゲームサーバ上で追加の第1のデバイスゲーム動作データを第1のデバイスから受信し、ゲーム中に第1のプレイヤーに再度動かされる第1のデバイスに応答して、第1の動作センサを使用して追加の第1のデバイスゲーム動作データが判断され、
    (h)第2および第4のデバイス上でゲームに関連する画像コンテンツを表示し、画像コンテンツは、少なくとも一部は、第3のゲーム動作データに基づいて表現される。
  34. 第2および第4のデバイスは、第1のプレイヤーおよび第2のプレイヤーが同時に観ることができない場所に位置する別々のWeb対応ディスプレイである、請求項32に記載の方法。
  35. 第1のデバイスおよび第3のデバイスがジャイロスコープおよび加速度計から得た生の動作データを個々に分析し、第1のゲーム動作データを判断する、請求項32に記載の方法。
  36. 第1のゲーム動作データがスイング速度およびロール角を含む、請求項32に記載の方法。
  37. 第1のゲーム動作データが前腕の回転率、手首の曲げ率、スイング軌道を含む、請求項32に記載の方法。
  38. さらに、ゲームをプレイするために第2のプレイヤーを呼ぶ第1のプレイヤーによる第2のプレイヤーの招待から成る、請求項16に記載の方法。
  39. ボイスオーバIPプロトコールを使用してゲームサーバが第1のプレイヤーと第2のプレイヤーとの間の通信を促進する、請求項16に記載の方法。
  40. ゲームがゴルフ、野球、ボウリング、テニス、バスケットボール、卓球、アメリカンフットボール、フィッシング、ホッケーなどの1つである、請求項16に記載の方法。
  41. 画像データの表現はデータベースからの少なくとも1つのデジタル画像の選択と、仮想ボールが地面に落ちるまで投影した場所に対応する選択された少なくとも1つのデジタル画像とを含む、請求項16に記載の方法。
  42. 画像がデジタル写真である、請求項41に記載の方法。
  43. 選択された少なくとも1つのデジタル画像は多層を含む、請求項41に記載の方法。
  44. 指数値を層のそれぞれに割り当ている、請求項43に記載の方法。
  45. 指数値をオーバラップした要素の重なり順序制御に使用する、請求項44に記載の方法。
  46. 指数値がZ−インデックスである、請求項44に記載の方法。
  47. 画像データの表現はプレイヤーインターアクションおよびゲームのルールに基づくコンテンツデータベースから選択された表示要素を含む、請求項16に記載の方法。
  48. 第2のデバイスの帯域幅の要件に基づき画像コンテンツ解像度が調節される、請求項16に記載の方法。
  49. 画像コンテンツの表現は選択されたデジタル画像を3Dスペースにマッピングした飛球表示、および、飛球の始点と終点との間の飛球アニメーション表示を含む、請求項16に記載の方法。
  50. 選択されたデジタル画像がシネマグラフおよびスプライトで強調される、請求項42に記載の方法。
  51. 各ホールではデジタル画像の数がn未満であり、ここで、nがパー3のホールでは50画像未満、パー4のホールでは75画像未満、パー5のホールでは100画像未満である、請求項41に記載の方法。
  52. デジタル画像がビデオである、請求項41に記載の方法。
  53. 画像コンテンツの表現は予めの選択がデジタル写真の使用の予測尤度に基づき、デジタル画像のそれぞれがゴルフコースのホールの一部であり、デジタル画像のデータベースから複数のデジタル画像の予めの選択を含む、請求項16に記載の方法で:
    第2のデバイスのメモリーに予め選択されたデジタル画像を保存し、
    メモリーから予め選択されたデジタル画像を選択する。
  54. さらに以下から成る、請求項16に記載の方法。
    (e)第nのデバイスが第(n−1)の動作センサを有している、第nのデバイスとゲームサーバとの間で第nの接続を確立し、
    (f)第(n+1)のデバイスとゲームサーバとの間で第(n+1)の接続を確立し、
    (g)第nの接続によりゲームサーバ上で第nのデバイスゲーム動作データを第nのデバイスから受信し、ゲーム中に動かされる第nのデバイスに応答して、第(n−1)の動作センサを使用して第nのデバイスゲーム動作データが判断され、
    (h)第(n−1)および第(n+1)のデバイス上でゲームに関連する画像コンテンツを表示し、画像コンテンツは、少なくとも一部は、第nのデバイスゲーム動作データに基づいて表現され、
    (i)ここで、nは3≧n≧100の範囲の整数である。
  55. さらに、(j)第(n−1)のデバイスおよび第(n+1)のデバイスに表示される画像コンテンツが実質的に同じ画像コンテンツを含む、請求項54に記載の方法。
JP2015510447A 2012-05-02 2013-05-02 モバイルデバイス動作センサ入力を用いたwebベースのゲームプラットフォーム Active JP6313283B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201261641825P 2012-05-02 2012-05-02
US61/641,825 2012-05-02
US13/875,179 US9022870B2 (en) 2012-05-02 2013-05-01 Web-based game platform with mobile device motion sensor input
US13/875,179 2013-05-01
PCT/US2013/039219 WO2013166251A1 (en) 2012-05-02 2013-05-02 Web-based game platform with mobile device motion sensor input

Publications (3)

Publication Number Publication Date
JP2015525085A true JP2015525085A (ja) 2015-09-03
JP2015525085A5 JP2015525085A5 (ja) 2016-03-03
JP6313283B2 JP6313283B2 (ja) 2018-04-18

Family

ID=49512930

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015510447A Active JP6313283B2 (ja) 2012-05-02 2013-05-02 モバイルデバイス動作センサ入力を用いたwebベースのゲームプラットフォーム

Country Status (9)

Country Link
US (2) US9022870B2 (ja)
EP (1) EP2844359B1 (ja)
JP (1) JP6313283B2 (ja)
KR (1) KR101800795B1 (ja)
CN (1) CN104394949A (ja)
AU (1) AU2013256266B2 (ja)
BR (1) BR112014026924B1 (ja)
CA (1) CA2869785C (ja)
WO (1) WO2013166251A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017134827A (ja) * 2016-01-25 2017-08-03 エヌエイチエヌ エンターテインメント コーポレーションNHN Entertainment Corporation ロングポーリング処理方法およびシステム、並びに記録媒体
WO2018147034A1 (ja) * 2017-02-09 2018-08-16 株式会社セガゲームス ゲーム装置、プログラム及びゲームシステム
JP2019535347A (ja) * 2016-10-17 2019-12-12 アクイモ,エルエルシー ゲームの制御のために制御機器のセンサを用いる方法及びシステム
US11400373B2 (en) 2019-08-26 2022-08-02 Black Inc. Information processing system and information processing method

Families Citing this family (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9821210B2 (en) * 2011-05-11 2017-11-21 Karsten Manufacturing Corporation Systems, methods, and articles of manufacture to measure, analyze and share golf swing characteristics
CN103677320B (zh) * 2012-08-30 2018-09-25 索尼公司 遥控器、远端设备、多媒体系统及控制方法
JP5406396B1 (ja) * 2013-04-03 2014-02-05 株式会社 ディー・エヌ・エー サーバー装置、及び、プログラム
US9911231B2 (en) * 2013-10-08 2018-03-06 Samsung Electronics Co., Ltd. Method and computing device for providing augmented reality
IN2013CH04559A (ja) * 2013-10-08 2015-04-10 Samsung Electrinics Company
CN104571986B (zh) * 2013-10-22 2018-07-06 精工爱普生株式会社 显示系统、显示装置以及显示方法
US9744458B2 (en) * 2013-11-13 2017-08-29 Gaijin Entertainment Corp. Method for simulating video games on mobile device
US9669300B2 (en) 2013-12-27 2017-06-06 Ballcraft, Llc Motion detection for existing portable devices
CN106413827A (zh) * 2014-03-19 2017-02-15 弗丘伊克斯控股公司 在全向运动系统中生成输入的方法
US9339714B2 (en) 2014-05-20 2016-05-17 Arccos Golf Llc System and method for monitoring performance characteristics associated with user activities involving swinging instruments
US10222868B2 (en) 2014-06-02 2019-03-05 Samsung Electronics Co., Ltd. Wearable device and control method using gestures
ES2552881B1 (es) 2014-06-02 2016-07-12 Samsung Electronics Iberia, S.A.U. Dispositivo portable y método de control mediante gestos
WO2016036425A1 (en) * 2014-09-05 2016-03-10 Ballcraft, Llc Motion detection for portable devices
EP3221017B1 (en) * 2014-11-18 2020-06-03 Razer (Asia-Pacific) Pte Ltd. Gaming controller for mobile device and method of operating a gaming controller
US11045723B1 (en) 2014-11-18 2021-06-29 Razer (Asia-Pacific) Pte. Ltd. Gaming controller for mobile device and method of operating a gaming controller
CN105897811B (zh) * 2015-01-26 2019-04-23 中国移动通信集团公司 一种数据同步方法和装置
US20160260319A1 (en) * 2015-03-04 2016-09-08 Aquimo, Llc Method and system for a control device to connect to and control a display device
JP2016209120A (ja) * 2015-04-30 2016-12-15 セイコーエプソン株式会社 スイング支援装置、スイング支援方法、プログラム、およびスイング支援システム
US9770639B2 (en) 2015-07-21 2017-09-26 Arccos Golf, Llc System and method for monitoring performance characteristics associated with user activities involving swinging instruments
US9578493B1 (en) * 2015-08-06 2017-02-21 Adtile Technologies Inc. Sensor control switch
CN105597323A (zh) * 2015-12-25 2016-05-25 北京像素软件科技股份有限公司 一种网络游戏中地形变化的实现方法及系统
CN107092430B (zh) * 2016-02-18 2020-03-24 纬创资通(中山)有限公司 空间绘画计分方法、用于进行空间绘画计分的装置及系统
WO2017161192A1 (en) * 2016-03-16 2017-09-21 Nils Forsblom Immersive virtual experience using a mobile communication device
CN105933788A (zh) * 2016-04-15 2016-09-07 成都趣梦网络科技有限公司 一种html5游戏控制方法、装置及终端
CN106055078B (zh) * 2016-05-31 2019-03-01 Oppo广东移动通信有限公司 一种移动终端的传感器处理方法、装置及移动终端
US10709975B2 (en) * 2016-06-29 2020-07-14 Intel Corporation Systems and methods for manipulating a virtual object
KR20180040451A (ko) * 2016-10-12 2018-04-20 엘지전자 주식회사 이동 단말기 및 그의 동작 방법
CN106559481A (zh) * 2016-11-02 2017-04-05 深圳市合互联技术有限责任公司 一种提供应用的方法及服务器
US10478732B2 (en) 2016-11-07 2019-11-19 Microsoft Technology Licensing, Llc Arbitrating an outcome of a multiplayer game session
US10352962B2 (en) 2016-12-29 2019-07-16 BioMech Sensor LLC Systems and methods for real-time data quantification, acquisition, analysis and feedback
US11318350B2 (en) 2016-12-29 2022-05-03 BioMech Sensor LLC Systems and methods for real-time data quantification, acquisition, analysis, and feedback
US10973439B2 (en) 2016-12-29 2021-04-13 BioMech Sensor LLC Systems and methods for real-time data quantification, acquisition, analysis, and feedback
US9773330B1 (en) 2016-12-29 2017-09-26 BioMech Sensor LLC Systems and methods for real-time data quantification, acquisition, analysis, and feedback
US9983687B1 (en) * 2017-01-06 2018-05-29 Adtile Technologies Inc. Gesture-controlled augmented reality experience using a mobile communications device
KR101881565B1 (ko) * 2017-01-10 2018-07-24 동서대학교산학협력단 운동 물리량 측정기반 모션데이터 생성-편집시스템 및 모션데이터 편집 프로그램 장치
US10682562B2 (en) 2017-01-17 2020-06-16 Arccos Golf Llc Autonomous personalized golf recommendation and analysis environment
JP7061848B2 (ja) * 2017-06-13 2022-05-02 任天堂株式会社 通信システム、サーバ、情報処理方法及びプログラム
US10593149B2 (en) * 2017-12-14 2020-03-17 Igt Skill based mobile device input to effect game outcome
US11103772B2 (en) 2018-01-12 2021-08-31 Bunch Live, Inc. Mediating multiplayer electronic game sessions
US11465056B2 (en) 2018-01-12 2022-10-11 Bunch Live, Inc. Game mediation component for enriching multiplayer gaming sessions
KR102046918B1 (ko) 2018-02-19 2019-11-20 동서대학교 산학협력단 서브모터를 이용한 모션 입력 장치 및 모션 입력 방법
CN112437910A (zh) * 2018-06-20 2021-03-02 威尔乌集团 握住和释放虚拟对象
CN109144642B (zh) * 2018-08-14 2022-02-18 Oppo广东移动通信有限公司 显示控制方法、装置、电子设备及存储介质
CN109621424B (zh) * 2018-12-18 2022-05-13 深圳源中瑞科技有限公司 一种可扩展的游戏构建方法、游戏运行方法和存储介质
US11642596B2 (en) 2019-04-29 2023-05-09 Bunch Live, Inc. Game mediation infrastructure for establishment of multiplayer gaming sessions
US11295527B2 (en) * 2019-08-30 2022-04-05 Sprongo, LLC Instant technique analysis for sports
US11606617B2 (en) * 2020-03-11 2023-03-14 Augusta National, Inc. Method, apparatus and computer program product for presenting a sporting event
CN112791385A (zh) * 2021-03-22 2021-05-14 腾讯科技(深圳)有限公司 游戏运行方法、装置、控制设备以及服务器
JP7457745B2 (ja) * 2022-03-30 2024-03-28 任天堂株式会社 ゲームプログラム、ゲームシステム、ゲーム装置、およびゲーム処理方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009000163A (ja) * 2007-06-19 2009-01-08 Nec Corp ゲームシステム、ゲームサーバ、携帯端末、ゲーム管理方法およびプログラム
JP2012507091A (ja) * 2008-10-27 2012-03-22 ソーシャル・ゲーミング・ネットワーク インターラクティブなプロキシミティディスプレイのテザーのための装置、方法およびシステム
JP2012073673A (ja) * 2010-09-27 2012-04-12 Toshiba Corp Gui処理装置、gui処理方法およびgui処理プログラム
JP2012515605A (ja) * 2009-01-23 2012-07-12 サムスン エレクトロニクス カンパニー リミテッド 携帯端末機のゲーム実行方法およびシステム
JP2013165933A (ja) * 2012-02-17 2013-08-29 Konami Digital Entertainment Co Ltd ゲーム制御装置、プログラム、ゲーム制御方法、ゲーム制御システム
JP2015509223A (ja) * 2011-12-05 2015-03-26 マイクロソフト コーポレーション 個人用装置によるパブリックディスプレイの制御

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6317722B1 (en) 1998-09-18 2001-11-13 Amazon.Com, Inc. Use of electronic shopping carts to generate personal recommendations
US7789742B1 (en) 1999-05-12 2010-09-07 Wilbert Q. Murdock Smart golf club multiplayer system for the internet
US6545661B1 (en) * 1999-06-21 2003-04-08 Midway Amusement Games, Llc Video game system having a control unit with an accelerometer for controlling a video game
KR20010003645A (ko) 1999-06-24 2001-01-15 윤종용 이동통신시스템에서 에이티엠 시그널링 수행장치
US20070066396A1 (en) * 2002-04-05 2007-03-22 Denise Chapman Weston Retail methods for providing an interactive product to a consumer
JP2004113689A (ja) 2002-09-30 2004-04-15 Mitsumi Electric Co Ltd ゴルフゲーム機能付き携帯電話機
US20050032582A1 (en) 2002-12-19 2005-02-10 Satayan Mahajan Method and apparatus for determining orientation and position of a moveable object
US20050054457A1 (en) 2003-09-08 2005-03-10 Smartswing, Inc. Method and system for golf swing analysis and training
US7300358B2 (en) 2003-11-24 2007-11-27 Karsten Manufacturing Corporation Multiple flex shaft system for golf clubs
TW200537901A (en) 2004-04-22 2005-11-16 Yuh-Swu Hwang Method and apparatus enable mobile phone capable of exercise measuring and workout support
WO2005113079A2 (en) 2004-05-19 2005-12-01 Fortescue Corporation Motion tracking and analysis apparatus and method and system implementations thereof
US7982738B2 (en) 2004-12-01 2011-07-19 Microsoft Corporation Interactive montages of sprites for indexing and summarizing video
US8083589B1 (en) * 2005-04-15 2011-12-27 Reference, LLC Capture and utilization of real-world data for use in gaming systems such as video games
KR100703490B1 (ko) 2005-04-18 2007-04-03 삼성전자주식회사 비동기 방식을 기반으로 한 이동 통신 단말기의 시간동기화 방법 및 그 시스템
US7942745B2 (en) 2005-08-22 2011-05-17 Nintendo Co., Ltd. Game operating device
US7927216B2 (en) 2005-09-15 2011-04-19 Nintendo Co., Ltd. Video game system with wireless modular handheld controller
US8218657B2 (en) 2005-09-02 2012-07-10 Netgear, Inc. System and method for automatic adjustment of streaming video bit rate
EP1810721A1 (en) 2006-01-19 2007-07-25 Friends-for-Golfers GmbH Golf diagnosis apparatus, golf equipment device, golf diagnosis system, and method of mounting a golf diagnosis apparatus
US7806777B2 (en) 2006-04-18 2010-10-05 World Golf Tour, Inc. Automatically adapting virtual equipment model
WO2008052605A1 (en) 2006-10-31 2008-05-08 Friend For Golfers Gmbh Data processing system and golf diagnosis apparatus
US20080319855A1 (en) 2007-02-16 2008-12-25 Stivoric John M Advertising and marketing based on lifeotypes
US20080293464A1 (en) 2007-05-21 2008-11-27 World Golf Tour, Inc. Electronic game utilizing photographs
US8850230B2 (en) 2008-01-14 2014-09-30 Microsoft Corporation Cloud-based movable-component binding
US8029359B2 (en) 2008-03-27 2011-10-04 World Golf Tour, Inc. Providing offers to computer game players
JP5438290B2 (ja) 2008-07-01 2014-03-12 住友ゴム工業株式会社 ゴルフクラブのスイングシミュレーション方法
US9459936B2 (en) 2009-05-01 2016-10-04 Kaazing Corporation Enterprise client-server system and methods of providing web application support through distributed emulation of websocket communications
US8303387B2 (en) 2009-05-27 2012-11-06 Zambala Lllp System and method of simulated objects and applications thereof
EP2583109A2 (en) 2010-01-12 2013-04-24 PPG Technologies Inc. Game device swing detector
KR20120100702A (ko) 2010-02-03 2012-09-12 닌텐도가부시키가이샤 표시 장치, 게임 시스템 및 게임 처리 방법
EP2353677A3 (en) * 2010-02-03 2014-01-22 Nintendo Co., Ltd. Game system, image output device, and image display method
CA2731025C (en) * 2010-02-05 2014-10-07 Fletcher Lu Mobile social fitness networked game
US8024469B1 (en) 2010-03-05 2011-09-20 Brass Monkey Inc. System and method for connecting network sockets between applications
KR101852812B1 (ko) * 2010-08-23 2018-04-27 엘지전자 주식회사 게임 애플리케이션 제공 방법 및 그 방법을 채용한 영상표시기기
US20120052933A1 (en) 2010-08-30 2012-03-01 Craig Alan Olson Multifunctional gaming platform
KR101059258B1 (ko) 2010-12-31 2011-08-26 (주) 골프존 모바일 단말기를 이용한 가상 골프 시뮬레이션 방법, 이를 위한 어플리케이션의 가상 골프 시뮬레이션 구현 방법, 이를 위한 어플리케이션 설계 방법, 이를 위한 어플리케이션의 프로그램 수행 방법 및 이를 제공하는 모바일 단말기

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009000163A (ja) * 2007-06-19 2009-01-08 Nec Corp ゲームシステム、ゲームサーバ、携帯端末、ゲーム管理方法およびプログラム
JP2012507091A (ja) * 2008-10-27 2012-03-22 ソーシャル・ゲーミング・ネットワーク インターラクティブなプロキシミティディスプレイのテザーのための装置、方法およびシステム
JP2012515605A (ja) * 2009-01-23 2012-07-12 サムスン エレクトロニクス カンパニー リミテッド 携帯端末機のゲーム実行方法およびシステム
JP2012073673A (ja) * 2010-09-27 2012-04-12 Toshiba Corp Gui処理装置、gui処理方法およびgui処理プログラム
JP2015509223A (ja) * 2011-12-05 2015-03-26 マイクロソフト コーポレーション 個人用装置によるパブリックディスプレイの制御
JP2013165933A (ja) * 2012-02-17 2013-08-29 Konami Digital Entertainment Co Ltd ゲーム制御装置、プログラム、ゲーム制御方法、ゲーム制御システム

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017134827A (ja) * 2016-01-25 2017-08-03 エヌエイチエヌ エンターテインメント コーポレーションNHN Entertainment Corporation ロングポーリング処理方法およびシステム、並びに記録媒体
JP2019535347A (ja) * 2016-10-17 2019-12-12 アクイモ,エルエルシー ゲームの制御のために制御機器のセンサを用いる方法及びシステム
WO2018147034A1 (ja) * 2017-02-09 2018-08-16 株式会社セガゲームス ゲーム装置、プログラム及びゲームシステム
US11400373B2 (en) 2019-08-26 2022-08-02 Black Inc. Information processing system and information processing method

Also Published As

Publication number Publication date
EP2844359B1 (en) 2017-01-11
CA2869785A1 (en) 2013-11-07
KR101800795B1 (ko) 2017-12-20
AU2013256266B2 (en) 2015-04-09
EP2844359A1 (en) 2015-03-11
WO2013166251A1 (en) 2013-11-07
BR112014026924B1 (pt) 2022-05-17
CN104394949A (zh) 2015-03-04
US20130296048A1 (en) 2013-11-07
JP6313283B2 (ja) 2018-04-18
BR112014026924A2 (pt) 2017-06-27
US20150238858A1 (en) 2015-08-27
KR20150006463A (ko) 2015-01-16
CA2869785C (en) 2018-02-13
EP2844359A4 (en) 2015-09-23
US9022870B2 (en) 2015-05-05
AU2013256266A1 (en) 2014-10-16

Similar Documents

Publication Publication Date Title
JP6313283B2 (ja) モバイルデバイス動作センサ入力を用いたwebベースのゲームプラットフォーム
US20240058691A1 (en) Method and system for using sensors of a control device for control of a game
US11049258B2 (en) Stereoscopic image capture with performance outcome prediction in sporting environments
CN104023799B (zh) 使用移动装置的动作传感器对体育动作进行分析的方法和系统
JP5286267B2 (ja) ゲーム装置、ゲームプログラム及びオブジェクトの操作方法
EP2973215B1 (en) Feedback signals from image data of athletic performance
US20090029754A1 (en) Tracking and Interactive Simulation of Real Sports Equipment
US20110172017A1 (en) Game machine, game program, and game machine control method
US20220401841A1 (en) Use of projectile data to create a virtual reality simulation of a live-action sequence
US20230196770A1 (en) Performance interactive system
JP2012181616A (ja) プログラム、情報記憶媒体、ゲーム装置及びサーバシステム
US20230191221A1 (en) Interactive soccer system
JP2012179128A (ja) プログラム、情報記憶媒体、ゲーム装置及びサーバシステム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160112

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160112

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20161221

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170110

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170406

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20170711

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171113

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20171211

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180220

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180322

R150 Certificate of patent or registration of utility model

Ref document number: 6313283

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250