JP2016513826A - 情報処理装置、描画装置、方法及びプログラム - Google Patents

情報処理装置、描画装置、方法及びプログラム Download PDF

Info

Publication number
JP2016513826A
JP2016513826A JP2015518673A JP2015518673A JP2016513826A JP 2016513826 A JP2016513826 A JP 2016513826A JP 2015518673 A JP2015518673 A JP 2015518673A JP 2015518673 A JP2015518673 A JP 2015518673A JP 2016513826 A JP2016513826 A JP 2016513826A
Authority
JP
Japan
Prior art keywords
client device
screen
information
drawing command
player
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015518673A
Other languages
English (en)
Other versions
JP6232423B2 (ja
Inventor
シリル ペリン,
シリル ペリン,
アレックス テイト,
アレックス テイト,
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Square Enix Holdings Co Ltd
Original Assignee
Square Enix Holdings Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Square Enix Holdings Co Ltd filed Critical Square Enix Holdings Co Ltd
Publication of JP2016513826A publication Critical patent/JP2016513826A/ja
Application granted granted Critical
Publication of JP6232423B2 publication Critical patent/JP6232423B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/4104Peripherals receiving signals from specially adapted client devices
    • H04N21/4126The peripheral being portable, e.g. PDAs or mobile phones
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/35Details of game servers
    • A63F13/355Performing operations on behalf of clients with restricted processing capabilities, e.g. servers transform changing game scene into an MPEG-stream for transmitting to a mobile phone or a thin client
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50Controlling the output signals based on the game progress
    • A63F13/52Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A63F13/525Changing parameters of virtual cameras
    • A63F13/5255Changing parameters of virtual cameras according to dedicated instructions from a player, e.g. using a secondary joystick to rotate the camera around a player's character
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/85Providing additional services to players
    • A63F13/86Watching games played by other players
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/005General purpose rendering architectures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066Session management
    • H04L65/1083In-session procedures
    • H04L65/1094Inter-user-equipment sessions transfer or sharing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/61Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H04L65/612Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for unicast
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/131Protocols for games, networked simulations or virtual reality
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234318Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into objects, e.g. MPEG-4 objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038Indexing scheme relating to G06F3/038
    • G06F2203/0383Remote input, i.e. interface arrangements in which the signals generated by a pointing device are transmitted to a PC at a remote location, e.g. to a PC in a LAN

Abstract

情報処理装置は、第1のクライアント機器から、該機器においてなされた操作入力の情報を取得し、該操作入力の情報に基づいて、第1のクライアント機器に提供される第1の画像についての第1の描画命令を生成する。また装置は、第2のクライアント機器から、描画オブジェクトの表示態様を変更するための変更情報を取得し、該変更情報に基づいて第1の描画命令を変更することで、第2の画面についての第2の描画命令を生成する。

Description

本発明は、概してクラウド型ビデオゲームに関し、特に観戦しているゲームプレイがリアルタイムに生じていることを観戦者が確認可能な情報処理装置、描画装置、方法及びプログラムに関する。
ビデオゲーム産業は、スタンドアロン型アーケードゲームの導入から、家庭用コンピュータゲーム、専門コンソール用に作られたゲームの出現まで、目覚ましい発展が見受けられる。そして、インターネットの民主化は、次の主要な発展、即ち「クラウドゲーミング」を可能にした。クラウド型ゲーミングシステムでは、プレイヤはインターネットを介してビデオゲームサーバに接続するスマートフォンやタブレットのような、一般的なインターネット対応電子機器を使用することが可能である。ビデオゲームサーバは、プレイヤについてセッションを開始し、複数のプレイヤについてそのようにしてもよい。ビデオゲームサーバは、プレイヤ行動(例えば移動、選択)及びゲームについての他の属性に基づいて、プレイヤについての画像の描画、及び音声の生成を行う。符号化された映像及び音声は、インターネットを介してプレイヤの機器に配信され、視聴可能な画像及び音声として再生される。このようにして、世界中のあらゆる場所のプレイヤは、専用のビデオゲームコンソール、ソフトウェアまたは描画処理ハードウェアを使用せずに、ビデオゲームをプレイすることができる。
このようにサーバ側での描画処理によって生成された画面をプレイヤの機器に提供する場合、生成した画面を動画符号化した後は、一般的な動画閲覧サイトのようにストリーム形式で動画が送信されることになる。換言すれば、1台のプレイヤの機器からの操作入力に応じて生成された動画は、動画閲覧サイトのように多数の機器に対して同時送信することが可能である。このようにすることで、例えば1人のプレイヤがプレイヤの機器でプレイしているゲーム画面を他のユーザに提供することができるため、他のユーザは自身の機器において該プレイヤのプレイしている状況を閲覧(観戦)することができる。
昨今では、1人のプレイヤが例えばオフラインの家庭用コンソールにおいてプレイするゲームの画面を解説しながら録画し、動画閲覧サイト等で配信する、所謂「実況」動画に対する需要も高まっている。クラウドゲーミングのようにサーバ側でゲーム画面の描画及び対応する符号化動画データの生成を行うシステムは、容易に動画データの配信を行えるだけでなく、プレイヤによるゲームのプレイと同時期に配信を行えるため、上述のような観戦機能はユーザやプレイヤの需要を満たすと考えられる。
しかしながら、このようにゲーム画面に限らずサーバ側で1つの機器についてグラフィックスを描画して得られた画面を該機器と他の機器とに提供する場合、他の機器のユーザが所望の表示態様となっていない可能性がある。例えば画面内のGUI等は、操作を行うユーザは好適な配置や色に変更することができるが、該画面を受信して表示のみを行う機器では、ユーザは配置や色を変更することはできなかった。
本発明はこのような従来技術の課題に鑑みてなされたものである。本発明は、他の機器の操作に基づいて描画される画面の表示態様を好適に変更する技術を提供する。
本発明の第1の態様に係る情報処理装置は、複数のクライアント機器に提供する画面に係る描画命令を生成する情報処理装置であって、第1のクライアント機器においてなされた操作入力の情報を該第1のクライアント機器から取得する第1の取得手段と、操作入力の情報に基づいて、第1のクライアント機器に提供する第1の画面に係る第1の描画命令を生成する第1の生成手段と、操作入力の情報に基づいて変化する画面が提供される第2のクライアント機器から、描画オブジェクトの表示態様を変更する変更情報を取得する第2の取得手段と、第1の描画命令を変更情報に基づいて変更することで、第2のクライアント機器に提供する第2の画面に係る第2の描画命令を生成する第2の生成手段と、を有する。
本発明の第2の態様に係る描画装置は、情報処理装置により生成された描画命令を使用して画面を生成する描画手段と、第1の描画命令に基づいて生成された第1の画面を第1のクライアント機器に送信する第1の送信手段と、第2の描画命令に基づいて生成された第2の画面を第2のクライアント機器に送信する第2の送信手段と、を有する。
本発明の第3の態様に係る情報処理装置の制御方法は、複数のクライアント機器に提供する画面に係る描画命令を生成する情報処理装置の制御方法であって、第1のクライアント機器においてなされた操作入力の情報を該第1のクライアント機器から取得する第1の取得工程と、操作入力の情報に基づいて、第1のクライアント機器に提供する第1の画面に係る第1の描画命令を生成する第1の生成工程と、操作入力の情報に基づいて変化する画面が提供される第2のクライアント機器から、描画オブジェクトの表示態様を変更する変更情報を取得する第2の取得工程と、第1の描画命令を変更情報に基づいて変更することで、第2のクライアント機器に提供する第2の画面に係る第2の描画命令を生成する第2の生成工程と、を有する。
本発明の第4の態様に係るプログラムは、1以上のコンピュータに、複数のクライアント機器に提供する画面に係る描画命令を生成する方法の、第1のクライアント機器においてなされた操作入力の情報を該第1のクライアント機器から取得する第1の取得工程と、操作入力の情報に基づいて、第1のクライアント機器に提供する第1の画面に係る第1の描画命令を生成する第1の生成工程と、操作入力の情報に基づいて変化する画面が提供される第2のクライアント機器から、描画オブジェクトの表示態様を変更する変更情報を取得する第2の取得工程と、第1の描画命令を変更情報に基づいて変更することで、第2のクライアント機器に提供する第2の画面に係る第2の描画命令を生成する第2の生成工程と、を実行させる。
さらに、本発明の特徴は、(添付の図面を参照して)以下の例示的な実施形態の記載により明らかになるだろう。
本発明の非限定的な実施形態に係るクラウド型ビデオゲームシステムアーキテクチャのブロック図 本発明の非限定的な実施形態に係る、図1のアーキテクチャの様々な物理的構成要素を示したブロック図 図2Aの変形例 図2A及び2Bの物理的構成要素により実現され得る、図1のアーキテクチャの様々な機能モジュールを示したブロック図 本発明の非限定的な実施形態に係る、ビデオゲームの実行中に行われる処理セットの実行を示したフローチャート 本発明の非限定的な実施形態に係る、受信した映像及び音声の各々を処理するためのクライアント機器の動作を示したフローチャート 本発明の位置実施形態に係る、クラウド型ビデオゲームシステムアーキテクチャのブロック図 本発明の実施形態に係る参加者データベース10により管理される種々のパラメータを示した図 本発明の実施形態に係るクラウド型ビデオゲームシステムにおいて送信されるデータの詳細を示した図 ビデオゲーム機能モジュール270による描画命令の生成、及び描画機能モジュール280によるグラフィック出力206、206Aの生成を示す図 本発明の実施形態おけるプレイヤに提供されるゲーム画面例を示した図 本発明の実施形態における観戦者に提供されるゲーム画面例を示した図
《1.クラウドゲーミングアーキテクチャ》
図1は、本発明の非限定的な実施形態に係るクラウド型ビデオゲームシステムアーキテクチャを概略的に示している。該アーキテクチャは、インターネット130等のデータネットワークを介してクラウドゲーミングサーバシステム100に接続された複数のクライアント機器120、120Aを含む。クライアント機器120、120Aの各々は、各々のローカルアクセスネットワーク(不図示)を介することを含む、あらゆる好適な方式でインターネット130に接続していてもよい。また、クラウドゲーミングサーバシステム100は、ローカルアクセスネットワーク(不図示)を介してインターネット130に接続してもよいが、クラウドゲーミングサーバシステム100はローカルアクセスネットワークの媒介なく、インターネット130と直接接続してよい。クラウドゲーミングサーバシステム100と1以上のクライアント機器120、120Aとの接続は、1以上のチャネルを含んでいてもよい。これらのチャネルは、物理的及び/または論理的リンクによりなされ、無線周波数、光ファイバ、光空間(free-space optical)、同軸ケーブル、及びツイストペアを含む様々な物理的媒体を回遊してもよい。チャネルはUDPやTCP/IPのようなプロトコルに従ってもよい。また、1以上のチャネルが、仮想プライベートネットワーク(VPN)でサポートされていてもよい。いくつかの実施形態では、1以上の接続はセッションベースでなされてもよい。
クラウドゲーミングサーバシステム100は、クライアント機器120、120Aのユーザが、ビデオゲームを個々に(即ち、シングルプレイヤ用ビデオゲーム)または集団で(即ち、マルチプレイヤ用ビデオゲーム)プレイすることが可能である。ビデオゲームの非限定的な例は、レジャー、教育及び/またはスポーツについてプレイされるゲームを含みうる。しかし、ビデオゲームは貨幣損益の可能性を参加者に提示する必要はない。2つのクライアント機器120、120Aのみが示されているが、クラウド型ビデオゲームシステムアーキテクチャ内のクライアント機器の数は特に限定されるものではないことは理解されるべきである。
クライアント機器120、120Aのうちの1つのユーザは、ビデオゲームの参加者としてクラウドゲーミングサーバシステム100に登録してよい。該ユーザは、「プレイヤ」として登録され得、そしてキャラクタ、アバタ、レースカー、コックピット等をコントロールする機会を得るだろう。マルチプレイヤ用ビデオゲームの場合、仮想世界は2以上のプレイヤに共有され、1人のプレイヤのゲームプレイは他のプレイヤのゲームプレイに影響を及ぼし得る。いくつかの実施形態において、クライアント機器120、120Aのうちの1つのユーザは、非プレイヤである「観戦者」として登録され得、このようにすることで該ユーザはプレイヤのゲームプレイを観賞するが、ゲーム内のアクティブキャラクタをコントロールできないことになるだろう。別段の指示がない限り、「参加者」との文言が使用された場合、プレイヤと観戦者の両方に等しく適用されることを意味する。
様々なプレイヤや観戦者に関するパラメータは、クラウドゲーミングサーバシステム100の一部、またはそれらから離れて配置されるものであってよい、参加者データベース10に格納されうる。
任意の1つのクライアント機器120、120Aの構成は、特に限定されるものではない。いくつかの実施形態において、1以上のクライアント機器120、120Aは、例えばパーソナルコンピュータ(PC)、家庭用ゲーム機(XBOX(登録商標)、PS3(登録商標)、Wii(登録商標)等のコンソール)、携帯ゲーム機、スマートテレビ、セットトップボックス(STB)等であってもよい。他の実施形態において、1以上のクライアント機器120、120Aは、携帯電話、電子手帳(PDA)、タブレットのような通信または計算装置であってもよい。
任意の1つのクライアント機器120、120Aは、該任意のクライアント機器のユーザが入力を提供し、ビデオゲームに参加することを可能ならしめるために、1以上の入力装置(タッチスクリーン、キーボード、ゲームコントローラ、ジョイスティック等)が備えられていてもよい。他の実施形態において、ユーザは身体動作を行う、外部オブジェクトを振る等してもよく、これらの動作はカメラや他のセンサ(例えばKinect(登録商標))により検出され、該任意のクライアント機器で動作するソフトウェアは、ユーザが該任意のクライアント機器に対して入力を提供しようとしているか、もしそうであれば該入力の本質を正確に推測することを試みる。任意のクライアント機器は、受信したユーザ入力及び検出されたユーザ動作を、インターネット130を介してクラウドゲーミングサーバシステム100に送信される「クライアント機器入力」に変換する。図示されている実施形態では、クライアント機器120はクライアント機器入力140を生成し、クライアント機器120Aはクライアント機器入力140Aを生成する。
クラウドゲーミングサーバシステム100は、様々なクライアント機器120、120Aから受信したクライアント機器入力140、140Aを処理し、該様々なクライアント機器120、120Aについての「メディア出力」を生成する。メディア出力は、符号化された映像(即ち、画像)及び音声(即ち、音)を含みうる。メディア出力は、パケットの形でインターネット130を介して送信される。クライアント機器120、120Aの特定の1つに向けられたパケットは、インターネット130を介して該装置にルートされるように、このような方法でアドレスされうる。クライアント機器120、120Aの各々は、クラウドゲーミングサーバシステム100から受信したパケット内のメディア出力をバッファして処理する電気回路、画像を表示するためのディスプレイ、及び音声を出力する振動子(例えばスピーカ)を含んでいてもよい。また、追加の出力装置は、動作を誘導するための電気機械システム等を提供してもよい。
《2.クラウドゲーミングサーバシステム100(分散型アーキテクチャ)》
図2Aは、クラウドゲーミングサーバシステム100の構成要素の非限定的な物理的構成の第1の態様を示している。本実施形態では、クラウドゲーミングサーバシステム100の個々のサーバが、専用の機能を実行するよう構成される。例えば、計算サーバ200Cは、ユーザ入力に基づいてビデオゲーム内の状態変化の追跡についての役割を担い、描画サーバ200Rは、グラフィック(画像)の描画についての役割を担い得る。
以下に記載される実施形態の例のために、クライアント機器120及びクライアント機器120Aの両方は、プレイヤまたは参加者としてビデオゲームに参加しているものとする。しかしながら、いくつかのケースでは1人のプレイヤと観戦者なし、複数のプレイヤと1人の観戦者、1人のプレイヤと複数の観戦者、及び複数のプレイヤと複数の観戦者等で構成されてもよいことは理解されるべきである。
簡単のため、以下の説明では単一の描画サーバ200Rに単一の計算サーバ200Cが接続されているものとする。しかしながら、1以上の描画サーバ200Rが同一の計算サーバ200Cに接続される、あるいは1以上の計算サーバ200Cが同一の描画サーバ200Rに接続されるものであってもよいことは理解されるべきである。複数の描画サーバ200Rが存在する場合、あらゆる適切な地理的領域に分散されるものであってもよい。
図2Aの構成要素の非限定的な物理的構成に示されるように、計算サーバ200Cは1以上の中央演算装置(CPU)220C、222C及びランダムアクセスメモリ(RAM)230Cを有する。CPU220C、222Cは、例えば通信バスアーキテクチャを介してRAM230Cにアクセス可能である。2つのCPU220C、222Cのみが示されているが、計算サーバ200Cのいくつかの実装例では、より多数のCPUあるいは単一のCPUのみが提供されてもよい。また、計算サーバ200Cは、ビデオゲームに参加しているクライアント機器の各々から、インターネット130を介してクライアント機器入力を受信する、ネットワークインタフェース要素(NIC)210C2を有する。以下に記載される実施形態の例では、クライアント機器120及び120Aの両方は、ビデオゲームに参加しているものとし、従って、受信したクライアント機器入力はクライアント機器入力140及びクライアント機器入力140Aが含まれうる。
さらに計算サーバ200Cは、描画命令セット204を出力する他のネットワークインタフェース要素(NIC)210C1を有する。NIC210C1を介して計算サーバ200Cから出力された複数の描画命令セット204は、描画サーバ200Rに送信されうる。一実施形態において計算サーバ200Cは、描画サーバ200Rに直接接続されうる。他の実施形態では計算サーバ200Cは、インターネット130であってもよいし、その他のネットワークであってもよいネットワーク260を介して描画サーバ200Rに接続されうる。仮想プライベートネットワーク(VPN)は、ネットワーク260を介して計算サーバ200Cと描画サーバ200Rとの間に確立されてもよい。
描画サーバ200Rにおいて、計算サーバ200Cにより送信された描画命令セット204は、ネットワークインタフェース要素(NIC)210R1において受信され、1以上のCPU220R、222Rに対して導かれる。CPU220R、222Rは、複数のグラフィック処理装置(GPU)240R、250Rに接続される。非限定的な例として、GPU240Rは、GPUコア242Rのセット及びビデオランダムアクセスメモリ(VRAM)246Rを含んでもよい。同様に、GPU250RはGPUコア252Rのセット及びビデオランダムアクセスメモリ(VRAM)256Rを含んでもよい。CPU220R、222Rの各々は、GPU240R、250Rの各々に接続されていてもよいし、GPU240R、250Rの集合に接続されていてもよい。CPU220R、222RとGPU240R、250Rとの間の通信は、例えば通信バスアーキテクチャを用いて確立されてよい。2つのCPU及び2つのGPUのみが示されるが、描画サーバ200Rの特定の実装例では、2以上のCPU及びGPUがあってもよいし、単一のCPUまたはGPUだけであってもよい。
CPU220R、222Rは、描画命令セット204を参加するクライアント機器用の複数のグラフィック出力ストリームに変換するために、GPU240R、250Rと協働する。本実施形態では、クライアント機器120、120Aの各々について2つのグラフィック出力ストリーム206、206Aがある。このことは、さらに詳細が後述されるだろう。さらに描画サーバ200Rは、これを介してグラフィック出力ストリーム206、206Aがクライアント機器120、120Aの各々に送信される、ネットワークインタフェース要素(NIC)210R2を有する。
《3.クラウドゲーミングサーバシステム100(ハイブリッドアーキテクチャ)》
図2Bは、クラウドゲーミングサーバシステム100の構成要素の非限定的な物理的構成の第2の態様を示している。本実施形態ではハイブリッドサーバ200Hは、ユーザ入力に基づいてビデオゲーム内の状態変化の追跡とグラフィック(画像)の描画の両方の役割を担う。
図2Bの構成要素の非限定的な物理的構成に示されるように、ハイブリッドサーバ200Hは1以上の中央演算装置(CPU)220H、222H及びランダムアクセスメモリ(RAM)230Hを有する。CPU220H、222Hは、例えば通信バスアーキテクチャを介してRAM230Hにアクセスできる。2つのCPU220H、222Hのみが示されているが、より多数のCPUまたは単一のCPUのみがハイブリッドサーバ200Hのいくつかの実装例において提供されてもよいことは理解されるべきである。またハイブリッドサーバ200Hは、ビデオゲームに参加するクライアント機器の各々からインターネット130を介してクライアント機器入力が受信されるネットワークインタフェース要素(NIC)210Hを有する。以下に記載される実施形態の例では、クライアント機器120及びクライアント機器120Aの両方は、ビデオゲームに参加しているものとし、故に受信したクライアント機器入力は、クライアント機器入力140及びクライアント機器入力140Aを含んでもよい。
また、CPU220H、222Hは、複数の描画処理装置(GPU)240H、250Hに接続される。非限定的な例ではGPU240Hは、GPUコア242のセット及びビデオランダムアクセスメモリ(VRAM)246Hを含んでいてもよい。同様にGPU250Hは、GPUコア252Hのセット及びビデオランダムアクセスメモリ(VRAM)256Hを含んでいてもよい。CPU220H、222Hの各々は、GPU240H、250Hの各々またはGPU240H、250Hの集合に接続されていてもよい。CPU220H、222HとGPU240H、250Hとの通信は、例えば通信バスアーキテクチャを用いて確立されうる。2つのCPUと2つのGPUのみが示されているが、ハイブリッドサーバ200Hの特定の実装例では、2以上のCPUを有するものであってもよいし、単一のCPUまたはGPUのみを有するものであってさえよい。
描画命令セット204を、参加しているクライアント機器に対してグラフィック出力ストリームに変換するために、CPU220H、222HはGPU240H、250Hと協働する。本実施形態では、参加しているクライアント機器120、120Aの各々に対して、2つのグラフィック出力ストリーム206、206Aが存在する。グラフィック出力ストリーム206、206Aは、NIC210Hを介してクライアント機器120、120Aの各々に送信される。
《4.クラウドゲーミングサーバシステム100(機能概要)》
さらに図2Cを参照すると、上述した計算サーバ200Cと描画サーバ200R(図2A)及び/またはハイブリッドサーバ200H(図2B)の物理的構成要素は、ビデオゲーム機能モジュール270、描画機能モジュール280、及び映像符号化器285を含む機能モジュールセットを実現する。図2Aの非限定的な実施形態によれば、ビデオゲーム機能モジュール270は計算サーバ200Cにより実現され、描画機能モジュール280及び映像符号化器285は描画サーバ200Rにより実現される。図2Bの非限定的な実施形態によれば、ハイブリッドサーバ200Hはビデオゲーム機能モジュール270、描画機能モジュール280、及び映像符号化器285を実現する。
本実施形態の例は、図を簡略化するために単一のビデオゲーム機能モジュール270について議論する。しかしながら、クラウドゲーミングサーバシステム100の実際の実装において、ビデオゲーム機能モジュール270と同様の多くのビデオゲーム機能モジュールが平行に実行される。したがって、クラウドゲーミングサーバシステム100は、同一のビデオゲームの複数の独立したインスタンス化または複数の異なるビデオゲームの同時のインスタンス化をサポートしうる。また、ビデオゲームは、あらゆる種類の1人プレイヤ用ビデオゲームまたはマルチプレイヤ用ゲームであってもよいことは理解されるべきである。
ビデオゲーム機能モジュール270は、計算サーバ200Cまたはハイブリッドサーバ200Hの所定の物理的構成要素により実現されてもよい。具体的には、ビデオゲーム機能モジュール270は、(計算サーバ200CのCPU220C、222Cやハイブリッドサーバ200HのCPU220H、222Hのような)CPUにより実行可能なコンピュータ読み取り可能な命令として符号化されうる。該命令は、(計算サーバ200Cの)RAM230C、(ハイブリッドサーバ200Hの)RAM230H、あるいは他の記憶領域に、ビデオゲーム機能モジュール270により使用される定数、変数及び/または他のデータとともに明白に(tangibly)格納されうる。いくつかの実施形態においてビデオゲーム機能モジュール270は、(計算サーバ200CのCPU220C、222Cやハイブリッドサーバ200HのCPU220H、222Hのような)CPUにより実行されているオペレーティングシステムによりサポートされうる、 バーチャルマシンの環境において実行されてもよい。
描画機能モジュール280は描画サーバ200R(図2A)あるいはハイブリッドサーバ200H(図2B)の所定の物理的構成要素により実現されてもよい。一実施形態において、描画機能モジュール280は、1以上のGPU(図2Aの240R、250R、図2Bの240H、250H)が引き受けてもよいし、CPUリソースを利用してもよいししなくてもよい。
映像符号化器285は、描画サーバ200R(図2A)またはハイブリッドサーバ200H(図2B)の所定の物理的構成要素により実現されてよい。本技術分野に属する当業者は、映像符号化器285を実現する種々の手法があることは容易に理解するだろう。図2Aの実施形態において、映像符号化器285はCPU220R、222R及び/またはGPU240R、250Rにより実現されうる。図2Bの実施形態では、映像符号化器285はCPU220H、222H及び/またはGPU240H、250Hにより実現されうる。その他の実施形態では、映像符号化器285は、分離された符号化チップ(不図示)により実現されてもよい。
動作において、ビデオゲーム機能モジュール270は、受信したクライアント機器入力に基づいて描画命令セット204を生成する。受信したクライアント機器入力は、行き先となるビデオゲーム機能モジュールを示すデータ(例えばアドレス)、及び由来するユーザ及び/またはクライアント機器を示すデータを運ぶものであってよい。クライアント機器120、120Aのユーザは、ビデオゲームに参加(即ちプレイヤまたは観戦者)しており、受信したクライアント機器入力は、クライアント機器120、120Aから受信したクライアント機器入力140、140Aを含む。
描画命令は、画像または一連の画像群を生成するように専用グラフィック生成装置(GPU)に導くために用いられうる命令を示す。図2Cを参照すると、描画命令セット204は、描画機能モジュール280により最終的に生成される画像を定義する。これらの画像は、ビデオゲーム機能モジュール270にプログラムされた、クライアント機器入力140、140Aに応じた機能として変化する。例えば、ビデオゲーム機能モジュール270は、所定の特定の要因に応じてユーザに(将来のインタラクションが異なる、より挑戦的とさせる、あるいはより刺激的とさせる)進行体験を提供するような方法でプログラムされ得、一方で、他の特定の要因への応答は、回帰や終了の体験をユーザに与えるだろう。ビデオゲーム機能モジュール270への指示はバイナリ実行可能なファイルの形式で固定され得るが、クライアント機器入力140、140Aは対応するクライアント機器120、120Aを使用するプレイヤのインタラクション動作があるまで不明である。結果として、提供される特定のクライアント機器入力に応じて、様々な種類の生じ得る結果が存在してもよい。プレイヤ/観戦者とビデオゲーム機能モジュール270の間のクライアント機器120、120Aを介した該インタラクションは、「ゲームプレイ」や「ビデオゲームをプレイしている」等として言及されうる。
描画機能モジュール280は、複数の画像ストリーム205を生成するために複数の描画命令セット204を処理する。一般に、参加者ごとに(あるいはクライアント機器ごとにも同等)、1つの画像ストリーム205が存在することになるだろう。描画が実行されている場合、3次元空間(例えば物理オブジェクト)あるいは2次元空間(例えばテキスト)に示される1以上のオブジェクトについてのデータは、特定のGPU240R、250R、240H、250Hのキャッシュメモリ(不図示)に展開される。該データは、GPU240R、250R、240H、250Hにより、適切なVRAM246R、256R、246H、256Hに格納されうる2次元画像に変換されうる。このようにして、VRAM246R、256R、246H、256Hは、ゲーム画面についての画素(ピクセル)値の一時的な格納領域を提供しうる。
映像符号化器285は、画像ストリーム205の各々に含まれる画像を、圧縮された映像フレームのストリームに圧縮及び符号化する。グラフィック出力ストリームとして言及される、圧縮された映像フレームの結果であるストリームは、クライアント機器基準で生成される。本実施形態の例では映像符号化器285は、クライアント機器120についてのグラフィック出力ストリーム206及びクライアント機器120Aについてのグラフィック出力ストリーム206Aを生成する。追加の機能モジュールが、インターネット130を介して送信可能なように映像フレームをパケット形式にするよう提供されてもよい。
《5.描画命令の生成》
以下、ビデオゲーム機能モジュール270による描画命令の生成が、図2C、3A及び3Bを参照してより詳細に説明される。具体的には、ビデオゲーム機能モジュール270の実行は、いかに詳細が説明されるメインゲームプロセス300Aと1以上のグラフィック制御プロセス300Bを含むいくつかのプロセスを伴う。
〈メインゲームプロセス〉
メインゲームプロセスとして言及される第1のプロセスは、図3Aを参照して説明される。メインゲームプロセス300Aは、断続的に実行する。メインゲームプロセス300Aの一部として、実行中、クライアント機器入力が受信されうるステップ310Aが提供される。ビデオゲームが観戦の可能性がない1人プレイヤ用ビデオゲームである場合、単一のクライアント機器(例えばクライアント機器120)からのクライアント機器入力(例えばクライアント機器入力140)がステップ310Aの一部として受信される。ビデオゲームがマルチプレイヤ用ビデオゲームまたは観戦の可能性がある1人プレイヤ用ゲームである場合、1以上のクライアント機器(例えばクライアント機器120及び120A)からのクライアント機器入力(例えばクライアント機器入力140及び140A)が、ステップ310Aの一部として受信されうる。
非限定的な例示の目的で、任意のクライアント機器からの入力は、該任意のクライアント機器のユーザが、制御下にあるキャラクタに対して移動、ジャンプ、キック、旋回、揺動、押す、引く等をさせることを所望していることを伝送しうる。代替的あるいは追加的に、該任意のクライアント機器からの入力は、1以上の音声、映像またはゲームプレイ設定を変更する、ゲームをロード/セーブする、あるいはネットワークセッションの作成やセッションへの参加を行うために、該任意のクリア案と装置のユーザによりなされたメニュー選択を伝送しうる。代替的あるいは追加的に、該任意のクライアント機器からの入力は、該任意のクライアント機器のユーザが特定のカメラ視野(例えば1人称または3人称)の選択、あるいは仮想世界内の視野の再配置を所望していることを伝送しうる。
ステップ320Aで、ゲームステートは、ステップ310Aにおいて受信したクライアント機器入力の少なくとも一部及び他のパラメータに基づいて更新されうる。ゲームステートの更新は、次の動作を伴いうる。
第1に、ゲームステートの更新は、クライアント機器入力が受信されうるクライアント機器に関連付けられた参加者(プレイヤまたは観戦者)の所定の特性(property)を更新することを伴いうる。これらの特性は、参加者データベース10に格納されうる。参加者データベース10に保持されてステップ320において更新されうる参加者特性の例は、カメラ視野の選択(例えば1人称、3人称)、プレイモード、選択された音声または映像の設定、スキルレベル、顧客グレード(例えばゲスト、プレミアム等)を含みうる。
第2に、ゲームステートの更新は、クライアント機器入力の解釈に基づいて、仮想世界内の所定のオブジェクトの属性を更新することを伴いうる。属性が更新されるオブジェクトは、いくつかのケースでは2次元または3次元モデルにより示されてもよいし、プレイキャラクタ、非プレイキャラクタ及び他のオブジェクトを含みうる。プレイヤキャラクタである場合、更新されうる属性はオブジェクトの位置、強さ、武器/防具、経過した寿命、特殊能力、速さ/方向(速度)、アニメーション視覚的効果、エネルギ、弾薬等を含みうる。他のオブジェクト(背景、植物、建物、乗り物、スコアボード等)である場合、更新されうる属性は、該オブジェクトの位置、速度、アニメーション、ダメージ/体力、視覚的効果、テキスト内容等を含みうる。
クライアント機器入力とは別のパラメータは、上述した(参加者の)特性及び(仮想世界オブジェクトの)属性に影響を与えうることは理解されるべきである。例えば、様々なタイマ(経過時間、特定のイベントからの時間、一日の仮想時刻、プレイヤ総数、参加者地理的位置等)が、ゲームステートの様々な態様に影響を及ぼしてもよい。
ステップ320Aの実行に加えてゲームステートが更新されると、メインゲームプロセス300Aはステップ310Aに戻り、前回のメインゲームプロセスを終了してから受信した新たなクライアント機器入力が収集され、処理される。
〈グラフィック制御プロセス〉
以下、グラフィック制御プロセスとして言及される第2のプロセスについて、図3Bを参照して説明する。グラフィック制御プロセス300Bは断続的に実行し、描画命令セット204の各々の結果をもたらす複数の分離したグラフィック制御プロセス300Bが存在してもよい。観戦の可能性がない1人プレイヤ用ビデオゲームの場合、1人のプレイヤのみが存在し、故に描画命令セット204の結果は1つのみであり、従ってグラフィック制御プロセス300Bは、上述したメインゲームプロセス300Aの延長として実行されうる。マルチプレイヤ用ビデオゲームの場合、複数の独立した描画命令セットが複数のプレイヤについて生成されることが必要であり、従って、複数のグラフィック制御プロセス300Bが並行して実行しうる。観戦の可能性がある1人プレイヤ用ゲームの場合、また単一の描画命令セット204のみが存在し得、故に単一のグラフィック制御プロセス300Bはビデオゲーム機能モジュール270において実行しうるが、結果である画像は、描画機能モジュール280により複数の観戦者にも複製されうる。もちろん、これらはただの実装の例であり、限定として取られるべきものではない。
別個の画像ストリームを要求する任意の参加者についてのグラフィック制御プロセス300Bのステップ310Bにおいて、ビデオゲーム機能モジュール270は該任意の参加者について描画されるオブジェクトを決定する。このステップは、以下の種類のオブジェクトを識別することを含みうる。
第1に、このステップは、仮想世界から任意の参加者についての「ゲーム画面描画範囲」(「シーン」としても知られる)内にある、これらのオブジェクトを識別することを含みうる。ゲーム画面描画範囲は、任意の参加者のカメラの投影(perspective)から「観ることが可能」な、仮想世界の一部を含みうる。これは、仮想世界内のオブジェクトに関連するカメラの位置及び方向に依る。ステップ310Bの非限定的な実装例において、錐台が仮想世界に適用され得、該錐台内のオブジェクトが保持またはマークされる。錐台は、任意の参加者のカメラの位置に置かれた頂点を有し、該カメラの方向性により規定される方向を有する。
第2に、このステップは、仮想世界内に現れないが、それにも関わらず任意の参加者について描画される追加のオブジェクトを識別することを含みうる。例えば、これらの追加のオブジェクトは、非限定的な2〜3の可能性を挙げると、テキストメッセージ、グラフィック警告及びダッシュボードインジケータを含んでもよい。
ステップ320Bで、ビデオゲーム機能モジュール270は、ステップ310Bにおいて識別されたオブジェクトを、画像に描画するための命令セットを生成する。描画は、視野及び適用される照明状態に従って、1つのオブジェクトまたはオブジェクト群の3次元または2次元座標の、表示可能な画像への変換を参照してもよい。これは、例えばここに参照により組み込まれる「"Computer Graphics and Geometric Modelling: Implementation & Algorithms", Max K. Agoston, Springer-Verlag London Limited, 2005」に記載されるような、あらゆるアルゴリズム及び技術を用いて達成されうる。
ステップ330Bで、ステップ320Bにおいて生成された描画命令は描画機能モジュール280に出力される。これは、描画機能モジュール280に送信する描画命令セット204への、生成された描画命令のパケット化を伴いうる。
本発明の技術分野に属する当業者は、上述したグラフィック制御プロセス300Bの複数の例示が複数の描画命令セット204の結果として実行され得ることを認識するだろう。
《6.グラフィック出力の生成》
描画機能モジュール280は、複数の描画命令セット204を解釈し、参加しているクライアント機器ごとに1つである、複数セットの画像ストリーム205を生成する。描画は、(図2Aの)CPU220R、222Rまたは(図2Bの)CPU220H、222Hの制御の下、GPU240R、250R、240H、250Hにより実現されうる。1つの参加者のクライアント機器に係る画像が生成されるレートは、フレームレートとして参照されうる。
N名の参加者が存在する実施形態において、N個の描画命令セット204(各参加者について1つ)が存在し、N個の画像ストリーム205(各参加者について1つの)が存在し得る。この場合、描画機能は参加者間で共有されない。しかしながら、2〜3の描画命令セットが描画機能モジュール280により処理される必要があるように、M個(M<N)の描画命令セット204からN個の画像ストリーム205が生成されてもよい。この場合、少ない数の描画命令セット204からより多い数の画像ストリーム205を生成するために、描画機能モジュール280は共有または複製を行ってもよい。このような共有または複製は、複数の参加者(例えば観戦者)が同一のカメラ画角を観ることを所望した場合に普及するものであってもよい。故に、描画機能モジュール280は、生成された画像ストリームが1以上の観戦者に複製されるように機能を実行してもよい。
次に、画像ストリーム205の各々における画像は、映像符号化器285により符号化され、グラフィック出力ストリームとして参照され、各クライアント機器に関連付けられた一連の符号化画像が得られる。図2A〜2Cの実施形態の例において、クライアント機器120についての一連の符号化画像はグラフィック出力ストリーム206として参照され、クライアント機器120Aについての一連の符号化画像はグラフィック出力ストリーム206Aとして参照されてもよい。
映像符号化器285は、デジタル映像についての映像圧縮または展開を可能にする、実行する、または定義する装置(またはコンピュータ読み取り可能な命令セット)であり得る。映像圧縮は、(画素位置、色値等で表現される)デジタル画像データのオリジナルストリームを、より少ないビットを用いるが実質的に同一の情報を伝送するデジタル画像データの出力ストリームに変換する。あらゆる適切な圧縮アルゴリズムが用いられてよい。データ圧縮に加え、特定の画像の符号化に用いられる符号化処理は、暗号化を適用してもよいし、しなくともよい。
上述の手法で生成されたグラフィック出力ストリーム206、206Aは、インターネット130を介して各クライアント機器に送信される。非限定的な例示目的で、グラフィック出力ストリームは、各々がヘッダ及びペイロードを有するパケットに、セグメント化あるいは形式化されてもよい。任意の参加者についての1つの画像に含まれるパケットのヘッダは、該任意の参加者に関連付けられたクライアント機器のネットワークアドレスを含んでもよく、ペイロードは全部または一部として画像を含んでもよい。非限定的な実施形態において、所任意の画像を符号化するために用いられる圧縮アルゴリズムの身元(identity)及び/またはバージョンが、該任意の画像を伝送する1以上のパケットのコンテンツ内に符号化されてもよい。符号化画像の他の送信手法は、本技術分野に属する当業者には思い当たるだろう。
本開示は映像フレームの個々の2D画像の描画にフォーカスするものであるが、本発明は3次元効果を生成するために、フレームごとに複数セットの2D画像の描画及び符号化の可能性を除外するものではない。
《7.クライアント機器におけるゲーム画面再生》
以下、非限定的な例示の目的で、クライアント機器120またはクライアント機器120Aたり得る、任意の参加者に関連付けられたクライアント機器の動作を示す図4Aを参照する。
ステップ410Aで、(1つのグラフィック出力ストリーム206、206A内の)符号化画像群は、実施形態に応じて描画サーバ200R(図2A)から、あるいはハイブリッドサーバ200H(図2B)から、インターネット130を介して受信される。
ステップ420で、符号化画像群は、圧縮処理に用いられた圧縮アルゴリズムを補間する展開アルゴリズムに従って復号される。非限定的な実施形態において、画像の符号化に用いられた圧縮アルゴリズムの身元またはバージョンは、予め知らされていてもよい。他の実施形態において、画像の符号化に用いられた圧縮アルゴリズムの身元またはバージョンは、画像を伝送する1以上のパケットのコンテンツ内において特定されてもよい。
ステップ430Aで、(復号された)画像が処理される。これは、バッファへの復号された画像の配置、誤り訂正、複数の連続する画像の順序付け及び/または合成、アルファブレンディング、欠損したデータの一部の補間等を含みうる。該結果は、毎フレーム基準でユーザに提示される最終画像となり得る。
ステップ440Aで、最終画像がクライアント機器の出力機構を介して出力される。例えば、コンポジット映像フレームが、クライアント機器のディスプレイに表示されうる。
《8.音声生成》
以下、音声生成処理として言及される3番目の処理が、図3Cを参照して説明される。音声生成処理は、知覚可能な音声ストリームを要求する各参加者について、断続的に実行する。一実施形態において、音声生成処理はグラフィック制御プロセス300Bと無関係に実行されてよい。他の実施形態において、音声生成処理及びグラフィック制御処理の実行が連動されてもよい。
ステップ310Cで、ビデオゲーム機能モジュール270は、生成される音声を決定する。具体的に本ステップは、音量(音の強さ)及び/または仮想世界内において参加者への近さに応じて、地形音響特性に影響を及ぼす仮想世界内のオブジェクトに関連付けられたこれらの音声を特定することを含みうる。
ステップ320Cで、ビデオゲーム機能モジュール270は音声セグメントを生成する。音声セグメントの継続期間は映像フレームの継続期間に及んでもよいし、いくつかの実施形態では音声セグメントは映像フレームよりも少ない頻度で生成されてもよいし、他の実施形態では音声セグメントは映像フレームよりも高い頻度で生成されてもよい。
ステップ330Cで、音声セグメントは例えば音声符号化器により符号化され、符号化音声セグメントが得られる。音声符号化器は、音声圧縮または展開アルゴリズムを可能にする、実行する、または定義する装置(または命令セット)であってもよい。音声圧縮は、(徐々に振幅及び位相が変化する音波として表現される)デジタル音声のオリジナルストリームを、より少ないビットを使用するが実質的に同一の情報を伝送するデジタル音声データの出力ストリームに変換する。あらゆる適切な圧縮アルゴリズムが用いられてよい。音声圧縮に加え、特定の音声セグメントの符号化に用いられる符号化処理は暗号化を適用してもよいし、しなくてもよい。
いくつかの実施形態において、音声セグメントは計算サーバ200C(図2A)またはハイブリッドサーバ200H(図2B)のいずれかの専用ハードウェア(例えばサウンドカード)により生成されてもよいことは理解されるべきである。図2Aの分散型構成に適用可能な代替的実施形態において、音声セグメントはビデオゲーム機能モジュール270によりスピーチパラメータ(例えばLPCパラメータ)にパラメータ化されてもよく、スピーチパラメータは描画サーバ200Rにより、配信先のクライアント機器(例えばクライアント機器120またはクライアント機器120A)に再配信されうる。
上述した方式で生成された符号化された音声は、インターネット130を介して送信される。非限定的な例示を目的として、符号化された音声入力は、各々がヘッダ及びペイロードを有するパケットに分解及び形式化されうる。ヘッダは、音声生成処理が実行される参加者に関連付けられたクライアント機器のアドレスを伝送してもよく、ペイロードは符号化された音声を含んでいてもよい。非限定的な実施形態において、任意の音声セグメントの符号化に用いられる圧縮アルゴリズムの身元及び/またはバージョンは、該任意のセグメントを伝送する1以上のパケットのコンテンツ内に符号化されてもよい。符号化された音声を送信する他の手法は、本技術分野に属する当業者には思い当たるだろう。
以下、非限定的な例示を目的として、クライアント機器120またはクライアント機器120Aであってよい、任意の参加者に関連付けられたクライアント機器の動作を示す図4Bを参照する。
ステップ410Bで、符号化された音声セグメントが(実施形態に応じて)計算サーバ200C、描画サーバ200R、またはハイブリッドサーバ200Hから受信される。ステップ420Bで、符号化処理に用いられた圧縮アルゴリズムを補間する展開アルゴリズムに従って、符号化された音声は復号される。非限定的な実施形態において、音声セグメントの符号化に用いられた圧縮アルゴリズムの身元またはバージョンは、音声セグメントを伝送する1以上のパケットのコンテンツ内で特定されてもよい。
ステップ430Bで、(復号された)音声セグメントが処理される。これは、バッファ内への復号された音声セグメントの配置、誤り訂正の実行、複数の連続する波形合成等を含みうる。該結果は、毎フレーム基準でユーザに提示される最終音声となり得る。
ステップ440Bで、最終的に生成された音声は、クライアント機器の出力機構を介して出力される。例えば、音声はクライアント機器のサウンドカードまたはスピーカを介して再生される。
《9.非限定的な実施形態の具体的開示》
以下、本発明の所定の非限定的な実施形態のより詳細な説明が提供される。
しかしながら、まず、図1に示され、以下図6を参照してさらに説明される、クラウドゲーミングサーバシステム100についての追加的な詳細を提供することが役立つだろう。参加者データベース10は、プレイヤの各々についてのパラメータ(即ち、「プレイヤ関連パラメータ」610)を記憶する。各プレイヤは、プレイヤIDと、プレイヤID別に編成されうるプレイヤ関連パラメータ610を有し得る。任意のプレイヤIDを有するプレイヤについてのプレイヤ関連パラメータは、プレイヤのクライアント機器のIPアドレス、プレイヤのクライアント機器の位置、プレイヤのアカウント情報、プレイヤのサブスクリプション・プロファイル、プレイヤのデモグラフィック(年齢、性別、収入等)などのデータを含みうる。
また、参加者データベース10は、各観戦者についての基本パラメータ(即ち、「基本観戦者関連パラメータ」620)を格納する。各観戦者は、観戦者IDと、観戦者ID別に編成されうる基本観戦者関連パラメータ620とを有していてよい。任意の観戦者IDを有する観戦者についての基本観戦者関連パラメータは、観戦者のクライアント機器のIPアドレス、観戦者のクライアント機器の位置、観戦者のサブスクリプション・プロファイル、観戦者のデモグラフィック(年齢、性別、収入等)、観戦者が観戦しているプレイヤのプレイヤIDなどのデータを含みうる。
さらに、参加者データベース10は、1以上の観戦者についてのカスタマイズ可能な表示設定用パラメータ(即ち、「カスタマイズ可能観戦者関連パラメータ」630)を記憶する。いくつかの実施形態において、カスタマイズ可能観戦者関連パラメータは、色、名前、またはトレードマークを示すデータを含みうる。他の実施形態において、カスタマイズ可能観戦者関連パラメータは、写真、ロゴ等を含むあらゆる種別の画像であってよい表面テクスチャを示すファイルを含みうる。さらに他の実施形態では、カスタマイズ可能観戦者関連パラメータは映像を含みうる。
以下、ゲームの観戦者として登録した観戦者により観戦することが可能なビデオゲーム実施形態を検討する。本実施形態において、図5に示されるように、単一のプレイヤ500P及び単一の観戦者500Sが例示の目的で用いられるが、1以上のプレイヤが該ビデオゲームをプレイし、1以上の観戦者が該ビデオゲームを観戦してもよいことは理解されるべきである。本実施形態において、プレイヤ500Pはクライアント機器120のユーザであり、観戦者500Sはクライアント機器120Aのユーザである。
以下、図7に関して、観戦者500Sのクライアント機器120Aがクラウドゲーミングサーバシステム100に対して表示設定パラメータ710を与える。表示設定パラメータ710は、クライアント機器入力140Aの一部としてクライアント機器120Aから提供されうる。本発明の実施形態に依れば、クラウドゲーミングサーバシステム100は、1以上のカスタマイズ可能観戦者関連パラメータ630を表示設定パラメータ710に基づいて変更することにより応答する。これは、観戦者500Sに提供されるグラフィック出力206Aに現れるが、プレイヤ500Pに提供さえるグラフィック出力206Aには現れないグラフィック特性(例えば色、テクスチャ)への変更をもたらす。結果として、プレイヤ500Pがゲームから引き離されることをなくしつつ、グラフィック出力206Aの画像の観賞により、記録されたものでなく、リアルタイムのゲームプレイを観賞していることを観戦者500Sは確認することができる。
[実施形態]
本実施形態を説明するために、ビデオゲーム機能モジュール270による描画命令の生成、及び描画機能モジュール280によるグラフィック出力206、206Aの生成を概念的に示す図8を参照する。
〈メインゲームプロセス〉
ビデオゲーム機能モジュール270は、300Aで示されるメインゲームプロセスを実行する。メインゲームプロセス300Aは、図3Aを参照して上述し、以下、プレイヤ500P及び観戦者500Sを伴う実施形態のコンテクストにおいて説明される、ステップ310A及び320Aを含む。
ステップ310Aで、クライアント機器入力が受信されうる。この場合、クライアント機器120がプレイヤ機器であり、クライアント機器120Aが観察者機器であることを想起する。これらの2種類のクライアント機器から受信した入力140、140Aの性質は異なっており、以下説明する。
プレイヤ500Pのクライアント機器120の場合、プレイヤ500Pが自身のコントロール下にあるキャラクタに移動、ジャンプ、キック、先回、振り回す、引っ張る、つかむ等をさせることを所望していることを、クライアント機器入力140が伝送し得る。代替的または付加的に、音声、映像またはゲームプレイ設定の1以上の設定を変更するため、ゲームをロード/セーブするため、もしくはネットワークセッションを生成またはセッションに参加するために、プレイヤ500Pによりなされたメニュー選択をクライアント機器入力140は伝送してもよい。代替的または付加的に、特定のカメラビュー(例えば1人称または3人称)を選択する、または仮想世界内の視点を再配置することをプレイヤ500Pが所望していることを、クライアント機器入力140は伝送してもよい。
観戦者500Sのクライアント機器120Aの場合、音声または映像設定を変更するため、ゲームをロード/セーブするため、もしくはネットワークセッションを設定またはセッションに参加するために、観戦者500Sによりなされたメニュー選択をクライアント機器入力140Aは伝送し得る。付加的に、観戦者500Sのクライアント機器120Aの場合、クライアント機器入力140Aは表示設定パラメータ710を伝送してもよい。表示設定パラメータ710は、クライアント機器120Aを介して観戦者500Sにより設定された、表示のため追加データを含みうる。追加データの例は、特定の色、テクスチャ、写真、テキストメッセージ、トレードマーク、ロゴ、ウェブページアドレス、映像、または他の個人的な印であってよい。また表示設定パラメータ710は、観戦する画面、即ちプレイヤ500Pの操作によって進行するゲームに係る画面に含まれる特定の描画オブジェクトの表示態様を変更するための情報を含んでいてよい。描画オブジェクトの表示態様を変更するための情報は、上述したように色やテクスチャを変更する等の情報であってもよいし、表示位置、透過度あるいは表示の有無、付加エフェクトの有無等を定めるものであってよい。
ステップ320Aで、ステップ310Aにおいて受信されたクライアント機器入力140及び他のパラメータに基づき、ゲームステートは更新されうる。ゲームステートの更新は以下の動作を伴いうる。
まず、ゲームステートの更新は、クライアント機器入力140に基づくプレイヤ関連パラメータ610の特定の項目を更新することを伴いうる。参加者データベース10において維持され、ステップ320Aで更新されるプレイヤ関連パラメータの例は、カメラビュー選択(例えば1人称、3人称)、プレイモード、選択された音声または映像設定、スキルレベル、顧客グレード(例えばゲスト、プレミアム等)を含みうる。
付加的に、ゲームステートの更新は、クライアント機器入力140の解釈に基づいて、仮想世界内の特定のオブジェクトの属性を更新することを含みうる。属性が更新されるオブジェクトは、いくつかのケースでは2次元または3次元モデルにより現わされ、プレイキャラクタ、非プレイキャラクタ及び他のオブジェクトを含んでよい。プレイキャラクタの場合、ステップ320Aで更新される属性は、オブジェクトの位置、強さ、武器/防具、経過生存時間、特殊能力、スピード/方向(速度)、アニメーション、視覚効果、エネルギ、弾薬等を含みうる。他のオブジェクト(背景、植物、建造物、移動体、スコアボード等)の場合、更新されうる属性は、該オブジェクトの位置、速度、アニメーション、ダメージ/健康状態、視覚効果、テキストコンテンツ等を含んでよい。オブジェクトモデル及びその属性は、オブジェクトデータベース(不図示)に格納されうる。
クライアント機器入力140以外の要因が、パラメータ及び他の属性に影響を与えることが可能な点も認識されるべきである。例えば、様々なタイマ(経過時間、特定のイベントからの時間、仮想的な1日における時間、プレイヤ総数、参加者の地理的位置等)は、プレイヤ関連パラメータ及びオブジェクト属性のようなゲームステートの様々な態様に影響を有し得る。
またステップ320Aでは、クライアント機器120Aから受信した表示設定パラメータ710に基づいて基本観戦者関連パラメータ620またはカスタマイズ可能観戦者関連パラメータ630の特定の項目が更新される。
表示設定パラメータ710に含まれる情報は、あくまでもクライアント機器120Aに提供される画面の描画に対してのみ影響を及ぼすものであるため、ゲームステートとは別に取り扱われる。即ち、本実施形態ではクライアント機器120を使用するプレイヤ500Pに対しては、自身の操作や設定に応じたゲーム画面が生成されて提示される。一方でクライアント機器120Aを使用する観戦者500Sに対しては、プレイヤ500Pに提供される画面と対応する画面が提供されるが、該画面の生成において例えば一部の描画オブジェクトの表示態様を変更することができるものとしている。これは、観戦者500Sによりなされた表示態様の変更等はプレイヤ500Pにとって望ましい変更ではない可能性が高いこと、及び観戦者500Sによる表示態様の変更をプレイヤ500Pに対して提供する画面にも適用してしまうことで、プレイヤ500Pのゲームプレイが困難となる可能性があるからである。従って、本実施形態では各クライアント機器120Aに対しては、基本的にはクライアント機器120に対して提供される画面と同様の構成であるが、使用するユーザ(プレイヤ500P)の趣向を反映した表示態様の画面を提供する。図8において、表示設定パラメータ710に基づく、カスタマイズ可能観戦者関連パラメータ630の表示設定の更新は、メインゲームプロセス300Aと参加者データベース10間の破線矢印により示される。
ステップ320Aの実行に続きゲームステートが更新されると、メインゲームプロセス300Aはステップ310Aに戻り、前回のメインゲームプロセスの通過から受信した新たなクライアント機器入力が、収集され処理される。
〈グラフィック制御プロセス〉
本実施形態において、単一のプレイヤ500Pと単一の観戦者500Sがいることを想起する。ビデオゲーム機能モジュール270は、描画機能モジュール280に提供される描画命令セット804を生成させる、プレイヤ500Pについての(図8において「300B(プレイヤ)」で示される)単一のグラフィック制御プロセスを実行する。グラフィック制御プロセス300B(プレイヤ)は、図3Bを参照して上述され、以下本発明の第1の実施形態のコンテクストにおいて示される、ステップ310B、320B及び330Bを含む。
具体的に、グラフィック制御プロセス300B(プレイヤ)のステップ310Bで、ビデオゲーム機能モジュール270はプレイヤ500Pについて描画されるオブジェクトを決定する。ステップ310Bは、プレイヤ500Pについてのゲーム画面描画範囲に含まれる、仮想世界から、これらのオブジェクトを識別することを含みうる。またステップ310Bは、仮想世界に現れないが、それでもプレイヤ500Pについて描画される追加のオブジェクトを識別することを含みうる。例えば、これらの追加のオブジェクトは、いくつかの非限定的な可能性を示すテキストメッセージ、グラフィカルな警告、及びダッシュボードインジケータを含みうる。
ステップ320Bで、ビデオゲーム機能モジュール270は、ステップ310Bにおいて識別されたオブジェクトを画像に描画するための命令セット804Pを生成する。本ステップは、カメラパラメータ、照明状態、及び様々な他の特性を考慮する。
ステップ330Bで、ステップ320Bにおいて生成された描画命令セット804Pが描画機能モジュール280に出力される。
〈プレイヤ500Pについてのグラフィック出力ストリーム206の生成〉
描画機能モジュール280におけるグラフィックプロセス820は、描画命令セット804Pを理解し、プレイヤ500Pのクライアント機器120についての対応画像ストリーム805Pを生成する。画像ストリーム805P内の画像は、映像符号化器285により符号化され、プレイヤ500Pのクライアント機器120に送信されるグラフィック出力ストリーム206をもたらす。
〈観戦者500Sについてのグラフィック出力ストリーム206Aの生成〉
描画機能モジュール280において、(グラフィック制御プロセス300B(プレイヤ)により生成された)プレイヤ500Pについての描画命令セット804Pは、複製変更器810の入力に与えられうる。変更器810は、表示設定に基づいて複製した描画命令セット804Pを変更する。具体的には、表示設定は変更器810に入力される。変更器810は、表示設定に基づいて、複製した描画命令セット804Pの1以上の描画命令を変更し、変更された描画命令セット804Sをもたらす。
具体的には変更器810は、複製した描画命令セット804Pに含まれるパラメータのうち、観戦者500Sに係る表示設定により変更が生じるパラメーラを特定する。そして変更器810は該パラメータを表示設定に含まれる値により置き換えて変更することで、観戦者500Sの趣向に合わせた表示態様となる画面用の変更した描画命令セット804Sを生成する。なお、本実施形態では表示設定により複製した描画命令セット804Pに含まれるパラメータを変更することにより変更した描画命令セット804Sを生成するものとして説明するが、表示設定が特定の描画オブジェクトを非表示とするものを含む場合は、複製した描画命令セット804Pのうちの該当する一部の描画命令を該セットから削除することで変更した描画命令セット804Sを生成するものであってもよい。
そして、変更した描画命令セット804Sは、グラフィックプロセス820と同様のグラフィックプロセス830により処理され、観戦者500Sについての画像ストリーム805Sをもたらす。画像ストリーム805Sは、画像ストリーム805Pが含まない、表示設定パラメータ710に応じた表示を含む。画像ストリーム805Sの画像は映像符号化器285により符号化され、観戦者500Sのクライアント機器120に送信されるグラフィック出力206Aをもたらす。
クライアント機器120において、プレイヤ500Pはグラフィック出力206に符号化された画像を観賞し、観戦者500Sはグラフィック出力206Aに符号化された画像を観賞する。図9はプレイヤ500Pにより観られうる表示例を示し、図10は観戦者500Sにより観られうる表示例を示している。
このように、本実施形態のシステムでは、プレイヤへの画面提供用に生成された描画命令を流用し、一部のパラメータを観戦者が所望する表示態様に合わせて変更することで、プレイヤの画面に影響を生じることなく観戦者に所望の画面を提供することができる。
[変形例]
上述した実施形態のシステムでは、クライアント機器120のプレイヤ500Pに提供する画面に係る描画命令がサーバにおいて生成されるため、該命令の一部を変更することで同様の画面の閲覧を望む観戦者500Sに提供する画面用の描画命令を生成する方法について説明した。
ところで、クラウドゲーミングのシステムにおいて、観戦者は通常プレイヤと同一の視点について描画された画面を観戦することになる。しかし上述した実施形態のように表示態様の変更のために描画命令を変更する構成であれば、視点を変更した画面を観戦者用に生成することも可能である。しかしながら、クラウドゲーミングのシステムにおける処理リソースやメモリリソースを考えると、ゲームプレイを行わない観戦者への画面提供にプレイヤと同等のリソースを割くことは現実的でない。つまり、例えば観戦者用の画面生成において視点変更を許容した場合、視点変更により新たに描画範囲に含まれてくるオブジェクトの描画や照明演算等が必要となってくる。このとき、新たに描画する必要が発生したオブジェクトに係るデータを読み出してメモリに展開する処理やその展開に必要となるメモリ領域の確保、照明演算等、観戦者用の画面の生成にプレイヤのゲームプレイとは無関係なリソース使用が発生することになる。つまり、視点変更を許容することでリソース不足が発生し、最悪プレイヤのゲームプレイに影響がでる可能性がある。
一方で、やはり観戦者による視点変更の要望も強いため、本変形例ではリソース使用の大幅な増加を回避しつつ、観戦者用の画面生成において視点変更を認める方式について説明する。
本変形例において図8の変更器810は、表示設定に視点変更に係る設定が含まれるか否かを判断する。視点変更に係る設定が含まれる場合、変更器810は、例えばクライアント機器120に係るグラフィック制御プロセス300B(プレイヤ)のステップ310Bで特定された描画に使用すると決定された描画オブジェクトのリストを取得する。そして変更器810は、設定に従って視点変更をした場合に描画範囲に含まれる全ての描画オブジェクトが、該リスト内に全て含まれているか否かを判断する。視点変更をしたとしても画面描画に使用される描画オブジェクトが、プレイヤ用の画面描画に使用される描画オブジェクトと同一、あるいはそのうちの一部であるのであれば、少なくとも新たな描画オブジェクトのデータを新たにメモリに展開する必要がない。またこのように描画オブジェクトに変化が少ない場合、照明条件等の変化は考えにくいため、照明演算に係る演算量の増加を考慮する必要も少ないと考えられる。従って、変更器810は、視点変更後に画面描画に使用される描画オブジェクトが、プレイヤ500Pに提供される画面の描画に使用される描画オブジェクト群に全て含まれる場合にのみ、複製した描画命令セット804Pのうち、視点設定に係る描画命令を変更する。
このようにすることで、本変形例のシステムでは、プレイヤによるゲームプレイを観戦する際に、観戦者は所望の視点について描画された画面の提供を受けることができる。
なお、本変形例では、ゲームプレイを行っていない観戦者について、プレイヤ用の画面生成と同等のリソースが割り当てられることは現実的ではなく、観戦者について提供される画面において許容される視点変更の範囲に制限が設けられるものとして説明したが、本発明の動作はこれに限られるものではない。豊富なリソースが存在する場合、視点変更に係る制約は設けられる必要はない。
〈まとめ〉
グラフィック出力206Aに符号化された画像の観賞にあたり、表示設定パラメータ710を発行した観戦者500Sに続き、描画オブジェクトの外観への変更を観賞する機会を観戦者500Sは有し得る。単独の画像後処理に基づいてこのような外観の変化を生じさせることに伴う困難な印象により、観ている画像がリアルタイムのゲームプレイを現わしていることの信頼度の上昇を観戦者500Sに与えうる。
リアルタイムゲームプレイの確認は、付加的な利便性及び各観戦者への興奮を提供することに有益であろう。いくつかの商用コンテクストにおいて、本発明の特定の実施形態により提供される確認は、観戦されたビデオゲームの結果において賭けの配置を管理する際に、有用なツールとなり得よう。
本発明の技術分野に属する当業者は、上述した実施形態が例示であり限定するものではないとして考慮されることを理解すべきである。本技術分野の当業者の知識の範疇であるものと仮定された、本発明の特定の実施形態の動作のために必要であろう付加的な要素が説明または図示されていないことも理解されるべきである。さらに、本発明の特定の実施形態は、ここに具体的に記載していない任意の要素を含まなくてもよい、該要素を欠いてもよい、及び/または該要素なしに機能してもよい。
また本技術分野に属する当業者は、記載された実施形態の付加的な適応及び変形が可能であることを理解するであろう。従って本発明の範囲は、上述した特定の実施形態により限定されるべきでなく、むしろ添付の特許請求の範囲によって定義される。
[その他の実施形態]
例示的な実施形態を参照して本発明を説明してきたが、記載した例示的な実施形態に発明が限られるものでないことは理解されよう。以下の特許請求の範囲は、このような変形、等価な構成及び機能の全てを包含するように、広範な解釈を許容されよう。また、本発明に係る情報処理装置及びその制御方法は、コンピュータにおいて該手法が実行されるプログラムにより実現可能である。プログラムは、コンピュータ読み取り可能な記録媒体に格納されることで、または電気的な通信回線を介して、提供/配信可能である。
本出願は、その全体がここに参照により援用される、2013年3月5日に出願された米国仮出願第61/772690号の利益を主張するものである。

Claims (7)

  1. 複数のクライアント機器に提供する画面に係る描画命令を生成する情報処理装置であって、
    第1のクライアント機器においてなされた操作入力の情報を該第1のクライアント機器から取得する第1の取得手段と、
    前記操作入力の情報に基づいて、前記第1のクライアント機器に提供する第1の画面に係る第1の描画命令を生成する第1の生成手段と、
    前記操作入力の情報に基づいて変化する画面が提供される第2のクライアント機器から、描画オブジェクトの表示態様を変更する変更情報を取得する第2の取得手段と、
    前記第1の描画命令を前記変更情報に基づいて変更することで、前記第2のクライアント機器に提供する第2の画面に係る第2の描画命令を生成する第2の生成手段と、
    を有する情報処理装置。
  2. 前記第2の生成手段は、前記第1の描画命令に含まれる描画パラメータの少なくとも一部を前記変更情報に含まれる描画パラメータで置換することにより前記第2の描画命令を生成する請求項1に記載の情報処理装置。
  3. 画面の生成に使用される描画オブジェクト群を特定する特定手段をさらに有し、
    前記第2の生成手段は、前記変更情報に含まれる視点情報に基づいて前記第1の描画命令を変更した場合に、該命令により生成される画面に使用される全ての描画オブジェクト群が前記第1の画面の生成に使用される描画オブジェクト群に含まれるときは、前記変更情報に含まれる視点情報に基づいて前記第1の描画命令の視点情報を変更する
    請求項1または2に記載の情報処理装置。
  4. 請求項1乃至3のいずれか1項に記載の情報処理装置により生成された描画命令を使用して画面を生成する描画手段と、
    第1の描画命令に基づいて生成された第1の画面を第1のクライアント機器に送信する第1の送信手段と、
    第2の描画命令に基づいて生成された第2の画面を第2のクライアント機器に送信する第2の送信手段と、
    を有する描画装置。
  5. 前記描画手段は、前記第1の画面の生成と前記第2の画面の生成とを並行して行う請求項4に記載の描画装置。
  6. 複数のクライアント機器に提供する画面に係る描画命令を生成する情報処理装置の制御方法であって、
    第1のクライアント機器においてなされた操作入力の情報を該第1のクライアント機器から取得する第1の取得工程と、
    前記操作入力の情報に基づいて、前記第1のクライアント機器に提供する第1の画面に係る第1の描画命令を生成する第1の生成工程と、
    前記操作入力の情報に基づいて変化する画面が提供される第2のクライアント機器から、描画オブジェクトの表示態様を変更する変更情報を取得する第2の取得工程と、
    前記第1の描画命令を前記変更情報に基づいて変更することで、前記第2のクライアント機器に提供する第2の画面に係る第2の描画命令を生成する第2の生成工程と、
    を有する情報処理装置の制御方法。
  7. 1以上のコンピュータに、複数のクライアント機器に提供する画面に係る描画命令を生成する方法の、
    第1のクライアント機器においてなされた操作入力の情報を該第1のクライアント機器から取得する第1の取得工程と、
    前記操作入力の情報に基づいて、前記第1のクライアント機器に提供する第1の画面に係る第1の描画命令を生成する第1の生成工程と、
    前記操作入力の情報に基づいて変化する画面が提供される第2のクライアント機器から、描画オブジェクトの表示態様を変更する変更情報を取得する第2の取得工程と、
    前記第1の描画命令を前記変更情報に基づいて変更することで、前記第2のクライアント機器に提供する第2の画面に係る第2の描画命令を生成する第2の生成工程と、
    を実行させるためのプログラム。
JP2015518673A 2013-03-05 2014-02-28 情報処理装置、描画装置、方法及びプログラム Active JP6232423B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201361772690P 2013-03-05 2013-03-05
US61/772,690 2013-03-05
PCT/JP2014/055886 WO2014136920A1 (en) 2013-03-05 2014-02-28 Information processing apparatus, rendering apparatus, method and program

Publications (2)

Publication Number Publication Date
JP2016513826A true JP2016513826A (ja) 2016-05-16
JP6232423B2 JP6232423B2 (ja) 2017-11-15

Family

ID=51491427

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015518673A Active JP6232423B2 (ja) 2013-03-05 2014-02-28 情報処理装置、描画装置、方法及びプログラム

Country Status (6)

Country Link
US (1) US9858210B2 (ja)
EP (1) EP2965212A4 (ja)
JP (1) JP6232423B2 (ja)
CA (1) CA2872130C (ja)
TW (1) TWI608856B (ja)
WO (1) WO2014136920A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023510439A (ja) * 2021-03-10 2023-03-14 17Live株式会社 インタラクション型ユニバーサルライブストリーミング

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9413830B2 (en) 2013-11-11 2016-08-09 Amazon Technologies, Inc. Application streaming service
US9582904B2 (en) 2013-11-11 2017-02-28 Amazon Technologies, Inc. Image composition based on remote object data
US9578074B2 (en) 2013-11-11 2017-02-21 Amazon Technologies, Inc. Adaptive content transmission
US9641592B2 (en) 2013-11-11 2017-05-02 Amazon Technologies, Inc. Location of actor resources
US9805479B2 (en) 2013-11-11 2017-10-31 Amazon Technologies, Inc. Session idle optimization for streaming server
US9604139B2 (en) 2013-11-11 2017-03-28 Amazon Technologies, Inc. Service for generating graphics object data
US9634942B2 (en) 2013-11-11 2017-04-25 Amazon Technologies, Inc. Adaptive scene complexity based on service quality
US20150133216A1 (en) * 2013-11-11 2015-05-14 Amazon Technologies, Inc. View generation based on shared state
JP6659479B2 (ja) * 2016-06-28 2020-03-04 Line株式会社 情報処理装置の制御方法、情報処理装置及びプログラム
JP6808419B2 (ja) * 2016-09-26 2021-01-06 キヤノン株式会社 画像処理システム及びその制御方法
PT109807A (pt) * 2016-12-23 2018-06-25 Inst Superior Tecnico Método para interação remota em tempo-real entre um telespetador e um programa de televisão em direto, e sistema que o implementa
US11210965B2 (en) * 2018-05-17 2021-12-28 Pearson Education, Inc. Diagnostic analyzer for visual-spatial content
US10688390B2 (en) 2018-11-05 2020-06-23 Sony Interactive Entertainment LLC Crowd-sourced cloud gaming using peer-to-peer streaming
GB2583511B (en) * 2019-05-02 2024-01-10 Sony Interactive Entertainment Inc Method of and system for controlling the rendering of a video game instance
US20220219078A1 (en) * 2019-06-01 2022-07-14 Ping-Kang Hsiung Systems and methods for a connected arcade cabinet with cloud gaming and broad-casting capabilities
CN111951366B (zh) * 2020-07-29 2021-06-15 北京蔚领时代科技有限公司 一种云原生3d场景游戏方法和系统
GB2598000A (en) * 2020-08-08 2022-02-16 Sony Interactive Entertainment Inc Content generation system and method
GB2606165B (en) * 2021-04-27 2024-01-10 Sony Interactive Entertainment Inc Content generation system and method

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003175278A (ja) * 2001-12-11 2003-06-24 Webstream:Kk 競技仮想参加装置、競技仮想参加方法、競技仮想参加プログラム、競技観戦装置、競技観戦方法、競技観戦プログラム、及び、競技観戦画像生成サーバ
JP2008245987A (ja) * 2007-03-30 2008-10-16 Namco Bandai Games Inc プログラム、情報記憶媒体、ゲーム機、サーバ、及びゲームシステム
JP2009223650A (ja) * 2008-03-17 2009-10-01 Nomura Research Institute Ltd 仮想空間提供装置、仮想空間提供システム、仮想空間提供方法及びコンピュータプログラム
JP2012245363A (ja) * 2011-05-25 2012-12-13 Square Enix Holdings Co Ltd 描画制御装置、その制御方法、プログラム、記録媒体、描画サーバ、及び描画システム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6999083B2 (en) * 2001-08-22 2006-02-14 Microsoft Corporation System and method to provide a spectator experience for networked gaming
US6956566B2 (en) 2002-05-23 2005-10-18 Hewlett-Packard Development Company, L.P. Streaming of images with depth for three-dimensional graphics
US20110157196A1 (en) * 2005-08-16 2011-06-30 Exent Technologies, Ltd. Remote gaming features
US9498714B2 (en) * 2007-12-15 2016-11-22 Sony Interactive Entertainment America Llc Program mode switching

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003175278A (ja) * 2001-12-11 2003-06-24 Webstream:Kk 競技仮想参加装置、競技仮想参加方法、競技仮想参加プログラム、競技観戦装置、競技観戦方法、競技観戦プログラム、及び、競技観戦画像生成サーバ
JP2008245987A (ja) * 2007-03-30 2008-10-16 Namco Bandai Games Inc プログラム、情報記憶媒体、ゲーム機、サーバ、及びゲームシステム
JP2009223650A (ja) * 2008-03-17 2009-10-01 Nomura Research Institute Ltd 仮想空間提供装置、仮想空間提供システム、仮想空間提供方法及びコンピュータプログラム
JP2012245363A (ja) * 2011-05-25 2012-12-13 Square Enix Holdings Co Ltd 描画制御装置、その制御方法、プログラム、記録媒体、描画サーバ、及び描画システム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023510439A (ja) * 2021-03-10 2023-03-14 17Live株式会社 インタラクション型ユニバーサルライブストリーミング
JP7323700B2 (ja) 2021-03-10 2023-08-08 17Live株式会社 インタラクション型ユニバーサルライブストリーミング

Also Published As

Publication number Publication date
TWI608856B (zh) 2017-12-21
TW201442770A (zh) 2014-11-16
EP2965212A4 (en) 2016-10-26
EP2965212A1 (en) 2016-01-13
CA2872130C (en) 2020-01-14
US9858210B2 (en) 2018-01-02
CA2872130A1 (en) 2014-09-12
WO2014136920A1 (en) 2014-09-12
US20150331813A1 (en) 2015-11-19
JP6232423B2 (ja) 2017-11-15

Similar Documents

Publication Publication Date Title
JP6232423B2 (ja) 情報処理装置、描画装置、方法及びプログラム
JP5987060B2 (ja) ゲームシステム、ゲーム装置、制御方法、プログラム及び記録媒体
JP6196668B2 (ja) クラウド型ゲームシステムにおける描画リソースの動的割り当て
JP6310073B2 (ja) 描画システム、制御方法、及び記憶媒体
JP6576245B2 (ja) 情報処理装置、制御方法及びプログラム
JP6069528B2 (ja) 画像処理装置、画像処理システム、画像処理方法、及び記憶媒体
JP6379107B2 (ja) 情報処理装置並びにその制御方法、及びプログラム
JP6200062B2 (ja) 情報処理装置、制御方法、プログラム及び記録媒体
US20160271495A1 (en) Method and system of creating and encoding video game screen images for transmission over a network
CA2798066A1 (en) Method and system of creating and encoding video game screen images for transmission over a network

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170228

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170922

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20171023

R150 Certificate of patent or registration of utility model

Ref document number: 6232423

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250