JP2020535878A - Extension of virtual reality video game with friend avatar - Google Patents

Extension of virtual reality video game with friend avatar Download PDF

Info

Publication number
JP2020535878A
JP2020535878A JP2020518422A JP2020518422A JP2020535878A JP 2020535878 A JP2020535878 A JP 2020535878A JP 2020518422 A JP2020518422 A JP 2020518422A JP 2020518422 A JP2020518422 A JP 2020518422A JP 2020535878 A JP2020535878 A JP 2020535878A
Authority
JP
Japan
Prior art keywords
avatar
video game
representation
user
friend
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020518422A
Other languages
Japanese (ja)
Inventor
カーン、モハメッド
デヴィコ、マット
フー、ショーン
Original Assignee
ソニー・インタラクティブエンタテインメント エルエルシー
ソニー・インタラクティブエンタテインメント エルエルシー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to US201762566272P priority Critical
Priority to US62/566,272 priority
Priority to US15/905,796 priority
Priority to US15/905,796 priority patent/US10668382B2/en
Application filed by ソニー・インタラクティブエンタテインメント エルエルシー, ソニー・インタラクティブエンタテインメント エルエルシー filed Critical ソニー・インタラクティブエンタテインメント エルエルシー
Priority to PCT/US2018/053127 priority patent/WO2019067722A1/en
Publication of JP2020535878A publication Critical patent/JP2020535878A/en
Pending legal-status Critical Current

Links

Classifications

    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/65Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
    • A63F13/655Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition by importing photos, e.g. of the player
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • A63F13/21Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/211Input arrangements for video game devices characterised by their sensors, purposes or types using inertial sensors, e.g. accelerometers or gyroscopes
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • A63F13/21Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/212Input arrangements for video game devices characterised by their sensors, purposes or types using sensors worn by the player, e.g. for measuring heart beat or leg activity
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • A63F13/21Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25Output arrangements for video game devices
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25Output arrangements for video game devices
    • A63F13/26Output arrangements for video game devices having at least one additional display device, e.g. on the game controller or outside a game booth
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/35Details of game servers
    • A63F13/352Details of game servers involving special game server arrangements, e.g. regional servers connected to a national server or a plurality of servers managing partitions of the game world
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/35Details of game servers
    • A63F13/355Performing operations on behalf of clients with restricted processing capabilities, e.g. servers transform changing game scene into an MPEG-stream for transmitting to a mobile phone or a thin client
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50Controlling the output signals based on the game progress
    • A63F13/52Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A63F13/525Changing parameters of virtual cameras
    • A63F13/5255Changing parameters of virtual cameras according to dedicated instructions from a player, e.g. using a secondary joystick to rotate the camera around a player's character
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/70Game security or game management aspects
    • A63F13/79Game security or game management aspects involving player-related data, e.g. identities, accounts, preferences or play histories
    • A63F13/795Game security or game management aspects involving player-related data, e.g. identities, accounts, preferences or play histories for finding other players; for building a team; for providing a buddy list
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/80Special adaptations for executing a specific game genre or game mode
    • A63F13/803Driving vehicles or craft, e.g. cars, airplanes, ships, robots or tanks
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/80Special adaptations for executing a specific game genre or game mode
    • A63F13/812Ball games, e.g. soccer or baseball
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/85Providing additional services to players
    • A63F13/86Watching games played by other players
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/50Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers
    • A63F2300/55Details of game data or player data management
    • A63F2300/5546Details of game data or player data management using player registration data, e.g. identification, account, preferences, game history
    • A63F2300/5553Details of game data or player data management using player registration data, e.g. identification, account, preferences, game history user representation in the game field, e.g. avatar
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8082Virtual reality

Abstract

【解決手段】実世界の人物のアバタでビデオゲームを拡張するための方法及びシステムが提供される。方法は、ヘッドマウントディスプレイ(HMD)を介して、ユーザによってプレイされるビデオゲームの実行を提供する。本方法は、ビデオゲーム内の一般観客を識別し、一般観客に関連付けられたバーチャル座標を決定するための動作を含む。本方法はまた、ビデオゲーム内のアバタを3次元(3D)形式で表示するのに使用可能な実世界の人物のアバタに関連したデータを受信することを提供する。本方法は、一般観客をビデオゲーム内のビューから削除し、一般観客に関連付けられたバーチャル座標でアバタをビデオゲームに挿入することを提供する。本方法はさらに、アバタのビューを有するユーザ向けに、ビデオゲームのバーチャルリアリティ(VR)表現をレンダリングし、表示のためにVR表現を、ユーザのHMDに送信することを提供する。【選択図】図1A method and system for extending a video game with a real-world person avatar are provided. The method provides execution of a video game played by a user via a head-mounted display (HMD). The method includes an action for identifying a general audience in a video game and determining virtual coordinates associated with the general audience. The method also provides to receive data related to real-world human avatars that can be used to display avatars in a video game in three-dimensional (3D) format. The method provides to remove the general audience from the view in the video game and insert the avatar into the video game at the virtual coordinates associated with the general audience. The method further provides for a user with an avatar view to render a virtual reality (VR) representation of a video game and transmit the VR representation to the user's HMD for display. [Selection diagram] Fig. 1

Description

本開示は、全体として、バーチャルリアリティ(VR)ビデオゲームの表現に関し、より詳細には、VRビデオゲームを友人のアバタで拡張し、プレーヤに関連付けられるヘッドマウントディスプレイ(HMD)に表示するための友人拡張型ビデオゲームのビューを生成する方法及びシステムに関する。 The present disclosure relates to the representation of a virtual reality (VR) video game as a whole, and more specifically, a friend for extending a VR video game with a friend's avatar and displaying it on a head-mounted display (HMD) associated with the player. It relates to a method and a system for generating a view of an extended video game.
多くのビデオゲームは、一般観客または「模造の」観客を含むようにプログラムされている。一般観客は、ビデオゲームシーンが、観客がいるはずの実世界のコンテキストと関係がある場合には、ビデオゲームシーンに、より一層の現実感を与えることができる。しかしながら、ビデオゲームがますます現実感ある実物そっくりなものになりつつあるなかで、ビデオゲーム内に表示される一般観客の外観は遅れをとっている。現行の一般観客は、現実感ある実物そっくりなビデオゲームコンテンツの質を損ねる場合がある。 Many video games are programmed to include a general or "imitation" audience. The general audience can give the video game scene an even greater sense of reality if the video game scene is related to the real-world context in which the audience should be. However, as video games are becoming more and more realistic and lifelike, the appearance of the general public in video games is lagging behind. The current public audience can compromise the quality of realistic, life-like video game content.
こうした背景のもと、本開示の実施形態が生じる。 Against this background, the embodiments of the present disclosure arise.
本開示の実施形態は、実世界の人物のアバタでビデオゲームを拡張する方法及びシステムに関する。一実施形態では、方法は、サーバでビデオゲームを実行するための動作を含み、ビデオゲームは、ヘッドマウントディスプレイ(HMD)を介してユーザによってプレイされる。また、本方法は、ビデオゲーム内の一般観客を識別するための動作、及び一般観客に関連付けられたバーチャル座標を決定するための動作を含む。本方法は、サーバで、アバタに関連するデータを受信するための動作を提供し、このデータは、ビデオゲーム内でアバタを表示するために使用可能である。さらに、本方法は、ビデオゲームのビューから一般観客を削除し、アバタに関連付けられたデータを使用して、一般観客に関連付けられたバーチャル座標で実世界の人物のアバタをビデオゲームに挿入する動作を提供する。アバタを挿入すると、アバタがビデオゲーム内で3次元(3D)形式で表示可能になる。さらに、本方法は、ユーザ向けにビデオゲームのVR表現をレンダリングし、表示のためにユーザのHMDにVR表現を送信するための動作を含む。この実施形態及び他の実施形態によれば、VR表現はアバタのビューを含む。 Embodiments of the present disclosure relate to methods and systems for extending video games with avatars of real-world figures. In one embodiment, the method comprises an action for running a video game on a server, the video game being played by the user via a head-mounted display (HMD). The method also includes an action for identifying a general spectator in a video game and an action for determining virtual coordinates associated with the general spectator. The method provides an action for the server to receive data related to the avatar, which data can be used to display the avatar in the video game. In addition, the method removes the general audience from the video game view and uses the data associated with the avatar to insert the avatar of a real-world person into the video game in virtual coordinates associated with the general audience. I will provide a. Inserting an avatar allows the avatar to be displayed in three-dimensional (3D) format within a video game. Further, the method includes an operation for rendering a VR representation of a video game for the user and transmitting the VR representation to the user's HMD for display. According to this embodiment and other embodiments, the VR representation includes a view of the avatar.
別の実施形態では、1つ以上のプロセッサと、1つ以上のプロセッサと通信するように配置されたメモリとを含む、1つ以上のサーバシステムを有するサーバシステムまたはデータセンターが提供される。メモリは、HMDを介してユーザがプレイするためのビデオゲームを実行するプロセッサ実行可能命令を格納する。メモリは、ビデオゲーム内の一般観客を識別し、一般観客に関連付けられたバーチャル座標を決定するための命令をさらに格納する。メモリはさらに、ビデオゲーム内でアバタを表示し、ビデオゲームのビューから一般観客を削除するために使用可能な実世界の人物のアバタに関連するデータを受信するための命令を含む。メモリは、アバタに関連付けられたデータを使用して、一般観客に関連付けられたバーチャル座標でビデオゲームにアバタを挿入して、アバタをビデオゲーム内に3D形式で表示可能にする命令をさらに含む。いくつかの実施形態では、アバタに関連付けられたデータは、アバタを描画し、レンダリングするために使用してもよい3D頂点データを含む。また、本システムは、ユーザ向けに、3D形式のアバタのビューを含む、ビデオゲームのバーチャルリアリティ(VR)表現をレンダリングし、表示のために、ユーザのHMDにVR表現を送信するための命令をメモリに含めることを提供する。 In another embodiment, a server system or data center having one or more server systems is provided that includes one or more processors and memory arranged to communicate with the one or more processors. The memory stores processor executable instructions that execute a video game for the user to play via the HMD. The memory further stores instructions for identifying the general audience in the video game and determining the virtual coordinates associated with the general audience. The memory also includes instructions for displaying the avatar in the video game and receiving data related to the avatar of a real-world person that can be used to remove the general audience from the view of the video game. The memory further includes instructions that use the data associated with the avatar to insert the avatar into the video game at virtual coordinates associated with the general audience, allowing the avatar to be displayed in 3D format within the video game. In some embodiments, the data associated with the avatar includes 3D vertex data that may be used to draw and render the avatar. The system also renders a virtual reality (VR) representation of a video game for the user, including a 3D format avatar view, and issues instructions to send the VR representation to the user's HMD for display. Provides to include in memory.
さらに別の実施形態では、プロセッサ実行可能命令を格納するための非一時的媒体に保存されたコンピュータプログラムが提供される。コンピュータプログラムは、HMDを介してユーザがプレイするためのビデオゲームを実行するための命令を含む。また、提供されるコンピュータプログラムは、ビデオゲーム内の一般観客を識別すること、一般観客に関連付けられたバーチャル座標を決定すること、及びビデオゲーム内でアバタを表示するために使用可能な実世界の人物のアバタに関連するデータを受信することを行うための命令をも含む。また、提供されるコンピュータプログラムは、ビデオゲームのビューから前記一般観客を削除すること、及びアバタに関連付けられたデータを使用して、一般観客に関連付けられたバーチャル座標でビデオゲームにアバタを挿入して、アバタをビデオゲーム内に3D形式で表示可能にすることを行うための命令をも含む。さらに、コンピュータプログラムは、3D形式のアバタのビューを含むユーザ向けのビデオゲームのVR表現をレンダリングし、表示のためにユーザのHMDにVR表現を送信する命令を含む。 In yet another embodiment, a computer program stored on a non-temporary medium for storing processor executable instructions is provided. The computer program includes instructions for executing a video game for the user to play via the HMD. Also, the computer programs provided can be used to identify the general audience in a video game, determine the virtual coordinates associated with the general audience, and display avatars in the video game. It also includes instructions for receiving data related to the person's avatar. The computer program provided also removes the general audience from the view of the video game and uses the data associated with the avatar to insert the avatar into the video game at virtual coordinates associated with the general audience. It also includes instructions for making the avatar visible in the video game in 3D format. In addition, the computer program includes instructions to render the VR representation of the video game for the user, including a view of the avatar in 3D format, and send the VR representation to the user's HMD for display.
本開示の他の態様は、添付の図面と併せて、本開示の原理を例として示す以下の詳細な説明から明らかになるであろう。 Other aspects of the disclosure, along with the accompanying drawings, will become apparent from the following detailed description exemplifying the principles of the disclosure.
本開示は、添付の図面と併せて、以下の記述を参照することにより、最もよく理解され得る。 The present disclosure can be best understood by reference to the following description in conjunction with the accompanying drawings.
既存の一般観客を友人アバタに置き換えることを含む、バーチャルリアリティ(VR)ビデオゲームを友人アバタで拡張する実施形態の概念図である。FIG. 5 is a conceptual diagram of an embodiment of extending a virtual reality (VR) video game with a friend avatar, which comprises replacing an existing general audience with a friend avatar.
一実施形態による、VRビデオゲームを友人アバタで拡張する方法の全体の流れを示す。The overall flow of the method of extending a VR video game with a friend avatar according to one embodiment is shown.
一実施形態による、VRビデオゲームを友人のアバタで拡張し、ビデオゲームの観客のビューをその友人に提供する方法の全体の流れを示す。It illustrates the overall flow of how one embodiment extends a VR video game with a friend's avatar and provides the friend with a view of the video game spectator.
VRビデオゲームを友人アバタで拡張し、友人アバタのビューを有するプレーヤ向けの第1のVR表現をレンダリングするとともに、プレーヤのビューを有する友人向けの第2のVR表現をレンダリングする方法の別の実施形態を示す。Another implementation of how to extend a VR video game with a friend avatar to render a first VR representation for a player with a friend avatar view and a second VR representation for a friend with a player view. Shows the morphology.
VRビデオゲームを実世界の観客と関連付けられたアバタで拡張する方法の全体の流れを示し、アバタは、実世界の観客の、実世界の状態に基づいて、リアルタイムで外観を変化させる。Showing the overall flow of how to extend a VR video game with an avatar associated with a real-world audience, the avatar changes its appearance in real time based on the real-world state of the real-world audience.
一実施形態による、ビデオゲームを友人アバタで拡張できるようにするサーバの概念図を示す。A conceptual diagram of a server that allows a video game to be extended by a friend avatar according to an embodiment is shown.
様々な実施形態による、友人アバタ挿入ロジック、及び一般観客の置き換えロジックの概念図を示す。A conceptual diagram of a friend avatar insertion logic and a general audience replacement logic according to various embodiments is shown. 様々な実施形態による、友人アバタ挿入ロジック、及び一般観客の置き換えロジックの概念図を示す。A conceptual diagram of a friend avatar insertion logic and a general audience replacement logic according to various embodiments is shown. 様々な実施形態による、友人アバタ挿入ロジック、及び一般観客の置き換えロジックの概念図を示す。A conceptual diagram of a friend avatar insertion logic and a general audience replacement logic according to various embodiments is shown. 様々な実施形態による、友人アバタ挿入ロジック、及び一般観客の置き換えロジックの概念図を示す。A conceptual diagram of a friend avatar insertion logic and a general audience replacement logic according to various embodiments is shown. 様々な実施形態による、友人アバタ挿入ロジック、及び一般観客の置き換えロジックの概念図を示す。A conceptual diagram of a friend avatar insertion logic and a general audience replacement logic according to various embodiments is shown.
一実施形態による、観客がプレーヤとつながることができるようにする方法を示す概念図を示す。FIG. 6 shows a conceptual diagram showing how an spectator can connect with a player according to an embodiment.
一実施形態による、友人の取り込み画像データを使用して、友人アバタを拡張する方法の概念図を示す。A conceptual diagram of a method of extending a friend's avatar using a friend's captured image data according to an embodiment is shown.
実世界の友人をアバタにバーチャル化することを可能にするアバタエンジンの実施形態を示す。An embodiment of an avatar engine that allows real-world friends to be virtualized into avatars is shown.
プレーヤのビデオゲームを友人のアバタで拡張し、ビデオのVR表現をプレーヤ及び友人の両者に提供する概念図を示す。Shown is a conceptual diagram that extends a player's video game with a friend's avatar and provides a VR representation of the video to both the player and the friend.
アバタとして様々なビデオゲームに挿入されるように観客によって使用され得るインタフェースの実施形態を示す。Demonstrates an embodiment of an interface that can be used by an audience to be inserted into various video games as an avatar.
観客が一度に複数のビデオゲームに追加された後に、観客体験を実現する実施形態を示す。An embodiment that realizes an spectator experience after a spectator is added to a plurality of video games at one time is shown.
観客が一度に複数のビデオゲームに追加された後に、観客体験を実現する追加の実施形態を示す。Demonstrates additional embodiments that provide an spectator experience after the spectator has been added to multiple video games at once.
以下の実施形態では、既存の一般的な「模造の」観客の代わりに、またはそれに加えて、友人のアバタを用いて、プレーヤのビデオゲームを拡張するための方法、コンピュータプログラム、及び装置を記載する。ただし、本開示が、これらの具体的詳細の一部または全てが無くとも実施され得ることは、当業者には明らかになるであろう。他の事例では、本開示を不必要に不明瞭にしないために、周知のプロセス動作は詳細に記載されていない。 The following embodiments describe methods, computer programs, and devices for extending a player's video game on behalf of or in addition to the existing general "imitation" audience, using a friend's avatar. To do. However, it will be apparent to those skilled in the art that the present disclosure may be implemented without some or all of these specific details. In other cases, well-known process behavior is not described in detail in order not to unnecessarily obscure the disclosure.
多くの種類のビデオゲームは、ゲームの現実感及びゲーム性を高めるために、「模造の」観客を表示するようにプログラムされている。例えば、一部のプレーヤにとっては、空席だらけの観客席よりも、観客でいっぱいの観客席の前でバスケットボールの試合をする方が、はるかに自然で魅力的である。同じことは、ある種のレースゲーム、チームスポーツ、戦闘スポーツ、及びその他の様々なカテゴリのビデオゲームにも当てはまる。実世界で観客がいることが予想されるはずの状況において、一般観客または「模造の観客」をレンダリングすることによりゲーム体験に提供される現実感という次元が存在する。 Many types of video games are programmed to display a "mimic" audience in order to enhance the reality and gameplay of the game. For example, for some players, playing a basketball game in front of a crowd full of spectators is far more natural and attractive than a vacant seat. The same applies to certain racing games, team sports, combat sports, and various other categories of video games. There is a dimension of reality provided to the gaming experience by rendering a general audience or a "imitation audience" in situations where it would be expected to have an audience in the real world.
しかしながら、ビデオゲームがますます現実感ある実物そっくりなものになりつつあるなかで、一般観客は遅れをとっている。そのままなら現実感ある実物そっくりなビデオゲームシーンのはずのものが、現行の一般観客の存在によって、質が損なわれる場合がある。例えば、現行の一般観客は、これといった特徴もなく、見分けのつかないように通常はレンダリングされる(例えば、一般観客は、顔の特徴をぼやかしてレンダリングされることが多い)。また、現行の一般観客は、プレーヤがビデオゲームと相互作用を行う際に、プレーヤが見たいと思う可能性のある実世界の人物または友人を描写したものではない。例えば、「模造の」観客に応援されるよりも、友人に応援される方が、遥かに効果的で魅力的である。したがって、友人が応援し、またはゲームプレイに反応するのを見ることができると、より愉快な魅力のあるゲーム体験が得られるため、特定のビデオゲームを、模造の観客の代わりに、またはそれに加えて、友人アバタで拡張することに関しては、より魅力的で現実感のあるゲーム体験を提供する機会及び利点が認められる。 However, the general public is lagging behind as video games are becoming more and more realistic and lifelike. What would otherwise be a realistic, life-like video game scene may be compromised by the presence of the current general audience. For example, the current general audience is usually rendered indistinguishably without these features (for example, the general audience is often rendered with a blurred facial feature). Also, the current public audience is not a depiction of a real-world person or friend that the player may want to see as he interacts with the video game. For example, it is far more effective and attractive to be supported by a friend than to be supported by a "counterfeit" audience. Therefore, you can add a particular video game on behalf of or in addition to the imitation audience, as you will get a more entertaining and engaging gaming experience if you can see your friends cheering or reacting to the gameplay. And when it comes to extending with friends avatars, the opportunities and benefits of providing a more engaging and realistic gaming experience are recognized.
それに加えて、友人アバタがビデオゲームに挿入されている友人に、プレイされているビデオゲームの観客のビューを提供する機会がもたらされる。これらの観客のビューは、プレーヤがビデオゲームをナビゲートするときに、リアルタイムで提供されてよく、またはその後のビューのために保存されてもよい。結果的に、本明細書で提示される方法及びシステムを受けて、ソーシャル接続のレイヤを提供してもよく、最終的にはプレーヤ及びプレーヤの友人の親交が深まり、娯楽性が高められる。 In addition, friend avatars have the opportunity to provide a spectator view of the video game being played to a friend who is inserted into the video game. The views of these spectators may be provided in real time as the player navigates the video game, or may be saved for subsequent views. As a result, in response to the methods and systems presented herein, a layer of social connectivity may be provided, ultimately enhancing friendship and entertainment of the player and the player's friends.
本明細書で使用するとき、「一般観客」とは、「模造の」観客、ノンプレーヤキャラクタ、人間ではないキャラクタ、または実世界の人物と関連付けられていない他の何らかのキャラクタという意味に解釈される。 As used herein, "general spectator" is construed as meaning a "imitation" spectator, non-player character, non-human character, or any other character that is not associated with a person in the real world. ..
図1は、観客置き換えロジック108を使用して、友人アバタでバーチャルリアリティ(VR)ビデオゲームを拡張するための実施形態の概念図である。VRゲームの第1のVRシーン100が、第1の一般観客102、第2の一般観客104、及び第3の一般観客106を含む幾人かの一般観客がいるレースゲームを含むことを示す。同じVRゲームの第2のVRシーン110では、観客置き換えロジック108が、第1の一般観客102を第1の友人アバタ112に置き換え、第2の一般観客104を第2の友人アバタ114に置き換えていることを示す。第3の一般アバタ106は、変更されないままであることを示す。 FIG. 1 is a conceptual diagram of an embodiment for extending a virtual reality (VR) video game with a friend avatar using audience replacement logic 108. It is shown that the first VR scene 100 of the VR game includes a racing game with some general spectators including a first general spectator 102, a second general spectator 104, and a third general spectator 106. In the second VR scene 110 of the same VR game, the spectator replacement logic 108 replaces the first general spectator 102 with the first friend avatar 112 and the second general spectator 104 with the second friend avatar 114. Indicates that you are. A third general avatar 106 indicates that it remains unchanged.
一部の実施形態では、友人アバタ112及び114は、プレーヤがVRゲームをプレイするときに、そのVRゲームを見ている友人のリアルタイム表象である。他の実施形態では、友人アバタ112及び114は、友人アバタ112及び114と関連付けられた前もってプログラムされた友人のクリップであってよく、その後、友人アバタ112及び114は、VRゲームの実行中にレンダリングされる。図1の実施形態では、友人アバタ112及び114は、関連付けられた友人の実物そっくりな表象であることを示す。すなわち、友人アバタ112及び114は、実世界の関連付けられた友人のように見える。他の実施形態では、友人アバタは、関連付けられた友人と似ている必要はなく、関連付けられた友人の選択である任意の形態を呈してよい。例えば、関連付けられた友人は、自分の友人アバタにしたいキャラクタを選択する場合があり、または自分自身の友人アバタをレンダリングする場合がある。どちらの場合にも、VRゲームはより親しみを感じさせ、現実感を増し、魅力的になるため、友人アバタ112及び114をVRゲームに挿入することで、VRゲームの生産価値と魅力とが向上する。結果的に、友人などの実世界の人物のアバタを用いたビデオゲームの拡張は、ユーザが認め、見たいと思う観客をVRゲームのシーンに入れることを可能にすることによる、ビデオゲーム技術の改善に相当する。 In some embodiments, the friends avatars 112 and 114 are real-time representations of friends watching the VR game as the player plays the VR game. In other embodiments, the friend avatars 112 and 114 may be pre-programmed friend clips associated with the friend avatars 112 and 114, after which the friend avatars 112 and 114 are rendered during the execution of the VR game. Will be done. In the embodiment of FIG. 1, the friends avatars 112 and 114 show that they are lifelike representations of the associated friend. That is, friends avatars 112 and 114 look like real-world associated friends. In other embodiments, the friend avatar does not have to resemble the associated friend and may exhibit any form that is the choice of the associated friend. For example, the associated friend may select the character he wants to be his friend avatar, or may render his own friend avatar. In either case, the VR game will be more familiar, more realistic and attractive, so inserting friends Avata 112 and 114 into the VR game will increase the production value and attractiveness of the VR game. To do. As a result, the extension of video games with the avatars of real-world people such as friends is a video game technology that allows users to admit and bring the audience they want to see into the VR game scene. Corresponds to improvement.
ビデオゲームの特定の実施形態では、バーチャル地景(terrascape)、バーチャル世界、またはバーチャルシーン内でのプレーヤの動きは、静止している観客を解像しまたは識別することが困難になり得るように、十分に速く生ずる場合がある。例えば、レースゲームでは、プレーヤは、個々の観客を識別しまたは認識するのが困難になるほどの速い速度に達することがよくある(例えば、プレーヤが、観客のそばを速く進むとき、プレーヤにとって観客は「ぼやけて見える」ようになり得る)。したがって、示した実施形態によれば、友人アバタ112及び114は、0.1秒〜2秒の間のみ、プレーヤに表示される場合があり、これは、レースゲームのプレーヤが、友人アバタ112及び114を認識するには十分に長時間ではない場合がある。 In certain embodiments of video games, player movements within a virtual landscape, virtual world, or virtual scene can make it difficult to resolve or identify a stationary audience. , May occur fast enough. For example, in racing games, players often reach speeds that make it difficult to identify or recognize individual spectators (for example, when a player moves fast by a spectator, the spectator is to the player. Can "look blurry"). Therefore, according to the embodiments shown, the friends avatars 112 and 114 may only be visible to the player for 0.1 to 2 seconds, which is to the racing game player the friend avatars 112 and 114. It may not be long enough to recognize 114.
本明細書では、プレーヤのビデオゲームに挿入される友人アバタを、プレーヤが、より良好に見て鑑賞できるようにするいくつかの実施形態が想定されている。一実施形態では、ビデオゲームを実行するゲームエンジンまたはゲームモジュールは、ビデオゲームに挿入された友人アバタ112及び114をプレーヤが見ることができるように、ゲーム内の「バーチャル時間」を瞬間的に遅くするように指示される場合がある。すなわち、ビデオゲームは、ビデオゲーム内の「バーチャル時間」の経過を調節して、ビデオゲームに関連したシーンをスローモーションで表示させる場合がある。特定の実施形態では、バーチャル時間の経過を、2X〜5Xの範囲、または1.1X〜100Xの範囲の任意の倍率で遅くできることが企図されている。結果として、バーチャル時間が遅くなった期間を通して、プレーヤは、友人アバタ及び一般観客を、より長期間の「実時間」(例えば、様々な実施態様に応じて、1秒〜10秒の範囲、または0.5秒〜20秒の範囲の任意の時間)をかけて見ることができる場合がある。一定期間が経過すると、バーチャル時間は早められて通常に戻る。 The present specification envisions several embodiments that allow the player to better view and appreciate the friend avatar inserted into the player's video game. In one embodiment, a game engine or game module running a video game momentarily slows down the "virtual time" in the game so that the player can see the friends Avata 112 and 114 inserted in the video game. You may be instructed to do so. That is, the video game may adjust the passage of "virtual time" in the video game to display a scene related to the video game in slow motion. In certain embodiments, it is contemplated that the passage of virtual time can be slowed by any magnification in the range 2X-5X, or 1.1X-100X. As a result, throughout the period of slowed virtual time, the player will give the friend avatar and the general audience a longer "real time" (eg, in the range of 1 to 10 seconds, depending on various embodiments, or It may be possible to see it over any time in the range of 0.5 seconds to 20 seconds). After a certain period of time, the virtual time is accelerated and returns to normal.
特定の実施形態では、アバタがユーザに見える間に、ビデオゲームの提示速度を低下させる場合がある。その場合、アバタがユーザに見えなくなるときに、ビデオゲームの提示速度を上げて戻してもよい。他の実施形態では、ユーザが、アバタをより良好に見え得るように、ビデオゲームの提示速度の減速/加速を行うと共に、アバタの大きさを拡大する場合がある。 In certain embodiments, the presentation speed of the video game may be reduced while the avatar is visible to the user. In that case, when the avatar becomes invisible to the user, the presentation speed of the video game may be increased and returned. In another embodiment, the user may slow down / accelerate the presentation speed of the video game and increase the size of the avatar so that the avatar can be seen better.
図2は、一実施形態による、VRビデオゲームを友人アバタで拡張する方法の全体の流れを示す。本方法は、動作200から始め、この動作は、HMDのユーザのためにサーバでビデオゲームを実行する動作であり、このビデオゲームは一般観客を含む。動作210において、本方法は、一般観客と、この一般観客に関連付けられたバーチャル位置とを識別する。次いで、本方法は動作220に進み、この動作は、友人アバタと関連したデータを受信する働きをする動作であり、このデータは、ビデオゲーム内でアバタを表示するために使用可能である。 FIG. 2 shows the overall flow of a method of extending a VR video game with a friend avatar according to one embodiment. The method begins with motion 200, which is the action of running a video game on a server for HMD users, the video game including the general audience. In motion 210, the method identifies a general spectator from a virtual position associated with this general spectator. The method then proceeds to operation 220, which is an operation that serves to receive data associated with a friend avatar, which data can be used to display the avatar in the video game.
動作230において、本方法は、ビデオゲームの実行中、識別した一般観客を見えないようにする。次に、動作240は、友人アバタでビデオゲームを拡張する働きをする動作であり、この拡張は、そのアバタを一般観客に関連付けられたバーチャル位置に挿入することを含む。 In motion 230, the method hides the identified general audience during the execution of the video game. Action 240 then serves to extend the video game with a friend avatar, the extension comprising inserting the avatar into a virtual position associated with the general audience.
次に、本方法は、動作250及び260に進み、これらの動作は、それぞれ、ユーザ用のビデオゲームのVR表現をレンダリングする働き、及びユーザのHMDへの表示のために、このVR表現を送信する働きをする動作であり、このVR表現はアバタのビューを含む。 The method then proceeds to actions 250 and 260, which act to render a VR representation of the video game for the user, respectively, and transmit this VR representation for display on the user's HMD. This VR representation includes a view of the avatar.
いくつかの実施形態によれば、動作210は、一般観客を無作為に識別する場合がある。他の実施形態では、動作210は、ビデオゲーム内で一般観客がどの程度、目立って見えるか、または顕著に見えるかに従って、一般観客を識別する場合がある。したがって、これらの実施形態によれば、動作210は、ビデオゲーム内でより顕著に見える一般観客を識別してもよく、その結果、その友人アバタを、ビデオゲームのプレーヤに対して目立たせるように見せてもよい。 According to some embodiments, motion 210 may randomly identify a general audience. In another embodiment, the action 210 may identify the general audience according to how prominent or prominent the general audience is in the video game. Therefore, according to these embodiments, the action 210 may identify a general audience that appears more prominent in the video game, thus making its friend avatar stand out to the video game player. You may show it.
さらに、いくつかの実施形態によれば、複数の一般観客を識別し、同じ友人アバタと置き換えてもよいように、動作210〜240を繰り返す場合がある。これらの実施形態では、プレーヤがビデオゲームをプレイするときに、プレーヤは、その友人アバタを見る複数の機会を与えられることになる。 Further, according to some embodiments, actions 210-240 may be repeated so that a plurality of general spectators may be identified and replaced with the same friend avatar. In these embodiments, when the player plays a video game, the player is given multiple opportunities to see his friend avatar.
また、動作210での一般観客の識別を、一般観客がユーザの視点に対してどの程度目立つのか、または顕著であるかに基づいて行われ得ることも企図されている。例えば、動作210は、友人のアバタと置き換えるために、ユーザに見える可能性が高い一般観客を選択する動作であってもよい。したがって、図1に示すように、一般観客102及び104は、第1のVRシーン100のうちではより目立つために、一般観客106よりも、一般観客102及び104が選択され得る。結果的に、一般観客102及び104が友人アバタ112及び114に置き換えられると、後者は、ユーザにとって、より目立つようになる。 It is also intended that the identification of the general spectator in motion 210 may be based on how prominent or prominent the general spectator is to the user's point of view. For example, the action 210 may be an action of selecting a general audience that is likely to be visible to the user in order to replace the friend's avatar. Therefore, as shown in FIG. 1, since the general spectators 102 and 104 are more prominent in the first VR scene 100, the general spectators 102 and 104 may be selected rather than the general spectators 106. As a result, when the general spectators 102 and 104 are replaced by friends avatars 112 and 114, the latter becomes more noticeable to the user.
また、アバタがユーザの視野のおおよその方向を向くように、アバタをビデオゲームに挿入することが行われ得ることも企図されている。例えば、ユーザの視点を受け止めるアバタは、そうでないアバタよりも認識されやすい。その結果として、動作240は、例えば、友人アバタがユーザの視野の方を向くような向きで、友人アバタを挿入する動作であってもよい。図1は、友人アバタ112及び114が、ユーザの視野を向くように、それらが向けられていることを示している。さらに、アバタは、ユーザがアバタに対して移動する場合に、常にユーザを向くように、それらの向きを変更しまたは更新してもよい。例えば、図1では、友人アバタ112及び114の両方は、ユーザがそれらのアバタを通り過ぎるとき、それらのアバタの頭及び/または体を右に向けるように構成されてもよい。 It is also contemplated that the avatar may be inserted into the video game so that the avatar points in the approximate direction of the user's field of view. For example, an avatar that receives the user's point of view is more likely to be recognized than an avatar that does not. As a result, the action 240 may be, for example, an action of inserting the friend avatar in such a direction that the friend avatar faces the user's field of view. FIG. 1 shows that friends avatars 112 and 114 are oriented so that they face the user's field of view. In addition, the avatar may reorient or update the avatar so that it always faces the user as it moves relative to the avatar. For example, in FIG. 1, both friends avatars 112 and 114 may be configured to turn their avatars' heads and / or bodies to the right as the user passes through them.
いくつかの実施形態では、アバタに関連付けられたデータには、アバタが、ソーシャルメディアネットワークから特定される実世界の人物(例えば、友人)の顔に似たバーチャル顔を少なくとも含むように、顔のデータが含まれることがある。特定の実施形態では、アバタのバーチャル顔は、当技術分野で周知の技法を用いて、実世界の人物の2次元写真から3Dで構築してもよい。他の実施形態では、アバタのバーチャル顔は、同様に当技術分野で周知の3Dイメージング技法を用いて構築してもよい。 In some embodiments, the data associated with the avatar is such that the avatar includes at least a virtual face that resembles the face of a real-world person (eg, a friend) identified from a social media network. May contain data. In certain embodiments, the avatar's virtual face may be constructed in 3D from a two-dimensional photograph of a real-world person using techniques well known in the art. In other embodiments, the avatar's virtual face may also be constructed using 3D imaging techniques well known in the art.
さらに、ユーザがアバタの近くを移動するときに、アバタの顔がユーザの方向に目を向けることを可能とするように、アバタがビデオゲーム内で処理され得ることが企図されている。例えば、第2のVRシーン110では、友人アバタ112及び114は、ユーザが友人アバタ112及び114の方に向かって運転する際に、ユーザの方向に目を向ける顔を有するように示している。さらに、友人アバタ112及び114は、ユーザと目を合わせているように表示され、それらの存在をより魅力的で現実感あるものにする。したがって、本明細書で説明するアバタは、その目をユーザに追従させてもよく、その結果、ユーザがアバタに目を向けると、アバタがユーザと目を合わせるように表示されることが企図されている。 Furthermore, it is contemplated that the avatar can be processed in the video game so that the avatar's face can be turned in the direction of the user as the user moves near the avatar. For example, in the second VR scene 110, the friend avatars 112 and 114 are shown to have faces that look in the direction of the user as the user drives towards the friend avatars 112 and 114. In addition, friends avatars 112 and 114 appear to be eye-catching to the user, making their presence more attractive and realistic. Accordingly, the avatars described herein may have their eyes followed by the user, and as a result, it is intended that when the user looks at the avatar, the avatar appears to look at the user. ing.
様々な実施形態によれば、友人アバタは、ビデオゲーム内の3次元(3D)バーチャルオブジェクトであることが企図されている。したがって、例えば、挿入されるアバタは、ゲーム内の3D空間を占有し、3次元の中で移動するように見える場合がある。 According to various embodiments, the friend avatar is intended to be a three-dimensional (3D) virtual object in a video game. Thus, for example, the inserted avatar may occupy a 3D space in the game and appear to move in three dimensions.
図3は、一実施形態による、VRビデオゲームを友人アバタで拡張し、この友人アバタに関連付けられた友人に、ビデオゲームの観客のビューを提供する方法の全体の流れを示す。動作300では、本方法は、HMDのユーザ向けに、サーバでビデオゲームを実行する。動作310では、本方法は、観客のデバイスから観戦をする要求を受信する。次いで、本方法は、動作320では、観客に関連付けられたアバタを配置するために、ビデオゲーム内のバーチャル位置を識別する。次に、本方法は、動作330では、動作320において識別されたバーチャル位置で、ビデオゲーム内に、観客に関連付けられたアバタを挿入する。 FIG. 3 shows the overall flow of a method of extending a VR video game with a friend avatar and providing a spectator view of the video game to a friend associated with the friend avatar according to one embodiment. In operation 300, the method runs a video game on a server for HMD users. In operation 310, the method receives a request to watch the game from the spectator's device. The method then identifies a virtual position in the video game in motion 320 to place the avatar associated with the spectator. Next, in motion 330, the method inserts the avatar associated with the spectator into the video game at the virtual position identified in motion 320.
次に、図3に示す本方法は、動作340及び350に進み、これらの動作は、それぞれ、ユーザの視点からのビデオゲームの第1のVR表現をレンダリングする働き、及びこの第1のVR表現を表示用のHMDに送信する働きをする動作であり、この第1のVR表現は、観客に関連付けられたアバタのビューを含む。さらに、本方法は、動作360及び370をも提供し、これらの動作は、アバタの視点からのビデオゲームの第2のVR表現をレンダリングする働き、及びこの第2のVR表現を表示するために、観客に関連付けられたHMDに送信する働きをする動作であり、この第2のVR表現は、ビデオゲーム内のユーザのビューを含む。結果的に、図3の本方法は、観客に関連付けられるアバタに関連した見晴らしの利く地点からの観客のビューを、観客に提供することができる。ユーザは、ビデオゲームをナビゲートするときにアバタを見ることができ、観客は、相互的に、ビデオゲーム内のユーザをリアルタイムで見る。 Next, the method shown in FIG. 3 proceeds to actions 340 and 350, each of which acts to render a first VR representation of the video game from the user's point of view, and this first VR representation. Is an action that serves to transmit the image to the HMD for display, and this first VR representation includes a view of the avatar associated with the audience. In addition, the method also provides motions 360 and 370, which serve to render a second VR representation of the video game from the avatar's point of view, and to display this second VR representation. , An action that serves to transmit to the HMD associated with the audience, the second VR representation of which includes a view of the user in the video game. As a result, the method of FIG. 3 can provide the spectator with a view of the spectator from a vantage point associated with the avatar associated with the spectator. The user can see the avatar as navigating the video game, and the spectators interact with each other to see the user in the video game in real time.
また、図3は、ビデオゲームへのアバタの拡張が、既存の一般観客を削除するものである必要がないことも示している。したがって、特定の実施形態では、前もって一般観客がいなかったビデオゲーム、及び一般観客を含まないビデオゲームにアバタを挿入してもよいことが企図されている。したがって、本明細書で提供される方法及びシステムは、既存の一般観客を有するビデオゲーム、及び既存の一般観客を有さないビデオゲームを対象にして実施し得る。 FIG. 3 also shows that the extension of avatars to video games does not have to remove the existing public audience. Therefore, in certain embodiments, it is contemplated that the avatar may be inserted into a video game that previously had no general audience and a video game that did not include a general audience. Therefore, the methods and systems provided herein can be implemented for video games that have an existing general audience and video games that do not have an existing general audience.
図4は、VRビデオゲームを友人アバタで拡張し、友人アバタのビューを有するプレーヤ向けの第1のVR表現をレンダリングするとともに、プレーヤのビューを有する友人向けの第2のVR表現をレンダリングする方法の別の実施形態を示す。本方法は、動作400で、HMDのユーザ向けに、サーバでVRゲームを実行することによって開始する。次に、本方法は、動作410において、ソーシャルネットワークまたはゲームネットワークを介して、友人アバタを取得する。動作420では、本方法は、ビデオゲーム内の一般観客、及び一般観客の関連付けられたバーチャル座標を識別する。次に、本方法は、動作430及び440において、それぞれ、ビューから一般観客を削除し、一般観客のバーチャル座標に一般観客の代わりに友人アバタを挿入する。次に、本方法は、ユーザの視点からのビデオゲームの第1のVR表現をレンダリングすること、及びユーザのHMDに表示するために、第1のVR表現を送信することを行うように構成されており、第1のVR表現は、友人アバタのビューを含む。 FIG. 4 is a method of extending a VR video game with a friend avatar to render a first VR representation for a player with a friend avatar view and a second VR representation for a friend with a player view. Is shown in another embodiment. This method is started by running a VR game on a server for HMD users in operation 400. Next, the method acquires a friend avatar in action 410 via a social network or a game network. In motion 420, the method identifies the general audience in the video game and the associated virtual coordinates of the general audience. Next, in actions 430 and 440, the method then removes the general audience from the view and inserts a friend avatar in place of the general audience in the virtual coordinates of the general audience, respectively. The method is then configured to render the first VR representation of the video game from the user's point of view and to transmit the first VR representation for display on the user's HMD. The first VR representation includes a view of a friend avatar.
また、図4の本方法は、動作460において、友人がユーザのビデオゲーム内に観客として挿入されたことを示す通知を、友人アバタに関連付けられた友人に送信することもできる。次に、本方法は、動作470において、友人アバタの視点からビデオゲームを視聴するための要求を友人から受信することができる。さらに、動作480では、本方法は、友人アバタの視点からのビデオゲームの第2のVR表現をレンダリングするように構成され、第2のVR表現は、ビデオゲーム内のユーザのビューを含む。さらに、動作480は、表示のために、第2のVR表現を友人のデバイスに送信するように構成されている。結果として、ビデオゲームに挿入される友人アバタに関連付けられた友人は、その友人が前もってビデオゲームに挿入されていることが友人に通知された後に、ビデオゲーム内のプレーヤのVR表現を視聴することを選択してもよい。 The method of FIG. 4 can also send a notification to a friend associated with the friend avatar in motion 460 that the friend has been inserted as a spectator in the user's video game. Next, in operation 470, the method can receive a request from a friend to watch the video game from the viewpoint of the friend avatar. Further, in motion 480, the method is configured to render a second VR representation of the video game from the perspective of a friend avatar, the second VR representation including a user's view within the video game. In addition, Action 480 is configured to send a second VR representation to a friend's device for display. As a result, the friend associated with the friend Avata inserted into the video game will watch the player's VR representation in the video game after the friend has been notified in advance that the friend has been inserted into the video game. May be selected.
図5は、VRビデオゲームを実世界の観客に関連するアバタで拡張する方法の全体の流れを示しており、アバタは、実世界の観客の、実世界の状態に基づいて、リアルタイムで外観が変化する。本方法は、動作500において、HMDのユーザ向けに、サーバでビデオゲームを実行することによって開始し、このビデオゲームの実行は、観客のアバタを用いるビデオゲームの拡張を含む。動作510において、本方法は、観客に関連付けられた複数のセンサを介して、観客の顔の表情及び体の位置決めに関係したリアルタイムのセンサデータを受信する。本方法は、動作520に進み、この動作は、リアルタイムのセンサデータを、アバタの顔の表情及び体の位置決めに関係したアバタのバーチャル状態にマッピングする働きをする動作である。次に、動作530では、本方法は、アバタの顔の表情及び身体の位置決めに関係したアバタのバーチャル状態に従って、観客のアバタの外観をリアルタイムで修正する。 Figure 5 shows the overall flow of how to extend a VR video game with avatars related to a real-world audience, where the avatars look real-time based on the real-world state of the real-world audience. Change. The method is initiated in operation 500 by running a video game on a server for HMD users, the running of which video game includes an extension of the video game using the avatar of the audience. In motion 510, the method receives real-time sensor data related to the facial expression and body positioning of the spectator via a plurality of sensors associated with the spectator. The method proceeds to operation 520, which is an operation that maps real-time sensor data to the virtual state of the avatar related to the facial expression of the avatar and the positioning of the body. Next, in motion 530, the method modifies the appearance of the avatar in the audience in real time according to the virtual state of the avatar related to the facial expression of the avatar and the positioning of the body.
次に、図5に示す本方法は、動作540及び550に進み、これらの動作は、それぞれ、ユーザの一人称視点からのビデオゲームの第1のVR表現をレンダリングする働き、及びこの第1のVR表現をユーザのHMDに表示するために送信する働きをする動作であり、この第1のVR表現はアバタのビューを含む。さらに、本方法は、動作560及び570を含み、これらの動作は、アバタの視点からのビデオゲームの第2のVR表現をレンダリングする働き、及びこの第2のVR表現を観客のHMDに表示するために送信する働きをする動作であり、この第2のVR表現は、ユーザがビデオゲーム内でプレイするキャラクタのビューを含む。結果的に、図5に示す本方法は、表情及び体の位置決めに関係したリアルタイムのセンサデータを用いることにより、ユーザがプレイするビデオゲームを、観客のリアルタイム表象で拡張することができる。例えば、観客が実世界で手を挙げて応援している場合に、本方法は、その観客に関連付けられた、手を挙げて応援しているアバタのビューを提供することができる。 Next, the method shown in FIG. 5 proceeds to actions 540 and 550, each of which acts to render a first VR representation of the video game from the user's first-person view, and this first VR. It is an operation that serves to transmit the representation to be displayed on the user's HMD, and this first VR representation includes a view of the avatar. Further, the method includes actions 560 and 570, which serve to render a second VR representation of the video game from the avatar's point of view, and display this second VR representation on the audience's HMD. This second VR representation includes a view of the character that the user plays in the video game. As a result, the method shown in FIG. 5 can extend the video game played by the user with a real-time representation of the audience by using real-time sensor data related to facial expression and body positioning. For example, if an spectator is raising his hand and cheering in the real world, the method can provide a view of the avatar who is raising his hand and cheering associated with that spectator.
図6は、一実施形態による、ビデオゲームを友人アバタで拡張できるようにするサーバ600の概念図を示す。サーバ600を、1つ以上のソーシャルネットワーク602、及び1つ以上のゲームネットワーク604と通信するように示す。サーバ600は、1つ以上のソーシャルネットワーク602及び/または1つ以上のゲームネットワーク604からの友人のアバタを描画できるようにするアバタエンジン606を含む。非限定的な実施例として、アバタエンジン606を、1つ以上のソーシャルネットワーク602を介して取得されるソーシャルフレンドリスト610、友人の画像データ612、友人の反応データ614、友人のプリファレンス616、アバタジェネレータ618、アバタの表情ロジック620、1つ以上のゲームネットワーク604を介して取得されるゲームフレンドリスト622、友人の動作データ624、友人の生体力学データ626、友人からアバタへのマッピングロジック628、アバタの体位ロジック630、アバタアニメータ632、及びアバタ状態634を含むように示す。 FIG. 6 shows a conceptual diagram of a server 600 that allows a video game to be extended by a friend avatar according to one embodiment. The server 600 is shown to communicate with one or more social networks 602 and one or more game networks 604. The server 600 includes an avatar engine 606 that allows drawing of friend avatars from one or more social networks 602 and / or one or more game networks 604. As a non-limiting example, the avatar engine 606 is acquired via one or more social networks 602, a social friend list 610, friend image data 612, friend reaction data 614, friend preference 616, avatar. Generator 618, avatar facial expression logic 620, game friend list 622 acquired via one or more game networks 604, friend motion data 624, friend biodynamic data 626, friend to avatar mapping logic 628, avatar Position logic 630, avatar animator 632, and avatar state 634 are shown to be included.
様々な実施形態によれば、友人の画像データ612は、アバタにマッピングされるのに使用可能な所与の友人に対して取り込まれた複数の画像を含む場合がある。友人の画像データ612は、友人の顔だけでなく、友人の全身の画像を含んでもよい。友人の画像データ612は、友人の実世界の状態を友人アバタのバーチャル状態にリアルタイムでマッピングするために、リアルタイムで取り込まれる画像を含んでもよい。他の実施形態では、友人の画像データ612は、必ずしもリアルタイムではない友人アバタのバーチャル状態に、実世界の状態を動的にマッピングするために使用され得ることが企図されている。例えば、友人の画像データ612に含まれる画像を使用して、友人の多くの種類の反応または挙動に対応するバーチャル状態のセットを構築してもよい。次いで、バーチャル状態のセットは、ビデオゲームの状況に応じて、1つ以上のビデオゲーム内でアニメーション化され、レンダリングされてもよい。 According to various embodiments, friend image data 612 may include multiple images captured for a given friend that can be used to map to the avatar. The friend image data 612 may include an image of the friend's whole body as well as the friend's face. The friend's image data 612 may include an image captured in real time to map the friend's real-world state to the virtual state of the friend's avatar in real time. In other embodiments, it is contemplated that friend image data 612 can be used to dynamically map real-world states to friend avatar's virtual state, which is not necessarily real-time. For example, the images contained in the friend's image data 612 may be used to build a set of virtual states that correspond to many types of friend's reactions or behaviors. The set of virtual states may then be animated and rendered within one or more video games, depending on the context of the video game.
様々な実施形態によれば、友人の反応データ614は、ビデオゲームをプレイし、または観戦している間の所与の友人の反応に対応する画像データを含んでもよい。例えば、友人の反応データ614は、特定の友人が仲間のプレーヤを応援しているときに、その友人がどのように見えるかに関係するデータを含む場合がある。友人の反応データ614は、友人がショックを受けたとき、感銘を受けたとき、感銘を受けなかったとき、冷静なとき、興奮したとき、励ましているとき、落胆しているときなどに、その友人がどのように見えるかに関係するデータを含んでもよい。 According to various embodiments, the friend reaction data 614 may include image data corresponding to a given friend's reaction while playing or watching a video game. For example, friend reaction data 614 may include data related to what a friend looks like when a particular friend is cheering for a fellow player. The friend's reaction data 614 can be used when a friend is shocked, impressed, unimpressed, calm, excited, encouraged, discouraged, etc. It may contain data related to what a friend looks like.
様々な実施形態によれば、友人のプリファレンス616は、友人が自分のアバタをどのように感じ取られたいかに関する友人のプリファレンスの設定を含んでもよい。友人のプリファレンス616により、友人は、種々のアバタの間から選択すること、及びアバタが友人の似顔絵にどれだけ似ているかを選択することを可能にするとともに、アバタの特徴を表示のために変更することを可能にする。一部の実施形態では、友人は、友人にできるだけ似ている写実的なアバタを望む場合がある。他の実施形態では、友人は、代わりに、友人が見せたいと思う必ずしも友人に似ているとは限らないキャラクタを選択してもよい。友人は、アバタの外部特徴を、要望通りに見えるように、さらに変更してもよい。 According to various embodiments, the friend's preference 616 may include setting a friend's preference as to how the friend wants his or her avatar to be perceived. A friend's preference 616 allows a friend to choose between a variety of avatars and how much the avatar resembles a friend's caricature, as well as to display the characteristics of the avatar. Allows you to change. In some embodiments, the friend may desire a photorealistic avatar that is as similar as possible to the friend. In other embodiments, the friend may instead choose a character that is not necessarily similar to the friend that the friend wants to show. A friend may further modify the external features of the avatar to make it look as desired.
友人の画像データ612、友人の反応データ614、及び友人のプリファレンスデータ616に基づいて、アバタジェネレータ618は、友人に特有の友人アバタを生成できる場合がある。例えば、アバタジェネレータ618は、当技術分野で周知の3次元モデリング技法を用いて、友人の画像データ612、友人の反応データ614、及び友人のプリファレンス616に基づき、アバタを描画できることが企図されている。 Based on the friend's image data 612, the friend's reaction data 614, and the friend's preference data 616, the avatar generator 618 may be able to generate a friend-specific friend avatar. For example, it is contemplated that the avatar generator 618 can draw avatars based on friend image data 612, friend reaction data 614, and friend preferences 616 using 3D modeling techniques well known in the art. There is.
様々な実施形態によれば、友人の動作データ624及び友人の生体力学データ626は、実世界で友人がどのように動く傾向があるかに関するデータを含む。友人の動作データ624及び生体力学データ626は、友人からアバタへのマッピングロジック628によって使用されてもよく、これは、実世界での友人の動きを、友人アバタのバーチャルな動きにマッピングする働きをする。例えば、友人が特定の仕方で拳を上下に動かす場合、友人からアバタへのマッピングロジック628は、アバタが同様に拳を上下に動かすように、その動きをアバタにマッピングすることができる。 According to various embodiments, the friend's motion data 624 and the friend's biomechanics data 626 include data on how the friend tends to move in the real world. The friend's motion data 624 and biomechanics data 626 may be used by the friend-to-avatar mapping logic 628, which serves to map the movement of the friend in the real world to the virtual movement of the friend avatar. To do. For example, if a friend moves his fist up and down in a particular way, the friend-to-avatar mapping logic 628 can map that movement to the avatar just as the avatar moves his fist up and down as well.
様々な実施形態によれば、アバタの表情ロジック620は、友人の画像データ612及び友人の反応データ614から抽出された友人の表情に対応するアバタの表情を生成する働きをする。例えば、アバタの表情ロジック620は、友人の励ましの表情を、アバタが同様の励ましの表情を見せるように、アバタにマッピングできる場合がある。さらに、アバタの体位ロジック630は、アバタに体位座標を提供する働きをする。例えば、友人がポーズをとる場合、アバタの体位ロジック630は、アバタが同様に類似のポーズをとっているように見えるように、アバタを生成しまたは修正することができる場合がある。 According to various embodiments, the avatar facial expression logic 620 serves to generate an avatar facial expression corresponding to the friend's facial expression extracted from the friend's image data 612 and the friend's reaction data 614. For example, the avatar's facial expression logic 620 may be able to map a friend's facial expression of encouragement to the avatar so that the avatar has a similar facial expression of encouragement. Further, the avatar position logic 630 serves to provide the avatar with position coordinates. For example, when a friend poses, the avatar position logic 630 may be able to generate or modify the avatar so that it appears to be in a similar pose as well.
様々な実施形態によれば、友人のアバタは、体位変化及び表情変化を有するビデオゲーム内の動的なオブジェクトであり得ることが企図されている。アバタアニメータ632は、友人のアバタをアニメーション化するか、または動的にする1つの手段であることが示されている。アバタエンジン606の結果として生成されるように、アバタ状態634が示されている。アバタ状態634は、友人のアバタ、ならびに時間とともに変化する可能性がある、対応するアバタの体位及び表情を描画し、レンダリングするための3次元データを含む。 According to various embodiments, it is contemplated that the friend avatar can be a dynamic object in a video game with changes in posture and facial expression. The avatar animator 632 has been shown to be a means of animating or dynamicizing a friend's avatar. The avatar state 634 is shown as a result of the avatar engine 606. The avatar state 634 contains three-dimensional data for drawing and rendering a friend's avatar, as well as the corresponding avatar's position and facial expression, which may change over time.
サーバ600はまた、リモートユーザ向けのビデオゲームの実行を担当しているゲームサーバモジュール608を含むように示されている。ゲームサーバモジュール608及びアバタエンジン606は、同じサーバ600上で実行されるように示されているが、ゲームサーバモジュール608及びアバタエンジン606は、異なるサーバ上で実行されてよく、またはアバタエンジン606の特定の構成要素が、ゲームサーバモジュール608と同じサーバ600上で実行されてよいことを理解されたい。ゲームサーバモジュール608は、所与のビデオゲームの様々な命令を実行するためのゲームエンジン636、ビデオゲーム内の一般観客または「模造の」観客を識別するための一般観客識別子638、観客置き換えロジック640、アバタ挿入ロジック642、ビデオゲーム内の友人のアバタをレンダリングするためのアバタレンダリングロジック644、ゲーム状態646、及びHMDに表示可能なゲーム状態のVR表現を生成するためのVRレンダリングシステム648を含むように示される。 The server 600 is also shown to include a game server module 608 that is responsible for running video games for remote users. The game server module 608 and the avatar engine 606 are shown to run on the same server 600, but the game server module 608 and the avatar engine 606 may run on different servers, or of the avatar engine 606. It should be understood that certain components may run on the same server 600 as the game server module 608. The game server module 608 is a game engine 636 for executing various commands of a given video game, a general audience identifier 638 for identifying a general audience or "imitation" audience in a video game, an audience replacement logic 640. 642, avatar insertion logic 642, avatar rendering logic 644 for rendering a friend's avatar in a video game, game state 646, and VR rendering system 648 for generating a VR representation of the game state that can be displayed on the HMD. Shown in.
様々な実施形態によれば、一般観客識別子638は、観客置き換えロジック640に対して一般観客を選択的に識別できることが企図されている。いくつかの実施形態によれば、ビデオゲーム内には、後で置き換えられることが予め決められた一般観客が存在する場合がある。他の実施形態では、一般観客識別子638は、置き換えに最適な1人以上の一般観客の識別を担当している。例えば、一般観客識別子638は、ビデオゲーム内の一般観客の位置、ビデオゲームの一般観客とプレーヤとの間の相対的な距離、プレーヤの視点から一般観客が占有するであろうピクセル数、一般観客が入り込むであろうプレーヤの視野内の領域などに基づいて、より目立つ観客を識別するように可能とされ得ることが予想される。前述の要因の一部または全てに基づいて、一般観客識別子638は、ビデオゲームのプレーヤの視点から、友人アバタと置き換えられたときに、友人アバタの視認性が向上して目立つようになる一般観客を識別することができる。 According to various embodiments, the general spectator identifier 638 is intended to be able to selectively identify the general spectator to the spectator replacement logic 640. According to some embodiments, there may be a general audience within the video game that is predetermined to be replaced later. In another embodiment, the general spectator identifier 638 is responsible for identifying one or more general spectators that are optimal for replacement. For example, the general spectator identifier 638 is the position of the general spectator in the video game, the relative distance between the general spectator and the player in the video game, the number of pixels that the general spectator will occupy from the player's point of view, the general spectator It is expected that it may be possible to identify a more prominent spectator based on the area within the player's field of view, etc., where the player will enter. Based on some or all of the above factors, the general audience identifier 638 becomes more visible and prominent to the friend avatar when replaced by the friend avatar from the perspective of the video game player. Can be identified.
様々な実施形態によれば、観客置き換えロジック640及びアバタ挿入ロジック642は、一般観客をビューから除去し、その場所に友人アバタを挿入する働きをする。さらに、アバタレンダリングロジック644は、ゲームサーバモジュール608がビデオゲームを実行するときに、アバタ644をレンダリングする働きをする。結果として得られるゲーム状態646は、VRレンダリングシステム648によってVR表現にレンダリングされ、その後、VR表現を表示するために、VR表現は、プレーヤのHMDに送信される。サーバ600内に示す構成要素及びプロセスの少なくとも一部は、プレーヤに対してローカルなコンピューティングデバイス上で実行され得ることに留意されたい。 According to various embodiments, the spectator replacement logic 640 and the avatar insertion logic 642 serve to remove the general spectator from the view and insert a friend avatar in its place. Further, the avatar rendering logic 644 serves to render the avatar 644 when the game server module 608 executes a video game. The resulting game state 646 is rendered into a VR representation by the VR rendering system 648, which is then transmitted to the player's HMD to display the VR representation. Note that at least some of the components and processes shown within the server 600 can run on computing devices that are local to the player.
図7Aは、複数の友人F、F、…、Fをレースゲーム内の様々な場所に挿入することが可能になる友人アバタ挿入ロジックの概念図を示す。様々な実施形態では、任意の所与のビデオゲームの複数の場所に友人アバタを挿入してもよい。例えば、友人アバタFは、3つの別個の場所でレースゲームに挿入されることを示す。さらに、図7Aに示すように、複数の友人アバタを同様の場所に挿入してもよい。例えば、友人F、F、…、Fのそれぞれは、ゴールに対応するレースゲーム内の場所に挿入されることを示す。 FIG. 7A shows a conceptual diagram of friend avatar insertion logic that allows a plurality of friends F 1 , F 2 , ..., F n to be inserted at various locations in a racing game. In various embodiments, friend avatars may be inserted at multiple locations in any given video game. For example, friends avatar F 1 indicates that it is inserted into a racing game in three separate locations. Further, as shown in FIG. 7A, a plurality of friend avatars may be inserted in the same place. For example, each of the friends F 1 , F 2 , ..., F n indicates that they are inserted at a location in the racing game corresponding to the goal.
図7Bは、観客置き換えロジック及び友人アバタ挿入ロジックが、どのように実施されることが想定されているかについての追加の実施形態を示す。図7Bは、バスケットボールコートのサイドラインに沿って、非常に目立つ場所に挿入されることになる友人アバタF1及びF2を示す。したがって、観客置き換えロジック及び友人挿入ロジックは、挿入されたときに、友人アバタがビデオゲームのプレーヤに対して目立って見えるビデオゲーム内の領域を識別できることが企図されている。さらに、友人アバタは、それらが取って代わる一般観客、及び友人アバタに近接する別途の一般観客に釣り合った大きさで表示されることになっていることが企図されている。例えば、友人アバタF1及びF2は、その領域の他の一般観客におおよそ釣り合った大きさでレンダリングされることが示されている。しかし、必ずしもそうである必要はない。例えば、他の実施形態では、友人アバタを、置き換えられる一般観客よりも大きく見えるように、「引き伸ばし」するか、または拡大してもよい。 FIG. 7B shows an additional embodiment of how the audience replacement logic and the friend avatar insertion logic are expected to be implemented. FIG. 7B shows friends avatars F1 and F2 that will be inserted in a very prominent place along the sideline of the basketball court. Therefore, the spectator replacement logic and the friend insertion logic are intended to be able to identify areas within the video game that the friend avatars will see prominently to the video game player when inserted. In addition, it is intended that the friend avatars are to be displayed in a size commensurate with the general audience they replace and another general audience in close proximity to the friend avatars. For example, friends avatars F1 and F2 have been shown to be rendered in a size approximately commensurate with the rest of the general audience in the area. But that doesn't have to be the case. For example, in other embodiments, the friend avatar may be "stretched" or magnified to appear larger than the general audience to be replaced.
図7C及び図7Dは、必ずしも一般観客が存在するとは限らない場合に、友人アバタを挿入する方法の実施形態を示す。具体的には、図7C及び図7Dは、必ずしも既存の一般観客を置き換えることなく、友人アバタを挿入してもよい斜線領域で表示される領域を示している。図7Cでは、友人アバタ挿入領域700(例えば、斜線領域で表示される)は、プレーヤ702及びプレーヤ704が、ビデオゲーム内でアクションを実行するのに必要とされるスペースを考慮に入れている。したがって、友人アバタ挿入領域700は、プレーヤ702の半径706、またはプレーヤ704の半径708を有する領域には及ばないように示されている。さらに、友人アバタ挿入領域700は、バーチャルオブジェクト710を考慮して示されており、一部の実施形態では、バーチャルオブジェクトが占める空間には友人アバタを挿入しない。 7C and 7D show embodiments of a method of inserting a friend avatar when the general audience is not always present. Specifically, FIGS. 7C and 7D show areas displayed in shaded areas where friend avatars may be inserted without necessarily replacing the existing general audience. In FIG. 7C, the friend avatar insertion area 700 (displayed, for example, in the shaded area) takes into account the space required for the player 702 and the player 704 to perform an action in the video game. Therefore, the friend avatar insertion region 700 is shown to be less than the region having radius 706 of player 702 or radius 708 of player 704. Further, the friend avatar insertion area 700 is shown in consideration of the virtual object 710, and in some embodiments, the friend avatar is not inserted in the space occupied by the virtual object.
図7Dは、一人称アクションゲーム用のアバタ挿入ロジックによって使用され得る友人アバタ挿入領域718(例えば、斜線領域)を示す。プレーヤ712は、友人アバタが挿入されるべきではない領域を画定する境界714に関連するように示される。さらに、境界716は、プレーヤ712が一人称アクション(例えば、狙うことまたは射撃)を実行することが予想されるアクション領域と、プレーヤ712が一人称アクションを実行することが予想されない非アクション領域との間を画定する。その結果として、友人アバタ挿入領域718は、プレーヤ712による一人称アクションのパフォーマンスを妨害し、または気を散らす位置に友人アバタを挿入しないために、境界714及び境界716によって境界を付けられるように示されている。多くの場合、友人アバタ挿入領域718は、プレーヤ712がゲーム内を進行するにつれて変化し得る。同様に、境界714及び境界716は、ゲーム内の進行に応じて、かつユーザのプリファレンスに応じて変化してもよいことが企図されている。例えば、友人アバタ挿入領域718は、大きさが増減する場合があり、位置が変化する場合があり、境界714及び境界716の変化に応じて異なる形状をとる場合がある。さらに、プレーヤ712がビデオゲーム内を移動するときに、友人挿入領域718をプレーヤ712に「付き従わせて」もよい(例えば、プレーヤの回りを追従させる)。 FIG. 7D shows a friend avatar insertion region 718 (eg, shaded region) that can be used by the avatar insertion logic for a first person action game. Player 712 is shown to be associated with boundary 714 that defines the area where friend avatars should not be inserted. In addition, the boundary 716 is between an action area where the player 712 is expected to perform a first-person action (eg, aiming or shooting) and a non-action area where the player 712 is not expected to perform a first-person action. Define. As a result, the friend avatar insertion area 718 is shown to be bounded by boundaries 714 and 716 so as not to interfere with or distract the performance of the first-person action by player 712. ing. In many cases, the friend avatar insertion area 718 can change as player 712 progresses through the game. Similarly, it is contemplated that boundaries 714 and 716 may change in response to in-game progress and user preferences. For example, the friend avatar insertion region 718 may increase or decrease in size, may change position, and may have a different shape depending on the change of the boundary 714 and the boundary 716. Further, as the player 712 moves through the video game, the friend insertion area 718 may be "followed" by the player 712 (eg, follow around the player).
図7Eは、動的な友人アバタ挿入領域及びユーザ配置を可能にする友人アバタ挿入ロジックの更なる実施形態を示す。上記のように、バーチャル地景(terrascape)、バーチャル世界、またはバーチャルシーン内でのプレーヤの動きは、静止している観客を解像しまたは識別することが困難になり得るように、十分に速く生ずる場合がある。例えば、レースゲームでは、プレーヤは、非常に速い速度に達することがよくあり、プレーヤが個々の観客を識別しまたは認識することが困難になる。更なる実施形態によれば、友人アバタ挿入領域は、プレーヤがビデオゲーム中を移動する際に、プレーヤと同期して移動する動的な領域であるように実行され得ることが企図されている。例えば、図7Eに示す実施形態では、第1の魔法のじゅうたん730及び第2の魔法のじゅうたん732を、動的挿入領域として示している。したがって、プレーヤ720がビデオゲーム内で車734を運転するとき、魔法のじゅうたん730及び732は、プレーヤ720が、図示した友人アバタの一貫したビューを有することができるように、車734の移動と同期して移動し得る。 FIG. 7E shows a further embodiment of the friend avatar insertion logic that allows for dynamic friend avatar insertion regions and user placement. As mentioned above, player movements within a virtual landscape, virtual world, or virtual scene are fast enough that it can be difficult to resolve or identify a stationary spectator. May occur. For example, in racing games, players often reach very high speeds, making it difficult for players to identify or recognize individual spectators. According to a further embodiment, it is contemplated that the friend avatar insertion area may be performed as a dynamic area that moves in synchronization with the player as the player moves through the video game. For example, in the embodiment shown in FIG. 7E, the first magic carpet 730 and the second magic carpet 732 are shown as dynamic insertion regions. Thus, when player 720 drives car 734 in a video game, the magic carpets 730 and 732 synchronize with the movement of car 734 so that player 720 can have a consistent view of the friend avatar illustrated. Can move.
さらに、図示の実施形態では、プレーヤ720は、友人アバタを配置する方法を選択することができる。例えば、プレーヤ720は、シーン722での魔法のじゅうたん730上に友人アバタ728を配置するように示される。結果として得られるシーン726では、友人アバタ728が魔法のじゅうたん730上に乗っていることが示されており、プレーヤ720は、そのように望むならば、ビデオゲーム体験の間中ずっと、友人アバタ728の一貫したビューを維持することができる。 Further, in the illustrated embodiment, the player 720 can choose a method of arranging friend avatars. For example, player 720 is shown to place friend avatar 728 on the magic carpet 730 in scene 722. The resulting scene 726 shows that friend avatar 728 is riding on a magic carpet 730, and player 720, if so wished, friend avatar 728 throughout the video gaming experience. Can maintain a consistent view of.
図8は、一実施形態による、観客がプレーヤとつながることができるようにする方法を示す概念図を示す。プレーヤデバイス800及び友人デバイス801は、ソーシャルネットワーク836及び/またはゲームサーバ838を介して通信するように示される。一実施形態では、プレーヤデバイス800は、プレーヤが友人デバイス801に招待状804を送信することを可能にするプレーヤインタフェース802を含む。招待状804は、観戦への招待状822として観客インタフェース820上に表示され、これにより友人は、プレーヤのゲームに参加することができる。観戦への招待状822は、友人がインターネットをブラウズしている間、ソーシャルネットワークと相互作用を行う間、またはゲームをプレイしている間に、ポップアップ通知などの多くの方法で表示させ得る。プレーヤインタフェース802はまた、友人デバイス801上の友人によって選択された観戦の要求824から生じる要求806を表示し得る。 FIG. 8 shows a conceptual diagram showing a method of allowing an spectator to connect with a player according to one embodiment. The player device 800 and the friend device 801 are shown to communicate via the social network 836 and / or the game server 838. In one embodiment, the player device 800 includes a player interface 802 that allows the player to send an invitation 804 to the friend device 801. The invitation 804 is displayed on the spectator interface 820 as an invitation 822 to watch the game, which allows friends to participate in the player's game. The spectator invitation 822 can be displayed in many ways, including pop-up notifications, while a friend is browsing the Internet, interacting with a social network, or playing a game. The player interface 802 may also display a request 806 arising from a watching request 824 selected by a friend on the friend device 801.
プレーヤデバイス800は、AIモジュール810、フレンドリスト812、プリファレンス/フィルタ814、及び招待ジェネレータ816を含む自動ブロードキャスト808を含んでもよい。友人への招待は、プレーヤが誰を挿入したいか、及び友人が誰を観たいかを考慮した選択的な方法で、AIモジュール810、フレンドリスト812、プリファレンス/フィルタ814、及び招待ジェネレータ816に基づいて自動的に生成され得ることが企図されている。招待ジェネレータ814は、友人デバイス801に、観戦の要求824か、例えば、プレーヤが新しくリリースされたゲームをプレイしようとしている場合には新しいゲームのプレビュー828か、直接通知830か、または招待受信ボックス832に送信されるメッセージかを生成するよう通知してもよい。また、観客インタフェース820は、友人が、どのプレーヤ及び/またはゲームであれば、観戦のために興味を持ちそうかを決定するのに役立つ設定/プリファレンス/履歴826を含むように示されている。さらに、過去にプレーヤのビデオゲームに、友人が自動的に挿入された場合には、友人が挿入されたビデオゲームのクリップを友人が再生できるようにする通知818が、友人デバイス801に送信されてもよい。自動ブロードキャスト808の動作または構成要素の一部または全ては、ソーシャルネットワーク836もしくはゲームサーバ838、または他の適切なサーバ上で実行され得ることに留意されたい。 The player device 800 may include an automatic broadcast 808 that includes an AI module 810, a friend list 812, a preference / filter 814, and an invitation generator 816. Invitation to friends is a selective method that takes into account who the player wants to insert and who the friend wants to see in the AI module 810, friend list 812, preferences / filter 814, and invitation generator 816. It is intended that it can be automatically generated based on it. The invitation generator 814 asks the friend device 801 to watch the game 824, for example, a preview of the new game 828 if the player is trying to play a newly released game, a direct notification 830, or an invitation inbox 832. You may be notified to generate a message to be sent to. Audience interface 820 is also shown to include settings / preferences / history 826 that help friends determine which player and / or game they are likely to be interested in watching. .. In addition, if a friend was automatically inserted into the player's video game in the past, a notification 818 was sent to the friend device 801 to allow the friend to play the clip of the video game in which the friend was inserted. May be good. Note that some or all of the actions or components of AutoBroadcast 808 may be performed on social network 836 or game server 838, or any other suitable server.
図9は、一実施形態による、友人の取り込み画像データを使用して、友人アバタを拡張する方法の概念図を示す。図示の実施形態では、サーバ900は、ゲームエンジン902と、友人924用のアバタエンジン904と、友人928用のアバタエンジン906とを含む。画像取り込みデバイス926及び930は、それぞれ友人924及び友人928の画像データを取り込むように示されている。画像取り込みデータは、アバタエンジン904及び906と通信されるように示し、これらはリアルタイム友人アバタ916及び/または記憶された友人アバタ918を生成するように構成されている。リアルタイム友人アバタ916は、リアルタイムでの友人924または928の表象である。リアルタイム友人アバタ916は、友人924または928が実世界で外観の変化を示すときに、外観が変化する。記憶された友人アバタ918は、アバタの状態及び動きのセットによって定義される動的バーチャルオブジェクトであってもよく、友人のリアルタイム画像取り込みデータが利用可能でないときに使用されてもよい。したがって、アバタエンジン904は、画像取り込みデータからマッピングされた顔の表情及び体位の様々な状態によって定義される「アバタ空間」を有する記憶された友人アバタを構築できることが企図されている。「アバタ空間」は、例えば、画像取り込みデータにより通知される顔の表情及び体位の観点から、アバタ状態の全てのセットを含み得る。その結果、所与の記憶された友人アバタの「アバタ空間」は、友人の実世界の状態をさらに取り込むことによって拡張され得る。リアルタイム友人アバタ916によって伝達されるアバタ状態は、記憶された友人アバタ918の共通アバタ状態に追加されてもよい。 FIG. 9 shows a conceptual diagram of a method of expanding a friend avatar using captured image data of a friend according to one embodiment. In the illustrated embodiment, the server 900 includes a game engine 902, an avatar engine 904 for friend 924, and an avatar engine 906 for friend 928. The image capture devices 926 and 930 are shown to capture the image data of friend 924 and friend 928, respectively. Image capture data is shown to communicate with the avatar engines 904 and 906, which are configured to generate real-time friend avatars 916 and / or stored friend avatars 918. The real-time friend avatar 916 is a representation of a friend 924 or 928 in real time. The real-time friend avatar 916 changes its appearance when a friend 924 or 928 shows a change in appearance in the real world. The stored friend avatar 918 may be a dynamic virtual object defined by a set of avatar states and movements and may be used when friend real-time image capture data is not available. Therefore, it is contemplated that the avatar engine 904 can construct a memorized friend avatar having an "avatar space" defined by various states of facial expressions and postures mapped from image capture data. The "avatar space" may include, for example, the entire set of avatar states in terms of facial expressions and postures notified by image capture data. As a result, the "avatar space" of a given memorized friend avatar can be extended by further capturing the real-world state of the friend. The avatar state transmitted by the real-time friend avatar 916 may be added to the common avatar state of the memorized friend avatar 918.
アバタエンジン904は、リアルタイム友人アバタ916または記憶された友人アバタ918をゲームエンジン902のアバタ挿入ロジック910に通信するように示されている。先に述べたように、アバタ挿入ロジック910は、一般観客を識別し、その場所にリアルタイム友人アバタ916または記憶された友人アバタ918を挿入してもよい。ゲームエンジン902はさらに、プレーヤ922からプレーヤ入力908を受け取る。結果として生じるゲーム状態912は、VRエンジン914によって使用されて、友人アバタ924’及び928’を含むVR表現920をレンダリングする。いくつかの実施形態では、挿入された友人のアバタの一部はリアルタイム友人アバタであってもよく、別の部分は記憶された友人アバタであってもよいことが想定される。 The avatar engine 904 is shown to communicate the real-time friend avatar 916 or the memorized friend avatar 918 to the avatar insertion logic 910 of the game engine 902. As mentioned earlier, the avatar insertion logic 910 may identify the general audience and insert a real-time friend avatar 916 or a memorized friend avatar 918 at that location. The game engine 902 also receives player input 908 from player 922. The resulting game state 912 is used by the VR engine 914 to render a VR representation 920 containing friends avatars 924'and 928'. In some embodiments, it is envisioned that some of the inserted friend avatars may be real-time friend avatars and another may be memorized friend avatars.
図10は、一実施形態による、実世界の友人のバーチャル化を可能にするために使用され得るアバタエンジンの追加の構成要素を示す。アバタエンジンは、顔特徴検出ロジック及び体位検出ロジックを含めて示される。顔特徴検出ロジックは、いくつかある特徴の中でも特に、目の形、鼻の形、頬の輪郭、眉の形、唇の形、瞳孔拡張、口の形、歯のイメージング、視線、瞬きの頻度、眼球の湾曲を取り込めることが示されている。体位検出ロジックは、四肢の位置、足の位置、胴体の位置、首の位置、手の位置、指の位置、姿勢、生体力学、頭の向き、及び更なる身体の特徴を検出できることが示されている。 FIG. 10 shows additional components of the avatar engine that can be used to enable the virtualization of real-world friends according to one embodiment. The avatar engine is shown including face feature detection logic and position detection logic. Facial feature detection logic includes eye shape, nose shape, cheek contour, eyebrow shape, lip shape, pupil dilation, mouth shape, tooth imaging, gaze, and blink frequency, among other features. , Has been shown to capture the curvature of the eyeball. Position detection logic has been shown to be able to detect limb position, foot position, torso position, neck position, hand position, finger position, posture, biomechanics, head orientation, and additional body features. ing.
顔特徴マッピングロジックは、顔特徴検出ロジックからのデータをアバタ状態にマッピングするように示されている。顔特徴マッピングロジックは、友人の感情状態の判定、顔の特徴の識別及び分類、顔の特徴の定量化、及び様々な顔の特徴の乗算及び/または増幅に関する動作及び構成要素を含む。乗算器/増幅器は、いくつかの実施形態では、友人の顔の特徴を強化して、結果として生じるアバタに関して、外観においてより明白にしてもよい。また、顔特徴マッピングロジックは、様々な顔の特徴が時間とともにどのように分布するか(例えば、友人が微笑む頻度、及び平均して友人が微笑む時間)の判定に関連する構成要素をも含む。さらに、顔特徴マッピングロジックは、友人のベースラインまたは安静時の表情を定義し得るデフォルトの表情状態を含む。 The face feature mapping logic is shown to map the data from the face feature detection logic to the avatar state. The facial feature mapping logic includes actions and components for determining a friend's emotional state, identifying and classifying facial features, quantifying facial features, and multiplying and / or amplifying various facial features. The multiplier / amplifier may, in some embodiments, enhance the facial features of the friend and make it more apparent in appearance with respect to the resulting avatar. The facial feature mapping logic also includes components related to determining how various facial features are distributed over time (eg, how often a friend smiles and, on average, how long a friend smiles). In addition, facial feature mapping logic includes default facial state states that can define a friend's baseline or resting facial expression.
体位検出ロジックから取得したデータをアバタ状態にマッピングするために、体位マッピングロジックが示されている。体位マッピングロジックは、アバタの身体力学、手信号のマッピング、アバタのデフォルトの体位の状態、体位のミラーリングロジック、生体力学のミラーリングロジック、及び骨格アニメーションに関連する構成要素及び動作を含む。顔特徴マッピングロジック及び体位マッピングロジックにより、顔の特徴、体位、及び動きに関して多くの点で友人に類似し得るアバタ状態をもたらす。 The position mapping logic is shown to map the data obtained from the position detection logic to the avatar state. Postural mapping logic includes avatar's body dynamics, hand signal mapping, avatar's default postural state, postural mirroring logic, biomechanical mirroring logic, and components and movements related to skeletal animation. The facial feature mapping logic and the postural mapping logic provide an avatar state that can resemble a friend in many respects with respect to facial features, posture, and movement.
いくつかの実施形態によれば、プレーヤのゲームにアバタとして挿入された友人は、プレーヤのビデオゲームの観客ビューを得ることを望む場合がある。図11は、プレーヤのビデオゲームをアバタで拡張し、アバタに関連付けられた友人にビデオゲームの観客ビューを提供するための概念図を示す。したがって、サーバ1100が、ゲームエンジン1102、アバタエンジン1104、及びVRエンジン1112を含むように示されている。アバタエンジンは、観客1132の画像取り込みデータに加えて、HMD1130取り込みデータを含む観客取り込み1138から観客取り込みデータを受信する。HMD1130取り込みデータは、図10の顔特徴検出ロジックのデータ構成要素の一部または全てを含んでもよい。 According to some embodiments, a friend inserted as an avatar in a player's game may want to get an audience view of the player's video game. FIG. 11 shows a conceptual diagram for extending a player's video game with an avatar and providing a spectator view of the video game to a friend associated with the avatar. Therefore, the server 1100 is shown to include a game engine 1102, an avatar engine 1104, and a VR engine 1112. The avatar engine receives spectator capture data from spectator capture 1138, including HMD1130 capture data, in addition to the image capture data of spectator 1132. The HMD1130 capture data may include some or all of the data components of the face feature detection logic of FIG.
ゲームエンジン1102は、レースゲームのVR表現1124との相互作用中に、プレーヤ1126からプレーヤ入力1106を受信するとともに、アバタ挿入ロジック1108のアバタデータを受信するように示されている。結果として得られるゲーム状態1110は、プレーヤビュー変換ロジック1114、プレーヤビューVRシーンジェネレータ1116、観客ビュー変換ロジック1118、及び観客ビューVRシーンジェネレータ1120を含むVRエンジン1112によって処理される。プレーヤビュー変換ロジック1114及びプレーヤビューVRシーンジェネレータ1116は、プレーヤ1126に表示されるVR表現1124を生成する。VR表現1124は、観客1132のアバタ1128を含むように示される。さらに、観客ビュー変換ロジック1118及び観客ビューVRシーンジェネレータ1120は、ネットワーク1101を介してHMD1130に配信される観客VR表現1134を生成するように示される。観客VR表現1134は、プレーヤ1126がアバタ1128の視点から運転しているレースカーのビューを含むように示されている。 The game engine 1102 is shown to receive the player input 1106 from the player 1126 and the avatar data of the avatar insertion logic 1108 while interacting with the VR representation 1124 of the racing game. The resulting game state 1110 is processed by a VR engine 1112 that includes player view conversion logic 1114, player view VR scene generator 1116, spectator view conversion logic 1118, and spectator view VR scene generator 1120. The player view conversion logic 1114 and the player view VR scene generator 1116 generate the VR representation 1124 displayed on the player 1126. The VR representation 1124 is shown to include the avatar 1128 of spectator 1132. Further, the spectator view conversion logic 1118 and the spectator view VR scene generator 1120 are shown to generate spectator VR representation 1134 delivered to the HMD 1130 via the network 1101. Audience VR representation 1134 is shown to include a view of the race car the player 1126 is driving from the perspective of the avatar 1128.
上記のように、VRエンジン1122の構成要素の一部または全ては、1つ以上の異なるサーバまたはユーザデバイスにわたって配置されまたは分散され得る。例えば、いくつかの実施形態では、プレーヤビュー変換ロジック1114及びプレーヤビューVRシーンジェネレータ1116は、ゲームコンソール、コンピューティングデバイス、またはプレーヤ1126がVR表現1124を表示するために着用する関連付けられたHMDなど、プレーヤ1126にとってローカルなユーザデバイス上で実行されてもよい。同様に、観客ビュー変換ロジック1118及び観客ビューVRシーンジェネレータ1120は、ゲームコンソールまたはHMD1130などの観客1132にとってローカルなデバイスで実行されてもよい。 As mentioned above, some or all of the components of the VR engine 1122 may be deployed or distributed across one or more different servers or user devices. For example, in some embodiments, the player view conversion logic 1114 and the player view VR scene generator 1116 include a game console, a computing device, or an associated HMD worn by the player 1126 to display the VR representation 1124. It may be run on a user device that is local to player 1126. Similarly, the spectator view conversion logic 1118 and the spectator view VR scene generator 1120 may be run on a device local to the spectator 1132, such as a game console or HMD 1130.
また、図11の図により、リアルタイム観客ビューと、図8の通知818に関連する観客再生シーンなどの再生観客ビューの両方が可能になることにも留意されたい。 It should also be noted that the diagram of FIG. 11 enables both a real-time audience view and a reproduction audience view such as the audience reproduction scene associated with notification 818 of FIG.
図12は、観客ビューのために挿入すべき様々なビデオゲームの中から選択するために使用され得る観客ユーザインタフェースの実施形態を示す。観客のユーザインタフェースは、友人及びフォロワによってプレイされるビデオゲーム、観客のお気に入りのビデオゲーム、ならびに流行のビデオゲームなど、様々なユーザがプレイしているビデオゲームのサムネイル画像またはビデオ画像を含むように示される。 FIG. 12 shows an embodiment of a spectator user interface that can be used to select from various video games to be inserted for the spectator view. The audience user interface should include thumbnails or video images of video games played by various users, such as video games played by friends and followers, audience favorite video games, and trendy video games. Shown.
いくつかの実施形態によれば、観客は、一度に複数のゲームに追加され、複数のゲームのそれぞれから観客ビューを取得することを望む場合がある。図13は、4つのゲームに同時に追加された後の観客体験を示す概念図を示している。観客1300は、ゲーム1、ゲーム2、ゲーム3、及びゲーム4に追加されたことが示されている。いくつかの実施形態によれば、観客1300は、視界1302を様々な方向に向けることにより、進行中の4つのビデオゲームの視聴の間をナビゲートすることができる。例えば、視界1302が領域1306に向けられているときに、観客1300はゲーム1を提示され、視界1302が領域1308に向けられているときにはゲーム2、視界1302が領域1304に向けられているときにはゲーム3、及び視界1302が領域1310に向けられているときにはゲーム4を提示される。結果として生じるVR表現1312は、4つのビデオゲームからのクリップのシーケンスであることが示されている。 According to some embodiments, the spectator may be added to the plurality of games at once and may wish to obtain spectator views from each of the plurality of games. FIG. 13 shows a conceptual diagram showing the audience experience after being added to the four games at the same time. Audience 1300 is shown to have been added to Game 1, Game 2, Game 3, and Game 4. According to some embodiments, the audience 1300 can navigate between viewing four video games in progress by directing the view 1302 in different directions. For example, when visibility 1302 is directed to region 1306, spectator 1300 is presented with game 1, game 2 when visibility 1302 is directed to region 1308, and game when visibility 1302 is directed to region 1304. Game 4 is presented when 3 and the field of view 1302 are directed to region 1310. The resulting VR representation 1312 has been shown to be a sequence of clips from four video games.
図14は、他の指標の中で特に、ビデオゲームのゲーム状態、ユーザのプリファレンス、及びユーザの履歴に基づいて、複数のビデオゲーム間を切り替える観客ビューを自動的に生成するための更なる実施形態を示す。観客ビュージェネレータは、観客が追加されたビデオゲームを含むゲーム選択(例えば、ゲーム1、2、3、及び4)、AI/機械学習モジュール、友人の活動、ゲームの人気、プロモーションエンジン(例えば、新しくリリースされたゲームを宣伝する場合がある)、プレーヤ召喚(例えば、プレーヤは特定のセグメントに「存在」するように観客を「召喚」してもよい)を含むように示されている。また、観客ビュージェネレータは、興味のあるセグメント、興味のあるゲーム、興味のあるプレイスタイル、プレーヤの好み、異なるゲームの観客ビュー間の観客のトグル/切り替え率などの様々な指標を含む観戦履歴をも含む。さらに、ゲームの履歴は、ゲームの成果、ゲームの問題セグメント、ゲームの目標、ゲームの傾向、使用したゲームの技術などのさまざまな指標を含む。 FIG. 14 is further for automatically generating an audience view that switches between multiple video games based on the game state of the video game, user preferences, and user history, among other indicators. An embodiment is shown. Audience view generators include game selection (eg, games 1, 2, 3, and 4), including video games with added spectators, AI / machine learning modules, friend activities, game popularity, promotion engines (eg, new). It is shown to include player summons (eg, players may "summon" spectators to "exist" in a particular segment), which may advertise the released game). The Audience View Generator also captures spectator history, including various metrics such as segments of interest, games of interest, playstyles of interest, player preferences, and spectator toggle / switch rates between spectator views of different games. Also includes. In addition, the game history includes various indicators such as game performance, game problem segments, game goals, game trends, and game technology used.
また、観客ビュージェネレータは、ゲーム1〜4のゲーム状態を取得する。図示の実施形態では、ゲーム状態のそれぞれにおける実線の曲線は、ゲームの強度、段階、レベル、セグメントなどを表してもよい。ゲーム状態のそれぞれの破線は、ゲームの人気度、現在の視聴者数などを表してもよい。そして、分類子/関心予測子が、第1の観客プレゼンテーション及び第2の観客プレゼンテーションを生成するように示され、どちらもゲーム1〜4からのセグメントのシーケンスを含む。第1の観客ビュー及び第2の観客ビューは、それぞれ第1の観客及び第2の観客に配信されるように示す。観客のプレゼンテーションは、観客と、観客の関連指標とによって、異なる場合がある。 In addition, the spectator view generator acquires the game states of games 1 to 4. In the illustrated embodiment, the solid line curve in each of the game states may represent the intensity, stage, level, segment, etc. of the game. Each dashed line in the game state may represent the popularity of the game, the current number of viewers, and the like. The classifier / interest predictor is then shown to generate a first spectator presentation and a second spectator presentation, both of which include a sequence of segments from games 1-4. The first spectator view and the second spectator view are shown to be delivered to the first spectator and the second spectator, respectively. Audience presentations may vary depending on the audience and the audience's relevant indicators.

Claims (23)

  1. 実世界の人物のアバタでビデオゲームを拡張する方法であって、
    サーバで前記ビデオゲームを実行することであって、前記ビデオゲームが、HMDを介してユーザによってプレイされる、前記ビデオゲームを実行すること、
    前記ビデオゲーム内の一般観客を識別すること、
    前記一般観客に関連付けられたバーチャル座標を決定すること、
    前記サーバで、前記実世界の人物の前記アバタに関連するデータを受信することであって、前記データが、前記ビデオゲーム内で前記アバタを表示するために使用可能である、前記データを受信すること、
    前記ビデオゲームのビューから前記一般観客を削除すること、
    前記アバタに関連付けられた前記データを使用して、前記一般観客に関連付けられた前記バーチャル座標で前記ビデオゲームに前記アバタを挿入することであって、前記アバタを挿入することにより、前記アバタが前記ビデオゲーム内で表示可能になり、前記アバタが3次元(3D)形式で提示される、前記アバタを挿入すること、
    前記ユーザ向けに前記ビデオゲームのバーチャルリアリティ(VR)表現をレンダリングすることであって、前記VR表現が前記アバタのビューを含む、前記VR表現をレンダリングすること、及び
    表示のために、前記VR表現を前記ユーザの前記HMDに送信すること
    を含む、方法。
    A way to extend a video game with a real-world character avatar,
    Running the video game on a server, wherein the video game is played by a user via an HMD.
    Identifying the general audience in the video game,
    Determining the virtual coordinates associated with the general audience,
    Receiving the data on the server that is related to the avatar of the real-world person, the data being available for displaying the avatar in the video game. thing,
    Removing the general audience from the video game view,
    Using the data associated with the avatar to insert the avatar into the video game at the virtual coordinates associated with the general audience, by inserting the avatar, the avatar becomes said. Inserting the avatar, which can be displayed in a video game and the avatar is presented in a three-dimensional (3D) format,
    Rendering a virtual reality (VR) representation of the video game for the user, wherein the VR representation includes a view of the avatar, rendering the VR representation, and displaying the VR representation. A method comprising transmitting to the HMD of the user.
  2. 前記一般観客を識別することは、前記ユーザの視点に対して前記一般観客が有する視認性または顕著さのレベルに基づいて、複数の一般観客から前記一般観客を選択することを含む、請求項1に記載の方法。 Identifying the general spectator comprises selecting the general spectator from a plurality of general spectators based on the level of visibility or prominence the general spectator has with respect to the user's point of view. The method described in.
  3. 1つ以上の追加の一般観客を識別すること、
    前記1つ以上の追加の一般観客のそれぞれのバーチャル座標を決定すること、
    前記ゲーム内のビューから、前記1つ以上の追加の一般観客を削除すること、及び
    前記1つ以上の追加の一般観客に関連付けられた前記それぞれのバーチャル座標で、前記ビデオゲームに前記アバタを挿入することであって、前記アバタを挿入することにより、前記アバタが前記ビデオゲーム内に3D形式で表示可能になり、前記VR表現が、前記ビデオゲーム内の様々な位置における前記アバタの1つ以上の追加ビューを含む、前記アバタを挿入すること
    をさらに含む、請求項1に記載の方法。
    Identifying one or more additional public audiences,
    Determining the virtual coordinates of each of the one or more additional general spectators,
    Removing the one or more additional general spectators from the in-game view and inserting the avatar into the video game at the respective virtual coordinates associated with the one or more additional general spectators. By inserting the avatar, the avatar can be displayed in the video game in 3D format, and the VR representation is one or more of the avatars at various positions in the video game. The method of claim 1, further comprising inserting the avatar, comprising an additional view of.
  4. 前記アバタが前記ユーザに表示されている間に、前記ビデオゲームの提示速度を低下させること、及び
    前記アバタが前記ユーザに表示されなくなったときに、前記ビデオゲームの前記提示速度を上げること
    をさらに含む、請求項1に記載の方法。
    Further, the presentation speed of the video game is reduced while the avatar is displayed to the user, and the presentation speed of the video game is increased when the avatar is not displayed to the user. The method of claim 1, comprising.
  5. 前記ビデオゲーム内の1つ以上の追加の一般観客を識別すること、
    前記1つ以上の追加の一般観客のそれぞれに関連付けられたバーチャル座標を決定すること、
    前記サーバで、1つ以上の実世界の人物の1つ以上の追加のアバタに関連するデータを受信することであって、前記データが、前記ビデオゲーム内で前記1つ以上の追加のアバタを表示するために使用可能であり、前記1つ以上の追加のアバタが3D形式で提示される、前記データを受信すること、
    前記ビデオゲームのビューから、前記1つ以上の追加の一般観客を削除すること、
    前記1つ以上の追加の一般観客のそれぞれに関連付けられた前記バーチャル座標で、前記ビデオゲームに、それぞれ前記1つ以上の追加のアバタを挿入することであって、前記VR表現が、前記1つ以上の追加のアバタを含み、前記1つ以上の追加のアバタは3D形式である、前記アバタを挿入すること
    をさらに含む、請求項1に記載の方法。
    Identifying one or more additional public audiences within the video game.
    Determining the virtual coordinates associated with each of the one or more additional general spectators,
    The server receives data related to one or more additional avatars of one or more real-world persons, wherein the data causes the one or more additional avatars in the video game. Receiving the data, which can be used to display and the one or more additional avatars are presented in 3D format.
    Removing the one or more additional public audience from the video game view,
    Inserting the one or more additional avatars into the video game at the virtual coordinates associated with each of the one or more additional general spectators, wherein the VR representation is the one. The method of claim 1, further comprising inserting the avatar, comprising the above additional avatars, wherein the one or more additional avatars are in 3D format.
  6. 前記実世界の人物向けに、前記ビデオゲームの追加のVR表現をレンダリングすることであって、前記追加のVR表現が、前記アバタに関連付けられた視点を有する、前記VR表現をレンダリングすること、及び
    表示のために前記実世界の人物のデバイスに、前記ビデオゲームの前記追加のVR表現を送信することであって、前記追加のVR表現は、前記ユーザが前記ビデオゲーム内で制御するキャラクタまたはオブジェクトのビューを含む、前記VR表現を送信すること
    をさらに含む、請求項1に記載の方法。
    Rendering an additional VR representation of the video game for the real-world person, wherein the additional VR representation has a viewpoint associated with the avatar, and rendering the VR representation. Sending the additional VR representation of the video game to the device of the person in the real world for display, the additional VR representation being a character or object controlled by the user in the video game. The method of claim 1, further comprising transmitting the VR representation comprising a view of.
  7. 前記実世界の人物の前記アバタが、前記実世界の人物の画像取り込みデータに基づいて構築される、請求項1に記載の方法。 The method of claim 1, wherein the avatar of the real-world person is constructed based on image capture data of the real-world person.
  8. 前記実世界の人物の前記アバタが、前記実世界の人物の前記画像取り込みデータに基づいた顔の特徴を含む、請求項7に記載の方法。 The method of claim 7, wherein the avatar of the real-world person comprises facial features based on the image capture data of the real-world person.
  9. 前記実世界の人物の前記画像取り込みデータに基づいて、前記アバタの外観がリアルタイムで変化する、請求項7に記載の方法。 The method of claim 7, wherein the appearance of the avatar changes in real time based on the image capture data of the real-world person.
  10. 前記ビデオゲームに前記アバタを前記挿入することは、前記ビデオゲームの前記VR表現において、前記アバタの前面が前記ユーザに表示されるように行われる、請求項1に記載の方法。 The method according to claim 1, wherein the insertion of the avatar into the video game is performed so that the front surface of the avatar is displayed to the user in the VR representation of the video game.
  11. 前記一般観客は、模造の観客、ノンプレーヤキャラクタ(NPC)、人間ではないキャラクタ、または実世界の人物に関連付けられていない他のキャラクタのうちの1つ以上である、請求項1に記載の方法。 The method of claim 1, wherein the general spectator is one or more of an imitation spectator, a non-player character (NPC), a non-human character, or another character that is not associated with a person in the real world. ..
  12. 前記アバタは、ソーシャルメディアネットワークから特定される前記実世界の人物の顔に似たバーチャル顔を少なくとも含む、請求項1に記載の方法。 The method of claim 1, wherein the avatar includes at least a virtual face that resembles the face of the person in the real world identified from a social media network.
  13. 前記ビデオゲーム内で表示可能な前記アバタは、さらに、前記ユーザが前記アバタの近くを移動するときに、前記アバタの顔が前記ユーザの方向に目を向けることを可能とする、請求項1に記載の方法。 The avatar, which can be displayed in the video game, further enables the face of the avatar to look in the direction of the user when the user moves near the avatar, claim 1. The method described.
  14. 前記ユーザの前記方向に前記目を向けることにより、前記アバタの目が前記ユーザに追従し、前記ユーザが前記アバタに目を向けると、前記アバタが前記ユーザと目を合わせるように表示されるものとする、請求項13に記載の方法。 By turning the eyes in the direction of the user, the eyes of the avatar follow the user, and when the user looks at the avatar, the avatar is displayed so as to make an eye on the user. The method according to claim 13.
  15. サーバシステムであって、
    1つ以上のプロセッサと、
    前記1つ以上のプロセッサと通信するように配置されるメモリであって、
    HMDを介してユーザがプレイするためのビデオゲームを実行すること、
    前記ビデオゲーム内の一般観客を識別すること、
    前記一般観客に関連付けられたバーチャル座標を決定すること、
    実世界の人物のアバタに関連するデータを受信することであって、前記データが、前記ビデオゲーム内で前記アバタを表示するために使用可能である、前記データを受信すること、
    前記ビデオゲームのビューから前記一般観客を削除すること、
    前記アバタに関連付けられた前記データを使用して、前記一般観客に関連付けられた前記バーチャル座標で前記ビデオゲームに前記アバタを挿入して、前記アバタを前記ビデオゲーム内に3D形式で表示可能にすること、
    前記ユーザ向けに前記ビデオゲームのVR表現をレンダリングすることであって、前記VR表現が前記3D形式の前記アバタのビューを含む、前記VR表現をレンダリングすること、及び
    表示のために、前記VR表現を前記ユーザの前記HMDに送信すること
    を行うプロセッサ実行可能命令を保存する前記メモリと
    を備える、サーバシステム。
    It ’s a server system,
    With one or more processors
    A memory arranged to communicate with one or more of the processors.
    Running video games for users to play via the HMD,
    Identifying the general audience in the video game,
    Determining the virtual coordinates associated with the general audience,
    Receiving the data relating to the avatar of a person in the real world, wherein the data can be used to display the avatar in the video game.
    Removing the general audience from the video game view,
    Using the data associated with the avatar, the avatar is inserted into the video game at the virtual coordinates associated with the general audience to allow the avatar to be displayed in the video game in 3D format. thing,
    Rendering the VR representation of the video game for the user, the VR representation for rendering and displaying the VR representation, the VR representation comprising a view of the avatar in the 3D format. A server system including the memory for storing a processor-executable instruction for transmitting the above to the HMD of the user.
  16. 前記ビデオゲーム内の前記一般観客を識別するための前記プロセッサ実行可能命令は、前記ユーザの視点に対して、前記一般観客に関連付けられた視認性または顕著さのレベルに基づいて、複数の一般観客から前記一般観客を選択するための命令を含む、請求項15に記載のシステム。 The processor-executable instructions for identifying the general spectator in the video game are for the user's point of view, based on the level of visibility or saliency associated with the general spectator. 15. The system of claim 15, comprising an instruction to select the general audience from.
  17. 前記アバタが前記ユーザに表示されている間に、前記ビデオの提示速度を低下させること、及び
    前記アバタが前記ユーザに表示されなくなったときに、前記ビデオゲームの前記提示速度を上げること
    を行う命令をさらに含む、請求項15に記載のシステム。
    An instruction to reduce the presentation speed of the video while the avatar is displayed to the user, and to increase the presentation speed of the video game when the avatar is no longer displayed to the user. The system according to claim 15, further comprising.
  18. 前記ビデオゲーム内の1つ以上の追加の一般観客を識別すること、
    前記1つ以上の追加の一般観客のそれぞれに関連付けられたバーチャル座標を決定すること、
    1つ以上の実世界の人物の1つ以上の追加のアバタに関連するデータを受信することであって、前記1つ以上の追加のアバタに関連付けられた前記データが、前記ビデオゲーム内で前記1つ以上の追加のアバタを表示するために使用可能である、前記データを受信すること、
    前記ビデオゲームのビューから、前記1つ以上の追加の一般観客を削除すること、及び
    前記1つ以上の追加の一般観客のそれぞれに関連付けられた前記バーチャル座標で、前記ビデオゲームに、それぞれ前記1つ以上の追加のアバタを挿入して、前記1つ以上の追加のアバタを前記ビデオゲーム内に3D形式で表示可能にすることであって、前記VR表現が、前記1つ以上の追加のアバタを含む、前記アバタを挿入すること
    を行う命令をさらに含む、請求項15に記載のシステム。
    Identifying one or more additional public audiences within the video game.
    Determining the virtual coordinates associated with each of the one or more additional general spectators,
    Receiving data related to one or more additional avatars of one or more real-world characters, said data associated with said one or more additional avatars, said in the video game. Receiving said data, which can be used to display one or more additional avatars,
    To remove the one or more additional general spectators from the view of the video game, and to the video game with the virtual coordinates associated with each of the one or more additional general spectators, respectively. Inserting one or more additional avatars to allow the one or more additional avatars to be displayed in the video game in 3D format, wherein the VR representation is the one or more additional avatars. 15. The system of claim 15, further comprising an instruction to insert the avatar, comprising.
  19. 前記実世界の人物向けに、前記ビデオゲームの追加のVR表現をレンダリングすることであって、前記追加のVR表現が、前記アバタに関連付けられた視点を有する、前記VR表現をレンダリングすること、及び
    表示のために前記実世界の人物のデバイスに、前記ビデオゲームの前記追加のVR表現を送信することであって、前記追加のVR表現は、前記ユーザが前記ビデオゲーム内で制御するキャラクタまたはオブジェクトのビューを含む、前記VR表現を送信すること
    を行う命令をさらに含む、請求項15に記載のシステム。
    Rendering an additional VR representation of the video game for the person in the real world, wherein the additional VR representation has a viewpoint associated with the avatar, and rendering the VR representation. Sending the additional VR representation of the video game to the device of the person in the real world for display, the additional VR representation being a character or object controlled by the user in the video game. 15. The system of claim 15, further comprising an instruction to transmit the VR representation, including a view of.
  20. 前記実世界の人物の前記アバタは、ソーシャルメディアネットワークから特定される前記実世界の人物の顔に似たバーチャル顔を少なくとも含む、請求項15に記載のシステム。 15. The system of claim 15, wherein the avatar of the real-world person includes at least a virtual face that resembles the face of the real-world person identified from a social media network.
  21. 表示可能な前記アバタは、前記ユーザが前記アバタの近くを移動するときに、前記アバタの顔が前記ユーザの方向に目を向けることを可能とする、請求項15に記載のシステム。 15. The system of claim 15, wherein the displayable avatar allows the face of the avatar to look in the direction of the user as the user moves near the avatar.
  22. 前記ユーザの前記方向に前記目を向けることにより、前記アバタの目が前記ユーザに追従し、前記ユーザが前記アバタに目を向けると、前記アバタが前記ユーザと目を合わせるように表示されるものとする、請求項21に記載のシステム。 By turning the eyes in the direction of the user, the eyes of the avatar follow the user, and when the user looks at the avatar, the avatar is displayed so as to make an eye on the user. The system according to claim 21.
  23. プロセッサ実行可能命令を保存する非一時的媒体であって、前記命令は、
    1つ以上のプロセッサと、
    前記1つ以上のプロセッサと通信するように配置されるメモリであって、
    HMDを介してユーザがプレイするためのビデオゲームを実行すること、
    前記ビデオゲーム内の一般観客を識別すること、
    前記一般観客に関連付けられたバーチャル座標を決定すること、
    実世界の人物のアバタに関連するデータを受信することであって、前記データが、前記ビデオゲーム内で前記アバタを表示するために使用可能である、前記データを受信すること、
    前記ビデオゲームのビューから前記一般観客を削除すること、
    前記アバタに関連付けられた前記データを使用して、前記一般観客に関連付けられた前記バーチャル座標で前記ビデオゲームに前記アバタを挿入して、前記アバタを前記ビデオゲーム内に3D形式で表示可能にすること、
    前記ユーザ向けに前記ビデオゲームのVR表現をレンダリングすることであって、前記VR表現が前記3D形式の前記アバタのビューを含む、前記VR表現をレンダリングすること、及び
    表示のために、前記VR表現を前記ユーザの前記HMDに送信すること
    を行うプロセッサ実行可能命令を保存する前記メモリと
    への命令を含む、非一時的媒体。
    A non-temporary medium for storing processor executable instructions, said instructions.
    With one or more processors
    A memory arranged to communicate with one or more of the processors.
    Running video games for users to play via the HMD,
    Identifying the general audience in the video game,
    Determining the virtual coordinates associated with the general audience,
    Receiving the data relating to the avatar of a person in the real world, wherein the data can be used to display the avatar in the video game.
    Removing the general audience from the video game view,
    Using the data associated with the avatar, the avatar is inserted into the video game at the virtual coordinates associated with the general audience to allow the avatar to be displayed in the video game in 3D format. thing,
    Rendering the VR representation of the video game for the user, the VR representation for rendering and displaying the VR representation, the VR representation comprising a view of the avatar in the 3D format. A non-temporary medium comprising instructions to and to said memory for storing processor executable instructions that transmit the user to said HMD.
JP2020518422A 2017-09-29 2018-09-27 Extension of virtual reality video game with friend avatar Pending JP2020535878A (en)

Priority Applications (5)

Application Number Priority Date Filing Date Title
US201762566272P true 2017-09-29 2017-09-29
US62/566,272 2017-09-29
US15/905,796 2018-02-26
US15/905,796 US10668382B2 (en) 2017-09-29 2018-02-26 Augmenting virtual reality video games with friend avatars
PCT/US2018/053127 WO2019067722A1 (en) 2017-09-29 2018-09-27 Augmenting virtual reality video games with friend avatars

Publications (1)

Publication Number Publication Date
JP2020535878A true JP2020535878A (en) 2020-12-10

Family

ID=65897497

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020518422A Pending JP2020535878A (en) 2017-09-29 2018-09-27 Extension of virtual reality video game with friend avatar

Country Status (5)

Country Link
US (2) US10668382B2 (en)
EP (1) EP3687642A1 (en)
JP (1) JP2020535878A (en)
CN (1) CN111372661A (en)
WO (1) WO2019067722A1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021045733A1 (en) * 2019-09-03 2021-03-11 Light Field Lab, Inc. Light field display system for gaming environments

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7667705B2 (en) * 2001-05-15 2010-02-23 Nintendo Of America Inc. System and method for controlling animation by tagging objects within a game environment
EP1391847A4 (en) 2001-05-18 2010-09-08 Sony Computer Entertainment Inc Display apparatus
JP5293582B2 (en) 2009-12-10 2013-09-18 株式会社セガ Image processing program and computer-readable recording medium
US20110244954A1 (en) 2010-03-10 2011-10-06 Oddmobb, Inc. Online social media game
US8572177B2 (en) * 2010-03-10 2013-10-29 Xmobb, Inc. 3D social platform for sharing videos and webpages
US8814693B2 (en) * 2011-05-27 2014-08-26 Microsoft Corporation Avatars of friends as non-player-characters
US20180104580A1 (en) * 2016-10-18 2018-04-19 Roblox Corporation Virtual Reality Environment Observation System and Network

Also Published As

Publication number Publication date
US20200289941A1 (en) 2020-09-17
US10668382B2 (en) 2020-06-02
EP3687642A1 (en) 2020-08-05
WO2019067722A1 (en) 2019-04-04
CN111372661A (en) 2020-07-03
US20190099675A1 (en) 2019-04-04

Similar Documents

Publication Publication Date Title
US10372209B2 (en) Eye tracking enabling 3D viewing
AU2017204739B2 (en) Massive simultaneous remote digital presence world
US10642566B2 (en) Methods and systems for social sharing head mounted display (HMD) content with a second screen
CN107735152B (en) Extended field of view re-rendering for Virtual Reality (VR) viewing
US10545338B2 (en) Image rendering responsive to user actions in head mounted display
TWI594174B (en) Tracking system, method and device for head mounted display
JP6538897B2 (en) Game machine with space sensing
US10210666B2 (en) Filtering and parental control methods for restricting visual activity on a head mounted display
JP6581666B2 (en) Pinch and hold gesture navigation on head mounted display
US10740951B2 (en) Foveal adaptation of particles and simulation models in a foveated rendering system
US10078917B1 (en) Augmented reality simulation
US10388071B2 (en) Virtual reality (VR) cadence profile adjustments for navigating VR users in VR environments
US10471353B2 (en) Using HMD camera touch button to render images of a user captured during game play
US10659748B2 (en) System and method for presenting virtual reality content to a user
US20200409453A1 (en) Control of Personal Space Content Presented Via Head Mounted Display
US10203838B2 (en) Avatar personalization in a virtual environment
JP2019518261A (en) Watch a virtual reality environment associated with virtual reality (VR) user interactivity
US9236032B2 (en) Apparatus and method for providing content experience service
JP2017516187A (en) Calibration method and system for head mounted display (HMD) tracking and HMD headband adjustment
Tinwell The uncanny valley in games and animation
EP3096208B1 (en) Image processing for head mounted display devices
US10489983B2 (en) Sensory stimulus management in head mounted display
JP5943913B2 (en) User tracking feedback
KR101610702B1 (en) Sprite strip renderer
JP5859456B2 (en) Camera navigation for presentations

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200529