JP2023021047A - 動作データの共有 - Google Patents

動作データの共有 Download PDF

Info

Publication number
JP2023021047A
JP2023021047A JP2022120261A JP2022120261A JP2023021047A JP 2023021047 A JP2023021047 A JP 2023021047A JP 2022120261 A JP2022120261 A JP 2022120261A JP 2022120261 A JP2022120261 A JP 2022120261A JP 2023021047 A JP2023021047 A JP 2023021047A
Authority
JP
Japan
Prior art keywords
data
recipient
user
action
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022120261A
Other languages
English (en)
Inventor
ユンガー、エリザベス
Juenger Elizabeth
シェルドン、ジェニファー
Sheldon Jennifer
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Interactive Entertainment Inc
Original Assignee
Sony Interactive Entertainment Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Interactive Entertainment Inc filed Critical Sony Interactive Entertainment Inc
Publication of JP2023021047A publication Critical patent/JP2023021047A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/428Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving motion or position input signals, e.g. signals representing the rotation of an input controller or a player's arm motions sensed by accelerometers or gyroscopes
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/55Controlling game characters or game objects based on the game progress
    • A63F13/57Simulating properties, behaviour or motion of objects in the game world, e.g. computing tyre load in a car race game
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • A63F13/21Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/216Input arrangements for video game devices characterised by their sensors, purposes or types using geographical information, e.g. location of the game device or player using GPS
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/70Game security or game management aspects
    • A63F13/79Game security or game management aspects involving player-related data, e.g. identities, accounts, preferences or play histories
    • A63F13/795Game security or game management aspects involving player-related data, e.g. identities, accounts, preferences or play histories for finding other players; for building a team; for providing a buddy list
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/85Providing additional services to players
    • A63F13/86Watching games played by other players
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/43Querying
    • G06F16/435Filtering based on additional data, e.g. user or group profiles
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/20Scenes; Scene-specific elements in augmented reality scenes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • G06V40/23Recognition of whole body movements, e.g. for sport training
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00Teaching not covered by other main groups of this subclass
    • G09B19/003Repetitive work cycles; Sequence of movements
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00Teaching not covered by other main groups of this subclass
    • G09B19/0015Dancing
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/30ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to physical therapies or activities, e.g. physiotherapy, acupressure or exercising

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Biomedical Technology (AREA)
  • General Business, Economics & Management (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Epidemiology (AREA)
  • Environmental & Geological Engineering (AREA)
  • Educational Administration (AREA)
  • Computer Security & Cryptography (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Databases & Information Systems (AREA)
  • Educational Technology (AREA)
  • Medical Informatics (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Information Transfer Between Computers (AREA)
  • Processing Or Creating Images (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】ユーザの物理的動作に関するデータをキャプチャし、分析し、共有するためのシステム及び方法を提供する。【解決手段】動作データの分析及び共有のための方法であって、ユーザによる動作中にキャプチャされたデータを、ユーザに関連付けられたユーザデバイスから受信し、対応する動作を、データに基づいて仮想環境内の仮想キャラクタによってレンダリングし、仮想現実環境内の対応する動作のビデオをキャプチャし、データに関連付ける。キャプチャしたビデオ及びデータを、ユーザが指定した受信者に提供する。次に、キャプチャされたビデオの再生中の受信者に関するデータをキャプチャされたビデオに関連付けられたデータと比較することにより、受信者が動作を行っていることを検証する。【選択図】図3

Description

本発明は一般的に、動作データの共有に関する。より具体的には、本発明は、ユーザの物理的動作に関するデータをキャプチャ、分析、及び共有することに関する。
現在利用可能なユーザデバイスには、ビデオのキャプチャと、様々なオンラインソーシャルネットワーク(例えば、TikTok(登録商標))を介したそのようなビデオの共有を可能にするカメラが含まれる。ただし、ユーザの物理的動作は、ビデオだけでキャプチャできるよりも多くのパラメータによって特徴付けられる場合がある。それは、ビデオが単に動作の最終結果がどのように見えるかを示しているにすぎないからである。例えば、動作の背後にあるメカニズム、リズム、もしくは力、またはそのような動作を正確に行う方法を視聴者が理解するのに役立ち得る分析や、他のタイプのデータがない。
ビデオゲームシステムや他の仮想現実システムなどの様々なコンピューティングシステムでは、仮想環境または他のデジタル環境内でユーザ動作の一部の要素を再現することが可能である。そのようなシステムは、動作データをキャプチャし、そのような動作データを仮想環境内のアバタまたはキャラクタを制御するための命令に変換するために、コントローラ及び他のセンサに依存する場合がある。例えば、特定のジェスチャコントロールは、仮想環境をナビゲート及び仮想環境とインタラクトする際に、アバタによる様々なアクションに変換されてよい。アバタまたはキャラクタは仮想環境内の他のユーザまたはプレーヤによって視聴されてよいが、動作を特徴付ける基礎となる動作データは他者とは共有されない。カメラでキャプチャされたビデオと同様に、視聴者は動作の分析や命令を受信しない。
したがって、当技術分野では、ユーザの物理的動作に関するデータをキャプチャ、分析、及び共有するための改善されたシステム及び方法が必要とされている。
本発明の実施形態は、動作データを共有するためのシステム及び方法を含む。ユーザに関連付けられたユーザデバイスは、コンテンツ管理サーバと通信する。コンテンツ管理サーバは、実世界環境におけるユーザによる動作中にキャプチャされたデータをユーザデバイスから受信する。コンテンツ管理サーバは、データに基づいて、仮想環境内に仮想キャラクタによる対応する動作をレンダリングする。コンテンツ管理サーバは、データに関連付けられた仮想現実環境内の対応する動作のビデオをキャプチャする。コンテンツ管理サーバは、キャプチャされたビデオとデータとをユーザが指定した受信者に提供する。コンテンツ管理サーバは、キャプチャされたビデオの再生中の受信者に関するデータをキャプチャされたビデオに関連付けられたデータと比較することにより、受信者が動作を行っていることを検証する。
動作データの分析及び共有のためのシステムが実装され得る例示的なネットワーク環境を示す。 仮想環境に関連する動作データを分析するために使用し得る例示的な統一データシステム(UDS:uniform data system)を示す。 動作データの分析及び共有のための例示的な方法を示すフローチャートである。 動作データをキャプチャするために使用し得る例示的なユーザデバイスのブロックレベル図である。 本発明の実施形態で使用し得る例示的な電子エンターテインメントシステムのブロック図である。
本発明の実施形態は、動作データを共有するためのシステム及び方法を含む。ユーザに関連付けられたユーザデバイスは、コンテンツ管理サーバと通信する。コンテンツ管理サーバは、実世界環境におけるユーザによる動作中にキャプチャされたデータをユーザデバイスから受信する。コンテンツ管理サーバは、データに基づいて、仮想環境内に仮想キャラクタによる対応する動作をレンダリングする。コンテンツ管理サーバは、データに関連付けられた仮想現実環境内の対応する動作のビデオをキャプチャする。コンテンツ管理サーバは、キャプチャされたビデオとデータとをユーザが指定した受信者に提供する。コンテンツ管理サーバは、キャプチャされたビデオの再生中の受信者に関するデータをキャプチャされたビデオに関連付けられたデータと比較することにより、受信者が動作を行っていることを検証する。
図1は、動作データの分析及び共有のためのシステムが実装され得る例示的なネットワーク環境を示す。ネットワーク環境100は、配信用のデジタルコンテンツ(例えば、ゲーム、他のアプリケーション及びサービス)を提供する1つまたは複数のコンテンツソースサーバ110、1つまたは複数のコンテンツプロバイダサーバ・アプリケーションプログラムインタフェース(API)120、コンテンツ配信ネットワークサーバ130、コンテキスト管理サーバ140、ならびに1つまたは複数のユーザデバイス150A~150Nを含み得る。
本明細書に記載されるサーバは、ネットワークインタフェース、メディアインタフェース、非一時的コンピュータ可読ストレージ(メモリ)、ならびにメモリに記憶され得る命令を実行するための、もしくはメモリに記憶され得る情報にアクセスするためのプロセッサなど、標準のハードウェアコンピューティング構成要素を含む、当技術分野で既知の任意のタイプのサーバを含み得る。複数のサーバの機能は、単一のサーバに統合されてよい。前述のサーバ(または統合されたサーバ)のいずれも、特定のクライアント側、キャッシュまたはプロキシサーバの特性を呈し得る。これらの特性は、サーバの特定のネットワーク配置またはサーバの特定の構成に依存し得る。各サーバとデバイスは、クラウドとインターネットの実施態様を含む、ローカルまたはワイドエリア通信ネットワークを介して相互に通信してよい。
コンテンツソースサーバ110は、配信に利用可能な様々なデジタルコンテンツを維持し、提供してよい。コンテンツソースサーバ110は、そのコンテンツを通信ネットワークを介したアクセスに対して利用可能にする任意のコンテンツプロバイダに関連付けられてよい。そのようなコンテンツは、デジタルビデオ及びゲームだけでなく、他のタイプのデジタルアプリケーション及びサービスも含み得る。そのようなアプリケーション及びサービスは、ユーザデバイス150に提供され得る任意の様々な異なるデジタルコンテンツ及び機能を含み得る。コンテンツソースサーバ110の例は、ダウンロード可能なコンテンツ及び/またはストリーミングコンテンツを提供するインターネットウェブサイトであってよい。コンテンツソースサーバ110によって提供されるコンテンツは、映画、ゲーム、静的/動的コンテンツ、写真、ソーシャルメディアコンテンツ、ソーシャルメディアウェブサイト、仮想現実、拡張現実、混合現実など、任意のタイプのマルチメディアコンテンツを含み得る。ユーザデバイス150は、当技術分野で既知の複数の異なるタイプのコンピューティングデバイスまたはコンピューティングシステムを含み得る。いくつかの実施形態では、コンテンツデータは、コンテンツソースサーバ110からユーザデバイス150に送信され、そこで、コンテンツデータは、ユーザデバイス150(または関連する周辺機器)によって、ユーザデバイス150による使用に適したフォーマットでレンダリングされる。
コンテンツソースサーバ110からのデジタルコンテンツは、コンテンツプロバイダサーバAPI120によって提供されてよく、コンテンツプロバイダサーバAPI120は、様々なタイプのコンテンツソースサーバ110がネットワーク環境100内の他のサーバ(例えば、ユーザデバイス150)と通信するのを可能にする。コンテンツプロバイダサーバAPI120は、コンテンツを提供するコンテンツソースサーバ110、及びユーザデバイス150の特定の言語、オペレーティングシステム、プロトコルなどに固有であってよい。複数の異なるタイプのコンテンツソースサーバ110を含むネットワーク環境100において、同様に対応する数のコンテンツプロバイダサーバAPI120があってよく、コンテンツプロバイダサーバAPI120は、異なるユーザデバイス150にコンテンツ及び他のサービスを提供するための様々なフォーマット、変換、ならびに他のクロスデバイス及びクロスプラットフォーム通信プロセスを可能にし、異なるユーザデバイス150は、異なるオペレーティングシステム、プロトコルなどを使用して、そのようなコンテンツを処理してよい。このように、様々な異なるユーザデバイス150と互換性があるように、異なるフォーマットでのアプリケーション及びサービスを利用可能にしてよい。
コンテンツプロバイダサーバAPI120は、直接またはコンテンツ配信ネットワークサーバ130を介してのいずれかで、コンテンツソースサーバ110によってホストされるコンテンツ、またはコンテンツソースサーバ110によって提供されるサービスへの各ユーザデバイス150のアクセスをさらに容易にしてよい。アクセスされたコンテンツまたはサービスに関するメタデータなどの追加情報もまた、コンテンツプロバイダサーバAPI120によってユーザデバイス150に提供することができる。以下に記載するように、追加情報(すなわち、メタデータ)は、ユーザデバイス150に提供されるコンテンツまたはサービスに関する詳細を提供するために使用可能であってよい。いくつかの実施形態では、コンテンツソースサーバ110からコンテンツプロバイダサーバAPI120を介してユーザデバイス150に提供されるサービスは、特定のゲーム、チーム、コミュニティなどに関連付けられているチャットサービス、レーティング、及びプロファイルなど、他のコンテンツまたはサービスに関連付けられているサポートサービスを含み得る。このような場合、コンテンツソースサーバ110は、コンテンツプロバイダサーバAPI120を介して互いに通信してもよい。
コンテンツ配信ネットワークサーバ130は、ユーザデバイス150との様々なコンテンツ及びサービス構成を含む、コンテンツソースサーバ110からのコンテンツに関連する、リソース、ファイルなどを提供するサーバを含み得る。コンテンツ配信ネットワークサーバ130は、特定のコンテンツまたはサービスにアクセスすることを要求するユーザデバイス150によって呼び出すこともできる。コンテンツ配信ネットワークサーバ130は、ユニバース管理サーバ、ゲームサーバ、ストリーミングメディアサーバ、ダウンロード可能なコンテンツをホストするサーバ、及び当技術分野で既知の他のコンテンツ配信サーバを含み得る。
コンテンツ管理サーバ140は、ユーザデバイス150からデータを受信することができる当技術分野で既知の任意のデータサーバを含み得る。コンテンツ管理サーバ140によってレンダリングされるコンテンツは、本質的に任意のタイプのコンピュータアプリケーション用であってよく、特に、ゲーム、映画、オーディオ、画像、マルチメディアなどの1つまたは複数のタイプのコンテンツを含み得る。いくつかの実施形態では、コンテンツまたはその一部は、コンテンツ管理サーバ140によって生成される。いくつかの実施形態では、コンテンツまたはその一部は、コンテンツソースサーバ110から1つまたは複数の通信ネットワークを介してユーザデバイス150にストリーミングされる。いくつかの実施形態では、コンテンツまたはその一部は、クラウドゲームインフラストラクチャから通信ネットワーク(複数可)を介してユーザデバイス150にストリーミングされる。インフラストラクチャは、様々なタイプのコンテンツを、コンテンツソースサーバ110から通信ネットワーク(複数可)を介してユーザデバイス150に送信されるように管理し得る。
例示的な実施形態では、コンテンツ管理サーバ140は、実世界の物理的空間におけるユーザの動作に関連するデータ交換を特に管理してよい。そのようなデータは、ユーザに関連付けられた様々なユーザデバイス150(及び/または関連するセンサ)によってキャプチャされてよい。動作データは、分析データ、ならびにユーザが実世界で動作を行ったときに関連するプレーヤまたはキャラクタが位置する仮想環境または他のデジタル環境に関するデータでさらに補足及び補強されてよい。
様々な実施形態では、コンテンツ管理サーバ140はまた、ユーザの社会的接触を識別するために、ソーシャルメディアアプリケーションにユーザの1つまたは複数のソーシャルメディアグラフにアクセスさせてよい。いくつかの実施形態では、補強された動作データは、ユーザと社会的接触はなく、1つまたは複数の既存のソーシャルネットワークでもユーザと社会的に関連付けられていない場合があるが、ユーザと1つまたは複数のビデオゲームをプレイした可能性がある他のユーザと共有されてよい。フレンドリストは、各フレンドが所有するゲームの描写、フレンドのオンラインステータス(例えば、オンライン、オフライン、非アクティブなど)の識別、フレンドの最後のログインとその期間、フレンドがプレイした最後のゲームなど、ユーザのフレンドに関する追加情報を含み得る。ソーシャルネットワークは、ユーザのソーシャルグラフ、投稿、写真、ビデオ、経歴情報などのデータを含むユーザデータを含む。
例示的な実施態様では、ユーザは、実世界での動作のキャプチャに関して、ユーザデバイス(複数可)150に入力コマンドを提供してよい。このようなコマンドは、口頭、ジェスチャ、または他のハードウェアもしくはソフトウェアベースのユーザインタフェース(例えば、ボタン)を介して与えられてよい。そのようなコマンドに応答して、ユーザデバイス150のカメラ(例えば、図4のカメラ404)及び他のセンサ(例えば、図4のモーション検出システム418)を作動させて、ユーザがいる実世界環境に関する画像、ビデオ、及び他のタイプのデータをキャプチャしてよい。いくつかの実施形態では、センサは、ユーザ動作の異なる視点及び側面をキャプチャするために、実世界環境に分散されてよい。例えば、あるセンサは、ユーザの体に着用(または保持)されてよく、他のセンサは、ユーザから異なる距離で、静止、配置されてよい等である。ユーザデバイス150に関連付けられた様々なセンサは、分析及び補強のために、コンテンツ管理サーバ140に提供されてよい。
コンテンツ管理サーバ140は、センサによってキャプチャされた画像、ビデオ、センサデータなどを分析して、ユーザによって行われている動作を特徴付けるメタデータ及び様々なメトリクスを生成するように働いてよい。分析と結果のメトリクスは、動作を一連の下位動作(sub-movement)に分解し、全体的な動作と下位動作を特徴付けてよい。各動作(及び、下位動作)は、下位動作の連続と順序に関するメタデータによって特徴付けられてよく、ここで、各動作(及び、下位動作)は、仮想環境内で、その仮想要素、及びユーザが入力し得る他のパラメータと相互作用して発生する。例えば、ユーザは、そのような動作をデジタル環境のカスタムの視聴覚効果に関連付けるように指定してよい(例えば、指定した下位動作を仮想環境の特定の視覚効果または音声に関連付ける)。ユーザはまた、同じ動作(または、下位動作)が、仮想環境の異なる場所または異なる条件下で行われた場合、異なる視聴覚効果に関連付けられるように指定してよい。
さらに、動作を特徴付けるメトリクスが生成されてよい。例えば、各動作(及び下位動作)の特定のメカニズム、リズム、テンポ、力、及び他の特性に関するメトリクスが、動作データのキャプチャに使用される様々なセンサからのセンサデータの組み合わせの分析に基づいて生成されてよい。コンピュータビジョンを使用して、動作の画像及びビデオを分析してよく、結果として得られるメトリクスをさらに他のタイプのセンサデータと組み合わせて、動作を特徴付ける追加のメトリクスを生成してよい。例えば、動作の画像とビデオを分析することで、各動作(及び、下位動作)中、身体の異なる部分の互いに対する、及び地面(または、物理的空間の他の特徴)に対する、様々な位置、角度、形等を識別してよい。さらに、タイミング、リズム、及びテンポの要素は、相互に関連する各動作及び下位動作について評価されてよい。他のタイプのセンサデータをさらに使用して、各動作または下位動作が行われる力に関するメトリクスを生成してよい。センサによってキャプチャされた初期の動作データは、動作プロファイル(または他のタイプの共有可能なコンテンツ)内で生成されたメタデータ及びメトリクスと組み合わされてよい。ユーザは、(ユーザアカウント及びユーザデバイスに関連付けられた)他のユーザと共有する前に、カスタム名、パラメータ、及び他の設定をさらに添付してよい。
ユーザデバイス150のカメラ(図4に関してさらに詳細に説明する)は、カメラの立体対、赤外線カメラ、深度カメラ、またはそれらの組み合わせなどの複数の画像キャプチャデバイスを含むように構成することができる。いくつかの実施形態では、1つまたは複数のマイクロフォン(図4に関してさらに詳細に説明する)を使用して、ユーザからの音及び/またはユーザデバイス150が配置されている環境からの音をキャプチャすることができる。
いくつかの実施形態では、ユーザデバイス150は、コンピューティングデバイスの処理ハードウェア上でローカルにゲームを実行するように構成される。ゲームまたはコンテンツは、物理メディア形式(例えば、デジタルディスク、テープ、カード、サムドライブ、ソリッドステートチップ、ソリッドステートカード等)などの任意の形式で、またはインターネット(または、他の通信ネットワーク)からダウンロードすることによって取得することができる。いくつかの実施形態では、ユーザデバイス150は、クラウドゲームインフラストラクチャとの1つまたは複数の通信ネットワークを介した通信においてクライアントとして機能する。クラウドゲームインフラストラクチャは、ユーザデバイス150によってプレイされているビデオゲームを維持及び実行してよい。コンピューティングデバイスは、ユーザデバイス150、コントローラ、及びカメラから受信した入力をクラウドゲームインフラストラクチャに送信するように設定され得、クラウドゲームインフラストラクチャは、この入力を処理して、実行中のビデオゲームのゲーム状態に反映させる。
ビデオデータ、オーディオデータ、及び触覚フィードバックデータなどのビデオゲームからのゲームデータは、コンテンツソースサーバ110からユーザデバイス150に送信することができる。コンピュータシステムはさらに、適切なデバイスに送信する前にゲームデータを処理してもよく、または適切なデバイスにゲームデータを直接送信してもよい。例えば、ビデオストリーム及びオーディオストリームが、ユーザデバイス150に送信されてよい。
いくつかの実施形態では、ユーザデバイス150は、ネットワーク環境100で(例えば、他のサーバに対して)内部サービスを提供するサーバに関連付けられてよい。そのような場合、ユーザデバイス150は、本明細書に記載されるコンテンツソースサーバ110のうちの1つに対応してよい。あるいは、ユーザデバイス150は、任意の数の異なるゲームコンソール、モバイルデバイス、ラップトップ、及びデスクトップを含み得るクライアントデバイスであってよい。そのようなユーザデバイス150は、ダウンロードされたサービスの場合に適切であり得るメモリカードまたはディスクドライブなどであるが、これらに限定されない他の記憶媒体からデータにアクセスするように構成されてもよい。そのようなユーザデバイス150は、ネットワークインタフェース、メディアインタフェース、非一時的コンピュータ可読ストレージ(メモリ)、及び、メモリに記憶され得る命令を実行するためのプロセッサ等であるが、これらに限らない標準的ハードウェアコンピューティング構成要素を含み得る。これらのユーザデバイス150はまた、様々な異なるオペレーティングシステム(例えば、iOS、Android(登録商標))、アプリケーション、またはコンピューティング言語(例えば、C++、JavaScript(登録商標))を用いて実行してよい。例示的なクライアントデバイス150については、図4に関して本明細書で詳細に説明する。各ユーザデバイス150は、デジタルコンテンツストリームのコレクションの参加者または他のタイプの観客に関連付けられてよい。
ユーザデバイス150はまた、ユーザデバイス150内の慣性センサから慣性センサデータを受信するように構成されたモジュールを含み得る。慣性センサデータは、ユーザデバイス150が関連付けられているユーザの動作に従ったユーザデバイス150の動きを示す。ユーザの動作は、ユーザデバイス150内に表示される仮想現実シーンに基づく。ユーザデバイス150の動きの経路は、慣性センサデータ及びユーザデバイス150の動きの速度から決定することができる。いくつかの実施形態では、ヘッドマウントディスプレイの動きの経路は、前傾、後傾、左に傾く、右に傾く、頭を左に向ける、頭を右に向ける、頭を上に向ける、頭を下に向ける、しゃがむ、及びジャンプを含む、ユーザ動作のセット内の1つまたは複数のユーザ動作に対応する。しかしながら、他の実施形態では、ヘッドマウントディスプレイの動きの経路は、基本的に、人体の動作能力内の任意のユーザの動作に対応し得る。
いくつかの実施形態では、ユーザデバイス150を使用して、例えば、仮想現実(VR)または拡張現実(AR)シーン内の仮想オブジェクトを、例えば、つかむ、移動する、押す、引くなど、操作することができ、この操作は、ユーザデバイス150または別のコンピューティングデバイス、例えば、テレビ、コンピュータなどに表示される。ユーザがユーザデバイス150を装着して、手を動かすと、ゲーム内の仮想の手が動く。さらに、ユーザがユーザデバイス150を装着して指を動かすと、ゲーム内の仮想の手の指が動く。指の位置及び/または向きは、上記及び図4に記載されたカメラを使用してキャプチャされた画像データから決定されて、仮想の手の指の動きを生成する。
ユーザのアバタは、単一のデジタル画像からアニメーション化された3Dアバタに自動的に変換されてよい。詳細には、ユーザは、デジタル画像または他の画像をユーザデバイス150にアップロードし、見返りに、異なる顔の表情及び/またはアニメーションを特徴とする1つまたは複数のアバタを受け取ることができる。アバタはユーザに表示され、静止画像またはアニメーション画像(例えば、GIF形式で)として使用される。例えば、アバタは、SMS、MMS、電子メールメッセージ、チャット(例えば、Facebook(登録商標) Messenger)、インスタントメッセンジャ(例えば、Skype、またはWindows(登録商標) Messenger)、Twitter(登録商標)、TikTok、ブログ、フォーラム、または1人または複数の他の個人と共有することを目的とした他の電子通信手段を介して他のユーザに送信することができる。
いくつかの実施形態では、アバタは、写実的にユーザに基づいてよい(例えば、類似の顔の特徴、衣服、及び体形を有する)。他の実施形態では、アバタは、例えば、ユーザの動作を有名人、映画スター、政治家、ビデオゲームのキャラクタ、または別のユーザの顔の特徴にマッピングすることによって、意図的に写実的でなくさせてよい。アバタは、写実的な要素と意図的に非写実的な要素の融合であってよい。例えば、ユーザの顔がアバタで使用されるが、アバタには異なる衣服や体形が与えられてよい。あるいは、ユーザの体がアバタで使用されるが、アバタには、有名人、映画スター、政治家、ビデオゲームのキャラクタ、または別のユーザの顔が与えられてよい。
ユーザデバイス150のディスプレイは、仮想インタラクティブオブジェクトを備えた仮想空間または仮想環境にアバタを組み込んだ三次元シーンを生成してよい。コンテンツ管理サーバ140は、ユーザデバイス150によってキャプチャされたユーザに関する視覚及び/または距離情報を受信する。コンテンツ管理サーバ140は、ユーザの動作を記述する動作情報を抽出する。動作情報は、ユーザの体内の主要な点からなるユーザの「骨格」の動きを記述するようにエンコードすることができる。コンテンツ管理サーバ140は、ユーザのアバタ、識別子、代表的な画像などのユーザ関連情報を、ユーザのユーザデバイス150A~150Nに提示されるVR空間に導入することを可能にすることによって、コンテンツの拡張を可能にし得る。
第2のユーザデバイス150Bの第2のユーザは、ユーザによって指定された受信者であってよい。ユーザデバイス150Aは、ユーザの動作及び/または対応するアバタの動作を記述する情報を第2のユーザデバイス150Bまたはコンテンツ管理サーバ140に送信し、コンテンツ管理サーバ140は、次に、この情報を第2のユーザデバイス150Bに送信し、その結果、ユーザデバイス150Bは、アバタによる正確な動作を特徴とするシーンを生成することができる。ユーザデバイス150Aは、第2のユーザの動作及び/または対応する第2のアバタの動作を記述する情報を、第2のユーザデバイス150Bから、またはコンテンツ管理サーバ140などの中間デバイスから受信する。コンテンツ管理サーバ140は、この情報を第2のユーザデバイス150Bから受信されたように、第1のユーザにデバイス150Aに送信し、その結果、第1のユーザデバイス150Aは、第2のアバタによる正確な動作を特徴とするシーンを生成することができる。
いくつかの実施形態では、動作プロファイルは、受信者に関するデータに適用されてよい。例えば、動作プロファイルの受信者は、対応するユーザデバイス150を介して動作のビデオを再生したり、画像を見たりしてよく、これは、補強のメタデータ及びメトリクスと組み合わせて提示されてよい。受信者が動作を試みる、または他の方法で行おうとする準備ができると、受信者に関するデータがキャプチャされ、動作プロファイルと比較されてよい。受信者に関して同様の分析及びメトリクスが生成され、動作プロファイルの対応する分析及びメトリクスと比較されてよい。分析及びメトリクスが1つまたは複数の所定の閾値内で一致する場合、受信者は動作を正確に行ったとして検証されてよい。いくつかの実施形態では、そのような検証は、仮想環境において特定の通知または視聴覚効果を生じ得る。
本発明のいくつかの実施形態では、受信者による動作が、所定の閾値(複数可)内に入る分析またはメトリクスをもたらさない場合、相違が識別され、受信者にガイダンスを提供するために使用されてよい。例えば、特定の動作または下位動作の実行が遅すぎるか、力が小さすぎる場合、受信者には、それぞれ、より速くまたはより強い力で動くようにという通知と共に、受信者の動作プロファイルとビデオによって示される元の動作とが並べて提供されてよい。同様に、受信者が動作プロファイルによって示されるものとは体の形状または角度が異なる場合、受信者は、受信者の画像の上に重ねられた動作プロファイルによって指定された形状または角度の画像を備えた通知を提供されてよい。したがって、受信者は、自分の動作が動作プロファイルによって特徴付けられるものとどのように異なるかを正確に学び得る。
ユーザデバイス150またはコンピューティングデバイスは、キャプチャされたときにユーザの動作の表現を生成し、アバタに、生成されたユーザの動作の表現を行わせる。ユーザデバイス150はまた、受信されたときに第2のユーザの動作の表現を生成し、第2のアバタに、生成された第2のユーザの動作の表現を行わせる。ユーザデバイス150はまた、必要に応じて、仮想空間または環境、ならびに任意の仮想インタラクティブオブジェクトを更新する。
図2は、仮想環境に関連する動作データを分析するために使用され得る例示的な統一データシステム(UDS)を示す。UDSによって提供されるデータに基づいて、コンテンツ管理サーバ140は、ユーザが関与したゲーム内オブジェクト、エンティティ、アクティビティ、及びイベントを認識し、したがって、ゲーム内アクティビティの分析及び調整をサポートすることができる。各ユーザインタラクションは、ゲーム内インタラクションのタイプ、ゲーム内環境内の場所、ゲーム内タイムライン内の時点、ならびに関与する他のプレーヤ、オブジェクト、エンティティなどのメタデータに関連付けられてよい。したがって、メタデータは、関連するアクティビティ、エンティティ、設定、結果、アクション、効果、場所、キャラクタステータスなど、ゲームセッション中に発生する可能性のある様々なユーザインタラクションのいずれかについて追跡することができる。このようなデータはさらに集約され、データモデルに適用され、分析の対象とされてよい。このようなUDSデータモデルを使用して、ゲーム全体で統一した方式で、コンテキスト情報を情報の各部分に割り当ててよい。
図2に示されるように、例示的なコンソール228(例えば、ユーザデバイス150)及び例示的なサーバ218(例えば、ストリーミングサーバ220、アクティビティフィードサーバ224、ユーザ生成コンテンツ(UGC)サーバ232、及びオブジェクトサーバ226)が示されている。一例では、コンソール228は、プラットフォームサーバ120、クラウドサーバ、またはサーバ218のいずれかに実装されてよい。ある例示的な例では、コンテンツレコーダ202は、プラットフォームサーバ120、クラウドサーバ、または任意のサーバ218に実装されてよい。このようなコンテンツレコーダ202は、インタラクティブコンテンツタイトル230からコンテンツ(例えば、メディア)を受信し、コンテンツリングバッファ208に記録する。このようなリングバッファ208は、複数のコンテンツセグメント(例えば、v1、v2及びv3)、セグメントごとの開始時刻(例えば、V1_START_TS、V2_START_TS、V3_START_TS)、及びセグメントごとの終了時刻(例えば、V1_END_TS、V2_END_TS、V3_END_TS)を記憶してよい。このようなセグメントは、コンソール228によってメディアファイル212(例えば、MP4、WebMなど)として記憶されてよい。このようなメディアファイル212を、記憶及びその後のストリーミングまたは使用のためにストリーミングサーバ220にアップロードしてよいが、メディアファイル212は、任意のサーバ、クラウドサーバ、任意のコンソール228、または任意のユーザデバイス150に記憶されてよい。各セグメントのそのような開始時刻及び終了時刻は、コンソール228によってコンテンツタイムスタンプファイル214として記憶されてよい。このようなコンテンツタイムスタンプファイル214はまた、メディアファイル212のストリーミングIDに一致するストリーミングIDを含み、それによって、コンテンツタイムスタンプファイル214をメディアファイル212に関連付けてよい。このようなコンテンツタイムスタンプファイル214は、アクティビティフィードサーバ224及び/またはUGCサーバ232にアップロード、記憶されてよいが、コンテンツタイムスタンプファイル214は、任意のサーバ、クラウドサーバ、任意のコンソール228、または任意のユーザデバイス150に記憶されてよい。
コンテンツレコーダ202がインタラクティブコンテンツタイトル230からコンテンツを受信して記録すると同時に、オブジェクトライブラリ204は、インタラクティブコンテンツタイトル230からデータを受信し、オブジェクトレコーダ206は、データを追跡して、オブジェクトがいつ始まり、いつ終了するかを決定する。オブジェクトライブラリ204及びオブジェクトレコーダ206は、プラットフォームサーバ120、クラウドサーバ、または任意のサーバ218に実装されてよい。オブジェクトレコーダ206がオブジェクトの開始を検出すると、オブジェクトレコーダ206は、オブジェクトライブラリ204からオブジェクトデータ(例えば、オブジェクトがアクティビティである場合、アクティビティとのユーザインタラクション、アクティビティID、アクティビティ開始時刻、アクティビティ終了時刻、アクティビティ結果、アクティビティタイプなど)を受信し、このアクティビティデータ(例えば、ActivityID1,START_TS;ActivityID2,START_TS;ActivityID3,START_TS)をオブジェクトリングバッファ210に記録する。オブジェクトリングバッファ210に記録される、そのようなアクティビティデータは、オブジェクトファイル216に記憶されてよい。このようなオブジェクトファイル216は、アクティビティ開始時刻、アクティビティ終了時刻、アクティビティID、アクティビティ結果、アクティビティタイプ(例えば、対抗試合、クエスト、タスクなど)、アクティビティに関連するユーザまたはピアのデータも含み得る。例えば、オブジェクトファイル216は、アクティビティ中に使用されるアイテムに関するデータを記憶してよい。このようなオブジェクトファイル216は、オブジェクトサーバ226に記憶されてよいが、オブジェクトファイル216は、任意のサーバ、クラウドサーバ、任意のコンソール228、または任意のユーザデバイス150に記憶されてよい。
このようなオブジェクトデータ(例えば、オブジェクトファイル216)は、コンテンツデータ(例えば、メディアファイル212及び/またはコンテンツタイムスタンプファイル214)に関連付けられてよい。一例では、UGCサーバ232は、コンテンツタイムスタンプファイル214を記憶し、コンテンツタイムスタンプファイル214のストリーミングIDと、オブジェクトファイル216の対応するアクティビティIDとの間の一致に基づいて、コンテンツタイムスタンプファイル214をオブジェクトファイル216に関連付ける。別の例では、オブジェクトサーバ226は、オブジェクトファイル216を記憶してよく、オブジェクトファイル216についてのクエリをUGCサーバ232から受信してよい。このようなクエリは、クエリと共に送信されるコンテンツタイムスタンプファイル214のストリーミングIDに一致するオブジェクトファイル216のアクティビティIDを検索することによって実行されてよい。さらに別の例では、コンテンツタイムスタンプファイル214の開始時刻及び終了時刻を、クエリと共に送信される対応するオブジェクトファイル216の開始時刻及び終了時刻とマッチングすることによって、記憶されたコンテンツタイムスタンプファイル214のクエリを実行してよい。このようなオブジェクトファイル216もまた、UGCサーバ232によって、マッチングされたコンテンツタイムスタンプファイル214に関連付けられてよいが、この関連付けは、任意のサーバ、クラウドサーバ、任意のコンソール228、または任意のユーザデバイス150によって実行されてよい。別の例では、オブジェクトファイル216及びコンテンツタイムスタンプファイル214は、各ファイル216、214の作成中にコンソール228によって関連付けられてよい。
図3は、動作データを分析及び共有するための例示的な方法を示すフローチャートである。図3の方法300は、CD、DVD、またはハードドライブ等の不揮発性メモリを含むがこれらに限定されない非一時的コンピュータ可読記憶媒体内の実行可能命令として具現化されてよい。記憶媒体の命令は、記憶媒体をホストするかまたは他の方法で記憶媒体にアクセスするコンピューティングデバイスの様々なハードウェア構成要素に本方法を実施させるために、プロセッサ(複数可)によって実行されてよい。図3に示されたステップ(及びそれらの順序)は例示的なものであり、それらの実行順序を含むがこれに限定されないそれらの様々な代替物、均等物、または派生物を含み得る。
ステップ310で、ユーザに関連付けられたユーザデバイスからデータが受信される。データは、実世界環境におけるユーザの動作中にキャプチャされる。実世界環境におけるユーザによる動作は、ユーザデバイス150によってキャプチャされた実世界環境データによって示されてよい。データは、ユーザデバイス150のカメラによってキャプチャされた画像データであってよい。別の実施形態では、データは、ユーザデバイス150の慣性センサによってキャプチャされてよい。実世界環境データは、ユーザデバイス150によってキャプチャされた実世界環境でインタラクトしているユーザの1つまたは複数の画像及び画像データと共に、コンテンツ管理サーバ140に転送されてよい。
ステップ320において、データに基づいて仮想環境内の仮想キャラクタによる対応する動作がレンダリングされる。ステップ330で、仮想現実環境内の対応する動作のビデオがキャプチャされる。キャプチャされたビデオはデータに関連付けられる。ある実施形態では、仮想現実環境内の対応する動作のビデオは、データが所定の閾値に達したときにキャプチャされる。
ステップ340で、キャプチャされたビデオとデータは、ユーザによって指定された受信者に提供される。キャプチャされたビデオとデータは、ユーザ及び受信者に関連付けられた1つまたは複数のソーシャルネットワークを介して受信者に提供されてよい。
ステップ350で、キャプチャされたビデオの再生中の受信者に関するデータをキャプチャされたビデオに関連付けられたデータと比較することにより、受信者が動作を行っていることを検証する。仮想環境内で異なる動作を実行するために、ユーザデバイス150を介したユーザによる入力の選択が受信されてよい。異なる動作の実施を反映するために、仮想現実環境のレンダリングに対する更新が生成されてよい。ユーザに関連付けられたシグネチャ動作は、データが所定の閾値を満たすことに基づいて作成されてよい。
図4は、例示的な電子エンターテインメントシステム400のブロック図である。図4のエンターテインメントシステム400は、メインメモリ405、中央演算処理装置(CPU)410、ベクトルユニット415、グラフィックスプロセッシングユニット420、入出力(I/O)プロセッサ425、I/Oプロセッサメモリ430、コントローラインタフェース435、メモリカード440、ユニバーサルシリアルバス(USB)インタフェース445、及び、IEEEインタフェース450を含む。エンターテインメントシステム400はさらに、オペレーティングシステム読み取り専用メモリ(OS ROM)455、音声処理ユニット460、光ディスク制御ユニット470、及びハードディスクドライブ465を含み、これらはバス475を介してI/Oプロセッサ425に接続される。
図4は、動作データをキャプチャするために使用し得る例示的なユーザデバイス400のブロックレベル図である。当然ながら、有効な構成及び機能に応じて、図4に示されるより多いまたは少ない構成要素がユーザデバイス400に含まれてよい、または、そこから取り除かれてよい。ユーザデバイス400は、プログラム命令を実行するためのプロセッサ402を含む。メモリ406が、データ記憶の目的で備わっており、揮発性メモリ及び不揮発性メモリの両方を含み得る。ユーザが見ることができる視覚インタフェースを提供するディスプレイ416が含まれる。ディスプレイ416は、1つの単一のディスプレイによって、または各目に対して別個のディスプレイ画面の形で規定することができる。2つのディスプレイ画面が備えられている場合、左目と右目のビデオコンテンツを別々に提供することが可能である。例えば、ビデオコンテンツを各目に対して別個に表示すると、仮想現実シーンの三次元コンテンツの没入型制御を向上させることができる。
モーション検出モジュール418は、磁力計420、加速度計424、及びジャイロスコープ426などの、様々な種類のモーション検知ハードウェアのいずれかを含み得る。ユーザデバイス400は、ユーザデバイス400が関連付けられているユーザの動作に従って、ユーザデバイス400の動きを示す慣性センサデータを生成するように構成された慣性センサ422を備えてよい。磁力計420は、ユーザデバイス400付近の磁場の強度及び方向を測定する。いくつかの実施形態では、3つの磁力計420が、ユーザデバイス400内で使用され、世界空間ヨー角度についての絶対基準を保証する。様々な実施形態では、磁力計420は、±80マイクロステラの地球の磁場にわたるように設計される。磁力計は金属の影響を受け、実際のヨーに対して単調なヨー測定を提供する。磁場は環境内の金属により歪むことがあり、これによりヨー測定に歪みが生じる。必要に応じて、この歪みは、ジャイロスコープまたはカメラなどの他のセンサからの情報を用いて、較正することができる。いくつかの実施形態では、ユーザデバイス400の傾斜角及び方位角を得るために、加速度計424が磁力計420と共に使用される。
いくつかの実施形態では、本発明はまた、ユーザの体に配置された1つまたは複数の外部慣性センサを含み得る。本発明は、ユーザによって行われた特定の動作を決定するために、外部慣性センサデータをユーザデバイス400内の慣性センサ422から受信された慣性センサデータと比較するための操作を含み得る。
加速度計424は、加速度と重力によって引き起こされた反力とを測定するデバイスである。単軸及び多軸(例えば、6軸)モデルは、様々な方向における加速度の大きさ及び方向を検出することができる。加速度計424は、傾き、振動、及び衝撃を感知するために使用される。一実施形態では、3つの加速度計424が重力の方向を提供するために使用され、重力の方向は、2つの角度(世界空間ピッチ及び世界空間ロール)に対する絶対基準を与える。
ジャイロスコープ426は、角運動量の原理に基づいて、向きを測定または維持するデバイスである。一実施形態では、3つのジャイロスコープ426が、慣性感知に基づいて、それぞれの軸(x、y及びz)に対する動きについての情報を提供する。ジャイロスコープ426は、高速回転の検出を助ける。しかしながら、ジャイロスコープ426は、絶対基準が存在しないと、時間の経過と共にドリフトする可能性がある。これは、定期的なジャイロスコープ426のリセットを必要とし、リセットは、オブジェクトの視覚追跡、加速度計、磁力計などに基づく位置/向きの判断など、他の入手可能な情報を使用して行うことができる。
ユーザデバイス400がさらされている実世界環境の画像及び画像ストリームをキャプチャするために、カメラ404が備えられている。後向きの(ユーザがユーザデバイス400のディスプレイを見ているときに、ユーザから離れる方向に向いた)カメラ404、及び前向きの(ユーザがユーザデバイス400のディスプレイを見ているときに、ユーザの方に向いた)カメラ404を含む、複数のカメラ404がユーザデバイス400に含まれてよい。いくつかの実施形態では、カメラ404は、ユーザデバイス400がさらされている実世界環境の物体の深度情報を感知するために、ユーザデバイス400に含まれてよい。
ユーザデバイス400は、オーディオ出力を提供するためのスピーカ412を含む。また、周囲環境からの音、ユーザによって行われた発話などを含む、実世界環境からのオーディオをキャプチャするためにマイクロフォン414が含まれてよい。
無線ネットワーク技術を介してユーザデバイス400のインターネットへの接続を可能にするために、Wi-Fiモジュール410が含まれてよい。また、ユーザデバイス400は、他のデバイスへの無線接続を可能にするために、Bluetooth(登録商標)モジュール408を含み得る。
当然ながら、図4に示されるようなユーザデバイス400の構成要素は、ユーザデバイス400に含まれ得る構成要素の例であり、ユーザデバイス400に含まれ得る可能なすべての構成要素を表してはいない。例えば、様々な実施形態において、ユーザデバイス400は、図4に示される構成要素の一部を含む場合がある、または含まない場合がある。いくつかの実施形態では、ユーザデバイス400は、図4に示されていない追加の構成要素を含み得る。
図5は、本発明の実施形態で使用され得る例示的な電子エンターテインメントシステムのブロック図である。エンターテインメントシステム500は、電子ゲームコンソールであってよい。あるいは、エンターテインメントシステム500は、汎用コンピュータ、セットトップボックス、ハンドヘルドゲームデバイス、タブレットコンピューティングデバイス、モバイルコンピューティングデバイス、または、携帯電話として実装されてよい。エンターテインメントシステムは、特定のフォームファクタ、目的、または設計に応じてより多くのまたはより少ない操作構成要素を含み得る。
図5のCPU510、ベクトルユニット515、グラフィックスプロセッシングユニット520、及びI/Oプロセッサ525は、システムバス585を介して通信する。さらに、図5のCPU510は専用バス580を介してメインメモリ505と通信し、ベクトルユニット515及びグラフィックスプロセッシングユニット520は専用バス590を介して通信してよい。図5のCPU510は、OS ROM555及びメインメモリ505に記憶されたプログラムを実行する。図5のメインメモリ505は、予め記憶されたプログラムと、CD-ROM、DVD-ROM、または光ディスク制御ユニット570を使用したその他の光ディスク(図示せず)からI/Oプロセッサ525を介して転送されたプログラムとを含み得る。図5のI/Oプロセッサ525はまた、無線または他の通信ネットワーク(例えば、4G、LTE、3G等)を介して転送されるコンテンツの導入を可能にし得る。図5のI/Oプロセッサ525は主に、CPU510、ベクトルユニット515、グラフィックスプロセッシングユニット520、及びコントローラインタフェース535を含むエンターテインメントシステム500の様々なデバイス間のデータ交換を制御する。
図5のグラフィックスプロセッシングユニット520は、CPU510及びベクトルユニット515から受信するグラフィックス命令を実行して、表示装置(図示せず)に表示するための画像を生成する。例えば、図5のベクトルユニット515は、オブジェクトを三次元座標から二次元座標に変換し、二次元座標をグラフィックスプロセッシングユニット520に送信してよい。さらに、音声処理ユニット560は、命令を実行して、スピーカ(図示せず)などのオーディオデバイスに出力される音声信号を生成する。他のデバイスは、USBインタフェース545、及び無線トランシーバなどのIEEE1394インタフェース550を介してエンターテインメントシステム500に接続されてよく、これらは、システム500の中に、またはプロセッサなどの何らかの他の構成要素の一部として埋め込まれてもよい。
図5のエンターテインメントシステム500のユーザは、コントローラインタフェース535を介してCPU510に命令を提供する。例えば、ユーザは、特定のゲーム情報をメモリカード540または他の非一時的なコンピュータ可読記憶媒体に記憶するようにCPU510に指示してよい、またはゲーム内のキャラクタに何らかの特定のアクションを行うように指示してよい。
本発明は、様々なエンドユーザデバイスによって操作可能であり得るアプリケーションに実装されてよい。例えば、エンドユーザデバイスは、パソコン、ホームエンターテインメントシステム(例えば、Sony PlayStation2(登録商標)またはSony PlayStation3(登録商標)またはSony PlayStation4(登録商標))、ポータブルゲームデバイス(例えば、Sony PSP(登録商標)またはSony Vita(登録商標))、または、下位ではあるが異なる製造業者のホームエンターテインメントシステムであってよい。本明細書に記載する本方法は、様々なデバイスで操作可能であることを十分に意図している。本発明はまた、クロスタイトル中立性で実施されてよく、本システムの実施形態は、様々な発行者からの様々なタイトルにわたって利用されてよい。
本発明は、様々なデバイスを使用して操作可能であり得るアプリケーションに実装されてよい。非一時的コンピュータ可読記憶媒体は、実行のために命令を中央演算処理装置(CPU)に提供することに関与する任意の媒体(複数可)を指す。このような媒体は、光ディスクもしくは磁気ディスクなどの不揮発性媒体、及びダイナミックメモリなどの揮発性媒体を含むがこれらに限定されない多くの形態をとることができる。非一時的コンピュータ可読媒体の一般的な形態は、例えば、フロッピー(登録商標)ディスク、フレキシブルディスク、ハードディスク、磁気テープ、任意の他の磁気媒体と、CD-ROMディスク、デジタルビデオディスク(DVD)、任意の他の光学媒体と、RAM、PROM、EPROM、FLASHEPROM、及び任意の他のメモリチップもしくはカートリッジとを含む。
様々な形態の伝送媒体が、実行のために1つまたは複数の命令の1つまたは複数のシーケンスをCPUに伝えることに関与し得る。バスはデータをシステムRAMに伝え、CPUは、システムRAMから命令を取り出し、実行する。システムRAMによって受信された命令は、任意選択で、CPUによる実行の前または後のどちらかに固定ディスクに記憶することができる。様々な形態のストレージが、ストレージを実装するために必要なネットワークインタフェース及びネットワークトポロジと共に実装されてよい。
本技術の上記の詳細な説明は、例示及び説明の目的で提示されている。上記詳細な説明は、包括的であることまたは本技術を開示された正確な形態に限定することを意図するものではない。上記の教示に照らして、多くの修正形態及び変形形態が可能である。記載した実施形態は、技術の原理、その実際の適用を最も良く説明するために、且つ、様々な実施形態で、及び企図された特定の用途に適した様々な修正形態で当業者が技術を利用することを可能にするために選択された。本技術の範囲は、特許請求の範囲により定義されることが意図される。

Claims (19)

  1. 動作データを共有するための方法であって、
    ユーザに関連付けられた1つまたは複数のセンサからセンサデータを受信することであって、前記データは、実世界環境において前記ユーザによる動作中にキャプチャされる、前記受信することと、
    前記データに基づいて仮想環境内の仮想キャラクタによる対応する動作をレンダリングすることと、
    前記仮想環境内の前記対応する動作のビデオをキャプチャすることであって、前記キャプチャされたビデオは前記センサデータに関連付けられる、前記キャプチャすることと、
    前記キャプチャされたビデオ及び前記センサデータを含む動作プロファイルを、前記ユーザが指定した受信者の受信者デバイスに提供することと、
    前記キャプチャされたビデオの再生中の前記受信者に関するデータを、前記動作プロファイル内の前記キャプチャされたビデオに関連付けられた前記センサデータと比較することにより、前記受信者が前記動作を行っていることを検証することと
    含む、方法。
  2. 前記動作プロファイルが、前記ユーザによって指定されたカスタムパラメータをさらに含み、
    前記カスタムパラメータは、前記仮想環境の1つまたは複数の仮想要素を含む、請求項1に記載の方法。
  3. 前記受信者が前記動作を行っているときに前記仮想環境内で前記受信者のビデオを生成することと、
    前記検証に基づいて前記カスタムパラメータに関連付けられた前記仮想要素で前記仮想環境を更新することと
    をさらに含む、請求項2に記載の方法。
  4. 前記センサデータが、前記実世界環境における前記ユーザによる前記動作の画像データまたはビデオデータを含み、
    コンピュータビジョンを前記画像データまたはビデオデータに適用して、メタデータまたはメトリクスを生成することをさらに含む、請求項1に記載の方法。
  5. 前記受信者が前記動作を行っていることを検証することが、所定の閾値内にある前記動作プロファイルに対する前記受信者に関する前記データの1つまたは複数の一致に基づく、請求項1に記載の方法。
  6. 前記動作プロファイルに対する1つまたは複数の相違を識別するために前記受信者に関する前記データを分析することと、
    前記識別された相違に関する前記受信者への通知を生成することと
    をさらに含む、請求項1に記載の方法。
  7. 前記動作プロファイルからの1つまたは複数の画像を前記受信者の1つまたは複数の画像に重ね合わせることと、
    前記重ね合わせた画像を前記受信者デバイスに提供することと
    をさらに含む、請求項1に記載の方法。
  8. 前記動作プロファイルが、前記仮想環境の1つまたは複数の条件をさらに指定する、請求項1に記載の方法。
  9. 前記受信者が前記動作を行っていることを検証することが、前記仮想環境の前記指定された条件に対する1つまたは複数の一致に基づく、請求項8に記載の方法。
  10. 動作データを共有するためのシステムであって、
    ユーザに関連付けられた1つまたは複数のセンサからセンサデータを受信するセンサインタフェースであって、前記データは、実世界環境における前記ユーザによる動作中にキャプチャされる、前記センサインタフェースと、
    メモリに記憶される命令を実行するプロセッサであって、前記プロセッサは、前記命令を実行して、
    前記データに基づいて仮想環境内の仮想キャラクタによる対応する動作をレンダリングすることと、
    前記仮想環境内の前記対応する動作のビデオをキャプチャすることであって、前記キャプチャされたビデオは前記センサデータに関連付けられる、前記ビデオをキャプチャすることと、
    を行う、前記プロセッサと、
    前記キャプチャされたビデオと前記センサデータとを含む動作プロファイルを前記ユーザが指定した受信者の受信者デバイスに提供する通信インタフェースであって、前記受信者は、前記キャプチャされたビデオの再生中の前記受信者に関するデータを前記動作プロファイル内の前記キャプチャされたビデオに関連付けられた前記センサデータと比較することに基づいて、前記動作を実行していると検証される、通信インタフェースと
    を含む、システム。
  11. 前記動作プロファイルが、前記ユーザによって指定されたカスタムパラメータをさらに含み、
    前記カスタムパラメータは、前記仮想環境の1つまたは複数の仮想要素を含む、請求項10に記載のシステム。
  12. 前記プロセッサが、
    前記受信者が前記動作を行っているときに前記仮想環境内で前記受信者のビデオを生成することと、
    前記検証に基づいて前記カスタムパラメータに関連付けられた前記仮想要素で前記仮想環境を更新することと
    を行うためのさらなる命令を実行する、請求項11に記載のシステム。
  13. 前記センサデータが、前記実世界環境における前記ユーザによる前記動作の画像データまたはビデオデータを含み、
    前記プロセッサが、コンピュータビジョンを前記画像データまたはビデオデータに適用してメタデータまたはメトリクスを生成するためのさらなる命令を実行する、請求項10に記載のシステム。
  14. 所定の閾値内にある前記動作プロファイルに対する前記受信者に関する前記データの1つまたは複数の一致に基づいて、前記受信者が、前記動作を行っていると検証される、請求項10に記載のシステム。
  15. 前記プロセッサが、
    前記動作プロファイルに対する1つまたは複数の相違を識別するために前記受信者に関する前記データを分析することと、
    前記識別された相違に関する前記受信者への通知を生成することと
    を行うためのさらなる命令を実行する、請求項1に記載のシステム。
  16. 前記プロセッサが、前記動作プロファイルからの1つまたは複数の画像を前記受信者の1つまたは複数の画像に重ね合わせるためのさらなる命令を実行し、
    前記通信インタフェースが、前記重ね合わせた画像を前記受信者デバイスに提供する、請求項1に記載のシステム。
  17. 前記動作プロファイルが、前記仮想環境の1つまたは複数の条件をさらに指定する、請求項1に記載のシステム。
  18. 前記受信者が、前記仮想環境の前記指定された条件に対する1つまたは複数の一致に基づいて、前記動作を行っていると検証される、請求項8に記載のシステム。
  19. 非一時的コンピュータ可読記憶媒体であって、動作データを共有するための方法を行うためにプロセッサによって実行可能なプログラムを具現化し、前記方法は、
    ユーザに関連付けられた1つまたは複数のセンサからセンサデータを受信することであって、前記データは、実世界環境において前記ユーザによる動作中にキャプチャされる、前記受信することと、
    前記データに基づいて仮想環境内の仮想キャラクタによる対応する動作をレンダリングすることと、
    前記仮想環境内の前記対応する動作のビデオをキャプチャすることであって、前記キャプチャされたビデオは前記センサデータに関連付けられる、前記キャプチャすることと、
    前記キャプチャされたビデオと前記センサデータとを含む動作プロファイルを、前記ユーザが指定した受信者の受信者デバイスに提供することと、
    前記キャプチャされたビデオの再生中の前記受信者に関するデータを、前記動作プロファイル内の前記キャプチャされたビデオに関連付けられた前記センサデータと比較することにより、前記受信者が前記動作を行っていることを検証することと
    を含む、非一時的コンピュータ可読記憶媒体。
JP2022120261A 2021-07-30 2022-07-28 動作データの共有 Pending JP2023021047A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/390,372 US11786816B2 (en) 2021-07-30 2021-07-30 Sharing movement data
US17/390,372 2021-07-30

Publications (1)

Publication Number Publication Date
JP2023021047A true JP2023021047A (ja) 2023-02-09

Family

ID=82403408

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022120261A Pending JP2023021047A (ja) 2021-07-30 2022-07-28 動作データの共有

Country Status (4)

Country Link
US (1) US11786816B2 (ja)
EP (1) EP4124365A1 (ja)
JP (1) JP2023021047A (ja)
CN (1) CN115701082A (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11726553B2 (en) 2021-07-20 2023-08-15 Sony Interactive Entertainment LLC Movement-based navigation
US11786816B2 (en) 2021-07-30 2023-10-17 Sony Interactive Entertainment LLC Sharing movement data

Family Cites Families (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3430530A (en) 1967-12-05 1969-03-04 Warwick Electronics Inc Music system
US6950534B2 (en) 1998-08-10 2005-09-27 Cybernet Systems Corporation Gesture-controlled interfaces for self-service machines and other applications
US6663491B2 (en) 2000-02-18 2003-12-16 Namco Ltd. Game apparatus, storage medium and computer program that adjust tempo of sound
US7071914B1 (en) 2000-09-01 2006-07-04 Sony Computer Entertainment Inc. User input device and method for interaction with graphic images
KR20050082559A (ko) 2004-02-19 2005-08-24 주식회사 소니컴퓨터 엔터테인먼트 코리아 댄스 학습 시스템, 이를 이용한 인터넷 커뮤니티 서비스시스템과 인터넷 커뮤니티 서비스 방법, 댄스 학습 방법및 상기 방법들을 실행하는 프로그램을 기록한 컴퓨터로읽을 수 있는 기록매체
JP2006068315A (ja) 2004-09-02 2006-03-16 Sega Corp ポーズ検出プログラム、ビデオゲーム装置、ポーズ検出方法、および、プログラムを記録したコンピュータ読み取り可能な記録媒体
US8972902B2 (en) 2008-08-22 2015-03-03 Northrop Grumman Systems Corporation Compound gesture recognition
US20080096657A1 (en) 2006-10-20 2008-04-24 Sony Computer Entertainment America Inc. Method for aiming and shooting using motion sensing controller
US20080234023A1 (en) 2007-03-23 2008-09-25 Ajmal Mullahkhel Light game
JP2011512054A (ja) 2007-12-21 2011-04-14 ソニー コンピュータ エンタテインメント アメリカ リミテッド ライアビリテイ カンパニー 模倣した演技をシーンに挿入し、同一性の評価を付与するスキーム
US10729973B2 (en) 2008-06-30 2020-08-04 Microsoft Technology Licensing, Llc Dynamic selection of sensor sensitivity in a game input system
GB0812322D0 (en) * 2008-07-04 2008-08-13 Berlin Armstrong Locatives Ltd Method of generating motion capture data and/or animation data
US8418085B2 (en) 2009-05-29 2013-04-09 Microsoft Corporation Gesture coach
US8412662B2 (en) 2009-06-04 2013-04-02 Motorola Mobility Llc Method and system of interaction within both real and virtual worlds
US8427508B2 (en) * 2009-06-25 2013-04-23 Nokia Corporation Method and apparatus for an augmented reality user interface
US9400548B2 (en) 2009-10-19 2016-07-26 Microsoft Technology Licensing, Llc Gesture personalization and profile roaming
US8284157B2 (en) * 2010-01-15 2012-10-09 Microsoft Corporation Directed performance in motion capture system
US9358456B1 (en) 2010-06-11 2016-06-07 Harmonix Music Systems, Inc. Dance competition game
US9089775B1 (en) * 2010-06-24 2015-07-28 Isaac S. Daniel Interactive game system and methods for a television audience member to mimic physical movements occurring in television broadcast content
US9350951B1 (en) * 2011-11-22 2016-05-24 Scott Dallas Rowe Method for interactive training and analysis
US8684821B2 (en) 2011-12-19 2014-04-01 Empire Technology Development Llc Pause and resume schemes for gesture-based game
US20130176437A1 (en) 2012-01-11 2013-07-11 Erick Tseng Video Passcode
US9696547B2 (en) 2012-06-25 2017-07-04 Microsoft Technology Licensing, Llc Mixed reality system learned input and functions
US8977961B2 (en) 2012-10-16 2015-03-10 Cellco Partnership Gesture based context-sensitive functionality
US10620709B2 (en) 2013-04-05 2020-04-14 Ultrahaptics IP Two Limited Customized gesture interpretation
WO2014204875A1 (en) * 2013-06-16 2014-12-24 Jammit, Inc. Synchronized display and performance mapping of musical performances submitted from remote locations
US11226686B2 (en) 2014-01-20 2022-01-18 Lenovo (Singapore) Pte. Ltd. Interactive user gesture inputs
EP3117290B1 (en) 2014-03-10 2022-03-09 BAE Systems PLC Interactive information display
US20150347717A1 (en) * 2014-06-02 2015-12-03 Xerox Corporation Hybrid personal training system and method
US10242713B2 (en) * 2015-10-13 2019-03-26 Richard A. ROTHSCHILD System and method for using, processing, and displaying biometric data
US20170103672A1 (en) * 2015-10-09 2017-04-13 The Regents Of The University Of California System and method for gesture capture and real-time cloud based avatar training
US10429935B2 (en) 2016-02-08 2019-10-01 Comcast Cable Communications, Llc Tremor correction for gesture recognition
CN106502388B (zh) 2016-09-26 2020-06-02 惠州Tcl移动通信有限公司 一种互动式运动方法及头戴式智能设备
US20180088671A1 (en) 2016-09-27 2018-03-29 National Kaohsiung University Of Applied Sciences 3D Hand Gesture Image Recognition Method and System Thereof
US10459687B2 (en) 2017-03-28 2019-10-29 Wipro Limited Method and system for controlling an internet of things device using multi-modal gesture commands
US11049321B2 (en) * 2017-10-03 2021-06-29 ExtendView Inc. Sensor-based object tracking and monitoring
US10953334B2 (en) 2019-03-27 2021-03-23 Electronic Arts Inc. Virtual character generation from image or video data
US11669743B2 (en) 2019-05-15 2023-06-06 Huawei Technologies Co., Ltd. Adaptive action recognizer for video
US20200393908A1 (en) 2019-06-12 2020-12-17 Citrix Systems, Inc. Computing devices, program products, and methods for performing actions in applications based on facial images of users
CN112154402A (zh) 2019-08-29 2020-12-29 深圳市大疆创新科技有限公司 可穿戴设备及其控制方法、识别手势的方法和控制系统
US10701316B1 (en) 2019-10-10 2020-06-30 Facebook Technologies, Llc Gesture-triggered overlay elements for video conferencing
US11789542B2 (en) 2020-10-21 2023-10-17 International Business Machines Corporation Sensor agnostic gesture detection
US11726553B2 (en) 2021-07-20 2023-08-15 Sony Interactive Entertainment LLC Movement-based navigation
US11786816B2 (en) 2021-07-30 2023-10-17 Sony Interactive Entertainment LLC Sharing movement data
US20230051703A1 (en) 2021-08-16 2023-02-16 Sony Interactive Entertainment LLC Gesture-Based Skill Search

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11726553B2 (en) 2021-07-20 2023-08-15 Sony Interactive Entertainment LLC Movement-based navigation
US11786816B2 (en) 2021-07-30 2023-10-17 Sony Interactive Entertainment LLC Sharing movement data

Also Published As

Publication number Publication date
US11786816B2 (en) 2023-10-17
CN115701082A (zh) 2023-02-07
US20230029894A1 (en) 2023-02-02
EP4124365A1 (en) 2023-02-01

Similar Documents

Publication Publication Date Title
CN106716306B (zh) 将多个头戴式显示器同步到统一空间并且使统一空间中的对象移动关联
US10843088B2 (en) Sharing recorded gameplay
JP6700463B2 (ja) ヘッドマウントディスプレイ上の視覚的作用を制限するためのフィルタリング及びペアレンタルコントロール法
US10506003B1 (en) Repository service for managing digital assets
JP2023021047A (ja) 動作データの共有
US20230051703A1 (en) Gesture-Based Skill Search
JP2012096027A (ja) 家庭用ゲームシステムにおいて実行中のゲーム又はアプリケーションをリアルタイムに記録又は変更するための携帯型ゲーム装置の使用
EP4122566A1 (en) Movement-based navigation
JP7249975B2 (ja) 位置に基づくゲームプレイコンパニオンアプリケーションへユーザの注目を向ける方法及びシステム
US20190245812A1 (en) Social Media Connection for a Robot
US8885878B2 (en) Interactive secret sharing
US20230128658A1 (en) Personalized vr controls and communications
KR20210144433A (ko) 가상공간 촬영장치 및 촬영방법