JP2020502603A - 頭部装着ディスプレイにおける仮想現実（ｖｒ）コンテンツの視野（ｆｏｖ）絞り - Google Patents

頭部装着ディスプレイにおける仮想現実（ｖｒ）コンテンツの視野（ｆｏｖ）絞り Download PDF

Info

Publication number
JP2020502603A
JP2020502603A JP2019512246A JP2019512246A JP2020502603A JP 2020502603 A JP2020502603 A JP 2020502603A JP 2019512246 A JP2019512246 A JP 2019512246A JP 2019512246 A JP2019512246 A JP 2019512246A JP 2020502603 A JP2020502603 A JP 2020502603A
Authority
JP
Japan
Prior art keywords
content
user
discomfort
application
nausea
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019512246A
Other languages
English (en)
Other versions
JP6799144B2 (ja
Inventor
エス． マリンソン、ドミニク
エス． マリンソン、ドミニク
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Interactive Entertainment Inc
Original Assignee
Sony Interactive Entertainment Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Interactive Entertainment Inc filed Critical Sony Interactive Entertainment Inc
Publication of JP2020502603A publication Critical patent/JP2020502603A/ja
Priority to JP2020192611A priority Critical patent/JP6977134B2/ja
Application granted granted Critical
Publication of JP6799144B2 publication Critical patent/JP6799144B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/0205—Simultaneously evaluating both cardiovascular conditions and different types of body conditions, e.g. heart and respiratory condition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/053—Measuring electrical impedance or conductance of a portion of the body
    • A61B5/0531—Measuring skin impedance
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/389—Electromyography [EMG]
    • A61B5/392—Detecting gastrointestinal contractions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6802—Sensor mounted on worn items
    • A61B5/6803—Head-worn items, e.g. helmets, masks, headphones or goggles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/53—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0025—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for optical correction, e.g. distorsion, aberration
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • A61M2021/0005—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus
    • A61M2021/0044—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus by the sight sense
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • A61M2021/0005—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus
    • A61M2021/0044—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus by the sight sense
    • A61M2021/005—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus by the sight sense images, e.g. video
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2205/00—General characteristics of the apparatus
    • A61M2205/50—General characteristics of the apparatus with microprocessors or computers
    • A61M2205/502—User interfaces, e.g. screens or keyboards
    • A61M2205/507—Head Mounted Displays [HMD]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2230/00—Measuring parameters of the user
    • A61M2230/04—Heartbeat characteristics, e.g. ECG, blood pressure modulation
    • A61M2230/06—Heartbeat rate only
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2230/00—Measuring parameters of the user
    • A61M2230/08—Other bio-electrical signals
    • A61M2230/10—Electroencephalographic signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2230/00—Measuring parameters of the user
    • A61M2230/08—Other bio-electrical signals
    • A61M2230/14—Electro-oculogram [EOG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2230/00—Measuring parameters of the user
    • A61M2230/63—Motion, e.g. physical activity
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2230/00—Measuring parameters of the user
    • A61M2230/65—Impedance, e.g. conductivity, capacity
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/30—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by output arrangements for receiving control signals generated by the game device
    • A63F2300/303—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by output arrangements for receiving control signals generated by the game device for displaying additional data, e.g. simulating a Head Up Display
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user

Abstract

【解決手段】頭部装着ディスプレイ（ＨＭＤ）で用いる仮想現実（ＶＲ）コンテンツを見るときの不快感を軽減する方法。方法は、不快感を生じさせる可能性がある対応するベースラインＶＲコンテンツの生成に関連する複数の学習済みパターンを識別するモデルにアクセスすることを含む。方法は、第１のアプリケーションを処理して、第１のアプリケーションの第１のＶＲコンテンツとのシミュレーションされたユーザインタラクションに関連するデータを生成することを含む。方法は、データをモデルと比較して、学習済みパターンの少なくとも１つに合致するデータにおける不快感を生じさせる可能性があるパターンを識別することを含む。方法は、識別されたパターンに対応する第１のアプリケーションにおける領域を識別することを含む。方法は、ユーザにおける潜在的な不快感を軽減する目的で、領域内に不快感軽減フィルタ効果を適用することを含む。【選択図】図３Ｃ

Description

本開示は、仮想現実（ＶＲ）コンテンツとインタラクトしているときのユーザ体験を向上させること、ならびにユーザにおいて不快感及び／または吐き気を誘発する可能性があるＶＲコンテンツに対する不快感軽減フィルタリング効果の実装に関する。
コンピュータによって生成される仮想現実（ＶＲ）によって、ユーザは、例えばシミュレーションされた実環境または架空の環境に没入することが可能になる。完全に没入すると、ユーザは、ユーザがまるでそのＶＲ環境内に存在するかのように、シミュレーションされたまたは架空の環境とインタラクトすることが可能になる。すなわち、ユーザは、ＶＲ環境を動き回り、見回し、場合によってはそのＶＲ環境内のオブジェクトとインタラクトすることが可能になる。
ＶＲシステムは、ユーザにＶＲ環境を見せる何らかのディスプレイシステムを用いることができる。これらのディスプレイシステムには、ユーザの正面に提示されるコンピュータモニタまたはディスプレイスクリーンが含まれ得る。ディスプレイスクリーンが小さめのときは、ユーザのＶＲ体験は、周囲の実環境からの視覚刺激（例えば、日光、実空間におけるオブジェクトなど）によって妨げられる。ディスプレイサイズを大きくして周囲の実環境の影響を低減することによって、ＶＲ体験は向上され得る。さらに、ディスプレイシステムは、周囲の実環境からの刺激を遮断するように設計され得る。例えば、ユーザによって着用される頭部装着ディスプレイ（ＨＭＤ）は、物理的な実環境からの光を遮断し、ＶＲ環境を３次元（３Ｄ）において見るためにユーザに立体スクリーニングシステムを提示することが可能である。これらのＨＭＤは、頭上に着用される搭載システムに組み込まれた視聴用ゴーグルを含み得る。さらに他のより複雑なＶＲシステムには、ユーザが実世界で動きを起こしその後その動きがＶＲの世界に何らかの形式で変換され得ることを可能にする運動センサが組み込まれ得る。例えば、手のジェスチャ／運動は、ＶＲのオブジェクトとインタラクトするのに用いられ得、実世界を通しての動き（例えば、物理的な環境で歩くこと）は、ＶＲ環境において同様の運動（例えば、ＶＲ環境で歩くまたは走ること）に変換され得る。
ＶＲシステムは、軍事、不動産、医療、ビデオゲームなどといった様々な業界によって活用されてきた。ユーザはＶＲ環境内に完全に没入することができるので、そのＶＲ環境は、訓練、娯楽及び避難の目的で実環境をシミュレーションし得る。例えば、ＶＲシステムは、軍事でのパイロット訓練、医療業界内の外科技術訓練、不動産業者によるリストの表示、または休暇の目的地を体験するために用いられ得る。加えて、ＶＲ環境は、キャラクタが超人間的な力を有する空想世界といった完全に架空の環境をシミュレーションするのに用いられ得る。例えば、ユーザは、ユーザがそのＶＲ環境内でゲームキャラクタの能力及び動きを獲得することを可能にするビデオゲームＶＲ環境内に没入し得る。そのようにして、ユーザに架空の動き及び能力の感覚を与えることによって、ユーザは、現実の境界を拡張することが可能である。これは、障害者に、ＶＲ環境内であたかも彼または彼女が動くこと（例えば歩くこと）が可能であるかのように感じさせることと似ている。
しかしながら、ユーザのＶＲ体験は、提示されたＶＲコンテンツのタイプによって、かつＶＲコンテンツとインタラクトすることにおけるユーザの適合性によって異なるものとなるだろう。場合によっては、ＶＲコンテンツは、物理的な実世界において体験される乗り物酔いと同種の吐き気または不快感をユーザにおいて誘発し得る。ユーザによる不快感は、一般に、具体的なユーザと何らかの理由で適合しない感覚的なきっかけ（例えば、視覚の、聴覚のなど）によるものであり得る。とは言え、その領域における研究は、なぜこれらのきっかけが適合する場合があるのかまたは適合しない場合があるのかを正確に判断していない。
このような状況において、開示の実施形態は生じる。
本開示の実施形態は、ＶＲコンテンツとインタラクトしているときのユーザの不快感を予測するように構成されているディープラーニングエンジンを通してモデルを構築する、モデルによって判定されたユーザの予測される不快感に基づいて、不快感及び／または吐き気を誘発する可能性があるＶＲコンテンツにおける領域を識別する、かつそれらの識別された領域において不快感軽減フィルタリング効果を適用するシステム及び方法に関する。本開示のいくつかの発明の実施形態を以下に記載する。
一実施形態では、頭部装着ディスプレイ（ＨＭＤ）で用いる仮想現実（ＶＲ）コンテンツを見るときの不快感を軽減する方法が開示される。方法は、不快感を生じさせる可能性がある対応するベースラインＶＲコンテンツの生成と関連する複数の学習済みパターンを識別するモデルにアクセスすることを含む。方法は、第１のアプリケーションを処理して第１のアプリケーションの第１のＶＲコンテンツとのシミュレーションされたユーザインタラクションと関連するデータを生成することを含む。方法は、抽出されたデータをモデルと比較して、学習済みパターンの少なくとも１つと合致する、抽出されたデータにおける、不快感を生じさせる可能性があるパターンを識別することを含む。方法は、識別されたパターンに対応する、第１のアプリケーションにおける領域を識別することを含む。方法は、ユーザにおける潜在的な不快感を軽減する目的で、領域内に不快感軽減フィルタ効果を適用することを含む。
一実施形態では、頭部装着ディスプレイ（ＨＭＤ）で用いる仮想現実（ＶＲ）コンテンツを見ているときの不快感を軽減する別の方法が開示される。方法は、アプリケーションを実行して、ユーザによってインタラクトするＶＲコンテンツを生成することを含む。方法は、ユーザにおける不快感を示す入力を受信することを含む。方法は、潜在的な不快感を軽減する目的で、表示するために生成されたＶＲコンテンツに不快感軽減フィルタ効果を適用することを含む。
別の実施形態では、ＨＭＤで用いるＶＲコンテンツを見ているときの不快感を軽減するコンピュータプログラムを格納する非一時的なコンピュータ可読媒体が開示される。コンピュータ可読媒体は、アプリケーションを実行してユーザによってインタラクトするＶＲコンテンツを生成するプログラム命令を含む。コンピュータ可読媒体は、ユーザにおける不快感を示す入力を受信するプログラム命令を含む。コンピュータ可読媒体は、潜在的な不快感を軽減する目的で、ＶＲコンテンツへオーバーレイとして視野絞りをリアルタイムに適用することによって、表示するために生成されたＶＲコンテンツに不快感軽減フィルタ効果を適用するプログラム命令を含む。
開示の他の態様は、開示の原則を例として示す、添付図面と併せた以下の詳細な記載から明らかとなろう。
開示は、添付図面と併せて以下の記載を参照することによって最も良く理解され得る。
本開示の一実施形態による、ＶＲコンテンツとインタラクトしているときのユーザの不快感を相関させるように構成されているディープラーニングエンジンを通して不快感及び／または吐き気認識モデルを構築するために用いられるシステムを示す。
本開示の一実施形態による、ディープラーニングエンジンによって実装されるトレーニングを通して不快感認識モデルを構築するために用いられる例示的なニューラルネットワークを示す。
本開示の一実施形態による、不快感及び／または吐き気認識モデルを構築するために用いられる、図１Ａのシステム１００Ａによって生成されるテストデータを示す。
本開示の一実施形態による、不快感及び／もしくは吐き気を誘発するＶＲコンテンツのパターン、及び／またはそのＶＲコンテンツの生成に関連してユーザによってとられたもしくは生成されたアクションのパターンに関連する、実行されているアプリケーションにおける領域またはポイントを識別する目的で、ＶＲコンテンツを生成する、試験下アプリケーションに対する不快感認識モデルの適用を示す。
本開示の一実施形態による、ＶＲコンテンツとインタラクトしているときのユーザの不快感を予測するように構成されているモデルによって判定されたユーザの予測される不快感に基づいて、不快感及び／または吐き気を誘発する可能性があるＶＲコンテンツにおける領域を識別するプロセスを示す。
本開示の一実施形態による、ユーザの頭部の動きの速度に比例して視野（ＦＯＶ）絞りを実装することを含む、ＶＲコンテンツとインタラクトしているときのユーザの不快感を予測するように構成されているモデルによって判定された不快感及び／または吐き気を誘発すると予測されるＶＲコンテンツにおける領域において不快感軽減フィルタリング効果を適用することを示すグラフである。
本開示の一実施形態による、ユーザの頭部が時間的に移動するにつれてＦＯＶ絞りを実装することを含む、ＶＲコンテンツとインタラクトしているときのユーザの不快感を予測するように構成されているモデルによって判定された不快感及び／または吐き気を誘発すると予測されるＶＲコンテンツにおける領域において不快感軽減フィルタリング効果を適用すること示すグラフである。
本開示の一実施形態による、ＶＲ環境、及びユーザの頭部が物理的に移動するにつれてユーザの視界内のＦＯＶ絞りを適用することを示す図である。
本開示の一実施形態による、ＶＲコンテンツとインタラクトしているときのユーザの不快感を予測するように構成されているモデルによって判定された不快感及び／または吐き気を誘発すると予測されるＶＲコンテンツにおける領域においての不快感軽減フィルタリング効果の適用を調整するように構成されているスライダバーの図である。
本開示の一実施形態による、ユーザの頭部が時間的に移動するにつれてＦＯＶ絞りを実装することを含む、ＶＲコンテンツとインタラクトしているときのユーザの不快感を予測するように構成されているモデルによって判定された不快感及び／または吐き気を誘発すると予測されるＶＲコンテンツにおける領域において不快感軽減フィルタリング効果を適用する方法である。
発明の実施形態による、閉ループシステムにおけるＶＲコンテンツを生成するアプリケーションの実行及び不快感軽減フィルタリング効果の適用と併せたＨＭＤの機能を概略的に示す。
本開示の様々な実施形態の態様を行うのに用いることができる例示的なデバイスのコンポーネントを示す。
開示の一実施形態による、頭部装着ディスプレイのコンポーネントを示す図である。
開示の様々な実施形態による、ゲームシステムのブロック図である。ゲームシステムはビデオストリームを１つまたは複数のクライアントにネットワーク経由で提供するように構成されている。
以下の詳細な記載は、例示の目的で多数の具体的な詳細を含むが、当業者は、以下の記載に対する多数の変形例及び変更例が本開示の範囲内にあることを理解するだろう。したがって、以下に記載された本開示の態様は、この記載に続く特許請求の範囲に対して一般性を失うことなくかつ限定を課すことなく記載される。
一般的に言って、本開示の様々な実施形態は、いずれのＶＲコンテンツがユーザの不快感及び／または吐き気を誘発するかを判定するための、かつ、不快感及び／または吐き気を誘発する可能性があるＶＲコンテンツ及び／またはＶＲコンテンツのソースにおけるポイントまたは領域を、予測されるユーザの不快感及び／または吐き気に基づいて分類かつ／または識別するためのディープラーニング技術を実装するシステム及び方法を記載する。特に、本開示の実施形態は、ＶＲコンテンツとインタラクトしているときのユーザの不快感を予測するように構成されているディープラーニングエンジンを通してモデルを構築し、不快感及び／または吐き気を誘発する可能性があるＶＲコンテンツ及び／またはＶＲコンテンツのソースにおける領域を、モデルによって判定されたユーザの予測される不快感に基づいて識別し、それらの識別された領域において不快感軽減フィルタリング効果を適用する。
様々な実施形態の上記の一般的理解をもって、実施形態の例示的な詳細を、様々な図面を参照してここに記載する。
図１Ａは、本開示の一実施形態による、ＶＲコンテンツとインタラクトしているときのユーザの不快感を相関させるように構成されているディープラーニングエンジンを通して不快感及び／または吐き気認識モデルを構築するために用いられるシステム１００Ａを示す。システム１００Ａは、テスト環境において、ＶＲコンテンツを見ているときにかつ／またはＶＲコンテンツとインタラクトしているときにユーザが何の条件下で不快感及び／または吐き気を体験するかを学習し、そしてその知識を適用して、ＶＲコンテンツを、ＶＲコンテンツとインタラクトしているときにユーザによって体験される予測される不快感及び／または吐き気に基づいて分類する（例えば、不快感及び／または吐き気を誘発する可能性があるＶＲコンテンツにおけるポイントを識別する）のに用いることができるモデルを構築するために、実装することができる。
テスト環境は、複数のＶＲコンテンツを受ける複数のテストユーザを含む。テストユーザの各々は、対応するテストシステムを用いてモニタリングされる。例示のために、テストユーザ１０５は、テストシステム１０１ａを用いてモニタリングされ、他のテストユーザは、テストシステム１０１ｂ〜１０１ｎを用いてモニタリングされる、など。
複数のテストシステム（例えば１０１ａ〜１０１ｎ）の代表的な例として、ＶＲコンテンツ１１５とインタラクション中のテストユーザ１０５のモニタリングを例示するテストシステム１０１ａが記載される。ＶＲコンテンツ１１５は、１つまたは複数のベースラインＶＲコンテンツを含み、各ベースラインコンテンツは、既知のまたは真の不快感及び／または吐き気の応答に関連するものである。さらに、ＶＲコンテンツは、ゲームアプリケーション、ビデオ、マルチメディアコンテンツ、静止画などからのレンダリングされた画像を含む任意のタイプのものであり得る。
クライアントデバイス１００は、ＶＲコンテンツ１１５を生成するように構成されている。例えば、ＶＲコンテンツは、ＶＲコンテンツエンジン１１１（例えばゲーム実行エンジン）上で実行中のアプリケーション（例えばゲームアプリケーション）によって生成され得る。例えば、アプリケーションは、対応するディスプレイデバイス（例えばＨＭＤ１０７またはディスプレイ１１２）を通して見られると、ユーザに３次元のＶＲ視聴体験を与えることができる画像を生成するように設計されている。一実施態様では、クライアントデバイス１００は、ＶＲコンテンツを生成かつ／または再生（例えば、ゲームアプリケーションのコードを実行して画像をレンダリングする）ように構成されているスタンドアロンシステムであってもよく、または、インターネットなどのネットワーク（図示せず）を経由してＶＲコンテンツへのアクセスを要求してもよく、または、バックエンドサーバ（例えば、仮想マシンを実装している）によって実行されるアプリケーション（例えばゲームアプリケーション）のインスタンスから受信され、ユーザ１０５に関連するディスプレイデバイス１１２に送られるまたはＶＲコンテンツを表示するように構成されている頭部装着ディスプレイ（ＨＭＤ）１０７に送られるＶＲコンテンツをレンダリングするものであってもよい。一部の実施形態では、クライアントデバイス１００は、ＨＭＤであってもよい。
さらに、クライアントデバイス１００は、ゲームコントローラ１０６、タブレットコンピュータ、キーボード、ビデオカメラによって撮像されたジェスチャ、マウス、タッチパッドなどといった様々なタイプの入力デバイスから入力を受信し得る。クライアントデバイス１００は、少なくともメモリ、及びＶＲコンテンツ１１５を生成かつ／または再生することが可能であるプロセッサモジュールを有する任意のタイプのコンピューティングデバイスであり得る。クライアントデバイス１００のいくつかの例として、パーソナルコンピュータ（ＰＣ）、ゲーム機、ＨＭＤ、ホームシアターデバイス、汎用コンピュータ、ビデオ記録プレイヤ、モバイルコンピューティングデバイス、タブレット、電話、またはＶＲコンテンツ１１５を再生することができる任意の他のタイプのコンピューティングデバイスが挙げられる。ユーザインタフェース１１０は、ＶＲコンテンツの再生、テストのセットアップに用いられ得、かつ／または、不快感分類モデラ１２０に入力されるデータの集合を管理するのに用いられ得る。
特に、クライアントデバイス１００は、ＶＲコンテンツのレンダリングされた画像を生成かつ／または受信するように、かつ、レンダリングされた画像をディスプレイ１１２またはＨＭＤ１０７に表示するように構成されている。例えば、レンダリングされた画像は、クライアントデバイス１００で実行中のまたはユーザ１０５に関連するバックエンドゲームサーバで実行中のゲームアプリケーションのインスタンスと関連し得る。ゲームアプリケーションに関連するものといったインタラクティブなＶＲコンテンツの場合、クライアントデバイス１００は、エンジン１１１で実行中でありかつユーザ１０５のゲームプレイに関連付けられているビデオゲームのインスタンスと、ゲームプレイを駆動するのに用いられる入力コマンドを介してなどしてインタラクトするように構成されている。
ユーザ１０５によるＶＲコンテンツ１１５とのインタラクション中、ＶＲコンテンツ１１５（例えばレンダリングされた画像など）及びユーザ１０５と関連する様々なデータがモニタリングされる。データは、クライアントデバイス１００によって、または、不快感分類モデラ１２０によって直接的に、モニタリングかつ収集され得る。このデータは、ユーザにおいて不快感及び／または吐き気を誘発するＶＲコンテンツ及び／またはＶＲコンテンツのパターンを学習するために、不快感分類モデラ１２０に入力される。データは、生成されたＶＲコンテンツを含む。
例えば、ＶＲコンテンツはテストシステム１０１ａによってモニタリングされて、不快感及び／または吐き気を体験するテストユーザからのデータとその後相関させることができる、ＶＲコンテンツと関連するパターンを認識する。ここで、パターンは、任意のタイプのＶＲコンテンツ（例えば、静止画、画像シーケンスなど）またはそのＶＲコンテンツの生成に関連してユーザによってとられたもしくは生成されたアクションのパターンを含み得るものである。パターンは、対応するＶＲコンテンツとのシミュレーションされたユーザインタラクションと関連付けられ得る。経時的に、同一パターンのＶＲコンテンツ（例えば、移動ホライズン、アバターの直線及び回転加速、など）またはアクションのパターンがテストユーザにおいて不快感及び／または吐き気を一貫して誘発する場合、それらのパターンは、そのＶＲコンテンツとインタラクトするコンシューマユーザにおいて不快感及び／または吐き気の反応を生成するものとしてラベル付けすることができる。一実施形態では、クライアントデバイス１００は、ＶＲコンテンツがテストユーザ１０５によって再生またはインタラクトされている間、ＶＲコンテンツのパターン、またはそのＶＲコンテンツの生成に関連してユーザによってとられたもしくは生成されたアクションのパターンをモニタリングかつ分析するように構成されている。別の実施形態では、不快感分類モデラ１２０、より具体的にはディープラーニングエンジン１９０は、ＶＲコンテンツがテストユーザ１０５によって再生またはインタラクトされている間、ＶＲコンテンツのパターン、またはそのＶＲコンテンツの生成に関連してユーザによってとられたもしくは生成されたアクションのパターンをモニタリングかつ分析するように構成されている。
加えて、テストシステム１０１ａは、ＶＲコンテンツ１１５とのインタラクション中に収集されたテストユーザ１０５に関連する生理学的データをモニタリングする。生理学的データは、受動的にまたは能動的にモニタリングされ得る。受動的モニタリングはユーザからの助けを必要とせず、一方、能動的モニタリングはユーザの助けを必要とする。
特に、一実施形態では、テストシステム１０１ａは、例えばアクチュエータ１０９の使用により、生理学的データを能動的にモニタリングするように構成されている。例えば、テストユーザ１０５がＶＲコンテンツ１１５とインタラクトしているとき、テストユーザが不快感及び／または吐き気を感じていると、ユーザはアクチュエータ１０９を能動的に作動し得る（例えばボタンを押す）。ユーザはまた、ＶＲコンテンツ１１５とのインタラクション中に感じられる不快感／快感及び／または吐き気の程度を、様々な時間に（例えば、周期的に、ランダムに、指定時間になど）、ユーザインタフェース１１０を通して入力するように促され得る。
別の実施形態では、センサ１２５は、テストユーザ１０５がＶＲコンテンツ１１５とインタラクトしている間、生理学的データを受動的にモニタリングする。すなわち、センサ１２５は、テストユーザから生理学的データを自動的にモニタリングかつ収集する。例示のため、生理学的データとして、胃筋電図記録、電気皮膚抵抗、脳活動（例えばアルファ波）、心拍、眼球運動、頭部の動きなどが挙げられ得る。例えば、胃筋電図は、吐き気の発現を示す胃筋収縮を示し得る。例えば、電気皮膚抵抗は、皮膚の電気伝導度または電気特性の差異を測定し得る。特に、より発汗すると、電気伝導度はより良くなるだろう。テストユーザ１０５によりＶＲコンテンツ１１５の一定のパターン（例えば、曲芸飛行航空機シミュレーション）によって生じる不快感及び／または吐き気は、おそらく発汗の増加により、電気皮膚抵抗の変化を誘発し得る可能性がある。さらに、脳活動は経時的に測定かつ記録されて、測定された脳活動とＶＲコンテンツ１１５の一定のパターンによって生じる不快感及び／または吐き気の間に何らかの相関があるかどうかを判定し得る。不快感及び／または吐き気が一定の眼球または頭部の動きにおいて現れ得る可能性もある。眼球または頭部の動きのどちらも、緩慢さまたは異常な運動を示し得る。加えて、心拍は、テストユーザがＶＲコンテンツとのインタラクションによって生じた不快感及び／または吐き気を体験しているときに一定のパターンを示し得る。生理学的データのうち１つの項目または１つのタイプの生理学的データは、テストユーザの不快感及び／または吐き気とＶＲコンテンツのパターンの間に相関付けをなすという点で確定値を与えない場合があるが、経時的に、テストユーザのＶＲコンテンツとのインタラクションの多数のテストケースにわたって収集された一定の生理学的データまたは様々なタイプの生理学的データの組み合わせにより、不快感及び／または吐き気とＶＲコンテンツのパターンの間に、より信頼できる相関が生成されるだろう。
さらに、ＶＲコンテンツ１１５に関連して収集されたテストデータとテストユーザ１０５からの生理学的データは、ＶＲコンテンツの具体的なパターンまたはＶＲコンテンツに関連してユーザによってとられたアクションのパターンと生理学的な反応を関連付けることができるように、相関付けることができる。ここでＶＲコンテンツは、テストユーザ１０５において、測定された生理学的な反応を誘発し得るものである。例えば、タイムスタンプは、ＶＲコンテンツ１１５に関連する収集されたテストデータ及びテストユーザ１０５の生理学的データの両方に関連して収集され得、ここで、対応するがラグがあるタイムスタンプを有するデータは、互いに相関付けられ得る。特に、不快感分類モデラ１２０は、どんなタイプ及び／もしくはパターンのＶＲコンテンツ、またはＶＲコンテンツの生成もしくはＶＲコンテンツとのインタラクションに関連するパターン、または対応するＶＲコンテンツとのシミュレーションされたもしくはテストされたユーザインタラクションに関連するパターンがユーザにおいて不快感及び／または吐き気を誘発する可能性があるかを学習するように構成されている。これらの識別されたパターンは、ユーザにおいて不快感及び／または吐き気を誘発するおそれがある試験下アプリケーションにおけるポイントを識別するのに用いることができる不快感モデル２２０内に含まれ得る。
図１Ｂは、本開示の一実施形態による、不快感分類モデラ１２０のディープラーニングエンジン１９０によって実装されるトレーニングを通して不快感認識モデルを構築するために用いられる例示的なニューラルネットワークを示す。特に、図１Ａのシステム１００Ａにおける不快感分類モデラ１２０は、どんなタイプまたはパターンのＶＲコンテンツ、及び／またはＶＲコンテンツの生成に関連してユーザによってとられたもしくは生成されたどんなアクションがユーザ（一般的な、特定の、など）において不快感及び／または吐き気を誘発する可能性があるかを学習するように構成されている。不快感分類モデラ１２０は、テストシステム１０１ａ〜１０１ｎの各々に直接またはネットワークを介して（例えば、ローカルネットワーク、インターネットなど）結合されているバックエンドサーバコンピューティングデバイスを含む任意のコンピューティングデバイスであってもよい。
具体的には、不快感分類モデラ１２０におけるディープラーニングエンジン１９０は、所定のまたは真のユーザ不快感及び／または吐き気の応答を有するベースラインＶＲコンテンツとインタラクトしているテストユーザから生成された入力を分析するように構成されている。先に記述したように、入力は、ＶＲコンテンツの生成に関連して収集されたデータ（例えば、ＶＲコンテンツのパターン、及びＶＲコンテンツの生成に関連してユーザによってとられたまたは生成されたアクションのパターン）及びセンサ１２５によって受動的にまたはアクチュエータ１０９を通して能動的に収集された生理学的データを含む。このように、ユーザがＶＲコンテンツとインタラクトするときになぜ不快感及び／または吐き気で反応するかを学習する代わりに、不快感分類モデラ１２０のディープラーニングエンジン１９０は、インタラクトされるとき（例えば見る）いずれのＶＲコンテンツ（例えば、ユーザによってとられたまたは生成されたアクションに関連して生成されたＶＲコンテンツのタイプ及び／またはパターン）及び／またはそのＶＲコンテンツの生成に関連してユーザによってとられたもしくは生成されたアクションのパターン、または対応するＶＲコンテンツとのシミュレーションされたもしくはテストされたユーザインタラクションに関連するパターンがユーザに（例えば、一般的なユーザ、特定のタイプのユーザなど）不快感及び／または吐き気の反応を体験させるかを認識することが可能である。これらのパターンは、不快感モデル２２０内に含まれる。加えて、その認識によって、不快感分類モデラ１２０は、ディープラーニングエンジン１９０をコンテンツ分類モデル１２１として構築かつ／または構成することが可能になる。加えて、不快感分類モデラ１２０は、ディープラーニングエンジン１９０をユーザ分類モデル１２２として構築かつ／または構成するように構成されている。モデル２２０、１２１及び１２２は、インタラクトされた時にどのＶＲコンテンツがユーザに不快感及び／または吐き気の反応を体験させるかの同一の認識に依存するという点で、関連している。
先に紹介したように、関連付けられたＶＲコンテンツデータ（例えば、ＶＲコンテンツのパターン、及び／またはＶＲコンテンツの生成に関連してユーザによってとられたもしくは生成されたアクションのパターン）とセンサ１２５によって受動的にまたはアクチュエータ１０９により能動的に収集された生理学的データは、ディープラーニングエンジン１９０に送られる。ディープラーニングエンジン１９０は、ディープラーニングアルゴリズム、強化学習または他の人工知能ベースのアルゴリズムを含む人工知能を利用する。そのようにして、学習段階において、データはベースラインＶＲコンテンツとインタラクトするテストユーザから収集される。ここで、ベースラインＶＲコンテンツは、所定のかつ予期される不快感及び／または吐き気の反応に関連付けられているものである。データはまたＶＲコンテンツエンジン１１１から収集される（例えば、ＶＲコンテンツのパターン、メタデータ、ＶＲコンテンツの生成に関連してユーザによってとられたまたは生成されたアクションのパターンなど）。データは、ディープラーニングエンジン１９０によって用いられて、入力データのセットを与えられたユーザによる不快感及び／または吐き気の反応を予測する。ディープラーニングエンジン１９０による収集されたデータに関する分析は継続的に行われて、いずれのＶＲコンテンツ、ＶＲコンテンツのパターン、ＶＲコンテンツの生成またはＶＲコンテンツとのインタラクションに関連するパターン、または対応するＶＲコンテンツとのシミュレーションされたまたはテストされたユーザインタラクションに関連するパターンがユーザにおいて不快感及び／または吐き気を誘発するかを学習するのに用いられる更新された分析を、ディープラーニングエンジン１９０によって用いられる内部パラメータを修正することによって提供し得る。そのようにして、いずれのＶＲコンテンツまたはＶＲコンテンツのパターンがユーザにおいて不快感及び／または吐き気を誘発するかを学習することによって、ディープラーニングエンジン１９０は、モデリング段階中にＶＲコンテンツを分類するかつユーザを分類するモデルを構築することが可能である。
ニューラルネットワーク１９０は、データセットを分析して、いずれのＶＲコンテンツ、ＶＲコンテンツのパターン、ＶＲコンテンツの生成もしくはＶＲコンテンツとのインタラクションに関連するパターン、または対応するＶＲコンテンツとのシミュレーションされたまたはテストされたユーザインタラクションに関連するパターンがユーザにおいて不快感及び／または吐き気を誘発するかを判定する自動分析ツールの例を表す。異なるタイプのニューラルネットワーク１９０が可能である。例では、ニューラルネットワーク１９０は、ディープラーニングエンジン１９０によって実装され得るディープラーニングをサポートする。したがって、ディープニューラルネットワーク、畳み込みディープニューラルネットワーク及び／または教師あり学習もしくは教師なし学習を用いるリカレントニューラルネットワークを実装することができる。別の例では、ニューラルネットワーク１９０は、強化学習をサポートするディープラーニングネットワークを含む。例えば、ニューラルネットワーク１９０は、強化学習アルゴリズムをサポートするマルコフ決定過程（ＭＤＰ）として構築される。
一般に、ニューラルネットワーク１９０は、人工ニューラルネットワークなどの相互接続されたノードのネットワークを表す。各ノードは、データから何らかの情報を学習する。ノード間で相互接続を介して知識を交換することができる。ニューラルネットワーク１９０への入力は、ノードのセットをアクティブ化する。そして、このノードのセットは、他のノードをアクティブ化し、それによって、入力に関する知識を伝播する。このアクティブ化プロセスは、出力が提供されるまで、他のノードとの間で繰り返される。
例示するように、ニューラルネットワーク１９０は、ノードの階層を含む。最下位階層レベルに、入力層１９１が存在する。入力層１９１は、入力ノードのセットを含む。例えば、これらの入力ノードの各々は、ＶＲコンテンツデータ、及びテストユーザのＶＲコンテンツ（例えば、ビデオゲームまたはゲームアプリケーションなど）とのインタラクション中に収集された、センサ１２５によって受動的にまたはアクチュエータ１０９を通して能動的に収集された生理学的データにマッピングされる。
最上位階層レベルに、出力層１９３が存在する。出力層１９３は、出力ノードのセットを含む。出力ノードは、例えばユーザゲームプレイプロファイラの１つまたは複数のコンポーネントに関する決定（例えば、予測）を表す。先に記述したように、出力ノードは、不快感及び／または吐き気を参照してテストユーザの状態を識別し得る。すなわち、入力のセットを与えられ、出力ノードは、ディープラーニングエンジン１９０によって判定されたようなユーザが体験すると予測される不快感及び／または吐き気の状態のレベルを示す。これらの結果は、ディープラーニングエンジン１９０によって用いられるパラメータを精密化かつ／または修正していずれのＶＲコンテンツまたはＶＲコンテンツのパターンがユーザにおいて不快感及び／または吐き気を誘発するかを反復的に判定するために、所定のかつ真の不快感及び／または吐き気の反応と比較され得る。すなわち、ニューラルネットワーク１９０におけるノードは、パラメータを精密化するときにそうした決定をなすのに用いることができるモデルのパラメータを学習する。
特に、隠れ層１９２は、入力層１９１と出力層１９３の間に存在する。隠れ層１９２は、「Ｎ」個の隠れ層を含み、「Ｎ」は１以上の整数である。そして、隠れ層の各々は、隠れノードのセットも含む。入力ノードは隠れノードに相互接続される。同様に、隠れノードは、入力ノードが出力ノードに直接相互接続されないように、出力ノードに相互接続される。複数の隠れ層が存在する場合、入力ノードは、最下位隠れ層の隠れノードに相互接続される。そして、これらの隠れノードは、次の隠れ層の隠れノードに相互接続されるなどとなる。次の最上位の隠れ層の隠れノードは、出力ノードに相互接続される。相互接続は、２つのノードを接続する。相互接続は、学習することができる数値重みを有し、入力に適合し学習することが可能であるニューラルネットワーク１９０をレンダリングする。
一般に、隠れ層１９２は、入力ノードに関する知識を、出力ノードに対応する全てのタスク間で共有することを可能にする。そうするために、一実施態様では、変換ｆは隠れ層１９２を通して入力ノードに適用される。例では、変換ｆは非線形である。例えばｒｅｃｔｉｆｉｅｒ関数ｆ（ｘ）＝ｍａｘ（０，ｘ）を含む異なる非線形変換ｆが利用可能である。
ニューラルネットワーク１９０はまた、最適解を見つけるためのコスト関数ｃも用いる。コスト関数は、所与の入力ｘ及びグラウンドトゥルースまたは目標値ｙ（例えば期待される結果）において、ｆ（ｘ）として定義されたニューラルネットワーク１９０によって出力された予測との間の偏差を測定する。最適解は、最適解のコストよりも低いコストを有する解はないという状況を表す。コスト関数の例は、そうしたグラウンドトゥルースラベルが利用可能であるデータにおける、予測とグラウンドトゥルースの間の平均二乗誤差である。学習プロセスの間、ニューラルネットワーク１９０は、コスト関数を最小にするモデルパラメータ（例えば、隠れ層１９２におけるノード間の相互接続に対する重み）を学習する異なる最適化法を用いるために誤差逆伝播アルゴリズムを用いることができる。そうした最適化法の例は、確率的勾配降下法である。
例では、ニューラルネットワーク１９０に対するトレーニングデータセットは、同一のデータ領域からのものである。例えば、ニューラルネットワーク１９０は、いずれのＶＲコンテンツまたはＶＲコンテンツのパターンがユーザにおいて不快感及び／または吐き気を誘発するかを学習するためにトレーニングされる。この例示では、データ領域は、テストユーザのベースラインＶＲコンテンツとのインタラクションに対して収集されたテストセッションデータを含む。別の例では、トレーニングデータセットは、異なるデータ領域からのものである。例えば、ニューラルネットワーク１９０は、ゲームアプリケーションに対してまたはゲームアプリケーションの一ジャンルに対してトレーニングされる。
このように、ニューラルネットワーク１９０は、いずれのＶＲコンテンツ、ＶＲコンテンツのパターン、ＶＲコンテンツの生成もしくはＶＲコンテンツとのインタラクションに関連するパターン、または対応するＶＲコンテンツとのシミュレーションされたまたはテストされたユーザインタラクションと関連するパターンがユーザの不快感及び／または吐き気を誘発するかを予測または判定し得る。不快感及び／または吐き気を誘発するとして識別されているこれらのパターンは、不快感モデル２２０内に含まれる。これらの予測結果に基づいて、ニューラルネットワーク１９０はまた、ＶＲコンテンツを、予測されるユーザの不快感及び／または吐き気に基づいて分類するのに用いられる予測モデル（例えば、コンテンツ分類モデル１２１）も規定し得る。さらに、ニューラルネットワーク１９０はまた、ユーザを、ＶＲコンテンツを見ているときのユーザの不快感及び／または吐き気の個別のかつ予測される判定に基づいて分類するのに用いられる予測モデル（例えば、ユーザ分類モデル）も規定し得る。
図２Ａは、本開示の一実施形態による、不快感及び／または吐き気認識モデルを構築するために用いられる、図１Ａのシステム１００Ａによって生成されるテストデータを示す。示すように、１つまたは複数のテスタ（例えば、テスタ−ａ〜テスタ−Ｎ）は、１つまたは複数のテストアプリケーション（例えば、ゲームアプリケーションＧ−１〜Ｇ−ｎ）とインタラクトする。例えば、テスタは、ＨＭＤ１０２を用いてクライアントデバイス１００上で実行中の対応するＶＲコンテンツとインタラクトする。すなわち、一実施形態では、１つのアプリケーションが１つまたは複数のテスタによって用いられて、不快感及び／または吐き気認識モデルを構築するのに用いられるデータを生成し得る。別の実施形態では、１つより多いアプリケーションが１つまたは複数のテスタによって用いられて、不快感及び／または吐き気を誘発するＶＲコンテンツ、ＶＲコンテンツのパターン、ＶＲコンテンツの生成もしくはＶＲコンテンツとのインタラクションに関連するパターン、または対応するＶＲコンテンツとのシミュレーションされたもしくはテストされたユーザインタラクションに関連するパターン、及び／または、そのＶＲコンテンツの生成に関連してユーザによってとられたもしくは生成されたアクションのパターンを識別するように部分的に構成されている不快感及び／または吐き気認識モデルを構築するのに用いられるデータを生成し得る。
示すように、テスタ−ａは、ゲームアプリケーションＧ−１などの対応するアプリケーションから生成された、線１１５ａ'によって示されるＶＲコンテンツ１１５ａとインタラクトしている。例示目的のみのため、線１１５ａ'は、山部及び谷部を有する１つの曲線として示される。線１１５ａ'のパスは、ゲームアプリケーションＧ−１を通しての進行に類似し得る。より重要なことに、線１１５ａ'沿いの各ポイントに、テスタ−ａのインタラクションに応じて生成かつ表示されるＶＲコンテンツ１１５ａの関連部分が存在する。また、各ポイントに、そのＶＲコンテンツ１１５ａの生成に関連してユーザによってとられたまたは生成された関連アクションが存在する。特に、ＶＲコンテンツ１１５ａの一部を示す曲線上の１つまたは複数の白丸で識別される具体的な領域は、テスタ−ａにおける、彼のまたは彼女のＶＲコンテンツ１１５ａとのインタラクション中の不快感及び／または吐き気を示すモニタリングされた生理学的データ（受動的にまたは能動的に収集された）に対応する。先に記載したように、関連するＶＲコンテンツ、メタデータ、生理学的データ、ＶＲコンテンツ１１５ａの生成に関連してユーザによってとられたまたは生成されたアクションなどを含む情報のスナップショットは、線１１５ａ'沿いの領域ごとに収集され得る。このデータは、不快感分類モデラ１２０に送られ、他のテスタから収集された他のデータと相関付けられて、不快感及び／または吐き気を誘発するＶＲコンテンツのパターン及び／またはＶＲコンテンツの生成もしくはＶＲコンテンツとのインタラクションに関連してテスタによってとられたもしくは生成されたアクションを識別または予測し得る。
同様に、他のテスタは、１つまたは複数のアプリケーションＧ−１〜Ｇ−ｎによって生成された他のＶＲコンテンツとインタラクトしており、不快感及び／または吐き気を誘発するＶＲコンテンツ、ＶＲコンテンツのパターン、ＶＲコンテンツの生成もしくはＶＲコンテンツとのインタラクションに関連するパターン、または対応するＶＲコンテンツとのシミュレーションされたもしくはテストされたユーザインタラクションに関連するパターン、及び／または、そのＶＲコンテンツの生成に関連してユーザによってとられたもしくは生成されたアクションのパターンを識別または予測するのに用いられるデータを生成している。例えば、テスタ−ｂは、線１１５ｂ'によって示されるＶＲコンテンツ１１５ｂとインタラクトしており、テスタ−ｃは、線１１５ｃ'によって示されるＶＲコンテンツ１１５ｃとインタラクトしており、・・・テスタ−ｎは、線１１５ｎ'によって示されるＶＲコンテンツ１１５ｎとインタラクトしている。ＶＲコンテンツ１１５ａ〜１１５ｎの各々に関連して収集されたデータは、例えば不快感分類モデラ１２０に送られる。例示の目的で、テスタ−ａ、テスタ−ｂ及びテスタ−ｃは、Ｇ−１などの１つのアプリケーションから生成されたＶＲコンテンツとインタラクトしていてもよい。このことは、曲線１１５ａ'、１１５ｂ'及び１１５ｃ'への同様の形状によって示される。加えて、テスタ−ｎは、Ｇ−３などの別のアプリケーションから生成されたＶＲコンテンツとインタラクトしている。
テストのために用いられるのが１つのアプリケーションでも複数のアプリケーションでも、不快感分類モデラ１２０は、テスタにおいて不快感及び／または吐き気を確実に誘発するまたは誘発する可能性があるＶＲコンテンツ、ＶＲコンテンツのパターン、ＶＲコンテンツの生成もしくはＶＲコンテンツとのインタラクションに関連するパターン、または対応するＶＲコンテンツとのシミュレーションされたもしくはテストされたユーザインタラクションに関連するパターン、及び／またはそのＶＲコンテンツの生成に関連してユーザによってとられたもしくは生成されたアクションのパターンを識別または予測することが可能である。例えば、ハイライトされているボックス２３１は、テスタの不快感及び吐き気に相関する、ＶＲコンテンツ１１５ａ、１１５ｂ及び１１５ｃにおける識別された領域を示す。先に紹介した通り、ＶＲコンテンツ１１５ａ、１１５ｂ及び１１５ｃに対するボックス２３１における領域は一般にアプリケーションＧ−１を通しての同一の進行で存在することになる。すなわち、ＶＲコンテンツ及び／または対応するＶＲコンテンツに関連してとられたもしくは生成されたアクションの同一パターンは、テスタ（例えば、テスタ−ａ、テスタ−ｂ及びテスタ−ｃ）ごとに存在している。例えば、ＶＲコンテンツのパターンは、走る、２段ジャンプ、着陸時に見下ろすための頭部の素早い回転を含むユーザアクションに関連して、高速で１８０度をスイングする投影中心軸を有するＦＯＶであってもよい。ハイライトされているボックス２３１は、先に紹介したように、別のアプリケーションＧ−３の実行を通して生成されているＶＲコンテンツ１１５ｎに対する領域において２つのポイントを含む。これらの２つのポイントは、それらはＧ−１の代わりにアプリケーションＧ−３から生成されているものの、ＶＲコンテンツの類似のパターン（例えば、高速で１８０度をスイングする投影中心軸を有するＦＯＶ）及び／またはユーザアクションの類似のパターン（例えば、走る、２段ジャンプ、及び頭部の素早い回転）に関連付けられる。不快感分類モデラ１２０は、類似のＶＲコンテンツ、ＶＲコンテンツのパターン、ＶＲコンテンツの生成もしくはＶＲコンテンツとのインタラクションに関連するパターン、または対応するＶＲコンテンツとのシミュレーションされたもしくはテストされたユーザインタラクションに関連するパターン、及び／またはそのＶＲコンテンツの生成に関連してユーザによってとられたもしくは生成されたアクションのパターンと、テスタにおいて誘発される不快感及び／または吐き気の間に相関付けをなすことが可能である。すなわち、不快感分類モデラ１２０は、ＶＲコンテンツのパターン（高速で１８０度をスイングする投影中心軸を有するＦＯＶ）がアプリケーションソースを問わず不快感及び／または吐き気を確実に誘発することを識別または予測し得る。また、不快感分類モデラ１２０は、アクションのパターン（例えば、走る、２段ジャンプ、及び頭部の素早い回転）がアプリケーションソースを問わず不快感及び／または吐き気を確実に誘発することを識別または予測し得る。
ハイライトされているボックス２３２は、テスタの不快感及び吐き気に相関する、ＶＲコンテンツ１１５ａ、１１５ｂ及び１１５ｃにおける領域の識別されたポイントを示す。先に紹介したように、ＶＲコンテンツ１１５ａ、１１５ｂ及び１１５ｃに対するボックス２３２におけるこれらの領域は一般にアプリケーションＧ−１を通しての同一の進行で存在することになる。すなわち、例えばＶＲコンテンツ及び／または対応するＶＲコンテンツに関連してとられたもしくは生成されたアクションの同一パターンは、テスタ（例えば、テスタ−ａ、テスタ−ｂ及びテスタ−ｃ）の各々において存在している。不快感分類モデラ１２０は、類似のＶＲコンテンツ、ＶＲコンテンツのパターン、ＶＲコンテンツの生成もしくはＶＲコンテンツとのインタラクションに関連するパターン、または対応するＶＲコンテンツとのシミュレーションされたもしくはテストされたユーザインタラクションに関連するパターン、及び／またはそのＶＲコンテンツの生成に関連してユーザによってとられたもしくは生成されたアクションのパターンと、テスタにおける誘発された不快感及び／または吐き気の間に相関付けをなすことが可能である。このように、ＶＲコンテンツまたは対応するＶＲコンテンツに関連してとられたもしくは生成されたアクションの共通パターン（例えば第２のパターン）は、不快感及び／または吐き気を誘発するとして分類され得る。
ハイライトされているボックス２３３は、テスタの不快感及び吐き気に相関する、ＶＲコンテンツ１１５ｂ及び１１５ｃの領域における識別されたポイントを示す。ボックス２３３におけるこれらのポイントは、先に紹介した通り、一般にアプリケーションＧ−１を通しての同一の進行で存在する。すなわち、ＶＲコンテンツ及び／または対応するＶＲコンテンツに関連してとられたもしくは生成されたアクションの同一パターンは、テスタ（例えば、テスタ−ｂ及びテスタ−ｃ）の各々に対して存在している。テスタ−ａは、アプリケーションＧ−１を通しての進行におけるこの同一エリアで不快感を示さないが（例えば、テスタ−ａは、この第３の関連するパターンに影響されなくてもよい）、不快感分類モデラ１２０は、それでもやはり、類似のＶＲコンテンツ、ＶＲコンテンツのパターン、ＶＲコンテンツの生成もしくはＶＲコンテンツとのインタラクションに関連するパターン、または対応するＶＲコンテンツとのシミュレーションされたもしくはテストされたユーザインタラクションに関連するパターン、及び／またはそのＶＲコンテンツの生成に関連してユーザによってとられたもしくは生成されたアクションのパターンと、テスタにおける誘発された不快感及び／または吐き気の間に相関付けをなすことが可能であってもよい。このように、ＶＲコンテンツまたは対応するＶＲコンテンツに関連してとられたもしくは生成されたアクションの共通パターン（例えば第３のパターン）は、不快感分類モデラ１２０によって、不快感及び／または吐き気を誘発するとして分類され得る。
ハイライトされているボックス２３４は、テスタの不快感及び吐き気に相関する、ＶＲコンテンツ１１５ａ、１１５ｂ及び１１５ｎの領域における識別されたポイントを示す。ボックス２３４におけるこれらのポイントは、異なるアプリケーション（例えばＧ−１及びＧ−３）に基づくものであるが、ＶＲコンテンツ及び／または対応するＶＲコンテンツの生成もしくはＶＲコンテンツとのインタラクションに関連してテスタによってとられたもしくは生成されたアクションの類似のパターンにしたがってグループ化される。このように、ＶＲコンテンツ、ＶＲコンテンツのパターン、ＶＲコンテンツの生成もしくはＶＲコンテンツとのインタラクションに関連するパターン、または対応するＶＲコンテンツとのシミュレーションされたもしくはテストされたユーザインタラクションに関連するパターン、及び／またはそのＶＲコンテンツの生成に関連してユーザによってとられたもしくは生成されたアクションのパターンの共通パターン（例えば第４のパターン）は、不快感分類モデラ１２０によって、不快感及び／または吐き気を誘発するとして分類され得る。
図２Ａに示すように、十分なテストデータがディープラーニングプロセスを通して分析された後で、不快感分類モデラ１２０は、いずれのＶＲコンテンツ、ＶＲコンテンツのパターン、ＶＲコンテンツの生成もしくはＶＲコンテンツとのインタラクションに関連するパターン、または対応するＶＲコンテンツとのシミュレーションされたもしくはテストされたユーザインタラクションに関連するパターン、及び／またはそのＶＲコンテンツの生成に関連してユーザによってとられたもしくは生成されたアクションのパターンが不快感及び／または吐き気を誘発するかを認識することが可能である。これらの識別されたパターンは、試験下アプリケーションにおいて類似のパターンを先制的に識別してそのアプリケーションにおけるいずれの領域がユーザ候補に不快感及び／または吐き気を体験させると予測されるかを理解するのに用いることができる不快感モデル２２０内に含むことができる。
図２Ｂは、本開示の一実施形態による、不快感及び／または吐き気を誘発するＶＲコンテンツ、ＶＲコンテンツのパターン、ＶＲコンテンツの生成もしくはＶＲコンテンツとのインタラクションに関連するパターン、または対応するＶＲコンテンツとのシミュレーションされたもしくはテストされたユーザインタラクションに関連するパターン、及び／またはそのＶＲコンテンツの生成に関連してユーザによってとられたもしくは生成されたアクションのパターンに関連する、実行されているアプリケーションにおけるポイントを識別する目的で、ＶＲコンテンツを生成する、試験下アプリケーション（例えばゲームアプリケーション、Ｇ−ｘ）に対する不快感モデル２２０の適用を示す。例えば、不快感モデル２２０は、先に記載したように、テストを介して判定された確実に不快感及び／または吐き気を誘発するだろうＶＲコンテンツ、ＶＲコンテンツのパターン、ＶＲコンテンツの生成もしくはＶＲコンテンツとのインタラクションに関連するパターン、または対応するＶＲコンテンツとのシミュレーションされたもしくはテストされたユーザインタラクションに関連するパターン、及び／またはそのＶＲコンテンツの生成に関連してユーザによってとられたもしくは生成されたアクションのパターンの１つまたは複数の項目を含む。図２Ｂに示すように、複数の線が示され、線の各々は、ユーザにおいて不快感及び／または吐き気を誘発するとして認識されるＶＲコンテンツ、ＶＲコンテンツのパターン、ＶＲコンテンツの生成もしくはＶＲコンテンツとのインタラクションに関連するパターン、または対応するＶＲコンテンツとのシミュレーションされたもしくはテストされたユーザインタラクションに関連するパターン、及び／またはそのＶＲコンテンツの生成に関連してユーザによってとられたもしくは生成されたアクションのパターンの異なる項目を表す。
示すように、アプリケーションＧ−ｘは、アプリケーションで利用可能な様々なパス及びオプションの全てを自動的に実行するために、テストゲーム実行エンジン１４０によって実行される。例えば、ノードグラフ２３５は、アプリケーションＧ−ｘとインタラクトしているときにユーザによってとることができる様々なパスの全てを表す。テストゲーム実行エンジン２４０は、ノードグラフ２３５における全てのパスを自動的に発見かつ実行が可能である。加えて、テストゲーム実行エンジン２４０がアプリケーションＧ−ｘを実行するとき、コントローラ入力、メタデータ、ゲーム状態データなどといった、ＶＲコンテンツの生成及びどのようにゲームが実行されたかに関連する情報を含むゲーム実行ログ２４１が生成される。さらに、ログ２４１における情報は、生成されたＶＲコンテンツ、ＶＲコンテンツのパターン、ＶＲコンテンツの生成もしくはＶＲコンテンツとのインタラクションに関連するパターン、または対応するＶＲコンテンツとのシミュレーションされたもしくはテストされたユーザインタラクションに関連するパターン、及び／またはそのＶＲコンテンツの生成に関連してユーザによってとられたもしくは生成されたアクションのパターンを含み得るまたは関連付けられ得る。例えば、アクションは、部分的に、走る、ジャンプする、ターンする、しゃがむ、這う、加速する、銃の引き金を引く、頭を振る、視点を変える、任意の種類の動き、立ち止まる、何もしない、ゆっくり進むなどを含む。アクションのパターンは、これらのアクションの１つまたは複数を含み得る。
アプリケーションＧ−ｘがテストゲーム実行エンジン２４０によって実行されるとき、ゲーム実行ログ２４１に含まれる情報に含まれるまたは関する情報などの、ＶＲコンテンツの生成に関連してユーザによってとられたまたは生成されたアクションに関するデータを含む実行に関するデータは、不快感モデル２２０における情報と比較されて、不快感及び／または吐き気を誘発し得るアプリケーションＧ−ｘにおける領域を識別する。例えば、ゲーム実行ログにおける領域１〜３は、不快感及び／または吐き気を誘発するだろう対応するＶＲコンテンツ、ＶＲコンテンツのパターン、ＶＲコンテンツの生成もしくはＶＲコンテンツとのインタラクションに関連するパターン、または対応するＶＲコンテンツとのシミュレーションされたもしくはテストされたユーザインタラクションと関連するパターン、及び／またはそのＶＲコンテンツの生成に関連してユーザによってとられたもしくは生成されたアクションのパターンと関連するとしてそれぞれ識別されている、アプリケーションＧ−ｘの実行における領域（ポイントを含む）に対応する。これらの領域はまた、ノードグラフ２３５で識別される。具体的には、アプリケーションＧ−ｘの実行におけるポイント１は、例えば不快感及び／または吐き気を誘発するであろうＶＲコンテンツ及び／またはそのＶＲコンテンツの生成に関連してユーザによってとられたもしくは生成されたアクションのパターンの対応するパターンを識別する、不快感モデル２２０におけるパターンＡに類似する。またアプリケーションＧ−ｘの実行におけるポイント２は、例えば不快感及び／または吐き気を誘発するであろうＶＲコンテンツ及び／またはそのＶＲコンテンツの生成に関連してユーザによってとられたもしくは生成されたアクションのパターンの対応するパターンを識別する、不快感モデル２２０におけるパターンＢに類似する。加えて、アプリケーションＧ−ｘの実行から判定されたポイント３は、例えば不快感及び／または吐き気を誘発するであろうＶＲコンテンツ及び／またはそのＶＲコンテンツの生成に関連してユーザによってとられたもしくは生成されたアクションのパターンの対応するパターンを識別する、不快感モデル２２０におけるパターンＣに類似する。パターンＡ、Ｂ及びＣの各々は一意であり、不快感及び／または吐き気を誘発するだろう異なるＶＲコンテンツ、ＶＲコンテンツのパターン、ＶＲコンテンツの生成もしくはＶＲコンテンツとのインタラクションに関連するパターン、または対応するＶＲコンテンツとのシミュレーションされたもしくはテストされたユーザインタラクションに関連するパターン、及び／またはそのＶＲコンテンツの生成に関連してユーザによってとられたもしくは生成されたアクションのパターンを識別する。
これらの領域１〜３がユーザにおいて不快感及び／または吐き気を誘発するパターンと関連するとして識別されると、対応するコードも識別することができる。すなわち、ＶＲコンテンツにおける領域は、対応するコードと関連付けられる。図２Ｂに示すように、オリジナルＧ−ｘコード２４２は、アプリケーションＧ−ｘの実行における様々なポイントに対応するコードのセクションを含む。例えば、領域１は、オリジナルＧ−ｘコード２４２におけるコードセクションＣＳ−１と関連し、領域２は、コードセクションＣＳ−２と関連し、領域３は、コードセクションＣＳ−３と関連する。
モデル２２０との比較に基づいて領域１〜３を識別した後で、開発者は、それらの領域１〜３とインタラクトしているユーザにおいていずれかの潜在的な不快感及び／または吐き気を軽減するように構成されている不快感軽減フィルタ効果２４３を適用するか否かの決定をなし得る。不快感軽減フィルタ効果２４３の適用は、効果の有効化、無効化、強化、効果の大きさの低減などを含む、効果に関するユーザにとって利用可能な様々なオプションとともに、アプリケーションＧ−ｘに対するコード内に直接インポートされ得る。例えば、不快感軽減フィルタ効果２４３は、仮想世界における頭部の動きの速度が増加するにつれてＦＯＶを低減し、逆に頭部の動きの速度が減少するにつれてＦＯＶを増大するというＦＯＶ絞りを含み得る。このように、ユーザの視界がＶＲ環境中をスイープするとき（例えば、水平）、スイープの初め、ＦＯＶは約１２０度であり得る。スイープの半ば、頭部の動きの速度がその最大値であり得るとき、ＦＯＶは、線形にまたは非線形に、１２０度から８０度に、さらには２０度以下にまで低減され得る。スイープの終盤に近付くにつれて、頭部の動きの速度は再度遅くなり得、ＦＯＶは、線形にまたは非線形に増加されその最小値（例えば２０度）から１２０度に戻り得る。同様の絞りが、ＶＲシミュレーションにおいて近位のオブジェクトに対する素早い仮想の動きにおいて生じ得る。
一実施形態では、不快感軽減フィルタ効果２４３の適用は、表示するために生成されたレンダリングされた画像へオーバーレイとして適用され得る。すなわち、画像がアプリケーションＧ−ｘを用いてレンダリングされた後で、不快感軽減フィルタ効果２４３は適用され得る。この後処理は、アプリケーションエンジンによって、またはＨＭＤ１０２のプロセッサによって行われ得る。
図２Ｃは、本開示の一実施形態による、ＶＲコンテンツとインタラクトしているときのユーザの不快感を予測するように構成されているモデルによって判定されたユーザの予測される不快感に基づいて、不快感及び／または吐き気を誘発する可能性があるＶＲコンテンツにおける識別された領域を示す。特に、図２Ｂで先に紹介した、アプリケーションＧ−ｘの領域３が、図２Ｃでハイライトされる。示すように、領域３は、不快感及び／または吐き気を誘発する可能性がある対応するＶＲコンテンツの生成に関連してとられたまたは生成されたアクションのパターン２６０を含む。例えば、５つのアクションは、領域３において示され、夜に暗渠の中を這うことに関する一連のアクションを含み得る。そこでは、懐中電灯が散発的、まばらに、場合によってはあわただしく暗渠を照らし、大量のコオロギがユーザの周りをジャンプしている。ユーザは、ユーザにぶつかってくるまたはユーザの視界に入ってくるコオロギに応じて、ユーザがジャンプしているコオロギを回避するために頭を振り、塞いでいるオブジェクトを避けるために体を揺らし、暗渠周りを迅速に見渡しているように、這うアクション、頭を振るアクションを含むアクションをとっていてもよい。
図３Ａは、本開示の一実施形態による、ユーザの頭部の動きの速度に比例して視野（ＦＯＶ）絞りを実装することを含む、ＶＲコンテンツとインタラクトしているときのユーザの不快感を予測するように構成されているモデルによって判定された不快感及び／または吐き気を誘発すると予測されるＶＲコンテンツで識別された領域において不快感軽減フィルタリング効果を適用することを示すグラフ３００Ａである。示すように、グラフ３００Ａは、頭部の動きの速度を示すｘ軸を含み、速度は、ｘの値が増加するにつれて、起点の静止位置から遅い速度に、そして中間速度に、そして速い速度に増加する。ｙ軸に沿って、グラフ３００Ａは、頭部の動きの所与の速度においてレンダリングされたＦＯＶを示す。
一般に、ユーザに対して示されるＶＲ環境のＦＯＶは、頭部の動きの速度が増加するにつれて低減される。低減は、線形に適用されてもよく、または非線形に適用されてもよい。ＦＯＶに対する値は例示目的で選択され、実施形態では０〜３６０度のＦＯＶを含み得る。例えば、線３１０ａは、頭部の動きの速度が増加するにつれてＦＯＶが１２０度から２０度に線形に低減することを示す。同様に、線３１０ａは、頭部の動きの速度が減少するにつれてＦＯＶが２０度から１２０度に線形に増加することを示す。頭部の動きは、静止位置からの水平のスイープ、動きの最大速度まで増大する頭部の動き、及び静止位置に戻るまで減少する頭部の動きを示し得、ここでスイープは大部分が一定速度で行われる。同様の手法を、近位の仮想オブジェクトに対する仮想世界における迅速な動きといった他の頭部の動きに対して用いることができる。
加えて、線３１１ａは、頭部の動きの速度が増加するにつれてＦＯＶが１２０度から２０度に非線形に低減することを示す。初期の低減は、線３１０ａよりも急激である。同様に、線３１１ａは、頭部の動きの速度が減少するにつれてＦＯＶが２０度から１２０度に非線形に増大することを示す。そのようにして、頭部の動きが検出されるとすぐに、ＦＯＶ絞りは、線形の適用を示す線３１０ａよりも大きく即座に適用される。すなわち、線３１１ａに対するＦＯＶの低減の大きさは、線３１０ａの場合よりも大きく、頭部の動きの速度が遅いときでさえ、ＦＯＶは、１２０度から約６０度に５０パーセント絞られ得る。
また、線３１２ａは、頭部の動きの速度が増加するにつれてＦＯＶが１２０度から２０度に非線形に低減することを示す。初期の低減は、線３１１ａよりも急激である。さらに、線３１２ａは、頭部の動きの速度が減少するにつれてＦＯＶが２０度から１２０度に非線形に増大することを示す。すなわち、ＦＯＶ絞りは、線３１２ａにおいて線３１１ａの場合よりもさらに大きく適用される。例えば、頭部の動きの速度が遅いとき、ＦＯＶは、１２０度から約４０度以下に約６０〜７０パーセント絞られ得る。
図３Ｂは、本開示の一実施形態による、ユーザの頭部が時間的に移動するにつれてＦＯＶ絞りを実装することを含む、ＶＲコンテンツとインタラクトしているときのユーザの不快感を予測するように構成されているモデルによって判定された不快感及び／または吐き気を誘発すると予測されるＶＲコンテンツ及び／またはＶＲコンテンツのソースの領域における不快感軽減フィルタリング効果の適用を示すグラフ３００Ｂである。ＦＯＶ絞りを実装する効果は、頭部の動きの速度が増加するにつれてＦＯＶが低減すること、及び逆に頭部の動きの速度が減少するにつれてＦＯＶが増大することを含む。特に、グラフ３００Ｂは、時間を示すｘ軸、及び所与の時間にレンダリングされたＦＯＶを示すｙ軸を含む。頭部の動きの例として、ユーザは、左から右に、または右から左に、経時的に水平線を跨いでスイープしていてもよい。加えて、頭部は、上方にもしくは下方に、または任意のランダムな方向もしくは方向（複数）に動いていてもよい。スイープは、静止位置から開始し、動きの速度が最大値に向けて増加することに関連し得、頭部の動きの速度が減少して静止位置に戻ることに関連し得る。
図３Ｂは、図３Ａで紹介されたＦＯＶ絞りの適用の例を提供しているので、図３Ａに関連する。特に、図３Ａの線３１０ａに記載された頭部の動きの速度に応じたＦＯＶ絞りの線形の低減及び増加に対して、図３Ｂの線３１０ｂは、ＦＯＶが経時的にどのように変化するかを示す。例えば、スイープの初めにおいて、ＦＯＶは１２０度であり、ユーザが中間スイープ位置までスイープするにつれて、ＦＯＶは２０度まで線形に低減される。さらに、ユーザが中間スイープ位置からスイープの最後、所望の視点までスイープするにつれて、ＦＯＶは２０度から１２０度まで線形に増大される。
特に、図３Ａの線３１１ａに記載された頭部の動きの速度に応じたＦＯＶ絞りの非線形の低減及び増大に対して、図３Ｂの線３１２ｂは、ＦＯＶが経時的にどのように変化するかを示す。例えば、スイープの初めにおいて、ＦＯＶは１２０度であり、ユーザが中間スイープ位置までスイープするにつれて、ＦＯＶは２０度まで非線形に低減される。さらに、ユーザが中間スイープ位置からスイープの最後、所望の視点までスイープするにつれて、ＦＯＶは２０度から１２０度まで非線形に増大される。線３１０ｂに示すように、ＦＯＶ変化率は、中間スイープポイントの両側で経時的に一定である。
また、図３Ａの線３１２ａに記載された頭部の動きの速度に応じたＦＯＶ絞りの非線形の低減及び増大に対して、図３Ｂの線３１２ｂは、ＦＯＶが経時的にどのように変化するかを示す。例えば、スイープの初めにおいて、ＦＯＶは１２０度であり、ユーザが中間スイープ位置までスイープするにつれて、ＦＯＶは２０度まで非線形に低減される。さらに、ユーザが中間スイープ位置からスイープの最後、所望の視点までスイープするにつれて、ＦＯＶは２０度から１２０度まで非線形に増大される。すなわち線３１１ｂ及び３１２ｂにおいて、ＦＯＶ絞りの効果は、大きさのレベルが増加して示される。
図３Ｃは、本開示の一実施形態による、ＶＲ環境３５０、及びユーザの頭部がＶＲ環境３５０内を左から右に物理的にスイープするにつれて、ＨＭＤ１０２を通してユーザ１００の視界内でＦＯＶ絞りを適用することを示す。スイープの初めにおいて、ユーザは、例えば真ん中のグラフに示すように１２０度を包含し得るＦＯＶ３５１において兵士３６１を見ている。ユーザ１００が右にスイープするにつれて、ＦＯＶは低減されるであろう。例えば、ＦＯＶ３５２は、１１０度を包含し得る。スイープがさらに右にいくと、ＦＯＶ３５３は９０度を包含し得る。まださらに右にスイープすると、ＦＯＶ３５４は、その最小の約６０度となる。スイープモーション（例えば頭部の動き）の変化率は、下のグラフで示されるように、ＦＯＶ３５１からＦＯＶ３５４の間で線形であってもよい。加えて、ＦＯＶは、一実施形態において、ＦＯＶ３５１が、最小範囲（例えば６０度）及び最小高さを有するＦＯＶ３５４よりも大きな範囲（例えば１２０度）また大きな高さの両方を有するので、全体のサイズも縮小し得る。
頭部のスイープ中ＦＯＶ３５４に関連するポイントの後で、頭部の動きの速度は、ユーザがＦＯＶ３５６によって表される所望の視界に到達するまで、非線形に減少し得る。例えば、ユーザは、ＦＯＶ３５４とＦＯＶ３５５の間で頭部の動きの速度を急激に遅くし得る。このことは、下のグラフに、ＦＯＶの変化率の急激な低減として示され、頭部の動きは急激に遅くなっていてもよい。例えば、ＦＯＶ３５４は、ＦＯＶ３５５で９０度まで増加され得る。さらに右にスイープすると、スイープの最後で、ＦＯＶ３５６は増加されて１２０度に戻る。このポイントで、ＦＯＶは、頭部の動きはもう存在しないので１２０度にとどまり、変化率はゼロに近い。
加えて、図３Ｃは、不快感軽減フィルタリング効果の適用を、一般に楕円体としてＦＯＶの幅及び高さが小さくなっていくこととして示す。しかしながら、ＦＯＶが楕円、または円形、または箱型、または矩形などの１つまたは複数の形状を呈し得るような他のＦＯＶ形状の適用が検討される。さらに、ＦＯＶは、不快感軽減フィルタリング効果を穏やかにする目的で、丸められたまたはぼやけている縁部を有し得る。形状はまた、仮想空間におけるオブジェクトの近接性及び頭部の動きの方向に比例して非対称であってもよい。
さらに、図３ＣのＦＯＶ内の中心窩視界は調整されて、不快感軽減フィルタリング効果を適用し得る。特に、中心窩視界は、対応する明瞭ポイントを中心とした１つまたは複数の明瞭領域を含み得、各明瞭領域は、対応するＦＯＶに示される画像にわたって解像度の最高量を有するものである。中心窩視界では、１つまたは複数の明瞭領域外の領域は、低減された解像度を有し得る（例えばより不鮮明）。例えば、不快感レベルが増大するにつれて（例えば、ユーザが彼の頭部を動かすにつれて）、明瞭領域は、明瞭領域のサイズを小さくする（例えば楕円体明瞭領域のサイズを小さくする）など、形状を変化し得る。そのようにして、一実施形態では、ＦＯＶが変わらないまま、明瞭領域が、対応するＦＯＶにおいてサイズが小さくなり得る。他の実施形態では、ＦＯＶが縮小して不快感軽減フィルタリング効果を適用しながら、一実施形態において中心窩視界もまた変化され得る（例えば、サイズが小さくなる）。不快感レベルが下がるにつれて、中心窩視界はその元の状態に戻り得る（例えば、ＦＯＶは一定のままで明瞭領域を増大させる、ＦＯＶも増大させながら明瞭領域を増大させるなど）。
さらに別の実施形態では、視標追跡を中心窩視界の表示と組み合わせ得る。特に、視標追跡は、各目における視界の方向を追跡するために行われる。加えて、目の形状が追跡され、この形状には、瞳孔、網膜、虹彩、眼などの形状が含まれる。例えば、目の様々な構成要素は、目がどのように用いられているかにより形状を変化し得る。追跡に基づいて、対応する目の３Ｄ画像が生成され得、この３Ｄ画像は、目の形状及び方向を含む。中心窩視界に関して、明瞭領域は、対応する目の特徴（例えば形状及び／または方向）に応じて修正され得る。すなわち、対応する目が動くと、ＦＯＶ内のその目に対する中心窩視界もまた動き得る。ユーザによっては、両目を別々に追跡することによって、弱視に対する中心窩視界は、効き目に対する中心窩視界と異なり得る。ＨＭＤにおいて両方の中心窩視界を組み合わせることにより、より良い３Ｄ画像（例えば明瞭性及び解像度が高められた）がもたらされる。加えて、先に記載にしたように、ユーザの不快感レベルが上昇するにつれて、中心窩視界は変化され得る。さらに、不快感レベルは、視標追跡に基づいて判定され得る。例えば、瞳孔が形状を変化させると（率及び形状のタイプ）、これは不快感の程度を示し得、中心窩視界の修正に変換され得る。加えて、中心窩視界内の明瞭領域の位置は、状況によって予測され得る。視標追跡は、対応する中心窩視界の対応する予測とともに、目がどこを動いているかの何らかの表示を提供し得る。加えて、ゲーム環境は、ユーザが彼の視線をどこに向けるかを決定し得る。例えば、ユーザのゲームプレイ内で、ゲーム環境が、既知のイベントが発生しユーザに視線をイベントの方向に向けるように促す状態にあるとき、その方向における中心窩視界が予測され得る。その場合、中心窩視界は、ユーザの目がイベントの方向に方向付けられるより前であっても、先立って生成され得る。他の予測適用もまた想定される。
図３Ｄは、本開示の一実施形態による、ＶＲコンテンツとインタラクトしているときのユーザの不快感を予測するように構成されているモデルによって判定された不快感及び／または吐き気を誘発すると予測されるＶＲコンテンツの領域における不快感軽減フィルタリング効果（例えばＦＯＶ絞り）の適用を調整するように構成されているスライダバー３７０の図である。
一実施形態では、不快感軽減フィルタリング効果は、先に記載したように、ＶＲコンテンツにおける識別された領域に適用される。すなわち、不快感軽減フィルタリング効果は、画像をレンダリングするときといった、アプリケーションの処理中に適用される。不快感軽減フィルタリング効果は、不快感軽減フィルタリング効果がどのように適用されるかを定義するデフォルトパラメータに関連する。例えば、図３Ｄに示すように、スライダバーは、不快感軽減フィルタリング効果に対するＯＦＦ位置と最大不快感軽減フィルタリング効果を表すＭＡＸ位置の間の範囲内のデフォルト位置（例えばスライダバーの中心）に位置されている。
スライダバー３７０により、ユーザはデフォルトパラメータを調整することが可能になる。特に、スライダバー３７０が右に動かされるにつれて、パラメータは、不快感軽減フィルタリング効果が増大効果を有するように変更される。例えば、効果の大きさは増大され得る（例えば、不快感軽減フィルタリング効果の１ｘのデフォルト実装の代わりに、２ｘまたは３ｘに増大され得る）。これは、例えば１２０度から２０度への（例えば、線３１１ａ及び３１１ｂによって、または３１２ａ及び３１２ｂによって示すような）ＦＯＶのより積極的な低減をもたらし得る。加えて、低減量は管理され得る。例えば、スライダバーが右に動かされるにつれて、ＦＯＶは、その最小値において２０度よりもさらに低く低減され得る。
他方、スライダバー３７０が左に動かされるにつれて、パラメータは、不快感軽減フィルタリング効果が減少効果を有するように変更される。完全に左に動かすことによって、不快感軽減フィルタリング効果は無効にされ得る。例えば、効果の大きさは、減少され得る（例えば、不快感軽減フィルタリング効果の１ｘのデフォルト実装の代わりに、０．５ｘまたは０．２５ｘに低減され得る）。これは、１２０度から２０度に動くときのＦＯＶの積極的でない低減をもたらし得る。例えば、低減は、非常にゆっくり起こり得る（例えば、線形適用の線３１０ａ及び３１０ｂによって示されるように）。加えて、低減量は管理され得る。例えば、スライダバーが左に動かされるにつれて、ＦＯＶは、２０度の代わりに最小ＦＯＶが４５度であり得るように、その最小値において増大され得る。
別の実施形態では、スライダバー３７０は、第１のアプリケーションの実行に関連して生成されたＶＲコンテンツへオーバーレイとして不快感軽減フィルタリング効果（例えばＦＯＶ絞り）をリアルタイムで適用する目的で、ユーザによって有効にされる。すなわち、ユーザは、彼または彼女のＶＲコンテンツとのインタラクション中の任意のポイントで、不快感軽減フィルタリング効果を適用することが可能である。このようにして、ユーザは、ＶＲコンテンツにおける選択的な領域で不快感軽減フィルタリング効果を提供するのに開発者に依存する必要はない。ユーザは、任意のＶＲコンテンツを見ているときに不快感及び／または吐き気を示すまたは体験する傾向が極めて高い場合がある。したがって、ユーザは、先に記載したように、不快感軽減フィルタリング効果の任意のＶＲコンテンツ（例えば、表示する準備ができている事前にレンダリングされた画像）への適用を可能にするオーバーレイ機能を有効にすることが可能である。ユーザには、不快感軽減フィルタリング効果を有効または無効にすること、不快感軽減フィルタリング効果の適用（例えば効果の大きさ）を制御すること（例えば、上述のスライダバーを通して）などを含む様々な制御オプションが与えられる。このようにして、ユーザがＶＲコンテンツとのインタラクション中に不快感を覚え始めると、ユーザは、不快感軽減フィルタリング効果（例えばＦＯＶ絞り）を有効にし、ＶＲコンテンツを提示するときのオーバーレイプロセスを介するＶＲコンテンツへのその適用を制御することが可能である。
ＶＲコンテンツ分類システムの様々なモジュールの詳細な記載をもって、本開示の一実施形態による、ＶＲコンテンツを、そのＶＲコンテンツによって誘発される不快感及び／または吐き気の予測されるレベルに基づいて分類する方法は、ここで、図４Ａの流れ図４００Ａに関連して記載される。流れ図４００Ａで概要が述べられた方法は、実施形態における図１Ａ〜１Ｂ、２Ａ〜２Ｃ及び３Ａ〜３Ｄのシステム及び／または構成要素によって実装される。特に、図４Ａは、本開示の一実施形態による、ユーザの頭部が時間的に移動するにつれてＦＯＶ絞りを実装することを含む、ＶＲコンテンツとインタラクトしているときのユーザの不快感を予測するように構成されているモデルによって判定された不快感及び／または吐き気を誘発すると予測されるＶＲコンテンツにおける領域において不快感軽減フィルタリング効果を適用する方法である。
動作４１０では、方法は、不快感を引き起こす可能性がある対応するＶＲコンテンツの生成に関連する複数の学習済みパターンを識別するモデルにアクセスすることを含む。生成されたモデルはまた、対応する仮想現実（ＶＲ）コンテンツとインタラクトしているときに参加ユーザによって体験される不快感のレベルも予測する。例えば、コンテンツ分類モデル１２１は、動作３１０で生成され得、いずれのＶＲコンテンツ（例えばＶＲコンテンツのタイプ及び／またはパターン）がインタラクトされると（例えば見る）ユーザ１０５に不快感及び／または吐き気の反応を体験させるかを認識する学習を行ったモデラ１２０によって生成された不快感モデル２２０に基づくものである。学習済みパターンは、不快感及び／または吐き気を誘発する可能性があるＶＲコンテンツ、ＶＲコンテンツのパターン、ＶＲコンテンツの生成もしくはＶＲコンテンツとのインタラクションに関連するパターン、または対応するＶＲコンテンツとのシミュレーションされたもしくはテストされたユーザインタラクションに関連するパターン、及び／またはそのＶＲコンテンツの生成に関連してユーザによってとられたもしくは生成されたアクションのパターンを含む。
特に、ディープラーニングエンジンは、先に記載したように、テストユーザから彼らのベースラインＶＲコンテンツとのインタラクション中に生理学的データを受信するように構成され得る。ディープラーニングエンジンは、ベースラインＶＲコンテンツデータ、及びテストユーザから受動的にまたは能動的に収集された生理学的データを分析して、いずれのＶＲコンテンツ（例えば、タイプ、パターンなど）がインタラクトされるとユーザに不快感及び／または吐き気の反応を体験させるかを学習する。そのようにして、経時的に、ＶＲコンテンツ、及びＶＲベースラインコンテンツへの生理学的反応に関する入力データは、ＶＲベースラインコンテンツへの既知のかつ予期される反応と一致させることができる。そのようにして、一定のＶＲコンテンツ、ＶＲコンテンツのパターン、ＶＲコンテンツの生成もしくはＶＲコンテンツとのインタラクションに関連するパターン、または対応するＶＲコンテンツとのシミュレーションされたもしくはテストされたユーザインタラクションに関連するパターン、及び／またはそのＶＲコンテンツの生成に関連してユーザによってとられたもしくは生成されたアクションのパターンは、テストユーザにおいて不快感及び／または吐き気を誘発するとして認識され得、ＶＲコンテンツまたはユーザを、ユーザによって誘発または体験される予測される不快感及び／または吐き気に基づいて分類するために適用され得る。
動作４２０では、方法は、第１のアプリケーションを処理して、第１のアプリケーションの第１のＶＲコンテンツとのシミュレーションされたユーザインタラクションに関連するデータを生成することを含む。処理動作は、第１のアプリケーションを実行して第１のＶＲコンテンツを生成することを含み得る。例えば、第１のアプリケーションは、図２Ｂのテストゲーム実行エンジン２４０によって実行されて、第１のアプリケーションにおいて利用可能である様々なパス全てとのユーザインタラクションをシミュレーションする。処理動作は、第１のアプリケーションの実行中に生成された第１のＶＲコンテンツとのシミュレーションされたユーザインタラクションに関連するデータを抽出することを含み得る。この抽出されたデータはモデルに適用される。抽出されたデータは、第１のＶＲコンテンツとのユーザインタラクションのシミュレーション中に生成された第１のＶＲコンテンツの特徴を含む。データは、ＶＲコンテンツ、ＶＲコンテンツのパターン、ＶＲコンテンツの生成もしくはＶＲコンテンツとのインタラクションに関連するパターン、または対応するＶＲコンテンツとのシミュレーションされたもしくはテストされたユーザインタラクションに関連するパターン、及び／またはそのＶＲコンテンツの生成に関連してユーザによってとられたもしくは生成されたアクションのパターンを含み得る。さらに、データは、実行可能コード、少なくとも１つの静止画、静止画のシーケンス、ビデオ、オーディオなどを含むコンテンツ内特徴を含み得る。例えば、ＶＲコンテンツの様々なセグメントがランダムに選択され得、または、周期的な間隔のセグメントが選択され得る。加えて、特定のタイプの画像、シーン、及び／または画像もしくはシーンのシーケンスは、識別され、コンテンツ内特徴として用いられ得る。このデータを用いて、第１のＶＲコンテンツを、不快感及び／または吐き気を引き起こす可能性があるＶＲコンテンツまたは第１のアプリケーション（例えば、第１のＶＲコンテンツのソース）におけるポイントまたは領域を識別するという点から分類する。
動作４３０では、方法は、抽出されたデータをモデルと比較して、モデルからの学習済みパターンのうち少なくとも１つに合致する、抽出されたデータにおける、不快感を引き起こす可能性がある１つまたは複数のパターン（例えばパターン）を識別することを含む。例えば、学習済みパターンと合致するＶＲコンテンツ、ＶＲコンテンツのパターン、ＶＲコンテンツの生成もしくはＶＲコンテンツとのインタラクションに関連するパターン、または対応するＶＲコンテンツとのシミュレーションされたもしくはテストされたユーザインタラクションに関連するパターン、及び／またはそのＶＲコンテンツの生成に関連してユーザによってとられたもしくは生成されたアクションのパターンもまた、不快感及び／または吐き気を生じさせる可能性があると判定することができる。
動作４４０では、動作は、識別されたパターンに対応する、第１のアプリケーションにおける領域を識別することを含む。第１のアプリケーションにおける領域（例えばコード）は、合致したＶＲコンテンツ、ＶＲコンテンツのパターン、ＶＲコンテンツの生成もしくはＶＲコンテンツとのインタラクションに関連するパターン、または対応するＶＲコンテンツとのシミュレーションされたもしくはテストされたユーザインタラクションに関連するパターン、及び／またはそのＶＲコンテンツの生成に関連してユーザによってとられたもしくは生成されたアクションのパターンと関連付けられ得る。第１のアプリケーションが分類されると、さらなるアクションが行われ得る。
例えば、動作４５０では、方法は、ユーザにおける潜在的な不快感を軽減する目的で、領域内に不快感軽減フィルタ効果を適用することを含む。一実施形態では、方法は、領域において第１のアプリケーションの実行に関連して生成されたＶＲコンテンツに視野絞りを適用することを含む。ＦＯＶ絞りは、一実施形態では、設計段階において特に領域が識別された後、第１のアプリケーション内に含まれ得る。別の実施形態では、ＦＯＶ絞りは、リアルタイムで、第１のアプリケーションの実行に関連して生成されたＶＲコンテンツへオーバーレイとして適用され得る。例えば、第１のアプリケーションによって画像がレンダリングされた後、ＦＯＶ絞りは、ＨＭＤに表示される画像へオーバーレイとして適用される。例えば、ＦＯＶ絞りは、ユーザの頭部の動きの速度が増加するにつれて視野を低減させること、及び／またはユーザの頭部の動きの速度が減少するにつれて視野を増大させることを含み得る。
一実施形態では、ユーザが不快感軽減フィルタ効果におけるパラメータを変更することを可能にするユーザインタフェースが提示される。例えば、ユーザインタフェースは、図３Ｄにおいて先に記載したようにスライダであり得る。スライダは、ユーザが、ＦＯＶ絞りなどの不快感軽減フィルタ効果の実装に影響を与えるパラメータを変更することを可能にする。一実施形態では、不快感軽減フィルタ効果の大きさは、パラメータの変更に応じて増大される。別の実施形態では、不快感軽減フィルタ効果の大きさは、パラメータの変更に応じて低減される。さらに、ユーザインタフェースは、ユーザからのリクエストに応答して不快感軽減フィルタ効果を無効にするまたはユーザからのリクエストに応答して不快感軽減フィルタ効果を有効にするといった他の制御を可能にし得る。
一実施形態では、本開示の一実施形態による、ユーザの頭部が時間的に移動するにつれてＦＯＶ絞りを実装することを含む、ＶＲコンテンツとインタラクトしているときのユーザの不快感を予測するように構成されているモデルによって判定された不快感及び／または吐き気を誘発すると予測されるＶＲコンテンツにおける領域において不快感軽減フィルタリング効果を適用する方法が開示される。方法は、アプリケーションを実行して、ユーザによってインタラトするためのＶＲコンテンツを生成することを含む。方法は、ユーザにおける不快感を示す入力を受信することを含む。方法は、表示するために生成されたＶＲコンテンツにＦＯＶ絞りを適用するといった、潜在的な不快感を軽減する目的で現在表示されているＶＲコンテンツに不快感軽減フィルタ効果を適用することを含む。例えば、ＦＯＶ絞りは、表示するために生成されるレンダリングされたＶＲコンテンツへオーバーレイとして適用され得る。
一実施形態では、入力はユーザによって能動的に生成される。例えば、ユーザは、不快感を示すためのアクチュエータ、及び不快感軽減フィルタリング効果を実装するリクエストを機能させ得る。そのようにして、生理学的データは、能動的にモニタリングされ得る。例えば、ユーザは、アクチュエータ（例えばボタン）をアクティブ化して、ユーザが不快感及び／または吐き気を体験しているときを示す。
別の実施形態では、入力はユーザによって受動的に生成される。例えば、ユーザの生理学的な応答は、ユーザがコンテンツとインタラクトしている間モニタリングされ得る。生理学的な測定値は、受動的にモニタリングされ得る。例えば、生理学的なデータには、胃筋電図記録、電気皮膚抵抗、脳活動（例えばアルファ波）、心拍、眼球運動、視線方向、頭部の運動または動きなどが含まれ得る。これらの測定値は、以下に記載されるように、コンテンツ内特徴と相関付けられ得る。加えて、生理学的な測定値の既知のパターンは、予期される不快感反応と関連付けられる。例えば、増大した電気皮膚抵抗（例えばより多くの発汗を示す）と増大した不快感の間に相関付けがなされ得る。任意の１つの測定値との間に直接相関が証明され得なくても、流れ図４００の方法は、いずれのＶＲコンテンツ（例えばタイプ、パターン、パターンの組み合わせなど）がインタラクトされるとユーザに不快感及び／または吐き気の反応を体験させるかを学習かつ／または認識することが可能である。例えば、ＶＲコンテンツ、ＶＲコンテンツのパターン、ＶＲコンテンツの生成もしくはＶＲコンテンツとのインタラクションに関連するパターン、または対応するＶＲコンテンツとのシミュレーションされたもしくはテストされたユーザインタラクションに関連するパターン、及び／またはそのＶＲコンテンツの生成に関連してユーザによってとられたもしくは生成されたアクションのパターンは、ユーザに不快感及び／または吐き気の反応を体験させるとして識別され得る。
一実施形態では、不快感軽減フィルタ効果は、先に記載したように、ＶＲコンテンツに行われるオーバーレイプロセスとしてＶＲコンテンツに適用される。例えば、ＦＯＶ絞りは、表示されるＶＲコンテンツへオーバーレイとしてリアルタイムで適用され得る。
図４Ｂは、発明の実施形態による、閉ループシステムにおけるＶＲコンテンツを生成するアプリケーションの実行（例えば、アプリケーション及び／またはビデオゲームなどの実行）及び不快感軽減フィルタリング効果の適用と併せたＨＭＤの機能を概略的に示す。すなわち、本開示の一実施形態により、不快感軽減フィルタリング効果は、ユーザが不快感を体験しているという表示に応答して自動的に適用され得る。一部の実施態様では、先に記載したように、ＶＲコンテンツエンジン１１１は、ＨＭＤ１０２に通信可能に結合されているクライアントデバイス１００（図示せず）で実行されている。例えば、アプリケーションを実行しているＶＲコンテンツエンジン１１１は、ビデオゲームを実行しているゲームエンジンであってもよく、入力を受信してビデオゲームのゲーム状態を更新するように構成されている。ゲームエンジンは、先に記載したように、ゲーム機またはバックエンドゲームサーバであってもよい。ビデオゲームのゲーム状態は、オブジェクトの存在及び位置、仮想環境の状況、イベントのトリガリング、ユーザプロファイル、表示視点、ユーザ１０５によってとられたアクション、コントローラアクション、視線追跡情報などといった、現在のゲームプレイの様々な態様を規定する、ビデオゲームの様々なパラメータの値によって少なくとも部分的に規定することができる。
例示された実施形態では、ＶＲコンテンツエンジン１１１は、例として、コントローラ入力１６１、オーディオ入力１６２及びモーション入力１６３を受信する。コントローラ入力１６１は、ハンドヘルドゲームコントローラ１０４（例えば、ＳｏｎｙのＤＵＡＬＳＨＯＣＫ（登録商標）４無線コントローラ、ＳｏｎｙのＰｌａｙＳｔａｔｉｏｎ（登録商標）Ｍｏｖｅモーションコントローラ）、またはウェアラブルグローブインタフェースコントローラなどといったウェアラブルコントローラなどの、ＨＭＤ１０２とは別体のゲームコントローラの動作から規定され得る。例として、コントローラ入力１６１は、方向入力、ボタンプレス、トリガアクティベーション、動作、ジェスチャまたはゲームコントローラの動作から処理される他の種類の入力を含み得る。オーディオ入力１６２は、ＨＭＤ１０２のマイク１５１から、または画像キャプチャデバイス１０８もしくはローカルシステム環境内の別の場所に含まれるマイクから処理することができる。モーション入力１６３は、ＨＭＤ１０２に含まれるモーションセンサ１５９から、またはＨＭＤ１０２の画像をキャプチャするときの画像キャプチャデバイス１０８から処理することができる。例えば、モーションセンサ１５９には、ユーザ１０５の頭部の動きに関連付けられるＨＭＤ１０２の加速度データをキャプチャするように構成されている慣性センサが含まれ得る。加えて、画像キャプチャデバイス１０８は、ユーザ１０５の頭部の動きをモニタリングするために頭部追跡するように構成され得る。ＶＲコンテンツエンジン１１１（例えば、ゲームアプリケーションを実行している）は、ゲームエンジンの構成にしたがって処理された入力を受信して、ビデオゲームのゲーム状態を更新する。エンジン１１１は、ゲーム状態データを様々なレンダリングモジュールに出力する。これらのレンダリングモジュールは、ゲーム状態データを処理してユーザ１０５に提示されるだろうコンテンツを規定する。
例示された実施形態では、ビデオレンダリングモジュール１８３は、ＨＭＤ１０２上に提示されるとユーザ１０５に３次元のＶＲ体験を与えるＶＲコンテンツ１１５を含むビデオストリームをレンダリングするように規定されている。ＨＭＤ１０２における光学レンズ１７０は、ＶＲコンテンツ１１５を見るように構成されている。ディスプレイスクリーン１７５は、ＨＭＤ１０２がユーザ１０５によって着用されたときに光学レンズ１７０がディスプレイスクリーン１７５とユーザ１０５の目１６０の間にあるように、光学レンズ１７０の後部に配置される。そのようにして、ビデオストリームは、ディスプレイスクリーン／プロジェクタ機構１７５によって提示され、ユーザ１０５の目１６０によって光学１７０を通して見られ得る。ＨＭＤユーザ１０５は、ＨＭＤを着用し例えばゲームプレイ用のビデオゲームを選択することによって、インタラクティブなＶＲコンテンツ（例えばＶＲビデオソース、ビデオゲームコンテンツなど）とインタラクトすることを選択し得る。ビデオゲームからのインタラクティブな仮想現実（ＶＲ）シーンは、ＨＭＤのディスプレイスクリーン１７５上にレンダリングされる。そのようにして、ＨＭＤは、ＨＭＤのディスプレイ機構をユーザの目にごく近接して設けることによって、ユーザ１０５がゲームプレイに完全に没入することを可能にする。コンテンツをレンダリングするためにＨＭＤのディスプレイスクリーンに画定された表示領域は、ユーザ１０５の視野の大部分または全体さえをも占め得る。通常、各目は、１つまたは複数のディスプレイスクリーンを見ている関連する光学レンズ１７０によってサポートされる。
オーディオレンダリングモジュール１８２は、ユーザ１０５が聞くためのオーディオストリームをレンダリングするように構成されている。一実施形態では、オーディオストリームは、ＨＭＤ１０２に関連するスピーカ１５２を通して出力される。スピーカ１５２はオープンエアスピーカ、ヘッドフォン、または音声を提示可能な任意の他の種類のスピーカの形をとり得ることを理解すべきである。
一実施形態では、視線追跡カメラ１６５はＨＭＤ１０２に含まれ、ユーザ１０５の視線の追跡を可能にする。１つのみの視線追跡カメラ１６５が含まれるが、１つより多い視線追跡カメラがユーザ１０５の視線を追跡するのに採用され得ることに留意すべきである。視線追跡カメラは、ユーザの目の画像をキャプチャし、それらはユーザ１０５の視線方向を判定するために分析される。一実施形態では、ユーザ１０５の視線方向に関する情報を利用してビデオレンダリングに影響を与えることができる。例えば、ユーザの目が具体的な方向を見ていると判定された場合、その方向に対するビデオレンダリングを、ユーザ１０５が見ている領域においてさらなる詳細またはより速い更新を提供することによってなどで、優先または強調することができる。ユーザ１０５の視線方向は、頭部装着ディスプレイに対して、ユーザ１０５が置かれている実環境に対して、かつ／または頭部装着ディスプレイ上にレンダリングされている仮想環境に対して規定し得ることを理解すべきである。
広く言えば、視線追跡カメラ１９２によってキャプチャされた画像の分析は、単独で考えると、ＨＭＤ１０２に対するユーザ１０５の視線方向を提供する。しかしながら、ＨＭＤ１０２の追跡された位置及び方位と組み合わせて考えると、ＨＭＤ１０２の位置及び方位はユーザの頭部の位置及び方位と同義であるので、ユーザ１０５の実世界での視線方向を判定することができる。すなわち、ユーザ１０５の実世界での視線方向は、ユーザの目の位置移動を追跡すること、及び、ＨＭＤ１０２の位置及び方位を追跡することから判定することができる。仮想環境の表示がＨＭＤ１０２上にレンダリングされると、ユーザ１０５の実世界での視線方向が適用されて、仮想環境におけるユーザ１０５の仮想世界での視線方向を判定することができる。
加えて、触覚フィードバックモジュール１８１は、ＨＭＤ１０２またはコントローラ１０４などのＨＭＤユーザ１０５によって操作される別のデバイスのいずれかに含まれる触覚フィードバックハードウェアに信号を提供するように構成されている。触覚フィードバックは、振動フィードバック、温度フィードバック、圧力フィードバックなどといった様々な種類の触感の形を取り得る。
さらに、不快感モニタ１１８は、ユーザがＶＲコンテンツとインタラクトするときユーザ１０５の不快感及び／または吐き気の体験をモニタリングかつ格納するように構成されている。特に、生理学的データは、ＨＭＤ１０２内かつＨＭＤ１０２外の両方に配置された生理学的センサ１２５からのかつアクチュエータ１０９からの測定値を含み得、それらはすべて、ユーザ１０５の生理学的状態に関する情報を収集する。ユーザの不快感に関する情報は、一実施形態では、モニタ１１８から出力され、ＶＲコンテンツエンジンの、ＦＯＶ絞り機構５９０として示される不快感軽減フィルタリング効果モジュールに送られ得る。そのようにして、不快感軽減フィルタリング効果は、入力が、ユーザが不快感を体験していることを示すと、有効にされ得る（開発者によって提供される）。別の実施形態では、不快感軽減フィルタリング効果の適用は、リアルタイムで、ユーザが不快感を体験していることを示す不快感入力１１７に応答してＶＲコンテンツエンジンによって生成されたＶＲコンテンツへオーバーレイプロセスとして行われ得る。例えば、ＦＯＶ絞りオーバーレイ１７４は、ＨＭＤ１０２に送られたレンダリングされたビデオに加えられ得る。
加えて、不快感入力１１７が、ユーザが不快感を体験していないことを示すと、不快感軽減フィルタリング効果は無効にされ得る。
図５は、本開示の様々な実施形態の態様を行うのに用いることができる例示的なデバイスのコンポーネントを示す。例えば、図５は、一実施形態による、デバイスを実装するのに適した例示的なハードウェアシステムを示す。このブロック図は、パーソナルコンピュータ、ビデオゲーム機、携帯情報端末、または発明の実施形態を実施するのに適した他のデジタルデバイスなどのコンピュータシステム５００を示す。コンピュータシステム５００は、ソフトウェアアプリケーション及び任意選択的にオペレーティングシステムを実行する中央処理装置（ＣＰＵ）５０２を含む。ＣＰＵ５０２は、１つまたは複数の同質のまたは異質の処理コアから構成され得る。
様々な実施形態によれば、ＣＰＵ５０２は、１つまたは複数の処理コアを有する１つまたは複数の汎用マイクロプロセッサである。さらなる実施形態は、ディープラーニング、コンテンツ分類及びユーザ分類用に構成されている適用の、媒体及びインタラクティブエンターテインメントアプリケーションなどの高並列かつコンピュータ集中型アプリケーションに特に適しているマイクロプロセッサアーキテクチャを有する１つまたは複数のＣＰＵを用いて実装することができる。例えば、ＣＰＵ５０２は、いずれのＶＲコンテンツ（例えばＶＲコンテンツのタイプ及び／またはパターン）がインタラクトされるとユーザに不快感及び／または吐き気の反応を体験させるかを認識するように構成されているディープラーニングエンジン１９０を含むように構成され得る。加えて、ＣＰＵ５０２は、いずれのＶＲコンテンツがユーザにおいて不快感及び／または吐き気の反応を誘発するかの認識を利用して、コンテンツを、そのコンテンツによって誘発される不快感及び／または吐き気の対応する予測されるレベルにしたがって分類することができるコンテンツ分類機構２００Ａを含むように構成され得る。さらに、ＣＰＵ５０２は、ＶＲコンテンツを変化させる（例えば、より少ない不快感体験を与える）ようにかつ／またはユーザにおいて不快感及び／または吐き気の反応を誘発する可能性があると識別されているＶＲコンテンツの表示を変化させるように動作する不快感軽減フィルタリング効果の実装であるＦＯＶ絞り機構５９０を含むように構成され得る。
メモリ５０４は、ＣＰＵ５０２によって用いるためのアプリケーション及びデータを格納する。ストレージ５０６は、アプリケーション及びデータ用の不揮発性ストレージ及び他のコンピュータ可読媒体を提供し、固定ディスクドライブ、リムーバブルディスクドライブ、フラッシュメモリデバイス、及びＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、Ｂｌｕ−ｒａｙ（登録商標）、ＨＤ−ＤＶＤまたは他の光学ストレージデバイス、ならびに信号伝送かつ格納媒体を含み得る。ユーザ入力デバイス５０８は１つまたは複数のユーザからのユーザ入力をコンピュータシステム５００に通信し、その例としては、キーボード、マウス、ジョイスティック、タッチパッド、タッチスクリーン、静止またはビデオカメラ及び／またはマイクが挙げられ得る。ネットワークインタフェース５１０は、コンピュータシステム５００が他のコンピュータシステムと電子通信ネットワークを介して通信することを可能にし、ローカルエリアネットワーク及びインターネットなどの広域ネットワーク経由の有線または無線通信を含み得る。オーディオプロセッサ５１２は、ＣＰＵ５０２、メモリ５０４及び／またはストレージ５０６によって提供された命令及び／またはデータからアナログまたはデジタルオーディオ出力を生成するようになされている。ＣＰＵ５０２、メモリ５０４、データストレージ５０６、ユーザ入力デバイス５０８、ネットワークインタフェース５１０及びオーディオプロセッサ５１２を含む、コンピュータシステム５００のコンポーネントは、１つまたは複数のデータバス５２２を介して接続される。
グラフィックサブシステム５１４は、さらに、データバス５２２及びコンピュータシステム５００のコンポーネントと接続される。グラフィックサブシステム５１４は、グラフィック処理装置（ＧＰＵ）５１６及びグラフィックメモリ５１８を含む。グラフィックメモリ５１８は、出力画像の画素ごとに画素データを格納するのに用いられるディスプレイメモリ（例えばフレームバッファ）を含む。グラフィックメモリ５１８は、ＧＰＵ５１６と同一のデバイスに組み込むことができ、ＧＰＵ５１６と別々のデバイスとして接続することができ、かつ／またはメモリ５０４内に実装することができる。画素データは、ＣＰＵ５０２から直接グラフィックメモリ５１８に提供することができる。代替として、ＣＰＵ５０２は、ＧＰＵ５１６に、所望の出力画像を規定するデータ及び／または命令を提供し、ＧＰＵ５１６はそこから１つまたは複数の出力画像の画素データを生成する。所望の出力画像を規定するデータ及び／または命令は、メモリ５０４及び／またはグラフィックメモリ５１８に格納することができる。実施形態では、ＧＰＵ５１６は、形状、照明、陰影、テクスチャリング、モーション、及び／またはシーンにおけるカメラパラメータを規定する命令及びデータから、出力画像に対する画素データを生成する３Ｄレンダリング機能を含む。ＧＰＵ５１６は、さらに、シェーダプログラムを実行可能な１つまたは複数のプログラマブル実行ユニットを含むことができる。一実施形態では、ＧＰＵ５１６は、ディープラーニングエンジン１９０内に実装されて、例えばディープラーニングエンジン１９０に対する処理能力を提供し得る。
グラフィックサブシステム５１４は、周期的に、ディスプレイデバイス５２０に表示されるグラフィックメモリ５１８からの画像に対する画素データを出力する。ディスプレイデバイス５２０は、ＣＲＴ、ＬＣＤ、プラズマ及びＯＬＥＤディスプレイを含む、コンピュータシステム５００からの信号に応答して視覚的な情報を表示することが可能である任意のデバイスであり得る。コンピュータシステム５００は、ディスプレイデバイス５２０にアナログまたはデジタル信号を提供することができる。
本明細書中に記載された実施形態は、任意のタイプのクライアントデバイスで実行され得ることを理解すべきである。一部の実施形態では、クライアントデバイスは、頭部装着ディスプレイ（ＨＭＤ）である。例えば、ＨＭＤは、いずれのＶＲコンテンツ、ＶＲコンテンツのパターン、ＶＲコンテンツの生成もしくはＶＲコンテンツとのインタラクションに関連するパターン、または対応するＶＲコンテンツとのシミュレーションされたもしくはテストされたユーザインタラクションに関連するパターン、及び／またはそのＶＲコンテンツの生成に関連してユーザによってとられたもしくは生成されたアクションのパターンが不快感及び／または吐き気を誘発するかを学習するためにユーザのテスト中に用いられ得る。さらに、ＨＭＤは、ユーザを、ＶＲコンテンツ（例えば、ベースラインＶＲコンテンツ）に対するテストされた不快感及び／または吐き気の応答にしたがって、分類または調整するのに用いられ得る。ＨＭＤは、ユーザにおける任意の潜在的な不快感及び／または吐き気を軽減するために、不快感及び／または吐き気を生じさせる可能性があるＶＲコンテンツ、ＶＲコンテンツのパターン、ＶＲコンテンツの生成もしくはＶＲコンテンツとのインタラクションに関連するパターン、または対応するＶＲコンテンツとのシミュレーションされたもしくはテストされたユーザアプリケーションに関連するパターン、及び／またはそのＶＲコンテンツの生成に関連してユーザによってとられたもしくは生成されたアクションのパターンを有するとして識別される、アプリケーションにおけるそれらの領域に、不快感軽減フィルタリング効果を適用するように構成され得る。
図６は、開示の実施形態による、頭部装着ディスプレイ（ＨＭＤ）６５０のコンポーネントを示す図を示す。ＨＭＤは、不快感及び／または吐き気を誘発する可能性があるＶＲコンテンツの領域を識別する分類段階において、かつ、それらの領域に不快感軽減フィルタリング効果を適用するために用いられ得る。
頭部装着ディスプレイ６５０は、プログラム命令を実行するプロセッサ６００を含む。メモリ６０２は、格納目的で提供され、揮発性メモリ及び不揮発性メモリの両方を含み得る。ユーザが見得る視覚的なインタフェースを提供するディスプレイ６０４が含まれる。バッテリ６０６は、頭部装着ディスプレイ６５０用の電源として提供される。モーション検出モジュール６０８は、磁力計６１０、加速度計６１２及びジャイロスコープ６１４などの様々な種類のモーション感知ハードウェアのいずれかを含み得る。
加速度計は、加速度及び誘起重力反力を測定するためのデバイスである。単軸のかつ複数軸のモデルは、様々な方向における加速度の大きさ及び方向を検出するのに利用可能である。加速度計は、傾角、振動及び衝撃を感知するのに用いられる。一実施形態では、３つの加速度計６１２は、重力の方向を提供するのに用いられ、重力の方向は、２つの角度（ワールドスペースピッチ及びワールドスペースロール）に対する絶対基準を与える。
磁力計は、頭部装着ディスプレイの近傍の磁場の強度及び方向を測定する。一実施形態では、３つの磁力計６１０は頭部装着ディスプレイ内で用いられ、ワールドスペースヨー角に対する絶対基準を確保する。一実施形態では、磁力計は、±８０μマイクロテスラである地球の磁場に及ぶように設計されている。磁力計は、金属によって影響を受け、実際のヨーに対して単調なヨー測定値を提供する。磁場は、環境における金属によってゆがませられ得、それはヨー測定値にゆがみを生じさせる。必要であれば、このゆがみは、ジャイロスコープまたはカメラなどの他のセンサからの情報を用いて較正することができる。一実施形態では、加速度計６１２は、磁力計６１０と共に用いられて、頭部装着ディスプレイ６５０の傾角及び方位角を取得する。
ジャイロスコープは、角運動量の原理に基づいて、方位を測定または維持するデバイスである。一実施形態では、３つのジャイロスコープ６１４は、慣性感知に基づいてそれぞれの軸（ｘ、ｙ及びｚ）にまたがる運動に関する情報を提供する。ジャイロスコープは、速い回転の検出を支援する。しかしながら、ジャイロスコープは、絶対基準の存在がなければ、時間とともにドリフトし得る。これは、周期的にジャイロスコープをリセットすることを必要とし、リセットは、オブジェクトの視覚的な追跡、加速度計、磁力計などに基づく位置／方位判定などの他の利用可能な情報を用いて行うことができる。
カメラ６１６は、実環境の画像及び画像ストリームをキャプチャするために設けられる。後面カメラ（ユーザが頭部装着ディスプレイ６５０の表示を見ているときユーザから離れる方向）及び前面カメラ（ユーザが頭部装着ディスプレイ６５０の表示を見ているときユーザの方に向かう方向）を含む１つより多いカメラが、頭部装着ディスプレイ６５０に含まれ得る。加えて、デプスカメラ６１８は、実環境においてオブジェクトのデプス情報を感知するために、頭部装着ディスプレイ６５０に含まれ得る。
一実施形態では、ＨＭＤの前面に組み込まれたカメラは、安全性に関する警告を提供するのに用いられ得る。例えば、ユーザが壁部またはオブジェクトに接近している場合、ユーザに警告がなされ得る。一実施形態では、ユーザに、室内の物理的なオブジェクトの外観が提供されて、ユーザにそれらの存在を警告し得る。外観は、例えば、仮想環境におけるオーバーレイであり得る。一部の実施形態では、ＨＭＤユーザには、例えば床にオーバーレイされる基準マーカへの表示が提供され得る。例えば、マーカは、ユーザに、室内の中心がどこにあるのかユーザがその中のどこでゲームをプレイしているのかの基準を与え得る。これは、例えば、ユーザに、ユーザが室内の壁部または他のオブジェクトへの衝突を避けるためにどこに移動するべきかの視覚的な情報を与え得る。ユーザが着用しＨＭＤでゲームをプレイまたはコンテンツをナビゲートするときにおいて、より高い安全性を与えるために、触覚的な警告、及び／またはオーディオによる警告もまたユーザに提供することができる。
頭部装着ディスプレイ６５０は、オーディオ出力を提供するスピーカ６２０を含む。また、マイク６２２は、周囲環境からの音、ユーザによってなされる発話などを含む実環境からの音声をキャプチャするために含まれ得る。頭部装着ディスプレイ６５０は、触覚フィードバックをユーザに提供する触覚フィードバックモジュール６２４を含む。一実施形態では、触覚フィードバックモジュール６２４は、触覚フィードバックをユーザに提供するように、頭部装着ディスプレイ６５０の運動及び／または振動を発生させることが可能である。
ＬＥＤ６２６は、頭部装着ディスプレイ６５０のステータスの視覚的なインジケータとして提供される。例えば、ＬＥＤは、バッテリ―レベル、電源オンなどを示し得る。カードリーダ６２８は、頭部装着ディスプレイ６５０がメモリカードに情報を読み書きすることを可能にするために提供される。ＵＳＢインタフェース６３０は、周辺デバイスの接続、または他のポータブルデバイス、コンピュータなどの他のデバイスとの接続を可能にするインタフェースの１つの例として含まれる。頭部装着ディスプレイ６５０の様々な実施形態では、様々な種類のインタフェースのいずれかが、頭部装着ディスプレイ６５０のより良い接続性を可能にするために含まれ得る。
Ｗｉ−Ｆｉモジュール６３２は、無線ネットワーキング技術を介したインターネットへの接続を可能にするために含まれる。また、頭部装着ディスプレイ６５０は、他のデバイスへの無線接続を可能にするＢｌｕｅｔｏｏｔｈ（登録商標）モジュール６３４を含む。通信リンク６３６もまた、他のデバイスへの接続のために含まれ得る。一実施形態では、通信リンク６３６は、無線通信のために赤外線伝送を利用する。他の実施形態では、通信リンク６３６は、他のデバイスとの通信のために様々な無線または有線伝送プロトコルのいずれかを利用し得る。
入力ボタン／センサ６３８は、ユーザに対して入力インタフェースを提供するために含まれる。ボタン、タッチパッド、ジョイスティック、トラックボールなどといった様々な種類の入力インタフェースのいずれかが含まれ得る。超音波技術を介した他のデバイスとの通信を容易にする超音波通信モジュール６４０が、頭部装着ディスプレイ６５０に含まれ得る。
ユーザからの生理学的データの検出を可能にするバイオセンサ６４２が含まれる。一実施形態では、バイオセンサ６４２は、ユーザの皮膚を通してユーザの生体電気信号を検出する１つまたは複数の乾式電極を含む。
頭部装着ディスプレイ６５０の前述のコンポーネントは、頭部装着ディスプレイ６５０に含まれ得る単なる例示的なコンポーネントとして記載されてきた。開示の様々な実施形態では、頭部装着ディスプレイ６５０は、様々な前述のコンポーネントのいくつかを含んでもよくまたは含まなくてもよい。頭部装着ディスプレイ６５０の実施形態は、追加して、現在記述されていないが当分野で既知の他のコンポーネントを、本明細書中に記載された本開示の態様を容易にする目的で含み得る。
開示の様々な実施形態において、前述のハンドヘルドデバイスは、ディスプレイ上に表示されるインタラクティブなアプリケーションと併せて利用されて、様々なインタラクティブな機能を提供し得ることが当業者によって理解されよう。本明細書中に記載された例示的な実施形態は、限定ではなく単に例として提供される。
図７は、開示の様々な実施形態によるゲームシステム７００のブロック図である。ゲームシステム７００は、ＶＲコンテンツを提供するのに用いられ得る。ゲームシステム７００は、ビデオストリームを１つまたは複数のクライアント７１０にネットワーク７１５経由で提供するように構成されている。ゲームシステム７００は、通常、ビデオサーバシステム７２０及び任意選択的なゲームサーバ７２５を含む。ビデオサーバシステム７２０は、ビデオストリームを１つまたは複数のクライアント７１０に最小限のサービスの質をもって提供するように構成されている。例えば、ビデオサーバシステム７２０は、ビデオゲーム内の視界の状態または視点を変更するゲームコマンドを受信し、クライアント７１０に、この状態変更を反映した更新されたビデオストリームを最小限のラグタイムで提供し得る。ビデオサーバシステム７２０は、まだ定義されていないフォーマットを含む、多種多様な代替のビデオフォーマットでビデオストリームを提供するように構成され得る。さらに、ビデオストリームは、ユーザに多種多様なフレームレートで提示するように構成されているビデオフレームを含み得る。典型的なフレームレートは、毎秒３０フレーム、毎秒６０フレーム及び毎秒１２０フレームである。とは言え、より高いまたはより低いフレームレートが、開示の代替実施形態に含まれる。
本明細書中で個々に７１０Ａ、７１０Ｂなどと称されるクライアント７１０は、頭部装着ディスプレイ、端末、パーソナルコンピュータ、ゲーム機、タブレットコンピュータ、電話、セットトップボックス、キオスク、無線デバイス、デジタルパッド、スタンドアロンデバイス、ハンドヘルドゲームプレイデバイスなどを含み得る。通常、クライアント７１０は、符号化されたビデオストリーム（すなわち圧縮された）を受信し、ビデオストリームを復号化し、結果的に生じるビデオをユーザ、例えばゲームのプレイヤに提示するように構成されている。符号化されたビデオストリームを受信する及び／またはビデオストリームを復号化するプロセスは、通常、個々のビデオフレームをクライアントの受信バッファに格納することを含む。ビデオストリームは、クライアント７１０に組み込まれているディスプレイ上で、または、モニタもしくはテレビなどの別のデバイス上でユーザに提示され得る。クライアント７１０は、任意選択的に、１つより多いゲームプレイヤをサポートするように構成されている。例えば、ゲーム機は、２、３、４またはより多い同時プレイヤをサポートするように構成され得る。これらのプレイヤの各々は、別々のビデオストリームを受信し得、または、単一のビデオストリームは、各プレイヤ専用に生成された、例えば各プレイヤの視点に基づいて生成されたフレームの領域を含み得る。クライアント７１０は、任意選択的に、地理的に分散される。ゲームシステム７００に含まれるクライアントの数は、１または２から数千、数万、またはそれ以上まで大きな幅があり得る。本明細書中で用いられる用語「ゲームプレイヤ(ｇａｍｅ ｐｌａｙｅｒ）」は、ゲームをプレイする人を指すのに用いられ、「ゲームプレイングデバイス(ｇａｍｅ ｐｌａｙｉｎｇ ｄｅｖｉｃｅ）」は、ゲームをプレイするのに用いられるデバイスを指すのに用いられる。一部の実施形態では、ゲームプレイングデバイスは、ゲーム体験をユーザに供給するのに協働する複数のコンピューティングデバイスを指し得る。例えば、ゲーム機及びＨＭＤは、ビデオサーバシステム７２０と協働して、ＨＭＤを通して見られるゲームを供給し得る。一実施形態では、ゲーム機は、ビデオストリームをビデオサーバシステム７２０から受信し、ゲーム機は、レンダリング用のＨＭＤに、ビデオストリームまたはビデオストリームに対する更新を転送する。
クライアント７１０は、ビデオストリームをネットワーク７１５を介して受信するように構成されている。ネットワーク７１５は、電話ネットワーク、インターネット、無線ネットワーク、電力線ネットワーク、ローカルエリアネットワーク、広域ネットワーク、プライベートネットワークなどを含む任意のタイプの通信ネットワークであり得る。典型的な実施形態では、ビデオストリームは、ＴＣＰ／ＩＰまたはＵＤＰ／ＩＰなどの標準プロトコルを介して通信される。代替として、ビデオストリームは、プロプライエタリ規格を介して通信される。
クライアント７１０の典型的な例は、プロセッサ、不揮発性メモリ、ディスプレイ、復号論理、ネットワーク通信機能及び入力デバイスを備えるパーソナルコンピュータである。復号論理は、コンピュータ可読媒体上に格納されたハードウェア、ファームウェア及び／またはソフトウェアを含み得る。ビデオストリームを復号化（かつ符号化）するシステムは、当分野でよく知られており、用いられる特定の符号化スキーム次第で異なる。
クライアント７１０は、必須ではないが、受信したビデオを修正するように構成されているシステムをさらに含み得る。例えば、クライアントは、さらなるレンダリングを行って、１つのビデオ画像を別のビデオ画像上にオーバーレイして、ビデオ画像をトリミングするなどのように構成され得る。例えば、クライアント７１０は、Ｉ−フレーム、Ｐ−フレーム及びＢ−フレームなどの様々なタイプのビデオフレームを受信するように、かつ、これらのフレームを、ユーザに表示する画像に処理するように構成され得る。一部の実施形態では、クライアント７１０のメンバーは、さらなるレンダリング、シェーディング、３−Ｄへの変換、またはビデオストリームに対する同様の動作を行うように構成されている。クライアント７１０のメンバーは、任意選択的に、１つより多いオーディオまたはビデオストリームを受信するように構成されている。クライアント７１０の入力デバイスは、例えば、片手ゲームコントローラ、両手ゲームコントローラ、ジェスチャ認識システム、視線認識システム、ボイス認識システム、キーボード、ジョイスティック、ポインティングデバイス、力フィードバックデバイス、モーション及び／または位置感知デバイス、マウス、タッチスクリーン、ニューラルインタフェース、カメラ、まだ開発されていない入力デバイスなどを含み得る。
クライアント７１０によって受信されるビデオストリーム（及び任意選択的にオーディオストリーム）は、ビデオサーバシステム７２０によって生成かつ提供される。本明細書中の別の個所でさらに記載するように、このビデオストリームは、ビデオフレームを含む（そしてオーディオストリームはオーディオフレームを含む）。ビデオフレームは、ユーザに表示される画像に有意義に寄与するように構成されている（例えば、ビデオフレームは、適切なデータ構造で画素情報を含む）。本明細書中で用いる用語「ビデオフレーム(ｖｉｄｅｏ ｆｒａｍｅｓ）」は、ユーザに示される画像に寄与するように、例えば効果をもたらすように構成されている情報を主に含むフレームを指すのに用いられる。「ビデオフレーム(ｖｉｄｅｏ ｆｒａｍｅｓ）」に関する本明細書中の教示の大部分は、「オーディオフレーム(ａｕｄｉｏ ｆｒａｍｅｓ）」にも適用することができる。
クライアント７１０は、通常、ユーザから入力を受信するように構成されている。これらの入力は、ビデオゲームの状態を変更するまたはそれ以外の方法でゲームプレイに影響を与えるように構成されているゲームコマンドを含み得る。ゲームコマンドは、入力デバイスを用いて受信することができ、かつ／または、クライアント７１０で実行中のコンピューティング命令によって自動的に生成され得る。受信されたゲームコマンドは、クライアント７１０からネットワーク７１５を介してビデオサーバシステム７２０及び／またはゲームサーバ７２５に通信される。例えば、一部の実施形態では、ゲームコマンドは、ゲームサーバ７２５にビデオサーバシステム７２０を介して通信される。一部の実施形態では、ゲームコマンドの別々のコピーは、クライアント７１０からゲームサーバ７２５及びビデオサーバシステム７２０に通信される。ゲームコマンドの通信は、任意選択的に、コマンドの識別に依存する。ゲームコマンドは、任意選択的に、クライアント７１０Ａから、オーディオまたはビデオストリームをクライアント７１０Ａに提供するのに用いられる異なるルートまたは通信チャネルを通して通信される。
ゲームサーバ７２５は、任意選択的に、ビデオサーバシステム７２０と異なるエンティティによって動作される。例えば、ゲームサーバ７２５は、マルチプレイヤゲームのパブリッシャによって動作され得る。この例では、ビデオサーバシステム７２０は、任意選択的に、ゲームサーバ７２５によってクライアントとして見られ、任意選択的に、ゲームサーバ７２５の視点から、従来技術のゲームエンジンを実行する従来技術のクライアントであるように見えるように構成されている。ビデオサーバシステム７２０とゲームサーバ７２５の間の通信は、任意選択的に、ネットワーク７１５を介して生じる。そのように、ゲームサーバ７２５は、ゲーム状態情報を複数のクライアントに送る従来技術のマルチプレイヤゲームサーバであり得、複数のクライアントのうち１つはゲームサーバシステム７２０である。ビデオサーバシステム７２０は、ゲームサーバ７２５の複数のインスタンスと同時に通信するように構成され得る。例えば、ビデオサーバシステム７２０は、複数の異なるビデオゲームを異なるユーザに提供するように構成することができる。これらの異なるビデオゲームの各々は、異なるゲームサーバ７２５によってサポートされ得、かつ／または異なるエンティティによって発行され得る。一部の実施形態では、いくつかの地理的に分散されている、ビデオサーバシステム７２０のインスタンスは、ゲームビデオを複数の異なるユーザに提供するように構成されている。ビデオサーバシステム７２０のこれらのインスタンスの各々は、ゲームサーバ７２５の同一のインスタンスと通信していてもよい。ビデオサーバシステム７２０と１つまたは複数のゲームサーバ７２５の間の通信は、任意選択的に、専用通信チャネルを介して生じる。例えば、ビデオサーバシステム７２０は、ゲームサーバ７２５に、これらの２つのシステム間の通信に専用の高帯域チャネルを介して接続され得る。
ビデオサーバシステム７２０は、少なくともビデオソース７３０、Ｉ／Ｏデバイス７４５、プロセッサ７５０及び非一時的なストレージ７５５を備える。ビデオサーバシステム７２０は、１つのコンピューティングデバイスを含み得、または、複数のコンピューティングデバイス間で分散され得る。これらのコンピューティングデバイスは、任意選択的に、ローカルエリアネットワークなどの通信システムを介して接続される。
ビデオソース７３０は、ビデオストリーム、例えば、ストリーミングビデオまたは動画を形成する一連のビデオフレームを提供するように構成されている。一部の実施形態では、ビデオソース７３０は、ビデオゲームエンジン及びレンダリングロジックを含む。ビデオゲームエンジンは、ゲームコマンドをプレイヤから受信するように、かつ、ビデオゲームの状態のコピーを、受信したコマンドに基づいて維持するように構成されている。このゲーム状態は、ゲーム環境におけるオブジェクトの位置、ならびに通常は視点を含む。ゲーム状態はまた、オブジェクトのプロパティ、画像、色及び／またはテクスチャも含み得る。
ゲーム状態は、通常、ゲームルール、ならびに、動く、ターンする、攻撃する、焦点を定める、インタラクトする、使用するなどといったゲームコマンドに基づいて維持される。ゲームエンジンの一部は、任意選択的には、ゲームサーバ７２５内に配置される。ゲームサーバ７２５は、ゲームの状態のコピーを、地理的に分散したクライアントを用いて複数のプレイヤから受信したゲームコマンドに基づいて維持し得る。これらの場合において、ゲーム状態は、ゲームサーバ７２５によってビデオソース７３０に提供され、ゲーム状態のコピーは格納され、レンダリングが行われる。ゲームサーバ７２５は、ネットワーク７１５を介してクライアント７１０から直接ゲームコマンドを受信し得、かつ／またはビデオサーバシステム７２０を介してゲームコマンドを受信し得る。
ビデオソース７３０は、通常、例えばストレージ７５５などのコンピュータ可読媒体上に格納されたハードウェア、ファームウェア及び／またはソフトウェアといったレンダリングロジックを含む。このレンダリングロジックは、ビデオストリームのビデオフレームを、ゲーム状態に基づいて作成するように構成されている。レンダリングロジックの全部または一部は、任意選択的に、グラフィック処理装置（ＧＰＵ）内に配置される。レンダリングロジックは、通常、オブジェクト間の３次元空間関係を判定するようにかつ／または適切なテクスチャなどをゲーム状態及び視点に基づいて適用するように構成されている処理段階を含む。レンダリングロジックは、クライアント７１０への通信に先立ってその後通常符号化される生ビデオを生成する。例えば、生ビデオは、Ａｄｏｂｅ Ｆｌａｓｈ（登録商標）規格、．ｗａｖ、Ｈ．２６４、Ｈ．２６３、Ｏｎ２、ＶＰ６、ＶＣ−１、ＷＭＡ、Ｈｕｆｆｙｕｖ、Ｌａｇａｒｉｔｈ、ＭＰＧ−ｘ．Ｘｖｉｄ．ＦＦｍｐｅｇ、ｘ２６４、ＶＰ６−８、ｒｅａｌｖｉｄｅｏ、ｍｐ３などにしたがって符号化され得る。符号化プロセスは、リモートデバイス上のデコーダに送られるために任意選択的にパッケージ化されるビデオストリームを生成する。ビデオストリームは、フレームサイズ及びフレームレートによって特徴づけられる。典型的なフレームサイズは、８００ｘ６００、１２８０ｘ７２０（例えば７２０ｐ）、１０２４ｘ７６８を含むが、任意の他のフレームサイズが用いられ得る。フレームレートは、毎秒のビデオフレームの数である。ビデオストリームは、異なるタイプのビデオフレームを含み得る。例えば、Ｈ．２６４規格は、「Ｐ」フレーム及び「Ｉ」フレームを含む。Ｉ−フレームは、ディスプレイデバイス上のすべてのマクロブロック／画素をリフレッシュするための情報を含み、Ｐ−フレームは、そのサブセットをリフレッシュするための情報を含む。Ｐ−フレームは、通常、Ｉ−フレームのデータサイズよりも小さいデータサイズである。本明細書中で用いる用語「フレームサイズ(ｆｒａｍｅ ｓｉｚｅ）」は、フレーム内の画素の数を指すことを意味する。用語「フレームデータサイズ(ｆｒａｍｅ ｄａｔａ ｓｉｚｅ）」は、フレームを格納するのに必要とされるバイト数を指すのに用いられる。
代替の実施形態では、ビデオソース７３０は、カメラなどのビデオ記録デバイスを含む。このカメラは、コンピュータゲームのビデオストリームに含まれ得る時間遅れのまたは生ビデオを生成するのに用いられ得る。結果として生じたビデオストリームは、任意選択的に、レンダリングされた画像及び静止カメラまたはビデオカメラを用いて記録された画像の両方を含む。ビデオソース７３０はまた、ビデオストリームに含まれる事前に記録されたビデオを格納するように構成されているストレージデバイスも含み得る。ビデオソース７３０はまた、オブジェクト、例えば人のモーションまたは位置を検出するように構成されているモーションまたは位置感知デバイス、ならびに検出されたモーション及び／または位置に基づいて、ゲーム状態を判定またはビデオを生成するように構成されているロジックも含み得る。
ビデオソース７３０は、任意選択的に、他のビデオ上に配置されるように構成されているオーバーレイを提供するように構成されている。例えば、これらのオーバーレイは、コマンドインタフェース、ログイン命令、ゲームプレイヤへのメッセージ、他のゲームプレイヤの画像、他のゲームプレイヤのビデオフィード（例えばウェブカメラビデオ）を含み得る。タッチスクリーンインタフェースまたは視線検出インタフェースを含むクライアント７１０Ａの実施形態では、オーバーレイは、仮想キーボード、ジョイスティック、タッチパッドなどを含み得る。オーバーレイの一例では、プレイヤの声は、オーディオストリームにオーバーレイされる。ビデオソース７３０は、任意選択的に、さらに、１つまたは複数のオーディオソースを含む。
ビデオサーバシステム７２０がゲーム状態を１つより多いプレイヤからの入力に基づいて維持するように構成されている実施形態では、各プレイヤは、視界の位置及び方向を備える異なる視点を有し得る。ビデオソース７３０は、任意選択的に、プレイヤごとに別々のビデオストリームを彼らの視点に基づいて提供するように構成されている。さらに、ビデオソース７３０は、クライアント７１０の各々に異なるフレームサイズ、フレームデータサイズ、及び／または符号化を提供するように構成され得る。ビデオソース７３０は、任意選択的に、３−Ｄビデオ及び／または没入型３６０度符号化ビデオを提供するように構成されている。
Ｉ／Ｏデバイス７４５は、ビデオサーバシステム７２０が、ビデオ、コマンド、情報に対するリクエスト、ゲーム状態、視線情報、デバイスのモーション、デバイスの位置、ユーザモーション、クライアントの識別、プレイヤの識別、ゲームコマンド、セキュリティ情報、オーディオなどといった情報を送信かつ／または受信するように構成されている。Ｉ／Ｏデバイス７４５は、通常、ネットワークカードまたはモデムなどの通信ハードウェアを含む。Ｉ／Ｏデバイス７４５は、ゲームサーバ７２５、ネットワーク７１５、及び／またはクライアント７１０と通信するように構成されている。
プロセッサ７５０は、例えばソフトウェアといった、本明細書中で論じたビデオサーバシステム７２０の様々なコンポーネント内に含まれる論理を実行するように構成されている。例えば、プロセッサ７５０は、ビデオソース７３０、ゲームサーバ７２５及び／またはクライアントクオリファイア７６０の機能を実行するために、ソフトウェア命令でプログラムされ得る。ビデオサーバシステム７２０は、任意選択的に、プロセッサ７５０の１つより多いインスタンスを含む。プロセッサ７５０はまた、ビデオサーバシステム７２０によって受信されたコマンドを実行するために、または、本明細書中で論じたゲームシステム７００の様々な要素の動作を調整するために、ソフトウェア命令でプログラムされ得る。プロセッサ７５０は、１つまたは複数のハードウェアデバイスを含み得る。プロセッサ７５０は、電子プロセッサである。
ストレージ７５５は、非一時的なアナログ及び／またはデジタルストレージデバイスを含む。例えば、ストレージ７５５は、ビデオフレームを格納するように構成されているアナログストレージデバイスを含み得る。ストレージ７５５は、例えばハードドライブ、光学ドライブまたはソリッドステートストレージといったコンピュータ可読デジタルストレージを含み得る。ストレージ７１５は、ビデオフレーム、人工フレーム、ビデオフレーム及び人工フレームの両方を含むビデオストリーム、オーディオフレーム、オーディオストリームなどを格納するように構成されている（例えば、適切なデータ構造またはファイルシステムによって）。ストレージ７５５は、任意選択的に、複数のデバイス間で分散される。一部の実施形態では、ストレージ７５５は、本明細書中の別の個所で論じたビデオソース７３０のソフトウェアコンポーネントを格納するように構成されている。これらのコンポーネントは、必要とされたとき供給準備ができる形式で格納され得る。
ビデオサーバシステム７２０は、任意選択的に、さらに、クライアントクオリファイア７６０を備える。クライアントクオリファイア７６０は、クライアント７１０Ａまたは７１０Ｂなどのクライアントの性能を遠隔判定するように構成されている。これらの性能は、クライアント７１０Ａ自体の性能ならびにクライアント７１０Ａとビデオサーバシステム７２０の間の１つまたは複数の通信チャネルの性能の両方を含み得る。例えば、クライアントクオリファイア７６０は、ネットワーク７１５を通して通信チャネルをテストするように構成され得る。
クライアントクオリファイア７６０は、クライアント７１０Ａの性能を手動でまたは自動で判定（例えば発見）することができる。手動判定は、クライアント７１０Ａのユーザとの通信及びユーザに性能を提供するよう依頼することを含む。例えば、一部の実施形態では、クライアントクオリファイア７６０は、画像、テキストなどをクライアント７１０Ａのブラウザ内に表示するように構成されている。一実施形態では、クライアント７１０Ａは、ブラウザを含むＨＭＤである。別の実施形態では、クライアント７１０Ａは、ＨＭＤ上に表示され得るブラウザを有するゲーム機である。表示されたオブジェクトは、ユーザが、クライアント７１０Ａのオペレーティングシステム、プロセッサ、ビデオデコーダタイプ、ネットワーク接続のタイプ、ディスプレイ解像度などといった情報を入力するように要求する。ユーザによって入力された情報は、クライアントクオリファイア７６０に戻されるように通信される。
自動判定は、例えばクライアント７１０Ａ上のエージェントの実行によってかつ／またはクライアント７１０Ａにテストビデオを送信することによって生じ得る。エージェントは、ウェブページに埋め込まれたまたはアドオンとしてインストールされたｊａｖａ（登録商標）スクリプトなどのコンピューティング命令を備え得る。エージェントは、任意選択的に、クライアントクオリファイア７６０によって提供される。様々な実施形態では、エージェントは、クライアント７１０Ａの処理能力、クライアント７１０Ａのデコーディング及び表示性能、クライアント７１０Ａとビデオサーバシステム７２０の間の通信チャネルのラグタイム信頼性及び帯域幅、クライアント７１０Ａのディスプレイタイプ、クライアント７１０Ａ上に存在するファイアウォール、クライアント７１０Ａのハードウェア、クライアント７１０Ａ上で実行しているソフトウェア、クライアント７１０Ａ内のレジストリエントリなどを発見することができる。
クライアントクオリファイア７６０は、コンピュータ可読媒体に格納されたハードウェア、ファームウェア及び／またはソフトウェアを含む。クライアントクオリファイア７６０は、任意選択的に、ビデオサーバシステム７２０の１つまたは複数の他の要素とは別々のコンピューティングデバイス上に配置される。例えば、一部の実施形態では、クライアントクオリファイア７６０は、クライアント７１０とビデオサーバシステム７２０の１つより多いインスタンスの間の通信チャネルの特性を判定するように構成されている。これらの実施形態では、クライアントクオリファイアによって発見された情報を用いて、ストリーミングビデオをクライアント７１０の１つに送るのにビデオサーバシステム７２０のいずれのインスタンスが最も適しているかを判定することができる。
以下の出願は、ＨＭＤ及びモーションによる吐き気に関する情報を提供する。出願には、２０１４年３月１２日に出願された、同一出願人による同時係属中の「ＳＷＩＴＣＨＩＮＧ ＭＯＤＥ ＯＦ ＯＰＥＲＡＴＩＯＮ ＩＮ Ａ ＨＥＡＤ ＭＯＵＮＴＥＤ ＤＩＳＰＬＡＹ」と題された米国特許出願番号第１４／２０６２１９号；２０１５年５月１４日に出願された、同一出願人による同時係属中の「ＳＥＮＳＯＲＹ ＳＴＩＭＵＬＵＳ ＭＡＮＡＧＥＭＥＮＴ ＩＮ ＨＥＡＤ ＭＯＵＮＴＥＤ ＤＩＳＰＬＡＹ」と題された米国特許出願番号第１４／７１２５７５号；２０１５年２月５日に出願された、同一出願人による同時係属中の「ＭＯＴＩＯＮ ＳＩＣＫＮＥＳＳ ＭＯＮＩＴＯＲＩＮＧ ＡＮＤ ＡＰＰＬＩＣＡＴＩＯＮ ＯＦ ＳＵＰＰＬＥＭＥＮＴＡＬ ＳＯＵＮＤ ＴＯ ＣＯＵＮＴＥＲＡＣＴ ＳＩＣＫＮＥＳＳ」と題された米国特許出願番号第１４／６１５１１５号；及び２０１５年２月２０日に出願された、同一出願人による同時係属中の「ＳＣＡＮＮＩＮＧ ＤＩＳＰＬＡＹ ＳＹＳＴＥＭ ＩＮ ＨＥＡＤ−ＭＯＵＮＴＥＤ ＤＩＳＰＬＡＹ ＦＯＲ ＶＩＲＴＵＡＬ ＲＥＡＬＩＴＹ」と題された米国特許出願番号第１４／６２７４０６号が含まれ、それらの全体は参照によって本明細書に援用される。本発明の一部の実施形態で実装されるディープランニングプロセスに関するより多くの情報は、その全体が参照によって本明細書に援用される、「Ｉｎｔｒｏｄｕｃｔｉｏｎ ｔｏ Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ」、Ｓｅｃｏｎｄ Ｅｄｉｔｉｏｎ、Ｅｔｈｅｍ Ａｌｐａｙｄｉｎ、Ｍａｓｓａｃｈｕｓｅｔｔｓ Ｉｎｓｔｉｔｕｔｅ ｏｆ Ｔｅｃｈｎｏｌｏｇｙ、２０１０に提供される。
いずれのＶＲコンテンツがユーザの不快感及び／または吐き気を誘発するかを認識するように、ＶＲコンテンツにおける領域を、予測されるユーザの不快感及び／または吐き気に基づいて分類するように、かつ、不快感軽減フィルタリング効果をそれらの領域に適用してＶＲコンテンツを見ているときのユーザの不快感及び／または吐き気を軽減するように構成されているモデルを構築するための具体的な実施形態が提供されているが、これらは、限定としてではなく例として記載される。本開示を閲読した当業者は、本開示の精神及び範囲内にあるさらなる実施形態を実現するだろう。
本明細書中に定義された様々な実施形態は、本明細書中に開示された様々な特徴を用いて組み合わされまたはまとめられて具体的な実施態様を得てもよいことを理解すべきである。したがって、提供された例は、単なるいくつかの可能な例であり、様々な要素を組み合わせてより多くの実施態様を規定することによって可能である様々な実施態様を限定しない。いくつかの例では、いくつかの実施態様は、開示されたまたは均等な実施態様の精神から逸脱することなしに、より少ない要素を含み得る。
本開示の実施形態は、ハンドヘルドデバイス、マイクロプロセッサシステム、マイクロプロセッサベースまたはプログラマブル家庭用電化製品、ミニコンピュータ、メインフレームコンピュータなどを含む様々なコンピュータシステム構成で実施され得る。本開示の実施形態はまた、有線ベースのまたは無線ネットワークを通して結合された遠隔処理装置によってタスクが行われる分散コンピューティング環境において実施することもできる。
上記の実施形態を念頭に、本開示の実施形態はコンピュータシステムに格納されたデータを含む様々なコンピュータ実装動作を用い得ることを理解すべきである。これらの動作は、物理的な量の物理的な操作を必要とするものである。本開示の実施形態の一部を形成する、本明細書中に記載した動作はいずれも有用な機械動作である。発明の実施形態はまた、これらの動作を行うためのデバイスまたは装置に関連する。装置は、所要の目的のために特別に構成することができ、または、装置は、コンピュータに格納されているコンピュータプログラムによって選択的にアクティブ化されるまたは構成される汎用目的コンピュータであり得る。特に、様々な汎用目的機械は、本明細書中の教示にしたがって書かれたコンピュータプログラムで用いることができ、または、所要の動作を行うのに、より特殊化した装置を構成することがより便利であり得る。
開示はまた、コンピュータ可読媒体上のコンピュータ可読コードとして具現化することもできる。コンピュータ可読媒体は、その後コンピュータシステムによって読み取ることができるデータを格納することができる任意のデータストレージデバイスである。コンピュータ可読媒体の例として、ハードドライブ、ネットワークアタッチトストレージ（ＮＡＳ）、読み取り専用メモリ、ランダムアクセスメモリ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープならびに他の光学および非光学データストレージデバイスが挙げられる。コンピュータ可読媒体は、コンピュータ可読コードが分散して格納かつ実行されるように、ネットワークによって結合されたコンピュータシステムを介して分散されるコンピュータ可読有形的表現媒体を含み得る。
方法の動作は具体的な順序で記載されたが、他のハウスキーピング動作が動作の合間に行われ得、または、動作は、それら動作がわずかに異なる時間に起こるように調整され得、もしくは、オーバーレイ動作の処理が所望のように行われる限り、処理に関連する様々な間隔で処理動作の発生を可能にするシステムにおいて分散され得ることを理解すべきである。
前述の開示は理解を明瞭にする目的である程度詳しく記述されているが、一定の変形または変更を添付の特許請求の範囲内で実施することができることが明らかであろう。したがって、本実施形態は、限定的ではなく例示的なものとして解釈され、本開示の実施形態は、本明細書中に与えられた詳細に限定されるものではなく、添付の特許請求の範囲及び均等物内で変更され得る。

Claims (21)

  1. 頭部装着ディスプレイ（ＨＭＤ）で用いる仮想現実（ＶＲ）コンテンツを見るときの不快感を軽減する方法であって、
    不快感を生じさせる可能性がある対応するベースラインＶＲコンテンツの生成に関連する複数の学習済みパターンを識別するモデルにアクセスすることと；
    第１のアプリケーションを処理して、前記第１のアプリケーションの第１のＶＲコンテンツとのシミュレーションされたユーザインタラクションと関連するデータを生成することと；
    不快感を生じさせる可能性があるパターンを識別するように、前記データを前記モデルと比較して、前記学習済みパターンの少なくとも１つと合致する前記データにおける前記パターンを識別することと；
    識別されたパターンに対応する前記第１のアプリケーションにおける領域を識別することと；
    ユーザにおける潜在的な不快感を軽減する目的で、前記領域内に不快感軽減フィルタ効果を適用することとを含む、方法。
  2. 不快感軽減フィルタ効果の前記適用が、さらに、
    前記領域における前記第１のアプリケーションの実行に関連して生成されたＶＲコンテンツに視野絞りを適用することを含む、請求項１に記載の方法。
  3. 前記ユーザの頭部の動きの速度が増加するにつれて視野を減少させることと；
    前記ユーザの頭部の動きの速度が減少するにつれて視野を増大させることとをさらに含む、請求項２に記載の方法。
  4. 不快感軽減フィルタ効果の前記適用が、さらに、
    前記第１のアプリケーションの実行に関連して生成されたＶＲコンテンツへオーバーレイとして視野絞りをリアルタイムで適用することを含む、請求項１に記載の方法。
  5. 前記ユーザが前記不快感軽減フィルタ効果におけるパラメータを変更することを可能にするユーザインタフェースを提示することをさらに含む、請求項１に記載の方法。
  6. パラメータの変更に応答して、前記不快感軽減フィルタ効果の大きさを増大させることをさらに含む、請求項５に記載の方法。
  7. パラメータの変更に応答して、前記不快感軽減フィルタ効果の大きさを低減させることをさらに含む、請求項５に記載の方法。
  8. 前記ユーザからのリクエストに応答して前記不快感軽減フィルタ効果を無効にすることをさらに含む、請求項１に記載の方法。
  9. 前記ユーザからのリクエストに応答して前記不快感軽減フィルタ効果を有効にすることをさらに含む、請求項１に記載の方法。
  10. 第１のアプリケーションの前記処理が、さらに、
    前記第１のアプリケーションを実行して前記第１のＶＲコンテンツを生成することと；
    前記第１のＶＲコンテンツとのシミュレーションされたユーザインタラクションに関連する前記データを抽出することであって、前記データは前記第１のアプリケーションの実行中に生成される、前記抽出することとを含む、請求項１に記載の方法。
  11. 頭部装着ディスプレイ（ＨＭＤ）で用いる仮想現実（ＶＲ）コンテンツを見るときの不快感を軽減する方法であって、
    アプリケーションを実行して、ユーザによってインタラクトするＶＲコンテンツを生成することと；
    前記ユーザにおける不快感を示す入力を受信することと；
    潜在的な不快感を軽減する目的で、表示するために生成されたＶＲコンテンツに不快感軽減フィルタ効果を適用することとを含む、方法。
  12. 入力の前記受信が、さらに、前記ユーザによって能動的に生成された前記入力を受信することを含む、請求項１１に記載の方法。
  13. 入力の前記受信が、さらに、前記ユーザによって受動的に生成された前記入力を受信することを含む、請求項１１に記載の方法。
  14. 前記ユーザが前記コンテンツとインタラクトしている間、前記ユーザの生理学的応答をモニタリングすることをさらに含む、請求項１３に記載の方法。
  15. 前記生理学的応答が、胃筋電図記録、電気皮膚抵抗、アルファ波、心拍、視線検出及び頭部の動きの少なくとも１つを含む、請求項１４に記載の方法。
  16. 前記不快感軽減フィルタ効果の前記適用が、さらに、
    現在表示されている前記ＶＲコンテンツに視野絞りを適用することを含む、請求項１１に記載の方法。
  17. 前記ユーザの頭部の動きの速度が増加するにつれて視野を低減することと；
    前記ユーザの頭部の動きの速度が減少するにつれて視野を増大することとをさらに含む、請求項１６に記載の方法。
  18. 前記不快感軽減フィルタ効果の前記適用が、さらに、
    前記アプリケーションの実行に関連して生成されたＶＲコンテンツへオーバーレイとして視野絞りをリアルタイムで適用することを含む、請求項１１に記載の方法。
  19. 前記ユーザからのリクエストに応答して前記不快感軽減フィルタ効果を無効にすることをさらに含む、請求項１１に記載の方法。
  20. 前記ユーザからのリクエストに応答して前記不快感軽減フィルタ効果を有効にすることをさらに含む、請求項１１に記載の方法。
  21. 頭部装着ディスプレイ（ＨＭＤ）で用いる仮想現実（ＶＲ）コンテンツを見るときの不快感を軽減するコンピュータプログラムを格納する非一時的なコンピュータ可読媒体であって、
    アプリケーションを実行してユーザによってインタラクトするＶＲコンテンツを生成するプログラム命令と；
    前記ユーザにおける不快感を示す入力を受信するプログラム命令と；
    前記ＶＲコンテンツへオーバーレイとして視野絞りをリアルタイムで適用することによって、潜在的な不快感を軽減する目的で、表示するために生成されたＶＲコンテンツに不快感軽減フィルタ効果を適用するプログラム命令とを備える、非一時的なコンピュータ可読媒体。
JP2019512246A 2016-09-30 2017-08-14 頭部装着ディスプレイにおける仮想現実（ｖｒ）コンテンツの視野（ｆｏｖ）絞り Active JP6799144B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020192611A JP6977134B2 (ja) 2016-09-30 2020-11-19 頭部装着ディスプレイにおける仮想現実（ｖｒ）コンテンツの視野（ｆｏｖ）絞り

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201662402963P 2016-09-30 2016-09-30
US62/402,963 2016-09-30
US15/372,217 US10565777B2 (en) 2016-09-30 2016-12-07 Field of view (FOV) throttling of virtual reality (VR) content in a head mounted display
US15/372,217 2016-12-07
PCT/US2017/046826 WO2018063538A1 (en) 2016-09-30 2017-08-14 Field of view (fov) throttling of virtual reality (vr) content in a head mounted display

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2020192611A Division JP6977134B2 (ja) 2016-09-30 2020-11-19 頭部装着ディスプレイにおける仮想現実（ｖｒ）コンテンツの視野（ｆｏｖ）絞り

Publications (2)

Publication Number Publication Date
JP2020502603A true JP2020502603A (ja) 2020-01-23
JP6799144B2 JP6799144B2 (ja) 2020-12-09

Family

ID=61758354

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2019512246A Active JP6799144B2 (ja) 2016-09-30 2017-08-14 頭部装着ディスプレイにおける仮想現実（ｖｒ）コンテンツの視野（ｆｏｖ）絞り
JP2020192611A Active JP6977134B2 (ja) 2016-09-30 2020-11-19 頭部装着ディスプレイにおける仮想現実（ｖｒ）コンテンツの視野（ｆｏｖ）絞り

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2020192611A Active JP6977134B2 (ja) 2016-09-30 2020-11-19 頭部装着ディスプレイにおける仮想現実（ｖｒ）コンテンツの視野（ｆｏｖ）絞り

Country Status (5)

Country Link
US (3) US10565777B2 (ja)
EP (1) EP3519921B1 (ja)
JP (2) JP6799144B2 (ja)
CN (2) CN114995646A (ja)
WO (1) WO2018063538A1 (ja)

Families Citing this family (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10565777B2 (en) * 2016-09-30 2020-02-18 Sony Interactive Entertainment Inc. Field of view (FOV) throttling of virtual reality (VR) content in a head mounted display
US10401954B2 (en) * 2017-04-17 2019-09-03 Intel Corporation Sensory enhanced augmented reality and virtual reality device
US11164352B2 (en) * 2017-04-21 2021-11-02 Intel Corporation Low power foveated rendering to save power on GPU and/or display
US10945141B2 (en) * 2017-07-25 2021-03-09 Qualcomm Incorporated Systems and methods for improving content presentation
JP6934806B2 (ja) * 2017-11-02 2021-09-15 キヤノン株式会社 表示装置、表示装置の制御方法
KR102233099B1 (ko) * 2017-12-05 2021-03-29 한국전자통신연구원 기계학습에 기반한 가상 현실 콘텐츠의 사이버 멀미도 예측 모델 생성 및 정량화 조절 장치 및 방법
CN107977586B (zh) * 2017-12-22 2021-04-13 联想(北京)有限公司 显示内容处理方法、第一电子设备以及第二电子设备
US11188144B2 (en) * 2018-01-05 2021-11-30 Samsung Electronics Co., Ltd. Method and apparatus to navigate a virtual content displayed by a virtual reality (VR) device
JP2019152980A (ja) * 2018-03-01 2019-09-12 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
JP7210180B2 (ja) * 2018-07-25 2023-01-23 キヤノン株式会社 画像処理装置、画像表示装置、画像処理方法、及びプログラム
US20200066004A1 (en) * 2018-08-23 2020-02-27 International Business Machines Corporation Text focus for head mounted displays
GB2576905B (en) * 2018-09-06 2021-10-27 Sony Interactive Entertainment Inc Gaze input System and method
US10706631B2 (en) * 2018-10-31 2020-07-07 Advanced Micro Devices, Inc. Image generation based on brain activity monitoring
US10638165B1 (en) 2018-11-08 2020-04-28 At&T Intellectual Property I, L.P. Adaptive field of view prediction
KR102656801B1 (ko) * 2018-12-07 2024-04-15 한국전자통신연구원 가상 현실 컨텐츠에 대한 멀미 유발 요소 분석 방법 및 이를 위한 장치
JP6630911B1 (ja) * 2018-12-11 2020-01-15 株式会社Ｐｓｙｃｈｉｃ ＶＲ Ｌａｂ 治療支援システムおよび治療支援プログラム
KR102284266B1 (ko) * 2018-12-13 2021-08-02 한국과학기술원 신경 불일치 모델을 고려한 가상현실 멀미 평가 방법 및 그 장치
US10802287B2 (en) * 2019-01-14 2020-10-13 Valve Corporation Dynamic render time targeting based on eye tracking
EP3725354B1 (en) * 2019-04-15 2023-04-12 Nxp B.V. Audio controller
GB2585078B (en) * 2019-06-28 2023-08-09 Sony Interactive Entertainment Inc Content generation system and method
DE102019218302A1 (de) * 2019-11-26 2021-05-27 Zf Friedrichshafen Ag Detektieren von einer VR-Krankheit
US11252371B2 (en) * 2019-12-13 2022-02-15 Korea Advanced Institute Of Science And Technology Apparatus and method for virtual reality sickness reduction based on virtual reality sickness assessment
CN111031577B (zh) * 2019-12-18 2021-04-27 浙江大学 一种多节点无线动作捕捉节点扩充方法
US20210192681A1 (en) * 2019-12-18 2021-06-24 Ati Technologies Ulc Frame reprojection for virtual reality and augmented reality
CN111918063A (zh) * 2020-07-08 2020-11-10 北京兰亭数字科技有限公司 一种云渲染动态编码方法
US11353700B2 (en) 2020-10-07 2022-06-07 Industrial Technology Research Institute Orientation predicting method, virtual reality headset and non-transitory computer-readable medium
US11405484B2 (en) * 2020-11-30 2022-08-02 At&T Intellectual Property I, L.P. Variable-intensity immersion for extended reality media
US11452840B2 (en) * 2021-02-02 2022-09-27 Synapcis Inc. Apparatus and method to mitigate trauma via color palette transitions in a virtual sky projected in a digital space with a collection of gaze points experiencing cyclical size changes
US11458280B2 (en) * 2021-02-02 2022-10-04 Synapcis Inc. Apparatus and method for facilitating cognitive clarity via color palette transitions in a virtual sky projected in a digital space with a gaze point experiencing cyclical size changes
US20220409851A1 (en) * 2021-02-02 2022-12-29 Synapcis Inc. Apparatus and method for mitigating the effects of travel lag via color palette transitions in a virtual sky projected in a digital space
US20220409848A1 (en) * 2021-02-02 2022-12-29 Synapcis Inc. Apparatus and method to stimulate creativity via color palette transitions in a virtual sky projected in a digital space with a collection of gaze points experiencing cyclical size changes
US20220308341A1 (en) * 2021-03-29 2022-09-29 Tencent America LLC Towards subsiding motion sickness for viewport sharing for teleconferencing and telepresence for remote terminals
WO2022271719A1 (en) * 2021-06-22 2022-12-29 Synapcis Inc. Apparatus and method to mitigate trauma via color palette transitions in a virtual sky projected in a digital space with a collection of gaze points experiencing cyclical size changes
WO2022271711A1 (en) * 2021-06-22 2022-12-29 Synapcis Inc. Apparatus and method for facilitating cognitive clarity via color palette transitions in a virtual sky projected in a digital space with a gaze point experiencing cyclical size changes
CN113516782B (zh) * 2021-07-29 2023-09-05 中移（杭州）信息技术有限公司 Vr游戏渲染优化方法、装置、设备及计算机可读存储介质
CN114821006B (zh) 2022-06-23 2022-09-20 盾钰（上海）互联网科技有限公司 交互式间接推理的孪生体态检测方法及系统
CN116483208B (zh) * 2023-06-15 2023-10-10 北京交通大学 虚拟现实设备的防晕眩方法、装置、计算机设备及介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003189219A (ja) * 2001-10-11 2003-07-04 Eastman Kodak Co デジタル画像系列の表示システム及び表示方法
JP2006309612A (ja) * 2005-04-28 2006-11-09 Toppan Printing Co Ltd 画像表示装置
JP2011028633A (ja) * 2009-07-28 2011-02-10 Sony Corp 情報処理装置及び方法、並びに、プログラム
WO2012060169A1 (ja) * 2010-11-02 2012-05-10 シャープ株式会社 立体画像表示装置及びその表示調整方法
US20120134543A1 (en) * 2010-11-30 2012-05-31 Fedorovskaya Elena A Method of identifying motion sickness
JP2012123337A (ja) * 2010-12-10 2012-06-28 Nintendo Co Ltd 表示制御プログラム、表示制御装置、表示制御方法および表示制御システム
US8708884B1 (en) * 2013-03-11 2014-04-29 The United States Of America As Represented By The Secretary Of The Army Systems and methods for adaptive mitigation of motion sickness

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7528835B2 (en) * 2005-09-28 2009-05-05 The United States Of America As Represented By The Secretary Of The Navy Open-loop controller
US9994228B2 (en) * 2010-05-14 2018-06-12 Iarmourholdings, Inc. Systems and methods for controlling a vehicle or device in response to a measured human response to a provocative environment
US8690750B2 (en) * 2010-05-14 2014-04-08 Wesley W. O. Krueger System and method for measuring and minimizing the effects of vertigo, motion sickness, motion intolerance, and/or spatial disorientation
US9897805B2 (en) * 2013-06-07 2018-02-20 Sony Interactive Entertainment Inc. Image rendering responsive to user actions in head mounted display
US9583019B1 (en) * 2012-03-23 2017-02-28 The Boeing Company Cockpit flow training system
JP6026836B2 (ja) * 2012-09-28 2016-11-16 パイオニア株式会社 画像表示装置、制御方法、プログラム及び記憶媒体
US9645395B2 (en) 2013-03-15 2017-05-09 Mark Bolas Dynamic field of view throttling as a means of improving user experience in head mounted virtual environments
US10019057B2 (en) * 2013-06-07 2018-07-10 Sony Interactive Entertainment Inc. Switching mode of operation in a head mounted display
US9977495B2 (en) * 2014-09-19 2018-05-22 Utherverse Digital Inc. Immersive displays
US10007333B2 (en) * 2014-11-07 2018-06-26 Eye Labs, LLC High resolution perception of content in a wide field of view of a head-mounted display
US9756375B2 (en) * 2015-01-22 2017-09-05 Microsoft Technology Licensing, Llc Predictive server-side rendering of scenes
JP6203346B1 (ja) * 2016-08-16 2017-09-27 株式会社コロプラ 仮想空間を提供する方法、プログラム、および記録媒体
US10565777B2 (en) * 2016-09-30 2020-02-18 Sony Interactive Entertainment Inc. Field of view (FOV) throttling of virtual reality (VR) content in a head mounted display

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003189219A (ja) * 2001-10-11 2003-07-04 Eastman Kodak Co デジタル画像系列の表示システム及び表示方法
JP2006309612A (ja) * 2005-04-28 2006-11-09 Toppan Printing Co Ltd 画像表示装置
JP2011028633A (ja) * 2009-07-28 2011-02-10 Sony Corp 情報処理装置及び方法、並びに、プログラム
WO2012060169A1 (ja) * 2010-11-02 2012-05-10 シャープ株式会社 立体画像表示装置及びその表示調整方法
US20120134543A1 (en) * 2010-11-30 2012-05-31 Fedorovskaya Elena A Method of identifying motion sickness
JP2012123337A (ja) * 2010-12-10 2012-06-28 Nintendo Co Ltd 表示制御プログラム、表示制御装置、表示制御方法および表示制御システム
US8708884B1 (en) * 2013-03-11 2014-04-29 The United States Of America As Represented By The Secretary Of The Army Systems and methods for adaptive mitigation of motion sickness

Also Published As

Publication number Publication date
CN114995646A (zh) 2022-09-02
WO2018063538A1 (en) 2018-04-05
JP6977134B2 (ja) 2021-12-08
EP3519921B1 (en) 2023-05-17
US10255715B2 (en) 2019-04-09
EP3519921A1 (en) 2019-08-07
US20180096517A1 (en) 2018-04-05
US10565777B2 (en) 2020-02-18
JP2021051756A (ja) 2021-04-01
US20180096518A1 (en) 2018-04-05
CN109791440A (zh) 2019-05-21
JP6799144B2 (ja) 2020-12-09
US20190236836A1 (en) 2019-08-01
CN109791440B (zh) 2022-06-24
US11176731B2 (en) 2021-11-16

Similar Documents

Publication Publication Date Title
JP6977134B2 (ja) 頭部装着ディスプレイにおける仮想現実（ｖｒ）コンテンツの視野（ｆｏｖ）絞り
US20230414899A1 (en) Classifying a discomfort level of a user when interacting with virtual reality (vr) content
JP7164630B2 (ja) 予測サッカード着地点に基づく動的グラフィックスレンダリング
TWI732194B (zh) 用於在hmd環境中利用傳至gpu之預測及後期更新的眼睛追蹤進行快速注視點渲染的方法及系統以及非暫時性電腦可讀媒體
US20230381649A1 (en) Method and system for automatically controlling user interruption during game play of a video game

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190410

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200528

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200804

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201005

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201020

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201119

R150 Certificate of patent or registration of utility model

Ref document number: 6799144

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250