JP2019513516A - 人の視覚パフォーマンスを査定するために視覚データを入手し、集計し、解析する方法およびシステム - Google Patents

人の視覚パフォーマンスを査定するために視覚データを入手し、集計し、解析する方法およびシステム Download PDF

Info

Publication number
JP2019513516A
JP2019513516A JP2019503641A JP2019503641A JP2019513516A JP 2019513516 A JP2019513516 A JP 2019513516A JP 2019503641 A JP2019503641 A JP 2019503641A JP 2019503641 A JP2019503641 A JP 2019503641A JP 2019513516 A JP2019513516 A JP 2019513516A
Authority
JP
Japan
Prior art keywords
visual
data
user
patient
stimuli
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2019503641A
Other languages
English (en)
Inventor
キツァー,ラヒム カデリ,サイド
キツァー,ラヒム カデリ,サイド
コマラ レディー,モハン
コマラ レディー,モハン
クリストファー マクダーモット,カイル
クリストファー マクダーモット,カイル
Original Assignee
ヴィッツァリオ,インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ヴィッツァリオ,インコーポレイテッド filed Critical ヴィッツァリオ,インコーポレイテッド
Publication of JP2019513516A publication Critical patent/JP2019513516A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271Specific aspects of physiological measurement analysis
    • A61B5/7275Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0091Fixation targets for viewing direction
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/02Subjective types, i.e. testing apparatus requiring the active assistance of the patient
    • A61B3/024Subjective types, i.e. testing apparatus requiring the active assistance of the patient for determining the visual field, e.g. perimeter types
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/02Subjective types, i.e. testing apparatus requiring the active assistance of the patient
    • A61B3/028Subjective types, i.e. testing apparatus requiring the active assistance of the patient for testing visual acuity; for determination of refraction, e.g. phoropters
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165Evaluating the state of mind, e.g. depression, anxiety
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316Modalities, i.e. specific diagnostic methods
    • A61B5/369Electroencephalography [EEG]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316Modalities, i.e. specific diagnostic methods
    • A61B5/369Electroencephalography [EEG]
    • A61B5/377Electroencephalography [EEG] using evoked responses
    • A61B5/378Visual stimuli
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • A63F13/21Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/212Input arrangements for video game devices characterised by their sensors, purposes or types using sensors worn by the player, e.g. for measuring heart beat or leg activity
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25Output arrangements for video game devices
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • G09G5/006Details of the interface to the display terminal
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024Detecting, measuring or recording pulse rate or heart rate
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316Modalities, i.e. specific diagnostic methods
    • A61B5/369Electroencephalography [EEG]
    • A61B5/377Electroencephalography [EEG] using evoked responses
    • A61B5/38Acoustic or auditory stimuli
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/06Adjustment of display parameters
    • G09G2320/0693Calibration of display systems
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00Aspects of interface with display user
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Ophthalmology & Optometry (AREA)
  • Multimedia (AREA)
  • Pathology (AREA)
  • Psychiatry (AREA)
  • Optics & Photonics (AREA)
  • Cardiology (AREA)
  • Psychology (AREA)
  • Physiology (AREA)
  • Computer Hardware Design (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Signal Processing (AREA)
  • Developmental Disabilities (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Child & Adolescent Psychology (AREA)
  • Databases & Information Systems (AREA)
  • Educational Technology (AREA)
  • Hospice & Palliative Care (AREA)
  • Data Mining & Analysis (AREA)

Abstract

本明細書は、視覚プロファイルおよびターゲット・アプリケーションに基づいて、仮想現実感、増補現実感、混合現実感(VR/AR/MxR)媒体などの媒体を変更する方法およびシステムを説明する。本明細書の実施形態では、ユーザおよびユーザ・グループの様々な視覚プロファイルの同定を可能にする感覚データ交換(SDE)が作成される。SDEは、ユーザおよび/またはユーザ・グループの各タイプに関連して1つまたは複数の媒体を変更するのに使用される。【選択図】図8

Description

相互参照
本願は、優先権に関して、以下の米国特許仮出願に依拠する。
2016年11月23日に出願した「Methods and Systems for Gathering Visual Performance Data and Modifying Media Based on the Visual Performance Data」を名称とする、米国特許仮出願第62/425,736号、、
同一の名称で2016年8月31日に出願した米国特許仮出願第62/381,784号、
2016年7月15日に出願した「Systems and Methods for Creating Virtual Content Representations Via A Sensory Data Exchange Platform」を名称とする、米国特許仮出願第62/363,074号、
2016年7月8日に出願した「Virtual Content Representations」を名称とする、米国特許仮出願第62/359,796号、
同一の名称で2016年4月14日に出願した米国特許仮出願第62/322,741号、および
同一の名称で2016年4月8日に出願した米国特許仮出願第62/319,825号。
本明細書は、概してビジョン・ケア(vision care)に関し、より具体的には、個人の視覚パフォーマンス(vision performance)を査定するために視覚データを入手し、集計し、解析する方法およびシステムに関する。
近年、タブレット・コンピュータおよび携帯電話機などの様々な媒体を介する仮想現実感(VR)環境、増補現実感(AR)、混合現実感(MxR)応用例を含む様々な視覚的経験の到来が、ユーザの視覚により多くの負担をかけてきた。視覚に対する負担の信頼できる測定は、多数の心理測定、様々な視野パラメータがこれらの心理測定にどのように影響するのか、およびある種の視覚障害を回避するためにこれらの視野パラメータがどのように変更され得るのかの理解を必要とする。
次に、これは、その多くが閉ループである、脳との複数の感覚インターフェースの相互運用性、接続性、およびモジュール性の理解を必要とする。
AR/VR用の現在の測定システムおよびレーティング・システムは、本質的に定性的である。さらに、臨床検査インターフェースは、EEG、MRI、EOG、MEG、fMRI、超音波、およびマイクロ波を含む。視界を測定するための従来の業界標準規格は、アムスラー・グリッド、ハンフリー視野計、Frequency−Doubling technology、視野検査(Tangent Screen Exam)、ゴールドマン法(Goldmann Method)、およびオクトパス視野計などの検査を含む。正確さのために、補償トラッキング、Jenson Box、およびヒックの法則の検査/標準規格が通常は使用される。マルチトラッキングの業界標準検査は、聴覚的連続加算(auditory serial addition)、Posner Cueing Task、およびD2 Test of Attentionを含む。持久力に関して、通常の業界標準検査は、Visual Field Perimetry(固視を維持する)検査および光干渉断層撮影(OCT)検査を含む。業界標準検出検査は、石原検査(色覚/検査表)、ファンズワース−マンセル100色試験、Pelli Robson Contrast Sensitivity Chart、Vistech Contrast検査、スネレン試視力表、ETDRS、および視力検査表(向きを変えた「C」)を含む。
これらの従来の業界標準および臨床基準が、視力検査に関して存在はするが、複数の別個の測定を単一の集計された測定値に統合する包括的な視覚機能インデックスまたは視覚機能査定の必要が未だに存在する。また、複数のデータ点の集計定量化を提供するソフトウェア・インターフェースが必要である。また、眼の健康を監視し、視覚に対する経時的な変化を同定する方法およびシステムが必要である。
本明細書は、複数のプログラム命令を実行するようにプログラムされたコンピューティング・デバイスを使用して患者の視覚パフォーマンスを査定する方法であって、コンピューティング・デバイスを介して、視覚的刺激および/または聴覚的刺激の第1のセットを提示することと、コンピューティング・デバイスおよび別々のハードウェア・デバイスのうちの少なくとも1つを使用して患者の第1の複数のリアクション(reaction)を監視することと、コンピューティング・デバイスを介して、視覚的刺激および/または聴覚的刺激の第2のセットを提示することと、コンピューティング・デバイスおよび別々のハードウェア・デバイスのうちの少なくとも1つを使用して患者の第2の複数のリアクションを監視することと、前記第1の複数のリアクションおよび前記第2の複数のリアクションに基づいて、患者の視界、視力、複数の刺激をトラッキングする患者の能力、視覚的持久力、および視覚的検出を表す定量値を判定することとを含む方法に関する。
任意選択で、本方法は、視界、視力、複数の刺激を追跡する患者の能力、視覚的持久力、および視覚的検出の集計を表す単一の視覚パフォーマンス値を生成することをさらに含む。任意選択で、第1の複数のリアクションは、高速走査データ、サッケード運動データ、瞬目率(blink rate)データ、固視データ、瞳孔径データ、および瞼裂距離データのうちの少なくとも1つを含む。任意選択で、第2の複数のリアクションは、高速走査データ、サッケード運動データ、固視データ、瞬目率データ、瞳孔径データ、頭部運動速さデータ、頭部運動方向データ、心拍数データ、運動反応時間データ、円滑追跡データ、瞼裂距離データ、脳波活動の度合およびレート・データ、ならびに収束の度合データのうちの少なくとも1つを含む。
任意選択で、ハードウェア・デバイスは、眼球運動データを獲得するように構成されたカメラと、頭部運動のレートおよび/または方向を検出するように構成されたセンサと、心拍数を検出するように構成されたセンサと、脳波を検出するためのEEGセンサとのうちの少なくとも1つを含む。任意選択で、患者の視界を表す定量値は、患者の中心視の質を表すデータと、患者の周辺視の質を表すデータとを含む。任意選択で、患者の視力を表す定量値は、視覚的刺激および/または聴覚的刺激の前記第1のセットに対する患者のリアクション時間の質を表すデータを含む。任意選択で、患者の視力を表す定量値は、視覚的刺激の前記第1のセットの患者の正確なターゲティングの質を表すデータを含み、視覚的刺激の前記第1のセットの患者の正確なターゲティングの前記質は、視覚的刺激の第1のセットの位置に対する患者の身体反応の位置に基づく。
任意選択で、複数の刺激をトラッキングする患者の患者の能力を表す定量値は、視覚的刺激の第2のセット内の複数の要素を同時にトラッキングする患者の能力の質を表すデータを含む。任意選択で、患者の視覚的持久力を表す定量値は、視覚的刺激および/または聴覚的刺激の第1のセットの提示の持続時間にわたる患者のリアクション時間の減少を表すデータを含む。任意選択で、患者の視覚的持久力を表す定量値は、休憩期間の後の視覚的刺激および/または聴覚的刺激の第2のセットの提示の持続時間にわたる患者のリアクション時間の改善を表すデータを含む。任意選択で、患者の視覚的検出を表す定量値は、患者が視覚的刺激の第1のセットをどの程度まで見るのかを表すデータを含む。任意選択で、患者の視覚的検出を表す定量値は、患者が視覚的刺激の第1のセット内の同じ色、コントラスト、または形状を有する物体間をどの程度まで区別できるのかを表すデータを含む。
別の実施形態では、本明細書は、複数のプログラム命令を実行するようにプログラムされたコンピューティング・デバイスを使用して患者の視覚パフォーマンスを査定する方法であって、コンピューティング・デバイス上のディスプレイを介して、視覚的刺激の第1のセットを提示することであって、視覚的刺激の第1のセットは、患者の周辺視から患者の中心視へ移動する第1の複数の視覚要素を含む、提示することと、コンピューティング・デバイスおよび別々のハードウェア・デバイスのうちの少なくとも1つを使用して患者の第1の複数のリアクションを監視することと、コンピューティング・デバイス上のディスプレイを介して、視覚的刺激の第2のセットを提示することであって、視覚的刺激の第2のセットは、患者が前記第2の複数の視覚要素に物理的にタッチする際に出現し、消滅する、第2の複数の視覚要素を含む、提示することと、コンピューティング・デバイスおよび前記別々のハードウェア・デバイスのうちの少なくとも1つを使用して患者の第2の複数のリアクションを監視することと、前記第1の複数のリアクションおよび前記第2の複数のリアクションに基づいて、患者の視界、視力、複数の刺激を追跡する患者の能力、視覚的持久力、および視覚的検出を表す定量値を判定することとを含む方法に関する。
任意選択で、第1の複数の視覚要素の少なくとも一部は、経時的に減少するサイズを有する。任意選択で、第1の複数の視覚要素の少なくとも一部は、経時的に増加する運動の速さを有する。任意選択で、経時的に、第1の複数の視覚要素のうちのより多くが、前記コンピューティング・デバイス上に同時に現れる。任意選択で、第3の複数の視覚要素は、前記第2の複数の視覚要素と並行に現れ、第3の複数の視覚要素は、第2の複数の視覚要素とは異なって見え、患者が前記第3の複数の視覚要素のいずれかに物理的にタッチする場合に、患者の視力を表す定量値は、減らされる。
任意選択で、コンピューティング・デバイス上のディスプレイを介して、視覚的刺激の第3のセットを提示することであって、視覚的刺激の第3のセットは、第4の複数の視覚要素を含む、提示することと、コンピューティング・デバイスおよび前記別々のハードウェア・デバイスのうちの少なくとも1つを使用して患者の第3の複数のリアクションを監視することと、前記第1の複数のリアクション、前記第2の複数のリアクション、および前記第3の複数のリアクションに基づいて、患者の視界、視力、複数の刺激をトラッキングする患者の能力、視覚的持久力、および視覚的検出を表す定量値を判定することとをさらに含む。任意選択で、患者は、色、コントラスト、および/または形状の特定の組合せを有する第4の複数の視覚要素のうちの1つを同定するように指示される。
本方法が、上では視覚的刺激を提示する特定の順序を有するものとして説明されるが、本発明が、視覚要素の提示および特定の患者視覚定量値の対応する監視の任意の順序に関することを理解されたい。たとえば、任意選択で、第2の複数の視覚要素のうちの少なくとも一部が、経時的に減少するサイズを有する。任意選択で、第2の複数の視覚要素のうちの少なくとも一部が、経時的に増加する移動の速さを有する。任意選択で、経時的に、第2の複数の視覚要素のうちのより多くが、前記コンピューティング・デバイス上に並行して現れる。任意選択で、第3の複数の視覚要素が、前記第1の複数の視覚要素と同時に現れ、第3の複数の視覚要素は、第1の複数の視覚要素とは異なって見え、患者が、前記第1の複数の視覚要素ではなく前記第3の複数の視覚要素のいずれかに物理的に触れる場合に、患者の視力の定量値表現が減らされる。
本発明の前述の実施形態および他の実施形態は、図面および下で提供される詳細な説明においてより徹底的に説明される。
本明細書の上記および他の特徴および利点は、添付図面に関連して考慮される時に以下の詳細な説明を参照することによってより一層分かるため、理解されるであろう。
本明細書の実施形態による、感覚データ交換プラットフォーム(SDEP)とのユーザ対話を示すブロック図である。 本明細書の実施形態による、クエリ・プロセッサに達する前のセンサ・データ・ストリームの処理を示すブロック図である。 データ解析チェーンの例示的概要を示す図である。 データ解析チェーンの例示的概要を示す図である。 本明細書の実施形態による、デジタル・データのソースの概要を示す図である。 本明細書の実施形態による、映像データの特性メトリックを示す図である。 本明細書の実施形態による、色対混同構成要素のグラフ表現を示す図である。 3Dクロモルミナンス空間に投影されたディスプレイ色域の最上部表面にある所与の色度に関して輝度がどのように見つけられ得るのかを示すグラフである。 本明細書の実施形態による、聴覚情報の特性メトリックを示す図である。 本明細書の例示的実施形態による、アイ・トラッキングの特性メトリックを示す図である。 本明細書の実施形態による、手入力の特性メトリックを示す図である。 本明細書の実施形態による、ヘッド・トラッキングの特性メトリックを示す図である。 本明細書の実施形態による、電気生理学監視データおよび自律神経監視データの特性メトリックを示す図である。 本明細書の実施形態による、精選されたデータを構築するイメージ解析の例示的プロセスを示す図である。 本明細書の実施形態による、精選されたデータを構築するイメージ解析の例示的プロセスを示す図である。 本明細書の実施形態による、精選されたデータを構築するイメージ解析の例示的プロセスを示す図である。 本明細書の実施形態による、精選されたデータを構築するイメージ解析の例示的プロセスを示す図である。 経時的な瞳孔の位置およびサイズと凝視位置とを示す図である。 経時的な瞳孔の位置およびサイズと凝視位置とを示す図である。 本明細書のいくつかの実施形態による、求心性ソースおよび遠心性ソースの例示的なメトリックのリストを含む表である。 本明細書のいくつかの実施形態による、求心性ソースおよび遠心性ソースの例示的なメトリックのリストを含む表である。 本明細書のいくつかの実施形態による、求心性ソースおよび遠心性ソースの例示的なメトリックのリストを含む表である。 本明細書のいくつかの実施形態による、求心性ソースおよび遠心性ソースの例示的なメトリックのリストを含む表である。 本明細書のいくつかの実施形態による、求心性ソースおよび遠心性ソースの例示的なメトリックのリストを含む表である。 ソフトウェア・アプリケーションからSDEPへのデータの流れの概要を示す例示的な流れ図である。 本明細書の実施形態による、プロセス・フローの前処理部分の例示的な概要を示す図である。 解析チェーンのパイソン・スクリプト部分の例示的な概要を示す図である。 解析チェーンのパイソン・スクリプト部分の例示的な概要を示す図である。 解析チェーンのパイソン・スクリプト部分の例示的な概要を示す図である。 解析チェーンのパイソン・スクリプト部分の例示的な概要を示す図である。 ユーザ対話の生体模倣に基づいて精神測定関数を処理し、視覚的挙動および知覚をモデル化するのにSDEPを利用する中央システムを実施する例示的環境を示す図である。 本明細書の実施形態による、サイト・キット(sight kit)アプリケーションを介して現れる可能性がある空の画面およびエラー画面のスクリーンショットを示す図である。 本明細書の実施形態による、サイト・キット・アプリケーションを介して現れる可能性があるスプラッシュ画面のスクリーンショットを示す図である。 本明細書の実施形態による、サイト・キット・アプリケーションを介して現れる可能性があるホーム画面のスクリーンショットを示す図である。 本明細書の実施形態による、サイト・キット・アプリケーションを介して現れる可能性がある「ジョン・スノウ」という名前のユーザによる例示的な登録を含むログイン(登録)プロセスの一連の(AからFまで)スクリーンショットを示す図である。 本明細書の実施形態による、サイト・キット・アプリケーションを介して現れる可能性がある契約条件を含む画面のスクリーンショットを示す図である。 本明細書の実施形態による、ユーザが自分のログイン情報を忘れた場合にサイト・キット・アプリケーションを介して現れる可能性がある一連の(AからBまで)スクリーンショットを示す図である。 本明細書の実施形態による、サイト・キット・アプリケーションを介して現れる可能性がある、ユーザに人口統計の質問を与える画面の一連のスクリーンショットを示す図である。 本明細書の実施形態による、サイト・キット・アプリケーションを介して現れる可能性がある、ユーザに人口統計の質問を与える画面のさらなる一連のスクリーンショットを示す図である。 本明細書の実施形態による、サイト・キット・アプリケーションを介して現れる可能性がある、ユーザに人口統計の質問を与える画面のさらなる一連のスクリーンショットを示す図である。 本明細書の実施形態による、サイト・キット・アプリケーションを介して現れる可能性がある、ユーザに初期VPIレポートを提示する画面の一連のスクリーンショットを示す図である。 本明細書の実施形態による、サイト・キット・アプリケーションを介して現れる可能性がある、プレイするゲームを選択するようにユーザに促す、別々の時に現れる可能性がある異なる画面のスクリーンショットを示す図である。 本明細書の実施形態による、サイト・キット・アプリケーションを介して提示される可能性がある、風船割りラウンド1指示のスクリーンショットを示す図である。 本明細書の実施形態による、サイト・キット・アプリケーションを介して提示される可能性がある、風船割りラウンド1ゲームのスクリーンショットを示す図である。 本明細書の実施形態による、サイト・キット・アプリケーションを介して提示される可能性がある、風船割りラウンド2指示のスクリーンショットを示す図である。 本明細書の実施形態による、サイト・キット・アプリケーションを介して提示される可能性がある、風船割りラウンド2ゲームのスクリーンショットを示す図である。 本明細書の実施形態による、サイト・キット・アプリケーションを介して提示される可能性がある、風船割りラウンド3指示のスクリーンショットを示す図である。 本明細書の実施形態による、サイト・キット・アプリケーションを介して提示される可能性がある、風船割りラウンド3ゲームのスクリーンショットを示す図である。 本明細書の実施形態による、サイト・キット・アプリケーションを介して提示される可能性がある、ピクチャ・パーフェクト(Picture Perfect)ラウンド1ゲームの一連のスクリーンショットを示す図である。 本明細書の実施形態による、サイト・キット・アプリケーションを介して提示される可能性がある、ピクチャ・パーフェクト・ラウンド1ゲームの一連のスクリーンショットを示す図である。 本明細書の実施形態による、サイト・キット・アプリケーションを介して提示される可能性がある、ピクチャ・パーフェクト・ラウンド2ゲームの一連のスクリーンショットを示す図である。 本明細書の実施形態による、サイト・キット・アプリケーションを介して提示される可能性がある、ピクチャ・パーフェクト・ラウンド2ゲームの一連のスクリーンショットを示す図である。 本明細書の実施形態による、サイト・キット・アプリケーションを介して提示される可能性がある、ピクチャ・パーフェクト・ラウンド2ゲームの一連のスクリーンショットを示す図である。 本明細書の実施形態による、サイト・キット・アプリケーションを介して提示される可能性がある、ユーザのための例示的なゲーム後レポートのスクリーンショットを示す図である。 本明細書の実施形態による、サイト・キット・アプリケーションを介して提示される可能性がある、「形状リミックス(Shape Remix)」ゲーム、その指示、およびゲーム後レポートのスクリーンショットの同様のセットを示す図である。 本明細書の実施形態による、サイト・キット・アプリケーションを介して提示される可能性がある、「形状リミックス」ゲーム、その指示、およびゲーム後レポートのスクリーンショットの同様のセットを示す図である。 本明細書の実施形態による、サイト・キット・アプリケーションを介して提示される可能性がある、「形状リミックス」ゲーム、その指示、およびゲーム後レポートのスクリーンショットの同様のセットを示す図である。 本明細書の実施形態による、サイト・キット・アプリケーションを介して提示される可能性がある、異なるゲームをプレイした後のVPIゲーム・レポートのスクリーンショットを示す図である。 本明細書の実施形態による、医師および/またはアイ・ケア従業者を提案する、ユーザのVPIレポートに基づいて現れる可能性があるいくつかのスクリーンショットを示す図である。 本明細書の実施形態による、サイト・キット・アプリケーションを介して現れる可能性がある、ユーザのプロファイルを提示する画面のいくつかのスクリーンショットを示す図である。 本明細書の実施形態による、サイト・キット・アプリケーションを介して現れる可能性がある、VPI解析結果のいくつかのスクリーンショットを示す図である。 本明細書の実施形態による、サイト・キット・アプリケーションを介して各FAMEDパラメータに関する詳細を提供するVPI解析結果のいくつかのスクリーンショットを示す図である。 本明細書の実施形態による、サイト・キット・アプリケーションを介して各FAMEDパラメータ内のパラメータの詳細を提供するVPI解析結果のいくつかのスクリーンショットを示す図である。 本明細書の実施形態による、サイト・キット・アプリケーションを介して各FAMEDパラメータ内のパラメータのさらなる詳細を提供するVPI解析結果のいくつかのスクリーンショットを示す図である。 本明細書の実施形態による、サイト・キット・アプリケーションを介して提示される可能性がある「セッティング」および「セッティング」内の関連するオプションのスクリーンショットを示す図である。 異なるゲームおよびラウンドからの異なるVPIパラメータの例示的な経験を示す表である。 異なるゲームおよびラウンドからの異なるVPIパラメータの例示的な経験を示す表である。
一実施形態では、本明細書は、様々な刺激に反応する人間の眼の機能および解剖学に関するより詳細なデータを収集するためにビジョン・サービス・プロバイダに提供される方法、システム、およびソフトウェアを説明する。
一実施形態では、感覚データ交換プラットフォーム(SDEP)が提供され、SDEPは、ゲーム、特にモバイル・アプリケーションまたは他の媒体および/もしくはソフトウェアの開発者がユーザおよび/またはユーザのグループのために媒体を最適化することを可能にすることができる。実施形態では、SDEPまたは少なくともその一部は、コンピュータ、ポータブル・コンピューティング・デバイス、モバイル・デバイス、または仮想現実感(VR)、増補現実感(AR)、および/もしくは混合現実感MxR媒体を提示することのできる任意の他のデバイスを含む1つまたは複数の電子媒体デバイスを介してエンドユーザに提示されるソフトウェア・アプリケーション内に実装される。
一実施形態では、ユーザは、ソフトウェアがユーザ・データを収集し、これをSDEPに供給することを可能にする形でSDEPの少なくとも一部を実施するソフトウェア・プログラムと対話する。一実施形態では、ユーザは、データ収集を容易にするためにSDEPと直接的にまたは間接的に対話することができる。一実施形態では、SDEPは、複数の感覚データ入力およびバイオメトリック・データ入力と、感覚データおよびバイオメトリック・データを解析するための複数のプログラム命令と、統合された視覚的査定を送信するための複数の出力とを備える動的な両方向データ交換プラットフォームである。
いくつかの実施形態では、SDEPは、全般的な集合的出力として「映像データ・プロファイル」または「視覚パフォーマンス・インデックス」(VPI)を出力する。いくつかの実施形態では、SDEPは、全般的な集合的出力として視覚パフォーマンス・ペルソナを出力する。映像データ・プロファイルまたは視覚パフォーマンス・インデックスは、VR/AR/MxRシステムでの宣伝、ゲーミング、またはコンテンツの媒体プレゼンテーションを最適化するのに使用され得る。実施形態では、本明細書のプラットフォームは、個人のライフスタイルおよび習慣の理解の質を高めることのできる複数の他のデータ・セットを取り込むことができる。さらに、機械学習技法、コンピュータ・ビジョン技法、および深層学習技法が、個人のデータの解析を介して健康結果を監視し、予測するのを助けるのに使用される。実施形態では、視覚パフォーマンス・インデックスが、視覚機能を測定するツールとして使用される。実施形態では、視覚パフォーマンス・インデックスは、本明細書全体で説明される任意の複数のデータまたはデータの組合せに基づいて生成され得、本明細書で提示される例には限定されない。
一実施形態では、SDEPは、ハードウェア(モバイル、コンピュータ、またはヘッド・マウント・ディスプレイ(HMD)など)上で実行されるオペレーティング・システムを介して使用される。別の実施形態では、SDEPは、1つまたは複数のコンテンツ開発者によって使用される。一実施形態では、ハードウェアとコンテンツ開発者との両方がSDEPを使用する。SDEPは、ユーザが提示されるコンテンツにどのようにインターフェースをとるのか、ユーザがコンテンツのどの態様に最も深くかかわるのか、およびユーザがどのようにかかわるのかに関するデータの収集を可能にすることができる。SDEPを介して収集されたデータは、同様の人口統計を有するユーザおよびまたはユーザのグループのプロファイルを作成するために処理され得る。コンテンツは、そのユーザおよび同様のプロファイルを有する他のユーザの経験を最適化する形でVR/AR/MxRシステムのハードウェア能力に従う形で、特定のプロファイルに関して表現され得る。
本明細書は、複数の実施形態に関する。以下の開示は、当業者が本発明を実践することを可能にするために提供されるものである。本明細書で使用される言葉は、任意の一特定の実施形態の全般的否定として解釈されてはならず、本明細書で使用される用語の意味を超えて特許請求の範囲を限定するのに使用されてはならない。本明細書で定義される全般的な原理は、本発明の趣旨および範囲から逸脱することなく、他の実施形態および応用例に適用され得る。また、使用される用語および語法は、例示的実施形態を説明するためのものであって、限定的と考えられてはならない。したがって、本発明は、開示される原理および特徴と一貫する多数の代替形態、変更、および同等物を含む最も広い範囲に従わなければならない。明瞭さのために、本発明に関する技術分野で既知の技術的材料に関する詳細は、本発明を不必要に不明瞭にすることをなくすために、詳細には説明されない。
用語「および/または」は、リストされた要素のうちの1つもしくはすべてまたはリストされた要素のうちの任意の2つ以上の組合せを意味する。
用語「含む(comprises)」およびその変形は、これらの用語がこの説明および特許請求の範囲の現れる場合に、限定的な意味を有しない。
別途指定のない限り、「a」、「an」、「the」、「1つまたは複数(one or more)」、および「少なくとも1つ(at least one)」は、交換可能に使用され、1つまたは複数を意味する。
別個のステップを含む本明細書で開示されるすべての方法について、ステップは、任意の実現可能な順序で実行され得る。また、適当な場合に、2つ以上のステップの任意の組合せが、同時に実行され得る。
また、本明細書では、端点による数値範囲の記述は、その範囲に含まれるすべての整数または少数を含む(たとえば、1から5までは、1、1.5、2、2.75、3、3.80、4、5などを含む)。別途指定のない限り、本明細書および特許請求の範囲で使用される構成要素の量、分子量、その他を表すすべての数は、すべての場合において、用語「約」によって修飾されるものとして理解されなければならない。したがって、別途指定のない限り、本明細書および特許請求の範囲で示される数値パラメータは、本発明によって入手されることが目指される所望の特性に依存して変化する可能性がある近似値である。少なくとも、請求項の範囲の同等物の原理を制限する試みとしてではなく、各数値パラメータは、少なくとも、報告される有効桁の数に鑑み、通常の丸め技法を適用することによって解釈されなければならない。
本発明の広義の範囲を示す数値範囲およびパラメータ・セッティングが近似であるにもかかわらず、特定の例において示される数値は、できる限り正確に報告される。しかし、すべての数値は、それぞれの検査測定において見出される標準偏差から余儀なく生ずる範囲を本質的に含む。
本明細書では、別途指定のない限り、特定の実施形態に関連して説明されるすべての特徴または構成要素が、任意の他の実施形態と共に使用され得、実施され得ることに留意されたい。
本明細書で提示されるすべての求心性データおよび収集される遠心性データが、下でさらに説明されるように、求心性データを提示し、追跡し、監視し、遠心性データを監視し、測定し、追跡するように特に設計された複数のプログラム命令を実行する携帯電話機、ラップトップ、タブレット・コンピュータ、または特製ハードウェア・デバイスなどのハードウェア・デバイスを使用して実行されることをさらに理解されたい。
一般的な定義
用語「仮想現実感」または「VR」は、本明細書全体で使用され、実施形態において、没入的なコンピュータによってシミュレートされた現実感すなわち、内部に画面を有するヘルメットおよび/またはセンサを取り付けられたグローブなどの特殊な電子機器を使用する人によって外見上は現実的な方法または物理的な方法で対話され得る3次元イメージまたは3次元環境のコンピュータで生成されたシミュレーションを指す。
実施形態において、本明細書全体でVRと一緒にも使用される増補現実感(AR)は、現実世界のユーザのビューにコンピュータ生成されたイメージを重畳し、これによって合成ビューを提供する技術である。実施形態において、一般的なヘルメット様デバイスは、HMDであり、このMHDは、頭に装着されるかヘルメットの一部として装着され、片眼(単眼HMD)または各眼(両眼HMD)の前に小型ディスプレイ光学系を有するディスプレイ・デバイスである。実施形態において、SDEPは、任意の当事者が視覚的に提示される成果またはサービスを改善しまたは他の形で変更するためにアクセスすることのできるクラウドベースのサービスである。
さらに、実施形態において、混合現実感(MxR)も、本明細書全体でVRおよびARと共に使用される。MxRは、ハイブリッド現実感とも呼ばれるが、物理的な物体とデジタルな物体とが共存し、リアル・タイムで相互作用する、新しいレベルの視覚的経験を作るための、VR環境および/またはAR環境と現実環境との合併である。
実施形態では、VRデバイス、ARデバイス、およびMxRデバイスは、電子媒体デバイスと、コンピューティング・デバイスと、携帯電話機、ラップトップ、携帯情報端末(PDA)、またはVR媒体、AR媒体、もしくはMxR媒体をサポートできる任意の他の電子デバイスを含むポータブル・コンピューティング・デバイスのうちの1つまたは複数を含むことができる。本明細書では、本明細書が仮想現実感のコンテキストにおいて開示されるが、下で説明されるシステムおよび方法のすべてが、増補現実感環境ならびに混合現実感環境においても使用され得ることに留意されたい。したがって、仮想現実感(VR)システムが説明される場合には、当業者は、同一の概念が増補現実感(AR)システムおよび混合現実感(MxR)システムに適用され得ることを理解されたい。
アイトラッキングの定義
パフォーマンスに関して、複数のアイ・トラッキング測定値が、本明細書の後続部分で定義され、詳細に説明される視覚パフォーマンス・インデックス(VPI)構成要素のコンテキストに入れられる。瞬目率測定値および両眼転導測定値が、疲労および回復の測定値に供給され得る。凝視位置およびより具体的には固視位置が、リアクション測定値およびターゲティング測定値を推定するのに使用され得る。追跡眼球運動中の連続エラー・レートも、ターゲティング測定値になり得る。
実施形態において、視覚パフォーマンス・インデックスは、視覚機能を測定するツールとして使用される。実施形態において、視覚パフォーマンス・インデックスは、本明細書全体で説明される任意の複数のデータまたはデータの組合せに基づいて生成され得、本明細書で提示される例には限定されない。
アイ・トラッキングの物理的測定値の様々な例は、所望の規格単位、測定値の期待される範囲、および/または、適用可能な場合に、これらの測定値に基づく様々な状態またはカテゴリのしきい値に関して入手可能である可能性がある。いくつかの参照が、アイ・トラッキングの様々な構成要素および副構成要素を議論するセクションを介して提供される。
以下の用語は、ビデオ録画技法およびイメージ処理技法の組合せ、エキスパート・ヒューマン・スコアリング(expert human scoring)、および/または電気眼球図記録法(EOG)記録から作られるアイトラッキング測定値に関連する。ビデオ・アイ・トラッキング(VET)技法は、明示的なアルゴリズム的解析および/または機械学習を使用して、目ごとに独立に比例眼瞼開閉(proportional eyelid opening/closure)、瞳孔サイズ、瞳孔位置(顔に対する)、および凝視方向を推定することができる。EOG記録は、眼瞼および眼の動きと、制限された精度を伴うが視線方向とを推定するのに使用され得る。両方の記録モーダリティが、毎秒数十回から数千回のレートでサンプリングし、様々な測定に関する位置、速度、方向、および加速度の解析を可能にすることができる。2つの目の間の比較は、両眼転導の測定を可能にし、これが、3次元(3D)凝視方向の推定を可能にする。
瞼裂は、眼瞼が開くことを指す。通常は約30ミリメートル(mm)幅×10mm高であるが、ほとんどの測定値は、ビデオ上で測定されたベースライン距離にになることがある。特に対象となるのが、高さ(瞼裂間高さ)である。というのは、これが以下の項目に関係するからである。
開パーセント(peye open)は、最大開距離に対して相対的に左目(pleft eye open)、右目(pright eye open)、または両眼(pboth eyes open)がどれほど開いているかを指し、通常は事前定義の期間にわたって測定される。
開比率(Peyes open)は、ある期間(たとえば、1セッション中(P_(eyes open|session)))にわたって目が開かれている時間の比率を指す。「開」のしきい値は、変数とすることができる(たとえば、Peyes open(ここで、pboth eyes open≧25%))。
瞬きは、おおむね10から400ミリ秒(ms)の間の、両眼が完全に閉じること(pboth eyes open=0%)と定義することができ、特定の測定される瞬きの閉じ時間は、ユーザの間の相違とアイ・トラッキング方法とに基づく。
瞬目率(周波数)(fblink)は、すべての瞬きおよび/またはある期間にわたる瞬き(たとえばf_(blink|target present))について測定された毎秒の瞬きの平均回数(s−1またはHz)を指す。瞬目率は、瞬目率の変化のレートまたは完全な瞬きに対する部分的な瞬きの比率と呼ばれる場合もある。
瞬きカウント数(N_blink)は、すべての瞬きおよび/またはある期間にわたる瞬き(たとえば、N_(blink|target present))について測定された瞬きの回数を指す。
瞳孔サイズ(S_pupil)は、瞳孔のサイズ、通常はミリメートル(mm)単位の直径を指す。
瞳孔位置(〔[x,y]〕_pupil)は、通常は時間の関数として、顔の固定された基準フレーム内の左の瞳孔(〔[x,y]〕_(left pupil))または右の瞳孔(〔[x,y]〕_(right pupil))の位置を指す。瞳孔位置の定義は、初期瞳孔位置および最終瞳孔位置を含み、これに依存する。
凝視方向(〔[θ,φ]〕_gaze)は、通常は時間の関数として、顔に対する左視線(〔[θ,φ]〕_(left gaze))または右視線(〔[θ,φ]〕_(right gaze))の3D極座標での方向を指す。これは、目が何を見ているのかにかかわりなく、目がどこに面しているのかの測定値である。これは、課題またはターゲットに応じて、関連または非関連としてさらに分類され得る。
凝視位置(〔[x,y,z]〕_gazeまたは〔[r,θ,ψ]〕_gaze)は、通常は時間の関数として、直交3D座標または球面3D座標での環境内の凝視の位置(または対象)を指す。基準フレームは、ユーザ、デバイス、または空間内のなんらかの他の点に関するものとすることができるが、最も一般的には、座標空間の原点は、ユーザの目(一方、他方、またはその中間の点)になる。凝視位置の定義は、初期凝視位置および最終凝視位置を含み、これに依存する。
両眼転導は、推定された凝視方向から導出され、2つの目の角度の差(正の差は発散であり、負の差は収束である)として定量化され得る。凝視位置から導出される時に、両眼転導は、目/顔からの凝視位置の距離に寄与し、その距離として定量化され得る。収束および発散は、それぞれ、その持続時間および変化のレートによって定義され得る。
固視位置([x,y,z]fixationまたは[r,θ,ψ]fixation)は、ある時点でのユーザの凝視の推定位置として測定された直交3D座標または球面3D座標での固視の位置である。固視位置の定義は、初期固視位置および最終固視位置を含み、これに依存する。
固視持続時間(Dfixation)は、通常はミリ秒または秒(s)単位で測定される、固視の持続時間(すなわち、目の凝視が固定された位置に達する時とそこから離れる時との間の期間)である。平均持続時間は、バーD_fixationを用いて表され、すべての固視、ある期間にわたる固視(たとえば、_D_(fixation|target present))、および/または特定の領域内の固視(たとえば、_D_(fixation|display center))を表すことができる。固視持続時間の定義は、固視の変化のレートを含み、これに依存する。
固視レート(周波数)(f_fixation)は、すべての固視、ある期間にわたる固視(たとえば、f_(fixation|target present))、および/または特定の領域内の固視(たとえば、f_(fixation|display center))について測定された毎秒の固視の平均回数(s^(−1)またはHz)を指す。
固視カウント(数)(Nfixation)は、すべての固視、ある期間にわたる固視(たとえば、N_(fixation|target present))、および/または特定の領域内の固視(たとえば、N_(fixation|display center))について測定された固視の回数を指す。
サッケード位置([x,y,z|x,y,zsaccadeまたは[r,θ,ψ|r,θ,ψsaccade)は、直交3D空間または球面3D空間での衝動性眼球運動の開始位置(1)および終了位置(2)を指す。基準フレームは、一般に、所与のシナリオ内で、凝視位置に関して使用されるものと同一である。サッケード位置の定義は、変化のレート、初期サッケード位置、および最終サッケード位置を含み、これに依存する。
サッケード角(Θsaccade)は、度(°)またはラジアン(rad)単位の、ある基準に関するサッケードの2次元(奥行きを無視)方向を記述する角度を指す。別途指定のない限り、基準は、垂直に上昇し、角度は、時計回りに増加する。基準は、ある所望の(すなわち、ターゲットに向かう)方向からのサッケード方向の逸脱を表すために指定される場合がある(たとえば、Θsaccade−target)。平均サッケード方向は、バーΘ_saccadeを用いて表され(たとえば、_Θ_(saccade|target present))、すべてのサッケードまたはサッケードの部分集合を表すことができる。この方向が角度(すなわち円形)なので、平均方向は、関連する基準が指定され(たとえば、_Θ_(saccade−target|target present))ない限り、ランダムになる可能性がある。サッケード角は、ターゲットがユーザにどれほど関係するのかを判定するのに使用され得、ターゲットへの関連性のコンテキストと呼ばれる場合もある。
サッケード大きさ(Msaccade)は、移動距離に関するサッケードの大きさを指し、これは、度(°)またはラジアン(rad)単位の視角、推定凝視位置に関する物理的距離(たとえば、センチメートル(cm)またはインチ(in)単位)、またはディスプレイ上の推定凝視位置に関するディスプレイ空間内の距離(たとえば、画素(px)単位)として与えられ得る。空間内の特定の点(P)に関して、サッケード大きさの、その点への直線に平行な成分は、
saccade−P=Msaccade・cos(Θsaccade−P
によって与えられ得、ここで、Msaccadeは、サッケードの大きさであり、Θsaccade−Pは、サッケード方向とその点Pに向かうベクトルとの間の角度である。平均サッケード大きさは、バーM_saccadeを用いて表され、この表記は、サッケード大きさまたは指定された点に対するサッケード大きさの成分に関して、すべてのサッケードおよび/または時間もしくは空間内の部分集合に適用される。
プロサッケード(Pro−Saccade)は、空間内のある点、しばしばターゲット、対象領域、またはなんらかの注意を引く事象に対する運動を指す。上の用語法によって、プロサッケードは、相対的に小さいサッケード角と、指定された位置に対する正の大きさ成分とを有するはずである。
アンチサッケード(Anti−Saccade)は、しばしば嫌悪に起因するか課題(目をそらす指示)に基づく、空間内のある点から離れる運動を指す。上の用語法によって、アンチサッケードは、相対的に大きいサッケード角(約±180°または±πrad)と、指定された位置に対する負の大きさ成分とを有するはずである。
復帰抑制(IOR)は、アンチサッケードに関係し、探索中またはフリー・ビューイング中の、より情報の少ない最近に固視された領域を回避する傾向を記述する。IORは、シーンの効率的なサンプリングに関する全般的な戦略を反映する。IORは、アンチサッケードによって促進され定義される場合があり、またはアンチサッケードの関数とすることができる。
サッケード速度(vsaccade)またはサッケードの速度は、経時的な大きさの変化と考えられる(一般に、基準点に向かう大きさ成分からではない)。サッケード速度の大きさの度合および方向に基づいて、サッケード速度は、ユーザに対するターゲットの関連の度合を示す可能性がある。平均サッケード速度は、バーv_saccadeを用いて表され、すべてのサッケードまたは時間および/もしくは空間内の部分集合に適用され得る。
サッケード・レート(周波数)(fsaccade)は、すべてのサッケード、ある期間にわたるサッケード(たとえば、f_(saccade|target present))、特定の領域内のサッケード(たとえば、f_(saccade|display center))、および/またはその方向によって定義されるサッケード(たとえば、f_(saccade|towards target))について測定された毎秒のサッケードの平均回数(s−1またはHz)を表す。
サッケード・カウント(数)(Nsaccade)は、すべてのサッケード、ある期間にわたるサッケード(たとえば、N_(saccade|target present))、特定の領域内のサッケード(たとえば、N_(saccade|display center))、および/またはその方向によって定義されるサッケード(たとえば、N_(saccade|towards target))について測定されたサッケードの回数である。
追跡眼球運動(PEM)は、凝視が空間を通って移動する物体を追跡する円滑追跡眼球運動と、頭または胴体の移動を補償する前庭眼球運動との両方を指すのに使用される。PEMは、円滑PEMの開始、持続時間、および/または方向を示すデータによってさらに定義され得る。基準の移動するフレームからの静止物体の補償トラッキングも含まれる。PEMは、一般に、固視およびサッケードからなるのではなく、時折の誤りを訂正するサッケードによって中断される連続的な相対的に遅い運動からなる。PEMトレースの円滑部分およびサッケード部分は、別々に減算され、解析され得る。
ボディ・トラッキングの定義
ボディ・トラッキングは、時間および/またはあるクラスの運動(たとえば、頭のうなずき)に関連する時間内の別個の事象の関数として、胴体および手足の位置を測定し、推定することを伴う。情報ソースは、イメージ処理および解析を助けるための装着型マーカー、位置トラッカ、加速度計、および様々な手持ちのまたは装着型デバイス、プラットフォーム、椅子、もしくはベッドを用いるまたはこれを用いないビデオ・トラッキングを含む。
画面距離(dscreen)は、ユーザの目(顔)と所与のディスプレイ・デバイスとの間の距離を指す。静的な量として、画面距離は、画面上の様々な要素に向かう方向(視角)を判定するために重要であるが、時間に関する変数として、画面距離は、画面に向かい画面から離れるユーザの運動を測定することができる。画面距離は、変化のレート、初期位置、およびユーザの目(顔)と所与のディスプレイ・デバイスとの間の最終位置に依存する。顔検出アルゴリズムと組み合わされて、この測定は、デバイス・カメラおよびディスプレイに対する既知の位置を有する別々のカメラから行われ得る。
頭部方向(向き)([θ,φ]facing)は、胴体またはディスプレイもしくは環境内の他の物体のいずれかに対する頭の面する方向の3D極座標での方向を指す。これは、経時的に追跡されて、うなずき(没頭と疲労との両方に関する)、身震い、上下運動、または任意の他の形の方向付けなどの事象を導出するのに使用され得る。頭部方向は、胴体またはディスプレイもしくは環境内の他の物体のいずれかに対する頭の面する方向の変化のレート、初期位置、および最終位置に依存する。
頭部固定は、固視および眼球運動に関連する様々な測定値に似ているが、測定され、挙動推論され得る。一般に、頭部固定は、固視よりはるかに長い。頭部運動は、前庭眼球補償と組み合わされる時に、視線方向の変化を必ずしも示さない。頭部固定は、頭部固定の変化のレート、初期位置、および最終位置に依存する。
頭部サッケード(Head Saccade)は、サッケードおよび眼球運動に関連するその様々な測定値に似ているが、素早い別個の頭部運動として測定され得る。これらは、大きい視角にまたがって凝視をシフトする時に、衝動性眼球運動が付随する可能性が高い。適応頭部サッケード(orienting head saccade)は、聴覚処理の一部になる場合もあり、環境内の新規の音響または予期されない音響に反応して発生する可能性がある。
頭部追跡(Head Pursuit)は、追跡眼球運動に似ているが、しばしば、移動する物体を追跡する際および/または基準の移動するフレームを補償する際の、より遅く維持される運動になる傾向がある。
手足トラッキング(Limb Tracking)は、それら自体がビデオ、加速度計、または三角測量によって追跡されるイメージ処理デバイスまたは装着型/手持ちデバイスを用いてビデオを使用して経時的に手足位置について行われ得る様々な測定を指す。これは、コンピュータ・マウスなどのポインティング・デバイスおよびハンドヘルド・モーション・コントローラを含む。相対的な手足位置は、ポインティング方向などの副測定値を導出するのに使用され得る。手足トラッキングは、手足の変化のレート、初期位置、および最終位置に依存する。
重量分布は、ユーザが立ち、座り、または横たわる間のセンサの空間配置に対する重量の分布を指し、胴体の運動、位置、および姿勢を測定するのに使用され得る。重量分布は、重量の変化のレート、初期位置、および最終位置に依存する。
微表情、眉の位置、人の口の縁、角、および境界、ならびにユーザの頬骨の位置を含む表情も、記録され得る。
電気生理学および自律神経の定義
電気生理学測定は、通常は皮膚に配置された導電電極による電位(電圧)または電位差の記録に基づく。電極が配置される胴体の部分に依存して、様々な生理学的測定および/または行動測定が、メトリックおよび解析のセットに基づいて行われ得る。通常、電圧(非常に小さい−マイクロボルトμV)が、毎秒数千回(kHz)のサンプリング・レートで時間の関数として記録される。電気生理学的記録は、自律神経機能を測定することができるが、様々なセンサを用いる他の方法も使用され得る。圧力変換器、光センサ(たとえば、パルス酸素化(pulse oxygenation))、加速度計、その他が、連続データまたは事象関連データを提供することができる。
周波数領域(フーリエ)解析は、時間の関数としての電位(時間領域)の、周波数の関数としての波形エネルギへの変換を可能にする。これは、スペクトログラムを作成するために時間の移動ウィンドウにわたって行われ得る。時間の関数としての、特定の周波数または周波数の範囲の総エネルギが、反応および状態の変化を測定するのに使用され得る。
脳波記録法(EEG)は、脳機能の電気生理学的記録を指す。時間平均解析および周波数領域解析(下で詳細に説明する)が、状態の測定値をもたらす。刺激に関する正確なタイミング情報と組み合わされて、事象関連ポテンシャル(EEG−ERP)が、情報処理の特定の態様の特性を示す波形として解析され得る。
周波数帯は、通常は脳活動(EEG)に関連し、周波数領域解析のコンテキストでは、周波数の異なる範囲が、一般に、特定の神経過程または共通の状態の特性を示す活動を探すのに使用される。周波数範囲は、毎秒サイクル数(s−1またはHz)単位で指定される。
・デルタ 4Hz未満の周波数。通常は徐波睡眠に関連する。
・シータ 4〜7Hzの間の周波数。通常は眠気に関連する。
・アルファ 8〜15Hzの間の周波数。
・ベータ 16〜31Hzの間の周波数。
・ガンマ 32Hzを超える周波数。
心電図検査(ECG)は、心機能の電気生理学的記録を指す。このコンテキストで対象となる主な測定値は、心拍数である。
筋電図検査(EMG)は、筋肉の緊張および運動の電気生理学的記録を指す。必ずしも明白な運動にはつながらない微妙な筋肉の活性化の測定が行われ得る。顔に配された電極が、表情およびリアクションを検出するのに使用され得る。
眼電図(EOG)は、眼球にまたがる電気生理学的記録を指す。これは、眼球および眼瞼の運動の敏感な測定を提供することができるが、瞳孔位置および凝視方向の導出において制限された用途を有する。
網膜電図(ERG)は、網膜活動の電気生理学的記録を指す。
ガルバニック皮膚反応(Galvanic Skin Response)(GSR)(皮膚電気反応)は、皮膚伝導の測定である。これは、汗の放出に関係するので、交感神経系の間接測定である。
体温測定は、離散的な形または連続的な形で行われ得る。体温の相対的に素早いシフトは、刺激に対する反応の測定値とすることができる。シフトは、温度の変化のレート、初期温度、および最終温度を追跡することによって測定され得る。
呼吸数は、呼吸のレートを指し、光学/ビデオ、呼吸記録法(pneumography)、および聴覚を含む複数のソースから測定され得、通常は毎分の呼吸回数(min−1単位で測定され、呼吸の短い停止(すなわち、息を止めること)が、開始の時刻および持続時間に関して測定され得る。
酸素飽和度(
Figure 2019513516

)は、血液酸素化の測定値であり、自律神経機能および生理学的状態の表示として使用され得る。
心拍数は、毎分の脈拍数(min−1nd単位で測定され、複数のソースから測定され、自律神経機能および生理学的状態の表示として使用され得る。
血圧は、通常、2つの値すなわち、水銀柱ミリメートル(mmHg)単位の最高(心収縮)血圧および最低(心拡張)血圧を用いて測定される。血圧は、自律神経機能および生理学的状態の表示として使用され得る。
遠心性オーディオ記録の定義
近くのマイクロホンからのオーディオ記録は、ユーザからの行動反応および自律神経反応さえも測定することができる。音声応答は、反応時間、反応の意味または内容(すなわち、何が言われたのか)、ならびに反応の持続時間(たとえば、「イエイ」対「イエーーーーイ」)の測定値を提供することができる。あくび、ブーブー言う声、またはいびきなどの他の発声を測定することができる。タップ、揺さぶり、引っ掻き、または全般的にそわそわする挙動などの他の可聴挙動を測定することができる。ある種のコンテキストでは、呼吸などの自律神経挙動を記録することができる。
話された単語、句、およびより長い構造などの発声を記録し、アルゴリズム的にテキスト文字列に変換して、特定の反応を導出することができる。各成分(反応、単語、音節)の開始時刻および持続時間を測定することができる。他の非言語反応(叫ぶ、ブーブー言う、鼻歌など)の特徴を表すこともできる。発声は、ピッチ、音の強さ、および意味論を含む、ある範囲の音声パラメータを反映する可能性がある。
推論された遠心性反応は、オーディオによって記録され得る、対象のある種の遠心性反応を指し、刺激に対する分離した反応を示すか、全般的な状態または気分を知らせるかのいずれかである。対象の挙動は、タップ、引っ掻き、繰り返される機械的対話(たとえば、ペンのクリック)手足をはねるか振ること、揺さぶり、および他の反復する挙動または他の形で顕著な挙動を含む。
呼吸数、強度(体積)、および潜在的にモダリティ(口対鼻)の測定値などの呼吸も、行われ得る。
求心性の分類/定義
下で議論される状態は、一般に、様々な刺激と刺激および環境状態の組合せとのコンテキストにおいて、またはこれに対する反応において測定される。刺激は、求心性入力モダリティ(視覚、聴覚、触覚、その他)によって定義され、その特徴によって記述され得る。特徴は、アプリケーションによってセットされ(たとえば、画面上に表示されるスプライトの位置、サイズ、および透明度をセットする)、または、イメージ処理解析/オーディオ処理解析(たとえば、フーリエ変換、顕著性マッピング(saliency mapping)、物体分類、その他)によって推論され得る。
下で議論される関心領域は、前もって知られ、アプリケーションによってセットされ得、様々な視覚的刺激の位置および範囲によって定義され得、かつ/または連続領域、関連領域、および/もしくは突出領域を同定するイエージ処理解析によってデータ収集の後に後で導出され得る。刺激特徴に加えて、遠心性測定値は、関心領域を同定するのに使用され得る(たとえば、ユーザが固視する傾向がある領域が、凝視位置データによって定義される)。同様に、求心性測定値と遠心性測定値との両方が、要約解析(たとえば、息を止めている間の固視の総数)のために時間を期間にセグメント化するのに使用され得る。
感覚データ交換プラットフォームの概要
図1を参照すると、図1は、本明細書の実施形態による、例示的なSDEPとのユーザ対話を示すブロック図100を示す。一実施形態では、ユーザ102は、タブレット・コンピュータまたはVR/AR/MxRシステム104上のアプリなどの媒体システムとインターフェースをとる。媒体システム104は、HMD、センサ、ならびに/または視覚媒体、聴覚媒体、および他の感覚媒体をユーザに提示し、提示された媒体とのユーザ対話中のユーザ反応データの収集を可能にする任意の他の形のハードウェア要素106などのデバイスを含むことができる。媒体は、サーバによって、ネットワークを介して、またはHMDなどのハードウェア・デバイスにコンテンツを供給できる任意の他のタイプのコンテンツ・プラットフォームを介して通信され得る。センサは、ユーザ102を監視するための、生理学センサ、バイオメトリック・センサ、または他の基本的なセンサおよび高度なセンサとすることができる。さらに、センサは、ユーザ102の視覚パフォーマンスに直接的または間接的に影響する可能性があるオーディオ条件、視覚条件、触覚条件、または任意の他のタイプの環境条件を記録する環境センサを含むことができる。媒体システム104は、ハードウェア要素106に関連して実行され得るソフトウェア要素108をも含むことができる。例示的なソフトウェア要素108は、ゲーミング・プログラム、ソフトウェア・アプリケーション(アプリ)、またはユーザ102への媒体の提示に寄与することのできる任意の他のタイプのソフトウェア要素を含む。ソフトウェア要素108は、システムがユーザ反応データを収集することを可能にすることもできる。収集されたデータは、ユーザ、ソフトウェア・アプリケーション、ゲーム(存在する場合)、ユーザに提示された媒体、ユーザがシステムと対話したセッション、または任意の他のデータに関する情報を用いてタグ付けされ得る。ハードウェア要素106とソフトウェア要素108との組合せを使用して、ユーザ102に媒体を提示することができる。
一実施形態では、ソフトウェア・システム104とのユーザ102の対話から収集された刺激データおよび反応データが、データ・ソース110を構成することができる。データ・ソース110は、ソフトウェア要素108とSDEP 118との間の相互作用に基づいてSDEP 118内で作成され得る。ソフトウェア要素108は、開発者用のソフトウェア開発キット(SDK)内に含まれるプロプライエタリ関数呼出しを介してSDEP 118と相互作用することもできる(すなわち、開発者は、事前定義の関数を使用してSDEP 118へ/からデータを送信/受信することができる)。SDEP 118は、ストレージ構成要素および処理構成要素を含むことができ、コンピューティング・システムとすることができる。SDEP 118の機能性は、主として、1つまたは複数のサーバと、記憶され、クラウド・サービスから検索されるデータとに存在することができる。データのソースは、映像データ、オーディオ・データ、ソフトウェア・システム104と共に展開されたセンサによって収集されたデータ、ユーザ・プロファイル・データ、またはユーザ102に関係付けられ得る任意の他のデータの形であるものとすることができる。映像データは、主として、刺激データを含むことができ、カメラ(セル電話機カメラまたは他の視覚機器/デバイスなど)からまたはゲームおよびアプリケーション(アプリ)などの他の間接ソースから供給され得る。センサは、空間データおよび時系列データを供給することができる。ユーザ・データは、ログイン情報または、ユーザのプロファイルから、ソーシャル・メディア・アプリから、もしくは他のパーソナライズされたソースから導出された他のユーザ固有情報に関するものとすることができる。実施形態では、データ・ソースは、おおまかに求心性データ・ソースおよび遠心性データ・ソースとして分類され、これらは、本明細書の後続セクションでより詳細に説明される。一実施形態では、ユーザ・プロファイル・データは、別のデータベースから収集され得、あるいは、異なるソースを介して供給され得る。例示的な実施形態では、ユーザ・プロファイル・データは、1つまたは複数のビジョン・ケア保険会社を含むサービス・プロバイダによって供給され得る。他の実施形態では、ユーザ・プロファイル・データは、ユーザのデバイス、アプリ/ゲームのオプトイン・オプション、または任意の他のソースを含む他のソースから収集され得る。
データ・ソース110は、データ取込システム112に供給され得る。データ取込システム112は、データ処理システム114内でのデータのさらなる処理に備えて、データを抽出し、かつ/または変換することができる。データ・アダプタは、データ・ソースとデータセットとの間で通信するのに使用される1組のオブジェクトであり、データ取込システム112を構成することができる。たとえば、イメージ・データ・アダプタ・モジュールは、イメージからメタデータを抽出することができ、イメージ・データを処理することもできる。別の例では、ビデオ・データ・アダプタ・モジュールが、ビデオ・データ・ソースからメタデータを抽出することもでき、分散ファイル・システム内に大量のビデオを記憶するためにビデオ・トランスコーダを含むこともできる。別の例では、時系列データ・アダプタ・モジュールが、センサ・データを時系列に解析する。別の実施形態では、空間データ・アダプタ・モジュールが、皮膚などの相対的に小さい面積からのデータを利用し、面積測定のためにそのデータを空間的に変換することができる。別の例では、ユーザ・プロファイル・データ・アダプタ・モジュールが、ログイン、ソーシャル・メディア接続API、電話機上の一意識別子、および類似物などの全般的なユーザ・データをソートすることができる。
SDEP 118は、条件付けられたデータをデータ取込システム112から受信するデータ処理システム114をさらに含むことができる。データ処理システム114内の機械学習モジュール152は、ストレージ154およびリアル・タイム・キュー156と通信して、データをデータ・サービング・システム116に出力することができ、データ・サービング・システム116は、アプリケーション・プログラム・インターフェース(API)を含むことができる。実施形態では、機械学習システムは、1つまたは複数の既知のモデルおよびカスタム・モデルを実施して、データ取込システム112からのデータ出力を処理することができる。
実施形態では、SDEP 118は、別のAPI 122に供給するバックエンド分析論用のモジュール120をさらに含むことができる。API 122は、ユーザ102とインターフェースをとり、変更された媒体をユーザ102に供給することができる。
図2Aは、本明細書の実施形態による、クエリ・プロセッサに達する前のセンサ・データ・ストリームの処理を示すブロック図である。一実施形態では、図2Aは、SDEPによって受信されるセンサ・データ・ストリームのラムダ・アーキテクチャ200を示す。データ処理アーキテクチャ200は、データ・ストリームおよびバッチの並列処理によって大量のデータを処理するように設計され得る。一実施形態では、ユーザからリアル・タイムで収集されたセンサ・データを含むセンサ・データ・ストリーム202が、リアル・タイム・レイヤ204に供給される。リアル・タイム・レイヤ204は、オンライン・データを受信し、リアル・タイム・プロセッサ214を介して処理することができる。バッチ内に収集されたデータは、バッチ・レイヤ206に供給され得る。バッチ・レイヤ206は、既存の事象に付加されるタイム・スタンプを付けられた事象の処理のために受信し、利用すべきマスタ・データ・セット222を含む。バッチ・レイヤ206は、大量のデータを処理することができるバッチ・プロセッサ216を含む分散処理システムを使用して結果を事前に計算することができる。バッチ・レイヤ206は、バッチ・ビュー218を生成するために、すべての使用可能なセンサ・データを処理できることによって、正確なデータを供給することを目的とすることができる。バルク・アップローダ220は、データベース210内に記憶される出力をアップロードすることができ、更新は、既存の事前に計算されたバッチ・ビューを完全に置換する。両方のレイヤからの処理されたデータは、リアル・タイム・サービングおよびバッチ・サービングのためにそれぞれのデータベース208および210にアップロードされ得る。データベース208および210からのデータは、その後、クエリ・プロセッサ212を介してアクセスされ得、クエリ・プロセッサ212は、サービング・レイヤの一部とすることができる。クエリ・プロセッサ212は、事前に計算されたビューを返すこと、または処理されたデータからビューを構築することによって、アドホック・クエリに応答することができる。実施形態では、リアル・タイム・レイヤ204、バッチ・レイヤ206、およびサービング・レイヤが、独立的に利用され得る。
データ獲得
事象は、潜在的にアプリ、ユーザ、および環境センサに由来するデータのストリーム内でコーディングされ得、物事が起きた時を示すタイムスタンプを担うことができる。曖昧ではない発生時刻を有するすべてのものが、「事象」として適格とされ得る。対象のほとんどの事象は、時刻において別個である可能性があり、タイム・スタンプは、ある状態の開始または終了のいずれかを示す。例外として、電気生理学データは、連続的に記録され、他の事象と時間において同期化されたデータのセグメントの平均をとることによってまたはなんらかの他の解析によって全般的に解析され得る。
一実施形態では、ユーザ102との対話から収集されたデータは、求心性事象および遠心性事象に対応する求心性データおよび遠心性データとしておおまかに分類される。末梢神経系では、求心性神経線維は、求心性ニューロン(感覚ニューロン)の神経線維(軸索)である。求心性神経線維は、感覚受容器または感覚器官から中枢神経系へ神経インパルスを伝える、神経細胞体からはるかに延びる長い突起(突出)である。神経活動の反対方向が、遠心性伝導(efferent conduction)である。逆に、遠心性神経線維は、遠心性ニューロン(運動ニューロン)の神経線維(軸索)である。遠心性神経線維は、中枢神経系から末梢効果器器官(peripheral effector organ)(主に筋肉および腺)に向かって神経インパルスを伝える、神経細胞体からはるかに延びる長い突起(突出)である。
「刺激」は、通常は求心性の、ユーザが反応できる物理世界での別個の出来事を形成する1つまたは複数の事象として分類され得る。刺激事象は、ユーザからの反応を顕在化させる場合とそうでない場合とがあり、実際に、意識して知覚されまたは感知されることが全くない場合があり、したがって、事象が発生する場合には、その事象は解析に使用可能にされる。刺激事象クラスは、「アプリケーション固有事象」ならびに「一般のおよび/または導出された刺激事象」を含むことができる。
アプリケーション固有事象は、特定のアプリケーションの光景、音響、および他の感覚効果に固有である可能性がある多数の刺激事象クラスを含むことができる。美術資産のすべてが、潜在的な視覚的刺激であり、音響資産のすべてが、潜在的な聴覚的刺激である。生理学的入力(心拍数、パルス・オキシメトリ、基礎体温)と一緒に、位置データ(加速度計)、視覚運動(手足の運動)、ジャイロスコープ(頭部の移動/胴体の移動)、方向、力、およびタイミングと一緒に、味覚、嗅覚、触覚を含むがこれに限定されない他の形の入力がある可能性がある。突然のまたは徐々の出現または消失、運動の開始または消失、これらの要素のプレイ、一時停止、またはその状態の他の変化が、その特定のタイムスタンプを決定する。これらの刺激事象クラスの定義は、アプリ開発者がSDEと共同して働くことを必要とする可能性があり、イメージ/オーディオの処理および解析のコードの特定の開発を含む場合がある。
一般のおよび/または導出された刺激事象は、すべてのアプリケーションにまたがって一般的である可能性がある刺激事象である。これらは、シーンの記録されたビデオ(たとえば頭部に装着されたカメラ)データまたはオーディオ・データから導出される、アプリに直接に由来するのではない(アプリ自体はこれらの事象のより正確な記録を提供する)、求心性事象を含む可能性がある。デバイス固有であるがアプリ固有ではない事象も、分類され得る。同様に、すべてのアプリに関して実行される較正および他の活動は、一般的と考えられ得る(しかしながら、それでもおそらくは使用されようとしているアプリによって分類され得る)。
一部の刺激事象は、大量のデータが収集され、解析された後になるまで明白ではない場合がある。新しい刺激事象クラスが、ユーザの間での反応のパターンを説明するために作成される場合に、傾向を検出し、調査することができる。さらに、記述的分析および予測解析が、ユーザ経験をパーソナライズするために傾向/パターンに依存する刺激/コンテンツのリアルタイム交換を容易にするために実行され得る。
「反応」は、通常は遠心性の、潜在的に知覚された刺激(実際のまたは想像された)に反応するユーザによる別個のアクションまたはアクションのパターンを形成する、1つまたは複数の事象として分類され得る。反応は、電気生理学センサおよび/または自律神経監視センサによって測定される生理学的状態のあらゆる変化をさらに含むことができる。反応は、必ずしも意識的または随意的とは限らないが、可能な時には必ず、意識的/無意識的および随意的/不随意的として同定される。反応事象クラスは、分離した反応、タイムロックド平均反応(time−locked mean response)、時間微分反応(time derivative response)、および/または導出された反応事象を含むことができる。
「分離した反応」は、意志的ユーザ行動に関連する最も一般的な反応事象を表し、明瞭な始まりと終りと(通常は、数秒または数ミリ秒程度持続する)を有して時間において分離されている。これは、とりわけ、マウス入力またはタッチ・スクリーン入力、発声、サッケード眼球運動および追跡眼球運動、瞬き(随意または不随意)、頭部または他の身体部分の運動、ならびに電気生理学的に検出された筋肉の運動を含む。
一部のデータ記録、特に電気生理学的記録の、雑音が多いという性質に起因して、個々の刺激事象に対する反応を検査することは難しい。タイムロックド平均反応は、特定の刺激事象に対する反応のパターンを指し、このパターンは、平均をとることによって多数の刺激反応事象から抽出され得る。特定の刺激の各提示の直後のある長さの時間(通常は数秒程度)に関するデータが、たくわえられ、その後、多数の「試行」にわたて平均をとられ、その結果、データ内の雑音(おそらく本質的にランダム)がそれ自体を打ち消し、平均反応が残され、その特性を測定できるようになる。
時間微分反応は、一部の反応、特に自律神経反応が経時的にゆっくり変化し、時には分離した刺激事象に関連付けるには遅すぎることを反映するものである。しかし、ある期間内の平均値、変化の速度、または速度の加速度(および他の導出された測定値)は、他の測定された状態(求心性または遠心性)と相関され得る。
刺激事象と同様に、一部の反応事象は、データ収集の前に明白であるのではなく、経時的に正体を表す場合がある。人間または機械によって案内される解析のいずれを介するにせよ、一部の特徴的な反応は、データ内に現れる可能性があり、したがって、推論された反応事象と呼ばれる場合がある。
可能な時にはいつでも、反応は、それを顕在化させた(可能性がある)刺激と対にされる。一部のアプリケーションは、データ・ストリーム内で、刺激および反応がどのように対にされるのかを明確にすることができる(精神物理学の実験のように)。一般的な場合に関して、刺激事象クラスは、提示の直後に、その間に反応が適度に行われる可能性が高い一定期間を与えられる。この時間枠内に発生するすべての反応を、その刺激と対にすることができる。反応が発生しない場合には、ユーザがその刺激事象に反応しなかったと仮定される。同様に、反応事象は、アクションの直前に、その間に刺激がその反応事象を引き起こした可能性が高い一定期間を与えられる。刺激の後と反応の前との両方の時間のウィンドウが、以前には考えられていなかった新しい刺激事象クラスおよび反応事象クラスの発見を助けるために検査され得る。
刺激事象クラスおよび反応事象クラスは、その特徴(パラメータ、値、カテゴリ、その他)によて定義され、区別され得る。事象クラスの一部の特徴は、データ内でグループまたはカテゴリを確立するのに使用され得る。一部の特徴は、様々なメトリックを計算するのに(も)使用され得る。特徴は、本質的に数値とし、事象クラスまたは事象の個々のインスタンスに一意の特定の値を保持することができる。特徴は、解析に応じて、グループ化のための名前付きアイデンティティを保持するか、潜在的にその後に数値表現に変換されるかのいずれかである、カテゴリとすることができる。
刺激事象の特徴は、主に、刺激の物理的記述を構成することができる。これらの特徴の一部は、刺激の事象クラスを定義することができ、他の特徴は、刺激の特定の出現を記述することができる(たとえば、タイムスタンプ)。刺激の名前付きアイデンティティ(たとえば、スプライト・ファイル名)および状態情報(たとえば、方向付けまたは姿勢)は、刺激特徴である。イメージの画素構成または音響の波形を使用して、刺激の無数の異なる記述的特徴を生成することができる。一部の刺激事象クラス自体が解析から明らかになる可能性があるのと同様に、一部の刺激特徴は、データ解析を介する発見を必要とする可能性がある。
反応特徴は、一般に、行われた反応のタイプまたはカテゴリ、位置情報(たとえば、マウス・クリックが行われた場所もしくはサッケードが始まった/到着した場所、タッチ、凝視、固視、頭部の回転、胴体の回転、頭部の方向および速度、または胴体/手足の運動)、およびタイミング情報を含むことができる。一部の導出された特徴は、反応がそれに対して行われた刺激を調べること、たとえば、反応が「正しかった」または「正しくなかった」のいずれであるのかに由来する場合がある。
図2Bは、データ解析チェーンの例示的概要を示す。データ解析は、最も下のレベルで232で始まり、ここで、このレベルのデータは、さらには単純化されず、分解されないものとすることができる。232では、単一の刺激のパラメータが、刺激の直接の特徴に対応する異なる独立変数に基づく複数の測定に使用され得る。単一の反応のパラメータが、異なる従属変数に基づく複数の測定に使用され得る。
図3は、デジタル・データのソースの概要300を示す。実施形態では、求心性データ304は、視覚情報307、聴覚情報308、空間情報310、または、温度、圧力、および湿度を含むがこれに限定されない他の環境的に測定された状態を供給するソースから収集され得る。求心性データ304のソースは、ユーザ302によって知覚されることが意図されている事象を含むことができる。ユーザ302は、本明細書の様々な実施形態による媒体システムとインターフェースをとるユーザとすることができる。
求心性データおよび遠心性データは、複数の人に関して収集され、複数の人のそれぞれのプロファイルに対応する人口統計データに関係付けられ得、この人口統計データは、少なくとも、複数の人のそれぞれの性別および年齢を含む。そのようなデータベースが作成された後に、そのサービスの媒体コンテンツに、ターゲットにされたグループの網膜−外側膝状体−皮質路に対してより大きい影響を有するようにさせることによって、少なくとも1つの特定の人口統計属性を有する人のグループをターゲットにした治療法を作成することができる。
求心性データ
求心性(刺激)事象は、ディスプレイ内でユーザ302に提供される、ディスプレイ上で発生するすべてのこと、スピーカまたはヘッドホン/イヤホンに由来する事象、またはアプリによって生成された触覚入力とすることができる。データは、ユーザ302によって見られ、聞かれ、または感じられた可能性があるが、アプリ自体によって生成されたのではない物事を記録するための、頭部に装着されたカメラおよびマイクロホンを含むがこれに限定されない環境センサによっても収集され得る。求心性データ304は、解析メトリックを構築するのに使用される生成分(特徴または特徴セット)に分解され得る刺激の形とすることができる。
一実施形態では、求心性(刺激)事象が、遠心性(反応)事象と対にされる。対にする際に、成分刺激特徴のそれぞれを、解析のために成分反応特徴のそれぞれと対にすることができる。いくつかの場合に、刺激特徴の対または反応特徴の対を、相関または依存性に関して調べることもできる。刺激/反応特徴対は、生成される考えられるメトリックのほとんどの根元にある。すべての解析は、使用可能な様々な他の事象特徴に従ってグループ化され、フィルタリングされる前に、これらの特徴対によって分解され得る。実施形態では、求心性304データ・ソースおよび遠心性306データ・ソースを含むすべてのデータ・ソースに関して、タイミング情報が、ユーザ302の感覚系への入力およびユーザ302の感覚系からの出力に相関される必要がある。相関は、ユーザの特性メトリックまたは精神物理学メトリックを同定するのに利用され得る。たとえば、媒体システム104が、物体が時刻tS(刺激)に画面上に描かれたことを記録し、ユーザが時刻tR(反応)に特定のキーを押したことをも記録する場合に、ユーザが刺激に反応するのに要した時間は、減算tR−tSによって導出され得る。代替実施形態では、ユーザは、キーを押し、ジェスチャを行い、またはタッチもしくはジェスチャを介して媒体環境と対話することができる。この例は、求心性データ302および遠心性データ304を相関させる。
2タイプの求心性データ304を相関させる例は、ユーザの凝視位置が所与の期間にわたって円滑に変化し、ユーザが移動する物体を追跡していたことを凝視トラッカが示す場合とすることができる。しかし、頭部トラッカも、反対方向での円滑な動きを同時に示す場合には、これは、ユーザが彼らの頭部を動かしながら静止物体をトラッキングしていたことを示す可能性もある。
2タイプの求心性データ304を相関させる別の例は、視覚オブジェクトが時刻t1に現れ、音響ファイルが時刻t2に再生される場合とすることができる。t1とt2との差が小さい(またはない)場合には、それらは、同一のソースに由来するものとして知覚され得る。差が大きい場合には、それらは、異なるソースに帰せられ得る。
累積された反応事象からとられたデータは、挙動のパターンを記述するのに使用され得る。反応のパターンは、どの刺激がそれらを顕在化させた可能性があるのかとは独立に、ユーザの様々な行動状態または生理学的状態を分類するのに使用され得る。反応を顕在化させた刺激による反応のグループ化は、知覚機能の測定を提供することができる。いくつかの場合に、刺激事象の解析は、アプリ自体またはユーザがどの経験にかかわることを選択するのかに関する有用な情報を提供することができる。解析は、次のパラメータすなわち、一意事象、記述的統計、および/または精神測定関数を含むことができる。
一意事象は、生データが対象となる可能性があるインスタンスを表す。一部のまれな刺激事象または反応事象は、平均をとる機会を提供しない可能性があり、まれであるが故に対象となる。一部の事象は、対象のセッションもしくは期間の終りをトリガし(たとえば、ユーザが、課題に失敗し、やり直さなければならない)、または対話のなんらかのフェーズの始めを知らせる場合がある。
記述的統計は、要約されたメトリックを提供する。したがって、ある事象、刺激/反応事象、または特徴ペアリングの複数の発生が、なんらかの共通性によってグループ化され得る場合に、中心傾向(たとえば、平均値)および変動性(たとえば、標準偏差)の測定値が推定され得る。これらの要約されたメトリックは、生データに関する挙動のより微妙で簡潔な記述を可能にすることができる。ある最小レベルのデータ累積が、適度に正確であるために要求される可能性がある。
精神測定関数は、知覚感度および知覚力の測定値の基礎を形成し得る。特定のクラスの刺激事象が、提示の間で変化する少なくとも1つの特徴と共に繰り返して示される時には必ず、その刺激特徴に対するユーザの反応パターンをマッピングする機会がある(反応も変化すると仮定して)。たとえば、ゲーム内の特定の物体のサイズ(刺激特徴)が変化し、ユーザが、時にはそれに気付き、時には気付かない(反応特徴)場合に、ユーザがその物体に気付く確率が、そのサイズの関数としてプロットされ得る。これは、単一の刺激/反応事象ペアリングの複数の刺激/反応特徴対について、または、同一の特徴ペアリング(たとえば、サイズ/検出)をたまたま有する多数の異なる刺激/反応事象対について行われ得る。刺激特徴(サイズ、コントラスト、持続時間、速度、その他)に対してプロットされた反応特徴(検出、区別、好み、その他)が、複数の刺激レベルに関する平均反応と共に入手可能である時には、そのデータ(たとえば、検出対サイズ)に対する関数をあてはめることができる。その関数を記述する変数自体が、挙動を記述することができる。とりわけ、片側が失敗であり、反対側が成功である場合、または片側がAを選び、反対側がBを選ぶ場合に、しきい値を定義することができる。
視覚情報
戻って図3を参照すると、一実施形態では、あるアプリケーションに関して、物理ディスプレイおよび視覚的環境からの視覚情報データ307は、1つまたは複数のカメラによって取り込まれた静止画ファイルおよび/またはビデオ・ファイルの形である。一実施形態では、データは、特定の刺激またはシーンを描画する命令の形である(はるかに少ないデータ量が必要であり、レンダリングの際に多少の追加時間が必要である)。
図4は、本明細書の実施形態による、映像データの特性メトリックを示すブロック図400である。特性メトリックは、ユーザ・セッションの特徴を表すことができ、時間平均をとられ得る。図4を参照すると、スコープ402は、映像データがシーン全体(視覚ディスプレイ全体またはユーザ頭部装着カメラからのイメージ全体)に関するものであるかどうかを指すことができる。物理属性404は、シーンまたはその中の物体の客観的測定値を指すことができる。物理属性404は、網膜、頭部、および胴体に対する位置、直交3Dクロモルミナンス、およびコントラスト対空間周波数対方向付けを含むことができる。カテゴリ属性406は、イメージの名前付きプロパティとすることができ、この名前付きプロパティは、物体の名前付きアイデンティティおよび/またはグループ・アイデンティティを含むことができる。
視覚的刺激は、一般に、アプリケーションによって生成される(アプリによって直接供給されるイメージ・データ)か、録画されたビデオ(たとえば、頭部装着カメラからの)から取得されるかのいずれかであるデジタル・トゥルー・カラー・イメージ(24ビット)として取り込まれる。イメージおよびビデオは、データの加重平均がロッシー圧縮を構成し得るロッシー形式で圧縮される場合があるが、それ以外の点で、イメージ処理は、関わりなく同様に進行する。開発者は、一部のイメージ処理ステップをスキップすることを可能にし、かつ/または解析のためのシーンの事後レンダリングを可能にすることのできる、刺激の提示に関する情報を提供することを選択することができる。視覚的刺激は、以下の構成要素すなわち、物体、サイズ、色距離(chromatic distance)、輝度コントラスト、色コントラスト、空間特徴抽出、顕著性マップ、および/または時間ダイナミクス(temporal dynamics)を含むことができるが、これに限定されない。
物体(刺激)は、イメージ(またはビデオ・フレーム)内で、アプリケーション自体からの情報によって同定され得るか、機械学習(Haar−like特徴(Haar−like feature)分類カスケードまたは類似物)を介して見出され得るかのいずれかである。同定された後に、物体自体に属する(または物体上でセンタリングされた既知のサイズに対応する境界エリア内の)画素は、「物体」としてタグ付けされる。物体と同一の幅/高さを有する、物体の周囲の環帯(すなわち、物体を含む中央エリアを除く、物体の幅の3倍および物体の高さの3倍のエリア)内の画素(必ずイメージ/シーン自体の境界内)は、「周囲」としてタグ付けされる。周囲と正確に同一面積を有するが物体が存在しない(したがって、物体の「背後」にあるものを示す)別のイメージが存在する場合に、物体を伴わないそのエリア全体が、「背景」としてタグ付けされ得る。メトリックが、周囲に対しておよび可能な時には背景にも対して計算され得る。物体のセグメントまたは部分は、物体を他の物体に分解するのに使用され得、アイデンティティ変数またはカテゴリ変数のためにも使用され得る。物体は、物理的な物体に対応する必要はなく、シーン内の領域または境界を含むことができ、あるいは、単一のイメージ特徴(たとえば、エッジ)を含むことができる。
物体サイズは、鋭敏さを判定するための重要な特徴であり、あるいは、ユーザが物体を検出するまたは正しく同定するかどうかを予測する既知の鋭敏さからの重要な特徴である。物体サイズは、物体内の画素位置の間の最長の水平距離および垂直距離に基づくか、物体の位置を定義する長方形境界ボックスの幅および高さとしてのいずれかである、幅および高さとして定義され得る。成功裡に物体を検出する、または他の物体から区別するのに必要である可能性がある、より小さい特徴が、物体内に配置される場合がある。物体内の最小の特徴が、その物体の2つの次元(幅および高さ)のうちの小さい方の10%であると仮定することができる。最小特徴サイズが、所与のビューイング距離に関して、ディスプレイ上の画素のサイズに比例すると仮定することもできる。最小特徴サイズは、イメージのフーリエ変換の解析によって、または物体に対してトレーニングされたHarr−like特徴分類カスケード(または物体検出に基づく同様の機械学習)からのキー特徴を調べることによってのいずれかで、より明示的に見出され得る。
色、色距離による2つの解析結果のうちの第1の解析結果は、輝度差とは独立の、物体とその周囲/背景との間の色差の測定値である。赤、緑、および青の値が、物体のすべての画素および周囲/背景のすべての画素にまたがって独立に平均をとられ得る。これらの平均RGB値は、標準変換係数または使用されるディスプレイに固有の定数(使用可能な時)のいずれかを使用してCIE三刺激値(X、Y、およびZ)に変換され、その後、CIE色度(xおよびy)に変換される。一実施形態では、標準の原色の色度(primary chromaticities)、D65の白色点、および1の最大白輝度に基づく、Open CV関数「cvtColor」から採用されたRGBからXYZへの変換の変換定数は、
Figure 2019513516
である。
この実施形態では、RGBは、
Figure 2019513516

を使用してxyに変換される。
物体の色度と周囲/背景の色度との間の絶対差は、色距離としてログ記録される。次に、2つの色度とL、M、およびS錐体の3つの共点性の点(copunctal point)との間の中点から直線を描く。これらの線は、これに沿って、これらの錐体タイプのうちの1つを欠く人が色度を区別できないはずの、L、M、およびS錐体欠乏に関する混同線である。この3つの混同線のそれぞれに平行な、物体と周囲/背景色度との間の線の成分は、L、M、およびS固有色距離としてログ記録される。
図5は、本明細書の実施形態による、色対混同構成要素のグラフ表現を提供する。この図を参照すると、線508は、与えられた2つの色度の間に描かれている。この図でわかるように、3つの大きいドットすなわち赤502、緑504、および青506は、それぞれL錐体、M錐体、およびS錐体の共点性の点である。各ドットからは、同様にカラーコーディングされた破線が延びる。太線508は、3つの破線が交差する中心点を有する。線508と中心点から共点性の点のそれぞれへ描かれた線との間の角度に基づいて、3つの結果の混同線のそれぞれのその線の平行成分が判定される。実施形態では、色の間の平行線が特定の混同線に近ければ近いほど、対応する錐体の欠乏を有する人が区別することが、より難しくなる。成分長を全長で割ったもの(商は区間[0,1]内にある)は、おおむね、色が混同される確率である。
図6は、3Dクロモルミナンス空間に投影されたディスプレイ色域の最上部表面にあたる所与の色度に関して輝度がどのように見つけられ得るのかを示すグラフを示す。このグラフは、CIE 1931クロモルミナンス空間へのコンピュータ画面の全ディスプレイ色域の投影を示す。ディスプレイ上の画素の色を定義するのに使用されるRGB空間は、完全な立方体によって表され得るが、輝度の実際の物理特性は、図6に見られる形状によって表されるこれらの値から、多少複雑に導出される。輝度コントラストは、3つの方法で定義され得る。一般に、解析のコンテキストは、その3つのうちのどれを使用すべきかを提案するが、3つのすべてが、任意の物体およびその周囲/背景に関して計算され得る。小さい物体が大きい均一な背景上に提示される場合に関して(たとえば、テキスト刺激に関して)、Weberコントラスト(Weber contrast)は、物体の平均RGBおよび周囲/背景の平均RGBから計算されるCIE三刺激値Y(輝度に対応する)を使用して計算され得る。ここでは、平均輝度が、おおむね周辺輝度と等しいと仮定される。Weberコントラストは、正または負である可能性があり、理論的に非有界である。本質的に周期的である物体/周囲、特に勾配(たとえば正弦波格子)を有する物体/周囲に関して、Michelsonコントラスト(Michelson contrast)が、刺激内の最小輝度値および最大輝度値から計算され得る。Michelsonコントラストは、必ず0と1との間の値になる。ほとんどの場合に、平均値からまたは最小値および最大値からではなく、画素値のすべてからコントラストを計算することが必要になる。RMSコントラスト(二乗平均平方根または標準偏差)は、すべての画素のCIE三刺激値Yの標準偏差をとることによって見出され得る。物体のRMSコントラストは、1つの測定値である。周囲/背景のRMSコントラストに対する物体のRMSコントラストは、別の測定値である。最後に、物体のRMSコントラストおよび周囲のRMSコントラストは、一緒に、使用され得るRMSコントラストの第3の測定値である。
色コントラストは、輝度コントラストに関して上で説明した形のいずれにおいても、独立的に、色度値の任意の対に対して計算され得る。これらのうちで最も有用なものは、CIELAB色空間のa*成分およびb*成分または、錐体反対色空間のL成分対M成分およびS成分対LM成分のいずれかである。次元の任意の対に関して、解析される刺激のタイプに依存して、Weberコントラスト、Michelsonコントラスト、および/またはRMSコントラストが計算され得る。さらに、RMSコントラストは、L錐体欠乏、M錐体欠乏、およびS錐体欠乏に関して計算され得る。すべての画素のCIE色度値は、L共通性点、M共通性点、およびS共通性点にセンタリングされた3組の極座標に変換される。一実施形態では、以下の式が、[0,0]以外の中央転を提供するオプションと共に、直交座標を極座標に変換するのに使用される。
Figure 2019513516
RMSコントラストは、各変換の半径座標に基づいて計算され得る。
物体を見出すことに加えて、アルゴリズムは、シーンまたは物体内に存在する、注意を引くかユーザが実行している課題に有用であるか挙動との相関のための独立変数として他の形で対象となる可能性がある顕著な特徴をも同定することができる。同定された物体の内部などのエッジは、固視または他の反応のターゲットになる可能性があり、その位置は、反応内で観察された位置エラーの責任を負い、正しい反応および正しくない反応と相関させる価値がある可能性がある。領域、輪郭線、表面、反射、影、および多くの他の特徴が、このデータから抽出され得る。
顕著性マップは、刺激シーンの将来の解析のために顕著性についてモデルに知らせるためにユーザ対話から収集されるデータを指す。エッジ、輪郭線、および他のイメージ特徴が、顕著性を測定し、視線固視を含むユーザ反応が行われる可能性がある場所を予測するのに使用され得る。複数のアルゴリズムが、シーン内の異なるタイプの特徴を強調するために適用され得る。
時間ダイナミクスも、視覚ディスプレイまたは環境の特徴、任意の物体、およびその物体特徴が経時的に変化し得るので重要である。すべての変化、特筆すべきは物体または特徴の出現/消失またはその明るさ/コントラストの変化、動きの開始/停止または突然の位置変化(x、y、z平面内)、速度変化(または加速度もしくは位置のより高次の時間微分)、および物体または特徴の状態またはアイデンティティの任意のすべての変化の時刻をログ記録することが重要になる。物体または特徴の色度または輝度の変化も、ログ記録されなければならない。物体の方向付けもしくは姿勢または周囲/背景に対する物体の位置の変化から生じる外見の副次的変化もログ記録され得る。
聴覚情報
戻って図3を参照すると、聴覚情報308は、スピーカなどのオーディオ出力からおよびマイクロホンを使用することによって環境から受信され得る。一実施形態では、聴覚情報308は、生の波形ファイルまたはより記述的な項(たとえば、この時に再生されるこのオーディオ・ファイル)で使用可能である可能性がある。
図7は、本明細書の実施形態による、聴覚情報308の特性メトリック700を示す図である。図7を参照すると、位置基準702が、音響の位置を同定するために書き留められ得る。環境内の物体またはスピーカの、ユーザの頭部に対する位置は、ユーザが頭部を動かす時に変化する。ヘッドホンを介して受信される仮想ソースの位置は、ユーザが彼らの頭部を傾ける時には変化しない可能性がある(ヘッド・トラッキングおよび音響処理が一緒に働いてこれらの変化を模倣しない限り)。
音響の物理属性704は、その位置(強度、タイミング、および耳の間の周波数差)、周波数構成(波形から導出される)、および異なるソースの構成を含むことができる。カテゴリ属性706は、物体の名前付きアイデンティティを含む、イメージの名前付きプロパティおよび/またはグループ・アイデンティティとすることができ、視覚的刺激に関するものと同様の記述に従うことができる。
聴覚(音響)刺激は、一般に、アプリケーションによって生成されるか録音されたオーディオ(たとえば、おそらくはバイノーラルの、頭部装着マイクロホン)から取得されるかのいずれかのデジタル波形(変化する空間および時間の分解能またはビットレートと、おそらくは圧縮とを有する)として取り込まれ得る。圧縮パラメータがある場合には、これを記録することができる。開発者は、一部の処理をスキップすることを可能にする可能性がある、刺激の提示に関する情報を提供することを選択することができる。視覚情報を使用してオーディオ環境をモデル化することができ、その結果、音響の反射または不明瞭さを考慮に入れられるようになる。オーディオ刺激は、以下のパラメータすなわち、フーリエ分解、頭部中心位置、音響環境、および/または物体を含めるように分解され得る。
フーリエ分解は、音響波を音響オブジェクトに基づく成分に分解するために実行され得る。時間領域波形データは、経時的な異なるオーディオ周波数の振幅および位相が解析され得るように周波数領域に変換され得る。これは、独立変数としての音響パラメータ(たとえば、周波数、振幅、波長、形状およびエンベロープ、音色、位相、その他)の利用を可能にする。
頭部中心位置またはヘッド・トラッキング・データが、環境音響に関して必要になる場合がある。ユーザの耳に対する音響ソースの位置が、導出され得、可能な時には、ユーザの耳の位置に存在する音響波形が録音され得る(理想的にはバイノーラルの頭部装着マイクロホンから)。バイノーラル・ヘッドセット音響ソース(たとえば、ヘッドホン/イヤホン)は、この必要性を除去することができる。
同様に、胴体および/または手足のトラッキング・データが、環境音響に関して必要になる場合がある。ユーザの胴体および手足に対する音響ソースの位置を導出することができる。このデータは、環境音響に関して同定されたヘッド・トラッキング・データに関係付けられ得る。このデータは、胴体および手足が頭の移動に伴ってどのようにリアクションするのかの理解を可能にすることができる。
音響環境は、ほとんどの一般的なユース・ケースにおいてクリティカルではない(たとえば、音響は、ヘッドセットからまたは直接的にユーザの前から来る)が、ユーザが反応すると予想される環境音響を考慮するために重要になる。音響を反射しかつ/または阻止する(一般に周波数固有の)環境内の物体は、みかけのソース位置および音響の他の周波数依存特徴を変化させる可能性がある。物理環境がソースからユーザへの音響の伝搬に影響するので、物理環境の特性をおおまかに表すことが有用である可能性がある。
オーディオ・オブジェクトは、視覚オブジェクトの検出およびセグメント化に使用されるものと同一タイプの機械学習アルゴリズム(Haar−like特徴分類カスケードまたは類似物)を使用して検出され、セグメント化され得る。これは、可能な時に、正確なオーディオ事象詳細を入手するのに使用されなければならず、定位のために聴覚系によって使用されるオーディオ・パラメータを抽出するのにも有用である可能性がある。
ほとんどの解析は、時間的に分離して発生する周囲の視覚的刺激および(より少ない範囲で)聴覚的刺激を熟考することができる。他の刺激は、他のモダリティ(たとえば、タッチ、味、匂い、その他)で感知される刺激またはアプリケーションとのユーザ対話のコンテキストを定義する全般的な環境状態変数(たとえば、環境照明および背景オーディオ)を含むことができる。
他の刺激の例は、以下を含むことができる。
開発者が触覚フィードバック機構を使用することを選択でき、そのように選択する場合に、触覚刺激は、これらの事象の性質およびタイミングに関する詳細を提供する。触覚刺激は、直接記録を介して導出され(可能性は低い)または他のソースから導出される(たとえば、マイクロホンを介して物理的振動のうなりを聞く)場合もある。
開発者が分離した時に匂い、味、温度、圧力、苦痛、または他の感覚を開始し、刺激事象を作成できる可能性がある他のモダリティ刺激は、まだ議論されていない。触覚刺激と同様に、そのような刺激のすべての記録は、関数呼出しを介してアプリケーション自体から直接的に最も良く由来するはずである。
環境刺激または時間的に分離して発生するのではなく、一定の状態または安定した繰返しのいずれかを有する刺激は、1セッション内で発生する分離した刺激および反応の重要なコンテキストを提供することができる。環境光レベルは、コントラスト感度、ベースライン瞳孔サイズ、概日パターン、およびユーザの他の生理学的状態に影響する可能性がある。環境音響は、聴覚感度に影響する可能性があり、ある種の聴覚刺激をマスクし、ユーザの生理学的状態および他の状態に影響する可能性もある。時刻も、分類および相関に関する重要な変数である可能性がある。おそらく、アプリケーションによってたやすく記録はされないが、ユーザ入力は、睡眠パターン、飲食物、および他の生理学的に関連する状態変数、ならびに温度、圧力、湿度(ロケーション・サービスおよび他のサービスからも導出され得る)を含む空間のカテゴリ的記述に関する情報を提供することができる。
空間情報
戻って図3を参照すると、一実施形態では、空間情報310は、ユーザ302の周囲のセッティングの記述から構成されることができる。これは、ユーザ302の空間的方向付けおよびユーザ302の周囲の物理空間を含むことができる。
一実施形態では、セッティングは、ユーザ302とアプリとの間の対話が行われる環境である。セッティング・データは、物理セッティング、環境光レベル、室温、および他のタイプのセッティング情報を含む、セッション中にほとんど静的であるものを指すことができる。実施形態では、空間情報310は、セッティング・データの一部である。セッティング・データは、一般に、ユーザ302とのセッション全体を通じて一定である可能性があり、したがって、前に説明したように「事象」には分解されない場合がある。セッティング・データは、物理セッティングに関係する場合があり、あるいは、ユーザ302の個人的詳細に関係する場合がある。
物理セッティング・データは、部屋セッティングまたは屋外セッティングなどであるがこれに限定されない物理空間の任意の記述に対応することができ、データを分類しまたはフィルタリングするのに有用である可能性がある。例示的実施形態では、存在する環境光などの物理セッティング・データが、瞳孔サイズ、コントラスト感度、および他の測定値に直接的に影響する可能性がある。照明は、ビデオ・アイ・トラッキングの品質ならびにシーンのビデオ録画から導出される任意の求心性事象に影響する可能性がある。同様に、環境サウンドは、ユーザの感度ならびにオーディオ録音から導出される任意の求心性事象の特徴を表す能力に影響する可能性がある。
ユーザの個人的詳細は、ユーザに関する任意の個人データ、主として人口統計データ、または、ユーザの現在の生理学的状態もしくは知覚状態(セッション全体を通じて主として変化しないままになるもの)に関する情報に関する可能性がある。このデータは、分類およびフィルタリングにも有用である可能性がある。個人的詳細は、ユーザの眼の光学的諸特性(たとえば、ユーザの眼鏡またはコンタクトの処方の知識から導出されるもの)に関するすべての情報を含むことができる。個人的詳細は、最近の食事の履歴など、飲食物関連情報をも含むことができる。さらに、最も最近の睡眠期間の時間、持続時間、および質、最近摂取されたすべての精神作用薬(たとえば、カフェイン)、ならびに最近の運動または他の身体活動のすべてが、全体的なデータに影響し得る。
遠心性データ
アイ・トラッキング
ビデオ・アイ・トラッキングおよび電気眼球図記録は、眼球運動、凝視方向、瞬き、および瞳孔サイズに関する情報を提供する。これらから導出されるのが、両眼転導、疲労、覚醒、嫌悪の測定値、および視覚探索活動に関する情報である。眼球運動に関する情報は、プロサッケード(pro−saccadic)運動(ターゲットに向かう)、アンチサッケード(anti−saccadic)運動(意図されないターゲットに向かう)の開始、持続時間、およびタイプ、アンチサッケード・エラーの量(時間および意図されたターゲットから意図されないターゲットへの方向)、円滑な追跡、固視持続時間を有する凝視、運動中および固視中の瞳孔変化、瞬目率の周波数および速度、ならびに眼球運動の周波数および速度を含む。両眼転導に関する情報は、開始および持続時間に関して収束と発散との両方を含む可能性がある。視覚的シーンに関する情報と組み合わされて、正確さ、探索時間、および効率(たとえば、探索時のサッケードの回数の最小化)の測定を行うことができる。
ビデオ・アイ・トラッキング・データから導出された自律神経測定値は、覚醒および/または嫌悪を増加させまたは減少させるものに向かう刺激選択を案内するのに使用され得る。凝視位置に関する要約情報は、関心または没頭を示すことができ、同様に刺激選択を案内するのに使用され得る。
図3を参照すると、遠心性データ・ソース306は、ビデオ・アイ・トラッキング・データ312を含むことができる。データ312は、凝視方向、瞳孔サイズ、瞬き、およびビデオ・アイ・トラッカ(VET)または電気眼球図を使用して測定され得るユーザ302の眼に関する任意の他のデータを測定することができる。これは、図8にも示されており、図8は、本明細書の例示的実施形態による、アイ・トラッキングの特性メトリック800を示す。ビデオ・アイ・トラッキング802は、一般に、ユーザの眼球のイメージを録画することと、瞳孔サイズおよび凝視方向の測定値をそれから導出できる既知の光源(通常は赤外線)の瞳孔反射および特定の反射を同定するためにイメージ処理を使用することとを含む。角度分解能(視線方向の)および時間分解能(毎秒フレーム数)が、いくつかの測定値の入手可能性を制限する可能性がある。一部の測定値は、分離した事象として記録され得、他の測定値は、ある時間にわたる傾向および統計の解析のために経時的に記録される。
凝視方向
通常はアイ・トラッキング・ハードウェアと共に提供されるソフトウェアは、較正に使用されるディスプレイに結び付けられた座標での凝視方向の較正された推定値を提供することができる。この変換の一部を別々に実行することが可能/必要である場合がある。外部ビュー・カメラを有する頭部装着ユニットに関して、凝視位置は、頭部中心座標または環境内の特定の物体(おそらくは提供された基準物体)に対する座標になる可能性がある。凝視方向は、サンプル毎秒単位のあるレートで提供されると仮定される。以下のメトリックのほとんどが、凝視方向データのこのストリームから導出される:サッケード、追跡、両眼転導、パターン、および/またはマイクロサッケード。
サッケード:凝視の素早い変化(約数ミリ秒の間)によって分離された相対的に固定された凝視方向の長い期間は「固視」としてログ記録され、その間のジャンプは「サッケード」としてログ記録される。固視は、位置、開始時刻、終了時刻、および持続時間に関して書き留められる。いくつかの場合に、固視は、安定性(固視中の凝視方向の変動性)に関してレーティングされる場合もある。サッケードは、その方向(角度)、速さ、および距離に関して書き留められる。視覚情報が(完全には)処理されない時に、サッケード中の皮質抑制の期間があることが注目に値し、一般にそうであると仮定される。このサッカディック・サプレッション(saccadic suppression)は、ディスプレイ要素の間で動き、出現、または消失の知覚を作成することなくディスプレイを変更するのに開発者によって活用され得る。
追跡:追跡眼球運動は、通常のサッケードより遅い(かつ、視覚処理の皮質抑制を伴わない)凝視方向の円滑な変化の特徴があるものとすることができる。これらの円滑な眼球運動は、一般に、頭部が面する方向に対して相対的に移動する物体を、頭部が動いている間に静止物体を、または頭部も動いている間に移動する物体を、追跡/トラッキングしている時に発生する。胴体または基準フレームの動きも、物体を追跡するための追跡眼球運動を生成する可能性がある。追跡は、不可視のターゲットまたはさえぎられたターゲットの予想される位置に基づいて、視覚的刺激なしで発生する可能性がある。
両眼転導:この測定値は、眼の間の凝視方向の差が凝視の奥行き座標を判定するのに使用され得るようにするために、両眼の相対的に微細な分解能の凝視方向データを同時に必要とする可能性がある。両眼転導は、収束の近点の間の物体および距離において無限遠に向かう物体を測定するためのユーザに関する物体の距離に関係し、そのすべてが収束と発散との間の両眼転導の測定に基づいてモデル化され得る。
パターン:視線方向データの機械学習解析から導出され得る眼球運動の繰り返されるパターンは、反応事象、ユーザ対話の状態の特徴を表し、または適合、トレーニング、もしくは学習の効果を測定するのに使用され得る。特筆すべきは、ターゲットに関する視覚探索中のパターンまたは課題の完了に向かう画面のフリー・ビューイング(たとえば、記憶課題での後の認識のためのシーン詳細の学習)中のパターンである。眼球運動パターンは、シーンの顕著性マップを作成し、イメージ処理を案内するためのモデルを生成するのにも使用され得る。
マイクロサッケード:相対的に敏感な方向および時間分解能を伴って、マイクロサッケード活動を測定し、その特徴を表すことが可能である場合がある。マイクロサッケードは、一般に、凝視中に存在し、剛直な固視または長い固視中に特に重要である。ディスプレイ・システムへのフィードバックは、網膜状で静的になり、トロクスラ・フェーディング(Troxler fading)をもたらすイメージの作成を可能にする。マイクロサッケードは、意識的制御またはアウェアネスの対象ではない。
ある期間にわたって回答され得るアイ・トラッキング・メトリックスに関するサンプルの質問は、ユーザがどこを最も見ているのか(潜在的に、繰り返される事象に反応して)、衝動性眼球運動がどれほど素早く、正確であるのか、ユーザがどれほど素早くターゲットを見つけているのか、ユーザがターゲットを正しく同定しているかどうか、追跡/トラッキングはどれほど正確であるのか、ある種のエリア/刺激に対する好みがあるのか、を含むことができる。
フリー・ビューイング中または探索中に、サッケードの間の固視(相対的に安定した凝視方向)は、通常、200〜300ミリ秒程度持続する。サッケードは、500度毎秒もの高さの素早く加速する速度を有し、素早い減速で終わる。追跡眼球運動は、物体の動き、物体に対する頭部の動き、またはその両方のいずれかからの、移動する物体を安定して固視するために発生する。両眼転導眼球運動は、両眼を一緒に近くの物体に焦点合わせするのに使用される。前庭眼球運動は、頭部および/または胴体の動きから導出される補償する眼球運動である。
「A Non−Invasive Method for Assessing and Monitoring Brain」を名称とする、WO2015003097A1、を参照する。一例では、プロサッケード・アイ・トラッキング検査が実行される。プロサッケード検査は、静止物体から点滅ターゲットに向けて個人が凝視をシフトするのに要する時間の長さを測定する。プロサッケード・アイ・トラッキング検査は、たとえば、「The Antisaccade: A Review of Basic Research and Clinical Studies」、S. EverlingおよびB. Fischer著、Neuropsychologia Volume 36、Issue 9、1998年9月1日、885〜899頁(「Everling」)に記載されているように実行され得る。
プロサッケード検査は、視覚的刺激の標準化されたセットを個人に提示する間に実行され得る。いくつかの実施形態では、プロサッケード検査は、平均結果を入手するために同一の刺激または異なる刺激を用いて複数回行われ得る。プロサッケード検査の結果は、たとえば、プロサッケード・リアクション時間を含むことができる。プロサッケード・リアクション時間は、随意サッケードの開始の潜伏時間であり、通常の値はおおむね200〜250msの間に含まれる。プロサッケード・リアクション時間は、高速プロサッケード(80〜134ms)、高速通常(135〜175ms)、低速通常(180〜399ms)、および低速(400〜699ms)にさらにサブグループ化され得る。
同様に、アンチサッケード・アイ・トラッキング検査が実行され得る。アンチサッケード検査は、個人が点滅ターゲットから離れた静止物体から所望の焦点に向かって凝視をシフトするのに要する時間の長さを測定する。アンチサッケード・アイ・トラッキング検査は、たとえばEverlingに記載されているように実行され得る。いくつかの例では、アンチサッケード検査は、エラー時間および/またはエラー距離すなわち、眼球が誤った方向に(点滅ターゲットに向かって)移動する時間の長さまたは距離をも測定することができる。アンチサッケード検査は、視覚的刺激の標準化されたセットを使用して実行され得る。アンチサッケード検査の結果は、たとえば、プロサッケード検査に関して上で説明された平均リアクション時間を含むことができ、通常の平均リアクション時間は、おおむね190〜270msの範囲に含まれる。他の結果は、眼球運動の初期方向、最終的な眼球の静止位置、最終静止位置までの時間、初期中心窩間距離(すなわち、点滅ターゲットの方向に中心窩がどれほど移動するのか)、最終中心窩静止位置、および最終中心窩間距離(すなわち、所望の焦点の方向に中心窩がどれほど移動するのか)を含むことができる。
また、円滑追跡検査が実行され得る。円滑追跡検査は、移動する視覚的刺激を円滑に追跡する、個人の能力を評価する。円滑追跡検査は、ターゲットが画面を横切って移動する時に視覚的にターゲットに従うように個人に求めることによって行うことができる。円滑追跡検査は、視覚的刺激の標準化されたセットを使用して実行され得、平均結果を入手するために、同一のまたは異なる刺激を用いて複数回行われ得る。いくつかの実施形態では、円滑追跡検査は、個人がターゲットを追跡している時にターゲットがフェード・インし、フェード・アウトする、フェードイン、フェードアウト視覚的刺激の使用に基づく検査を含む場合がある。円滑追跡検査中に収集されるデータは、たとえば、初期反応潜伏時間と、ターゲット・トラッキング中の動きの方向と一緒に中心窩位置を取り込む複数のサンプルとを含むことができる。各サンプリングされた中心窩位置は、サンプルごとのエラー値を生成するために同時にターゲットの中心の位置と比較され得る。
より敏感なトラッキング・ハードウェアに関して、眼振(目の一定の震え)、漂流(不完全な制御に起因する)、およびマイクロサッケード(漂流に対する補正)を測定することが可能である場合もある。これらは、凝視位置の総測定値に対する雑音にも寄与する。というのは、結果の固視が、しばしば、相対的に安定した凝視位置測定値のスパンにわたる平均位置によって特徴付けられるからである。代替案では、それ未満のすべての小さい測定値が固視に含まれるとみなされる、凝視速度のしきい値(度/秒)をセットすることができる。
サッケードは、計画および実行に時間を必要とし、たとえばサッケードを顕在化させる視覚的刺激の開始の後に、通常は少なくとも150msの遅れまたは潜伏時間がある。サッケードおよび様々なコンテキストを長引かせまたは短縮する、サッケードおよび様々なコンテキストの前の潜伏時間に関して、多くのことが分かる。眼球運動と視覚シーン内で発生する事象との相対タイミングに関して有する情報がより正確であればあるほど、サッケードに対する刺激パラメータの影響に関して多くのことが分かる。
通常は相関するが、注意のシフトおよび視線のシフトは、必ずしも一緒には発生しない。いくつかのコンテキストでは、たとえば別の位置を観察しながらある位置を監視するなど、ユーザが彼らの視野周辺内の1点に注意を向けることが有効である場合がある。これらのシナリオは、視界およびマルチトラッキングに関する測定値の生成に有用である可能性がある。
イメージ処理技法を使用して、視覚系のモデルに基づいてより高い顕著性を有するシーン内の領域を強調表示することが可能である。たとえば、より大きい高空間周波数コントラストのエリア(すなわち、エッジおよび線)は、注意および固視を引き付ける傾向がある。特定のコンテキストにおいて、観察者が関わる可能性があるすべての課題と組み合わされる視覚シーン内で入手可能な情報に基づいてカスタム顕著性マップを展開するのに視線方向を使用することが可能である。このツールは、関心を持たれているかより高い没頭を有するエリアを強調表示するのに使用され得る。
瞳孔サイズ
瞳孔サイズは、凝視方向を導出するのに必要なイメージ処理の一部として測定され得る。瞳孔サイズは、一般に、光レベルに反応して、また、自律神経過程を介してある種の刺激事象に反応して変化する可能性がある。瞳孔反応は、意識的制御またはアウェアネスの対象ではない(極端な照明変化の場合の副次的なものを除く)。ある期間にわたって回答され得るアイ・トラッキング・メトリックに関するサンプルの質問は、瞳孔が異なる刺激にどのように反応しているのか、瞳孔が経時的にどのように振る舞っているのか、を含むことができる。
瞳孔径は、一般に、それぞれ明暗の両極端で2mmと8mmとの間に含まれる。瞳孔は、様々な内部刺激および外部刺激に反応して拡張し、収縮する。観察者の間ならびに環境照明および生理学的状態に起因する両方のベースライン瞳孔径の差に起因して、瞳孔反応は、一般に、ベースラインからの変化の比率として測定され得る。たとえば、ベースライン瞳孔径は、外部刺激事象(イメージ出現)の瞬間の直径とすることができ、反応は、刺激事象の後の1秒の間に瞳孔が拡張しまたは収縮する範囲によって測定される。眼の色は、収縮の範囲に影響する可能性があり、年齢も1つの要因になる可能性がある。
光への反応、距離、他の空間的調節、および動きの手がかりに関する調節に加えて、瞳孔径は、しばしば、認知負荷、ある種の心像、および読書によって変調される。瞳孔径は、終了視覚探査中またはその時に変調され得る。比例する変化は、数パーセント・ポイントから数十パーセント・ポイントまでの範囲にわたる可能性がある。
反応が行われたかどうかを計算的に判定するためのしきい値は、コンテキストおよび使用されるハードウェアの感度に依存して変化する。環境照明および/またはディスプレイの平均輝度の変動も、瞳孔径および比例する変化に対して大きい影響を有し、したがって、しきい値は、適合可能である必要があり、データ自体によって決定される可能性が高い(たとえば、拡張事象自体のしきい値は、あるユーザに関して1セッション内で記録された瞳孔径値の範囲のパーセンテージである)。
もう一度、「A Non−Invasive Method for Assessing and Monitoring Brain」を名称とする、WO2015003097A1、を参照する。一例では、瞳孔反射が査定される。瞳孔反射は、しばしば、個人の目に明るい光を照らし、反射を査定することによって査定される。照明の制御が難しい現場環境では、瞳孔反射は、International Affective Picture System(IAPS)標準規格など、写真の標準化されたセットを使用して査定され得る。これらの写真は、瞳孔拡張を含む予測可能な覚醒パターンを顕在化させると判定されている。瞳孔反射検査は、照明条件の変化(個人の目に光を当てることを含む)、または、写真、ビデオ、もしくは他のタイプの映像データの提示など、様々な刺激を使用して実行され得る。いくつかの実施形態では、瞳孔検査は、平均結果を入手するために、同一のまたは異なる刺激を用いて複数回行われ得る。瞳孔反射検査は、個人の瞳孔径、瞳孔高、および/または瞳孔幅の初期読みをとり、その後、瞳孔反射を顕在化させるためにその個人に視覚的刺激を提示することによって行われ得る。瞳孔拡張の変化(たとえば、径、高さ、幅、および/またはこれらの測定の一部またはすべてに基づいて計算される面積の変化)および拡張に要する時間が、測定される。瞳孔反射検査の結果は、たとえば、拡張(散瞳)結果のセットおよび萎縮(縮瞳)のセットを含むことができ、各セットは、振幅、速度(拡張/収縮の速さ)、瞳孔径、瞳孔高、瞳孔幅、および反射の開始までの遅れを含むことができる。
瞬き
ビデオ・アイ・トラッカ、ならびにユーザの顔/目の領域の特殊性の低いビデオ・イメージングは、閉眼の素早い期間または長い期間を検出することができる。獲得の消失が、データ消失の期間の原因でもある可能性があるので、警戒される場合がある。意識的なまたは反射的な瞬き事象と、疲労またはいらだちの測定に関する経時的な瞬目率とを記録することができる。アイ・トラッキング・メトリックに関するサンプルの質問が、図8で言及されている。実施形態では、これは、ある期間にわたって回答され得る質問であり、ユーザが刺激の開始に反応して瞬きしているのかどうか、瞬目率が刺激に反応して変化しているのかどうか、瞬目率が全体的に変化しているのかどうか、瞬目率が疲労を暗示するのかどうかを含むことができる。
通常の瞬目率(blinking rate)は、安静時に毎分約10回の瞬きであり、一般に、焦点的注意(たとえば読書)中には毎分約3回の瞬きまで減少する。瞬きの他の特性、たとえば、眼瞼運動の距離/速さおよび瞬きの中の様々なステージの持続時間は、非視覚課題(たとえば、聴覚的刺激区別を使用する)内のエラー・レートおよび他の測定値と相関され、可能な時には、眼瞼位置を詳細に解析するためにビデオ録画を使用すること(すなわち、自動化された眼瞼トラッキング)が有利である可能性がある。150msより長い瞬き持続時間は、長時間瞬き(long−duration blink)と考えることができる。
ほとんどの測定値と同様に、ベースラインからの比例する変化は、瞬き周波数または平均持続時間の絶対測定値より貴重である可能性がある。一般に、有意性は、統計的測定に基づいて割り当てられ得、これは、変動が測定値の一般的変動性より大きい(たとえば、t検定を使用して推定される)場合に、すべての変動が有意であることを意味する。
手入力
戻って図3を参照すると、もう1つの遠心性データ・ソース306は、手入力314とすることができる。これは、コンピュータ対話の典型的なツールであり、多くの形で使用可能である可能性がある。対象となる例示的な手入力314は、入力アイデンティティ(キー押下)、任意の他のジェスチャ、タッチ・スクリーン上またはマウスによる位置座標(x、y、z)、および/または手もしくは他の手足の(ビデオ)トラッキングを含む。図9は、本明細書の実施形態による、手入力902の特性メトリック900を示す。
ある期間にわたって回答され得る手入力基準に関するサンプルの質問は、ユーザがどこを最も多くクリック/タッチしているのか(潜在的に反復する事象に反応して)、クリック/タッチがどれほど速く正確であるのか、ユーザがターゲットをどれほど素早く見つけているのか、ユーザがターゲットを正しく同定しているのかどうか、トラッキングがどれほど正確であるのか、ある種のエリア/刺激に関する好みがあるのかどうか、ユーザがどの種類のつかむ/触れる動きを行っているのか、手/目の協調はどのようなものであるのか、仮想刺激に対する反射的行動があるのかどうか、を含むことができる。
指、手および/もしくは腕、足、またはユーザの身体の任意の他の部分によって行われる反応は、一般に、タイミング・データ、位置データ、軌跡データ、圧力データ、およびカテゴリ・データを生じる可能性がある。これらの反応は、時間的に分離している場合があるが、一部の維持される変数または状態変数は、手動データからも導出され得る。以下の解析反応メトリックが、手動反応から導出され得る:カテゴリ、アイデンティティ、タイミング、位置、および/または軌跡。
カテゴリ:クリック、タッチ、ドラッグ、スワイプ、およびスクロールなどのカテゴリに加えて、ダブル・クリック、タップまたはプッシュ、マルチフィンガ入力、その他などの副カテゴリがある場合がある。アプリケーションによって検出可能なカテゴリによって、あるアクションを別のアクションから区別するすべての変数は、反応を区別するのに重要である可能性がある(開発者によってその目的で使用される可能性が高い)。
アイデンティティ:同一タイプの反応事象に関して複数の入力モダリティ、最も顕著にはコンピュータ・キーボード上のキーまたは媒体環境内で可能である可能性がある任意の他のジェスチャが存在する時には必ず、入力のアイデンティティが記録され得る。これは、方向パッド上で示された方向、クリックされたマウス・ボタン、および、可能な時に、タッチされたタッチパッドのエリア(カーソル位置とは独立)、または任意の他のジェスチャをも含む。
タイミング:すべての反応の開始時刻および終了時刻が記録され得(たとえば、ボタン押下げが、ボタンダウン事象とボタンアップ事象との両方をログ記録する)、その反応から、持続時間が導出され得る。このタイミング情報は、反応を、その反応を顕在化させた刺激に結び付け、事象を時間的に相関させるための鍵になる。
位置:視覚インターフェースに関して、位置は、ディスプレイ座標であるものとすることができる。位置は、クリックなどの分離された事象に関して単独とし、または、トレース、ドラッグ、その他に関してある適度なレートで連続的に記録され得る。可能な時には、これらを網膜座標に変換することもできる(視線トラッキングの組合せを用いて)。位置を理解することによって、網膜の局所解剖学を行うことができ、網膜の諸エリアが、さらに脳、身体、内分泌系、および自律神経系との関係において、その特定の機能との関係においてマッピングされ得る。ビデオ/モーション・キャプチャによって記録されるジェスチャに関して、人体中心位置(body−centric position)が、カーソルまたはユーザによって制御される他の物体の位置と一緒に記録される。
軌跡:スワイプ、スクロール、および他の動的ジェスチャに関して、発生するすべての明示的な位置変化に加えて、反応の軌跡(すなわち、ベクトルとしての方向および速さ)を記録することが可能である場合がある。これは、事実上、デバイスがこれらのアクションの事象タイプをも提供しない限り、位置データの素早い変化の解析から導出される可能性が高い。
ヘッド・トラッキング
ヘッド・トラッキング測定は、主として仮想現実感ディスプレイ、増補現実感ディスプレイ、および混合現実感ディスプレイに関連する。これらは、表示される仮想環境との同調性の測定値を提供することができが、これらの環境に対するユーザのリアクションの測定値を提供することもできる。刺激に向かうまたは刺激からそれる方位付け、表示される視覚的環境に一致するまたは一致しない代償運動、および他の運動挙動が、アイ・トラッキングからの測定値に類似する、同様ではあるがより不正確な測定値を導出するのに使用され得る。覚醒、疲労、および没頭に関連付けられるこれらの導出された測定値は、以前に述べたように変更され得る。
頭部運動、特にサッケード頭部運動が、ユーザに関する不一致および不快の源であることがわかる場合には、そのような頭部運動の回数を減らすようにディスプレイを変更することが望ましい可能性がある。ディスプレイ要素を頭部中心の近くの領域内に保つことおよび/または頭部が面する先のより遅い変化を促進することにより、大きい頭部運動を減らすことができる。個人差に関して、一部のユーザは、同一のシナリオに関して他のユーザより大きく彼らの頭部を動かす。頭部を動かす人を、その移動を減らすようにトレーニングすることが可能である可能性がある。
戻って図3を参照すると、ヘッド・トラッキング・データ316は、遠心性データ306ソースのもう1つの形である可能性がある。ヘッド・トラッキング・データ316は、ユーザ302の頭部方位付けおよび物理的位置を、ビデオ・トラッキング(VETまたは他の形)またはHMD、ヘッドセット、もしくは他の身に着けられたデバイス上に配置された位置センサのいずれかからトラッキングすることができる。ユーザ302の頭部のトラッキングに加えて、ユーザの胴体をトラッキングすることができる。ユーザ302の胴体およびその諸部分の位置は、おそらくはビデオ・ベースのモーション・キャプチャまたはウェアラブル・デバイス内の加速度計から記録され得る。この位置データは、一般に、視線測定およびユーザの視覚的環境の更新を助けるために、手動反応データ(指、手、または腕のトラッキングに由来する)および/または環境に対する頭部方向付けを符号化するのに使用される。頭部位置データは、環境に由来する音響に対する頭影効果の影響をモデル化するのにも使用され得る。図10は、本明細書の実施形態による、ヘッド・トラッキングの特性メトリック1000を示し、このヘッド・トラッキングは、頭部方向付け1002および/または物理位置1004を含むことができる。
ある期間にわたって回答され得るヘッド・トラッキング・メトリックに関するサンプルの質問は、ユーザがどこを最も見ているのか(潜在的に、繰り返される事象に反応して)、頭部運動がどれほど素早く、正確であるのか、追跡/トラッキングがどれほど正確であるのか、ある種のエリア/刺激に対する好みがあるのか、ユーザが物体を凝視し、かつ/またはトラッキングするために頭部運動および眼球運動を正確に調整しているのかどうか、頭部運動がハードウェアに起因して減少しているのかどうか、ユーザがハードウェアに対して多数の調整を行っているのかどうか、ユーザはハードウェアによって測定可能に疲労しているのかどうか、を含むことができる。
頭部運動は、仮想現実感、増補現実感、および混合現実感の領域で特に重要である可能性があり、一般に、課題に依存して眼球運動に相関され得る。眼球運動を伴う頭部運動の傾向には大きい個人差がある。読書などの課題中に、頭部運動は、凝視のシフト(眼球運動と組み合わされた)の5%から40%を占める可能性がある。ユーザが彼らの頭部を普通に動かす度合は、視覚および前庭感覚の不一致からの不健康への感受性の主要なインジケータを証明することができる。
サッケード運動および追跡頭部運動は、2つのモダリティにおいて定性的に異なる可能性が高い。たとえば、ユーザが、前から右へ凝視を自由に向けるのではなく、追跡運動を使用して胴体の正面から胴体側面の右側90度へ物体を追いかける場合に、不一致は、より不快感を与えないものである可能性がある。追跡物体の速度が相対的に安定している場合には、不一致は、動きのほとんどを通じて知覚されないほどであるはずである。
戻って図3を参照すると、ユーザ302の音声応答も、マイクロホンを介してトラッキングされ得る。音声認識アルゴリズムが、録音された音響から意味論的意味を抽出し、反応の時刻(潜在的には個々の単語または音節の)をマークするはずである。より洗練されていないシナリオでは、音声応答の強度が、反応の時刻をマークするのに十分である可能性がある。実施形態では、音声および会話データは、知覚のレベルを判定するために、ヘッド・トラッキング、アイトラッキング、手入力などであるがこれに限定されない複数の他の形のデータと相関される。
電気生理学/自律神経記録
電気生理学的測定および自律神経測定は、主として、意識的影響の領域からはずれ、したがって意識的実行の領域から外れる。これらの測定値は、主として、覚醒の状態に関し、したがって、刺激選択を案内するのに使用される。便宜のためにここで列挙すると、対象となる測定値は、脳波記録法(EEG、具体的には覚醒状態に関連する様々な周波数帯の活動)、ガルバニック皮膚反応(GSR、やはり覚醒と感情刺激に対するリアクションとに関連する)、心拍数、呼吸数、血液酸素化、および潜在的に骨格筋反応の測定値に由来するはずである。
もう一度、「A Non−Invasive Method for Assessing and Monitoring Brain」を名称とする、WO2015003097A1、を参照する。一例では、脳波活動は、能動脳波検査を実行することによって査定され得る。能動脳波検査は、EEG(脳波記録法)機器を使用することと、当技術分野で既知の方法に従うこととによって行われ得る。能動脳波検査は、個人が様々な視覚的刺激を提示されている間に実行される。いくつかの実施形態では、能動脳波検査は、能動脳波活動を査定するのに適当である視覚的刺激の標準化されたセットを提示している間に行われる。いくつかの実施形態では、能動脳波検査は、平均結果を入手するために、同一のまたは異なる刺激を用いて複数回行われ得る。能動脳波検査の結果は、たとえば、アルファ波、ベータ波、デルタ波、およびシータ波の時間的測定および空間的測定を含むことができる。いくつかの実施形態で、能動脳波検査の結果は、2つのタイプの脳波の比率を含むことができ、たとえば、結果は、アルファ波/シータ波の比率を含むことができる。
同様に、受動脳波検査(passive brain wave test)が実行され得る。受動脳波検査は、個人が目を閉じている間すなわち視覚的刺激が存在しない間に脳波データを記録するために、EEG(脳波記録法)機器を使用して行われ得る。たとえば、受動波脳波検査の結果は、たとえば、アルファ波、ベータは、デルタ波、およびシータ波の時間的測定および空間的測定を含むことができる。いくつかの実施形態において、受動脳波検査の結果は、2つのタイプの脳波の比率を含むことができ、たとえば、結果は、アルファ/シータ波の比率を含むことができる。いくつかの実施形態において、受動脳波検査は、平均結果を入手するために、複数回行われ得る。
可能な時に、電位と刺激ディスプレイ/スピーカとの両方の正確なタイミング情報に頼って、時間平均された反応が、繰り返される試行から生成され得る。視覚処理または聴覚処理に関連する特性波形(事象関連電位、ERP)が、測定され、様々な形で操作され得る。これらはユーザからの意志的行動を必要としないので、知覚の低水準であり、論証できるより純粋な測定値を表す。
戻って図3を参照すると、電気生理学データ318は、もう1つの遠心性データ・ソース306とすることができ、これは、kHz程度の速度で記録される電位の形で入手可能である可能性がある。これは、皮膚または他の露出された組織(特筆すべきは眼の角膜)に配置された電極の間の電位の任意のすべての測定値を含むことができる。ほとんどのユース・ケースは、おそらく、非侵襲的記録を用いるが、他の医学的に妥当な目的のために配置された埋込電極からのデータを解析する機会が生じる場合がある。データは、一般に、毎秒数百サンプルまたは数千サンプルのレートで収集され得る。解析は、波形を生成するための刺激事象に対する反応のタイムロックド平均値または活動の様々な状態をそれから推論できる経時的なデータの様々なフィルタリングされた表現のいずれかに焦点を合わせることができる。たとえば、脳波図(EEG)は、頭皮/頭部から電極記録を収集して、脳または他の神経活動の電気活性を明らかにするのに使用され得る。記録は、一次感覚処理(primary sensory processing)、二次およびその後の感覚処理、認知処理、または反応生成(運動処理、言語処理)の領域に焦点を合わせることができる。電気眼球図(EOG)は、相対眼球位置(凝視方向)に起因する電場電位の変化を測定するために眼球付近からの電極記録を収集するのに利用され得、網膜機能および筋活動の特性を測定することもできる。EOGは、ビデオ・アイ・トラッキングの低空間分解能代替物を提供することができる。網膜電図(ERG)は、網膜からの神経活動を取り込むために角膜からの電極記録を収集するのに使用され得る(最小限に侵襲的)。刺激の色彩特性および空間特性との相関は、異なる錐体タイプおよび網膜上の位置からの反応の特徴を表すことを可能にする(これは、EEGを介して記録された視覚誘発電位にもあてはまる)。心電図(ECG)は、心機能に対応する神経筋活動を収集し、潜在的には刺激に反応する、自律神経の状態の測定値を提供するのに使用され得る。神経筋電位の測定は、骨格筋収縮ならびに/または胴体および手足の運動から神経筋活動を記録するために任意の位置に配置された電極を用いる(筋電図すなわちEMGを含む)。ガルバニック皮膚反応(GSR)の測定は、汗および皮膚の他の状態変化に起因するコンダクタンス変化の対象である皮膚にまたがる電位差を測定することのできる電極を用いることができる。これらの変化は、不随意であり、刺激またはシナリオに対する自律神経反応を明らかにすることができる。
遠心性データ306のもう1つのソースは、心拍数、呼吸数、血液酸素化、皮膚コンダクタンスに関する情報、および電気生理学データ318に関するものに似た形のユーザ302からの他の自律神経(無意識)反応データを含む、自律神経監視データ320とすることができる。圧力変換器または他のセンサは、呼吸数に関するデータを中継する場合がある。パルス・オキシメトリは、血液酸素化を測定することができる。圧力変換器または他のセンサは、血圧を測定することもできる。任意のすべての無意識自律神経測定値は、刺激に対する反応または他のデータの分類のための全般的状態を明らかにすることができる。図11は、本明細書の実施形態による、電気生理学監視データ1102および自律神経監視データ1104の特性メトリック1100を示す図である。
ある期間にわたって回答され得る電気生理学メトリック1102および自律神経メトリック1104に関するサンプルの質問は、事象に対する時間平均をとった反応の特性は何であるのか、様々な周波数帯または他の導出された状態が経時的にまたは刺激に反応してどのように変化するのかを含むことができる。
データを収集するセンサは、上の図1のコンテキストで説明したハードウェア106の一部とすることができる。一部のセンサは、HMDに一体化され得る(たとえば、脳波記録法、電気眼球図記録、網膜電図、心血管監視、ガルバニック皮膚反応、および他のためのセンサ)。戻って図3を参照すると、一部のデータは、ユーザ302の身体上の他所のセンサを必要とする場合がある。非接触センサ(ビデオさえ)が、いくつかの電気生理学データ318および自律神経監視データ320を監視できる場合がある。実施形態において、これらのセンサは、スマート・クロージングおよび他の衣装とすることができる。ユーザまたは彼らの現在の状態を分類するために、ユーザのイメージング・データを使用することが可能である場合がある。機能イメージングは、刺激に対する無意識の反応に関するデータを提供することもできる。イメージング・モダリティは、X線/コンピュータ断層撮影(CT)、核磁気共鳴画像法(MRI)、眼科イメージング(Ophthalmic Imaging)、超音波、および脳磁図(MEG)を含む。イメージングから導出された構造データは、電気生理学データのソースを定位するのに使用され得る(たとえば、構造データ、MRI EEGデータ、およびMEGデータのうちの1つまたは複数の組合せ)。
メトリックは、これらの刺激/反応特徴対から推論され得る直接測定値と、直接測定値から推論され得る間接測定値とに分解され得る。ほとんどの場合に、刺激/反応特徴ペアリングの個々の発生が、中心傾向および変動性を推定するために統計的に組み合わされ得ることを理解されたい。単一の試行からのデータ、特定の記述の複数の繰り返された試行から導出された記述的統計からのデータ、ならびにモデル化および予測のための連続変数として刺激および/または反応特徴を探査することからのデータに、潜在的な価値がある。
顔パターン認識機械学習
SDEPは、成果に関するカスタマイズされた予測構成要素の開発を可能にするために、そのモデルおよび予測構成要素を成果と組み合わせて利用することができる。SDEPの予測構成要素は、主ソースと副ソースとの両方からの自然主義的なまたは自発的なセッティングからの視覚データの大きいデータセットがそれによって精選され、ラベル付けされる収集プロセスを介して構築され得る。データセットは、写真、YouTubeビデオ、Twitch、Instagram、および、インターネットを介するなど、二次調査を介して入手可能である顔データセットを含むことができる。精選され、ラベル付けされたデータは、さらなる関与のためおよび成果のカスタムプラットフォームを構築するために利用され得る。
図12Aから図12Dまでは、精選されたデータを構築するイメージ解析の例示的プロセスを示す。これらの図は、モデルの例示的なモバイルベースのバージョンを説明するものである。他の実施形態では、モデルは、クラウド上で実行され得る。図12Aは、カスタマイズされた予測構成要素がその人に関して開発され得る被験者の例示的なイメージを示す。図12Bは、被験者のイメージを示し、SDEPは、アイ・トラッキング、瞬き検出、凝視方向、ならびに他のパラメータおよび/または顔属性に関して眼を同定する。実施形態では、眼は、一連のイメージを介してまたは被験者のビデオを介して、トラッキング目的のために継続的に同定される。
図12Cは、アイ・トラッキング、瞬き、および凝視方向のコンテキストで顔属性を抽出するのに使用され得る自然主義的なまたは自発的なセッティングからの視覚データのデータセット1202を示す。実施形態では、SDEPシステムは、フレームがビデオから抽出される場合の異なる条件の下で大きいデータ・セット1202を用いてトレーニングされる。異なる条件は、とりわけ、複雑な顔の変化、照明条件、オクルージョン、および使用される全般的なハードウェアを含むことができる。実施形態では、様々なコンピュータ・ビジョン技法および深層学習が、システムをトレーニングするのに使用される。図12Cおよび図12Dを参照すると、イメージ1204が、被験者の感情を解析するためにその顔属性を抽出するために選択される。実施形態では、イメージ1204を含む、データセットからのイメージが、精選され、ラベル付けされる。
以下のステップは、例示的なデータ精選およびラベル付けプロセスの概要を示すものである。
1.望ましいデータ・ソースを同定する
2.同時に、ビデオおよび静止画から顔キー・ポイント検出を実行するパイプラインを開発する。これは、顔から眼領域をセグメント化し、選択するために顔キー・ポイント定位を活用することによって達成され得る。さらなるキー・ポイント特徴が、ダウンストリーム解析において無視すべき可能な次元として、イメージの回転、ピッチ、および照明を判定するのに使用される。表情が、感情を解析するために同定され得る。瞬き、眼球運動、およびマイクロサッケードも、キー・ポイント検出システムの一部として同定され得る。
3.眼領域イメージの正規化されたセットを入手するために、データ・ソースの擦り傷が同定され、SDEPを介して供給される(図2B参照)。最終的なイメージは、ピッチ、回転、および照明に関する情報がリターン時に使用可能になるように、眼領域だけを含むようにセグメント化/クロッピングされ得る。
4.上の処理からの出力は、瞬き、着色、斜視、および成果にとって重要な他のメトリックにラベル付けするために成果と組み合わされ得る。
上で述べた、収集されラベル付けされたデータは、眼領域のカスタム予測モデルを開発するために活用され得る。カスタマイズされた機械学習アルゴリズムが、瞬目率、疲労、感情、凝視方向、注意、斜位、収束、発散、固視、凝視方向、瞳孔サイズ、その他におよぶキー・パラメータを予測するために作成され得る。さらに、デジタル刺激内の画素レベル情報から利益を得、眼反応との関係を共に学習するために、マルチモーダル手法がSDEPを活用することができる。画素レベル情報は、これを既存の視覚モデル化アルゴリズムと融合させるために、RGB、輝度に分解され得る。
実施形態では、アイ・トラッキング・パラメータが、アイ・トラッキング・アルゴリズムから抽出される。一実施形態では、顔に対する瞳孔位置が、それから眼球運動を固視、追跡、およびサッケードとして分類すべき1つの測定値を提供する。一実施形態では、瞳孔サイズも、両眼について独立的に測定される。一実施形態では、凝視方向が、相対瞳孔位置から推定される。凝視位置は、両眼からのデータと、両眼転導の推定値を含む他の測定値(すなわち、顔および画面の相対位置)とを使用して3D空間内で測定され得る。凝視位置は、それから眼球運動を分類すべきもう1つの測定値を提供する。
図13Aおよび図13Bは、経時的な瞳孔の位置およびサイズと凝視位置とを示す。図13Aは、第1の時刻における、3D 1304Aおよび2D 1310Aでの瞳孔の位置およびサイズと凝視位置とを示し、図13Bは、第2の時刻における、3D 1304Bおよび2D 1310Aでの瞳孔の位置およびサイズと凝視位置とを示す。一実施形態では、第2の時刻は第1の時刻より後である。イメージ内の任意の所与の点に、1秒(まで)のデータが示されており、より古いデータは、青などの異なる色で示される。明るい青の正方形は、観察者が見つめていたディスプレイを表す。物理寸法は、原寸通りではない(たとえば、ビューイング距離は、左のパネル内に見えるものより長かった)。左パネル1304Aおよび1304Bは、空間の3D等角図を示し、左側にはユーザの眼1306、右側にはディスプレイ1308がある。
左側には、凝視位置が3D 1304Aおよび1304Bで示されている。線が、観察者のディスプレイ1308の表面から凝視位置へ描かれ、赤は、ディスプレイ1308の背後の凝視位置を示し、緑は、ディスプレイ1308の間の凝視位置を示す。これらの円は、眼1306に関する情報を伝える。
1.最大の暗い灰色の輪郭の円は、空間内で相対的に固定された眼および顔の平均位置を表す。
2.内部の明るい灰色の輪郭は、平均瞳孔サイズと、顔に対する瞳孔位置とを表す(移動するがサイズを変化させない)。
3.黒で塗り潰された円は、相対瞳孔サイズならびに顔に対する瞳孔位置を表す(移動し、サイズを変化させる)。
瞳孔情報が欠けている時には、眼が閉じられている(または、他の形で隠されている)と仮定することができる。
3D 1304Aおよび1304A内の凝視位置は、黒い点(黒い線によって接続される)によって描かれ、凝視方向は、両眼から発する。ディスプレイからの凝視の深さは、ディスプレイから現在の凝視位置への緑(前)または赤(後)の線によってさらに示される。
右側では、凝視位置1310Bおよび1310Bが、2Dで示されている。ここでは、瞳孔に関する情報が存在しない。また、眼球運動を分類する以下の情報が追加される。
1.黒は固視を示し、この固視中に、灰色の輪郭が光り、固視の相対持続時間を示す。
2.青は追跡を示す。
3.緑(接続する線を伴う)は、サッケードを示し、線は、サッケード中に点を接続する。
視覚パフォーマンス・インデックス
メトリックの重要なクラスは、パフォーマンスに関するものとすることができる。ユーザのパフォーマンスは、視覚パフォーマンス・インデックス(VPI)の形で判定され得、VPIは、本明細書の実施形態において後で詳細に説明される。
戻って図1を参照すると、一実施形態では、媒体システム104によってなど、ユーザ102から収集されたデータは、ユーザ102の視覚パフォーマンス・インデックス(VPI)(図2Bの240をも指す)を同定するために処理され得る。VPIは、媒体システム104とのユーザ102の対話中に査定されたユーザ102の視覚パフォーマンスのレベルを示すことができる。VPIは、同様のVPIを有するユーザ102のユーザのグループを同定するのに使用され得る。
VPIは、様々な形で測定され、操作され得る。一般に、目標は、ユーザの視覚パフォーマンスを改善することとすることができるが、操作は、少なくとも一時的にパフォーマンスを低下させる可能性がある、努力目標の増加(たとえば、没頭のための)を目指すこともできる。代替実施形態では、視覚に関係するもの以外のまたはそれに加えて、パフォーマンス・インデックスが測定され、操作され得る。たとえば、設計、没頭、および類似物などの他の領域が、パフォーマンス・インデックスを介して測定され、操作され得る。
もう一度図2Bを参照すると、データ解析チェーンの例示的な概要が示されている。データ解析は、最も下のレベルで232で始まり、ここで、データ・レベルは、さらには単純化されないものとすることができる。232では、単一の刺激のパラメータが、刺激の直接の特徴に対応する異なる独立変数に基づく複数の測定に使用され得る。単一の反応のパラメータが、異なる従属変数に基づく複数の測定に使用され得る。234では、独立変数および従属変数が、ユーザの視覚パフォーマンスの測定値を抽出するために対にされ、あるいは、他方と組み合わされ、ユーザの視覚パフォーマンスの測定値を生成するためにモデルにあてはめられ得る。実施形態では、ペアリングは、相関または他の統計的/非統計的方法を介して反応事象を1つまたは複数の刺激事象に組み合わせることを含むことができる。個々の対は、フィルタリングされて236に達することができ、ここで、所与のタイプの対話に関して、独立変数および従属変数の多数の対が、モデル分布のパラメータを推定するか、記述的統計を推定するかのいずれかに使用され得る。実施形態では、モデル分布は、測定値がどのくらいの頻度で特定の値になるのかの期待値である。いくつかの場合に、「釣鐘曲線」という典型的な形状を有する正規分布が使用され得る。記述的統計またはモデルあてはめのプロセスが完了した後に、238で、ユーザの視覚の特性の物理測定値の個々の推定値が生成され得る。個々のユーザ推定値は、単一の対話に基づくものとするか、複数の対話からの要約測定値とすることができる。240では、少なくとも1つの物理特性の測定値が、VPIの副構成要素に寄与するために正規化され得る。242では、複数のVPI副構成要素スコアが、構成要素スコアを生成するために組み合わされ(たとえば、平均をとられ)得る。実施形態では、構成要素スコアは、総合VPIを生成するためにさらに組み合わされ得る。VPI、その副構成要素、および構成要素は、本明細書の後続セクションでより詳細に議論される。
実施形態では、視覚パフォーマンスの測定値は、ユーザに対する、絶対的ではなく相対的な意味を有する正規化された「スコア」として提示され得る。これも、図2Bのコンテキストで240および242に示されている。ユーザは、一般集団またはその特定の部分集合に対するユーザのパフォーマンスのレベルを測定できる場合がある。特殊化されていないハードウェア(すなわち、制御された実験セッティングの外部で使用されるモバイル・デバイス)からのデータ記録に関連する、仮定された高い度合の測定雑音に起因して、遠心性現象(たとえば、瞳孔サイズ、凝視方向、瞬き検出)および求心性パラメータ(たとえば、ディスプレイ・クロモルミナンス、ビューイング距離、オーディオ強度)の正確な測定値は、入手不能である。したがって、測定値ごとに「通常」範囲を定義し、これらの測定値の増加または減少に関する妥当な目標をセットするために、全ユーザの累積されたデータからの中心傾向(すなわち、平均値)および変動性(すなわち、標準偏差)の推定値に頼ることが要求される可能性がある。
スコアは、測定値のタイプごとに独立に、様々なタイプの課題のそれぞれについて、および一般に一意のシナリオまたはコンテキストごとに正規化され得る。これは、異なる単位で測定され、異なる刺激に対する、および異なる種類のユーザ反応からの測定値にまたがる簡単な比較および平均化を可能にすることができる。さらに、任意およびすべてのスコアに関して、パフォーマンスは、わずかにまたは有意に平均値を超えるまたはこれを下回るものとして分類され得る。セット記述的基準は、パーセンタイルに基づいて判断され得る(所与の測定値が一般集団の中で正規分布になっていると仮定して)。以下のセクションの例は、10%および90%を使用するが、パーセンタイルは、任意に選択され得、特定のコンテキストに関して変更され得る。ユーザのスコアのうちの10%が、スコアの最下位10%または最上位10%に含まれ、したがって、それぞれ「異常に」低いまたは高いと仮定することができる。
一実施形態では、VPIは、本質的に求心性と遠心性との両方である可能性がある以下のパラメータおよび副パラメータのうちの1つまたは複数の組み合わせとすることができる。いくつかの実施形態では、VPIは、遠心性データを伴わない、精神測定データの関数とすることができる。直接測定値は、一般に、単一の反応特徴を単一の刺激特徴に関係付ける。可能な時には必ず、精神測定関数は、刺激特徴値が変化する時の反応のパターン(平均反応、反応の確率、または反応のカテゴリの比率)から構築され得る。直接測定値は、以下すなわち検出、区別、反応時間、および/またはエラーを含むことができる。
間接測定値は、直接測定値および/または直接測定値の組合せの、より高いレベルの解釈とすることができる。これらは、一般に、特定のコンテキスト内または特定のコンテキストにまたがる直接測定値の記述および変数の間の相互作用をも含む可能性がある。間接測定値は、以下すなわちマルチトラッキング、疲労/持久力、適合/学習、好み、記憶、および/または状態を含むことができる。
実施形態では、他の視覚関連パラメータが、VPIを計算するのに使用され得、すべてが下でより詳細に説明され、一緒にFAMEDと略書きされる、視界(F)、正確さ(A)、マルチトラッキング(M)、持久力(E)、および/または検出/区別(D)を含むことができるが、これに限定はされない。
視界(F)
戻って図1を参照すると、視界(F)は、任意の所与の瞬間にユーザ102によって見られる視覚的世界の範囲と記述することができる。中心視は、ユーザ102が、読書などに重要である最大の鋭敏さを有する、ユーザ102の視界の中央部分を表す。周辺視は、将来の挙動を誘導し、ユーザ102の焦点の外部の重要な事象を把握するのに重要である、ユーザ102の視界の外側部分である。
視界は、正確さおよび検出の測定値に基づいて、ユーザの中心視界または周辺視界内にある刺激と対話する時のユーザの相対パフォーマンスを測定する。視覚的離心率(visual eccentricity)が増加する時のほとんどの刺激特徴に対する低下した感度に起因して、パフォーマンスが、一般に周辺部でより悪くならなければならないと仮定される。中心刺激および周辺刺激に関するパフォーマンスの比率は、一般集団の中で、ある平均値および標準偏差を有し、他の測定値と同様に、ユーザが異常に低いまたは高い視界能力を有するかどうかを判定するのに、正規化されたスコアが使用される。
ユーザの視界スコアが異常に低い場合には、周辺部に存在した刺激の正確さスコアおよび検出スコアを増やすことによってこれを改善することができる。これは、一般に、タイミングおよび位置の一貫性を高めること、色度差および輝度差(物体の間および物体内)を高めること、物体のサイズを増やすこと、周辺部に提示される時にすべての移動するターゲットを低速にすることを必要とするはずである。
正確さ(A)
戻って図1を参照すると、正確さ(A)は、ユーザ102によって実行されるアクションにおいて、正しい選択を行うことと正確であることとの組合せとすることができる。正確さの測定値は、2つの副構成要素すなわちリアクションおよびターゲティングに分割され得る。リアクションは、入ってくる情報を処理し、これに作用するのに要する時間に関する。リアクションは、媒体経験中に素早い反応を行うユーザ102の能力を指すことができる。リアクションは、判断を行うのに十分な情報が刺激内で入手可能である(すなわち、刺激の出現)点とユーザの反応が記録される時との間の期間として測定され得る。素早い反応に関して、これは、通常は1秒未満になる。
ユーザのリアクションが異常に遅い(異常に低いスコア)場合には、課題が過度に難しく、後にターゲティングおよび検出のコンテキストで議論される刺激パラメータの変更を必要とする可能性がある。一実施形態では、任意の所与の測定値のモデル分布(たとえば、リアクション時間の対数正規分布)が推定される。カットオフは、その上に5%(または任意の他のパーセンテージ)の最も遅い期間が見つかる推定値から導出され得る。カットオフ以上のリアクション時間のすべての入ってくる測定値は、「遅い」(または「有意に遅い」)と考えられる。しかし、他のスコアが正常である時にリアクションだけが異常に低い場合に、それは、課題への不十分な没頭または注意散漫のしるしである可能性がある。同時に提示される項目の個数を減らし、または注意を引くための追加のcongruent cueを追加する(たとえば、視覚的刺激の出現に付随する音響を追加する)ことが役に立つ場合がある。ユーザが、移動する物体の位置に反応することを要求される場合には、ユーザが、軌跡を推定し、途中で捕まえる応答を計画するのにより長い時間を必要とする可能性があり、ターゲットの低速化が、リアクションを改善する可能性がある。
反応時間は、検出関連測定値に関して重要である場合があるが、刺激に対するすべての反応に関係する。反応時間は、一般に、刺激事象とその事象に対する反応との間の期間である。反応時間は、脳が情報を処理するのに必要な時間を測定するのに使用され得る。一例として、ディスプレイ上のパターンの出現は、ERGによって測定可能な網膜からの反応のある種のパターンにつながる可能性がある。刺激処理が平均化されたERG波形から明白になった後のある点において、その同一の刺激の処理は、後頭部から記録された平均視覚誘発電位(VEP)波形から明白になる。その後のある点において、ユーザからのボタン押下げ反応までの平均時間は、刺激が、運動反応を生成する点まで十分に処理されたことを示す。複数のタイムスタンプが、刺激事象および反応事象によって生成される可能性があるが、反応時間は、一般に、適当な反応を選択するのに必要な刺激の最も早期の検出可能な変化と応答が選択された最も早期の指示との間の時間と解釈されなければならない。たとえば、物体が、ディスプレイ上のあるキー・ポイントに向かって直線内で移動し始める場合に、特定の方向での移動の最初のビットは、物体が最後にどこに来るのかをユーザが知るのに十分である可能性がある。ユーザは、物体がそこに達するのを待つ必要がない。同様に、クリックされるべきターゲットに向かうマウス・カーソルの移動(またはVR/AR/MxR環境内で許容可能な任意の他のジェスチャ)の開始は、クリック事象が実際に発生するより十分前に、反応が選択済みであることを示すことができる
実施形態では、改善、減少、および全般的なシフトを含む反応のパターン内の他の変化は、知覚適合、知覚学習、およびトレーニング(高次学習)の結果として発生する可能性がある。ユーザによる適合および学習を考慮することは、説明され得る反応のすべての変動性を考慮し、これによって統計雑音の測定を減らし、推論能力を改善することができる。
反応内のパターンおよびその変化は、システム内の高次プロセスに関係する場合もある。ユーザは、課題を行っている間に、その課題をどのように実行するのかに関する考えを変化させる、時折の傾向を有する。したがって、実施形態では、ユーザによって行われるすべての選択は視覚処理のモデルを知らせるかどうかにかかわりなく、好みについて解析される。
実施形態では、反応は、ユーザによる想起または認識を測定するためにシステムによって使用される。想起は、以前に記録された情報の正確な生成である。認識は、以前に記録された情報と新しい情報との間の正しい区別である。
経時的な測定値から特定のコンテキストで導出されて、メモリ・リコール(memory recall)、認識、および記憶容量の測定を行うことができる。これは、一般に、パフォーマンス・カテゴリに入る可能性があり、ユーザは、ターゲッテッド・プラクティス(targeted practice)を用いて記憶パフォーマンスを改善することができる。想起および認識は、しばしば、刺激の間の意味論的類似性によって改善される。同様に、記憶範囲は、項目をお互いに関連付けるための学習によって改善される。項目が覚えられていなければならない期間は、記憶課題に対するパフォーマンスを変更するために操作される場合もある。記銘期間(retention span)中の注意をそらす課題またはその欠如も、パフォーマンスに大きく影響する。
長期記憶に関して、特定の項目より全般的なものとの両方の保存および検索の質を高めるための訓練がある可能性がある。ある種の物理的相互作用のコンテキスト内でマッスル・メモリ(muscle memory)に関連する測定値を導出することが可能である場合もある。知覚適合および知覚学習も、測定および操作の候補である。
ターゲティングは、ユーザのアクションにおける時間的および位置的な精度の測定に関する。戻って図1を参照すると、ターゲティングは、VE内の物体の位置に対するユーザ102の反応の精度に関するものとすることができる。ターゲティングは、刺激に関する、ユーザの反応と最適値との間の誤差として測定される。反応は、クリック、タッチ、ジェスチャ、眼球運動、瞳孔反応、瞬き、頭部運動、胴体/手足の運動、または任意の他のものとすることができる。ユーザが、ある事象に関して時間的に正確に反応する(リアクション測定値につながる、その事象に反応して動くことではなく)ことが期待される場合に、ユーザの反応が早すぎるまたは遅すぎる場合がある。ユーザの反応の精度の変動性は、ターゲティング時間誤差測定値(通常は1秒以下程度)を生じる。さらに、ユーザの反応の位置は、画面上の画素単位または距離のなんらかの他の物理単位で測定される、一貫したバイアス(平均誤差)および/または変動性のレベル(誤差の標準偏差)のいずれかを有する可能性がある。
実施形態では、システムは、不正な選択と、ユーザによって行われる、理想的な反応または最適の反応からの逸脱とを含む、ユーザ・エラーに関するデータを解析する。最も一般的には、これらは、刺激の誤同定、不適切な時に反応すること(偽陽性反応)、適切な時に反応できないこと(偽陰性)、および反応のタイミングまたは位置の不正確さである可能性がある。反応の変動性または反応特徴の測定値の変動性は、エラー、全般的な不正確さ、または一貫性のなさの指示である場合もある。
ユーザのターゲティング・スコアが異常に低い場合には、ターゲットが小さすぎるか、位置の変動性が大きすぎる可能性がある。反応のタイミングに関して、事象のより一貫したタイミングは、反応の同期化をより簡単にする。これは、繰り返されるリズムまたはターゲット事象の前のある固定された時刻に発生する手がかりの形とすることができる。位置に関して、誤差は、ターゲットの可能な位置を制限すること、または、移動するターゲットの場合に、より遅い速さを使用することによって減らすことができる。特にタッチ・インターフェースまたは反応自体がターゲットを隠す他のコンテキスト(すなわち、ディスプレイに被さる指)に関して、ターゲットをより大きくすることが、ターゲティング・スコアを改善する可能性がある。
マルチトラッキング(M)
マルチトラッキング(M)は、一般に、ユーザが複数の同時反応を行っており、かつ/または複数の同時刺激に反応している実例を指すことができる。これらは、ユーザが複数の並行課題を実行しており、周辺部で発生する刺激イベントに反応する(おそらくは、注意が他所に焦点を合わせている間)ケースをも含む。周辺検出(離心率の関数としての検出)および分割的注意(divided attention)のコンテキストでの他のパフォーマンス測定の組合せ測定を含めることができる。
マルチトラッキング(M)は、複数の物体を同時に感知するユーザの能力を表すことができる。分割的注意課題は、ユーザが、同時に発生する複数のものごとに作用することを要求する場合がある。マルチトラッキングは、焦点的注意または分割的注意のコンテキストで提示される刺激と対話する時のユーザの相対パフォーマンスを測定する。焦点的注意に関して、ユーザは、一般に、シーンの1つ部分または制限された個数の物体もしくは特徴に注意を払う必要がある。分割的注意を必要とする状況では、ユーザは、複数のエリアを監視し、警戒にかかわらず重要な事象を見逃す危険を冒さなければならない。視界と同様に、正確さおよび検出の測定値は、異なるマルチトラッキング・コンテキストでのユーザのパフォーマンスを判定するのに使用される。
ユーザのマルチトラッキング・スコアが異常に低い場合に、それは、分割的注意を要求する課題を不十分に実行しつつあるか、焦点的注意を要求する課題を例外的によく実行しつつあることを示す可能性がある。したがって、分割的注意課題をより簡単にすることまたは焦点的注意課題をより難しくすることが、マルチトラッキング・スコアを改善する可能性がある。分割的注意のコンテキストでは、ユーザが監視する必要のある物体またはエリアの個数を減らすことによって知覚的負荷を減らすことが、役に立つ可能性がある。分割的注意において持続時間(物体永続性)の増加および速さの低下も、スコアを改善する可能性がある。
疲労/持久力(E)
パフォーマンス測定値は、疲労に起因して経時的に悪化する場合がある。これは、感度(検出)、正しい区別の低下、反応時間の増加、およびエラーのレートまたは大きさの悪化において明白になる。疲労のレート(経時的に変化する)および疲労の大きさ(パフォーマンス測定での最大の低下)は、任意およびすべての測定値に関してトラッキングされ得る。疲労開始の前の遅延ならびに活動の休憩または変化に伴う回復のレートは、持久力の特徴を表すことができる。
持久力(E)は、経時的に高いレベルのパフォーマンスを維持するユーザの能力に関係付けられ得る。持久力測定値は、経時的な正確さスコアおよび検出スコアの傾向に関連する。持久力の2つの測定値が、疲労および回復である。
疲労は、パフォーマンスがある期間内にどれほど低下するのかの測定値である。疲労は、ユーザのパフォーマンスが減少し始める可能性があり、減少のレートの測定値およびパフォーマンスがどれほど不十分であるかの測定値が得られる点である。疲労の基本的測定値は、期間の前半と比較した後半でのスコアの比率に基づくものとすることができる。十分に長い期間を仮定して、スコアが、ユーザが疲労するにつれて経時的に減少し、したがって、比率が1未満になると仮定する。1の比率は、疲労なしを示すことができ、1を超える比率は、学習効果またはトレーニング効果が疲労の欠如と一緒にパフォーマンスを改善しつつあることを暗示する可能性がある。ユーザの疲労スコアが異常に低い場合には、ユーザは、彼らが課題に取り組む中断されない時間の長さを減らすことを望む可能性がある。より短いおよび/またはより長い頻度の休憩を取ることが、疲労スコアを改善する可能性がある。一般に、課題の難しさを説明することも、役に立つはずである。
回復は、介在するインターバル内の休憩の仮定された期間を伴って、パフォーマンスが期間の間にベースラインベル戻ることの測定値である。回復は、ユーザが効果的に最適パフォーマンスに戻るために提供される小休止の使用に関する可能性がある。現在実施されている回復の基本的な測定値は、2つの期間のうちの第2の期間の前半のスコアに対する第1の期間の後半のスコアの比率を比較するためのものである。期間は、その間に短い休憩を有したユーザの意図に関して選択され得る。多少の疲労が発生していることを保証するのに十分に長い期間を仮定して、小休止の後と比較して小休止の前のスコアがより低く、したがってこの比率が1未満になると仮定する。1の比率は、小休止をとることの影響がないことを示し、1を超える比率は、小休止の後または小休止にまたがるおよび小休止の有無にかかわらない疲労の存在の後の没頭の減少を示す可能性がある。
ユーザの回復スコアが異常に低い場合に、ユーザは、より長い小休止を取ることを望む可能性がある。ユーザが、測定可能な回復があるようにするために十分な疲労を経験していない可能性がある。より長い中断されない期間にわたって没頭するようにユーザに求めることが、回復スコアを改善する可能性がある。同様に、課題の難しさを高めることが、より多くの疲労と回復のより大きい余地とをもたらす可能性がある。
検出/区別(D)
検出/区別(D)は、物体の存在を検出しまたは複数の物体の間で区別するユーザの能力を指すことができる。このパラメータは、物体の様々な属性に対するユーザの感度に依存する可能性がある。反応事象が刺激事象のアウェアネスを知らせる時には必ず、ユーザがその刺激を検出したと判定することができる。おそらくはアウェアネスのレベルには少し足りない、無意識処理は、電気生理学的反応または他の反応から明らかにされる可能性もある。検出は、刺激の位置への反応によってまたは刺激の存在と一致する(たとえば、刺激のなんらかの物理的態様を正しく同定する)反応のカテゴリによって明らかにされ得る。検出に必要な刺激特徴パラメータ/値の大きさは、ユーザの検出しきい値を定義することができる。刺激のすべての特徴は、検出に使用されると仮定され得るが、特徴が刺激の特性を定義する唯一の実質的な定義ではない場合または刺激特徴がユーザがそれに対して反応したより様々な刺激の中に現れる場合に限って、検出を1つの特徴に排他的に帰することが可能になる。
ユーザが刺激特徴パラメータ/値を正しく同定しまたは1つもしくは複数の刺激特徴に基づいて複数の代替物の中でなんらかの選択を行う時には必ず、その対話は、区別の測定値に寄与する可能性がある。多くの場合に、対象の測定値は、ユーザが2つのものごとが異なると言えるようになる前にそれらがどれほど異なる必要があるのか(区別しきい値)とすることができる。区別測定値は、ある種の特徴に対する感度のしきい値を示すことができるが、区別測定値は、カテゴリ境界(たとえば、2つの命名された色の間の境界)を同定するのにも使用され得る。検出測定値とは異なって、区別測定値は、必ずしも反応が正しい/正しくないことに依存する必要がない。区別測定値は、能力ではなく主観的体験を示すことができる。
検出/区別の測定値は、3つの副構成要素すなわち、色(クロモルミナンス)の検出および/または区別に関する測定値、コントラスト(クロモルミナント・コントラスト(chromoluminant contrast)、ならびに刺激の最小特徴に基づく鋭敏さ測定値に分割され得る。これらの遠心性特性は、上で議論したように手動応答または音声応答からの遠心性測定値、アイ・トラッキング測定値(プロサッケードの開始、アンチサッケードの減少、維持される固視、および減少された瞬き反応)、凝視方向、瞳孔サイズ、瞬き、ヘッド・トラッキング測定値、電気生理学的測定値および/または自律神経的に記録された測定値、顔パターン認識および機械学習からの測定値、ならびに他の測定値と組み合わされて、感度を判定するのに使用される。すべての測定値が、かすかに可視の刺激を検出し、またはほぼ同一の刺激を区別するユーザの能力に基づくものとことができる。これらの測定値は、特徴の差(検出された物体とその周囲との間または区別された物体の間の)に基づいて異なる副構成要素に結び付けられる。刺激物体は、複数の特徴において異なり、したがって、同時に複数の副構成要素の測定値に寄与することができる。
色差は、具体的に色度および/または輝度の差を指すことができる。ユーザの色スコアが異常に低い場合には、色の差を増やすことによって課題をより簡単にすることができる。特定の色覚異常は、色差の特定の方向に関する不十分な色スコアにつながる可能性がある。より多様な色相の使用は、一般に、特定の欠乏がより小さい影響を有することを可能にし、スコアを安定させる。
コントラストは、コントラストが、ある視覚的に定義された領域内の色度および/または輝度の変動性を指すという点で色とは異なるが、このコンテキストでの色に関する測定値は、平均色度および平均輝度を指す。ユーザのコントラスト・スコアが異常に低い場合には、示されるコントラストの範囲を広げることによってこれを改善することができる。コントラスト感度は、空間周波数に伴って変化し、したがって、空間周波数の増加または減少(それぞれ、パターンをより微細にまたはより粗にすること)も、役立つ可能性がある。色スコアを改善する操作は、一般に、コントラスト・スコアをも改善する。
鋭敏さ測定値は、ユーザが刺激を検出し、区別するのに使用できる最小の特徴から導出される。鋭敏さ測定値は、空間周波数が鋭敏さの測定値に関する関連する物理的特徴でもあるという点でコントラストに関係付けられる。ユーザの鋭敏さスコアが異常に低い場合には、物体が全般的に小さすぎ、全体的に拡大されるべきである可能性がある。サイズの差を拡大し、コントラストを高め、空間周波数を下げることも、役に立つ可能性がある。色またはコントラストより鋭敏さに関してなおさらであるが、移動する刺激の速さが要因になる可能性があり、移動するターゲットの速度を下げることが、鋭敏さスコアの改善を助ける可能性がある。
上記のパラメータは、すべてが特徴の測定に基づく。実施形態では、特徴のパターンは、経時的に記録され得る。傾向およびパターンは、予測分析を可能にし、エンド・ユーザの検出能力および他のVPI/FAMED能力に基づいてユーザ経験をパーソナライズするのを助けることもできる。
存在の非常に多数の一般的な状態が、議論される直接測定値から推論され得る。状態は、1セッションあたり1回、時間のある種のセグメントの間にまたは連続的に、および刺激事象に反応して推定され得る。これらは、共通して、反応のレートまたは挙動の変化のレートに関係する可能性がある。図14は、本明細書のいくつかの実施形態による求心性ソースおよび遠心性ソースの例示的なメトリックのリストを含む表を提供する。この表は、求心性ソースが刺激イベントおよび刺激特徴をもたらすことができることを示す。求心性ソース、刺激イベント、および刺激特徴の組合せは、反応(遠心性ソース)とさらに組み合わされた時に、反応事象および反応特徴を示すことができる。これらの組合せは、精神測定測定値をほのめかす場合がある。最後の列では、この表は、様々な組合せから導出された精神測定測定値ごとの説明を提供する。
図15は、ソフトウェア・アプリケーションからSDEPへのデータの流れの概要を示す例示的な流れ図である。1502では、対話のためにユーザにインターフェースを提供することのできるソフトウェア・アプリケーション。アプリは、HMD上またはユーザ対話のためにVR/AR/MxR環境を提供できる任意の他のデバイス上で動作するように設計され得る。アプリケーション・ソフトウェアによって収集された情報は、1504でソフトウェア開発キット(SDK)に供給され得る。SDKは、アプリケーション・ソフトウェアの使用に関する分析論およびデータを生成するためのソフトウェア開発ツールのグループと共に働く。1506では、データが、セッション・データとしてSDKからSDEPに供給される。1508では、セッション・データが、SDEPで前処理され、この前処理は、解析に備えてデータを編成し、ソートすることを含むことができる。1510では、前処理された刺激データおよび反応データが生成され、解析および処理のためにさらに渡される。1512では、データが解析され、パフォーマンス・インデックス、スコア、またはVPIスコアなどの知覚情報の他の測定値に変換される。1514では、解析されたデータが、ユーザ経験を変更し、パーソナライズし、またはカスタマイズするためにSDKおよび/またはアプリケーション・ソフトウェアに送り返される。実施形態では、データは、1502から、解析のチェーンを介してアプリケーション・ソフトウェアから渡され、非侵襲的にリアル・タイムでアプリケーション・ソフトウェアに戻って渡される。
図16は、プロセス・フローの前処理部分(図15の1508)の例示的な概要1600を示す。
図17は、(前処理された)生データを取り込み、適切な解析を選択し、実施し、それぞれ「持久力」測定値の推定およびスコア正規化のために一時的ストアおよび長期ストアに解析に基づく要約測定値を送信し受信し、エンド・ユーザへの表示のためにアプリケーションに送り返されるスコアを計算する責任を負うデータ処理機能のプログラミング言語実装の例示的表現1700である。実施形態では、使用されるプログラミング言語は、パイソンである。この図は、VPIスコアを導出するための、FAMEDデータへの複数のパイソン関数の適用を示す。この図は、FAMED関数ごとにカラーコーディングされたプロセスを示す。一実施形態では、FOV関数は赤、正確さは緑、マルチトラッキングは紫、持久力は橙、検出は青である。一実施形態では、平行四辺形は変数を表し、角を丸められた長方形は関数を表し、要素は、ユーザ/セッション・データに関してカラー・コーディングされ、黄色で示される。
この図を参照すると、大きい赤の輪郭1702は、処理関数(va_process_data)を表し、これは、3つの主要セクションすなわち、左セクション1704、中央セクション1706、および右セクション1708を含む。一実施形態では、左セクション1704は、生データを取り込み、データに正確さ解析関数または検出/区別解析関数のいずれかを適用して、入ってくるデータを要約する単一の測定値を作る。その測定値は、視界およびマルチトラッキングの測定値に関する中央レベル関数1706および外部ストアに送られる。その第1の外部ストアまたはキャッシュは、持久力の測定値に使用される、最近の過去からの同様の測定値を返す。中央レベル関数1706からの出力は、正規化のために中心傾向(すなわち、算術平均)および変動性(すなわち、標準偏差)を推定するために測定値を累積する別の外部ストアに送られる。この第2の外部ストアからのデータは、現在の測定値と組み合わされて、右レベル・セクション1708内でスコアに変換される。この図は、場所を示すためにこの図の左下に小さいサブチャート1710をも示す。
映像データ・パッケージ:使用例
本明細書の様々な実施形態に従ってSDEPによって生成されるデータは、異なる形で使用され得る。実施形態では、SDEPによって出力されるデータは、競技者/スポーツなどのための医学的使用(視力、眼精疲労、外傷性脳損傷、およびスポーツ視覚パフォーマンス)のために異なってパッケージ化され得る。たとえば、アプリケーションは、ある期間にわたるデジタル眼精疲労の影響を追跡する能力または眼と脳との接続の主要領域を測定することによってフットボールなどのコンタクト・スポーツにおける外傷性脳損傷に関してスクリーニングする能力を含む。
実施形態では、SDEPは、スマート・デバイス、ウェアラブル、アイトラッキング・ツール、EEGシステム、仮想現実感HMD、および増補現実感HMDなどの技術から生成されたデータを有利に使用することを可能にする。
VPIを含むパフォーマンス・インデックスは、異なるアプリケーションに関して異なる可能性がある。一例では、検出メトリックおよび正確さメトリックは、ゲーミング媒体と広告に関する媒体とで異なる。少数のアプリケーションのいくつかの例示的実施形態が、下で説明される。
図18は、ユーザ対話の生体模倣に基づいて精神測定関数を処理し、視覚的挙動および知覚をモデル化するのにSDEPを利用する中央システム1802を実施する例示的環境を示す。一例では、下で説明されるように、ユーザは、ゲームに似た対話型電子媒体を提示され得、この媒体内で、画面上の異なる位置に現れる風船を「割る(pop)」ように要求される。この例では、システム1802は、FAMED洞察としてユーザにその後に提示される視覚精神測定を測定するのに精神測定関数を利用することができる。同様に、視覚的知覚および空間方向付けとの関係における精神測定情報の収集を可能にする他の形の対話型媒体がある可能性がある。図18は、SDEPを介する処理および後続モデル化を可能にし、その後、人工知能システムをサポートするために、システム1802およびお互いと相互作用する様々な感覚精神測定データを示す。
より具体的には、本明細書は、人間の感覚系を模倣するために深層学習システムをトレーニングし、開発するために提供される方法、システム、およびソフトウェアを説明する。いくつかの実施形態において、本システムは、人間の表情を模倣する深層学習システムをトレーニングし、開発することもできる。一実施形態において、中央システムは、学習ルーチンをトレーニングするのに使用され得るデータを収集するために、1つまたは複数のSDEPシステムおよび複数の自律的身体センサと通信する。
ユーザの視覚パフォーマンスを測定するためのゲーミング・アプリケーション
一実施形態では、本明細書は、様々な刺激に反応する人間の眼の機能および解剖学に関するより詳細なデータを収集するためにビジョン・サービス・プロバイダに提供される方法、システム、およびソフトウェアを説明する。詳細なデータは、視覚パフォーマンス・スコアを生成するために、ユーザの視覚の異なる態様に関するものとすることができ、対応する標準視覚パラメータと比較され得る。スコアは、視覚の各異なる態様に関するものとすることができ、かつ/または総合視覚パフォーマンス・スコアを提示するために組み合わされ得る。スコアは、ユーザの視覚パフォーマンスの測定値としてもユーザに提示される。実施形態では、様々な刺激が、ユーザによってアクセスされ得るモバイル・ゲーミング・アプリケーションまたは任意の他のゲーミング・アプリケーションを介してユーザに提供される。
例示的なアプリケーション(以下では「サイト・キット」と称する)は、一連の対話型ゲームを介して視覚系のパフォーマンスを測定するように設計され得る。本明細書は、サイト・キット・ゲーミング・アプリケーションの特徴を説明するが、それらの特徴は、例示的な実施形態にすぎないと考えられるべきである。代替実施形態が可能であり、当業者に明白になる。代替実施形態は、ゲーミング・アプリケーション内のコンテキスト、シーケンス、ゲーミング・レベル、グラフィカル表現、スコアリング・システム、報告方法、ユーザインターフェース、および他の態様のうちの1つまたは複数における変形および/または改善を含むことができる。ゲーミング・アプリケーションは、様々なカテゴリでのスコアのセットをユーザに報告することができる。これらのスコアは、個々のユーザが全ユーザに対して相対的にどのように実行するのかの指示とすることができる。ユーザのスコアの加重平均は、視覚パフォーマンス・インデックス(VPI)を生じることができ、このVPIは、構成要素スコアと同様に、より幅広い母集団などのベースラインに対するユーザの視覚パフォーマンスを表すことができる。
一実施形態では、ユーザは、本明細書の実施形態に従ってゲーミング・アプリケーションに参加する。一例では、ゲーミング・アプリケーションは、サイト・キット・アプリケーションと呼ばれる。一実施形態では、サイト・キット・アプリケーションは、スマートホンまたはHMDを含む任意の他のポータブル電子デバイスなどのモバイル・プラットフォームを介してユーザに提示される。一実施形態では、ユーザは、電子デバイスを介して一連のビューを提示され、これらのビューは、1つまたは複数の対話型ゲームの形であるものとすることができる、あるタイプの刺激へのアクセスを順次可能にする。一実施形態では、ユーザは、サイト・キット・アプリケーションにセキュアにアクセスすることができる。実施形態では、単一のモバイル・プラットフォームが、サイト・キット・アプリケーションにセキュアにアクセスするために、複数のユーザによって使用される。セキュア・アクセスは、セキュア認証プロセスを介して使用可能にされる。以下は、サイト・キット・アプリケーションにセキュアにアクセスすることを試みている間に電子デバイスのディスプレイを介してユーザに提示される例示的なビューおよび情報である。
図19は、本明細書の実施形態による、サイト・キット・アプリケーションを介して現れる可能性がある空の画面およびエラー画面のスクリーンショット1900を示す。
図20Aは、本明細書の実施形態による、サイト・キット・アプリケーションを介して現れる可能性があるスプラッシュ画面のスクリーンショット2000Aを示す。
図20Bは、本明細書の実施形態による、サイト・キット・アプリケーションを介して現れる可能性があるホーム画面のスクリーンショット2000Bを示す。
実施形態では、アプリケーションは、セキュア・アクセスを可能にする。図20Cは、本明細書の実施形態による、サイト・キット・アプリケーションを介して現れる可能性がある「ジョン・スノウ(Jon Snow)」という名前のユーザによる例示的な登録を含むログイン(登録)プロセスの一連の(AからFまで)スクリーンショット2000Cを示す。
図20Dは、本明細書の実施形態による、サイト・キット・アプリケーションを介して現れる可能性がある契約条件を含む画面のスクリーンショット2000Dを示す。
図20Eは、本明細書の実施形態による、ユーザが自分のログイン情報を忘れた場合にサイト・キット・アプリケーションを介して現れる可能性がある一連の(AからBまで)スクリーンショット2000Eを示す。
実施形態では、ユーザは、本アプリケーションに初めてアクセスする時に、個人情報に関するプロンプトを表示される。たとえば、ユーザは、人口統計情報を求められる。いくつかの実施形態では、人口統計情報は、ユーザのスコアの比較に使用され得る、同様の人口統計の標準スコアまたは平均スコアを判定するのに、その後に利用される。
図21Aは、本明細書の実施形態による、サイト・キット・アプリケーションを介して現れる可能性がある、ユーザに人口統計の質問を与える画面の一連のスクリーンショット2100Aを示す。
図21Bは、本明細書の実施形態による、サイト・キット・アプリケーションを介して現れる可能性がある、ユーザに人口統計の質問を与える画面のさらなる一連のスクリーンショット2100Bを示す。
図21Cは、本明細書の実施形態による、サイト・キット・アプリケーションを介して現れる可能性がある、ユーザに人口統計の質問を与える画面のさらなる一連のスクリーンショット2100Cを示す。
図22は、本明細書の実施形態による、サイト・キット・アプリケーションを介して現れる可能性がある、ユーザに初期VPIレポートを提示する画面の一連のスクリーンショット2200を示す。一実施形態では、初期VPIレポートは、実際のユーザに類似する人口統計を有する他のユーザのスコアのセットの例である。別の実施形態では、初期VPIレポートは、復帰したユーザに提示され、そのユーザによって達成された以前のスコアを含む。
図23は、本明細書の実施形態による、サイト・キット・アプリケーションを介して現れる可能性がある、プレイするゲームを選択するようにユーザに促す、別々の時に現れる可能性がある異なる画面のスクリーンショット2300を示す。実施形態では、ユーザ・インターフェースは、ユーザの過去の対話に基づいて異なる。ユーザは、彼らが以前にプレイしたゲームに関する情報を提示され得る。
一実施形態では、サイト・キット・アプリケーションは、3つのゲームに分割される。ゲーム内には、多かれ少なかれ変更された経験を伴う連続するラウンドがある。
ゲーム1:風船割り
このラウンドでは、ユーザは、一部の視覚的刺激(ターゲット)の出現に反応し、他の視覚的刺激(妨害課題(distractor))には反応せずにタップすることを要求され得る。これは、精神測定曲線あてはめに適するデータを提供し、ここで、色、コントラスト、または鋭敏さの差の関数としての正しい区別(ターゲットをタップすること対ターゲットをタップしないこと)の比率が、区別しきい値(すなわち、上で説明した検出測定値)を推定するのに使用され得る。ゲームは、リアクション時間およびターゲティング精度(すなわち、上で説明した正確さ測定値)に関するデータを提供する、ディスプレイの特定のエリアに対する迅速な反応を奨励することができる。ゲームは、ユーザに順番に提示され得る、複数のラウンドを有することができる。代替案では、ユーザは、任意のラウンドと対話することを選択することができる。図24Aから図24Fは、「風船割り」のゲームに関して見られる様々なインターフェースを示す。
ラウンド1
図24Aは、本明細書の実施形態による、サイト・キット・アプリケーションを介して提示される可能性がある、風船割りラウンド1指示のスクリーンショット2400Aを示す。
図24Bは、本明細書の実施形態による、サイト・キット・アプリケーションを介して提示される可能性がある、風船割りラウンド1ゲームのスクリーンショット2400Bを示す。
風船割りのラウンド1は、画面の最下部から最上部へ上昇する風船(ディスプレイの縁で視界に入り、出て「浮く」)を特徴とする。一部の風船は、縞パターンを特徴とし、他の風船は塗り潰され、ユーザは、縞のついた風船をタップし、塗り潰された風船を無視することができる(コントラスト区別)。風船ごとに使用される色は、ランダムとすることができる(ただし、縞のついた風船の交番する縞は白である)。風船のサイズは、経時的に縮小するものとすることができる。変化するサイズは、風船のサイズと風船内の縞の空間周波数との両方における鋭敏さの影響を反映することができる。実施形態では、移動の速さは、経時的に高められ得、縞つきのパターンのコントラストは、経時的に下げられ得る。ラウンドの開始時に、風船は、一時に1つ現れるものとすることができる。そのような出現は、ユーザの焦点的注意をもたらし、測定することができる。徐々に、一時により多くの風船がディスプレイ上に提示され、同時に複数の物体を追跡することを要求することができる。同時に複数の風船を提示することは、ユーザの分割的注意を調べることができる。早期の最適戦略は、初めて現れる時に風船をつかむためにディスプレイの下縁の中央を見つめることである可能性があり、したがって、出現する風船の水平位置は、多かれ少なかれ固視から離れる可能性がある。これは、視界に対応するユーザ・パラメータを判定するのを助けることができる。
ラウンド2
図24Cは、本明細書の実施形態による、サイト・キット・アプリケーションを介して提示される可能性がある、風船割りラウンド2指示のスクリーンショット2400Cを示す。
図24Dは、本明細書の実施形態による、サイト・キット・アプリケーションを介して提示される可能性がある、風船割りラウンド2ゲームのスクリーンショット2400Dを示す。
このラウンドでは、風船は、移動するのではなく、非常に短い間だけ出現する。色またはコントラストの変化はなく、鋭敏さが、区別に関する主要な機構になる可能性がある。ユーザは、他の類似する形状を無視しながら風船の形状を割ることができる。形状が風船に似ていればいるほど、区別が難しくなり、偽陽性反応につながる可能性がある。背景からの色差の変動が、色区別測定値の追加のソースとして追加され得る。
このゲームでは、リアクション時間およびターゲティング精度が、正確さを測定するための主要な構成要素になり得る。最適戦略は、ディスプレイの中央の固視になり、視野構成要素を生じさせる可能性がある。物体は、一時に1つ出現することができ、その間の時間のギャップは、マルチトラッキング測定の可能性を否定する。
ラウンド3
図24Eは、本明細書の実施形態による、サイト・キット・アプリケーションを介して提示される可能性がある、風船割りラウンド3指示のスクリーンショット2400Eを示す。
図24Fは、本明細書の実施形態による、サイト・キット・アプリケーションを介して提示される可能性がある、風船割りラウンド3ゲームのスクリーンショット2400Fを示す。
最終ラウンドとすることもできる第3ラウンドでは、風船は、動いたり短時間出現したりすることがない可能性があり、その代わりに、増加するセット・サイズを有する特徴統合検索課題(feature conjunction search task)を導入することによって、難易度を高めることができる。ユーザは、色および鋭敏さの区別(検出の指示)を要求する、一致する色/形状組合せを見つけることができる。刺激の静的で永続的な性質(正確さの指示)を考慮すると、リアクション時間が重要な特性になる可能性があり、ターゲティング精度は重要性を下げられる。視界も多少は示される可能性があるが、中央に向かってランダムに配置されるターゲットは、平均して、ターゲットが風船クラスタの縁に向かう時より高速に見つけられる可能性がある。ユーザが視覚的刺激の直列処理または並列処理のどちらを使用するのかに依存して、マルチトラッキングが、ここでは有意な影響を有する可能性があり、これは、リアクション時間に対するセット・サイズの依存性またはその欠如によって後に明らかにされ得る(ヒックの法則)。
ゲーム2:ピクチャ・パーフェクト
このゲームでは、イメージが、その歪んだバージョンと一緒にユーザに表示され得る。ユーザは、元のイメージと一致させるために、歪んだイメージの表示パラメータを変更するツールを与えられ得る。一実施形態では、表示パラメータは、とりわけ、色、鮮明度、およびサイズのうちの1つの組合せを含むことができる。ユーザが課題の完了を確認した後に、結果が、ユーザの選択と正しい選択とを比較することによってユーザに提示され得る。一実施形態では、正しい選択に対するユーザの選択が近ければ近いほど、ユーザの視覚パフォーマンスが高くなる。ピクチャ・パーフェクト・ゲームは、素早いリアクションを要求するものではないものとすることができるが、ユーザは、素早く働くことを奨励され得る(たとえば、決められた期間内に行われるセッティング数が、リアクション・スコアを生成するのに使用され得る)。一実施形態では、このゲームは、複数のラウンドから構成される。図25Aおよび図25Bは、それぞれ、本明細書の実施形態による、サイト・キット・アプリケーションを介して提示される可能性がある、ピクチャ・パーフェクト・ラウンド1ゲームの一連のスクリーンショット2500Aおよび2500Bを示す。いくつかの実施形態では、歪んだイメージを補正するために、様々な異なるパラメータに対するスライダが、ユーザに提示される。他の実施形態では、他のグラフィカル・ツール、数値ツール、または任意の他のツールが、この目的のために提供され得る。
図25C、図25D、および図25Eは、それぞれ、本明細書の実施形態による、サイト・キット・アプリケーションを介して提示される可能性がある、ピクチャ・パーフェクト・ラウンド2ゲームの一連のスクリーンショット2500C、2500D、および2500Eを示す。上級ラウンドでは、同時にではなく別々の時に、オリジナル・イメージと歪んだイメージとをユーザに提示することができる。その後、ユーザは、ユーザの記憶からオリジナル・イメージを想起することによって、歪んだイメージを補正することを要求される。
図25Fは、本明細書の実施形態による、サイト・キット・アプリケーションを介して提示される可能性がある、ユーザのための例示的なゲーム後レポートのスクリーンショット2500Fを示す。
ピクチャ・パーフェクト・ゲームは、ユーザが制限なしに視覚シーンを自由にサンプリングすることができるので、視界およびマルチトラッキングに関する視覚パラメータの部分的指示を可能にすることができる。所与のラウンドでどのスライダがユーザから使用可能であるのかに依存して、区別(検出)の様々な測定を行うことができる。スコアは、各隣接するスライダの正しいレベルとユーザのセッティングとの間のエラーの大きさに反比例する可能性がある。「色」、「色相」、および「彩度」の調節は、色測定値に寄与することができる。「サイズ」および「鮮明度」の調節は、鋭敏さ測定値に寄与することができる。
ゲーム3:形状リミックス/記憶一致
ゲームと対話する指示が、オプションで、ゲームを開始する前にユーザに提供され得る。一実施形態では、ユーザは、複数の要素を含むオリジナル・イメージを提示される。ユーザにとっての課題は、オリジナル・イメージ内で前に示されたように要素およびそのレイアウトを一致させるために、代替イメージ内の要素を編集することである。いくつかの実施形態では、ユーザは、各要素の様々な異なる特性の変更を可能にするツールを与えられる。たとえば、ユーザは、要素ごとに別々に、色相パラメータ、彩度パラメータ、コントラスト・パラメータ、鮮明度パラメータ、サイズ・パラメータ、または任意の他のパラメータを変更することができる。ユーザが課題の完了を確認した後に、結果が、ユーザによって再作成されたイメージに隣接してオリジナル・イメージを表示することによって提示され得る。さらに、数値スコアおよび言葉のリアクションがユーザに提示され得る。
図26A、図26B、および図26Cは、本明細書の実施形態による、サイト・キット・アプリケーションを介して提示される可能性がある、「形状リミックス」ゲーム、その指示、およびゲーム後レポートのスクリーンショット2600A、2600B、および2600Cの同様のセットをそれぞれ示す。
ゲーム4:早割り
ゲームと対話する指示が、オプションで、ゲームを開始する前にユーザに提供され得る。一実施形態では、ユーザは、風船と他の形状の詰め合わせとを含む流出する形状およびイメージを提示される。ユーザにとっての課題は、すべての他の形状をタップすることを回避しながらすべての風船をタップすることである。一実施形態では、風船と他の形状の詰め合わせとの両方が、同様に着色される。さらに、数値スコアおよび言葉のリアクションが、ユーザに提示され得る。
ゲーム5:一致するものを割る
ゲームと対話する指示が、オプションで、ゲームを開始する前にユーザに提供され得る。一実施形態では、ユーザは、ある形状および色を有する例の物体を提示される。ゲームの目的は、ユーザが、形状と色とに関して提供された例の物体と一致する物体を含む風船をタップすることである。さらに、数値スコアおよび言葉のリアクションが、ユーザに提示され得る。
ゲーム6:スター・キャッチ
ゲームと対話する指示が、オプションで、ゲームを開始する前にユーザに提供され得る。一実施形態では、ユーザは、ターゲット形状を集めるために船をナビゲートすることを期待され、ここで、ターゲット形状は、ユーザのために定義されまたは前もってユーザに提示され得る。さらに、数値スコアおよび言葉のリアクションが、ユーザに提示され得る。
一実施形態では、ゲーム・レポートが、各ゲームがプレイされた後に生成され、ユーザの総合VPIならびに各FAMED構成要素がゲーム内のユーザのパフォーマンスによってどのように影響されたのかをユーザに提供する。各レポートは、ユーザがユーザの年齢グループと比較してどのように実行したのかをも示すことができる。さらに、各レポートは、ユーザがVPIに関してより多くを詳細に学ぶオプションを提供することができる。面白い情報も、地元の眼科医の氏名住所録および/または地図に加えて、レポートと一緒に提示され得る。
図27は、本明細書の実施形態による、サイト・キット・アプリケーションを介して提示される可能性がある、異なるゲームをプレイした後のVPIゲーム・レポートのスクリーンショット2700を示す。
図28は、本明細書の実施形態による、画面で医師および/またはアイ・ケア従業者を提案する、ユーザのVPIレポートに基づいて現れる可能性があるいくつかのスクリーンショット2800を示す。
図29は、本明細書の実施形態による、サイト・キット・アプリケーションを介して現れる可能性がある、ユーザのプロファイルを提示する画面のいくつかのスクリーンショット2900を示す。各スクリーンショットは、異なる期間にわたるおよび/または異なる時点でのユーザのプロファイルを提示する。ユーザは、彼らのプロファイルを介してVPI詳細を見ることを選択することができる。
図30Aは、本明細書の実施形態による、サイト・キット・アプリケーションを介して現れる可能性がある、VPI解析結果のいくつかのスクリーンショット3000Aを示す。
図30Bは、本明細書の実施形態による、サイト・キット・アプリケーションを介して各FAMEDパラメータに関する詳細を提供するVPI解析結果のいくつかのスクリーンショット3000Bを示す。
図30Cは、本明細書の実施形態による、サイト・キット・アプリケーションを介して各FAMEDパラメータ内のパラメータの詳細を提供するVPI解析結果のいくつかのスクリーンショット3000Cを示す。
図30Dは、本明細書の実施形態による、サイト・キット・アプリケーションを介して各FAMEDパラメータ内のパラメータのさらなる詳細を提供するVPI解析結果のいくつかのスクリーンショット3000Dを示す。
図31は、本明細書の実施形態による、サイト・キット・アプリケーションを介して提示される可能性がある「セッティング」および「セッティング」内の関連するオプションのスクリーンショット3100を示す。
VPIおよびその構成要素の観点から、形状リミックス・ゲームは、主として検出測定値に関するデータを与えることに関して類似するものとすることができる。しかしながら、パフォーマンスに対する色、サイズ、位置、およびコントラストの影響の性質に差がある可能性はあるが。ユーザ・パフォーマンスは、2つのゲーム(ピクチャ・パーフェクトおよび形状リミックス)で同等である場合もそうでない場合もあるが、この2つのゲームは、冗長ではないと考えられ得る。実施形態では、形状リミックス・ゲームからの値は、ピクチャ・パーフェクト・ゲームからの値に関して相補的である可能性がある。
VPIは、ユーザに関して、レベルごと、ゲームごと、および/またはユーザによってプレイされたすべてのゲームについて判定され得る。いくつかの実施形態では、包括的なVPIレポートが、ユーザに提示される。包括的レポートは、すべてのゲームとのユーザの対話を介して同定されたデータおよびスコアに基づくものとすることができる。いくつかの実施形態では、このレポートは、さらに、ユーザがゲームと対話した可能性がある期間にわたる異なるスコアを考慮に入れる。本システムは、各ゲームからのVPIスコアに加えて、総合VPIスコアを見るための追加の表示オプションを提供することができる。
いくつかの実施形態では、本システムは、ユーザがVPIスコアに満足するまで、1つまたは複数のゲームとの対話を繰り返すようにユーザに提案する。実施形態では、サイト・キットおよび結果のVPIスコアまたはレポートは、ユーザの視覚系のアウェアネスを高め、情報を提供し、理解を展開し、経時的な視覚パフォーマンスのトラッキングを可能にするのに使用され得る。サイト・キットは、視覚パフォーマンスの全般的な概要を提供し、潜在的な改善に関するエリアを強調することができる。
一実施形態では、サイト・キットは、連続的なフィードバックを提供し、様々な刺激および反応を使用して包括的な描写を形成し、したがって、視覚データの膨大なコレクションを潜在的に提供する。VPIスコアは、ユーザが、彼らの視覚をよりよく知り、経時的な彼らの視覚パフォーマンスを監視することを可能にする。サイト・キット・アプリケーションは、ユーザ全体的視覚の態様を測定し、ユーザが最高の状態でプレイしているのではない可能性がある場合にユーザに知らせ、ユーザの視覚を高いレベルに維持するのを助けるためにヒントを提供することができる。VPIは、ユーザの視覚の特定の領域に関するスコアをユーザに与えるように設計される。
VPIは、5つの構成要素すなわち、視界、正確さ、マルチトラッキング、持久力、および検出(F.A.M.E.D.)を示すデータ測定値を含み、このF.A.M.E.D.は、本明細書の前のセクションで紹介され、説明された。サイト・キット・アプリケーションの実施形態に関して、検出および正確さは、コントラスト感度またはリアクション時間などのユーザの視覚系パフォーマンス・パラメータの推定値を表す主測定値であると考えることができる。視界、マルチトラッキング、および持久力は、視野の諸部分、焦点的注意、分割的注意、または長い没頭など、異なるコンテキストで主測定値を比較する副測定値であると考えることができる。
各構成要素は、副構成要素にさらに分割される。VPIシステム内では、各副構成要素がスコアリングされ、副構成要素スコアおよび他の測定値の加重平均が、構成要素スコアを生成するのに使用され、最終的に、構成要素スコアの加重平均が、視覚パフォーマンス・インデックス(VPI)を生じる。サイト・キット・アプリケーション内の任意の所与の経験は、これらの構成要素のうちの一部だけを検査する可能性があり、それらのすべてを完了することによってのみ、VPIの完全な描写を作ることができる。これらの副構成要素は、下でさらに説明される。
視界
視野は、導出される副測定値とすることができる。VPIシステムでは、これは、スコアが、刺激が視野内のどこに現れるのかに基づいて主測定値を比較することに基づくことを意味する。サイト・キット・アプリケーション内でのある種の経験は、画面の中央(または最下部中央)の固視およびターゲットの周囲のディスプレイ・エリアの監視という戦略(すなわち、風船割りの第1ラウンドおよび第2ラウンド)を暗示する。これらのコンテキストでは、固視の仮定されたエリアに対する刺激の相対的な位置に基づいて、中央または周辺として刺激にラベル付けすることができる。
このシステムは、アイ・トラッキングを用いて検証され得る。サイト・キットを使用するモバイル・アプリケーションからの視界スコアは、診療所での中心視の視野測定検査に多少関係する可能性がある。
中心視
中心視スコアは、検出測定値および正確さ測定値に基づき、刺激は、中心視野の周辺にある(刺激開始時に)と仮定される。これは、ユーザが素早い反応を行わなければならない場合(風船割り)に特に関係する可能性がある。関連性は、「風船割り」の最終ラウンドに関して減少する可能性がある。
周辺視
周辺視スコアは、刺激がディスプレイの縁にあると仮定される場合の検出測定値および正確さ測定値に基づく。たとえば、周辺視スコアは、刺激がおおむねディスプレイの外側の左上、右上、左下、右下の1/3以内にある場合に判定される。周辺刺激開始は、「風船割り」の第1ラウンドおよび第2ラウンドなど、最適戦略がディスプレイの中央(または最下部中央)の固視を含むコンテキストに含まれると仮定され得る。
正確さ
VPIシステム内では、正確さは、2つの構成要素すなわち時間的正確さおよび空間的正確さに分割される。空間的正確さの場合には、ユーザは、ユーザの反応を正確に位置決めする(すなわち、標的の中心に命中する)能力に基づいてレーティングされ得、目標とするターゲットに対する反応位置は、正規分布に含まれると仮定される。時間的正確さの場合には、測定されるのは、ユーザが反応するのに要する時間であり、刺激が現れた後に刺激に反応するのに要する時間は、一般に、対数正規分布に従うと仮定される。代替実施形態では、サイト・キットは、第2の時間モデルをも含むことができ、反応の時間は、ユーザが刺激の出現を予想でき、これに同調して反応できる場合に、刺激開始時刻の周囲で正規分布になる(反応は刺激開始の前と後との両方に発生する)。
リアクション
リアクション時間は、ユーザの反応時刻から開始刺激時刻(出現する時には、通常はサイト・キット内で瞬間的)を減算することによって生成される。これらの期間は、ある固有モードおよび全幅半値を有する対数正規の形で分布する可能性がある。リアクション・スコアは、一般に、データへの分布あてはめのモードに基づく可能性がある。ヒックの法則に起因する変動は、存在する可能性があるが、リアクション時間がセット・サイズ(風船割りの第3ラウンドに最も関係する)に関わりなくあてはめられるので、ユーザのスコアに直接的には影響しない可能性がある。リアクション時間は、風船割りゲームに最も関係する可能性がある。
ターゲティング
反応位置のターゲティング精度は、ユーザの反応(たとえば、風船を割るためのタップ)の位置と、ユーザが反応している刺激の中心との間の距離(画素単位で測定される)に基づくものとすることができ、眼−手協調の基本測定値である(補償トラッキング課題に疎に関係する)。この測定値は、「風船割り」ゲームからであるが、手の器用さは、他のゲームに最小限に影響する可能性がある。ターゲティング精度およびリアクション時間は、ユーザが目標に関して注意深ければ注意深いほど、彼らの反応が遅くなる可能性があるという点で、お互いに対して逆相関を有する可能性がある。この効果は、ユーザの総合正確さスコアを計算する時に平均的な線に落ち着く可能性がある。
マルチトラッキング
マルチトラッキングは、焦点的注意または分割的注意のいずれかのコンテキストで主測定値を比較することに基づくものとすることができる。ここでは、注意要求が、並行課題の個数と並行刺激の個数との両方に比例する。
焦点的注意
焦点的注意は、ユーザが任意の所与の時に実行すべき1つの課題および考慮すべき1つの刺激だけを有する場合の検出測定値または正確さ測定値に関連する状態と考えることができる。これは、一般に、ユーザが刺激特徴を直列に自由に処理できる「ピクチャ・パーフェクト」ゲームおよび「形状リミックス」ゲームにあてはまる。これは、風船割りの第1ラウンドの始めならびに第2ラウンド全体にも適用可能である可能性もある。
分割的注意
分割的注意は、一時に1つの刺激(ターゲットまたは妨害課題)が存在し、素早い反応が刺激の並列処理を要求する時の主測定値に割り当てられる。「風船割り」の第1ラウンドおよび第3ラウンドは、複数の刺激が存在する状態でユーザが素早い反応を行う場合があるという点でこの説明にあてはまる。
持久力
持久力測定値は、ユーザが経時的に主測定値に関してどのようにプレイするのかに関する可能性がある。長い没頭を前提として、パフォーマンスが低下し始めると仮定する。休憩の後に、この損失が回復され得、パフォーマンスが正常に戻る可能性がある。この仮定は、ユーザが、穏当ではない可能性がある疲労の点までゲームをプレイすることに頼る。パフォーマンスがそれを行う機会を得る前に、興味が弱る可能性がある。時刻が分析論ダッシュボードにおいて重要なので、時刻に関する考慮を追加することが可能である。本アプリケーションは、ユーザがリアル・タイムでどのようにプレイしているのかに関する持久力関連スコアを生成するために、現在のプレイ・セッションおよび以前のプレイ・セッションを考慮することもできる。
持久力スコアは、サイト・キット・アプリケーション内のすべての経験に関係する。しかし、持久力スコアの生成は、現在のデータと過去のデータとを比較するために、異なるゲームへの没頭のある最小限の持続時間を必要とする。持久力スコアの関連性は、何がプレイされるのかではなく、プレイ時間の蓄積に依存する。
疲労
疲労は、進行中のゲーミング・セッションの前半および後半からの主測定値に基づく。スコアは、ユーザがパフォーマンスのレベルを維持する(または、練習によって経時的に改善さえする)場合にはより高く、ユーザのパフォーマンスが落ち始める場合にはより低い。
回復
回復は、最後のセッションの後半から現在のセッションの前半までの主測定値に基づくスコアを関係付ける。上で説明したように、疲労が、最後のセッションの終りにより低いスコアをもたらした場合に、休憩がパフォーマンスをベースラインに戻すことを可能にする場合には、回復スコアはより高いものとされ得る。休憩が不十分であり、疲労からの回復がほとんどまたは全くない場合には、回復スコアはより低いものとされ得る。
検出
検出測定値は、おおまかに、感度(刺激が見られるか否か)の測定値と、区別(類似する刺激の中からの選択)の測定値とを含む。サイト・キットは、色、コントラスト、または鋭敏さの関数としての刺激の成功裡の区別を可能にすることができる。この場合に、シグモイド関数が、区別しきい値を導出するためのデータに対するベイズ推定によってあてはめられ得る。ユーザと対話するゲームは、調整の方法によって実行される一致のエラーを突き止める。この場合に、ユーザのセッティングのエラーは、区別しきい値の直接の測定値と解釈され得る。

サイト・キットでの色パフォーマンスは、区別される刺激の間の色距離に関する反応に基づくものとすることができる。本アプリケーションは、色区別方向の均等な分布を作成することができ、特定の色覚異常を診断する。ユーザの色パフォーマンスは、他のユーザと比較した色に基づいて、ユーザがどれほど良好に区別を行えるのかに基づくものとすることができる。二色性色覚(dichromacy)に悩むユーザなど、マークされた色覚異常を有するユーザは、顕著に低いスコアとなる可能性がある。異常三色型色覚(anomalous trichromacy)に悩むユーザなどの軽度不全(slight deficiency)を有するユーザは、より低いがおそらくは「正常」範囲内のスコアとなる可能性がある。
色スコアは、「風船割り」ゲームの第1ラウンドおよび第3ラウンドと、ユーザがイメージまたは形状の色(色相)または彩度を調整するように求められる、「ピクチャ・パーフェクト」ゲームおよび「形状リミックス」ゲーム内の選択されたラウンドとによって生成され得る。
コントラスト
サイト・キット内のコントラスト・パフォーマンスは、コントラストがほとんどまたは全くない単純なパターン(風船割り)、単純な形状(形状リミックス)、および複雑な写真イメージ(ピクチャ・パーフェクト)の間の区別に基づくものとすることができる。「風船割り」の第1ラウンドでの区別は、いくつかの形で、「感度視力検査(Vision Contrast Test System)に似ている可能性がある。
鋭敏さ
サイト・キットでの鋭敏さパフォーマンスは、短く提示される形状の区別、温厚な鋭敏さ構成要素、サイズ/アライメントを有する複雑な形状に対する素早い反応(副尺視力に似る)、およびぼけレベルの一致に基づくものとすることができる。鋭敏さは、ある程度「風船割り」のすべてのラウンドに関し、位置、サイズ、または鮮明どの調整を有する「ピクチャ・パーフェクト」および「形状リミックス」のラウンドに関する。
スコアリング
主測定値(検出および正確さ)は、刺激および反応の物理的特性に結び付けられた様々な精神物理学的測定値を表すことができ、副測定値(視界、マルチトラッキング、および持久力)は、主として相関的である可能性がある。非常に異なる経験にまたがって測定値を比較し、様々な構成要素を組み合わせるために、正規化手順が、スコアを生成するために採用される。一実施形態では、正規化は、一意のコンテキストごとに別々に行われ、コンテキストは、各グループの各ラウンドの測定値ごとに検討され得る。
測定値は、一般に、一般集団の中で正規分布になる可能性がある。内部的に、中心傾向(算術平均)および変動性(標準偏差)の推定は、すべてのユーザからの累積されたデータのすべてに基づいて、各コンテキストの測定値ごとに行われ得る。いくつかの実施形態では、これらの値は、1/2の平均値および1/6の標準偏差(主として0と1との間に含まれる分布をもたらす)に基づいて、評価中のユーザの測定値をスコアに変換するのに使用される。いくつかの実施形態では、これらのスコアは、スコアのより大きい値を与えるために定数を乗算される。一実施形態では、20という定数が使用される。実施形態では、スコアリング・システムは、データが累積される時に首尾一貫したままになるように設計され、ユーザが全ユーザに対してどのように実行するのかをユーザに知らせる。
様々なVPI構成要素は、特にサイト・キット・アプリケーションによって提示される少数の経験のコンテキストにおいて、視覚パフォーマンスを測定する他の従来の方法からの多少の差を有する可能性がある。
視界スコアは、暗点すなわちの位置またはサイズを明らかにしない場合がある。正確さスコアは、視覚パフォーマンスのすべての態様ならびに視覚の外部の多数の要因によって影響される可能性がある。正確さスコアが特に電子ゲームの個人の親近感に結び付けられるので、これに関して、ユーザの間にあるレベルの個人差がある可能性がある。図32は、異なるゲームおよびラウンドからの異なるVPIパラメータの例示的な経験を示す表3200を提供する。
いくつかの実施形態では、「風船割り」ゲームのラウンド1は、FAMEDパラメータのいくつかに関するデータを生成することができる。この経験からのデータは、色、コントラスト、および鋭敏さに基づく検出のスコア、リアクションおよびターゲティングに基づく正確さのスコア、視界のスコア、およびマルチトラッキングのスコアと、十分なプレイ時間を前提として持久力の可能性とを知らせることができる。この特定の経験の価値は、主に、正確さスコア、コントラストおよび鋭敏さに基づく検出スコア、およびマルチトラッキング・スコアにある可能性がある。
「風船割り」ゲームのラウンド2による経験からのデータは、鋭敏さに基づく検出のスコア、リアクションおよびターゲティングに基づく正確さのスコア、ならびに視界のスコアを知らせることができる。ここでの価値は、主に正確さスコアおよび視界にあり、鋭敏さによる検出に多少の価値がある可能性がある。
「風船割り」ゲームのラウンド3による経験からのデータは、鋭敏さおよび色に基づく検出のスコアと、リアクションおよびターゲティングに基づく正確さのスコアとを知らせることができる。主な価値は、検出測定値およびリアクション測定値にある。
「ピクチャ・パーフェクト」ゲームによる経験からのデータは、色、コントラスト、および/または鋭敏さに基づく検出のスコアを知らせることができる。
上の例は、単に、本発明のシステムの多数の応用例の実例となるものである。本発明の少数の実施形態だけが本明細書で説明されたが、本発明が、本発明の趣旨または範囲から逸脱せずに、多数の他の特定の形態において実施され得ることを理解されたい。したがって、これらの例および実施形態は、例示的であって制限的ではないものと考えられなければならず、本発明は、添付の特許請求の範囲の範囲内で変更され得る。

Claims (20)

  1. 複数のプログラム命令を実行するようにプログラムされたコンピューティング・デバイスを使用して患者の視覚パフォーマンスを査定する方法であって、
    前記コンピューティング・デバイスを介して、視覚的刺激および/または聴覚的刺激の第1のセットを提示することと、
    前記コンピューティング・デバイスおよび別々のハードウェア・デバイスのうちの少なくとも1つを使用して前記患者の第1の複数のリアクションを監視することと、
    前記コンピューティング・デバイスを介して、視覚的刺激および/または聴覚的刺激の第2のセットを提示することと、
    前記コンピューティング・デバイスおよび別々のハードウェア・デバイスのうちの少なくとも1つを使用して前記患者の第2の複数のリアクションを監視することと、
    前記第1の複数のリアクションおよび前記第2の複数のリアクションに基づいて、前記患者の視界、視力、複数の刺激をトラッキングする前記患者の能力、視覚的持久力、および視覚的検出を表す定量値を判定することと
    を含む方法。
  2. 前記視界、前記視力、複数の刺激を追跡する前記患者の前記能力、前記視覚的持久力、および前記視覚的検出の集計を表す単一の視覚パフォーマンス値を生成することをさらに含む、請求項1に記載の方法。
  3. 前記第1の複数のリアクションは、高速走査データ、サッケード運動データ、瞬目率データ、固視データ、瞳孔径データ、および瞼裂距離データのうちの少なくとも1つを含む、請求項1に記載の方法。
  4. 前記第2の複数のリアクションは、高速走査データ、サッケード運動データ、固視データ、瞬目率データ、瞳孔径データ、頭部運動速さデータ、頭部運動方向データ、心拍数データ、運動反応時間データ、円滑追跡データ、瞼裂距離データ、脳波活動の度合およびレート・データ、ならびに収束の度合データのうちの少なくとも1つを含む、請求項1に記載の方法。
  5. 前記ハードウェア・デバイスは、眼球運動データを獲得するように構成されたカメラと、頭部運動のレートおよび/または方向を検出するように構成されたセンサと、心拍数を検出するように構成されたセンサと、脳波を検出するためのEEGセンサとのうちの少なくとも1つを含む、請求項1に記載の方法。
  6. 前記患者の視界を表す前記定量値は、前記患者の中心視の質を表すデータと、前記患者の周辺視の質を表すデータとを含む、請求項1に記載の方法。
  7. 前記患者の視力を表す前記定量値は、視覚的刺激および/または聴覚的刺激の前記第1のセットに対する前記患者のリアクション時間の質を表すデータを含む、請求項1に記載の方法。
  8. 前記患者の視力を表す前記定量値は、視覚的刺激の前記第1のセットの前記患者の正確なターゲティングの質を表すデータを含み、視覚的刺激の前記第1のセットの前記患者の正確なターゲティングの前記質は、視覚的刺激の前記第1のセットの位置に対する前記患者の身体反応の位置に基づく、請求項1に記載の方法。
  9. 複数の刺激をトラッキングする前記患者の前記患者の能力を表す前記定量値は、視覚的刺激の前記第2のセット内の複数の要素を同時にトラッキングする前記患者の能力の質を表すデータを含む、請求項1に記載の方法。
  10. 前記患者の視覚的持久力を表す前記定量値は、視覚的刺激および/または聴覚的刺激の前記第1のセットの提示の持続時間にわたる前記患者のリアクション時間の減少を表すデータを含む、請求項1に記載の方法。
  11. 前記患者の視覚的持久力を表す前記定量値は、休憩期間の後の視覚的刺激および/または聴覚的刺激の前記第2のセットの提示の持続時間にわたる前記患者のリアクション時間の改善を表すデータを含む、請求項1に記載の方法。
  12. 前記患者の視覚的検出を表す前記定量値は、前記患者が視覚的刺激の前記第1のセットをどの程度まで見るのかを表すデータを含む、請求項1に記載の方法。
  13. 前記患者の視覚的検出を表す前記定量値は、前記患者が視覚的刺激の前記第1のセット内の同様の色、コントラスト、または形状を有する物体の間でとの程度まで区別できるのかを表すデータを含む、請求項1に記載の方法。
  14. 複数のプログラム命令を実行するようにプログラムされたコンピューティング・デバイスを使用して患者の視覚パフォーマンスを査定する方法であって、
    前記コンピューティング・デバイス上のディスプレイを介して、視覚的刺激の第1のセットを提示することであって、視覚的刺激の前記第1のセットは、前記患者の周辺視から前記患者の中心視へ移動する第1の複数の視覚要素を含む、提示することと、
    前記コンピューティング・デバイスおよび別々のハードウェア・デバイスのうちの少なくとも1つを使用して前記患者の第1の複数のリアクションを監視することと、
    前記コンピューティング・デバイス上のディスプレイを介して、視覚的刺激の第2のセットを提示することであって、視覚的刺激の前記第2のセットは、前記患者が第2の複数の視覚要素に物理的にタッチする際に出現し、消滅する、前記第2の複数の視覚要素を含む、提示することと、
    前記コンピューティング・デバイスおよび前記別々のハードウェア・デバイスのうちの少なくとも1つを使用して前記患者の第2の複数のリアクションを監視することと、
    前記第1の複数のリアクションおよび前記第2の複数のリアクションに基づいて、前記患者の視界、視力、複数の刺激を追跡する前記患者の能力、視覚的持久力、および視覚的検出を表す定量値を判定することと
    を含む方法。
  15. 前記第1の複数の視覚要素の少なくとも一部は、経時的に減少するサイズを有する、請求項14に記載の方法。
  16. 前記第1の複数の視覚要素の少なくとも一部は、経時的に増加する運動の速さを有する、請求項14に記載の方法。
  17. 経時的に、前記第1の複数の視覚要素のうちのより多くが、前記コンピューティング・デバイス上に同時に現れる、請求項14に記載の方法。
  18. 第3の複数の視覚要素は、前記第2の複数の視覚要素と並行に現れ、前記第3の複数の視覚要素は、前記第2の複数の視覚要素とは異なって見え、前記患者が前記第3の複数の視覚要素のいずれかに物理的にタッチする場合に、前記患者の視力を表す前記定量値は、減らされる、請求項14に記載の方法。
  19. 前記コンピューティング・デバイス上のディスプレイを介して、視覚的刺激の第3のセットを提示することであって、前記視覚的刺激の第3のセットは、第4の複数の視覚要素を含む、提示することと、前記コンピューティング・デバイスおよび前記別々のハードウェア・デバイスのうちの少なくとも1つを使用して前記患者の第3の複数のリアクションを監視することと、前記第1の複数のリアクション、前記第2の複数のリアクション、および前記第3の複数のリアクションに基づいて、前記患者の視界、視力、複数の刺激をトラッキングする前記患者の能力、視覚的持久力、および視覚的検出を表す定量値を判定することとをさらに含む、請求項14に記載の方法。
  20. 前記患者は、色、コントラスト、および/または形状の特定の組合せを有する前記第4の複数の視覚要素のうちの1つを同定するように指示される、請求項19に記載の方法。
JP2019503641A 2016-04-08 2017-04-07 人の視覚パフォーマンスを査定するために視覚データを入手し、集計し、解析する方法およびシステム Pending JP2019513516A (ja)

Applications Claiming Priority (13)

Application Number Priority Date Filing Date Title
US201662319825P 2016-04-08 2016-04-08
US62/319,825 2016-04-08
US201662322741P 2016-04-14 2016-04-14
US62/322,741 2016-04-14
US201662359796P 2016-07-08 2016-07-08
US62/359,796 2016-07-08
US201662363074P 2016-07-15 2016-07-15
US62/363,074 2016-07-15
US201662381784P 2016-08-31 2016-08-31
US62/381,784 2016-08-31
US201662425736P 2016-11-23 2016-11-23
US62/425,736 2016-11-23
PCT/US2017/026689 WO2017177188A1 (en) 2016-04-08 2017-04-07 Methods and systems for obtaining, aggregating, and analyzing vision data to assess a person's vision performance

Publications (1)

Publication Number Publication Date
JP2019513516A true JP2019513516A (ja) 2019-05-30

Family

ID=59999063

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2019503641A Pending JP2019513516A (ja) 2016-04-08 2017-04-07 人の視覚パフォーマンスを査定するために視覚データを入手し、集計し、解析する方法およびシステム
JP2019503640A Pending JP2019519053A (ja) 2016-04-08 2017-04-07 視覚機能データを獲得し、分析し、生成する、かつデータに基づいてメディアを修正するための方法およびシステム

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2019503640A Pending JP2019519053A (ja) 2016-04-08 2017-04-07 視覚機能データを獲得し、分析し、生成する、かつデータに基づいてメディアを修正するための方法およびシステム

Country Status (8)

Country Link
US (4) US20170293356A1 (ja)
EP (2) EP3440494A4 (ja)
JP (2) JP2019513516A (ja)
KR (2) KR20190027354A (ja)
CN (2) CN109690384A (ja)
AU (2) AU2017248362A1 (ja)
CA (2) CA3020390A1 (ja)
WO (2) WO2017177188A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7103744B1 (ja) 2022-04-01 2022-07-20 株式会社仙台放送 視野評価用情報処理システム、視野評価用情報処理方法、視野評価用情報コンピュータプログラムおよび情報処理装置
KR102687021B1 (ko) * 2023-07-13 2024-07-22 주식회사 마키나락스 장비의 이상 원인을 예측하고, 예측 결과를 플랫폼을 통해 제공하기 위한 방법

Families Citing this family (201)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10895917B2 (en) 2011-03-12 2021-01-19 Uday Parshionikar Multipurpose controllers and methods
US10884493B2 (en) 2013-06-20 2021-01-05 Uday Parshionikar Gesture based user interfaces, apparatuses and systems using eye tracking, head tracking, hand tracking, facial expressions and other user actions
WO2017015603A1 (en) 2015-07-23 2017-01-26 New Jersey Institute Of Technology Method, system, and apparatus for treatment of binocular dysfunctions
US10430810B2 (en) * 2015-09-22 2019-10-01 Health Care Direct, Inc. Systems and methods for assessing the marketability of a product
KR20230109789A (ko) 2016-03-04 2023-07-20 매직 립, 인코포레이티드 Ar/vr 디스플레이 시스템들에서의 전류 드레인 감소
WO2017165848A1 (en) 2016-03-25 2017-09-28 Magic Leap, Inc. Virtual and augmented reality systems and methods
WO2017177188A1 (en) 2016-04-08 2017-10-12 Vizzario, Inc. Methods and systems for obtaining, aggregating, and analyzing vision data to assess a person's vision performance
US10188291B2 (en) * 2016-09-08 2019-01-29 Howard P. Apple Device for screening convergence insufficiency and related methods
BR112019010408A8 (pt) * 2016-11-23 2023-03-21 Lifeq Global Ltd Sistema e método para a identificação biométrica ao usar a fisiologia do sono
US10885676B2 (en) * 2016-12-27 2021-01-05 Samsung Electronics Co., Ltd. Method and apparatus for modifying display settings in virtual/augmented reality
KR20180092778A (ko) * 2017-02-10 2018-08-20 한국전자통신연구원 실감정보 제공 장치, 영상분석 서버 및 실감정보 제공 방법
US10395693B2 (en) * 2017-04-10 2019-08-27 International Business Machines Corporation Look-ahead for video segments
US10445614B2 (en) * 2017-04-16 2019-10-15 Facebook, Inc. Systems and methods for evaluating content
US10728616B2 (en) * 2017-04-19 2020-07-28 Intel Corporation User interest-based enhancement of media quality
US11087010B2 (en) 2017-05-31 2021-08-10 International Business Machines Corporation Mental acuity-dependent accessibility
US11647903B2 (en) * 2017-06-01 2023-05-16 University Of Washington Smartphone-based digital pupillometer
US10921613B2 (en) * 2017-06-01 2021-02-16 NewSight Reality, Inc. Near eye display and related computer-implemented software and firmware
US10810773B2 (en) * 2017-06-14 2020-10-20 Dell Products, L.P. Headset display control based upon a user's pupil state
EP4374770A3 (en) * 2017-06-23 2024-08-14 Adaptive Sensory Technology, Inc. Systems and methods for testing and analysis of visual acuity and its changes
US10573061B2 (en) 2017-07-07 2020-02-25 Nvidia Corporation Saccadic redirection for virtual reality locomotion
US10573071B2 (en) 2017-07-07 2020-02-25 Nvidia Corporation Path planning for virtual reality locomotion
US20190008441A1 (en) * 2017-07-10 2019-01-10 VirtualMind, LLC Diagnosing brain injury using a virtual reality system
US10902395B1 (en) 2017-07-11 2021-01-26 Massachusetts Mutual Life Insurance Company Intelligent e-book reader incorporating augmented reality or virtual reality
GB2565302B (en) * 2017-08-08 2022-04-13 Sony Interactive Entertainment Inc Head-mountable apparatus and methods
TWI646466B (zh) * 2017-08-09 2019-01-01 宏碁股份有限公司 視覺範圍映射方法及相關眼球追蹤裝置與系統
WO2019040669A1 (en) * 2017-08-22 2019-02-28 Silicon Algebra, Inc. METHOD FOR DETECTING EXPRESSIONS AND FACIAL EMOTIONS OF USERS
CN111629653B (zh) 2017-08-23 2024-06-21 神经股份有限公司 具有高速眼睛跟踪特征的大脑-计算机接口
US11145124B2 (en) 2017-08-30 2021-10-12 Ronald H. Winston System and method for rendering virtual reality interactions
US11589745B2 (en) * 2017-09-05 2023-02-28 Neurolens, Inc. Method and system for measuring binocular alignment
US12114930B2 (en) 2017-09-05 2024-10-15 Neurolens, Inc. System for measuring binocular alignment with adjustable displays and eye trackers
US11602697B2 (en) 2017-09-05 2023-03-14 State Space Labs Inc. Sensorimotor assessment and training
US11896910B2 (en) 2017-09-05 2024-02-13 State Space Labs, Inc. System and method of cheat detection in video games
US11250242B2 (en) * 2017-09-13 2022-02-15 Visualcamp Co., Ltd. Eye tracking method and user terminal performing same
EP3466338A1 (en) * 2017-10-03 2019-04-10 Tata Consultancy Services Limited Cognitive load estimation based on pupil dilation
US20190138162A1 (en) * 2017-11-07 2019-05-09 Facebook, Inc. Systems and methods for providing calls-to-action and related content associated with virtual media content
WO2019094953A1 (en) 2017-11-13 2019-05-16 Neurable Inc. Brain-computer interface with adaptations for high-speed, accurate, and intuitive user interactions
US10791082B2 (en) * 2017-11-21 2020-09-29 D8AI Inc. Systems and methods for delivery and use of interactive objects
CN109842790B (zh) 2017-11-29 2021-02-26 财团法人工业技术研究院 影像信息显示方法与显示器
TWI702531B (zh) * 2017-11-29 2020-08-21 財團法人工業技術研究院 影像資訊顯示方法、影像資訊顯示系統與顯示器
CN116784795A (zh) 2017-11-30 2023-09-22 思维有限公司 用于评估与多发性硬化症相关的神经功能受损的方法
US11684256B2 (en) 2017-12-01 2023-06-27 Ceeable, Inc. Eye movement in response to visual stimuli for assessment of ophthalmic and neurological conditions
KR20190067433A (ko) * 2017-12-07 2019-06-17 주식회사 비주얼캠프 텍스트-리딩 기반의 리워드형 광고 서비스 제공 방법 및 이를 수행하기 위한 사용자 단말
AU2018386722A1 (en) * 2017-12-21 2020-07-02 Commonwealth Scientific And Industrial Research Organisation Generating a user-specific user interface
WO2019143117A1 (en) * 2018-01-18 2019-07-25 Samsung Electronics Co., Ltd. Method and apparatus for adjusting augmented reality content
CN111712192B (zh) * 2018-01-18 2024-07-02 神经股份有限公司 具有对于高速、准确和直观的用户交互的适配的大脑-计算机接口
US10225360B1 (en) * 2018-01-24 2019-03-05 Veeva Systems Inc. System and method for distributing AR content
US11919531B2 (en) * 2018-01-31 2024-03-05 Direct Current Capital LLC Method for customizing motion characteristics of an autonomous vehicle for a user
US11861062B2 (en) * 2018-02-03 2024-01-02 The Johns Hopkins University Blink-based calibration of an optical see-through head-mounted display
US11604979B2 (en) 2018-02-06 2023-03-14 International Business Machines Corporation Detecting negative experiences in computer-implemented environments
US10884769B2 (en) 2018-02-17 2021-01-05 Adobe Inc. Photo-editing application recommendations
GB2571300B (en) 2018-02-23 2020-05-27 Sony Interactive Entertainment Inc Eye tracking method and apparatus
WO2019178557A1 (en) 2018-03-15 2019-09-19 Vizzario, Inc. Modular display and sensor system for attaching to eyeglass frames and capturing physiological data
US11036811B2 (en) * 2018-03-16 2021-06-15 Adobe Inc. Categorical data transformation and clustering for machine learning using data repository systems
CN112219242A (zh) * 2018-03-19 2021-01-12 科尼菲森股份有限公司 用于创建和修改多感官体验以改进健康或表现的计算机系统和方法
WO2019181153A1 (ja) * 2018-03-20 2019-09-26 ソニー株式会社 情報処理装置、情報処理方法および記録媒体
JP7121523B2 (ja) * 2018-04-10 2022-08-18 キヤノン株式会社 画像表示装置、画像表示方法
WO2019210087A1 (en) * 2018-04-25 2019-10-31 The Trustees Of The University Of Pennsylvania Methods, systems, and computer readable media for testing visual function using virtual mobility tests
CN108805029B (zh) * 2018-05-08 2021-08-24 天津师范大学 一种基于显著对偶激活编码的地基云图识别方法
US10528131B2 (en) * 2018-05-16 2020-01-07 Tobii Ab Method to reliably detect correlations between gaze and stimuli
US10942564B2 (en) * 2018-05-17 2021-03-09 Sony Interactive Entertainment Inc. Dynamic graphics rendering based on predicted saccade landing point
US10721510B2 (en) 2018-05-17 2020-07-21 At&T Intellectual Property I, L.P. Directing user focus in 360 video consumption
US10482653B1 (en) 2018-05-22 2019-11-19 At&T Intellectual Property I, L.P. System for active-focus prediction in 360 video
US10827225B2 (en) 2018-06-01 2020-11-03 AT&T Intellectual Propety I, L.P. Navigation for 360-degree video streaming
CN110554824A (zh) * 2018-06-01 2019-12-10 深圳市鸿合创新信息技术有限责任公司 一种多操作系统电子装置
US10684681B2 (en) * 2018-06-11 2020-06-16 Fotonation Limited Neural network image processing apparatus
KR102616391B1 (ko) * 2018-06-18 2023-12-20 뉴저지 인스티튜트 오브 테크놀로지 양안 장애의 진단 평가 및 선별을 위한 방법, 시스템 및 장치
US10725538B2 (en) * 2018-06-19 2020-07-28 Igt Interacting with game elements using eye movement tracking
US11966055B2 (en) 2018-07-19 2024-04-23 Magic Leap, Inc. Content interaction driven by eye metrics
US10916040B2 (en) * 2018-07-24 2021-02-09 Apical Ltd. Processing image data using different data reduction rates
US10679393B2 (en) * 2018-07-24 2020-06-09 Snap Inc. Conditional modification of augmented reality object
JP7048893B2 (ja) * 2018-07-26 2022-04-06 日本電信電話株式会社 学習装置、学習方法及びコンピュータプログラム
TWI673047B (zh) * 2018-07-27 2019-10-01 亮眼科技股份有限公司 視力訓練輔助設備
US10915740B2 (en) * 2018-07-28 2021-02-09 International Business Machines Corporation Facial mirroring in virtual and augmented reality
US10949787B2 (en) * 2018-07-31 2021-03-16 International Business Machines Corporation Automated participation evaluator
US10810432B2 (en) 2018-08-02 2020-10-20 Motorola Solutions, Inc. Methods and systems for differentiating one or more objects in a video
GB2567553B (en) * 2018-09-06 2021-04-07 Sony Interactive Entertainment Inc Foveated rendering system and method
CN109460143A (zh) * 2018-09-18 2019-03-12 南京航空航天大学 基于vr头显的头戴式脑诱发电位视觉刺激系统及方法
US10664050B2 (en) * 2018-09-21 2020-05-26 Neurable Inc. Human-computer interface using high-speed and accurate tracking of user interactions
US10922203B1 (en) * 2018-09-21 2021-02-16 Nvidia Corporation Fault injection architecture for resilient GPU computing
US11119573B2 (en) * 2018-09-28 2021-09-14 Apple Inc. Pupil modulation as a cognitive control signal
EP3861762A1 (en) 2018-10-01 2021-08-11 Dolby Laboratories Licensing Corporation Creative intent scalability via physiological monitoring
US10827922B2 (en) * 2018-10-22 2020-11-10 Zongqi Hu Apparatus and method for objective visual acuity measurement using dynamic velocity threshold filter in optokinetic response processing
US11087502B2 (en) 2018-10-31 2021-08-10 International Business Machines Corporation Multimodal data visualization using bandwidth profiles and optional environmental compensation
US11249310B1 (en) * 2018-11-26 2022-02-15 Lockheed Martin Corporation Augmented reality device with external light control layer for realtime contrast control
ES2924701T3 (es) * 2018-12-11 2022-10-10 Tobii Ab Estimación de posición en pantalla
KR102284266B1 (ko) * 2018-12-13 2021-08-02 한국과학기술원 신경 불일치 모델을 고려한 가상현실 멀미 평가 방법 및 그 장치
CN109756728B (zh) * 2019-01-02 2021-12-07 京东方科技集团股份有限公司 图像显示方法及装置,电子设备,计算机可读存储介质
KR102618952B1 (ko) * 2019-01-17 2023-12-27 더 로얄 인스티튜션 포 디 어드밴스먼트 오브 러닝/맥길 유니버시티 스테레오 비전의 디지털 측정을 위한 시스템 및 방법
CN113383295A (zh) * 2019-02-01 2021-09-10 苹果公司 调节数字内容以激发更大的瞳孔半径响应的生物反馈方法
JP7135944B2 (ja) * 2019-03-06 2022-09-13 株式会社デンソー 指標算出装置及び表示システム
WO2020180051A1 (en) * 2019-03-07 2020-09-10 Samsung Electronics Co., Ltd. Electronic apparatus and control method thereof
AU2020244826A1 (en) * 2019-03-27 2021-11-04 Human Foundry, Llc Assessment and training system
US11056075B2 (en) * 2019-03-27 2021-07-06 Lenovo (Singapore) Pte. Ltd. Adjusting display settings of a head-mounted display
CN113906368A (zh) * 2019-04-05 2022-01-07 惠普发展公司,有限责任合伙企业 基于生理观察修改音频
US20220030080A1 (en) * 2019-04-10 2022-01-27 IPPM Venture, LLC Method for assessment of human attention
JP7060544B6 (ja) * 2019-04-26 2022-05-23 塁 佐藤 運動用設備
CN110060782A (zh) * 2019-04-28 2019-07-26 浙江中医药大学附属第二医院(浙江省新华医院) 一种基于虚拟现实的对不同心血管急症信息处理仿真系统
WO2020232309A1 (en) * 2019-05-15 2020-11-19 The Regents Of The University Of California Method and apparatus to track binocular eye motion
US10871823B1 (en) * 2019-05-23 2020-12-22 Facebook Technologies, Llc Systems and methods for using scene understanding for calibrating eye tracking
WO2020240470A1 (en) * 2019-05-31 2020-12-03 ResMed Pty Ltd Systems and methods for minimizing cognitive decline using augmented reality
CN110208947B (zh) * 2019-06-03 2021-10-08 歌尔光学科技有限公司 基于人眼追踪的显示设备及显示方法
CN110200626A (zh) * 2019-06-14 2019-09-06 重庆大学 一种基于投票分类器的视觉诱导晕动症检测方法
US11612316B2 (en) * 2019-06-20 2023-03-28 Awss Zidan Medical system and method operable to control sensor-based wearable devices for examining eyes
CN110251071A (zh) * 2019-06-21 2019-09-20 中山大学中山眼科中心 儿童视力评估方法、系统及计算机存储介质
EP3991071A4 (en) * 2019-06-26 2023-09-13 Twosense, Inc. CONTINUOUS AUTHENTICATION WITH WEARABLE HEAD-MOUNTED DEVICES AND EYE TRACKING
CN110412778A (zh) * 2019-07-25 2019-11-05 南京聚米粒智能科技有限公司 一种近视眼镜视力疲劳缓解方法及装置
JP7346135B2 (ja) * 2019-07-30 2023-09-19 キヤノン株式会社 電子機器、電子機器の制御方法、プログラムおよび記憶媒体
CN110428908B (zh) * 2019-07-31 2021-12-17 广西壮族自治区人民医院 一种基于人工智能的眼睑运动功能评估系统
US11099642B2 (en) * 2019-08-01 2021-08-24 International Business Machines Corporation Display adaptation for visual impairment
US11263634B2 (en) 2019-08-16 2022-03-01 Advanced New Technologies Co., Ltd. Payment method and device
US20210065374A1 (en) * 2019-08-26 2021-03-04 Organize Everything Inc. System and method for extracting outlines of physical objects
US11576570B2 (en) * 2019-08-30 2023-02-14 Qualcomm Incorporated Determining eye strain indicator based on multiple devices
CN110547756A (zh) * 2019-09-17 2019-12-10 广州智伴人工智能科技有限公司 一种视力测试方法、装置和系统
US20210086089A1 (en) * 2019-09-25 2021-03-25 Nvidia Corporation Player analysis using one or more neural networks
WO2021059096A1 (en) * 2019-09-27 2021-04-01 Alcon Inc. Patient-induced trigger of a measurement for ophthalmic diagnostic devices
KR102349087B1 (ko) * 2019-10-10 2022-01-12 한국과학기술연구원 뇌-컴퓨터 인터페이스에 기반하여 로봇을 제어하는 방법 및 그에 따른 식사 보조 로봇의 제어 장치
US11645555B2 (en) 2019-10-12 2023-05-09 International Business Machines Corporation Feature selection using Sobolev Independence Criterion
US11373760B2 (en) * 2019-10-12 2022-06-28 International Business Machines Corporation False detection rate control with null-hypothesis
KR102250775B1 (ko) 2019-10-18 2021-05-11 주식회사 에스알파테라퓨틱스 근시 치료를 위한 디지털 장치 및 애플리케이션
US20210121060A1 (en) * 2019-10-25 2021-04-29 Northwest Eye Care, Llc Visual systems assessment scale and systems and methods for corresponding treatment for a patient
US11461937B2 (en) * 2019-11-13 2022-10-04 Adobe, Inc. Authoring and optimization of accessible color themes
US11450035B2 (en) 2019-11-13 2022-09-20 Adobe Inc. Authoring and optimization of accessible color themes
KR20220093380A (ko) * 2019-11-20 2022-07-05 넥스트마인드 에스에이에스 시각적 뇌-컴퓨터 인터페이스
GB201917147D0 (en) * 2019-11-25 2020-01-08 Medopad Ltd Visual impairment apparatus
DE102019218302A1 (de) * 2019-11-26 2021-05-27 Zf Friedrichshafen Ag Detektieren von einer VR-Krankheit
CA3162928A1 (en) * 2019-11-29 2021-06-03 Electric Puppets Incorporated System and method for virtual reality based human biological metrics collection and stimulus presentation
CN111103975B (zh) * 2019-11-30 2022-09-23 华为技术有限公司 显示方法、电子设备及系统
EP4097532A4 (en) * 2020-01-31 2024-02-21 Magic Leap, Inc. AUGMENTED REALITY AND VIRTUAL REALITY DISPLAY SYSTEMS FOR OCULOMETRICAL ASSESSMENTS
US11960383B2 (en) * 2020-04-01 2024-04-16 Akili Interactive Labs, Inc. Systems and methods for software design control and quality assurance
US12102387B2 (en) 2020-04-24 2024-10-01 Remmedvr Sp. Z.O.O. System and methods for use in vision assessment to determine refractive errors and neurodegenerative disorders by ocular biomarking features
CA3174408A1 (en) * 2020-04-30 2021-11-04 Tanner FRED Systems and methods for augmented-or virtual reality-based decision-making simulation
CN111753639B (zh) * 2020-05-06 2024-08-16 上海欧菲智能车联科技有限公司 感知地图生成方法、装置、计算机设备和存储介质
US20210350139A1 (en) * 2020-05-11 2021-11-11 Nvidia Corporation Highlight determination using one or more neural networks
GB2594966B (en) 2020-05-13 2024-07-31 Sony Interactive Entertainment Inc Gaze tracking apparatus and systems
WO2021247312A1 (en) * 2020-06-03 2021-12-09 Limonox Projects Llc Eye-gaze based biofeedback
US11426116B2 (en) 2020-06-15 2022-08-30 Bank Of America Corporation System using eye tracking data for analysis and validation of data
US20220000393A1 (en) * 2020-07-06 2022-01-06 Savitar, Inc. Systems and methods for improving physical performance
CN111772573B (zh) * 2020-07-06 2023-06-06 重庆能能科技有限公司 双眼聚散灵敏度检测装置及其数据处理方法
JP2023539962A (ja) 2020-08-14 2023-09-21 ヒーズ アイピー ホールディングス エルエルシー リアルタイム画像上に仮想画像を重ね合わせるためのシステムおよび方法
CN111973155B (zh) * 2020-08-23 2023-06-16 吾征智能技术(北京)有限公司 一种基于人体口味异常变化的疾病认知自学习系统
US11656681B2 (en) * 2020-08-31 2023-05-23 Hypear, Inc. System and method for determining user interactions with visual content presented in a mixed reality environment
TWI838640B (zh) * 2020-09-03 2024-04-11 美商海思智財控股有限公司 改善雙眼視覺的系統與方法
EP3964130A1 (en) * 2020-09-03 2022-03-09 Tata Consultancy Services Limited System and method for eye-blink based assessment of sustained visual attention of a target
US20230274186A1 (en) * 2020-09-08 2023-08-31 Hewlett-Packard Development Company, L.P. Determinations of Characteristics from Biometric Signals
JP7300569B2 (ja) * 2020-09-16 2023-06-30 株式会社雪雲 情報処理装置、情報処理方法およびプログラム
US20220080302A1 (en) * 2020-09-17 2022-03-17 Whoborn Inc. Apparatus for reproducing temperature for metaverse
KR20220039113A (ko) * 2020-09-21 2022-03-29 삼성전자주식회사 엣지 컴퓨팅 서비스를 이용한 영상 컨텐츠 전송 방법 및 장치
US11468990B2 (en) 2020-10-12 2022-10-11 Kyndryl, Inc. Prevention of computer vision syndrome using explainable artificial intelligence
EP4231894B1 (de) 2020-10-21 2024-10-16 Roland BISCHEL Computerimplementiertes verfahren zur optometrischen farbaustestung
CN114546102B (zh) * 2020-11-26 2024-02-27 幻蝎科技(武汉)有限公司 眼动追踪滑行输入方法、系统、智能终端及眼动追踪装置
CN112454390B (zh) * 2020-11-27 2022-05-17 中国科学技术大学 基于深度强化学习的仿人机器人面部表情模仿方法
CN112347450B (zh) * 2020-11-30 2022-04-22 浙江大学 一种基于眨眼声音信号的身份验证方法
JP7327368B2 (ja) 2020-12-02 2023-08-16 横河電機株式会社 装置、方法およびプログラム
SE2051412A1 (en) * 2020-12-03 2022-06-04 Heads Stockholm Ab Device for visual field testing
CN112587136B (zh) * 2020-12-09 2022-02-25 北京意图科技有限公司 味觉感官评估方法和系统
US11289196B1 (en) 2021-01-12 2022-03-29 Emed Labs, Llc Health testing and diagnostics platform
DE102021200300A1 (de) * 2021-01-14 2022-07-14 Robert Bosch Gesellschaft mit beschränkter Haftung Modifizieren von parametersätzen, die ein computer vision-modell charakterisieren
CN112786164B (zh) * 2021-01-27 2023-05-30 上海交通大学医学院附属第九人民医院 用于调节性视标的动态图片设计方法、装置、设备和介质
CN112949404B (zh) * 2021-02-01 2022-04-19 吉林大学 一种夜间驾驶人视觉搜索能力量化方法
US11468713B2 (en) 2021-03-02 2022-10-11 Bank Of America Corporation System and method for leveraging a time-series of microexpressions of users in customizing media presentation based on users# sentiments
US11361108B1 (en) 2021-03-11 2022-06-14 Tsj Technology, Inc. Unidirectional communication system for public access to detained persons
US11373756B1 (en) 2021-05-24 2022-06-28 Emed Labs, Llc Systems, devices, and methods for diagnostic aid kit apparatus
US11615888B2 (en) 2021-03-23 2023-03-28 Emed Labs, Llc Remote diagnostic testing and treatment
US11929168B2 (en) 2021-05-24 2024-03-12 Emed Labs, Llc Systems, devices, and methods for diagnostic aid kit apparatus
GB2606180B (en) * 2021-04-28 2023-07-12 Sony Interactive Entertainment Inc Input generation system and method
CN113243917B (zh) * 2021-05-18 2023-05-12 中国民用航空总局第二研究所 一种民航管制员的疲劳检测方法、装置、电子设备及介质
JP2024523315A (ja) * 2021-06-17 2024-06-28 エフ. ホフマン-ラ ロシュ アーゲー 視覚能力を特徴付けるための仮想現実技術
US12099654B1 (en) 2021-06-21 2024-09-24 Apple Inc. Adaptation of electronic content
GB2623461A (en) 2021-06-22 2024-04-17 Emed Labs Llc Systems, methods, and devices for non-human readable diagnostic tests
US20240315548A1 (en) 2021-07-13 2024-09-26 Machinemd Ag Computer program, method, and apparatus for determining a visual acuity of a test person
US11653047B2 (en) 2021-07-29 2023-05-16 International Business Machines Corporation Context based adaptive resolution modulation countering network latency fluctuation
US20230065296A1 (en) * 2021-08-30 2023-03-02 Facebook Technologies, Llc Eye-tracking using embedded electrodes in a wearable device
US12014829B2 (en) 2021-09-01 2024-06-18 Emed Labs, Llc Image processing and presentation techniques for enhanced proctoring sessions
WO2023037714A1 (en) * 2021-09-10 2023-03-16 Sony Group Corporation Information processing system, information processing method and computer program product
WO2023039572A1 (en) * 2021-09-11 2023-03-16 The Regents Of The University Of California Simultaneous assessment of afferent and efferent visual pathways
KR102665504B1 (ko) 2021-09-30 2024-05-14 주식회사 테네터스 Vr 콘텐츠 기반 무자각 안과검사 제공 방법 및 시스템
US11645790B2 (en) 2021-09-30 2023-05-09 Adobe Inc. Systems for generating accessible color themes
IT202100026999A1 (it) * 2021-10-20 2023-04-20 Mnem S R L Metodo per la correlazione e predizione di dati associati a un soggetto di interesse
CN113984617A (zh) * 2021-10-21 2022-01-28 吉林大学 裂隙网络水热传递可视化示踪实验系统
EP4418981A1 (en) * 2021-10-22 2024-08-28 Apellis Pharmaceuticals, Inc. Systems and methods for virtual reality, augmented reality, and mixed reality based visual function assessment
US11769465B1 (en) * 2021-11-05 2023-09-26 Optum, Inc. Identifying regions of visible media data that belong to a trigger content type
US11644678B1 (en) * 2021-11-09 2023-05-09 Sony Interactive Entertainment Inc. Barometric pressure sensor arrays for detecting presence and motion of objects for tracking or triggering a response
US12093519B2 (en) 2021-11-17 2024-09-17 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods for producing stimuli in a visual interface using modulation
US11832946B2 (en) 2021-11-17 2023-12-05 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods for producing stimuli in a visual interface
CN114047822B (zh) * 2021-11-24 2023-12-19 京东方科技集团股份有限公司 近眼显示方法及系统
CN116407084A (zh) * 2021-12-29 2023-07-11 中国科学院深圳先进技术研究院 一种多维度信号控制系统和方法
US20230267693A1 (en) * 2022-02-18 2023-08-24 Htc Corporation Method for determining physical characteristics of objects, host, and computer readable storage medium
WO2023183980A1 (en) * 2022-03-30 2023-10-05 ResMed Pty Ltd Display system and user interface
US20230344975A1 (en) * 2022-04-22 2023-10-26 Faurecia Irystec Inc. System and method for controlling perceptual three-dimensional elements for display
CN114617533B (zh) * 2022-05-13 2022-08-16 成都尚医信息科技有限公司 一种基于三维重建的营养状况确定系统
EP4325517A1 (en) 2022-08-18 2024-02-21 Carl Zeiss Vision International GmbH Methods and devices in performing a vision testing procedure on a person
CN115886841B (zh) * 2022-08-26 2024-09-17 华中科技大学 一种基于脑区联动的稳态视觉诱发脑电动态起始分类方法
KR20240031770A (ko) * 2022-09-01 2024-03-08 삼성전자주식회사 비네팅 기능을 수행하는 방법 및 이를 지원하는 웨어러블 전자 장치
SE2251233A1 (en) * 2022-10-24 2024-04-25 Tobii Ab Eye tracking
WO2024101579A1 (ko) * 2022-11-09 2024-05-16 삼성전자주식회사 멀티미디어 콘텐트를 표시하기 위한 전자 장치 및 그 방법
WO2024144435A1 (ru) * 2022-12-30 2024-07-04 Автономная некоммерческая организация высшего образования "Университет Иннополис" Система и способ оценки усталости врача
GB2626319A (en) * 2023-01-17 2024-07-24 Sony Interactive Entertainment Inc An apparatus for adapting virtual environments, and a method thereof
WO2024195551A1 (en) * 2023-03-17 2024-09-26 Ricoh Company, Ltd. Method of controlling wakefulness, system for controlling wakefulness, information processing device, and wearable device
WO2024196933A1 (en) * 2023-03-20 2024-09-26 Dolby Laboratories Licensing Corporation Real-time estimation of user engagement level and other factors using sensors
CN117137426B (zh) * 2023-10-26 2024-02-13 中国科学院自动化研究所 基于微扫视特征监测的视野损伤评估训练方法及系统
CN117992909B (zh) * 2024-01-29 2024-07-05 安徽大学 视听场景下的听觉注意解码方法、装置和助听系统

Family Cites Families (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5422690A (en) 1994-03-16 1995-06-06 Pulse Medical Instruments, Inc. Fitness impairment tester
DE19505399B4 (de) 1995-02-17 2005-11-10 Oculus Optikgeräte GmbH Verfahren zum Ausmessen des Gesichtsfeldes
GB9722949D0 (en) 1997-10-30 1998-01-07 Bid Instr Ltd Ocular testing and related projection apparatus and method
US6089714A (en) 1998-02-18 2000-07-18 Mcgill University Automatic segmentation of nystagmus or other complex curves
US6118456A (en) 1998-04-02 2000-09-12 Adaptive Media Technologies Method and apparatus capable of prioritizing and streaming objects within a 3-D virtual environment
US7211050B1 (en) 1999-06-15 2007-05-01 Dimitri Caplygin System for enhancement of neurophysiological processes
US8686922B2 (en) 1999-12-15 2014-04-01 American Vehicular Sciences Llc Eye-location dependent vehicular heads-up display system
GB0309025D0 (en) 2003-04-22 2003-05-28 Mcgrath John A M Method and apparatus for the early and rapid diagnosis of glaucoma and other human and higher primate visual disorders
US7575321B2 (en) 2003-10-30 2009-08-18 Welch Allyn, Inc. Apparatus and method of diagnosis of optically identifiable ophthalmic conditions
JP4626980B2 (ja) 2005-01-21 2011-02-09 独立行政法人情報通信研究機構 視覚訓練装置及び視覚訓練方法
US20070166675A1 (en) 2005-12-15 2007-07-19 Posit Science Corporation Cognitive training using visual stimuli
US8668334B2 (en) * 2006-02-27 2014-03-11 Vital Art And Science Incorporated Vision measurement and training system and method of operation thereof
WO2008043027A2 (en) 2006-10-04 2008-04-10 Isport, Llc System and method of enhancing a retino-geniculo-cortical pathway for a particular physical activity
US8109875B2 (en) * 2007-01-03 2012-02-07 Gizewski Theodore M Derma diagnostic and automated data analysis system
US8251508B2 (en) 2008-01-14 2012-08-28 Syed Khizer Rahim Khaderi Method and system of enhancing ganglion cell function to improve physical performance
EP2265180A1 (en) 2008-03-18 2010-12-29 Atlas Invest Holdings Ltd. Method and system for determining familiarity with stimuli
US8820931B2 (en) 2008-07-18 2014-09-02 Doheny Eye Institute Optical coherence tomography-based ophthalmic testing methods, devices and systems
US8798374B2 (en) 2008-08-26 2014-08-05 The Regents Of The University Of California Automated facial action coding system
WO2010045356A1 (en) * 2008-10-14 2010-04-22 Ohio University Cognitive and linguistic assessment using eye tracking
US9472014B2 (en) 2008-12-19 2016-10-18 International Business Machines Corporation Alternative representations of virtual content in a virtual universe
US9298985B2 (en) 2011-05-16 2016-03-29 Wesley W. O. Krueger Physiological biosensor system and method for controlling a vehicle or powered equipment
CN103281959A (zh) * 2011-05-20 2013-09-04 松下电器产业株式会社 视觉疲劳度测定装置、视觉疲劳度测定方法、视觉疲劳度测定系统及三维眼镜
AU2011204946C1 (en) 2011-07-22 2012-07-26 Microsoft Technology Licensing, Llc Automatic text scrolling on a head-mounted display
EP2908715A4 (en) * 2012-07-31 2016-08-17 Tracey Technologies Corp TPS TOOLS AND METHOD FOR THE SURGICAL USE OF INTRAOCULAR IMPLANTS
US20140212404A1 (en) 2012-11-14 2014-07-31 Khizer Khaderi Compositions and Methods for Treating Injuries to the Visual System of a Human
US20140195900A1 (en) * 2012-12-20 2014-07-10 Gregory B. GABEL Computer readable medium for enhanced display of digital text
US20150213634A1 (en) 2013-01-28 2015-07-30 Amit V. KARMARKAR Method and system of modifying text content presentation settings as determined by user states based on user eye metric data
CA2905637C (en) * 2013-03-13 2022-04-05 Fdna Inc. Systems, methods, and computer-readable media for identifying when a subject is likely to be affected by a medical condition
US9152870B2 (en) * 2013-03-15 2015-10-06 Sri International Computer vision as a service
US20150009117A1 (en) 2013-07-03 2015-01-08 Richard R. Peters Dynamic eye trackcing data representation
WO2015003097A1 (en) 2013-07-03 2015-01-08 The Regents Of The University Of California A non-invasive method for assessing and monitoring brain injuries
TWI515717B (zh) * 2013-07-04 2016-01-01 廣達電腦股份有限公司 顯示器亮度的自動控制裝置及其方法
WO2015130750A1 (en) * 2014-02-26 2015-09-03 Besner Gregory J Automated recommendation engine for human resource management
US10445573B2 (en) 2014-06-27 2019-10-15 Fove, Inc. Gaze detection device
JP6454851B2 (ja) 2014-08-07 2019-01-23 フォーブ インコーポレーテッド 3次元上の注視点の位置特定アルゴリズム
WO2016073986A1 (en) 2014-11-07 2016-05-12 Eye Labs, LLC Visual stabilization system for head-mounted displays
US9621741B2 (en) * 2014-12-10 2017-04-11 Intel Corporation Techniques for context and performance adaptive processing in ultra low-power computer vision systems
US20160370591A1 (en) 2014-12-27 2016-12-22 Fove, Inc. Head mounted display
NZ773812A (en) 2015-03-16 2022-07-29 Magic Leap Inc Methods and systems for diagnosing and treating health ailments
US9581827B1 (en) 2015-09-03 2017-02-28 3M Innovative Properties Company Optical system
US9942532B2 (en) * 2015-11-03 2018-04-10 International Business Machines Corporation Eye-fatigue reduction system for head-mounted displays
WO2017177188A1 (en) 2016-04-08 2017-10-12 Vizzario, Inc. Methods and systems for obtaining, aggregating, and analyzing vision data to assess a person's vision performance
WO2019178557A1 (en) 2018-03-15 2019-09-19 Vizzario, Inc. Modular display and sensor system for attaching to eyeglass frames and capturing physiological data

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7103744B1 (ja) 2022-04-01 2022-07-20 株式会社仙台放送 視野評価用情報処理システム、視野評価用情報処理方法、視野評価用情報コンピュータプログラムおよび情報処理装置
WO2023190287A1 (ja) * 2022-04-01 2023-10-05 株式会社仙台放送 視野評価用情報処理システム、視野評価用情報処理方法、視野評価用コンピュータプログラムおよび情報処理装置
JP2023151932A (ja) * 2022-04-01 2023-10-16 株式会社仙台放送 視野評価用情報処理システム、視野評価用情報処理方法、視野評価用情報コンピュータプログラムおよび情報処理装置
KR102687021B1 (ko) * 2023-07-13 2024-07-22 주식회사 마키나락스 장비의 이상 원인을 예측하고, 예측 결과를 플랫폼을 통해 제공하기 위한 방법

Also Published As

Publication number Publication date
EP3439533A1 (en) 2019-02-13
US20170290504A1 (en) 2017-10-12
CN109690384A (zh) 2019-04-26
CN109640785A (zh) 2019-04-16
EP3440494A4 (en) 2019-12-18
US11561614B2 (en) 2023-01-24
AU2017248363A1 (en) 2018-11-22
US20190391638A1 (en) 2019-12-26
US20230195222A1 (en) 2023-06-22
KR20190026651A (ko) 2019-03-13
JP2019519053A (ja) 2019-07-04
AU2017248362A1 (en) 2018-11-22
CA3020390A1 (en) 2017-10-12
CA3020394A1 (en) 2017-10-12
US20170293356A1 (en) 2017-10-12
WO2017177188A1 (en) 2017-10-12
US10209773B2 (en) 2019-02-19
WO2017177187A1 (en) 2017-10-12
KR20190027354A (ko) 2019-03-14
US12105872B2 (en) 2024-10-01
EP3440494A1 (en) 2019-02-13
EP3439533A4 (en) 2020-01-01

Similar Documents

Publication Publication Date Title
US12105872B2 (en) Methods and systems for obtaining, aggregating, and analyzing vision data to assess a person's vision performance
Giannakos et al. Multimodal data as a means to understand the learning experience
Giannakakis et al. Review on psychological stress detection using biosignals
JP2021502881A (ja) 視野解析のためのシステムおよび方法
Bekele et al. Design of a virtual reality system for affect analysis in facial expressions (VR-SAAFE); application to schizophrenia
KR20190005219A (ko) 사용자 건강 분석을 위한 증강 현실 시스템들 및 방법들
CN109313486A (zh) 脑波虚拟现实设备和方法
KR20150076167A (ko) 감각 및 인지 프로파일링을 위한 시스템 및 방법
JP2009508553A (ja) 眼球性質を解析することで、人間の感情を決定するシステムおよび方法
Luong et al. A survey on affective and cognitive vr
Chanel Emotion assessment for affective computing based on brain and peripheral signals
Koelstra Affective and Implicit Tagging using Facial Expressions and Electroencephalography.
Ruotsalo et al. Affective Relevance
Giordano et al. An eye tracker based computer system to support oculomotor and attention deficit investigations
Wijayarathna et al. Toward Stress Detection During Gameplay: A Survey
da Silveira et al. Physiological Data for User Experience and Quality of Experience: A Systematic Review (2018–2022)
Davis-Stewart Stress Detection: Stress Detection Framework for Mission-Critical Application: Addressing Cybersecurity Analysts Using Facial Expression Recognition
Andreeßen Towards real-world applicability of neuroadaptive technologies: investigating subject-independence, task-independence and versatility of passive brain-computer interfaces
WO2023037714A1 (en) Information processing system, information processing method and computer program product
Tébar Saiz Análisis de respuestas fisiológicas a estímulos emocionales
Hamzah et al. EEG‐Based Emotion Recognition Datasets for Virtual Environments: A Survey
Polo Multimodal assessment of emotional responses by physiological monitoring: novel auditory and visual elicitation strategies in traditional and virtual reality environments
Barbel NeuroGaze in Virtual Reality: Assessing an EEG and Eye Tracking Interface against Traditional Virtual Reality Input Devices
Chen The Evaluation and Application of Bio-Emotion Estimation Methods
HUYNH Multimodal mobile sensing systems for physiological and psychological assessment