CN109644297B - 标识可能诱发发病的虚拟现实内容的方法和设备 - Google Patents

标识可能诱发发病的虚拟现实内容的方法和设备 Download PDF

Info

Publication number
CN109644297B
CN109644297B CN201780053285.7A CN201780053285A CN109644297B CN 109644297 B CN109644297 B CN 109644297B CN 201780053285 A CN201780053285 A CN 201780053285A CN 109644297 B CN109644297 B CN 109644297B
Authority
CN
China
Prior art keywords
virtual reality
content
user
reality content
video stream
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780053285.7A
Other languages
English (en)
Other versions
CN109644297A (zh
Inventor
N·拉马普拉卡什
S·K·A·拉奥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intel Corp
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Publication of CN109644297A publication Critical patent/CN109644297A/zh
Application granted granted Critical
Publication of CN109644297B publication Critical patent/CN109644297B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A61B5/377—Electroencephalography [EEG] using evoked responses
    • A61B5/378—Visual stimuli
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/40—Detecting, measuring or recording for evaluating the nervous system
    • A61B5/4076—Diagnosing or monitoring particular conditions of the nervous system
    • A61B5/4094—Diagnosing or monitoring seizure diseases, e.g. epilepsy
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6802—Sensor mounted on worn items
    • A61B5/6803—Head-worn items, e.g. helmets, masks, headphones or goggles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6887—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
    • A61B5/6898—Portable consumer electronic devices, e.g. music players, telephones, tablet computers
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/746—Alarms related to a physiological condition, e.g. details of setting alarm thresholds or avoiding false alarms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2560/00—Constructional details of operational features of apparatus; Accessories for medical measuring apparatus
    • A61B2560/02—Operational features
    • A61B2560/0223—Operational features of calibration, e.g. protocols for calibrating sensors
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • A61M2021/0005—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus
    • A61M2021/0027—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus by the hearing sense
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • A61M2021/0005—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus
    • A61M2021/0044—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus by the sight sense
    • A61M2021/005—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus by the sight sense images, e.g. video
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2205/00—General characteristics of the apparatus
    • A61M2205/18—General characteristics of the apparatus with alarm
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2205/00—General characteristics of the apparatus
    • A61M2205/33—Controlling, regulating or measuring
    • A61M2205/3317—Electromagnetic, inductive or dielectric measuring means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2205/00—General characteristics of the apparatus
    • A61M2205/33—Controlling, regulating or measuring
    • A61M2205/3375—Acoustical, e.g. ultrasonic, measuring means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2205/00—General characteristics of the apparatus
    • A61M2205/35—Communication
    • A61M2205/3546—Range
    • A61M2205/3561—Range local, e.g. within room or hospital
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2205/00—General characteristics of the apparatus
    • A61M2205/35—Communication
    • A61M2205/3576—Communication with non implanted data transmission devices, e.g. using external transmitter or receiver
    • A61M2205/3584—Communication with non implanted data transmission devices, e.g. using external transmitter or receiver using modem, internet or bluetooth
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2205/00—General characteristics of the apparatus
    • A61M2205/35—Communication
    • A61M2205/3576—Communication with non implanted data transmission devices, e.g. using external transmitter or receiver
    • A61M2205/3592—Communication with non implanted data transmission devices, e.g. using external transmitter or receiver using telemetric means, e.g. radio or optical transmission
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2205/00—General characteristics of the apparatus
    • A61M2205/50—General characteristics of the apparatus with microprocessors or computers
    • A61M2205/502—User interfaces, e.g. screens or keyboards
    • A61M2205/505—Touch-screens; Virtual keyboard or keypads; Virtual buttons; Soft keys; Mouse touches
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2205/00—General characteristics of the apparatus
    • A61M2205/50—General characteristics of the apparatus with microprocessors or computers
    • A61M2205/502—User interfaces, e.g. screens or keyboards
    • A61M2205/507—Head Mounted Displays [HMD]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2205/00—General characteristics of the apparatus
    • A61M2205/50—General characteristics of the apparatus with microprocessors or computers
    • A61M2205/52—General characteristics of the apparatus with microprocessors or computers with memories providing a history of measured variating parameters of apparatus or patient
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2205/00—General characteristics of the apparatus
    • A61M2205/70—General characteristics of the apparatus with testing or calibration facilities
    • A61M2205/702—General characteristics of the apparatus with testing or calibration facilities automatically during use
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2205/00—General characteristics of the apparatus
    • A61M2205/80—General characteristics of the apparatus voice-operated command
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2230/00—Measuring parameters of the user
    • A61M2230/04—Heartbeat characteristics, e.g. ECG, blood pressure modulation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2230/00—Measuring parameters of the user
    • A61M2230/08—Other bio-electrical signals
    • A61M2230/10—Electroencephalographic signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2230/00—Measuring parameters of the user
    • A61M2230/08—Other bio-electrical signals
    • A61M2230/14—Electro-oculogram [EOG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2230/00—Measuring parameters of the user
    • A61M2230/65—Impedance, e.g. conductivity, capacity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/15—Biometric patterns based on physiological signals, e.g. heartbeat, blood flow

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Physics & Mathematics (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Pathology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Surgery (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Neurology (AREA)
  • Neurosurgery (AREA)
  • Physiology (AREA)
  • Human Computer Interaction (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Psychiatry (AREA)
  • Computer Hardware Design (AREA)
  • Multimedia (AREA)
  • Psychology (AREA)
  • Dermatology (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Hematology (AREA)
  • Acoustics & Sound (AREA)
  • Anesthesiology (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本文公开了用于标识可能诱发发病的虚拟现实内容的方法和设备。示例设备包括：虚拟现实呈现装置，用于显示虚拟现实内容以暴露给用户；以及神经数据收集器，用于访问在暴露于所述虚拟现实内容期间从所述用户处收集的第一神经反应数据。所述示例设备包括：预测器，用于基于对所述虚拟现实内容的一部分以及所述第一神经反应数据进行表征的第一向量来生成对所述部分将触发发病的可能性的预测。所述示例设备包括：内容修改器，用于响应于所述预测而将所述虚拟现实内容的所述部分修改为经修改的虚拟现实内容。所述内容修改器用于将所述经修改的虚拟现实内容传输至所述虚拟现实呈现装置。

Description

标识可能诱发发病的虚拟现实内容的方法和设备
技术领域
本公开总体上涉及虚拟现实，并且更具体地，涉及用于标识可能诱发发病的虚拟现实内容的方法和设备。
背景技术
光敏性癫痫是一种通过视觉刺激在个体体内触发发病的癫痫症，所述视觉刺激在时间和空间中形成图案，如闪光或对比色图案。如虚拟现实环境等刺激可以包括能够在与虚拟现实环境交互的患有光敏性癫痫的个体中诱发发病的特征。
附图说明
图1展示了包括虚拟现实头戴式装置和处理单元的示例系统，所述示例系统用于标识根据本文中公开的教导构造的可能诱发发病的虚拟现实内容。
图2是图1的发病监测器和虚拟现实管理器的示例实施方式的框图。
图3是图2的规则引擎的示例实施方式的框图。
图4展示了示例虚拟现实内容和示例经修改的虚拟现实内容。
图5是表示可以被执行以实施图1至图3的示例系统的示例机器可读指令的流程图。
图6展示了可以执行图5的示例指令以实施图1至图3的示例系统的示例处理器平台。
所述附图并非成比例。相反，为了阐明多个层和区域，可以在附图中扩大层的厚度。在任何可能的情况下，贯穿(多个)附图和所附书面描述中将使用相同的参考数字来表示相同或相似的部分。
具体实施方式
光敏性癫痫是一种通过由视觉刺激形成的图案在个体体内触发发病的癫痫症。可以触发发病的视觉刺激的示例包括闪光、车头灯光/或对比色图案(例如，针对黑色背景形成的白色线条)、闪烁白光然后是黑暗和/或如红色和蓝色等彩色图案。在一些示例中，与视觉刺激一起呈现的音频刺激(例如，背景音乐)有助于触发发病。
虚拟现实(VR)环境是环境(例如，真实或图像环境)的数字表示，它模拟用户在环境中的存在，从而使得用户可以与虚拟现实环境交互。VR环境可以以任意数量的方式显示，例如，经由计算机监视器、虚拟现实耳机或另一种头戴式装置。当用户佩戴虚拟现实头戴式装置(“VR HMD”)时，用户可以沉浸在VR环境中，从而使得在用户的感知中VR环境实质上封闭和/或代替物理环境。
VR环境可以包括可以在一些用户体内触发光敏性癫痫发病(“PSE发病”)的视觉刺激(例如，闪光)。当用户沉浸在VR环境中时发生的PSE发病除了PSE发病本身之外，还可能对用户造成危险。例如，如果用户佩戴有VR HMD，则用户可能无法可视化或准确感知其物理环境。在PSE发病期间，用户可能对其物理环境失去方向感、跌倒和/或撞击物理环境中的一个或多个物体，这可能对用户造成伤害。虽然VR环境和/或VR HMD的制造商可以向用户提供VR环境可能在某些个体体内触发PSE发病的警告(例如，经由在呈现VR环境之前显示的屏幕)，但此类警告并不确定用户是否有PSE发病，并且未解决VR环境中的PSE发病触发。相反，用户只能在没有技术帮助的情况下对自己的暴露进行监控。
当用户经由例如VR HMD暴露于VR环境时，本文中公开的示例系统和方法分析VR环境的视觉内容和/或音频内容以及从用户处收集的神经反应数据。基于对视频和/或音频内容以及神经反应数据的分析，本文中公开的示例标识VR环境中的潜在PSE发病触发并预测当用户暴露于VR环境时用户是否可能经历PSE发病或其他负面神经和/或生理事件。一些这样的示例自动修改VR环境的一个或多个视觉和/或音频参数，以便在用户与VR环境交互时降低(例如，防止)出现PSE发病的可能性。
当用户与VR环境交互时所公开的示例监测用户的神经活动。在一些示例中，脑电图(EEG)传感器集成在VR HMD中。EEG传感器记录用户大脑的电活动。分析所产生的EEG信号数据以标识对VR环境的神经敏感性和/或用户大脑活动中的异常，所述异常可以指示即将发生的PSE发病或正在进行的PSE发病。
所公开的示例还监测VR环境的与PSE发病触发参数有关的视觉和/或音频内容。在一些示例中，在VR环境内容中标识如亮度或色调等视觉参数和/或如音频流频谱中的分贝水平和/或(多个)图案等音频参数。相对于已知和/或了解的发病触发分析视觉和/或音频参数。视觉内容中的亮度、闪光、和/或某些颜色图案的变化是视觉发病触发的示例。
基于从用户测量的神经信号数据以及对VR环境内容的监测，本文中公开的示例预测VR环境的内容是否可能在将内容呈现给用户之前在用户体内触发PSE发病。一些这样的示例还确定对VR环境内容的一个或多个修改以防止或降低出现PSE发病的可能性。一些这样的示例在向用户渲染内容(例如，经由屏幕显示或经由扬声器输出)之前修改内容。在一些示例中，向用户提供警报，建议用户停止对VR环境内容的呈现和/或移除VR HMD以降低PSE发病的风险。一些公开的示例预测性地修改VR环境内容和/或警告用户潜在发病触发内容，以便当用户沉浸在VR环境中时降低(例如，防止)出现在用户中PSE发病的可能性。
在一些示例中，当用户正观看监测神经数据的VR环境时，检测(或尝试检测)PSE发病开始。在一些这样的示例中，当检测到这种开始时，自动停止对VR环境内容的呈现。在一些这样的示例中，生成警报并将其传输(例如，经由文本消息)至用户指定的一个或多个个体，所述用户通知所述(多个)个体用户正在经历指示PSE发病的神经数据的变化。因此，所公开的示例可以基于用户对VR环境的神经反应来提供校正和/或辅助动作。
图1展示了根据本公开的教导构造的示例系统100，所述示例系统用于预测与虚拟现实(VR)环境交互的用户中的发病(例如，光敏性癫痫发病)。示例系统100包括由用户104佩戴的虚拟现实头戴式装置(VR HMD)102。VR HMD 102包括虚拟现实观看器(VR观看器)106以及一个或多个扬声器108。VR观看器106像面具一样位于用户的眼睛上方并且显示视频内容。(多个)扬声器108被定位成与用户104的耳朵相邻和/或覆盖用户的耳朵并且提供音频内容，在一些示例中，所述音频内容与视频内容同步。
VR HMD 102还包括耦合至VR HMD 102的多个神经数据收集传感器110。在图1的示例中，VR HMD 102的传感器110是脑电图(EEG)传感器，所述EEG传感器包括用于记录用户104的大脑的电活动的一个或多个电极。然而，VR HMD 102可以包括其他(多个)数量和/或(多种)类型的传感器110以从用户104收集神经和/或生理数据，如眼电图(EOG)传感器、皮肤电反应传感器和/或心电图(EKG)传感器。如图1中所展示的，用户104佩戴VR HMD102，使得VR观看器106覆盖用户104的眼睛并且传感器110围绕用户104的头部布置。
图1的示例系统100包括通信地耦合至VR HMD 102的处理单元112。处理单元112包括虚拟现实(VR)管理器114和发病监测器116。VR管理器114提供虚拟现实内容(VR内容)以经由VR HMD 102呈现给用户104。在示例系统100中，用户104经由VR HMD102的VR观看器106观看VR内容的视觉内容。在一些示例中，VR内容包括经由VR HMD 102的(多个)扬声器108呈现给用户104的音频。所展示的示例的发病监测器116监测VR内容和/或用户对VR内容的反应，以判定发病和/或其他负面神经和/或生理事件是否可能将和/或正由VR内容引发。
在一些示例中，处理单元112耦合至VR HMD 102，从而使得处理单元112被布置在VR HMD 102上。例如，在一些实例中，VR HMD 102可以接收移动装置(例如，智能电话)，从而使得移动装置的显示器充当VR观看器106。在这样的示例中，处理单元112可以由移动装置的处理器实施。在其他示例中，处理单元112与VR HMD 102形成一体(例如，是安装到VR观看器106、(多个)扬声器108、传感器110、或VR HMD 102的另一部分或与其一起安装的专用处理器)。
图1的处理单元112可以由能够呈现VR内容(例如，个人计算机)和/或能够收集和处理神经数据(例如，收集神经数据的与呈现VR内容的装置分离的装置)的一个或多个其他装置实施。在一些示例中，处理单元112未布置在VR HMD 102上。而是，处理单元112与VRHMD 102分离，并且可以位于例如用户104正在观看VR内容的房间中(例如，在如XboxTM、PlaystationTM等游戏控制台中)或由用户104佩戴在用户身上除用户104的头部以外的位置(例如，由用户104佩戴在背心上、在用户104的手腕上等)。在一些这样的示例中，处理单元112经由例如在VR HMD 102与处理单元112之间延伸的电缆通信地耦合至VR HMD 102。在其他示例中，VR HMD 102和处理单元112无线地耦合，从而使得数据在VR HMD 102与处理单元112之间无线地传输(例如，经由Wi-Fi或蓝牙连接)。在一些示例中，处理单元112的位置(例如，布置在VR HMD 102上或与VR HMD 102分离)基于例如操作系统100所需的功率。需要更高瓦数(例如，以支持更高性能)的处理单元112可以被定位成与VR HMD 102分离。
在图1的示例系统100中，发病监测器116用于处理由传感器110获得的数据，以判定如光敏性癫痫等发病是否即将发生。在示例系统100中，当用户104经由VR观看器106和/或(多个)扬声器108暴露于VR内容时，VR HMD 102的传感器110从用户104收集神经数据。发病监测器116接收并处理由传感器110收集的神经数据。发病监测器116可以对神经数据执行一个或多个操作，如过滤原始信号数据、从信号数据中去除噪音、将信号数据从模拟数据转换成数字数据和/或分析数据。
在一些示例中，发病监测器116确定当用户104暴露于由VR管理器114生成的VR内容时，由传感器110从用户104收集的神经数据指示即将发生的发病(例如，PSE发病)或正在进行的发病(例如，PSE发病)的一个或多个特性。在一些这样的示例中，发病监测器116预测持续暴露于VR内容可能诱发用户104的PSE发病或者继续或恶化用户104的PSE发病症状。在这样的示例中，发病监测器116与VR管理器114合作以修改尚未呈现给用户104的VR内容的至少一部分的一个或多个视觉和/或音频参数。VR管理器114经由VR HMD 102的VR观看器106和/或(多个)扬声器108传输修改后的VR内容以呈现给用户104。在其他示例中，响应于发病监测器116检测到大于VR内容可能在用户中诱发发病或其他负面神经和/或生理事件的阈值可能性，VR管理器114停止将VR内容传输至VR HMD 102。
图2是图1的示例VR管理器114和示例发病监测器116的示例实施方式框图。如上所述，示例发病监测器116被构造成尝试预测与VR环境交互的用户中的发病(例如，光敏性癫痫发病)。VR管理器114被构造成通过终止和/或修改VR内容来响应发病监测器116的预测，以便基于预测减少和/或消除视觉和/或音频触发。
图2的示例VR管理器114控制向用户(例如，图1的用户104)呈现VR内容204。VR内容204经由VR观看器106和/或通信地耦合至VR管理器114的(多个)扬声器108呈现给用户。
在图2的示例中，VR内容204存储在由VR管理器114访问的数据库208中。VR内容204包括视频内容，所述视频内容包括个视频帧。视频内容的每个帧包括一个或多个视觉(例如，视频)参数。VR内容204的示例帧可以包括视觉图案，所述视觉图案包括两种或更多种颜色。在一些示例中，VR内容204包括音频内容，所述音频内容包括一个或多个音频参数。当用户观看视频帧时，视频帧可以与要播放的音频流同步和/或以其他方式相关联。视频内容的各个帧可以例如经由VR观看器106顺序地呈现给用户。在一些示例中，VR内容204包括如用户手势等特殊效果，所述特殊效果是在用户与VR内容204实时交互时生成的。音频内容经由(多个)扬声器108呈现给用户。
在将VR内容204呈现给用户期间和/或之前，由发病监测器116的虚拟现实内容监测器(VR内容监测器)210扫描VR内容204的视频帧和相应音频。所展示的示例的VR内容监测器210包括视频分析器212和音频分析器214。VR内容监测器210的视频分析器212扫描VR内容204的针对视觉参数的视频帧。所展示的示例的音频分析器214扫描针对每个相应视频帧的音频参数的音频。在一些示例中，VR内容监测器210在VR HMD 102的操作期间基本上连续地扫描VR内容204的视频帧和相应音频。
在数字媒体中，内容通常被分解为视频流和音频流。视频流和音频流是同步的。视频流是视频帧序列。尽管视频流和音频流通常是分开的，但是为了便于参考，它们在本文中统称为虚拟现实内容流(VR内容流)216。在一些示例中，VR内容流216在其经由VR观看器106和/或(多个)扬声器108呈现给用户时被分析。在其他示例中，VR内容流216在其呈现给用户之前被分析。
VR内容监测器210的视频分析器212扫描VR内容流216的视频部分的相对于帧的视觉参数的视频帧，如帧的色调、饱和度和值(HSV)和/或亮度(例如，明度)。视频分析器212针对VR内容流216的帧的(多个)视觉参数生成一个或多个视频向量218。例如，视频分析器212可以检测VR内容流216的视频帧的像素的红-绿-蓝(RGB)值。视频分析器212使用用于从RGB值确定图像的HSV的过去、现在或将来算法中的任何算法基于RGB值生成表示帧的HSV的第一视频向量218。所展示的示例的视频分析器212基于帧的像素的RGB值生成指示帧的亮度(例如，明度)的第二视频向量218。VR内容流216的视频流是一系列连续帧(例如，MPEG帧)。该示例的视频分析器212分析序列中的每个帧。在其他示例中，视频分析器212分析帧的子集。可以以任何方式选择正在进行分析的(多个)帧(例如，永远第三帧、仅iframe、仅展示某种特性(例如，DC值的变化、宏模块特性、切片特性等)的帧)。
VR内容监测器210的音频分析器214标识VR内容流216(例如，要在相应视频帧期间播放的音频流)的音频的一个或多个音频参数。音频参数可以包括分贝值、音频增益(例如，响度)或音频等级(例如，音频信号强度)。音频分析器214生成与音频参数相对应的一个或多个音频向量220。例如，所展示的示例的音频分析器214将与VR内容流216的音频部分的音频参数相对应的数字值(例如，比特)映射到分贝值。
所展示的示例的VR内容监测器210将(多个)视频向量218和(多个)音频向量220传输至发病监测器116的规则引擎222。规则引擎222分析(多个)视频向量218和/或(多个)音频向量220以判定VR内容流216的(多个)视觉和/或音频参数是否与(多个)已知和/或了解的发病触发相对应。在分析(多个)视频向量218和(多个)音频向量220时，所展示的示例的规则引擎222实施机器学习算法，所述机器学习算法考虑其他变量，如在观看VR内容204时(例如，在观看视频帧和/或VR内容204的之前视频帧和/或与其相关联的其他内容时)从用户接收的神经数据，如用户的年龄和性别、之前分析的VR内容和/或神经数据(例如，校准数据)等用户简档数据，以及已知和/或了解的发病触发，如将在下文公开的。
图2的发病监测器116包括神经和/或生理数据收集器224。该示例的神经/生理数据收集器224与图1的VR HMD 102的传感器110通信。当VR内容流216经由VR观看器106和/或(多个)扬声器108呈现给用户时，神经/生理数据收集器224基本上实时地从用户处收集神经和/或生理数据226。例如，该示例的神经/生理数据收集器224经由电极记录用户的大脑的由传感器110检测的电活动，以产生脑信号数据(例如，EEG数据)。在一些示例中，在VR内容流216的呈现期间，神经/生理数据收集器224基本上连续地收集来自传感器110的数据并将其处理成神经/生理数据226。
神经/生理数据收集器224使用各种技术中的任何技术将由传感器110收集的原始数据转换为神经/生理数据226。例如，所展示的示例的神经/生理数据收集器224过滤神经/生理数据226、放大神经/生理数据226，和/或从神经/生理数据226中去除噪声。在其他示例中，神经/生理数据226由规则引擎222处理。在所展示的示例中，神经/生理数据收集器224将神经/生理数据226传输至发病监测器116的规则引擎222。神经/生理数据收集器224可以经由有线或无线连接将神经/生理数据226传输至规则引擎222。
所展示的示例的规则引擎222分析(多个)视频向量218、(多个)音频向量220和相对于已知和/或了解的发病触发的神经/生理数据226和/或校准数据，以预测VR内容流216是否可能在用户中诱发的发病(例如，PSE发病)。如果规则引擎222预测VR内容流216可能诱发发病，则所展示的示例的规则引擎222确定对VR内容流216的视觉和/或音频参数的一个或多个修改以降低发生发病的可能性。具体地，该示例的规则引擎222生成一条或多条指令228以修改VR内容流216。规则引擎222将(多条)指令228传输至VR管理器114的虚拟现实内容修改器(VR内容修改器)230。VR管理器114与发病监测器116(和/或与VR管理器114和/或发病监测器116通信的任何其他部件，如传感器110)之间的通信可以经由有线或无线通信发生。在其他示例中，发病监测器116包括VR内容修改器230。
基于从规则引擎222接收的(多条)指令228，VR内容修改器230修改VR内容流216的一个或多个视频帧和/或音频以生成经修改的VR内容流232。例如，规则引擎222可以传输指令228，所述指令引导VR内容修改器230在将(多个)帧呈现给用户之前降低VR内容流216的一个或多个视频帧的亮度(例如，明度)。基于指令228，VR内容修改器230可以修改VR内容流216的(多个)帧(例如，RBG值)以降低亮度。因此，经修改的VR内容流232(或经修改的VR内容流232的一部分)在修改之前相对于VR内容流216具有降低的亮度。
作为另一个示例，基于来自规则引擎222的(多条)指令228，VR内容修改器230可以修改VR内容流216的一个或多个帧的色调值和/或饱和度值以减小呈现给用户的颜色图案的强度。因此，经修改的VR内容流232包括(多个)帧，所述帧包括在修改之前相对于VR内容流216具有经调整的色调值和/或经调整的饱和度值的颜色图案。VR内容修改器230将经修改的VR内容流232传输至VR观看器106和/或(多个)扬声器108以呈现给用户。在尚未向用户呈现VR内容流216的示例中，经修改的VR内容流232代替VR内容流216。另外，(多个)修改应用于VR内容流216的(多个)未来部分。
示例VR管理器114关于经修改的VR内容流232向规则引擎222提供反馈。按照图2中所展示的示例，除了将经修改的VR内容流232传输至VR观看器106和/或(多个)扬声器108之外，VR内容修改器230还将经修改的VR内容流232发送至发病监测器116的VR内容监测器210。VR内容监测器210标识经修改的VR内容流232的视觉和/或音频参数，并将相关联的(多个)视频向量218和/或(多个)音频向量220传输至规则引擎222。而且，当用户观看经修改的VR内容流232时，神经/生理数据收集器224基本上实时地收集和/或开发来自用户的神经/生理数据226，并将神经/生理数据226传输至规则引擎222。规则引擎222分析针对经修改的VR内容流232的(多个)视频和/或音频向量218、220以及从用户处收集的相应神经/生理数据226。规则引擎222判定是否需要对经修改的VR内容流232的(多个)进一步修改以基本上防止发病(例如，PSE发病)或其他负面神经和/或生理事件。如果(多个)进一步修改是适当的，则所展示的示例的规则引擎222生成一条或多条指令228以影响VR内容修改器230对经修改的VR内容流232的进一步修改。
在其他示例中，规则引擎222基于神经/生理数据226、(多个)视频向量218和/或(多个)音频向量220确定VR内容流216不可能诱发发病或其他负面神经和/或生理事件。在这样的示例中，规则引擎222确定不需要修改VR内容流216。规则引擎222向VR内容修改器230发送指令228以将VR内容流216传输至VR观看器106和/或(多个)扬声器108。在这样的示例中，图2中示出的经修改的VR内容流232在被传输或输出至VR观看器106和/或(多个)扬声器108以呈现给用户时实际上并没有改变，而是与未修改的VR内容流216相同或基本相同。
在其他示例中，规则引擎222基于在用户暴露于VR内容流216、经修改的VR内容流232、和/或在呈现VR内容流216或经修改的VR内容流232之前呈现的其他内容期间收集的神经/生理数据226来确定用户正在或可能正在经历发病(例如PSE发病)或其他负面神经和/或生理事件。例如，如果规则引擎222检测到在用户暴露于经修改的VR内容流232期间收集的神经/生理数据226包括指示发病(例如，PSE发病)或即将发生的发病(例如，PSE发病)的图案，则规则引擎222向VR内容修改器230发送指令228以停止将VR内容传输至VR观看器106和/或(多)个扬声器108。因此，当用户暴露于VR内容204时，示例处理单元112动态地响应用户的神经体验。
在一些示例中，当用户暴露于VR内容流216或经修改的VR内容流232时，规则引擎222基于对神经/生理数据226、(多个)视频向量218和/或(多个)音频向量220的分析生成一个或多个警报234。(多个)警报234被传输至一个或多个警报接收器236。(多个)警报234可以包括对用户的视觉警告和/或音频警告，所述警告推荐用户停止对VR内容204的呈现(例如，通过关闭VR HMD 102)。在这样的示例中，(多个)警报234被传输至VR观看器106和/或(多个)扬声器108以呈现给用户。因此，在一些示例中，VR HMD 102是警报接收器236。
在一些示例中，规则引擎222可以另外地或替代性地以消息(例如，文本消息)的形式将一个或多个警报234传输至由VR HMD 102的用户指定的第三方。在这样的示例中，警报接收器236可以由例如第三方拥有或租赁的移动装置实施。例如，如果神经/生理数据226指示VR HMD 102的用户可能正在经历发病(例如，PSE发病)或其他负面神经和/或生理事件，则规则引擎222可以将(多个)警报234传输至第三方的移动装置。因此，所展示的示例的示例处理单元112向第三方通知用户可能需要医疗关注。
如上文所讨论的，示例处理单元112监测VR内容204和/或用户对VR内容204的神经反应。基于所述监测，示例处理单元112预测VR内容204是否可能在用户中诱发发病(例如，PSE发病)。示例处理单元112针对发病触发动态地调整或修改帧。进一步地，图2的示例处理单元112生成关于用户对经修改的VR内容流232的神经反应的反馈，并且因此提供持续监测和纠正动作，以解决发病(例如，PSE发病)的潜在性。
图3是图2的示例规则引擎222的示例实施方式的框图。图3的示例的规则引擎222包括数据库300。在一些示例中，数据库300由图2的VR管理器114的数据库208实施。如以上所公开的，图2的示例处理单元112的生理/心理数据收集器224将当用户暴露于VR内容204(包括例如，示例VR内容流216)时从用户处收集的神经/生理数据226传输至规则引擎222。数据库300存储从神经/生理数据收集器224接收的神经/生理数据226。
规则引擎222的数据库300还存储校准神经/生理数据302。校准神经/生理数据302包括先前从暴露于VR内容204或不同的VR内容的一个或多个用户处收集的神经数据。校准神经/生理数据302包括在由暴露于VR内容204和/或不同VR内容的一个或多个用户经历的发病(例如，PSE发病)期间收集的神经数据。
在一些示例中，校准神经/生理数据302是从经由图2的VR观看器106和/或(多个)扬声器108将VR内容204呈现给的同一用户处收集的。例如，图1的VR HMD 102的用户104可以是不同于图2的VR内容204的所示出VR内容，以在用户104暴露于VR内容204之前从用户104收集基线神经数据。当用户暴露于VR内容204时，基线神经数据可以由规则引擎222用来标识神经/生理数据226的变化。在一些示例中，校准神经/生理数据302包括已知诱发发病(例如，PSE发病)和/或其他负面神经/生理反应的神经和/或生理数据。
所展示的示例的规则引擎222包括神经/生理数据分析器304。当用户暴露于VR内容204时，神经/生理数据分析器304分析从图2的神经/生理数据收集器224接收的神经/生理数据226，以标识神经/生理数据226中指示发病(例如，PSE发病)的开始、正在进行的发病(例如，PSE发病)、和/或其他负面神经和/或生理事件的图案。例如，神经/生理数据分析器304分析在呈现VR内容流216期间从用户处收集的神经/生理数据226。
神经/生理数据分析器304随着时间的变化检测神经/生理数据226，如信号数据的振幅和/或频率变化。例如，已知EEG数据中的尖峰、多尖峰和/或尖峰-和-波形复合体与经历PSE发病的用户相关联。神经/生理数据分析器304识别神经/生理数据226(例如，EEG数据)中的这些特性或特征。可以基于预定的时间间隔如持续时间为1至2秒的时间间隔分析神经/生理数据226。例如，神经/生理数据分析器304可以基于在1至2秒时间间隔内发生的如信号数据中尖峰存在的突然增加等神经/生理数据226的变化检测用户104暴露于VR内容流216时发病(例如，PSE发病)的开始。如果维持信号数据中增加的尖峰存在或如果尖峰的频率和/或振幅在预定量的时间(如从检测到信号数据变化开始的3秒)内增加，则神经/生理数据分析器304确定用户104可能正在经历发病(例如，PSE发病)。
在一些示例中，神经/生理数据分析器304将用户暴露于示例VR内容流216时收集的神经/生理数据226与校准神经/生理数据302进行比较。例如，神经/生理数据分析器304将在神经/生理数据226中检测到的(多个)图案与在发病(例如，VRHMD 102的用户104或其他用户经历的PSE发病)期间收集的大脑信号数据中的图案进行比较以标识数据之间的相似性。在一些示例中，神经/生理数据分析器304将神经/生理数据226与从用户(例如，用户104)收集的校准神经/生理数据302进行比较，以标识神经/生理数据226中可能指示发病(例如，PSE发病)的异常。
规则引擎222的数据库300还存储用户简档数据306。用户简档数据306包括关于观看VR内容204的用户(例如，图1的VR HMD 102的用户104)的数据，如年龄和性别。在一些示例中，用户简档数据306包括关于用户病史的数据，如用户是否有PSE发病史。用户简档数据306可以从经由图2的处理单元112接收的一个或多个用户输入中获得。
规则引擎222的数据库300还存储由图2的示例发病监测器116的VR内容监测器210生成针对VR内容204(例如，VR内容流216和/或经修改的VR内容流232)的(多个)视频向量218和(多个)音频向量220。数据库300还存储与在一个或多个用户中诱发发病(例如，PSE发病)的VR内容(例如，图2的VR内容204或不同的VR内容)的一部分相对应的校准视频向量308和/或校准音频向量310。校准视频向量308和/或校准音频向量310与当一个或多个用户(例如，VR HMD 102的用户104或其他用户)经历校准神经/生理数据302指示的发病时所呈现的VR内容相对应。
示例数据库300存储发病触发数据311。发病触发数据311包括已知在一些用户中诱发发病(例如，PSE发病)的亮度值、饱和值、图案、颜色、音频分贝水平、音频频谱中的图案等。例如，校准视频和/或音频向量308、310包含与先前诱发发病(例如，PSE发病)的VR内容的视觉和/或音频参数有关的数据。因此，校准视频和/或音频向量308、310包含关于VR内容的可存储为发病触发数据311的视觉和/或音频参数的已知和/或了解的发病触发。例如，校准视频向量308包括一个或多个视频帧的诱导发病(例如，PSE发病)的亮度值。校准音频向量310包括音频的可能有助于诱发发病(例如，PSE发病)的分贝值。在其他示例中，发病触发数据311包括来自除了校准视频和/或音频向量308、310以外的输入(例如，基于调查和/或第三方研究向规则引擎222提供的用户输入)的已知和/或了解的发病触发。
规则引擎222包括视频向量分析器312和音频向量分析器314。视频向量分析器312分析由图2的VR内容监测器210针对VR内容204生成的(多个)视频向量218。例如，视频向量分析器312尝试检测在VR内容流216的给定帧(例如，MPEG帧)的第一视频向量218与VR内容流216的在给定帧之前呈现的早期帧的第二视频向量218之间的亮度值的变化。视频向量分析器312检测到的变化可以指示例如VR内容流216中的帧之间的亮度增加。视频向量分析器312还将由相应第一视频向量218指示的给定帧的亮度值与存储在发病触发数据311中的亮度值进行比较。
音频向量分析器314分析由VR内容监测器210针对VR内容流216的视频帧中的相应视频帧生成的(多个)音频向量220。音频向量分析器314尝试基于(多个)音频向量220确定与视频帧(例如，音频帧)相对应的音频流的一部分的频谱中的分贝水平和/或(多个)图案。例如，音频向量分析器314可以检测针对VR内容流216的第一部分的第一音频向量220与针对VR内容流216的第二(例如，稍后的)部分的第二音频向量220之间的音频流的分贝变化。视频向量分析器314检测到的变化可以指示例如音频流强度的增加。音频向量分析器314还将第一音频向量220指示的分贝值与存储在发病触发数据311中的值进行比较。
图3的示例的规则引擎222包括预测器316。预测器316使用图1的示例VR HMD 102预测被分析的VR内容204的部分是否可能在用户中诱发发病(例如，PSE发病)和/或其他负面的神经/生理事件。该示例的预测器316基于神经/生理数据分析器304对神经/生理数据226的分析、视频向量分析器312对(多个)视频向量218的分析、音频向量分析器314对(多个)音频向量220的分析和/或用户简档数据306进行预测。
所展示的示例的预测器316使用机器学习算法预测VR内容流216是否可能在用户中诱发发病(例如，PSE发病)和/或其他负面神经/生理事件。学习算法可以是例如监督学习算法(例如，神经网络、决策树学习等)。学习算法可存储在规则引擎222的数据库300中。预测器316从校准神经/生理数据302和/或校准视频和/或音频向量308、310中学习关于VR内容，所述VR内容诱发一个或多个用户(在一些示例中，包括图1的VR HMD 102的用户104)的发病(例如，PSE发病)。基于所学数据，预测器316判定VR内容流216的一个或多个视频和/或音频部分是否可能在用户中诱发发病(例如，PSE发病)。
例如，预测器316分析指示发病(例如，PSE发病)的校准神经/生理数据302。预测器316标识校准视频和/或音频向量308、310，所述视频和/或音频向量与(多个)用户经历发病时所述(多个)用户所暴露于的VR内容相对应。例如，预测器316标识在PSE发病期间视觉显示的VR内容(例如，(多个)视频帧)的饱和度和色调值。预测器316还标识当(多个)用户经历发病时播放的音频流的频谱中的分贝水平和/或图案。因此，预测器316了解用户如何响应具有特定视觉和/或音频参数的VR内容。
预测器316鉴于所学数据分析暴露于VR内容204时从用户处收集的神经/生理数据226、针对用户的用户简档数据306、视频和/或音频向量218、220和/或发病触发数据311。基于对相对于所学数据从VR内容204收集的数据的分析，预测器316预测VR内容流216是否可能诱发用户(例如，图1的用户104)PSE发病。
出于对由预测器316执行的预测分析的说明性目的提供了以下示例。基于对(多个)视频向量218的分析，视频向量分析器312确定被分析的VR内容流216的当前视频帧序列包括闪光。视频向量分析器312可以检测到VR内容204的之前视频帧不包括闪光，并且因此相对于其他帧，当前帧序列包括视觉内容的变化。而且，神经/生理数据分析器304标识从用户处收集的神经/生理数据226中的尖峰的振幅和/或频率的变化，当用户暴露于当前帧序列时，所述变化发生在1秒时间间隔内。在该示例中，用户简档数据306指示用户已经超过60岁并且先前经历过PSE发病。预测器316参考所学数据(例如，校准神经/生理数据302、校准视频和/或音频向量308、310和/或发病触发数据311)，所述数据可以指示例如闪烁灯的引入可能在一些用户中诱发发病(例如，PSE发病)。鉴于所学数据并且基于对当前帧序列包括闪光和神经/生理数据226显示指示60岁以上有PSE发病史的用户的发病开始的图案的确定，预测器316预测被分析的VR内容流216的当前帧序列可能在用户中诱发发病(例如，PSE发病)。在前述示例中，基于对用户神经/生理数据226和用户简档数据306的分析，预测器316提供VR内容流216是否可能在用户中诱发发病的用户特定预测。
如果预测器316预测VR内容流216的当前视频帧序列可能诱发发病和/或其他负面神经/生理事件，则预测器316将VR内容流216和/或包括视频帧序列的VR内容流216的部分标记为包括发病触发内容。对VR内容流216包括发病触发内容(例如，可能在用户中诱发发病和/或其他负面神经/生理反应的视频和/或音频参数)的标识被存储在数据库300中。在一些示例中，VR内容流216和/或VR内容流216的(多个)部分的视觉和/或音频参数与对VR内容流216包括发病触发内容的标识一起存储在数据库300中(例如，作为发病触发数据311)。因此，规则引擎222将VR内容流216分类(例如，视频和/或音频部分)。所述分类可以用于标识具有类似视觉和/或音频参数和/或引发用户的类似神经/生理反应的其他VR内容中的发病触发。所述分类还可以用于预先警告VD HMD用户和/或预先修改跨用户的VR内容。对可能在用户中诱发发病和/或其他负面神经/生理反应的VR内容流216以及VR内容流216的相应视觉和/或音频参数的预测也用于更新或改进预测器316使用的学习算法，如下文将公开的。
该示例的规则引擎222包括内容修改管理器318。如果预测器316将VR内容流216标识为包括发病触发内容，则预测器316向内容修改管理器318发送消息。内容修改管理器318分析VR内容流216的(多个)视频向量218和/或(多个)音频向量220，以确定对VR内容流216的视觉和/或音频参数的一个或多个修改。内容修改管理器318确定因素(例如，数量、百分比)，通过所述因素调整视觉和/或音频参数，以降低用户发生发病(例如，PSE发病)和/或其他负面神经/生理事件的可能性。
例如，本示例的内容修改管理器318确定减小VR内容流216的(多个)视频帧的一种或多种颜色的饱和度值(例如，强度)的量。在一些示例中，内容修改管理器318基于发病触发数据311确定降低饱和度的量，从而使得饱和度值低于被标识为已知触发的饱和度值。内容修改管理器318可以确定对(多个)视频帧的其他修改，如减少或消除闪烁颜色图案、修改或更改颜色等。在一些示例中，内容修改管理器318确定对VR内容流216的一个或多个参数的修改(例如，对(多个)视频帧中的单个颜色的修改)。在其他示例中，内容修改管理器318确定将对整个VR内容流216进行的修改(例如，对(多个)视频帧中的所有颜色的修改)。
一些示例的内容修改管理器318还确定因素，通过所述因素调整VR内容流216的一个或多个音频参数。例如，内容修改管理器318可以确定音频流的分贝水平降低的量。在一些示例中，内容修改管理器318确定音频流应该被静音。在一些示例中，内容修改管理器318基于发病触发数据311确定分贝水平降低的量，从而使得分贝水平低于被标识为已知触发的分贝水平。
内容修改管理器318生成关于视觉和/或音频参数的(多个)修改的一条或多条指令228。规则引擎222将(多条)指令228传输至图2的VR管理器114的VR内容修改器230。如以上所公开的，VR内容修改器230基于(多条)指令228修改VR内容流216，以实现显示期望视觉和/或音频参数的帧。然后，将以这种方式生成的经修改的VR内容流232传输至VR观看器106和/或(多个)扬声器108(例如，以代替尚未呈现的VR内容流216)。
在一些示例中，基于用户暴露于VR内容204(例如，VR内容流216或经修改的VR内容流232)时从用户接收的神经/生理数据226，预测器316确定用户正经历发病(例如，PSE发病)。例如，基于由神经/生理数据分析器304标识的神经/生理数据226与之前发病(针对图1的VR HMD 102的用户104或其他用户)期间收集的校准神经/生理数据302中的图案之间的相似性，预测器316可以确定用户正在经历发病(例如，PSE发病)。在这样的示例中，内容修改管理器318生成一条或多条指令228来停止VR内容204的呈现。
在一些示例中，预测器316确定VR内容流216不可能在用户中诱发发病(例如，PSE发病)。例如，如果视频向量分析器312未检测到针对被分析的VR内容流216的当前视频帧序列的(多个)视频向量218相对于针对VR内容204的之前呈现的帧的向量的任何变化，并且神经/生理数据分析器304未检测到在暴露于VR内容204期间从用户处收集的神经/生理数据226的任何变化，则预测器316可以确定VR内容流216不可能在用户中诱发发病(例如，PSE发病)。在一些这样的示例中，预测器316分析用户的相对于校准神经/生理数据302的神经/生理数据226，以便判定神经数据是否显示任何异常图案，尽管当前帧序列与早期帧序列之间的视觉参数没有变化。在预测器316确定VR内容流216不可能在用户中诱发发病的示例中，规则引擎222指示VR内容修改器230将未修改的VR内容流216传输至VR观看器106和/或(多个)扬声器108。
示例规则引擎222还包括警报发生器320。警报发生器320生成一个或多个警报234，以供传输至(多个)警报接收器236，如以上结合图2所公开的。例如，如果预测器316将VR内容流216和/或VR内容流216的(多个)部分标识为包括发病触发内容，则预测器316向警报发生器320发送消息，以生成一个或多个视觉和/或音频警报234，所述一个或多个视觉和/或音频警报警告用户(例如，图1的VR HMD 102的用户104)VR内容204可能诱发PSE发病。在一些示例中，警报发生器320自动参考数据库300中存储的VR内容204(或其他VR内容)的先前分类，以判定是否应该生成(多个)警报234。
在一些示例中，警报发生器320生成(多个)警报234以供传输至用户指定的一个或多个第三方。可以经由例如图2的处理单元112从一个或多个用户输入接收所述一个或多个第三方的联系信息。所述一个或多个第三方的联系信息可以存储在规则引擎222的数据库300中，以供警报发生器320参考。
规则引擎222包括反馈分析器322。如上文关于图2的处理单元112所公开的，VR内容修改器230基于从用户处收集的神经/生理数据226将经修改的VR内容流232发送至VR内容监测器210，以实质上连续地监测用户对VR内容204的反应。当用户暴露于经修改的VR内容流232和与经修改的VR内容流232相关联的视频和/或音频向量218、220时，规则引擎222的反馈分析器322分析从用户处收集的神经/生理数据226。
在分析VR内容流204的一个或多个即将到来的(例如，尚未呈现)流期间使用当用户暴露于经修改的VR内容流232时从用户处收集的神经/生理数据226。例如，基于在暴露于经修改的VR内容流232期间从用户处收集的神经/生理数据226和(多个)即将到来的流的视觉/音频参数，预测器316预测(多个)即将到来的流是否可能诱发发病(例如，PSE发病)和/或其他负面神经/生理事件。因此，对用户对VR内容204的神经/生理反应的基本上实时监测用于预测(多个)即将到来的流对用户的神经/生理影响并且在一些示例中在预测器316预测到(多个)即将到来的VR内容流可能在用户中诱发发病(例如，PSE发病)和/或其他负面神经/生理事件时修改(多个)即将到来的VR内容流。例如，预测器316和/或反馈分析器322可以基于对在呈现经修改的VR内容流232期间收集的神经/生理数据226的分析确定用户仍有即将发生的发病的风险或正在经历发病。在这样的示例中，预测器316和/或反馈分析器322与内容修改管理器318和/或警报发生器320通信，以确定纠正动作，如修改(多个)即将到来的VR内容流、生成一个或多个警报234，和/或停止对VR内容204的传输。
反馈分析器322判定对VR内容流216的修改(即，生成经修改的VR内容流232的修改)是否实质上减轻了用户中的发病(例如，PSE发病)和/或其他负面神经/生理事件的风险。例如，如果神经/生理数据分析器304检测到在用户暴露于经修改的VR内容流232时从用户处收集的神经/生理数据226中的尖峰的振幅和/或频率降低(例如，相对于在呈现经修改的VR内容流232之前收集的神经/生理数据226)，则反馈分析器322确定对VR内容流216的视觉和/或音频参数的修改对降低发病的风险(例如，PSE发病)是有效的。相对于对VR内容204的其他部分和/或不同VR内容的修改，反馈分析器322将有效修改存储在数据库300中以供内容修改管理器318使用。因此，规则引擎222从反馈中学习以提高预测VR内容204的一部分(例如，VR内容流216)是否可能诱发发病(例如，PSE发病)以及如何通过修改VR内容204有效地减轻发病的风险的准确性。
反馈分析器322还更新或改进了预测器316使用的学习算法。例如，基于预测器316对VR内容流216可能在用户中诱发发病(例如，PSE发病)和/或其他负面神经/生理事件的预测、VR内容流216的视觉和/或音频参数、以及用户对经修改的VR内容流232的神经/生理反应，反馈分析器322更新学习算法的一个或多个变量或参数。因此，规则引擎222实施基于预测器316进行的预测和用户对VR内容204的反应而改进的学习模型。学习算法的改进提高了规则引擎222预测即将到来的VR内容204(或其他VR内容)是否可能诱发用户(或其他用户)的发病(例如PSE发病)和/或其他神经/生理事件的能力。
图4展示了图2的VR内容204的示例视频帧400的用于生成经修改的帧410以便经由VR观看器106呈现给用户的示例修改。示例帧400是VR内容流216的帧序列的一部分。示例帧400包括图案，所述图案包括具有第一颜色(例如，红色)的多个第一正方形402和具有第二颜色(例如，蓝色)的多个第二正方形404。例如，帧400的第一正方形402中的每一个都具有色调值0和饱和度值255。例如，帧400的第二正方形404中的每个都具有色调值170和饱和度值255。在一些示例中，当帧400作为VR内容流216的帧序列的一部分呈现时，用户感知第一和第二正方形402、404的图案为交替顺序闪烁。
在一些示例中，基于帧400的彩色图案的色调和饱和度值(例如，如一个或多个视频向量218所指示的)、当用户暴露于包括帧400(和/或在包括帧400的帧序列之前呈现的帧)的帧序列时从用户处收集的神经/生理数据226、校准视频向量308、和/或发病触发数据311，规则引擎222预测包括帧400的帧序列可能在用户中诱发PSE发病。规则引擎222对包括帧400的帧序列可能诱发PSE发病的预测也可以基于例如校准神经/生理数据302、用户简档数据306、校准视频向量308、和/或如上文结合图2和图3公开的其他所学数据进行。
在预测包括帧400的帧序列包括可能在用户中诱发PSE发病的视觉参数时，规则引擎222向VR内容修改器230发送一条或多条指令228，以修改包括示例帧400的帧序列。VR内容修改器230修改示例帧400以生成经修改的帧410。例如，VR内容修改器230调整对应第一和第二正方形402、404的饱和度值。作为修改的结果，经修改的帧410包括饱和度值为181的经修改的第一正方形406和饱和度值为181的经修改的第二正方形408。在一些示例中，VR内容修改器230对第一和第二正方形402、404的饱和度值进行了不同修改，仅修改第一或第二正方形402、404之一的饱和度值，修改第一和/或第二正方形402、404的色调值等。VR内容修改器230可以以与应用于示例帧400的类似和/或不同修改来修改包括帧400的序列的其他帧。通过降低第一和第二正方形402、406的饱和度值，相对于未修改的帧400，VR内容修改器230降低经修改的帧410的图案强度，以降低用户中的PSE发病的风险。
虽然图1至图3中展示了实施示例处理单元112、示例VR管理器114、示例发病监测器116和示例规则引擎222的示例方式，但是图1至图3中展示的过程和/或装置可以以任何其他方式组合、分割、重新布置、省略、消除和/或实施。进一步地，示例VR HMD 102、示例VR观看器106、示例处理单元112、示例VR管理器114、示例发病监测器116、示例数据库208、300、示例VR内容监测器210、示例视频分析器212、示例音频分析器214、示例规则引擎222、示例神经/生理数据收集器224、示例VR内容修改器230、(多个)示例警报接收器236、示例神经/生理数据分析器304、示例视频向量分析器312、示例音频向量分析器314、示例预测器316、示例内容修改管理器318、示例警报发生器320、示例反馈分析器322和/或更一般地示例系统100可以由硬件、软件、固件和/或任何硬件、软件和/或固件的任何组合来实施。因此，例如，示例VR HMD 102、示例VR观看器106、示例处理单元112、示例VR管理器114、示例发病监测器116、示例数据库208、300、示例VR内容监测器210、示例视频分析器212、示例音频分析器214、示例规则引擎222、示例神经/生理数据收集器224、示例VR内容修改器230、示例警报接收器236、示例神经/生理数据分析器304、示例视频向量分析器312、示例音频向量分析器314、示例预测器316、示例内容修改管理器318、示例警报发生器320、示例反馈分析器322和/或更一般地示例系统100可以由一个或多个模拟或数字电路、逻辑电路、(多个)可编程处理器、(多个)专用集成电路(ASIC)、(多个)可编程逻辑装置(PLD)和/或(多个)现场可编程逻辑装置(FPLD)来实施。当阅读本专利中用于覆盖纯软件和/或固件实施方式的任何设备或系统权利要求时，示例VR HMD 102、示例VR观看器106、示例处理单元112、示例VR管理器114、示例发病监测器116、示例数据库208、300、示例VR内容监测器210、示例视频分析器212、示例音频分析器214、示例规则引擎222、示例神经/生理数据收集器224、示例VR内容修改器230、示例警报接收器236、示例神经数据分析器304、示例视频向量分析器312、示例音频向量分析器314、示例预测器316、示例内容修改管理器318、示例警报发生器320、示例反馈分析器322和/或更一般地示例系统100中的至少一个在此明确定义为包括有形计算机可读存储装置或如内存、数字通用磁盘(DVD)、致密盘(CD)、蓝光盘等用于存储软件和/或固件的存储磁盘。更进一步地，图1至图3的示例系统100、200可以包括除了或代替图1至图3中展示的那些之外的一个或多个元件、过程和/或装置，和/或可以包括多于一个所展示的元件、过程和装置中的任何或全部。
图5中示出了表示可以被执行用于实施图1至图3中展示的示例系统100和/或其部件的示例机器可读指令的流程图表示。在该示例中，机器可读指令包括用于由处理器(如以下结合图6讨论的示例处理器平台600中示出的处理器612)执行的程序。程序可以以存储在有形计算机可读存储介质(如CD-ROM、软盘、硬盘、数字通用光盘(DVD)、蓝光盘或与处理器612相关联的存储器)上的软件来体现，但是整个程序和/或其部分可以替代性地由除处理器612之外的装置执行和/或在固件或专用硬件中体现。进一步地，尽管参照图5中展示的流程图描述了示例程序，但是可以可替代地使用实施图1至图3中展示的示例系统100和/或其部件的许多其他方法。例如，可以改变框的执行顺序，和/或可以改变、消除或组合所描述的框中的一些。
如上所述，可以使用存储在有形计算机可读存储介质(如硬盘驱动器、闪存、只读存储器(ROM)、致密盘(CD)、数字通用盘(DVD)、高速缓存、随机存取存储器(RAM)和/或信息可被存储在其中持续任何时长(例如，持续延长时间段、永久地、短暂片刻、暂时地缓冲、和/或高速缓存信息)的任何其他存储装置或存储盘)上的编码指令(例如，计算机和/或机器可读指令)实施图5的示例过程。如本文中所使用的，术语有形计算机可读存储介质被明确定义为包括任何类型的计算机可读存储装置和/或存储盘，并且不包括传播信号且不包括传输介质。如本文中所使用的，“有形计算机可读存储介质”和“有形机器可读存储介质”可互换使用。另外地或可替代地，可以使用存储在非暂态计算机和/或机器可读介质(如硬盘驱动器、闪存、只读存储器、致密盘、数字通用盘、高速缓存、随机存取存储器和/或信息可被存储在其中持续任何时长(例如，持续延长时间段、永久地、短暂片刻、暂时地缓冲、和/或高速缓存信息)的任何其他存储装置或存储盘)上的经编码的指令(例如，计算机和/或机器可读指令)来实施图5的示例过程。如本文中所使用的，术语非暂态计算机可读介质被明确定义为包括任何类型的计算机可读存储装置和/或存储盘，并且不包括传播信号且不包括传输介质。如本文中所使用的，当短语“至少”被用作权利要求前序部分中的过渡术语时，其与术语“包括”是开放式一样的方式是开放式的。
图5是表示示例机器可读指令的流程图，所述指令当被执行时可以使图1至图3的示例系统100预测VR内容(例如，图2的VR内容204)是否可能诱发用户(例如，图1的用户104)的发病(例如，PSE发病)和/或其他负面神经和/或生理反应，并动态修改VR内容以降低发病和/或负面神经/生理反应的可能性。在图5的示例中，VR内容可以经由图1的VR HMD 102呈现，所述VR HMD包括VR观看器106和/或(多个)扬声器108。图5的示例指令可由图1至图3的处理单元112来执行。
示例发病监测器116的VR内容监测器210从示例处理单元112的VR管理器114的数据库208中检索VR内容204的一部分，如图2的VR内容流216(框500)。VR内容监测器210关于VR内容流216的视频和/或音频参数扫描VR内容流216。视频分析器212关于VR内容流216的视频帧生成一个或多个视频向量(例如，(多个)视频向量218)(框502)。可以基于例如对如各个帧的RGB像素值等数据的分析生成视频向量218。视频向量可以包括如(多个)帧的亮度、色调和/或饱和度值等数据。在一些示例中，音频分析器214生成与VR内容流216的视频帧同步的音频的一个或多个音频向量。音频向量可以包括如(多个)相应视频帧的(多个)音频流的频率流中的(多个)分贝水平和/或(多个)图案等数据。
图2的发病监测器116的示例神经/生理数据收集器224访问从暴露于VR内容204的用户处收集的神经和/或生理数据226(框504)。神经/生理数据226是经由图1的VR HMD 102的示例传感器110从用户处获得的。神经和/或生理数据可以包括例如脑信号数据(例如，EEG数据)、皮肤电反应数据等。
发病监测器116的示例规则引擎222基于一个或多个学习数据算法分析VR内容流216的视频和/或音频向量218、220以及用户的神经/生理数据226(框506)。规则引擎222使用(多个)学习数据算法(例如，监督学习算法)来标识发病触发内容、或者可以在一个或多个用户中诱发发病(例如，PSE发病)的内容。例如，示例规则引擎222的视频向量分析器312和/或音频向量分析器314将针对VR内容流216生成的对应视频和/或音频向量218、220与从先前诱导一个或多个用户(例如，用户104和/或其他用户)的PSE发病的VR内容(例如，VR内容204或其他VR内容)生成的视频和/或音频向量(例如，校准视频和/或音频向量308、310，存储在数据库300中的发病触发数据311)进行比较。规则引擎222的神经/生理数据分析器304将基本上实时地从用户处收集的神经/生理数据226与从先前经历过PSE发病的一个或多个用户处收集的神经/生理数据(例如，存储在数据库300中的校准神经/生理数据302)进行比较。
视频向量分析器312和/或音频向量分析器314标识VR内容流216的的对应视频和/或音频向量218、220与所学数据之间的相似性和/或差异。神经/生理数据分析器304分析在暴露于VR内容204和所学数据期间从用户处收集的神经/生理数据226。基于对所学数据的分析，规则引擎222的预测器316预测VR内容流216是否可能在用户中诱发发病(例如，PSE发病)(框508)。基于所学数据的分析，预测器316可以确定VR内容流216包括发病触发内容并且因此可能在用户中诱发发病(例如，PSE发病)和/或其他神经和/或生理事件。
如果确定VR内容流216可能在用户中诱发发病(框508)，则示例规则引擎222的内容修改管理器318确定对VR内容流216的一个或更多修改，如对VR内容流216的视频和/或音频部分的一个或多个修改。内容修改管理器318生成关于VR内容流216的修改的一个或多个指令228。基于(多个)指令228，示例VR管理器114的VR内容修改器230修改VR内容流216的一个或多个视觉和/或音频参数以生成经修改的VR内容流232从而试图降低在用户中发生发病(例如，PSE发病)的可能性(框510)。由VR内容修改器230执行的修改可以包括关于VR内容流216的一个或多个视频帧的色调和/或饱和度值的修改、对(多个)视频帧的亮度(例如，明度)的调整、和/或在呈现(多个)相应视频帧期间播放的音频流的分贝水平的降低。在一些示例中，音频流的分贝水平的降低包括使音频流静音。
在一些示例中，如果确定VR内容流216可能在用户中诱发发病，则示例规则引擎222的警报发生器320确定应该向用户和/或一个或多个第三方提供一个或多个警报234。警报发生器320可以生成(多个)警报236以经由VR观看器106和/或(多个)扬声器108呈现从而推荐用户关闭VR内容204。在一些示例中，当规则引擎222确定用户将要或可能经历发病(例如，PSE发病)时，警报发生器320确定(多个)警报234应当发送至由待通知的用户指定的第三方。
VR内容修改器230传输经修改的VR内容流232以供经由VR观看器106和/或(多个)扬声器(108呈现给用户(框512)。经修改的VR内容流216可以代替要呈现给用户的VR内容。在预测器316基于所学数据的分析确定VR内容流216不可能诱发发病(例如，PSE发病)(框508)的示例中，VR内容修改器230传输未修改的VR内容流216以经由VR观看器106和/或(多个)扬声器呈现给用户。
示例VR内容修改器230将呈现的内容(例如，未修改的VR内容流216或经修改的VR内容流232)传输至用于基本上连续监测用户对VR内容204的神经和/生理反应的VR内容监测器210，以便判定例如对VR内容流216的(多个)修改是否成功地减轻了发病(例如，PSE发病)的可能性。VR内容修改器230针对经修改的VR内容流232生成视频和/或音频向量218、220。而且，神经/生理数据收集器224在用户暴露于经修改的VR内容流232或未修改的VR内容流216时从用户处收集神经/生理数据226。示例规则引擎222的反馈分析器322鉴于所呈现内容(例如，未修改的VR内容流216或经修改的VR内容流232)的视频和/或音频向量218、220分析在用户暴露于经修改的VR内容流232时从用户处收集的神经/生理数据226，以评估用户对所呈现内容的反应(框514)。
基于对在用户暴露于经修改的VR内容流232或未修改的VR内容流216时从用户处收集的神经/生理数据226的分析，规则引擎222判定对VR内容204的附加修改是否是适当的。VR内容监测器210判定是否存在要分析的VR内容204的另一部分(例如，将在先前分析的VR内容流216之后呈现的VR内容流216)(框516)。基于在用户暴露于经修改的VR内容流232或未修改的VR内容流216时从用户处收集的神经/生理数据226(以及如VR内容204的下一部分的视觉/音频参数等其他因素)，规则引擎222预测VR内容204的下一部分是否包括可能在用户中诱发发病(例如，PSE发病)和/或其他负面神经/生理事件的发病触发内容并且相应地修改下一部分以供呈现(例如，框504至框512)。
如果没有要分析的VR内容204的附加部分，则图5的指令结束(框518)。而且，如果内容修改管理器318确定不应再向用户显示VR内容204(例如，如果神经/生理数据226包括指示发病的特征(例如，数据中的尖峰的频率增加))，则图5的指令结束。
图6是能够执行图5的指令以实施示例VR HMD 102、示例VR观看器106、示例处理单元112、示例VR管理器114、示例发病监测器116、示例数据库208、300、示例VR内容监测器210、示例视频分析器212、示例音频分析器214、示例规则引擎222、示例神经/生理数据收集器224、示例VR内容修改器230、示例警报接收器236、示例神经/生理数据分析器304、示例视频向量分析器312、示例音频向量分析器314、示例预测器316、示例内容修改管理器318、示例警报发生器320、示例反馈分析器322、和/或更一般地图1至图3的示例系统100的示例处理器平台600的框图。处理器平台600可以是例如服务器、个人计算机、移动装置(例如，手机、智能电话、如iPadTM等平板电脑)、个人数字助理(PDA)、互联网设施、机顶盒、耳机、VR演示器装置、或如护目镜或眼镜等VR可穿戴装置、或任何其他类型的计算装置。
所展示示例的处理器平台600包括处理器612。所展示示例的处理器612是硬件。例如，处理器612可以由来自任何所期望的家族或制造商的一个或多个集成电路、逻辑电路、微处理器或控制器实施。
所展示示例的处理器612包括本地存储器613(例如，高速缓存)。所展示示例的处理器612经由总线618与包括易失性存储器614和非易失性存储器616的主存储器通信。易失性存储器614可以由同步动态随机存取存储器(SDRAM)、动态随机存取存储器(DRAM)、RAMBUS动态随机存取存储器(RDRAM)和/或任何其他类型的随机存取存储器装置实施。非易失性存储器616可以由闪存和/或任何其他期望类型的存储器装置实施。对主存储器614、616的访问由存储器控制器控制。
所展示示例的处理器平台600还包括接口电路620。接口电路620可以由任何类型的接口标准实施，如以太网接口、通用串行总线(USB)和/或PCI快速接口。
在所展示的示例中，一个或多个输入装置622连接至接口电路620。(多个)输入装置622准许用户将数据和命令输入到处理器612中。所述(多个)输入装置可以由例如音频传感器、麦克风、相机(静态或视频)、键盘、按键、鼠标、触摸屏、轨迹板、轨迹球、等距点和/或语音识别系统实施。
一个或多个输出装置624也连接至所展示示例的接口电路620。输出装置1024可以例如由显示装置(例如，发光二极管(LED)、有机发光二极管(OLED)、液晶显示器、阴极射线管显示器(CRT)、触摸屏、触觉输出装置、打印机和/或扬声器)实施。因此，所展示示例的接口电路620通常包括图形驱动卡、图形驱动芯片或图形驱动处理器。
所展示示例的接口电路620还包括通信装置，如发射器、接收器、收发器、调制解调器和/或网络接口卡以经由网络626(例如，以太网连接、数字用户线(DSL)、电话线、同轴电缆、蜂窝电话系统等)促进与外部机器(例如，任何种类的计算装置)的数据交换。
所展示示例的处理器平台600还包括用于存储软件和/或数据的一个或多个大容量存储装置628。这种大容量存储装置628的示例包括软盘驱动器、硬盘驱动器、致密盘驱动器、蓝光盘驱动器、RAID系统和数字多用途盘(DVD)驱动器。
用于实施图5的指令的经编码指令632可以存储在大容量存储装置628中、在易失性存储器614中、在非易失性存储器616中和/或在如CD或DVD等可移除的有形计算机可读存储介质上。
根据前述内容，应理解的是，已经公开了用于预测VR内容是否可能在VR HMD的用户中诱发发病(例如，PSE发病)和/或其他负面神经和/或生理反应的方法、系统和设备。所公开示例使用关于发病触发的学习数据、基于VR内容的一个或多个视觉和/或音频参数以及用户的神经反应数据来有效地预测VR内容是否可能诱发发病(例如，PSE发病)。如果确定用户在暴露于VR内容的同时可能经历发病和/或其他负面神经和/或生理事件，则本文公开的示例动态地修改VR内容并传输经修改的VR内容以呈现给用户。因此，所公开的示例解决了VR内容中的发病诱发触发，而不是简单地显示VR内容可能在一些个体中诱发发病的一般警告。
所公开示例还提供了对用户对经修改的VR内容的反应的持续监测，以判定是否需要进一步的纠正动作，如在用户经历发病(例如，PSE发病)的情况下切断对VR内容的呈现。所公开示例从反馈中学习以增强VR内容的分类和发病触发预测。因此，所公开示例智能地对VR内容对用户的影响作出反应以减轻暴露于VR内容的用户中的发病风险。
虽然本文中已经公开了某些示例方法、设备和制品，但是本专利的覆盖范围不限于此。相反，本专利覆盖合理地落入本专利的权利要求书的范围内的所有方法、设备和制品。
本文公开了用于识别可能诱发发病的虚拟现实内容的示例方法、设备、系统和制品。进一步的示例及其组合包括以下。
示例1是一种用于分析虚拟现实内容的设备，包括：虚拟现实呈现装置，用于显示所述虚拟现实内容以暴露给用户；神经数据收集器，用于访问在暴露于所述虚拟现实内容期间从所述用户处收集的第一神经反应数据；预测器，用于基于对所述虚拟现实内容的一部分以及所述第一神经反应数据进行表征的第一向量来生成对所述部分将触发发病的可能性的预测；内容修改器，用于响应于所述预测而将所述虚拟现实内容的所述部分修改为经修改的虚拟现实内容，所述内容修改器用于将所述经修改的虚拟现实内容传输至所述虚拟现实呈现装置。
示例2包括如示例1所述的设备，进一步包括视频分析器，所述视频分析器用于基于所述虚拟现实内容的所述部分的视觉参数来生成所述第一向量。
示例3包括如示例1所述的设备，其中所述预测器用于基于第二向量和第二神经反应数据来生成对所述虚拟现实内容的所述部分将触发发病的可能性的预测，所述第二向量和所述第二神经反应数据与所述虚拟现实内容的第二部分相关联，所述第二部分是在对所述虚拟现实内容的所述部分的所述呈现之前呈现的。
示例4包括如示例1所述的设备，其中，所述虚拟现实内容的所述部分包括多个视频帧并且所述内容修改器用于通过调整所述视频帧中的至少一个的饱和度值、色调值或亮度中的至少一项来修改所述虚拟现实内容的所述部分。
示例5包括如示例1所述的设备，其中，所述神经数据收集器用于从所述用户处收集第二神经反应数据，所述第二神经反应数据是在呈现所述经修改的虚拟现实内容期间收集的，并且所述设备进一步包括反馈分析器，所述反馈分析器用于基于所述第二神经反应数据来确定对所述经修改的虚拟现实内容的修改。
示例6包括如示例5所述的设备，其中所述内容修改器用于基于所述第二神经反应数据来停止对所述虚拟现实内容的传输。
示例7包括如示例5所述的设备，其中，所述虚拟现实内容的所述部分是第一部分，并且所述设备进一步包括内容监测器，所述内容监测器用于检索所述虚拟现实内容的第二部分，所述预测器用于基于对所述虚拟现实内容的所述第二部分以及所述第二神经反应数据进行表征的第二向量来生成对所述第二部分将在所述用户体内触发发病的可能性的预测。
示例8包括如示例1所述的设备，进一步包括警报发生器，所述警报发生器用于基于所述预测生成警报。
示例9包括如示例8所述的设备，其中，所述警报发生器用于将所述警报传输至所述虚拟现实呈现装置。
示例10包括如示例1至9中任一项所述的设备，其中，所述第一神经反应数据包括脑电图数据。
示例11包括如示例1至9中任一项所述的设备，其中，所述虚拟现实呈现装置进一步包括扬声器。
示例12包括如示例11所述的设备，其中，所述虚拟现实内容的所述部分包括音频流，并且所述内容修改器用于通过降低所述音频流的分贝水平来修改所述虚拟现实内容的所述部分。
示例13是一种用于分析虚拟现实内容的方法，包括：通过用至少一个处理器来执行指令，从而访问在用户暴露于所述虚拟现实内容期间从所述用户处收集的第一神经数据；通过用所述至少一个处理器来执行指令，从而基于对所述虚拟现实内容的一部分以及所述第一神经反应数据进行表征的第一向量来生成对所述虚拟现实内容的所述部分将触发发病的可能性的预测；通过用所述至少一个处理器来执行指令，从而响应于所述预测而修改所述虚拟现实内容的所述部分以生成经修改的虚拟显示内容；以及通过用所述至少一个处理器来执行指令，从而将所述经修改的虚拟现实内容传输至虚拟现实呈现装置。
示例14包括如示例13所述的方法，进一步包括：基于所述虚拟现实内容的所述部分的视觉参数或音频参数来生成所述第一向量。
示例15包括如示例13所述的方法，其中，对所述预测的所述生成进一步基于第二向量和第二神经反应数据，所述第二向量和所述第二神经反应数据与所述虚拟现实内容的第二部分相关联，所述第二部分是在对所述虚拟现实内容的所述部分的所述呈现之前呈现的。
示例16包括如示例13所述的方法，其中，所述虚拟现实内容的所述部分包括多个视频帧，并且对所述虚拟现实内容的所述部分的所述修改包括调整所述视频帧中的至少一个的饱和度值、色调值或亮度中的至少一项。
示例17包括如示例16所述的方法，进一步包括：访问在呈现所述经修改的虚拟现实内容期间收集的第二神经反应数据；以及基于所述第二神经数据来修改所述经修改的虚拟现实内容。
示例18包括如示例17所述的方法，其中，所述修改所述经修改的虚拟现实内容包括停止对所述虚拟现实内容的传输。
示例19包括如示例17所述的方法，其中，所述虚拟现实内容的所述部分是第一部分，并且所述方法进一步包括：检索所述虚拟现实内容的第二部分；以及基于对所述虚拟现实内容的所述第二部分以及所述第二神经反应数据进行表征的第二向量来生成对所述第二部分将在所述用户体内触发发病的可能性的预测。
示例20包括如示例13所述的方法，进一步包括：基于所述预测生成警报。
示例21包括如示例20所述的方法，进一步包括：将所述警报传输至所述虚拟现实呈现装置。
示例22包括如示例20或21中任一项所述的方法，进一步包括：将所述警报传输至移动装置。
示例23包括如示例13至22中任一项所述的方法，其中，对所述预测的所述生成是基于学习数据算法的。
示例24包括如示例13至23中任一项所述的方法，其中，对所述预测的所述生成进一步基于用户简档数据。
示例25包括如示例24所述的方法，其中，所述用户简档数据包括所述用户的年龄、所述用户的性别或所述用户的病史中的一项或多项。
示例26包括如示例13至25中任一项所述的方法，其中，所述第一神经反应数据包括脑电图数据。
示例27是一种计算机可读存储介质，包括多条指令，所述指令在被执行时使机器至少访问在用户暴露于虚拟现实内容期间从所述用户处收集的第一神经数据；基于对所述虚拟现实内容以及所述第一神经反应数据进行表征的第一向量来生成对所述虚拟现实内容将触发发病的可能性的预测；响应于所述预测而修改所述虚拟现实内容的至少一部分以生成经修改的虚拟现实内容；并且将所述经修改的虚拟现实内容传输至虚拟现实呈现装置。
示例28包括如示例27所述的计算机可读存储介质，其中，所述指令在被执行时进一步使所述机器基于所述虚拟现实内容的视觉参数或音频参数来生成所述第一向量。
示例29包括如示例27所述的计算机可读存储介质，其中，所述指令在被执行时进一步使所述机器基于第二向量和第二神经反应数据来生成所述预测，所述第二向量和所述第二神经反应数据与早期呈现的虚拟现实内容相关联。
示例30包括如示例27所述的计算机可读存储介质，其中，所述虚拟现实内容包括多个视频帧，并且所述指令在被执行时进一步使所述机器通过调整所述帧中的至少一个的饱和度值、色调值或亮度中的至少一项来修改所述虚拟现实内容。
示例31包括如示例27所述的计算机可读存储介质，其中，所述指令在被执行时进一步使所述机器访问在呈现所述经修改的虚拟现实内容期间收集的第二神经反应数据并且基于所述第二神经数据来修改所述经修改的虚拟现实内容。
示例32包括如示例31所述的计算机可读存储介质，其中，所述指令在被执行时进一步使所述机器停止对所述虚拟现实内容的传输。
示例33包括如示例31所述的计算机可读存储介质，其中，所述虚拟现实内容的所述部分是第一部分，并且其中，所述指令在被执行时进一步使所述机器：检索所述虚拟现实内容的第二部分；并且基于对所述虚拟现实内容的所述第二部分以及所述第二神经反应数据进行表征的第二向量来生成对所述第二部分将在所述用户体内触发发病的可能性的预测。
示例34包括如示例27所述的计算机可读存储介质，其中，所述指令在被执行时进一步使所述机器基于所述预测生成警报。
示例35包括如示例34所述的计算机可读存储介质，其中，所述指令在被执行时进一步使所述机器将所述警报传输至所述虚拟现实呈现装置。
示例36包括如示例34或35中任一项所述的计算机可读存储介质，其中，所述指令在被执行时进一步使所述机器将所述警报传输至移动装置。
示例37包括如示例27至36中任一项所述的计算机可读存储介质，其中，所述第一神经反应数据包括脑电图数据。
示例38是一种用于分析虚拟现实内容的设备，包括：用于呈现虚拟现实内容以暴露给用户的装置；用于访问在用户暴露于所述虚拟现实内容期间从所述用户处收集的第一神经数据的装置；用于基于对所述虚拟现实内容的一部分以及所述第一神经反应数据进行表征的第一向量来生成对所述部分将触发发病的可能性的预测的装置；以及用于响应于所述预测而将所述虚拟现实内容的所述部分修改为经修改的虚拟现实内容的装置，所述用于修改的装置用于将所述经修改的虚拟现实内容传输至所述用于呈现所述虚拟现实内容的装置。
示例39包括如示例38所述的设备，进一步包括用于基于所述虚拟现实内容的所述部分的视觉参数或音频参数来生成所述第一向量的装置。
示例40包括如示例38所述的设备，其中，所述用于生成所述预测的装置用于进一步基于第二向量和第二神经反应数据来生成所述预测，所述第二向量和所述第二神经反应数据与所述虚拟现实内容的第二部分相关联，所述第二部分是在对所述虚拟现实内容的所述部分的所述呈现之前呈现的。
示例41包括如示例38所述的设备，其中，所述虚拟现实内容的所述部分包括多个视频帧，并且所述用于修改所述部分的装置包括用于调整所述视频帧中的至少一个的饱和度值、色调值或亮度中的至少一项的装置。
示例42包括如示例38所述的设备，其中，所述用于访问第一神经数据的装置用于访问在对所述经修改的虚拟现实内容的呈现期间收集的第二神经反应数据，并且其中，所述用于修改的装置用于基于所述第二神经数据来修改所述经修改的虚拟现实内容。
示例43包括如示例38所述的设备，进一步包括用于基于所述预测生成警报的装置。
示例44包括如示例43所述的设备，其中，所述用于生成所述警报的装置用于将所述警报传输至所述用于呈现所述虚拟现实内容的装置。
示例45包括如示例43或44中任一项所述的设备，其中，所述用于生成所述警报的装置用于将所述警报传输至移动装置。

Claims (25)

1.一种用于分析虚拟现实内容的设备，所述设备包括：
虚拟现实呈现装置，用于显示所述虚拟现实内容以暴露给用户，所述虚拟现实内容包括视频流；
神经数据收集器，用于访问在暴露于所述虚拟现实内容期间从所述用户处收集的第一神经反应数据；
预测器，用于基于所述第一神经反应数据以及表征所述视频流的第一部分的第一向量来生成暴露于所述视频流的第一部分将导致所述用户经历发病的可能性的预测，所述第一向量包括与所述视频流的所述第一部分相关联的至少一个视觉参数；以及
内容修改器，用于在所生成的预测指示所述用户很可能将经历发病的情况下修改所述视频流的第一部分以生成所述视频流的经修改的第一部分，所述经修改的第一部分是通过至少部分地基于所述第一神经反应数据调整所述视频流的所述第一部分的至少一个视觉参数来生成的，所述内容修改器用于将所述视频流的所述经修改的第一部分传送至所述虚拟现实呈现装置来供所述用户观看，以防止所述用户通过观看所述视频流的所述第一部分而经历发病。
2.如权利要求1所述的设备，进一步包括视频分析器，所述视频分析器用于基于所述虚拟现实内容的所述部分的视觉参数来生成所述第一向量。
3.如权利要求1所述的设备，其中，所述预测器用于进一步基于第二向量和第二神经反应数据来生成所述预测，所述第二向量和所述第二神经反应数据与所述虚拟现实内容的第二部分相关联，所述第二部分是在对所述虚拟现实内容的所述部分的所述呈现之前呈现的。
4.如权利要求1所述的设备，其中，所述虚拟现实内容的所述部分包括多个视频帧并且所述内容修改器用于通过调整所述视频帧中的至少一个的以下各项中的至少一项来修改所述虚拟现实内容的所述部分：饱和度值、色调值或亮度。
5.如权利要求1所述的设备，其中，所述神经数据收集器用于访问从所述用户处收集的第二神经反应数据，所述第二神经反应数据是在呈现所述经修改的虚拟现实内容期间收集的，并且所述设备进一步包括反馈分析器，所述反馈分析器用于基于所述第二神经反应数据来确定对所述经修改的虚拟现实内容的修改。
6.如权利要求5所述的设备，其中，所述虚拟现实内容的所述部分是第一部分，并且所述设备进一步包括内容监测器，所述内容监测器用于检索所述虚拟现实内容的第二部分，所述预测器用于基于对所述虚拟现实内容的所述第二部分以及所述第二神经反应数据进行表征的第二向量来生成对所述第二部分将在所述用户体内触发发病的可能性的预测。
7.如权利要求1至6中任一项所述的设备，其中，所述虚拟现实呈现装置进一步包括扬声器。
8.如权利要求7所述的设备，其中，所述虚拟现实内容的所述部分包括音频流，并且所述内容修改器用于通过降低所述音频流的分贝水平来修改所述虚拟现实内容的所述部分。
9.一种用于分析虚拟现实内容的方法，所述方法包括：
通过用至少一个处理器执行指令，从而访问在用户暴露于所述虚拟现实内容期间从所述用户处收集的第一神经反应数据，所述虚拟现实内容包括视频流；
通过用所述至少一个处理器来执行指令，从而基于所述第一神经反应数据以及表征所述视频流的第一部分的第一向量来生成暴露于所述视频流的第一部分将导致所述用户经历发病的可能性的预测，所述第一向量包括与所述视频流的所述第一部分相关联的至少一个视觉参数；
通过用所述至少一个处理器来执行指令，从而在所生成的预测指示所述用户很可能将经历发病的情况下修改所述视频流的所述第一部分以生成所述视频流的经修改的第一部分，所述经修改的第一部分是通过至少部分地基于所述第一神经反应数据调整所述视频流的所述第一部分的至少一个视觉参数来生成的；以及
通过用所述至少一个处理器来执行指令，从而将所述视频流的所述经修改的第一部分传送至虚拟现实呈现装置来供所述用户观看，以防止所述用户通过观看所述视频流的所述第一部分而经历发病。
10.如权利要求9所述的方法，进一步包括：基于所述虚拟现实内容的所述部分的视觉参数或音频参数来生成所述第一向量。
11.如权利要求9所述的方法，其中，对所述预测的所述生成进一步基于第二向量和第二神经反应数据，所述第二向量和所述第二神经反应数据与所述虚拟现实内容的第二部分相关联，所述第二部分是在对所述虚拟现实内容的所述部分的所述呈现之前呈现的。
12.如权利要求9所述的方法，其中，所述虚拟现实内容的所述部分包括多个视频帧，并且对所述虚拟现实内容的所述部分的所述修改包括调整所述视频帧中的至少一个的以下各项中的至少一项：饱和度值、色调值或亮度。
13.如权利要求9所述的方法，进一步包括：
访问在呈现所述经修改的虚拟现实内容期间收集的第二神经反应数据；以及
基于所述第二神经反应数据来修改所述经修改的虚拟现实内容。
14.如权利要求13所述的方法，其中，对所述经修改的虚拟现实内容的所述修改包括停止对所述虚拟现实内容的传输。
15.如权利要求13所述的方法，其中，所述虚拟现实内容的所述部分是第一部分，并且所述方法进一步包括：
检索所述虚拟现实内容的第二部分；以及
基于对所述虚拟现实内容的所述第二部分以及所述第二神经反应数据进行表征的第二向量来生成对所述第二部分将在所述用户体内触发发病的可能性的预测。
16.如权利要求9所述的方法，进一步包括：基于所述预测生成警报。
17.如权利要求16所述的方法，进一步包括：将所述警报传送至所述虚拟现实呈现装置。
18.如权利要求16或17中任一项所述的方法，进一步包括：将所述警报传送至移动装置。
19.一种计算机可读存储介质，包括多条指令，所述指令在被执行时使机器至少：
访问在用户暴露于虚拟现实内容期间从所述用户处收集的第一神经反应数据，所述虚拟现实内容包括视频流；
基于第一神经反应数据以及表征所述视频流的第一部分的第一向量来生成暴露于对所述视频流的第一部分将导致所述用户经历发病的可能性的预测，所述第一向量包括与所述视频流的所述第一部分相关联的至少一个视觉参数；
在所生成的预测指示所述用户很可能将经历发病的情况下修改所述视频流的所述第一部分以生成所述视频流的经修改的第一部分，所述经修改的第一部分是通过至少部分地基于所述第一神经反应数据调整所述视频流的所述第一部分的至少一个视觉参数来生成的；以及
将所述视频流的所述经修改的第一部分传送至虚拟现实呈现装置来供所述用户观看，以防止所述用户通过观看所述视频流的所述第一部分而经历发病。
20.如权利要求19所述的计算机可读存储介质，其中，所述指令在被执行时进一步使所述机器基于所述虚拟现实内容的视觉参数或音频参数来生成所述第一向量。
21.如权利要求19所述的计算机可读存储介质，其中，所述指令在被执行时进一步使所述机器基于第二向量和第二神经反应数据来生成所述预测，所述第二向量和所述第二神经反应数据与较早呈现的虚拟现实内容相关联。
22.如权利要求19所述的计算机可读存储介质，其中，所述指令在被执行时进一步使所述机器基于所述预测生成警报。
23.一种用于分析虚拟现实内容的设备，所述设备包括：
用于呈现所述虚拟现实内容以暴露给用户的装置，所述虚拟现实内容包括视频流；
用于访问在用户暴露于所述虚拟现实内容期间从所述用户处收集的第一神经反应数据的装置；
用于基于所述第一神经反应数据以及表征所述视频流的第一部分的第一向量来生成暴露于所述视频流的第一部分将导致所述用户经历发病的可能性的预测的装置，所述第一向量包括与所述视频流的所述第一部分相关联的至少一个视觉参数；以及
用于在所生成的预测指示所述用户很可能将经历发病的情况下修改所述视频流的所述第一部分以生成所述视频流的经修改的第一部分装置，所述经修改的第一部分是通过至少部分地基于所述第一神经反应数据调整所述视频流的所述第一部分的至少一个视觉参数来生成的，所述用于修改的装置用于将所述视频流所述经修改的第一部分传送至所述用于呈现所述虚拟现实内容的装置来供所述用户观看，以防止所述用户通过观看所述视频流的所述第一部分而经历发病。
24.如权利要求23所述的设备，其中，所述用于生成所述预测的装置用于基于第二向量和第二神经反应数据来生成所述预测，所述第二向量和所述第二神经反应数据与所述虚拟现实内容的第二部分相关联，所述第二部分是在对所述虚拟现实内容的所述部分的所述呈现之前呈现的。
25.如权利要求23所述的设备，其中，所述用于访问第一神经反应数据的装置用于访问在对所述虚拟现实内容的所述部分或所述经修改的虚拟现实内容的呈现期间收集的第二神经反应数据，并且其中，所述用于修改的装置用于基于所述第二神经反应数据来修改所述经修改的虚拟现实内容。
CN201780053285.7A 2016-09-29 2017-08-10 标识可能诱发发病的虚拟现实内容的方法和设备 Active CN109644297B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/279,820 US10067565B2 (en) 2016-09-29 2016-09-29 Methods and apparatus for identifying potentially seizure-inducing virtual reality content
US15/279,820 2016-09-29
PCT/US2017/046240 WO2018063521A1 (en) 2016-09-29 2017-08-10 Methods and apparatus for identifying potentially seizure-inducing virtual reality content

Publications (2)

Publication Number Publication Date
CN109644297A CN109644297A (zh) 2019-04-16
CN109644297B true CN109644297B (zh) 2022-01-18

Family

ID=61687971

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780053285.7A Active CN109644297B (zh) 2016-09-29 2017-08-10 标识可能诱发发病的虚拟现实内容的方法和设备

Country Status (4)

Country Link
US (2) US10067565B2 (zh)
EP (1) EP3520428B1 (zh)
CN (1) CN109644297B (zh)
WO (1) WO2018063521A1 (zh)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10067565B2 (en) * 2016-09-29 2018-09-04 Intel Corporation Methods and apparatus for identifying potentially seizure-inducing virtual reality content
GB2557217A (en) * 2016-11-30 2018-06-20 Nagai Yoko Treatment Device
US10402888B2 (en) * 2017-01-19 2019-09-03 Samsung Electronics Co., Ltd. System and method for virtual reality content rating using biometric data
EP3379379A1 (en) * 2017-03-24 2018-09-26 Nokia Technologies Oy Virtual reality system and method
US11311188B2 (en) * 2017-07-13 2022-04-26 Micro Medical Devices, Inc. Visual and mental testing using virtual reality hardware
US10945141B2 (en) * 2017-07-25 2021-03-09 Qualcomm Incorporated Systems and methods for improving content presentation
KR102022586B1 (ko) * 2017-08-24 2019-09-18 김경모 Vr 장치 및 밴드를 이용한 뇌파 측정 시스템
GB2569323B (en) * 2017-12-13 2020-05-13 Sony Interactive Entertainment Inc Head-mountable apparatus and methods
US20190287304A1 (en) * 2018-03-13 2019-09-19 The Boeing Company Safety Enhancement System for a Mobile Display System
US10999292B2 (en) * 2018-08-24 2021-05-04 Disney Enterprises, Inc. Location-based restriction of content transmission
US10742923B2 (en) 2018-10-25 2020-08-11 International Business Machines Corporation Detection of photosensitive triggers in video content
CN109620257B (zh) * 2018-11-28 2020-12-22 华南理工大学 基于生物反馈的精神状态干预与调节系统及其工作方法
US11947722B2 (en) * 2020-03-24 2024-04-02 Arm Limited Devices and headsets
CN117939247A (zh) * 2020-12-08 2024-04-26 北京字节跳动网络技术有限公司 多媒体数据处理方法、装置及电子设备
EP4268053A4 (en) * 2020-12-22 2024-01-31 Ericsson Telefon Ab L M MODERATION OF A USER'S SENSORY EXPERIENCE IN RELATION TO AN EXTENDED REALITY
US20220404620A1 (en) * 2020-12-22 2022-12-22 Telefonaktiebolaget Lm Ericsson (Publ) Methods and devices related to extended reality
US11922672B2 (en) 2021-03-03 2024-03-05 International Business Machines Corporation Dynamic modification of geofenced displays
WO2023034816A1 (en) * 2021-08-31 2023-03-09 Eysz, Inc. Systems and methods for provoking and monitoring neurological events
US20230128944A1 (en) * 2021-10-21 2023-04-27 Optum, Inc. Seizure prediction machine learning models
US11769465B1 (en) * 2021-11-05 2023-09-26 Optum, Inc. Identifying regions of visible media data that belong to a trigger content type
US11955028B1 (en) 2022-02-28 2024-04-09 United Services Automobile Association (Usaa) Presenting transformed environmental information

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101971608A (zh) * 2008-03-10 2011-02-09 皇家飞利浦电子股份有限公司 向用户提供由视频流中的运动检测触发的物理刺激的方法和装置
KR101348195B1 (ko) * 2013-08-29 2014-01-07 이국진 홀로그램을 이용한 가상현실 4ｄ 영상사격 시스템
CN203469194U (zh) * 2013-08-07 2014-03-12 青岛赛博凯尔信息技术有限公司 恐高症虚拟现实治疗系统
CN105683812A (zh) * 2013-08-30 2016-06-15 英特尔公司 用于头戴式显示器的恶心和发病检测、预测和缓解
CN105976424A (zh) * 2015-12-04 2016-09-28 乐视致新电子科技（天津）有限公司 一种图像渲染处理的方法及装置

Family Cites Families (51)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5995868A (en) 1996-01-23 1999-11-30 University Of Kansas System for the prediction, rapid detection, warning, prevention, or control of changes in activity states in the brain of a subject
US7630757B2 (en) 1997-01-06 2009-12-08 Flint Hills Scientific Llc System for the prediction, rapid detection, warning, prevention, or control of changes in activity states in the brain of a subject
AUPP354898A0 (en) 1998-05-15 1998-06-11 Swinburne Limited Mass communication assessment system
US6488617B1 (en) 2000-10-13 2002-12-03 Universal Hedonics Method and device for producing a desired brain state
US20040092809A1 (en) 2002-07-26 2004-05-13 Neurion Inc. Methods for measurement and analysis of brain activity
FR2845883B1 (fr) 2002-10-18 2005-08-05 Centre Nat Rech Scient Procede et dispositif de suivi medical ou cognitif en temps reel par l'analyse de l'activite electromagnetique cerebrale d'un individu, application du procede pour caracteriser et differencier des etats physiologiques ou pathologiques
JP3751284B2 (ja) * 2003-02-12 2006-03-01 日本興業株式会社 舗装用ブロック
US20050216243A1 (en) * 2004-03-02 2005-09-29 Simon Graham Computer-simulated virtual reality environments for evaluation of neurobehavioral performance
US20050203366A1 (en) * 2004-03-12 2005-09-15 Donoghue John P. Neurological event monitoring and therapy systems and related methods
JP2007531579A (ja) * 2004-04-01 2007-11-08 ウィリアム・シー・トーチ 目の動きをモニターするバイオセンサ、コミュニケーター及びコントローラー並びにそれらの使用方法
WO2005117693A1 (en) 2004-05-27 2005-12-15 Children's Medical Center Corporation Patient-specific seizure onset detection system
KR100594117B1 (ko) * 2004-09-20 2006-06-28 삼성전자주식회사 Ｈｍｄ 정보 단말기에서 생체 신호를 이용하여 키를입력하는 장치 및 방법
WO2007096706A2 (en) 2005-09-12 2007-08-30 Emotiv Systems Pty Ltd. System and method for interaction with a subject based on detection of mental states
WO2007034476A2 (en) * 2005-09-19 2007-03-29 Biolert Ltd A device and method for detecting an epileptic event
US20080027348A1 (en) * 2006-06-23 2008-01-31 Neuro Vista Corporation Minimally Invasive Monitoring Systems for Monitoring a Patient's Propensity for a Neurological Event
US7885706B2 (en) 2006-09-20 2011-02-08 New York University System and device for seizure detection
US7892764B2 (en) 2006-11-21 2011-02-22 Legacy Emanuel Hospital & Health Center System for seizure suppression
US8473024B2 (en) 2008-08-12 2013-06-25 Brainscope Company, Inc. Flexible headset for sensing brain electrical activity
US20110106750A1 (en) * 2009-10-29 2011-05-05 Neurofocus, Inc. Generating ratings predictions using neuro-response data
US9994228B2 (en) * 2010-05-14 2018-06-12 Iarmourholdings, Inc. Systems and methods for controlling a vehicle or device in response to a measured human response to a provocative environment
US20140081090A1 (en) * 2010-06-07 2014-03-20 Affectiva, Inc. Provision of atypical brain activity alerts
WO2012012746A2 (en) 2010-07-22 2012-01-26 Washington University Multimodal brain computer interface
US8684921B2 (en) * 2010-10-01 2014-04-01 Flint Hills Scientific Llc Detecting, assessing and managing epilepsy using a multi-variate, metric-based classification analysis
US20120182206A1 (en) 2011-01-17 2012-07-19 Ronald Steven Cok Head-mounted display control with sensory stimulation
US9392956B2 (en) 2011-01-28 2016-07-19 Neurosky, Inc. Dry sensor EEG/EMG and motion sensing system for seizure detection and monitoring
JP2012174145A (ja) * 2011-02-23 2012-09-10 Nintendo Co Ltd 情報処理プログラム、情報処理装置、情報処理方法及び情報処理システム
KR20130015179A (ko) * 2011-08-02 2013-02-13 삼성디스플레이 주식회사 표시 장치 및 표시 장치 구동 방법
CN104023787B (zh) * 2011-10-04 2017-07-11 T·J·奥克斯利 感应或刺激组织的活动
US8768020B2 (en) * 2011-12-29 2014-07-01 Tektronix, Inc. Method of detecting visual stress and photosensitive epilepsy triggers in video and mitigation device
US20140126877A1 (en) 2012-11-05 2014-05-08 Richard P. Crawford Controlling Audio Visual Content Based on Biofeedback
US9807445B2 (en) * 2012-11-29 2017-10-31 Echostar Technologies L.L.C. Photosensitivity protection for video display
US9872968B2 (en) 2013-04-17 2018-01-23 Sri International Biofeedback virtual reality sleep assistant
EP3013291A4 (en) * 2013-06-28 2017-03-01 Otoharmonics Corporation Systems and methods for a tinnitus therapy
KR102099914B1 (ko) * 2013-10-29 2020-05-15 삼성전자주식회사 영상 처리 장치 및 영상 처리 방법
US10203762B2 (en) * 2014-03-11 2019-02-12 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
US9968288B2 (en) * 2014-03-26 2018-05-15 Eco-Fusion Systems and methods for predicting seizures
KR102204919B1 (ko) 2014-06-14 2021-01-18 매직 립, 인코포레이티드 가상 및 증강 현실을 생성하기 위한 방법들 및 시스템들
GB2530051B (en) * 2014-09-10 2018-09-19 Telestream Uk Ltd Method of adjusting video to minimise or remove PSE triggers
CA2969228C (en) * 2014-12-05 2023-10-03 Rush University Medical Center Electrode placement and treatment system and method of use thereof
TWI566746B (zh) * 2014-12-30 2017-01-21 義守大學 基於腦波建立預測模型的電子裝置
WO2016127050A1 (en) * 2015-02-05 2016-08-11 Mc10, Inc. Method and system for interacting with an environment
JP6548437B2 (ja) 2015-04-06 2019-07-24 キヤノン株式会社 焦点調節装置、その制御方法、および制御プログラム、並びに撮像装置
US9788056B2 (en) * 2015-06-26 2017-10-10 Rovi Guides, Inc. System and methods for stimulating senses of users of a media guidance application
US9712736B2 (en) * 2015-12-15 2017-07-18 Intel Coprporation Electroencephalography (EEG) camera control
CN109414164B (zh) * 2016-05-09 2022-06-14 奇跃公司 用于用户健康分析的增强现实系统和方法
US20170326330A1 (en) * 2016-05-13 2017-11-16 Grzegorz Bulaj Multimodal platform for treating epilepsy
US10561333B2 (en) * 2016-06-10 2020-02-18 Mocxa Health Private Limited Procedure and a portable apparatus for diagnosis of seizures
KR102491130B1 (ko) * 2016-06-20 2023-01-19 매직 립, 인코포레이티드 시각적 프로세싱 및 지각 상태들을 포함하는 신경학적 상태들의 평가 및 수정을 위한 증강 현실 디스플레이 시스템
US10169920B2 (en) * 2016-09-23 2019-01-01 Intel Corporation Virtual guard rails
US10067565B2 (en) * 2016-09-29 2018-09-04 Intel Corporation Methods and apparatus for identifying potentially seizure-inducing virtual reality content
US11262088B2 (en) * 2017-11-06 2022-03-01 International Business Machines Corporation Adjusting settings of environmental devices connected via a network to an automation hub

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101971608A (zh) * 2008-03-10 2011-02-09 皇家飞利浦电子股份有限公司 向用户提供由视频流中的运动检测触发的物理刺激的方法和装置
CN203469194U (zh) * 2013-08-07 2014-03-12 青岛赛博凯尔信息技术有限公司 恐高症虚拟现实治疗系统
KR101348195B1 (ko) * 2013-08-29 2014-01-07 이국진 홀로그램을 이용한 가상현실 4ｄ 영상사격 시스템
CN105683812A (zh) * 2013-08-30 2016-06-15 英特尔公司 用于头戴式显示器的恶心和发病检测、预测和缓解
CN105976424A (zh) * 2015-12-04 2016-09-28 乐视致新电子科技（天津）有限公司 一种图像渲染处理的方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"virtual reality"s moment";Kushner;《IEEE》;20140131;全文 *

Also Published As

Publication number Publication date
CN109644297A (zh) 2019-04-16
WO2018063521A1 (en) 2018-04-05
EP3520428A4 (en) 2020-05-13
US10955917B2 (en) 2021-03-23
EP3520428A1 (en) 2019-08-07
EP3520428B1 (en) 2023-09-06
US20180088669A1 (en) 2018-03-29
US10067565B2 (en) 2018-09-04
US20180356887A1 (en) 2018-12-13

Similar Documents

Publication Publication Date Title
CN109644297B (zh) 标识可能诱发发病的虚拟现实内容的方法和设备
CA3003765C (en) Drowsiness onset detection
EP3321773B1 (en) Information processing device, display device, information processing method, and program
US20190038166A1 (en) Detecting fatigue based on electroencephalogram (eeg) data
EP2399513B1 (en) System for non-invasive automated monitoring, detection, analysis, characterisation, prediction or prevention of seizures and movement disorder symptoms
JP2022523686A (ja) 運転者の認知状態の検出
US20120083668A1 (en) Systems and methods to modify a characteristic of a user device based on a neurological and/or physiological measurement
WO2018127087A1 (en) Systems and methods for neuro-feedback training using video games
JP6939797B2 (ja) 情報処理装置、情報処理方法、及びプログラム
CN110584657B (zh) 一种注意力检测方法及系统
CN114698389A (zh) 脑机接口
WO2020227433A1 (en) A wearable system for behind-the-ear sensing and stimulation
US11947722B2 (en) Devices and headsets
Paris et al. Using EEG and stimulus context to probe the modelling of auditory-visual speech
KR102295808B1 (ko) 개인의 작업 메모리 부하에 영향을 미치는 센스 입력들의 식별
US11843764B2 (en) Virtual reality headsets and method of managing user experience with virtual reality headsets
Goovaerts et al. Advanced EEG Processing for the Detection of Drowsiness in Drivers.
WO2022065446A1 (ja) 感情判定装置、感情判定方法及び感情判定プログラム
WO2020157989A1 (ja) 覚醒度推定装置、覚醒度推定方法、及びコンピュータ読み取り可能な記録媒体
JP2019115410A (ja) 加速度成分の代表値で周期的生体信号発生を判定する生体信号処理装置、プログラム及び方法
US20240164672A1 (en) Stress detection
WO2023209830A1 (ja) 調整システム、調整方法及びプログラム
John et al. Driver Drowsiness Detection From Multiple Facial Features Using Mobile Devices
CN115359466A (zh) 异常驾驶行为识别方法、装置、设备和存储介质
Arora et al. An efficient multi modal emotion recognition system: ISAMC

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant