CN114007705A - 用于计算系统的脑-计算机接口 - Google Patents

用于计算系统的脑-计算机接口 Download PDF

Info

Publication number
CN114007705A
CN114007705A CN202080022495.1A CN202080022495A CN114007705A CN 114007705 A CN114007705 A CN 114007705A CN 202080022495 A CN202080022495 A CN 202080022495A CN 114007705 A CN114007705 A CN 114007705A
Authority
CN
China
Prior art keywords
video game
biofeedback
game
player
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080022495.1A
Other languages
English (en)
Inventor
迈克尔·S·安宾德
史蒂文·J·邦德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Valve Corp
Original Assignee
Valve Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Valve Corp filed Critical Valve Corp
Publication of CN114007705A publication Critical patent/CN114007705A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • A63F13/21Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/212Input arrangements for video game devices characterised by their sensors, purposes or types using sensors worn by the player, e.g. for measuring heart beat or leg activity
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/11Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for measuring interpupillary distance or diameter of pupils
    • A61B3/112Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for measuring interpupillary distance or diameter of pupils for measuring diameter of pupils
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0075Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by spectroscopy, i.e. measuring spectra, e.g. Raman spectroscopy, infrared absorption spectroscopy
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/026Measuring blood flow
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1123Discriminating type of movement, e.g. walking or running
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/163Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165Evaluating the state of mind, e.g. depression, anxiety
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316Modalities, i.e. specific diagnostic methods
    • A61B5/369Electroencephalography [EEG]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316Modalities, i.e. specific diagnostic methods
    • A61B5/389Electromyography [EMG]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316Modalities, i.e. specific diagnostic methods
    • A61B5/398Electrooculography [EOG], e.g. detecting nystagmus; Electroretinography [ERG]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61NELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
    • A61N1/00Electrotherapy; Circuits therefor
    • A61N1/02Details
    • A61N1/04Electrodes
    • A61N1/0404Electrodes for external use
    • A61N1/0408Use-related aspects
    • A61N1/0456Specially adapted for transcutaneous electrical nerve stimulation [TENS]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61NELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
    • A61N1/00Electrotherapy; Circuits therefor
    • A61N1/18Applying electric currents by contact electrodes
    • A61N1/32Applying electric currents by contact electrodes alternating or intermittent currents
    • A61N1/36Applying electric currents by contact electrodes alternating or intermittent currents for stimulation
    • A61N1/36014External stimulators, e.g. with patch electrodes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61NELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
    • A61N1/00Electrotherapy; Circuits therefor
    • A61N1/18Applying electric currents by contact electrodes
    • A61N1/32Applying electric currents by contact electrodes alternating or intermittent currents
    • A61N1/36Applying electric currents by contact electrodes alternating or intermittent currents for stimulation
    • A61N1/36014External stimulators, e.g. with patch electrodes
    • A61N1/36025External stimulators, e.g. with patch electrodes for treating a mental or cerebral condition
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61NELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
    • A61N1/00Electrotherapy; Circuits therefor
    • A61N1/18Applying electric currents by contact electrodes
    • A61N1/32Applying electric currents by contact electrodes alternating or intermittent currents
    • A61N1/36Applying electric currents by contact electrodes alternating or intermittent currents for stimulation
    • A61N1/3605Implantable neurostimulators for stimulating central or peripheral nerve system
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61NELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
    • A61N2/00Magnetotherapy
    • A61N2/004Magnetotherapy specially adapted for a specific therapy
    • A61N2/006Magnetotherapy specially adapted for a specific therapy for magnetic stimulation of nerve tissue
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/67Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor adaptively or by learning from player actions, e.g. skill level adjustment or by storing successful combat sequences for re-use
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/06Measuring instruments not otherwise provided for
    • A61B2090/064Measuring instruments not otherwise provided for for measuring force, pressure or mechanical tension
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2503/00Evaluating a particular growth phase or type of persons or animals
    • A61B2503/12Healthy persons not otherwise provided for, e.g. subjects of a marketing survey
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1012Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals involving biosensors worn by the player, e.g. for measuring heart beat, limb activity
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60Methods for processing data by generating or executing the game program
    • A63F2300/6027Methods for processing data by generating or executing the game program using adaptive systems learning from user actions, e.g. for skill level adjustment

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Medical Informatics (AREA)
  • Pathology (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Neurology (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Psychiatry (AREA)
  • Ophthalmology & Optometry (AREA)
  • Psychology (AREA)
  • Cardiology (AREA)
  • Neurosurgery (AREA)
  • Physiology (AREA)
  • Child & Adolescent Psychology (AREA)
  • General Physics & Mathematics (AREA)
  • Developmental Disabilities (AREA)
  • Hospice & Palliative Care (AREA)
  • Social Psychology (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Educational Technology (AREA)
  • Hematology (AREA)
  • Dermatology (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

各种实施方式针对使用布置在视频游戏玩家上或附近的一个或多个物理传感器来获得生物反馈测量,然后生物反馈测量可用于动态修改视频游戏的游戏玩法状态。传感器可连接至或甚至不连接至游戏玩家,替换或以其他方式增强传统的物理游戏控制器。传感器收集各种生物反馈测量,并将这些测量提供给生物反馈应用编程接口(API)。在进行视频游戏之前和/或期间,视频游戏查询生物反馈API以请求关于游戏玩家的内部状态的推断。然后使用响应来修改视频游戏的状态。在视频游戏是多玩家视频游戏的情况下,还可从其他游戏玩家获得生物反馈测量,并用于进一步修改视频游戏的状态。

Description

用于计算系统的脑-计算机接口
技术领域
本公开大体涉及交互式视频游戏,并且更具体地但不排他地,涉及用于计算系统的脑-计算机接口。
背景技术
当前,计算机游戏产业是数十亿美元级别的产业。这种流行可能部分地归因于更快的计算设备、质量更高的图形和质量更好的游戏。许多当前的视频游戏提供了游戏玩家可用来与游戏交互的各种不同输入/输出设备。例如,许多视频游戏允许玩家使用键盘和/或鼠标进行交互。虽然这样的输入/输出控制器允许游戏玩家与游戏交互,但是游戏玩家可能不会“感觉”他们沉浸在游戏中。因此,已经重新设计了许多视频游戏,以允许使用游戏垫、操纵杆、跟踪球、游戏板等来提供使视频游戏玩家沉浸的方式。一些操纵杆和/或遥控杆配置成类似于与正在玩的视频游戏相一致的类型的设备。例如,对于一些飞行模拟游戏,操纵杆可设计成提供对于游戏玩家看起来好像在飞机的驾驶舱内飞行的节流阀象限、水平、轮子和手持杆。
通过修改输入设备,视频游戏玩家更可能参与并因此更多地享受视频游戏。这样,视频游戏玩家更可能继续玩游戏,与其他人分享游戏,并且可能在将来购买类似的游戏。随着无线控制器的出现,将输入设备修改为具有更多的游戏玩家参与的这种趋势甚至更加明显。例如,在一种流行的视频游戏中,游戏输入控制器是无线手持控制器,该无线手持控制器可包括内置加速度计、红外检测器或类似组件。这种组件用于在指向远程传感器条内的发光二极管(LED)时感测控制器在三维空间中的位置。然后,游戏玩家使用物理手势以及传统按钮来控制游戏,以玩诸如保龄球、虚拟乐器、拳击游戏等的游戏。
然而,尽管许多游戏玩家可能感觉到这在视频游戏中提供了增加的参与水平,但是其它游戏玩家仍然可能感觉到视频游戏中的参与是不完全的。因而,就这些考虑和其它考虑而言,已经进行了本公开。
发明内容
视频游戏装置可概括为包括:一个或多个物理生物反馈传感器;至少一个非暂时性处理器可读存储介质,用于存储数据和指令中的至少一个;以及至少一个处理器,用于可操作地联接至所述至少一个非暂时性处理器可读存储介质和所述一个或多个物理生物反馈传感器,所述至少一个处理器在操作中:经由为视频游戏提供功能的用户界面向视频游戏玩家提供游戏玩法,所述游戏玩法包括多个单独组件;从所述一个或多个物理生物反馈传感器,接收所述视频游戏玩家正在玩所述视频游戏时对所述视频游戏玩家的生物反馈测量;处理所述生物反馈测量,以确定所述视频游戏玩家在所述视频游戏的游戏玩法过程中对所述多个单独组件的响应;以及至少部分地基于所确定的视频游戏玩家的响应来修改或增强视频游戏的游戏玩法。
为了处理生物反馈测量,所述至少一个处理器可应用至少一个学习模型。为了处理生物反馈测量,所述至少一个处理器可应用傅立叶变换或频谱密度分析中的至少一个。所述至少一个学习模型可已经训练,以确定所述多个单独组件的单独组件的特定子集,所述特定子集使得所述视频游戏玩家具有特定的认知状态。所述多个单独组件可包括游戏角色、聊天消息、武器、角色选择、角色动作、与角色相关联的事件或另一视频游戏玩家的特征中的至少一个。所述一个或多个物理生物反馈传感器可包括一个或多个脑电图(EEG)电极,以及生物反馈测量可包括EEG信号。所述一个或多个物理生物反馈传感器可包括一个或多个电极,以及生物反馈测量可包括神经信号。生物反馈测量可包括神经信号、EEG信号、EMG信号、EOG信号、fNIR信号、指示血流的信号、功能近红外光谱(fNIR)光谱信号、力敏电阻器(FSR)信号、面部表情检测信号、瞳孔扩张指示信号、眼睛运动信号或手势运动信号中的至少一个。所述至少一个处理器可确定各个组件对所确定的响应的贡献的相对权重。所述一个或多个物理生物反馈传感器中的至少一个可结合到头戴式显示器(HMD)设备中。
视频游戏系统可概括为包括:至少一个非暂时性处理器可读存储介质,用于存储数据和指令中的至少一个;以及至少一个处理器,用于可操作地联接至所述至少一个非暂时性处理器可读存储介质,所述至少一个处理器在操作中:经由为视频游戏提供功能性的相应用户界面向视频游戏玩家群体提供游戏玩法;从所述视频游戏玩家附近的物理生物反馈传感器,接收所述视频游戏玩家在玩所述视频游戏时的生物反馈测量,在呈现多个单独组件期间捕获所述生物反馈测量;分析生物反馈测量,以确定有助于视频游戏玩家群体的总体影响或印象的多个单独组件的子集;以及响应于生物反馈测量的分析来修改或增强视频游戏。
所述多个单独组件可包括游戏角色、聊天消息、武器、角色选择、角色动作、与角色相关联的事件或另一视频游戏玩家的特征中的至少一个。所述一个或多个物理生物反馈传感器可包括一个或多个脑电图(EEG)电极,以及生物反馈测量可包括EEG信号。为了分析生物反馈测量,所述至少一个处理器可实现至少一个模型,所述至少一个模型可操作为隔离所述多个单独组件中对所述视频游戏玩家的总体影响或印象作出贡献的单独组件。所述至少一个处理器可接收视频游戏玩家中的每个的类别信息,并且可分析生物反馈测量和类别信息,以确定视频游戏玩家的不同类别如何对视频游戏的各个组件进行不同的响应。所述至少一个处理器可基于所接收的生物反馈测量来估计视频游戏的意见。所述至少一个处理器可基于所接收的生物反馈测量来估计视频游戏的生命周期。所述至少一个处理器可基于所接收的生物反馈测量来确定视频游戏的不同部分之间的相似性。
视频游戏装置可概括为包括:一个或多个物理生物反馈传感器;至少一个非暂时性处理器可读存储介质,用于存储数据和指令中的至少一个;以及至少一个处理器,用于可操作地联接至所述至少一个非暂时性处理器可读存储介质和所述一个或多个物理生物反馈传感器,所述至少一个处理器在操作中:经由为视频游戏提供功能的用户界面向视频游戏玩家提供游戏玩法;从所述一个或多个物理生物反馈传感器,接收所述视频游戏玩家正在玩所述视频游戏时对所述视频游戏玩家的生物反馈测量;处理所述生物反馈测量,以确定所述视频游戏玩家在玩所述视频游戏期间的内部状态;以及至少部分地基于所确定的视频游戏玩家的内部状态来修改或增强视频游戏的游戏玩法。
所述至少一个处理器可利用所确定的内部状态来预测所述视频游戏玩家可能停止玩所述视频游戏。所述至少一个处理器可利用所确定的内部状态来确定视频游戏玩家对武器、角色、地图、游戏模式、教程、游戏更新、用户界面、终端或游戏环境中的至少一个的印象。生物反馈测量可包括神经信号、EEG信号、EMG信号、EOG信号、fNIR信号、指示血流的信号、功能近红外光谱(fNIR)光谱信号、力敏电阻器(FSR)信号、面部表情检测信号、瞳孔扩张指示信号、眼睛运动信号或手势运动信号中的至少一个。所述一个或多个物理生物反馈传感器中的至少一个可结合到头戴式显示器(HMD)设备中。
视频游戏装置还可包括承载所述一个或多个物理生物反馈传感器中的至少一个的头戴式显示器(HMD)设备。
视频游戏装置可概括为包括:一个或多个物理神经刺激器;至少一个非暂时性处理器可读存储介质,用于存储数据和指令中的至少一个;以及至少一个处理器,可操作地联接至所述至少一个非暂时性处理器可读存储介质和所述一个或多个物理神经刺激器,所述至少一个处理器在操作中:经由为视频游戏提供功能的用户界面向视频游戏玩家提供游戏玩法;以及在视频游戏玩家玩视频游戏时,通过所述一个或多个物理神经刺激器向视频游戏玩家提供神经刺激,从而为视频游戏玩家提供增强的体验。
神经刺激可提供以下所列中的至少一个:对视频游戏玩家的焦点的改进、对视频游戏玩家的记忆的改进、对视频游戏玩家的学习能力的改进、对视频游戏玩家的唤醒的改变、对视频游戏玩家的视觉感知的修改、或对视频游戏玩家的听觉感知的修改。所述一个或多个物理神经刺激器可包括非侵入式神经刺激器或侵入式神经刺激器中的至少一个。所述一个或多个物理神经刺激器可包括经颅磁刺激装置、经颅电刺激装置、基于微电极的装置或可植入装置中的至少一个。所述一个或多个物理神经刺激器可操作为提供感觉刺激或运动刺激中的至少一种。
附图说明
参考以下附图来描述本公开的非限制性和非穷举性实施方式。在附图中,除非另有说明,否则在各个附图中相同的附图标记表示相同的组件。
为了更好地理解本公开,将参考以下将结合附图阅读的详细描述,在附图中:
图1示出了说明适于实现本公开的一个或多个特征的环境的一个实施方式的图示框图;
图2示出了在图1的环境中使用的客户端设备的一个实施方式;
图3示出了在图1的环境中使用的网络设备的一个实施方式;
图4示出了使用来自游戏玩家的生物反馈测量来修改视频游戏中的游戏玩法状态的过程的一个实施方式的流程图;
图5示出了对来自游戏玩家的生物反馈测量执行分析以在视频游戏中使用的过程的一个实施方式的流程图;
图6示出了用于查询生物反馈应用程序编程接口(API)以进行生物反馈测量的查询的非穷尽、非限制性示例的一个实施方式;
图7示出了使用生物反馈测量以用于修改在战场视频游戏中的游戏玩法状态的非穷举的非限制性示例的一个实施方式;
图8示出了使用生物反馈测量来修改空间视频游戏中的游戏玩法状态的非穷举的非限制性示例的一个实施方式;
图9示出了基于视频游戏玩家的跟踪注视位置动态修改或增强视频游戏的游戏玩法的过程的一个实施方式的流程图;
图10示出了检测用户界面的用户即将到来的运动的过程的一个实施方式的流程图;
图11示出了更新或训练模型的过程的一个实施方式的流程图,该模型可操作为检测用户界面的用户的即将来临的移动;
图12示出了说明适于实现本公开的一个或多个特征的环境的一个实施方式的图示框图;以及
图13示出了通过分析生物反馈测量来修改用户界面以弥补操作用户界面的用户的困难的过程的一个实施方式的流程图。
图14示出了对来自操作视频游戏装置的用户的生物反馈测量执行分析以在视频游戏的游戏玩法过程中确定用户对多个单独组件的响应的过程的一个实施方式的流程图。
图15示出了对来自操作视频游戏系统的用户群体的生物反馈测量执行分析以修改或增强视频游戏的过程的一个实施方式的流程图。
图16示出了对来自操作视频游戏系统的用户的生物反馈测量执行分析以确定用户的内部状态以及修改或增加视频游戏的过程的一个实施方式的流程图。
图17示出了在视频游戏系统的视频游戏玩法期间向用户提供神经刺激以增强用户的游戏体验的过程的一个实施方式的流程图。
图18是示出用于在用户(例如,视频游戏玩家)的大脑中诱导、书写或以其它方式创建信号以增强用户体验的非限制性示例机制的图示。
图19是示出根据本公开的实施方式的脑-计算机接口(BCI)的各种潜在特征的图示。
图20是显示引起神经元激发的输入的图,该输入包括感觉感知、内部认知和外部影响。
图21是示出具有本公开的各种特征的BCI的图,该BCI可实现成为视频游戏玩家提供增强的体验。
具体实施方式
现在参考附图在下文中更全面地描述本公开的一个或多个实施方式,所述附图形成本文的一部分,并且通过示例的方式示出了具体的示例性实施方式。然而,本公开的实施方式可以以许多不同的形式来体现,并且不应被解释为限于本文所述的实施方式。相反,提供这些实施方式使得本公开彻底和完整,并且将本公开的范围完全传达给本领域技术人员。其中,一个或多个实施方式可实现为方法或设备。因此,实施方式可采取完全硬件实施方式、完全软件实施方式或结合软件和硬件方面的实施方式的形式。因此,不应认为以下详细描述是限制性的。
在整个说明书和权利要求书中,除非上下文另有明确规定,否则以下术语采用本文中明确关联的含义。这里使用的表述“在一个实施方式中”并不一定指同一实施方式,尽管也可指同一实施方式。另外,这里使用的表述“在另一实施方式中”不一定指不同的实施方式,尽管也可指不同的实施方式。因而,如下所述,在不脱离本公开的范围或精神的情况下,可容易地组合各种实施方式。
另外,如本文所使用的,术语“或”是包括性的“或”运算符,并且等同于术语“和/或”,除非上下文另外明确指出。术语“基于”不是排他性的,并且允许基于未描述的附加因素,除非上下文另外明确指出。另外,在整个说明书中,“一”、“一个”和“该”的含义包括复数。“在……中”的含义包括“在……中”和“在……上”。
如本文所用,术语“生物反馈”和“生理学”是指游戏玩家的特定和可量化的身体功能的测量。这种生物反馈测量通常也称为无意识的或非故意的身体功能的测量。这种生物反馈测量可包括但不限于血压、心率、眼睛运动、瞳孔扩张、皮肤温度、汗腺活动、肌肉紧张、神经元活动、本文讨论的其它测量等。如这里进一步描述的是,这种测量可用于推断游戏玩家的唤醒状态或情绪状态。注意,唤醒状态不仅包括情绪状态,还包括生理状态。另外,如在此所使用的是,唤醒状态还包括基于生理测量来确定接合、化合价(valence)和/或其它用户状态。如本文所用,脑-计算机接口(BCI)是指将神经元信号转换为用于外部系统的可动作输入的通信路径。
以下简要地描述实施方式,以便提供对本公开的一些方面的基本理解。该简要描述不旨在作为广泛的概述。该简要描述不旨在标识紧要或关键元素,或描绘或以其它方式缩小范围。其目的仅仅是以简化的形式呈现一些概念,作为稍后呈现的更详细的描述的序言。
简而言之,各种实施方式针对使用布置在视频游戏玩家上或附近的一个或多个物理传感器来获得关于游戏玩家的生物反馈测量,所述生物反馈测量可用于动态修改视频游戏的玩法状态或提供其它功能。在一个实施方式中,可基本上实时地执行修改。在另一实施方式中,可执行修改以便在随后的玩法中使用。物理传感器可连接至游戏玩家,并且在一些实现中可替换和/或以其它方式增加传统的物理游戏控制器。在另一实施方式中,物理传感器不需要连接至游戏玩家,而是可位于游戏玩家附近。这种物理上不连接的传感器的非限制性示例包括摄像机、眼睛跟踪系统、游戏玩家可站在其上的重量/位置传感器垫等。传感器布置成收集各种生物反馈测量,诸如心脏活动、皮肤电反应、体温、眼睛运动、头部或其它身体运动等,并将这些测量提供给生物反馈应用编程接口(API)。在进行视频游戏之前和/或期间,视频游戏可向生物反馈API查询关于游戏玩家的唤醒状态、情绪状态、认知状态等的推断,如以下基于生物反馈测量的进一步描述。然后,基于对查询的响应,视频游戏修改视频游戏玩法的状态。以这种方式,视频游戏可确定游戏玩家的当前生理状态是否与视频游戏可寻求提供的体验的类型和/或级别一致。例如,如果确定游戏玩家的压力或唤醒状态高于给定阈值,则视频游戏可修改游戏玩法的状态,以向游戏玩家提供放松和/或恢复的机会。在另一实施方式中,在游戏玩家的压力或唤醒状态确定为低于另一阈值的情况下,视频游戏可修改游戏玩法的状态,以为游戏玩家提供提高的兴奋水平。
在一个实施方式中,阈值可基于关于特定游戏玩家的历史生物反馈测量和/或推断。在另一实施方式中,阈值可基于对当前视频游戏玩法的特定游戏玩家的分析。在又一实施方式中,阈值可基于对多个游戏玩家的统计分析。
在一个实施方式中,在视频游戏配置为多玩家视频游戏的情况下,还可获得来自其他游戏玩家的生物反馈测量,并将其用于进一步修改视频游戏玩法的状态。
示例性操作环境
图1示出了总体示出了其中可实践本公开的一个或多个特征的系统的一个实施方式的概观的框图。系统100可包括比图1中所示的组件更少或更多的组件。然而,所示的组件足以公开说明性实施方式。如图所示,系统100包括局域网(“LAN”)/广域网(“WAN”)-(网络)105、无线网络111、客户端设备101、游戏服务器设备(GSD)110和生物反馈传感器120。
下面结合图2更详细地描述可用作客户端设备101的客户端设备的一个实施方式。然而,简言之,客户端设备101实际上可包括能够通过诸如网络111等的网络接收和发送消息的任何移动计算设备。这种设备包括便携式设备,诸如射频(RF)设备、红外(IR)设备、个人数字助理(PDA)、游戏控制台、手持计算机、膝上型计算机、可佩戴计算机、平板计算机、组合一个或多个前述设备的集成设备等。客户端设备101实际上还可包括通常使用诸如网络105的有线通信介质连接的任何计算设备,诸如个人计算机、多处理器系统、基于微处理器或可编程消费电子产品、网络PC等。因而,在一个实施方式中,客户端设备101可配置为在有线和/或无线网络上操作。
客户端设备101通常在能力和特征方面具有广泛的范围。例如,手持设备可具有数字小键盘和几行单色LCD显示器,在该显示器上可只显示文本。在另一示例中,web启用的客户端设备可具有触摸敏感屏幕、指示笔以及可在其中显示文本和图形的几行彩色LCD显示器。
web启用的客户端设备可包括浏览器应用程序,该浏览器应用程序配置为接收和发送网页、基于web的消息等。浏览器应用程序可配置为接收和显示图形、文本、多媒体等,实际上使用任何基于web的语言,包括无线应用程序协议消息(WAP)等。在一个实施方式中,浏览器应用程序能够使用手持设备标记语言(HDML)、无线标记语言(WML)、WMLScript、JavaScript、标准通用标记语言(SMGL)、超文本标记语言(HTML)、可扩展标记语言(XML)等来显示和发送信息。
客户端设备101还可包括配置成从另一计算设备接收内容的至少一个应用程序。该应用程序可包括向计算机应用提供和接收文本内容、多媒体信息、组件等的能力。该应用程序还可提供标识其自身的信息,包括类型、能力、名称等。在一个实施方式中,客户端设备101可通过多种机制中的任何一种来唯一地标识自己,所述机制包括电话号码、移动标识号码(MIN)、电子序列号(ESN)、移动设备标识符、网络地址或其它标识符。标识符可在发送至另一计算设备的消息等中提供。
客户端设备101还可配置为在另一计算设备之间传送消息,诸如通过电子邮件、短消息服务(SMS)、多媒体消息服务(MMS)、即时消息(IM)、因特网中继聊天(IRC)、Mardam-Bey的IRC(mIRC)、Jabber等。然而,本公开不限于这些消息协议,并且实际上可使用任何其它消息协议。因而,在一个实施方式中,客户端设备101可使用户能够参与一个或多个消息传递会话,诸如聊天会话、具有消息传递的游戏会话等。这样的消息传递会话可为面向文本的,因为通信是使用文本来实现的。然而,使用采用其它机制进行通信的客户端设备101,可进行其它消息传递会话,包括但不限于音频、图形、视频和/或文本、音频、图形和/或视频的组合。
客户端设备101可配置成从各种生物反馈传感器120接收消息、图像和/或其它生物反馈测量。图1中所示的是可能的物理生物反馈传感器120的非限制性的、非穷尽的示例,其可连接至或不连接至用户,替换传统的物理游戏控制器和/或以其他方式增强传统的物理游戏控制器。因而,如图所示,生物反馈传感器120可集成在游戏控制器(传感器123)、一个或多个键、轮等内、在键盘(传感器124)上。在一个实施方式中,游戏控制器可包括模块化和/或可插入组件,该组件可包括模块化和/或可插入传感器(123)。
类似地,生物反馈传感器120可包括相机121、触摸板122、或甚至头部装置125(例如,并入到头戴式显示器(HMD)装置中)。然而,如上所述,也可使用其它生物反馈传感器120,包括眼镜、腕带、手指传感器附件、集成在计算机鼠标内或计算机鼠标上的传感器、用于测量各种语音模式的麦克风等。因而,对于本领域的技术人员显而易见的是,各种实施方式实际上可采用可配置为获得游戏玩家的生物反馈测量的任何机制。
生物反馈传感器120可布置成在视频游戏进行之前、之后和/或期间收集游戏玩家的各种测量。这种测量包括但不限于心率和/或心率变异性;皮肤电反应;体温;眼睛运动;头部、面部、手或其它身体运动、姿势、位置、面部表情、姿势、面部紧张等。另外,生物反馈传感器120可收集其他测量,包括血氧水平、其他形式的皮肤电导水平、呼吸速率、皮肤张力、语音应激水平、语音识别、血压、脑电图(EEG)测量、肌电图(EMG)测量、响应时间、眼电图(EOG)、血流(例如、经由IR照相机)、功能性近红外光谱(fNIR)光谱、力敏电阻(FSR)等。
生物反馈传感器120可向客户端设备101提供测量。在一个实施方式中,可通过各种有线和/或无线连接中的任何一种将所述测量提供给客户端设备101。因而,生物反馈测量可通过各种电缆、电线等进行通信,其它信息也可通过这些电缆、电线等进行通信,以便进行游戏。例如,生物反馈测量可通过USB电缆、同轴电缆等进行传输,鼠标,键盘,游戏控制器等也通过USB电缆、同轴电缆等联接至客户端设备101。然而,在另一实施方式中,可采用不同的有线连接。类似地,生物反馈传感器120可采用各种无线连接来传递生物反馈测量。另外,可使用各种通信协议中的任一种来传送测量。因而,本公开不应被解释为限于特定的有线或无线通信机制和/或通信协议。
在一个实施方式中,客户端设备101可包括生物反馈设备接口(BFI),该生物反馈设备接口配置为确定一个或多个物理传感器120是否工作,以及管理从物理传感器120接收生物反馈测量。下面结合图2更详细地描述BFI的一个实施方式。然而,简言之,BFI可进一步对所接收的生物反馈测量加时间戳,缓冲测量中的至少一些,和/或将测量转发至GSD 110,以用于修改当前或将来的视频游戏玩法的状态。对接收到的生物反馈测量值的缓冲可使BFI能够对接收到的测量值执行质量分析,并基于分析结果提供警报消息。
无线网络111配置为将客户端设备101与网络105联接。无线网络111可包括多种无线子网络中的任何一种,其可进一步覆盖独立的自组织网络等,从而为客户端设备101提供面向基础设施的连接。这样的子网络可包括网状网络、无线LAN(WLAN)网络、蜂窝网络等。
无线网络111还可包括通过无线无线电链路等连接的终端、网关、路由器等的自治系统。这些连接器可配置成自由地和随机地移动,并且任意地组织自身,使得无线网络111的拓扑可快速地改变。
无线网络111还可采用多种接入技术,包括用于蜂窝系统、WLAN、无线路由器(WR)网格等的第二代(2G)、第三代(3G)、第四代(4G)无线接入。诸如2G、2.5G、3G、4G之类的接入技术以及未来的接入网络可实现对诸如具有不同程度移动性的客户端设备101之类的客户端设备的广域覆盖。例如,无线网络111可通过诸如全球移动通信系统(GSM)、通用分组无线业务(GPRS)、增强型数据GSM环境(EDGE)、宽带码分多址(WCDMA)、蓝牙等的无线网络接入来实现无线连接。实质上,无线网络111实际上可包括任何无线通信机制,通过该无线通信机制,信息可在客户端设备101和另一计算设备、网络等之间传播。
网络105配置为将诸如GSD 110的计算设备联接至其他计算设备,包括潜在地通过无线网络111联接至客户端设备101。然而,如图所示,客户端设备101也可通过网络105连接至GSD 110。在任何情况下,网络105都能够采用任何形式的计算机可读介质来将信息从一个电子设备传送至另一电子设备。另外,除了局域网(LAN)、广域网(WAN)、诸如通过通用串行总线(USB)端口的直接连接、其它形式的计算机可读介质或其任何组合之外,网络105还可包括因特网。在互连的LAN集合上,包括基于不同体系结构和协议的LAN集合,路由器充当LAN之间的链路,使得消息能够从一个LAN发送至另一LAN。另外,LAN内的通信链路通常包括双绞线或同轴电缆,而网络之间的通信链路可利用模拟电话线,包括T1、T2、T3和T4的完整或部分专用数字线、综合业务数字网(ISDN)、数字用户线(DSL),包括卫星链路的无线链路,或本领域技术人员已知的其它通信链路。另外,远程计算机和其它相关电子设备可通过调制解调器和临时电话链路远程连接至LAN或WAN。实质上,网络105包括信息可在计算设备之间传播的任何通信方法。
下面结合图3来更详细地描述GSD 110的一个实施方式。然而,简言之,GSD 110可包括能够连接至网络105以使用户能够参与一个或多个在线游戏的任何计算设备,该一个或多个在线游戏包括但不限于多人游戏以及单人游戏。因而,尽管图1示出了具有生物反馈传感器120的单个客户端设备101,但是本公开不限于此,并且可在系统100内部署具有生物反馈传感器的多个类似客户端设备。
因此,GSD 110配置成从一个或多个游戏玩家接收各种生物反馈测量,并采用所接收的测量来修改视频游戏的状态。GSD 110可使用生物反馈来基于生物反馈测量动态地调整游戏玩法难度、和/或视频游戏的其它方面。例如,在一个实施方式中,如果基于阈值确定用户正经历被定义为过度的压力水平,则GSD 110内的视频游戏可提供不同的游戏玩法,以使得能够降低所确定的压力水平。
GSD 110还可使得视频游戏能够基于游戏玩家的生物反馈测量在每次玩游戏时提供独特体验。例如,在一个实施方式中,可基于生物反馈测量来调整对象的颜色、游戏角色的大小、形状和/或动作等。也就是说,可基于生物反馈测量的分析结果来修改在游戏背景内显示的背景的各个方面。
在一个实施方式中,可存储并分析历史测量,以使GSD 110能够检测特定游戏玩家或修改特定游戏玩家的当前游戏玩法。然后,这样存储的测量可用于个性化特定游戏玩家的游戏玩法,基于确定的趋势确定来识别特定游戏玩家的游戏玩法中的变化等。在一个实施方式中,历史测量连同生物反馈测量的分析可用于确定游戏玩家当前是否与先前的用户简档相关联,即,该游戏玩家是否是先前已经玩游戏的人。GSD 110还可基于游戏玩家在玩游戏期间的参与程度的确定、历史模式等来调整所提供的游戏玩法的类型。
GSD 110还可完全或部分地基于游戏玩家的生理或情绪状态来提供匹配决策,所述游戏玩家可寻求多人游戏会话。在其它实施方式中,GSD 110可基于所接收的生物反馈测量来动态调整游戏玩法指令、指导等。例如,在确定游戏玩家不耐烦或对指令、教程等不感兴趣的情况下,GSD 110可使材料能够弹出、跳过等。可替代地,在可能基于生物反馈测量来确定游戏玩家迷惑或具有进行决策的困难时间的情况下,可提供指导或其它指导来帮助游戏玩家。
然而,GSD 110不限于可如何使用生物反馈测量的这些示例,也可使用采用生物反馈测量来修改游戏玩法状态的其它方式。例如,可采用生物反馈测量来直接控制游戏的一个方面。下面结合图8更详细地描述这样的一个非限制性示例。
在其它实施方式中,GSD 110可在游戏角色内描绘游戏玩家的情绪、生理状态和/或游戏玩家表达的其它方面。例如,基于所接收的用于游戏玩家的生物反馈测量结果,可将游戏玩家的化身修改成显示以游戏玩家的心脏的速率跳动的心脏,或可将化身显示为以游戏玩家的速率呼吸,或出汗,或乃至显示面部表情或身体位置。因而,GSD 110可以以多种方式中的任何一种采用生物反馈测量来修改游戏玩法的状态。
可作为GSD 110操作的设备包括个人计算机、台式计算机、多处理器系统、视频游戏控制台、基于微处理器的或可编程的消费者电子产品、网络PC、服务器设备等。
另外,尽管GSD 110被示为单个网络设备,但是本公开不限于此。例如,在不脱离本公开的范围或精神的情况下,与GSD 110相关联的一个或多个功能可在分布于对等(peer-to-peer)系统结构等上的多个不同网络设备中实现。因而,如下面结合图3所描述的是,网络设备300配置为使用生物反馈测量来管理游戏玩法以修改游戏的状态。然而,也可设想其它配置。
例如,在另一实施方式中,客户端设备101可配置为包括来自GSD110的组件,使得客户端设备101可独立于GSD 110操作。即,在一个实施方式中,客户端设备101可包括具有生物反馈、生物反馈应用编程接口(API)等的游戏软件,并且在不使用到GSD 110的网络连接的情况下操作。因此,客户端设备101可基本上作为具有到生物反馈传感器的接口的独立游戏设备以及用于用户享受的其它输入/输出设备来操作。因此,本公开不受附图中所示的配置的限制或以其它方式限制。
尽管在图1中示出了具有单个游戏玩家和‘单组’生物反馈传感器120的单个客户端设备101,但是也可设想其它实施方式。例如,在一个实施方式中,多个游戏玩家可通过同一客户端设备101或者通过经由网络连接在一起的多个客户端设备来交互和玩同一视频游戏,其中每个游戏玩家均具有各自的生物反馈传感器。因而,多玩家配置可在多个游戏玩家享用相同或不同的客户端设备时包括这样的变化。因此,不应将图1解释为限于单个游戏玩家配置。
示例性客户端设备
图2示出了可包括于实现本公开的系统中的客户端设备200的一个实施方式。客户端设备200可包括比图2所示的组件多或少的组件。例如,客户端设备200可配置为具有简化的组件集,以用作独立的视频游戏装置。然而,所示的组件足以公开说明性实施方式。客户端设备200例如可代表图1的客户端设备101。
如图2所示,客户端设备200包括经由总线224与大容量存储器230通信的处理单元(CPU)222。客户端设备200还包括电源226、一个或多个网络接口250、音频接口252、显示器254、小键盘256、照明器258、输入/输出接口260、触觉接口262和全球定位系统(GPS)接收器264,其中音频接口252可配置成接收音频输入以及提供音频输出。电源226向客户端设备200供电。可再充电或不可再充电电池可用于提供电力。电力也可由外部电源提供,诸如AC适配器或补充和/或再充电电池的动力对接支架。客户端设备200还可包括图形接口266,图形接口266可配置为接收图形输入,诸如通过照相机、扫描仪等。
网络接口250包括用于将客户端设备200联接至一个或多个网络的电路,并且构造成与一个或多个通信协议和技术一起使用,该通信协议和技术包括但不限于全球移动通信系统(GSM)、码分多址(CDMA)、时分多址(TDMA)、用户数据报协议(UDP)、传输控制协议/因特网协议(TCP/IP)、SMS、通用分组无线业务(GPRS)、WAP、超宽带(UWB)、IEEE 802.16全球微波接入互操作性(WiMax)、SIP/RTP、蓝牙、Wi-Fi、Zigbee、UMTS、HSDPA、WCDMA、WEDGE、或各种其它有线和/或无线通信协议中的任一种。网络接口250有时被称为收发器、收发设备或网络接口卡(NIC)。
音频接口252布置成产生和接收音频信号,诸如人类语音的声音。例如,音频接口252可联接至扬声器和麦克风(未示出),以实现与其他人的通信和/或生成用于某些动作的音频确认。显示器254可为液晶显示器(LCD)、气体等离子体、发光二极管(LED)或与计算设备一起使用的任何其它类型的显示器。显示器254还可包括触敏屏幕,触敏屏幕布置成接收来自诸如手写笔或来自人手的手指的对象的输入。
小键盘256可包括布置成接收来自用户的输入的任何输入设备。例如,小键盘256可包括按钮数字拨号或键盘。小键盘256还可包括与选择和发送图像、玩游戏、消息传递会话等相关联的命令按钮。在一个实施方式中,小键盘256可包括各种生物反馈传感器,该生物反馈传感器布置成获得各种测量,包括但不限于压力读数、响应时间读数、汗液读数等。
照明器258可提供状态指示和/或提供光。照明器258可在特定的时间段内保持活动或响应事件。例如,当照明器258处于活动状态时,可对小键盘256上的按钮提供背光,并且在客户端设备通电时保持打开。另外,当执行特定动作时,诸如拨打另一客户机装置时,照明器258可以以各种模式对这些按钮进行背光。照明器258还可使得位于客户端设备的透明或半透明外壳内的光源响应于动作而照明。
客户端设备200还包括输入/输出接口260,输入/输出接口260用于与诸如头戴式耳机的外部设备或其它输入或输出设备进行通信,该其它输入或输出设备包括但不限于操纵杆、鼠标等。如上结合图1所述,客户端设备200还可配置为通过输入/输出接口260与一个或多个生物反馈传感器进行通信。输入/输出接口260可利用一种或多种通信技术,诸如USB、红外、蓝牙等。触觉接口262布置成向客户端设备的用户提供触觉反馈。例如,当计算设备的另一用户正在呼叫时,触觉接口可用于以特定方式振动客户端设备200。
GPS收发器264可确定客户端设备200在地球表面上的物理坐标,GPS收发器264通常以纬度和经度值输出位置。GPS收发器264还可采用其它地理定位机制,包括但不限于三角测量、辅助GPS(AGPS)、E-OTD、CI、SAI、ETA、BSS等,以进一步确定客户端设备200在地球表面上的物理位置。应当理解的是,在不同条件下,GPS收发器264可确定客户端设备200在毫米内的物理位置;以及在其它情况下,所确定的物理位置可能不太精确,诸如在一米内或明显更远的距离。然而,在一个实施方式中,客户端设备200可通过其它组件提供可用于确定设备的地理物理位置的其它信息,包括例如MAC地址、IP地址或其它网络地址。
大容量存储器230包括RAM 232、ROM 234和/或其它存储器。大容量存储器230示出了用于存储诸如计算机可读指令、数据结构、程序模块或其它数据的信息的计算机存储介质的另一示例。大容量存储器230存储用于控制客户端设备200的低级操作的基本输入/输出系统(“BIOS”)240。大容量存储器还存储用于控制客户端设备200的操作的操作系统241。应当理解的是,该组件可包括通用操作系统,诸如UNIX或LINUXTM的版本,或专用客户端通信操作系统,诸如Windows MobileTM
Figure BDA0003262786080000171
操作系统,或者乃至各种视频游戏控制台操作系统中的任一种。操作系统可包括Java虚拟机模块或与Java虚拟机模块接口,该Java虚拟机模块能够经由Java应用程序来控制硬件组件和/或操作系统操作。
存储器230还包括一个或多个数据存储器244,数据存储器244可由客户端设备200用于存储应用程序和/或其它数据等。例如,数据存储器244还可用于存储描述客户端设备200的各种能力的信息、设备标识符等。能力信息还可基于各种事件中的任一种而提供给另一设备,包括在通信期间作为数据头的部分进行发送、在请求时进行发送等。数据存储器244还可用于缓冲从生物反馈传感器接收的一个或多个测量。
在一个实施方式中,数据存储244还可包括cookie、计算机应用的部分、用户偏好、游戏玩法数据、消息数据和/或其它数字内容等。所存储的数据的至少部分还可存储在可选硬盘驱动器272、可选便携式存储介质270或客户端设备200内的其它存储介质(未示出)上。
应用程序242可包括计算机可执行指令,当由客户端设备200执行时,所述计算机可执行指令发送、接收和/或以其它方式处理消息(例如,SMS、MMS、IMS、IM、电子邮件和/或其它消息)、音频、视频,并实现与另一客户端设备的另一用户的电子通信。应用程序的其它示例包括日历、浏览器、电子邮件客户端、IM应用、VOIP应用、联系人管理器、任务管理器、数据库程序、字处理程序、安全应用、电子表格程序、搜索程序等。应用242还可包括浏览器245、通讯器243、游戏客户端248和生物反馈设备接口(BFI)249。
通讯器243可配置为使用各种消息通信中的任何一种来发起和管理消息会话,所述消息通信包括但不限于电子邮件、短消息服务(SMS)、即时消息(IM)、多媒体消息服务(MMS)、因特网中继聊天(IRC)、mIRC、VOIP等。例如,在一个实施方式中,通讯器243可配置为IM应用,诸如AOL Instant Messenger、Yahoo!Messenger、.NET Messenger server、ICQ等。在一个实施方式中,通讯器243可配置为包括邮件用户代理(MUA),诸如Elm、Pine、MH、Outlook、Eudora、Mac Mail、Mozilla Thunderbird等。在另一实施方式中,通讯器243可为配置成集成和采用各种消息传递协议的客户端应用程序。另外,通讯器243可配置为同时管理多个消息传递会话,使得用户能够在不同的消息传递会话和/或相同的消息传递会话中与多个不同的其他用户进行通信。如这里所使用的,术语“主动消息传递会话”指的是这样的消息传递会话,其中用户可独立于必须重新启动和/或重新建立消息传递会话而与另一用户通信。因而,将消息传递会话保持为活动指示消息传递会话建立,并且还没有被终止,或以其它方式置于休眠模式或其他非活动模式中,由此可不活动地发送和/或接收消息。
浏览器245实际上可包括配置成使用实际上任何基于web的语言来接收和显示图形、文本、多媒体等的任何客户端应用程序。在一个实施方式中,浏览器应用程序能够使用手持设备标记语言(HDML)、无线标记语言(WML)、WMLScript、JavaScript、标准通用标记语言(SMGL)、超文本标记语言(HTML)、可扩展标记语言(XML)等来显示和发送消息。然而,也可使用各种其它基于web的语言中的任何一种。
游戏客户端248表示游戏应用组件,该游戏应用组件配置为使用户能够选择要玩的一个或多个游戏,注册以访问所述一个或多个游戏,和/或启动所述一个或多个游戏来进行在线交互玩游戏。在一个实施方式中,游戏客户端248可通过网络与诸如GSD 110等的网络设备建立通信,以允许注册、购买、访问和/或玩一个或多个计算机游戏。
游戏客户端248可经由各种用户输入设备从用户接收启动计算机游戏的指示,所述用户输入设备包括但不限于上述那些设备。然后,游戏客户端248可使得能够在客户端设备200和GSD 110、另一客户端设备等之间进行游戏数据通信。
在一个实施方式中,游戏客户端248表示计算机游戏应用程序;然而,游戏客户端248不限于游戏应用,以及实际上也可表示任何交互式计算机应用、或其它交互式数字内容。因而,虽然这里描述为采用生物反馈测量来修改视频游戏玩法的状态,但是不应将本公开解释为限于视频游戏,并且也可修改其它应用的状态。例如,可基于生物反馈测量来修改呈现、指导等。
因而,在一个实施方式中,游戏引擎248表示可用于启用在线多用户游戏和/或单个游戏玩家使用的客户端组件。这种计算机游戏的非穷举的、非限制性的示例包括但不限于Half-Life、Team Fortreat、Portal、Counter-Strike、Left 4Dead、以及由ValveCorporation of Bellevue、Washington开发的Defeat Day。
BFI 249配置为检测一个或多个生物反馈传感器的连接,并收集从这样的传感器接收的测量。在一个实施方式中,BFI 249可向远程网络设备和/或游戏客户端248提供指示检测到与生物反馈传感器的连接的信息。BFI 249还可缓冲所接收的测量中的至少一些。在另一实施方式中,BFI 249可替代地选择实际上实时地向远程网络设备提供所接收的测量,而不存在缓冲。在一个实施方式中,BFI 249可将测量转换为可用于通过网络将测量传送至远程网络设备的格式和/或协议。在另一实施方式中,BFI 249可选择不通过网络传送测量,诸如当客户端设备200可配置为独立类型的视频游戏控制台时。在一个实施方式中,BFI249还可对接收到的测量值进行时间标记,使得可容易地对测量值进行相关。另外,BFI 249可向测量提供传感器源标识符,使得可基于其传感器源来区分测量。
BFI 249还可对所接收的测量执行一个或多个分析,以确定传感器是否正在提供错误的读数、是否已经断开连接等。这种确定可基于给定传感器的多个接收到的测量值随时间的比较,以检测来自接收到的测量值的预期范围的变化。例如,如果BFI 249检测到传感器测量值是心率传感器,并且测量指示心率例如每分钟2次搏动,或乃至每秒100次搏动,则BFI 249可确定传感器测量有故障。然而,应当清楚的是,BFI 249可采用其它范围值,并且不限于这些示例范围值。另外,BFI 249可对不同的传感器采用不同的范围值。在一个实施方式中,在游戏玩家暂时调整传感器的假设下,BFI 249可至少在给定时间段内在网络上提供所确定的故障测量。然而,在另一实施方式中,如果确定传感器在给定时间段之外发生故障,则BFI 249可选择停止传输测量,和/或向远程网络设备发送消息。
如上所述,结合图1,客户端设备200可配置为包括网络设备300的组件(下面结合图3描述),包括生物反馈API、游戏服务器组件等。在这样的实施方式中,客户端设备200可基本上作为独立的游戏控制台操作,而不与网络设备300通信。在这种配置中,客户端设备200可称为独立视频游戏装置。
示例性网络设备
图3示出了根据一个实施方式的网络设备的一个实施方式。网络设备300可包括比所示更多或更少的组件。然而,所示的组件足以公开说明性的实施方式。网络设备300可表示例如图1的GSD 110。
网络设备300包括处理单元312、视频显示适配器314和大容量存储器,它们都通过总线322相互通信。大容量存储器通常包括RAM 316、ROM 332、以及一个或多个诸如硬盘驱动器328的永久大容量存储设备、以及可表示磁带驱动器、光驱动器和/或软盘驱动器的可移动存储设备326。大容量存储器存储用于控制网络设备300的操作的操作系统320。可使用任何通用操作系统。还提供基本输入/输出系统(“BIOS”)318以用于控制网络设备300的低水平操作。如图3所示,网络设备300还可经由网络接口单元310与因特网或一些其它通信网络进行通信,网络接口单元310构造成用于各种通信协议,包括TCP/IP协议、Wi-Fi、Zigbee、WCDMA、HSDPA、蓝牙、WEDGE、EDGE、UMTS等。网络接口单元310有时称为收发器、收发设备或网络接口卡(NIC)。
如上所述的大容量存储器示出了另一种类型的计算机可读介质,即计算机存储介质。计算机可读存储介质可包括以用于存储诸如计算机可读指令、数据结构、程序模块或其它数据等信息的任何方法或技术实现的易失性的、非易失性的、可移动的和不可移动的介质。计算机可读存储介质的示例包括RAM、ROM、EEPROM、闪存或其它存储器技术、CD-ROM、数字多功能盘(DVD)或其它光存储、磁带盒、磁带、磁盘存储或其它磁存储设备、或可用于存储所需信息并可由计算设备访问的任何其它介质。
大容量存储器还存储程序代码和数据。在一个实施方式中,大容量存储器可包括数据存储器356。数据存储356实际上包括配置和布置成存储数据的任何组件,所述数据包括但不限于游戏玩家偏好、游戏玩法状态和/或其它游戏玩法数据、消息数据、生物反馈测量等。数据存储356实际上还包括配置和布置成存储和管理数字内容的任何组件,例如计算机应用、视频游戏等。这样,可使用数据库、文件、目录等来实现数据存储356。所存储的数据的至少部分还可存储在硬盘驱动器328、诸如cd-rom/dvd-rom驱动器326的便携式设备上,或乃至存储在网络设备300内的其它存储介质(未示出)上,或远程地存储在另一网络设备上。
一个或多个应用程序350加载到大容量存储器中,并且在操作系统320上运行。应用程序的示例可包括代码转换器、调度器、日历、数据库程序、字处理程序、HTTP程序、可定制用户界面程序、IPSec应用程序、计算机游戏、加密程序、安全程序、VPN程序、SMS消息服务器、IM消息服务器、电子邮件服务器、帐户管理等。应用程序350还可包括web服务346、消息服务器354、具有生物反馈的游戏服务器(GSB)352和生物反馈API(BAPI)353。
Web服务346表示配置为通过网络向另一计算设备提供内容的各种服务中的任一种。因而,web服务346包括例如web服务器、消息传递服务器、文件传输协议(FTP)服务器、数据库服务器、内容服务器等。Web服务346可使用各种格式中的任一种通过网络提供内容,包括但不限于WAP、HDML、WML、SMGL、HTML、XML、cHTML、xHTML等。
消息服务器354实际上可包括配置和布置成管理来自消息用户代理和/或其它消息服务器的消息、或把消息传递到另一网络设备的消息应用的一个或多个任何计算组件。消息服务器354不限于特定类型的消息传递。因而,消息服务器354可为这种消息服务提供能力,包括但不限于电子邮件、SMS、MMS、IM、IRC、mIRC、Jabber、VOIP和/或一个或多个消息服务的组合。
GSB 352配置为使用从一个或多个诸如图1的客户端设备101的客户端设备获得的生物反馈信息来管理视频游戏的递送和播放。通常,GSB 352可通过网络向诸如游戏应用程序之类的应用程序向客户端设备提供组件。在一个实施方式中,所提供的组件中的至少一个使用各种加密机制中的任何一种来加密。例如,在一个实施方式中,密码技术的开源类库Crypto++用于加密或解密应用程序的组件。然而,实际上可使用任何其它加密和解密机制。
GSB 352还可从客户端设备接收和/或认证访问应用程序的请求。GSB 352可提供对诸如计算机游戏之类的应用的购买,启用对应用的播放的注册,和/或启用对应用的下载访问。
GSB 352还可通过在客户端设备之间接收和/或提供各种数据、消息等来实现参与多玩家应用的客户端设备之间的通信。
GSB 352可向生物反馈API(BAPI)353查询关于一个或多个游戏玩家的状态或唤醒的信息、和/或关于游戏玩家的其它信息。然后,GSB 352可基于接收到的对查询的响应来修改视频游戏玩法的状态。下面结合图6描述GSB 352可能提交给BAPI 353的查询的非限制性的、非穷举的示例。下面结合图7至图8描述可能修改视频游戏玩法的可能方式的非限制性的、非穷举的示例。在一个实施方式中,GSB 352通常可采用诸如下面结合图5至图6描述的过程来执行其至少一些动作。
BAPI 353配置成执行来自所接收的生物反馈测量的各种分析,并提供对来自GSB352的各种查询的响应。在一个实施方式中,BAPI 353可在数据存储356中收集和存储接收到的生物反馈测量,以使得能够执行数据分析,从而在要执行的时间段上进行审计、收集和分析历史数据等。在一个实施方式中,BAPI 353可基本上实时地对接收到的生物反馈测量执行至少一些分析。也就是说,一旦BAPI 353接收到测量,就对测量执行至少一些分析。
如上所述,BAPI 353可从多种不同的生物反馈传感器接收生物反馈测量,包括但不限于上面结合图1描述的那些生物反馈测量。在一个实施方式中,可将接收到的测量值识别为传感器源,诸如心率传感器、皮肤电流传感器等。
如上所述,BAPI 353可对接收到的测量进行分析。例如,BAPI 353可接收“原始”生物反馈测量,并根据测量从测量确定心跳。在另一实施方式中,BAPI 353可采用一个或多个测量来确定关于相关联的游戏玩家的其他生理信息。例如,BAPI 353可根据心脏传感器测量来计算心率变化性。类似地,BAPI 353可计算在定义的时间段上的心率活动的标准偏差,确定心率随时间的变化趋势,和/或确定其它心脏模式。BAPI 353可分析心率数据的频谱,包括使用例如傅立叶变换或类似的分析技术将心跳到心跳的间隔分解为各种频率。BAPI353还可采用各种测量来确定关于游戏玩家的其它生理信息,包括但不限于呼吸速率、放松水平、战斗或飞行数据等。
BAPI 353可存储分析的结果,以便在随后的游戏中使用,或者实际上实时地确定和使用该结果。BAPI 353还可执行各种重新校准活动,包括诸如渐进的重新校准活动。在一个实施方式中,可在传感器上执行重新校准活动,和/或考虑随时间的生理变化。
类似地,BAPI 353可使用基于生物反馈测量的历史数据,以通过包括模式匹配等的各种机制来识别特定的游戏玩家、简档等。BAPI 353还可基于诸如丢失和/或破坏生物反馈测量、模式改变等的活动来识别一个游戏玩家何时从传感器断开和/或由另一游戏玩家替代。
BAPI 353还可配置成通过分析所接收的生物反馈测量来检测特定的模式、条件等。例如,在一个实施方式中,BAPI 353可基于例如心率、血压和/或其它测量值之间的因果一致性来检测和/或甚至预测晕动病的发作。然而,BAPI 353还可检测可能具有保证向视频游戏玩家发送警报消息和/或GSB 352停止玩游戏的严重性的其它情况。然而,BAPI 353不限于这些动作,并且也可执行其他动作。
如上所述,BAPI 353还配置为基于对所接收的生物反馈测量的分析来推断游戏玩家的唤醒状态、情绪状态等。这种推断可基于所接收的测量和/或基于关于游戏玩家和/或其它游戏玩家的历史数据来执行。GSB 352可部分地基于推断向BAPI 353查询关于一个或多个游戏玩家的状态或唤醒的信息、和/或关于游戏玩家的其它信息。
在一个实施方式中,GSB 352可发送关于游戏玩家的唤醒状态的信息的查询请求。作为响应,BAPI 353可提供定性响应,诸如“快乐”、“悲伤”、“压抑”、“躺着”、“无聊”、“兴奋”等。然而,在另一实施方式中,响应可为指示幸福水平的定量响应,诸如从0到10等。然而,本公开不限于这些值或甚至限于该示例范围,并且清楚的是,可使用其他值和/或范围。例如,指示幸福水平的定量响应也可为字母等级。
在任何情况下,图6示出了GSB 352可发送至BAPI 353的查询的非穷举的、非限制性示例的一个实施方式。例如,如图所示,GSB 352可发送寻求确定游戏玩家“是否沮丧”的查询。类似地,GSB 352可发送寻求确定游戏玩家是否“无聊”、“放松”、“分神”(指示游戏玩家不集中在玩游戏上)等的查询。GSB 352还可查询游戏玩家是否“预期”某一动作。这种信息可基于例如皮肤电导水平、心率测量等。
GSB 352还可发送寻求特定生物反馈信息的查询,诸如“确定心率趋势”、“确定SCL趋势”(对于皮肤电导水平)等。GSB 352还可查询寻找关于游戏玩家过去状态的信息,例如“玩家惊恐”等。
如图6所示,GSB 352还可发送查询请求,以提供与其它信息相比关于游戏玩家的信息。例如,如图所示,GSB 352可查询以获得游戏玩家的当前状态和先前状态之间的比较,以及执行游戏玩家与其他游戏玩家、基线、基准等的比较。尽管图6提供了可能的查询的许多示例,但是显然也可执行其它查询。因而,本公开不限于这些示例。
然后,在任何情况下,GSB 352均利用查询的结果以各种方式中的任一种来修改游戏玩法的状态。在一个实施方式中,并且如这里所使用的,然后,查询GSB 352的结果可提供可被称为生物反馈信息或“生物特征”的结果。使用从游戏玩家的生物反馈获得的这种生物特性旨在提供比传统游戏更沉浸的游戏玩法体验。例如,游戏玩法的状态可通过启用玩家情绪状态的化身模仿来修改。例如,如果确定玩家快乐,则可将玩家的化身修改为看起来快乐。类似地,如果确定玩家生气,则可修改游戏玩法状态,以向玩家呈现与确定玩家是快乐的情况不同的一组游戏体验。
另外,在至少一个实施方式中,诸如游戏玩家的唤醒状态的生物特征可用于修改输入和/或输入/输出用户设备的特征。例如,操纵杆的颜色、操纵杆上的阻力水平等可由于游戏玩家的唤醒状态而进行修改。类似地,一些其它输入/输出用户设备的颜色可基于心跳速率、基于心率的强度和/或颜色的变化水平、压力水平、无聊或指示游戏玩家的唤醒状态的其它生物特性而变化。
应当注意的是,虽然将GSB 352和BAPI 353示为驻留在远离客户端设备(诸如图1的客户端设备101)的网络设备中,但是本公开不限于此。因而,在另一实施方式中,GSB 352和/或BAPI 353可驻留在客户端设备、多个不同的客户端设备中和/或跨越一个或多个不同的网络设备。类似地,BAPI 353可驻留在GSB 352内,而不脱离本公开的范围。
广义操作
现在将描述本公开的某些方面的操作。图4示出了使用来自游戏玩家的生物反馈测量来修改视频游戏中的游戏玩法状态的过程的一个实施方式的流程图。在一个实施方式中,图4的过程400可用图3的GSB 352和BAPI 353的组合来实现。
在开始框之后,图4的过程400在判定框402处开始,在判定框402处确定生物反馈传感器是否连接。这种确定可基于从客户端设备、玩家服务器应用等接收的标志、开关等。在另一实施方式中,可基于从一个或多个生物反馈传感器接收生物反馈测量来进行确定,其中所述测量被确定在预期范围内。例如,在接收到用于心率传感器的测量结果以指示背景噪声测量的情况下,可确定传感器是有故障的和/或没有连接的等等。在任何情况下,如果确定生物反馈传感器未连接以用于修改玩游戏的状态,则该过程进行到框420;否则,该过程进行到框404。
在框420,接收其它用户输入。这样的其它用户输入可包括但不限于操纵杆、游戏控制器、键盘、鼠标输入、音频输入等。与生物反馈测量输入相反,通常认为这种输入是游戏玩家一方的自愿或有意识动作的结果。然后,该过程继续进行到框422,在框422,基于这样的其它用户输入来修改游戏玩法的状态。然后,该过程进行到判定框416,在判定框416确定游戏是否继续进行。如果继续玩游戏,则该过程循环回到判定框402;否则,判定框416进行到框418,在框418游戏玩法结束。然后,该过程返回到调用过程以执行其它动作。
可替代地,如果在判定框402处确定连接生物反馈传感器,则该过程进行到框404,在框404处从一个或多个生物反馈传感器接收生物反馈测量。在一个实施方式中,接收生物反馈传感器包括对测量执行质量分析、对测量加时间戳、识别生物反馈传感器源等。另外,接收这种生物反馈测量可包括通过网络将测量发送至生物反馈API,如上所述。然后,该过程进行到框406,在框406接收其它用户输入,包括如结合框420所描述的自愿或有意识的用户输入。应当注意的是,框406和408可以以不同的顺序发生,或甚至可同时执行。
然后,该过程继续进行到框408,这将在下面结合图5更详细地描述。然而,简言之,对生物反馈测量进行分析以生成历史数据、和/或进行其它分析以确定游戏玩家的唤醒状态或其它生物特性。在一个实施方式中,当接收到生物反馈测量时,可基本上实时地执行框408。
该过程继续进行到框410,在框410,可在游戏应用(或其它交互应用)之前、期间和/或之后执行查询。这样的查询可包括但不限于上面结合图6描述的那些查询。
接下来继续到框411,基于诸如操纵杆输入、游戏控制器输入、键盘输入、音频输入、鼠标输入等的其它用户输入来修改游戏玩法的状态。然后,该过程进行到框412,基于获得游戏玩家的生物特征的查询结果,可修改游戏玩法的状态。修改游戏玩法状态的示例包括但不限于修改游戏中对手的类型和/或数量;修改游戏的节奏或速度;增加/减少游戏事件的时限;修改战斗、解密或其他挑战困难程度;修改游戏中的供给、提升物品和/或物品的其它方面的可用性;修改声音、音乐和/或其它音频特征的音量和/或类型;修改游戏的颜色或其它方面,包括游戏的背景特征;修改所述游戏内的照明、天气效果和/或其它环境方面;修改游戏内的各种角色的对话,包括可能修改表示游戏玩家的化身;提供或禁止游戏提示、建议、修改应用的外观或功能等。例如,在一个实施方式中,可基于各种生物特征来修改用户界面。类似地,教程、指令等也可通过跳过、减慢/加速呈现速率等来修改。对于本领域的普通技术人员来说,显然,可基于从查询得到的生物特征来采用修改游戏状态的其它方式。然后,该过程继续进行到判定框416,在判定框416中,如上所述,确定是否继续玩游戏。
图5示出了在视频游戏中使用的对来自游戏玩家的生物反馈测量执行分析的过程的一个实施方式的流程图。在一个实施方式中,图5的过程500可在图3的BAPI 353内实现。
在开始框之后,过程500在框502处开始,在框502处接收生物反馈测量。继续到框504,接收其它用户输入,诸如自愿或有意识的用户输入。在至少一个实施方式中,生物反馈测量的分析可采用或者由从自愿或有意识的用户输入获得的信息来补充。例如,在用户将特定命令、文本等键入键盘的情况下,文本或命令可用于补充对心率变异性等的解释。类似地,转到框506,可选择性地接收和使用其它游戏状态数据,以进一步帮助分析生物反馈测量。例如,这种游戏状态数据可指示游戏正在向游戏玩家呈现极难的挑战等。然而,可将心率测量确定为典型的处于休息状态的成年男性的心率测量。
因此,转到框508,可对所接收的生物反馈测量执行第一分析,以确定是否存在丢失和/或损坏的数据。在一个实施方式中,这种确定可指示生物反馈传感器有故障,或者游戏玩家已经移动了传感器等。在一个实施方式中,在确定测量在第一时间段内损坏或发生故障,但发现在第二时间段内未损坏或发生故障的情况下,可执行内插以使所接收的测量‘平滑’。在另一实施方式中,可将与损坏/故障测量相关联的传感器标记为损坏或以其它方式识别为损坏。在这种情况下,在一个实施方式中,可忽略来自标记的传感器的测量。在又一实施方式中,最近的、历史上已知为良好数据的数据可用于替换被确定为损坏/故障、丢失等的数据,从而在例如传感器重新调整和/或数据的其它扰动期间‘桥接’时间周期。
然后,处理进行到框510,在框510中,部分地使用其它接收到的数据对接收到的生物反馈测量执行第二分析,以确定游戏玩家的唤醒状态和/或其它生物特性。在框510期间使用信息的组合,可确定游戏玩家无聊、分神等。在任何情况下,应注意的是,框502、504、506和508可按另一次序执行,或甚至同时执行。
如本文所述,可使用各种机制来推断游戏玩家的生物特征和/或其它生理特征,包括执行统计分析、模式匹配等。在一个实施方式中,可使用关于一个或多个游戏玩家的历史信息来帮助执行分析,以推断游戏玩家的各种生物特征,包括游戏玩家的唤醒状态。
然后,处理进行到框512,在框512,在一个实施方式中,推断、测量和/或其它数据中的至少一些可用于更新用户简档。然后,处理进行到框514,在框514,可识别基于推断、生物反馈测量和/或其它数据的选定优先级条件。例如,在一个实施方式中,在可确定游戏玩家的测量可用于推断游戏玩家正在感觉不适的情况下,可识别这种状况以用于进一步的动作。因而,处理下一步进行至判定框516,在判定框516,确定是否识别了任何这样的优先级条件。如果是,则处理进行到框520,在框520,可向游戏玩家、管理员等发送警报。在一个实施方式中,可终止游戏玩法。然后,处理进行到判定框518。
然而,如果没有识别出优先级条件,则处理进行到判定框518,在判定框518,作出对所接收的生物反馈测量继续执行分析的确定。如果是,则处理循环回到框502;否则,处理可返回到调用过程。
下面叙述描述使用生物反馈测量来修改游戏的状态的几个可能的用例。然而,应当注意的是,本公开不限于这些使用情况,并且也可使用其它的情况。
如上所述,图6示出了用于查询生物反馈应用程序编程接口(API)以进行生物反馈测量的查询的非穷举的非限制性示例的一个实施方式。应注意的是,本发明不限于图6中所说明的这些查询实例,且也可使用其它实例。然而,如图所示,可执行各种不同的查询,包括但不限于确定玩家的唤醒水平和/或情绪水平。在一个实施方式中,关于唤醒的特定查询可包括玩家“快乐”、“悲伤”、“受挫”、“兴奋”、“进行中”(在玩游戏中)、“无聊”、“放松”或甚至“分神”。还可执行关于玩家是否被确定为预期某个动作、是否被惊吓、是否曾被惊吓等的查询。类似地,可获得特定的生物反馈,包括例如心率趋势、SCL趋势或一些其它信号趋势。在实施方式中,可与确定趋势的查询一起提供时间段。
查询不限于这些示例,并且其它查询可包括比较关于玩家和/或另一玩家的信息。在一个实施方式中,可生成任意查询。例如,可提交特定的公式、方程、生物反馈测量的组合等。
图7示出了使用生物反馈测量的非穷举的非限制性示例的一个实施方式,该非穷举的非穷举的示例用于修改战斗场战斗视频游戏中的游戏玩法状态。
如图所示,在开始框之后,图7的过程700在框702处开始,在框702处,执行配置为提供战斗场景的计算机游戏。计算机游戏的执行将玩家置于战斗场。也就是说,在一个实施方式中,可使用化身或机构来表示计算机游戏内的玩家。玩家采用一个或多个生物反馈传感器,例如上述的那些传感器。
因而,处理进行到框704,在框704,可在计算机游戏期间做出请求,以请求BAPI为玩家建立生物反馈测量的读数的基线。在一个实施方式中,生物反馈测量可包括心率基线、皮肤电导水平、或其他生物反馈测量,然后,可分析这些生物反馈测量,以确定玩家的唤醒或生物特性的基线状态。
然后,处理进行到框706,在框706处,将敌人引入到战斗场中,以便与玩家进行战斗。在一个实施方式中,敌人的选择基于确定的唤醒的基线状态。在一个实施方式中,基线可用于检测该玩家是否与用户简档相关联,该用户简档指示该玩家之前已经玩了该游戏或类似的游戏。基于用户简档,可也将敌人选择在确定为充分地挑战玩家而不使玩家无聊或感到挫败的级别。
处理接着进行到框708,在框708,在玩家和所提供的游戏敌人之间进行战斗。当战斗结束时,收集、记录和/或分析各种生物反馈测量。
在一个实施方式中,然后,处理进行到判定框710,在判定框710,确定战斗是否被解决。换言之,玩家或游戏敌人赢了?如果战斗被解决,则处理可进行到判定框712;否则,处理可循环回到框708。
在判定框712,可确定玩家是否打败了游戏敌人。如果是,则处理进行到框714;否则,处理进行到框722。
应当注意的是,在另一实施方式中,可去除判定框710,使得可在相同的战斗期间做出确定。也就是说,可修改判定框712,其中去除判定框710,从而确定玩家是都在打败或赢得游戏敌人。以这种方式,对游戏状态的改变可动态地修改相同的游戏战斗。
在任何情况下,在框722处,可向BAPI提供查询以分析在框708的战斗期间获得的生物反馈测量。在一个实施方式中,分析可包括将框708期间的唤醒状态与从框704的玩家的基线确定的唤醒状态进行比较。
然后,处理进行到判定框724,在判定框724,确定玩家在战斗期间是否具有低状态的唤醒。这种确定可基于与块722处的比较的差是否高于所定义的阈值。在另一实施方式中,可执行统计分析,以确定玩家是否在某个置信水平内被确定为被在统计意义上显著地唤醒。在任何情况下,如果确定玩家被唤醒,则处理进行到框728,在框728处,可将另一敌人引入到具有与前一敌人类似的力量水平或困难的游戏中。然后,处理流回框708。
然而,如果确定唤醒状态在统计意义上不显著,或者低于某个阈值,则处理进行到框726,在框726处引入比先前敌人更弱的敌人。然后,处理流回框708。
然而,如果在判定框712处确定玩家被打败或正被打败,则处理进行到框714,在框714处,执行与框722基本类似的查询。继续,在判定框716处,确定唤醒的玩家状态是否低,这基本上类似于判定框724的确定。如果唤醒状态为低,则处理进行到718;否则,处理进行到框720。
在框718,引入比先前敌人更强大的敌人。然后,处理循环回到框708。在框720,可引入具有与先前敌人相似的能力的敌人。然后,处理也循环回到框708。
清楚地,在将过程700修改为在同一战斗正在进行时对敌人的力量进行动态修改的情况下,敌人的替代可采取多种形式,包括例如仅增强或消除当前敌人的某些力量;引入和/或除去另外的敌人等。
图8示出了使用生物反馈测量来修改游戏玩法状态的另一非穷举的非限制性示例的另一实施方式。在图8的过程800中,所示的游戏是空间视频游戏。在该示例性游戏中,玩家挑战通过尝试控制其空气消耗来尝试保存一定量的氧气。例如,游戏可将玩家引导到在给定时间段(例如,五分钟)内将被抢救的情况。然而,如果以预定的“常规”消耗速率消耗,比方说每秒一个单位的氧气,则玩家的太空服包括六分钟的氧气。然后,玩家被引入到可基于玩家的生物反馈测量而进行修改的各种情况中。因而,在一个实施方式中,可修改游戏状态以使游戏更复杂或更不复杂,从而基于玩家的生物反馈测量,引入更多活动或减少玩家需要执行的活动的数量。在玩游戏的过程中,期望玩家进一步管理他们的耗氧量。因而,在一个实施方式中,在处理视频游戏内的各种压力任务时,诸如对抗敌人、解决谜题或其它问题等时,通过试图保持与视频游戏化身的氧气消耗相关联的降低的生理唤醒水平,来挑战玩家控制他们的空气消耗。
如图所示,然后,在该示例中,在开始框之后,过程800在框804处开始,在框804处,可设置各种游戏变量,包括例如游戏的时间、氧水平、消耗速率等。接下来进行到框806,可向玩家显示指令或类似信息等。在显示指令等期间,可接收和分析各种生物反馈测量,以确定玩家的基线。例如,在一个实施方式中,生物反馈测量可包括玩家的心率测量。
处理继续到框808,在框808,可查询BAPI,以确定玩家在某个时间段内的平均心率。如图8所示,一段时间是30秒。然而,显然,游戏时间周期以及其他参数仅用于说明,并且可使用其他值。在任何情况下,查询的结果然后均可用作基线心率。
处理接下来进行到框812,在框812可开始游戏玩法。继续到框814,玩家被引入到游戏的各种游戏状态,游戏状态可包括使玩家移动、执行战斗、播放音乐、和/或以其它方式修理物品、与其他玩家交谈等。转到框816,在玩游戏期间,游戏执行附加查询请求以收集附加心率测量。然后,可在一些时间段内确定平均心率,例如最近十秒的游戏。继续到框818,可基于例如确定玩家消耗氧气的速率,基于生物反馈测量来进一步确定氧气的消耗速率。在一个实施方式中,可从玩家的当前心率与玩家的平均基线心率的比率中导出或推断出耗氧量。
继续到框820,减少游戏玩法的时间。继续到框822,基于所确定的玩家消耗率来确定剩余的氧气量。移动到判定框824,可确定是否还有氧剩余。如果是,则处理进行到判定框828;否则,处理进行到框826。
在框826,确定玩家的角色已经耗尽了氧气,并且因而已经死于窒息。然后,游戏可终止并返回到调用过程。可替代地,在判定框828,确定游戏中剩余的时间是否为零。如果是,则在框830,确定游戏结束,并且确定玩家的角色已生存。然后处理返回。然而,如果还有更多的时间,则处理循环回到框814,以继续进行游戏。
应当理解的是,流程图的每个框以及流程图中的框的组合可由计算机程序指令来实现。这些程序指令可提供给处理器以产生机器,使得在处理器上执行的指令创建用于实现在一个或多个流程图框中指定的动作的装置。计算机程序指令可由处理器执行,以使得由处理器执行一系列操作步骤,从而产生计算机实现的过程,使得在处理器上执行的指令提供用于实现在一个或多个流程图框中指定的动作的步骤。
因此,流程图说明的框支持用于执行指定动作的装置的组合、用于执行指定动作的步骤的组合以及用于执行指定动作的程序指令装置。还将理解的是,流程图的每个框以及流程图中的框的组合可由执行指定动作或步骤的基于专用硬件的系统或者专用硬件和计算机指令的组合来实现。
从上述游戏示例可看出,可以以多种方式使用生物反馈测量,以修改游戏玩法的状态。然而,这些变化不限于上述的那些变化。例如,在上述游戏的变型中,生物反馈测量可用于控制对游戏的输入。例如,如果一个大的生物正在捕猎游戏玩家的角色,那么可能期望玩家保持或降低他们的压力水平,以避免向该生物暴露他们的位置。在类似的游戏中,可能需要玩家表现出突然的生理唤醒,以脱离手铐或其它约束,或打破锁定的门来脱离威胁。
在另一游戏场景中,只有在玩家平静时才会出现向用户提供饼干(cookie)的小精灵角色,并且如果用户未被确定为平静,则不会出现。期望饼干(或其它奖励)的玩家必须达到平静的状态以吸引角色。在另一游戏场景中,在森林冒险中,当玩家被确定为处于特定的唤醒生理状态时,可能是带有光亮的、绿色树的晴天。当玩家偏离该状态时,天空可能变暗,树可能抖动和/或变暗,和/或各种颜色、音乐、和/或其它声音可能改变。因而,可基于玩家的生物反馈测量来动态地修改游戏内的各种背景方面。
类似地,基于来自玩家的生物反馈测量,各种非玩家角色可进行对话选择、改变其显示等,包括直接在用户推断的唤醒状态或其它生物特性上进行注释。
在其它实例中,用户的化身可能显示可视心、脑或其它身体方面,其可基于生物反馈测量来修改。例如,心脏可改变颜色以显示厌烦、愤怒、幸福等。类似地,心脏可搏动以与玩家的心率一致。在又一实施方式中,化身的心率可修改为稍微慢于玩家的心率,以试图引导玩家变得平静。化身的面部表情也可由于所推断的玩家的唤醒状态而变化,包括显示微笑、皱眉、愤怒等。
另外,可基于玩家推断的唤醒状态来修改用户界面设备、屏幕显示等。因而,如果确定玩家感到压抑,则用户界面可显示帮助特征,以引导玩家解决他们正在经历的游戏玩法中的问题。还有多种其他方式,其中生物反馈测量可修改游戏玩法的状态。因而,如上所述,本公开不限于上述内容。
图9示出了执行对来自游戏玩家的生物反馈测量执行分析并响应于生物反馈测量的分析来修改或增强这种视频游戏的过程的一个实施方式的流程图,该生物反馈测量指示在视频游戏中使用的注视位置。在一个实施方式中,过程900可在一个或多个计算设备内实现,诸如分别被称为“视频游戏装置”的图2和图3的设备200和设备300中的一个或两个。
在开始框之后,过程900在框902处开始,其中视频游戏装置经由为视频游戏提供功能的用户界面向视频游戏玩家提供游戏玩法。在框904,视频游戏装置从一个或多个物理生物反馈传感器接收在视频游戏玩家玩视频游戏时视频游戏玩家的生物反馈测量。所述一个或多个生物反馈传感器可用于在玩家玩视频游戏时对视频游戏玩家的眼睛中的一个或两个执行眼睛跟踪。该一个或多个物理生物反馈传感器可包括至少一个光学传感器,诸如联接至头戴设备(例如头戴显示设备)的一个或多个光学传感器(例如IR传感器、摄像机)。在至少一些实施方式中,该一个或多个物理生物反馈传感器可包括至少一个红外光源和至少一个红外光传感器。
在框906,视频游戏装置处理生物反馈测量,以跟踪视频游戏玩家在视频游戏的游戏玩法过程中的注视点。作为示例,生物反馈测量可用于确定视频游戏玩家在用户玩视频游戏时所观看的视频游戏装置的显示器上的位置。
如本文所述,可使用各种机制来确定注视位置,包括执行统计分析、模式匹配、使用一个或多个模型等。在一个实施方式中,可使用关于一个或多个游戏玩家的历史信息来帮助执行注视位置功能。
在框908,视频游戏装置至少部分地基于视频游戏玩家的跟踪的注视点来动态地修改或增强视频游戏的游戏玩法。作为示例,视频游戏装置可使角色或其他对象出现在视频游戏玩家当前没有注视的区域中,这可为视频游戏玩家创建惊人的元素。作为另一示例,视频游戏装置可使角色或其他对象出现在视频游戏玩家当前正在注视的区域中,这可使这种对象出现在视频游戏玩家想要行进的路径中。
在至少一些实施方式中,视频游戏装置可基于所跟踪的注视位置向视频游戏玩家呈现提示或其他帮助。例如,如果视频游戏玩家在一段延长的时间注视门或墙壁,则视频游戏装置可向视频游戏玩家提供视觉和听觉可听的通知,以提供关于如何在视频游戏中前进的提示。例如,视频游戏装置可在基于所跟踪的注视位置识别出玩家迷路时向玩家提供地图或行进方向。
作为另一示例,视频游戏装置可使得基于跟踪的注视位置向视频游戏玩家呈现教程。例如,视频游戏玩家可以以确定指示视频游戏玩家需要帮助的模式在显示器上注视。响应于检测到这种模式,视频游戏装置可向视频游戏玩家提供指导或其他帮助,以帮助玩家学习如何玩视频游戏或在视频游戏中前进。
图10示出了一个过程的一个实施方式的流程图,该过程对来自游戏玩家的生物反馈测量执行分析,以便在视频游戏中使用,并且响应于对生物反馈测量的分析来确定视频游戏玩家的下一移动。在一个实施方式中,例如,可分别在图2和图3的设备200和设备300中的一个或两个内实现过程1000。
在开始框之后,过程1000在框1002处开始,其中视频游戏装置经由为视频游戏提供功能的用户界面向视频游戏玩家提供游戏玩法。在框1004处,视频游戏装置从一个或多个物理生物反馈传感器接收用于视频游戏玩家的生物反馈测量,同时视频游戏玩家正在玩视频游戏。该一个或多个物理生物反馈传感器可包括一个或多个脑电图(EEG)电极,并且生物反馈测量可包括EEG信号。附加地或替代地,所述一个或多个物理生物反馈传感器可包括一个或多个电极,以及所述生物反馈测量可包括神经信号。在这种情况下,该一个或多个电极可定位在视频游戏玩家的颈部、背部、胸部、肩部、手臂、手腕、手等上。作为非限制性实例,生物反馈测量可包括神经信号、EEG信号、EMG信号、EOG信号、fNIR信号、指示血流的信号(例如,来自IR照相机)、功能性近红外光谱(fNIR)光谱信号、力敏电阻(FSR)信号、面部表情检测信号、瞳孔扩张指示信号、眼睛运动信号、手势运动信号等中的一个或多个。
在框1006,视频游戏装置分析生物反馈测量,以确定在视频游戏的游戏玩法期间视频游戏玩家的下一个或即将到来的运动。分析可包括利用一个或多个学习或训练的模型,诸如利用一个或多个神经网络的一个或多个模型。附加地或替代地,分析可包括使用一个或多个其它信号处理方法,诸如傅立叶变换、频谱密度分析等,以理解数据。例如,视频游戏装置可基于接收到的生物反馈测量来确定视频游戏玩家将向视频游戏装置的诸如鼠标、键盘、手持控制器的输入设备提供输入。输入可为激活输入设备的按钮、键、轮、触发器或其它输入。下一个移动也可物理地移动输入设备(例如,控制器)。在一些实施方式中,下一个移动可为视频游戏玩家的身体移动,诸如移动手臂、移动腿、做出姿势、站立、坐下、改变面部表情、改变注视位置、或任何其它身体移动。
在框1008,视频游戏装置启动由视频游戏玩家的所确定的下一次移动引起的动作。在至少一些实现中,视频游戏装置可在视频游戏玩家开始下一次移动之前启动动作,使得视频游戏装置预期下一次移动。例如,视频游戏装置可分析生物反馈信号(例如,神经信号、EEG信号),以确定视频游戏玩家将点击鼠标按钮。响应于这种确定,视频游戏装置可在视频游戏玩家实际点击鼠标按钮之前启动鼠标点击,从而为用户提供比先前可能的时间快得多的反应时间。作为另一示例,视频游戏装置可基于生物反馈信号来检测视频游戏玩家将要移动,并且视频游戏装置可在视频游戏玩家实际移动之前使对象(例如,对应于游戏玩家的角色、虚拟武器)移动。这种特征减少了在决定移动的视频游戏玩家和实际移动的发生之间存在的等待时间。
在至少一些实现中,视频游戏装置可接收视频游戏玩家是否实际执行所确定的下一移动的指示。例如,视频游戏装置可接收玩家是否实际点击鼠标按钮的指示。响应于接收到视频游戏玩家没有执行下一移动的指示,视频游戏装置可修改或反转所启动的动作(例如,鼠标点击、角色的移动等),以“撤消”或最小化不正确预期的移动的影响。
应当理解的是,尽管在视频游戏的环境中描述了图10的过程1000,但是本公开不限于此。通常,本文所讨论的特征可用于多种应用中,例如用户与计算设备的用户界面交互的各种应用。
图11示出了对来自用户的生物反馈测量执行分析以更新或训练可用于预期用户移动的模型的过程的一个实施方式的流程图。过程1100可由计算设备来实现,例如图2和图3所示的设备200和设备300。
在开始框之后,过程1100在框1102处开始,其中计算设备向用户提供用户界面。用户界面可包括一个或多个输入设备,诸如鼠标、键盘、控制器、麦克风、摄像机等。
在框1104,计算设备从一个或多个物理生物反馈传感器接收用户的生物反馈测量,同时用户与用户界面交互。如上所述,该一个或多个物理生物反馈传感器可包括获得EEG信号的一个或多个EEG电极或测量神经信号的一个或多个电极。所述一个或多个电极可定位在视频游戏玩家的颈部、背部、胸部、肩部、手臂、手腕、手等上。通常,生物反馈测量可包括神经信号、EEG信号、EMG信号、EOG信号、fNIR信号、指示血流的信号(例如,来自IR照相机)、功能性近红外光谱(fNIR)光谱信号、力敏电阻(FSR)信号、面部表情检测信号、瞳孔扩张指示信号、眼睛运动信号、手势运动信号等中的一个或多个。
在框1106处,计算设备可基于一个或多个所学习的模型来分析生物反馈测量,以预期用户与至少一个输入设备的交互。例如,学习或训练的模型可包括利用一个或多个神经网络的一个或多个模型。如上所述,附加地或替代地,分析可包括使用一个或多个其它信号处理方法,诸如傅立叶变换、频谱密度分析等,以理解数据。例如,视频游戏装置可基于接收到的生物反馈测量来确定视频游戏玩家将向视频游戏装置的输入设备(例如鼠标、键盘、手持控制器)提供输入。输入可为激活输入设备的按钮、键、轮、触发器或其它输入。下一个移动也可物理地移动输入设备(例如,控制器)。在一些实施方式中,下一个运动可为视频游戏玩家的身体运动,诸如移动手臂、移动腿、做出姿势、站立、坐下、改变面部表情、改变注视位置、或任何其它身体移动。
在框1108,计算设备可检测用户是否如预期地实际与至少一个输入设备交互。例如,计算设备可确定用户在计算设备预期执行鼠标点击时是否实际执行鼠标点击。
在框1110,计算设备可基于用户是否如预期地实际与至少一个输入设备交互的检测来更新所学习的模型。换言之,计算设备可利用反馈来提供新的标记样本,所述新的标记样本可在受监督的学习过程中使用以更新(例如,修改、训练、重新训练)或者以其他方式提高模型预期用户或其它用户的未来移动的能力。
图12示出了总体示出其中可实践本公开的一个或多个特征的系统1200的一个实施方式的概观的示意图,诸如本文所述的任何过程。系统1200可包括比图12中所示的组件更少或更多的组件。如图12所示,系统1200包括由用户1202操作的客户端计算设备1204。客户端计算设备可与图1的客户端设备101相似或相同。尽管在图12中未示出,但是应当理解,系统1200还可包括一个或多个有线或无线网络,一个或多个游戏服务器设备等,如图1的系统100所示。
客户端设备1204可配置成接收来自各种生物反馈传感器1208的消息、信号、图像和/或其它生物反馈测量。图12中所示的是可能的物理生物反馈传感器1208的非限制性的、非穷尽的示例,其可连接至或不连接至用户1202,替换传统的物理游戏控制器和/或以其他方式增强传统的物理游戏控制器。在所示实施方式中,生物反馈传感器1208包括头戴式生物反馈传感器1208c,头戴式生物反馈传感器1208c可用于测量EEG信号或其它信号。更一般地,头戴式生物反馈传感器1208c可用于直接测量神经信号,然后可将神经信号转换成有意义或有用的东西,例如情绪、决策、意图、想法、其它东西或其任何组合。可选地或附加地,系统1200可包括传感器1208a或1208b,传感器1208a或1208b可包括可定位在用户1202的背部、肩部、手臂、手腕、手、手指等上的一个或多个电极,并且可用于测量神经信号以预期用户的移动。生物反馈传感器1208可集成在游戏控制器、一个或多个键、轮等内,或者集成在键盘上。在一个实施方式中,游戏控制器可包括模块化组件和/或可插入组件,其可包括模块化传感器和/或可插入传感器。
生物反馈传感器1208可包括照相机、触摸板或头部设备(例如,集成到HMD设备中的传感器)。然而,如上所述,也可使用其它生物反馈传感器1208,包括眼镜、腕带、手指传感器附件、集成在计算机鼠标内或计算机鼠标上的传感器、用于测量各种语音模式的麦克风等。因而,对于本领域的技术人员显而易见的是,各种实施方式实际上可采用可配置为获得游戏玩家的生物反馈测量的任何机构。
生物反馈传感器1208可布置成在与计算设备交互(例如,视频游戏)之前、之后和/或期间收集用户的各种测量。这种测量包括但不限于神经信号、EEG信号、心率和/或心率变异性;皮肤电反应;体温;眼睛运动;头部、面部、手或其它身体运动、姿势、位置、面部表情、姿势等。另外,生物反馈传感器1208可收集其他测量,包括血氧水平、其他形式的皮肤电导水平、呼吸速率、皮肤张力、语音应激水平、语音识别、血压、EEG测量、肌电图(EMG)测量、响应时间、眼电图(EOG)、血流(例如、经由IR照相机)、fMRI、功能性近红外光谱(fNIR)光谱、力敏电阻(FSR)等。
生物反馈传感器1208可向客户端设备1204提供测量。在一个实施方式中,可通过各种有线和/或无线连接中的任一种将这些测量提供给客户端设备1204。因而,生物反馈测量可通过各种电缆、电线等进行通信,其它信息也可通过这些电缆、电线等进行通信(例如,用于游戏)。例如,生物反馈测量可通过USB电缆、同轴电缆等传输,通过USB电缆、同轴电缆等,鼠标、键盘、游戏控制器等也联接至客户端设备1204。然而,在另一实施方式中,可采用不同的有线连接。类似地,生物反馈传感器1208可采用各种无线连接来传递生物反馈测量。另外,可使用各种通信协议中的任一种来传送测量。因而,不应将本公开解释为限于特定的有线或无线通信机制和/或通信协议。
图13示出了对来自操作用户界面的用户的生物反馈测量执行分析以补救用户的困难或其它问题的过程的一个实施方式的流程图。过程1300可由计算设备来实现,例如图2和图3中的设备200和设备300。
在开始框之后,过程1300在框1302处开始,其中计算设备向用户提供用户界面。用户界面可包括一个或多个输入设备,例如鼠标、键盘、控制器、麦克风、摄像机等。在框1304,计算设备从一个或多个物理生物反馈传感器接收用户的生物反馈测量,同时用户与用户界面交互。如上所述,该一个或多个物理生物反馈传感器可包括例如本文别处讨论的任何生物反馈传感器。
在框1306,计算设备分析所接收的生物反馈测量,以确定用户是否难以使用用户界面或进行决策。例如,计算设备可分析所接收的生物反馈测量,以确定用户迷惑、受挫、具有对象选择故障等。
在框1308,响应于确定用户具有这样的困难,计算设备调整用户界面以补救用户的困难。例如,在视频游戏中,计算设备可基于生物反馈测量来确定用户在学习玩游戏时受到挫折,并且可响应于该确定向用户提供指导。作为另一示例,计算设备可基于用户的注视位置来确定用户难以选择对象,例如视频游戏中的武器。响应于这种确定,计算设备可向用户提供关于要选择的对象的建议。
在至少一些实现中,计算设备可单独地或结合生物反馈传感器来利用来自一个或多个输入设备的数据来确定用户如何获取技能,诸如获取进行视频游戏的技能、获取操作软件程序的技能等。计算设备可使用输入设备数据和/或生物反馈数据来确定用户何时遇到困难,并且可使用户界面适应于帮助用户。作为示例,在视频游戏中,计算设备可确定用户正具有某些技能的麻烦,并且可提供训练或教程来帮助用户。作为另一示例,计算设备可基于用户输入和/或生物反馈测量来确定用户被用户界面压垮(例如,被用户界面的复杂度压垮),并且可响应于这种确定来简化用户界面。
图14示出了在视频游戏的游戏玩法过程中对来自操作视频游戏装置的用户的生物反馈测量执行分析以确定用户对多个单独组件的响应的过程1400的一个实施方式的流程图。过程1400可由计算设备来实现,例如图2和图3中的设备200和设备300。
过程1400开始于1402,其中可操作地联接至一个或多个物理生物反馈传感器的至少一个处理器经由为视频游戏提供功能的用户界面向视频游戏玩家提供游戏玩法。游戏玩法可包括多个单独的组件。作为非限制性示例,多个单独组件可包括游戏角色、聊天消息、武器、角色选择、角色动作、与角色相关联的事件、另一视频游戏玩家的特性、音频(例如,音乐、语音、音效)或其它单独组件中的至少一个。
在框1404,该至少一个处理器从该一个或多个物理生物反馈传感器接收在该视频游戏玩家正在玩该视频游戏时用于该视频游戏玩家的生物反馈测量。该一个或多个物理生物反馈传感器可包括一个或多个脑电图(EEG)电极,以及该生物反馈测量包括EEG信号。该一个或多个物理生物反馈传感器可包括一个或多个电极,以及该生物反馈测量包括神经信号。在至少一些实施方式中,生物反馈测量可包括神经信号、EEG信号、EMG信号、EOG信号、fNIR信号、指示血流的信号、功能性近红外光谱(fNIR)光谱信号、力敏电阻(FSR)信号、面部表情检测信号、瞳孔扩张指示信号、眼睛运动信号、手势运动信号等中的至少一个。
在框1406,该至少一个处理器处理该生物反馈测量,以确定在该视频游戏的游戏玩法期间该视频游戏玩家对该多个单独组件的响应。在至少一些实现中,该至少一个处理器可应用至少一个学习模型(例如,深度学习模型)来处理生物反馈测量。该至少一个学习模型可已经进行训练以确定该多个单独组件的单独组件的特定子集,该特定子集使得该视频游戏玩家具有特定的认知状态。在至少一些实现中,该至少一个处理器确定各个组件对所确定的响应的贡献的相对权重。在至少一些实现中,分析可包括使用一个或多个其它信号处理方法,诸如傅立叶变换、频谱密度分析等,以使数据有意义。
在框1408,该至少一个处理器至少部分地基于视频游戏玩家的所确定的响应来修改或增强视频游戏的游戏玩法,如本文别处所论述。
图15示出了对来自操作视频游戏系统的用户群体的生物反馈测量执行分析以修改或增强视频游戏的过程1500的一个实施方式的流程图。过程1500可由计算设备来实现,例如图2和图3中的设备200和设备300。
过程1500开始于框1502,其中视频游戏系统的至少一个处理器经由为视频游戏提供功能的相应用户界面向视频游戏玩家群体提供游戏玩法。
在框1504,该至少一个处理器在该视频游戏玩家玩该视频游戏时从邻近该视频游戏玩家的物理生物反馈传感器接收用于该视频游戏玩家的生物反馈测量。可在视频游戏的多个单独组件的呈现期间捕获生物反馈测量。该多个单独组件可包括游戏角色、聊天消息、武器、角色选择、角色动作、与角色相关联的事件、另一视频游戏玩家的特征或其它组件中的至少一个。该一个或多个物理生物反馈传感器可包括一个或多个脑电图(EEG)电极,以及生物反馈测量可包括例如EEG信号。
在框1506,该至少一个处理器分析该生物反馈测量,以确定该多个单独组件的子集,该子集有助于视频游戏玩家群体的总体影响或印象。在至少一些实现中,为了分析生物反馈测量,该至少一个处理器可实现至少一个模型(例如,深度学习模型)或其他信号处理技术,该至少一个模型或其他信号处理技术用于隔离该多个单独组件中对视频游戏玩家的总体影响或印象作出贡献的单独组件。该至少一个处理器可接收视频游戏玩家中的每个的类别信息,并且可分析生物反馈测量和类别信息,以确定视频游戏玩家的不同类别如何对视频游戏的各个组件进行不同的响应。在至少一些实现中,该至少一个处理器可基于所接收的生物反馈测量来估计该视频游戏的意见、基于所接收的生物反馈测量来估计该视频游戏的生命周期、或者基于所接收的生物反馈测量来确定该视频游戏的不同部分之间的相似性。
在框1508,该至少一个处理器响应于生物反馈测量的分析来修改或增强视频游戏。
图16示出了对来自操作视频游戏系统的用户的生物反馈测量执行分析以确定用户的内部状态以及修改或增加视频游戏的过程1600的一个实施方式的流程图。过程1600可由计算设备来实现,例如图2和图3的设备200和设备300。
过程1600开始于框1602,其中联接至一个或多个物理生物反馈传感器的至少一个处理器经由为视频游戏提供功能的用户界面向视频游戏玩家提供游戏玩法。
在框1604,该至少一个处理器从该一个或多个物理生物反馈传感器接收在该视频游戏玩家正在玩该视频游戏时该视频游戏玩家的生物反馈测量。生物反馈测量可包括例如神经信号、EEG信号、EMG信号、EOG信号、fNIR信号、指示血流的信号、功能近红外光谱(fNIR)光谱信号、力敏电阻器(FSR)信号、面部表情检测信号、瞳孔扩张指示信号、眼睛运动信号、手势运动信号或其它测量中的至少一个。
在框1606,该至少一个处理器处理该生物反馈测量,以确定在该视频游戏的游戏玩法期间该视频游戏玩家的内部状态。在至少一些实现中,该至少一个处理器利用所确定的内部状态来预测该视频游戏玩家可能停止玩该视频游戏的会话或完全停止玩该视频游戏。作为另一示例,该至少一个处理器可利用所确定的内部状态来确定视频游戏玩家对武器、角色、地图、游戏模式、教程、游戏更新、用户界面、终端、游戏环境中的至少一个的印象、或者玩家对视频游戏的另一对象、界面或其它特性的印象。
在框1608,该至少一个处理器至少部分地基于所确定的视频游戏玩家的内部状态来修改或增强视频游戏的游戏玩法。
图17示出了在视频游戏系统的视频游戏玩法期间向用户提供神经刺激以增强用户的游戏体验的过程1700的一个实施方式的流程图。过程1700可由计算设备来实现,例如图2和图3的设备200和设备300。下面讨论的图18至图21提供了本公开的一个或多个实现的进一步细节。
过程1700开始于框1702,其中联接至一个或多个物理神经刺激器的至少一个处理器经由为视频游戏提供功能的用户界面向视频游戏玩家提供游戏玩法。
在框1704,当视频游戏玩家玩视频游戏时,该至少一个处理器通过一个或多个物理神经刺激器向视频游戏玩家提供神经刺激,从而为视频游戏玩家提供增强的体验。神经刺激可提供对视频游戏玩家的焦点的改进、对视频游戏玩家的记忆的改进、对视频游戏玩家的学习能力的改进、对视频游戏玩家的唤醒的改变、对视频游戏玩家的视觉感知的修改、对视频游戏玩家的听觉感知的修改或对视频游戏玩家的其它体验增强现象中的至少一个。
该一个或多个物理神经刺激器可包括非侵入式神经刺激器或侵入式神经刺激器中的至少一个。物理神经刺激器的非限制性实例包括经颅磁刺激装置、经颅电刺激装置、基于微电极的装置、可植入装置或其它刺激器中的至少一种。所述一个或多个物理神经刺激器可用于提供感觉刺激、运动刺激或其它类型的刺激中的至少一种。
图18是示出用于在用户1804(例如,视频游戏玩家)的大脑1802中诱导、写入或以其它方式创建信号以增强用户体验的非限制性示例机制的图示1800。该机制可包括一种或多种非侵入性技术,例如EEG1806或MEG 1806。附加地或替代地,可使用侵入式技术,例如皮层内电描记术(ECOG)1810、立体脑电图(SEEG)1812或皮层内植入物1814。这些技术或其它技术可用于从用户的头骨1804的内部或外部检测或诱导脑活动。如本文别处所论述的是,可使用各种信号处理技术、机器学习(例如,深度学习)、时间对空间信息的分析等来处理所收集的数据。
利用本文讨论的技术,可测量游戏玩家的各种内部状态,包括学习、惊人/新奇、兴奋、放松、情感(积极或消极情绪)、注意力、参与、厌烦、学习能力、对游戏中刺激的响应以及其它内部状态。
如上所述,本公开的许多特征可有助于改进游戏测试。传统的游戏测试方法集中于直接观察、问题和回答、调查、游戏度量、可用性等。这种方法的潜在缺点是人们会合理化、发明、争论。另外的缺点包括游戏测试人员只能测量他们能够记录的内容,缺乏瞬间洞察力,以及大样本大小不切实际。
图19是示出根据本公开的实施方式的脑-计算机接口(BCI)1902的各种潜在特征的图示1900。所示的BCI 1902提供了以下非限制性特征中的一个或多个:时刻到时刻的洞察1904、更客观的数据1906、按比例游戏测试1908、新数据1910、时间增量1912、以及会聚信号1914。时刻到时刻的洞察1904时刻(例如,每秒)提供对玩家的情绪状态的实时理解。这允许系统获得对游戏的各个组件的响应。作为示例,系统可理解玩家如何对特定敌人、聊天消息、子弹射击、角色死亡、杀死角色、角色选择、艺术资产等作出反应。该系统还可利用所获得的洞察力来确定哪些组件导致整体印象。有利地,可在不干扰玩家体验的情况下实时获得该数据。
通过获得更客观的数据1906,玩家不解释内部感觉,这提供了响应中较少的失真、创造性和合理化,并且还避免了记忆问题和混淆。
在标度1908下的游戏测试提供了可通过内部测试获得的大得多的数据集,并且还允许更好地隔离有助于整体效果或印象的各个组件。如上所述,这种隔离可使用各种技术来实现,诸如机器学习、傅立叶变换、频谱密度分析等。另外,系统可连续地从用户群体中收集数据,从而可学习和使用新的信息来改善玩家的体验。
如这里所讨论的,新数据1910允许在玩家的行为背后推断基本原理。新数据还允许更精确的总体情绪测量、更粒度的个体情绪测量、以及更粒度的游戏组件测量。可回答的一些示例性推断或问题包括:预测玩家何时即将退出(会话或永远);确定论坛响应是否与整体游戏基调情绪相关;了解新特征的印象;确定更新玩家喜欢哪些部分;确定玩家对游戏的界面感受如何;确定哪些玩家是好的队员或是不好的队友;确定游戏的哪些方面是最令人满意和最令人不满意的;确定教程或其他测量如何有帮助。
时间增量1912可用于比较随时间变化的响应。例如,可在更新之前和之后比较响应,以确定由于更新而引起的响应变化。时间增量1912还可用于评估情绪,或者用于基于响应随时间的变化来估计游戏的生命周期。
会聚信号1914可包括将从BCI和生理传感器获得的数据与其它数据源组合,这可允许系统确定为什么出现现象。这种会聚信号1914可与玩家保持、参与、游戏时间等相关。
利用这里讨论的特征,可对游戏进行适配、修改或增强,以改善玩家的体验。例如,游戏可设计成具有自适应敌人或对手、团体、奖励、武器、困难、与其他用户配对等。关于自适应敌人,游戏可确定玩家喜欢或不喜欢哪些类型的敌人、哪些类型的敌人是挑战、哪些类型的敌人正在困扰玩家,并且可相应地选择或设计敌人,其可为人类控制的敌人(对手)或人工智能(AI)控制的敌人。例如,可基于游戏期间的生物反馈来动态地调整敌人的一个或多个特征(例如,难度)。作为另一示例,玩家能够仅在处于特定认知状态(例如,放松、精神集中)时才参与(例如,“杀死”)敌人。类似的自适应技术可用于选择或修饰队友(例如,人队友、AI队友)。关于奖励,系统可确定特定玩家或玩家群体喜欢和不喜欢哪些奖励,并且可基于这样的确定来制定奖励。
图20是显示引起神经元激发2002的输入的图2000。如本文所讨论的,由于感觉感知2006、内部认知2004或外部影响2008,神经元可能激发(例如,产生电信号)。
图21是示出了BCI 2102的图2100,BCI 2102提供了可用于为玩家提供增强体验的一个或多个不同特征2104-2112。在所示示例中,BCI 2102可提供以下示例特征中的一个或多个:神经假体2104、受限意图2106、增强感知2108、增强认知2110和模拟现实2112。
神经假体2104可包括感觉或运动替代物。视觉和运动由神经元激发产生。在至少一些实现中,可使用技术来通过使适当的神经元以限定的方式激发来替换或补充玩家的视觉或运动功能。受限意图2106可用于允许玩家利用他们的思想来控制游戏玩法,这可代替游戏垫、键盘或鼠标中的一个或多个。增强感知2108可用于提供各种非常规的运动和感觉处理能力。例如,增强感知可用于允许玩家看到红外光、具有增加的对比度灵敏度、或者能够访问其他空间信息(例如,回声定位等)。
增强认知2110可用于提供各种增强,诸如集中注意力或改进学习能力。例如,可刺激脑的某些区域以降低神经元的激活或控制,以使脑集中在其它任务(例如,游戏、学习等)上,所述神经元集中在处理某物(例如,阳光)。
前面的详细描述已经阐述了通过使用框图、示意图和示例的设备和/或过程的各种实现。在这样的框图、示意图和示例包括一个或多个功能和/或操作的情况下,本领域的技术人员将理解的是,在这样的框图、流程图或示例内的每个功能和/或操作均可通过广泛的硬件、软件、固件或其几乎任何组合来单独地和/或共同地实现。在一个实现中,本主题可通过专用集成电路(ASIC)来实现。然而,本领域技术人员将认识到的是,本文所公开的实现整体或部分地可在标准集成电路中等效地实现,作为在一个或多个计算机上运行的一个或多个计算机程序(例如,作为在一个或多个计算机系统上运行的一个或多个程序),作为在一个或多个控制器(例如,微控制器)上运行的一个或多个程序,作为在一个或多个处理器上运行的一个或多个程序(例如,微处理器)、作为固件,或作为其实际上的任何组合,以及设计用于软件和/或固件的电路和/或写入代码,根据本公开将在本领域的普通技术人员的技术范围内。
所属领域的技术人员将认识到的是,本文陈述的许多方法或算法可采用额外的动作,可省略一些动作,和/或可按不同于指定的次序来执行动作。
另外,本领域的技术人员将会理解的是,这里所教导的机制能够作为程序产品以各种形式发布,并且无论用于实际执行发布的信号承载介质的特定类型如何,说明性的实现都同样适用。信号承载介质的示例包括但不限于以下:可记录型介质,诸如软盘、硬盘驱动器、CD ROM、数字磁带和计算机存储器。
上述各种实现方式可组合以提供进一步的实现方式。就该进一步的实现方式不与本文的具体教导和定义不一致而言,在本说明书中提及的所有美国专利、美国专利申请公开、美国专利申请、外国专利、外国专利申请和非专利公开,包括2019年3月21日提交第62/821,839号美国临时专利申请序列号、第16/220,432号美国非临时专利申请、2018年12月14日提交的第15/369,625号美国非临时专利申请、2016年12月5日提交的第12/501,284号美国非临时专利申请和2009年7月10日提交的第12/501,284号美国非临时专利申请通过引用以其整体并入本文。如果需要,可修改实现的各个方面,以采用各种专利、申请和出版物的系统、电路和概念来提供进一步的实现。
根据以上详细描述,可对实现进行这些修改和其它改变。通常,在随后的权利要求中,不应将所使用的术语解释为将权利要求限制为在说明书和权利要求中所公开的特定实现,而应被解释为包括所有可能的实现以及这些权利要求所授权的等同物的全部范围。因而,权利要求不受本公开的限制。

Claims (29)

1.一种视频游戏装置,包括:
一个或多个物理生物反馈传感器;
至少一个非暂时性处理器可读存储介质,存储数据和指令中的至少一个;以及
至少一个处理器,可操作地联接至所述至少一个非暂时性处理器可读存储介质和所述一个或多个物理生物反馈传感器,在操作中,所述至少一个处理器:
经由为视频游戏提供功能的用户界面向视频游戏玩家提供游戏玩法,所述游戏玩法包括多个单独组件;
从所述一个或多个物理生物反馈传感器接收所述视频游戏玩家正在玩所述视频游戏时所述视频游戏玩家的生物反馈测量;
处理所述生物反馈测量,以确定所述视频游戏玩家在玩所述视频游戏期间对所述多个单独组件的响应;以及
至少部分地基于所确定的所述视频游戏玩家的响应来修改或增强所述视频游戏的游戏玩法。
2.根据权利要求1所述的视频游戏装置,其中,为了处理所述生物反馈测量,所述至少一个处理器应用至少一个学习模型。
3.根据权利要求1所述的视频游戏装置,其中,为了处理所述生物反馈测量,所述至少一个处理器应用傅立叶变换或频谱密度分析中的至少一个。
4.根据权利要求2所述的视频游戏装置,其中,所述至少一个学习模型已进行训练,以确定所述多个单独组件的单独组件的特定子集,所述特定子集使所述视频游戏玩家具有特定认知状态。
5.根据权利要求1所述的视频游戏装置,其中,所述多个单独组件包括游戏角色、聊天消息、武器、角色选择、角色动作、与角色相关联的事件或另一视频游戏玩家的特征中的至少一个。
6.根据权利要求1所述的视频游戏装置,其中,所述一个或多个物理生物反馈传感器包括一个或多个脑电图(EEG)电极,以及所述生物反馈测量包括EEG信号。
7.根据权利要求1所述的视频游戏装置,其中,所述一个或多个物理生物反馈传感器包括一个或多个电极,以及所述生物反馈测量包括神经信号。
8.根据权利要求1所述的视频游戏装置,其中,所述生物反馈测量包括神经信号、EEG信号、EMG信号、EOG信号、fNIR信号、指示血流的信号、功能性近红外光谱(fNIR)光谱信号、力敏电阻(FSR)信号、面部表情检测信号、瞳孔扩张指示信号、眼睛运动信号或手势运动信号中的至少一个。
9.根据权利要求1所述的视频游戏装置,其中,所述至少一个处理器确定所述单独组件对所确定的响应的贡献的相对权重。
10.根据权利要求1所述的视频游戏装置,其中,所述一个或多个物理生物反馈传感器中的至少一个并入到头戴式显示器(HMD)设备中。
11.一种视频游戏系统,包括:
至少一个非暂时性处理器可读存储介质,存储数据和指令中的至少一个;以及
至少一个处理器,可操作地联接至所述至少一个非暂时性处理器可读存储介质,在操作中,所述至少一个处理器:
经由为视频游戏提供功能的相应用户界面向视频游戏玩家群体提供游戏玩法;
从所述视频游戏玩家附近的物理生物反馈传感器接收所述视频游戏玩家在玩所述视频游戏时的生物反馈测量,在呈现多个单独组件期间捕获所述生物反馈测量;
分析所述生物反馈测量,以确定有助于所述视频游戏玩家群体的总体影响或印象的所述多个单独组件的子集;以及
响应于所述生物反馈测量的分析来修改或增强所述视频游戏。
12.根据权利要求11所述的视频游戏系统,其中,所述多个单独组件包括游戏角色、聊天消息、武器、角色选择、角色动作、与角色相关联的事件或另一视频游戏玩家的特征中的至少一个。
13.根据权利要求11所述的视频游戏系统,其中,所述一个或多个物理生物反馈传感器包括一个或多个脑电图(EEG)电极,以及所述生物反馈测量包括EEG信号。
14.根据权利要求11所述的视频游戏系统,其中,为了分析所述生物反馈测量,所述至少一个处理器实现至少一个模型,所述至少一个模型可操作为隔离所述多个单独组件中对所述视频游戏玩家的总体影响或印象作出贡献的单独组件。
15.根据权利要求11所述的视频游戏系统,其中,所述至少一个处理器接收所述视频游戏玩家中的每个的类别信息,以及分析所述生物反馈测量和所述类别信息,以确定所述视频游戏玩家的不同类别如何对所述视频游戏的所述单独组件作出不同响应。
16.根据权利要求11所述的视频游戏系统,其中,所述至少一个处理器基于所接收的生物反馈测量来估计所述视频游戏的意见。
17.根据权利要求11所述的视频游戏系统,其中,所述至少一个处理器基于所接收的生物反馈测量来估计所述视频游戏的生命周期。
18.根据权利要求11所述的视频游戏系统,其中,所述至少一个处理器基于所接收的生物反馈测量来确定所述视频游戏的不同部分之间的相似性。
19.一种视频游戏装置,包括:
一个或多个物理生物反馈传感器;
至少一个非暂时性处理器可读存储介质,存储数据和指令中的至少一个;以及
至少一个处理器,可操作地联接至所述至少一个非暂时性处理器可读存储介质和所述一个或多个物理生物反馈传感器,在操作中,所述至少一个处理器:
经由为视频游戏提供功能的用户界面向视频游戏玩家提供游戏玩法;
从所述一个或多个物理生物反馈传感器接收所述视频游戏玩家正在玩所述视频游戏时所述视频游戏玩家的生物反馈测量;
处理所述生物反馈测量,以确定所述视频游戏玩家在玩所述视频游戏期间的内部状态;以及
至少部分地基于所确定的所述视频游戏玩家的内部状态来修改或增强所述视频游戏的游戏玩法。
20.根据权利要求19所述的视频游戏装置,其中,所述至少一个处理器利用所确定的内部状态来预测所述视频游戏玩家可能停止玩所述视频游戏。
21.根据权利要求19所述的视频游戏装置,其中,所述至少一个处理器利用所确定的内部状态来确定所述视频游戏玩家对武器、角色、地图、游戏模式、教程、游戏更新、用户界面、队友或游戏环境中的至少一个的印象。
22.根据权利要求19所述的视频游戏装置,其中,所述生物反馈测量包括神经信号、EEG信号、EMG信号、EOG信号、fNIR信号、指示血流的信号、功能性近红外光谱(fNIR)光谱信号、力敏电阻(FSR)信号、面部表情检测信号、瞳孔扩张指示信号、眼睛运动信号或手势运动信号中的至少一个。
23.根据权利要求19所述的视频游戏装置,其中,所述一个或多个物理生物反馈传感器中的至少一个并入头戴式显示器(HMD)设备中。
24.根据权利要求19所述的视频游戏装置,还包括头戴式显示器(HMD)设备,所述头戴式显示器(HMD)设备承载所述一个或多个物理生物反馈传感器中的至少一个。
25.一种视频游戏装置,包括:
一个或多个物理神经刺激器;
至少一个非暂时性处理器可读存储介质,存储数据和指令中的至少一个;以及
至少一个处理器,可操作地联接至所述至少一个非暂时性处理器可读存储介质和所述一个或多个物理神经刺激器,在操作中,所述至少一个处理器:
经由为视频游戏提供功能的用户界面向视频游戏玩家提供游戏玩法;以及
在所述视频游戏玩家正在玩所述视频游戏时,通过所述一个或多个物理神经刺激器向所述视频游戏玩家提供神经刺激,从而为所述视频游戏玩家提供增强的体验。
26.根据权利要求25所述的视频游戏装置,其中,所述神经刺激提供以下各项中的至少一个:对所述视频游戏玩家的焦点的改进、对所述视频游戏玩家的记忆的改进、对所述视频游戏玩家的学习能力的改进、对所述视频游戏玩家的唤醒的改变、对所述视频游戏玩家的视觉感知的修改、或对所述视频游戏玩家的听觉感知的修改。
27.根据权利要求25所述的视频游戏装置,其中,所述一个或多个物理神经刺激器包括非侵入式神经刺激器和侵入式神经刺激器中的至少一个。
28.根据权利要求25所述的视频游戏装置,其中,所述一个或多个物理神经刺激器包括经颅磁刺激设备、经颅电刺激设备、基于微电极的设备或可植入设备中的至少一个。
29.根据权利要求25所述的视频游戏装置,其中,所述一个或多个物理神经刺激器可操作地提供感觉刺激和运动刺激中的至少一个。
CN202080022495.1A 2019-03-21 2020-03-18 用于计算系统的脑-计算机接口 Pending CN114007705A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962821839P 2019-03-21 2019-03-21
US62/821,839 2019-03-21
PCT/US2020/023349 WO2020191042A1 (en) 2019-03-21 2020-03-18 Brain-computer interfaces for computing systems

Publications (1)

Publication Number Publication Date
CN114007705A true CN114007705A (zh) 2022-02-01

Family

ID=72514044

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080022495.1A Pending CN114007705A (zh) 2019-03-21 2020-03-18 用于计算系统的脑-计算机接口

Country Status (6)

Country Link
US (1) US20200298100A1 (zh)
EP (1) EP3941601A4 (zh)
JP (1) JP2022524307A (zh)
KR (1) KR20210137211A (zh)
CN (1) CN114007705A (zh)
WO (1) WO2020191042A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116650970A (zh) * 2023-07-27 2023-08-29 深圳易帆互动科技有限公司 一种个性化游戏调整方法、电子设备及存储介质

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11093038B2 (en) 2019-05-14 2021-08-17 Synchron Australia Pty Limited Systems and methods for generic control using a neural signal
US20220067384A1 (en) * 2020-09-03 2022-03-03 Sony Interactive Entertainment Inc. Multimodal game video summarization
US11567574B2 (en) * 2020-09-22 2023-01-31 Optum Technology, Inc. Guided interaction with a query assistant software using brainwave data
WO2022182526A1 (en) * 2021-02-26 2022-09-01 Hi Llc Brain activity tracking during electronic gaming
WO2023003979A2 (en) * 2021-07-21 2023-01-26 University Of Washington Optimal data-driven decision-making in multi-agent systems
WO2023137427A1 (en) * 2022-01-13 2023-07-20 Synchron Australia Pty Limited Systems and methods for generic control using a neural signal
US20230381649A1 (en) * 2022-05-27 2023-11-30 Sony Interactive Entertainment LLC Method and system for automatically controlling user interruption during game play of a video game

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7856264B2 (en) * 2005-10-19 2010-12-21 Advanced Neuromodulation Systems, Inc. Systems and methods for patient interactive neural stimulation and/or chemical substance delivery
WO2008137581A1 (en) * 2007-05-01 2008-11-13 Neurofocus, Inc. Neuro-feedback based stimulus compression device
CN101917898A (zh) * 2007-10-31 2010-12-15 埃姆申塞公司 对来自观众的生理响应提供分散式收集和集中式处理的系统和方法
US8099668B2 (en) 2008-01-07 2012-01-17 International Business Machines Corporation Predator and abuse identification and prevention in a virtual environment
US8308562B2 (en) * 2008-04-29 2012-11-13 Bally Gaming, Inc. Biofeedback for a gaming device, such as an electronic gaming machine (EGM)
US9511289B2 (en) 2009-07-10 2016-12-06 Valve Corporation Player biofeedback for dynamically controlling a video game state
US9044675B2 (en) * 2010-11-17 2015-06-02 Sony Computer Entertainment Inc. Automated video game rating
US20120142429A1 (en) * 2010-12-03 2012-06-07 Muller Marcus S Collaborative electronic game play employing player classification and aggregation
US10134226B2 (en) * 2013-11-07 2018-11-20 Igt Canada Solutions Ulc Methods and apparatus for controlling casino game machines
US20170259167A1 (en) * 2016-03-14 2017-09-14 Nathan Sterling Cook Brainwave virtual reality apparatus and method
US10222860B2 (en) * 2017-04-14 2019-03-05 International Business Machines Corporation Enhanced virtual scenarios for safety concerns

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116650970A (zh) * 2023-07-27 2023-08-29 深圳易帆互动科技有限公司 一种个性化游戏调整方法、电子设备及存储介质
CN116650970B (zh) * 2023-07-27 2024-01-30 深圳易帆互动科技有限公司 一种个性化游戏调整方法、电子设备及存储介质

Also Published As

Publication number Publication date
KR20210137211A (ko) 2021-11-17
WO2020191042A1 (en) 2020-09-24
US20200298100A1 (en) 2020-09-24
EP3941601A4 (en) 2022-11-30
EP3941601A1 (en) 2022-01-26
JP2022524307A (ja) 2022-05-02

Similar Documents

Publication Publication Date Title
US10981054B2 (en) Player biofeedback for dynamically controlling a video game state
US20200298100A1 (en) Brain-computer interfaces for computing systems
Vasiljevic et al. Brain–computer interface games based on consumer-grade EEG Devices: A systematic literature review
US11253781B2 (en) Player biofeedback for dynamically controlling a video game state
Liu et al. Dynamic difficulty adjustment in computer games through real-time anxiety-based affective feedback
Marshall et al. Games, gameplay, and BCI: the state of the art
Nakasone et al. Emotion recognition from electromyography and skin conductance
Mandryk et al. The potential of game-based digital biomarkers for modeling mental health
Lara-Cabrera et al. A taxonomy and state of the art revision on affective games
Liarokapis et al. Comparing interaction techniques for serious games through brain–computer interfaces: A user perception evaluation study
Alves et al. Flow adaptation in serious games for health
CN113260425A (zh) 用于动态控制视频游戏状态的玩家生物反馈
Smerdov et al. Collection and validation of psychophysiological data from professional and amateur players: a multimodal esports dataset
Navarro et al. Biofeedback methods in entertainment video games: A review of physiological interaction techniques
US20240082535A1 (en) Cloud-based gaming platform with health-related data collection
Mandryk Modeling user emotion in interactive play environments: A fuzzy physiological approach
Becker et al. Physiologically interactive gaming with the 3D agent Max
US12005351B2 (en) Player biofeedback for dynamically controlling a video game state
Tezza et al. An analysis of engagement levels while playing brain-controlled games
Bruns et al. Estimating Workload from Heart Rate and Game Precision in Exergames
US11951355B2 (en) Health-related data collection system for healthcare diagnostics and treatment platforms
Mendes Model, taxonomy and methodology for research employing electroencephalography-based brain-computer interface games
Michailidis Exploiting physiological changes during the flow experience for assessing virtual-reality game design.
Cruz Kessel Run: towards emotion adaptation in a BCI multiplayer game
Moreira Kessel Run: exploring cooperative behaviours in a multiplayer BCI game

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination