CN111936036A - 使用生物特征传感器数据检测神经状态来指导现场娱乐 - Google Patents

使用生物特征传感器数据检测神经状态来指导现场娱乐 Download PDF

Info

Publication number
CN111936036A
CN111936036A CN201880076549.5A CN201880076549A CN111936036A CN 111936036 A CN111936036 A CN 111936036A CN 201880076549 A CN201880076549 A CN 201880076549A CN 111936036 A CN111936036 A CN 111936036A
Authority
CN
China
Prior art keywords
data
sensor data
determining
measure
content
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880076549.5A
Other languages
English (en)
Other versions
CN111936036B (zh
Inventor
A·A·查佩尔
L·S·奥斯特罗夫
H·阮
C·麦克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Warner Bros Entertainment Inc
Original Assignee
Warner Bros Entertainment Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Warner Bros Entertainment Inc filed Critical Warner Bros Entertainment Inc
Publication of CN111936036A publication Critical patent/CN111936036A/zh
Application granted granted Critical
Publication of CN111936036B publication Critical patent/CN111936036B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8545—Content authoring for generating interactive applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/29—Arrangements for monitoring broadcast services or broadcast-related services
    • H04H60/33—Arrangements for monitoring the users' behaviour or opinions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/053—Measuring electrical impedance or conductance of a portion of the body
    • A61B5/0531—Measuring skin impedance
    • A61B5/0533—Measuring galvanic skin response
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A61B5/377—Electroencephalography [EEG] using evoked responses
    • A61B5/378—Visual stimuli
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42201—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] biosensors, e.g. heat sensor for presence detection, EEG sensors or any limb activity sensors worn by the user
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42203—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] sound input device, e.g. microphone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42212—Specific keyboard arrangements
    • H04N21/42218—Specific keyboard arrangements for mapping a matrix of displayed objects on the screen to the numerical key-matrix of the remote control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/4508—Management of client data or end-user data
    • H04N21/4532—Management of client data or end-user data involving end-user characteristics, e.g. viewer profile, preferences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H04N21/4662—Learning process for intelligent management, e.g. learning user preferences for recommending movies characterized by learning algorithms
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H04N21/4667—Processing of monitored end-user data, e.g. trend analysis based on the log file of viewer selections
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8541—Content authoring involving branching, e.g. to different story endings
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2503/00—Evaluating a particular growth phase or type of persons or animals
    • A61B2503/12—Healthy persons not otherwise provided for, e.g. subjects of a marketing survey
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1113—Local tracking of patients, e.g. in a hospital or private home
    • A61B5/1114—Tracking parts of the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/163—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6813—Specially adapted to be attached to a specific body part
    • A61B5/6814—Head
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/70—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mental therapies, e.g. psychological therapy or autogenous training

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Databases & Information Systems (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Physics & Mathematics (AREA)
  • Pathology (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Psychology (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Theoretical Computer Science (AREA)
  • Educational Technology (AREA)
  • Business, Economics & Management (AREA)
  • General Engineering & Computer Science (AREA)
  • Child & Adolescent Psychology (AREA)
  • Developmental Disabilities (AREA)
  • Hospice & Palliative Care (AREA)
  • Data Mining & Analysis (AREA)
  • Chemical & Material Sciences (AREA)
  • Neurosurgery (AREA)
  • Analytical Chemistry (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Business, Economics & Management (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Dermatology (AREA)

Abstract

内容参与能力(CEP)值的应用包括在表演期间指导现场演员，以用于在真实或虚拟剧院中体验。基于处理的生物特征传感器数据计算CEP，以沿着诸如评价度、唤起度和优势度等多个维度来表达受众对内容的参与。一种装置被配置为使用硬件、固件和/或软件来执行该方法。

Description

使用生物特征传感器数据检测神经状态来指导现场娱乐
相关申请的交叉引用
本申请要求2017年9月29日提交的美国临时专利申请第62/566,257号、2018年1月8日提交的第62/614,811号、2018年4月23日提交的第62/661,556号和2018年8月7日提交第62/715,766号的优先权，通过引用将这些申请整体并入本文。
技术领域
本公开涉及用于在现场剧院或类似的现场娱乐应用中对来自神经状态的检测的生物特征传感器数据进行信号处理的应用、方法和装置。
背景技术
尽管新的娱乐媒体和越来越多的壮观效果为观众带来了前所未有的娱乐体验，但分支内容的基础仍然是故事和演员。成功的电影结合了引人入胜的故事和令人信服的演员。最成功的电影通常针对电影类型的尽可能广泛的受众。制作决策是基于导演的艺术和业务敏感性而制定的，这些敏感性通常是在首次发布前的数年或数月内形成的。大量的制作预算都花费在大多数观众将仅观看一次的固定产品上。任何时候对于每个人来说产品都是一样的。导演不可能提供每个人将会感同身受的产品，因此他们创造公分母或市场利基。
沉浸式现场剧院及其类似设施(沉浸式虚拟剧院)为受众提供了更加个性化的体验。两种类型的沉浸式剧院都是分支内容的形式，因为每个演员都有一个角色和剧本，其可以根据受众成员对讲述故事的反应以不同的方式编织在一起，这是一种叙事娱乐形式。受众成员可以在整个布景(set)(可包括各种房间和层级)中自由移动，并且可以与他们遇到的角色进行交互。通过将在布景的背景(context)中的不同遭遇拼凑在一起，每个受众成员都会感受到一种叙事。根据受众成员与角色交互的方式，在每个剧院体验中叙事可能不同。受欢迎的沉浸式剧作《Sleep No More》是现场沉浸式剧院的示例。虚拟沉浸式剧院遵循类似的计划，替换通过虚拟现实体验的虚拟布景以及由人类演员或机器人进行远程操作的角色。
虽然许多人喜欢沉浸式剧院，但其他人可能会发现与演员的相对亲密性以及缺乏结构化的叙事不吸引人。他们可能不理解与演员交互的适当方式，并且他们缺乏理解可能会阻碍内容的欣赏。虽然熟练的演员将“阅读”与之交互的受众成员并做出相应的响应，但有时他们可能会误读受众成员，尤其是在虚拟剧院中。在涉及会话或类似口头交互的任何社会布景中，都可能出现类似的问题。
因此，期望开发用于沉浸式剧院和相关通信模式的新方法和其他新技术，以克服现有技术的这些和其他局限性，并帮助制片人为未来的受众提供更多引人入胜的娱乐体验。
发明内容
本发明内容和以下具体实施方式应被解释为整体公开的补充部分，这些部分可以包括冗余的主题和/或补充的主题。任何节段中的省略均不指示该整体申请中描述的任何要素的优先级或相对重要性。这些节段之间的差异可以包括替代实施例的补充公开、附加细节或使用不同术语的相同实施例的替代描述，其根据相应的公开内容是显而易见的。2018年4月23日提交的序列号为62/661，556的在先申请为数字地表示用户参与音频-视频内容打下了基础，包括但不限于基于传感器数据的内容参与能力(CEP)的数字表示。如在较早申请中所述，计算机处理基于来自至少一个传感器的传感器数据来开发针对内容的CEP，该至少一个传感器被定位成感测一个或多个用户在参与音频-视频输出时的非自愿响应。例如，传感器数据可以包括从相应传感器接收到的以下一项或多项：脑电图(EEG)数据、皮肤电响应(GSR)数据、面部肌电图(fEMG)数据、心电图(EKG)数据、视频面部动作单元(FAU)数据、脑机接口(BMI)数据、视频脉冲检测(VPD)数据、瞳孔扩张数据、功能磁成像(fMRI)数据和身体化学感测数据和功能近红外数据(fNIR)。“用户”是指受众成员、出于娱乐目的作为消费者而经历分支内容的人。本申请建立在此基础上，在以下总结的各种应用中使用CEP。
CEP是用户的生物特征状态的客观、算法和数字电子量度，其与用户对刺激(例如分支内容)的参与相关。CEP表达至少两个正交量度，例如唤起度(arousal)和评价度(valence)。如本文所用，“唤起度”是指根据其心理学含义而处于生理机敏、清醒和注意的状态或状况。高唤起度指示感兴趣和关心，而低唤起度指示无聊和不感兴趣。“评价度”在这里也以其吸引力或美学的心理意义来使用。正评价度指示吸引，而负评价度指示厌恶。
在一个方面，一种用于在物理布景上的表演期间指导现场演员的方法包括：由至少一个计算机处理器从至少一个传感器接收传感器数据，该至少一个传感器被定位成感测正在经历一个或多个演员的现场表演的一个或多个受众成员的非自愿生物特征响应。该方法还可以包括由至少一个计算机处理器基于传感器数据确定一个或多个受众成员的神经状态的量度。在下面的具体实施方式中描述了处理传感器数据的细节。确定神经状态的量度可以包括基于传感器数据确定唤起度值，并且将基于传感器数据的刺激平均唤起度与期望平均唤起度进行比较。在相关方面，确定神经状态的量度还可以包括基于传感器数据超过阈值达一段时间来检测一个或多个刺激事件。在这样的实施例中，该方法可以包括针对一个或多个受众成员中的每一个并且针对刺激事件中的每一个运算多个事件能力中的一个，并且聚合这些事件能力。在使用事件能力的情况下，该方法可以包括基于传感器数据的一个或多个源标识为每个事件能力分配权重。该方法还可以包括由至少一个计算机处理器至少部分基于将量度与目标故事情节进行比较来生成用于表演的舞台指导。该方法还可以包括在现场表演期间由至少一个计算机处理器发信号以向一个或多个演员通知舞台指导。
替代地或附加地，该方法可以包括感测在现场表演中表演的一个或多个演员的非自愿生物特征响应，并且以与针对一个或多个受众成员描述的相同的方式确定一个或多个演员的神经状态的量度。该方法可以包括在现场表演期间发信号以向彼此通知演员的测量的神经状态的指示符，或者向另外一个或多个指定的人通知该指示符。
在另一方面，该方法可以包括基于传感器数据确定评价度值，并且在确定神经状态的量度中包括评价度值。确定评价度值可以基于传感器数据，该传感器数据包括以下一项或多项：脑电图(EEG)数据、面部肌电图(fEMG)数据、视频面部动作单元(FAU)数据、脑机接口(BMI)数据、功能磁成像(fMRI)数据、功能近红外数据(fNIR)和正电子发射断层扫描(PET)。
在另一方面，生成舞台指导还可以包括基于将量度与用于表演的目标故事情节进行比较来确定误差测量。目标故事情节可以是或可以包括一组目标神经值，每个目标神经值与连续时间序列的不同间隔唯一地关联。
在一些实施例中，表演的至少一部分包括受众沉浸，在受众沉浸中，一个或多个演员中的至少一个参与与受众成员中的一个的对话。在这样的实施例中，处理器可以为受众成员中的一个受众成员执行接收、确定和生成，并且为一个或多个演员中的至少一个演员执行发信号。
在其他方面，处理器可以为聚合的受众成员中的多个受众成员执行接收、确定和生成。发信号可以包括向由一个或多个演员中的相应一个佩戴的一个或多个接口设备发送至少一种数字信号编码：音频信号、视频信号、图形图像、文本、用于触觉接口设备的指令或用于大脑接口设备的指令。
前述方法可以通过在非暂时性计算机可读介质中提供的程序指令在任何合适的可编程计算装置中实施，这些程序指令在由计算机处理器执行时使该装置执行所描述的操作。处理器相对于装置和用户可以是本地的、远程定位的，或者可以包括本地处理器和远程处理器的组合。一种装置可以包括计算机或一组连接的计算机，该计算机或该组连接的计算机用于测量和传达用于内容输出设备的CEP或类似的参与量度。内容输出设备可以包括例如个人计算机、移动电话、笔记本计算机、电视或计算机监测器、投影仪、虚拟现实设备或增强现实设备。该装置的其他元件可以包括例如音频输出设备和用户输入设备，它们参与该方法的执行。一种装置可以包括虚拟或增强现实设备，诸如对用户的头部和其他身体部分的运动做出反应的头戴式受话器或其他显示器。该装置可以包括生物特征传感器，这些生物特征传感器提供由控制器用来确定CEP的数字表示的数据。
为了实现前述和相关目的，一个或多个示例包括下文中充分描述并且在权利要求中特别指出的特征。以下描述和附图详细地阐述了某些说明性方面，并且仅指示了可以采用示例原理的各种方式中的一些方式。当结合附图和所公开的示例来考虑以下具体实施方式时，其他优点和新颖特征将变得显而易见，该具体实施方式包括所有这些方面及其等同物。
附图说明
当结合附图时，根据以下阐述的具体实施方式，本公开的特征、性质和优点将变得更加明显，其中贯穿说明书和附图，相同的附图标记标识相同的元件。
图1是示出用于基于生物特征传感器数据数字地表示用户参与计算机存储器中的音频-视频内容的系统和装置的各方面的示意性框图，该系统和装置耦合到一个或多个分配系统。
图2是示出用于基于生物特征传感器数据数字地表示用户参与计算机存储器中的音频-视频内容的服务器的各方面的示意性框图。
图3是示出用于基于生物特征传感器数据数字地表示用户参与计算机存储器中的音频-视频内容的客户端设备的各方面的示意性框图。
图4是示出用于基于生物特征传感器数据数字地表示用户参与计算机存储器中的音频-视频内容的虚拟现实客户端设备的特征的示意图。
图5是示出基于在表演分支内容期间收集的生物特征传感器数据确定CEP的数字表示的方法的高级操作的流程图。
图6是示出用于基于生物特征传感器数据数字地表示用户参与计算机存储器中的音频-视频内容的系统的高级方面的框图。
图7A是指示神经状态相对于二维神经空间的轴线的布置的示意图。
图7B是指示神经状态相对于三维神经空间的轴线的布置的示意图。
图8是示出用于基于生物特征响应数据确定内容参与等级的过程和算法的流程图。
图9是示出用于将内容参与等级应用于交互式剧院的系统的示意图。
图10是示出用于使用移动应用收集生物特征响应数据的系统的示意图。
图11是用户使用带有传感器和附件的移动应用来收集在本文描述的方法和装置中使用的生物特征数据的透视图。
图12是示出通过生物特征告知的舞台指导、道具和对话增强的用于现场交互式剧院的布景的各方面的示意图。
图13是示出生物特征告知的现场交互式剧院系统的各部件之间的交互的序列图。
图14是示出生物特征告知的现场交互式剧院系统中的舞台管理器应用的操作的流程图。
图15是示出用于操作系统的方法的各方面的流程图，该系统在现场演员在物理布景上表演期间发信号给现场演员并且控制道具和效果。
图16-图17是示出图15中图示的方法的可选的其他方面或操作的流程图。
图18是示出用于在现场演员在物理布景上表演期间发信号给现场演员并且控制道具和效果的装置或系统的各部件的概念框图。
具体实施方式
现在参考附图描述各个方面。在下面的描述中，出于解释的目的，阐述了许多具体细节以便提供对一个或多个方面的透彻理解。然而，显而易见的是，可以在没有这些具体细节的情况下实践各个方面。在其他实例中，以框图形式示出公知的结构和设备以有助于描述这些方面。
参考图1，可以在客户端-服务器环境100中实施用于对生物特征传感器数据进行信号处理以检测现场剧院应用中的神经状态的方法。其他架构也可能是合适的。在网络架构中，传感器数据可以在本地收集和处理，并且然后传输到服务器，该服务器处理来自一个或多个受试者的生物特征传感器数据，基于生物特征传感器数据运算用户神经状态的数字表示，并且在计算机存储器中用于控制机器。用于本技术的通信增强背景包括在真实或虚拟媒体中具有真实或机器人演员的分支现场交互式剧院。“分支(branched)”是指制作配置有替代场景、对话、角色、定制(customs)、道具或布景，可以针对不同的受众成员或玩家-演员进行各种组合。分支内容是定向内容的形式，并且可以包括分支叙事或非分支叙事。如果分支内容具有非分支叙事，则它将包括其他戏剧元素的分支。尽管制作是分支的，但它可以具有连贯的主题、戏剧目的和涵盖其所有分支的故事情节。与竞争性视频游戏不同，现场剧院的目的不是与其他玩家或计算机竞争以实现某些目标。剧院的重要商业目的是展示戏剧艺术，以使观众积极地参与内容，并且因此吸引额外的观众和追随者。
分支内容的用户在现场剧院或虚拟剧院中的视觉、听觉、嗅觉或触觉的体验期间通过自然表达他们的印象来做出反应。在虚拟剧院中，可以通过接收对虚拟环境和发生在该环境中的事件进行编码的信号的输出设备来生成感官刺激。如果分支内容被配置为支持它，则用户或参与者(在本文中也称为“玩家演员”)也可以与出现在分支内容中的角色或其他对象进行主动交互。诸如“数学”服务器110之类的数据处理服务器可以从生物特征传感器接收传感器数据，这些生物特征传感器被定位为在消费分支内容期间检测受众成员的生理响应。服务器100可以处理传感器数据以获得数字表示，该数字表示根据时间或视频帧，沿一个或多个测量轴线(例如，唤起度和评价度)指示听众对分支内容的神经(例如，情绪或逻辑)响应。在替代实施例中，基于实时生物传感器反馈，内容自适应AI可以适应性调整内容以增加或维持玩家演员对于叙事中的角色观点的参与。
合适的客户端-服务器环境100可以包括经由一个或多个网络(例如，广域网(WAN)102(例如，互联网)和/或无线通信网络(WCN)104(例如蜂窝电话网络))进行通信的各种计算机服务器和客户端实体。可以以各种架构来实施计算机服务器。例如，环境100可以包括一个或多个Web/应用服务器124，其包含与万维网协议兼容的文档和应用代码，包括但不限于例如HTML、XML、PHP和JavaScript文档或可执行脚本。Web/应用服务器124可以服务于用于输出分支内容并且用于从经历内容的用户收集生物特征传感器数据的应用。在替代方案中，可以从数学服务器110、云服务器122、区块链实体128或内容数据服务器126服务数据收集应用。如以下本文更详细描述的，用于体验分支内容的环境可以包括用于现场交互式剧院的物理布景，或将数据馈送到服务虚拟剧院的建模和渲染引擎的一个或多个数据收集客户端的组合。
环境100可以包括一个或多个数据服务器126，其用于保存：数据，例如，分支内容的视频、音频-视频、音频和图形内容组分，以供使用客户端设备消费；用于在客户端设备上执行或与之结合执行的软件，例如传感器控制和传感器信号处理应用；以及从用户或客户端设备收集的数据。从客户端设备或用户收集的数据可以包括例如传感器数据和应用数据。传感器数据可以由在客户端设备上运行的后台(非面向用户)应用来收集，并且被传输到数据接收装置(sink)，例如基于云的数据服务器122或离散数据服务器126。应用数据是指应用状态数据，包括但不限于与应用或其他应用输入、输出或内部状态的用户交互的记录。应用可以包括用于输出分支内容、指导演员和舞台机械、通过现场交互式剧院引导观众、收集和处理生物特征传感器数据并且支持功能的软件。可以从其他类型的服务器提供应用和数据，例如，访问分布式区块链数据结构128的任何服务器，或诸如端对端(P2P)服务器116可以由一组客户端设备118、120提供且同时作为微型服务器或客户端进行操作。
如本文所用，“用户”是分支内容的消费者，系统节点从这些消费者收集神经响应数据(也称为“生物特征数据”)以用于确定对分支内容的参与的数字表示。当经由化身(avatar)或其他机构积极地参与内容时，用户在本文中也可以被称为“玩家演员”。观众并不总是用户。例如，旁观者可以是系统不从其收集任何生物特征响应数据的被动观众。如本文所用，“节点”包括参与计算机网络的客户端或服务器。
网络环境100可以包括各种客户端设备，例如经由WCN 104和WAN 102连接到服务器的移动智能电话客户端106和笔记本客户端108，或经由路由器112和WAN 102连接到服务器的混合现实(例如，虚拟现实或增强现实)客户端设备114。通常，客户端设备可以是或可以包括由用户用于访问经由服务器或从本地贮存器提供的分支内容的计算机。在一个方面，数据处理服务器110可以确定用于实时或离线应用中的生物特征数据的数字表示。控制叙事内容中对象的分支或活动是实时应用的示例，例如，如2017年9月29日提交的美国临时专利申请第62/566,257号和2018年1月8日提交的第62/614,811号中所述，其通过引用并入本文。离线应用可以包括例如“绿色灯光”制作建议书，在绿色灯光之前对制作建议书进行自动筛选，对宣传内容(诸如预告片或视频广告)进行自动或半自动包装以及针对目标用户或用户群组定制内容的编辑或设计(自动和半自动)。
图2示出数据处理服务器200，该数据处理服务器200用于基于生物特征传感器数据来数字地表示用户参与计算机存储器中的分支内容，该生物特征传感器可以在环境100中、在类似网络中或作为独立的服务器来操作。服务器200可以包括一个或多个硬件处理器202、214(示出一个或多个硬件处理器中的两个)。硬件包括固件。一个或多个处理器202、214中的每一个可以耦合到输入/输出端口216(例如，通用串行总线端口或其他串行或并行端口)，耦合到用于指示用户的神经状态的生物特征传感器数据和观看历史的源220。观看历史可以包括来自内容包的基线脚本的变化的日志级别记录或响应于玩家演员生物特征和其他输入而做出的控制决策的等效记录。观看历史还可以包括在电视、Netflix和其他源上观看的内容。包含派生故事情节的任何源都可以用于算法的输入，该算法用于基于生物特征传感器数据数字地表示用户参与计算机存储器中的演员、角色或其他故事元素。服务器200可以横跨个人或同类群组的多个内容标题跟踪玩家演员动作和生物特征响应。某些类型的服务器(例如云服务器、服务器场或P2P服务器)可以包括进行协作以执行单个服务器的功能的离散服务器200的多个实例。
服务器200可以包括用于发送和接收应用和数据的网络接口218，该应用和数据包括但不限于用于基于生物特征传感器数据数字地表示用户参与计算机存储器中的音频-视频内容的传感器和应用数据。内容可以从服务器200服务到客户端设备，或者可以由客户端设备在本地存储。如果在本地被存储到客户端设备，则客户端和服务器200可以进行协作以处理传感器数据的收集以及向服务器200的传输以用于处理。
服务器200的每个处理器202、214可以可操作地耦合到至少一个存储器204，该存储器204保存一个或多个应用的功能模块206、208、210、212，以便执行本文所述的方法。这些模块可以包括例如将生物特征反馈与诸如唤起度或评价度的一个或多个量度相关的相关模块206。相关模块206可以包括指令，这些指令在由处理器202和/或214执行时使服务器使用机器学习(ML)或其他过程将生物特征传感器数据与用户的一个或多个神经(例如情绪)状态相关。事件检测模块208可以包括用于基于一个或多个生物特征传感器输入超过数据阈值的量度或指示符来检测事件的功能。这些模块还可以包括例如标准化模块210。标准化模块210可以包括指令，这些指令在由处理器202和/或214执行时使服务器使用基线输入来标准化评价度、唤起度或其他值的量度。这些模块还可以包括运算功能212，该运算功能212在由处理器执行时使服务器基于传感器数据和来自上游模块的其他输出来运算内容参与能力(CEP)。确定CEP的细节在本文后面公开。存储器204可以包含附加指令，例如操作系统和支持模块。
参考图3，内容消费设备300生成指示用户对从分支内容信号生成的输出的神经响应的生物特征传感器数据。装置300可以包括例如处理器302，例如基于由IntelTM或AMDTM设计的80x86架构的中央处理单元、由ARMTM设计的片上系统，或任何其他合适的微处理器。处理器302可以使用总线或其他耦合方式可通信地耦合到3D环境装置300的辅助设备或模块。可选地，处理器302及其耦合的辅助设备或模块可以被容纳在外壳301内或耦合到外壳301，外壳301例如是具有电视、机顶盒、智能电话、可佩戴谷歌眼镜(googles)、眼镜或遮光板的形状因子或其他形状因子的外壳。
用户接口设备324可以耦合到处理器302，用于向媒体播放器和数据收集过程提供用户控制输入。该过程可以包括输出用于显示屏或投影显示设备的视频和音频。在一些实施例中，分支内容控制过程可以是或可以包括用于由在处理器302上执行的混合现实沉浸式显示引擎操作的沉浸式混合现实内容显示过程的音频-视频输出。
用户控制输入可以包括例如来自图形用户接口的选择或经由触摸屏、键盘、定点设备(例如游戏控制器)、麦克风、运动传感器、相机或者这些或其他输入设备的某种组合(由方框324表示)生成的其他输入(例如文本或定向命令)。此类用户接口设备324可经由输入/输出端口326(例如通用串行总线(USB)或等效端口)耦合到处理器302。还可以经由耦合到处理器302的传感器328来提供控制输入。传感器328可以是或可以包括例如运动传感器(例如，加速度计)、位置传感器、相机或相机阵列(例如，立体影像阵列)、生物特征温度或脉搏传感器、触摸(压力)传感器、高度计、位置传感器(例如，全球定位系统(GPS)接收器和控制器)、接近度传感器、运动传感器、烟雾或蒸汽检测器、陀螺仪位置传感器、无线电接收器、多相机跟踪传感器/控制器、眼睛跟踪传感器、麦克风或麦克风阵列、脑电图(EEG)传感器、皮肤电响应(GSR)传感器、面部肌电(fEMG)传感器、心电图(EKG)传感器、视频面部动作单元(FAU)传感器、脑机接口(BMI)传感器、视频脉冲检测(VPD)传感器、瞳孔扩张传感器、身体化学传感器、功能磁成像(fMRI)传感器、光学体积描记术(PPG)传感器、相控阵列雷达(PAR)传感器或功能近红外数据(fNIR)传感器。眼睛跟踪传感器、FAU传感器、PAR传感器、瞳孔扩张传感器或心率传感器中的任何一个或多个可以是或可以包括诸如iPhone 10和其他用于面部识别的智能手机中使用的前置(或后置)立体相机。同样，智能手机或类似设备中的相机可以用于环境光检测，例如，检测环境光变化以与瞳孔扩张的变化相关。
一个或多个传感器328可以检测用作用户神经状态的指示符的生物特征数据，例如面部表情、皮肤温度、瞳孔扩张、呼吸速率、肌肉张力、神经系统活动、脉搏、EEG数据、GSR数据、fEMG数据、EKG数据、FAU数据、BMI数据、瞳孔扩张数据、化学检测(例如催产素)数据、fMRI数据、PPG数据或fNIR数据中的一个或多个。另外，(一个或多个)传感器328可以检测用户的背景，例如，用户的物理环境和环境中的对象的标识位置、大小、取向和运动；用户接口显示器的运动或其他状态，例如虚拟现实头戴式受话器的运动。传感器可以内置在可佩戴设备中，或者可以是非佩戴的，包括显示设备，或者在诸如智能手机、智能手表或植入式医疗监测设备等辅助装备中。传感器也可以放置在附近的设备中，诸如，例如用于免提网络访问的互联网连接的麦克风和/或相机阵列设备，或者放置在物理布景上的阵列中。
来自一个或多个传感器328的传感器数据可以由CPU 302在本地处理以控制显示输出，和/或被传输到服务器200以由服务器实时地处理或用于非实时处理。如本文所用，“实时”是指在输入和输出之间没有任何任意延迟的情况下响应于用户输入进行处理；也就是说，只要技术上可行就尽可能快地做出反应。“非实时”或“离线”是指传感器数据的批处理或其他用途，其不用于提供即时控制输入来控制显示，而是可以在任意延迟量后控制显示。
为了能够与计算机网络的另一个节点(例如分支内容服务器200)进行通信，客户端300可以包括网络接口322，例如有线或无线的以太网端口。网络通信可以用于例如实现多玩家体验，包括分支内容的沉浸式或非沉浸式体验。该系统还可以用于非定向多用户应用，例如社交网络、团体娱乐体验、教学环境、视频游戏等。网络通信还可用于客户端和网络的其他节点之间的数据传递，其目的包括数据处理、内容递送、内容控制和跟踪。客户端可以使用通信模块306管理与其他网络节点的通信，该通信模块306处理应用级通信需求和更低级通信协议，优选地不需要用户管理。
显示器320可以例如经由集成在处理器302或单独芯片中的图形处理单元318耦合到处理器302。显示器320可以包括例如由发光二极管(LED)或其他灯照亮的平板彩色液晶(LCD)显示器、由LCD显示器或由数字光处理(DLP)单元驱动的投影仪、激光投影仪或其他数字显示设备。显示设备320可以被结合到虚拟现实头戴式受话器或其他沉浸式显示系统中，或者可以是计算机监测器、家庭剧院或电视屏幕，或者放映室或剧院中的投影仪。在真实的现场剧院应用中，用户和演员的客户端可以避免使用辅助性的显示器，或通过听筒或现场的听觉输入，或通过触觉套装的触觉印象。
在虚拟现场剧院中，可以将由在处理器302上操作的混合现实显示引擎驱动的视频输出，或用于将用户输入与沉浸式内容显示进行协调和/或生成显示的其他应用提供到显示设备320并作为视频显示输出给用户。类似地，放大器/扬声器或其他音频输出换能器316可以经由音频处理器312耦合到处理器302。与视频输出相关并由媒体播放器模块308、分支内容控制引擎或其他应用生成的音频输出可以被提供到音频换能器316并作为听觉声音输出给用户。音频处理器312可以从麦克风314接收模拟音频信号，并将其转换为数字信号以供处理器302进行处理。麦克风可以用作用于检测神经(例如情绪)状态的传感器，并且用作用于口头命令的用户输入或对非玩家角色(NPC)或其他玩家演员的社交口头响应的设备。
3D环境装置300还可以包括随机存取存储器(RAM)304，其存储程序指令和数据以响应于从用户收集的生物特征传感器数据在控制分支内容期间由处理器快速执行或处理。当设备300断电或处于不活动状态时，程序指令和数据可以被存储在长期存储器中，例如，非易失性磁性、光学或电子存储器存储设备(未示出)。RAM 304或存储设备中的任一个或两者都可以包括保存程序指令的非暂时性计算机可读介质，这些程序指令在由处理器302执行时促使设备300执行本文所述的方法或操作。程序指令可以用任何适当的高级语言(例如C、C++、C#、JavaScript、PHP或JavaTM)编写，并进行编译以产生用于由处理器执行的机器语言代码。
程序指令可以被分组为功能模块306、308，以促进编码效率和可理解性。通信模块306可以包括协调生物特征传感器数据(如果是元数据)到运算服务器的通信。传感器控制模块308可以包括控制传感器操作和处理原始传感器数据以传输到运算服务器。模块306、308即使可辨别为源代码中的分区或分组，也不一定可辨别为机器级编码中的单独代码块。定向到特定类型的功能的代码束可以被视为包括模块，而不管该束上的机器代码是否可以独立于其他机器代码执行。这些模块可以只是高级模块。媒体播放器模块308可以全部或部分地执行本文描述的任何方法以及等效方法的操作。可以独立地执行操作，或者可以与其他一个或多个另外的网络节点(例如，服务器200)进行协作来执行操作。
本文公开的内容控制方法可以与虚拟现实(VR)或增强现实(AR)输出设备一起使用，例如在虚拟现场或机器人交互式剧院中。图4是示出一种类型的沉浸式VR立体显示设备400的示意图，作为具有更具体的形状因子的客户端300的示例。可以以各种形状因子来提供客户端设备300，其中设备400仅提供客户端设备300的一个示例。本文描述的创新方法、装置和系统不限于单个形状因子，并且可以在适合于内容输出的任何视频输出设备中使用。如本文所用，“分支内容信号”包括用于分支内容的音频-视频输出的任何数字信号，其可以是分支的并且是交互的或非交互的。在一个方面，分支内容可以响应于从生物特征传感器数据运算出的用户的检测到的神经状态而变化。
沉浸式VR立体显示设备400可以包括平板电脑支撑结构，该平板电脑支撑结构由不透明的轻质结构材料(例如，刚性聚合物、铝或硬纸板)制成，该平板电脑支撑结构被配置为支撑并允许可移除地放置包括高分辨率显示屏(例如，LCD显示器)的便携平板电脑或智能手机设备。设备400被设计为靠近用户的面部佩戴，从而可以使用(诸如智能手机中的)小屏幕尺寸实现宽视野。支撑结构426相对于显示屏412保持一对透镜422。这些透镜可以被配置为使用户能够舒适地聚焦在显示屏412上，显示屏412可以保持为距用户眼睛大约一到三英寸。
设备400还可以包括观看护罩(未示出)，该观看护罩耦合到支撑结构426并且由柔软的、可挠曲的或其他合适的不透明材料构造成，以形成适合用户面部并阻挡外部光的形状。护罩可以被配置为确保对用户而言唯一的可见光源是显示屏412，从而增强使用设备400的沉浸效果。可以使用屏幕分隔器将屏幕412分离成独立驱动的立体区域，每个立体区域仅通过透镜422中的相应一个是可见的。因此，沉浸式VR立体显示设备400可以用于提供立体显示输出，从而为用户提供对3D空间的更真实的感知。
沉浸式VR立体显示设备400还可以包括用于定位在用户鼻子上方的桥接件(未示出)，以便于将透镜422相对于用户的眼睛进行精确定位。设备400还可以包括弹性条或带424或其他头饰，用于装配在用户的头部周围并将装置400保持到用户的头部。
沉浸式VR立体显示设备400可以包括与用户的头部430有关的显示和通信单元402(例如，平板电脑或智能手机)的附加电子部件。当佩戴支撑件426时，用户通过一对透镜422观看显示器412。显示器412可以由中央处理单元(CPU)403和/或图形处理单元(GPU)410经由内部总线417来驱动。显示和通信单元402的部件还可以包括例如一个或多个发射/接收部件418，使得能够经由无线耦合在CPU和外部服务器之间进行无线通信。发射/接收部件418可以使用任何合适的高带宽无线技术或协议来操作，包括例如蜂窝电话技术，诸如第三代、第四代或第五代合作伙伴计划(3GPP)长期演进(LTE)(也被称为3G、4G或5G)、全球移动通信系统(GSM)或通用移动电信系统(UMTS)和/或无线局域网(WLAN)技术，例如使用诸如电气与电子工程师协会(IEEE)802.11的协议。一个或多个发射/接收部件418可以使视频数据能够从本地或远程视频服务器流式传输到显示和通信单元402，并且可以将传感器和其他数据上行传输到本地或远程视频服务器，以用于如本文所述的控制或受众响应技术。
显示和通信单元402的部件还可以包括例如经由通信总线417耦合到CPU403的一个或多个传感器414。这样的传感器可以包括例如提供指示显示和通信单元402的取向的取向数据的加速度计/倾角仪阵列。由于显示和通信单元402被固定到用户的头部430，所以该数据也可以被校准以指示头部430的取向。一个或多个传感器414还可以包括例如指示用户的地理位置的全球定位系统(GPS)传感器。一个或多个传感器414还可以包括例如相机或图像传感器，该相机或图像传感器被定位为检测用户的眼睛中的一个或多个的取向，或捕获用户的物理环境的视频图像(用于VR混合现实)，或这两者。在一些实施例中，可以将被配置为检测用户的眼睛或眼睛移动的相机、图像传感器或其他传感器安装在支撑结构426中，并且经由总线416和串行总线端口(未示出)(例如，通用串行总线(USB)或其他合适的通信端口)耦合到CPU 403。一个或多个传感器414还可以包括例如干涉仪，该干涉仪被定位在支撑结构404中并且被配置为向用户的眼睛指示表面轮廓。一个或多个传感器414还可以包括例如麦克风、麦克风阵列或其他音频输入换能器，以用于检测口语用户命令或对显示输出的口头和非口头听觉反应。一个或多个传感器可以包括使用Amav Kapur、Pattie Maes和Shreyas Kapur在2018年美国计算机协会ACM智能用户接口大会(Association forComputing Machinery’s ACM Intelligent User Interface conference)上发表的论文中所述的使用电极的人声识别(subvocalization)掩模。人声识别的词可以用作命令输入，用作唤起度或评价度的指示，或这两者。一个或多个传感器可以包括例如用于感测心率的电极或麦克风，被配置用于感测用户的皮肤或身体温度的温度传感器，耦合到分析模块以检测面部表情或瞳孔扩张的图像传感器、用于检测口头和非口头发声的麦克风，或者用于收集生物反馈数据(包括能够经由算法处理指示情绪的神经系统响应)的其他生物特征传感器(包括已经结合图3在328处描述的任何传感器)。
显示和通信单元402的部件还可以包括例如音频输出换能器420，例如显示和通信单元402中的扬声器或压电换能器，或者用于头戴式耳机的音频输出端口或安装在头饰424中的其他音频输出换能器等。音频输出设备可以提供环绕声、多声道音频、所谓的“面向对象的音频”或其他伴随立体沉浸式VR视频显示内容的配乐输出。显示和通信单元402的部件还可以包括例如经由存储器总线耦合到CPU 403的存储器设备408。存储器408可以存储例如程序指令，这些程序指令在由处理器执行时使装置400执行本文所述的操作。存储器408还可以将数据(例如，音频-视频数据)存储在库中或在从网络节点进行流式传输期间进行缓冲。
已经描述了用于在通信增强应用中执行生物特征传感器数据的信号处理以检测神经状态的合适的客户端、服务器和网络的示例，将讨论合适的信号处理方法的更详细的方面。图5示出用于运算内容参与能力(CEP)的方法500的概述，该方法可以包括以任何功能顺序进行的或并行的四个相关操作。如本文所述，可以将这些操作编程为用于服务器的可执行指令。
相关操作510使用算法来将用户或用户群组的生物特征数据与神经指示符相关。可选地，该算法可以是机器学习算法，其被配置为除了处理生物特征数据之外还处理背景指示数据，这可以提高准确性。背景指示数据可以包括例如用户方位、用户位置、一天中的时间、一周中的一天、环境光水平、环境噪声水平等等。例如，如果用户的背景充满干扰，则生物反馈数据的显著性可能与安静环境中的显著性不同。
如本文所用，“神经指示符”是与用于现场剧院的故事情节有关的机器可读符号值。该指示符可以具有组成元素，其可以是定量的也可以是非定量的。例如，指示符可以被设计为多维向量，其值表示心理素质(诸如认知负荷、唤起度和评价度)的强度。心理上的评价度是事件、对象或情况的吸引度或期望度的状态；当受试者感觉某物是好的或有吸引力时，评价度被称为是正的，并且当受试者感觉对象是排斥的或不良的时，评价度被称为是负的。唤起度是受试者的机敏度和注意力的状态。机器学习算法可以包括至少一种受监督的机器学习(SML)算法，例如，线性回归算法、神经网络算法、支持向量算法、朴素贝叶斯算法、线性分类模块或随机森林算法中的一个或多个。
事件检测操作520在向用户输出分支内容期间分析来自一个或多个传感器的时间相关信号，并且检测其中信号超过阈值的事件。该阈值可以是固定的预定值，或者诸如滚动平均值之类的可变数。本文在下面提供了GSR数据的示例。可以为每个事件运算神经响应的离散量度。神经状态不能被直接测量，因此传感器数据指示情感调制。情感调制是归因于神经状态或神经状态的变化的生物特征波形的调制。在一个方面，为了获得情感调制和神经状态之间的基线相关性，可以向玩家演员显示已知的视觉刺激(例如，来自焦点组测试或个人校准会话)以引起某种类型的情绪。在刺激下，测试模块可以捕获玩家演员的生物特征数据，并将刺激生物特征数据与静止生物特征数据进行比较，以识别生物特征数据波形中的情感调制。
CEP测量和相关方法可以用作分支(可配置)现场剧院的驱动器。目标故事情节与组响应之间的测量的误差可以有助于告知分支内容的设计、未来内容的设计和制作、发行和市场营销，或受同龄人对现场剧院的神经响应的影响的任何活动。另外，测量的误差可以用在计算机实施的剧院管理模块中，以控制或影响实时叙事分支或现场剧院体验的其他舞台管理。在焦点组测试期间，使用智能手机或平板电脑可能会有用，因为此类可编程设备已经包含用于收集生物特征数据的一个或多个传感器。例如，AppleTM的iPhoneTM包括前置立体相机，这些相机可以用于例如眼动追踪、FAU检测、瞳孔扩张测量、心率测量和环境光跟踪。焦点组的参与者可以在智能手机或类似设备上观看内容，该智能手机或类似设备在参与者的许可下通过他们观看的设备上运行的焦点组应用收集生物特征数据。
标准化操作530在用于已知刺激的测试数据与用于用户的测量信号之间执行算术或其他数值比较，并且将针对事件的测量值标准化。标准化补偿了各个响应中的变化，并提供了更有用的输出。一旦检测到输入传感器事件并将其标准化，运算操作540就为用户或用户群组确定CEP值，并将这些值记录在计算机存储器中的时间相关记录中。
机器学习(也被称为AI)可以是用于揭示复杂现象之间的相关性的有效工具。如图6所示，响应于指示用户的神经状态的传感器数据610的系统600可以使用机器学习训练过程630来检测来自现场剧院体验的感官刺激和叙事刺激620与生物特征数据610之间的相关性。训练过程630可以从媒体播放器客户端(例如，客户端300、402)接收与生物特征数据610在时间上相关的刺激数据620。数据可以与特定用户或用户群组相关联，或者可以是通用的。两种类型的输入数据(与用户相关联的和通用的)可以一起使用。通用输入数据可以用于校准神经响应的基线，以分类对电影元素的场景或布置的基线神经响应。例如，如果大多数用户在叙事背景内观看场景时表现出相似的生物特征诉说(tells)，则可以将该场景与激发来自用户的相似生物特征数据的其他场景一起分类。可以由人类创造者来收集和审查相似的场景，该人类创造者可以使用自动分析工具在神经指示符指标640上对场景评分。在替代方案中，指示符数据640可以通过人类和半自动处理来评分，而无需按照相似场景进行分类。现场剧院制作的人类评分元素可以成为机器学习过程630的训练数据。在一些实施例中，分支内容的人类评分元素可以包括用户，诸如经由在线调查表。评分应考虑文化人口统计，并且应由专家告知关于不同文化对场景元素的响应的信息。
ML训练过程630比较由人类和机器确定的场景或其他电影元素的分数，并使用本领域已知的迭代机器学习方法来减少训练数据与其自身估计之间的误差。创造内容分析师可以基于他们的专业判断和经验为来自多个用户的数据评分。各个用户可以对他们自己的内容评分。例如，愿意协助培训其个人“导演软件”以识别其神经状态的用户可以在观看内容时对自己的情绪评分。这种方法的问题在于，用户评分可能会干扰他们的正常反应，从而误导机器学习算法。其他培训方法包括在较短的内容片段中对受试者的生物特征响应进行临床测试，然后针对其神经状况对临床受试者进行调查。这些和其他方法的组合可以用于为机器学习过程630开发训练数据。
如本文所用，生物特征数据提供关于用户如何思考和感受其对分支内容的体验的“诉说”，即他们是否参与叙事理论中的娱乐价值的感觉。内容参与能力是在整个用户体验中对分支内容的总体参与的量度，并在体验期间和体验完成后进行监测和评分。总体用户愉悦度被测量为预期生物特征数据调制能力(在校准期间测量)与平均持续生物特征数据调制能力之间的差异。可以通过其他方法来确定用户参与的量度，并将其与“内容参与能力”相关，或者使其成为“内容参与能力”的一部分。例如，退出采访响应或接受购买、订阅或关注的提议可以被包含于或用于调整内容参与能力的运算。可以在内容呈现期间或之后使用提议响应率来提供更完整的用户参与的量度。
用户进入交互的心情影响“故事”的解释方式，因此故事体验应尽可能进行校准。如果过程无法校准心情，则可以在呈现的故事情节中考虑该心情，以支持更积极的评价交互，前提是我们可以测量来自玩家演员的评价度。即时系统和方法将最适合健康镇定的个体，尽管它将为参与的每个人都提供交互式体验。
图7A示出神经状态相对于由水平评价度轴线和竖直唤起度轴线限定的二维神经空间的轴线的布置700。在该布置中仅作为示例而不是实际或典型的测量值示出基于评价度/唤起度神经模型的所示情绪。媒体播放器客户端可以使用测量面部动作单元的生物特征传感器来测量评价度，而唤起度测量可以例如通过GSR测量来完成。
神经空间的特征可以在于两个以上的轴线。图7B图示了神经空间的三维模型750，其中第三轴线是社交优势度(dominance)或信心。模型750示出VAD(评价度、唤起度、信心)模型。3D模型1550对于涉及社交等级的复杂情绪可能是有用的。在另一实施例中，可以将来自生物特征数据的参与量度建模为三维向量，该三维向量提供认知工作量、唤起度和评价度，处理器可以从中确定校准后的主要和次要情绪。参与量度可以被推广到N维模型空间，其中N为一或更大。在本文描述的示例中，CEP处于具有评价度轴线和唤起度轴线的二维空间700中，但是CEP不限于此。例如，信心是可以添加的另一个心理测量轴线，可以添加其他轴线，并且除评价度和唤起度以外的基本轴线也可能有用。在情绪校准期间，可以基于个体确定基线唤起度和评价度。
在下面的详细示例中，来自生物特征传感器的神经状态确定是基于评价度/唤起度神经模型，其中评价度是(正/负)，而唤起度是幅度。通过该模型，现场剧院和其他创造制作的制作者可以通过测量叙事理论结构(诸如紧张感(希望与恐惧)和紧张感增强(唤起度随着时间的推移而增加))等来验证创造工作的意图。在现场或记录的故事元素的呈现期间，算法可以使用神经模型来基于用户的心理动态地改变故事元素，如2018年1月8日提交的美国临时专利申请62/614,811中更详细描述的那样。本公开的重点在于确定对用于实时和离线应用的定向娱乐(CEP)的参与相关的神经状态的有用量度，如下面更详细地描述的。本文描述的发明构思不限于本文描述的特定神经模型，并且可以适用于与以可量化参数为特征的任何有用的神经模型一起使用。
在测试环境中，可以将电极和其他传感器以临床功能手动放置在受试者用户上。对于消费者应用，传感器的放置应减少干扰且更方便。例如，可见光和红外波长的图像传感器可以被内置在显示装备中。再例如，相控阵雷达发射器可以被制造为微型设备，并放置在移动电话或平板电脑的显示屏后面，用于检测诸如面部动作单元或瞳孔扩张之类的生物特征数据。当用户在使用VR装备时佩戴饰品或抓住控制器时，可以将电极内置在头饰、控制器和其他可佩戴饰品中，以测量皮肤的电导率、脉搏和电活动。
基于分支内容的目标故事情节可以作为任何有用的神经模型中的目标值的序列存储在计算机数据库中，该神经模型用于评定对分支内容的参与，例如评价度/唤起度模型。使用评价度/唤起度模型的示例，服务器可以执行差值运算以确定计划/预测和测量的唤起度和评价度之间的误差。该误差可以用于内容控制。一旦预测值和测量值之间的增量超过阈值，则故事管理软件可以命令分支动作。例如，如果基于目标故事情节，用户的评价度处于“错误”方向，则处理器可以通过以下逻辑改变内容：如果(预测的评价度-测量的评价度)的绝对值＞0，则改变内容。内容的改变可以是专用于软件所了解的有关玩家演员的几个不同项目，也可以是来自AI过程的试用或推荐。同样地，如果唤起度误差降到预测的阈值(例如50％)以下(误差的绝对值＞0.50*预测)，则处理器可以改变内容。
图8示出用于确定包括内容参与能力(CEP)在内的分支内容的内容等级的方法800。该方法可以通过编码为可由计算机处理器执行的算法来实现，并且可以在需要运算CEP的任何地方应用于本文描述的其他方法中。CEP是受试者内容的事件能力的总和“Pv，”与该类型中的可比较内容的期望能力“Px”之比。对于不同的主题，并且在通常情况下对于不同的用户，使用相同的方法来运算Pv和Px。这样一来，总和涵盖了不同的总时间，事件能力几涵盖了时间段“tv”，该时间段“tv”等于受试者内容的“n”个事件能力时段Δtv的总和：
Figure BDA0002510505600000181
同样，期望能力Px涵盖时段“tx”，该时段“tx”等于期望内容的“m”个事件能力时段Δtx的总和：
Figure BDA0002510505600000182
对于任何给定的事件“n”或“m”，能力Pv和Px中的每一个是能力向量P和维度i的加权向量W的点积，如下所示：
Figure BDA0002510505600000183
Figure BDA0002510505600000184
通常，可以对能力向量
Figure BDA0002510505600000185
进行各种定义。在任何给定的CEP计算中，受试者内容的能力向量和期望基线应相互一致地定义，并且加权向量应该相同。能力向量可以仅包括唤起度量度，仅包括评价度值，包括唤起度量度和评价度量度的组合，或者前述中的任何一个与其他量度(例如信心量度)的组合。在一个实施例中，使用由“j”个唤起度量度“aj”和“k”个评价度量度“vk”的组合定义的能力向量
Figure BDA0002510505600000186
来运算CEP，其中每个量度均由相对于已知刺激的校准偏移量“C”来调整，其中j和k是任何非负整数，如下所示：
Figure BDA0002510505600000191
其中
Cj＝Sj-SjOj＝Sj(1-Oj) 等式6
等式6中的索引“，”表示从1到j+k的索引，Sj表示比例因子，并且Oj表示传感器数据范围的最小值与其真实最小值之间的偏移。与等式5的能力向量相对应的加权向量
Figure BDA0002510505600000197
可以被表示为：
Figure BDA0002510505600000192
其中每个权重值都会与因子的相对估计可靠性成比例地缩放其相应因子。
利用等式3和等式4给出的经校准的点积
Figure BDA0002510505600000193
以及等式1和等式2给出的时间因子，处理器可以如下计算单个用户的内容参与能力(CEP)：
Figure BDA0002510505600000194
比率tx/tv标准化不同时间序列总和中的不等性，并使比率无单位。用户CEP值大于1表明用户/玩家演员/观众具有相对于类型而言超出其期望的参与体验。用户CEP值小于1表明参与度小于用户对内容类型的期望。
还可以根据“x”个用户的内容事件能力与“m”个不必相同的用户的期望能力之比，横跨“v”个用户的受众，针对内容标题、现场剧院中的场景以及整个现场剧院制作运算CEP，如下所示：
Figure BDA0002510505600000195
变量v和x分别是内容用户和参与基准观众的数量。分母中的受众期望能力表示受众对内容带来的期望，而分子中的事件能力表示体验该内容时受众的唤起度或评价度事件的总和。处理器将对于每个事件(n)和用户(v)的事件能力以及对于每个事件(m)和用户(x)的期望能力求和。然后，通过运算事件能力与期望能力的比率，并且通过比率xtx/vtv标准化不同的时间总和与受众人数，从而运算CEP。CEP是内容等级的组分。内容等级的其他组分可以包括聚合评价度误差和针对特定评价度目标(例如，胜利、绝望等)的评价度误差。
等式5描述了经校准的能力向量，该经校准的能力向量由从生物特征传感器数据得出的唤起度和评价度量度组成。在替代方案中，处理器可以定义部分未校准的能力向量，其中传感器数据信号在转换为数字值之前被缩放，以作为低水平数字信号处理的一部分，但对于用户而言不偏移，如下所示：
Figure BDA0002510505600000196
如果使用部分未校准的能力向量，则可以在运算内容参与能力(CEP)之前，针对每个因子计算聚合校准偏移，并从等式3和等式4给出的点积
Figure BDA0002510505600000201
中减去该聚合校准偏移。例如，
Figure BDA0002510505600000202
的聚合校准偏移可以由下式给出：
Figure BDA0002510505600000203
在这种情况下，可以通过以下等式计算能力向量
Figure BDA0002510505600000204
的经校准的值：
Figure BDA0002510505600000205
可以类似地计算经校准的能力向量
Figure BDA0002510505600000206
再次参考其中可以使用前述表达式的方法800(图8)，首先执行传感器数据的校准过程802，以校准用户对已知刺激(例如已知静止刺激804、已知唤起刺激806、已知正评价度刺激808和已知负评价度刺激810)的反应。已知刺激806-810可以使用焦点组进行测试，该焦点组在文化和人口统计学上类似于目标受众，并保持在数据库中以供校准中使用。例如，国际情感图片系统(IAPS)是用于在心理学研究中研究情绪和注意力的图片数据库。为了与内容平台保持一致，可以以与目标平台一致的格式产生图像或在IAPS或类似知识库中找到的那些，以用于在校准中使用。例如，可以将触发情感的主题的图片产生为视频剪辑。校准确保传感器按预期操作，并且在用户之间提供一致的数据。不一致的结果可能表明传感器发生故障或配置错误，可以将其校正或忽略。处理器可以确定一个或多个校准系数816，以用于针对设备和/或用户之间的一致性调整信号值。
校准可以具有缩放和偏移特性。为了用作唤起度、评价度或其他心理状态的指示符，传感器数据可能需要使用缩放因子和偏移因子两者进行校准。例如，GSR在理论上可能在零和1之间变化，但实际上取决于人类皮肤的固定和可变条件，该条件随个体和时间而变化。在任何给定的情景中，受试者的GSR可能在某个大于0的GSRmin到某个小于1的GSRmax之间。可以通过将受试者暴露于已知刺激下并估计校准因子的幅度和缩放来测量范围的幅度及其缩放。通过将来自具有已知刺激的情景的结果与相同类型传感器的预期范围进行比较来进行该估计。在许多情况下，校准的可靠性可能令人怀疑，或者校准数据可能不可用，有必要从现场数据中估计校准因子。在一些实施例中，可以使用自适应机器学习算法对传感器数据进行预校准，该自适应机器学习算法在接收到更多数据时为每个数据流调整校准因子，并且从针对校准进行调整的任务中省去了更高级别的处理。
一旦校准了传感器，系统就在812处使用例如等式8或等式9针对类型差异对传感器数据响应数据进行标准化。不同的类型产生不同的评价度和唤起度分数。例如，冒险动作类型具有不同的步调、故事目标和强度。因此，除非考虑了类型的参与简档，否则无法跨类型比较参与能力。类型标准化相对于同一类型中的内容对内容进行评分，使得能够在各个类型之间进行等效基础上的比较。可以使用预期的标准化刺激814来对测试受众或焦点组或主要特征之前的受试者组执行标准化812。例如，受众可以观看与主要特征相同的类型的一个或多个预告片，并且可以为一个或多个预告片运算事件能力。在替代方案中，可以使用相同用户或相同用户群组的存档数据来运算期望能力。使用与用于或将用于事件能力的测量相同的算法来运算期望能力，并且可以使用相同的校准系数816来调整该期望能力。处理器存储期望能力818以供稍后使用。
在820处，处理器在受试者内容的播放期间接收传感器数据，并且针对关注的每个量度(诸如唤起度和一个或多个评价度品质)运算事件能力。在828处，处理器在播放结束之后或在播放期间的运行基础上对内容的事件能力求和或聚合。在830处，处理器运算内容等级，包括如先前描述的内容参与能力(CEP)。处理器首先应用适用的校准系数，然后通过将聚合的事件能力除以期望能力来运算CEP，如上所述。
可选地，运算功能820可以包括在824处将每个检测的事件或检测的事件的较小子集的事件能力与为内容定义的参考故事情节进行比较。参考情节可以是例如由创造制作人定义的目标情节、预测情节、内容的一个或多个过去情节或前述情节的组合。在826处，处理器可以保存、递增或以其他方式累积描述一个或多个变量的误差的误差向量值。误差向量可以包括参考情节与对于指定场景、时间段或一组视频帧的每个测量值(例如，唤起度和评价度值)的测量响应之间的差异。误差向量和向量矩阵可以用于内容评估或内容控制。
误差测量可以包括或增加用于内容评估的其他指标。可以将内容参与能力和误差量度与购买、订阅或与呈现的内容相关的其他转换进行比较。该系统还可以使用标准差或其他统计量度来测量受众响应的一致性。该系统可以测量针对个人、队列和聚合受众的内容参与能力、评价度和唤起度。误差向量和CEP可以用于各种实时和离线任务。在一些实施例中，这些量度可以用于内容控制，例如，如在2017年9月29日提交的美国临时专利申请第62/566,257号和2018年1月8日提交的第62/614,811号中所描述的那样，这些申请通过引用并入本文。
数字地表示用户参与音频-视频内容的更多细节(包括但不限于基于生物特征传感器数据数字表示内容参与能力(CEP))可以在2018年4月23日提交的美国专利申请第62/661,556号中描述。基于生物特征数据数字地表示用户在计算机存储器中参与可以发现许多应用，其中一些将在下面进一步描述。这些应用包括在交互式剧院等中指导现场演员，对个人通信的有效性进行评级以及在交互式或非交互式表演中为演员生成脚本。
图9示出用于将诸如CEP的内容参与等级应用于在布景902(可以是真实的或虚拟的)中发生的交互式剧院的系统900。演员906、904分为两类：像成员906这样的受众成员有时被称为“用户”或“玩家演员”，并且表演演员904有时被称为“非玩家角色”。在现场剧院应用中，所有演员904、906都可以佩戴智能设备和听筒。舞台管理器应用可以使用智能设备经由无线信号(例如蓝牙信标或来自方位传感器912的全球定位系统(GPS)信号)来跟踪演员生物特征908-915和方位。生物特征部件916(SAGE QCI和电影AI云)可以收集并处理生物特征数据。
故事生成软件(SGS)924经由听筒或其他信令设备来指导演员904、906。在虚拟环境中，指导可以包括演员的相应观察端口(viewport)中的文字说明。生物特征部件916可以从玩家演员906上的一个或多个生物特征传感器接收生物特征数据。生物特征传感器可以包括例如脑电图(EEG)传感器或阵列908、脉搏监测器910、眼睛跟踪传感器914、皮肤电导率传感器915、用于面部表情跟踪的相机或雷达传感器和/或本文所述的任何其他生物特征传感器。表演者904可以携带方位传感器和面向外部的传感器(未示出)，以从动作中捕获声音和图像，或者携带生物特征传感器(例如，光学、红外或雷达成像传感器)，以在玩家演员906与表演者904中的一个建立关系时从玩家演员906捕获生物特征数据。
生物特征部件916可以执行用于导出玩家演员906神经状态的指示的方法，例如，如上文所述的运算内容参与能力(CEP)918的方法，并且可以将CEP 918提供给SGS模块924。一旦SGS模块924接收到CEP 918或等效的量度，它就可以查询数据库920，以确定对应的当前场景的目标CEP和玩家演员922的简档。玩家演员简档可以用于定制在一个或多个维度上的目标CEP，以更好地匹配特定个人的个人偏好和生物特征个性。如本文其他地方所述，CEP或类似等级可以是多维的。
基于CEP、场景身份和状态、场景的目标CEP和玩家简档，SGS模块924可以确定几个可用分支选项中的哪一个将针对剧院体验优化玩家的CEP。该确定可以包括使用机器学习算法的预测建模、基于对故事软件内的可用替代方案的加权分数矩阵进行排名的基于规则的算法，或基于规则的方案和机器学习的组合。SGS模块924可以选择多个替代方案中的顶级(top-ranking)方案来指导现场交互式剧院的进度，然后为非玩家角色、活动道具(如果有)、舞台灯光、渲染引擎(用于虚拟制作)生成命令，以实施选择的替代方案。SGS模块可以使用任何模态将命令传送到人类表演者，该模态清楚地向表演者提供期望信息，例如传输到表演者佩戴的听筒的合成语音命令、舞台灯光或道具配置中的编码信号、平视显示器中的图标或文本信号，或剧院声道中的听觉信号(诸如曲调或特效)。
对于每个场景，SGS模块924可以使用反向逻辑来跟踪玩家演员交互。例如，可以设计现场剧院，以使每个表演者都有一个交互目标，通常是他们希望玩家演员做或说的事情。表演者通过满足他们的目标来影响玩家演员的行为，并保持SGS模块924关注特定玩家演员的目标进度。基于准确的目标信息，SGS模块可以根据已经开发并存储在数据库920中的计划编剧，向表演者和舞台管理器命令推荐的对话和行动。
在包括虚拟现实实施例的系统900的一些实施例中，非玩家角色可以穿戴跟踪NPC移动和位置的运动捕获服装或设备。类似地，道具可以设置有将运动和方位传感器馈送到SGS模块924的运动传感器。通过使用跟踪信息，SGS模块可以确定知道哪些舞台道具由哪些演员处理。传感器数据指示SGS模块924的人类和机器人参与者的状态和方位，该传感器数据形成控制信号以实现戏剧制作的一个或多个目的。用于控制表演者和舞台元素的所有可能的交互和参与(即剧院的替代指导)可以被存储在ATOM数据库920中。例如，所有对话行都可以被存储在数据库920中，包括整个脚本和所有分支排列。SGS模块在来自演员将具有的SAGE QCI移动应用的给定输入下管理对NPC演员的所有分支和命令。移动应用可以与电影AI云(CAIC)软件进行通信，然后CAIC软件将数据传递到SGS模块。SAGE QCI、CAIC和SGS模块可以被实施为以适当的语言(例如C++、Perl等)编码的定制编程的应用。
在由生物特征输入驱动的交互式剧院的一个方面，表演者和玩家演员可以使用移动应用(例如，“SAGE QCI”)和用于发信号通知生物特征数据和其他信息的设备。图10示出使用安装在移动设备1020(例如智能电话)上的应用或系统1004来收集和使用来自个人1002(例如，表演者或玩家演员)的生物特征响应数据以进行交互式娱乐的系统1000。一个或多个生物特征传感器可以经由蓝牙连接1018或其他合适的耦合方式耦合到移动设备1020。在替代方案中，传感器可以内置于移动设备1020中，并且经由总线或串行端口与其处理器通信。生物特征传感器1006可以包括脑电图(EEG)传感器1008、皮肤电响应传感器1010、心电图传感器1012、眼睛跟踪和面部表情传感器1014以及方位传感器1016。移动设备1020的处理器可以将原始传感器数据传输到基于云的数据处理系统1024，该数据处理系统1024生成内容参与1056(例如，CEP)的量度和其他处理后的数据1050。内容参与软件1056可以被提供给故事管理模块或应用1058，以用于如本文所描述的那样控制分支内容。其他处理后的数据1050可以包括例如用于特定内容标题的使用分析数据1052和在一个或多个内容标题上聚合的趋势数据1054。
数据分析系统1024的其他输入可以包括批处理的原始传感器数据1048。批处理的数据1048可以被非实时地收集并且离线存储，例如存储在个人计算设备1042中，该个人计算设备1042在本地数据存储装置中存储批处理的生物特征数据1044，这些数据可以不时地经由网站或其他门户网站上传到数据分析服务器1024。例如，离线或非实时数据对于开发用户简档或回顾性分析可能有用。
数据分析系统1024可以以两个更新速率(快速分组和慢速分组)执行分布式处理。移动设备1020可以以快速模式处理原始生物特征数据，并且仅通过数据分组将数据摘要发送到云分析系统1024以进行进一步处理。在慢速模式中，可以以较慢的数据速率上传原始数据文件以进行会话后处理。数据分析系统1024可以被不同地配置。在一些实施例中，服务器1024可以包括AmazonTM Kinesis前端1026，以用于在分析系统1024内接收、缓存和服务输入的原始数据。数据处理部件1028可以使用机器学习和基于规则的算法来处理原始生物特征数据，如本文其他地方所述。可以与长期存储单元1032和1034交换处理后的数据。为了方便，可以使用无服务器的计算平台1036(例如，Amazon lambda(λ))来提供代码执行和缩放，而无需管理服务器上的实例、可用性和运行时间的开销。可以经由应用程序接口(API)1038来管理来自数据分析系统1024的处理后的数据1030的提供。
图11示出用于用户1102的包括移动设备1104的移动系统1100，该移动设备1104具有用于收集本文描述的方法和装置中使用的生物特征数据的传感器和配件1112、1120以及显示屏1106。移动系统1100可以对于实时控制或非实时应用(诸如传统的内容范围焦点组测试)很有用。移动设备1104可以使用通常包括在消费者设备(电话、桌子等)上的内置传感器，例如，前置立体相机1108(人像)或1110(风景)。通常由制造商内置以用于面部检测身份验证的相机1108、1110也可以用于通过眼睛跟踪以跟踪注意力、用于跟踪CEP评价度的FAU、用于瞳孔扩张测量以跟踪CEP唤起度和心率，该CEP唤起度和心率可通过包括脉搏检测传感器1114的手表配件1114或通过移动设备1104本身获得。
诸如头戴式耳机1120、帽子或VR头戴式受话器之类的附件可以配备有EEG传感器1122。移动设备的处理器可以经由也提供眼睛跟踪数据的3D相机1108、1110通过瞳孔扩张来检测唤起度。校准方案可以用于将由光圈(光线变化)引起的瞳孔扩张与对情感唤起度做出的改变区分开。设备1104的前置和后置相机都可以用于环境光检测，用于校正瞳孔扩张检测，从而排除了由灯光变化引起的扩张。例如，可以在校准序列期间测量瞳孔扩张距离(mm)与在针对预期环境光条件的表演期间预期的光的动态范围之间的关系。据此，处理器可以基于叙事的设计，通过测量叙事元素的额外扩张位移和校准信号测试的结果，来校准灯光效果与情感或认知工作量的效果之间的关系。
代替或附加于立体相机1108或1110，移动设备1104可以包括雷达传感器1130(例如多元件微芯片阵列雷达(MEMAR))，以创建和跟踪面部动作单元和瞳孔扩张。雷达传感器1130可以被嵌入在下方，并且可以通过移动设备1104上的屏幕1106看到，无论受试者上是否有可见光。屏幕1106对于由成像雷达阵列辐射的RF频谱是不可见的，从而可以在任何程度的明暗中通过屏幕执行雷达成像。在一个方面，MEMAR传感器1130可以包括两个阵列，每个阵列具有6个元件。各带有六个元件的两个小型RF雷达芯片天线构成成像雷达。MEMAR传感器1130相对于光学传感器1108、1110的优点在于不需要面部的照明，因此黑暗不会妨碍面部动作单元、瞳孔扩张和眼睛跟踪的感测。虽然仅示出一个6芯片MEMAR阵列1130，但是移动设备可以配备有两个或更多个类似的阵列以用于更稳健的感测能力。
诸如设备1104之类的移动设备的普遍存在和相对较低的成本使得它们可用于本系统和方法中。尽管如此，相对于更稳健的计算和联网饰品，移动设备也可能会引入某些限制，例如带宽和处理能力限制。因此，为了减少处理和数据速率开销，诸如下面结合图12所描述的系统可以被设计为在移动设备和云之间分配工作负载，以便以优化、平衡的方式降低两个约束。例如，系统可以包括具有不同算法的慢速消息传递格式和快速消息传递格式，以实施不同的格式。在相关方面，由本系统测量的大多数可变生物特征响应是由人体的肾上腺响应引起的，该响应具有与之相关联的潜伏期和时间常数(每个传感器)。根据计算机标准，该响应速度慢，但是要检测和消除系统中的噪声，可能会比奈奎斯特频率高出几个数量级进行过采样。实际上，每个传感器的KHz范围(例如1-2KHz)的采样率产生足够的数据，以在现场娱乐中实施生物特征响应，而没有过多的噪声或加重带宽限制。
图12是示出通过生物特征告知的舞台指导、道具和对话增强的用于现场交互式剧院的系统1200的各方面的示意图。该系统包括物理布景1210，该物理布景可以通过划分壁1212而被划分为两个或更多个场景或舞台1250、1252。在所示的示例中，第一表演者1204在第一场景1250中招待第一玩家演员1202，而第二表演者1208在第二场景1252中招待第二玩家演员1206。在虚拟现实实施例中，表演者1204、1208可以处于物理布景中，而玩家演员1202、1206位于其他地方并通过虚拟存在来参与。在替代的虚拟现实实施例中，玩家演员12021206和表演者1204、1208可以在虚拟布景中通过虚拟存在来参与。在这两个虚拟现实实施例中，耦合到或并入到虚拟现实饰品中的生物特征传感器可以收集生物特征数据以用于本文所述的方法。
表演者1204、1208和玩家演员1202、1206佩戴经由无线接入点或无线路由器1240与控制计算机1220通信的无线信令设备。控制计算机1220可以包括从生物特征传感器接收信号并且将信号转换为参与的量度(例如CEP)的生物特征模块1222。控制计算机还可以包括舞台管理器模块1223，该舞台管理器模块1223控制与表演者和玩家演员的通信，以及舞台道具1214、1216、音频扬声器1244和用于创建舞台的戏剧环境的其他设备的操作。模块1222、1223可以被实施为编码在控制计算机1220的存储器中的一个或多个可执行应用。尽管在本文中被描述为是分开的，但是模块1222和1223可以被实施为集成应用。
在其中用户在表演期间随身携带移动电话的实施例中，舞台管理器可以向用户的电话发送消息或视觉和听觉刺激以使用户注视电话。当用户看着电话时，它可以用于收集生物特征数据，诸如面部动作单位和瞳孔扩张。可以通过诱使用户触摸屏幕来收集心率，例如使用诸如“触摸此处进行”之类的消息。智能手机或类似设备可以用于辅助内容，仅作为数据传输渠道，或者可以安装在面向用户的支架或其他支撑件中，以被动地收集生物特征数据。在一些应用中，移动设备屏幕可以提供用于体验娱乐内容的主屏幕。
生物特征模块1222和舞台管理器模块1223可以根据表演者或玩家演员的身份和角色来处理和使用不同的信息。例如，模块1222、1223可以仅处理和记录表演者的方位和音频。表演者1204、1208可以佩戴无线麦克风1234，该无线麦克风1234被配置为拾取表演者说出的对话。控制计算机1220可以例如使用本领域中已知的语音到文本算法并且将所得到的文本与表演数据库1224中的脚本数据进行比较来分析来自麦克风1234的记录的音频信号。基于该比较，舞台管理器模块1223可以确定当前动作的分支和脚本方位。另外，基于表演者的语音和/或通过记录玩家演员1202、1206的语音，舞台管理器模块1223可以确定表演者是否成功地使玩家演员执行脚本数据库1224中定义的期望动作。
控制计算机1220可以使用信标1242来定位表演者、玩家演员和可移动的道具或舞台物件。例如，方位信标可以是壁安装式蓝牙信标设备，其对表演者或玩家演员佩戴的智能设备1230、1232、1235发出电脉冲(ping)，并通过三角测量运算方位。替代地或附加地，可以将壁安装式或天花板安装式相机1238用于光学方位检测。相机1238还可以用于面部表情、眼睛移动、瞳孔扩张、脉搏或任何其他光学可检测生物特征的检测。
表演者和玩家演员可以佩戴各种生物特征检测和信令饰品。例如，表演者1204佩戴着虚拟现实(VR)眼镜1232，表演者1204可以通过该虚拟现实眼镜从控制计算机1220接收命令和其他信息。表演者还佩戴着听筒1234和腕安装式传感器设备1230以进行方位监测和其他功能。玩家演员1202仅佩戴着腕安装式传感器设备1230，该传感器设备1230被配置用于方位、脉搏和皮肤电响应检测。相机1230可以提供其他生物特征数据，诸如面部动作单位(FAU)、凝视方向和瞳孔扩张。代替或附加于相机1238，VR头戴式受话器1232可以配备有面向外的相机、红外传感器、雷达单元或用于检测玩家演员1202的面部和眼睛状态的其他传感器。例如，表演者1208具有与另一个表演者1204相同的听筒1234和腕安装式设备1230。代替VR头戴式受话器，表演者1208佩戴着麦克风1235和触觉头带1236。当被玩家演员佩戴时，头带1236可以被配置用于EEG检测、皮肤电响应、脉搏或其他生物特征检测。玩家演员1206佩戴腕安装式设备1230和VR遮光板1232，VR遮光板1232具有激活的面向内的传感器以进行生物特征感测。
舞台道具1214和1216可以是具有可移动部件的主动道具和/或用于在布景1210周围移动的驱动器，或者可以是仅具有方位传感器的被动道具，或者前述道具的某种组合。道具1214、1216上的方位传感器可以将方位数据发送到控制计算机1220，控制计算机1220可以向表演者1204、1208提供舞台指导，例如“将道具‘A’返回原位”。在一个方面，一个或多个道具包括直接由控制计算机1220控制的主动特征件。在另一方面，一个或多个道具或舞台环境的其他部分包括信令设备，以从控制计算机1220向表演者1204、1208传送命令或其他信息。
图12所示的系统1200可以用于执行用于管理现场剧院的方法。图13示出生物特征告知的现场交互式剧院系统的部件之间的交互1300，这些部件可以被不同地组合或改变以执行各种方法。这些部件可以包括表演演员1302、表演演员佩戴的客户端设备1304、可以被实施为控制计算机的模块的舞台管理器部件1306、可以被实施为控制计算机或另一计算机的模块的生物特征处理模块1308、参与玩家演员佩戴的客户端设备1310以及参与玩家演员1312。
在戏剧体验开始时，舞台管理器1306可以通过向计算机部件1304、1308和1310中的每一个发送查询来初始化1314参与部件。每个客户端设备1304、1310可以输出查询信号(例如听觉问题或视觉问题)，询问相应人类演员1302、1312是否准备好。在1316处，表演者的客户端1304授权1316经由客户端设备1304使用例如生物特征ID、密码或短语、安全令牌或其他方法来访问舞台管理器1306。参与者的客户端1310可以通过将参与者1312的生物特征响应转换1322成合理的生物特征数据来执行类似的授权协议及其生物特征传感器阵列的测试。生物特征处理器1308可以评估初始生物特征数据并将响应与期望模式匹配，可选地使用来自参与者1312的存储的用户简档的历史数据。一旦舞台管理器1306从其他部件中的每一个中识别出1318授权响应，则准备好进行。
在1324处，舞台管理器1306可以从制作数据库中获取简档、舞台管理和内容数据，从而将参与者1310的简档数据提供给生物特征处理模块1308，将内容数据提供给参与者的客户端1310，并且将舞台管理数据的机器可读编码提供给演员的客户端1304。演员的客户端1304将舞台指导转化为人类可读的格式，并输出给演员1302。参与者的客户端1310将内容数据转换为输出给参与者1312的人类可感知的音频-视频。客户端1310中的或连接到客户端1310的生物特征传感器读取参与者1312对内容数据的神经响应，并将传感器数据转换1322为指示参与者的神经响应的生物特征数据。内容数据可以包括校准内容，生物特征处理器1308根据该校准内容校准1330其阈值，并且触发以用于向舞台管理器1306发信号通知相关的神经状态。
在一些实施例中，舞台管理器部件1306可以基于参与者1312的非自愿生物特征反应来设置初始角色和其他制作元素，以测试对象、角色、场景或其他初始刺激。舞台管理器1306可以使用初始刺激和非自愿生物特征响应来测量各种替代角色或其他戏剧元素的评价度和唤起度。例如，舞台管理器1306可以测量参与者1312对每个NPC的潜意识生物特征反应，并在该反应的基础上，基于玩家被哪个NPC最多地唤起而向NPC分配角色。对于更详细的示例，如果高度地唤起了参与者对NPC的潜意识反应并且具有负评价度，则舞台管理器部件1306可以将该NPC分配为制作的叙事中的对立者。
一旦校准了参与者的生物特征传感器以准确检测神经响应，并且选择或生成了初始的非玩家角色、舞台道具、虚拟布景或其他可控元素，这些部件就可以协作以通过舞台管理表演演员1302以及任何相关道具或演出来提供现场剧院体验。舞台管理器1306可以通过其相应户端1304、1310跟踪1336演员1302和参与者1312的方位。每个客户端可以通过从舞台上的信标进行三角测量来定位自己，并且周期性地或响应于诸如新场景的开始的事件向舞台管理器报告其方位。
在进行新内容之前，舞台管理器1306可以在1354处确定制作是否完成。如果制作没有完成，则舞台管理器可以警告生物特征模块1308准备好接收下一场景的数据。在1338处，生物特征模块确认其准备好，并触发来自下游系统部件的类似的确认。在1340处，演员根据舞台指导和由舞台管理器提供的对话来呈现下一场景。在真实的现场制作中，参与者1312体验演员的动作，其引起1342自然的神经响应。参与者的客户端1310将其传感器信号转换为用于生物特征处理器1308的生物特征数据，该生物特征处理器1308例如使用上文中详细描述的CEP运算来运算1342神经状态。舞台管理器1306将运算的神经状态与目标状态进行比较，并选择1346下一场景、对话、特效或这些或类似元素的某种组合，以引起更接近目标状态的神经响应。舞台管理器1306将其在机器可读舞台指令中的选择传输到演员客户端1304，演员客户端1304以人类可读的形式向演员1302输出，或者在自动舞台片段的情况下可以提供机器可读指令。演员1302继续行动直到确定1348场景结束。
一旦场景结束，演员的客户端1304可以向舞台管理器发信号，该舞台管理器可以在1350处选择下一舞台指导1350以供参与者的客户端1310输出，指示参与者移动到布景中的将呈现下一场景的下一区域，或移动到参与者自己选择的下一方位。然后，参与者可以移动1352到布景的另一区域，在此区域中，客户端1310可以为下一场景定位1344参与者1312。如果舞台管理器在1354处确定制作完成，则它可以向其他部件发信号以终止1358、1360和1362，并在1356处终止自身。客户端部件的终止可以包括向人类演员示出的“再见”消息。控制部件1308、1308可以总结会话的记录以供将来使用并存储在计算机数据库中。操作1300可以适于在真实或虚拟布景中使用。
与前述一致，图14示出用于在生物特征告知的现场交互式剧院系统中操作控制器的方法1400。在1402处，控制器可以初始化供演员或参与者使用的一个或多个客户端设备，接收与订阅了交互式剧院会话的客户端有关的客户端数据1403。在1404处，控制器识别表演者和演员，包括查询简档数据以识别人物。在1406处，控制器校准对校准内容1407的初始记录或现场表演的生物特征响应。在1408处，控制器跟踪参与制作的所有移动客户端的方位。在1410处，控制器检测成对或成组的表演演员，表演演员将基于客户端的接近度在下一场景中进行交互。
在1412处，控制器基于生物特征数据1413以及针对手头内容的脚本和舞台计划1411，选择包括演员对话的舞台指导。控制器可以例如基于一个或多个相关受众成员对各种替代方案的预测神经响应和对场景的目标响应对选择进行评分。控制器可以选择具有与受众成员的目标响应最紧密匹配的预测响应的替代方案。控制器可以基于受众的简档来改变目标响应和预测响应，包括他们过去的神经响应的历史以及他们陈述或推断的偏好(如果有的话)。
下面的伪代码提供了用于交互式剧院的控制器的操作的附加示例，包括可选内容元素的选择：
Figure BDA0002510505600000301
再次参考图14，在1414处，控制器向负责执行该指导的演员或部件发信号通知所选择的舞台指导和对话。在1416处，控制器使用本文所述的传感器和客户端设备来监测演员的表演和受众成员的神经响应。在1418处，控制器获得指示受众成员的神经响应的生物特征信号。在1420处，控制器处理该信号以获得在配置舞台指导和对话1412中使用的生物特征数据1413。在1422处，控制器例如通过收听演员说出的对话或等待来自演员的“结束”信号来确定场景是否结束。如果场景未结束，则方法1400返回到操作1412。如果在1424处场景结束且会话未结束，则控制器在1426处选择下一场景。如果会话结束，则控制器在1428处终止会话。
通过附加示例并且作为前述内容的总结，图15示出用于操作系统的方法的各方面，该系统在现场演员在物理布景或虚拟布景上表演期间向现场演员发信号并控制道具和效果。方法1500可以包括：在1510处，由至少一个计算机处理器从至少一个传感器接收传感器数据，该至少一个传感器被定位成感测正在经历一个或多个演员的现场表演的一个或多个受众成员的非自愿生物特征响应。现场表演可以是真实的或虚拟的。为了感测唤起度，合适的传感器可以包括用于下列项的任意一个或多个传感器：脑电图(EEG)、皮肤电响应(GSR)、面部肌电图(fEMG)、心电图(EKG)、视频面部动作单元(FAU)、脑机接口(BMI)、视频脉冲检测(VPD)、瞳孔扩张、身体化学感测、功能磁成像(fMRI)和功能近红外(fNIR)。用于测量评价度的合适传感器可以包括例如用于下列项的一个或多个传感器：脑电图(EEG)数据、面部肌电图(fEMG)、视频面部动作单元(FAU)、脑机接口(BMI)、功能磁成像(fMRI)、身体化学感测、人声识别、功能近红外(fNIR)和正电子发射断层摄影(PET)。PET也可以用于检测唤起度，但是主要考虑用于检测评价度。合适的传感器的其他细节和说明性示例可以如本文其他地方所述。
方法1500可以包括：在1520处，由至少一个计算机处理器基于传感器数据来确定一个或多个受众成员的神经状态的量度。存在神经状态的各种模型，并且可以使用相应的量度。一种有用的量度是内容参与能力(CEP)，其为评价度和唤起度的指示，可用于指示对内容的参与。上文详细描述了用于计算CEP的算法。处理器可以使用公开的算法或任何其他有用的算法来运算神经状态的量度。
方法1500可以包括：在1530处，由至少一个计算机处理器至少部分基于将量度与目标故事情节比较来生成用于表演的舞台指导。生成舞台指导可以包括基于将当前神经指示符与来自不同替代方案的预测结果进行比较而从替代指导中进行选择。舞台指导可以包括例如特定的对话、道具的使用、特效、灯光、声音和其他舞台动作。
方法1500可以包括：在1540处，由至少一个计算机处理器在现场表演期间向一个或多个演员发信号通知舞台指导。例如，计算机处理器可以将音频、视频、图像或其他视觉信号或触觉信号发送到表演演员佩戴的客户端设备。视觉信号可以经由平视显示器、舞台监测器或信令道具提供。可以经由听筒提供听觉信号。
在一个方面，给受众成员的信号可以包括注释，以解释受众成员可能难以遵循的内容。当检测到的神经状态指示神志不清或不理解时，注释可以被视为在某些情况下需要的一种特效。可以相信，通过生物特征反应，尤其是大脑活动的指示符，可以将理性参与内容的状态与困惑区分开。EEG传感器可以能够检测出受众成员何时难以理解内容并选择说明性注释以呈现给此类人。
方法1500可以以任何可操作的顺序包括图16-图17中所示的附加方面或操作1600或1700中的任何一个或多个。这些附加操作中的每一个不必要在该方法的每个实施例中都执行，并且操作1600或1700中的任何一个的存在并不一定要求也执行这些附加操作中的任何其他操作。
参见图16，其示出用于在现场演员的表演期间向现场演员发信号并控制道具和效果的某些附加操作或方面1600，方法1500还可以包括：在1610处，至少部分通过基于传感器数据确定唤起度值并将基于传感器数据的刺激平均唤起度与期望平均唤起度进行比较来确定神经状态的量度。例如，CEP包括唤起度和评价度的量度。上面结合图15列出了用于检测唤起度的合适传感器。
在相关方面中，方法1500可以包括：在1620处，至少部分地通过基于传感器数据超过阈值达一段时间来检测一个或多个刺激事件，从而确定神经状态的量度。在相关方面中，方法1500可以包括：在1630处，针对一个或多个受众成员中的每一个并且对于刺激事件中的每一个，运算多个事件能力中的一个，并且聚合事件能力。在一个方面，方法1500可以包括由至少一个处理器基于传感器数据的一个或多个源标识为每个事件能力分配权重。在1640处，方法1500还可以包括至少部分通过基于传感器数据确定评价度值并将评价度值包括在确定神经状态的量度中来确定神经状态的量度。上面结合图15提供了合适的传感器列表。
参见图17，其示出某些附加操作1700，方法1500还可以包括：在1710处，至少部分通过基于将测量的神经状态与用于表演的目标故事情节进行比较来确定误差测量，从而生成舞台指导。目标故事情节可以是或可以包括神经状态的一组目标数字表示，每个目标数字表示与表演的不同场景或片段唯一地相关联。误差可以通过值的差、值的比率或者差和比率的组合(例如，(目标-实际)/目标)来测量。
在相关方面中，方法1500还可以包括：在1720处，为受众成员中的一个受众成员执行接收、确定和生成，以及为一个或多个演员中的至少一个演员执行发信号。换句话说，处理器在跟踪受众成员的此类响应时可能不会跟踪表演演员的生物特征响应。操作1720可以包括在初始化操作期间通过与客户端设备的关联来识别受众成员中的一个受众成员。替代地或附加地，方法1500还可以包括：在1730处，针对聚合的受众成员中的多个受众成员执行接收、确定和生成。处理器可以通过在初始设置期间将客户端设备与特定成员或一组成员相关联来确定多个成员。
如本文所述的方法可以由被配置用于接收现场生物特征反馈的专用计算装置来执行。图18示出用于在真实或虚拟布景中的现场演员表演期间向现场演员发信号并控制道具和效果以及相关功能的装置或系统1800的部件。装置或系统1800可以包括用于执行如本文所述的功能或过程操作的附加或更详细的部件。例如，处理器1810和存储器1816可以包含如上所述的用于运算CEP的过程的实例。如所描绘的，装置或系统1800可以包括能够表示由处理器、软件或其组合(例如，固件)实施的功能的功能块。
如图18所示，装置或系统1800可以包括用于从至少一个传感器接收传感器数据的电子部件1802，该至少一个传感器被定位为感测正在经历一个或多个演员的现场表演的一个或多个受众成员的非自愿生物特征响应。部件1802可以是或可以包括用于所述接收的装置/工具(means)。所述装置/工具(means)可以包括处理器1810，该处理器1810耦合到存储器1816，并且耦合到本文所述的任何合适类型的至少一个生物特征传感器1814的输出，该处理器基于存储在存储器中的程序指令来执行算法。此类算法可以包括例如接收模拟传感器信号，将模拟信号转换为数字数据，识别信号类型，以及记录表征来自传感器输入的数字数据的一个或多个参数。
装置1800还可以包括用于基于传感器数据确定一个或多个受众成员的神经状态的量度的电子部件1804。部件1804可以是或可以包括用于所述确定的装置/工具。所述装置/工具可以包括耦合到存储器1816的处理器1810，该处理器基于存储在存储器中的程序指令执行算法。此类算法可以包括一系列更详细的操作，例如，如本文所述用于运算CEP或类似量度。在一些实施例中，该算法可以包括机器学习处理，该机器学习处理将传感器数据的模式与一个人或一群人的神经状态相关。
装置1800还可以包括用于至少部分基于将神经状态的量度与目标故事情节进行比较来生成用于表演的舞台指导的电子部件1806。部件1806可以是或可以包括用于所述生成的装置/工具。所述装置/工具可以包括耦合到存储器1816的处理器1810，该处理器基于存储在存储器中的程序指令执行算法。此类算法可以包括一系列更详细的操作，例如，检索神经影响因子或将神经影响因子分配给替代的舞台指导，确定测量的神经状态和目标状态之间的误差，以及选择最好地补偿该误差的舞台指导或舞台指导的组合。如本文所用，“舞台指导”除了包括诸如灯光和特效之类的非故事性戏剧增强之外，还可以包括诸如对话、情节和场景之类的替代性故事元素。
装置1800还可以包括用于在表演期间向一个或多个演员发信号通知舞台指导的电子部件1808。部件1808可以是或可以包括用于所述发信号的装置/工具。所述装置/工具可以包括耦合到存储器1816的处理器1810，该处理器基于存储在存储器中的程序指令执行算法。此类算法可以包括一系列更详细的操作，例如，识别舞台指导的目标，格式化目标的舞台指导，对目的地客户端的舞台指导进行编码，以及将舞台指导以编码形式发送到目的地客户端。
装置1800可以可选地包括具有至少一个处理器的处理器模块1810。处理器1810可以经由总线1813或类似的通信耦合方式与模块1802-1808可操作地通信。在替代方案中，一个或多个模块可以被实例化为处理器的存储器中的功能模块。处理器1810可以发起和调度由电子部件1802-1808执行的过程或功能。
在相关方面中，装置1800可以包括网络接口模块1812或等效的I/O端口，其可操作用于通过计算机网络与系统部件进行通信。网络接口模块可以是或可以包括例如以太网端口或串行端口(例如，通用串行总线(USB)端口)、Wi-Fi接口或蜂窝电话接口。在另外的相关方面中，装置1800可以可选地包括用于存储信息的模块，例如存储器设备1816。计算机可读介质或存储器模块1816可以经由总线1813等可操作地耦合到装置1800的其他部件。存储器模块1816可以适于存储计算机可读指令和数据，以影响模块1802-1808及其子部件或处理器1810的过程和行为、方法1500以及本文公开的一个或多个附加操作1600-1700，或本文所述的由现场剧院的控制器执行的任何方法。存储器模块1816可以保留用于执行与模块1802-1808相关联的功能的指令。尽管示出为在存储器1816外部，但是应当理解，模块1802-1808可以存在于存储器1816内或处理器1810的片上存储器内。
装置1800可以包括或者可以连接到一个或多个生物特征传感器1814，生物特征传感器1814可以是任何合适的类型。合适的生物特征传感器的各种示例在上文中进行了描述。在替代实施例中，处理器1810可以包括来自在计算机网络上操作的设备的联网微处理器。另外，装置1800可以经由I/O模块1812或其他输出端口连接到本文所述的输出设备。
前述方法和装置的某些方面可以适于在用于交互式娱乐的屏幕编写应用中使用，包括允许屏幕编写者定义与玩家和角色的心理简档有关的变量的应用接口。该应用可以使屏幕编写者通过定义变量并创建匹配的内容来创建故事。例如，编写者可以在脚本编写期间跟踪玩家参数(诸如，个性、人口统计、社会经济状况)，并基于玩家参数设置脚本如何分支的变量(由编写者决定)。此外，该应用还可以使编写者能够将分支放置在取决于玩家的神经状态的脚本中。该应用可以通过将选择呈现为下拉菜单或类似选择你自己的冒险书的链接来促进回读期间的分支的开发。屏幕编写者可以经由图形接口并且在脚本环境中管理和创建分支。该应用可以协助屏幕编写者管理非玩家角色简档，例如通过基于玩家简档和其他非玩家角色在场景中的动作为对话和动作提出建议，并且还通过玩家和其他非玩家的交互来提出建议。
脚本的草稿可以通过使用个性模型来模拟角色交互来制作。基于可用的角色数据简档信息，脚本编写应用可以通过模拟使用机器学习和试验(玩家演员试验)来构建传统线性叙事的脚本。可以基于收集的关于模拟的玩家演员在模拟期间如何表演的数据，将通过模拟的每个“玩的”路径转换为线性脚本。例如，记录的交互、对话和其他元素取决于所有生物特征传感器数据和玩家演员/NPC角色简档数据。该应用可以比较替代的草稿并确定最有可能成功的草稿。建议可以主要基于个人简档数据匹配以及与叙事结构有关的跨类型、人口统计、背景故事、角色类型/角色的匹配。该应用可以使用建立在角色简档/背景故事上的数据库以及存储玩家演员试验数据、故事情节、生物特征数据和其他相关数据的数据库。
应用可以基于简档数据、情感响应和交互(来自模拟试验的存储的玩家演员交互)使用机器学习来识别角色反应中的模式。草稿脚本基于模拟的竞争、冲突以及计算机控制的非玩家角色(NPC)之间的其他交互。可以通过从存储的电影数据角色简档、故事情节、情感情节、对话以及横跨多个故事的交互的语料库中进行随机选择来告知或生成NPC交互和对话。针对流行故事情节数据对排列(从NPC到NPC的试验)进行评分，以基于过去的数据返回讨人喜欢的百分比分数。与流行故事的故事情节相似性超过95％或99％的试验可以被重新调整以供人类分析。
附加于或替代定义诸如角色和故事情节之类的主要元素，合成内容设计还可以使用更细化的“原子元素”，诸如灯光、配色方案、取景、配乐、视点(POV)或场景改变时刻，以提高受众对作品的参与，而不仅仅是选择预拍摄的场景或下一个要示出的节点。使用基于情感诉说的反馈允许制作者告知和引导设计师和脚本编写者和摄影师和配色师和配乐选择者等，以创建使受众更能好参与的内容。关键点不只是创建动态故事或调用不同的NPC，而是基于经由相关传感器确定的情感诉说来改变作品的更细化方面(“原子元素”)。这可以用于形成更好的版本，以实现绿色灯光或重新设计制作，并在可能的情况下实时地进行。
合成内容设计可以用于预览的预先可视化(pre-viz)，也许使用已经强力拍摄的不同版本，或者使用CGI和pre-viz硬件来呈现不同的替代方案。根据可用的计算带宽，随着演示的进行，CGI渲染的内容可以实时地做出反应，将受众优选的灯光、配乐、取景等并入输出。
本领域技术人员将进一步理解，结合本文公开的方面描述的各种说明性的逻辑块、模块、电路和算法步骤可以实施为电子硬件、计算机软件或两者的组合。为了清楚地说明硬件和软件的这种可互换性，上面已经在其功能方面总体上描述了硬件和软件、各种说明性部件、方框、模块、电路和步骤的可互换性。将这种功能实现为硬件还是软件取决于施加于整个系统的应用和设计约束。技术人员可以针对每个应用以变化的方式来实施所描述的功能，但是这种实施决定不应被解释为导致脱离本公开的范围。
如在本申请中所用，术语“部件”、“模块”、“系统”等旨在指代与计算机有关的实体，可以是硬件、硬件和软件的组合、软件或执行中的软件。例如，部件或模块可以是但不限于在处理器上运行的进程、处理器、对象、可执行文件、执行线程、程序和/或计算机。通过说明的方式，在服务器上运行的应用和服务器都可以是部件或模块。一个或多个部件或模块可以驻留在执行的进程和/或线程中，并且部件或模块可以位于一个计算机上和/或分布在两个或多个计算机之间。
将根据可以包括几个部件、模块等的系统来呈现各个方面。应当理解和意识到，各种系统可以包括附加部件、模块等，和/或可以不包括结合附图所讨论的所有部件、模块等。也可以使用这些方法的组合。可以在电气设备上执行本文公开的各个方面，该电气设备包括利用触摸屏显示技术、平视(heads-up)用户接口、可佩戴接口和/或鼠标和键盘类型的接口的设备。这种设备的示例包括VR输出设备(例如VR头戴式受话器)、AR输出设备(例如AR头戴式受话器)、计算机(台式和移动式)、电视、数字投影仪、智能电话、个人数字助理(PDA)以及有线和无线的其他电子设备。
另外，结合本文公开的各方面描述的各种说明性逻辑块、模块和电路可以用设计用于执行本文所述的功能的通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其他可编程逻辑设备(PLD)或复杂PLD(CPLD)、离散门或晶体管逻辑、离散硬件部件或其任何组合来实施或执行。通用处理器可以是微处理器，但在替代方案中，处理器可以是任何常规处理器、控制器、微控制器或状态机。处理器也可以被实施为计算设备的组合，例如，DSP和微处理器的组合、多个微处理器、一个或多个微处理器与DSP核心结合，或任何其他此类配置。
本文公开的操作方面可以直接体现在硬件中，由处理器执行的软件模块中，或两者的组合中。软件模块可以驻留在RAM存储器、闪速存储器、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移动磁盘、CD-ROM、数字多功能磁盘(DVD)、Blu-rayTM或本领域已知的任何其他形式的存储介质。示例性存储介质耦合到处理器，使得处理器可以从该存储介质读取信息，并且可以向该存储介质写入信息。在替代方案中，存储介质可以与处理器集成在一起。处理器和存储介质可以驻留在ASIC中。ASIC可以驻留在客户端设备或服务器中。在替代方案中，处理器和存储介质可以作为离散部件驻留在客户端设备或服务器中。
此外，可以使用标准编程和/或工程技术来产生软件、固件、硬件或其任意组合以控制计算机实施所公开的方面来将一个或多个版本实施为方法、装置或制品。非暂时性计算机可读介质可以包括但不限于磁存储设备(例如硬盘、软盘、磁条或其他格式)、光盘(例如压缩盘(CD)、DVD、Blu-rayTM或其他格式)、智能卡和闪速存储器设备(例如卡、棒或其他格式)。当然，本领域技术人员将认识到可以在不脱离所公开的方面的范围的情况下对该配置进行许多修改。
提供对所公开的方面的先前描述以使本领域的任何技术人员能够制造或使用本公开。对这些方面的各种修改对于本领域技术人员将是显而易见的，并且在不脱离本公开的精神或范围的情况下，本文中定义的一般原理可以应用于其他实施例。因此，本公开并非旨在限于本文中所示的实施例，而是应被赋予与本文中公开的原理和新颖性特征一致的最广范围。
鉴于上文描述的示例性系统，已经参考几个流程图描述了可以根据所公开的主题实施的方法。尽管为了简化说明的目的，将方法论示出并描述为一系列框，但是应当理解和认识道，所要求保护的主题不受框的顺序限制，因为一些方框可以以不同的顺序进行，和/或与本文所描绘和描述的其他框同时进行。此外，并非需要所有示出的框来实施本文描述的方法。另外，应当进一步认识到，本文公开的方法能够存储在制品上，以便于将这样的方法传递和转移到计算机。

Claims (27)

1.一种用于在现场演员在物理布景上表演期间向现场演员发信号并且控制道具和效果的方法，所述方法包括：
由至少一个计算机处理器从至少一个传感器接收传感器数据，所述至少一个传感器被定位成感测正在经历一个或多个演员的现场表演的一个或多个受众成员的非自愿生物特征响应；
由所述至少一个计算机处理器基于所述传感器数据确定所述一个或多个受众成员的神经状态的量度；
由所述至少一个计算机处理器至少部分基于将所述量度与目标故事情节进行比较来生成用于所述表演的舞台指导；以及
在所述现场表演期间，由所述至少一个计算机处理器发信号以向所述一个或多个演员通知所述舞台指导。
2.根据权利要求1所述的方法，其中确定所述神经状态的量度还包括基于所述传感器数据确定唤起度值，并且将基于所述传感器数据的刺激平均唤起度与期望平均唤起度进行比较。
3.根据权利要求2所述的方法，其中所述传感器数据包括以下一项或多项：脑电图EEG数据、皮肤电响应GSR数据、面部肌电图fEMG数据、心电图EKG数据、视频面部动作单元FAU数据、脑机接口BMI数据、视频脉冲检测VPD数据、瞳孔扩张数据、功能磁成像fMRI数据和功能近红外数据fNIR。
4.根据权利要求2所述的方法，其中确定所述神经状态的量度还包括基于所述传感器数据超过阈值达一段时间而检测一个或多个刺激事件。
5.根据权利要求4所述的方法，还包括针对所述一个或多个受众成员中的每一个并且针对所述刺激事件中的每一个计算多个事件能力中的一个，并且聚合所述事件能力。
6.根据权利要求5所述的方法，还包括基于所述传感器数据的一个或多个源标识为每个所述事件能力分配权重。
7.根据权利要求1所述的方法，其中确定所述神经状态的量度还包括基于所述传感器数据确定评价度值并且在确定所述神经状态的量度中包括所述评价度值。
8.根据权利要求7所述的方法，其中所述传感器数据包括以下一项或多项：脑电图EEG数据、面部肌电图fEMG数据、视频面部动作单元FAU数据、脑机接口BMI数据、功能磁成像fMRI数据和功能近红外数据fNIR。
9.根据权利要求1所述的方法，其中生成所述舞台指导还包括基于将所述量度与用于所述表演的所述目标故事情节进行比较来确定误差测量。
10.根据权利要求9所述的方法，其中所述目标故事情节包括一组目标神经值，每个所述目标神经值与所述表演的不同场景或片段唯一地相关联。
11.根据权利要求1所述的方法，其中所述表演的至少一部分包括受众沉浸，在所述受众沉浸中，所述一个或多个演员中的至少一个演员参与与所述受众成员中的一个受众成员的对话。
12.根据权利要求11所述的方法，其中所述处理器为所述受众成员中的所述一个受众成员执行所述接收、确定和生成，并且为所述一个或多个演员中的所述至少一个演员执行所述发信号。
13.根据权利要求1所述的方法，其中所述处理器为聚合的所述受众成员中的多个受众成员执行所述接收、确定和生成。
14.一种用于在物理布景上的表演期间指导现场演员的装置，其包括耦合到存储器的处理器，所述存储器保存程序指令，所述程序指令在被所述处理器执行时促使所述装置执行：
从至少一个传感器接收传感器数据，所述至少一个传感器被定位成感测正在经历一个或多个演员的现场表演的一个或多个受众成员的非自愿生物特征响应；
基于所述传感器数据确定所述一个或多个受众成员的神经状态的量度；
至少部分基于将所述量度与目标故事情节进行比较来生成用于所述表演的舞台指导；以及
在所述现场表演期间发信号以向所述一个或多个演员通知所述舞台指导。
15.根据权利要求14所述的设备，其中所述存储器保存用于以下操作的进一步指令：至少部分通过基于所述传感器数据确定唤起度值并且将基于所述传感器数据的刺激平均唤起度与期望平均唤起度进行比较来确定所述神经状态的量度。
16.根据权利要求15所述的设备，其中所述存储器保存用于接收所述传感器数据的进一步指令，所述传感器数据包括以下一项或多项：脑电图EEG数据、皮肤电响应GSR数据、面部肌电图fEMG数据、心电图EKG数据、视频面部动作单元FAU数据、脑机接口BMI数据、视频脉冲检测VPD数据、瞳孔扩张数据、功能磁成像fMRI数据和功能近红外数据fNIR。
17.根据权利要求15所述的装置，其中所述存储器保存用于以下操作的进一步指令：至少部分通过检测一个或多个刺激事件超过阈值达一段时间来确定所述神经状态的量度。
18.根据权利要求17所述的设备，其中所述存储器保存用于以下操作的进一步指令：针对所述一个或多个受众成员中的每一个并且针对所述刺激事件中的每一个计算多个事件能力中的一个，并且聚合所述事件能力。
19.根据权利要求18所述的装置，其中所述存储器保存用于以下操作的进一步指令：基于所述传感器数据的一个或多个源标识为每个所述事件能力分配权重。
20.根据权利要求14所述的装置，其中所述存储器保存用于以下操作的进一步指令：至少部分通过基于所述传感器数据确定评价度值并且在确定所述神经状态的量度中包括所述评价度值来确定所述神经状态的量度。
21.根据权利要求20所述的装置，其中所述存储器保存用于接收所述传感器数据的进一步指令，所述传感器数据包括以下一项或多项：脑电图EEG数据、面部肌电图fEMG数据、视频面部动作单元FAU数据、脑机接口BMI数据、功能磁成像fMRI数据和功能近红外数据fNIR。
22.根据权利要求14所述的装置，其中所述存储器保存用于以下操作的进一步指令：至少部分通过基于将所述量度与用于所述表演的所述目标故事情节进行比较来确定误差测量，从而生成所述舞台指导。
23.根据权利要求22所述的装置，其中所述存储器保存用于以下操作的进一步指令：与包括一组目标神经值的所述目标故事情节进行比较，每个所述目标神经值与所述表演的不同场景或片段唯一地相关联。
24.根据权利要求15所述的装置，其中所述存储器保存用于以下操作的进一步指令：生成所述舞台指导，所述舞台指导包括演员与所述受众成员中的一个受众成员的对话。
25.根据权利要求24所述的装置，其中所述存储器保存用于以下操作的进一步指令：为所述受众成员中的所述一个受众成员执行所述接收、确定和生成，并且为所述一个或多个演员中的所述至少一个演员执行所述发信号。
26.根据权利要求14所述的装置，其中所述存储器保存用于以下操作的进一步指令：为聚合的所述受众成员中的多个受众成员执行所述接收、确定和生成。
27.一种用于在物理布景上的表演期间指导现场演员的装置，其包括：
用于从至少一个传感器接收传感器数据的装置，所述至少一个传感器被定位成感测正在经历一个或多个演员的现场表演的一个或多个受众成员的非自愿生物特征响应；
用于基于所述传感器数据确定所述一个或多个受众成员的神经状态的量度的装置；
用于至少部分基于将所述量度与目标故事情节进行比较来生成用于所述表演的舞台指导的装置；以及
用于在所述现场表演期间发信号以向所述一个或多个演员通知所述舞台指导的装置。
CN201880076549.5A 2017-09-29 2018-09-28 使用生物特征传感器数据检测神经状态来指导现场娱乐 Active CN111936036B (zh)

Applications Claiming Priority (9)

Application Number Priority Date Filing Date Title
US201762566257P 2017-09-29 2017-09-29
US62/566,257 2017-09-29
US201862614811P 2018-01-08 2018-01-08
US62/614,811 2018-01-08
US201862661556P 2018-04-23 2018-04-23
US62/661,556 2018-04-23
US201862715766P 2018-08-07 2018-08-07
US62/715,766 2018-08-07
PCT/US2018/053625 WO2019068035A1 (en) 2017-09-29 2018-09-28 ORIENTATION OF LIVE ENTERTAINMENT USING BIOMETRIC SENSOR DATA FOR DETECTION OF A NEUROLOGICAL CONDITION

Publications (2)

Publication Number Publication Date
CN111936036A true CN111936036A (zh) 2020-11-13
CN111936036B CN111936036B (zh) 2023-09-26

Family

ID=65902772

Family Applications (3)

Application Number Title Priority Date Filing Date
CN201880076920.8A Active CN111742560B (zh) 2017-09-29 2018-09-27 向用户提供影视内容的方法和装置
CN201880077053.XA Active CN111758229B (zh) 2017-09-29 2018-09-28 基于生物特征传感器数据数字地表示用户参与定向内容
CN201880076549.5A Active CN111936036B (zh) 2017-09-29 2018-09-28 使用生物特征传感器数据检测神经状态来指导现场娱乐

Family Applications Before (2)

Application Number Title Priority Date Filing Date
CN201880076920.8A Active CN111742560B (zh) 2017-09-29 2018-09-27 向用户提供影视内容的方法和装置
CN201880077053.XA Active CN111758229B (zh) 2017-09-29 2018-09-28 基于生物特征传感器数据数字地表示用户参与定向内容

Country Status (5)

Country Link
US (3) US11303976B2 (zh)
EP (3) EP3688997A4 (zh)
KR (4) KR20200127969A (zh)
CN (3) CN111742560B (zh)
WO (3) WO2019067783A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113221850A (zh) * 2021-06-09 2021-08-06 上海外国语大学 基于观众特征、LPP和θ波的影视剧演员选取方法
CN114170356A (zh) * 2021-12-09 2022-03-11 米奥兰特(浙江)网络科技有限公司 线上路演方法、装置、电子设备及存储介质

Families Citing this family (53)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111742560B (zh) 2017-09-29 2022-06-24 华纳兄弟娱乐公司 向用户提供影视内容的方法和装置
US10735882B2 (en) * 2018-05-31 2020-08-04 At&T Intellectual Property I, L.P. Method of audio-assisted field of view prediction for spherical video streaming
US10848819B2 (en) 2018-09-25 2020-11-24 Rovi Guides, Inc. Systems and methods for adjusting buffer size
US11412298B1 (en) * 2018-10-02 2022-08-09 Wells Fargo Bank, N.A. Systems and methods of interactive goal setting tools
US11265597B2 (en) * 2018-10-23 2022-03-01 Rovi Guides, Inc. Methods and systems for predictive buffering of related content segments
US11417045B2 (en) * 2019-04-08 2022-08-16 Battelle Memorial Institute Dialog-based testing using avatar virtual assistant
WO2020223529A1 (en) * 2019-05-01 2020-11-05 Massachusetts Institute Of Technology Software and methods for controlling neural responses in deep brain regions
JP2020188947A (ja) * 2019-05-22 2020-11-26 本田技研工業株式会社 状態判定装置、状態判定方法及びコンピュータプログラム
US11298559B2 (en) * 2019-05-24 2022-04-12 Galibots Inc. Independent readiness determination for automated external defibrillator deployment
BR112021023808A2 (pt) * 2019-06-04 2022-01-04 Boeing Co Método e dispositivo para avaliar conteúdo de projeção em um ambiente fechado, meio de armazenamento legível por máquina, processador, e, produto programa de computador
WO2020249726A1 (en) * 2019-06-12 2020-12-17 Unity IPR ApS Method and system for managing emotional relevance of objects within a story
US11636117B2 (en) * 2019-06-26 2023-04-25 Dallas Limetree, LLC Content selection using psychological factor vectors
US11429839B2 (en) * 2019-08-22 2022-08-30 International Business Machines Corporation Adapting movie storylines
JPWO2021059770A1 (zh) * 2019-09-24 2021-04-01
CN110719505B (zh) * 2019-09-26 2022-02-25 三星电子（中国）研发中心 一种基于情绪的共享媒体内容提供方法及系统
US11601693B2 (en) 2019-09-30 2023-03-07 Kyndryl, Inc. Automatic adaptation of digital content
US11532245B2 (en) 2019-10-01 2022-12-20 Warner Bros. Entertainment Inc. Technical solutions for customized tours
US11645578B2 (en) 2019-11-18 2023-05-09 International Business Machines Corporation Interactive content mobility and open world movie production
US11496802B2 (en) * 2019-11-29 2022-11-08 International Business Machines Corporation Media stream delivery
US11537209B2 (en) * 2019-12-17 2022-12-27 Activision Publishing, Inc. Systems and methods for guiding actors using a motion capture reference system
CN111221416B (zh) * 2020-01-06 2021-12-07 腾讯科技（深圳）有限公司 一种虚拟道具分配的方法、服务器及终端设备
US11483593B2 (en) * 2020-01-28 2022-10-25 Smart Science Technology, LLC System for providing a virtual focus group facility
US11538355B2 (en) * 2020-03-24 2022-12-27 Panasonic Intellectual Property Management Co., Ltd. Methods and systems for predicting a condition of living-being in an environment
EP3925521A1 (en) * 2020-06-18 2021-12-22 Rockwell Collins, Inc. Contact-less passenger screening and identification system
US20210393148A1 (en) * 2020-06-18 2021-12-23 Rockwell Collins, Inc. Physiological state screening system
US11691076B2 (en) * 2020-08-10 2023-07-04 Jocelyn Tan Communication with in-game characters
EP4205099A1 (en) * 2020-08-28 2023-07-05 Mindwell Labs Inc. Systems and method for measuring attention quotient
US11487891B2 (en) * 2020-10-14 2022-11-01 Philip Chidi Njemanze Method and system for mental performance computing using artificial intelligence and blockchain
KR102450432B1 (ko) * 2020-11-19 2022-10-04 주식회사 핏투게더 스포츠 이벤트를 검출하는 방법 및 이를 수행하는 시스템
US11527046B2 (en) * 2020-11-30 2022-12-13 Sony Interactive Entertainment LLC. Real world beacons indicating virtual locations
CN115398828A (zh) * 2020-12-14 2022-11-25 船井电机株式会社 多个用户的实时沉浸
WO2022141894A1 (zh) * 2020-12-31 2022-07-07 苏州源想理念文化发展有限公司 融合表情和肢体运动的三维特征情绪分析方法
CN112800252A (zh) * 2020-12-31 2021-05-14 腾讯科技（深圳）有限公司 虚拟场景中媒体文件的播放方法、装置、设备及存储介质
CN112992186B (zh) * 2021-02-04 2022-07-01 咪咕音乐有限公司 音频处理方法、装置、电子设备及存储介质
WO2022201364A1 (ja) * 2021-03-24 2022-09-29 日本電気株式会社 情報処理装置、制御方法及び記憶媒体
US12001786B2 (en) * 2021-05-24 2024-06-04 Salesforce, Inc. Applied artificial intelligence technology for natural language generation using a graph data structure with follow-up capabilities
FR3123487B1 (fr) 2021-05-27 2024-01-19 Ovomind K K Procédé pour la prédiction automatique de l’effet émotionnel produit par une séquence de jeu vidéo
WO2022272057A1 (en) * 2021-06-24 2022-12-29 Innsightful, Inc. Devices, systems, and methods for mental health assessment
CN113420553A (zh) * 2021-07-21 2021-09-21 北京小米移动软件有限公司 文本生成方法、装置、存储介质及电子设备
WO2024018400A2 (en) * 2022-07-20 2024-01-25 Q (Cue) Ltd. Detecting and utilizing facial micromovements
US11908478B2 (en) 2021-08-04 2024-02-20 Q (Cue) Ltd. Determining speech from facial skin movements using a housing supported by ear or associated with an earphone
US20230038347A1 (en) * 2021-08-09 2023-02-09 Rovi Guides, Inc. Methods and systems for modifying a media content item based on user reaction
EP4352690A1 (en) * 2021-08-11 2024-04-17 Samsung Electronics Co., Ltd. Method and system for automatically capturing and processing an image of a user
US11651528B2 (en) * 2021-09-22 2023-05-16 Rockwell Automation Technologies, Inc. Systems and methods for providing context-based data for an industrial automation system
WO2023075746A1 (en) * 2021-10-25 2023-05-04 Earkick, Inc. Detecting emotional state of a user
US11849179B2 (en) * 2021-12-21 2023-12-19 Disney Enterprises, Inc. Characterizing audience engagement based on emotional alignment with characters
KR102541146B1 (ko) 2021-12-22 2023-06-13 주식회사 메디컬에이아이 블록체인을 통한 심전도 데이터 디지털 콘텐츠화 방법 및 이를 컴퓨터에서 실행하기 위한 컴퓨터 프로그램이 기재된 기록 매체
WO2023128841A1 (en) * 2021-12-27 2023-07-06 Telefonaktiebolaget Lm Ericsson (Publ) Methods and means for rendering extended reality
US20230395078A1 (en) * 2022-06-06 2023-12-07 Cerence Operating Company Emotion-aware voice assistant
US11930226B2 (en) * 2022-07-29 2024-03-12 Roku, Inc. Emotion evaluation of contents
CN115120240B (zh) * 2022-08-30 2022-12-02 山东心法科技有限公司 特殊行业目标感知技能的敏感性评估方法、设备及介质
KR102567931B1 (ko) * 2022-09-30 2023-08-18 주식회사 아리아스튜디오 시청자 반응을 기초로 인터랙티브 시나리오를 업데이트하는 콘텐츠 생성 플랫폼 장치
CN117041807B (zh) * 2023-10-09 2024-01-26 深圳市迪斯声学有限公司 蓝牙耳机播放控制方法

Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4305131A (en) * 1979-02-05 1981-12-08 Best Robert M Dialog between TV movies and human viewers
DE10242903A1 (de) * 2002-09-16 2004-03-25 Denz, Peter, Dipl.-Ing. Verfahren zum Übermitteln von Regie- und ähnlichen Anweisungen an Personen
US20090138332A1 (en) * 2007-11-23 2009-05-28 Dimitri Kanevsky System and method for dynamically adapting a user slide show presentation to audience behavior
US20100211439A1 (en) * 2006-09-05 2010-08-19 Innerscope Research, Llc Method and System for Predicting Audience Viewing Behavior
US20120324492A1 (en) * 2011-06-20 2012-12-20 Microsoft Corporation Video selection based on environmental sensing
US20130283162A1 (en) * 2012-04-23 2013-10-24 Sony Mobile Communications Ab System and method for dynamic content modification based on user reactions
CN103657087A (zh) * 2012-09-19 2014-03-26 迪士尼企业公司 身临其境式叙事环境
US20150093729A1 (en) * 2012-09-07 2015-04-02 BioBeats Inc. Biometric-music interaction methods and systems
US20150142553A1 (en) * 2010-06-07 2015-05-21 Affectiva, Inc. Mental state analysis for norm generation
US20150181291A1 (en) * 2013-12-20 2015-06-25 United Video Properties, Inc. Methods and systems for providing ancillary content in media assets
US20150270915A1 (en) * 2012-09-17 2015-09-24 Mario Perron System and method for participants to perceivably modify a performance
US20160191893A1 (en) * 2014-12-05 2016-06-30 Warner Bros. Entertainment, Inc. Immersive virtual reality production and playback for storytelling content
US20160228744A1 (en) * 2014-12-09 2016-08-11 Movea Device and method for the classification and the reclassification of a user activity
CN106249903A (zh) * 2016-08-30 2016-12-21 广东小天才科技有限公司 一种虚拟现实场景内容的播放方法及装置
US20160381415A1 (en) * 2015-06-26 2016-12-29 Rovi Guides, Inc. System and methods for stimulating senses of users of a media guidance application
US20170055033A1 (en) * 2014-02-13 2017-02-23 Piksel, Inc. Sensed Content Delivery
US20170169727A1 (en) * 2015-12-10 2017-06-15 International Business Machines Corporation Orator Effectiveness Through Real-Time Feedback System With Automatic Detection of Human Behavioral and Emotional States of Orator and Audience

Family Cites Families (57)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4432246B2 (ja) 2000-09-29 2010-03-17 ソニー株式会社 観客状況判定装置、再生出力制御システム、観客状況判定方法、再生出力制御方法、記録媒体
US20060005226A1 (en) * 2004-05-17 2006-01-05 Lee Peter S System and method for synchronization of a portable media player to a user's profile
US7694226B2 (en) 2006-01-03 2010-04-06 Eastman Kodak Company System and method for generating a work of communication with supplemental context
WO2008129356A2 (en) * 2006-03-13 2008-10-30 Imotions-Emotion Technology A/S Visual attention and emotional response detection and display system
WO2008030493A2 (en) * 2006-09-05 2008-03-13 Innerscope Research, Llc Method and system for determining audience response to a sensory stimulus
US20100004977A1 (en) * 2006-09-05 2010-01-07 Innerscope Research Llc Method and System For Measuring User Experience For Interactive Activities
US20140323899A1 (en) * 2006-12-22 2014-10-30 Neuro-Insight Pty. Ltd. Psychological Evaluation and Methods of Use
US8260189B2 (en) 2007-01-03 2012-09-04 International Business Machines Corporation Entertainment system using bio-response
US8583615B2 (en) * 2007-08-31 2013-11-12 Yahoo! Inc. System and method for generating a playlist from a mood gradient
US8069125B2 (en) 2007-12-13 2011-11-29 The Invention Science Fund I Methods and systems for comparing media content
US7889073B2 (en) * 2008-01-31 2011-02-15 Sony Computer Entertainment America Llc Laugh detector and system and method for tracking an emotional response to a media presentation
US8125314B2 (en) 2008-02-05 2012-02-28 International Business Machines Corporation Distinguishing between user physical exertion biometric feedback and user emotional interest in a media stream
US20100070987A1 (en) * 2008-09-12 2010-03-18 At&T Intellectual Property I, L.P. Mining viewer responses to multimedia content
US20140221866A1 (en) 2010-06-02 2014-08-07 Q-Tec Systems Llc Method and apparatus for monitoring emotional compatibility in online dating
US11056225B2 (en) * 2010-06-07 2021-07-06 Affectiva, Inc. Analytics for livestreaming based on image analysis within a shared digital environment
US10198775B2 (en) 2010-06-23 2019-02-05 Microsoft Technology Licensing, Llc Acceleration of social interactions
US8438590B2 (en) * 2010-09-22 2013-05-07 General Instrument Corporation System and method for measuring audience reaction to media content
GB201109731D0 (en) 2011-06-10 2011-07-27 System Ltd X Method and system for analysing audio tracks
US9015746B2 (en) * 2011-06-17 2015-04-21 Microsoft Technology Licensing, Llc Interest-based video streams
US20170251262A1 (en) * 2011-11-07 2017-08-31 Monet Networks, Inc. System and Method for Segment Relevance Detection for Digital Content Using Multimodal Correlations
US8943526B2 (en) * 2011-12-02 2015-01-27 Microsoft Corporation Estimating engagement of consumers of presented content
JP6178800B2 (ja) * 2011-12-16 2017-08-09 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． ユーザの行動及び関連する感情状態の履歴記録
US9569986B2 (en) 2012-02-27 2017-02-14 The Nielsen Company (Us), Llc System and method for gathering and analyzing biometric user feedback for use in social media and advertising applications
US8904419B2 (en) * 2012-03-19 2014-12-02 Rentrak Corporation System and method for measuring television audience engagement
US8898687B2 (en) * 2012-04-04 2014-11-25 Microsoft Corporation Controlling a media program based on a media reaction
KR101445923B1 (ko) * 2012-08-06 2014-11-03 경희대학교 산학협력단 대화형 전시 서비스 제공 방법
CA2886597C (en) * 2012-10-11 2024-04-16 The Research Foundation Of The City University Of New York Predicting response to stimulus
US20140130076A1 (en) * 2012-11-05 2014-05-08 Immersive Labs, Inc. System and Method of Media Content Selection Using Adaptive Recommendation Engine
US9398335B2 (en) * 2012-11-29 2016-07-19 Qualcomm Incorporated Methods and apparatus for using user engagement to provide content presentation
US20150193089A1 (en) 2013-01-15 2015-07-09 Google Inc. Dynamic presentation systems and methods
US9531985B2 (en) * 2013-03-15 2016-12-27 Samsung Electronics Co., Ltd. Measuring user engagement of content
US10013892B2 (en) 2013-10-07 2018-07-03 Intel Corporation Adaptive learning environment driven by real-time identification of engagement level
US10084880B2 (en) 2013-11-04 2018-09-25 Proteus Digital Health, Inc. Social media networking based on physiologic information
US9471912B2 (en) * 2014-02-06 2016-10-18 Verto Analytics Oy Behavioral event measurement system and related method
US9681166B2 (en) 2014-02-25 2017-06-13 Facebook, Inc. Techniques for emotion detection and content delivery
GB2524241A (en) * 2014-03-17 2015-09-23 Justin Philip Pisani Sensor media control device
US10120413B2 (en) 2014-09-11 2018-11-06 Interaxon Inc. System and method for enhanced training using a virtual reality environment and bio-signal data
KR20160065670A (ko) * 2014-12-01 2016-06-09 삼성전자주식회사 컨텐트를 제공하는 방법 및 디바이스
WO2016172557A1 (en) 2015-04-22 2016-10-27 Sahin Nedim T Systems, environment and methods for identification and analysis of recurring transitory physiological states and events using a wearable data collection device
US10338939B2 (en) 2015-10-28 2019-07-02 Bose Corporation Sensor-enabled feedback on social interactions
KR101716408B1 (ko) * 2015-11-09 2017-03-14 고려대학교 산학협력단 영상 컨텐츠의 몰입도 측정 방법 및 장치
US10025972B2 (en) 2015-11-16 2018-07-17 Facebook, Inc. Systems and methods for dynamically generating emojis based on image analysis of facial features
US20170147202A1 (en) 2015-11-24 2017-05-25 Facebook, Inc. Augmenting text messages with emotion information
US20200267451A1 (en) 2015-12-14 2020-08-20 Thomsom Licensing Apparatus and method for obtaining enhanced user feedback rating of multimedia content
WO2017105440A1 (en) * 2015-12-16 2017-06-22 Thomson Licensing Methods and apparatuses for processing biometric responses to multimedia content
US10097888B2 (en) * 2017-02-06 2018-10-09 Cisco Technology, Inc. Determining audience engagement
CN107085512A (zh) * 2017-04-24 2017-08-22 广东小天才科技有限公司 一种音频播放方法及移动终端
WO2018207183A1 (en) 2017-05-09 2018-11-15 Eye-Minders Ltd. Deception detection system and method
US11070862B2 (en) * 2017-06-23 2021-07-20 At&T Intellectual Property I, L.P. System and method for dynamically providing personalized television shows
US10511888B2 (en) * 2017-09-19 2019-12-17 Sony Corporation Calibration system for audience response capture and analysis of media content
CN111742560B (zh) 2017-09-29 2022-06-24 华纳兄弟娱乐公司 向用户提供影视内容的方法和装置
EP3737282A4 (en) 2018-01-08 2021-11-24 Warner Bros. Entertainment Inc. INTERACTIVE SOCIAL APPLICATIONS FOR DETECTION OF NEUROPHYSIOLOGICAL CONDITIONS
US10880601B1 (en) * 2018-02-21 2020-12-29 Amazon Technologies, Inc. Dynamically determining audience response to presented content using a video feed
US10542314B2 (en) 2018-03-20 2020-01-21 At&T Mobility Ii Llc Media content delivery with customization
GB201809388D0 (en) * 2018-06-07 2018-07-25 Realeyes Oue Computer-Implemented System And Method For Determining Attentiveness of User
US11086907B2 (en) 2018-10-31 2021-08-10 International Business Machines Corporation Generating stories from segments classified with real-time feedback data
US11429839B2 (en) 2019-08-22 2022-08-30 International Business Machines Corporation Adapting movie storylines

Patent Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4305131A (en) * 1979-02-05 1981-12-08 Best Robert M Dialog between TV movies and human viewers
DE10242903A1 (de) * 2002-09-16 2004-03-25 Denz, Peter, Dipl.-Ing. Verfahren zum Übermitteln von Regie- und ähnlichen Anweisungen an Personen
US20100211439A1 (en) * 2006-09-05 2010-08-19 Innerscope Research, Llc Method and System for Predicting Audience Viewing Behavior
US20090138332A1 (en) * 2007-11-23 2009-05-28 Dimitri Kanevsky System and method for dynamically adapting a user slide show presentation to audience behavior
US20150142553A1 (en) * 2010-06-07 2015-05-21 Affectiva, Inc. Mental state analysis for norm generation
US20120324492A1 (en) * 2011-06-20 2012-12-20 Microsoft Corporation Video selection based on environmental sensing
US20130283162A1 (en) * 2012-04-23 2013-10-24 Sony Mobile Communications Ab System and method for dynamic content modification based on user reactions
US20150093729A1 (en) * 2012-09-07 2015-04-02 BioBeats Inc. Biometric-music interaction methods and systems
US20150270915A1 (en) * 2012-09-17 2015-09-24 Mario Perron System and method for participants to perceivably modify a performance
CN103657087A (zh) * 2012-09-19 2014-03-26 迪士尼企业公司 身临其境式叙事环境
US20150181291A1 (en) * 2013-12-20 2015-06-25 United Video Properties, Inc. Methods and systems for providing ancillary content in media assets
US20170055033A1 (en) * 2014-02-13 2017-02-23 Piksel, Inc. Sensed Content Delivery
US20160191893A1 (en) * 2014-12-05 2016-06-30 Warner Bros. Entertainment, Inc. Immersive virtual reality production and playback for storytelling content
US20160228744A1 (en) * 2014-12-09 2016-08-11 Movea Device and method for the classification and the reclassification of a user activity
US20160381415A1 (en) * 2015-06-26 2016-12-29 Rovi Guides, Inc. System and methods for stimulating senses of users of a media guidance application
US20170169727A1 (en) * 2015-12-10 2017-06-15 International Business Machines Corporation Orator Effectiveness Through Real-Time Feedback System With Automatic Detection of Human Behavioral and Emotional States of Orator and Audience
CN106249903A (zh) * 2016-08-30 2016-12-21 广东小天才科技有限公司 一种虚拟现实场景内容的播放方法及装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
CLAUDIO MARTELLA. ET.AL.: "How Was It? Exploiting Smartphone Sensing to Measure Implicit Audience Responses to Live Performances", 《MULTIMEDIA》, pages 201 - 210 *
COLIN GRANT: "Many Worlds: The movie that watches its audience" *
VICTORIA TURK: "Shakespeare, Remixed by Biosensors" *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113221850A (zh) * 2021-06-09 2021-08-06 上海外国语大学 基于观众特征、LPP和θ波的影视剧演员选取方法
CN113221850B (zh) * 2021-06-09 2023-02-03 上海外国语大学 基于观众特征、LPP和θ波的影视剧演员选取方法
CN114170356A (zh) * 2021-12-09 2022-03-11 米奥兰特(浙江)网络科技有限公司 线上路演方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
US11343596B2 (en) 2022-05-24
KR20200127150A (ko) 2020-11-10
CN111758229A (zh) 2020-10-09
US20200296480A1 (en) 2020-09-17
EP3688897A1 (en) 2020-08-05
KR20200130231A (ko) 2020-11-18
EP3687388A4 (en) 2021-07-07
WO2019068035A1 (en) 2019-04-04
EP3688997A4 (en) 2021-09-08
EP3688897A4 (en) 2021-08-04
CN111742560A (zh) 2020-10-02
US20200296458A1 (en) 2020-09-17
CN111758229B (zh) 2022-06-24
EP3687388A1 (en) 2020-08-05
KR102662981B1 (ko) 2024-05-02
US11303976B2 (en) 2022-04-12
CN111742560B (zh) 2022-06-24
EP3688997A1 (en) 2020-08-05
WO2019067783A1 (en) 2019-04-04
CN111936036B (zh) 2023-09-26
KR20240011874A (ko) 2024-01-26
US20200297262A1 (en) 2020-09-24
WO2019068025A1 (en) 2019-04-04
KR20200127969A (ko) 2020-11-11

Similar Documents

Publication Publication Date Title
CN111936036B (zh) 使用生物特征传感器数据检测神经状态来指导现场娱乐
US20200405213A1 (en) Content generation and control using sensor data for detection of neurological state
US11815951B2 (en) System and method for enhanced training using a virtual reality environment and bio-signal data
JP2020039029A (ja) 動画配信システム、動画配信方法、及び動画配信プログラム
US20230047787A1 (en) Controlling progress of audio-video content based on sensor data of multiple users, composite neuro-physiological state and/or content engagement power
US11941177B2 (en) Information processing device and information processing terminal
US20230033892A1 (en) Information processing device and information processing terminal
US20230009322A1 (en) Information processing device, information processing terminal, and program
US11822719B1 (en) System and method for controlling digital cinematic content based on emotional state of characters

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant