CN109688909B - 根据虚拟世界活动评估真实世界用户的认知状态和情绪状态的系统和方法 - Google Patents

根据虚拟世界活动评估真实世界用户的认知状态和情绪状态的系统和方法 Download PDF

Info

Publication number
CN109688909B
CN109688909B CN201780046458.2A CN201780046458A CN109688909B CN 109688909 B CN109688909 B CN 109688909B CN 201780046458 A CN201780046458 A CN 201780046458A CN 109688909 B CN109688909 B CN 109688909B
Authority
CN
China
Prior art keywords
user
virtual world
memory
person
processor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780046458.2A
Other languages
English (en)
Other versions
CN109688909A (zh
Inventor
J.巴布托
K.贝坦库特
C.布鲁伦
G.布伦
A.克兰梅
J.曼弗瑞多尼亚
H.曼吉
K.莫斯卡
M.萨普
M.索恩内施
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Janssen Pharmaceutica NV
Original Assignee
Janssen Pharmaceutica NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Janssen Pharmaceutica NV filed Critical Janssen Pharmaceutica NV
Publication of CN109688909A publication Critical patent/CN109688909A/zh
Application granted granted Critical
Publication of CN109688909B publication Critical patent/CN109688909B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B7/00—Electrically-operated teaching apparatus or devices working with questions and answers
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/0205—Simultaneously evaluating both cardiovascular conditions and different types of body conditions, e.g. heart and respiratory condition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/744—Displaying an avatar, e.g. an animated cartoon character
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/746—Alarms related to a physiological condition, e.g. details of setting alarm thresholds or avoiding false alarms
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/53—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game
    • A63F13/533—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game for prompting the player, e.g. by displaying a game menu
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/53—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game
    • A63F13/537—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game using indicators, e.g. showing the condition of a game character on screen
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/65—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/70—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mental therapies, e.g. psychological therapy or autogenous training
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/162—Testing reaction times
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/7465—Arrangements for interactive communication between patient and care services, e.g. by using a telephone network
    • A61B5/747—Arrangements for interactive communication between patient and care services, e.g. by using a telephone network in case of emergency, i.e. alerting emergency services
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/7475—User input or interface means, e.g. keyboard, pointing device, joystick
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]

Abstract

本发明提供了一种系统和方法，所述系统和方法根据人与之交互的虚拟世界环境中的活动来评估现实世界人的认知状态和情绪状态。所述虚拟世界被配置为提供用于评估所述人的认知状态和/或情绪状态的交互式体验。所述系统需要在每个虚拟世界会话期间配置会话虚拟形象以提供对所述人的情绪状态的当前见解。所述系统可能需要配置反映所述人的状态的虚拟形象。所述系统要求所述人在每个虚拟会话期间配置所述虚拟世界环境，以提供对所述人的情绪状态的当前见解。所述系统允许所述用户访视目的地、执行任务和玩包括在所述环境中的游戏，以便根据所述人的选择和/或表现提供对所述人的认知状态和/或情绪状态的见解。

Description

根据虚拟世界活动评估真实世界用户的认知状态和情绪状态 的系统和方法
相关申请的交叉引用
本申请根据35 U.S.C.§119(e)要求2016年5月27日提交的美国临时专利申请62/342,358的优先权，其全部公开内容据此以引用的方式并入本文。
技术领域
本发明整体涉及计算和计算机游戏领域，并且更具体地讲，涉及计算机化系统，该计算机化系统用于根据用户在计算机化系统提供的虚拟世界中的活动评估现实世界系统用户的认知状态和情绪状态。因此，该系统用作寻求监测、评估和/或与患者或其他人交互以用于诊断、介入或其他目的的保健专业人员的工具。
背景技术
在许多情况下，需要监测、评估和/或与人进行交互以用于诊断、介入或其他目的。例如，保健专业人员可能希望监测、评估特定患者或与特定患者交互以评估患者的认知状态和/或情绪状态。在不同的背景下，可能需要监测、评估或交互特定群体或一类人(不一定是患者)，例如雇员、军人、青少年等。例如，据信人们认识到青少年和年轻人表现出抑郁的情况日益普遍。然而，青少年和年轻人的年度体检通常不会筛选潜在的抑郁状态。此外，由于感知到的耻辱感、患者/监护人否认等，不太可能进行临时的精神科评估。此外，任何这种评估基本上都是及时的快照，没有任何长期监测。
无论年龄如何，已经观察到患者通常认为精神科访视对他们的“身份”具有威胁。因此，患者与保健专业人员的讨论和交互通常会谨慎。因此，此类交互往往不公开和不坦诚，这可能导致不准确的评估。此外，此类访视往往是预定的预约，通常提前几周安排，并且因此往往无法有效地捕捉和评估可能在长时间内不会持续或保持不变的零星情绪状态。
此外可理解的是，对隐性关联的研究表明，患者在线上环境中更加频繁和自由地回答关于他们健康状态的问题，而不是在与临床医生传统/面对面的谈话中。
所需要的是一种用于可访问且不引人注意地评估人的认知状态和情绪状态的系统和方法，其提供实时和很长一段时间内的监测和/或评估，促进开放和坦诚的交互以支持准确的评估，和/或避免任何与精神科评估相关的感知到的耻辱感，特别是对于青少年和年轻人而言。
发明内容
本发明提供了一种用于根据虚拟世界环境中的活动评估现实世界用户的认知状态和情绪状态的系统和方法。虚拟世界环境可用于提供用于测量认知偏差的交互式体验，认知偏差是已知的抑郁的副产物。因此，在虚拟世界环境应用中使用此类交互式体验创建了额外的数据元素，该数据元素可用作整体评估认知状态和情绪状态，包括抑郁的一部分。此外，将虚拟世界环境配置为可在视频游戏平台上播放的视频游戏，与精神科医生面对面访视相比具有更少的恐吓性和更易于访问，特别是对于青少年和年轻人对言。这促进了开放和坦诚的交互，支持准确的评估和/或避免任何与精神科评估相关的感知到的耻辱感，特别是对于青少年和年轻人而言。因此，本系统和方法提供了能够捕捉患者悲伤程度和悲观思想的虚拟世界环境，可反映由蒙哥马利-阿斯伯格抑郁评定量表(MADRS)相应元素测量的抑郁严重程度。
此外，通过可在个人计算设备，例如台式机、膝上型电脑、平板电脑或智能手机上执行的软件应用程序提供这种虚拟世界环境，以不引人注意的方式允许轻松的访问，并且能够实现实时和长时间的监测和/或评估，这允许基于更稳健和更准确的数据执行评估，并从而支持更准确的认知状态和/或情绪状态评估。
附图说明
参考附图将有助于理解以下描述，其中：
图1为根据本发明的示例性联网计算环境的示意图，用于实现根据虚拟世界活动来评估现实世界用户的认知状态和情绪状态的系统和方法；
图2为根据本发明，提供虚拟世界环境的示例性精神状态监测系统的示意图；
图3为根据本发明，处理在虚拟世界环境中收集的交互数据的示例性精神状态评估系统的示意图；
图4为根据本发明，收集根据虚拟世界活动反映现实世界用户的认知状态和情绪状态的数据的示例性方法的流程图；
图5为根据本发明，根据虚拟世界活动评估现实世界用户的认知状态和情绪状态的示例性方法的流程图；
图6示出了根据本发明，用于虚拟形象的用户可选性别和体型选项的示例性菜单；
图7示出了根据本发明，用于虚拟形象的用户可选面部表情选项的示例性菜单；
图8示出了根据本发明，用于虚拟形象的用户可选发型选项的示例性菜单；
图9示出了根据本发明，用于虚拟形象的用户可选设置选项的示例性菜单；
图10示出了根据本发明，显示认知表现和情绪指标的示例性图形用户界面；
图11示出了根据本发明，显示推荐动作的示例性图形用户界面；以及
图12示出了根据本发明，显示虚拟世界虚拟形象显示的示例性图形用户界面。
具体实施方式
本发明提供了一种计算机化的系统和方法，用于根据计算机化系统提供的虚拟世界环境中的用户活动来评估现实世界系统用户的认知状态和/或情绪(统称为“精神”)状态。如本文所用，术语“虚拟世界”包括任何计算机生成的环境，其中系统用户由具有用户可选特征的角色表示，该角色通过计算机化系统显示给用户，并且/或者环境特征是用户可选择的，并且用户选择的特征通过计算机化系统显示给用户。因此，虚拟世界环境可以是类似于现实世界的二维或三维计算机模拟环境，并可通过用户虚拟形象的二维或三维图形表示来导航。虚拟世界导航可能是也可能不是玩电脑游戏的一部分。或者，如本文使用的虚拟世界环境可能不包括这种虚拟形象可导航世界，而可能仅包括短信/通信应用程序、简单的视频游戏、生产力软件，或者仅包括在用户的计算设备处显示的系统用户表示的其他应用程序。根据本发明，通过软件在用户的计算设备上向用户显示虚拟世界和/或虚拟形象。
根据本发明的一个方面，要求用户在与虚拟世界的每次交互会话期间提供用户输入以配置用户虚拟形象和/或虚拟世界环境，例如，每次用户打开“应用程序”以开始涉及用户在虚拟世界环境中的虚拟形象导航的游戏。与评估情绪状态(包括抑郁)相关的用户可选参数要求用户输入。因此，对于相同的相关参数，在多个会话中随时间推移收集用户选择，并且因此可根据那些选择随时间实时监测用户。例如，在虚拟形象代表用户并且允许用户选择虚拟形象特征的程度，用户的选择提供了关于用户当时情绪状态的见解。类似地，用户对与虚拟环境相关特征的选择提供了对用户当时情绪状态的类似见解。
根据本发明的第二方面，虚拟世界根据预定逻辑构建以允许用户参与虚拟世界活动，所述活动提供对用户当时情绪状态的见解，并且系统会跟踪用户与虚拟世界的交互。例如，虚拟世界可包括精神科医生或顾问办公室或者酒吧，并且用户对那些位置的导航和/或在那些位置处的交互可被跟踪并用于支持评估用户当时的情绪状态。
根据本发明的第三方面，虚拟世界被构建成允许用户执行常规用于临床或其他设置的类型的任务，以便评估认知状态和/或情绪状态。例如，这可能涉及完成个人健康问卷，回答用于临床设置中评估认知功能/情绪/抑郁的传统类型问题，玩游戏或执行常规用于试验认知功能的任务，例如记忆任务、河内塔任务、捕捉反射时间的任务等。系统可在虚拟世界环境内或虚拟世界环境外提供这些任务。
可以(由保健提供者或由系统)指示用户使用该系统，与虚拟世界环境交互和/或定期执行一项或多项任务—例如，2x/周，持续8周—以便可建立基线，然后可将表现与基线进行比较，和/或可识别随时间的变化。表示用户交互的数据可用于创建提供给保健提供者的报告，以支持保健提供者进行认知状态和/或情绪状态评估，以通过系统自动分析数据来触发给保健提供者的警报，并且/或者可由系统分析使得系统根据预定规则和/或逻辑呈现其自身的认知状态和/或情绪状态的自动评估。
现在参见图1，其示出了示例性联网计算环境10的示意图，用于实现根据虚拟世界活动评估现实世界用户的认知状态和情绪状态的系统和方法。如图1所示，用户(或玩家)20与通过根据本发明的精神状态监测系统(MSMS)100提供的虚拟世界环境交互。MSMS 100可包括用户个人计算设备，其可为台式机、膝上型电脑、笔记本电脑100a、平板电脑100c、智能手机100b或传统电脑游戏系统100d，例如由Sony公司制造和/或分发的Sony PlayStation或由Microsoft公司制造和/或分发的Microsoft Xbox，其存储和执行将通用计算设备配置为本文所述专用MSMS的专用软件。MSMS可接收和存储可执行软件，以独立方式提供本文所述基于虚拟世界的系统。或者，MSMS可充当通过通信网络50与作为服务器的系统200通信的客户端设备，以在客户端设备处显示提供用户可与之交互的虚拟世界的图形用户界面。如本文所述，在任一情况下数据可通过网络从MSMS 100传送到系统200以进行进一步处理、分析和/或存储。
联网环境10的组件可使用任何合适类型的连接和传统通信硬件和软件，以任何合适配置互连。组件可直接连接或通过网络50连接，该网络可以是任何合适的网络。例如，网络50的一个或多个部分可以是临时网络、内联网、外联网，虚拟专用网络(VPN)、局域网(LAN)、无线局域网(WLAN)、广域网(WAN)、无线广域网(WWAN)、城域网(MAN)、互联网的一部分、公共交换电话网(PSTN)的一部分、蜂窝电话网络、另一类型网络或者两个或更多个此类网络的组合。
联网环境10的组件可使用任何合适的通信连接彼此连接。例如，合适的连接包括有线连接(例如，DSL或DOCSIS)、无线连接(例如，WiMAX)和光学连接(例如，SONET SDH)。例如，一个或多个连接可包括内联网、外联网、VPN、LAN、WAN、蜂窝电话网络或其他类型的连接或连接组合。
图2为示出根据本发明的示例性实施方案的示例性MSMS 100的框图。从图2应当理解MSMS 100通常是传统的，因为其包括用于一般操作的传统硬件和传统软件。然而，MSMS100是一种专用计算机系统，其包括传统硬件，例如一个或多个处理器、存储器等，存储和执行两个传统软件，其允许通用计算系统，例如操作系统软件120和网络通信软件130以及特别配置的计算机软件的运行，以将通用硬件配置为专用计算系统，用于执行根据本发明的至少一种方法。
因此，图2的MSMS 100包括通用处理器，例如微处理器(CPU)102和总线104，其用于根据已知技术连接和启用处理器102与呈现系统的组件之间的通信。示例性MSMS 100包括用户接口适配器106，其经由总线104将处理器102连接到一个或多个接口设备，例如键盘108、鼠标110和/或其他接口设备112，其可以是任何用户界面设备如触摸屏、数字化输入板等。总线104还经由显示适配器116将诸如LCD屏幕或监测器的显示设备114连接到处理器102。总线104还将处理器102连接到存储器118，该存储器可包括固态存储器、硬盘驱动器、软盘驱动器、磁带驱动器等。
MSMS 100可与其他计算机或计算机网络通信，例如通过通信信道、网卡或调制解调器122。MSMS 100可与局域网(LAN)或广域网(WAN)中的此类其他计算机相关联，并且可作为客户端/服务器安排中的客户端与另一台计算机等一起操作。此类构造以及适当的通信硬件和软件在本领域中是已知的。
在该示例性实施方案中，系统架构采用MSMS 100处的可执行软件应用程序专门配置根据本发明的MSMS 100。因此如图2所示，MSMS 100包括虚拟世界引擎(VWE)应用程序150，其包括存储在存储器中，用于执行本文所述方法的计算机可读的处理器可执行指令。此外，存储器存储某些数据，例如用于示意性说明目的，在图2中逻辑上显示的数据库中的或其他数据存储装置140中的数据，而不考虑一个或多个硬件或软件组件中的任何特定实施方案。任选地，其他软件和/或数据可存储在存储器118的对应数据存储装置140中。
VWE 150经由MSMS 100有效地创建、显示和以其他方式管理虚拟世界状态，以向用户20提供用户20可与之交互的和用户20可向其提供输入的虚拟世界环境。虚拟世界状态包括所有虚拟世界参数，包括虚拟形象状态、非玩家角色(NPC)状态、世界内对象状态、世界状态(例如，内部游戏时钟、世界环境设置和参数)以及其他虚拟世界参数。每个用户20至少控制虚拟世界内用户的虚拟形象，并经由MSMS 100的输入硬件和软件向系统和VWE提供输入。一般来讲，VWE 150接收来自用户10的输入并致使显示虚拟世界界面。作为非限制性示例，MSMS 100在本地执行能够以客户端角色下载线上或服务器支持的虚拟世界客户端组件，而远程服务器(例如系统200)提供客户端组件后端支持并可负责维护游戏应用数据、处理来自用户的输入、基于虚拟世界逻辑和/或来自一个或多个用户的输入更新和/或同步游戏状态以及将指令传递到MSMS 100。作为另一个非限制性示例，每次用户20进行交互以通过MSMS 100向虚拟世界提供输入(诸如例如，通过在键盘上键入、单击鼠标按钮、轻击触摸屏或操作MSMS 100的操纵杆)，VWE的客户端组件可将用户输入传递到系统200，如下文更详细地论述。
值得注意的是，VWE 150根据本发明专门配置以提供包括用户可选选项的虚拟世界体验，或者请求或提供用户输入机会，其被认为是对用户的认知状态和/或情绪状态的证明。因此，这样用户输入不仅仅输入到虚拟世界环境中，而是可用于评估用户的认知状态和/或情绪状态的输入。因此根据本发明，虚拟世界环境不同于传统虚拟世界环境，因为其被专门配置为诊断工具，收集与评估用户的认知状态和/或情绪状态相关的信息。
与本发明一致，VWE 150包括至少三个逻辑组件，即虚拟形象管理引擎160、交互引擎170和任务引擎180。这些引擎是负责控制虚拟世界体验的某些方面的逻辑组件，与本发明一致。
虚拟形象管理引擎(AME)160可操作以提示和优选地要求用户在用户与虚拟世界交互的每个会话期间创建(或修改或更新)代表用户的虚拟形象。因此用户虚拟形象不是静态的，并且不会在多个交互会话中持续存在，而是经常重新创建，使得每个娱乐用作提供对用户当时情绪状态的见解的另一数据点。如下文更详细地论述，AME 160通过AME 160经由MSMS100向用户显示的图形用户界面提示用户并接收用户输入。图形用户界面请求用户输入各种虚拟形象特征。AME 160可经由图形用户界面呈现用户可选选项的视觉或文本菜单，包括针对每个特征的多个不同选择。AME 160根据本发明专门配置，使得针对其请求输入的特定特征被选择为在评估用户情绪状态时有用的那些特征。此类特征的示例包括用户名、性别、肤色、身体类型/形状、高度、面部表情、眼睛颜色、发型、头发颜色、服装和衣服颜色。
这些元素和响应于此的用户选择，以及特别地是用户可选择的选项菜单被认为是用户当时情绪状态的证明，如下文所述。例如，性别选择可能反映当前的精神状态或情绪状态。例如，与用户实际性别刻板印象相比，可能选择相反性别的虚拟形象以使用户看起来和感觉更强或更弱。进一步举例来说，通过尺寸值(高度和体重)投射感觉，身体类型/形状选择可反映用户感觉身体如何。当感到沮丧时，人对体型和力量的主观感觉可能会改变。已经观察到沮丧的人更有可能创造出不切实际的“胖”、“矮”或“怪异”的虚拟形象，这些虚拟形象表达了他们的自我形象和他们不受欢迎的问题(例如；太胖、太矮或丑陋/怪异的样子)。进一步举例来说，皮肤、眼睛、头发颜色选择可为信息性的，并且可包括不映射到现实世界事件的选项。例如，颜色与幸福和悲伤的共同表达相吻合(例如，蓝色表示“感觉压抑”，或黄色表示感觉“阳光或快乐”等)，以及一些抽象颜色(紫色、绿色)可作为用户可选选项包括在内。颜色重要性(及其与情绪的联系)被理解为与“皮肤”选择最相关，并且也与衣服选择相关。此外，衣服选择是证明性的。例如据观察，沮丧或悲伤的女性更可能穿宽松的上衣、牛仔裤以及运动衫或套头衫。相比之下，快乐或积极的女性更可能穿着最喜欢的衣服、珠宝和牛仔裤。这些衣服选择似乎意味着那些感到沮丧的女性会把更少的努力或者可能想要消失变成她们所穿的衣服，而情绪愉快的女性往往会尝试看起来更好以配合她们的情绪。将提供更多的衣服颜色选项，这些选项对应于Robert Plutchik的基本情绪(喜悦、信任、恐惧、惊奇)和基本对立情绪(悲伤、厌恶、愤怒、期待)，如Plutchik的情感轮所反映的那样。因此，用户选择可反映用户当时的情绪状态。此外，将向用户呈现用户可选择的面部表情选项，其可能至少部分基于在1976年出版并在1990年修订的Paul的Ekman面部表情图片(POFA)刺激定势，可识别地表示愤怒、厌恶、恐惧、快乐、悲伤、蔑视和惊奇。
交互引擎170(IE)可操作以提示并且优选地要求用户在用户与虚拟世界交互的每个会话期间提供环境输入。IE 170根据本发明专门配置，使得针对其要求输入的特定环境选项被选择为在评估用户情绪状态时有用的那些选项。因此，用户的虚拟世界环境不是静态的，并且不会在多个交互会话中持续存在，而是经常重新配置，使得每个重新配置用作提供对用户当时情绪状态的见解的另一数据点。如下文更详细地论述，IE 170通过IE 170经由MSMS向用户显示的图形用户界面提示用户并且接收用户输入。图形用户界面请求用户输入各种环境特征。针对其请求输入的特定特征被选择为用于评估用户的情绪状态的特征。这种特征的示例包括设置、天气和背景音乐。IE 170可经由图形用户界面呈现用户可选选项的视觉或文本菜单，其包括针对每个特征的多个不同选择。
例如，可向用户呈现用于他们虚拟形象的不同虚拟世界环境，其包括与特定情感相关联的设置。例如，那些寻求孤独或不愿意或无法处理此类环境所呈现的所有交互和业务的人不太可能选择城市。正在寻找逃避之地的“孤身一人”的人更有可能选择像热带岛屿、森林或古代遗址的地方。还可提供其他更抽象的环境选择，例如天堂般的环境、可怕的环境和超凡脱俗的太空船。
另外，IE 170可操作以跟踪用户与虚拟世界环境的交互。在虚拟形象可导航的虚拟世界环境中，虚拟世界环境优选地被设计成为对评估用户情绪状态有用的用户选择的活动提供机会。例如，虚拟世界环境被设计为提供用户可选择的(例如，通过导航)设置，例如精神科医生或顾问的办公室或酒吧。通过IE 170跟踪用户与虚拟世界的交互。例如，如果IE170观察到用户已经导航到和/或以其他方式与精神科医生/顾问或酒吧交互，则那些观察可用于评估用户的情绪状态。进一步举例来说，IE 170可跟踪用户在虚拟世界中的路径，并且可分析预测的或自发的行为以支持对用户的认知状态和/或情绪状态的评估。
任务引擎180(TE)可操作以允许、提示和/或要求用户通过在用户与系统交互的一个或多个会话期间(例如，在虚拟世界环境内)执行各种任务来向系统提供额外输入。TE180根据本发明专门配置，使得允许、提示和/或要求的特定输入被选择为在评估用户的认知状态和/或情绪状态中有用的项目。如下文更详细地论述，TE 180通过TE 180经由MSMS向用户显示的图形用户界面接收用户输入。图形用户界面请求来自用户的输入以与特定的预定义任务的执行相关联。研究表明，抑郁患者的注意力、工作记忆、执行功能、动机和处理速度受到损害。因此，选择任务以深入了解他们的抑郁或其他情绪状态如何影响认知过程。因此，可选择针对其请求输入的特定任务是在评估用户情绪状态和/或用户的认知状态中有用，并因此可模仿各种标准认知试验的那些任务。例如，这可能涉及TE导致显示个人健康问卷，即传统上用于临床设置以评估情绪/抑郁或传递基于游戏或任务体验的类型的一组问题，所述类型通常用于试验认知功能，如记忆任务、捕捉反射时间等。TE 180可经由图形用户界面呈现基于文本或图形的系列以传递此类体验。以下描述了此类游戏或任务(统称为“任务”)的示例。
简而言之，用户选择创建和/或配置虚拟形象和虚拟世界环境的选择，以及用户对虚拟世界的导航、游戏播放、任务执行以及与和/或在虚拟世界的其他交互由VWE 150跟踪，并且相关数据被存储(记录)在MSMS 100的存储器118的数据存储装置140中。随后处理此类数据以允许进一步分析，和/或根据交互数据执行用户的认知状态和/或情绪状态的评估。尽管在一些实施方案中，此类进一步处理或其至少一部分可在MSMS 100处发生，在该系统的该示例性实施方案中，此类交互数据由MSMS 100通过图1所示的通信网络50传递到精神状态评估系统(MSAS)200，在此进行如下文更详细地描述的此类进一步处理。图3为根据本发明的示例性精神状态评估系统(MSAS)200的示意图，该系统处理由MSMS 100收集的，因用户与MSMS 100提供的虚拟世界环境交互而产生的交互数据。
用户在游戏中执行的每次交互都被收集并存储在“基于事件的架构”中。每个动作都存储为单个事件。每个事件都最少存储四条信息(称为“参数”)：(1)日期/时间戳，表明事件发生的时间(执行动作时)，(2)用户使用来运行游戏的物理设备所特有的通用唯一标识符(UUID)，(3)表明存储的事件的类型的事件类型，以及(4)表明该事件的唯一实例的事件ID。除了这四个参数之外，每个事件还将根据事件类型存储额外参数。例如，“定制发型更改”事件还存储用户在虚拟形象创建期间选择的头发类型。
现在参见图4，提供的流程图400示出了根据本发明，用于根据虚拟世界活动评估现实世界用户的认知状态和情绪状态的示例性方法。如图4所示，该示例性方法开始于在用户可访问的精神状态监测系统100处提供用户交互式虚拟世界(VW)环境，如402所示。这可能涉及向用户提供预先配置的MSMS 100，但优选地涉及提供虚拟世界引擎软件150，例如可通过“应用商店”分发，可下载到用户的MSMS 100a、100b、100c、100d的“应用程序”，并且可执行以通过MSMS 100的显示设备116显示预先配置的VW环境，并经由MSMS的输入设备108、110、112等接收用户输入，将收集的交互数据存储在MSMS的存储器118的数据存储装置140中，并在适当时经由通信信道122传递收集的交互数据。
在一个实施方案中，预先配置的VW环境包括虚拟形象可导航的世界，并且所提供的环境是单个用户体验，其中用户被表示为在虚拟世界环境内由用户定制的虚拟形象。如上所述，用户能够以自由漫游的能力探索虚拟世界，与非人类角色交互，回答标准化的健康和其他问题以及玩游戏和/或执行任务。
接下来，MSMS 100等待直到用户发起新的VW会话，如404和406所示。以举例的方式，用户可通过执行VWE软件150来发起新的VW会话，例如通过将VWE软件应用程序打开为新的交互(例如，游戏玩法、会话)。
在MSMS 100确定用户已在404发起新会话后，MSMS 100(通过其显示设备)显示一个或多个图形用户界面，包括用户可选选项的图形和/或文本菜单，其用于配置代表用户的会话虚拟形象，并且该会话虚拟形象在发起的VW会话期间将由用户和VWE 150使用，如408所示。这在VWE150的虚拟形象管理引擎160组件的控制下执行。
用户可根据保健提供者的指示，使用该应用程序在临时基础上或在预定计划基础上发起新会话。例如，照顾用户的保健提供者可根据指定时间表规定或“命令”患者参与规定次数的会话。优选地，该时间表包括多周内的多个会话，还更优选地超过六(6)周的超过六(6)个会话。可将应用程序配置为按计划基础将访问限制到整个应用程序，或将访问限制到虚拟世界中的特定元素—例如在用户可重放一个或多个游戏之前需要经过的时间最少量。
与本发明一致，为了在发起的VW环境会话中取得进展和参与，要求用户首先通过从菜单中选择选项向MSMS提供输入来创建会话虚拟形象，并且这些选择由虚拟形象管理引擎160记录，即记录并存储在数据存储装置140中，如步骤410所示。例如，用户有机会选择会话虚拟形象的性别、情绪的面部表示、头发颜色、眼睛颜色、肤色、衣服和体型。用户可调整虚拟形象的头部和身体的比例。图6示出了根据本发明，用于虚拟形象的用户可选性别和体型选项的示例性菜单。图7示出了根据本发明，用于虚拟形象的用户可选面部表情选项的示例性菜单。图8示出了根据本发明，用于虚拟形象的用户可选发型选项的示例性菜单。
由于在VWE创建期间选择VWE 150和用于配置会话虚拟形象的用户可选选项以提供对应于不同可能的用户情绪状态选项，用户在会话时的特定选择提供了对会话时用户情绪状态的见解。要求用户长时间(例如，至少六(6)周)参与多个会话，提供反映用户情绪状态的多个数据点并提供对情绪评估有用的纵向视图。
在该示例性实施方案中，MSMS 100接下来显示用户可选选项的菜单，用于创建代表用户的理想虚拟形象，如412所示。具体地讲，系统提示用户创建反映用户处于理想状态的“理想”虚拟形象。此外，系统要求用户完成理想虚拟形象的创建，以便用户进行会话并取得进展，如414所示。提供类似的菜单和用户可选择的菜单选项，并且在虚拟形象管理引擎160的控制下，用户的选择类似地记录在数据存储装置中。这样，可捕捉用户的当前状态和用户的理想状态之间的差异。例如，用户对当前状态的选择可表明悲伤的情绪，但是用户对理想状态的选择可表明快乐的情绪，这在情绪评估过程中是有用的。
在该示例性实施方案中，MSMS 100接下来显示用于为发起的VW会话配置虚拟世界环境的用户可选选项的菜单，如416所示。此外，MSMS100要求用户从菜单中选择特征以配置用于发起的VW会话的VW环境，并通过将选择存储在数据存储装置140中来记录选择，如418所示。这由VWE的交互引擎170执行。例如，可向用户呈现菜单以选择虚拟世界的设置(例如城市街道、森林或沙漠)、虚拟世界的天气设置(如晴、雨或雪)、虚拟世界的背景音乐(如乐观的曲调或忧郁的歌曲)。图9示出了根据本发明的用户可选择的VW设置的示例性菜单。与虚拟形象选项一样，在VWE创建期间选择用于配置VW环境的用户可选选项，以提供对应于不同可能的用户情绪状态的选项。因此，用户在会话时的特定选择提供了对会话时用户情绪状态的见解。
任选地，交互引擎170可呈现附加的用户可选选项的菜单，并且在进行VW会话之前要求额外的用户输入，该输入被记录并存储在数据存储装置140中。例如，在一个实施方案中，向用户呈现用于同伴角色的非玩家角色(NPC)选项的菜单，该角色将在整个虚拟世界中跟随用户。同伴选择被选择为可能需要由用户保护的从属外貌的角色(例如小型宠物角色)、可能保护用户的主导人物(如喷火龙)或中性人物(如机器人)。在VWE创建期间选择用于配置VW环境的用户可选选项，以提供对应于不同可能的用户情绪状态的选项。因此，用户在会话时的特定选择提供了对会话时用户情绪状态的见解。
根据VWE 150设计收集“必需”输入数据后，MSMS 100接下来允许用户继续进行VW交互，例如通过会话期间在用户配置的VW环境中向用户显示用户创建的会话虚拟形象，如420所示。这由VWE通过MSMS 100的显示硬件提供图形用户界面来执行。类似地显示任何选择的同伴。优选地，理想虚拟形象在VW交互期间不显示在VW环境中，而是仅显示为理想虚拟形象创建过程的一部分。图12示出了根据本发明，在虚拟世界环境中显示会话虚拟形象的示例性图形用户界面。优选地，用户的会话虚拟形象(根据用户的先前选择)在第三人称视图中渲染。也可在用户的会话虚拟形象附近看到并定向任何同伴。
在一个实施方案中，用户的虚拟形象可在整个虚拟世界环境中自由移动。在某些实施方案中，在景观内提供用户可行走的路径，或者用户可选择探索路径之外的道路。VW环境旨在为评估用户的认知状态和/或情绪状态时有用的交互提供机会。
因此，MSMS 100监测VW环境中用户指导的活动/交互，并通过将数据存储在数据存储装置140中来记录活动。这由VWE的交互引擎170执行。
当用户(用户虚拟形象)横穿虚拟世界时，虚拟形象遇到其可拾取的硬币。这些硬币/价值代币可用于在虚拟世界环境中购买物品。路径的预定部分与特定的预定任务相关联，使得到达那些部分会发起相关联的任务。提供特定任务使得其提供对用户的认知或情绪状态的见解。例如，在预定部分显示的音符可发起提示用户改变体验内的背景音乐。有几种歌曲选项可传达“音频情绪”，每种都可提供对用户情绪状态的见解。或者，在预定部分显示的购物车可发起提示用户购买体验内的物品。用户可选择为用户的虚拟形象购买食物，或者为同伴角色购买食物，为用户虚拟形象购买衣服，或者什么也不购买，其中每一个都提供对用户情绪状态的见解。此外，在预定部分显示的星可发起提示用户玩游戏或执行任务，其中每一个都提供对用户的认知状态和/或情绪状态的见解。此外，在预定部分处显示的问号可发起提示用户回答患者健康问题或改变用户虚拟形象的外观，其中每一个都提供对用户的认知状态和/或情绪状态的见解。由任务引擎180控制提供此类任务，并且由任务引擎180记录与这种任务相关联地提供的用户输入并将其存储在数据存储装置140中。
在某些实施方案中，当用户与VW环境交互时，由用户执行的每个交互被收集并存储在“基于事件的架构”中。每个动作都存储为单个事件。每个事件都最少存储四条信息(称为“参数”)：(1)日期/时间戳，表明事件发生的时间(执行动作时)，(2)用户使用来运行游戏的物理设备所特有的通用唯一标识符(UUID)，(3)表明存储的事件的类型的事件类型，以及(4)表明该事件的唯一实例的事件ID。除了这四个参数之外，每个事件还将根据事件类型存储额外参数。例如，“定制发型更改”事件还存储用户在虚拟形象创建期间选择的头发类型。
下面的表1中提供了示例性事件的小样本和相应的存储参数。参数值存储为“ID”以减少数据大小和复杂性(即不是为帽子选择存储“帽子大(男性)”，而是存储可在以后交叉引用的查找值ID值“12”。)表2中提供了参数值ID的示例性表格。
表1
Figure BDA0001958023120000141
Figure BDA0001958023120000151
表2
Figure BDA0001958023120000152
Figure BDA0001958023120000161
在该示例性实施方案中，MSMS 100不会长期本地存储数据，而是在存储器中构建事件队列(在数据存储装置140中)，并且只要存在足够的信元或Wi-Fi或其他通信信道信号，就可在预定频率上传递信息包。如果没有足够的通道/信号，其将把信息保留在存储器中，直到有一个为止。然后，其通过通信网络50将信息包发送到精神状态评估系统200，如图1所示。更具体地讲，数据被发送到充当网守的云托管API(应用程序可编程接口)，其基于身份验证和正确数据格式接受或拒绝信息，然后将数据适当地写入应用程序数据库和JSON(JavaScript Object Notation，用于存储原始事件数据的格式)数据湖。随后，各种服务将数据从数据湖复制到托管数据库，其中数据科学家和统计学家可使用合适的数据分析平台更加稳健地分析数据，如下面更详细地讨论。这允许提供比使用用于MSMS 100的典型个人计算硬件更稳健的分析。
现在参见图3，其显示了示例性精神状态评估系统(MSAS)200的示意图。MSAS 200根据本发明处理由MSMS 100在虚拟世界环境中收集的交互数据。图3示出了不考虑硬件差异的许多逻辑组件，使用商业上可获得的服务/硬件/软件等以便于说明。现在参见图3，MSAS 200包括根据本发明的通信引擎210。通信引擎210负责经由通信网络与MSDS 100进行通信，以从MSDS 100的VWE 150接收交互数据，例如事件数据。通信引擎210包括身份验证引擎212，用于验证VWE 150并接受包含交互数据的传递数据包，在本实施方案中，交互数据在基于标引事件的架构中被格式化。作为非限制性示例，通信引擎210可至少部分地由以node.js编写的云托管(例如，Apigee)API服务来实现。通信引擎包括事件跟踪引擎214和简档创建引擎216。简档创建引擎216在用户第一次玩时创建新用户并将关联用户简档数据222存储在数据存储装置220中。简档创建引擎216可至少部分地由createUser API服务实现。
事件跟踪引擎214跟踪交互数据并将原始(例如，JSON)交互数据存储为数据存储装置220中的原始数据224。事件跟踪引擎214可至少部分地由trackEvent API服务实现。例如，可将原始数据224写入到云托管(例如，Apigee)的Cassandra数据库，该数据库以原始格式存储从VWE应用程序通过API trackEvent服务传递的JSON事件。此外在该实施方案中，事件跟踪引擎214(例如，trackEvent服务)将原始(例如，JSON)数据写入事件数据的数据存储装置226，例如S3JSON Lake。事件数据的数据存储装置226是VWE虚拟私有云(VPCx)环境的唯一部分，其可通过API服务的安全身份验证从外部的外部网络访问。在将事件数据写入Cassandra应用程序数据库的同时，API trackEvent服务将事件数据以原始JSON格式写入该临时基础。
MSAS 200还包括数据转换引擎230。数据转换引擎230可作为ETL(提取、转换、加载)服务(例如，Lambda ETL)实现，其在预定计划基础上搜索事件数据的数据存储装置226中的新数据，使得当找到新数据时，新数据例如从原始JSON格式转换为可写入关系数据库(例如Amazon Redshift数据仓库)的格式，因为这种关系数据库允许比例如JSON更大的统计分析能力。用于执行此类数据变换的系统和方法在本领域中是已知的，并且在本发明的范围之外。数据转换引擎230还将转换后数据写入事件数据仓库232，其以关系(表格)格式而不是原始JSON格式存储Avatar事件数据。在事件数据仓库以及以关系数据库格式，单个用户和许多用户的交互数据以特别适合于进一步数据处理的格式存储，例如为单个用户，和/或为多个用户和/或跨用户执行认知状态和情绪状态评估。
MSAS 200还包括特征提取引擎234。特征提取引擎234预处理数据以在实质分析之前执行自动降维，这是常见的数据科学做法。任选地，特征提取引擎234可通过Amazon WebServices(AWS)弹性计算云(EC2)引擎实现，该引擎被设置为运行以Python编写的一系列预定计划的(自动)“特征提取器”。特征提取引擎234处理的最终结果是数据从原始数据转换为仅包含执行分析的数据科学家/保健专业人员感兴趣的数据特征的数据子集。预处理导致更易于管理并且仅包含感兴趣的信息的更小数据集。
此外，MSAS 200包括数据分析引擎236。数据分析引擎236执行期望的实质数据分析。任选地，数据分析引擎236可作为数据科学虚拟机实现，其具有共享的AWS EC2引擎性质，该引擎被设置为供数据科学家和统计学家远程登录，并配备了数据科学团队执行计划分析和临时分析或数据可视化所需的软件和工具。该EC2引擎比个人台式机或膝上型电脑系统更为强大，因此可在比本地机器更短的时间内执行更复杂的分析。其也存在于与Redshift DB和S3 JSON Lake相同的VPCx实例中，这意味着其可直接、快速地访问要分析的事件数据
在某些实施方案中，数据分析引擎236包括根据本发明的预配置软件，其根据在用户与虚拟世界环境交互期间由用户的MSMS 100收集的交互数据(包括虚拟形象创建/修改、虚拟世界导航、游戏、任务等)执行用户的认知状态和情绪状态的自动评估。根据数据分析引擎236内部的预定逻辑，DAE可根据预定规则进行评估，该评估要求通知保健提供者。例如，如果考虑到用户的特定认知或情绪状态需要或建议干预，则可能是此类情况。在此类情况下，数据分析引擎与通知引擎238通信，该通知引擎可通过基于每个用户或每个组织执行以下预定通知规则来传递警报、报告或电子邮件通知。如果数据分析引擎得出结论但未确定是否需要或建议干预，那么数据分析引擎可与报告引擎240通信，其可根据基于每个用户或每个组织的预定规则，通过加密电子邮件或另一个指定安全数据传输格式传递报告。
现在参见图5，示出的流程图500示出了根据本发明，用于根据虚拟世界活动评估现实世界的人认知状态和情绪状态的示例性方法。现在参见图5，该方法从提供精神状态监测系统(MSMS)100开始，其包括用于提供专门配置的虚拟世界环境的虚拟世界引擎150，用于收集来自用户与虚拟世界环境交互的认知/情绪评估相关交互数据，如502所示。上文参照图4对此进行了详细描述。
该方法还包括提供精神状态评估系统(MSAS)200，用于处理由MSMS100收集的交互数据，如504所示。上文参照图3描述了示例性MSAS 200。
接下来，该方法包括例如经由通信网络50在MSAS 200处接收由用户操作的MSMS100收集和记录的用户交互数据，如506所示。
接下来，该方法包括处理交互数据以评估用户的认知状态和/或情绪状态，如508和510所示。这可以按照上文参照图3所述来执行。值得注意的是，确定用户的认知状态和/或情绪状态的处理涉及处理交互数据以识别用户选择的选项，识别与用户选择的选项相关联的相关情绪指示符，以及评估认知表现试验的认知表现，并根据此类交互与用户情绪指示符的关联来根据用户在虚拟世界中的交互评估情绪和/或认知状态。该步骤可由MSAS200的一个或多个逻辑组件执行，并且在该示例性实施方案中，由数据分析引擎236根据预定规则和逻辑执行。任何合适的规则和逻辑均可用于此目的。
接下来，MSAS 200确定是否批准干预，如512所示。这由数据分析引擎236根据数据分析引擎236内部的预定规则和逻辑来执行。如果批准干预，则数据分析引擎236与通知引擎238通信，以使通知引擎238向保健提供者发出警报，如上所述。如果不批准干预，那么数据分析引擎236与报告引擎240通信以发出包括用户的认知状态和/或情绪状态的自动评估的报告，并且/或者可由保健提供者用来执行对用户的认知状态和/或情绪状态的独立评估的信息。
因此，本文描述的系统和方法为患者/医生提供使用适合于现代生活的增强工具组的体验。除了接合的传递方法，数据收集和分析也是受益者。更具体地讲，虚拟世界交互的预定变量集被跟踪和收集，以在标准临床试验中进行分析和潜在研究来创建诊断器械。此外，虚拟世界环境可用作连接接口，以通过/在虚拟世界会话期间以避免耻辱的方式将患者连接到保健提供者并促进公开和坦诚的讨论。
虚拟世界会话/交互(以及相关软件)可由保健提供者、初级保健医师或精神科医生向患者开具。通过与虚拟世界交互收集各种属性。这些属性包括：速度、记忆、灵活性、问题解决和情绪。此外，可能会根据普遍接受的做法PHQ-9询问标准健康问题。此外，鼓励患者通过收集成就徽章来继续进行虚拟世界会话。通过虚拟世界会话交互生成报告以帮助进行面对面的患者-医生健康访视。记录患者/用户表现统计数据，并且可在报告中向患者或保健提供者提供。参见图10和图11。
另外，收集的批量数据具有价值。存储在数据仓库中的批量数据可许可给较大的保健机构，传递可基于订阅。保健协会可选择游戏的患者许可证数量，并为患者开具要玩的游戏。收集的数据可以定制方式传递到保健机构。另外，数据可用于进一步算法数据挖掘的目的，以进一步增强虚拟世界会话并在虚拟世界治疗媒介中创建持续改进。
远程医疗平台：许多年轻人都未确诊为抑郁，因为他们发现很难与保健提供者就他们的感受进行对话。结果他们的症状恶化并且他们可能成为自己和他人的风险。患有抑郁的患者习惯于对预期的负面结果产生面部负面反应，即所谓的“负面注意偏差”。进一步患有重度抑郁症(MDD)的患者即使在缓解时也会看到每个人皱眉，在生病时会更糟糕。因此该系统可用作远程医疗平台，以允许患者在游戏中说话来“实时”与他们的保健提供者联系。保健提供者可被掩盖为游戏中的另一个虚拟形象或者作为用户同伴。患者或HCP可随时使用虚拟世界环境作为在抑郁复发点进行交谈的媒介来发起对话。虚拟形象的使用提供了面部消除、负面注意偏差，并允许通过已建立的远程医疗网络进行24-7-365的联系。
游戏和任务的示例
泡泡弹出游戏：在这款游戏中，用户必须在各种颜色的泡泡离开MSMS显示屏之前弹出这些泡泡。每种颜色的泡泡需要不同类型的动作来弹出(例如单次轻击、轻扫、双次轻击)。每个游戏开始时都只有一种颜色的泡泡；随着游戏的继续，一次添加一个额外颜色。在用户错误十次(下列中的任一个：错过轻击、未轻击到泡泡或轻击类型错误)后游戏结束。该游戏类似于当前使用的许多其他任务/规则切换任务。其测量用户在任务/规则之间切换的能力，以及工作记忆(记住颜色映射规则)、抑制和电机速度。TE 180跟踪对每个泡泡的反应时间和准确性，包括任何错误的类型。屏幕上各个动作的各种类型泡泡的数量和总玩耍时间也由TE 180跟踪并存储在数据存储装置140中。
打地鼠游戏：在该游戏中，地鼠突然从洞中弹出，用户需要用玩具槌敲打它们。在该游戏中，有九个洞，分为三排，每排三个洞，会弹出一只地鼠或一只豪猪。用户必须轻击所有地鼠，但不得碰到豪猪。整个游戏中，动物的位置可变，并在不同的时间弹出。随着游戏继续进行，屏幕上动物出现的速度和数量增加。该游戏测量注意力的警惕性、抑制和电机速度。通过TE 180跟踪反应时间、对每只动物的准确性、每次轻击屏幕上动物的数量以及屏幕上最多的动物数量，并将其存储在数据存储装置140中。
右侧瓦片游戏：该游戏涉及根据不断变化的规则轻击彩色方块(红色、蓝色或橙色)。当整个墙向左滚动时，右侧添加三个瓦片的列。偶尔出现彩条以表明应该轻击何种颜色的方块。必须按从左到右的顺序轻击方块。游戏期间通过提高瓦片滚动速度来增加难度。游戏继续进行，直到轻击瓦片错误(错误的颜色或错误的位置)达五次。该任务测量用户切换和更新任务规则的能力、对检测新目标注意力的警惕性、对无效(尽管可能先前有效)瓦片的抑制以及其电机速度。在该游戏中，反应时间、对每个瓦片的准确性、规则更改后持续性的量以及所有错误(颜色或位置)的错误类型，以及每个动作点处的瓦片速度由TE 180跟踪并存储在数据存储装置140中。
速度包装游戏：在该游戏中，给用户一个有不同层的手提箱，需要折叠在一起才能关闭。每层都以网格布局，并在其中有一组对象(书籍、马克杯等)。为了关闭，每个对象必须位于一个空间中，当关闭时，该空间不会被任何其他对象占用。每个级别都有一个黄色层，其中包含一个不在有效空间中的对象。用户必须将该突出显示的对象移动到黄色层中的其他空间之一。如果用户将对象移动到有效空间(即，当手提箱关闭时不会被任何其他对象占用)，那么手提箱将自动关闭并出现新的手提箱。如果选择了无效空间，则不会发生任何事情。用户有一定量的时间来完成尽可能多的手提箱。随着游戏进行，手提箱复杂性随着每层中添加额外的层或更多对象而增加。该任务测量空间规划、决策和精神旋转(工作记忆的子功能)。反应时间、用户尝试进行的每次移动的准确性、在每个级别完成的手提箱的难度以及成功完成的手提箱总数被TE 180跟踪并存储在数据存储装置140中。
河内之塔游戏：在该游戏中，用户会看到一组钉子和一组不同大小的盘子，这些盘子在一个钉子上按尺寸顺序(顶部最小)放置。他们的任务是将一叠盘子从开始的钉子移动到另一个钉子上。用户一次只能移动一个盘子，并且不能将较大的盘子放在较小的盘子上。该任务测量执行功能、空间规划和决策。每次移动的反应时间、每个级别的移动总数(与已知最小数量相比)、尝试非法移动的次数、持续性动作的数量(从相同的两个钉子来回移动)以及完成总时间由TE 180跟踪并存储在数据存储装置140中。
卡片顺序游戏：该游戏是一个序列记忆任务，在心理和认知文学中被称为n-back任务。向用户显示一系列卡片，一次一张，并在每个点询问当前卡片是否与先前看到的n个空间(例如1、2、3个空间)的卡片匹配。用户为每张卡片轻击是或否。用户从1-back开始，报告当前卡片是否与之前的卡片匹配。随着游戏进行，用户需要记住之前卡片的数量会增加。每个n-back级别在游戏中被视为一个单独级别，每次增加后都要记住一系列新的卡片。用户一直玩到错误三次为止。这是一种经典的视觉短期(或工作)记忆任务，可衡量个体存储特征(身份)信息的程度，以及他们如何适应游戏任务/规则的变化。对每张卡片的反应时间，每张卡片准确性以及任何错误、错误类型(误报、错过、对先前规则持续性等)都被TE180跟踪并存储在数据存储装置140中。
记忆卡片游戏：该游戏基于经典游戏，其中一系列卡片面朝上布局以供用户查看和记忆。卡片上有多个不同的图像(这里我们有六种不同卡片类型)，但每个卡片在该组中有相同匹配。在短时间后，然后翻转所有卡片并且用户必须找到匹配的对。每次用户点击一张卡片，然后将其翻转以供他们查看。然后他们点击第二张卡片，其也被翻转过来。如果第二张卡片匹配，则两张牌都消失；否则，两张都被翻转过来。继续玩，直到找到所有匹配。该游戏是标准的视觉短期记忆(也称为工作记忆)任务，需要记住特征(身份)和空间(位置)信息。选择每张卡片的反应时间，每次的准确性和持续性的量(连续选择相同卡片)由TE 180跟踪并存储在数据存储装置140中。
避开障碍游戏：在该游戏中，用户必须在板上移动他们的虚拟形象，以防止任何“障碍”(即灰球)击中它。球数量随着时间而增加。当用户被击中三次(失败)或者他们移动虚拟形象收集在游戏期间出现的硬币(获胜)时，游戏结束。该游戏基于用于评估视觉注意力的多个对象跟踪(MOT)任务。与许多其他视觉注意力任务不同，该任务要求分开焦点并同时注意多个项目。由于用户还必须移动他们的虚拟形象以防止被球击到，该任务也可作为空间规划的衡量标准。在该游戏中，幸存时间长短，比赛赢/输状态，屏幕上最多球数，碰撞次数，每次碰撞屏幕上的球数以及用户虚拟形象的移动，均由TE 180跟踪并存储在数据存储装置140中。
问卷任务：在该任务中，将呈现一系列问题并请求和存储用户的响应。选择问题以引出与患者当前情绪和抑郁症状相关的数据。将使用PHQ9(一种经过充分验证的MDD指标)的问题评估患者抑郁的严重程度。由TE180跟踪响应并将其存储在数据存储装置140中。
感觉任务：在该任务中，在用户可选择的菜单中向用户显示一系列动画图像。选择每个图像以描绘不同的情绪状态。TE 180向用户请求关于对应于用户当前情绪状态的图像的输入。由TE 180跟踪响应并将其存储在数据存储装置140中。
另外，提供了存储用于执行以上确定的方法步骤的计算机可读代码的计算机可读介质。计算机可读介质存储用于执行子过程的代码，所述子过程用于执行上述方法。
提供了记录在计算机可读介质上的计算机程序产品，用于执行以上确定的方法步骤。该计算机程序产品包括用于执行上述方法的计算机可读方式。
上文已经描述了本发明的一些特定实施方案，本领域的技术人员将容易想到各种改变、修改和改进。如本公开中显而易见的那样，此类改变、修改和改进尽管未在本文中明确说明，但旨在成为本说明的一部分，并且旨在落入本发明的实质和范围内。因此，前面的描述仅仅是示例性而非限制性的。本发明仅受以下权利要求书及其等同物所定义的限制。

Claims (19)

1.一种用于评估人的精神状态的计算机化评估系统，所述系统包括：处理器；
显示设备；
存储器；和
存储在所述存储器中并能够由所述处理器执行的指令，所述指令用于提供在所述人的控制下能够由虚拟形象导航的虚拟世界以经由所述显示设备向所述人提供视频游戏体验会话；
存储在所述存储器中并能够由所述处理器执行的指令，所述指令用于：
经由所述显示设备来显示用于配置所述虚拟形象、所述虚拟世界和所述视频游戏体验会话中的至少一者的至少一个方面的备选选项菜单；
从所述人接收从经由所述菜单显示的备选选项中选择的至少一个用户选择的选项；以及
修改以下中的至少一者：所述视频游戏体验会话、经由所述显示设备显示的所述虚拟形象、以及根据所述至少一个用户选择选项经由所述显示设备显示的所述虚拟世界；
存储在所述存储器中并能够由所述处理器执行的指令，所述指令用于根据所述至少一个用户选择选项来评估所述人的所述精神状态；和
存储在所述存储器中并能够由所述处理器执行的指令，所述指令用于：
根据自动评估来确定所述精神状态满足指示所述人批准来自保健专业人员的干预的干预规则；以及
基于所述确定，经由通信网络向保健提供者计算系统传送识别所述人的经评估的精神状态的警报，
由此，所述系统根据用于配置所述虚拟形象、所述虚拟世界和所述视频游戏体验会话中的至少一者的方面的所述人选择的选项来对所述人的所述精神状态执行所述自动评估。
2.根据权利要求1所述的计算机化评估系统，还包括：
存储在所述存储器中并能够由所述处理器执行的指令，所述指令用于将用于多个视频游戏体验会话中的每个视频游戏体验会话的所述至少一个用户选择选项存储在所述存储器中；
其中存储在所述存储器中并能够由所述处理器执行以评估所述人的所述精神状态的所述指令被配置为根据对于所述多个视频游戏体验会话的所述至少一个用户选择选项来评估所述人的所述精神状态。
3.根据权利要求1所述的计算机化评估系统，还包括：
存储在所述存储器中并能够由所述处理器执行的指令，所述指令用于经由所述显示设备来显示所述人的经评估的精神状态的指示。
4.根据权利要求1所述的计算机化评估系统，还包括：
存储在所述存储器中并能够由所述处理器执行的指令，所述指令用于经由所述显示设备来显示用于自动建立与另一个人的通信设备的通信会话的用户可选择的链接。
5.根据权利要求1所述的计算机化评估系统，还包括：
存储在所述存储器中的多个动作，所述多个动作中的每个动作与多个精神状态评估中的至少一个精神状态评估相关联；
存储在所述存储器中并能够由所述处理器执行的指令，所述指令用于识别对应于所述人的所述经评估的精神状态的至少一个推荐动作；
存储在所述存储器中并能够由所述处理器执行的指令，所述指令用于经由所述显示设备来显示指示所述人来执行所述推荐动作的信息。
6.一种用于评估人的精神状态的计算机化评估系统，所述系统包括：处理器；
存储器；
显示设备；
输入设备；和
存储在所述存储器中并能够由所述处理器执行的指令，所述指令用于：
显示用于配置会话虚拟形象的用户可选选项的菜单，所述用户可选选项中的每个用户可选选项反映相应的情绪状态；
要求经由所述输入设备的用于配置所述会话虚拟形象的用户输入；
在虚拟世界会话期间，经由所述显示设备来显示包括所述会话虚拟形象的虚拟世界环境；
根据对于所述会话虚拟形象的用户选择的选项来评估所述用户的情绪；
根据自动评估来确定所述精神状态满足指示所述人批准来自保健专业人员的干预的干预规则；以及
基于所述确定，经由通信网络向保健提供者计算系统传送识别所述人的经评估的精神状态的警报。
7.根据权利要求6所述的系统，其中存储在所述存储器中并能够由所述处理器执行以显示用于配置所述会话虚拟形象的用户可选选项的所述菜单的所述指令包括用于显示面部表情选项的指令。
8.根据权利要求6所述的系统，还包括存储在所述存储器中并能够由所述处理器执行的指令，所述指令用于：
显示用于配置理想虚拟形象的用户可选选项的菜单，所述用户可选选项中的每个用户可选选项反映相应的情绪状态；
要求经由所述输入设备的用于配置所述理想虚拟形象的用户输入；以及
根据对于所述会话虚拟形象的用户选择的选项与对于所述理想虚拟形象的用户选择的选项之间的差异来评估所述用户的情绪。
9.根据权利要求6所述的系统，还包括存储在所述存储器中并能够由所述处理器执行的指令，所述指令用于：
显示用于配置虚拟世界环境的用户可选选项的菜单，所述用户可选选项中的每个用户可选选项反映相应的情绪状态；
要求经由所述输入设备的用于配置所述虚拟世界环境的用户输入；以及
根据用于所述虚拟世界环境的用户选择的选项来评估所述用户的情绪。
10.根据权利要求9所述的系统，其中存储在所述存储器中并能够由所述处理器执行以显示用于配置虚拟世界环境的用户可选选项的所述菜单的所述指令包括用于显示多个不同环境设置选项的指令。
11.根据权利要求9所述的系统，其中存储在所述存储器中并能够由所述处理器执行以显示用于配置虚拟世界环境的用户可选选项的所述菜单的所述指令包括用于显示用于配置虚拟世界环境的用户可选选项的所述菜单的指令，包括显示多个不同的音乐选项。
12.根据权利要求9所述的系统，其中存储在所述存储器中并能够由所述处理器执行以显示用于配置虚拟世界环境的用户可选选项的所述菜单的所述指令包括用于显示用于配置虚拟世界环境的用户可选选项的所述菜单的指令，包括显示多个不同的天气选项。
13.根据权利要求6所述的系统，其中存储在所述存储器中并能够由所述处理器执行以显示虚拟世界环境的所述指令包括用于显示对应于相应情绪状态的目的地的指令，所述系统还包括存储在所述存储器中并能够由所述处理器执行的指令，所述指令用于：
监测与所述虚拟世界环境目的地进行的用户指导的交互；以及
根据由所述用户的会话虚拟形象访视的目的地来评估所述用户的情绪。
14.根据权利要求6所述的系统，其中存储在所述存储器中并能够由所述处理器执行以显示虚拟世界环境的所述指令包括用于显示提供关于所述用户的情绪状态的信息的任务的指令，所述系统还包括存储在所述存储器中并能够由所述处理器执行的指令，所述指令用于：
在执行至少一个任务时监测与所述虚拟世界环境进行的用户指导的交互；以及
根据所述用户的所述至少一个任务的表现来评估所述用户的情绪。
15.根据权利要求14所述的系统，其中存储在所述存储器中并能够由所述处理器执行以显示提供关于所述用户的情绪状态的信息的任务的所述指令包括用于显示包括请求用户响应的至少一个问题的任务的指令。
16.根据权利要求6所述的系统，其中存储在所述存储器中并能够由所述处理器执行以显示虚拟世界环境的所述指令包括用于显示提供关于所述用户的认知状态的信息的任务的指令，所述系统还包括存储在所述存储器中并能够由所述处理器执行的指令，所述指令用于：
在执行至少一个任务时监测与所述虚拟世界环境进行的用户指导的交互；以及
根据所述用户的所述至少一个任务的表现来评估所述用户的情绪。
17.根据权利要求16所述的系统，其中存储在所述存储器中并能够由所述处理器执行以显示提供关于所述用户认知状态的信息的任务的所述指令包括用于显示游戏界面的指令。
18.一种用于评估人的精神状态的计算机化评估系统，所述系统包括：
处理器；
显示设备；
存储器；和
存储在所述存储器中并能够由所述处理器执行的指令，所述指令用于提供虚拟世界环境和与所述人相关联的虚拟形象以经由所述显示设备向所述人提供虚拟世界会话；
存储在所述存储器中并能够由所述处理器执行的指令，所述指令用于：
经由所述显示设备来显示用于配置所述虚拟形象、所述虚拟世界环境和所述虚拟世界会话中的至少一者的至少一个方面的用户可选选项的菜单；
向所述人要求从经由所述菜单显示的备选选项中选择的至少一个用户选择的选项；以及
根据所述至少一个用户选择选项来修改以下中的至少一者：如经由所述显示设备显示的所述虚拟形象、所述虚拟世界环境、以及如经由所述显示设备来显示的所述虚拟世界会话；和
存储在所述存储器中并能够由所述处理器执行的指令，所述指令用于根据所述至少一个用户选择选项来评估所述人的所述精神状态；和
存储在所述存储器中并能够由所述处理器执行的指令，所述指令用于：
根据自动评估来确定所述精神状态满足指示所述人批准来自保健专业人员的干预的干预规则；以及
基于所述确定，经由通信网络向保健提供者计算系统传送识别所述人的经评估的精神状态的警报，
由此，所述系统根据用于配置所述虚拟形象、所述虚拟世界和所述虚拟世界会话中的至少一者的方面的所述人选择的选项来对所述人的所述精神状态执行所述自动评估。
19.一种用于评估人的精神状态的计算机化评估系统，所述系统包括：
精神状态监测系统，所述精神状态监测系统包括：
处理器；
显示设备；
存储器；和
存储在所述存储器中并能够由所述处理器执行的指令，所述指令用于提供虚拟世界环境和与所述人相关联的虚拟形象以经由所述显示设备向所述人提供虚拟世界会话；
存储在所述存储器中并能够由所述处理器执行的指令，所述指令用于：
经由所述显示设备来显示用于配置所述虚拟形象和所述虚拟世界环境中的至少一者的至少一个方面的用户可选选项的菜单；
向所述人要求为所述虚拟形象和所述虚拟世界环境中的所述至少一者中的每一者从经由所述菜单显示的备选选项中选择至少一个用户选择的选项；和存储在所述存储器中并能够由所述处理器执行的指令，所述指令用于监测所述虚拟世界会话中用户指导的活动；和
存储在所述存储器中并能够由所述处理器执行的指令，所述指令用于传递表示与所述人的情绪状态相关联的记录的交互的数据；和
精神状态评估系统，所述精神状态评估系统包括：
第二处理器；
第二存储器；和
存储在所述第二存储器中并能够由所述第二处理器执行的第二指令，所述第二指令用于根据接收的表示与所述人的情绪状态相关联的记录的交互的数据来执行所述人的所述精神状态的自动评估，所述记录的交互包括用于配置所述虚拟形象和所述虚拟世界环境中的至少一者的方面的所述人选择的选项、以及与所述虚拟世界会话进行的所述人的监测的活动；和
存储在所述第二存储器中并能够由所述第二处理器执行的第二指令，所述第二指令用于：
根据自动评估来确定所述精神状态满足指示所述人批准来自保健专业人员的干预的干预规则；以及
基于所述确定，经由通信网络向保健提供者计算系统传送识别所述人的经评估的精神状态的警报。
CN201780046458.2A 2016-05-27 2017-05-25 根据虚拟世界活动评估真实世界用户的认知状态和情绪状态的系统和方法 Active CN109688909B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201662342358P 2016-05-27 2016-05-27
US62/342358 2016-05-27
PCT/US2017/034514 WO2017205647A1 (en) 2016-05-27 2017-05-25 System and method for assessing cognitive and mood states of a real world user as a function of virtual world activity

Publications (2)

Publication Number Publication Date
CN109688909A CN109688909A (zh) 2019-04-26
CN109688909B true CN109688909B (zh) 2022-07-01

Family

ID=60412610

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780046458.2A Active CN109688909B (zh) 2016-05-27 2017-05-25 根据虚拟世界活动评估真实世界用户的认知状态和情绪状态的系统和方法

Country Status (9)

Country Link
US (2) US11615713B2 (zh)
EP (1) EP3463065A4 (zh)
JP (1) JP7036743B2 (zh)
KR (1) KR102458643B1 (zh)
CN (1) CN109688909B (zh)
AU (2) AU2017269386A1 (zh)
CA (1) CA3025483A1 (zh)
MA (1) MA45180A (zh)
WO (1) WO2017205647A1 (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109688909B (zh) 2016-05-27 2022-07-01 詹森药业有限公司 根据虚拟世界活动评估真实世界用户的认知状态和情绪状态的系统和方法
US11158060B2 (en) 2017-02-01 2021-10-26 Conflu3Nce Ltd System and method for creating an image and/or automatically interpreting images
US11176675B2 (en) 2017-02-01 2021-11-16 Conflu3Nce Ltd System and method for creating an image and/or automatically interpreting images
US11298062B2 (en) * 2017-02-01 2022-04-12 Conflu3Nce Ltd Multi-purpose interactive cognitive platform
US11412968B2 (en) * 2017-09-12 2022-08-16 Get Together, Inc System and method for a digital therapeutic delivery of generalized clinician tips (GCT)
US11663182B2 (en) * 2017-11-21 2023-05-30 Maria Emma Artificial intelligence platform with improved conversational ability and personality development
JP6748170B2 (ja) * 2018-10-04 2020-08-26 株式会社スクウェア・エニックス ビデオゲーム処理プログラム、ビデオゲーム処理装置及びビデオゲーム処理方法
US10678264B2 (en) * 2018-10-10 2020-06-09 Midea Group Co., Ltd. Method and system for providing remote robotic control
KR102114907B1 (ko) 2018-12-28 2020-05-25 (주) 비전웍스 인지 자극을 이용한 인지적 편향 수정 방법 및 장치
JP2021057002A (ja) * 2019-06-06 2021-04-08 パナソニックＩｐマネジメント株式会社 コンテンツ選択方法、コンテンツ選択装置及びコンテンツ選択プログラム
US11816757B1 (en) * 2019-12-11 2023-11-14 Meta Platforms Technologies, Llc Device-side capture of data representative of an artificial reality environment
CN111292831A (zh) * 2020-01-21 2020-06-16 浙江连信科技有限公司 基于人机交互的戒毒人员心理建设方法、装置及电子设备
JP7089546B2 (ja) * 2020-04-09 2022-06-22 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理システム、および情報処理制御方法
TWI755132B (zh) * 2020-10-31 2022-02-11 長庚大學 高齡者心智訓練系統及其運作方法
US11309086B1 (en) * 2021-09-09 2022-04-19 Safe Kids LLC Methods and systems for interactively counseling a user with respect to supervised content
US20230082732A1 (en) * 2021-09-12 2023-03-16 Sony Interactive Entertainment Inc. Using data from a game metadata system to create actionable in-game decisions
CN113741702B (zh) * 2021-11-03 2022-03-04 北京智精灵科技有限公司 基于情绪监测的认知障碍人机交互方法及系统

Family Cites Families (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6229533B1 (en) * 1996-08-02 2001-05-08 Fujitsu Limited Ghost object for a virtual world
JPH1176608A (ja) * 1997-09-04 1999-03-23 Konami Co Ltd 遊技者の性格を反映したゲームの展開制御方法、ビデオゲーム装置及び記録媒体
AU2000243170A1 (en) 2000-03-10 2001-09-17 Kiyoshi Hirasawa Information providing device, and information providing method
JP4707877B2 (ja) 2001-06-11 2011-06-22 パイオニア株式会社 ドライブ候補地提示装置及び方法、ナビゲーション装置及びコンピュータプログラム
AU2002343194A1 (en) * 2001-11-20 2003-06-10 Avi Peled System and method for diagnosis of mental disorders
US20070113181A1 (en) * 2003-03-03 2007-05-17 Blattner Patrick D Using avatars to communicate real-time information
US7468729B1 (en) 2004-12-21 2008-12-23 Aol Llc, A Delaware Limited Liability Company Using an avatar to generate user profile information
US20070166690A1 (en) * 2005-12-27 2007-07-19 Bonnie Johnson Virtual counseling practice
JP2008027064A (ja) * 2006-07-19 2008-02-07 Namco Bandai Games Inc プログラム、情報記録媒体および画像生成システム
JP2008129805A (ja) 2006-11-20 2008-06-05 Ricoh Co Ltd メンタルヘルス支援装置及びメンタルヘルス支援システム
US20090177976A1 (en) * 2008-01-09 2009-07-09 Bokor Brian R Managing and presenting avatar mood effects in a virtual world
US20120246585A9 (en) 2008-07-14 2012-09-27 Microsoft Corporation System for editing an avatar
US9386139B2 (en) 2009-03-20 2016-07-05 Nokia Technologies Oy Method and apparatus for providing an emotion-based user interface
US20100306671A1 (en) * 2009-05-29 2010-12-02 Microsoft Corporation Avatar Integrated Shared Media Selection
US20110169927A1 (en) * 2010-01-13 2011-07-14 Coco Studios Content Presentation in a Three Dimensional Environment
US20110250575A1 (en) 2010-04-13 2011-10-13 enVie Interactive LLC System And Method For Providing A Visual Representation Of A User Personality Within A Virtual Environment
CN102933136A (zh) * 2010-06-07 2013-02-13 阿弗科迪瓦公司 利用网络服务的精神状态分析
US20140200463A1 (en) * 2010-06-07 2014-07-17 Affectiva, Inc. Mental state well being monitoring
BR112013007260A2 (pt) * 2010-09-30 2019-09-24 Affectiva Inc "método implantado por computador, produto de progama de computador incorporado a um meio legível or computador e sistema para análise de tráfego de aplicação habilitada para estados de web"
WO2012054924A1 (en) * 2010-10-22 2012-04-26 Yale University Systems and methods for assessing behavioral patterns and promoting behavioral change by comparing gaming performance to aspirational attributes
US8478187B2 (en) * 2010-12-08 2013-07-02 Ray Faulkenberry Computer generated environment for user assessment
US8937620B1 (en) * 2011-04-07 2015-01-20 Google Inc. System and methods for generation and control of story animation
EP2734275A4 (en) * 2011-07-22 2015-02-25 Glitchsoft Corp PLAYER EXPANSION SYSTEM FOR A GAME ENVIRONMENT
TW201322045A (zh) 2011-11-16 2013-06-01 Pixart Imaging Inc 生理反饋控制系統及方法
US8808093B1 (en) * 2012-01-23 2014-08-19 Zynga Inc. Asynchronous social events in computer-implemented games
US20130344968A1 (en) * 2012-06-05 2013-12-26 Knack.It Corp. System and method for extracting value from game play data
US20140004948A1 (en) * 2012-06-28 2014-01-02 Oliver (Lake) Watkins, JR. Systems and Method for Capture and Use of Player Emotive State in Gameplay
US20140019878A1 (en) * 2012-07-12 2014-01-16 KamaGames Ltd. System and method for reflecting player emotional state in an in-game character
US20170004260A1 (en) * 2012-08-16 2017-01-05 Ginger.io, Inc. Method for providing health therapeutic interventions to a user
US20210391083A1 (en) * 2012-08-16 2021-12-16 Ginger.io, Inc. Method for providing health therapeutic interventions to a user
WO2014145204A1 (en) * 2013-03-15 2014-09-18 Affectiva, Inc. Mental state analysis using heart rate collection based video imagery
KR20150055528A (ko) * 2013-11-13 2015-05-21 삼성전자주식회사 디스플레이 장치 및 그 제어 방법
US9573063B2 (en) 2014-03-03 2017-02-21 International Business Machines Corporation Reflecting status in a virtual environment
KR101540544B1 (ko) * 2014-09-05 2015-07-30 서용창 캐릭터를 이용한 메시지 서비스 방법, 상기 방법을 수행하는 사용자 단말, 상기 방법을 포함하는 메시지 애플리케이션
US10290222B2 (en) * 2015-09-21 2019-05-14 Visautact Llc Interactive tutorial with integrated escalating prompts
US10489957B2 (en) * 2015-11-06 2019-11-26 Mursion, Inc. Control system for virtual characters
CN109688909B (zh) 2016-05-27 2022-07-01 詹森药业有限公司 根据虚拟世界活动评估真实世界用户的认知状态和情绪状态的系统和方法

Also Published As

Publication number Publication date
AU2017269386A1 (en) 2018-12-13
MA45180A (fr) 2019-04-10
EP3463065A1 (en) 2019-04-10
JP7036743B2 (ja) 2022-03-15
WO2017205647A1 (en) 2017-11-30
AU2022204343A1 (en) 2022-07-14
KR102458643B1 (ko) 2022-10-24
US20230419850A1 (en) 2023-12-28
KR20190009383A (ko) 2019-01-28
US11615713B2 (en) 2023-03-28
CA3025483A1 (en) 2017-11-30
JP2019526093A (ja) 2019-09-12
CN109688909A (zh) 2019-04-26
EP3463065A4 (en) 2020-02-19
US20200388178A1 (en) 2020-12-10

Similar Documents

Publication Publication Date Title
CN109688909B (zh) 根据虚拟世界活动评估真实世界用户的认知状态和情绪状态的系统和方法
EP2907557B1 (en) Information sharing system, program, and information sharing method
Caro et al. FroggyBobby: An exergame to support children with motor problems practicing motor coordination exercises during therapeutic interventions
US9216356B2 (en) Integrated gaming system and method for managing gameplay across multiple platforms
Nedel et al. Using immersive virtual reality to reduce work accidents in developing countries
Wienrich et al. Assessing user experience in virtual reality–a comparison of different measurements
Moesch et al. Exploring nonverbal behaviors in elite handball: How and when do players celebrate?
Špakov et al. Eye gaze and head gaze in collaborative games
Kou et al. Entangled with numbers: Quantified self and others in a team-based online game
Safikhani et al. The influence of In-VR questionnaire design on the user experience
Postolache et al. Serious games based on kinect and leap motion controller for upper limbs physical rehabilitation
Joselli et al. MindNinja: Concept, development and evaluation of a mind action game based on EEGs
Gratch et al. Felt emotion and social context determine the intensity of smiles in a competitive video game
Wade et al. Process measures of dyadic collaborative interaction for social skills intervention in individuals with autism spectrum disorders
BERKMAN et al. Comparison of vr and desktop game user experience in a puzzle game:“keep talking and nobody explodes”
US20220068158A1 (en) Systems and methods to provide mental distress therapy through subject interaction with an interactive space
Baranowski et al. Using what's learned in the game for use in real life
Tezza et al. An analysis of engagement levels while playing brain-controlled games
JP5309612B2 (ja) フロー体験支援方法、フロー体験支援装置、フロー体験支援サーバ、フロー体験支援システムおよびプログラム
Rocha Gameplay Analytics for Game Design Insights
Cepero et al. Social Presence Awareness Visualization in a Collaborative Videogame
Hassan et al. Research design in eye-tracking experiments
Veen Brain invaders-finding the paradox of control in a P300-game through the use of distractions
Wolbers Posture as stress indicator in eSports
Gray Player Modeling in Adaptive Games via Multi-Armed Bandits

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant