JP2019526093A - 仮想世界アクティビティに応じて、実世界ユーザの認識状態及び気分状態を評価するためのシステム及び方法 - Google Patents

仮想世界アクティビティに応じて、実世界ユーザの認識状態及び気分状態を評価するためのシステム及び方法 Download PDF

Info

Publication number
JP2019526093A
JP2019526093A JP2018561994A JP2018561994A JP2019526093A JP 2019526093 A JP2019526093 A JP 2019526093A JP 2018561994 A JP2018561994 A JP 2018561994A JP 2018561994 A JP2018561994 A JP 2018561994A JP 2019526093 A JP2019526093 A JP 2019526093A
Authority
JP
Japan
Prior art keywords
user
memory
virtual world
processor
executable
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018561994A
Other languages
English (en)
Other versions
JP7036743B2 (ja
Inventor
バルブート,ジョゼフ
ベッテンコート,キャサリン
ブロウイロン,カリーヌ
ブルン,ガブリエル
クレイマー,アレキサンドラ
マンフレドーニア,ジョー
マンジ,フサイニー
モスカ,ケネス
サップ,マーク
ショーエネイッヒ,マグダレナ
Original Assignee
ヤンセン ファーマシューティカ エヌ.ベー.
ヤンセン ファーマシューティカ エヌ.ベー.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ヤンセン ファーマシューティカ エヌ.ベー., ヤンセン ファーマシューティカ エヌ.ベー. filed Critical ヤンセン ファーマシューティカ エヌ.ベー.
Publication of JP2019526093A publication Critical patent/JP2019526093A/ja
Application granted granted Critical
Publication of JP7036743B2 publication Critical patent/JP7036743B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165Evaluating the state of mind, e.g. depression, anxiety
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/0205Simultaneously evaluating both cardiovascular conditions and different types of body conditions, e.g. heart and respiratory condition
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/74Details of notification to user or communication with user or patient ; user input means
    • A61B5/742Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/744Displaying an avatar, e.g. an animated cartoon character
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/74Details of notification to user or communication with user or patient ; user input means
    • A61B5/746Alarms related to a physiological condition, e.g. details of setting alarm thresholds or avoiding false alarms
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50Controlling the output signals based on the game progress
    • A63F13/53Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game
    • A63F13/533Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game for prompting the player, e.g. by displaying a game menu
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50Controlling the output signals based on the game progress
    • A63F13/53Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game
    • A63F13/537Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game using indicators, e.g. showing the condition of a game character on screen
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/65Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/003Navigation within 3D models or images
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00Teaching not covered by other main groups of this subclass
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/70ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mental therapies, e.g. psychological therapy or autogenous training
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/162Testing reaction times
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/74Details of notification to user or communication with user or patient ; user input means
    • A61B5/7465Arrangements for interactive communication between patient and care services, e.g. by using a telephone network
    • A61B5/747Arrangements for interactive communication between patient and care services, e.g. by using a telephone network in case of emergency, i.e. alerting emergency services
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/74Details of notification to user or communication with user or patient ; user input means
    • A61B5/7475User input or interface means, e.g. keyboard, pointing device, joystick
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01Indexing scheme relating to G06F3/01
    • G06F2203/011Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482Interaction with lists of selectable items, e.g. menus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/24Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B7/00Electrically-operated teaching apparatus or devices working with questions and answers

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Pathology (AREA)
  • Psychiatry (AREA)
  • Multimedia (AREA)
  • Educational Technology (AREA)
  • Human Computer Interaction (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Business, Economics & Management (AREA)
  • Psychology (AREA)
  • Hospice & Palliative Care (AREA)
  • Developmental Disabilities (AREA)
  • Child & Adolescent Psychology (AREA)
  • Social Psychology (AREA)
  • Educational Administration (AREA)
  • Physiology (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Cardiology (AREA)
  • Optics & Photonics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Graphics (AREA)

Abstract

個人が対話する仮想世界環境におけるアクティビティに従って、実世界の個人の認知状態及び気分状態を評価する。仮想世界は、個人の認知状態及び/又は気分状態を評価するための、対話型の体験を提供するように構成される。本システムは、個人の気分状態についてのその時点の洞察を提供するために、各仮想世界セッション中にセッションアバターを設定することを必要とする。本システムは、個人の状態を反映するアバターの設定を必要とし得る。本システムは、個人の気分状態についてのその時点の洞察を提供するために、個人が、各仮想セッション中に仮想世界環境を設定することを必要とする。本システムは、ユーザが、個人の選択及び/又はパフォーマンスに従って、個人の認識状態及び/又は気分状態についての洞察を提供する目的のための環境に含まれる目的地を訪れ、任務を遂行し、かつゲームをプレイすることを可能にする。

Description

(関連出願の相互参照)
本出願は、米国特許法§119(e)のもと、米国特許仮出願第62/342,358号(2016年5月27日出願)に対する優先権の利益を主張し、この出願の開示全体は、参照により本発明に組み込まれる。
(発明の分野)
本発明は、一般に、コンピュータ及びコンピュータゲームの分野に関し、より詳細には、コンピュータ化システムにより提供される仮想世界におけるユーザのアクティビティに応じて実世界システムのユーザの認識状態及び気分状態を評価するための、コンピュータ化システムに関する。そのようなものであるから、本システムは、診断、介入、又はその他の目的のために、患者若しくはその他の個人の監視、評価を行おうとする、及び/又は患者若しくはその他の個人と対話しようとする医療従事者のためのツールとして、作動する。
多くの背景において、診断、介入、又はその他の目的のために、個人の監視、評価、及び/又は個人との対話が必要とされている。例えば、医療従事者は、患者の認識状態及び/又は気分状態を評価するために、特定の患者を監視、評価する、又は特定の患者と対話することを望む場合がある。異なる背景では、雇用者、軍事要員、青年等などの、個人(必ずしも患者ではない)の特定のグループ又はクラスを監視、評価する、又は特定のグループ又はクラスと対話することが望ましい場合がある。例えば、青年及び若年成人は、抑欝による成長疾患を示すことが認識されると考えられている。しかし、青年及び若年成人のための毎年の身体検査では、通常、潜在的な抑鬱状態を評価することはない。更に、知覚された精神的特徴、患者/保護者の承認拒否等故に、特別目的の精神医学的評価が行われる可能性は低い。更に、いずれのこのような評価も、長期的な監視が行われることはなく、基本的に時間的に短い。
年齢を問わず、患者は多くの場合、精神科医を受診することは自身の「社会的地位」を脅かすものであると考えることが観察されている。結果として、医療従事者と患者との話し合い及びやりとりは、多くの用心深いものとなる。したがって、このような対話は、忌憚がありかつ率直ではない傾向にあり、不正確な評価をもたらし得る。更に、このような受診は予定された予約となりがちであり、多くの場合、数週間前に予定され、またしたがって、長期間にわたって持続及び維持され得ない散発性の気分状態の捕捉及び評価に関しては、効果がない傾向にある。
なおかつ、潜在的連合に関する研究から、患者は、臨床医との従来の/対面の面接と比較して、オンライン環境において、自身の健康良好状態についての質問により頻繁かつ自由に応答することが明らかであると理解されている。
リアルタイムでの及び長期間にわたる監視及び/又は評価を提供し、正確な評価を支持する、忌憚のない率直な対話を促進し、かつ/又は、特に青年及び若年成人に関して、精神医学的評価と関連して患者が感じる偏見を回避する、個人の認知状態及び気分状態を評価するためのアクセス可能で人目に付かないシステム並びに方法が必要とされている。
本発明は、仮想世界環境におけるアクティビティに応じて、実世界ユーザの認知状態及び気分状態を評価するためのシステム及び方法を提供する。仮想世界環境は、鬱病の副作用として知られる認知バイアスを測定するための対話体験を提供するために使用されてよい。したがって、仮想世界環境の適用におけるこのような対話体験の使用は、鬱病を含む認知状態及び気分状態の全体の評価の一部として使用することができる、追加のデータ要素を生成する。更に、ビデオゲームとして仮想世界環境を設定することにより、ビデオゲームプラットフォーム上でプレイが可能であり、特に青年及び若年成人に関して、精神科医による対人的来診よりも威圧感が薄れ、かつよりアクセス可能となる。これは、特に青年及び若年成人に関して、正確な評価を支持する、及び/又は精神医学的評価と関連して患者が感じる偏見を回避する、忌憚のないかつ率直な対話を促進する。したがって、本システム及び方法は、モントゴメリー・アスベルグ鬱病評価尺度(Montgomery-Asberg Depressing Rating Scale、MADRS)のそれぞれの要素により測定した際に、鬱病の重症度を反映し得る患者の悲歎の程度及び悲観的思考の捕捉が可能な仮想世界環境を提供する。
更に、デスクトップ型コンピュータ、ラップトップ型コンピュータ、若しくはタブレット型コンピュータ、又はスマートフォンなどのパーソナルコンピューティング装置上で実行可能なソフトウェアアプリケーションを介して、このような仮想世界環境を提供することにより、人目に付かない方法で容易にアクセスするのが可能となり、またリアルタイムでの及び長期間にわる監視及び/又は評価が可能となることにより、より安定した正確なデータに基づいた評価の実施が可能となり、これにより、より正確な認知状態及び/又は気分状態の評価を支持する。
以下の説明の理解は、添付図面を参照することにより容易となるであろう。
本発明による仮想世界アクティビティに応じて実世界ユーザの認知状態及び気分状態を評価するための、代表的なネットワークコンピューティング環境実行システム及び方法の線図である。 本発明による仮想世界環境を提供する、代表的な心理状態監視システムの線図である。 本発明による仮想世界環境において収集されたインタラクションデータを処理するための、代表的な心理状態評価システムの線図である。 本発明による仮想世界アクティビティに応じて、実世界ユーザの認知状態及び気分状態を反映するデータを収集するための代表的方法を示す、フローチャートである。 本発明による仮想世界アクティビティに応じて、実世界ユーザの認知状態及び気分状態を評価するための代表的方法を示すフローチャートである。 本発明による、ユーザが選択可能な、アバター用の性別及び体型のオプションの、代表的なメニューを示す。 本発明による、ユーザが選択可能な、アバター用の顔の表情のオプションの、代表的なメニューを示す。 本発明による、ユーザが選択可能な、アバター用の髪型のオプションの、代表的なメニューを示す。 本発明による、ユーザが選択可能な、アバター用の設定オプションの、代表的なメニューを示す。 本発明による、認知能力及び気分指標を表示する、代表的なグラフィカル・ユーザ・インターフェースを示す。 本発明による、推奨動作を表示する、代表的なグラフィカル・ユーザ・インターフェースを示す。 本発明による、仮想世界アバターのディスプレイを表示する、代表的なグラフィカル・ユーザ・インターフェースを示す。
本発明は、コンピュータ化システムにより提供される仮想世界環境におけるユーザのアクティビティに応じて、実世界システムユーザの認知状態及び/又は気分(正確には「心理」)状態を評価するためのコンピュータ化システム及び方法を提供する。本発明で使用する場合、用語「仮想世界」とは、コンピュータ化システムを介してユーザに表示されるユーザが選択可能な特徴を有する登場人物により、システムのユーザが表される、及び/又は環境の特徴がユーザにより選択可能である、並びにユーザが選択可能な特徴がコンピュータ化システムを介してユーザに表示される、コンピュータにより生成される任意の環境を含む。したがって、仮想世界は、実世界に類似した二次元又は三次元のコンピュータ疑似環境であってよく、またユーザアバターの二次元又は三次元図形表示により操縦されてよい。仮想世界の操縦は、コンピュータゲームをプレイすることの一部であっても、又は一部でなくてもよい。あるいは、本明細書で使用する仮想世界環境は、このようなアバター操縦可能世界を含まなくてもよく、むしろ、単に、メール作成/通信アプリケーション、簡易ビデオゲーム、生産性ソフトウェア、又は単に、ユーザのコンピューティング装置に表示されたシステムユーザの表現を含む、その他のアプリケーションを含んでよい。仮想世界及び/又はアバターは、本発明によるソフトウェアより、ユーザのコンピューティング装置においてユーザに表示される。
本発明の一態様によれば、ユーザは、例えば、毎回ユーザが「app」を開いて、仮想世界環境内でユーザのアバターの操縦を伴うゲームプレイを開始する度に、仮想世界の対話の各セッション中のユーザのアバター及び/又は仮想世界環境を設定するためのユーザ入力を提供することを求められる。ユーザ入力は、鬱病を含む気分状態の評価に関連する、ユーザが選択可能なパラメータを必要とする。したがって、同一の関連するパラメータに関して、複数のセッションにわたって時間の経過とともにユーザの選択が収集され、またしたがって、これらの選択に応じて、経時的にリアルタイムでユーザを監視することが可能である。例えば、アバターがユーザを表し、かつユーザがアバターの特徴を選択することができる限りにおいて、ユーザの選択は、ユーザのその時点での気分状態に関する洞察を提供する。同様に、仮想環境に関連したユーザの特徴選択は、ユーザのその時点での気分状態に関する類似した洞察を提供する。
本発明の第2の態様によれば、仮想世界は所定の論理に従って構築され、ユーザのその時点での気分状態に対する洞察を提供する仮想世界のアクティビティに、ユーザが参加することを可能にし、また本システムにより、ユーザの仮想世界との対話が追跡される。例えば、仮想世界は、精神科医又はカウンセラーのオフィス、又はバーを含んでよく、またこれらの場所へのユーザの操縦及び/又はこれらの場所における対話は、ユーザのその時点での気分状態の評価を支持するために、追跡及び使用されてよい。
本発明の第3の態様によれば、仮想世界は、ユーザが、認知状態及び/又は気分状態を評価する目的で、臨床又はその他の設定にて従来用いられているタイプのタスクを実行することを可能にするように構成される。例えば、タスクの実行は、個人の健康アンケートの完成、認知機能/気分/鬱病を評価するための臨床の場において従来より用いられているタイプの質問回答セット、ゲームのプレイ又は記憶タスク、ハノイの塔タスク、反射時間を捕捉するタスク等などの、認知機能を試験するために従来用いられているタスクの実行を含み得る。本システムは、仮想世界環境の内外にて、これらのタスクを提供し得る。
ユーザは、(医療従事者又は本システムにより)定期的に(例えば2x/週で8週間)本システムを使用し、仮想世界環境と対話し、及び/又は1つ以上のタスクを実行するように指示されてもよく、これにより、ベースラインが確立され、また次にパフォーマンスをベースラインと比較することができる、及び/又はそれ故に経時的な変化を確認することができる。ユーザの対話を表すデータを使用して、医療従事者による認知状態及び/又は気分状態の評価の裏付けとなる、医療従事者に提供されるレポートを作成する、本システムによる自動化されたデータ分析の結果として医療従事者に警告を誘発することができ、及び/又はユーザの対話を表すデータは、所定のルール及び/又は論理に従って認知状態及び/若しくは気分状態に関するそれ自体の自動化された評価を本システムが与えるように、本システムにより分析されてよい。
ここで図1を参照すると、仮想世界アクティビティに応じて実世界ユーザの認知状態及び気分状態を評価するためのシステム及び方法の実行に関して、代表的なネットワークコンピューティング環境10の線図が示されている。図1に示すように、ユーザ(又はプレイヤー)20は、本発明による心理状態監視ステム(Mental State Monitoring System、MSMS)100を介して提供される仮想世界環境と対話する。MSMS 100は、デスクトップ型コンピュータ、ラップトップ型コンピュータ、ノートブック型コンピュータ100a、タブレット型コンピュータ100c、スマートフォン100b、又は株式会社ソニーにより製造及び/又は配給されるソニープレイステーション、若しくは株式会社マイクロソフトにより製造及び/又は配給されるマイクロソフトXboxなどの従来のコンピュータゲームシステム100dであり得る、本明細書で記載された特殊目的用MSMSとしての汎用コンピューティング装置を構成する特殊目的用ソフトウェアを格納及び実行する、ユーザのパーソナルコンピューティング装置を備えてよい。本MSMSは、実行可能なソフトウェアを収容及び格納して、独立様式にて、本明細書で記載された仮想世界に基づいたシステムを提供する。あるいは、本MSMSは、クライアントのデバイスにおいてサーバーとして作動して、ユーザが対話し得る仮想世界を提供するグラフィカル・ユーザ・インターフェース表示を生成するシステム200により、通信ネットワーク50を通じて通信するクライアントデバイスとして機能してよい。いずれの場合においても、データは、本明細書で記載されるように、更なる処理、分析、及び/又は格納憶のために、ネットワークを介してMSMS 100からシステム200へと通信されてよい。
ネットワーク化された環境10の構成要素は、任意の好適なタイプの接続並びに従来の通信ハードウェア及びソフトウェアを使用して、任意の好適な構成にて相互連結することができる。本構成要素は、直接接続されてよい、又は任意の好適なネットワークであり得るネットワーク50を介して接続されてよい。例えば、ネットワーク50の1つ以上の部分は、特別目的のネットワーク、イントラネット、エクストラネット、仮想私設ネットワーク(VPN)、ローカルエリアネットワーク(LAN)、無線LAN(WLAN)、広域通信ネットワーク(WAN)、無線WAN(WWAN)、メトロポリタンエリアネットワーク(MAN)、インターネットの一部、公衆交換電話網(PSTN)の一部、携帯電話ネットワーク、別のタイプのネットワーク、又はこのようなネットワークの2つ以上の組み合わせであり得る。
ネットワーク化された環境10の構成要素は、任意の好適な通信接続を使用して、互いに接続されてよい。例えば、好適な接続としては、ワイヤライン(例えば、DSL又はDOCSIS)、無線(例えば、WiMAX)、及び光(例えば、SONET、SDH)接続が挙げられる。例えば、1つ以上の接続としては、イントラネット、エクストラネット、VPN、LAN、WAN、携帯電話ネットワーク、若しくはその他のタイプの接続、又は接続の組み合わせを含んでよい。
図2は、本発明の代表的実施形態による代表的なMSMS 100を示すブロック図を示す。図2から理解されるように、MSMS 100は、通常操作のための従来のハードウェア及びソフトウェアを含むという点で、概して従来型のものである。しかし、MSMS 100は、従来のハードウェア、例えば1つ以上のプロセッサ、メモリ等を含む特殊目的用のコンピュータシステムであり、操作システム120及びネットワーク通信ソフトウェア130などの汎用コンピューティングシステムの操作を可能にする従来のソフトウェア、及び本発明による少なくとも1つの方法を実行するための特殊目的用のコンピューティングシステムとして、汎用ハードウェアを構成するための特別に構成されたコンピュータソフトウェアの両方を、格納並びに実行する。
したがって、図2のMSMS 100は、マイクロプロセッサ(CPU)102などの汎用プロセッサと、周知の技術に従ってプロセッサ102と表示システムの構成要素との間を接続し、それらの間の通信を可能にするために用いられるバス104とを含む。代表的なMSMS 100は、バス104を介して、キーボード108、マウス110、及び/又は、タッチスクリーン、デジタル化入力パッド等などの任意のユーザインターフェース装置であり得るその他のインターフェース装置112などの1つ以上のインターフェース装置に、プロセッサ102を接続する、ユーザインターフェースアダプタ106を含む。バス104はまた、表示アダプタ116を介して、LCDスクリーン又はモニタなどの表示装置114を、プロセッサ102に接続する。バス104はまた、固体記憶装置、ハードドライブ、ディスケット装置、テープドライブ等を含むことができるメモリ118に、プロセッサ102を接続する。
MSMS 100は、例えば、通信チャンネル、ネットワークカード又はモデム122を介して、その他のコンピュータ又はコンピュータのネットワークと通信してよい。MSMS100は、ローカルエリアネットワーク(LAN)又は広域通信ネットワーク(WAN)において、このようなその他のコンピュータと関連付けられてもよく、またクライアント/サーバー装置におけるクライアントとして別のコンピュータで作動してよい。このような構成並びに適切な通信ハードウェア及びソフトウェアは、当技術分野において周知である。
この代表的実施形態では、本システムの構造は、MSMS 100において実行可能なソフトウェアアプリケーションを用いて、MSMS 100を本発明に従って特別に構成する。したがって、図2にて示すように、MSMS 100は、本明細書に記載された方法を実施するためにメモリに格納されたコンピュータ読み取り可能でプロセッサの実行が可能な命令を含む、仮想世界エンジン(VWE)アプリケーション150を含む。更に、メモリは特定のデータを、例えば、1つ以上のハードウェア又はソフトウェア構成要素における特定の実施形態を考慮することなく、例示の目的で図2に論理的に示される、データベース内又はその他のデータ格納140内に格納する。任意追加的に、その他のソフトウェア及び/又はデータが、メモリ118の対応するデータ格納140内に格納されてよい。
VWE 150は、MSMS 100を介して仮想世界の状態を効果的に作成、表示、及び別の方法で管理し、ユーザ20が対話可能でかつユーザ20が入力を提供することができる仮想世界環境を、ユーザ20に提供する。仮想世界状態は、アバターの状態、非プレイヤー登場人物(NPC)の状態、世界内の対象物の状態、世界の状態(例えば、内部ゲーム時刻、世界環境の設定及びパラメータ)、及び他の仮想世界パラメータを含む、全ての仮想世界パラメータを含む。各ユーザ20は、仮想世界内で少なくともユーザのアバターを制御し、またMSMS 100の入力ハードウェア及びソフトウェアを介して、システム及びVWEに入力を提供する。一般的に、VWE 150はユーザ10から入力を受信して、仮想世界インターフェースを表示させる。非限定的実施例として、MSMS 100は、クライアントの役割にて作動して、ローカルで実行される、オンライン又はサーバー支持型仮想世界のクライアント構成要素をダウンロードしてもよく、一方、システム200などの遠隔サーバーは、クライアント構成要素のためのバックエンド支持を提供し、またゲームのアプリケーションデータの維持、ユーザからの入力の処理、仮想世界ロジック及び/又は1人以上のユーザからの入力に基づいたゲーム状態の更新及び/又は同期、並びにMSMS 100への命令の伝達に関して責任を負ってもよい。その他の非限定的な例として、以下にて更に詳細に議論するように、ユーザ20がMSMS 100を介して(例えば、キーボードをタイプ打ちする、マウスボタンをクリックする、タッチスクリーンをタップする又はMSMS 100のジョイスティックを操作するなどして)対話を行い仮想世界に入力を提供する度に、クライアントのVWE構成要素が、ユーザの入力をシステム200へと伝達してもよい。
特に、VWE 150は、本発明に従って特別に構成され、ユーザ選択可能オプション、若しくは要請を含む仮想世界体験を提供する、又はユーザの認知状態及び/又は気分状態を証明すると見なされるユーザ入力のための機会を表す。したがって、このようにして、ユーザの入力は仮想世界環境内への単なる入力ではなく、むしろユーザの認知状態及び/又は気分状態を評価する目的で使用可能な入力である。したがって、本発明によれば、仮想世界環境は、ユーザの認知状態及び/又は気分状態の評価に関する情報を収集することにより、診断ツールとして役立つよう特別に構成されているという点で、従来の仮想世界環境とは異なる。
本発明と一致して、VWE 150は、少なくとも3つの論理構成要素、即ち、アバター管理エンジン160、対話エンジン170、及びタスクエンジン180を含む。これらのエンジンは、仮想世界体験の特定の態様を制御を司る論理構成要素であり、本発明に一致している。
アバター管理エンジン(AME)160は迅速に作動し、また好ましくは、ユーザが仮想世界と対話する各セッション中のユーザを表すアバターをユーザが作成(又は変更もしくは更新)することを必要とする。したがって、ユーザのアバターは静的ではなく、また複数の対話セッションにわたって持続するものではなく、むしろ頻繁に再作成されるものであるので、各再作成は、ユーザのその時点での気分状態についての洞察を提供する別のデータポイントとして役立つ。以下にて更に詳細に議論するように、MSMS 100を介してAME 160によりユーザに対して表示されるグラフィカル・ユーザ・インターフェースを介して、AME 160はユーザを促し、ユーザ入力を受信する。グラフィカル・ユーザ・インターフェースは、種々のアバター特徴に関するユーザからの入力を要請する。AME 160は、グラフィカル・ユーザ・インターフェースを介して、各特徴に関して複数の異なる選択肢を含むユーザ選択可能オプションの視覚メニュー又はテキストメニューを表示する。AME 160は、入力が要請される特定の特徴が、ユーザの気分状態の評価に有用なものとなるように選択されるよう、本発明に従って特別に構成される。このような特徴の例としては、ユーザネーム、性別、皮膚の色調、体型/体の形状、身長、顔の表情、目の色、髪型、髪色、服装、及び衣服の色が挙げられる。
これらの要素、及びそれに応答したユーザの選択、また特に、ユーザが選択し得る選択メニューが、以下で論じるように、ユーザのその時点での気分状態の証明となると見なされる。例えば、性別選択は、現在の心理的状態又は感情的状態を反映し得る。例えば、ユーザの実際の性別ステレオタイプと比較してユーザをより強く又はより弱く見せる及び感じさせるために、反対の性別のアバターを選択してもよい。更に別の例として、体型/体の形状選択は、ユーザが身体的にどのように感じているかを反映し得、この感じは、サイズ値(身長及び体重)を介して投影される。それらのサイズ及び強さの1つの主観的感覚は、抑鬱を感じた場合に変化する場合がある。鬱病を患う個人は、好ましくない(例えば、太り過ぎ、低過ぎ、又は醜い/奇妙な容姿)自身のセルフイメージ及び自身の問題を表現する、非現実的に「太った」、「低い」、又は「奇妙な容姿」のアバターを作成する可能性が高いということが観察されている。更なる例として、皮膚、目、髪色の選択は情報的であり得、また選択肢には、実世界での出来事をマッピングしないものが包含されてもよい。例えば、幸せ及び悲しみの一般的な表現に一致する色(例えば、「ブルーな気分」に関する青、又は「陽気な若しくは幸せな」気分に関する黄色、等)、並びにいくつかの抽象的な色(紫、緑)が、ユーザの選択可能オプションとして含まれてよい。色の重要度(及びその気分とのつながり)は、「皮膚」選択に最も関連し、かつ衣服選択にも関連すると理解されている。更に、衣服の選択には証明力がある。例えば、抑鬱状態にある、又は悲しんでいる女性は、だぶだぶの上着、ジーンズ、及びスウェットシャツ又はジャンパーを着用する可能性が高いということが観察されている。これに対して、幸せである、又は前向きな女性は、好みの洋服、宝飾類、及びジーンズを着用する可能性が高いということが観察されている。これらの衣服の選択肢は、気分がすぐれない女性が何を着用するかにおいての労力をかけない(又はおそらく消えてしまいたい)ということを意味するように思われ、またよい気分でいる女性は、かれらの気分に適合するようにより美しく見える試みを行う傾向にある。更に、衣服の色の選択肢は、プルチックの感情の環に反映されるような、ロバート・プルチック・ベーシック(喜び、信頼、恐れ、驚き)及びベーシックの反対(悲しみ、嫌悪、怒り、期待)の感情に対応して提供される。したがって、ユーザの選択は、ユーザのその時点の気分状態を反映し得る。なおかつ、1976年に公表され、また1990年に改訂された、怒り、嫌悪、恐れ、幸せ、悲しみ、軽蔑、及び驚きを認知的に示す、Paul’s Ekman Pictures of Facial Affect(POFA)の刺激セットの少なくとも一部に基づき得る、顔の表情のユーザ選択可能オプションにより、ユーザが表される。
対話エンジン170(IE)はユーザが仮想世界と対話する各セッション中に、ユーザが環境的入力を提供することを促し、好ましくは要求するように動作可能である。IE 170は、入力が必要とされる特定の環境オプションが、ユーザの気分状態の評価に有用なものとなるように選択されるよう、本発明に従って特別に構成される。したがって、ユーザの仮想世界環境は静的ではなく、また複数の対話セッションにわたって持続するものではなく、むしろ頻繁に各再設定されるので、ユーザのその時点での気分状態についての洞察を提供する別のデータポイントとして役立つ。以下にて更に詳細に議論するように、MSMSを介して、IE 170によりユーザに対して表示されるグラフィカル・ユーザ・インターフェースを介して、IE 170はユーザを促し、ユーザ入力を受信する。グラフィカル・ユーザ・インターフェースは、種々の環境的特徴に関するユーザからの入力を要請する。入力が要請される特定の特徴は、ユーザの気分状態の評価に有用なものとなるように選択される。このような特徴の例としては、設定、天候、及びバックグラウンド音楽が挙げられる。IE 170は、グラフィカル・ユーザ・インターフェースを介して、各特徴に関して複数の完全に異なる選択肢を含むユーザ選択可能オプションの、視覚メニュー又はテキストメニューを表示する。
例えば、ユーザは、特定の感情に関連した設定を含む自身のアバターに関して、異なる仮想世界環境により表され得る。例えば、都市は、孤独を求めるユーザ、又は、都市環境が提供する全ての対話及び業務に対応することを望まない若しくは対応できないユーザにより選択される可能性が低い。避難場所を求めている個人、「1人になりたい」個人は、熱帯の島、森林、又は古代史跡等の場所を選択する可能性が高い。美しい環境、驚くべき環境、及び空想的な宇宙船などの、他のより抽象的な環境オプションも提供されてよい。
更に、IE 170は、仮想世界環境とのユーザの対話を追跡するように動作可能である。アバター操縦可能な仮想世界環境では、好ましくは、仮想世界環境は、ユーザの気分状態を評価するのに有用なユーザが選択したアクティビティのための機会を提供するように設計される。例えば、仮想世界環境は、精神科医若しくはカウンセラーのオフィス、又はバーなどの、ユーザの選択可能な(例えば、操縦を介した)設定を提供するように設計される。ユーザの仮想世界との対話は、IE 170により追跡される。例えば、ユーザが、精神科医/カウンセラー、又はバーへと操縦した、及び/又は神経科医/カウンセラー、又はバーと別の方法で対話したことをIE 170が観察した場合、次に、このような観察を用いて、ユーザの気分状態を評価してよい。更なる例として、IE 170は、仮想世界内のユーザの経路を追跡してよく、またユーザの認知状態及び/又は気分状態の評価を裏付ける予測行動又は自発的行動を分析してよい。
タスクエンジン180(TE)は、ユーザがシステムと対話する1つ以上のセッション中、例えば仮想世界環境内で種々のタスクを実行することにより、ユーザが、システムに追加の入力を提供することを許可する、促す、及び/又は要求するように動作可能である。TE 180は、許可され、促され、及び/又は要求される特定の入力が、ユーザの認知状態及び/又は気分状態の評価に有用な項目となるように選択されるよう、本発明に従って特別に構成される。以下にて更に詳細に議論するように、MSMSを介して、TE 180によりユーザに対して表示されるグラフィカル・ユーザ・インターフェースを介して、TE 180はユーザ入力を受信する。グラフィカル・ユーザ・インターフェースは、特定の、既定のタスクの実行に関連するユーザからの入力を要請する。研究は、鬱状態にある個人が、注意、作業記憶、実行機能、意欲、及び処理速度に障害を有することを示している。タスクは、このように選択されて、かれらの鬱病又はその他の気分状態がどのように認知プロセスに影響を及ぼすかについての洞察を明らかにする。したがって、入力が要請される特定のタスクが、ユーザの気分状態及び/又はユーザの認知状態を評価するのに有益なものとなるように選択されてよく、したがって、種々の標準的な認知試験を模倣してよい。例えば、これは、TEが、個人の健康アンケート、気分/鬱病を評価するために従来より臨床の場で使用されているタイプの質問のセットを表示させる、又はメモリタスク、反射時間を捕捉するタスクなどの認知機能を試験するために従来使用されるタイプの、ゲームに基づいた、又はタスクに基づいた体験を提供させることを含み得る。TE 180は、グラフィカル・ユーザ・インターフェースを介して、テキストに基づいた、又は図形に基づいたシーケンスを表して、このような体験を提供してよい。このようなゲーム又はタスク(一括して、「タスク」)の例について、以下説明する。
要約すると、アバター及び仮想世界環境を作成及び/又は設定するユーザのオプション選択、及びユーザの仮想世界の操縦、ゲームのプレイ、タスクの実行、並びにその他の仮想世界との対話及び/又は仮想世界内の対話は、VWE 150により追跡され、関連するデータは、MSMS 100のメモリ118のデータ格納140内に格納(記録)される。このようなデータは、その後に処理されて更なる分析を可能にする、並びに/又は対話データに応じてユーザの認知状態及び/若しくは気分状態の評価を実施する。いくつかの実施形態では、このような更なる処理、又は少なくともその一部はMSMS 100において発生するが、本システムの本代表的実施形態では、以下にて更に詳細に記載するように、このような更なる処理が実行される心状態評価システム(MSAS)200へと、図1にて示される通信ネットワーク50を介してMSMS 100により、このような対話データが伝達される。図3は、本発明によるMSMS 100により提供されたユーザの仮想世界環境との対話の結果として、MSMS 100により収集された対話データを処理するための、代表的な心理状態評価システム(MSAS)200の線図である。
ゲーム中にユーザにより実施される全ての対話が収集されて、「事象ベースアーキテクチャ」内に格納される。各行動は、個々の事象として格納される。ありとあらゆる事象が、最小で4つの情報部分(「パラメータ」と称される)、すなわち、(1)事象発生時(行動が実施された場合)に示されるデータ/時間スタンプ、(2)ユーザがゲームを行うのに使用する、物理的装置に固有の全域一意識別子(universally unique identifier)(UUID)、(3)格納された事象のタイプを示す事象タイプ、及び(4)その事象の固有の事例を示す事象ID、に格納される。これらの4つのパラメータ以外に、各事象は、事象のタイプに応じて追加のパラメータを格納し得る。例えば、「毛髪変更のカスタマイズ」の事象は、アバター作成中にユーザが選択した毛髪のタイプも格納する。
ここで図4を参照すると、本発明による仮想世界アクティビティに応じて、実世界ユーザの認知状態及び気分状態を評価するための代表的方法を示す、フローチャート400が提供される。図4に示すように、この代表的方法は、402にて示すように、ユーザにアクセス可能な心理状態監視システム100におけるユーザ対話式仮想世界(VW)環境を提供することから、開始される。これは、事前設定されたMSMS 100をユーザに提供することを伴ってよいが、好ましくは、「appストア」を介して分配可能な「app」などの、仮想世界エンジン150を提供することを伴う。仮想世界エンジン150は、ユーザのMSMS 100a、100b、100c、100dへとダウンロードされてもよくまたMSMS 100のディスプレイ装置116を介して事前設定されたVW環境を表示し、かつ、MSMSの入力装置108、110、112等を介してユーザ入力を受信し、MSMSのメモリ118のデータ格納140にて収集された対話データを格納し、かつ通信チャンネル122を介して収集された対話データを適切に伝達する、ことを実行してもよい。
一実施形態では、事前設定されたVW環境はアバター操縦可能世界を含み、提供される環境は、ユーザが仮想世界環境内のユーザカスタマイズアバターとして表される単一のユーザ体験である。上述のように、ユーザは、フリーローム容量にて仮想世界を探索し、非人間の登場物と対話し、標準化された健康及びその他の質問に回答し、かつゲームをプレイ及び/又はタスクを実行することができる。
次に、MSMS 100は、404及び406にて示すように、ユーザが新たなVWセッションを開始するまで待機する。例として、ユーザは、VWEソフトウェア150を実行することにより、例えば、VWEソフトウェアappを開いて新たな対話、例えばゲームプレイ、セッションを開始させることにより、新たなVWを開始させてよい。
404において、MSMS 100が、ユーザが新たなセッションを開始したことを結論付けた後、MSMS 100は(そのディスプレイ装置を介して)、ユーザを表し、かつ408にて示されるように、開始されたVWセッション中にユーザ及びVWE 150により使用されることになる、セッションアバターを設定するための、ユーザ選択可能オプションの図形メニュー及び/又はテキストメニューを含む1つ以上のグラフィカル・ユーザ・インターフェースを表示する。これは、VWE 150のアバター管理エンジン160の構成要素の制御下にて実施される。
ユーザは、医療従事者により指示されるように、アプリケーションを使用して、特別目的ベース、又はスケジュールベースにて新たなセッションを開始することができる。例えば、ユーザを看護する医療従事者は、割り当てられたスケジュールに従って、所定の回数、セッションに参加するように患者に処方する又は「指示」することができる。好ましくは、スケジュールは、数週間にわたる複数のセッション、好ましくは、6週間を超える期間にわたる6回を超えるセッションを含む。アプリケーションは、スケジュールベースにてアプリケーションへのアクセスを全体として制限する、又はユーザが1つ以上のゲームを再プレイする前に最小の経過時間を必要とするなど、仮想世界内の特定の要素へのアクセスを制限するように構成されてよい。
本発明と一致して、開始されたVW環境セッションを介して進行する、及び開始されたVW環境セッションに参加するために、ユーザは、メニューからオプションを選択し、工程410にて示されるように、アバター管理エンジン160により、これらの選択が記録される、即ち、データ格納140内に記録及び格納されることでMSMSへの入力を提供することにより、最初にセッションアバターを作成することを必要とする。例えば、ユーザは、セッションアバターの性別、気分の顔による表現、髪色、目の色、皮膚の色、衣類、及び体型を選択する機会を与えられる。ユーザは、アバターの頭部及び体の比率を調節することができる。図6は、本発明による、ユーザが選択可能な、アバター用の性別及び体型のオプションの、代表的なメニューを示す。図7は、本発明による、ユーザが選択可能な、アバター用の顔の表情のオプションの、代表的なメニューを示す。図8は、本発明による、ユーザが選択可能な、アバター用の髪型のオプションの、代表的なメニューを示す。
VWE 150、及びセッションアバターを設定するためのユーザ選択可能オプションは、VWE作成の間に選択されて、異なる潜在的なユーザの気分状態に対応するオプションを提供するため、セッション時におけるユーザの特定の選択が、セッション時のユーザの気分状態についての洞察を提供する。長期間(例えば、少なくとも6週間)にわたって複数のセッション参加することをユーザ求めることによって、ユーザの気分状態を反映した複数のデータポイントが得られ、また気分評価に関して有用な長期的観点が得られる。
この代表的実施形態では、MSMS 100は、412にて示されるように、次にユーザを表す理想的なアバターを作成するためのユーザ選択可能オプションメニューを表示する。具体的には、本システムは、ユーザが、理想的な状態におけるユーザを反映する「理想的」なアバターを作成することを促す。更に、本システムは、414にて示されるように、ユーザがセッションを介して着手及び進行するために、ユーザが理想的なアバターの作成を完了することを要求する。同様のメニュー及びユーザ選択可能メニューオプションが提供され、またアバター管理エンジン160の制御下で、ユーザの選択が同様にデータ格納内に記録される。このようにして、ユーザの現在の状態とユーザの理想的な状態との間の相違を捕捉することができる。例えば、現在の状態に関するユーザの選択は悲しい気分を示し得るが、理想的な状態に関するユーザの選択は幸せな気分を示し得、これは分評価プロセスにおいて有用であり得る。
本代表的実施形態では、MSMS 100は、416にて示されるように、次に、開始されたVWセッションのための仮想世界環境を設定するためのユーザ選択可能オプションメニューを表示する。更に、MSMS 100は、メニューから特徴を選択し、開始されたVWセッションのためのVW環境を設定し、かつ418にて示されるように、データ格納140に選択を格納することにより、選択を記憶させることをユーザに要求する。これは、VWEのインタラクションエンジン170により実施される。例えば、ユーザにメニューが表示されて、仮想世界のための設定(都市街、森林、又は砂漠など)、仮想世界のための天候設定(晴天、雨、又は雪など)、仮想世界のためのバックグラウンド音楽(楽観的な曲、メランコリーな歌など)を選択してよい。図9は、本発明による、ユーザが選択可能なVW設定の代表的なメニューを示す。アバターのオプションと同様に、VW環境を設定するためのユーザ選択可能オプションは、VWEの作成中に選択されて、異なる潜在的なユーザの気分状態に対応するオプションを提供する。したがって、セッション時におけるユーザの特定の選択は、セッション時のユーザの気分状態についての洞察を提供する。
所望により、インタラクションエンジン170は、追加のユーザ選択可能オプションメニューを示してよく、VWセッションを進める前に、データストア140内に記憶及び格納される追加のユーザ入力を要求する。例えば、一実施形態では、仮想世界全体にわたってユーザに従う同伴登場人物ための、非プレイヤー登場人物(NPC)メニューのオプションがユーザに示される。同伴者選択は、ユーザにより保護されることを必要とし得る劣位的外見の登場人物(小型ペット様の登場人物など)、ユーザを保護し得る優位な姿(炎を吹くドラゴンなど)、又は中立的な姿(ロボットなど)として選択される。VW環境を設定するためのユーザ選択可能オプションは、VWEの作成中に選択されて、異なる潜在的なユーザの気分状態に対応するオプションを提供する。したがって、セッション時におけるユーザの特定の選択は、セッション時のユーザの気分状態についての洞察を提供する。
VWE 150設計による「要求された」入力に関するデータを収集した後、MSMS100は、次に、例えば、420において示されるように、セッション中にユーザ設定VW環境において、ユーザが作成したセッションアバターをユーザに表示することにより、ユーザがVW対話に進むことを可能にする。これは、MSMS 100の表示ハードウェアを介してグラフィカル・ユーザ・インターフェースを提供することで、VWEにより実施される。選択された任意の同伴者も、同様に表示される。好ましくは、理想的なアバターは、VW対話中、VW環境内には表示されず、むしろ理想的なアバターの作成プロセスの一部としてのみ表示される。図12は、本発明による、仮想世界環境におけるセッションアバターを表示する、代表的なグラフィカル・ユーザ・インターフェースを示す。好ましくは、ユーザのセッションアバター(ユーザの事前選択毎)は、第3者の観点で描かれている。いずれの同伴者もまた目視可能であり、かつユーザのセッションアバターの近くに配置されている。
一実施形態では、ユーザのアバターは、仮想世界環境の全体にわたって自由に移動することができる。特定の実施形態では、経路はユーザが追従可能な景観内に提供される、又はユーザは異常経路を探索することができる。VW環境は、ユーザの認知状態及び/又は気分状態を評価するために有用な対話の機会を提供するように設計される。
したがって、MSMS 100は、VW環境内のユーザ主導のアクティビティ/対話を監視し、かつデータ格納140内にデータを格納することにより、アクティビティを記憶する。これは、VWEのインタラクションエンジン170により実施される。
ユーザ(ユーザのアバター)が仮想世界を横断すると、アバターは、ピックアップが可能なコインに遭遇する。これらのコイン/価値トークンを使用して、仮想世界環境内でアイテムを購入することができる。経路の所定の部分は特定の所定のタスクに関連付けられており、これにより、これらの部分に到達することにより、関連するタスクを開始させる。特定のタスクが提供され、これにより、ユーザの認知状態又は気分状態についての洞察を提供する。例えば、所定の部分において表示される音符は、体験内のバックグラウンド音楽をユーザに変更させるように促すことを開始させ得る。「聴覚気分」を伝えることができるいくつかの歌曲オプションが存在し、それぞれ、ユーザの気分状態についての洞察を提供する。あるいは、所定の部分において表示されるショッピングカートは、体験内でユーザにアイテムを購入させるように促すことを開始させ得る。ユーザは、ユーザのアバター又は同伴登場人物のための食物購入を選択することができる、若しくはユーザのアバターのための衣服購入を選択することができる、又は購入しない選択をすることができ、それぞれ、ユーザの気分状態についての洞察を提供する。なお、所定の部分において表示される星は、ゲームプレイ又はタスクの実行をユーザに促すことを開始させ得、それぞれ、ユーザの認知状態及び/又は気分状態についての洞察を提供する。なおかつ、所定の部分において表示されるクエスチョンマークは、患者の健康に関する質問の回答をユーザに促す、又はユーザのアバターの容姿の変更をユーザに促すことを開始させ得、それぞれ、ユーザの認知状態及び/又は気分状態についての洞察を提供する。このようなタスクの提供はタスクエンジン180により制御され、かつこれらのタスクに関連して提供されるユーザ入力は、タスクエンジン180により、データ格納140内に記憶及び格納される。
特定の実施形態では、ユーザがVW環境と対話する際、ユーザにより実施される各対話が収集されて、「事象ベースアーキテクチャ」内に格納される。各行動は、個々の事象として格納される。各事象が、最小で4つの情報部分(「パラメータ」と称される)、即ち、(1)事象発生時(行動が実施された場合)に示されるデータ/時間スタンプ、(2)ユーザがゲームを行うのに使用する、物理的装置に固有の全域一意識別子(UUID)、(3)格納された事象のタイプを示す事象タイプ、及び(4)その事象の固有の事例を示す事象ID、にて格納される。これらの4つのパラメータ以外に、各事象は、事象のタイプに応じて追加のパラメータを格納し得る。例えば、「毛髪変更のカスタマイズ」の事象は、アバター作成中にユーザが選択した毛髪のタイプも格納する。
代表的事象の小サンプル及び各格納パラメータを、下表1に提供する。パラメータ値は、データのサイズ及び複雑性を減少させるために「ID」として格納される(即ち、帽子選択のための「帽子の大きさ(男性)」を格納する代わりに、値「12」を格納し、これは後に相互参照することができる情報検索値IDである)。パラメータ値ID’の代表的な表を、表2に提供する。
この代表的実施形態では、MSMS 100はデータを長期で論理的に格納せず、むしろメモリ内(データ格納140内)で事象の待ち行列を構築し、また適切なセル、若しくはWi−Fi、又はその他の通信チャンネル信号が存在する限り、所定の周波数にて情報パケットを伝送する。適切なチャンネル/信号がない場合、適切なチャンネル/信号が1となるまでメモリ内に情報を保持し得る。次に、図1にて示すように、通信ネットワーク50を介して、心理状態評価システム200へと情報パケットを送信する。より詳細には、認証及び正確なデータフォーマッティングに基づいて、情報の許容又は拒否のどちらかを行うゲートキーパとして作動する、クラウド−ホストAPI(アプリケーション・プログラマブル・インターフェース)へとデータを送信し、また次に、アプリケーションデータベース及びJSON(JavaScript Object Notation、未加工事象データの格納に使用されるフォーマット)データレイクへと、データを適切に書き込む。その後に、種々のサービスは、以下にて更に詳細に議論するように、好適なデータ分析プラットフォームを使用して、データレイクからのそのデータを、科学者又は統計学者によりデータがよりロバストに分析され得るホストデータベースへとコピーする。これは、MSMS 100のためのパーソナルコンピューティングハードウェアを使用して提供されるものよりも、よりロバストな分析を可能にする。
ここで図3を参照すると、代表的な心理状態評価システム(MSAS)200の線図が示されている。本MSAS 200は、本発明によるMSMS 100により、仮想世界環境において収集された対話データを処理する。図3は、図示の容易さから、ハードウェアの相異、市販のサービス/ハードウェア/ソフトウェアの使用等に関係なく、多数の論理構成要素を示す。ここで図3を参照すると、MSAS 200は、本発明による通信エンジン210を含む。通信エンジン210は、MSDS 100を伴う通信ネットワークを介した通信に応答して、MSDS 100のVWE 150から、対話データ、例えば事象データを受信する。通信エンジン210は、VWE 150を認証して、対話データを含むデータパケットを転送することを認証するための認証エンジン212を含み、本実施形態では、参照事象ベースアーキテクチャにおいてフォーマットされる。非限定的な例として、節点.jsに書き込まれたクラウド−ホスト(例えば、Apigee)APIサービスにより、少なくとも部分的に通信エンジン210が実行される。通信エンジンは、事象追跡エンジン214及びプロファイル作成エンジン216を含む。プロファイル作成エンジン216は、ユーザが初めてプレイする時に新たなユーザを作成し、また関連するユーザプロファイルデータ222を、データ格納220内に格納する。作成ユーザAPIサービスにより、少なくとも部分的にプロファイル作成エンジン216を実行してよい。
事象追跡エンジン214は、対話データを追跡して、未加工データ224として未加工(例えばJSON)対話データをデータ格納220内に格納する。追跡事象APIサービスにより、少なくとも部分的に事象追跡エンジン214を実行してよい。例えば、未加工データ224は、クラウド−ホスト(例えば、Apigee)カサンドラデータベースへと書き込まれてよく、これは、未加工形式で、API追跡事象サービスを介してVWE appから渡されたJSON事象を格納する。更に、本実施例では、事象追跡エンジン214、例えば、追跡事象サービスは、未加工(例えば、JASON)データを、S3 JASONレイクなどの事象データデータ格納226へと書き込む。事象データデータ格納226は、APIサービスによるセキュリティ認証を介して外側の外部ネットワークからアクセス可能な、VWEの仮想プライベートクラウド(VPCx)環境の一部に過ぎない。事象データは、未加工JASON形式にて、カサンドラappデータベースへと書き込まれるのと同時に、API追跡事象サービスにより本ステージング接地へと書き込まれる。
本MSAS 200はまた、データ変換エンジン230をも含む。データ変換エンジン230は、スケジュールベースにて、事象データデータ格納226において新たなデータを検索するETL(抽出、変換、装荷)サービス(例えば、ラムダETL)として実行されてよく、これにより、見出された場合に新たなデータが、例えば、未加工JASON形式からリレーショナルデータベース(アマゾン・レッドシフト・データベース・ウェアハウスなど)へと書き込みが可能な形式へと変換され、これは、このようなリレーショナルデータベースが、例えばJASONよりもより優れた統計分析能力を可能にする故である。このようなデータ変換を実施するためのシステム及び方法は、当該技術分野おいて周知であり、また本発明の範囲外である。データ変換エンジン230は、更に変換データを事象データウェハウス232へと書き込み、これは未加工JASON形式の代わりに関係する(表)形式にて、アバター事象データを格納する。事象データウェハウスにおいて、またリレーショナルデータベースにおいて、単一ユーザ又は多くのユーザのための対話データは、更なるデータ処理に適している形式、例えば、単一ユーザ及び/若しくは複数のユーザのための、並びに/又は複数のユーザにわたる、認知状態及び気分状態の評価の実施に適している形式にて、格納される。
本MSAS 200は更に、特徴抽出エンジン234を含む。特徴抽出エンジン234はデータを事前処理して、共通データ科学手法として、実証性分析に先立って、自動化された次元の数の減少を実行する。所望により、Pythonにて書き込まれた、一連のスケジュールされた(自動化された)「特徴抽出装置」を実行するために設定される、アマゾンウェブサービス(AWS)のElastic Compute Cloud(EC2)エンジンを介して、特徴抽出エンジン234を実行してよい。特徴抽出エンジン234による処理の終了結果は、データが、未加工データから、分析を行うデータ科学者/医療従事者に関心のあるデータの特徴のみを含むデータのサブセットへと、変換されることである。事前処理は、より管理可能であり、かつ関心のある情報のみを含む、より小さいデータセットをもたらす。
更に、本MSAS 200は、データ分析エンジン236を含む。データ分析エンジン236は、所望の実証性データ分析を実施する。所望により、データ分析エンジン236は、データ科学者及びデータ統計学者により遠隔ログインのために設定される、共用AWS EC2エンジンの性質を帯びたデータ科学仮想機械として実行されてよく、またデータ科学チームによる計画された及び特別目的の分析又はデータ可視化を実施するのに必要な、ソフトウェア及びツールを装備してよい。本EC2エンジンは、パーソナルデスクトップ型システム又はパーソナルラップトップ型システムよりも更により強力であり、またしたがって、ローカルマシンよりもより短い時間量にて、より複雑な分析を実施することができる。これはまた、レッドシフトDB及びS3 JSONレイクとして同一のVPCxインスタンス内に存在し、分析される事象データへの直接かつ迅速なアクセスを有することを意味する。
特定の実施形態では、データ分析エンジン236は、そのユーザの仮想世界環境との対話中(アバターの作成/変更、仮想世界の操縦、ゲーム、タスク、等を含む)に、そのユーザのMSMS 100により収集された対話データに従って、ユーザの認知状態及び気分状態の自動化された評価を実行する、本発明による事前設定されたソフトウェアを含む。データ分析エンジン236内部の所定の論理によれば、DAEは、所定のルールに従って、医療従事者の通知を必要とする評価を行ってよい。例えば、ユーザの特定の認知状態又は気分状態を考慮して介入が必要とされる、又は介入が望ましい場合、これは事例となり得る。その場合、データ分析エンジンは通知エンジン238と通信し、ユーザごとベース、又は機関ごとベースにおける次の所定の通知ルールに従って、警告、レポート、又はeメール通知を伝達する場合がある。データ分析エンジンが結論に達したが、介入が必要である、又は介入が望ましいことを決定しない場合、次に、データ分析エンジンは続いてレポーティングエンジン240と通信してよく、ユーザごとベース又は機関ごとベースにおける所定の通知ルールに従って、暗号化メール又はその他の指定されたデータ保護変換形式を介してレポートを伝送してよい。
ここで図5を参照すると、発明による仮想世界アクティビティに応じて、実世界の個人の認知状態及び気分状態を評価するための代表的方法を示す、フローチャート500が示されている。ここで図5を参照すると、502において示されているように、ユーザの仮想世界環境との対話から認知/気分評価関連対話データを収集するために特別に設定された仮想世界環境を提供するための仮想世界エンジン150を含む、心理状態監視システム(MSMS)100を提供することで、本方法が開始される。これは、図4に関して詳細に上述される。
この方法は更に、504において示されているように、MSMS 100により収集された対話データを処理するための、心理状態評価システム(MSAS)200を提供することを含む。代表的なMSAS 200を、図3に関して上述する。
次に、本方法は、506において示されているように、MSAS 200において、例えば通信ネットワーク50を介して、ユーザ作動MSMS 100により収集されかつ記憶される、ユーザに関する対話データを受信することを含む。
次に、本方法は、508及び510において示されているように、対話データを処理して、ユーザの認知状態及び/又は気分状態を評価することを含む。これは、図3に関して上述するように実行されてよい。特に、ユーザの認知及び/又は気分状態を決定するための処理は、ユーザ選択オプションを識別し、ユーザが選択したオプションに関連付けられた関連する気分指標を識別し、また認知能力試験において認知能力を評価し、またユーザの気分指標とのこのような対話の関連に従って、仮想世界におけるユーザの対話に応じて気分状態及び/又は認知状態を評価するための、対話データの処理を伴う。本工程は、MSAS 200の1つ以上の論理構成要素により実行されてよく、また本代表的実施形態では、本工程は、所定のルール及び論理に従って、データ分析エンジン236により実行される。この目的のために、任意の好適なルール及び論理を用いてよい。
次に、MSAS 200は、512において示されているように、介入が保証されているかどうかを決定する。これは、データ分析エンジン236内部の所定のルール及び論理に従って、データ分析エンジン236により実行される。介入が保証されている場合、次にデータ分析エンジン236は通知エンジン238と通信して、上記のように、通知エンジン238に医療従事者対する警告を発生させる。介入が保証されない場合、次にデータ分析ンジン236はレポーティングエンジン240と通信して、ユーザの認知状態及び/若しくは気分状態の自動化された評価を含むレポート、並びに/又は医療従事者により使用されて、ユーザの認知状態及び/又は気分状態の独立した評価を実施してよい情報を発する。
したがって、本明細書で記載されるシステム及び方法は、現代生活に好適な改良されたツールのセットを伴う体験を、患者/医師に提供する。保証された送達方法以外に、データ収集及びデータ分析もまた有益である。より具体的には、仮想世界対話の、予め定められた変数のセットが追跡及び収集されて、診断手段を作成するために、標準的な臨床試験において分析されかつ潜在的に研究される。更に、接続インターフェースとして使用することができる仮想世界環境は、精神的徴候を回避し、また忌憚のないかつ率直な議論のやり方で、仮想世界セッションを介して/仮想世界セッション中に、患者を医療従事者に結びつける。
仮想世界セッション/対話(及び関連するソフトウェア)は、医療従事者、初期診療医師又は初期診療精神科医により、患者へと処方されてよい。仮想世界と対話することにより、種々の属性が収集される。これらの属性としては:速度、記憶、柔軟性、問題解決力、及び気分が挙げられる。なお、一般に受け入れられている慣例PHQ−9に従って、標準的な健康に関する質問を尋ねてもよい。なお、達成バッジを収集することで、患者は仮想世界セッションを継続することを奨励される。仮想世界セッション対話を介して、患者−医師の健康に関する対人的な来診を評価するためのレポートが作成される。患者/ユーザの実績統計が記憶され、かつレポートとして患者又は医療従事者に提供されてよい。図10及び11を参照。
更に、収集されたバルクデータは値を有する。データウェアハウス内に格納されたバルクデータは、より大型の医療従事機関に対して使用を許諾してよく、送達は購読契約に基づき得る。医療従事機関は、ゲームに関して複数の患者のライセンスを選択することができ、かつプレイにあたって患者を規定する。収集されたデータは、カスタマイズ可能な様式にて、医療従事機関へと伝送される。加えて、仮想世界セッションを更に強化して、治療の仮想世界媒体における継続的な向上を生み出すための更なるアルゴリズムデータマイニングの目的で、データを使用することができる。
遠隔治療プラットフォーム:若年者は、感情に関して医療従事者と会話するのが困難であることが見出される故に、多くの若年者において、鬱病が診断未確定である。その結果、多くの若年者の症状はより悪化し、かつかれら自身に対しても他者に対しても、リスクが高まる。鬱病を患う患者は、悲観的な結果予測に直面して悲観的な反応を見せる慣習、所謂「悲観的注意バイアス」を有する。更に、大鬱病性障害(MDD)を伴う患者は、たとえ軽快な状態であっても全ての人が不機嫌であると見なし、また病気の場合には更に状態が悪いと見なす。したがって、本システムは、ゲームを介して通話することにより、患者が医療従事者と「リアルタイムで」連絡をとることを可能にする、遠隔治療プラットフォームとして使用されてよい。医療従事者は、ゲーム内の別のアバター又は同伴者ユーザのどちらかとして、正体を隠してよい。患者又は医療従事者は、鬱病の再発時点で、会話媒体としての仮想世界環境を使用して、いつでも会話を開始することができる。アバターの使用は顔及び悲観的注意バイアスの排除を提供し、また確立された遠隔治療ネットワークを介して、24−7−365(24時間、週7日、365日)の接触を可能にする。
ゲーム及びタスクの実施例
バブルポップゲーム:本ゲームでは、ユーザは、MSMSの表示スクリーンで吹き流されて落ちる前に、種々の色のバブルをはじかせなければならない。各色のバブルは、それらをはじかせる異なるタイプの行動(例えば、単一のタップ、スワイプ、二重タップ)を必要とする。各ゲームは、1色のみの存在するバブルにて開始され、一度に1つの追加色を追加して、プレイを継続する。ユーザが10回のエラー(タップミス、バブル上でタップできていない、又は間違ったタイプのタップ)を起こした後に、ゲームが終了する。本ゲームは、現在使用されている多くのその他のタスク/ルール切り替えタスクに類似している。これは、タスク/ルール間のユーザの切り替え能力を測定し、同様に、ユーザのワーキングメモリ(色マッピングに対するルールの想起)、抑制、及び運動速度を測定する。あらゆるエラーのタイプを含む、各バブルに対する反応時間及び正確性を、TE 180により追跡する。各行動及びプレイの総時間に関するスクリーン上の各タイプのバブルの数もまた、TE 180により追跡されて、データ格納140内に格納される。
モグラ叩きゲーム:本ゲームでは、モグラが穴から顔を出して、ユーザがおもちゃの木槌を用いてモグラを叩かなければならない。本ゲームでは、モグラ又はヤマアラシのどちらかが顔を出すことができる、9つの穴が3列で存在する。ユーザは全てのモグラをタップしなければならないが、ヤマアラシに接触してはいけない。ゲーム全体を通して、変動可能な位置及び変動可能な回数にて、動物が顔を出す。スクリーン上の動物の出現率や数は、プレイが継続するに従って増大する。本ゲームは、注意覚醒度、抑制、及び運動速度を測定する。反応時間、各動物に対する正確性、各タップにおけるスクリーン上の動物の数、及びスクリーン上の最も多い動物の数は、TE 180により追跡されて、データ格納140内に格納される。
ライトタイルゲーム:連続的に変化する規則に従って、色のついた正方形(赤、青、又は橙色)をタップすることにより行われる。壁全体が左にスクロールする際に、3つのタイルの縦列を右側に追加する。色のついたバーが散落状に現れて、何色の正方形をタップしなければならないかを示す。正方形を、左から右に順にタップしなければならない。タイルのスクロール速度が増大するにつれ、ゲーム中に難易度のレベルが増大する。誤った色又は誤った位置のどちらかでタップしてタイルを5つ誤るまで、ゲームプレイが継続される。本タスクは、タスクのためのルールの切り替え及び更新に関するユーザの能力、新たな目標を検知するかれらの注意覚醒度、無効(潜在的に、以前有効であったものにわたって)タイルに対するかれらの抑制、及びかれらの運動速度を測定する。本ゲームでは、反応時間、各タイルに対する正確性、ルール変更に従った固執の量、及び全てのエラーに関するエラータイプ(色又は位置)、及び各行動ポイントにおけるタイルの速度を、TE 180により追跡してデータ格納140内に格納する。
スピードパッキングゲーム:本ゲームでは、ユーザは、閉めるために一緒に折りたたむ必要のある異なる層を伴うスーツケースを与えられる。各層はグリッドで広げられ、その内部に物体(本、湯のみ等)のセットを有する。閉めるためには、各物体は空間を有していなければならず、閉められた場合には、あらゆるその他の物体により占有されることがない。各段は、黄色に色付けられた1つの層を有し、かつ有効空間にない1つの物体を含む。ユーザは、この強調表示された物体を、黄色の層内のその他の空間のうち1つへと移動させなければならない。物体を有効空間へと移動させた場合(即ち、スーツケースが閉じている場合に、あらゆるその他の物体により占有されていない)場合には、スーツケースが自動的に閉じて、新たなスーツケースが出現する。無効空間が選択された場合には何も起こらない。ユーザは、特定の量の時間を有して、できる限り多くのスーツケースに関して完了させる。追加の層、又は各層においてより多くの物体が追加されることにより、ゲームが進行する際に、スーツケースの複雑性が増大する。本タスクは、空間設計、判断力、及び心的回転(ワーキングメモリの副機能)を測定する。反応時間、ユーザが試みた各移動に関する正確性、各レベルにおいて完了したスーツケースの難易度、及び首尾よく完了したスーツケースの数が、TE 180により追跡されてデータ格納140内に格納される。
ハノイの塔ゲーム:本ゲームでは、ユーザは、釘のセット及び全て寸法順(最も小さいものが上部にくる)に1つの釘で打ち囲まれた異なる寸法のディスクのセットを示される。それらのタスクでは、開始釘から異なる釘へと、ディスクの積み重ねを移動させる。ユーザは、一度に1つのディスクを移動させるだけでよく、またより大きなディスクを小型のディスクの上に置くことはできない。本タスクは、執行的職能、空間設計、及び判断力を測定する。各移動に関する反応時間、(周知の最小数と比較した)各レベルに関する移動の数、試みられた不法な移動の数、(同一の2つの釘から前後に動かされた)反復移動の数、及び完了までの全体時間が、TE 180により追跡されてデータ格納140内に格納される。
カードシーケンスゲーム:本ゲームは、心理学的文献及び認知学的文献においてn−バックタスクとして周知の、シリアルメモリタスクである。ユーザは、一度に一連のカードを示され、かつ現在のカードが、以前見たnスペース(例えば、1、2、3スペース)のものと一致しているかどうかを、各ポイントで質問される。ユーザは、各カードについて、はい、又はいいえをタップする。ユーザは、1−バックで開始し、現在のカードが以前のカードと一致するかどうかを報告する。プレイが進行する際、ユーザが覚えている必要のある、戻すカードの枚数が増加する。各n−バックのレベルは、各増加後に開始することを覚えておくべき新たな一連のカードを伴う、ゲームにおける個別のレベルとして扱われる。ユーザは、3回ミスをおかすまでプレイする。これは、個人がどの程度良好に、特徴を伴う(独自性)情報を記憶できるかを測定し、同様に、個人がどの程度良好に、ゲームのタスク/ルールにおける変更に適応できるかを測定する、古典的な視覚的短期記憶(又はワーキングメモリ)タスクである。各カードに対する反応時間、各カードにおける正確性、及びいずれかのエラー、エラーのタイプ(不正警告、ミス、以前のルールに対する固執、等)が、TE 180により追跡されてデータ格納140内に格納される。
メモリカードゲーム:本ゲームは、一連のカードをユーザに広げて向けて、目視し記憶する、古典的なゲームに基づく。複数の異なる画像がカード上に存在する(ここで、6つの異なるカードタイプを有する)が、各カードは、セットにおいて同一の適合を有する。短時間の後、次に全てのカードをひっくり返して、ユーザは適合する対を見つけなければならない。毎回、ユーザは、1枚のカードをクリックし、次にそれらをひっくり返して見る。次に、第2のカードをクリックし、同様にひっくり返す。この第2のカードが適合する場合、両方のカードが消える、あるいは、両方がひっくり返って戻る。適合が見出されるまで、プレイが継続される。本ゲームは、特徴的(独自的)及び空間的(位置的)情報の両方を覚えておくことを必要とする、標準的な視覚的短期記憶(ワーキングメモリとしても知られている)タスクである。各カードを選択する反応時間、各回における正確性、及び固執の量(同一のカード(複数可)の連続した選択)が、TE 180により追跡されてデータ格納140内に格納される。
障害物回避ゲーム:本ゲームでは、ユーザは、かれらのアバターを基板の周囲に移動させて、いずれかの「障害物」(例えば、灰色のボール)にあたることを回避しなければならない。時間の経過とともに、ボールの数が増大する。ユーザが3回あたった場合(負け)、又はユーザがアバターを移動させて、プレイ中に出現するコインを収集した場合(勝ち)、ゲーム終了となる。本ゲームは、視覚的注意を評価するために使用される、複数物体追跡(MOT)タスクに基づく。その他の視覚的注意タスクとは異なり、本タスクは、複数のアイテムに対して集中及び注意を分割して同時に向けることを必要とする。ボールにあたることを回避するために、ユーザはまたかれらのアバターを移動させなければならない故に、本タスクは同様に空間設計の測定としても役立ち得る。本ゲームでは、生存時間の長さ、ゲームの勝ち/負け状態、スクリーン上における最大ボール数、衝突回数、及び各衝突に関するスクリーン上におけるボールの数、並びに、ユーザによるアバターの移動が追跡されてデータ格納140内に格納され、またTE 180によりデータ格納140内に格納される。
アンケートタスク:本タスクでは、一連の質問が提示されて、ユーザの応答が要請されかつ格納される。患者の現在の気分及び鬱病の症状に関連したデータを引き出すように、質問が選択される。PHQ9の、良好に有効なMDD測定法からの質問を使用して、患者の鬱病の重症度が評価され得る。応答は、TE 180により追跡されてデータ格納140内に格納される。
感情タスク:本タスクでは、ユーザ選択可能メニューにおいて、一連の動画イメージがユーザに表示される。各イメージは、異なる感情状態を示すように選択される。TE180は、ユーザの現在の気分状態に対応するイメージに関して、ユーザの入力を要請する。応答は、TE 180により追跡されてデータ格納140内に格納される。
したがって、上記の識別された方法の工程を実行するためのコンピュータ読み取り可能なコードを格納する、コンピュータ読み取り可能な記憶媒体が、提供される。コンピュータ読み取り可能な記憶媒体は、上記の方法を実施するためのサブプロセスを実行するための、コードを格納する。
上記の識別された方法の工程を実行するための、コンピュータ読み取り可能な記憶媒体上に記録されるコンピュータプログラム製品が、提供される。コンピュータプログラム製品は、上記の方法を実行するための、コンピュータ読み取り可能な手段を備える。
本発明の少数の特定の実施形態について述べたが、種々の修正、変更、及び改善が、当業者には容易に行えるであろう。本開示により明らかにされたこのような修正、変更、及び改良は、本明細書では表現されていないが本明細書の一部であると意図され、本発明の趣旨及び範囲内であることが意図されている。したがって、前述の説明は単に実施例のみの目的であり、制限することを意図したものではない。本発明は、下記の請求項及びそれらと同等であるものにおいてにのみ定義されるよう、限定される。

Claims (20)

  1. 個人の心理状態を評価するためのコンピュータによる評価システムであって、
    プロセッサと、
    ディスプレイ装置と、
    メモリと、
    前記ディスプレイ装置を介してビデオゲーム体験セッションを前記個人に提供するために、前記個人の制御下でアバターにより操縦可能な仮想世界を提供するための、前記メモリ内に格納されかつ前記プロセッサにより実行可能な命令であって、
    前記メモリ内に格納されかつ前記プロセッサにより実行可能な命令は、
    前記ディスプレイ装置を介して、前記アバター、前記仮想世界、及び前記ビデオゲーム体験セッションのうちの少なくとも1つの少なくとも1つの態様を設定するための代替オプションメニューを表示すること、
    前記メニューを介して表示された前記代替オプションの中から選択された少なくとも1つのユーザが選択したオプションを前記個人から受信すること、及び
    前記少なくとも1つのユーザ選択オプションに従って、前記ビデオゲーム体験セッション、前記ディスプレイ装置を介して表示される前記アバター、及び前記ディスプレイ装置を介して表示される前記仮想世界のうちの少なくとも1つを変更すること、を行うためのものであり、
    前記メモリ内に格納されかつ前記プロセッサにより実行可能な命令は、前記少なくとも1つのユーザが選択したオプションに応じて、前記個人の前記心理状態を評価することを行うためのものである、前記メモリ内に格納されかつ前記プロセッサにより実行可能な命令と、を含み、
    前記システムは、少なくとも1つの前記アバター、前記仮想世界、及び前記ビデオゲーム体験セッションのうちの少なくとも1つの態様の設定のための前記個人のオプション選択に応じて、前記個人の前記心理状態の自動化された評価を実施する、コンピュータによる評価システム。
  2. 複数のビデオゲーム体験セッションのそれぞれに関する前記少なくとも1つのユーザ選択オプションを前記メモリ内に格納するための、前記メモリ内に格納されかつ前記プロセッサにより実行可能な命令を更に含み、
    前記個人の前記心理状態を評価するために前記メモリ内に格納されかつ前記プロセッサにより実行可能な命令は、前記複数のビデオゲーム体験セッションに関して前記少なくとも1つのユーザが選択したオプションに応じて前記個人の前記心理状態を評価するように設定されている、請求項1に記載のコンピュータによる評価システム。
  3. 前記ディスプレイ装置を介して、前記個人の評価した心理状態の指標を表示するための、前記メモリ内に格納されかつ前記プロセッサにより実行可能な命令を更に含む、請求項1に記載のコンピュータによる評価システム。
  4. 前記ディスプレイ装置を介して、別の個人の通信デバイスとの通信セッションを自動的に確立するためのユーザが選択可能なリンクを表示するための、前記メモリ内に格納されかつ前記プロセッサにより実行可能な命令を更に含む、請求項1に記載のコンピュータによる評価システム。
  5. 通信ネットワークを介して、医療従事者のコンピューティングシステムへと、前記個人の評価された心理状態を特定する警告を伝達するための、前記メモリ内に格納されかつ前記プロセッサにより実行可能な命令を更に含む、請求項1に記載のコンピュータによる評価システム。
  6. 前記メモリ内に格納された複数の動作であって、前記複数の動作のそれぞれは、複数の心理状態評価のうちの少なくとも1つに関連付けられている、複数の動作と、
    前記個人の前記評価された心理状態に対応する少なくとも1つの推奨動作を特定するための、前記メモリ内に格納されかつ前記プロセッサにより実行可能な命令と、
    前記ディスプレイ装置を介して、前記個人に前記推奨動作を実施することを命令する情報を表示するための、前記メモリ内に格納されかつ前記プロセッサにより実行可能な命令と、を更に含む、請求項1に記載のコンピュータによる評価システム。
  7. 個人の心理状態を評価するためのコンピュータによる評価システムであって、
    プロセッサと、
    メモリと、
    ディスプレイ装置と、
    入力装置と、
    前記メモリ内に格納されかつ前記プロセッサにより実行可能な命令であって、
    セッションアバターを設定するためのユーザ選択可能オプションメニューを表示することであって、前記ユーザ選択可能オプションのそれぞれが各気分状態を反映するように表示すること、
    前記セッションアバターを設定するために、前記入力装置を介したユーザ入力を要求すること、
    前記ディスプレイ装置を介して、仮想世界セッション中に、前記セッションアバターを含む仮想世界環境を表示すること、及び
    前記セッションアバターに関してユーザが選択したオプションに応じて前記ユーザの気分を評価すること、を行うための、前記メモリ内に格納されかつ前記プロセッサにより実行可能な命令と、を含むシステム。
  8. 前記セッションアバターを設定するための前記ユーザ選択可能オプションメニューを表示するための、前記メモリ内に格納されかつ前記プロセッサにより実行可能な前記命令が、顔の表情に関するオプションを表示するための命令を含む、請求項7に記載のシステム。
  9. 前記メモリ内に格納されかつ前記プロセッサにより実行可能な命令であって、
    理想的なアバターを設定するためのユーザ選択可能オプションメニューを表示することであって、前記ユーザ選択可能オプションのそれぞれが各気分状態を反映するように表示すること、
    前記理想的なアバターを設定するために、前記入力装置を介したユーザ入力を要求すること、及び
    前記セッションアバターに関してユーザが選択したオプションと、前記理想的なアバターに関してユーザが選択したオプションとの間の差異に応じて、前記ユーザの気分を評価すること、を行うための、前記メモリ内に格納されかつ前記プロセッサにより実行可能な命令を更に含む、請求項7に記載のシステム。
  10. 前記メモリ内に格納されかつ前記プロセッサにより実行可能な命令であって、
    仮想世界環境を設定するためのユーザ選択可能オプションメニューを表示することであって、前記ユーザ選択可能オプションのそれぞれが各気分状態を反映するように表示すること、
    前記仮想世界環境を設定するための前記入力装置を介したユーザ入力を要求すること、及び
    前記仮想世界環境に関してユーザが選択したオプションに応じて前記ユーザの気分を評価すること、を行うための、前記メモリ内に格納されかつ前記プロセッサにより実行可能な命令を更に含む、請求項7に記載のシステム。
  11. 仮想世界環境を設定するための前記ユーザ選択可能オプションメニューを表示するための、前記メモリ内に格納されかつ前記プロセッサにより実行可能な前記命令が、複数の異なる環境設定オプションを表示するための命令を含む、請求項10に記載のシステム。
  12. 仮想世界環境を設定するための前記ユーザ選択可能オプションメニューを表示するための、前記メモリ内に格納されかつ前記プロセッサにより実行可能な前記命令が、複数の異なる音楽オプションを表示することを含む、仮想世界環境を設定するための前記ユーザ選択可能オプションメニューを表示するための命令を含む、請求項10に記載のシステム。
  13. 仮想世界環境を設定するための前記ユーザ選択可能オプションメニューを表示するための、前記メモリ内に格納されかつ前記プロセッサにより実行可能な前記命令が、複数の異なる天候オプションを表示することを含む、仮想世界環境を設定するための前記ユーザ選択可能オプションメニューを表示するための命令を含む、請求項10に記載のシステム。
  14. 仮想世界環境を表示するための、前記メモリ内に格納されかつ前記プロセッサにより実行可能な前記命令が、各気分状態に対応する目的地を表示するための命令を含み、前記システムが、
    前記仮想世界環境の目的地との、ユーザの所望する対話を監視し、かつ
    前記ユーザのセッションアバターが訪れた目的地に応じて、前記ユーザの気分を評価するための、前記メモリ内に格納されかつ前記プロセッサにより実行可能な命令を更に含む、請求項7に記載のシステム。
  15. 仮想世界環境を表示するための、前記メモリ内に格納されかつ前記プロセッサにより実行可能な前記命令が、前記ユーザの気分状態を証明する情報を提供するタスクを表示するための命令を含み、前記システムが、
    少なくとも1つのタスクの実施における、前記仮想世界環境との、ユーザの所望する対話を監視し、かつ
    前記ユーザの前記少なくとも1つのタスクの実施に応じて、前記ユーザの気分を評価するための、前記メモリ内に格納されかつ前記プロセッサにより実行可能な命令を更に含む、請求項7に記載のシステム。
  16. 前記ユーザの気分状態を証明する情報を提供するタスクを表示するための、前記メモリ内に格納されかつ前記プロセッサにより実行可能な前記命令が、ユーザの応答を要請する少なくとも1つの質問を含むタスクを表示する命令を含む、請求項15に記載のシステム。
  17. 仮想世界環境を表示するための、前記メモリ内に格納されかつ前記プロセッサにより実行可能な前記命令が、前記ユーザの認知状態を証明する情報を提供するタスクを表示するための命令を含み、前記システムが、
    少なくとも1つのタスクの実施における、前記仮想世界環境との、ユーザの所望する対話を監視すること、及び
    前記ユーザの前記少なくとも1つのタスクの実施に応じて、前記ユーザの気分を評価すること、を行うための、前記メモリ内に格納されかつ前記プロセッサにより実行可能な命令を更に含む、請求項7に記載のシステム。
  18. 前記ユーザの認知状態を証明する情報を提供するタスクを表示するための、前記メモリ内に格納されかつ前記プロセッサにより実行可能な前記命令が、ゲームインターフェースを表示するための命令を含む、請求項17に記載のシステム。
  19. 個人の心理状態を評価するためのコンピュータによる評価システムであって、
    プロセッサと、
    ディスプレイ装置と、
    メモリと、
    前記ディスプレイ装置を介して仮想世界セッションを前記個人に提供するために、仮想世界及び前記個人に関連するアバターを提供するための、前記メモリ内に格納されかつ前記プロセッサにより実行可能な命令であって、
    前記メモリ内に格納されかつ前記プロセッサにより実行可能な命令は、
    前記ディスプレイ装置を介して前記アバター、前記仮想世界環境、及び前記仮想世界セッションのうちの少なくとも1つの態様を設定するためのユーザ選択可能オプションメニューを表示すること、
    前記メニューを介して表示された前記代替オプションの中から選択された、少なくとも1つのユーザ選択オプションを前記個人から要求すること、
    前記少なくとも1つのユーザが選択したオプションに従って、前記ディスプレイ装置を介して表示される前記アバター、前記仮想世界環境、及び前記ディスプレイ装置を介して表示される前記仮想世界セッションのうちの1つを変更すること、を行うためのものであり、
    前記メモリ内に格納されかつ前記プロセッサにより実行可能な命令は、前記少なくとも1つのユーザが選択したオプションに応じて、前記個人の前記心理状態を評価するためのものである、前記メモリ内に格納されかつ前記プロセッサにより実行可能な命令と、を含み、
    前記アバター、前記仮想世界、及び前記仮想世界セッションのうちの少なくとも1つの態様の設定のための前記個人のオプション選択に応じて、前記個人の前記心理状態の自動化された評価を実施する、コンピュータによる評価システム。
  20. 個人の心理状態を評価するためのコンピュータによる評価システムであって、
    心理状態監視システムであって、
    プロセッサと、
    ディスプレイ装置と、
    メモリと、
    前記ディスプレイ装置を介して仮想世界セッションを前記個人に提供するために、仮想世界及び前記個人に関連するアバターを提供するための、前記メモリ内に格納されかつ前記プロセッサにより実行可能な命令であって、
    前記ディスプレイ装置を介して、前記アバター及び前記仮想世界環境のうちの少なくとも1つの少なくとも1つの態様を設定するためのユーザ選択可能オプションメニューを表示すること、
    前記アバター及び前記仮想世界環境のうちの前記前記少なくとも1つのそれぞれについて、前記メニューを介して表示された前記代替オプションの中から選択された少なくとも1つのユーザが選択したオプションを前記個人から要求すること、を行うための、前記メモリ内に格納されかつ前記プロセッサにより実行可能な命令と、
    前記仮想世界セッション内のユーザの所望するアクティビティを監視するための、前記メモリ内に格納されかつ前記プロセッサにより実行可能な命令と、
    前記個人の気分状態に関連する記録された対話を表すデータを伝達するための、前記メモリ内に格納されかつ前記プロセッサにより実行可能な命令と、を含む、心理状態監視システムと、
    心理状態評価システムであって、
    第2のプロセッサと、
    メモリと、
    前記アバター及び前記仮想世界環境のうちの少なくとも1つの態様の設定のための前記個人のオプション選択、並びに前記仮想世界セッション内の前記個人の監視されたアクティビティを含む、前記個人の気分状態に関連した記録された対話を表す受信データに応じて、前記個人の前記心理状態の自動化された評価を実施するための、前記メモリ内に格納されかつ前記プロセッサにより実行可能な命令と、を含む心理状態評価システムと、を含む、システム。
JP2018561994A 2016-05-27 2017-05-25 仮想世界アクティビティに応じて、実世界ユーザの認識状態及び気分状態を評価するためのシステム及び方法 Active JP7036743B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201662342358P 2016-05-27 2016-05-27
US62/342,358 2016-05-27
PCT/US2017/034514 WO2017205647A1 (en) 2016-05-27 2017-05-25 System and method for assessing cognitive and mood states of a real world user as a function of virtual world activity

Publications (2)

Publication Number Publication Date
JP2019526093A true JP2019526093A (ja) 2019-09-12
JP7036743B2 JP7036743B2 (ja) 2022-03-15

Family

ID=60412610

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018561994A Active JP7036743B2 (ja) 2016-05-27 2017-05-25 仮想世界アクティビティに応じて、実世界ユーザの認識状態及び気分状態を評価するためのシステム及び方法

Country Status (9)

Country Link
US (2) US11615713B2 (ja)
EP (1) EP3463065A4 (ja)
JP (1) JP7036743B2 (ja)
KR (1) KR102458643B1 (ja)
CN (1) CN109688909B (ja)
AU (2) AU2017269386A1 (ja)
CA (1) CA3025483A1 (ja)
MA (1) MA45180A (ja)
WO (1) WO2017205647A1 (ja)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109688909B (zh) 2016-05-27 2022-07-01 詹森药业有限公司 根据虚拟世界活动评估真实世界用户的认知状态和情绪状态的系统和方法
US11298062B2 (en) * 2017-02-01 2022-04-12 Conflu3Nce Ltd Multi-purpose interactive cognitive platform
US11158060B2 (en) 2017-02-01 2021-10-26 Conflu3Nce Ltd System and method for creating an image and/or automatically interpreting images
US11176675B2 (en) 2017-02-01 2021-11-16 Conflu3Nce Ltd System and method for creating an image and/or automatically interpreting images
US11412968B2 (en) * 2017-09-12 2022-08-16 Get Together, Inc System and method for a digital therapeutic delivery of generalized clinician tips (GCT)
US11663182B2 (en) * 2017-11-21 2023-05-30 Maria Emma Artificial intelligence platform with improved conversational ability and personality development
JP6748170B2 (ja) * 2018-10-04 2020-08-26 株式会社スクウェア・エニックス ビデオゲーム処理プログラム、ビデオゲーム処理装置及びビデオゲーム処理方法
US10678264B2 (en) * 2018-10-10 2020-06-09 Midea Group Co., Ltd. Method and system for providing remote robotic control
KR102114907B1 (ko) 2018-12-28 2020-05-25 (주) 비전웍스 인지 자극을 이용한 인지적 편향 수정 방법 및 장치
JP2021057002A (ja) * 2019-06-06 2021-04-08 パナソニックIpマネジメント株式会社 コンテンツ選択方法、コンテンツ選択装置及びコンテンツ選択プログラム
US11816757B1 (en) * 2019-12-11 2023-11-14 Meta Platforms Technologies, Llc Device-side capture of data representative of an artificial reality environment
CN111292831A (zh) * 2020-01-21 2020-06-16 浙江连信科技有限公司 基于人机交互的戒毒人员心理建设方法、装置及电子设备
JP7089546B2 (ja) * 2020-04-09 2022-06-22 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理システム、および情報処理制御方法
TWI755132B (zh) * 2020-10-31 2022-02-11 長庚大學 高齡者心智訓練系統及其運作方法
US11309086B1 (en) * 2021-09-09 2022-04-19 Safe Kids LLC Methods and systems for interactively counseling a user with respect to supervised content
US20230082732A1 (en) * 2021-09-12 2023-03-16 Sony Interactive Entertainment Inc. Using data from a game metadata system to create actionable in-game decisions
CN113741702B (zh) * 2021-11-03 2022-03-04 北京智精灵科技有限公司 基于情绪监测的认知障碍人机交互方法及系统
USD1028113S1 (en) * 2021-11-24 2024-05-21 Nike, Inc. Display screen with icon

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001067319A1 (fr) * 2000-03-10 2001-09-13 Que Corporation Dispositif et procede de fourniture d'informations
JP2002365075A (ja) * 2001-06-11 2002-12-18 Pioneer Electronic Corp ドライブプラン作成装置及び方法、ナビゲーション装置、車載用電子システム、及びコンピュータプログラム
US20050019734A1 (en) * 2001-11-20 2005-01-27 Avi Peled System and method for diagnosis of mental disorders
US20070166690A1 (en) * 2005-12-27 2007-07-19 Bonnie Johnson Virtual counseling practice
JP2008027064A (ja) * 2006-07-19 2008-02-07 Namco Bandai Games Inc プログラム、情報記録媒体および画像生成システム
US20120148998A1 (en) * 2010-12-08 2012-06-14 Ray Faulkenberry Computer generated environment for user assessment
US20130344968A1 (en) * 2012-06-05 2013-12-26 Knack.It Corp. System and method for extracting value from game play data
US20150246286A1 (en) * 2014-03-03 2015-09-03 International Business Machines Corporation Reflecting status in a virtual environment

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6229533B1 (en) * 1996-08-02 2001-05-08 Fujitsu Limited Ghost object for a virtual world
JPH1176608A (ja) * 1997-09-04 1999-03-23 Konami Co Ltd 遊技者の性格を反映したゲームの展開制御方法、ビデオゲーム装置及び記録媒体
US20070113181A1 (en) * 2003-03-03 2007-05-17 Blattner Patrick D Using avatars to communicate real-time information
US7468729B1 (en) 2004-12-21 2008-12-23 Aol Llc, A Delaware Limited Liability Company Using an avatar to generate user profile information
JP2008129805A (ja) 2006-11-20 2008-06-05 Ricoh Co Ltd メンタルヘルス支援装置及びメンタルヘルス支援システム
US20090177976A1 (en) * 2008-01-09 2009-07-09 Bokor Brian R Managing and presenting avatar mood effects in a virtual world
US20120246585A9 (en) 2008-07-14 2012-09-27 Microsoft Corporation System for editing an avatar
US9386139B2 (en) * 2009-03-20 2016-07-05 Nokia Technologies Oy Method and apparatus for providing an emotion-based user interface
US8661353B2 (en) * 2009-05-29 2014-02-25 Microsoft Corporation Avatar integrated shared media experience
US20110169927A1 (en) * 2010-01-13 2011-07-14 Coco Studios Content Presentation in a Three Dimensional Environment
US20110250575A1 (en) * 2010-04-13 2011-10-13 enVie Interactive LLC System And Method For Providing A Visual Representation Of A User Personality Within A Virtual Environment
US20140200463A1 (en) * 2010-06-07 2014-07-17 Affectiva, Inc. Mental state well being monitoring
AU2011265090A1 (en) 2010-06-07 2012-11-29 Affectiva,Inc. Mental state analysis using web services
BR112013007260A2 (pt) * 2010-09-30 2019-09-24 Affectiva Inc "método implantado por computador, produto de progama de computador incorporado a um meio legível or computador e sistema para análise de tráfego de aplicação habilitada para estados de web"
US20130309641A1 (en) * 2010-10-22 2013-11-21 Yale University Systems and Methods for Assessing Behavioral Patterns and Promoting Behavioral Change by Comparing Gaming Performance to Aspirational Attributes
US8937620B1 (en) * 2011-04-07 2015-01-20 Google Inc. System and methods for generation and control of story animation
CN103826711A (zh) * 2011-07-22 2014-05-28 格里奇索弗特公司 用于游戏环境的游戏辅助系统
TW201322045A (zh) * 2011-11-16 2013-06-01 Pixart Imaging Inc 生理反饋控制系統及方法
US8808093B1 (en) * 2012-01-23 2014-08-19 Zynga Inc. Asynchronous social events in computer-implemented games
US20140004948A1 (en) * 2012-06-28 2014-01-02 Oliver (Lake) Watkins, JR. Systems and Method for Capture and Use of Player Emotive State in Gameplay
US20140019878A1 (en) * 2012-07-12 2014-01-16 KamaGames Ltd. System and method for reflecting player emotional state in an in-game character
US20210391083A1 (en) * 2012-08-16 2021-12-16 Ginger.io, Inc. Method for providing health therapeutic interventions to a user
US20170004260A1 (en) * 2012-08-16 2017-01-05 Ginger.io, Inc. Method for providing health therapeutic interventions to a user
WO2014145204A1 (en) * 2013-03-15 2014-09-18 Affectiva, Inc. Mental state analysis using heart rate collection based video imagery
KR20150055528A (ko) * 2013-11-13 2015-05-21 삼성전자주식회사 디스플레이 장치 및 그 제어 방법
KR101540544B1 (ko) * 2014-09-05 2015-07-30 서용창 캐릭터를 이용한 메시지 서비스 방법, 상기 방법을 수행하는 사용자 단말, 상기 방법을 포함하는 메시지 애플리케이션
US10290222B2 (en) * 2015-09-21 2019-05-14 Visautact Llc Interactive tutorial with integrated escalating prompts
WO2017079731A1 (en) * 2015-11-06 2017-05-11 Mursion, Inc. Control system for virtual characters
CN109688909B (zh) 2016-05-27 2022-07-01 詹森药业有限公司 根据虚拟世界活动评估真实世界用户的认知状态和情绪状态的系统和方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001067319A1 (fr) * 2000-03-10 2001-09-13 Que Corporation Dispositif et procede de fourniture d'informations
JP2002365075A (ja) * 2001-06-11 2002-12-18 Pioneer Electronic Corp ドライブプラン作成装置及び方法、ナビゲーション装置、車載用電子システム、及びコンピュータプログラム
US20050019734A1 (en) * 2001-11-20 2005-01-27 Avi Peled System and method for diagnosis of mental disorders
US20070166690A1 (en) * 2005-12-27 2007-07-19 Bonnie Johnson Virtual counseling practice
JP2008027064A (ja) * 2006-07-19 2008-02-07 Namco Bandai Games Inc プログラム、情報記録媒体および画像生成システム
US20120148998A1 (en) * 2010-12-08 2012-06-14 Ray Faulkenberry Computer generated environment for user assessment
US20130344968A1 (en) * 2012-06-05 2013-12-26 Knack.It Corp. System and method for extracting value from game play data
US20150246286A1 (en) * 2014-03-03 2015-09-03 International Business Machines Corporation Reflecting status in a virtual environment

Also Published As

Publication number Publication date
WO2017205647A1 (en) 2017-11-30
US20230419850A1 (en) 2023-12-28
EP3463065A1 (en) 2019-04-10
CN109688909A (zh) 2019-04-26
KR20190009383A (ko) 2019-01-28
CN109688909B (zh) 2022-07-01
EP3463065A4 (en) 2020-02-19
AU2017269386A1 (en) 2018-12-13
CA3025483A1 (en) 2017-11-30
US20200388178A1 (en) 2020-12-10
AU2022204343A1 (en) 2022-07-14
JP7036743B2 (ja) 2022-03-15
US11615713B2 (en) 2023-03-28
KR102458643B1 (ko) 2022-10-24
MA45180A (fr) 2019-04-10

Similar Documents

Publication Publication Date Title
US20230419850A1 (en) System and method for assessing cognitive and mood states of a real world user as a function of virtual world activity
US10981054B2 (en) Player biofeedback for dynamically controlling a video game state
Jennett et al. Measuring and defining the experience of immersion in games
EP2907557B1 (en) Information sharing system, program, and information sharing method
JP6016854B2 (ja) サーバ装置の制御方法、サーバ装置及びプログラム
Liarokapis et al. Comparing interaction techniques for serious games through brain–computer interfaces: A user perception evaluation study
Munson et al. Gamification and health
EP3941601A1 (en) Brain-computer interfaces for computing systems
KR20220007064A (ko) 동물 데이터의 수익화
Oyebode et al. Nourish your tree! Developing a persuasive exergame for promoting physical activity among adults
Nalepa et al. Affective Design Patterns in Computer Games. Scrollrunner Case Study.
Safikhani et al. The influence of In-VR questionnaire design on the user experience
JP2023164784A (ja) オンラインゲーム内のユーザ行動パターンを心理的ユーザ属性と相関させるためのシステム及び方法
Postolache et al. Serious games based on kinect and leap motion controller for upper limbs physical rehabilitation
Atkinson et al. Design of an introductory medical gaming environment for diagnosis and management of Parkinson's disease
Luimula et al. The use of metaverse in maritime sector—A combination of social communication, hands on experiencing and digital twins
Joselli et al. MindNinja: Concept, development and evaluation of a mind action game based on EEGs
Wade et al. Process measures of dyadic collaborative interaction for social skills intervention in individuals with autism spectrum disorders
US20220068158A1 (en) Systems and methods to provide mental distress therapy through subject interaction with an interactive space
Baranowski et al. Using what's learned in the game for use in real life
US11331564B1 (en) Consciousness raising technology
Bourgault et al. Effect of ecological gestures on the immersion of the player in a serious game
JP5309612B2 (ja) フロー体験支援方法、フロー体験支援装置、フロー体験支援サーバ、フロー体験支援システムおよびプログラム
Rocha Gameplay Analytics for Game Design Insights
KR20130083080A (ko) 온라인 게임에서 사용자의 상세 정보를 상세 정보 비교창에 표시하기 위한 방법 및 서버

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200518

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20201028

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201104

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20210202

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20210401

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210506

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210706

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20211006

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20211206

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220106

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220201

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220303

R150 Certificate of patent or registration of utility model

Ref document number: 7036743

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150