CN110070944A - 基于虚拟环境和虚拟角色的社会功能评估训练系统 - Google Patents
基于虚拟环境和虚拟角色的社会功能评估训练系统 Download PDFInfo
- Publication number
- CN110070944A CN110070944A CN201910414630.6A CN201910414630A CN110070944A CN 110070944 A CN110070944 A CN 110070944A CN 201910414630 A CN201910414630 A CN 201910414630A CN 110070944 A CN110070944 A CN 110070944A
- Authority
- CN
- China
- Prior art keywords
- data
- virtual
- module
- subject
- therapist
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012549 training Methods 0.000 title claims abstract description 92
- 230000008859 change Effects 0.000 claims abstract description 59
- 238000012544 monitoring process Methods 0.000 claims abstract description 17
- 238000006243 chemical reaction Methods 0.000 claims abstract description 7
- 230000014509 gene expression Effects 0.000 claims description 122
- 230000008451 emotion Effects 0.000 claims description 115
- 230000000007 visual effect Effects 0.000 claims description 91
- 238000004458 analytical method Methods 0.000 claims description 57
- 230000009471 action Effects 0.000 claims description 53
- 230000033001 locomotion Effects 0.000 claims description 48
- 230000008921 facial expression Effects 0.000 claims description 47
- 230000004424 eye movement Effects 0.000 claims description 46
- 230000006870 function Effects 0.000 claims description 45
- 238000000034 method Methods 0.000 claims description 43
- 230000002996 emotional effect Effects 0.000 claims description 34
- 238000011156 evaluation Methods 0.000 claims description 27
- 230000006399 behavior Effects 0.000 claims description 25
- 230000005540 biological transmission Effects 0.000 claims description 25
- 230000003993 interaction Effects 0.000 claims description 25
- 230000002452 interceptive effect Effects 0.000 claims description 25
- 230000001815 facial effect Effects 0.000 claims description 21
- 230000008909 emotion recognition Effects 0.000 claims description 20
- 230000003340 mental effect Effects 0.000 claims description 20
- 238000004088 simulation Methods 0.000 claims description 19
- 238000004519 manufacturing process Methods 0.000 claims description 17
- 230000008569 process Effects 0.000 claims description 17
- 238000004891 communication Methods 0.000 claims description 16
- 230000000638 stimulation Effects 0.000 claims description 15
- 230000004044 response Effects 0.000 claims description 13
- 238000003860 storage Methods 0.000 claims description 13
- 230000015654 memory Effects 0.000 claims description 11
- 238000013480 data collection Methods 0.000 claims description 9
- 239000011800 void material Substances 0.000 claims description 9
- 230000035479 physiological effects, processes and functions Effects 0.000 claims description 4
- 238000004886 process control Methods 0.000 claims description 4
- 238000005516 engineering process Methods 0.000 description 25
- 230000000694 effects Effects 0.000 description 23
- 230000003935 attention Effects 0.000 description 22
- 230000036651 mood Effects 0.000 description 11
- 238000004422 calculation algorithm Methods 0.000 description 10
- 238000013507 mapping Methods 0.000 description 10
- 238000012545 processing Methods 0.000 description 10
- 238000012360 testing method Methods 0.000 description 10
- 230000008901 benefit Effects 0.000 description 7
- 210000001508 eye Anatomy 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 230000005489 elastic deformation Effects 0.000 description 6
- 208000006096 Attention Deficit Disorder with Hyperactivity Diseases 0.000 description 4
- 238000009877 rendering Methods 0.000 description 4
- 208000019901 Anxiety disease Diseases 0.000 description 3
- 208000036864 Attention deficit/hyperactivity disease Diseases 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 3
- 208000015802 attention deficit-hyperactivity disease Diseases 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 3
- 210000004556 brain Anatomy 0.000 description 3
- 230000019771 cognition Effects 0.000 description 3
- 238000013500 data storage Methods 0.000 description 3
- 208000020016 psychiatric disease Diseases 0.000 description 3
- 230000003068 static effect Effects 0.000 description 3
- 208000027534 Emotional disease Diseases 0.000 description 2
- 241000282412 Homo Species 0.000 description 2
- 208000028017 Psychotic disease Diseases 0.000 description 2
- 230000036506 anxiety Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 210000000988 bone and bone Anatomy 0.000 description 2
- 210000005252 bulbus oculi Anatomy 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000003920 cognitive function Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 235000013399 edible fruits Nutrition 0.000 description 2
- 230000005611 electricity Effects 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 230000036541 health Effects 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 238000013178 mathematical model Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000003058 natural language processing Methods 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 230000002035 prolonged effect Effects 0.000 description 2
- 239000000523 sample Substances 0.000 description 2
- 238000010181 skin prick test Methods 0.000 description 2
- 230000011273 social behavior Effects 0.000 description 2
- 230000001755 vocal effect Effects 0.000 description 2
- 208000027691 Conduct disease Diseases 0.000 description 1
- 208000030814 Eating disease Diseases 0.000 description 1
- 208000019454 Feeding and Eating disease Diseases 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 230000036772 blood pressure Effects 0.000 description 1
- 230000001684 chronic effect Effects 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 230000010485 coping Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 235000014632 disordered eating Nutrition 0.000 description 1
- 230000000763 evoking effect Effects 0.000 description 1
- 230000003631 expected effect Effects 0.000 description 1
- 210000001097 facial muscle Anatomy 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 230000003565 oculomotor Effects 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 239000000700 radioactive tracer Substances 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000011514 reflex Effects 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 230000029058 respiratory gaseous exchange Effects 0.000 description 1
- 230000036387 respiratory rate Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000010332 selective attention Effects 0.000 description 1
- 230000036259 sexual stimuli Effects 0.000 description 1
- 230000003997 social interaction Effects 0.000 description 1
- 208000011117 substance-related disease Diseases 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
- 238000011144 upstream manufacturing Methods 0.000 description 1
- 230000003936 working memory Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
- G16H20/70—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mental therapies, e.g. psychological therapy or autogenous training
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
- G16H40/40—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the management of medical equipment or devices, e.g. scheduling maintenance or upgrades
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
- G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- Biomedical Technology (AREA)
- Primary Health Care (AREA)
- Epidemiology (AREA)
- General Health & Medical Sciences (AREA)
- General Business, Economics & Management (AREA)
- Business, Economics & Management (AREA)
- Pathology (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Human Computer Interaction (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Child & Adolescent Psychology (AREA)
- Developmental Disabilities (AREA)
- Hospice & Palliative Care (AREA)
- Psychiatry (AREA)
- Psychology (AREA)
- Social Psychology (AREA)
- Rehabilitation Tools (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明提供的基于虚拟环境和虚拟角色的社会功能评估训练系统，包括患者端子系统、治疗师端子系统和虚拟现实子系统；患者端子系统用于向受试者展示虚拟环境和虚拟角色，以及供受试者和虚拟环境、虚拟角色进行交互；虚拟现实子系统用于生成虚拟环境和虚拟角色，虚拟环境和虚拟角色可根据受试者的反应进行动态变化；治疗师端子系统用于监视受试者，以及通过调整和/或设置虚拟现实子系统的系统参数值，以调整虚拟现实子系统生成的虚拟环境和设置虚拟角色。本发明的社会功能评估训练系统，通过使受试者置身于类似现实的虚拟社会情景，以及和虚拟角色进行互动，使受试者在虚拟环境和虚拟角色的引导和训练下，改善社会认知功能和提高人际交往能力。
Description
技术领域
本发明涉及社会认知、社交技能评估及训练装置领域，尤其是指基于虚拟环境和虚拟角色的社会功能评估训练系统。
背景技术
提高精神障碍患者的社会适应能力是精神康复的重点内容之一，由于精神障碍患者存在不同程度的社会认知功能的缺陷以及社交技能的缺失，造成精神障碍患者的社会适应能力差，为了减少对社会的不良影响，提高患者的生活质量，精神障碍患者可以通过参与对社会认知及社交技能训练和再训练改善其社会功能。该类训练也同样适用于青少年及学校健康教育。现有的社会认知的评估及训练方法是利用显示设备向受试者播放静态的面部表情图片或者设定社交场景视频来对受试者进行训练，这类社会认知的评估及训练方法中作为评估或训练的刺激物较为简单，产生刺激效果低下，难以获得预期的效果，故需要一种效果更佳的社会认知的评估及训练方法。
面孔识别是指人们在不同情境下对同一个人面孔的识别能力，通过进行面孔识别训练，能训练受试者对人们面部特征的注意及记忆。
面部表情识别能力是指人们对别人面部表情的准确性评价以及表情识别注意力。通过对受试者的面部表情识别能力进行评估及训练，可提高其情感认知能力。面部表情识别能力训练包括对正性、负性及中性的面孔情绪(如愤怒、悲伤、恐惧等负性情绪)的识别，以及各种情绪不同强度(如30％,50％,70％,100％四个强度)的识别。
举例说明，如注意缺陷多动障碍(ADHD)的患者，在社会情景中对别人愤怒相关表情的认知水平较低，视觉注视少，情绪反应时间长，导致注意不到别人的面部和身体语言信息，解读别人表情时容易出现偏差，或者对情绪认知存在缺陷。而患有注意缺陷多动障碍合并品行障碍(ADHD+CD)的患者，社会情景中对别人恐惧相关表情的认知水平较低，导致对于恐惧和愤怒面孔表情分不清楚，并且他们关注人面的嘴部的时间相对更长。由此可知，不同的精神心理疾病，其眼动模式也不同，眼动跟踪数据可以作为筛选诊断评估参考数据，而且关注眼睛是认知别人表情(情绪)的重要参考，眼动跟踪可以评价关注眼睛的情况，因此，通过训练患者看人面眼睛和注意分配，能达到改善患者对面部情绪识别的能力。
注意偏向(Attentional bias)是指个人关注某些刺激，并进行选择性注意进行信息加工处理，即在一个特定的情绪、情感状态中，人们会优先处理与特定的情绪、情感状态相同的信息；注意偏向被认为是一些心理疾病产生、维持和复发的原因。焦虑症患者会对威胁性信息优先处理，表现出对威胁表情的面孔的注意偏向；抑郁症患者对难过、失败等信息会引起优先加工处理，对难过表情的面孔有注意偏向。当个体处于积极向上的情绪状态时，对与积极相关的信息会选择性并优先进行处理，出现注意偏向。
注意偏向训练(Attentional bias modification,ABM)是对注意偏向进行训练并加以改变或矫正的系统化训练，能训练患者对某一种类刺激(如负性情绪面孔)的注意增强或注意解除。注意偏向训练因为能够有效地调节患者的注意偏向，影响个体的信息加工处理而缓解个体情绪反应与临床症状，而被广泛运用于一些精神心理疾病(如焦虑障碍、抑郁障碍、情感障碍、进食障碍、物质成瘾、自闭症、儿童注意缺陷多动障碍、暴力攻击、慢性疼痛等)的临床干预和治疗。
注意偏向评估和注意偏向训练方法中，常用的包括点探测任务(Dot probetask)，情绪空间线索任务(Emotional spatial cueing task)和视觉搜索任务(Visualsearchtask)等。
注意偏向训练主要通过行为任务来训练个体的注意模式，以视觉搜索任务为例，以训练受试者的视觉注意模式为目标，要求受试者在同时出现的若干个刺激中寻找出目标刺激，受试者在完成任务过程中会反复抑制对负性刺激的注意，以便完成对正性刺激的搜索，从而改变注意模式。
在实际操作中，除了眼动数据外，还可综合患者的表情数据，生理数据，动作捕捉数据等对患者的社会认知功能及社交技能进行评估和训练，如通过采集和分析眼动数据(视觉方向定位，视线移动路径，瞳孔测量与视觉注视点识别)，完成患者视觉搜索模式及视觉搜索策略的评估；采集和分析生理数据(如心率变异性，呼吸频率，皮肤电，脑电诱发电位等)，监测患者心理生理反应，客观评价患者情绪紧张等心理状态，以及脑认知加工活动过程(注意、辨别、及工作记忆等)。
心理理论(Theory of mind，TOM)，也叫心智理论，指人考虑另一个人的精神状态(思想、欲望、意图)或者经历的能力。而识别社交线索，读懂别人面部表情，能与人共情，是进行得体人际交往的基础。社会情景故事性任务测试可以评估患者这方面能力，例如，失言觉察任务测试(The faux pas recognition test)、奇怪故事任务测试(The strangestories test)等等。
社交技能的训练可以提高患者的社交能力，训练患者对人际基本礼仪及社会规范的认识，如自我判断着装是否得体，懂得感谢和道歉，拒绝和自尊，能应对嘲弄和尴尬，判断出别人故意还是无心之举，以及提高谈话技巧和应对方式，增加自信心等，从而提高自我效能感以及心理灵活性等。
发明内容
本发明的目的在于克服现有技术的不足，提供一种基于虚拟环境和虚拟角色的社会功能评估训练系统，通过使受试者置身于类似现实的虚拟社会情景下，以及和虚拟角色进行互动，使受试者在虚拟环境和虚拟角色的引导和训练下，改善社会认知功能和提高人际交往能力。
为了达到上述目的，本发明采用以下技术方案：基于虚拟环境和虚拟角色的社会功能评估训练系统，其特征在于：包括患者端子系统、治疗师端子系统和虚拟现实子系统；所述虚拟现实子系统分别与患者端子系统、治疗师端子系统通讯连接；所述患者端子系统用于向受试者展示虚拟环境和虚拟角色，供受试者和虚拟环境、虚拟角色进行交互，并且记录与受试者相关的各项数据；所述虚拟现实子系统用于生成虚拟环境和虚拟角色，虚拟环境和虚拟角色可根据受试者的反应进行动态变化；所述治疗师端子系统用于监视受试者，以及通过调整和/或设置所述虚拟现实子系统的系统参数值，以调整所述虚拟现实子系统生成的虚拟环境和虚拟角色；治疗师可通过所述治疗师端子系统与受试者实时通信。
与现有技术相比，本发明的基于虚拟环境和虚拟角色的社会功能评估训练系统，具有以下有益效果：
(1)现有的社会认知功能的评估及训练方法是向受试者播放静态的面部表情图片或者设定社交场景视频，但现实生活中，人们的面部表情是动态变化的，而本发明的社会功能评估训练系统充分利用虚拟现实技术可以模拟出现实场景和现实人物自然丰富、生动多变的动态变化的特点，向受试者呈现出类似现实的训练环境，结合语言和肢体交互，给予受试者更加丰富的临在感，从而调动人体多个感知通道参与训练，使社会认知能力评估及社会技能训练更加生动有趣，让受试者能更加真实的训练自身在真实社交情景刺激下的社交认知处理过程；
(2)本发明的社会功能评估训练系统使用虚拟现实技术，成本低廉，适用人群广，能有效减少治疗师的工作量，使治疗师能为更多具有社会认知障碍的受试者提供训练服务，便于社会认知的评估及训练服务的展开。
优选的，所述患者端子系统包括虚拟现实显示装置、互动装置和反馈装置；
所述虚拟现实显示装置用于通过影像和/或声音的方式向受试者展示虚拟环境和虚拟角色的动态变化；
所述互动装置用于捕捉采集受试者的空间位置数据、表情变化数据、眼球运动状态数据、肢体动作数据、生理数据和语音数据，并将数据传输至所述虚拟现实子系统，供所述虚拟现实子系统分析；
所述反馈装置用于根据虚拟环境和虚拟角色的动态变化进行辅助配合。
通过在所述患者端子系统中设置互动装置，用于捕捉采集受试者的空间位置数据、表情变化数据、眼球运动状态数据、肢体动作数据、生理数据和语音数据，实现对受试者的多个(多通道)刺激信号的采集，使虚拟环境和虚拟角色能根据受试者的多个(多通道)刺激输入信号进行对应的动态反应变化；另外，所述互动装置将空间位置标记、表情变化记录、眼球运动跟踪、肢体动作捕捉和生理参数、语音数据采集进行有机整合，并结合至虚拟现实技术中的同时，使治疗师能在受试者处于虚拟环境和与虚拟角色交互过程中，实时获取受试者的社会认知功能的评估或者训练效果，从而容易地调整训练方案和评价训练效果。
优选的，所述互动装置包括空间定位装置，表情识别装置、眼动跟踪装置、动作捕捉装置、生理数据采集装置和第一语音采集装置；
空间定位装置用于标记受试者的空间位置；
表情识别装置用于记录受试者的表情变化；
眼动跟踪装置用于跟踪受试者的眼球活动；
动作捕捉装置用于捕捉受试者的肢体动作；
生理数据采集装置用于采集受试者的生理参数；
第一语音采集装置用于采集受试者的声音语言。
优选的，所述反馈装置包括气味模拟模块、物理接触模拟模块、气流/气压模拟模块、温度模拟模块和湿度模拟模块；
所述气味模拟模块，用于根据虚拟环境制造对应的气味；
所述物理接触模拟模块，用于根据虚拟环境和虚拟角色对受试者施加相应的压力；
所述气流/气压模拟模块，用于根据虚拟环境调节受试者所处空间的气流速度和气压；
所述温度模拟模块，用于根据虚拟环境调节受试者所处空间的温度；
所述湿度模拟模块，用于根据虚拟环境调节受试者所处空间的湿度。
所述反馈装置能通过气味、物理接触、气流/气压、温度、湿度等方式模拟出虚拟环境的环境因素和虚拟角色输出的力反馈，使受试者与虚拟环境和虚拟角色的交互不限于传统的视觉和听觉，还包括触觉、嗅觉等其他感觉，有效提高虚拟环境和虚拟角色给与受试者的沉浸真实感，提高受试者的体验及效果。
优选的，所述虚拟现实子系统包括：
数据传输模块，用于供所述虚拟现实子系统与患者端子系统、治疗师端子系统进行数据交互，并将接收到的数据传输至数据存储模块；
数据存储模块，用于储存虚拟环境数据、虚拟角色数据、患者端子系统数据、治疗师端子系统数据；
分析评估模块包括空间位置分析单元、表情变化分析单元、眼球运动分析单元、肢体动作分析单元、生理参数分析单元和语音分析单元；
空间位置分析单元，用于分析空间位置数据，得出受试者在当前空间内的三维位置坐标；
表情变化分析单元，用于分析面部表情变化数据，得出情感类型参数；
眼球运动分析单元，用于分析眼球运动状态数据，得出眼动参数；
肢体动作分析单元，用于分析肢体动作数据，得出动作参数；
生理参数分析单元，用于分析生理数据，得出情绪状态参数；
语音分析单元，用于分析语音数据，得出语义参数；
虚拟环境生成模块，以虚拟环境数据为基础，并以分析评估模块输出的分析数据、受试者在当前空间内的三维位置坐标和治疗师端子系统数据，生成虚拟环境，以及驱动虚拟环境进行动态变化；
情感虚拟人生成模块，以虚拟角色数据和人工心理模型为基础，并以分析评估模块输出的分析数据和治疗师端子系统数据作为多通道刺激输入信息，通过人工心理模型进行情感计算，得出多通道反馈输出信号，控制情感虚拟人进行表情和动作的动态变化；
所述流程控制模块，用于控制数据传输模块、数据存储模块、分析评估模块、虚拟环境生成模块和情感虚拟人生成模块运行。
上述虚拟现实子系统具有以下有益效果：
(1)通过在分析评估模块设置空间位置分析单元、表情变化分析单元、眼球运动分析单元、肢体动作分析单元、生理参数分析单元和语音分析单元，分别对空间位置数据、表情变化数据、眼球运动状态数据、肢体动作数据、生理数据和语音数据进行独立分析，实现对患者端子系统数据的多通道分析运算，有效提高分析评估模块的数据处理速度；
(2)虚拟现实子系统内部功能模块功能划分明确，能减轻单一功能单元的运算负担，从而确保虚拟现实子系统能高效运行，同时便于出现故障时对功能模块进行独立维修；
(3)情感虚拟人生成模块和虚拟环境生成模块相结合，形成以面孔、表情和社会情景作为刺激物线索(表情线索及社交线索)的评估(测试)或训练；治疗师结合受试者言语行为表现，以及面部表情变化、眼球运动状态、生理参数等指标，即可完成受试者的社会认知功能及社交技能的评估，通过调整和/或设置虚拟环境和虚拟角色完成相应的训练。
所述数据传输模块通过将患者在虚拟环境和虚拟角色交互过程中产生的数据(评估和训练数据)传输到治疗师端子系统，使治疗师掌握受试者的实时状态，使受试者的眼动数据，表情数据，生理数据，动作捕捉数据除了传输至虚拟现实子系统，作为虚拟角色(情感虚拟人)的多通道刺激输入信息外，还能供治疗师作为评估和训练的依据。
优选的，所述数据传输模块包括多通道交互信号输入单元和多通道反馈信号输出单元。
由于所述互动装置需要捕捉采集受试者的空间位置数据、表情变化数据、眼球运动状态数据、肢体动作数据和、生理数据和语音数据，所述数据传输模块的数据输入单元和数据输出单元均为多通道信号传输单元，有利于受试者通过患者端子系统与虚拟现实子系统之间实现多种交互方式的数据传输。
优选的，情感虚拟人生成模块包括情感识别模块、人工心理模型储存模块、情感运算模块、虚拟表情驱动模块、虚拟动作驱动模块、语音生成模块；
情感识别模块，用于对分析评估模块输出的分析数据进行识别，并作为情感虚拟人的心理模型的多通道刺激输入信息；
人工心理模型储存模块，用于储存情感虚拟人的心理模型；
情感运算模块，通过情感虚拟人的心理模型计算出多通道反馈输出信号；所述多通道反馈输出信号包括情感表达数据和情感行为控制命令；
虚拟表情驱动模块，用于根据情感表达数据和情感行为控制命令对应驱动情感虚拟人的面部表情进行动态反应变化；
虚拟动作驱动模块，用于根据情感表达数据和情感行为控制命令对应驱动情感虚拟人的肢体动作进行动态反应变化；
语音生成模块，用于根据语义参数，以及情感表达数据和情感行为控制命令对应生成情感虚拟人的口头表达内容。
本发明的情感虚拟人生成模块具有以下有益效果：
(1)现有的虚拟角色生成方法是使用交互模型和虚拟角色模型数据库来生成虚拟角色的，具体过程为：交互模型接收交互输入数据(如文本数据、生理数据和语音数据等)，交互模型根据交互输入数据，进行信号特征提取，再用内置的神经网络，构建多个信号的复杂映射关系和进行多模态的识别，形成模型驱动数据，然后结合虚拟角色模型数据，利用模型驱动数据驱动虚拟角色模型的肢体运动和操纵面部标志点运动，从而生成虚拟角色动画，这种虚拟角色生成方法生成的模型驱动数据是交互输入数据输入到预设程序后得出的程式化数据，导致虚拟角色作出的反馈反应相对单调和不自然，难以对受试者产生长期互动的吸引力；而本发明的情感虚拟人生成模块结合SCA模型(识别感知-控制运算-行动)和并行(转换)神经网络模型等多虚拟角色行为控制模型，对受试者的空间位置数据、表情变化数据、眼球运动状态数据、肢体动作数据、生理数据和语音数据进行分析后，利用情感识别模块生成多通道刺激输入信号并输入情感虚拟人的心理模型，再利用情感运算模块得出多通道反馈输出信号(情感表达数据和情感行为控制命令)，并使用虚拟表情驱动模块、虚拟动作驱动模块和语音生成模块分别生成情感虚拟人的面部表情动画、肢体动作和口头表达内容，从而使虚拟角色能够通过自我学习的方式自行建立起人-虚拟角色交互的反馈模型；通过运用到人工心理建模和情感计算技术，利用人工心理模型对多通道信息进行特征识别，并通过情感计算输出多模态的复杂映射关系，将多模态映射关系完成情感虚拟人生动多变的表情、动作和语言反馈，使情感虚拟人具有认知功能，实现虚拟角色的表情和动作可以通过深度学习进行训练，从而建立丰富的、自然的虚拟角色反馈，提高受试者的体验效果，便于受试者坚持接受长期训练；
(2)本发明的社会功能评估训练系统虚拟环境和虚拟角色可根据受试者的反应进行动态变化，与受试者实现互动，以及治疗师能在治疗师端子系统调整和/或设置所述虚拟现实子系统的系统参数值，从而操控虚拟环境和虚拟角色能按照要求对受试者进行评估和训练，受试者在虚拟角色的陪伴下，其社交认知或社交行为获得纠正或者鼓励，能激发受试者的兴趣，保证受试者参与训练的主动性及依从性，有效提高训练效果。
本发明的情感虚拟人生成模块的工作步骤为：
(1)调用分析评估模块的受试者的情感类型参数、眼动参数、动作参数、情绪状态参数和语义参数；
(2)情感识别模块对受试者情感类型参数、眼动参数、动作参数、情绪状态参数和语义参数进行情感识别；
(3)将情感识别结果作为多通道刺激输入信息输入情感虚拟人的心理模型；
(4)情感运算模块通过情感虚拟人的心理模型进行情感计算，并输出多通道反馈输出信号；
(5)虚拟表情驱动模块、虚拟动作驱动模块、语音生成模块根据多通道反馈输出信号对应驱动情感虚拟人的面部表情、肢体动作和口头表达内容进行动态反应变化；
(6)情感虚拟人的面部表情动态变化数据、肢体动作动态变化数据和语音动态变化数据通过数据传输模块传输至患者端子系统、治疗师端子系统。
优选的，所述治疗师端子系统设有治疗师虚拟化身模块，治疗师虚拟化身模块包括面部识别装置和第二语音采集装置；面部识别装置用于扫描治疗师面部，获取治疗师面部特征数据，所述第二语音采集装置用于采集治疗师的语音数据；
治疗师虚拟化身模块可根据治疗师面部特征数据和治疗师的语音数据生成虚拟治疗师，与虚拟情感人共同参与到虚拟情景中，对受试者进行评估和训练；
或者，所述情感虚拟人生成模块可根据治疗师面部特征数据和/或治疗师的语音数据对现有情感虚拟人的面部和/或口头表达内容进行智能替换。
通过在所述治疗师端子系统设置治疗师虚拟化身模块，使用人脸识别技术和智能三维建模技术，针对治疗师进行人像虚拟重构，在虚拟环境中建立虚拟治疗师或使现有情感虚拟人成为治疗师的映射角色，使治疗师能够参与到虚拟环境中与受试者进行互动交流，从而提高治疗师的参与度，提高对受试者的训练效果。
优选的，所述治疗师端子系统包括监视模块和操作模块；
所述监视模块用于接收所述患者端子系统、所述虚拟现实子系统输出的数据，并向治疗师实时展示受试者的状况及相关数据、虚拟环境和虚拟角色，以及供治疗师和受试者进行沟通交流；
上述指出的相关数据，具体为受试者的眼动数据，表情数据，生理数据，动作捕捉数据等，治疗师可以通过相关数据对受试者的社会认知功能及社交技能进行评估和针对性训练。
操作模块用于供治疗师调整和/或设置所述虚拟现实子系统的系统参数值和调用所述虚拟现实子系统内的虚拟环境和虚拟角色，供治疗师设定评估训练方案、设置训练难度和回放训练过程。
通过设置监视模块和操作模块，使治疗师可根据受试者的状态调用和调整虚拟环境和虚拟角色的初始状态和动态变化，同时治疗师可以根据需要设置受试者的训练项目及难度；另外，治疗师可通过监视模块观察受试者的状况及相关数据，据此在现实或虚拟环境中对受试者进行心理辅导，以及进行对应的训练，提高受试者社会认知能力和社会交往技能。
附图说明
图1是本发明的第一示意图；
图2是本发明的第二示意图；
图3是患者端子系统的示意图；
图4是治疗师端子系统的示意图；
图5是虚拟现实子系统的示意图；
图6是患者端子系统与虚拟现实子系统的数据交互示意图；
图7是虚拟现实子系统生成虚拟环境和虚拟角色的流程图；
图8是情感虚拟人生成模块生成虚拟角色流程图。
标号说明：
01患者端子系统，011虚拟现实显示装置，012互动装置，013空间定位装置，014表情识别装置，015眼动跟踪装置，016动作捕捉装置，017生理数据采集装置，018第一语音采集装置，02反馈装置，021气味模拟模块，022物理接触模拟模块，023气流/气压模拟模块，024温度模拟模块，025湿度模拟模块，03虚拟现实子系统，030流程控制模块，031数据传输模块，0311多通道交互信号输入单元，0312多通道反馈信号输出单元，032数据存储模块，033分析评估模块，034空间位置分析单元，035表情变化分析单元，036眼球运动分析单元，037肢体动作分析单元，038生理参数分析单元，039语音分析单元，041虚拟环境生成模块，042情感虚拟人生成模块，043情感识别模块，044人工心理模型储存模块，045情感运算模块，046虚拟表情驱动模块，047虚拟动作驱动模块，048语音生成模块，05治疗师端子系统，051治疗师虚拟化身模块，052监视模块，053操作模块，054面部识别装置，055第二语音采集装置。
具体实施方式
以下结合附图说明本发明的实施方式：
参见图1至图8,本实施例的基于虚拟环境和虚拟角色的社会功能评估训练系统，其特征在于：包括患者端子系统01、治疗师端子系统05和虚拟现实子系统03；所述虚拟现实子系统03分别与患者端子系统01、治疗师端子系统05通讯连接；所述患者端子系统01用于向受试者展示虚拟环境和虚拟角色，供受试者和虚拟环境、虚拟角色进行交互，并且记录与受试者相关的各项数据；所述虚拟现实子系统03用于生成虚拟环境和虚拟角色，虚拟环境和虚拟角色可根据受试者的反应进行动态变化；所述治疗师端子系统05用于监视受试者，以及通过调整和/或设置所述虚拟现实子系统03的系统参数值，以调整所述虚拟现实子系统03生成的虚拟环境和虚拟角色；治疗师可通过所述治疗师端子系统05与受试者实时通信。
患者端子系统01、治疗师端子系统05和虚拟现实子系统03相互之间通过5G网络或6G及以上网络进行数据交互；这种设置方式使治疗师能与在异地的受试者进行音频、视频交流，或者利用虚拟现实技术与受试者进行语言交流，以及对虚拟现实子系统03进行远程控制，同时，受试者也能就近接受评估和训练，降低受试者接受评估和训练的时间成本，解决医疗资源分配不均的差异导致看病难的问题。
所述患者端子系统01包括虚拟现实显示装置011、互动装置012和反馈装置02；
所述虚拟现实显示装置011用于通过影像和/或声音的方式向受试者展示虚拟环境和虚拟角色的动态变化；
所述互动装置012用于捕捉采集受试者的空间位置数据、表情变化数据、眼球运动状态数据、肢体动作数据、生理数据和语音数据，并将数据传输至所述虚拟现实子系统03，供所述虚拟现实子系统03分析；
所述反馈装置02用于根据虚拟环境和虚拟角色的动态变化进行辅助配合。
通过在所述患者端子系统01中设置互动装置012用于捕捉采集受试者的空间位置数据、表情变化数据、眼球运动状态数据、肢体动作数据、生理数据和语音数据，实现对受试者的多个(多通道)刺激信号的采集，使虚拟环境和虚拟角色能根据受试者的多个(多通道)刺激输入信号进行对应的动态反应变化；另外，所述互动装置012将空间位置标记、表情变化记录、眼球运动跟踪、肢体动作捕捉和生理参数、语音数据采集进行有机整合，并结合至虚拟现实技术中的同时，使治疗师能在受试者处于虚拟环境和与虚拟角色交互过程中，实时获取受试者的社会认知功能的评估或者训练效果，从而容易地调整训练方案和评价训练效果。
所述虚拟现实显示装置011为头戴式显示器，头戴式显示器属于现有技术设备；头戴式显示器(head-mounted display/helmet-mounted display)，简称HMD，主要分为主机式VR、一体式VR和手机式VR三种。主机式VR是数据处理主机和显示器分体式设置并通讯连接的VR显示设备，使用时，受试者佩戴显示器，需数据处理主机接收外部设备数据后向显示器输送虚拟环境数据，显示器才能显示虚拟环境。一体式VR是数据处理主机和显示器一体式设置的VR显示设备，使用时，受试者直接佩戴显示器即可接收外部设备数据并显示虚拟环境。手机式VR是利用手机具有数据处理和显示的功能，将手机插在VR头显盒子里即可将手机转变成VR显示设备。
所述互动装置012包括空间定位装置013，表情识别装置014、眼动跟踪装置015、动作捕捉装置016、生理数据采集装置017和第一语音采集装置018；
空间定位装置013用于标记受试者的空间位置；
表情识别装置014用于记录受试者的表情变化；
眼动跟踪装置015用于跟踪受试者的眼球活动；
动作捕捉装置016用于捕捉受试者的肢体动作；
生理数据采集装置017用于采集受试者的生理参数；
第一语音采集装置018用于采集受试者的声音语言。
具体地，空间定位装置013和动作捕捉装置016可为一体设备，本实施例使用光学跟踪和惯性跟踪相结合的空间定位与动作捕捉设备，从而提供大范围、高精度的空间定位和实时性高、运动范围大的动作捕捉，全身动作捕捉来实现用户全身的运动跟踪，或者，空间定位装置013和动作捕捉装置016分开设置，动作捕捉装置016为单独设置的手部动作捕捉设备，通过感应裸手运动或者穿戴数据手套就能跟踪全手运动。空间定位装置013和动作捕捉装置016使用到的空间定位技术和动作捕捉技术属于现有技术的应用，此处不详细叙述。
具体地，眼动跟踪装置015可为FOVE、七鑫易维、Tobii品牌的具有眼动追踪技术的头戴式显示器。
具体地，表情识别装置014为表情图像采集设备，表情图像采集设备设有表情跟踪摄像头(图中未示出)和表情跟踪模块(图中未示出)，表情跟踪摄像头可以置于头戴式显示器的端部，拍摄受试者面部口角、眼睛等表情变化，表情跟踪模块可集成到头戴式显示器中，记录拍摄受试者面部口角、眼睛变化的图片和影像，并向外设备传输数据。
具体地，所述生理数据采集装置017为可穿戴式生理状况检测设备、手持式生理状况检测设备中至少一种；如智能手环，智能腕表、臂带、耳夹、眼镜、心率带、血压计、心率仪、感应头盔等。生理数据采集装置017采集的人体的生理参数包括皮肤电、皮肤温度、呼吸速度、心率、血压、肌电、脑电、心电。
眼动跟踪装置015使用到眼动跟踪技术，其能够测量视觉方向定位，视线移动路径，瞳孔大小测量与视觉注视点识别、眼球运动的类型注视、扫视和平滑跟踪和视觉扫描路径等，从这些测量数据中，分析设备可以提取到眼睛运动的时空序列，以完成视觉搜索模式及视觉搜索策略的评估。眼动跟踪技术属于现有技术的应用，此处不详细叙述。
空间定位装置013、表情识别装置014、眼动跟踪装置015、动作捕捉装置016、生理数据采集装置017、第一语音采集装置018均属于现有技术的应用。
空间定位装置013、表情识别装置014、眼动跟踪装置015、动作捕捉装置016、生理数据采集装置017、第一语音采集装置018上设有应用蓝牙、WIFI、ZigBee、NFC、IrDa、MICS和Ant+中至少一种无线通信协议的无线传输装置(图中未示出)，空间定位装置013、表情识别装置014、眼动跟踪装置015、动作捕捉装置016、生理数据采集装置017、第一语音采集装置018通过上述无线传输装置与所述虚拟现实子系统03和治疗师端子系统05无线连接。
所述反馈装置02包括气味模拟模块021、物理接触模拟模块022、气流/气压模拟模块023、温度模拟模块024和湿度模拟模块025；
所述气味模拟模块021，用于根据虚拟环境制造对应的气味；
所述物理接触模拟模块022，用于根据虚拟环境和虚拟角色对受试者施加相应的压力；
所述气流/气压模拟模块023，用于根据虚拟环境调节受试者所处空间的气流速度和气压；
所述温度模拟模块024，用于根据虚拟环境调节受试者所处空间的温度；
所述湿度模拟模块025，用于根据虚拟环境调节受试者所处空间的湿度。
所述反馈装置02能通过气味、物理接触、气流/气压、温度、湿度等方式模拟出虚拟环境的环境因素和虚拟角色输出的力反馈，使受试者与虚拟环境和虚拟角色的交互不限于传统的视觉和听觉，还包括触觉、嗅觉等其他感觉，有效提高虚拟环境和虚拟角色给与受试者的沉浸真实感，提高受试者的体验及效果。
具体地，所述虚拟现实子系统03为云计算服务器。云计算服务器具有数据存储量大、运算力强和运算速度快的特点，本发明通过使用云计算服务器，能提高治疗师的诊治效率。
云计算服务器上设有云服务平台，云服务平台上集合有多种功能云(如分析功能云、计算功能云、模拟功能云、等)，能提供云基础服务(数据储存、云计算、数学模型/算法创建等)、人工智能应用服务(如智能语音交互、智能服务推荐、智能物联网等功能)、人工智能操作平台(在线开发及其他技能工具等功能)，其中功能云应用到人工智能算法来处理大数据。
在本实施例中，虚拟现实子系统03能实现云化虚拟现实(Cloud VR)，完成实时计算机图像建模及渲染，即患者端子系统01数据上传到云计算服务器，并通过云计算服务器上的云服务平台进行云端渲染，生成虚拟动画，云计算服务器再将数据实时传送回患者端子系统01中显示。
本发明将虚拟环境和虚拟角色的计算处理和储存放在云计算服务器，并结合5G网络或6G及以上网络传输技术，具有以下优点：(1)充分利用云计算服务器的数据存储和高速计算能力，通过高速、低时延的网络传输回本地，对于画面的质量和流畅度、运行效率、功耗等环节都能有大幅的提升；(2)5G网络或6G及以上网络的速率能实现跨级提升，其下行峰值数据速率可达20Gbps以上，而上行峰值数据速率可能超过10Gbps，基于这样的高速移动网络，从而实现将本地的存储和计算都放到云端，进而缩小VR产品存储和计算硬件的体积和重量，极大改善VR产品的产品形态，同时，VR产品存储和计算硬件的节省，将极大地降低产品的成本，将能提供人人都能负担得起的价格；(3)使受试者在进行VR心理评估治疗时可获得实时的高质量画质，从而提高受试者对虚拟环境的沉浸体验。
所述虚拟现实子系统03包括：
数据传输模块031，用于供所述虚拟现实子系统03与患者端子系统01、治疗师端子系统05进行数据交互，并将接收到的数据传输至数据存储模块032；
数据存储模块032，用于储存虚拟环境数据、虚拟角色数据、患者端子系统01数据、治疗师端子系统05数据；具体地，所述虚拟环境数据包括影像数据、音频数据、气味分子数据、力反馈数据、气流/气压数据、温度数据和湿度数据。影像数据包括地表元素、天空元素、生物元素、景观和建筑物元素等。虚拟角色数据包括虚拟人头发数据、虚拟人面部数据、虚拟人身体(皮肤和肌肉)数据和虚拟人骨骼数据等。
分析评估模块033，用于分析空间位置数据、面部表情变化数据、眼球运动状态数据、肢体动作数据、生理数据和语音数据，分别得出受试者在当前空间内的三维位置坐标、情感类型参数、眼动参数、动作参数、情绪状态参数和语义参数；具体地，分析评估模块033包括空间位置分析单元034、表情变化分析单元035、眼球运动分析单元036、肢体动作分析单元037、生理参数分析单元038和语音分析单元039；
空间位置分析单元034，用于分析空间位置数据，得出受试者在当前空间内的三维位置坐标；
表情变化分析单元035，用于分析面部表情变化数据，得出情感类型参数；
眼球运动分析单元036，用于分析眼球运动状态数据，得出眼动参数；
肢体动作分析单元037，用于分析肢体动作数据，得出动作参数；
生理参数分析单元038，用于分析生理数据，得出情绪状态参数；
语音分析单元039，用于分析语音数据，得出语义参数。
本实施例中，表情变化分析单元035能用于对患者端子系统01数据中受试者的面部表情变化数据进行分析，也能用于对治疗师端子系统05中治疗师虚拟化身模块051输入的治疗师的面部表情变化数据进行分析。
虚拟环境生成模块041，以虚拟环境数据为基础，并以分析评估模块033输出的分析数据、受试者在当前空间内的三维位置坐标和治疗师端子系统05数据，生成虚拟环境，以及驱动虚拟环境进行动态变化；
情感虚拟人生成模块042，以虚拟角色数据和人工心理模型为基础，并以分析评估模块033输出的分析数据和治疗师端子系统05数据作为多通道刺激输入信息，通过人工心理模型进行情感计算，得出多通道反馈输出信号，控制情感虚拟人进行表情和动作的动态变化；
所述流程控制模块030，用于控制数据传输模块031、数据存储模块032、分析评估模块033、虚拟环境生成模块041和情感虚拟人生成模块042运行。
具体地，虚拟环境生成模块041的工作过程为：建立虚拟环境并进行渲染。
虚拟环境生成模块041应用到的虚拟环境生成技术属于现有技术，并不属于本发明的发明要点，故此处不进行详细叙述。
上述虚拟现实子系统03具有以下有益效果：
(1)通过在分析评估模块033设置空间位置分析单元034、表情变化分析单元035、眼球运动分析单元036、肢体动作分析单元037、生理参数分析单元038和语音分析单元039，分别对空间位置数据、表情变化数据、眼球运动状态数据、肢体动作数据、生理数据和语音数据进行独立分析，实现对患者端子系统01数据的多通道分析运算，有效提高分析评估模块033的数据处理速度；
(2)虚拟现实子系统03内部功能模块功能划分明确，能减轻单一功能单元的运算负担，从而确保虚拟现实子系统03能高效运行，同时便于出现故障时对功能模块进行独立维修；
(3)情感虚拟人生成模块042和虚拟环境生成模块041相结合，形成以面孔、表情和社会情景作为刺激物线索(表情线索及社交线索)的评估(测试)或训练；治疗师结合受试者的语言行为表现，以及面部表情变化、眼球运动状态、生理参数等指标，即可完成受试者的社会认知功能及社交技能的评估，通过调整和/或设置虚拟环境和虚拟角色完成相应的训练。
所述数据传输模块031包括多通道交互信号输入单元0311和多通道反馈信号输出单元0312。
由于所述互动装置012需要捕捉采集受试者的空间位置数据、表情变化数据、眼球运动状态数据、肢体动作数据和、生理数据和语音数据，所述数据传输模块031的数据输入单元和数据输出单元均为多通道信号传输单元，有利于受试者通过患者端子系统01与虚拟现实子系统03之间实现多种交互方式的数据传输。
所述数据传输模块031通过将患者在虚拟环境和虚拟角色交互过程中产生的数据(评估和训练数据)传输到治疗师端子系统05，使治疗师掌握受试者的实时状态，使受试者的眼动数据，表情数据，生理数据，动作捕捉数据除了传输至虚拟现实子系统03，作为虚拟角色(情感虚拟人)的多通道刺激输入信息外，还能供治疗师作为评估和训练的依据。
情感虚拟人生成模块042包括情感识别模块043、人工心理模型储存模块044、情感运算模块045、虚拟表情驱动模块046、虚拟动作驱动模块047、语音生成模块048；
情感识别模块043，用于对分析评估模块033输出的分析数据进行识别，并作为情感虚拟人的心理模型的多通道刺激输入信息；
人工心理模型储存模块044，用于储存情感虚拟人的心理模型；具体地，人工心理模型储存模块044内储存有多个情感虚拟人的心理模型，多个情感虚拟人的心理模型分别用于模拟出不同性格的的人格特性，实现情感虚拟人生成模块042能虚拟出不同的性格、表情和动作的情感虚拟人；
情感运算模块045，通过情感虚拟人的心理模型计算出多通道反馈输出信号；所述多通道反馈输出信号包括情感表达数据和情感行为控制命令；
虚拟表情驱动模块046，用于根据情感表达数据和情感行为控制命令对应驱动情感虚拟人的面部表情进行动态反应变化；
虚拟动作驱动模块047，用于根据情感表达数据和情感行为控制命令对应驱动情感虚拟人的肢体动作进行动态反应变化；
语音生成模块048，用于根据语义参数，以及情感表达数据和情感行为控制命令对应生成情感虚拟人的口头表达内容。
分析评估模块033——情感识别模块043——情感运算模块045——虚拟动作驱动模块047联合运作过程：分析评估模块033分析患者端子系统01数据，并将空间位置数据、面部表情变化数据、眼球运动状态数据、肢体动作数据和生理数据转化为刺激信号，作为情感虚拟人生成模块042的输入信号，情感虚拟人生成模块042根据刺激信号的不同组合，经过情感模型计算后输出情感表达数据和情感行为控制命令，情感表达数据和情感行为控制命令中包括面部表情的类型、面部肌肉的形变强度大小、骨骼姿态的形变强度大小和口头表达内容数据。以表情识别为例，表情变化分析单元035接收面部表情变化数据，对面部表情变化数据进行转换成情感类型参数；情感识别模块043接受情感类型参数并根据经识别后的外部环境的情感信息、个体的动机状态，以及个体的情感经验(情感知识库)，进行综合比较、判断，计算出受试者当前的情绪状态刺激模式(情感识别)；情感运算模块045根据受试者当前的情绪状态、刺激模式中的媒介类型，以及受试者个体的情感行为特征，进行决策判断，得到情感表达数据和情感行为控制命令；虚拟动作驱动模块047根据情感表达数据和情感行为控制命令，从情感行为规则数据库中获取表达某种情绪的动作序列，并根据动作序列驱动虚拟角色的肢体动作进行动态变化。
上述语音分析单元039和语音生成模块048使用到自然语言处理技术和人工智能语音交互技术，自然语言处理技术和人工智能语音交互技术均属于现有技术，自然语言处理技术指对语音识别、语义识别、语义理解和语音合成技术，人工智能语音交互技术指实现人与人，人与物的语音交互。
本实施例中的人工心理建模和情感计算属于现有技术的应用；人工心理建模是对人类情感信息处理过程的模拟，主要用人工的方法和技术，模仿、延伸和扩展人的情感，使机器具有识别、理解和表达情感的能力。情感计算是要计算机具备模拟人类观察、理解和生成各种情感特征的能力，能进行自然、亲切和生动的交互。
人工心理模型的构建方法为：建立具备初始情感的情感模型，并向情感模型输入训练数据，从而调整情感模型参数，采用Baun-Welch的算法(向前向后算法)，进行情感模型参数估计，训练和调整构建出人工心理模型。
下面以基于隐马尔可夫模型(Hidden Markov Model，简称HMM模型)进行举例，隐马尔可夫模型由两部分组成,其一为Markov链,它借由π、Α描述,不同的π、Α值决定了Markov链的不同形状。由于人们所受的意识刺激不同,所以从任意时刻开始,下一时刻可能到达任意状态,将Markov链结合到在人类的情感模型建模应用中,意味着Markov链需要遍历所有状态。
基于HMM模型的人工心理模型构建过程：(1)需要确定情感的每个层次上的分类数(确定有多少种心情和多少种表情，对应HMM中的状态数M和观察值的个数N)；(2)设定在每个状态数M(心情状态)下,各种观察值(表情)的概率，建立情感模型；(3)用初始数据对情感模型进行训练，采用Baum-Welch算法对情感模型的参数估计，调整模型参数λ＝(π,Α,B)，使P(Ο/λ)最大；(4)在参数估计的过程中增加比例因子的方法解决参数下溢的问题,再对有关算法加以修正,以消去比例因子的影响。
虚拟表情驱动模块046的工作原理：预先利用OpenGL程序分析了采集到的人面特征数据，分析出人脸表情特征块的运动规律,初步建立人脸物理模型,通过NURBS曲面和面片混合算法,利用块体变形数学模型,对人脸物理模型的各块进行弹性形变,建立人脸三维网格模型；通过调整各块的弹性形变参数实现虚拟角色面部表情的模拟,构建出特定的人脸物理模型。为了使人脸物理模型更加自然，符合人类行为规律的连续的表情，在此基础上,利用模糊数学理论中的因素加权综合法,以人工心理模型输出的各表情的概率作为权重向量,调整表情动画模型参数,从而实现虚拟角色的心理状态对虚拟角色面部表情的实时的驱动，并结合关键帧技术,生成流畅的面部表情动画。
虚拟表情驱动模块046的工作过程：调用虚拟角色数据的脸部模型，根据人工心理模型作为情感引擎的程序输出的情感表达数据和情感行为控制命令，对初始的脸部模型进行连续多次变形，产生人脸动画。例如当需要虚拟角色的面部出现某种特定表情时,驱动虚拟角色的面部特征点根据弹性形变模型(预先为眼睛眨动、嘴巴张开等脸部动作建立了对应弹性形变模型)进行小范围弹性形变模拟出脸部表情动画。为了更加使虚拟角色面部更加精细和流畅，可以设定在对应的刺激条件下,人工心理模型可计算出各种表情出现的概率bij，以概率bij作为权重参数,控制各种表情对应的弹性形变模型数学公式中的系数，以及利用关键帧技术,通过在关键帧之间进行样条插值产生中间帧,进而产生动画帧序列。
本发明的虚拟动作驱动模块047应用了基于骨骼驱动变形算法和OGRE开源渲染引擎的人体运动仿真技术。
上述虚拟表情驱动模块046和虚拟动作驱动模块047使用到的逻辑算法和软件均属于现有技术。
本发明的情感虚拟人生成模块042具有以下有益效果：
(1)现有的虚拟角色生成方法是使用交互模型和虚拟角色模型数据库来生成虚拟角色的，具体过程为：交互模型接收交互输入数据(如文本数据、生理数据和语音数据等)，交互模型根据交互输入数据，进行信号特征提取，再用内置的神经网络，构建多个信号的复杂映射关系和进行多模态的识别，形成模型驱动数据，然后结合虚拟角色模型数据，利用模型驱动数据驱动虚拟角色模型的肢体运动和操纵面部标志点运动，从而生成虚拟角色动画，这种虚拟角色生成方法生成的模型驱动数据是交互输入数据输入到预设程序后得出的程式化数据，导致虚拟角色作出的反馈反应相对单调和不自然，难以对受试者产生长期互动的吸引力；而本发明的情感虚拟人生成模块042结合SCA模型(识别感知-控制运算-行动)和并行(转换)神经网络模型等多虚拟角色行为控制模型，对受试者的空间位置数据、表情变化数据、眼球运动状态数据、肢体动作数据、生理数据和语音数据进行分析后，利用情感识别模块043生成多通道刺激输入信号并输入情感虚拟人的心理模型，再利用情感运算模块045得出多通道反馈输出信号(情感表达数据和情感行为控制命令)，并使用虚拟表情驱动模块046、虚拟动作驱动模块047和语音生成模块048分别生成情感虚拟人的面部表情动画、肢体动作和口头表达内容，从而使虚拟角色能够通过自我学习的方式自行建立起人-虚拟角色交互的反馈模型；通过运用到人工心理建模和情感计算技术，利用人工心理模型对多通道信息进行特征识别，并通过情感计算输出多模态的复杂映射关系，将多模态映射关系完成情感虚拟人生动多变的表情、动作和语言反馈，使情感虚拟人具有认知功能，实现虚拟角色的表情和动作可以通过深度学习进行训练，从而建立丰富的、自然的虚拟角色反馈，提高受试者的体验效果，便于受试者坚持接受长期训练；
(2)本发明的社会功能评估训练系统虚拟环境和虚拟角色可根据受试者的反应进行动态变化，与受试者实现互动，以及治疗师能在治疗师端子系统05调整和/或设置所述虚拟现实子系统03的系统参数值，从而操控虚拟环境和虚拟角色能按照要求对受试者进行评估和训练，受试者在虚拟角色的陪伴下，其社交认知或社交行为获得纠正或者鼓励，能激发受试者的兴趣，保证受试者参与训练的主动性及依从性，有效提高训练效果。
本发明的情感虚拟人生成模块042的工作步骤为：
(1)调用分析评估模块033的受试者的情感类型参数、眼动参数、动作参数、情绪状态参数和语义参数；
(2)情感识别模块043对受试者情感类型参数、眼动参数、动作参数、情绪状态参数和语义参数进行情感识别；
(3)将情感识别结果作为多通道刺激输入信息输入情感虚拟人的心理模型；
(4)情感运算模块045通过情感虚拟人的心理模型进行情感计算，并输出多通道反馈输出信号；
(5)虚拟表情驱动模块046、虚拟动作驱动模块047、语音生成模块048根据多通道反馈输出信号对应驱动情感虚拟人的面部表情、肢体动作和口头表达内容进行动态反应变化；
(6)情感虚拟人的面部表情动态变化数据、肢体动作动态变化数据和语音动态变化数据通过数据传输模块031传输至患者端子系统01、治疗师端子系统05。
所述治疗师端子系统05设有治疗师虚拟化身模块051，治疗师虚拟化身模块051包括面部识别装置054和第二语音采集装置055；面部识别装置054用于扫描治疗师面部，获取治疗师面部特征数据，所述第二语音采集装置055用于采集治疗师的语音数据；
治疗师虚拟化身模块051可根据治疗师面部特征数据和治疗师的语音数据生成虚拟治疗师，与虚拟情感人共同参与到虚拟情景中，对受试者进行评估和训练；
或者，所述情感虚拟人生成模块042可根据治疗师面部特征数据和/或治疗师的语音数据对现有情感虚拟人的面部和/或口头表达内容进行智能替换。
通过在所述治疗师端子系统05设置治疗师虚拟化身模块051，使用人脸识别技术和智能三维建模技术，针对治疗师进行人像虚拟重构，在虚拟环境中建立虚拟治疗师或使现有情感虚拟人成为治疗师的映射角色，使治疗师能够参与到虚拟环境中与受试者进行互动交流，从而提高治疗师的参与度，提高对受试者的训练效果。
上述生成虚拟治疗师和智能替换均应用人工智能虚拟仿真技术，该技术属于现有技术，其原理是通过面部识别装置054获取面部特征数据，将采集到的面部特征点与虚拟角色面部模型中的面部骨骼特征点进行映射配对，对虚拟角色的面部模型进行驱动，使虚拟角色的面部骨骼模型能够按照获取的面部特征数据得出的面部表情运动轨迹运动，然后使用面向对象图形渲染引擎演示虚拟角色的面部表情动画。
本实施例中可采用微软Kinect传感器获取人脸深度信息(获取人面图像，然后结合面部表情的几何结构特征和面部纹理的图像熵以及显著性视觉特征，进行特征提取，并将结果输送至分类器进行表情分类，进入分类器，分类器将提取的人脸表情特征进行训练、分类，得到分类预测的结果。与人脸表情数据库进行比对测试，获得表情结果判断)，完成虚拟人头部建模，在Unity3D开发引擎中完成虚拟角色面部表情骨骼点的绑定(每一个骨骼点对应一个变形器(Blendshape)，每个变形器包含一个变形强度权值，通过调整每个变形器的变形强度权值就可以得到不同面部活动的变形参数，从而驱动虚拟环境中的虚拟角色面部表情的变化)，利用重定向技术，嵌入表情识别算法，完成虚拟角色的建立(生成虚拟治疗师)或虚拟角色脸表情同步(智能替换)，再以Unity3D图像界面交互系统UGUI(UnityGraphical User Interface)形式展示识别结果。也可以采用有标记点的OptiTrack动作捕捉系统配合ARENA动作捕捉软件(可也使用VS2008、OGRE程序)共同对面部表情进行捕捉，捕获面部表情动作后，将捕获的三维面部运动数据转换为模型驱动数据，加载到三维模型进行模型驱动。
所述治疗师端子系统05包括监视模块052和操作模块053；
所述监视模块052用于接收所述患者端子系统01、所述虚拟现实子系统03输出的数据，并向治疗师实时展示受试者的状况及相关数据、虚拟环境和虚拟角色，以及供治疗师和受试者进行沟通交流；具体地，监视模块052实时展示虚拟角色，为情感虚拟人、虚拟治疗师或成为治疗师的映射角色的情感虚拟人。
上述指出的相关数据，具体为受试者的眼动数据，表情数据，生理数据，动作捕捉数据等，治疗师可以通过相关数据对受试者的社会认知功能及社交技能进行评估和针对性训练。
操作模块053用于供治疗师调整和/或设置所述虚拟现实子系统03的系统参数值和调用所述虚拟现实子系统03内的虚拟环境和虚拟角色，供治疗师设定评估训练方案、设置训练难度和回放训练过程。
通过设置监视模块052和操作模块053，使治疗师可根据受试者的状态调用和调整虚拟环境和虚拟角色的初始状态和动态变化，同时治疗师可以根据需要设置受试者的训练项目及难度；另外，治疗师可通过监视模块052观察受试者的状况及相关数据，据此在现实或虚拟环境中对受试者进行心理辅导，以及进行对应的训练，提高受试者社会认知能力和社会交往技能。
具体地，所述监视模块052还包括数据记录输出设备(图中未示出)，所述数据记录输出设备用于供治疗师以移动储存设备和纸张等媒介记录受试者的相关数据(如眼动数据、生理数据等)、训练方案、训练过程和训练效果。
具体地，所述患者端子系统01设有若干个，若干患者端子系统01与云计算服务器的虚拟现实子系统03通讯连接，所述治疗师端子系统05可同时监视若干患者端子系统01，同时对多个受试者进行评估和训练，这种设置方式能有效提高设备和人力资源的利用率。此外，由于本发明中设置有多个患者端子系统01与虚拟现实子系统03通讯连接，可让多个受试者之间开展合作及交流，使多个受试者能同时进行团体心理训练(如沟通技术训练、人际关系训练等)；且多个患者端子系统01、治疗师端子系统05均与虚拟现实子系统03通讯连接，在此基础上可通过增设治疗师端子系统05，可以实现多个医生会诊。
上述若干患者端子系统01与云计算服务器的虚拟现实子系统03通讯连接，基于网络环境的虚拟现实技术又称为网络的分布式虚拟现实技术，在这个环境中，位于不同物理环境位置的多个受试者或多个虚拟环境通过网络相连接，或者多个受试者同时参加一个虚拟现实环境，通过计算机与其他用户进行交互，并共享信息或协同工作。
与现有技术相比，本发明的基于虚拟环境和虚拟角色的社会功能评估训练系统，具有以下有益效果：
(1)现有的社会认知功能的评估及训练方法是向受试者播放静态的面部表情图片或者设定社交场景视频，但现实生活中，人们的面部表情是动态变化的，而本发明的社会功能评估训练系统充分利用虚拟现实技术可以模拟出现实场景和现实人物自然丰富、生动多变的动态变化的特点，向受试者呈现出类似现实的训练环境，结合语言和肢体交互，给予受试者更加丰富的临在感，从而调动人体多个感知通道参与训练，使社会认知能力评估及社会技能训练更加生动有趣，让受试者能更加真实的训练其在真实社交情景刺激下的社交认知处理过程；
(2)本发明的社会功能评估训练系统使用虚拟现实技术，成本低廉，适用人群广，能有效减少治疗师的工作量，使治疗师能为更多具有社会认知障碍的受试者提供训练服务，便于社会认知的评估及训练服务的展开。
根据上述说明书的揭示和教导，本发明所属领域的技术人员还可以对上述实施方式进行变更和修改。因此，本发明并不局限于上面揭示和描述的具体实施方式，对本发明的一些修改和变更也应当落入本发明的权利要求的保护范围内。此外，尽管本说明书中使用了一些特定的术语，但这些术语只是为了方便说明，并不对本发明构成任何限制。
Claims (10)
1.基于虚拟环境和虚拟角色的社会功能评估训练系统，其特征在于：包括患者端子系统、治疗师端子系统和虚拟现实子系统；所述虚拟现实子系统分别与患者端子系统、治疗师端子系统通讯连接；
所述患者端子系统用于向受试者展示虚拟环境和虚拟角色，供受试者和虚拟环境、虚拟角色进行交互，并且记录与受试者相关的各项数据；
所述虚拟现实子系统用于生成虚拟环境和虚拟角色，虚拟环境和虚拟角色可根据受试者的反应进行动态变化；
所述治疗师端子系统用于监视受试者，以及通过调整和/或设置所述虚拟现实子系统的系统参数值，以调整所述虚拟现实子系统生成的虚拟环境和虚拟角色；治疗师可通过所述治疗师端子系统与受试者实时通信。
2.根据权利要求1所述的基于虚拟环境和虚拟角色的社会功能评估训练系统，其特征在于：所述患者端子系统包括虚拟现实显示装置、互动装置和反馈装置；
所述虚拟现实显示装置用于通过影像和/或声音的方式向受试者展示虚拟环境和虚拟角色的动态变化；
所述互动装置用于捕捉采集受试者的空间位置数据、表情变化数据、眼球运动状态数据、肢体动作数据、生理数据和语音数据，并将数据传输至所述虚拟现实子系统，供所述虚拟现实子系统分析；
所述反馈装置用于根据虚拟环境和虚拟角色的动态变化进行辅助配合。
3.根据权利要求2所述的基于虚拟环境和虚拟角色的社会功能评估训练系统，其特征在于：所述互动装置包括空间定位装置，表情识别装置、眼动跟踪装置、动作捕捉装置、生理数据采集装置和第一语音采集装置；
空间定位装置用于标记受试者的空间位置；
表情识别装置用于记录受试者的表情变化；
眼动跟踪装置用于跟踪受试者的眼球活动；
动作捕捉装置用于捕捉受试者的肢体动作；
生理数据采集装置用于采集受试者的生理参数；
第一语音采集装置用于采集受试者的声音语言。
4.根据权利要求2所述的基于虚拟环境和虚拟角色的社会功能评估训练系统，其特征在于：所述反馈装置包括气味模拟模块、物理接触模拟模块、气流/气压模拟模块、温度模拟模块和湿度模拟模块；
所述气味模拟模块，用于根据虚拟环境制造对应的气味；
所述物理接触模拟模块，用于根据虚拟环境和虚拟角色对受试者施加相应的压力；
所述气流/气压模拟模块，用于根据虚拟环境调节受试者所处空间的气流速度和气压；
所述温度模拟模块，用于根据虚拟环境调节受试者所处空间的温度；
所述湿度模拟模块，用于根据虚拟环境调节受试者所处空间的湿度。
5.根据权利要求2所述的基于虚拟环境和虚拟角色的社会功能评估训练系统，其特征在于：所述虚拟现实子系统包括：
数据传输模块，用于供所述虚拟现实子系统与患者端子系统、治疗师端子系统进行数据交互，并将接收到的数据传输至数据存储模块；
数据存储模块，用于储存虚拟环境数据、虚拟角色数据、患者端子系统数据、治疗师端子系统数据；
分析评估模块包括空间位置分析单元、表情变化分析单元、眼球运动分析单元、肢体动作分析单元、生理参数分析单元和语音分析单元；
空间位置分析单元，用于分析空间位置数据，得出受试者在当前空间内的三维位置坐标；
表情变化分析单元，用于分析面部表情变化数据，得出情感类型参数；
眼球运动分析单元，用于分析眼球运动状态数据，得出眼动参数；
肢体动作分析单元，用于分析肢体动作数据，得出动作参数；
生理参数分析单元，用于分析生理数据，得出情绪状态参数；
语音分析单元，用于分析语音数据，得出语义参数；
虚拟环境生成模块，以虚拟环境数据为基础，并以分析评估模块输出的分析数据、受试者在当前空间内的三维位置坐标和治疗师端子系统数据，生成虚拟环境，以及驱动虚拟环境进行动态变化；
情感虚拟人生成模块，以虚拟角色数据和人工心理模型为基础，并以分析评估模块输出的分析数据和治疗师端子系统数据作为多通道刺激输入信息，通过人工心理模型进行情感计算，得出多通道反馈输出信号，控制情感虚拟人进行表情和动作的动态变化；
所述流程控制模块，用于控制数据传输模块、数据存储模块、分析评估模块、虚拟环境生成模块和情感虚拟人生成模块运行。
6.根据权利要求5所述的基于虚拟环境和虚拟角色的社会功能评估训练系统，其特征在于：所述数据传输模块包括多通道交互信号输入单元和多通道反馈信号输出单元。
7.根据权利要求5所述的基于虚拟环境和虚拟角色的社会功能评估训练系统，其特征在于：情感虚拟人生成模块包括情感识别模块、人工心理模型储存模块、情感运算模块、虚拟表情驱动模块、虚拟动作驱动模块、语音生成模块；
情感识别模块，用于对分析评估模块输出的分析数据进行识别，并作为情感虚拟人的心理模型的多通道刺激输入信息；
人工心理模型储存模块，用于储存情感虚拟人的心理模型；
情感运算模块，通过情感虚拟人的心理模型计算出多通道反馈输出信号；所述多通道反馈输出信号包括情感表达数据和情感行为控制命令；
虚拟表情驱动模块，用于根据情感表达数据和情感行为控制命令对应驱动情感虚拟人的面部表情进行动态反应变化；
虚拟动作驱动模块，用于根据情感表达数据和情感行为控制命令对应驱动情感虚拟人的肢体动作进行动态反应变化；
语音生成模块，用于根据语义参数，以及情感表达数据和情感行为控制命令对应生成情感虚拟人的口头表达内容。
8.根据权利要求7所述的基于虚拟环境和虚拟角色的社会功能评估训练系统，其特征在于：所述情感虚拟人生成模块的工作步骤为：
(1)调用分析评估模块的受试者的情感类型参数、眼动参数、动作参数、情绪状态参数和语义参数；
(2)情感识别模块对受试者情感类型参数、眼动参数、动作参数、情绪状态参数和语义参数进行情感识别；
(3)将情感识别结果作为多通道刺激输入信息，输入情感虚拟人的心理模型；
(4)情感运算模块通过情感虚拟人的心理模型进行情感计算，输出多通道反馈输出信号；
(5)虚拟表情驱动模块、虚拟动作驱动模块、语音生成模块根据多通道反馈输出信号对应驱动情感虚拟人的面部表情、肢体动作和口头表达内容，进行动态反应变化；
(6)情感虚拟人的面部表情动态变化数据、肢体动作动态变化数据和语音动态变化数据通过数据传输模块传输至患者端子系统、治疗师端子系统。
9.根据权利要求7所述的基于虚拟环境和虚拟角色的社会功能评估训练系统，其特征在于：所述治疗师端子系统设有治疗师虚拟化身模块，治疗师虚拟化身模块包括面部识别装置和第二语音采集装置；面部识别装置用于扫描治疗师面部，获取治疗师面部特征数据，所述第二语音采集装置用于采集治疗师的语音数据；
治疗师虚拟化身模块可根据治疗师面部特征数据和治疗师的语音数据生成虚拟治疗师，与虚拟情感人共同参与到虚拟情景中，对受试者进行评估和训练；
或者，所述情感虚拟人生成模块可根据治疗师面部特征数据和/或治疗师的语音数据对现有情感虚拟人的面部和/或口头表达内容进行智能替换。
10.根据权利要求1所述的基于虚拟环境和虚拟角色的社会功能评估训练系统，其特征在于：所述治疗师端子系统包括监视模块和操作模块；
所述监视模块用于接收所述患者端子系统、所述虚拟现实子系统输出的数据，并向治疗师实时展示受试者的状况及相关数据、虚拟环境和虚拟角色，以及供治疗师和受试者进行沟通交流；
操作模块用于供治疗师调整和/或设置所述虚拟现实子系统的系统参数值和调用所述虚拟现实子系统内的虚拟环境和虚拟角色，供治疗师设定评估训练方案、设置训练难度和回放训练过程。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910414630.6A CN110070944B (zh) | 2019-05-17 | 2019-05-17 | 基于虚拟环境和虚拟角色的社会功能评估训练系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910414630.6A CN110070944B (zh) | 2019-05-17 | 2019-05-17 | 基于虚拟环境和虚拟角色的社会功能评估训练系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110070944A true CN110070944A (zh) | 2019-07-30 |
| CN110070944B CN110070944B (zh) | 2023-12-08 |
Family
ID=67371059
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910414630.6A Active CN110070944B (zh) | 2019-05-17 | 2019-05-17 | 基于虚拟环境和虚拟角色的社会功能评估训练系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110070944B (zh) |
Cited By (36)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110471531A (zh) * | 2019-08-14 | 2019-11-19 | 上海乂学教育科技有限公司 | 虚拟现实中多模态人机对话系统和方法 |
| CN110599573A (zh) * | 2019-09-03 | 2019-12-20 | 电子科技大学 | 一种基于单目相机的人脸实时交互动画的实现方法 |
| CN110618757A (zh) * | 2019-09-23 | 2019-12-27 | 北京大米科技有限公司 | 在线教学控制方法、装置和电子设备 |
| CN110705523A (zh) * | 2019-10-23 | 2020-01-17 | 上海大学 | 一种基于神经网络的创业者路演能力测评方法及其测评系统 |
| CN110727352A (zh) * | 2019-10-31 | 2020-01-24 | 哈雷医用(广州)智能技术有限公司 | 一种对抑郁症具有改善作用的电子产品及其控制方法 |
| CN110890140A (zh) * | 2019-11-25 | 2020-03-17 | 上海交通大学 | 基于虚拟现实的自闭症康复训练及能力评估系统及方法 |
| CN110930780A (zh) * | 2019-11-25 | 2020-03-27 | 上海交通大学 | 基于虚拟现实技术的自闭症虚拟教学系统、方法及设备 |
| CN110957021A (zh) * | 2019-08-07 | 2020-04-03 | 上海市精神卫生中心（上海市心理咨询培训中心） | 一种针对自闭症患者的逻辑思维能力训练方法及系统 |
| CN110970130A (zh) * | 2019-12-30 | 2020-04-07 | 段新 | 一种注意缺陷多动障碍的数据处理方法 |
| CN111009318A (zh) * | 2019-11-25 | 2020-04-14 | 上海交通大学 | 一种基于虚拟现实技术的自闭症训练系统、方法及装置 |
| CN111245705A (zh) * | 2019-12-31 | 2020-06-05 | 中国电力科学研究院有限公司 | 一种实现培训仿真的服务器、客户端即时通信的方法 |
| CN111339878A (zh) * | 2020-02-19 | 2020-06-26 | 华南理工大学 | 一种基于眼动数据的修正型实时情感识别方法及系统 |
| CN111968725A (zh) * | 2020-07-22 | 2020-11-20 | 黄山学院 | 基于眼动数据的教师情绪觉察训练系统及方法 |
| CN112133408A (zh) * | 2020-09-28 | 2020-12-25 | 安徽徽韵心理咨询有限公司 | 一种基于vr技术的心理训练互动系统及训练方法 |
| CN112562825A (zh) * | 2020-12-09 | 2021-03-26 | 宁波大学科学技术学院 | 基于严肃游戏的自闭症儿童生活技能训练方法 |
| CN112597967A (zh) * | 2021-01-05 | 2021-04-02 | 沈阳工业大学 | 沉浸式虚拟环境、多模态生理信号的情绪识别方法及装置 |
| CN112652381A (zh) * | 2020-12-18 | 2021-04-13 | 中国人民解放军总医院第八医学中心 | 心理健康矫正计划生成方法及系统 |
| CN112807545A (zh) * | 2020-12-31 | 2021-05-18 | 南京医科大学 | 基于vr技术的丰富环境康复训练装置及其使用方法 |
| CN113066560A (zh) * | 2021-03-31 | 2021-07-02 | 东莞市汇杰博瑞科技发展有限公司 | 一种线上情景互动抑郁症云康复系统 |
| CN113192600A (zh) * | 2021-04-06 | 2021-07-30 | 四川大学华西医院 | 基于虚拟现实和眼动追踪的认知评估与矫正训练系统 |
| CN113628724A (zh) * | 2021-07-01 | 2021-11-09 | 江苏嘉纳宝医疗科技有限公司 | 基于虚拟现实技术对暴力恐惧心理的评估干预方法 |
| CN113741702A (zh) * | 2021-11-03 | 2021-12-03 | 北京智精灵科技有限公司 | 基于情绪监测的认知障碍人机交互方法及系统 |
| CN113900506A (zh) * | 2020-06-22 | 2022-01-07 | 广州汽车集团股份有限公司 | 一种评价香氛的方法和系统 |
| CN114035678A (zh) * | 2021-10-26 | 2022-02-11 | 山东浪潮科学研究院有限公司 | 一种基于深度学习和虚拟现实的辅助判断方法 |
| WO2022048403A1 (zh) * | 2020-09-01 | 2022-03-10 | 魔珐(上海)信息科技有限公司 | 基于虚拟角色的多模态交互方法、装置及系统、存储介质、终端 |
| CN114967937A (zh) * | 2022-08-03 | 2022-08-30 | 环球数科集团有限公司 | 一种虚拟人运动生成方法与系统 |
| US20230063681A1 (en) * | 2021-08-25 | 2023-03-02 | Sony Interactive Entertainment Inc. | Dynamic augmentation of stimuli based on profile of user |
| CN116168805A (zh) * | 2023-01-20 | 2023-05-26 | 北京瑞帆科技有限公司 | 一种用于认知训练的思维训练装置及认知训练系统 |
| CN116403680A (zh) * | 2023-01-20 | 2023-07-07 | 北京瑞帆科技有限公司 | 一种基于xr技术的认知刺激治疗系统 |
| CN116597941A (zh) * | 2023-05-26 | 2023-08-15 | 天津大学 | 基于vr和et孤独症儿童联合注意技能评估与训练系统 |
| CN116996630A (zh) * | 2023-08-02 | 2023-11-03 | 北京中科闻歌科技股份有限公司 | 实时问答虚拟人视频生成方法、电子设备及存储介质 |
| CN117238188A (zh) * | 2023-11-13 | 2023-12-15 | 成都泰盟软件有限公司 | 一种基于ar设备的医患沟通训练方法、装置、设备及介质 |
| CN117292788A (zh) * | 2023-11-21 | 2023-12-26 | 南京元域绿洲科技有限公司 | 双相障碍虚拟现实训练系统 |
| WO2024134621A1 (en) * | 2022-12-22 | 2024-06-27 | Neo Auvra Dijital Saglik Ve Biyonik Teknoloji Ve Hizmetleri Sanayi Ve Ticaret A.S. | Systems and methods for assessing social skills in virtual reality |
| CN118253077A (zh) * | 2024-05-31 | 2024-06-28 | 杭州虚之实科技有限公司 | 一种基于虚拟现实的上肢康复训练系统 |
| CN118366612A (zh) * | 2024-04-30 | 2024-07-19 | 深圳市铱硙医疗科技有限公司 | 一种支持远程播控个性化虚拟现实认知症康复系统及方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107944542A (zh) * | 2017-11-21 | 2018-04-20 | 北京光年无限科技有限公司 | 一种基于虚拟人的多模态交互输出方法及系统 |
| CN109243605A (zh) * | 2018-09-20 | 2019-01-18 | 段新 | 一种基于人工智能的精神障碍诊断治疗系统 |
| CN109324688A (zh) * | 2018-08-21 | 2019-02-12 | 北京光年无限科技有限公司 | 基于虚拟人行为标准的交互方法及系统 |
| CN109584992A (zh) * | 2018-11-22 | 2019-04-05 | 段新 | 交互方法、装置、服务器、存储介质及沙盘治疗系统 |
-
2019
- 2019-05-17 CN CN201910414630.6A patent/CN110070944B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107944542A (zh) * | 2017-11-21 | 2018-04-20 | 北京光年无限科技有限公司 | 一种基于虚拟人的多模态交互输出方法及系统 |
| CN109324688A (zh) * | 2018-08-21 | 2019-02-12 | 北京光年无限科技有限公司 | 基于虚拟人行为标准的交互方法及系统 |
| CN109243605A (zh) * | 2018-09-20 | 2019-01-18 | 段新 | 一种基于人工智能的精神障碍诊断治疗系统 |
| CN109584992A (zh) * | 2018-11-22 | 2019-04-05 | 段新 | 交互方法、装置、服务器、存储介质及沙盘治疗系统 |
Cited By (46)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110957021A (zh) * | 2019-08-07 | 2020-04-03 | 上海市精神卫生中心（上海市心理咨询培训中心） | 一种针对自闭症患者的逻辑思维能力训练方法及系统 |
| CN110471531A (zh) * | 2019-08-14 | 2019-11-19 | 上海乂学教育科技有限公司 | 虚拟现实中多模态人机对话系统和方法 |
| CN110599573A (zh) * | 2019-09-03 | 2019-12-20 | 电子科技大学 | 一种基于单目相机的人脸实时交互动画的实现方法 |
| CN110618757A (zh) * | 2019-09-23 | 2019-12-27 | 北京大米科技有限公司 | 在线教学控制方法、装置和电子设备 |
| CN110705523B (zh) * | 2019-10-23 | 2021-09-24 | 上海大学 | 一种基于神经网络的创业者路演能力测评方法及其测评系统 |
| CN110705523A (zh) * | 2019-10-23 | 2020-01-17 | 上海大学 | 一种基于神经网络的创业者路演能力测评方法及其测评系统 |
| CN110727352A (zh) * | 2019-10-31 | 2020-01-24 | 哈雷医用(广州)智能技术有限公司 | 一种对抑郁症具有改善作用的电子产品及其控制方法 |
| CN110930780A (zh) * | 2019-11-25 | 2020-03-27 | 上海交通大学 | 基于虚拟现实技术的自闭症虚拟教学系统、方法及设备 |
| CN111009318A (zh) * | 2019-11-25 | 2020-04-14 | 上海交通大学 | 一种基于虚拟现实技术的自闭症训练系统、方法及装置 |
| CN110890140A (zh) * | 2019-11-25 | 2020-03-17 | 上海交通大学 | 基于虚拟现实的自闭症康复训练及能力评估系统及方法 |
| CN110890140B (zh) * | 2019-11-25 | 2022-09-23 | 上海交通大学 | 基于虚拟现实的自闭症康复训练及能力评估系统及方法 |
| WO2021135692A1 (zh) * | 2019-12-30 | 2021-07-08 | 佛山创视嘉科技有限公司 | 一种注意缺陷多动障碍的数据处理方法、装置以及终端设备 |
| CN110970130A (zh) * | 2019-12-30 | 2020-04-07 | 段新 | 一种注意缺陷多动障碍的数据处理方法 |
| CN111245705A (zh) * | 2019-12-31 | 2020-06-05 | 中国电力科学研究院有限公司 | 一种实现培训仿真的服务器、客户端即时通信的方法 |
| CN111245705B (zh) * | 2019-12-31 | 2024-03-19 | 中国电力科学研究院有限公司 | 一种实现培训仿真的服务器、客户端即时通信的方法 |
| CN111339878A (zh) * | 2020-02-19 | 2020-06-26 | 华南理工大学 | 一种基于眼动数据的修正型实时情感识别方法及系统 |
| CN111339878B (zh) * | 2020-02-19 | 2023-06-20 | 华南理工大学 | 一种基于眼动数据的修正型实时情感识别方法及系统 |
| CN113900506B (zh) * | 2020-06-22 | 2024-01-30 | 广州汽车集团股份有限公司 | 一种评价香氛的方法和系统 |
| CN113900506A (zh) * | 2020-06-22 | 2022-01-07 | 广州汽车集团股份有限公司 | 一种评价香氛的方法和系统 |
| CN111968725A (zh) * | 2020-07-22 | 2020-11-20 | 黄山学院 | 基于眼动数据的教师情绪觉察训练系统及方法 |
| WO2022048403A1 (zh) * | 2020-09-01 | 2022-03-10 | 魔珐(上海)信息科技有限公司 | 基于虚拟角色的多模态交互方法、装置及系统、存储介质、终端 |
| CN112133408A (zh) * | 2020-09-28 | 2020-12-25 | 安徽徽韵心理咨询有限公司 | 一种基于vr技术的心理训练互动系统及训练方法 |
| CN112562825A (zh) * | 2020-12-09 | 2021-03-26 | 宁波大学科学技术学院 | 基于严肃游戏的自闭症儿童生活技能训练方法 |
| CN112562825B (zh) * | 2020-12-09 | 2022-03-15 | 宁波大学科学技术学院 | 基于严肃游戏的自闭症儿童生活技能训练方法 |
| CN112652381A (zh) * | 2020-12-18 | 2021-04-13 | 中国人民解放军总医院第八医学中心 | 心理健康矫正计划生成方法及系统 |
| CN112807545A (zh) * | 2020-12-31 | 2021-05-18 | 南京医科大学 | 基于vr技术的丰富环境康复训练装置及其使用方法 |
| CN112597967A (zh) * | 2021-01-05 | 2021-04-02 | 沈阳工业大学 | 沉浸式虚拟环境、多模态生理信号的情绪识别方法及装置 |
| CN113066560A (zh) * | 2021-03-31 | 2021-07-02 | 东莞市汇杰博瑞科技发展有限公司 | 一种线上情景互动抑郁症云康复系统 |
| CN113192600A (zh) * | 2021-04-06 | 2021-07-30 | 四川大学华西医院 | 基于虚拟现实和眼动追踪的认知评估与矫正训练系统 |
| CN113628724A (zh) * | 2021-07-01 | 2021-11-09 | 江苏嘉纳宝医疗科技有限公司 | 基于虚拟现实技术对暴力恐惧心理的评估干预方法 |
| CN113628724B (zh) * | 2021-07-01 | 2024-03-12 | 江苏嘉纳宝医疗科技有限公司 | 基于虚拟现实技术对暴力恐惧心理的评估干预方法 |
| US20230063681A1 (en) * | 2021-08-25 | 2023-03-02 | Sony Interactive Entertainment Inc. | Dynamic augmentation of stimuli based on profile of user |
| CN114035678A (zh) * | 2021-10-26 | 2022-02-11 | 山东浪潮科学研究院有限公司 | 一种基于深度学习和虚拟现实的辅助判断方法 |
| CN113741702A (zh) * | 2021-11-03 | 2021-12-03 | 北京智精灵科技有限公司 | 基于情绪监测的认知障碍人机交互方法及系统 |
| CN114967937A (zh) * | 2022-08-03 | 2022-08-30 | 环球数科集团有限公司 | 一种虚拟人运动生成方法与系统 |
| WO2024134621A1 (en) * | 2022-12-22 | 2024-06-27 | Neo Auvra Dijital Saglik Ve Biyonik Teknoloji Ve Hizmetleri Sanayi Ve Ticaret A.S. | Systems and methods for assessing social skills in virtual reality |
| CN116168805A (zh) * | 2023-01-20 | 2023-05-26 | 北京瑞帆科技有限公司 | 一种用于认知训练的思维训练装置及认知训练系统 |
| CN116403680A (zh) * | 2023-01-20 | 2023-07-07 | 北京瑞帆科技有限公司 | 一种基于xr技术的认知刺激治疗系统 |
| CN116597941A (zh) * | 2023-05-26 | 2023-08-15 | 天津大学 | 基于vr和et孤独症儿童联合注意技能评估与训练系统 |
| CN116996630A (zh) * | 2023-08-02 | 2023-11-03 | 北京中科闻歌科技股份有限公司 | 实时问答虚拟人视频生成方法、电子设备及存储介质 |
| CN116996630B (zh) * | 2023-08-02 | 2024-07-12 | 北京中科闻歌科技股份有限公司 | 实时问答虚拟人视频生成方法、电子设备及存储介质 |
| CN117238188A (zh) * | 2023-11-13 | 2023-12-15 | 成都泰盟软件有限公司 | 一种基于ar设备的医患沟通训练方法、装置、设备及介质 |
| CN117292788B (zh) * | 2023-11-21 | 2024-01-26 | 南京元域绿洲科技有限公司 | 双相障碍虚拟现实训练系统 |
| CN117292788A (zh) * | 2023-11-21 | 2023-12-26 | 南京元域绿洲科技有限公司 | 双相障碍虚拟现实训练系统 |
| CN118366612A (zh) * | 2024-04-30 | 2024-07-19 | 深圳市铱硙医疗科技有限公司 | 一种支持远程播控个性化虚拟现实认知症康复系统及方法 |
| CN118253077A (zh) * | 2024-05-31 | 2024-06-28 | 杭州虚之实科技有限公司 | 一种基于虚拟现实的上肢康复训练系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110070944B (zh) | 2023-12-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110070944A (zh) | 基于虚拟环境和虚拟角色的社会功能评估训练系统 | |
| US11815951B2 (en) | System and method for enhanced training using a virtual reality environment and bio-signal data | |
| CN109298779B (zh) | 基于虚拟代理交互的虚拟训练系统与方法 | |
| CA2935813C (en) | Adaptive brain training computer system and method | |
| CA2673644C (en) | Situated simulation for training, education, and therapy | |
| KR102423849B1 (ko) | 가상현실을 이용한 진료 및 임상술기 시뮬레이션 제공 시스템 | |
| CN204813892U (zh) | 一种用于镜像神经元康复训练的装置 | |
| CN112008725B (zh) | 一种人机融合脑控机器人系统 | |
| Takacs | Special education and rehabilitation: teaching and healing with interactive graphics | |
| CN113975583A (zh) | 一种基于虚拟现实技术的情绪疏导系统 | |
| CN114640699B (zh) | 基于vr角色扮演游戏交互的情绪诱发监测系统 | |
| KR102429630B1 (ko) | 헬스케어를 위한 커뮤니케이션 npc아바타를 생성하는 시스템 | |
| Pillette et al. | Towards artificial learning companions for mental imagery-based brain-computer interfaces | |
| CN113035000A (zh) | 一种面向中枢整合康复治疗技术的虚拟现实训练系统 | |
| Brümmer et al. | Practice as a shared accomplishment | |
| Alimanova et al. | Developing an immersive virtual reality training system to enrich social interaction and communication skills for children with autism Spectrum disorder | |
| Streck et al. | neomento SAD-VR treatment for social anxiety | |
| Ji et al. | “We Dream Our Life Could Be”: A New Undergraduate Course Aimed at Bringing Emerging Technologies Its Breakthrough Applications | |
| Adamo-Villani et al. | 3D simulator of ocular motion and expression | |
| Wen et al. | Construction of Psychological Training System for College Students Based on Virtual Reality Technology | |
| Aleksieva | Investigating Haptic Devices in IVR Systems: A scoping review of haptic devices and their relation to immersion and presence in IVR systems | |
| Baig | Analysis of EEG signals & cognitive activity in 3D modeling for a multi modal interface system | |
| Zheng | Multimodal Response Analysis for Behavioral Intervention of Children with ASD | |
| Serré | Speech-breathing-limb interaction and coordination during the production andthe memorization of verbal information | |
| Kwon | Analysis and Development of Electromyography-Based Muscle Machine Interfaces for Dexterous Interaction with Virtual Reality and Real Environments |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20240902 Address after: 528300 Room 601-1, Floor 6, No. 17, Qinghui Road, Central Neighborhood Committee, Daliang Subdistrict Office, Shunde District, Foshan City, Guangdong Province Patentee after: Foshan chuangshijia Technology Co.,Ltd. Country or region after: China Address before: 528300 Room 401, block 19, yijuyuan phase II, Xingui South Road, Daliang street, Shunde District, Foshan City, Guangdong Province Patentee before: Duan Xin Country or region before: China |
|
| TR01 | Transfer of patent right |