CN117292788B - 双相障碍虚拟现实训练系统 - Google Patents

双相障碍虚拟现实训练系统 Download PDF

Info

Publication number
CN117292788B
CN117292788B CN202311553058.4A CN202311553058A CN117292788B CN 117292788 B CN117292788 B CN 117292788B CN 202311553058 A CN202311553058 A CN 202311553058A CN 117292788 B CN117292788 B CN 117292788B
Authority
CN
China
Prior art keywords
emotion
virtual reality
virtual
real
scene
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311553058.4A
Other languages
English (en)
Other versions
CN117292788A (zh
Inventor
孙喆
顾天路
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Yuanyu Oasis Technology Co ltd
Original Assignee
Nanjing Yuanyu Oasis Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Yuanyu Oasis Technology Co ltd filed Critical Nanjing Yuanyu Oasis Technology Co ltd
Priority to CN202311553058.4A priority Critical patent/CN117292788B/zh
Publication of CN117292788A publication Critical patent/CN117292788A/zh
Application granted granted Critical
Publication of CN117292788B publication Critical patent/CN117292788B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/0205—Simultaneously evaluating both cardiovascular conditions and different types of body conditions, e.g. heart and respiratory condition
    • A61B5/02055—Simultaneously evaluating both cardiovascular condition and temperature
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4836—Diagnosis combined with treatment in closed-loop systems or methods
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4848—Monitoring or testing the effects of treatment, e.g. of medication
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4884—Other medical applications inducing physiological or psychological stress, e.g. applications for stress testing
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/30—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to physical therapies or activities, e.g. physiotherapy, acupressure or exercising
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H80/00—ICT specially adapted for facilitating communication between medical practitioners or patients, e.g. for collaborative diagnosis, therapy or health monitoring
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • Physics & Mathematics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Physiology (AREA)
  • Psychiatry (AREA)
  • Cardiology (AREA)
  • Social Psychology (AREA)
  • Psychology (AREA)
  • Hospice & Palliative Care (AREA)
  • Primary Health Care (AREA)
  • Developmental Disabilities (AREA)
  • Child & Adolescent Psychology (AREA)
  • Epidemiology (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Pulmonology (AREA)
  • Educational Technology (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明属于虚拟现实技术领域，本发明公开了双相障碍虚拟现实训练系统；包括虚拟场景获取模块、场景情感获取模块、情感模型模块、生理参数监测模块、参数预处理模块、情感比对模块、情感调控模块、虚拟角色获取模块、第二参数获取模块、第二参数处理模块和虚拟角色调控模块；针对不同虚拟情境实时监测患者生理参数,评估情绪反应是否符合预期,并通过调控虚拟情境、控制虚拟角色交互等方式进行干预,使患者情绪逐步趋于理想状态；实现了双相障碍者个性化、定制化的情绪治疗训练,提高治疗效果。

Description

双相障碍虚拟现实训练系统
技术领域
本发明涉及虚拟现实技术领域，更具体地说，本发明涉及双相障碍虚拟现实训练系统。
背景技术
双相障碍的症状核心之一是情绪失控,这与患者在激发事件中对自身情绪及环境中的线索理解存在偏差有关；患者对正面或者负面事件的小线索反应过度,导致情绪大起大落；而他们本身又缺乏对这种盲目情感反应的控制力；
如授权公告号为CN208110861U的专利公开了一种基于虚拟现实技术医学领域控制系统，包括主机，以及与主机相连的显示单元、控制单元；主机包括信号呈现单元，其中控制者操作主机；操作者操作控制单元且操作者通过显示单元观看；主机包括可切换的控制、观看模式和指导、练习模式，且当主机为控制、观看模式时，控制单元无法操作，显示单元同步显示信号呈现单元信息，当主机为指导、练习模式时，操作者操作控制单元，信号呈现单元同步显示显示单元操作信息。该实用新型在当发现学生训练过程中操作不正确时，及时进行指导和纠正，通过有针对性的指导，提高了教学质量和培训效果。
现有技术通过人工设置角色扮演训练场景,让患者在训练场景下体验并训练自己的情绪处理能力；但是这种训练很多限制，比如，人工设置训练集非常有限,难以针对每个患者细致设计个性化训练方案；而且人工训练成本较高,可重复训练的次数有限；不同医生设置的训练场景会存在较大差异,不同患者的症状和反应也存在差异,但现有治疗方案难以针对每个患者的特点进行设计,导致治疗效果不佳；无法实现个性化、定制化的治疗方案；刺激方式难以控制和调节强度,可能会产生过于强烈的负面影响,不利于患者情绪稳定；现有方式中,对患者复杂变化的情绪状态监测也不足,无法实时准确判断患者的情绪反应；训练过程缺乏对患者情绪的实时干预和引导措施,一旦出现负面反应,无法快速调节环境进行干预,导致负面情绪持续恶化,治疗效果受限；
鉴于此，本发明提出双相障碍虚拟现实训练系统以解决上述问题。
发明内容
为了克服现有技术的上述缺陷，为实现上述目的，本发明提供如下技术方案：双相障碍虚拟现实训练系统，包括：虚拟场景获取模块，用于采集m种情感刺激的场景视频；将场景视频构建成m种虚拟现实场景，集成至头戴显示设备；
场景情感获取模块，将m种虚拟现实场景标注为n种基本情感以及n种基本情感对应的场景情感强度；
情感模型模块，用于创建情绪反应模型；将情绪反应模型发送至情感比对模块；
生理参数监测模块，用于采集训练者的实时生理参数；
参数预处理模块，将实时生理参数处理获取待计算数据，将待计算数据处理获取类情感值；
情感比对模块，将类情感值映射到情绪反应模型获取情感评估结果；
情感调控模块，根据情感评估结果对虚拟现实场景进行第一实时调控；
虚拟角色获取模块，基于n种虚拟现实场景创建n种虚拟角色，将n种虚拟角色发送至虚拟角色调控模块，并集成至头戴显示设备；
第二参数获取模块，用于获取训练者的表现数据；
第二参数处理模块，将表现数据处理获得表现特征数据；
虚拟角色调控模块，根据表现特征数据对n种虚拟角色进行第二实时调控。
进一步地，情绪反应模型为Plutchik多维轮状坐标系模型，Plutchik多维轮状坐标系模型具有横轴和纵轴；将n种基本情感按顺序数值标注到Plutchik多维轮状坐标系模型的横轴，将n种基本情感对应的情感强度标注到Plutchik多维轮状坐标系模型的纵轴；得到与m种虚拟现实场景对应的m个标点坐标。
进一步地，实时生理参数包括心率信号段、皮肤电导度信号段、呼吸率信号段和皮肤温度信号段；使用可穿戴心率监测仪,实时获取训练者在对应的虚拟现实场景下固定时间序列的心率信号段；使用穿戴式电导传感装置贴附在训练者皮肤表面,获取训练者在对应的虚拟现实场景下出汗程度采集电导变化即为皮肤电导度信号段；通过呼吸带结合压力传感器获取训练者在对应的虚拟现实场景下固定时间序列的呼吸率信号段；采用皮肤温度传感器获取训练者在对应的虚拟现实场景下的皮肤温度信号段。
进一步地，待计算数据包括皮肤电导度特征、皮肤温度特征、心率特征和呼吸率特征；待计算数据的获取步骤如下：
计算皮肤电导度信号段内的平均值作为皮肤电导度特征；计算皮肤温度信号段内的平均值作为皮肤温度特征；
心率特征获取方法包括：
S1.将心率信号段进行信号分割，将信号段分割成w段固定时间段的子信号段，并按照原时间序列排列；
S2.将w段子信号段内的心率最大值减去最小值得到w个运动心率差；
S3.将w个运动心率差映射到直角坐标系中并标点，时间序列作为直角坐标系横坐标，纵坐标为数值1-100；将所有标点用平滑的曲线连接得到运动心率差曲线；
S4.计算运动心率差曲线对应的曲线斜率，将最大的曲线斜率作为心率特征；
同心率特征获取方法，将呼吸率信号段按照心率信号段得到心率特征的步骤，得到呼吸率特征。
进一步地，类情感值包括情感类型值和实时情感强度值；
情感类型值的计算步骤如下：
；
其中，为皮肤电导度特征，/>为皮肤温度特征，/>为心率特征，/>为呼吸率特征，/>为对前式取模8，/>符号为向下取整；
实时情感强度值的计算步骤如下：
；
其中，，/>是调节参数。
进一步地，情感评估结果为情感产生符合预期或情感产生不符合预期；
情感评估结果的获取步骤如下：
S201.情感类型值映射到Plutchik多维轮状坐标系模型的横轴，将实时情感强度值映射到Plutchik多维轮状坐标系模型的纵轴，得到实时情感坐标P；
S202.计算实时情感坐标P和训练者所训练的当前虚拟现实场景对应的标点坐标P_match之间的欧式距离值D，标点坐标P_match属于m个标点坐标中的一个；
S203.设置标准情感阈值th，若D小于或等于标准情感阈值th,则情感评估结果为情感产生符合预期；
若D大于标准情感阈值th,则情感评估结果为情感产生不符合预期。
进一步地，第一实时调控的具体步骤如下：
若情感评估结果为情感产生符合预期，则继续采用对应的虚拟现实场景；
若情感评估结果为情感产生不符合预期，则调整虚拟现实场景至标准情感虚拟现实场景Q1、Q2或Q3；
具体调整步骤如下：
S301.设定调整系数k,k为D/th；
S302.确定调整的标准坐标集合P_adjust,标准坐标集合包括标点坐标P_match及其在情绪反应模型中在上相邻的坐标P_up和在情绪反应模型中在下相邻的坐标P_down；
S303.对P_adjust中的每个坐标点的纵坐标进行调整:
P_up.x1 = P_up.x + k×(P.x - P_match.x)；
P_down.x1 = P_down.x + k×(P.x - P_match.x)；
P_match.x1 = P_match.x + k×(P.x - P_match.x)；
其中P_up.x为P_match在上相邻的坐标P_up的纵坐标；P_down.x为P_match在下相邻的坐标P_down的纵坐标；P.x为实时情感坐标P的纵坐标；P_match.x为标准情感虚拟现实场景对应的标点坐标的纵坐标;P_up.x1为调整后的P_up的纵坐标；P_down.x1为调整后的P_down的纵坐标;P_match.x1为调整后的P_match的纵坐标;
S304.P_up.x1与P_up的横坐标构成标准情感虚拟现实场景Q1的坐标，将标准情感虚拟现实场景Q1的坐标映射到在Plutchik多维轮状坐标系模型上，遍历m个标点坐标，获取m个标点坐标中与标准情感虚拟现实场景Q1的坐标相同的标点坐标m1，将标点坐标m1对应的虚拟现实场景作为标准情感虚拟现实场景Q1；
P_down.x1与P_down的横坐标构成标准情感虚拟现实场景Q2的坐标，将标准情感虚拟现实场景Q2的坐标映射到在Plutchik多维轮状坐标系模型上，遍历m个标点坐标，获取m个标点坐标中与标准情感虚拟现实场景Q1的坐标相同的标点坐标m2，将标点坐标m2对应的虚拟现实场景作为标准情感虚拟现实场景Q2;
P_match.x1与P_match的横坐标构成标准情感虚拟现实场景Q3的坐标，将标准情感虚拟现实场景Q3的坐标映射到在Plutchik多维轮状坐标系模型上，遍历m个标点坐标，获取m个标点坐标中与标准情感虚拟现实场景Q1的坐标相同的标点坐标m3，将标点坐标m3对应的虚拟现实场景作为标准情感虚拟现实场景Q3。
进一步地，m种虚拟角色分别对应着m种虚拟现实场景，其中m种虚拟角色的性别有男性和女性；m种虚拟角色中的每个虚拟角色都根据虚拟现实场景设计不同的服装、发型和面部特征，且每个虚拟角色都集成有语音回应功能；语音回应功能包括回应语句以及回应语句的对应语调；对应语调包括加重和缓和。
进一步地，表现数据包括语音数据和眼部数据；语音数据使用麦克风采集，眼部数据通过安装在头戴显示设备中的摄像头获取；表现特征数据包括语言特征数据和眼神特征数据；
语言特征数据具体获取步骤如下：
S401.将语音数据进行预加重,提升语音数据的高频部分；使用帧块技术,将语音数据分割成f个帧；对每一帧进行汉明窗或汉宁窗的加窗，并应用快速傅里叶变换,提取每一帧的频谱特征；
S402.创建语音识别模型，使用卷积神经网络作为语音识别模型的编码器进行网络解码，将频谱特征输入语音识别模型生成特征文字即为语言特征数据；
眼神特征数据包括眼球转动频率和实时凝视角度变化频率；
具体获取步骤如下：
S501.使用图像处理方法定位眼部数据的瞳孔的轮廓；
S502.检测眼部角膜的反射像,标定出瞳孔中心位置；
S503.提取眼部数据眼白部分的像素信息,判断眼球转动频率；
S504.根据瞳孔中心位置的变化,计算实时凝视角度变化频率。
进一步地，第二实时调控的具体步骤如下：
S601.将语言特征数据进行词性标注为t种情感词汇,将语义最重的情感词汇作为关键词汇；
S602.构建情感领域相关的词汇集；
S603.将词汇集内的词汇进行标注意图标签和情感标签；
S604.将关键词汇和词汇集内的词汇进行比对得到对应的意图标签和情感标签；
S605.将眼球转动频率和实时凝视角度变化频率进行比对得到比对结果，根据比对结果获取注意力标签，注意力标签为注意力集中或注意力不集中；若比对结果为相同频率则注意力标签为注意力集中；若比对结果为不同频率则注意力标签为注意力不集中；
S606.根据心理疏导方面系统书籍库对应意图标签和情感标签获取回应语料；若注意力标签为注意力集中，则回应语料的对应语调为缓和；若注意力标签为注意力不集中，则回应语料的对应语调为加重；
S607.将回应语料作为虚拟角色的回应语句，将回应语料的对应语调作为虚拟角色回应语句的对应语调。
双相障碍虚拟现实训练方法，基于所述的双相障碍虚拟现实训练系统实现，采集m种情感刺激的场景视频；将场景视频构建成m种虚拟现实场景，集成至头戴显示设备；
将m种虚拟现实场景标注为n种基本情感以及n种基本情感对应的场景情感强度；
创建情绪反应模型；将情绪反应模型发送至情感比对模块；
采集训练者的实时生理参数；
将实时生理参数处理获取待计算数据，将待计算数据处理获取类情感值；
将类情感值映射到情绪反应模型获取情感评估结果；
根据情感评估结果对虚拟现实场景进行第一实时调控；
基于n种虚拟现实场景创建n种虚拟角色，将n种虚拟角色发送至虚拟角色调控模块，并集成至头戴显示设备；
用于获取训练者的表现数据；
将表现数据处理获得表现特征数据；
根据表现特征数据对n种虚拟角色进行第二实时调控。
一种电子设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现所述双相障碍虚拟现实训练方法。
一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现所述双相障碍虚拟现实训练方法。
本发明双相障碍虚拟现实训练系统的技术效果和优点：
可以针对不同虚拟情境实时监测患者生理参数,评估情绪反应是否符合预期,并通过调控虚拟情境、控制虚拟角色交互等方式进行干预,使患者情绪逐步趋于理想状态；实现了双相障碍者个性化、定制化的情绪治疗训练,提高治疗效果；通过虚拟现实技术,构建多种情境刺激患者情绪,进行治疗训练更安全、可控；应用生理监测及语音、图像分析技术,实现对患者情绪状态的精确评估；实时调控训练过程,避免负面刺激,使治疗更温和、循序渐进。
附图说明
图1为本发明的双相障碍虚拟现实训练系统示意图；
图2为本发明的双相障碍虚拟现实训练方法示意图；
图3为本发明实施例1中运动心率差曲线示意图；
图4为本发明实施例1中实时情感坐标P示意图；
图5为本发明实施例1中纵坐标调整示意图；
图6为本发明的电子设备示意图；
图7为本发明的存储介质示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1
请参阅图1所示，本实施例所述双相障碍虚拟现实训练系统及方法,包括:虚拟场景获取模块用于采集日常生活中m种情感刺激的场景视频；将场景视频通过虚拟现实软件和内容制作工具构建成m种虚拟现实场景，将m种虚拟现实场景发送至场景情感获取模块，并集成至头戴显示设备用于显示至患者眼前；
场景情感获取模块将m种虚拟现实场景根据其情感刺激标注为n种基本情感以及n种基本情感对应的情感强度；将n种基本情感以n种基本情感对应的情感强度发送至情感模型模块；
需要说明的是，这里n种基本情感以8种基本情感为例，8种基本情感分别为快乐、信任、恐惧、惊奇、悲伤、厌恶、怒火、期待；情感强度为虚拟现实场景在n种基本情感中任一情感对应的情感强度；在实验环境中，让多名测试者佩戴头戴显示设备，头戴显示设备按顺序映入虚拟现实场景进行测试，测试完成后，由测试者进行标注，所述标注是基于心理学SAM自评量表；因为不同性格脾气的人，在面对一些场景的时候对于自身的情感变化是不同的，通过多组测试将虚拟现实场景标注在较为符合的基本情感和情感强度；
情感模型模块用于创建情绪反应模型；将情绪反应模型发送至情感比对模块；情绪反应模型为Plutchik多维轮状坐标系模型，Plutchik多维轮状坐标系模型具有横轴和纵轴；将n种基本情感按顺序数值标注到Plutchik多维轮状坐标系模型的横轴，将n种基本情感对应的情感强度标注到Plutchik多维轮状坐标系模型的纵轴；得到与m种虚拟现实场景对应的m个标点坐标，一种基本情感对应的情感强度有多个，即在Plutchik多维轮状坐标系模型有m个标点坐标，m与n均为大于1的整数；
具体的，将基本情感按顺序的数值作为Plutchik多维轮状坐标系模型的横轴，将0-100等1间距排列作为Plutchik多维轮状坐标系模型的纵轴；其中0-100代表情感的强度值；
例如，Plutchik多维轮状坐标系模型的横轴表示8种基本情感,按顺序排列为快乐、信任、恐惧、惊奇、悲伤、厌恶、怒火、期待，按顺序数值标注在Plutchik多维轮状坐标系模型的横轴，例如，快乐为数值1，信任为数值2，以此类推;当虚拟现实场景使训练者的情感变成快乐，此时的快乐的情感强度可能是80，则此虚拟现实场景的标点坐标则为（1，80）；
生理参数监测模块用于采集训练者的实时生理参数，实时生理参数为训练者在对应虚拟现实场景下的生理参数；其中所述生理参数包括心率信号段、皮肤电导度信号段、呼吸率信号段和皮肤温度信号段；将实时生理参数发送至参数预处理模块；
使用可穿戴心率监测仪,实时获取训练者在对应的虚拟现实场景下固定时间序列的心率信号段；使用穿戴式电导传感装置贴附在训练者皮肤表面获取训练者在对应的虚拟现实场景下出汗程度采集电导变化即为皮肤电导度信号段；通过呼吸带结合压力传感器获取训练者在对应的虚拟现实场景下固定时间序列的呼吸率信号段；呼吸带是一种可围绕胸部或腹部的弹性带，与压力传感器结合使用，以测量胸部或腹部的运动来获取训练者呼吸率；采用皮肤温度传感器获取训练者在对应的虚拟现实场景下的皮肤温度信号段；将上述采集过程统一采集时间序列，采集时间序列内的信号组成对应的信号段，采集时间为训练开始至训练结束；
参数预处理模块将实时生理参数处理获取待计算数据，将待计算数据处理获取类情感值，将类情感值发送至情感比对模块；
其中待计算数据包括皮肤电导度特征、皮肤温度特征、心率特征和呼吸率特征；类情感值包括情感类型值和实时情感强度值；
待计算数据的获取步骤如下：
计算皮肤电导度信号段内的平均值作为皮肤电导度特征；计算皮肤温度信号段内的平均值作为皮肤温度特征；
心率特征获取方法包括：
S1.将心率信号段进行信号分割，将信号段分割成w段固定时间段的子信号段，并按照原时间序列排列；
S2.将w段子信号段内的心率最大值减去最小值得到w个运动心率差；
S3.将w个运动心率差映射到直角坐标系中并标点，时间序列作为直角坐标系横坐标，纵坐标为数值1-100；将所有标点用平滑的曲线连接得到运动心率差曲线，如图3所示；
S4.计算运动心率差曲线对应的曲线斜率，将最大的曲线斜率作为心率特征；
同心率特征获取方法，将呼吸率信号段按照心率信号段得到心率特征的步骤，得到呼吸率特征；
需要说明的是，皮肤电导度信号段和温度信号段采集过程不可避免的是环境随机噪声的影响，可能会导致检测的信号段没有特征性，人在情感波动的时候生理参数的变化并不会特别明显，特征性就是检测到的信号段具有容易察觉的特殊点；计算信号段的平均值可以消除环境随机噪声的影响；将心率信号段和呼吸率信号段分割成多段,可以捕获不同时间段的变化特征，计算段内极差(最大值-最小值)可以增强信号变化的对比度；将多个段的极差映射可视化,可以直观地观察信号的动态变化；计算斜率最大值,可以捕获信号变化最剧烈的时刻,作为重要特征；
情感类型值的计算步骤如下：
；
其中，为皮肤电导度特征，/>为皮肤温度特征，/>为心率特征，/>为呼吸率特征，/>为对前式取模8，/>符号为向下取整；
实时情感强度值的计算步骤如下：
；
其中，是对数项的调节参数，/>是正弦项的调节参数；/>和/>通过放缩对数项和正弦项的效应,从而控制各项对最终情感强度结果的贡献程度；
情感比对模块将类情感值映射到情绪反应模型获取情感评估结果；将情感评估结果发送至情感调控模块；
情感评估结果为情感产生符合预期或情感产生不符合预期；
情感评估结果的获取步骤如下：
S201.将情感类型值映射到Plutchik多维轮状坐标系模型的横轴，将实时情感强度值映射到Plutchik多维轮状坐标系模型的纵轴，得到实时情感坐标P；例如，情感类型值为2，实时情感强度值为50，则在Plutchik多维轮状坐标系模型上实时情感坐标P为(2,50)，如图4所示;
S202.计算实时情感坐标P和训练者所训练的当前虚拟现实场景对应的标点坐标P_match之间的欧式距离值D，标点坐标P_match属于m个标点坐标中的一个；
S203.设置标准情感阈值th，若D小于或等于标准情感阈值th,则情感评估结果为情感产生符合预期；
若D大于标准情感阈值th,则情感评估结果为情感产生不符合预期；
标准情感阈值th的设置如下：
在训练者不同虚拟现实场景训练过程中，收集类情感值,将其映射到情绪反应模型中，得到实时情感坐标，计算实时情感坐标与虚拟现实场景对应标点坐标的欧式距离；将欧式距离取平均值作为初始化阈值；
在训练的早期阶段,设置一个较大的阈值,例如，初始化阈值的1.5倍；提供了一个较大的调整空间,快速逼近标准情感；
在训练的中期阶段,使用初始化阈值；在训练的后期阶段,可以逐步减小阈值,例如，初始化阈值减少10%作为标准情感阈值,使评估更加严格；
在上述每个训练阶段中,都可以对标准情感阈值进行微调,使其适应训练者的变化；微调幅度可以设置为较小比例,例如，初始化阈值±5%作为标准情感阈值；在计算欧式距离时,对初始化阈值加入一个随机浮动数j,提高灵活性；浮动数j可以初步设置为10%；
需要说明的是，对于不同训练者，其情绪失控的程度是不同的，如果设置固定的标准情感阈值可能会导致训练效果不好，训练治疗的过程是循序渐进的，如果在后期调整对应情感刺激的过程中，没有把握好调整的程度，还可能会导致负面影响；所以上述标准情感阈值是一个浮动的状态；
情感调控模块根据情感评估结果对情感刺激训练进行第一实时调控；
第一实时调控的具体步骤如下：
若情感评估结果为情感产生符合预期，则继续采用对应的虚拟现实场景；
若情感评估结果为情感产生不符合预期，则调整虚拟现实场景至标准情感虚拟现实场景Q1、Q2或Q3；
具体调整步骤如下：
S301.设定调整系数k,k为D/th；
S302.确定调整的标准坐标集合P_adjust,标准坐标集合包括标点坐标P_match及其在情绪反应模型中在上相邻的坐标P_up和在情绪反应模型中在下相邻的坐标P_down；
S303.对P_adjust中的每个坐标点的纵坐标进行调整:
P_up.x1 = P_up.x + k×(P.x - P_match.x)；
P_down.x1 = P_down.x + k×(P.x - P_match.x)；
P_match.x1 = P_match.x + k×(P.x - P_match.x)；
其中P_up.x为P_match在上相邻的坐标P_up的纵坐标；P_down.x为P_match在下相邻的坐标P_down的纵坐标；P.x为实时情感坐标P的纵坐标；P_match.x为标准情感虚拟现实场景对应的标点坐标的纵坐标;P_up.x1为调整后的P_up的纵坐标；P_down.x1为调整后的P_down的纵坐标;P_match.x1为调整后的P_match的纵坐标;为了更好的说明上述过程如图5所示；
S304.P_up.x1与P_up的横坐标构成标准情感虚拟现实场景Q1的坐标，将标准情感虚拟现实场景Q1的坐标映射到在Plutchik多维轮状坐标系模型上，遍历m个标点坐标，获取m个标点坐标中与标准情感虚拟现实场景Q1的坐标相同的标点坐标m1，将标点坐标m1对应的虚拟现实场景作为标准情感虚拟现实场景Q1；
P_down.x1与P_down的横坐标构成标准情感虚拟现实场景Q2的坐标，将标准情感虚拟现实场景Q2的坐标映射到在Plutchik多维轮状坐标系模型上，遍历m个标点坐标，获取m个标点坐标中与标准情感虚拟现实场景Q1的坐标相同的标点坐标m2，将标点坐标m2对应的虚拟现实场景作为标准情感虚拟现实场景Q2;
P_match.x1与P_match的横坐标构成标准情感虚拟现实场景Q3的坐标，将标准情感虚拟现实场景Q3的坐标映射到在Plutchik多维轮状坐标系模型上，遍历m个标点坐标，获取m个标点坐标中与标准情感虚拟现实场景Q1的坐标相同的标点坐标m3，将标点坐标m3对应的虚拟现实场景作为标准情感虚拟现实场景Q3；
需要说明的是，上述调整可以使标点坐标向实时情感坐标P的方向移动,缩小两者差距，在保证情感刺激的情感类型不变的情况下，逐步的调整情感刺激的强度，使得训练者可以在自身能接受的范围内缓慢的调整情感刺激，挑选左右两个坐标点进行调整是为了使训练效果更好；
虚拟角色获取模块基于m种虚拟现实场景创建m种虚拟角色，将n种虚拟角色发送至虚拟角色调控模块，并集成至头戴显示设备用于显示至患者眼前；
具体的，m种虚拟角色分别对应着m种虚拟现实场景，其中m种虚拟角色的性别有男性和女性；m种虚拟角色中的每个虚拟角色都根据虚拟现实场景设计不同的服装、发型和面部特征，且每个虚拟角色都集成由语音回应功能；语音回应功能包括回应语句以及回应语句的对应语调；对应语调包括加重和缓和。
第二参数获取模块用于获取训练者的表现数据，将表现数据发送至第二参数处理模块；其中表现数据包括语音数据和眼部数据；语音数据使用麦克风采集，眼部数据通过安装在头戴显示设备中的摄像头获取；
需要说明的是，训练者在情绪波动的时候，会伴着眼部的转动，眼神的变化，夹杂着一些语言的输出；语音数据具体为控制麦克风的采样率和位深来获取模拟语音信号，将模拟语音信号进行数字化,获得语音的数字信号即为语音数据；眼部数据为摄像头拍摄的训练者眼部视频；
第二参数处理模块将表现数据处理获得表现特征数据；将表现特征数据发送至虚拟角色调控模块；其中表现特征数据包括语言特征数据和眼神特征数据；
语言特征数据具体获取步骤如下：
S401.将语音数据进行预加重,提升语音数据的高频部分；使用帧块技术,将语音数据分割成f个帧；对每一帧进行汉明窗或汉宁窗的加窗，并应用快速傅里叶变换,提取每一帧的频谱特征；
S402.创建语音识别模型，使用卷积神经网络作为语音识别模型的编码器进行网络解码生成特征文字即为语言特征数据；
具体的，预加重是对语音数据进行一阶预加重,提升高频部分的能量，如下：s'(n)= s(n) - αs(n-1)
其中，α通常取0.95；s(n)表示语音数据的第n个采样点,s(n-1)表示语音数据的第n-1个采样点,也就是当前采样点的前一个采样点；
帧块技术是将语音信号s'(n)分割成长度为L(通常取20-40ms)、相邻帧有重叠的短时帧/块；例如，重叠长度为M,则相邻帧间隔为L-M；
加窗则是对每一帧s'(n)乘以汉明窗或者汉宁窗的函数,用于减小频谱的泄露；
眼神特征数据包括眼球转动频率和实时凝视角度变化频率；
具体获取步骤如下：
S501.使用图像处理方法(例如模板匹配)定位眼部数据的瞳孔的轮廓；
S502.检测眼部角膜的反射像,标定出瞳孔中心位置；
S503.提取眼部数据眼白部分的像素信息,判断眼球转动频率；
S504.根据瞳孔中心位置的变化,计算实时凝视角度变化频率；
具体的，采用边缘检测、圆形拟合等图像处理方法,在眼部数据中确定瞳孔的边界轮廓；在眼部数据中检测由眼部被近红外光照射时产生的角膜反射像,并与瞳孔轮廓信息结合,标定出瞳孔的中心位置；近红外光由头戴显示设备播放的虚拟现实场景产生；
眼白部分的像素信息为像素块的数量，其中像素块的数量具体分为四个区域，上下左右四个区域，若眼白部分的像素信息的一个方向的像素块数量增加，则眼球的转动方向则向反方向转动；根据像素块数量的变化频率判断眼球转动频率；
在计算机中根据眼部建立坐标系,训练者目视前方时，瞳孔位置确定为原点O；在眼部数据中追踪瞳孔中心点P的坐标(x, y)；将瞳孔中心点P与原点连线,连接线与水平轴的夹角即为凝视方向角α；
计算连续时间序列的两个眼部数据瞳孔中心坐标变化量Δx、Δy,得到角度变化量Δα；在连续时间序列的眼部数据上计算Δα,得到凝视角度的变化率,即为实时凝视角度变化频率；上述过程均可以通过计算机完成；
虚拟角色调控模块根据表现特征数据对n种虚拟角色进行第二实时调控；
第二实时调控的具体步骤如下：
S601.将语言特征数据进行词性标注为t种情感词汇,将语义最重的情感词汇作为关键词汇；
S602.构建情感领域相关的词汇集；
S603.将词汇集内的词汇进行标注意图标签和情感标签；
S604.将关键词汇和词汇集内的词汇进行比对得到对应的意图标签和情感标签；
S605.将眼球转动频率和实时凝视角度变化频率进行比对得到比对结果，根据比对结果获取注意力标签，注意力标签为注意力集中标签或注意力不集中标签；若比对结果为相同频率则注意力标签为注意力集中标签；若比对结果为不同频率则注意力标签为注意力不集中标签；
S606.根据心理疏导方面系统书籍库对应意图标签和情感标签获取回应语料；若注意力标签为注意力集中，则回应语料的对应语调为缓和；若注意力标签为注意力不集中，则回应语料的对应语调为加重；
S607.将回应语料作为虚拟角色的回应语句，将回应语料的对应语调作为虚拟角色回应语句的对应语调；
具体的，情感领域相关的词汇的获取可以通过使用语料库,通过词频统计、共现分析等方式,从语料中提取高频的情感词汇；收集公开的情感词典资源,其中含有大量标注好情绪极性的词汇；使用词典资源,通过同义词关系扩展已有的情感词汇；例如“高兴”的同义词为“快乐”；
语义最重可以通过以下几个方面来定义和判断：
1.从句法结构上,句子的主语和宾语所代表的词汇通常意义更为重要,例如“我喜欢这份工作”中“我”和“工作”较重要；
2.一个文本中频率较高的词汇所代表的语义信息更为突出；
3.名词、动词、形容词代表的语义信息通常更为直接,副词和冠词等语义较弱；
4.将语料中的情感词进行聚类,每个类中的中心词可以代表该类的核心情感取向；
5.与上下文语义相关性较高的词汇带有关键语义信息；例如在”这部电影非常让我难过和沮丧“这句话中,通过上下文相关性分析,可以判断”难过“和”沮丧“是表达负面情感的关键词汇；
心理疏导方面系统书籍库指的是涵盖心理疏导、咨询和治疗等主题的书籍；书籍会详细介绍用于心理疏导和治疗的具体技术和策略；这包括如何建立信任、倾听技巧、情绪调节技巧、问题解决方法等；
本实施例通过运用虚拟现实、生理信号监测、语音交互等技术手段,实时监测、评估和引导患者的情绪状态,以达到治疗双相障碍的目的；具体来说,本实施例可以针对不同虚拟情境实时监测患者生理参数,评估情绪反应是否符合预期,并通过调控虚拟情境、控制虚拟角色交互等方式进行干预,使患者情绪逐步趋于理想状态；实现了双相障碍者个性化、定制化的情绪治疗训练,提高治疗效果；通过虚拟现实技术,构建多种情境刺激患者情绪,进行治疗训练更安全、可控；应用生理监测及语音、图像分析技术,实现对患者情绪状态的精确评估；实时调控训练过程,避免负面刺激,使治疗更温和、循序渐进。
实施例2
本实施例未详细叙述部分见实施例1描述内容，提供双相障碍虚拟现实训练系统，还包括：云参数收集模块用于在训练过程中,采集患者的生理参数,交互内容数据，将生理参数,交互内容数据进行格式统一化,并进行时间戳标注，得到标准化数据；将标准化数据上传至云端数据库，在云端数据库使用数据挖掘和统计算法分析标准化数据；提取出有效特征参数；将有效特征发送至医生监测界面；
医生监测界面为使用网页技术,开发的医生端监测系统，医生可以输入账号密码远程登录医生端监测系统；医生端监测系统中展示训练者有效特征参数和训练效果直观可视化界面；医生根据监测结果,确定情绪反应模型的调整方向发送指令调整,优化训练流程；
需要说明的是，生理参数为上述的实时生理参数，交互内容数据为训练者的语言特征数据、虚拟角色的回应语句和虚拟角色回应语句的语调；格式统一化,并进行时间戳标注为现有技术，在此不做过多赘述；
实施例3
请参阅图2所示，本实施例提供双相障碍虚拟现实训练方法，未详细叙述部分见实施例1描述内容，包括：
用于采集m种情感刺激的场景视频；将场景视频构建成m种虚拟现实场景，集成至头戴显示设备；
将m种虚拟现实场景标注为n种基本情感以及n种基本情感对应的场景情感强度；
创建情绪反应模型；将情绪反应模型发送至情感比对模块；
采集训练者的实时生理参数；
将实时生理参数处理获取待计算数据，将待计算数据处理获取类情感值；
将类情感值映射到情绪反应模型获取情感评估结果；
根据情感评估结果对虚拟现实场景进行第一实时调控；
基于n种虚拟现实场景创建n种虚拟角色，将n种虚拟角色发送至虚拟角色调控模块，并集成至头戴显示设备；
获取训练者的表现数据；
将表现数据处理获得表现特征数据；
根据表现特征数据对n种虚拟角色进行第二实时调控。
实施例4
请参阅图6所示，根据本申请的又一方面还提供了电子设备500。该电子设备500可包括一个或多个处理器以及一个或多个存储器。其中，存储器中存储有计算机可读代码，计算机可读代码当由一个或多个处理器运行时，可以执行如上所述的一种。
根据本申请实施方式的方法或系统也可以借助于图6所示的电子设备的架构来实现。如图6所示，电子设备500可包括总线501、一个或多个CPU502、只读存储器(ROM)503、随机存取存储器(RAM)504、连接到网络的通信端口505、输入/输出506、硬盘507等。电子设备500中的存储设备，例如ROM503或硬盘507可存储本申请提供的双相障碍虚拟现实训练方法。进一步地，电子设备500还可包括用户界面508。当然，图6所示的架构只是示例性的，在实现不同的设备时，根据实际需要，可以省略图6示出的电子设备中的一个或多个组件。
实施例5
请参阅图7所示，是根据本申请一个实施方式的计算机可读存储介质600。计算机可读存储介质600上存储有计算机可读指令。当计算机可读指令由处理器运行时，可执行参照以上附图描述的根据本申请实施方式的一种。存储介质600包括但不限于例如易失性存储器和/或非易失性存储器。易失性存储器例如可包括随机存取存储器(RAM)和高速缓冲存储器(cache)等。非易失性存储器例如可包括只读存储器(ROM)、硬盘、闪存等。
另外，根据本申请的实施方式，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本申请提供了非暂时性机器可读存储介质，所述非暂时性机器可读存储介质存储有机器可读指令，所述机器可读指令能够由处理器运行以执行与本申请提供的方法步骤对应的指令，双相障碍虚拟现实训练方法。在该计算机程序被中央处理单元(CPU)执行时，执行本申请的方法中限定的上述功能
上述公式均是去量纲取其数值计算，公式是由采集大量数据进行软件模拟得到最近真实情况的一个公式，公式中的预设参数以及阈值选取由本领域的技术人员根据实际情况进行设置。
上述实施例，可以全部或部分地通过软件、硬件、固件或其他任意组合来实现。当使用软件实现时，上述实施例可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令或计算机程序。在计算机上加载或执行所述计算机指令或计算机程序时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以为通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线网络或无线网络方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集合的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质（例如，软盘、硬盘、磁带）、光介质（例如，DVD）、或者半导体介质。半导体介质可以是固态硬盘。
本领域普通技术人员可以意识到，结合本发明中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本发明所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一 种，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。
最后：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (13)

1.双相障碍虚拟现实训练系统，其特征在于，包括：
虚拟场景获取模块，用于采集m种情感刺激的场景视频；将场景视频构建成m种虚拟现实场景，集成至头戴显示设备；
场景情感获取模块，将m种虚拟现实场景标注为n种基本情感以及n种基本情感对应的场景情感强度；
情感模型模块，用于创建情绪反应模型；将情绪反应模型发送至情感比对模块；
生理参数监测模块，用于采集训练者的实时生理参数；
参数预处理模块，将实时生理参数处理获取待计算数据，将待计算数据处理获取类情感值；
情感比对模块，将类情感值映射到情绪反应模型获取情感评估结果；
情感调控模块，根据情感评估结果对虚拟现实场景进行第一实时调控；
虚拟角色获取模块，基于n种虚拟现实场景创建n种虚拟角色，将n种虚拟角色发送至虚拟角色调控模块，并集成至头戴显示设备；
第二参数获取模块，用于获取训练者的表现数据；
第二参数处理模块，将表现数据处理获得表现特征数据；
虚拟角色调控模块，根据表现特征数据对n种虚拟角色进行第二实时调控。
2.根据权利要求1所述的双相障碍虚拟现实训练系统，其特征在于，所述情绪反应模型为Plutchik多维轮状坐标系模型，Plutchik多维轮状坐标系模型具有横轴和纵轴；将n种基本情感按顺序数值标注到Plutchik多维轮状坐标系模型的横轴，将n种基本情感对应的情感强度标注到Plutchik多维轮状坐标系模型的纵轴；得到与m种虚拟现实场景对应的m个标点坐标。
3.根据权利要求2所述的双相障碍虚拟现实训练系统，其特征在于，所述实时生理参数包括心率信号段、皮肤电导度信号段、呼吸率信号段和皮肤温度信号段；使用可穿戴心率监测仪,实时获取训练者在对应的虚拟现实场景下固定时间序列的心率信号段；使用穿戴式电导传感装置贴附在训练者皮肤表面,获取训练者在对应的虚拟现实场景下出汗程度采集电导变化即为皮肤电导度信号段；通过呼吸带结合压力传感器获取训练者在对应的虚拟现实场景下固定时间序列的呼吸率信号段；采用皮肤温度传感器获取训练者在对应的虚拟现实场景下的皮肤温度信号段。
4.根据权利要求3所述的双相障碍虚拟现实训练系统，其特征在于，所述待计算数据包括皮肤电导度特征、皮肤温度特征、心率特征和呼吸率特征；待计算数据的获取步骤如下：
计算皮肤电导度信号段内的平均值作为皮肤电导度特征；计算皮肤温度信号段内的平均值作为皮肤温度特征；
心率特征获取方法包括：
S1.将心率信号段进行信号分割，将信号段分割成w段固定时间段的子信号段，并按照原时间序列排列；
S2.将w段子信号段内的心率最大值减去最小值得到w个运动心率差；
S3.将w个运动心率差映射到直角坐标系中并标点，时间序列作为直角坐标系横坐标，纵坐标为数值1-100；将所有标点用平滑的曲线连接得到运动心率差曲线；
S4.计算运动心率差曲线对应的曲线斜率，将最大的曲线斜率作为心率特征；
同心率特征获取方法，将呼吸率信号段按照心率信号段得到心率特征的步骤，得到呼吸率特征。
5.根据权利要求4所述的双相障碍虚拟现实训练系统，其特征在于，所述类情感值包括情感类型值和实时情感强度值；
情感类型值的计算步骤如下：
；
其中，为皮肤电导度特征，/>为皮肤温度特征，/>为心率特征，/>为呼吸率特征，/>为对前式取模8，/>符号为向下取整；
实时情感强度值的计算步骤如下：
；
其中，，/>是调节参数。
6.根据权利要求5所述的双相障碍虚拟现实训练系统，其特征在于，情感评估结果为情感产生符合预期或情感产生不符合预期；
情感评估结果的获取步骤如下：
S201.情感类型值映射到Plutchik多维轮状坐标系模型的横轴，将实时情感强度值映射到Plutchik多维轮状坐标系模型的纵轴，得到实时情感坐标P；
S202.计算实时情感坐标P和训练者所训练的当前虚拟现实场景对应的标点坐标P_match之间的欧式距离值D，标点坐标P_match属于m个标点坐标中的一个；
S203.设置标准情感阈值th，若D小于或等于标准情感阈值th,则情感评估结果为情感产生符合预期；
若D大于标准情感阈值th,则情感评估结果为情感产生不符合预期。
7.根据权利要求6所述的双相障碍虚拟现实训练系统，其特征在于，第一实时调控的具体步骤如下：
若情感评估结果为情感产生符合预期，则继续采用对应的虚拟现实场景；
若情感评估结果为情感产生不符合预期，则调整虚拟现实场景至标准情感虚拟现实场景Q1、Q2或Q3；
具体调整步骤如下：
S301.设定调整系数k,k为D/th；
S302.确定调整的标准坐标集合P_adjust,标准坐标集合包括标点坐标P_match及其在情绪反应模型中在上相邻的坐标P_up和在情绪反应模型中在下相邻的坐标P_down；
S303.对P_adjust中的每个坐标点的纵坐标进行调整:
P_up.x1 = P_up.x + k×(P.x - P_match.x)；
P_down.x1 = P_down.x + k×(P.x - P_match.x)；
P_match.x1 = P_match.x + k×(P.x - P_match.x)；
其中P_up.x为P_match在上相邻的坐标P_up的纵坐标；P_down.x为P_match在下相邻的坐标P_down的纵坐标；P.x为实时情感坐标P的纵坐标；P_match.x为标准情感虚拟现实场景对应的标点坐标的纵坐标；P_up.x1为调整后的P_up的纵坐标；P_down.x1为调整后的P_down的纵坐标；P_match.x1为调整后的P_match的纵坐标;
S304.P_up.x1与P_up的横坐标构成标准情感虚拟现实场景Q1的坐标，将标准情感虚拟现实场景Q1的坐标映射到在Plutchik多维轮状坐标系模型上，遍历m个标点坐标，获取m个标点坐标中与标准情感虚拟现实场景Q1的坐标相同的标点坐标m1，将标点坐标m1对应的虚拟现实场景作为标准情感虚拟现实场景Q1；
P_down.x1与P_down的横坐标构成标准情感虚拟现实场景Q2的坐标，将标准情感虚拟现实场景Q2的坐标映射到在Plutchik多维轮状坐标系模型上，遍历m个标点坐标，获取m个标点坐标中与标准情感虚拟现实场景Q1的坐标相同的标点坐标m2，将标点坐标m2对应的虚拟现实场景作为标准情感虚拟现实场景Q2;
P_match.x1与P_match的横坐标构成标准情感虚拟现实场景Q3的坐标，将标准情感虚拟现实场景Q3的坐标映射到在Plutchik多维轮状坐标系模型上，遍历m个标点坐标，获取m个标点坐标中与标准情感虚拟现实场景Q1的坐标相同的标点坐标m3，将标点坐标m3对应的虚拟现实场景作为标准情感虚拟现实场景Q3。
8.根据权利要求7所述的双相障碍虚拟现实训练系统，其特征在于，m种虚拟角色分别对应着m种虚拟现实场景，其中m种虚拟角色的性别有男性和女性；m种虚拟角色中的每个虚拟角色都根据虚拟现实场景设计不同的服装、发型和面部特征，且每个虚拟角色都集成有语音回应功能；语音回应功能包括回应语句以及回应语句的对应语调；对应语调包括加重和缓和。
9.根据权利要求8所述的双相障碍虚拟现实训练系统，其特征在于，表现数据包括语音数据和眼部数据；语音数据使用麦克风采集，眼部数据通过安装在头戴显示设备中的摄像头获取；表现特征数据包括语言特征数据和眼神特征数据；
语言特征数据具体获取步骤如下：
S401.将语音数据进行预加重,提升语音数据的高频部分；使用帧块技术,将语音数据分割成f个帧；对每一帧进行汉明窗或汉宁窗的加窗，并应用快速傅里叶变换,提取每一帧的频谱特征；
S402.创建语音识别模型，使用卷积神经网络作为语音识别模型的编码器进行网络解码，将频谱特征输入语音识别模型生成特征文字即为语言特征数据；
眼神特征数据包括眼球转动频率和实时凝视角度变化频率；
具体获取步骤如下：
S501.使用图像处理方法定位眼部数据的瞳孔的轮廓；
S502.检测眼部角膜的反射像,标定出瞳孔中心位置；
S503.提取眼部数据眼白部分的像素信息,判断眼球转动频率；
S504.根据瞳孔中心位置的变化,计算实时凝视角度变化频率。
10.根据权利要求9所述的双相障碍虚拟现实训练系统，其特征在于，第二实时调控的具体步骤如下：
S601.将语言特征数据进行词性标注为t种情感词汇,将语义最重的情感词汇作为关键词汇；
S602.构建情感领域相关的词汇集；
S603.将词汇集内的词汇进行标注意图标签和情感标签；
S604.将关键词汇和词汇集内的词汇进行比对得到对应的意图标签和情感标签；
S605.将眼球转动频率和实时凝视角度变化频率进行比对得到比对结果，根据比对结果获取注意力标签，注意力标签为注意力集中或注意力不集中；若比对结果为相同频率则注意力标签为注意力集中；若比对结果为不同频率则注意力标签为注意力不集中；
S606.根据心理疏导方面系统书籍库对应意图标签和情感标签获取回应语料；若注意力标签为注意力集中，则回应语料的对应语调为缓和；若注意力标签为注意力不集中，则回应语料的对应语调为加重；
S607.将回应语料作为虚拟角色的回应语句，将回应语料的对应语调作为虚拟角色回应语句的对应语调。
11.双相障碍虚拟现实训练方法，其基于权利要求1至10 中任一项所述的双相障碍虚拟现实训练系统实现，其特征在于，采集m种情感刺激的场景视频；将场景视频构建成m种虚拟现实场景，集成至头戴显示设备；
将m种虚拟现实场景标注为n种基本情感以及n种基本情感对应的场景情感强度；
创建情绪反应模型；将情绪反应模型发送至情感比对模块；
采集训练者的实时生理参数；
将实时生理参数处理获取待计算数据，将待计算数据处理获取类情感值；
将类情感值映射到情绪反应模型获取情感评估结果；
根据情感评估结果对虚拟现实场景进行第一实时调控；
基于n种虚拟现实场景创建n种虚拟角色，将n种虚拟角色发送至虚拟角色调控模块，并集成至头戴显示设备；
用于获取训练者的表现数据；
将表现数据处理获得表现特征数据；
根据表现特征数据对n种虚拟角色进行第二实时调控。
12.一种电子设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求11所述双相障碍虚拟现实训练方法。
13.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现权利要求11所述双相障碍虚拟现实训练方法。
CN202311553058.4A 2023-11-21 2023-11-21 双相障碍虚拟现实训练系统 Active CN117292788B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311553058.4A CN117292788B (zh) 2023-11-21 2023-11-21 双相障碍虚拟现实训练系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311553058.4A CN117292788B (zh) 2023-11-21 2023-11-21 双相障碍虚拟现实训练系统

Publications (2)

Publication Number Publication Date
CN117292788A CN117292788A (zh) 2023-12-26
CN117292788B true CN117292788B (zh) 2024-01-26

Family

ID=89244674

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311553058.4A Active CN117292788B (zh) 2023-11-21 2023-11-21 双相障碍虚拟现实训练系统

Country Status (1)

Country Link
CN (1) CN117292788B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117637118B (zh) * 2024-01-27 2024-03-29 南京元域绿洲科技有限公司 焦虑障碍虚拟现实训练系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110070944A (zh) * 2019-05-17 2019-07-30 段新 基于虚拟环境和虚拟角色的社会功能评估训练系统
CN113975583A (zh) * 2021-10-11 2022-01-28 苏州易富网络科技有限公司 一种基于虚拟现实技术的情绪疏导系统
CN114581823A (zh) * 2022-02-24 2022-06-03 华南理工大学 基于时序特征的虚拟现实视频情感识别方法及系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110070944A (zh) * 2019-05-17 2019-07-30 段新 基于虚拟环境和虚拟角色的社会功能评估训练系统
CN113975583A (zh) * 2021-10-11 2022-01-28 苏州易富网络科技有限公司 一种基于虚拟现实技术的情绪疏导系统
CN114581823A (zh) * 2022-02-24 2022-06-03 华南理工大学 基于时序特征的虚拟现实视频情感识别方法及系统

Also Published As

Publication number Publication date
CN117292788A (zh) 2023-12-26

Similar Documents

Publication Publication Date Title
US11468288B2 (en) Method of and system for evaluating consumption of visual information displayed to a user by analyzing user's eye tracking and bioresponse data
US20200402420A1 (en) Computing technologies for diagnosis and therapy of language-related disorders
US20160189565A1 (en) System and method for automatic provision and creation of speech stimuli for treatment of speech disorders
US11301775B2 (en) Data annotation method and apparatus for enhanced machine learning
CN111063416A (zh) 一种基于虚拟现实的阿尔兹海默症康复训练及能力评估系统
CN106073706B (zh) 一种面向简易精神状态量表的个性化信息和音频数据分析方法及系统
CN117292788B (zh) 双相障碍虚拟现实训练系统
KR20150076167A (ko) 감각 및 인지 프로파일링을 위한 시스템 및 방법
WO2015177908A1 (ja) 訓練システム
JP2019522514A (ja) 視覚運動応答の定量的評価のための方法およびシステム
Tsai et al. Toward Development and Evaluation of Pain Level-Rating Scale for Emergency Triage based on Vocal Characteristics and Facial Expressions.
US20210401339A1 (en) Adaptive behavioral training, and training of associated physiological responses, with assessment and diagnostic functionality
Afzal et al. Modelling affect in learning environments-motivation and methods
CN113517055A (zh) 一种基于虚拟仿真3d技术的认知评估训练方法
Maaoui et al. Physio-visual data fusion for emotion recognition
Chiu et al. Exploring the acoustic perceptual relationship of speech in Parkinson's disease
EP4325517A1 (en) Methods and devices in performing a vision testing procedure on a person
Kimani et al. Real-time public speaking anxiety prediction model for oral presentations
Al-Nafjan et al. Virtual reality technology and speech analysis for people who stutter
KR102468833B1 (ko) 우울증 치료를 위한 인공지능 기반의 미러 카운슬링 방법
Czyżewski et al. Multimodal human-computer interfaces based on advanced video and audio analysis
Das et al. An automated speech-language therapy tool with interactive virtual agent and peer-to-peer feedback
Mo et al. A multimodal data-driven framework for anxiety screening
Croake et al. Descriptive analysis of the interactive patterning of the vocalization subsystems in healthy participants: A dynamic systems perspective
KR102610271B1 (ko) 사용자의 행동 데이터에 대응되는 생각 데이터를 유도하기 위한 컨텐츠를 제공하는 방법 및 이를 이용한 컴퓨팅 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant