CN112007255B - 基于混合现实的心理治疗方法、装置、系统及服务器 - Google Patents

基于混合现实的心理治疗方法、装置、系统及服务器 Download PDF

Info

Publication number
CN112007255B
CN112007255B CN202010907335.7A CN202010907335A CN112007255B CN 112007255 B CN112007255 B CN 112007255B CN 202010907335 A CN202010907335 A CN 202010907335A CN 112007255 B CN112007255 B CN 112007255B
Authority
CN
China
Prior art keywords
mixed reality
patient
scene data
data
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010907335.7A
Other languages
English (en)
Other versions
CN112007255A (zh
Inventor
聂镭
黄海
聂颖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Longma Zhixin Zhuhai Hengqin Technology Co ltd
Original Assignee
Longma Zhixin Zhuhai Hengqin Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Longma Zhixin Zhuhai Hengqin Technology Co ltd filed Critical Longma Zhixin Zhuhai Hengqin Technology Co ltd
Priority to CN202010907335.7A priority Critical patent/CN112007255B/zh
Publication of CN112007255A publication Critical patent/CN112007255A/zh
Application granted granted Critical
Publication of CN112007255B publication Critical patent/CN112007255B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • A61M2021/0005—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus
    • A61M2021/0016—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus by the smell sense
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • A61M2021/0005—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus
    • A61M2021/0022—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus by the tactile sense, e.g. vibrations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • A61M2021/0005—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus
    • A61M2021/0027—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus by the hearing sense
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • A61M2021/0005—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus
    • A61M2021/0044—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus by the sight sense
    • A61M2021/005—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus by the sight sense images, e.g. video
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2230/00—Measuring parameters of the user
    • A61M2230/04—Heartbeat characteristics, e.g. ECG, blood pressure modulation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2230/00—Measuring parameters of the user
    • A61M2230/08—Other bio-electrical signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2230/00—Measuring parameters of the user
    • A61M2230/40—Respiratory characteristics
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2230/00—Measuring parameters of the user
    • A61M2230/50—Temperature

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Psychiatry (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Psychology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Computer Hardware Design (AREA)
  • Biophysics (AREA)
  • Medical Informatics (AREA)
  • Social Psychology (AREA)
  • Surgery (AREA)
  • Hospice & Palliative Care (AREA)
  • Educational Technology (AREA)
  • Developmental Disabilities (AREA)
  • Child & Adolescent Psychology (AREA)
  • Computer Graphics (AREA)
  • Pathology (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Anesthesiology (AREA)
  • Hematology (AREA)
  • User Interface Of Digital Computer (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

本申请适用于混合现实技术领域，提供了一种混合现实的心理治疗方法、装置、服务器以及计算机可读存储介质，该方法包括：获取患者的目标语音信息；获取患者的现实场景数据；根据目标语音信息以及现实场景数据，生成混合现实场景数据；发送混合现实场景数据至混合现实设备，以指示混合现实设备播放与混合现实场景数据对应的第一3D画面至患者。可见，服务器可以通过混合现实设备给予患者沉浸式的体验，一方面，由于结合了现实场景，在生成虚拟场景过程中节约了模型构建成本，另一方面，沉浸式的体验提高了对患者的治疗效果。

Description

基于混合现实的心理治疗方法、装置、系统及服务器
技术领域
本申请属于混合现实技术领域，尤其涉及一种混合现实的心理治疗方法、装置、系统、服务器以及计算机可读存储介质。
背景技术
随着社会的进步，越来越多的人们存在心理问题，其中，创伤伤后应激障碍（posttraumatic stress disorder, PTSD）给人们带来得困扰尤为突出，PTSD是一种焦虑障碍，它是在个体经历或目睹对生命或躯体完整性产生实际的或者感觉到威胁的事件后所可能产生的疾病。人们对于这类事件的反应通常是恐惧、惊骇或无助，会产生一系列不正常的症状表现如意识范围受局限、注意力狭窄、不能领会外在刺激、出现定向错误等急性应激反应和急性应激障碍会出现的症状，也会出现反复重现创伤性体验、持续的警觉性增高、对与刺激相似或有关情景的回避、社会适应障碍、心理崩溃不能自制等典型的症状表现。并且创伤后应激障碍患者通常有很高的可能性患上其他精神障碍，也更容易出现健康问题。创伤后应激障碍还会导致糟糕的生活质量和巨大的经济损失。因此，创伤后应激障碍不仅引起患者的心理痛苦，也会给公共卫生和经济带来影响，所以，治疗师们研究出很多治疗方法，诸如压力免疫训练（SIT）、认知加工疗法（CPT）、眼动脱敏与再加工（EMDR）与延长暴露疗法（PE）等。而延长暴露疗法（PE）已经被证明是PTSD最有效的治疗方法之一。
PE分为三个阶段，第一阶段的主要任务是搜集资料，建立关系，初步评估，介绍PTSD及PE原理，构建恐惧等级，学习放松训练；第二阶段是45-60分钟的想象暴露治疗和30分钟的现场暴露治疗，其中要引导患者在创伤情景中学会放松；第三阶段是治疗结束阶段，总结讨论在未来如何面对再次出现的情景，布置家庭训练，让患者自己进行想象暴露训练，以提高面对创伤经历和创伤情景的能力。完成以上三个阶段，个体会因为通过想象创伤事件的情景或直接在创伤记忆下的暴露，寻找到安全感和减少认知偏差，降低回避行为，从而使得对创伤记忆的恐惧情绪也得以缓解，给予与创伤记忆相类似的刺激一个新的意义。
但是，现有技术的心理治疗过程中，只能依靠治疗师的话语间接引导患者进行想象暴露或者布置简单的场景进行现实暴露，普适性较差，对于一些创伤较为严重的患者起不到有效的治疗作用。
发明内容
本申请实施例提供了一种基于混合现实的心理治疗方法、装置、服务器以及计算机可读存储介质，可以解决现有技术的心理治疗过程中，只能依靠治疗师的话语间接引导患者进行想象暴露或者布置简单的场景进行现实暴露，普适性较差，对于一些创伤较为严重的患者起不到有效的治疗作用的问题。
第一方面，本申请实施例提供了一种基于混合现实的心理治疗方法，包括：
获取患者的目标语音信息，其中，所述目标语音信息为表征患者描述的创伤事件的信息；
获取所述患者的现实场景数据，所述现实场景数据为所述患者所处的现实场景对应的数据；
根据所述目标语音信息以及所述现实场景数据，生成混合现实场景数据；
发送所述混合现实场景数据至混合现实设备，以指示所述混合现实设备播放与所述混合现实场景数据对应的第一3D画面至患者。
在第一方面的一种可能的实现方式中，获取患者的目标语音信息之前，还包括：
确定出所述患者处于目标状态；
获取所述患者处于目标状态时对应的第一综合特征。
在第一方面的一种可能的实现方式中，发送所混合现实场景数据至混合现实设备，所述混合现实场景用于指示所述混合现实设备播放与所述混合现实场景数据对应的3D画面至患者之后，还包括：
在所述混合现实设备播放与所述混合现实场景数据对应的3D画面至所述患者时，获取所述患者的第二综合特征；
根据所述第一综合特征与所述第二综合特征的对比结果，确定所述混合现实场景数据中的目标混合现实场景数据；
发送所述目标混合现实场景数据至所述混合现实场景设备，以指示所述混合现实场景设备播放与所述目标混合现实场景数据对应的第二3D画面至患者。
在第一方面的一种可能的实现方式中，获取所述患者的现实场景数据，包括：
获取摄像装置采集的所述患者所处的现实场景对应的图像数据；
根据所述图像数据构建所述患者的现实场景数据。
在第一方面的一种可能的实现方式中，根据所述目标语音信息以及所述患者所处的现实环境的空间场景信息生成混合现实场景数据，包括：
查找与所述目标语音信息对应的目标文本信息；
从预设的模型数据库查找与所述目标文本信息匹配的混合现实元素数据，其中，所述混合现实场景数据包括至少一个混合现实元素数据；
基于所述患者的现实场景数据，确定所述混合现实元素数据对应的数量信息和位置信息；
基于所述患者所处的现实环境的空间信息，以及所述混合现实元素数据对应的数量信息和位置信息，得到混合现实场景数据。
在第一方面的一种可能的实现方式中，从预设的模型数据库查找与所述目标文本信息匹配的混合现实元素数据，包括：
识别目标文本信息中场景描述信息；
对所述场景描述信息进行分类，得到所述场景描述信息中的分类信息；
识别所述预设的模型数据库中每个模型数据对应的标签信息；
将与所述分类信息匹配的标签信息对应的模型数据作为混合现实元素数据。
第二方面，本申请实施例提供了一种基于混合现实的心理治疗装置，包括：
第一获取模块71，用于获取患者的目标语音信息，其中，所述目标语音信息为表征患者描述的创伤事件的信息；
第二获取模块72，用于获取所述患者的现实场景数据，所述现实场景数据为所述患者所处的现实场景对应的数据；
生成模块73，用于根据所述目标语音信息以及所述现实场景数据，生成混合现实场景数据；
发送模块74，用于发送所述混合现实场景数据至混合现实设备，以指示所述混合现实设备播放与所述混合现实场景数据对应的第一3D画面至患者。
在第二方面的一种可能的实现方式中，所述装置还包括：
获取患者的目标语音信息之前，还包括：
确定模块，用于确定出所述患者处于目标状态；
第三获取模块，用于获取所述患者处于目标状态时对应的第一综合特征。
在第二方面的一种可能的实现方式中，所述装置还包括：
第四获取模块，用于在所述混合现实设备播放与所述混合现实场景数据对应的3D画面至所述患者时，获取所述患者的第二综合特征；
对比模块，用于根据所述第一综合特征与所述第二综合特征的对比结果，确定所述混合现实场景数据中的目标混合现实场景数据；
发送模块，用于发送所述目标混合现实场景数据至所述混合现实场景设备，以指示所述混合现实场景设备播放与所述目标混合现实场景数据对应的第二3D画面至患者。
在第二方面的一种可能的实现方式中，所述第二获取模块包括：
获取单元，用于获取摄像装置采集的所述患者所处的现实场景对应的图像数据；
构建单元，用于根据所述图像数据构建所述患者的现实场景数据。
在第二方面的一种可能的实现方式中，所述生成模块包括：
查找单元，用于查找与所述目标语音信息对应的目标文本信息；
匹配单元，用于从预设的模型数据库查找与所述目标文本信息匹配的混合现实元素数据，其中，所述混合现实场景数据包括至少一个混合现实元素数据；
确定单元，用于基于所述患者的现实场景数据，确定所述混合现实元素数据对应的数量信息和位置信息；
生成单元，用于基于所述患者所处的现实环境的空间信息，以及所述混合现实元素数据对应的数量信息和位置信息，得到混合现实场景数据。
在第二方面的一种可能的实现方式中，所述查找单元包括：
第一识别子单元，用于识别目标文本信息中场景描述信息；
分类子单元，用于对所述场景描述信息进行分类，得到所述场景描述信息中的分类信息；
第二识别子单元，用于识别所述预设的模型数据库中每个模型数据对应的标签信息；
确定子单元，用于将与所述分类信息匹配的标签信息对应的模型数据作为混合现实元素数据。
第三方面，本申请试实施例提供了一种基于混合现实的心理治疗系统，包括：
采集装置，用于采集患者的目标语音信息；
服务器，用于获取患者的目标语音信息，其中，所述目标语音信息为表征患者描述的创伤事件的信息；获取所述患者的现实场景数据，所述现实场景数据为所述患者所处的现实场景对应的数据；根据所述目标语音信息以及所述现实场景数据，生成混合现实场景数据；发送所述混合现实场景数据至混合现实设备，以指示所述混合现实设备播放与所述混合现实场景数据对应的第一3D画面至患者；发送混合现实场景数据至用户终端，以指示所述用户终端显示与所述混合现实场景数据对应的2D画面至治疗师；
用户终端，用于接收服务器发送的混合现实场景数据，显示与所述混合现实场景数据对应的2D画面至治疗师；根据治疗师的人机交互信息生成对应的操作指令，发送操作指令至混合现实设备，以指示混合现实设备执行与操作指令对应的播放操作；
混合现实设备用于接收服务器发送的混合现实场景数据，播放与混合现实场景数据对应的第一3D画面至患者；接收用户终端发送的操作指令，执行与操作指令对应的播放操作。
第四方面，本申请实施例提供了一种服务器，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面所述的方法。
第五方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述第一方面所述的方法。
本申请实施例与现有技术相比存在的有益效果是：
本申请实施例中，服务器可以通过混合现实设备给予患者沉浸式的体验，一方面，由于结合了现实场景，在生成虚拟场景过程中节约了模型构建成本，另一方面，沉浸式的体验提高了对患者的治疗效果。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的基于混合现实的心理治疗系统的结构示意图；
图2是本申请实施例提供的基于混合现实的心理治疗方法的流程示意图；
图3是为本申请实施例提供的基于混合现实的心理治疗方法的图2中步骤S201之前的流程示意图；
图4是本申请实施提供的基于混合现实的心理治疗方法的图2中步骤S202的具体流程示意图；
图5是本申请实施例提供的基于混合现实的心理治疗方法的图2中步骤S203的具体流程示意图；
图6是本申请实施例提供的基于混合现实的心理治疗方法的图2中步骤S204之后的流程示意图；
图7是本申请实施例提供的基于混合现实的心理治疗装置的结构示意图；
图8是本申请实施例提供的服务器的结构示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。
应当理解，当在本申请说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
如在本申请说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
另外，在本申请说明书和所附权利要求书的描述中，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。
需说明的是，本申请实施例的应用场景是治疗师给患有PTSD症状的患者进行暴露治疗的过程中，治疗师通过混合现实设备播放与患者经历过的创伤事件对应的画面至患者，患者会因为通过想象创伤事件的情景或直接在创伤记忆下的暴露，寻找到安全感和减少认知偏差，降低回避行为，从而使得对创伤记忆的恐惧情绪也得以缓解，给予与创伤记忆相类似的刺激一个新的意义，达到对患者进行治疗的目的。
下面根据各个实施例对本方案进行详细介绍。
参见图1，为本申请实施例提供的基于混合现实的心理治疗系统1的结构示意图，包括服务器10、与服务器连接的采集装置20、与服务器连接的用户终端30，以及与服务器连接的混合现实设备40，此外，混合现实设备还与用户终端连接，其中，采集装置包括摄像装置、穿戴式采集装置以及音频采集装置等，优选的，摄像装置可以为深度摄像装置，用户终端包括手机或者笔记本等移动终端，服务器包括后台服务器或者云服务器，例如GPU服务器等计算设备，混合现实设备可以是Microsoft HoloLens 2型号的混合现实设备，也可以是其它型号的混合现实设备，例如Action One型号的混合现实设备，即本申请实施例对混合现实设备的型号不作限制，用户终端可以是手机、电脑等计算设备。
采集装置用于采集患者的目标语音信息、患者的生理特征，例如脉搏、呼吸、汗液、心率、皮电以及体温等生理特征、患者的脸部图片、肢体动作视频等。另外，采集装置还用于采集患者所处的现实场景对应的图像数据。
服务器用于从采集装置获取患者的目标语音信息，其中，目标语音信息为表征患者描述的创伤事件的信息；从采集装置获取患者所处的现实场景对应的图像数据；根据目标语音信息以及现实场景图像数据，生成混合现实场景数据；发送混合现实场景数据至混合现实设备，混合现实场景数据用于指示混合现实设备播放与混合现实场景数据对应的第一3D画面至患者；服务器还用于发送混合现实场景数据至用户终端，以指示用户终端显示与混合现实场景数据对应的2D画面至治疗师。
用户终端用于接收服务器发送的混合现实场景数据，显示与混合现实场景数据对应的2D画面至治疗师；根据治疗师的人机交互信息生成对应的操作指令，发送操作指令至混合现实设备，以指示混合现实设备执行与操作指令对应的播放操作。
其中，人机交互信息可以是治疗师的语音信息以及动作信息等。
混合现实设备用于接收服务器发送的混合现实场景数据，播放与混合现实场景数据对应的第一3D画面至患者；接收用户终端发送的操作指令，执行与操作指令对应的播放操作。
优选的，基于混合现实的心理治疗系统还包括触觉传感器、扬声器、嗅觉传感器（图中未示出）等。
用户终端还用于发送操作指令至触觉传感器，以指示触觉传感器向患者执行与操作指令对应的触发操作，例如，触发传感器是脉冲发生器，触发操作可以是脉冲震动；用户终端还用于发送操作指令至扬声器，以指示扬声器向患者播放与操作指令对应的声音至患者；用户终端还用于发送操作指令至嗅觉传感器，以指示嗅觉传感器向患者释放与操作指令对应的气味。
触觉传感器用于向患者执行与操作指令对应的触发操作。
扬声器用于向扬声器向患者播放与操作指令对应的声音至患者。
嗅觉传感器用于向患者释放与操作指令对应的气味。
可以理解的是，本申请实施例，在混合现实设备播放与混合现实数据对应的3D画面至患者的同时，还有触觉传感器向患者在执行触发操作，扬声器播发声音至患者，嗅觉传感器释放与操作指令对应的气味至患者，从视觉、听觉、触觉以及嗅觉等给予患者沉浸式的体验，提高治疗效果。
本申请实施例中，混合现实设备在播放与混合现实场景数据对应的3D画面时，治疗师可以通过用户终端实时查看与混合现实数据对应的2D画面，并且治疗师可以通过用户终端实时控制混合现实设备的播放操作，保障了治疗效果。
参见图2，为本申请实施例提供的基于混合现实的心理治疗方法的流程示意图，该方法应用于上述实施例的服务器，该方法包括以下步骤：
步骤S201、获取患者的目标语音信息。
其中，目标语音信息为表征患者描述的创伤事件的信息。
具体应用中，服务器实时获取采集装置采集的患者的语音信息，从语音信息中识别出目标语音信息。例如，对获取到的患者的语音信息进行预处理，例如预加重、分帧加窗等，然后进行梅尔频率倒谱提取语音特征，根据语音特征输入到预设的语音特征模型例如通过循环神经网络提前训练得到的，得到患者的文本信息；对文本信息进行切词处理，得到构成文本信息的分词，然后在预设的词向量数据库例如根据word2vec模型、fastText模型或者glove模型训练得到的词向量数据库查找出每个分词对应的向量，对每个分词的向量与预先设定的患者描述创伤事件对应的向量进行相似度计算，例如余弦相似度计算，得到相似度值，若相似度值大于相似度阈值，则将相似度大于相似度阈值的语音信息确定为目标语音信息。
作为示例而非限定，参见图3，为本申请实施例提供的基于混合现实的心理治疗方法的图2中步骤S201之前的流程示意图，获取患者的语音信息之前包括：
步骤S301、确定出患者处于目标状态。
其中，目标状态可以是放松状态。
具体应用中，治疗师会通过话术引导患者进行放松，以便于后续通过混合现实设备对患者进行暴露治疗，话术可以是“将身体靠在椅背上，两腿打开，不要交叉。闭上眼睛。现在开始深深地呼吸，深呼吸5次,随着每次吸气、呼气,你都会更深地放松。第五次呼吸后,将注意力集中在你的的脚趾、脚跟、脚踝的感觉，感觉气息从这里呼出非常舒服……慢慢将这种放松的感觉在向上移动到小腿……感觉到你腿的重量,在向下沉,越来越重, 越来越重……感觉你的腿在放松……深深地放松……允许自己更深地进入这种深深的、沉重的、放松的状态，同时感到腹部的肌肉在放松，深深地放松，整个胸部浸透这种放松。呼吸变得很深、很轻柔、有节奏，体会这种放松的感觉……”，那么，患者在放松过程中，会出现身体直立、双腿打开、胸膛起伏较大等动作特征。服务器可以通过从大数据获取与患者处放松状态下相同的动作特征，根据每个动作特征分别训练对应的分类器，然后，服务器在获取到采集装置发送的患者的肢体动作视频后，通过预先训练的分类器从患者的肢体动作视频中识别出有与患者处于放松状态下对应的的动作特征，服务器在每个分类器识别出对应的动作特征时，生成与分类器对应的标签向量，例如，假设动作特征总共有3个，3个分类器也都将动作特征识别出来了，那么可以得到标签向量为[001]、[010]以及[100],最后将得到的标签向量输入至预设的逻辑回归模型中，输出得分值，得分值为1即确定患者处于放松状态，得分值为0即确定患者处于非放松状态。其中，分类器包括K-近邻算法、支持向量机、朴素贝叶斯等。
步骤S302、获取患者处于目标状态时对应的第一综合特征。
其中，第一综合特征包括表情特征、动作特征以及生理特征等。具体应用中，服务器通过摄像装置采集患者的脸部图片，输入预先训练好的神经网络模型中，例如卷积神经网络中识别出患者的表情特征，其中，表情特征包括恐惧、高兴、悲伤、愤怒、惊奇、接受、警惕、憎恨等，摄像装置可以优选为深度摄像装置；服务器还通过摄像装置采集患者的肢体行为视频，通过预先设置的分类器识别患者的动作特征，识别过程与步骤S301中相同，在此不再赘述；服务器通过穿戴式装置采集患者的生理特征，例如，脉搏、呼吸、汗液、心率、皮电、体温等。
可以理解的是，本申请实施例获取在患者处于目标状态时对应的第一综合特征，以便后续作为后续获取患者的综合特征之后，与第一综合特征进行比较。
步骤S202、获取患者的现实场景数据。
其中，现实场景数据为患者处于的现实场景对应的数据，现实场景数据为3D场景数据。
作为示例而非限定，参见图4，为本申请实施提供的基于混合现实的心理治疗方法的图2中步骤S202的具体流程示意图，获取患者的现实场景数据包括：
步骤S401、获取摄像装置采集的患者所处的现实场景对应的图像数据。
其中，摄像装置优选为深度摄像机；图像数据可以是RGB格式的图像数据。
步骤S402、根据图像数据构建患者的现实场景数据。
具体应用中，服务器可以通过kinectfusion算法，对图像数据进行深度测量、更新重建、表面预测、以及姿势预测，得到现实场景数据，其中，现实场景数据对应于现实场景，包括物品、墙面等。
可以理解的是，本申请实施例可以根据患者的现实场景数据得到混合现实场景数据。
步骤S203、根据目标语音信息以及现实场景数据，生成混合现实场景数据。
作为示例而非限定，参见图5，为本申请实施例提供的基于混合现实的心理治疗方法的图2中步骤S203的具体流程示意图，根据目标语音信息以及现实场景数据，生成混合现实场景数据包括：
步骤S501、查找与目标语音信息对应的目标文本信息。
具体应用中，服务器采用与步骤S201中相同的方式，得到语音信息对应的文本信息，确定出语音信息中的目标语音信息，然后根据目标语音信息在文本信息中查找对应的目标文本信息，例如采用正则表达式等方式查找出目标文本信息。
步骤S502、从预设的模型数据库查找与目标文本信息匹配的混合现实元素数据。
其中，混合现实场景数据包括至少一个混合现实元素数据。
例如，应用场景为患者经历过911事件后患上的PTSD症状，那么，混合现实场景数据包括坍塌的建筑对应的混合现实元素数据、惊慌的人群对应的混合现实场景数据以及陷入大厦的飞机对应的混合现实场景数据等。
示例性地，从预设的模型数据库查找与目标文本信息匹配的混合现实元素数据，具体包括以下步骤：
第一步、识别目标文本信息中场景描述信息。
其中，场景描述信息是指患者描述创伤事件关键信息。
具体应用中，服务器通过预先训练的有限状态机对文本信息进行分段，然后再通过正则表达式查找出每个段落对应的场景描述信息。
第二步、对场景描述信息进行分类，得到场景描述信息中的分类信息。
其中，分类信息包括任务、行为、方向、目标以及地点等。
具体应用中，服务器通过预先训练的支持向量机对场景描述信息进行分类，得到分类信息。其中，分类信息可以具体为一个特征向量。
第三步、识别预设的模型数据库中每个模型数据对应的标签信息。
其中，标签信息可以是指每个模型数据对应的特征向量，预设的模型数据库包括3D模型、动画模型、天气模型以及嗅觉模型等场景模型数据。
第四步、将与分类信息匹配的标签信息对应的模型数据作为混合现实元素数据。
具体应用中，可以对分类信息与标签信息之间进行余弦距离、欧式距离、或者杰卡德相似度计算，将相似度大于相似度阈值的标签信息对应的模型数据作为混合现实元素数据。
步骤S503、基于患者的现实场景数据，确定混合现实元素数据对应的数量信息和位置信息。
具体应用中，服务器可以通过K-means临近算法对混合现实元素数据与现实场景数据之间进行匹配分析，以确定混合现实元素数据的数量信息和位置信息。例如，现实场景数据对应的是房间和房间里面的桌子，那么，混合现实元素数据对应的可以使房子里面桌子上的杯子以及杯子的数量。
步骤S504、基于患者所处的现实环境的空间信息，以及混合现实元素数据对应的数量信息和位置信息，得到混合现实场景数据。
具体应用中，服务器可以基于混合现实设备的外部插件，通过动画编辑器将现实环境的空间信息与混合现实元素数据之间进行融合，得到混合现实场景数据。
步骤S204、发送混合现实场景数据至混合现实设备。
其中，混合现实场景用于指示混合现实设备播放与混合现实场景数据对应的第一3D画面至患者。
在一种可能的实现方式中，参见图6，为本申请实施例提供的基于混合现实的心理治疗方法的图2中步骤S204之后的流程示意图，发送所混合现实场景数据至混合现实设备，混合现实场景用于指示混合现实设备播放与混合现实场景数据对应的3D画面至患者之后，还包括：
步骤S601、在混合现实设备播放与混合现实场景数据对应的3D画面至患者时，获取患者的第二综合特征。
其中，第二综合特征包括表情特征、动作特征以及生理特征等。具体应用中，服务器通过摄像装置采集患者的脸部图片，输入预先训练好的神经网络模型中，例如卷积神经网络中识别出患者的表情特征，其中，表情特征包括恐惧、高兴、悲伤、愤怒、惊奇、接受、警惕、憎恨等，摄像装置可以优选为深度摄像装置；服务器还通过摄像装置采集患者的肢体行为视频，通过预先设置的分类器识别患者的动作特征，识别过程与步骤S301中相同，在此不再赘述，动作特征包括退后、下蹲等动作；服务器通过穿戴式装置采集患者的生理特征，例如，脉搏、呼吸、汗液、心率、皮电、体温等。
步骤S602、根据第一综合特征与第二综合特征的对比结果，确定混合现实场景数据中的目标混合现实场景数据。
具体应用中，先对第一综合特征中每个特征进行编码，编码方式可以独热编码，由于每个特征中的维度数量不同，取维度最高的维度数量，得到每个特征对应的编码值，例如，表情特征的编码值可以是[00000010]，动作特征的编码值可以是[00001000] ，生理特征的编码值是[0100000000]，其中，脉搏大于预设脉搏值计为1，小于预设脉搏值为0，呼吸、汗液、心率、皮电、体温等取值，以此类推，得到生理特征的编码值，然后给每个特征的编码值设置预设权重，取特征与预设权重之间乘积后的平均值作为第一综合特征；
相对应的，对第二综合特征中每个特征进行编码的方式与第一综合特征中每个特征的编码方式相同。
然后，对第一综合特征与第二综合特征之间进行余弦距离、欧式距离、或者杰卡德相似度计算，得到相似度值，在相似度值大于相似度阈值时，确定混合现实场景数据中的目标混合现实场景数据。
可以理解的是，本申请实施例，可以对患者的综合特征进行全方位检测，在检测患者查看混合现实设备播放的3D画面前后的综合特征之间存在差异时，可以进一步确定3D画面中患者敏感的应激画面，即对应于目标混合现实场景数据，那么，后面可以再次播放目标混合现实场景数据对应的3D画面至患者，进一步提高治疗效果。
步骤S603、发送目标混合现实场景数据至混合现实场景设备。
其中，目标混合现实场景数据用于指示混合现实场景设备播放与目标混合现实场景数据对应的第二3D画面至患者。
本申请实施例中，服务器可以通过混合现实设备给予患者沉浸式的体验，一方面，由于结合了现实场景，在生成虚拟场景过程中节约了模型构建成本，另一方面，沉浸式的体验提高了对患者的治疗效果。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
对应于上文实施例所述的基于混合现实的心理治疗方法，图7示出了本申请实施例提供的基于混合现实的心理治疗装置的结构框图，为了便于说明，仅示出了与本申请实施例相关的部分。
参照图7，该装置包括：
第一获取模块71，用于获取患者的目标语音信息，其中，所述目标语音信息为表征患者描述的创伤事件的信息；
第二获取模块72，用于获取所述患者的现实场景数据，所述现实场景数据为所述患者所处的现实场景对应的数据；
生成模块73，用于根据所述目标语音信息以及所述现实场景数据，生成混合现实场景数据；
发送模块74，用于发送所述混合现实场景数据至混合现实设备，以指示所述混合现实设备播放与所述混合现实场景数据对应的第一3D画面至患者。
在一种可能的实现方式中，所述装置还包括：
获取患者的目标语音信息之前，还包括：
确定模块，用于确定出所述患者处于目标状态；
第三获取模块，用于获取所述患者处于目标状态时对应的第一综合特征。
在一种可能的实现方式中，所述装置还包括：
第四获取模块，用于在所述混合现实设备播放与所述混合现实场景数据对应的3D画面至所述患者时，获取所述患者的第二综合特征；
对比模块，用于根据所述第一综合特征与所述第二综合特征的对比结果，确定所述混合现实场景数据中的目标混合现实场景数据；
发送模块，用于发送所述目标混合现实场景数据至所述混合现实场景设备，以指示所述混合现实场景设备播放与所述目标混合现实场景数据对应的第二3D画面至患者。
在一种可能的实现方式中，所述第二获取模块包括：
获取单元，用于获取摄像装置采集的所述患者所处的现实场景对应的图像数据；
构建单元，用于根据所述图像数据构建所述患者的现实场景数据。
在一种可能的实现方式中，所述生成模块包括：
查找单元，用于查找与所述目标语音信息对应的目标文本信息；
匹配单元，用于从预设的模型数据库查找与所述目标文本信息匹配的混合现实元素数据，其中，所述混合现实场景数据包括至少一个混合现实元素数据；
确定单元，用于基于所述患者的现实场景数据，确定所述混合现实元素数据对应的数量信息和位置信息；
生成单元，用于基于所述患者所处的现实环境的空间信息，以及所述混合现实元素数据对应的数量信息和位置信息，得到混合现实场景数据。
在一种可能的实现方式中，所述查找单元包括：
第一识别子单元，用于识别目标文本信息中场景描述信息；
分类子单元，用于对所述场景描述信息进行分类，得到所述场景描述信息中的分类信息；
第二识别子单元，用于识别所述预设的模型数据库中每个模型数据对应的标签信息；
确定子单元，用于将与所述分类信息匹配的标签信息对应的模型数据作为混合现实元素数据。
需要说明的是，上述装置/单元之间的信息交互、执行过程等内容，由于与本申请方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。
图8为本申请一实施例提供的服务器的结构示意图。如图8所示，该实施例的服务器8包括：至少一个处理器808、存储器61以及存储在所述存储器81中并可在所述至少一个处理器80上运行的计算机程序82，所述处理器80执行所述计算机程序82时实现上述任意各个基于混合现实的心理治疗方法实施例中的步骤。
所述服务器8可以是云端服务器等计算设备。该服务器可包括，但不仅限于，处理器80、存储器81。本领域技术人员可以理解，图8仅仅是服务器8的举例，并不构成对服务器8的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如还可以包括输入输出设备、网络接入设备等。
所称处理器80可以是中央处理单元(Central Processing Unit，CPU)，该处理器80还可以是其他通用处理器、数字信号处理器 (Digital Signal Processor，DSP)、专用集成电路 (Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA) 或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器81在一些实施例中可以是所述服务器8的内部存储单元，例如服务器8的硬盘或内存。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现可实现上述各个方法实施例中的步骤。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (9)

1.一种基于混合现实的心理治疗装置，其特征在于，包括：第一获取模块，用于获取患者的目标语音信息，其中，所述目标语音信息为表征患者描述的创伤事件的信息；第二获取模块，用于获取所述患者的现实场景数据，所述现实场景数据为所述患者所处的现实场景对应的数据；生成模块，用于根据所述目标语音信息以及所述现实场景数据，生成混合现实场景数据；发送模块，用于发送所述混合现实场景数据至混合现实设备，以指示所述混合现实设备播放与所述混合现实场景数据对应的第一3D画面至患者。
2.如权利要求1所述的基于混合现实的心理治疗装置，其特征在于，所述装置，还包括：
确定模块，用于确定出所述患者处于目标状态；
第三获取模块，用于获取所述患者处于目标状态时对应的第一综合特征。
3.如权利要求2所述的基于混合现实的心理治疗装置，其特征在于，所述装置，还包括：
第四获取模块，用于在所述混合现实设备播放与所述混合现实场景数据对应的3D画面至所述患者时，获取所述患者的第二综合特征；
对比模块，用于根据所述第一综合特征与所述第二综合特征的对比结果，确定所述混合现实场景数据中的目标混合现实场景数据；
发送模块，用于发送所述目标混合现实场景数据至所述混合现实场景设备，以指示所述混合现实场景设备播放与所述目标混合现实场景数据对应的第二3D画面至患者。
4.如权利要求1所述的基于混合现实的心理治疗装置，其特征在于，所述第二获取模块，包括：
获取单元，用于获取摄像装置采集的所述患者所处的现实场景对应的图像数据；
构建单元，用于根据所述图像数据构建所述患者的现实场景数据。
5.如权利要求1所述的基于混合现实的心理治疗装置，其特征在于，所述生成模块，包括：
查找单元，用于查找与所述目标语音信息对应的目标文本信息；
匹配单元，用于从预设的模型数据库查找与所述目标文本信息匹配的混合现实元素数据，其中，所述混合现实场景数据包括至少一个混合现实元素数据；
确定单元，用于基于所述患者的现实场景数据，确定所述混合现实元素数据对应的数量信息和位置信息；
生成单元，用于基于所述患者所处的现实环境的空间信息，以及所述混合现实元素数据对应的数量信息和位置信息，得到混合现实场景数据。
6.如权利要求5所述的基于混合现实的心理治疗装置，其特征在于，所述查找单元，包括：
第一识别子单元，用于识别目标文本信息中场景描述信息；
分类子单元，用于对所述场景描述信息进行分类，得到所述场景描述信息中的分类信息；
第二识别子单元，用于识别所述预设的模型数据库中每个模型数据对应的标签信息；
确定子单元，用于将与所述分类信息匹配的标签信息对应的模型数据作为混合现实元素数据。
7.一种基于混合现实的心理治疗系统，其特征在于，包括：
采集装置，用于采集患者的目标语音信息；
服务器，用于获取患者的目标语音信息，其中，所述目标语音信息为表征患者描述的创伤事件的信息；获取所述患者的现实场景数据，所述现实场景数据为所述患者所处的现实场景对应的数据；根据所述目标语音信息以及所述现实场景数据，生成混合现实场景数据；发送所述混合现实场景数据至混合现实设备，以指示所述混合现实设备播放与所述混合现实场景数据对应的第一3D画面至患者；发送混合现实场景数据至用户终端，以指示所述用户终端显示与所述混合现实场景数据对应的2D画面至治疗师；
用户终端，用于接收服务器发送的混合现实场景数据，显示与所述混合现实场景数据对应的2D画面至治疗师；根据治疗师的人机交互信息生成对应的操作指令，发送操作指令至混合现实设备，以指示混合现实设备执行与操作指令对应的播放操作；
混合现实设备用于接收服务器发送的混合现实场景数据，播放与混合现实场景数据对应的第一3D画面至患者；接收用户终端发送的操作指令，执行与操作指令对应的播放操作。
8.一种服务器，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现以下步骤：
获取患者的目标语音信息，其中，所述目标语音信息为表征患者描述的创伤事件的信息；
获取所述患者的现实场景数据，所述现实场景数据为所述患者所处的现实场景对应的数据；
根据所述目标语音信息以及所述现实场景数据，生成混合现实场景数据；
发送所述混合现实场景数据至混合现实设备，以指示所述混合现实设备播放与所述混合现实场景数据对应的第一3D画面至患者。
9.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现以下步骤：
获取患者的目标语音信息，其中，所述目标语音信息为表征患者描述的创伤事件的信息；
获取所述患者的现实场景数据，所述现实场景数据为所述患者所处的现实场景对应的数据；
根据所述目标语音信息以及所述现实场景数据，生成混合现实场景数据；
发送所述混合现实场景数据至混合现实设备，以指示所述混合现实设备播放与所述混合现实场景数据对应的第一3D画面至患者。
CN202010907335.7A 2020-09-02 2020-09-02 基于混合现实的心理治疗方法、装置、系统及服务器 Active CN112007255B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010907335.7A CN112007255B (zh) 2020-09-02 2020-09-02 基于混合现实的心理治疗方法、装置、系统及服务器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010907335.7A CN112007255B (zh) 2020-09-02 2020-09-02 基于混合现实的心理治疗方法、装置、系统及服务器

Publications (2)

Publication Number Publication Date
CN112007255A CN112007255A (zh) 2020-12-01
CN112007255B true CN112007255B (zh) 2021-04-13

Family

ID=73516331

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010907335.7A Active CN112007255B (zh) 2020-09-02 2020-09-02 基于混合现实的心理治疗方法、装置、系统及服务器

Country Status (1)

Country Link
CN (1) CN112007255B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112365956A (zh) * 2020-12-13 2021-02-12 龙马智芯（珠海横琴）科技有限公司 基于虚拟现实的心理治疗方法、装置、服务器及存储介质
CN112365957A (zh) * 2020-12-13 2021-02-12 龙马智芯（珠海横琴）科技有限公司 一种基于虚拟现实的心理治疗系统
CN112450932B (zh) * 2020-12-14 2022-10-21 深圳市艾利特医疗科技有限公司 一种心理障碍检测系统以及方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109841217A (zh) * 2019-01-18 2019-06-04 苏州意能通信息技术有限公司 一种基于语音识别的ar交互系统和方法
CN109949896A (zh) * 2019-03-01 2019-06-28 李丰 一种基于虚拟现实的心理检测治疗系统
CN111028919A (zh) * 2019-12-03 2020-04-17 北方工业大学 基于人工智能算法的恐惧症自我诊疗系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018182825A1 (en) * 2017-03-29 2018-10-04 Hrl Laboratories, Llc Transcranial currenty stimulation system and virtual reality for treatment of ptsd or fears

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109841217A (zh) * 2019-01-18 2019-06-04 苏州意能通信息技术有限公司 一种基于语音识别的ar交互系统和方法
CN109949896A (zh) * 2019-03-01 2019-06-28 李丰 一种基于虚拟现实的心理检测治疗系统
CN111028919A (zh) * 2019-12-03 2020-04-17 北方工业大学 基于人工智能算法的恐惧症自我诊疗系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
焦虑障碍的虚拟现实暴露疗法研究述评;王广新等;《心理科学进展》;20120815;第20卷(第8期);第1277-1283页 *
虚拟现实暴露疗法治疗创伤后应激反应障碍：科技新未来;李斯琦等;《中华灾害救援医学》;20190215;第7卷(第2期);第103-106页 *

Also Published As

Publication number Publication date
CN112007255A (zh) 2020-12-01

Similar Documents

Publication Publication Date Title
CN112007255B (zh) 基于混合现实的心理治疗方法、装置、系统及服务器
Iyer et al. Improvisation, action understanding, and music cognition with and without bodies
CN108938379A (zh) 一种自闭症康复教育人机互动强化训练系统
WO2021216881A1 (en) Method and system for using sensor data from rehabilitation or exercise equipment to treat patients via telemedicine
CN111986781B (zh) 基于人机交互的心理治疗装置和用户终端
CN113380271B (zh) 情绪识别方法、系统、设备及介质
CN111145871A (zh) 情绪干预方法、装置和系统，以及计算机可读存储介质
KR102152500B1 (ko) 발달장애 아동 언어치료 방법 및 장치
WO2018173383A1 (ja) 情報処理装置、情報処理方法、およびプログラム
US20230412995A1 (en) Advanced hearing prosthesis recipient habilitation and/or rehabilitation
CN113380234A (zh) 基于语音识别生成表单的方法、装置、设备及介质
Ko A broken heart from a wounded land: The use of Korean scarf dance as a dance/movement therapy intervention for a Korean woman with haan
Ali et al. Virtual reality as a physical training assistant
AU2021260953B2 (en) Method and system for using sensor data from rehabilitation or exercise equipment to treat patients via telemedicine
Elmaghraby et al. Serious games and health informatics: A unified framework
CN111654752B (zh) 多媒体信息播放方法、装置、电子设备及存储介质
CN116028624B (zh) 互动机器人的情感计算方法以及相关设备
Al-Qbilat Accessibility requirements for human-robot interaction for socially assistive robots
Cang et al. Discerning affect from touch and gaze during interaction with a robot pet
CN108986191B (zh) 人物动作的生成方法、装置及终端设备
Khurpade et al. The effect of virtual reality and heart rate variability using deep learning for reducing stage fright-Glossophobia
Tivatansakul et al. The design, implementation and evaluation of a relaxation service with facial emotion detection
Shamim Hossain et al. Cloud-oriented emotion feedback-based Exergames framework
CN115438168B (zh) 适用于虚拟机器人的自然语言数据处理方法及系统
WO2023162159A1 (ja) 動作生成装置、動作生成システム、動作生成方法、及び非一時的なコンピュータ可読媒体

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP02 Change in the address of a patent holder

Address after: 519031 office 1316, No. 1, lianao Road, Hengqin new area, Zhuhai, Guangdong

Patentee after: LONGMA ZHIXIN (ZHUHAI HENGQIN) TECHNOLOGY Co.,Ltd.

Address before: Room 417.418.419, building 20, creative Valley, 1889 Huandao East Road, Hengqin New District, Zhuhai City, Guangdong Province

Patentee before: LONGMA ZHIXIN (ZHUHAI HENGQIN) TECHNOLOGY Co.,Ltd.

CP02 Change in the address of a patent holder
PP01 Preservation of patent right

Effective date of registration: 20240718

Granted publication date: 20210413

PP01 Preservation of patent right