CN113961695A - 基于虚拟现实技术的对话文本推荐方法、装置及系统 - Google Patents

基于虚拟现实技术的对话文本推荐方法、装置及系统 Download PDF

Info

Publication number
CN113961695A
CN113961695A CN202111235718.5A CN202111235718A CN113961695A CN 113961695 A CN113961695 A CN 113961695A CN 202111235718 A CN202111235718 A CN 202111235718A CN 113961695 A CN113961695 A CN 113961695A
Authority
CN
China
Prior art keywords
text
user
dialog
dialog text
virtual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111235718.5A
Other languages
English (en)
Inventor
徐涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN202111235718.5A priority Critical patent/CN113961695A/zh
Publication of CN113961695A publication Critical patent/CN113961695A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/335—Filtering based on additional data, e.g. user or group profiles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3329—Natural language query formulation or dialogue systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3343—Query execution using phonetics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/70—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mental therapies, e.g. psychological therapy or autogenous training
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H80/00—ICT specially adapted for facilitating communication between medical practitioners or patients, e.g. for collaborative diagnosis, therapy or health monitoring

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Pathology (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Computation (AREA)
  • Child & Adolescent Psychology (AREA)
  • Developmental Disabilities (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychiatry (AREA)
  • Psychology (AREA)
  • Social Psychology (AREA)
  • Acoustics & Sound (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明公开了基于虚拟现实技术的对话文本推荐方法、装置及系统。基于虚拟现实技术的对话文本推荐方法包括：获取人机交互中用户的对话语料；对所述对话语料进行预处理；从预处理后的对话语料中提取出用户特征，所述用户特征包括用户文本特征，用户文本特征通过深度神经网络预训练模型从预处理后的对话语料中提取；将对话文本库中与所述用户特征的近似度最高的对话文本作为推荐的对话文本并输出。在获得用户人机交互的对话语料后，提取对话语料的文本特征，并推荐与文本特征的语义相似度最高的对话文本作为VR陪护的对话文本，能够自适应用户需求，提高用户体验。

Description

基于虚拟现实技术的对话文本推荐方法、装置及系统
技术领域
本发明涉及心理服务技术领域，特别是涉及一种基于虚拟现实技术的对话文本推荐方法、装置及系统。
背景技术
随着生活节奏加快，人们沟通交流减少，很多人感到孤单、焦虑，人们对精神上陪伴或聊天对话的需求增大。而目前市面上的AI交互机器人，大多是属于工具性质的，比如阿里巴巴的天猫精灵、小米的小艾机器人、苹果的siri助手等，都是以解决用户请求为主，包括搜索信息、控制物联网等，基本上是没有情感陪护作用的，并且这些AI交互机器人对话文本统一，无法根据不同用户匹配不同的对话文本，用户体验差。
冥想放松已经被多项实证研究证实具有减少个体焦虑、缓解抑郁水平等功能,并且也已经被揭示了促进情绪调节能力的认知神经科学机理。除了有助于治疗慢性疼痛、焦虑、皮肤病、抑郁症复发、失眠症、物质滥用、酒精依赖、饮食障碍、心脏疾病和癌症等心身疾病外，其在增强幸福感、怜悯和共情等方面也有一定作用。目前市面上的冥想产品大部分为纯音频形式，用户通过app或小程序获取冥想放松音频。而鲜有视听双通道的冥想放松产品。
我国的心理咨询与治疗始于20世纪80年代，主要在医疗系统、教育系统、社会机构这3种模式中发展。如果参照西方发达国家现有水平，即每1000到1500人对应一位专业心理咨询人员的比例，估算我国需要心理咨询与治疗工作者总数约为86万到130万，而目前我国在真正能够提供心理咨询与治疗的专业人员数量与质量上仍存在大大的不足。因此，提供一种自助式、线上全天的高质量心理咨询服务是一种现有供需市场下很好的技术补充。
除此之外，有关VR的产品质量也参差不齐，与心理技术相结合的产品更是少之又少。且几乎为单一产品功能的产品，如单独的VR暴露、VR放松、VR游戏等。
发明内容
本发明旨在至少解决现有技术中存在的技术问题，特别创新地提出了一种基于虚拟现实技术的对话文本推荐方法、装置及系统。
为了实现本发明的上述目的，根据本发明的第一个方面，本发明提供了一种基于虚拟现实技术的对话文本推荐方法，包括：获取人机交互中用户的对话语料；对所述对话语料进行预处理；从预处理后的对话语料中提取出用户特征，所述用户特征包括用户文本特征，所述用户文本特征通过深度神经网络预训练模型从预处理后的对话语料中提取；将对话文本库中与所述用户特征的近似度最高的对话文本作为推荐的对话文本并输出。
上述技术方案：在获得用户人机交互的对话语料后，提取对话语料的文本特征，并推荐与文本特征的语义相似度最高的对话文本作为VR陪护的对话文本，能够自适应用户需求，提高用户体验。
为了实现本发明的上述目的，根据本发明的第二个方面，本发明提供了一种用于VR陪护的对话文本推荐装置，包括：语料获取模块，用于获取人机交互中用户的对话语料；预处理模块，对所述对话语料进行预处理；用户特征提取模块，所述用户特征包括用户文本特征，通过深度神经网络预训练模型提取出预处理后的对话语料的文本特征；推荐模块，将对话文本库中与所述用户特征的近似度最高的对话文本作为推荐的对话文本并输出。
上述技术方案：该装置在获得用户人机交互的对话语料后，提取对话语料的文本特征，并推荐与文本特征的语义相似度最高的对话文本作为VR陪护的对话文本，能够自适应用户需求，提高用户体验。
为了实现本发明的上述目的，根据本发明的第三个方面，本发明提供了一种基于VR的情感陪护装置，包括可穿戴的VR设备、处理模块，所述处理模块控制VR设备形成可与用户对话的虚拟人物形象，并基于用户的对话语料按照本发明所述的基于虚拟现实技术的对话文本推荐方法获得推荐的对话文本，控制虚拟人物按照推荐的对话文本与用户对话。
上述技术方案：该情感陪护装置能够通过虚拟人物与用户对话聊天，实现VR方式的情感陪护，同时根据用户的对话语料，能够匹配出与对话语料的文本特征最相似的对话文本，虚拟人物使用推荐的文本与用户对话，将VR与情感陪护结合，使得用户获得更好的沉浸式陪护体验。
为了实现本发明的上述目的，根据本发明的第四个方面，本发明提供了一种心理服务系统，包括可穿戴的VR设备、输入设备、虚拟训练大厅生成模块、虚拟咨询房间生成模块和虚拟心理放松房间生成模块，虚拟训练大厅生成模块生成的训练大厅、虚拟咨询房间生成模块生成的咨询房间、虚拟心理放松房间生成模块生成的心理放松房间均可通过VR设备呈现给用户，用户通过输入设备在训练大厅、咨询房间、心理放松房间之间切换。
上述技术方案：本产品基于不同用户的不同心理服务需求，实现多个虚拟服务场景切换，形成了VR智能心理服务系统，利用人工智能和虚拟现实技术VR的优势，与正念训练技巧巧妙结合，以一种更易坚持和接受的方式，帮助个体逐步提升聚焦当下幸福的能力。
在本发明的一种优选实施方式中，所述虚拟咨询房间生成模块控制VR设备形成可与用户对话的虚拟人物形象，并基于用户的对话语料按照本发明第一方面的基于虚拟现实技术的对话文本推荐方法获得推荐的对话文本，控制虚拟人物按照推荐的对话文本与用户对话。
上述技术方案：通过虚拟人物与用户对话聊天，实现VR方式的情感陪护，同时根据用户的对话语料，能够匹配出与对话语料的文本特征最相似的对话文本，虚拟人物使用推荐的文本与用户对话，将VR与情感陪护结合，使得用户获得更好的沉浸式陪护体验。
附图说明
图1是本发明一具体实施方式中基于虚拟现实技术的对话文本推荐方法的流程示意图；
图2是本发明一具体实施方式中BERT预训练模型的网络结构示意图；
图3是本发明一具体实施方式中BLOCK层的结构示意图；
图4是本发明一具体实施方式中心理服务系统的结构框图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
在本发明的描述中，需要理解的是，术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
在本发明的描述中，除非另有规定和限定，需要说明的是，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是机械连接或电连接，也可以是两个元件内部的连通，可以是直接相连，也可以通过中间媒介间接相连，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。
本发明公开了一种基于虚拟现实技术的对话文本推荐方法，在一种优选实施方式中，包括：
步骤S01,获取人机交互中用户的对话语料；步骤S02,对该对话语料进行预处理，预处理的过程主要是清除对话语料中没有实际意义的内容，比如英文字符大小写形式转换、清洗掉空白符、过滤掉纯数字等。
步骤S03,通过深度神经网络预训练模型提取出预处理后的对话语料的文本特征；
步骤S04,将对话文本库中与该文本特征的语义近似度最高的对话文本作为推荐的对话文本并输出。
在本实施方式中，对话文本优选但不限于为VR虚拟人物向用户的一次或多次回话，比如用户说一句话后，VR虚拟人物的回话文本。在与用户交流过程中，可以每次回话时执行上述步骤S01到步骤S04获得回话文本。
在本实施方式中，为了节省从零开始训练语言处理模型所需要的时间、精力、知识和资源，优选的，深度神经网络预训练模型采用BERT预训练模型；所述BERT预训练模型为双向Transformer模型编码器，BERT预训练模型包括归一化网络层、注意力计算层、残差和全连接层。对Bert模型输出结果做平均池化处理得到对话语料的文本特征。
在本实施方式中，BERT预训练模型输出的文本特征通过(N1,seq_len,dim_size)序列特征表示。其中，N1表示模型训练批次大小，此处设置N1值为16，即每次使用16个训练样本计算更新模型参数；seq_len表示训练数据集中句子最大长度；dim_size表示文本中每一个token(令牌)特征维度，该值为512，即使用一个包含512个实数的向量表示token。
在本实施方式中，对话语料可为“我不开心”、“我压力很大”等语句。VR即虚拟现实(Virtual Reality，简称VR)。
在一种优选实施方式中，获取人机交互中用户的情绪特征，将情绪特征与所述用户文本特征进行融合并将融合结果作为用户特征。通过加入情绪特征，对应的，对话文本特征中也加入情绪标签，这样获得的对话文本更准确，用户体验更好。进一步优选的，在选择了对话文本后，我们实时获取用户的情绪特征，当用户情绪特征发生变化时，VR虚拟人物讲完当前对话文本后，重新匹配与当前情绪特征对应的对话文本。
在本实施方式中，融合方式优选但不限于为拼接用户文本特征和情绪特征。用户的情绪特征可基于对话语料的文本内容获得，如现有技术中公开号为CN107066568A的中国专利中公开的技术方案或者通过Bert预训练语言模型提取特征，或者根据用户语音数据获得情绪特征，比如根据音调高低、语速等来获取。
在本实施方式中，优选的，用户特征还可包括获取用户的年龄、性别等特征，用户的年龄、性别可根据人机交互中与用户沟通获得，并且把用户的年龄、性别作为特征拼接在用户特征中，对应的，对话文本的对话文本特征中也包括了适应年龄段、性别等，在搜寻对话文本过程中，还需要匹配年龄和性别来辅助选择合适的对话文本，这样获得对话文本更准确，用户体验效果更好。
在一种优选实施方式中，BERT预训练模型包括N个BLOCK层，BOLCK层的结构如图3所示，每个BOLCK层包括残差连接的自注意力计算层和全连接前馈网络层；在每个BOLCK层中，自注意力计算层的输出端与全连接前馈网络层的输入端连接。如图2所示，优选的，N为6。
在本实施方式中，如图3所示，残差连接是指自注意力计算层/全连接前馈网络层的最终输出为自注意力计算层/全连接前馈网络层的输入与自注意力计算层/全连接前馈网络层自身输出的差值。
在本实施方式中，如图3所示，优选的，在自注意力计算层和/或自注意力计算层之后分别设置有归一化层。
在本实施方式中，优选的，自注意力计算层输出的加权特征向量Z为：
Figure BDA0003317609890000071
其中，Q、K、V分别是根据输入词嵌套与BERT模型可学习矩阵相乘而来,dk表示模型训练前预指定的Q向量的维度大小，优选但不限于设置为64；全连接前馈网络层的输出结果为：FFN(Z)＝max(0,ZW1+b1)W2+b2；其中，W1、W2、b1、b2分别表示预设的模型可学习的第一权重、第二权重、第三权重、第四权重，在模型训练阶段通过拟合目标值学习获得权重，计算预测值与真实值损失，通过损失计算梯度更新权重，直到损失收敛趋于稳定。
在本实施方式中，优选的，获取对话文本库中对话文本与用户特征的近似度的过程包括：
当用户特征包括用户文本特征时，获取对话文本库中每个对话文本关联的文本特征，通过余弦公式计算对话文本关联的文本特征和对话语料的文本特征的相似度，并将获得的相似度作为对话文本与用户特征的近似度。在对话文本库中，优选的，通过BERT预训练模型提取出每个对话文本的文本特征，对话文本与其文本特征一一对应存储。
当用户特征为用户文本特征和情绪特征的融合结果时，获取对话文本库中每个对话文本的对话文本特征，对话文本特征融合了对话文本的文本特征和情绪标签，融合的方式优选但不限于为首尾拼接方式，通过余弦公式计算对话文本的对话文本特征和用户特征的相似度，并将获得的相似度作为对话文本与所述用户特征的近似度。在对话文本库中，优选的，通过BERT预训练模型提取出每个对话文本的文本特征，每个对话文本设置有情绪标签，将对话文本的文本特征和情绪标签融合，将融合结果作为对话文本的对话特征，对话文本与其对话特征一一对应存储。若要增加性别、年龄特征时，也可按照该方式进行融合获得对话特征，在此不再赘述。
在本实施方式中，余弦公式优选但不限于采用公开号为CN105488023A的中国专利中公开的向量余弦值计算公式。
在本实施方式中，优选的，获取对话文本库中对话文本与对话语料的文本特征的语义近似度的过程包括：获取对话文本库中每个对话文本的文本特征并记为第一文本特征；将对话语料的文本特征记为第二文本特征；通过余弦公式计算第二文本特征和第一文本特征的相似度，并将计算获得的相似度作为第二文本特征与第一文本特征对应的对话文本的语义近似度。
在本实施方式中，优选的，为了优化对话文本库，获取用户使用评价，将用户评价不好的对话文本删除，进行对话文本优化。
本发明还公开了一种用于VR陪护的对话文本推荐装置，在一种优选实施方式中，该推荐装置包括：语料获取模块，用于获取人机交互中用户的对话语料；预处理模块，对该对话语料进行预处理；用户特征提取模块，用户特征包括用户文本特征，通过深度神经网络预训练模型提取出预处理后的对话语料的文本特征；推荐模块，将对话文本库中与所述用户特征的近似度最高的对话文本作为推荐的对话文本并输出。
本发明还公开了一种基于VR的情感陪护装置，在一种优选实施方式中，该陪护装置包括可穿戴的VR设备、处理模块，处理模块控制VR设备形成可与用户对话的虚拟人物形象，并基于用户的对话语料按照本发明的基于虚拟现实技术的对话文本推荐方法获得推荐的对话文本，控制虚拟人物按照推荐的对话文本与用户对话。
在本实施方式中，VR设备优选但不限于为VR头盔或VR眼镜。优选的，VR设备上设置有VR显示器、耳机、麦克风、语义识别模块等，麦克风的输出端与语义识别模块的输入端连接，VR显示器、耳机和麦克风分别与处理模块连接。VR显示器优选但不限于为3D成像模组。处理模块与VR设备连接，具体的，处理模块分别与VR设备中的VR显示器、耳机、麦克风和语义识别模块连接，对话语料可通过VR设备获得，比如VR设备中的麦克风和语义识别模块。本发明还公开了一种心理服务系统，在一种优选实施方式中，该系统连接框图如图4所示，该系统包括可穿戴的VR设备、输入设备、虚拟训练大厅生成模块、虚拟咨询房间生成模块和虚拟心理放松房间生成模块；虚拟训练大厅生成模块生成的训练大厅、虚拟咨询房间生成模块生成的咨询房间、虚拟心理放松房间生成模块生成的心理放松房间均可通过VR设备呈现给用户，用户通过输入设备在训练大厅、咨询房间、心理放松房间之间切换。
在本实施方式中，输入设备优选但不限于为手柄、按键。当用户通过输入设备选择进入训练大厅后，将为用户显示咨询房间、心理放松房间功能介绍，心理训练大厅作为整个心理服务系统的中枢中心，起到介绍、功能分流等作用。
在本实施方式中，咨询房间引导用户进入一个基于3D的心理咨询室虚拟仿真房间，该心理咨询房间为用户营造了一个相对安全、私密且温馨的自由开放的互动空间。优选的，该咨询房间包括两个咨询功能，一个为固定咨询模式，用户在选择咨询师后，可选择感兴趣的咨询话题，常见的有“决策困难”、“压力叫停”、“提升沟通能力”等。选择话题后，咨询师会和用户进行一对一的智能对话，对话内容基于心理技术，在一问一答式的问答交互中提升心理素养以及应对能力。对话过程中，用户可以随时选择结束当前对话内容或者重新开启新的对话话题。另一个咨询功能为情感对话陪伴咨询。用户在选择咨询师后，会提供以人工智能技术为依托的高质量情感陪伴对话内容。
在本实施方式中，虚拟心理放松房间生成模块包括自然放松环境虚拟单元和音频单元，自然放松环境虚拟单元控制VR显示器输出虚拟的自然放松环境，比如日出、海边、海底世界等。同步地，音频单元控制VR设备的耳机输出舒缓音乐，形成3D沉浸式的环境可以让用户有更好地放松体验，视听双通道的放松方式可以较大程度地使用户身心得到放松。
在一种优选实施方式中，虚拟咨询房间生成模块控制VR设备形成可与用户对话的虚拟人物形象，并基于用户的对话语料按照本发明的基于虚拟现实技术的对话文本推荐方法获得推荐的对话文本，控制虚拟人物按照推荐的对话文本与用户对话。
本发明将人工智能、心理咨询和虚拟现实结合。将虚拟现实技术的沉浸性优势与心理学技术和人工智能巧妙结合，突破了现实环境、场景的局限，相较于传统的智能心理咨询更具沉浸性、私密性，更容易让用户坚持以获得最佳的效果。首次在虚拟现实中实现了多种心理智能服务的集合，可以根据用户需求进行智能心理咨询或心理放松的选择，为用户不同的心理服务需求提供针对性的解决方案。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。

Claims (10)

1.基于虚拟现实技术的对话文本推荐方法，其特征在于，包括：
获取人机交互中用户的对话语料；
对所述对话语料进行预处理；
从预处理后的对话语料中提取出用户特征，所述用户特征包括用户文本特征，所述用户文本特征通过深度神经网络预训练模型从预处理后的对话语料中提取；
将对话文本库中与所述用户特征的近似度最高的对话文本作为推荐的对话文本并输出。
2.如权利要求1所述的基于虚拟现实技术的对话文本推荐方法，其特征在于，还包括：
获取人机交互中用户的情绪特征，所述用户特征包括情绪特征和文本特征，将所述情绪特征与所述用户文本特征进行融合并将融合结果作为用户特征。
3.如权利要求1所述的基于虚拟现实技术的对话文本推荐方法，其特征在于，所述深度神经网络预训练模型为BERT预训练模型；
所述BERT预训练模型为双向Transformer模型编码器，所述BERT预训练模型包括归一化网络层、注意力计算层、残差和全连接层。
4.如权利要求3所述的基于虚拟现实技术的对话文本推荐方法，其特征在于，所述BERT预训练模型包括N个BLOCK层，每个BOLCK层包括残差连接的自注意力计算层和全连接前馈网络层；N为正整数；
在每个BOLCK层中，自注意力计算层的输出端与全连接前馈网络层的输入端连接。
5.如权利要求4所述的基于虚拟现实技术的对话文本推荐方法，其特征在于，在所述自注意力计算层和/或所述自注意力计算层之后分别设置有归一化层。
6.如权利要求1-5之一所述的基于虚拟现实技术的对话文本推荐方法，其特征在于，获取对话文本库中对话文本与所述用户特征的近似度的过程包括：
当所述用户特征包括用户文本特征时，获取对话文本库中每个对话文本关联的文本特征，通过余弦公式计算对话文本关联的文本特征和对话语料的文本特征的相似度，并将获得的相似度作为对话文本与所述用户特征的近似度；
当所述用户特征包括情绪特征和文本特征时，获取对话文本库中每个对话文本的对话文本特征，所述对话文本特征融合了对话文本的文本特征和情绪标签，通过余弦公式计算对话文本的对话文本特征和用户特征的相似度，并将获得的相似度作为对话文本与所述用户特征的近似度。
7.一种用于VR陪护的对话文本推荐装置，其特征在于，包括：
语料获取模块，用于获取人机交互中用户的对话语料；
预处理模块，对所述对话语料进行预处理；
用户特征提取模块，所述用户特征包括用户文本特征，通过深度神经网络预训练模型提取出预处理后的对话语料的文本特征；
推荐模块，将对话文本库中与所述用户特征的近似度最高的对话文本作为推荐的对话文本并输出。
8.一种基于VR的情感陪护装置，其特征在于，包括可穿戴的VR设备、处理模块，所述处理模块控制VR设备形成可与用户对话的虚拟人物形象，并基于用户的对话语料按照权利要求1-6之一所述的基于虚拟现实技术的对话文本推荐方法获得推荐的对话文本，控制虚拟人物按照推荐的对话文本与用户对话。
9.一种心理服务系统，其特征在于，包括可穿戴的VR设备、输入设备、虚拟训练大厅生成模块、虚拟咨询房间生成模块和虚拟心理放松房间生成模块；
虚拟训练大厅生成模块生成的训练大厅、虚拟咨询房间生成模块生成的咨询房间、虚拟心理放松房间生成模块生成的心理放松房间均可通过VR设备呈现给用户，用户通过输入设备在训练大厅、咨询房间、心理放松房间之间切换。
10.如权利要求9所述的心理服务系统，其特征在于，所述虚拟咨询房间生成模块控制VR设备形成可与用户对话的虚拟人物形象，并基于用户的对话语料按照权利要求1-6之一所述的基于虚拟现实技术的对话文本推荐方法获得推荐的对话文本，控制虚拟人物按照推荐的对话文本与用户对话。
CN202111235718.5A 2021-10-22 2021-10-22 基于虚拟现实技术的对话文本推荐方法、装置及系统 Pending CN113961695A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111235718.5A CN113961695A (zh) 2021-10-22 2021-10-22 基于虚拟现实技术的对话文本推荐方法、装置及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111235718.5A CN113961695A (zh) 2021-10-22 2021-10-22 基于虚拟现实技术的对话文本推荐方法、装置及系统

Publications (1)

Publication Number Publication Date
CN113961695A true CN113961695A (zh) 2022-01-21

Family

ID=79466255

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111235718.5A Pending CN113961695A (zh) 2021-10-22 2021-10-22 基于虚拟现实技术的对话文本推荐方法、装置及系统

Country Status (1)

Country Link
CN (1) CN113961695A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114372383A (zh) * 2022-03-23 2022-04-19 广州市影擎电子科技有限公司 一种基于vr仿真场景的场景快速切换方法及系统
CN116453549A (zh) * 2023-05-05 2023-07-18 广西牧哲科技有限公司 基于虚拟数字人物的ai对话方法及在线虚拟数字化系统

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114372383A (zh) * 2022-03-23 2022-04-19 广州市影擎电子科技有限公司 一种基于vr仿真场景的场景快速切换方法及系统
CN114372383B (zh) * 2022-03-23 2022-06-14 广州市影擎电子科技有限公司 一种基于vr仿真场景的场景快速切换方法及系统
CN116453549A (zh) * 2023-05-05 2023-07-18 广西牧哲科技有限公司 基于虚拟数字人物的ai对话方法及在线虚拟数字化系统

Similar Documents

Publication Publication Date Title
Wu et al. Multimodal large language models: A survey
Bird et al. Chatbot Interaction with Artificial Intelligence: human data augmentation with T5 and language transformer ensemble for text classification
Calder From sissy to sickening: The indexical landscape of/s/in SoMa, San Francisco
CN113961695A (zh) 基于虚拟现实技术的对话文本推荐方法、装置及系统
Lee et al. Study on emotion recognition and companion Chatbot using deep neural network
CN107340859A (zh) 多模态虚拟机器人的多模态交互方法和系统
CN108877336A (zh) 基于增强现实技术的教学方法、云服务平台和教学系统
CN113380271B (zh) 情绪识别方法、系统、设备及介质
CN106730234A (zh) 一种智能情绪疏导系统
Garay et al. Assistive technology and affective mediation
Takashima et al. Knowledge transferability between the speech data of persons with dysarthria speaking different languages for dysarthric speech recognition
Tavabi et al. Multimodal learning for identifying opportunities for empathetic responses
Marchi et al. Speech, emotion, age, language, task, and typicality: Trying to disentangle performance and feature relevance
Salam et al. Learning personalised models for automatic self-reported personality recognition
JPH11175081A (ja) 発話装置及び発話方法
Shen et al. New breakthroughs and innovation modes in english education in post-pandemic era
Podder et al. Design of a sign language transformer to enable the participation of persons with disabilities in remote healthcare systems for ensuring universal healthcare coverage
Nguyen et al. Evaluating the translation of speech to virtually-performed sign language on AR glasses
Yang et al. User behavior fusion in dialog management with multi-modal history cues
Aguirre-Peralta et al. Speech to Text Recognition for Videogame Controlling with Convolutional Neural Networks.
Ellis A purposeful rebuilding: YouTube, representation, accessibility and the socio-political space of disability
Jiang et al. An affective chatbot with controlled specific emotion expression
Stiles Assimilation of problematic voices and the historicity of signs: How culture enters psychotherapy
Mori et al. A generative framework for conversational laughter: Its' language model'and laughter sound synthesis
Haraguchi et al. Chat-type Manzai application: mobile daily comedy presentations based on automatically generated manzai scenarios

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination