CN117111748A - 虚拟现实中待优化交互节点的确定方法、装置、设备及介质 - Google Patents

虚拟现实中待优化交互节点的确定方法、装置、设备及介质 Download PDF

Info

Publication number
CN117111748A
CN117111748A CN202311182200.9A CN202311182200A CN117111748A CN 117111748 A CN117111748 A CN 117111748A CN 202311182200 A CN202311182200 A CN 202311182200A CN 117111748 A CN117111748 A CN 117111748A
Authority
CN
China
Prior art keywords
emotion
plumpness
data
emotional
interaction node
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311182200.9A
Other languages
English (en)
Inventor
曹志宏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Xintang Sichuang Educational Technology Co Ltd
Original Assignee
Beijing Xintang Sichuang Educational Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Xintang Sichuang Educational Technology Co Ltd filed Critical Beijing Xintang Sichuang Educational Technology Co Ltd
Priority to CN202311182200.9A priority Critical patent/CN117111748A/zh
Publication of CN117111748A publication Critical patent/CN117111748A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Multimedia (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本公开涉及一种虚拟现实中待优化交互节点的确定方法、装置、设备及介质。该方法包括：采集虚拟现实场景中交互节点的多组情绪数据，每组情绪数据包括多种不同情绪特征的采样集合；针对任一组情绪数据，根据情绪数据中各情绪特征的采样集合，分别确定每种情绪特征各自对应的初始情绪饱满度；将每种情绪特征逐一作为当前情绪特征，对多组情绪数据中当前情绪特征的初始情绪饱满度进行数据处理，得到用户在交互节点中当前情绪特征的目标情绪饱满度；根据多种情绪特征的目标情绪饱满度，确定交互节点是否需要优化。本公开能够提高确定待优化交互节点的准确性。

Description

虚拟现实中待优化交互节点的确定方法、装置、设备及介质
技术领域
本公开涉及计算机技术领域，尤其涉及一种虚拟现实中待优化交互节点的确定方法、装置、设备及介质。
背景技术
在应用虚拟现实(Virtual Reality，VR)技术的游戏、教学、影视娱乐等场景中，设置有大量让用户与虚拟环境产生相互作用的画面展示、对象操控、关卡设计、剧情探索等交互节点。有些交互节点需要进行优化，来加强与用户之间的交互性、趣味性。但是，目前很难确定出各交互节点是否需要进行优化。
发明内容
为了解决上述技术问题或者至少部分地解决上述技术问题，本公开提供了一种虚拟现实中待优化交互节点的确定方法、装置、设备及介质。
根据本公开的一方面，提供了一种虚拟现实中待优化交互节点的确定方法，包括：
采集虚拟现实场景中交互节点的多组情绪数据，每组所述情绪数据包括多种不同情绪特征的采样集合；
针对任一组所述情绪数据，根据所述情绪数据中各所述情绪特征的采样集合，分别确定每种所述情绪特征各自对应的初始情绪饱满度；
将每种所述情绪特征逐一作为当前情绪特征，对多组所述情绪数据中所述当前情绪特征的初始情绪饱满度进行数据处理，得到用户在所述交互节点中所述当前情绪特征的目标情绪饱满度；
根据多种所述情绪特征的目标情绪饱满度，确定所述交互节点是否需要优化。
根据本公开的另一方面，提供了一种虚拟现实中待优化交互节点的确定装置，包括：
数据采集模块，用于采集虚拟现实场景中交互节点的多组情绪数据，每组所述情绪数据包括多种不同情绪特征的采样集合；
初始情绪饱满度确定模块，用于针对任一组所述情绪数据，根据所述情绪数据中各所述情绪特征的采样集合，分别确定每种所述情绪特征各自对应的初始情绪饱满度；
目标情绪饱满度确定模块，用于将每种所述情绪特征逐一作为当前情绪特征，对多组所述情绪数据中所述当前情绪特征的初始情绪饱满度进行数据处理，得到用户在所述交互节点中所述当前情绪特征的目标情绪饱满度；
优化确定模块，用于根据多种所述情绪特征的目标情绪饱满度，确定所述交互节点是否需要优化。
根据本公开的另一方面，提供了一种电子设备，所述电子设备包括：
处理器；
用于存储所述处理器可执行指令的存储器；
所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现上述方法。
根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，当所述计算机指令在终端设备上运行时，使得所述终端设备实现上述方法。
本公开实施例提供的技术方案与现有技术相比具有如下优点：
本公开实施例提供的虚拟现实中待优化交互节点的确定方法、装置、设备及介质，包括：采集虚拟现实场景中交互节点的多组情绪数据，每组情绪数据包括多种不同情绪特征的采样集合；针对任一组情绪数据，根据情绪数据中各情绪特征的采样集合，分别确定每种情绪特征各自对应的初始情绪饱满度；将每种情绪特征逐一作为当前情绪特征，对多组情绪数据中当前情绪特征的初始情绪饱满度进行数据处理，得到用户在交互节点中当前情绪特征的目标情绪饱满度；根据多种情绪特征的目标情绪饱满度，确定交互节点是否需要优化。本公开能够提高确定待优化交互节点的准确性。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本公开实施例提供的虚拟现实中待优化交互节点的确定方法流程图；
图2为本公开实施例提供的情绪数据处理过程示意图；
图3为本公开实施例提供的面部情绪值示意图；
图4为本公开实施例提供的虚拟现实中待优化交互节点的确定装置的结构示意图；
图5为本公开实施例提供的电子设备的结构示意图。
具体实施方式
为了能够更清楚地理解本公开的上述目的、特征和优点，下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。
应当理解，本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。
本文使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。需要注意，本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。
需要注意，本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。
本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的范围进行限制。
在现有技术中，从VR应用(如VR游戏、VR教学)中确定出需要优化的交互节点主要有以下几种方法：(1)从其他VR应用中汲取灵感和经验，来优化当前VR应用中交互节点的设计。此方法只限于VR应用设计阶段，且不一定贴合当前VR应用的自身特点。(2)通过内部测试，发现当前VR应用中存在的问题和不足之处，并进行改进和优化。此方法只限于当前VR应用早期阶段，并且测试范围较小，代表性有限。(3)分析优化的使用时间、进度、游玩难度等数据，来评估当前VR应用的可玩性和挑战性是否达到预期。此方法能从宏观层面分析数据，但不够精细。(4)通过在线调查、用户评论、社交媒体等方式来收集合用户反馈，了解用户对当前VR应用的喜好和不满之处。此方法需要消耗时间精力，去设计问卷、采集数据，且数据质量较差，很难用于交互节点的优化。
针对上述技术问题，本公开实施例提供一种虚拟现实中待优化交互节点的确定方法、装置、设备及介质，本方案通过采集交互节点中大量用户的情绪数据，该情绪数据是用户在交互节点中最真实、准确的数据，同时，每组情绪数据包括面部、声音等多种不同情绪特征的采样集合，增加了情绪数据的多样性和精细化程度。利用上述情绪数据，将用户在交互节点的主观体验量化为目标情绪饱满度，通过目标情绪饱满度表示大量用户在各情绪特征上分别对交互节点的情绪反馈；接着根据多种情绪特征的目标情绪饱满度，从多种情绪特征综合考虑来确定交互节点是否需要优化。
图1为本公开实施例中的一种虚拟现实中待优化交互节点的确定方法的流程图，本实施例可适用于客户端中进行待优化交互节点的确定的情况，该方法可以由虚拟现实中待优化交互节点的确定装置执行，该装置可以采用软件和/或硬件的方式实现，该装置可配置于电子设备中，例如终端，具体包括但不限于VR设备、智能手机、平板电脑、带显示屏的可穿戴设备、台式机、笔记本电脑、智能家居设备等。或者，本实施例可适用于服务端中进行待优化交互节点的确定的情况，该方法可以由虚拟现实中待优化交互节点的确定装置执行，该装置可以采用软件和/或硬件的方式实现，该装置可配置于电子设备中，例如服务器。
如图1所示，该方法具体可以包括如下所示的步骤S102至S108：
S102、采集虚拟现实场景中交互节点的多组情绪数据，每组情绪数据包括多种不同情绪特征的采样集合。
本实施例中的虚拟现实场景如为VR游戏、VR课堂等场景。在虚拟现实场景中，设置用于触发目标事件的触发点和目标事件的持续时间，将具有触发点和持续时间的目标事件作为交互节点。其中，触发点如：进入到某个区域、拿到某个物品、达到预设的时间点、新事物的激活等，触发事件如画面展示、对象操控等让用户与虚拟现实场景产生交互作用的事件。在一个完整的虚拟现实场景中，可以按照以上方式设置多个交互节点，例如在VR游戏中将各游戏节点作为交互节点。其中，本实施例中采集情绪数据的交互节点是虚拟现实场景的多个交互节点中的任意一个。
在虚拟现实场景中，当用户触发进入交互节点时，通常用户会因在交互节点中的沉浸式体验而有情绪上的反馈，这些情绪反馈如面部表情、声音、肢体动作的变化。于是在本实施例中，每当用户触发交互节点时，在该交互节点的持续时间内，对面部情绪特征、声音情绪特征、动作姿态特征等多个情绪特征分别进行数据采集，得到与情绪特征对应的采样集合，采样集合中的数据一般为图像、音频和/或视频。例如，面部情绪特征对应的采样集合可以包括多张面部图像，声音情绪特征的采样集合可以包括多个音频数据。各个情绪特征的采样集合共同构成一组情绪数据。可以理解，参照图2，针对当前的交互节点，可以收集到大量用户的多组情绪数据，多组情绪数据能够真实反应大多数用户对该交互节点的体验和满意度，进而利用情绪数据确定是否需要对该交互节点进行优化。
本实施例针对交互节点采集的情绪数据，该情绪数据是用户在交互节点中最真实、准确的数据，同时，每组情绪数据包括面部、声音等多种不同情绪特征的采样集合，增加了情绪数据的多样性和精细化程度。同时，情绪数据是针对交互节点而采集的，因此对交互节点是否需要优化具有针对性强、准确度高的指导价值。
S104、针对任一组情绪数据，根据情绪数据中各情绪特征的采样集合，分别确定每种情绪特征各自对应的初始情绪饱满度。
示例性的，如图2所示，对面部情绪特征的采样集合进行人脸表情识别，得到面部情绪类别及其面部情绪值；而后根据面部情绪类别及其面部情绪值，确定上述面部情绪值在交互节点的持续时间内所保持的情绪饱满度，也即得到面部情绪特征对应的初始情绪饱满度。以及，对声音情绪特征的采样集合进行声音情绪识别，得到声音情绪类别及其声音情绪值；而后根据声音情绪类别及其声音情绪值，确定上述声音情绪值在交互节点的持续时间内所保持的情绪饱满度，得到声音情绪特征对应的初始情绪饱满度。参照以上方式，对各个情绪特征的采样集合进行处理，得到每种情绪特征各自对应的初始情绪饱满度。
S106、将每种情绪特征逐一作为当前情绪特征，对多组情绪数据中当前情绪特征的初始情绪饱满度进行数据处理，得到用户在交互节点中当前情绪特征的目标情绪饱满度。
在本实施例中，可以将面部情绪特征、声音情绪特征、动作姿态特征等各情绪特征逐一作为当前情绪特征，并在多组情绪数据中对当前情绪特征的初始情绪饱满度进行统计。例如，面部情绪特征为当前情绪特征，可以在多组情绪数据中对面部情绪特征对应的初始情绪饱满度进行统计，得到关于面部情绪特征的多个初始情绪饱满度。对多个初始情绪饱满度进行异常数据剔除、求均值等数据处理，得到用户在交互节点中关于面部情绪特征的目标情绪饱满度。可以理解，按照以上实施例可以得到每种情绪特征各自的目标情绪饱满度。
S108、根据多种情绪特征的目标情绪饱满度，确定交互节点是否需要优化。本实施例综合考虑多种情绪特征的目标情绪饱满度来确定交互节点是否需要优化。具体可以根据预设的优化规则对多种情绪特征的目标情绪饱满度进行分析，以确定交互节点是否需要优化；优化规则诸如为关于情绪饱满度的范围。示例性的，计算多种情绪特征的目标情绪饱满度的平均值，在平均值未处于预设第一饱满度范围内的情况下，确定交互节点需要优化。或者，将各情绪特征的目标情绪饱满度与各自预设的第二饱满度范围进行比对，在其中有一项或几项的比对结果为目标情绪饱满度未处于其对应的第二饱满度范围的情况下，确定交互节点需要优化。当然，以上仅为示例，在实际应用中还可以通过其他方式确定交互节点是否需要优化。
本公开实施例提供的一种虚拟现实中待优化交互节点的确定方法，通过采集虚拟现实场景中交互节点的多组情绪数据，每组情绪数据包括多种不同情绪特征的采样集合；针对任一组情绪数据，根据情绪数据中各情绪特征的采样集合，分别确定每种情绪特征各自对应的初始情绪饱满度；将每种情绪特征逐一作为当前情绪特征，对多组情绪数据中当前情绪特征的初始情绪饱满度进行数据处理，得到用户在交互节点中当前情绪特征的目标情绪饱满度；根据多种情绪特征的目标情绪饱满度，确定交互节点是否需要优化。在本技术方案中，采集的情绪数据能够从不同情绪特征上反映用户对交互节点的真实体验，该情绪数据不但真实且多样化，而且完全贴合当前的交互节点，能够更准确的用于确定该交互节点是否需要优化。通过对情绪数据进行情绪饱满度的计算，将用户的主观情绪体验量化为客观、准确的目标情绪饱满度，通过目标情绪饱满度表示大量用户在各个情绪特征上对交互节点的情绪反馈；而后共同考虑多种情绪特征的目标情绪饱满度来确定交互节点是否需要优化。因此，上述方式从用户在交互节点反馈的情绪出发，能够反映用户对当前交互节点的真实体验，将情绪数据进行一系列处理后，将用户的主观情绪量化为客观数据，对确定交互节点是否需要优化具有更准确的参考价值，提高了确定待优化交互节点的准确性。
在上述实施例的基础上，采集虚拟现实场景中交互节点的多组情绪数据，具体可以包括：在虚拟现实场景中，每当用户触发交互节点时，在交互节点的持续时间内，按照预设采样点采集多种情绪特征的采样集合；其中，情绪特征的采样集合至少包括：面部情绪特征的面部图像集合和声音情绪特征的声音数据集合。将针对一个用户采集的多种情绪特征的采样集合构成一组情绪数据，并将情绪数据与交互节点绑定。
在本实施例中，为了采集到更精细的情绪数据，可以在交互节点的持续时间内设置多个采样点，如在5秒的持续时间内，按照1秒的时间间隔设置5个采样点。示例性的，当某一用户触发交互节点时，在交互节点的持续时间内，通过VR可穿戴设备配备的摄像头、录音器等电子设备，按照预设采样点采集多张面部图像、多个声音数据和多个人体姿态图像，将采集到的面部图像集合作为面部情绪特征的面部图像集合，将采集到的声音数据集合作为声音情绪特征的声音数据集合，将采集到的人体姿态图像集合作为姿态情绪特征的姿态数据集合。以上多种情绪特征的采样集合构成一组情绪数据。本实施例通过从不同的情绪特征采集情绪数据，能够提高数据的多样性和全面性，使得情绪数据具有更高的参考价值。
虚拟现实场景中包括多个交互节点，为了明确交互节点与情绪数据之间的对应关系，本实施例可以根据交互节点的触发时间、持续时间，以及情绪数据的采集时间，将情绪数据与交互节点进行绑定。可以理解，一个交互节点会绑定多个用户的多组情绪数据。
在本实施例中，在交互节点的持续时间内，按照预设采样点采集多种情绪特征的采样集合，一方面，按照采样点进行数据采集提高了数据的真实性、准确性和精细化程度，另一方面，通过采集多种情绪特征的采样集合，使得每组情绪数据包括面部、声音等多种不同情绪特征的采样集合，增加了情绪数据的多样性。
在上述实施例的基础上，根据情绪数据中各情绪特征的采样集合，分别确定每种情绪特征各自对应的初始情绪饱满度可以参照如下所示。
首先，针对任一情绪特征的采样集合，通过预设的情绪识别模型识别该情绪特征的采样集合对应的情绪值集合。
其中，情绪识别模型可以为常用于图像、语音、视频等信号处理的卷积神经网络(Convolutional Neural Network，CNN)，卷积神经网络的主要特点是可以自动从数据中学习到特征，从而实现对数据的分类、识别、分割等任务。
本实施例需要提前训练情绪识别模型，具体可以利用标注有情绪类别及情绪值的面部样本图像对情绪识别模型进行训练。为了较好地完成模型训练且保证模型训练效果，上述面部样本图像数据量较大，通常需要几万条。同时，面部样本图像之间在用户年龄、性别、肤色、表情和光照等方面具有变化区别，以保证面部样本图像的多样性、高质量。例如，源数据要包含不同年龄、性别、肤色、表情等方面的变化。
在一种使用情绪识别模型的实施例中，以面部情绪特征为例，面部情绪特征的采样集合包括多个采样点对应的多张面部图像。通过预先训练好的情绪识别模型对多张面部图像分别进行情绪识别，得到多张面部图像各自对应的面部情绪类别及其面部情绪值。其中，面部情绪类别如兴奋、恐惧、愤怒等。面部情绪值可以采用0～100％之间的百分比来表示，0表示没有情绪，100％表示某种面部情绪类别达到最大值。
本实施例中，如图3所示，每个采样点对应一张面部图像，每张面部图像对应一种面部情绪类别的面部情绪值，在交互节点的持续时间内可以得到多个情绪值。多个面部情绪值构成面部情绪特征对应的情绪值集合。
按照以上实施例得到各个情绪特征的采样集合对应的情绪值集合。而后，可以通过MySQL关系型数据库对上述情绪值数据集合进行数据保存，以供后续计算初始情绪饱满度。
接下来，根据情绪值集合，计算用户在交互节点中该情绪特征对应的初始情绪饱满度。
一种具体实现方式为，计算情绪值集合中的多个情绪值在交互节点的持续时间内的积分面积；根据积分面积计算用户在交互节点中该情绪特征对应的初始情绪饱满度。
本实施例可以使用函数f(t)描述情绪值(表示为Vi)在交互节点的持续时间t内的变化情况，情绪值集合中的多个情绪值在交互节点的持续时间内的积分面积S，可以是对函数f(t)在持续时间t内的积分，也即：S＝∫f(t)dt。
由于采样点的设置，使得f(t)是在持续时间t内的分段函数。以图3为例，各分段函数如下所示：
当0≤t<1时，f(t)＝0.1×t+0.3；
当1≤t<2时，f(t)＝0.2×t+0.2；
当2≤t<3时，f(t)＝-0.4×t+1.4。
在此基础上，积分面积的计算为：
而后，本实施例可以按照如下算式，根据积分面积计算用户在交互节点中该情绪特征对应的初始情绪饱满度f：
f＝S/Vmax·t
其中，Vmax为最大情绪值，按照上述百分比的表示方式，Vmax＝1，并结合计算出的积分面积为1.25，于是，上述算式可以计算得到：
f＝S/1·t＝1.25/3＝5/12
可以理解，初始情绪饱满度用于描述在交互节点的持续时间t内，积分面积S占最大情绪值与持续时间t乘积的比例。
在上述实施例的基础上，对多组情绪数据中当前情绪特征的初始情绪饱满度进行数据处理，得到用户在交互节点中当前情绪特征的目标情绪饱满度。本实施例包括以下步骤(I)和(II)：
(I)对多组情绪数据中当前情绪特征对应的多个初始情绪饱满度进行异常数据的剔除。
在一种实现方式中，可以计算多组情绪数据中当前情绪特征对应的多个初始情绪饱满度的情绪饱满度均值和情绪饱满度标准差σ。
其中，情绪饱满度均值为：/>其中，fi表示第i组情绪数据对应的初始情绪饱满度，n表示情绪数据的总组数。
情绪饱满度标准差σ为：
根据情绪饱满度均值和情绪饱满度标准差确定数据剔除条件；示例性的，数据剔除条件包括：
或者/>
根据上述数据剔除条件从当前情绪特征对应的多个初始情绪饱满度中进行异常数据的剔除。
也可以理解为，根据上述数据剔除条件，从当前情绪特征对应的多个初始情绪饱满度中保留满足的初始情绪饱满度。
(II)将剔除后剩余初始情绪饱满度的均值或中位数，确定为用户在交互节点中当前情绪特征的目标情绪饱满度。
其中，剩余初始情绪饱满度的均值可表示为以及，根据茎叶图确定剩余初始情绪饱满度的中位数M。根据如下算式计算偏态系数Sk：
如果满足-0.5≤Sk≤0.5，表示多组情绪数据的分布为近似的正态分布，在此情况下，将均值确定为用户在交互节点中当前情绪特征的目标情绪饱满度，后续将以均值/>作为确定交互节点是否需要优化的评价指标。如果不满足-0.5≤Sk≤0.5，表示多组情绪数据的分布存在左偏或右偏，在此情况下，将中位数M确定为用户在交互节点中当前情绪特征的目标情绪饱满度，后续将以中位数M作为确定交互节点是否需要优化的评价指标。
在以上实施例的基础上，在此结合图2，并以面部情绪特征的情绪数据为例，针对以上步骤提供另一种实现过程，包括如下步骤(1)-(5)。
(1)针对多组情绪数据中的任一组情绪数据，通过情绪识别模型识别该组情绪数据中面部图像集合对应的面部情绪值集合。
(2)计算面部情绪值集合中的多个情绪值在交互节点的持续时间内的积分面积，再根据积分面积计算用户在交互节点的初始面部情绪饱满度f面。
(3)计算多组情绪数据中面部情绪特征对应的多个初始情绪饱满度f面的情绪饱满度均值和情绪饱满度标准差；根据情绪饱满度均值和情绪饱满度标准差确定数据剔除条件。
(4)根据数据剔除条件从面部情绪特征对应的多个初始情绪饱满度f面中进行异常数据的剔除。
(5)将剔除后剩余面部情绪饱满度f面'的均值或中位数，确定为用户在交互节点中面部情绪特征的目标情绪饱满度F面。
至此，基于多组情绪数据得到面部情绪特征对应的目标情绪饱满度F面。同样的，参照以上方式得到声音情绪特征对应的目标情绪饱满度F声，具体实现过程不再赘述。
在以上实施例的基础上，根据多种情绪特征的目标情绪饱满度，确定交互节点是否需要优化。
在本实施例中，根据多种情绪特征的目标情绪饱满度，确定综合情绪饱满度。具体的，可以根据各情绪特征对应的预设权重系数和目标情绪饱满度计算加权和，得到综合情绪饱满度。继续沿用上述面部情绪特征和声音情绪特征的示例，可根据如下算式计算综合情绪饱满度F综：
F综＝α*F面+β*F声
将综合情绪饱满度与预设的预期情绪饱满度进行比对；如果综合情绪饱满度达到预期情绪饱满度，表示大多数用户在交互节点的趣味性、交互性等实际情绪状态，符合开发者期望中的理想状态，或者说，该交互节点能够给用户带来良好的体验，该交互节点设计合理，无需优化。如果综合情绪饱满度未达到预期情绪饱满度，则表示该交互节点的交互性较差，不能让用户产生良好的情绪反馈，在此情况下，确定交互节点需要优化。
综上，本公开实施例提供的虚拟现实中待优化交互节点的确定方法，按照采样点采集交互节点的多组情绪数据，每组情绪数据包括多种不同情绪特征的采样集合；由此得到的情绪数据具有较高的真实性、精细化且多样化。在对情绪数据的处理过程中，通过计算情绪值、计算初始情绪饱满度、异常数据的剔除等过程，将用户的主观情绪体验量化为客观、准确的目标情绪饱满度，而后根据多种情绪特征的目标情绪饱满度来确定交互节点是否需要优化。上述方式从用户在交互节点反馈的情绪出发，能够反映用户对当前交互节点的真实体验，将情绪数据进行一系列处理后，将用户的主观情绪量化为客观数据，对确定交互节点是否需要优化具有更准确的参考价值，提高了确定待优化交互节点的准确性。
图4为本公开实施例中的一种虚拟现实中待优化交互节点的确定装置的结构示意图，该装置用于实现上述虚拟现实中待优化交互节点的确定方法。如图4所示，虚拟现实中待优化交互节点的确定装置200包括：
数据采集模块210，用于采集虚拟现实场景中交互节点的多组情绪数据，每组所述情绪数据包括多种不同情绪特征的采样集合；
初始情绪饱满度确定模块220，用于针对任一组所述情绪数据，根据所述情绪数据中各所述情绪特征的采样集合，分别确定每种所述情绪特征各自对应的初始情绪饱满度；
目标情绪饱满度确定模块230，用于将每种所述情绪特征逐一作为当前情绪特征，对多组所述情绪数据中所述当前情绪特征的初始情绪饱满度进行数据处理，得到用户在所述交互节点中所述当前情绪特征的目标情绪饱满度；
优化确定模块240，用于根据多种所述情绪特征的目标情绪饱满度，确定所述交互节点是否需要优化。
在一种实施例中，初始情绪饱满度确定模块220还用于：
针对任一所述情绪特征的采样集合，通过预设的情绪识别模型识别该情绪特征的采样集合对应的情绪值集合；
根据所述情绪值集合，计算用户在所述交互节点中该情绪特征对应的初始情绪饱满度。
在一种实施例中，初始情绪饱满度确定模块220还用于：
计算所述情绪值集合中的多个情绪值在所述交互节点的持续时间内的积分面积；
根据所述积分面积计算用户在所述交互节点中该情绪特征对应的初始情绪饱满度。
在一种实施例中，目标情绪饱满度确定模块230还用于：
对多组所述情绪数据中所述当前情绪特征对应的多个所述初始情绪饱满度进行异常数据的剔除；
将剔除后剩余初始情绪饱满度的均值或中位数，确定为用户在所述交互节点中所述当前情绪特征的目标情绪饱满度。
在一种实施例中，目标情绪饱满度确定模块230还用于：
计算多组所述情绪数据中所述当前情绪特征对应的多个所述初始情绪饱满度的情绪饱满度均值和情绪饱满度标准差；
根据所述情绪饱满度均值和所述情绪饱满度标准差确定数据剔除条件；
根据所述数据剔除条件从所述当前情绪特征对应的多个所述初始情绪饱满度中进行异常数据的剔除。
在一种实施例中，数据采集模块210还用于：
在所述虚拟现实场景中，每当用户触发所述交互节点时，在所述交互节点的持续时间内，按照预设采样点采集多种情绪特征的采样集合；其中，所述情绪特征的采样集合至少包括：面部情绪特征的面部图像集合和声音情绪特征的声音数据集合；
将针对一个用户采集的多种所述情绪特征的采样集合构成一组所述情绪数据，并将所述情绪数据与所述交互节点绑定。
在一种实施例中，优化确定模块240还用于：
根据多种所述情绪特征的目标情绪饱满度，确定综合情绪饱满度；
将所述综合情绪饱满度与预设的预期情绪饱满度进行比对；
在所述综合情绪饱满度未达到所述预期情绪饱满度的情况下，确定交互节点需要优化。
本实施例所提供的装置，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。
本公开示例性实施例还提供一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器。所述存储器存储有能够被所述至少一个处理器执行的计算机程序，所述计算机程序在被所述至少一个处理器执行时用于使所述电子设备执行根据本公开实施例的方法。
本公开示例性实施例还提供一种计算机程序产品，包括计算机程序，其中，所述计算机程序在被计算机的处理器执行时用于使所述计算机执行根据本公开实施例的方法。
参考图5，现将描述可以作为本公开的服务器或客户端的电子设备300的结构框图，其是可以应用于本公开的各方面的硬件设备的示例。电子设备旨在表示各种形式的数字电子的计算机设备，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图5所示，电子设备300包括计算单元301，其可以根据存储在只读存储器(ROM)302中的计算机程序或者从存储单元308加载到随机访问存储器(RAM)303中的计算机程序，来执行各种适当的动作和处理。在RAM 303中，还可存储设备300操作所需的各种程序和数据。计算单元301、ROM 302以及RAM 303通过总线304彼此相连。输入/输出(I/O)接口305也连接至总线304。
电子设备300中的多个部件连接至I/O接口305，包括：输入单元306、输出单元307、存储单元308以及通信单元309。输入单元306可以是能向电子设备300输入信息的任何类型的设备，输入单元306可以接收输入的数字或字符信息，以及产生与电子设备的用户设置和/或功能控制有关的键信号输入。输出单元307可以是能呈现信息的任何类型的设备，并且可以包括但不限于显示器、扬声器、视频/音频输出终端、振动器和/或打印机。存储单元308可以包括但不限于磁盘、光盘。通信单元309允许电子设备300通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据，并且可以包括但不限于调制解调器、网卡、红外通信设备、无线通信收发机和/或芯片组，例如蓝牙TM设备、WiFi设备、WiMax设备、蜂窝通信设备和/或类似物。
计算单元301可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元301的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元301执行上文所描述的各个方法和处理。例如，在一些实施例中，虚拟现实中待优化交互节点的确定方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元308。在一些实施例中，计算机程序的部分或者全部可以经由ROM 302和/或通信单元309而被载入和/或安装到电子设备300上。在一些实施例中，计算单元301可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行虚拟现实中待优化交互节点的确定方法。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
如本公开使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
以上所述仅是本公开的具体实施方式，使本领域技术人员能够理解或实现本公开。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本公开的精神或范围的情况下，在其它实施例中实现。因此，本公开将不会被限制于本文所述的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种虚拟现实中待优化交互节点的确定方法，其特征在于，包括：
采集虚拟现实场景中交互节点的多组情绪数据，每组所述情绪数据包括多种不同情绪特征的采样集合；
针对任一组所述情绪数据，根据所述情绪数据中各所述情绪特征的采样集合，分别确定每种所述情绪特征各自对应的初始情绪饱满度；
将每种所述情绪特征逐一作为当前情绪特征，对多组所述情绪数据中所述当前情绪特征的初始情绪饱满度进行数据处理，得到用户在所述交互节点中所述当前情绪特征的目标情绪饱满度；
根据多种所述情绪特征的目标情绪饱满度，确定所述交互节点是否需要优化。
2.根据权利要求1所述的方法，其特征在于，所述根据所述情绪数据中各所述情绪特征的采样集合，分别确定每种所述情绪特征各自对应的初始情绪饱满度，包括：
针对任一所述情绪特征的采样集合，通过预设的情绪识别模型识别该情绪特征的采样集合对应的情绪值集合；
根据所述情绪值集合，计算用户在所述交互节点中该情绪特征对应的初始情绪饱满度。
3.根据权利要求2所述的方法，其特征在于，所述根据所述情绪值集合，计算用户在所述交互节点中该情绪特征对应的初始情绪饱满度，包括：
计算所述情绪值集合中的多个情绪值在所述交互节点的持续时间内的积分面积；
根据所述积分面积计算用户在所述交互节点中该情绪特征对应的初始情绪饱满度。
4.根据权利要求1或2所述的方法，其特征在于，所述对多组所述情绪数据中所述当前情绪特征的初始情绪饱满度进行数据处理，得到用户在所述交互节点中所述当前情绪特征的目标情绪饱满度，包括：
对多组所述情绪数据中所述当前情绪特征对应的多个所述初始情绪饱满度进行异常数据的剔除；
将剔除后剩余初始情绪饱满度的均值或中位数，确定为用户在所述交互节点中所述当前情绪特征的目标情绪饱满度。
5.根据权利要求4所述的方法，其特征在于，所述对多组所述情绪数据中所述当前情绪特征对应的多个所述初始情绪饱满度进行异常数据的剔除，包括：
计算多组所述情绪数据中所述当前情绪特征对应的多个所述初始情绪饱满度的情绪饱满度均值和情绪饱满度标准差；
根据所述情绪饱满度均值和所述情绪饱满度标准差确定数据剔除条件；
根据所述数据剔除条件从所述当前情绪特征对应的多个所述初始情绪饱满度中进行异常数据的剔除。
6.根据权利要求1所述的方法，其特征在于，所述采集虚拟现实场景中交互节点的多组情绪数据，包括：
在所述虚拟现实场景中，每当用户触发所述交互节点时，在所述交互节点的持续时间内，按照预设采样点采集多种情绪特征的采样集合；其中，所述情绪特征的采样集合至少包括：面部情绪特征的面部图像集合和声音情绪特征的声音数据集合；
将针对一个用户采集的多种所述情绪特征的采样集合构成一组所述情绪数据，并将所述情绪数据与所述交互节点绑定。
7.根据权利要求1所述的方法，其特征在于，所述根据多种所述情绪特征的目标情绪饱满度，确定所述交互节点是否需要优化，包括：
根据多种所述情绪特征的目标情绪饱满度，确定综合情绪饱满度；
将所述综合情绪饱满度与预设的预期情绪饱满度进行比对；
在所述综合情绪饱满度未达到所述预期情绪饱满度的情况下，确定交互节点需要优化。
8.一种虚拟现实中待优化交互节点的确定装置，其特征在于，包括：
数据采集模块，用于采集虚拟现实场景中交互节点的多组情绪数据，每组所述情绪数据包括多种不同情绪特征的采样集合；
初始情绪饱满度确定模块，用于针对任一组所述情绪数据，根据所述情绪数据中各所述情绪特征的采样集合，分别确定每种所述情绪特征各自对应的初始情绪饱满度；
目标情绪饱满度确定模块，用于将每种所述情绪特征逐一作为当前情绪特征，对多组所述情绪数据中所述当前情绪特征的初始情绪饱满度进行数据处理，得到用户在所述交互节点中所述当前情绪特征的目标情绪饱满度；
优化确定模块，用于根据多种所述情绪特征的目标情绪饱满度，确定所述交互节点是否需要优化。
9.一种电子设备，其特征在于，所述电子设备包括：
处理器；
用于存储所述处理器可执行指令的存储器；
所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现上述权利要求1-7中任一所述的方法。
10.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，当所述计算机指令在终端设备上运行时，使得所述终端设备实现如权利要求1-7中任一所述的方法。
CN202311182200.9A 2023-09-13 2023-09-13 虚拟现实中待优化交互节点的确定方法、装置、设备及介质 Pending CN117111748A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311182200.9A CN117111748A (zh) 2023-09-13 2023-09-13 虚拟现实中待优化交互节点的确定方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311182200.9A CN117111748A (zh) 2023-09-13 2023-09-13 虚拟现实中待优化交互节点的确定方法、装置、设备及介质

Publications (1)

Publication Number Publication Date
CN117111748A true CN117111748A (zh) 2023-11-24

Family

ID=88796374

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311182200.9A Pending CN117111748A (zh) 2023-09-13 2023-09-13 虚拟现实中待优化交互节点的确定方法、装置、设备及介质

Country Status (1)

Country Link
CN (1) CN117111748A (zh)

Similar Documents

Publication Publication Date Title
CN109344908B (zh) 用于生成模型的方法和装置
JP5946073B2 (ja) 推定方法、推定システム、コンピュータ・システムおよびプログラム
CN110267119B (zh) 视频精彩度的评价方法及相关设备
CN107807943B (zh) 应用推荐消息的推送方法、装置、服务器及存储介质
WO2023035923A1 (zh) 一种视频审核方法、装置及电子设备
CN112579909A (zh) 对象推荐方法及装置、计算机设备和介质
CN112241715A (zh) 模型训练方法、表情识别方法、装置、设备及存储介质
CN112995690B (zh) 直播内容品类识别方法、装置、电子设备和可读存储介质
WO2023098912A1 (zh) 图像处理方法、装置、存储介质及电子设备
CN112749685B (zh) 视频分类方法、设备和介质
CN112966568A (zh) 一种视频客服服务质量分析方法及装置
CN113962965A (zh) 图像质量评价方法、装置、设备以及存储介质
CN112101572A (zh) 模型优化方法、装置、设备和介质
US20170004401A1 (en) Artificial intuition
CN115620384A (zh) 模型训练方法、眼底图像预测方法及装置
CN111062440A (zh) 一种样本选择方法、装置、设备及存储介质
CN109961152B (zh) 虚拟偶像的个性化互动方法、系统、终端设备及存储介质
CN117111748A (zh) 虚拟现实中待优化交互节点的确定方法、装置、设备及介质
WO2019227633A1 (zh) 建立用户画像和建立状态信息分析模型的方法和装置
CN116630736A (zh) 一种用户表情捕捉模型的训练方法及系统
CN110975294A (zh) 游戏对战实现方法及终端
Polap Voice control in mixed reality
CN113326829B (zh) 视频中手势的识别方法、装置、可读存储介质及电子设备
CN115115901A (zh) 获取跨域学习模型的方法及装置
CN114119819A (zh) 数据处理方法、装置、电子设备及计算机存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination