CN113407031B - Vr交互方法、系统、移动终端及计算机可读存储介质 - Google Patents

Abstract

本发明提供了一种VR交互方法、系统、移动终端及计算机可读存储介质，该方法包括：根据VR交互指令确定待交互场景，对待交互场景进行三维图像投影，得到VR交互场景；对VR交互场景内的用户进行动作特征采集，得到动作采集特征，对动作采集特征进行时序同步处理，得到动作时序特征，动作时序特征包括骨架时序特征和力度时序特征；根据骨架时序特征确定用户的体感姿势，根据力度时序特征确定对应体感姿势的姿势力度；根据体感姿势和姿势力度生成VR交互信息，根据VR交互信息对VR交互场景执行VR交互操作。本发明中用户可以直接基于操作姿势的方式进行VR交互，无需采用操作手柄的方式进行VR交互，提高了用户的使用体验。

Description

VR交互方法、系统、移动终端及计算机可读存储介质

技术领域

本发明属于VR领域，尤其涉及一种VR交互方法、系统、移动终端及计算机可读存储介质。

背景技术

虚拟现实(Virtual Reality，VR)技术是一种基于可计算信息构造沉浸式人机交互环境的信息技术，采用计算机产生一种人为虚拟的环境，生成一个以视觉感受为主，包括听觉、触觉的综合感知的人工环境，人们可以通过视觉、听觉、触觉和加速度等多种感觉通道感知计算机虚拟的虚拟世界，也可以通过移动、语音、表情、手势及视线等最自然的方式和虚拟世界交互，从而产生身临其境的体验。

现有的VR交互过程中，用户均是基于操作手柄的方式对VR交互场景进行交互，当用户需要输入的交互操作步骤复杂时，导致用户对操作手柄的操作繁琐，降低了用户的使用体验。

发明内容

本发明实施例的目的在于提供一种VR交互方法、系统、移动终端及计算机可读存储介质，旨在解决现有的VR交互过程中，用户对操作手柄的操作繁琐，所导致的用户使用体验低下的问题。

本发明实施例是这样实现的，一种VR交互方法，所述方法包括：

根据用户发送的VR交互指令确定待交互场景，并对所述待交互场景进行三维图像投影，得到VR交互场景；

对所述VR交互场景内的所述用户进行动作特征采集，得到动作采集特征，并对所述动作采集特征进行时序同步处理，得到动作时序特征，所述动作采集特征包括骨架位置特征和动作力度特征，所述动作时序特征包括骨架时序特征和力度时序特征；

根据所述骨架时序特征确定所述用户的体感姿势，并根据所述力度时序特征确定对应所述体感姿势的姿势力度；

根据所述体感姿势和所述姿势力度生成VR交互信息，并根据所述VR交互信息对所述VR交互场景执行VR交互操作。

优选地，所述对所述VR交互场景内的所述用户进行动作特征采集，得到动作采集特征，包括：

对所述VR交互场景内的所述用户进行图像采集，得到采集图像，并对所述采集图像进行特征提取，得到图像特征；

根据所述图像特征进行姿态预估，得到所述骨架位置特征，所述骨架位置特征包括不同骨架关键点与对应位置坐标之间的对应关系；

对所述VR交互场景内的所述用户进行力触觉采集，得到力触觉采集信号，并根据所述力触觉采集信号确定所述用户的动作力度值，得到所述动作力度特征，所述动作力度特征包括所述用户上不同动作力度采集点与对应动作力度值之间的对应关系。

优选地，所述对所述动作采集特征进行时序同步处理，得到动作时序特征，包括：

分别确定所述图像采集和所述力触觉采集的采集频率，并根据确定到的所述采集频率确定目标时序，所述目标时序包括所述采集图像与所述力触觉采集信号之间相同的采集时间点；

根据所述目标时序，分别对所述骨架位置特征和所述动作力度特征进行特征筛选，并根据所述采集时间点，对特征筛选后的所述骨架位置特征和所述动作力度特征分别进行排序，得到所述骨架时序特征和所述力度时序特征。

优选地，所述根据所述骨架时序特征确定所述用户的体感姿势，包括：

根据所述骨架时序特征，确定每个所述骨架关键点的移动轨迹，并将不同所述骨架关键点的移动轨迹进行组合，得到组合轨迹；

将所述组合轨迹与预存储的体感姿势查询表进行匹配，以得到所述组合轨迹对应的所述体感姿势，所述体感姿势查询表中存储有不同组合轨迹与体感姿势之间的对应关系。

优选地，所述根据所述体感姿势和所述姿势力度生成VR交互信息，包括：

确定所述体感姿势的姿势时长，并将所述体感姿势的姿势时长、姿势标识和所述姿势力度与预存储的交互信息查询表进行匹配，得到所述VR交互信息，所述交互信息查询表中存储有不同姿势时长、不同姿势标识、不同姿势力度与对应VR交互信息之间的对应关系。

优选地，所述根据所述VR交互信息对所述VR交互场景执行VR交互操作，包括：

获取所述VR交互场景的场景标识，并根据所述场景标识和所述VR交互信息确定场景渐变信息，所述场景渐变信息包括所述场景标识和所述VR交互信息对应的VR渐变图像和交互响应；

根据所述场景渐变信息中的VR渐变图像对所述VR交互场景进行图像渐变操作，并根据所述场景渐变信息中的交互响应对所述用户进行信息响应。

优选地，所述对所述VR交互场景内的所述用户进行图像采集，得到采集图像之后，还包括：

根据预设腐蚀算子对所述采集图像进行卷积处理，以及确定卷积处理后的所述采集图像中，所述腐蚀算子对应的映射区域；

获取所述映射区域中像素点的最小值，并将所述像素点的最小值对所述采集图像中的指定像素点进行替换。

本发明实施例的另一目的在于提供一种VR交互系统，所述系统包括：

图像投影模块，用于根据用户发送的VR交互指令确定待交互场景，并对所述待交互场景进行三维图像投影，得到VR交互场景；

特征采集模块，用于对所述VR交互场景内的所述用户进行动作特征采集，得到动作采集特征，并对所述动作采集特征进行时序同步处理，得到动作时序特征，所述动作采集特征包括骨架位置特征和动作力度特征，所述动作时序特征包括骨架时序特征和力度时序特征；

体感姿势确定模块，用于根据所述骨架时序特征确定所述用户的体感姿势，并根据所述力度时序特征确定对应所述体感姿势的姿势力度；

VR交互模块，用于根据所述体感姿势和所述姿势力度生成VR交互信息，并根据所述VR交互信息对所述VR交互场景执行VR交互操作。

本发明实施例的另一目的在于提供一种移动终端，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现以下步骤：

根据用户发送的VR交互指令确定待交互场景，并对所述待交互场景进行三维图像投影，得到VR交互场景；

对所述VR交互场景内的所述用户进行动作特征采集，得到动作采集特征，并对所述动作采集特征进行时序同步处理，得到动作时序特征，所述动作采集特征包括骨架位置特征和动作力度特征，所述动作时序特征包括骨架时序特征和力度时序特征；

根据所述骨架时序特征确定所述用户的体感姿势，并根据所述力度时序特征确定对应所述体感姿势的姿势力度。

本发明实施例的另一目的在于提供一种用于VR交互的计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现以下步骤：根据用户发送的VR交互指令确定待交互场景，并对所述待交互场景进行三维图像投影，得到VR交互场景；

对所述VR交互场景内的所述用户进行动作特征采集，得到动作采集特征，并对所述动作采集特征进行时序同步处理，得到动作时序特征，所述动作采集特征包括骨架位置特征和动作力度特征，所述动作时序特征包括骨架时序特征和力度时序特征；

根据所述骨架时序特征确定所述用户的体感姿势，并根据所述力度时序特征确定对应所述体感姿势的姿势力度。

本发明实施例，通过用户发送的VR交互指令确定待交互场景，基于确定到的待交互场景能有效地投影生成VR交互场景，通过对VR交互场景内的用户进行动作特征采集，能有效地采集到用户的骨架位置特征和动作力度特征，基于采集到的骨架位置特征能有效地表征用户的姿势，基于采集到的动作力度特征能有效地表征用户姿势的力度大小，通过对动作采集特征进行时序同步处理，能有效地将骨架位置特征和动作力度特征调节至相同的采集频率，提高了骨架时序特征和力度时序特征之间时序的一致性，基于骨架时序特征能有效地确定到用户的体感姿势，基于力度时序特征能有效地确定到每个体感姿势对应的姿势力度，根据体感姿势和姿势力度，能有效地生成用户姿势对应的VR交互信息，通过VR交互信息对VR交互场景执行VR交互操作，使得用户可以直接基于操作姿势的方式进行VR交互，而无需采用操作手柄的方式进行VR交互，提高了用户的使用体验。

附图说明

图1是本发明第一实施例提供的VR交互方法的流程图；

图2是本发明第二实施例提供的VR交互方法的流程图；

图3是本发明第三实施例提供的VR交互系统的结构示意图；

图4是本发明第四实施例提供的移动终端的结构示意图。

具体实施方式

以下结合附图与具体实施例进一步阐述本发明的优点。

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

在本公开使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本公开。在本公开和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本公开可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本公开范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

在后续的描述中，使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本发明的说明，其本身并没有特定的意义。因此，“模块”与“部件”可以混合地使用。

实施例一

请参阅图1，是本发明第一实施例提供的VR交互方法的流程图，该VR交互方法可以应用与任一移动终端，该移动终端包括手机、平板或可穿戴智能设备等，该VR交互方法包括步骤：

步骤S10，根据用户发送的VR交互指令确定待交互场景，并对所述待交互场景进行三维图像投影，得到VR交互场景；

其中，该VR交互指令可以采用语音指令、触控指令或手势指令的方式进行传输控制，该步骤中，通过获取该VR交互指令中的指令标识，并将该指令标识与预存储的场景查询表进行匹配，得到该VR交互指令对应的待交互场景，该指令标识可以采用编号、数字或字母的方式存储在该VR交互指令中，例如，当该VR交互指令采用语音指令的方式进行传输时，则对该语音指令进行语音翻译，得到语音文本，并提取该语音文本中的指令标识。

该步骤中，该待交互场景为场景图像，通过对确定到的待交互场景进行三维图像渲染，以达到对该待交互场景进行三维图像投影的效果，得到该VR交互指令对应的VR交互场景。

步骤S20，对所述VR交互场景内的所述用户进行动作特征采集，得到动作采集特征，并对所述动作采集特征进行时序同步处理，得到动作时序特征；

其中，该动作采集特征包括骨架位置特征和动作力度特征，该动作时序特征包括骨架时序特征和力度时序特征，该骨架时序特征包括不同骨架位置特征与对应采集时间点之间的对应关系，该力度时序特征包括不同动作力度特征与对应采集时间点之间的对于关系，该步骤中，通过对VR交互场景内的用户进行动作特征采集，能有效地采集到用户的骨架位置特征和动作力度特征，基于采集到的骨架位置特征能有效地表征用户的姿势，基于采集到的动作力度特征能有效地表征用户姿势的力度大小。

该步骤中，通过对动作采集特征进行时序同步处理，能有效地将骨架位置特征和动作力度特征调节至相同的采集频率，提高了骨架时序特征和力度时序特征之间时序的一致性，可选的，该步骤中，可以采用高帧率信息降采样的方式，使得骨架位置特征和动作力度特征处于同一采集帧率，进而保障了骨架位置特征与动作力度特征之间时序的一致性。

步骤S30，根据所述骨架时序特征确定所述用户的体感姿势，并根据所述力度时序特征确定对应所述体感姿势的姿势力度；

其中，该骨架位置特征包括不同骨架关键点与对应位置坐标之间的对应关系，因此，基于该骨架时序特征能有效地确定到不同骨架关键点在不同采集时间点上的位置坐标，基于不同骨架关键点在不同采集时间点上的位置坐标，能有效地得到每个骨架关键点的移动轨迹，基于每个骨架关键点的移动轨迹能有效地确定到用户的体感姿势，该体感姿势为用户的操作姿态，该骨架关键点可以根据需求进行设置，例如，该骨架关键点包括手掌、脚掌或手指等关键点。

该步骤中，由于骨架位置特征和动作力度特征进行时序同步处理后，使得骨架时序特征和力度时序特征中的采集时间点相同，因此，基于确定到的体感姿势的采集时间点，以确定该采集时间点在力度时序特征中对应的动作力度特征，得到该体感姿势的姿势力度。

步骤S40，根据所述体感姿势和所述姿势力度生成VR交互信息，并根据所述VR交互信息对所述VR交互场景执行VR交互操作；

可选的，该步骤中，所述根据所述体感姿势和所述姿势力度生成VR交互信息，包括：

确定所述体感姿势的姿势时长，并将所述体感姿势的姿势时长、姿势标识和所述姿势力度与预存储的交互信息查询表进行匹配，得到所述VR交互信息；

其中，该交互信息查询表中存储有不同姿势时长、不同姿势标识、不同姿势力度与对应VR交互信息之间的对应关系，该步骤中，通过查询体感姿势在骨架时序特征中对应的采集时间点，以确定该体感姿势的姿势时长，通过将体感姿势的姿势时长、姿势标识和姿势力度与预存储的交互信息查询表进行匹配，能有效地确定到该体感姿势与姿势力度组合状态下对应的VR交互信息。

进一步地，该步骤中，所述根据所述VR交互信息对所述VR交互场景执行VR交互操作，包括：

获取所述VR交互场景的场景标识，并根据所述场景标识和所述VR交互信息确定场景渐变信息；

其中，不同VR交互场景之间的场景标识不相同，场景渐变信息包括场景标识和VR交互信息对应的VR渐变图像和交互响应；

根据所述场景渐变信息中的VR渐变图像对所述VR交互场景进行图像渐变操作，并根据所述场景渐变信息中的交互响应对所述用户进行信息响应；

其中，根据场景渐变信息中的VR渐变图像对VR交互场景进行图像渐变操作，以达到场景图像更新的效果，且通过采用VR渐变图像的方式进行场景的更新，提高了用户的VR体验，该步骤中，通过场景渐变信息中的交互响应对用户进行信息响应，能有效地针对不同体感姿势与姿势力度组合下的操作指令进行交互反馈，该交互响应包括语音响应、振动响应或旋转响应等响应方式。

本实施例，通过用户发送的VR交互指令确定待交互场景，基于确定到的待交互场景能有效地投影生成VR交互场景，通过对VR交互场景内的用户进行动作特征采集，能有效地采集到用户的骨架位置特征和动作力度特征，基于采集到的骨架位置特征能有效地表征用户的姿势，基于采集到的动作力度特征能有效地表征用户姿势的力度大小，通过对动作采集特征进行时序同步处理，能有效地将骨架位置特征和动作力度特征调节至相同的采集频率，提高了骨架时序特征和力度时序特征之间时序的一致性，基于骨架时序特征能有效地确定到用户的体感姿势，基于力度时序特征能有效地确定到每个体感姿势对应的姿势力度，根据体感姿势和姿势力度，能有效地生成用户姿势对应的VR交互信息，通过VR交互信息对VR交互场景执行VR交互操作，使得用户可以直接基于操作姿势的方式进行VR交互，而无需采用操作手柄的方式进行VR交互，提高了用户的使用体验。

实施例二

请参阅图2，是本发明第二实施例提供的VR交互方法的流程图，该实施例用于对步骤S20作进一步细化，包括步骤：

步骤S21，对所述VR交互场景内的所述用户进行图像采集，得到采集图像，并对所述采集图像进行特征提取，得到图像特征；

其中，该采集图像的采集可以基于任一图像采集装置，例如，任一具有摄像头的拍摄装置，通过实时对VR交互场景内的用户进行图像采集，得到该采集图像；

该步骤中，通过将采集图像输入预训练后的卷积网络进行特征提取，得到该图像特征，该卷积网络可以根据需求进行设置，例如，该卷积网络可以设置为VGG(VisualGeometry Group)网络，通过将该采集图像输入预训练后的卷积网络进行特征提取，以提取该采集图像中用户对应的图像特征。

可选的，该步骤中，所述对所述VR交互场景内的所述用户进行图像采集，得到采集图像之后，还包括：

根据预设腐蚀算子对所述采集图像进行卷积处理，以及确定卷积处理后的所述采集图像中，所述腐蚀算子对应的映射区域；

获取所述映射区域中像素点的最小值，并将所述像素点的最小值对所述采集图像中的指定像素点进行替换；

其中，该预设腐蚀算子的大小可以根据需求进行设置，该步骤中，通过分别获取该映射区域中每个像素点的像素值，并提取该像素点的像素值中的最小值，以得到映射区域中像素点的最小值。

该步骤中，通过将像素点的最小值对采集图像中的指定像素点进行替换，以达到对采集图像起到了消除边界点、消除无意义像素点的效果、使边界向内部收缩的效果，提高采集图像的图像质量。

步骤S22，根据所述图像特征进行姿态预估，得到所述骨架位置特征；

其中，该骨架位置特征包括不同骨架关键点与对应位置坐标之间的对应关系，该步骤中，通过将图像特征输入预训练后的姿势估计网络进行姿势分析，得到该骨架位置特征，该姿势估计网络可以采用轻量级姿态估计网络(SNN网络)。

步骤S23，对所述VR交互场景内的所述用户进行力触觉采集，得到力触觉采集信号，并根据所述力触觉采集信号确定所述用户的动作力度值，得到所述动作力度特征；

其中，该动作力度特征包括用户上不同动作力度采集点与对应动作力度值之间的对应关系，该步骤中，可以基于力触觉传感器的方式进行该力触觉采集信号的采集，并通过确定力触觉采集信号中信号的变化值，基于确定到的信号的变化值确定该用户的动作力度值，得到该动作力度特征。

可选的，该步骤中，该动作力度采集点的位置和数量均可以根据需求进行设置，例如，该动作力度采集点可以设置在用户的手掌、手指、头部或小腿等位置。

步骤S24，分别确定所述图像采集和所述力触觉采集的采集频率，并根据确定到的所述采集频率确定目标时序；

其中，该目标时序包括所述采集图像与力触觉采集信号之间相同的采集时间点，该步骤中，通过确定图像采集与力触觉采集之间采集频率的公共频率，基于确定到的公共频率，确定图像采集与力触觉采集之间的公共采集时间点，基于确定到的公共采集时间点构建该目标时序。

步骤S25，根据所述目标时序，分别对所述骨架位置特征和所述动作力度特征进行特征筛选，并根据所述采集时间点，对特征筛选后的所述骨架位置特征和所述动作力度特征分别进行排序，得到所述骨架时序特征和所述力度时序特征；

其中，根据该目标时序中的公共采集时间点，分别对该骨架位置特征和动作力度特征中对应采集点的特征进行提取，以达到对骨架位置特征和动作力度特征的特征筛选效果，并根据特征筛选后的骨架位置特征和动作力度特征对应的公共采集时间点，对骨架位置特征和动作力度特征分别进行排序，得到该骨架时序特征和力度时序特征。

可选的，该步骤中，所述根据所述骨架时序特征确定所述用户的体感姿势，包括：

根据所述骨架时序特征，确定每个所述骨架关键点的移动轨迹，并将不同所述骨架关键点的移动轨迹进行组合，得到组合轨迹；

将所述组合轨迹与预存储的体感姿势查询表进行匹配，以得到所述组合轨迹对应的所述体感姿势；

其中，该体感姿势查询表中存储有不同组合轨迹与体感姿势之间的对应关系，通过将组合轨迹与预存储的体感姿势查询表进行匹配，能有效地确定到不同组合轨迹对应的体感姿势，该步骤中，若组合轨迹与预存储的体感姿势查询表之间不匹配时，则判定该组合轨迹不是体感姿势对应的轨迹。

本实施例，通过对VR交互场景内的所述用户进行图像采集，得到采集图像，基于采集图像能有效地提取到用户对应的图像特征，通过对图像特征进行姿态预估，能有效地确定用户上不同骨架关键点对应的位置坐标，通过对VR交互场景内的用户进行力触觉采集，得到力触觉采集信号，基于力触觉采集信号能有效地确定到用户对应操作的动作力度值，通过分别确定图像采集和力触觉采集的采集频率，基于确定到的采集频率能有效地构建该目标时序，基于构建得到的目标时序，能有效地对骨架位置特征和动作力度特征进行特征筛选，提高了骨架位置特征与动作力度特征之间时序的一致性。

实施例三

请参阅图3，是本发明第三实施例提供的VR交互系统100的结构示意图，包括：图像投影模块10、特征采集模块11、体感姿势确定模块12和VR交互模块13，其中：

图像投影模块10，用于根据用户发送的VR交互指令确定待交互场景，并对所述待交互场景进行三维图像投影，得到VR交互场景。

特征采集模块11，用于对所述VR交互场景内的所述用户进行动作特征采集，得到动作采集特征，并对所述动作采集特征进行时序同步处理，得到动作时序特征，所述动作采集特征包括骨架位置特征和动作力度特征，所述动作时序特征包括骨架时序特征和力度时序特征。

其中，该特征采集模块11还用于：对所述VR交互场景内的所述用户进行图像采集，得到采集图像，并对所述采集图像进行特征提取，得到图像特征；

根据所述图像特征进行姿态预估，得到所述骨架位置特征，所述骨架位置特征包括不同骨架关键点与对应位置坐标之间的对应关系；

对所述VR交互场景内的所述用户进行力触觉采集，得到力触觉采集信号，并根据所述力触觉采集信号确定所述用户的动作力度值，得到所述动作力度特征，所述动作力度特征包括所述用户上不同动作力度采集点与对应动作力度值之间的对应关系。

可选的，该特征采集模块11还用于：分别确定所述图像采集和所述力触觉采集的采集频率，并根据确定到的所述采集频率确定目标时序，所述目标时序包括所述采集图像与所述力触觉采集信号之间相同的采集时间点；

根据所述目标时序，分别对所述骨架位置特征和所述动作力度特征进行特征筛选，并根据所述采集时间点，对特征筛选后的所述骨架位置特征和所述动作力度特征分别进行排序，得到所述骨架时序特征和所述力度时序特征。

进一步地，该特征采集模块11还用于：根据预设腐蚀算子对所述采集图像进行卷积处理，以及确定卷积处理后的所述采集图像中，所述腐蚀算子对应的映射区域；

获取所述映射区域中像素点的最小值，并将所述像素点的最小值对所述采集图像中的指定像素点进行替换。

体感姿势确定模块12，用于根据所述骨架时序特征确定所述用户的体感姿势，并根据所述力度时序特征确定对应所述体感姿势的姿势力度。

其中，该体感姿势确定模块12还用于：根据所述骨架时序特征，确定每个所述骨架关键点的移动轨迹，并将不同所述骨架关键点的移动轨迹进行组合，得到组合轨迹；

将所述组合轨迹与预存储的体感姿势查询表进行匹配，以得到所述组合轨迹对应的所述体感姿势，所述体感姿势查询表中存储有不同组合轨迹与体感姿势之间的对应关系。

VR交互模块13，用于根据所述体感姿势和所述姿势力度生成VR交互信息，并根据所述VR交互信息对所述VR交互场景执行VR交互操作。

其中，该VR交互模块13还用于：确定所述体感姿势的姿势时长，并将所述体感姿势的姿势时长、姿势标识和所述姿势力度与预存储的交互信息查询表进行匹配，得到所述VR交互信息，所述交互信息查询表中存储有不同姿势时长、不同姿势标识、不同姿势力度与对应VR交互信息之间的对应关系。

可选的，该VR交互模块13还用于：获取所述VR交互场景的场景标识，并根据所述场景标识和所述VR交互信息确定场景渐变信息，所述场景渐变信息包括所述场景标识和所述VR交互信息对应的VR渐变图像和交互响应；

根据所述场景渐变信息中的VR渐变图像对所述VR交互场景进行图像渐变操作，并根据所述场景渐变信息中的交互响应对所述用户进行信息响应。

本实施例，通过用户发送的VR交互指令确定待交互场景，基于确定到的待交互场景能有效地投影生成VR交互场景，通过对VR交互场景内的用户进行动作特征采集，能有效地采集到用户的骨架位置特征和动作力度特征，基于采集到的骨架位置特征能有效地表征用户的姿势，基于采集到的动作力度特征能有效地表征用户姿势的力度大小，通过对动作采集特征进行时序同步处理，能有效地将骨架位置特征和动作力度特征调节至相同的采集频率，提高了骨架时序特征和力度时序特征之间时序的一致性，基于骨架时序特征能有效地确定到用户的体感姿势，基于力度时序特征能有效地确定到每个体感姿势对应的姿势力度，根据体感姿势和姿势力度，能有效地生成用户姿势对应的VR交互信息，通过VR交互信息对VR交互场景执行VR交互操作，使得用户可以直接基于操作姿势的方式进行VR交互，而无需采用操作手柄的方式进行VR交互，提高了用户的使用体验。

实施例四

图4是本申请第四实施例提供的一种移动终端2的结构框图。如图4所示，该实施例的移动终端2包括：处理器20、存储器21以及存储在所述存储器21中并可在所述处理器20上运行的计算机程序22，例如VR交互方法的程序。处理器20执行所述计算机程序23时实现：

根据用户发送的VR交互指令确定待交互场景，并对所述待交互场景进行三维图像投影，得到VR交互场景；

对所述VR交互场景内的所述用户进行动作特征采集，得到动作采集特征，并对所述动作采集特征进行时序同步处理，得到动作时序特征，所述动作采集特征包括骨架位置特征和动作力度特征，所述动作时序特征包括骨架时序特征和力度时序特征；

根据所述骨架时序特征确定所述用户的体感姿势，并根据所述力度时序特征确定对应所述体感姿势的姿势力度。

例如图1所示的S10至S40，或者图2所示的S21至S25。或者，所述处理器20执行所述计算机程序22时实现上述图3对应的实施例中各单元的功能，例如，图3所示的单元10至13的功能，具体请参阅图3对应的实施例中的相关描述，此处不赘述。

示例性的，所述计算机程序22可以被分割成一个或多个单元，所述一个或者多个单元被存储在所述存储器21中，并由所述处理器20执行，以完成本申请。所述一个或多个单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序22在所述移动终端2中的执行过程。例如，所述计算机程序22可以被分割成图像投影模块10、特征采集模块11、体感姿势确定模块12和VR交互模块13，各单元具体功能如上所述。

所述移动终端可包括，但不仅限于，处理器20、存储器21。本领域技术人员可以理解，图4仅仅是移动终端2的示例，并不构成对移动终端2的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述移动终端还可以包括输入输出设备、网络接入设备、总线等。

所称处理器20可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable GateArray，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

所述存储器21可以是所述移动终端2的内部存储单元，例如移动终端2的硬盘或内存。所述存储器21也可以是所述移动终端2的外部存储设备，例如所述移动终端2上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器21还可以既包括所述移动终端2的内部存储单元也包括外部存储设备。所述存储器21用于存储所述计算机程序以及所述移动终端所需的其他程序和数据。所述存储器21还可以用于暂时地存储已经输出或者将要输出的数据。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

集成的模块如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。其中，计算机可读存储介质可以是非易失性的，也可以是易失性的。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，计算机程序包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读存储介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，RandomAccess Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，计算机可读存储介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读存储介质不包括电载波信号和电信信号。

本发明实施例的另一目的在于提供一种用于VR交互的计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现以下步骤：根据用户发送的VR交互指令确定待交互场景，并对所述待交互场景进行三维图像投影，得到VR交互场景；

对所述VR交互场景内的所述用户进行动作特征采集，得到动作采集特征，并对所述动作采集特征进行时序同步处理，得到动作时序特征，所述动作采集特征包括骨架位置特征和动作力度特征，所述动作时序特征包括骨架时序特征和力度时序特征；

根据所述骨架时序特征确定所述用户的体感姿势，并根据所述力度时序特征确定对应所述体感姿势的姿势力度。

以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (8)

1.一种VR交互方法，其特征在于，所述方法包括：

根据用户发送的VR交互指令确定待交互场景，并对所述待交互场景进行三维图像投影，得到VR交互场景；

对所述VR交互场景内的所述用户进行动作特征采集，得到动作采集特征，并对所述动作采集特征进行时序同步处理，得到动作时序特征，所述动作采集特征包括骨架位置特征和动作力度特征，所述动作时序特征包括骨架时序特征和力度时序特征；

根据所述骨架时序特征确定所述用户的体感姿势，并根据所述力度时序特征确定对应所述体感姿势的姿势力度；

根据所述体感姿势和所述姿势力度生成VR交互信息，并根据所述VR交互信息对所述VR交互场景执行VR交互操作；

所述根据所述体感姿势和所述姿势力度生成VR交互信息，包括：

确定所述体感姿势的姿势时长，并将所述体感姿势的姿势时长、姿势标识和所述姿势力度与预存储的交互信息查询表进行匹配，得到所述VR交互信息，所述交互信息查询表中存储有不同姿势时长、不同姿势标识、不同姿势力度与对应VR交互信息之间的对应关系；

所述根据所述VR交互信息对所述VR交互场景执行VR交互操作，包括：

获取所述VR交互场景的场景标识，并根据所述场景标识和所述VR交互信息确定场景渐变信息，所述场景渐变信息包括所述场景标识和所述VR交互信息对应的VR渐变图像和交互响应；

根据所述场景渐变信息中的VR渐变图像对所述VR交互场景进行图像渐变操作，并根据所述场景渐变信息中的交互响应对所述用户进行信息响应。

2.如权利要求1所述的VR交互方法，其特征在于，所述对所述VR交互场景内的所述用户进行动作特征采集，得到动作采集特征，包括：

对所述VR交互场景内的所述用户进行图像采集，得到采集图像，并对所述采集图像进行特征提取，得到图像特征；

根据所述图像特征进行姿态预估，得到所述骨架位置特征，所述骨架位置特征包括不同骨架关键点与对应位置坐标之间的对应关系；

对所述VR交互场景内的所述用户进行力触觉采集，得到力触觉采集信号，并根据所述力触觉采集信号确定所述用户的动作力度值，得到所述动作力度特征，所述动作力度特征包括所述用户上不同动作力度采集点与对应动作力度值之间的对应关系。

3.如权利要求2所述的VR交互方法，其特征在于，所述对所述动作采集特征进行时序同步处理，得到动作时序特征，包括：

分别确定所述图像采集和所述力触觉采集的采集频率，并根据确定到的所述采集频率确定目标时序，所述目标时序包括所述采集图像与所述力触觉采集信号之间相同的采集时间点；

根据所述目标时序，分别对所述骨架位置特征和所述动作力度特征进行特征筛选，并根据所述采集时间点，对特征筛选后的所述骨架位置特征和所述动作力度特征分别进行排序，得到所述骨架时序特征和所述力度时序特征。

4.如权利要求2所述的VR交互方法，其特征在于，所述根据所述骨架时序特征确定所述用户的体感姿势，包括：

根据所述骨架时序特征，确定每个所述骨架关键点的移动轨迹，并将不同所述骨架关键点的移动轨迹进行组合，得到组合轨迹；

将所述组合轨迹与预存储的体感姿势查询表进行匹配，以得到所述组合轨迹对应的所述体感姿势，所述体感姿势查询表中存储有不同组合轨迹与体感姿势之间的对应关系。

5.如权利要求2所述的VR交互方法，其特征在于，所述对所述VR交互场景内的所述用户进行图像采集，得到采集图像之后，还包括：

根据预设腐蚀算子对所述采集图像进行卷积处理，以及确定卷积处理后的所述采集图像中，所述腐蚀算子对应的映射区域；

获取所述映射区域中像素点的最小值，并将所述像素点的最小值对所述采集图像中的指定像素点进行替换。

6.一种VR交互系统，其特征在于，所述系统包括：

图像投影模块，用于根据用户发送的VR交互指令确定待交互场景，并对所述待交互场景进行三维图像投影，得到VR交互场景；

特征采集模块，用于对所述VR交互场景内的所述用户进行动作特征采集，得到动作采集特征，并对所述动作采集特征进行时序同步处理，得到动作时序特征，所述动作采集特征包括骨架位置特征和动作力度特征，所述动作时序特征包括骨架时序特征和力度时序特征；

体感姿势确定模块，用于根据所述骨架时序特征确定所述用户的体感姿势，并根据所述力度时序特征确定对应所述体感姿势的姿势力度；

VR交互模块，用于根据所述体感姿势和所述姿势力度生成VR交互信息，并根据所述VR交互信息对所述VR交互场景执行VR交互操作；

所述VR交互模块还用于：确定所述体感姿势的姿势时长，并将所述体感姿势的姿势时长、姿势标识和所述姿势力度与预存储的交互信息查询表进行匹配，得到所述VR交互信息，所述交互信息查询表中存储有不同姿势时长、不同姿势标识、不同姿势力度与对应VR交互信息之间的对应关系；

获取所述VR交互场景的场景标识，并根据所述场景标识和所述VR交互信息确定场景渐变信息，所述场景渐变信息包括所述场景标识和所述VR交互信息对应的VR渐变图像和交互响应；

根据所述场景渐变信息中的VR渐变图像对所述VR交互场景进行图像渐变操作，并根据所述场景渐变信息中的交互响应对所述用户进行信息响应。

7.一种移动终端，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现以下步骤：

根据用户发送的VR交互指令确定待交互场景，并对所述待交互场景进行三维图像投影，得到VR交互场景；

对所述VR交互场景内的所述用户进行动作特征采集，得到动作采集特征，并对所述动作采集特征进行时序同步处理，得到动作时序特征，所述动作采集特征包括骨架位置特征和动作力度特征，所述动作时序特征包括骨架时序特征和力度时序特征；

根据所述骨架时序特征确定所述用户的体感姿势，并根据所述力度时序特征确定对应所述体感姿势的姿势力度；

根据所述体感姿势和所述姿势力度生成VR交互信息，并根据所述VR交互信息对所述VR交互场景执行VR交互操作；

所述根据所述体感姿势和所述姿势力度生成VR交互信息，包括：

确定所述体感姿势的姿势时长，并将所述体感姿势的姿势时长、姿势标识和所述姿势力度与预存储的交互信息查询表进行匹配，得到所述VR交互信息，所述交互信息查询表中存储有不同姿势时长、不同姿势标识、不同姿势力度与对应VR交互信息之间的对应关系；

所述根据所述VR交互信息对所述VR交互场景执行VR交互操作，包括：

获取所述VR交互场景的场景标识，并根据所述场景标识和所述VR交互信息确定场景渐变信息，所述场景渐变信息包括所述场景标识和所述VR交互信息对应的VR渐变图像和交互响应；

根据所述场景渐变信息中的VR渐变图像对所述VR交互场景进行图像渐变操作，并根据所述场景渐变信息中的交互响应对所述用户进行信息响应。

8.一种用于VR交互的计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现以下步骤：根据用户发送的VR交互指令确定待交互场景，并对所述待交互场景进行三维图像投影，得到VR交互场景；

对所述VR交互场景内的所述用户进行动作特征采集，得到动作采集特征，并对所述动作采集特征进行时序同步处理，得到动作时序特征，所述动作采集特征包括骨架位置特征和动作力度特征，所述动作时序特征包括骨架时序特征和力度时序特征；

根据所述骨架时序特征确定所述用户的体感姿势，并根据所述力度时序特征确定对应所述体感姿势的姿势力度；

根据所述体感姿势和所述姿势力度生成VR交互信息，并根据所述VR交互信息对所述VR交互场景执行VR交互操作；

所述根据所述体感姿势和所述姿势力度生成VR交互信息，包括：

确定所述体感姿势的姿势时长，并将所述体感姿势的姿势时长、姿势标识和所述姿势力度与预存储的交互信息查询表进行匹配，得到所述VR交互信息，所述交互信息查询表中存储有不同姿势时长、不同姿势标识、不同姿势力度与对应VR交互信息之间的对应关系；

所述根据所述VR交互信息对所述VR交互场景执行VR交互操作，包括：

获取所述VR交互场景的场景标识，并根据所述场景标识和所述VR交互信息确定场景渐变信息，所述场景渐变信息包括所述场景标识和所述VR交互信息对应的VR渐变图像和交互响应；

根据所述场景渐变信息中的VR渐变图像对所述VR交互场景进行图像渐变操作，并根据所述场景渐变信息中的交互响应对所述用户进行信息响应。

Images