CN117111873A - 一种基于cave环境的沉浸交互系统 - Google Patents

Abstract

本发明适用于投影技术领域，尤其涉及一种基于cave环境的沉浸交互系统，所述系统包括：数据获取模块，用于构建cave环境，获取待显示数据源，将待显示数据源显示在投影设备上；数据提取模块，用于获取第一监控视频和第二监控视频，提取用户面部数据和用户手部数据；视角调节模块，用于基于用户面部数据分析用户面部动作，生成视角调节指令，调整显示画面的视角；画面调节模块，用于分析用户手部动作，生成画面交互指令，对显示画面进行调节。本发明基于用户的面部数据确定用户的视线位置，并根据用户的手部动作转化画面控制指令，根据画面控制指令进行画面的缩放，无需额外配置传感器或者控制器，简化了操作交互流程，提升了用户体验。

Description

一种基于cave环境的沉浸交互系统

技术领域

本发明属于投影技术领域，尤其涉及一种基于cave环境的沉浸交互系统。

背景技术

cave以vr-platform cave虚拟现实显示系统为代表。cave是一种基于投影的沉浸式虚拟现实显示系统，其特点是分辨率高，沉浸感强，交互性好。cave沉浸式虚拟现实显示系统的原理比较复杂，它是以计算机图形学为基础，把高分辨率的立体投影显示技术、多通道视景同步技术、音响技术、传感器技术等完美地融合在一起，从而产生一个被三维立体投影画面包围的供多人使用的完全沉浸式的虚拟环境。

当前的cave显示系统需要使用额外的辅助设备才能完成交互，如佩戴三维追踪器方可进行交互，用户需要佩戴设备操作不方便，影响用户体验。

发明内容

本发明实施例的目的在于提供一种基于cave环境的沉浸交互系统，旨在解决当前的cave显示系统需要使用额外的辅助设备才能完成交互，因此用户需要佩戴设备操作不方便，影响用户体验的问题。

本发明实施例是这样实现的，一种基于cave环境的沉浸交互方法，所述方法包括：

构建cave环境，获取待显示数据源，将待显示数据源显示在投影设备上；

从图像采集设备获取第一监控视频和第二监控视频，从第一监控视频提取用户面部数据，从第二监控视频提取用户手部数据；

基于用户面部数据分析用户面部动作，生成视角调节指令，调整显示画面的视角；

根据用户手部数据分析用户手部动作，生成画面交互指令，根据画面交互指令对显示画面进行调节。

优选的，所述从图像采集设备获取第一监控视频和第二监控视频，从第一监控视频提取用户面部数据，从第二监控视频提取用户手部数据的步骤，具体包括：

按照预设的图像采集间隔，向图像采集设备发送图像采集请求，接收来自图像采集设备发出的实时采集图像；

对实时采集图像进行画面分割，得到手部截图和面部截图，并据此合成第一监控视频和第二监控视频；

对第一监控视频进行面部识别，生成用户面部数据，对第二监控视频进行手部动作识别，得到用户手部数据。

优选的，所述基于用户面部数据分析用户面部动作，生成视角调节指令，调整显示画面的视角的步骤，具体包括：

根据用户面部数据生成用户面部动作序列，所述用户面部动作序列包含时间轴数据；

基于第一监控视频确定用户高度，识别眼部位置确定画面显示基准；

对用户面部动作序列进行分析判定用户面部偏转角度，生成视角调节指令，调整显示画面的视角。

优选的，所述根据用户手部数据分析用户手部动作，生成画面交互指令，根据画面交互指令对显示画面进行调节的步骤，具体包括：

将用户手部数据分为左手数据和右手数据，据此生成用户手部动作，所述用户手部动作包括左手动作序列和右手动作序列；

根据左手动作序列与右手动作序列之间的匹配关系生成画面交互指令；

获取当前画面的显示比例，根据画面交互指令对显示画面进行调节。

本发明实施例的另一目的在于提供一种基于cave环境的沉浸交互系统，其中，所述系统包括：

数据获取模块，用于构建cave环境，获取待显示数据源，将待显示数据源显示在投影设备上；

数据提取模块，用于从图像采集设备获取第一监控视频和第二监控视频，从第一监控视频提取用户面部数据，从第二监控视频提取用户手部数据；

视角调节模块，用于基于用户面部数据分析用户面部动作，生成视角调节指令，调整显示画面的视角；

画面调节模块，用于根据用户手部数据分析用户手部动作，生成画面交互指令，根据画面交互指令对显示画面进行调节。

优选的，所述数据提取模块包括：

图像采集单元，用于按照预设的图像采集间隔，向图像采集设备发送图像采集请求，接收来自图像采集设备发出的实时采集图像；

画面分割单元，用于对实时采集图像进行画面分割，得到手部截图和面部截图，并据此合成第一监控视频和第二监控视频；

图像识别单元，用于对第一监控视频进行面部识别，生成用户面部数据，对第二监控视频进行手部动作识别，得到用户手部数据。

优选的，所述视角调节模块包括：

面部动作识别单元，用于根据用户面部数据生成用户面部动作序列，所述用户面部动作序列包含时间轴数据；

基准识别单元，用于基于第一监控视频确定用户高度，识别眼部位置确定画面显示基准；

基准调节单元，用于对用户面部动作序列进行分析判定用户面部偏转角度，生成视角调节指令，调整显示画面的视角。

优选的，所述画面调节模块包括：

手部动作识别单元，用于将用户手部数据分为左手数据和右手数据，据此生成用户手部动作，所述用户手部动作包括左手动作序列和右手动作序列；

交互指令生成单元，用于根据左手动作序列与右手动作序列之间的匹配关系生成画面交互指令；

画面控制单元，用于获取当前画面的显示比例，根据画面交互指令对显示画面进行调节。

优选的，对显示画面进行调节包括对画面进行缩小和放大。

优选的，图像采集设备至少包括两组。

优选的，投影设备至少设置有四组。

优选的，投影设备包括三组背投设备和一组正投设备。

本发明实施例提供的一种基于cave环境的沉浸交互系统，通过对用户进行图像采集，提取用户的面部数据以及手部数据，基于用户的面部数据确定用户的视线位置，并根据用户的手部动作转化画面控制指令，根据画面控制指令进行画面的缩放，无需额外配置传感器或者控制器，简化了操作交互流程，提升了用户体验。

附图说明

图1为本发明实施例提供的一种基于cave环境的沉浸交互方法的流程图；

图2为本发明实施例提供的从图像采集设备获取第一监控视频和第二监控视频，从第一监控视频提取用户面部数据，从第二监控视频提取用户手部数据的步骤的流程图；

图3为本发明实施例提供的基于用户面部数据分析用户面部动作，生成视角调节指令，调整显示画面的视角的步骤的流程图；

图4为本发明实施例提供的根据用户手部数据分析用户手部动作，生成画面交互指令，根据画面交互指令对显示画面进行调节的步骤的流程图；

图5为本发明实施例提供的一种基于cave环境的沉浸交互系统的架构图；

图6为本发明实施例提供的一种数据提取模块的架构图；

图7为本发明实施例提供的一种视角调节模块的架构图；

图8为本发明实施例提供的一种画面调节模块的架构图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

可以理解，本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种元件，但除非特别说明，这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。举例来说，在不脱离本申请的范围的情况下，可以将第一xx脚本称为第二xx脚本，且类似地，可将第二xx脚本称为第一xx脚本。

如图1所示，为本发明实施例提供的一种基于cave环境的沉浸交互方法的流程图，所述方法包括：

S100，构建cave环境，获取待显示数据源，将待显示数据源显示在投影设备上。

在本步骤中，构建cave环境，在cave环境中包含多个显示设备。具体的，由三面墙投影加上地面投影组成沉浸式四折幕也就是cave空间，待显示数据源即为用于投影设备投影的视频数据。对于普通的视频也可以通过软件进行转换，将其转化为待显示数据源，将待显示数据源导入到投影设备中，进行显示。

S200，从图像采集设备获取第一监控视频和第二监控视频，从第一监控视频提取用户面部数据，从第二监控视频提取用户手部数据。

在本步骤中，从图像采集设备获取第一监控视频和第二监控视频，cave环境中，在用户的正前方，左边，右边以及下方设置投影画面，而图像采集设备可以为摄像头，设置在用户的左前方和右前方，对用户进行图像采集。根据采集得到的图像进行识别，确定用户面部以及手部的位置，并对面部位置以及手部位置进行截图，根据获得的截图进行视频合成，从而得到用户面部数据以及用户手部数据。其中，用户面部数据记录了用户面部在交互过程中的动作顺序，用户手部数据记录了用户手部在交互过程中的动作顺序。

S300，基于用户面部数据分析用户面部动作，生成视角调节指令，调整显示画面的视角。

在本步骤中，基于用户面部数据分析用户面部动作，为了能够适配用户，需要为用户提供适合的投影高度，使得用户能够以最佳角度进行视频的观看。通过图像采集设备已经获取了用户的视频数据，因此可以据此来分析用户的身高，根据用户的身高确定投影视角的基准位置，基准位置即为用户最开始进行视频画面观看的位置，而用户在交互过程中难免产生面部上的移动，比如向左转动或者向右转动，由于基准位置已经确定，当用户转动面部时，必然产生用户的实际视角与当前的基准视角位置不匹配的问题，因此需要实时分析用户的面部动作，判定用户面部的偏转角度，基于上述偏转角度，对当前画面的视角进行调节。

S400，根据用户手部数据分析用户手部动作，生成画面交互指令，根据画面交互指令对显示画面进行调节。

在本步骤中，根据用户手部数据分析用户手部动作，在交互过程中，用户可能需要调整视角或者调整画面的播放比例，因此需要与显示画面进行交互。为了对画面进行调节，需要用户给出特定的手势，根据手势来生成画面交互指令。为了保证指令的准确性，需要用左手与右手展示不同的手势，当用户左手与右手的手势与预设手势相匹配时，则执行对应的画面交互指令。例如用户左手手掌朝向屏幕，用户右手手掌背向屏幕，则上述手势视为向左旋转视角，生成对应的向左旋转视角的控制指令，将其发送给投影设备，投影设备根据控制指令进行画面调节。

如图2所示，作为本发明的一个优选实施例，所述从图像采集设备获取第一监控视频和第二监控视频，从第一监控视频提取用户面部数据，从第二监控视频提取用户手部数据的步骤，具体包括：

S201，按照预设的图像采集间隔，向图像采集设备发送图像采集请求，接收来自图像采集设备发出的实时采集图像。

在本步骤中，按照预设的图像采集间隔，向图像采集设备发送图像采集请求，由于用户动作并不频繁，因此无需持续进行图像采集。具体的，按照预设的时间间隔进行图像采集，如每间隔100毫秒采集一张图像，图像采集设备可以为照相机每次只采集一张高清图片，在现场至少设置两组图像采集设备，从不同的角度进行图像采集，采集设备在完成图像采集之后，将采集得到的图像发回，得到实时采集图像。

S202，对实时采集图像进行画面分割，得到手部截图和面部截图，并据此合成第一监控视频和第二监控视频。

在本步骤中，对实时采集图像进行画面分割，利用图像识别算法，识别出画面中用户的面部以及用户的左手以及右手，对用户的面部，左手以及右手进行边缘识别，按照预设的图像截取尺寸进行画面截取，得到手部的截图以及面部的截图，进而至此合成视频，得到第一监控视频和第二监控视频。其中，第一监控视频包含用户面部的连续动作，而第二监控视频包括用户的手部动作。

S203，对第一监控视频进行面部识别，生成用户面部数据，对第二监控视频进行手部动作识别，得到用户手部数据。

在本步骤中，对第一监控视频进行面部识别，由于设置了两种图像采集设备并且从不同角度对用户进行拍摄，当用户正视前方时，用户面部在两组图像中占据的像素数量应当相同或者相近，识别用户面部之后，统计用户面部的像素数量，得到用户面部数据，记录每一个时刻对应的用户面部的像素数量，利用图像识别技术识别用户的手部动作。同样的，由于设置了两组图像采集设备，每一只手都会从两个角度进行拍摄，基于与面部识别相同的原理，识别用户手部的像素数量，得到用户手部数据。

如图3所示，作为本发明的一个优选实施例，所述基于用户面部数据分析用户面部动作，生成视角调节指令，调整显示画面的视角的步骤，具体包括：

S301，根据用户面部数据生成用户面部动作序列，所述用户面部动作序列包含时间轴数据。

在本步骤中，根据用户面部数据生成用户面部动作序列，用户面部动作序列记录的是用户在各个时刻面部的朝向数据。例如， a时刻用户面部向左偏转十度，而用户在b时刻向右偏转十度，则表明用户在a时刻与b时刻之间，面部从左向右摆动了二十度。

S302，基于第一监控视频确定用户高度，识别眼部位置确定画面显示基准。

在本步骤中，基于第一监控视频确定用户高度，在第一监控视频中设置了对应的参考线，根据参考线与用户眼部之间的位置关系，判定用户的高度，即确定了显示画面的水平位置，此时视为用户朝正前方平视，即为画面显示基准。

S303，对用户面部动作序列进行分析判定用户面部偏转角度，生成视角调节指令，调整显示画面的视角。

在本步骤中，对用户面部动作序列进行分析判定用户面部偏转角度，当判定用户出现面部偏移时，则将显示画面的视角根据偏移角度进行调节，使得用户的实际观看角度与显示角度一致，保证了用户的观看体验。

在实际体验中，为了尽可能确保显示画面的稳定，仅在水平方向上进行画面的移动，以防止由于显示画面晃动导致用户产生眩晕的感觉，在本实施例中对用户面部偏转进行了动作设置，以最大程度上保证最终显示画面的稳定，确保体验效果。其中，步骤S303具体包括如下子步骤：

S3031，获取在预设时间段内对应的用户面部动作序列，并对所述用户面部动作序列进行分析以得到多个用户面部动作位移，每个所述用户面部动作位移包括用户面部动作水平位移以及用户面部动作竖直位移；

S3032，获取多个用户面部动作竖直位移对应的竖直位移值，并在多个竖直位移值中确定得到最大竖直位移值；

S3033，判断所述最大竖直位移值是否大于预设竖直位移值；

S3034，若否，则控制显示画面仅在水平方向上进行偏转。

对于上述步骤S3031至步骤S3034的设置，是为了容许用户在进行面部转向的时候，存在一定的动作偏差，也即允许有一定幅度的竖直方向上的移动，此时显示画面仍控制在水平方向上进行偏转，从而有效避免了显示画面的晃动，最大程度上保证了用户的体验。可以理解的，此种模式适用于大部分仅为了简单体验的用户。

作为补充说明的，对于少部分追求剧烈体验的用户，在进行实际体验时，也可以进行体验模式的切换，具体方法包括：

S3035，当判断到所述最大竖直位移值大于预设竖直位移值，则生成一模式切换确认请求指令。

在本步骤中，若最大竖直位移值大于预设竖直位移值，则表明此时用户的面部的位移较大，此时不能再视为仅在水平方向上的偏转，而应同时综合水平方向与竖直方向进行考虑。可以理解的，由于最大竖直位移值大于预设竖直位移值，则说明该用户追求较为剧烈的体验，因此常规的体验模式可能并不适合当前用户，故而此时系统生成一模式切换确认请求指令。

S3036，当接收到针对于所述模式切换确认请求指令的确认信号之后，则进行显示画面的显示模式切换。

可以理解的，当接收到针对于模式切换确认请求指令的确认信号之后，说明此时用户确实想进行显示模式的切换，此时可对应进行切换。作为补充的，在本实施例中，显示模式有两种，一种是常规模式，一种是剧烈模式。但在实际应用中并不局限于上述两种，可根据实际应用需求进行模式种类的设置与选择。

在本发明中，作为另一实施例，由于用户在进行体验时，用户面部与显示画面所展现的情景中某一物体之间的距离是相对固定的，只存在水平方向上的偏转。例如，当用户（场景中的虚拟角色）在显示画面所展现的森林场景中需要进行移动时，仅根据用户面部所生成的视角调节指令是无法完成用户在场景中的移动的，因此还需要通过借助于其它的数据采集。在本实施例中，在沉浸式四折幕的地面投影上设置有压力传感器以及计数器。对应的方法包括如下步骤：

S311，获取在单位预设时间内所述地面投影上检测到的多个压力值，并将多个压力值中小于预设压力值的进行删除以得到多个有效压力值；

S312，统计在单位预设时间内的多个有效压力值的数量以得到第一压力总数值，基于所述第一压力总数值与所述单位预设时间计算得到脚部运动频次；S313，基于多个有效压力值以及脚步运动频次计算得到用户在显示画面中的运动速度。

在本实施例中，用户在显示画面中的运动速度的计算公式表示为：

；

其中，表示用户在显示画面中的运动速度，/>表示用户在显示画面中的基准运动速度，/>表示压力项的校正系数，/>表示脚步运动频次项的校正系数，/>表示第/>个有效压力值，/>表示基准压力值，/>表示单位预设时间内有效压力值的数量，/>表示有效压力值的序号，/>表示用户的脚部运动频次，/>表示标准脚部运动频次。

上述公式根据有效压力值以及脚步运动频次计算得到用户在显示画面中的运动速度，可以理解的，用户的有效压力值以及脚步运动频次越大，则对应的运动速度也越大。

如图4所示，作为本发明的一个优选实施例，所述根据用户手部数据分析用户手部动作，生成画面交互指令，根据画面交互指令对显示画面进行调节的步骤，具体包括：

S401，将用户手部数据分为左手数据和右手数据，据此生成用户手部动作，所述用户手部动作包括左手动作序列和右手动作序列。

在本步骤中，将用户手部数据分为左手数据和右手数据，对用户的左手和右手边进行不同分别，确定用户左手和右手的动作。根据用户动作的时间顺序构建左手动作序列和右手动作序列，在两种动作序列中记录了不同时刻用户的手部动作。

S402，根据左手动作序列与右手动作序列之间的匹配关系生成画面交互指令。

在本步骤中，根据左手动作序列与右手动作序列之间的匹配关系生成画面交互指令，将左手动作序列与右手动作序列中记录的用户动作与预设的动作数据库中的标准动作进行组队判定用户当前的手部动作，基于用户左手与右手动作的匹配关系，来确定对应的画面交互指令。例如，左手和右手均为握拳状态则视为缩小画面显示比例，左手和右手均为手掌打开的状态则视为放大画面显示比例，据此调取对应的画面交互指令。

S403，获取当前画面的显示比例，根据画面交互指令对显示画面进行调节。

在本步骤中，获取当前画面的显示比例，由于在画面交互指令中已经确定了对画面需要执行的操作，根据画面交互指令对当前已经显示的画面进行控制即可。

对于上述通过用户左手与右手同时对画面进行交互控制的方案，为了防止误触发，在本发明中，设置的防误触发的方法包括如下步骤：

S411，在同时获取到左手动作序列与右手动作序列之后，分别获取左手对应的平面以及右手对应的平面，以分别得到左手当前所在平面以及右手当前所在平面；

S412，根据所述左手当前所在平面以及所述右手当前所在平面确定平面夹角，判断所述平面夹角是否小于预设平面夹角值；

可以理解的，当平面夹角小于预设平面夹角值，例如预设平面夹角值为5°，则此时可认为左手与右手位于同一平面，此时可进行后续的操作。

S413，若是，则在显示画面中生成一虚拟框，所述虚拟框内包括有左手虚拟单元框以及右手虚拟单元框；

S414，将用户的当前左手姿势状态投影到所述左手虚拟单元框内，并得到左手虚拟单元框投影填充率，其中所述左手虚拟单元框投影填充率为当前左手姿势状态在左手虚拟单元框内投影所占据的面积比例；

S415，将用户的当前右手姿势状态投影到所述右手虚拟单元框内，并得到右手虚拟单元框投影填充率，其中所述右手虚拟单元框投影填充率为当前右手姿势状态在右手虚拟单元框内投影所占据的面积比例；

S416，当左手虚拟单元框投影填充率大于第一预设填充率，且右手虚拟单元框投影填充率大于第二预设填充率，则根据画面交互指令对显示画面进行调节。

通过上述步骤S411至步骤S416的设置，由于需要左手右手位于同一平面，以及同时在虚拟单元框内符合投影条件才会触发交互指令，因此可有效地防止误触发操作。

在本发明中，作为另一实施例，在对显示画面的显示比例进行调节时，例如，如上所述，左手和右手均为握拳状态则视为缩小画面显示比例，左手和右手均为手掌打开的状态则视为放大画面显示比例。但是至于放大或缩小多少倍，则无法通过手型的变换来实现。此时对应的方案包括如下步骤：

S421，当判断到所述平面夹角小于预设平面夹角值时，获取用户的左手与正对面投影之间的第一距离值，以及获取用户的右手与正对面投影之间的第二距离值；

S422，基于所述第一距离值与第二距离值计算得到一当前距离差值，并判断所述当前距离差值是否小于预设距离差值；

S423，若是，则根据所述第一距离值与所述第二距离值计算得到距离基准值；

S424，在垂直于所述正对面投影的水平方向上控制用户的手部移动，并确保当前距离差值小于预设距离差值；

S425，基于所述距离基准值，计算得到在移动过程中左手对应的第一距离变化值，以及基于所述距离基准值计算得到在移动过程中右手对应的第二距离变化值，根据所述第一距离变化值以及第二距离变化值计算得到显示画面的调整比例值。

其中，显示画面的调整比例值包括放大比例值以及缩放比例值。在本实施例中，显示画面的调整比例值的计算公式表示为：

；

其中，表示显示画面的调整比例值，/>表示显示画面的基准调整比例值，/>表示第一校正系数，/>表示第一距离变化值与第二距离变化值的平均值，/>表示距离变化值的基准值。在此需要说明的是，第一距离变化值为左手在移动过程中相对于原始的距离基准值所产生的距离变化值，第二距离变化值为右手在移动过程中相对于原始的距离基准值所产生的距离变化值。

在此需要补充说明的是，在实际显示画面的调节过程中，用户的双手如果向靠近正对面投影的方向移动，则表示对显示画面进行放大；相反，若用户的双手如果向远离正对面投影的方向移动，则表示对显示画面进行缩小。

如图5所示，为本发明实施例提供的一种基于cave环境的沉浸交互系统，所述系统包括：

数据获取模块100，用于构建cave环境，获取待显示数据源，将待显示数据源显示在投影设备上。

在本系统中，数据获取模块100构建cave环境，在cave环境中包含多个显示设备，具体的，由三面墙投影加上地面投影组成沉浸式四折幕也就是cave空间，待显示数据源即为用于投影设备投影的视频数据，对于普通的视频也可以通过软件进行转换，将其转化为待显示数据源，将待显示数据源导入到投影设备中，进行显示。

数据提取模块200，用于从图像采集设备获取第一监控视频和第二监控视频，从第一监控视频提取用户面部数据，从第二监控视频提取用户手部数据。

在本系统中，数据提取模块200从图像采集设备获取第一监控视频和第二监控视频，cave环境中，在用户的正前方，左边，右边以及下方设置投影画面，而图像采集设备可以为摄像头，设置在用户的左前方和右前方，对用户进行图像采集，根据采集得到的图像进行识别，确定用户面部以及手部的位置，应对面部位置以及手部位置进行截图，根据获得的截图进行视频合成，从而得到用户面部数据以及用户手部数据，用户面部数据记录了用户面部在交互过程中的动作顺序，用户手部数据记录了用户手部在交互过程中的动作顺序。

视角调节模块300，用于基于用户面部数据分析用户面部动作，生成视角调节指令，调整显示画面的视角。

在本系统中，视角调节模块300基于用户面部数据分析用户面部动作，为了能够适配用户，需要为用户提供适合的投影高度，使得用户能够以最佳角度进行视频的观看，通过图像采集设备已经获取了用户的视频数据，因此可以据此来分析用户的身高，根据用户的身高确定投影视角的基准位置，基准位置即为用户最开始进行视频画面观看的位置，而用户在交互过程中难免产生面部上的移动，比如向左转动或者向右转动，由于基准位置已经确定当用户转动面部时，必然产生用户的实际视角与当前的基准视角位置不匹配的问题，因此需要实时分析用户的面部动作，判定用户面部的偏转角度，基于上述偏转角度，对当前画面的视角进行调节。

画面调节模块400，用于根据用户手部数据分析用户手部动作，生成画面交互指令，根据画面交互指令对显示画面进行调节。

在本系统中，画面调节模块400根据用户手部数据分析用户手部动作，在交互过程中，用户可能需要调整视角或者调整画面的播放比例，因此需要与显示画面进行交互，为了对画面进行调节，需要用户给出特定的手势，根据手势来生成画面交互指令，为了保证指令的准确性，需要用左手与右手展示不同的手势，当用户左手与右手的手势与预设手势相匹配时，则执行对应的画面交互指令，如用户左手手掌朝向屏幕，用户右手手掌背向屏幕，上述手势则视为向左旋转视角，生成对应的向左旋转视角的控制指令，将其发送给投影设备，投影设备根据控制指令进行画面调节。

如图6所示，作为本发明的一个优选实施例，所述数据提取模块200包括：

图像采集单元201，用于按照预设的图像采集间隔，向图像采集设备发送图像采集请求，接收来自图像采集设备发出的实时采集图像。

在本模块中，图像采集单元201按照预设的图像采集间隔，向图像采集设备发送图像采集请求，由于用户动作并不频繁，因此无需持续进行图像采集，具体的按照预设的时间间隔进行图像采集，如每间隔100毫秒采集一张图像，图像采集设备可以为照相机每次只采集一张高清图片，在现场至少设置两组图像采集设备，从不同的角度进行图像采集，采集设备在完成图像采集之后，将采集得到的图像发回，得到实时采集图像。

画面分割单元202，用于对实时采集图像进行画面分割，得到手部截图和面部截图，并据此合成第一监控视频和第二监控视频。

在本模块中，画面分割单元202对实时采集图像进行画面分割，利用图像识别算法，识别出画面中用户的面部以及用户的左手以及右手，对用户的面部，左手以及右手进行边缘识别，按照预设的图像截取尺寸进行画面截取，得到手部的截图以及面部的截图，进而至此合成视频，得到第一监控视频和第二监控视频，第一监控视频包含用户面部的连续动作，而第二监控视频包括用户的手部动作。

图像识别单元203，用于对第一监控视频进行面部识别，生成用户面部数据，对第二监控视频进行手部动作识别，得到用户手部数据。

在本模块中，图像识别单元203对第一监控视频进行面部识别，由于设置了两种图像采集设备并且从不同角度对用户进行拍摄，当用户正视前方时，做面部在两组图像中占据的像素数量应当相同或者相近，识别用户面部之后，统计用户面部的像素数量，得到用户面部数据，记录每一个时刻对应的用户面部的像素数量，利用图像识别技术识别用户的手部动作，同样的由于设置了两组图像采集设备，每一只手都会从两个角度进行拍摄，基于与面部识别相同的原理，识别用户手部的像素数量，得到用户手部数据。

如图7所示，作为本发明的一个优选实施例，所述视角调节模块300包括：

面部动作识别单元301，用于根据用户面部数据生成用户面部动作序列，所述用户面部动作序列包含时间轴数据。

在本模块中，面部动作识别单元301根据用户面部数据生成用户面部动作序列，用户面部动作序列记录的是用户在各个时刻面部的朝向数据如 a时刻用户面部向左偏转十度，而用户在b时刻向右偏转十度则表明用户在a时刻与b时刻之间，面部从左向右摆动了二十度。

基准识别单元302，用于基于第一监控视频确定用户高度，识别眼部位置确定画面显示基准。

在本模块中，基准识别单元302基于第一监控视频确定用户高度，在第一监控视频中设置了对应的参考线，根据参考线与用户眼部之间的位置关系，判定用户的高度，即确定了显示画面的水平位置，此时视为用户朝正前方平视，即为画面显示基准。

基准调节单元303，用于对用户面部动作序列进行分析判定用户面部偏转角度，生成视角调节指令，调整显示画面的视角。

在本模块中，基准调节单元303对用户面部动作序列进行分析判定用户面部偏转角度，当判定用户出现面部偏移时，则将显示画面的视角根据偏移角度进行调节，使得用户的实际观看角度与显示角度一致，保证了用户的观看体验。

如图8所示，作为本发明的一个优选实施例，所述画面调节模块400包括：

手部动作识别单元401，用于将用户手部数据分为左手数据和右手数据，据此生成用户手部动作，所述用户手部动作包括左手动作序列和右手动作序列。

在本模块中，手部动作识别单元401将用户手部数据分为左手数据和右手数据，对用户的左手和右手边进行不同分别，确定用户左手和右手的动作根据用户动作的时间顺序构建左手动作序列和右手动作序列，在两种动作序列中记录了不同时刻用户的手部动作。

交互指令生成单元402，用于根据左手动作序列与右手动作序列之间的匹配关系画面交互指令。

在本模块中，交互指令生成单元402根据左手动作序列与右手动作序列之间的匹配关系画面交互指令，将左手动作序列与右手动作序列中记录的用户动作与预设的动作数据库中的标准动作进行组队判定用户当前的手部动作，基于用户左手与右手动作的匹配关系，来确定对应的画面交互指令，如左手握拳，右手手掌打开则视为向左旋转画面，左手和右手均为握拳状态则视为缩小画面显示比例，左手和右手均为手掌打开的状态则视为放大画面显示比例，据此调取对应的画面交互指令。

画面控制单元403，用于获取当前画面的显示比例，根据画面交互指令对显示画面进行调节。

在本模块中，画面控制单元403获取当前画面的显示比例，由于在画面交互指令中已经确定了对画面需要执行的操作和根据，根据画面交互指令对当前已经显示的画面进行控制即可。

应该理解的是，虽然本发明各实施例的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，各实施例中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器（ROM）、可编程ROM（PROM）、电可编程ROM（EPROM）、电可擦除可编程ROM（EEPROM）或闪存。易失性存储器可包括随机存取存储器（RAM）或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM（SRAM）、动态RAM（DRAM）、同步DRAM（SDRAM）、双数据率SDRAM（DDRSDRAM）、增强型SDRAM（ESDRAM）、同步链路（Synchlink） DRAM（SLDRAM）、存储器总线（Rambus）直接RAM（RDRAM）、直接存储器总线动态RAM（DRDRAM）、以及存储器总线动态RAM（RDRAM）等。

以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于cave环境的沉浸交互系统，其特征在于，所述系统包括：

数据获取模块，用于构建cave环境，获取待显示数据源，将待显示数据源显示在投影设备上；

数据提取模块，用于从图像采集设备获取第一监控视频和第二监控视频，从第一监控视频提取用户面部数据，从第二监控视频提取用户手部数据；

视角调节模块，用于基于用户面部数据分析用户面部动作，生成视角调节指令，调整显示画面的视角；

画面调节模块，用于根据用户手部数据分析用户手部动作，生成画面交互指令，根据画面交互指令对显示画面进行调节；

所述视角调节模块包括：

面部动作识别单元，用于根据用户面部数据生成用户面部动作序列，所述用户面部动作序列包含时间轴数据；

基准识别单元，用于基于第一监控视频确定用户高度，识别眼部位置确定画面显示基准；

基准调节单元，用于对用户面部动作序列进行分析判定用户面部偏转角度，生成视角调节指令，调整显示画面的视角。

2.根据权利要求1所述的一种基于cave环境的沉浸交互系统，其特征在于，所述数据提取模块包括：

图像采集单元，用于按照预设的图像采集间隔，向图像采集设备发送图像采集请求，接收来自图像采集设备发出的实时采集图像；

画面分割单元，用于对实时采集图像进行画面分割，得到手部截图和面部截图，并据此合成第一监控视频和第二监控视频；

图像识别单元，用于对第一监控视频进行面部识别，生成用户面部数据，对第二监控视频进行手部动作识别，得到用户手部数据。

3.根据权利要求2所述的一种基于cave环境的沉浸交互系统，其特征在于，所述画面调节模块包括：

手部动作识别单元，用于将用户手部数据分为左手数据和右手数据，据此生成用户手部动作，所述用户手部动作包括左手动作序列和右手动作序列；

交互指令生成单元，用于根据左手动作序列与右手动作序列之间的匹配关系生成画面交互指令；

画面控制单元，用于获取当前画面的显示比例，根据画面交互指令对显示画面进行调节。

4.根据权利要求3所述的一种基于cave环境的沉浸交互系统，其特征在于，在基准调节单元中，用于对用户面部动作序列进行分析判定用户面部偏转角度，生成视角调节指令，调整显示画面的视角的方法具体包括：

获取在预设时间段内对应的用户面部动作序列，并对所述用户面部动作序列进行分析以得到多个用户面部动作位移，每个所述用户面部动作位移包括用户面部动作水平位移以及用户面部动作竖直位移；

获取多个用户面部动作竖直位移对应的竖直位移值，并在多个竖直位移值中确定得到最大竖直位移值；

判断所述最大竖直位移值是否大于预设竖直位移值；

若否，则控制显示画面仅在水平方向上进行偏转。

5.根据权利要求4所述的一种基于cave环境的沉浸交互系统，其特征在于，所述沉浸交互系统包含沉浸式四折幕，在沉浸式四折幕的地面投影上设置有压力传感器以及计数器；

当用户在显示画面的场景中进行移动时，对应的移动控制方法包括如下步骤：

获取在单位预设时间内所述地面投影上检测到的多个压力值，并将多个压力值中小于预设压力值的进行删除以得到多个有效压力值；

统计在单位预设时间内的多个有效压力值的数量以得到第一压力总数值，基于所述第一压力总数值与所述单位预设时间计算得到脚部运动频次；

基于多个有效压力值以及脚步运动频次计算得到用户在显示画面中的运动速度；

其中，用户在显示画面中的运动速度的计算公式表示为：

；

其中，表示用户在显示画面中的运动速度，/>表示用户在显示画面中的基准运动速度，/>表示压力项的校正系数，/>表示脚步运动频次项的校正系数，/>表示第/>个有效压力值，/>表示基准压力值，/>表示单位预设时间内有效压力值的数量，/>表示有效压力值的序号，/>表示用户的脚部运动频次，/>表示标准脚部运动频次。

6.根据权利要求5所述的一种基于cave环境的沉浸交互系统，其特征在于，在画面控制单元中，在用于获取当前画面的显示比例，根据画面交互指令对显示画面进行调节的方法中，为了防止误触发，设置的防误触发的方法包括如下步骤：

在同时获取到左手动作序列与右手动作序列之后，分别获取左手对应的平面以及右手对应的平面，以分别得到左手当前所在平面以及右手当前所在平面；

根据所述左手当前所在平面以及所述右手当前所在平面确定平面夹角，判断所述平面夹角是否小于预设平面夹角值；

若是，则在显示画面中生成一虚拟框，所述虚拟框内包括有左手虚拟单元框以及右手虚拟单元框；

将用户的当前左手姿势状态投影到所述左手虚拟单元框内，并得到左手虚拟单元框投影填充率，其中所述左手虚拟单元框投影填充率为当前左手姿势状态在左手虚拟单元框内投影所占据的面积比例；

将用户的当前右手姿势状态投影到所述右手虚拟单元框内，并得到右手虚拟单元框投影填充率，其中所述右手虚拟单元框投影填充率为当前右手姿势状态在右手虚拟单元框内投影所占据的面积比例；

当左手虚拟单元框投影填充率大于第一预设填充率，且右手虚拟单元框投影填充率大于第二预设填充率，则根据画面交互指令对显示画面进行调节。

7.根据权利要求6所述的一种基于cave环境的沉浸交互系统，其特征在于，根据画面交互指令对显示画面进行调节的步骤中，存在一显示画面的调整比例值，显示画面的调整比例值的计算方法包括如下步骤：

当判断到所述平面夹角小于预设平面夹角值时，获取用户的左手与正对面投影之间的第一距离值，以及获取用户的右手与正对面投影之间的第二距离值；

基于所述第一距离值与第二距离值计算得到一当前距离差值，并判断所述当前距离差值是否小于预设距离差值；

若是，则根据所述第一距离值与所述第二距离值计算得到距离基准值；

在垂直于所述正对面投影的水平方向上控制用户的手部移动，并确保当前距离差值小于预设距离差值；

基于所述距离基准值，计算得到在移动过程中左手对应的第一距离变化值，以及基于所述距离基准值计算得到在移动过程中右手对应的第二距离变化值，根据所述第一距离变化值以及第二距离变化值计算得到显示画面的调整比例值；

其中，显示画面的调整比例值的计算公式表示为：

；

其中，表示显示画面的调整比例值，/>表示显示画面的基准调整比例值，/>表示第一校正系数，/>表示第一距离变化值与第二距离变化值的平均值，/>表示距离变化值的基准值。

8.根据权利要求1所述的一种基于cave环境的沉浸交互系统，其特征在于，投影设备包括三组背投设备和一组正投设备。