CN107741782B - 一种设备虚拟漫游方法和装置 - Google Patents

Abstract

本发明公开了一种设备虚拟漫游方法，其步骤包括：S1：构建融入实景全景的变电站空间的三维虚拟场景；S2：在所述三维虚拟场景中设置相机位置和观测视角；S3：建立视点和2D鼠标的运动连接；S4：在虚拟漫游过程中完成变电站的布置，包括浏览模式和布置模式的切换，在浏览模式中，通过2D鼠标控制视角的转换和视点的移动速度，在布置模式中，利用Kinect设备实现与三维虚拟场景的手势交互，以进行电子设备的移动和放置。本发明保留了原有常见设备鼠标，控制视点的变换转移，保证基本的漫游功能；引入体感交互设备Kinect增加放置模式，在浏览和放置模式的穿插切换中，完成变电站空间的布置，并且在放置模式中增加触觉体验，从控制鼠标的机械动作中解放出来。

Description

一种设备虚拟漫游方法和装置

技术领域

本发明涉及虚拟漫游技术，尤其涉及一种基于设备实现的虚拟漫游方法和装置。

背景技术

虚拟漫游技术是虚拟现实技术的重要组成部分，其目标是解决“漫游者”与虚拟场景的交互动态关系，由此产生视点、视线以及场景内容的关联变化，构成一幅幅“漫游”体验的画卷。按照3D场景建模方式的不同，可以将虚拟漫游分为基于图形的虚拟漫游和基于图像的虚拟漫游以及两者混合兼有的虚拟漫游三种类型。

基于图像的虚拟场景又称为虚拟实景空间。虚拟实境空间是指利用照相机采集的离散图像或摄像机采集的连续视频作为基础资料，经过图像处理生成全景图像并对其进行空间关联建立起的具有空间操纵能力的虚拟环境。

虚拟漫游适用于场景漫游，通常采用鼠标和键盘即可完成全方位交互漫游，但在变电站空间的布置过程中，既要对变电站整个空间和局部空间进行浏览以确定电子设备摆放位置是否正确或者合适，如果电子设备摆放位置不正确或者不合适，需要对其位置进行调整，利用已有的鼠标和键盘仅仅是机械操作，不能感受到调整电子设备位置的真实感。因此，有必要设计一种设备虚拟漫游的方法，既能利用原有设备进行场景漫游，又能在移动放置电子设备的过程中增加类似触觉的体验。

发明内容

为解决上述技术问题，本发明提供一种设备虚拟漫游方法，用于变电站空间的布置，其步骤包括：

S1：构建融入实景全景的变电站空间的三维虚拟场景；

S2：在所述三维虚拟场景中设置相机位置和观测视角；

S3：建立视点和2D鼠标的运动连接，使视点响应2D鼠标的同向运动，以4个自由度实现三维虚拟场景中上、下、左、右、前进、后退、左转和右转八种运动方式；

S4：在虚拟漫游过程中完成变电站的布置，包括浏览模式和布置模式的切换，在浏览模式中，通过2D鼠标控制视角的转换和视点的移动速度，在布置模式中，利用Kinect设备实现与三维虚拟场景的手势交互，以进行电子设备的移动和放置。

本发明还提供了一种设备虚拟漫游装置，用于变电站空间的布置，包括：

三维虚拟场景搭建模块，构建融入实景全景的变电站空间的三维虚拟场景；

相机和视角设置模块，在所述三维虚拟场景中设置相机位置和观测视角；

鼠标与视点的运动连接模块，建立视点和2D鼠标的运动连接，使视点响应2D鼠标的同向运动，以4个自由度实现三维虚拟场景中上、下、左、右、前进、后退、左转和右转八种运动方式；

变电站浏览及布置模块，在虚拟漫游过程中完成变电站的布置，包括浏览模式和布置模式的切换，在浏览模式中，通过2D鼠标控制视角的转换和视点的移动速度，在布置模式中，利用Kinect设备实现与三维虚拟场景的手势交互，以进行电子设备的移动和放置。

本发明的有益效果是：区别于现有技术，在变电站空间的布置过程中，本发明的设备虚拟漫游方法保留了原有常见设备鼠标，控制视点的变换转移和移动速度的变化，实现浏览模式，对变电站的整体空间和局部空间均能进行漫游；此外，利用服务器采集全景实景图像数据，将其融合到初始建立的虚拟空间的三维场景中，进一步增加了虚拟漫游的真实感。引入鲁棒性强的体感交互设备Kinect增加放置模式，在浏览模式和放置模式的穿插切换中，完成变电站空间的布置，并且在移动放置电子设备的时候增加类似触觉的体验，可以从控制鼠标的机械动作中解放出来，丰富了漫游手段。

附图说明

图1设备虚拟漫游方法的流程示意图

具体实施方式

本发明提供的设备虚拟漫游方法的流程如图1所示，其步骤包括：

S1：构建融入实景全景的变电站空间的三维虚拟场景；

S2：在所述三维虚拟场景中设置相机位置和观测视角；

S3：建立视点和2D鼠标的运动连接，使视点响应2D鼠标的同向运动；

S4：在虚拟漫游过程中完成变电站的布置，包括浏览模式和布置模式的切换，在浏览模式中，通过2D鼠标控制视角的转换和视点的移动速度，在布置模式中，利用Kinect设备实现与三维虚拟场景的手势交互，以进行电子设备的移动和放置。

其中，步骤S1具体实现为：通过Unity 3D搭建整个变电站空间的虚拟空间的三维环境，配置好灯光进行灯光贴图，并在虚拟空间的三维环境中绘制场景显示外部图层，从服务器接收采集到的全景实景图像数据，纹理映射到场景显示外部图层，获得基于场景显示外部图层的三维虚拟场景。

其中，所述建立视点和2D鼠标的运动连接，使视点响应2D鼠标的同向运动包括：

(1)当2D鼠标指示符接触到虚拟场景的上、下、左、右任一边界时，即表达用户在虚拟环境中X、Y轴两个自由度、四个方向上的移动操作指令，视点作同向移动；

(2)当2D鼠标的左右键被按下时分别表达用户在虚拟环境中，Z轴一个自由度、前后两个方向上的移动操作指令，视点作同向移动；

(3)当2D鼠标的中键被按下，且鼠标指示符位于计算机屏幕左半区时，即表达用户在虚拟环境中，原地向左旋转的操作指令，视点作同向转动；

(4)当2D鼠标的中键被按下，且鼠标指示符位于计算机屏幕右半区时，即表达用户在虚拟环境中，原地向右旋转的操作指令，视点作同向转动；

第(3)和(4)项合成第四个自由度，至此实现三维虚拟场景中上下、左右、前进、后退、左转和右转八种运动方式。

作为输入设备的鼠标对用户在二维环境中操作指令的表达又非常有限，造成的结果是视点移动的速度得不到很好的控制，用户操作的有效性和简易性不够。在交互约定中，视点每一次移动值都是固定的。这样，当用户想移动一微小距离时，此值可能偏大而无法对准目标；当用户想快速移动一段长距离时，此值可能偏小而导致空间移动花费较长时间。可见，视点的移动值应为一变量更合适，且此变量应根据用户的操作意图进行自适应的渐变。

视点的前后移动能突出体现三维场景的纵深感和漫游操作的优势，这一延z轴的视点移动用鼠标的左右按键控制，若用户保持鼠标按键按下状态，表示要延Z轴长距离移动，应提速。当按下时间T小于等于阈值TH1时，移动速度V为固定值V₀，当按下时间T大于TH1时，移动速度

按下时间以毫秒为单位计数。

对于在平面的视点移动，往往对应下一步的三维虚拟交互操作，这就要求能用最短的时间，使被操作的对象落在合适的视野范围内。对于平面内的视点移动，在三维虚拟场景界面的显示窗口边沿划定一个计算机可识别的移动可能域，该区域的四边表示左右、上下四个移动方向，当鼠标位置落入该移动可能域，越靠近哪一边并且停留时间越长，表示用户在这个方向的移动距离较长，应提速。设定鼠标位置相对于该移动可能域的某一边的距离S和停留时间T'，当S大于等于阈值TH2且T'小于等于阈值TH3时，移动速度V'为固定值V₀'，当S小于阈值TH2且T'大于阈值TH3时，移动速度

其余情况下，移动速度

停留时间以毫秒为单位计数。

其中，所述利用Kinect设备实现与三维虚拟场景的手势交互具体为：

S41.获取深度图像，通过深度图像确定骨骼节点位置进行跟踪，在检测到手部时，区分左手和右手，检查是否处于鼠标控制状态；

S42.提取手部的若干个骨骼节点跟踪并识别手部状态，每个骨骼节点都包含有3D位置和方向信息，需要识别的手部状态定义为三种：手部完全张开手势、手部半张开手势和握拳手势；

S43.当手部张开时，控制鼠标的位置移动；移动到目标电子设备后，手部握拳控制选中目标电子设备，并获取屏幕分辨率的具体三维位置；保持握拳，移动目标电子设备，同时判断每帧扫描目标电子设备是否被松开，直至移动到所需位置；再将握拳张开，使用重力效果，放置目标电子设备，即完成一次手势交互。

其中，由于手势交互所涉及的手部状态为三种，需要对手部状态的识别过程进行优化，避免产生误判，利用准确获取的手势数据库作为先验知识来优化手势的识别，以便于匹配估计用户所使用的真正手势，在手势数据库中建立称为紧凑手势群的结构模型，该结构模型显示了手势之间的本质对应关系，具体为：

第一阶段，通过光学运动捕获系统得到的准确捕获的运动建立手势数据库，再将手势数据库组织为紧凑手势群的结构；

第二阶段，对每一个单个关节评估当前Kinect手势的可靠性，在优化操作之前，利用紧凑手势群预先选择候选手势，用更多合适的关节位置替换不可靠的关节位置。

其中紧凑手势群的结构的建立过程为：

第一步：减小手势群的规模，以相应节省计算时间，通过运动内去冗和运动间去冗来去除过于相似的手势，当两个手势之间的距离小于第一距离阈值时视为两个手势是相似的，两个手势之间的距离定义为两个手势之间所有关节位置差异的最大值，由于产业化操作中，许多运动差异只取决于手臂运动，在某些情况下，优于传统的将两个手势之间的距离定义为两个手势之间所有关节位置差异的平均值；运动内去冗通过从头至尾拍摄运动并且只保留与在前各手势不同的手势来实现；运动间去冗使用类似的过程去除各运动之间相似的局部已去冗节点；在进行局部去冗和全局去冗之后，获得紧致集合，每个节点表示一个手势；

第二步，对已去冗节点进行逻辑连接，构建最终的紧凑手势群：两个连续的局部已去冗节点自然被连接，因为它们对应于已有的手势序列；先在一个运动片段中识别逻辑连接，对于每个运动片段内所有已有连接计算平均距离和标准差，然后用这些值估计合理的第二距离阈值，各个运动片段之间不连续的两个节点之间的距离小于该第二距离阈值，则建立逻辑连接。

相应地，本发明还提供了一种设备虚拟漫游装置，用于变电站空间的布置，包括：

三维虚拟场景搭建模块，构建融入实景全景的变电站空间的三维虚拟场景；

相机和视角设置模块，在所述三维虚拟场景中设置相机位置和观测视角；

鼠标与视点的运动连接模块，建立视点和2D鼠标的运动连接，使视点响应2D鼠标的同向运动，以4个自由度实现三维虚拟场景中上、下、左、右、前进、后退、左转和右转八种运动方式；

变电站浏览及布置模块，在虚拟漫游过程中完成变电站的布置，包括浏览模式和布置模式的切换，在浏览模式中，通过2D鼠标控制视角的转换和视点的移动速度，在布置模式中，利用Kinect设备实现与三维虚拟场景的手势交互，以进行电子设备的移动和放置。

其中，所述视点的移动速度指的是视点每一次的移动值，所述视点的移动速度根据用户的操作意图进行自适应的渐变，视点的前后移动根据用户保持鼠标按键按下状态的按下时间进行移动速度的变化，平面内的视点移动根据鼠标落入移动可能域后与某一边的距离以及停留时间进行移动速度的变化。

在视点的前后移动中，设按下时间为T，当按下时间T小于等于阈值TH1时，移动速度V为固定值V₀，当按下时间T大于TH1时，移动速度

在平面内的视点移动中，在三维虚拟场景界面的显示窗口边沿划定一个计算机可识别的移动可能域，该移动可能域的四边表示左、右、上、下四个移动方向，当鼠标位置落入该移动可能域时，获取鼠标位置相对于该移动可能域的某一边的距离S和停留时间T'，当S大于等于阈值TH2且T'小于等于阈值TH3时，移动速度V'为固定值V₀'，当S小于阈值TH2且T'大于阈值TH3时，移动速度

其余情况下，移动速度

其中，所述变电站浏览及布置模块中，为了利用Kinect设备实现与三维虚拟场景的手势交互以进行电子设备的移动和放置，还包括：

图像获取子模块，获取深度图像，通过深度图像确定骨骼节点位置进行跟踪，在检测到手部时，区分左手和右手，检查是否处于鼠标控制状态；

手部状态识别子模块，提取手部的若干个骨骼节点跟踪并识别手部状态，每个骨骼节点都包含有3D位置和方向信息，需要识别的手部状态定义为三种：手部完全张开手势、手部半张开手势和握拳手势；

设备布置子模块，当手部张开时，控制鼠标的位置移动；移动到目标电子设备后，手部握拳控制选中目标电子设备，并获取屏幕分辨率的具体三维位置；保持握拳，移动目标电子设备，同时判断每帧扫描目标电子设备是否被松开，直至移动到所需位置；再将握拳张开，使用重力效果，放置目标电子设备，即完成一次手势交互。

本发明中，在变电站空间的布置过程中，本发明的设备虚拟漫游方法保留了原有常见设备鼠标，控制视点的变换转移和移动速度的变化，实现浏览模式，对变电站的整体空间和局部空间均能进行漫游；此外，利用服务器采集全景实景图像数据，将其融合到初始建立的虚拟空间的三维场景中，进一步增加了虚拟漫游的真实感。引入鲁棒性强的体感交互设备Kinect增加放置模式，在浏览模式和放置模式的穿插切换中，完成变电站空间的布置，并且在移动放置电子设备的时候增加类似触觉的体验，可以从控制鼠标的机械动作中解放出来，丰富了漫游手段。

以上实施方式仅用于说明本发明，而并非对本发明的限制，有关技术领域的普通技术人员，在不脱离本发明的精神和范围的情况下，还可以做出各种变化和变型，因此所有等同的技术方案也属于本发明的范畴，本发明的专利保护范围应由权利要求限定。

Claims (8)

1.一种设备虚拟漫游方法，用于变电站空间的布置，其步骤包括：

S1：构建融入实景全景的变电站空间的三维虚拟场景；

S2：在所述三维虚拟场景中设置相机位置和观测视角；

S3：建立视点和2D鼠标的运动连接，使视点响应2D鼠标的同向运动，以4个自由度实现三维虚拟场景中上、下、左、右、前进、后退、左转和右转八种运动方式；

S4：在虚拟漫游过程中完成变电站的布置，包括浏览模式和布置模式的切换，在浏览模式中，通过2D鼠标控制视角的转换和视点的移动速度，在布置模式中，利用Kinect设备实现与三维虚拟场景的手势交互，以进行电子设备的移动和放置；

其中，所述视点的移动速度指的是视点每一次的移动值，所述视点的移动速度根据用户的操作意图进行自适应的渐变，视点的前后移动根据用户保持鼠标按键按下状态的按下时间进行移动速度的变化，平面内的视点移动根据鼠标落入移动可能域后与某一边的距离以及停留时间进行移动速度的变化。

2.如权利要求1所述的设备虚拟漫游方法，在视点的前后移动中，设按下时间为T，当按下时间T小于等于阈值TH1时，移动速度V为固定值V₀，当按下时间T大于TH1时，移动速度

3.如权利要求1所述的设备虚拟漫游方法，在平面内的视点移动中，在三维虚拟场景界面的显示窗口边沿划定一个计算机可识别的移动可能域，该移动可能域的四边表示左、右、上、下四个移动方向，当鼠标位置落入该移动可能域时，获取鼠标位置相对于该移动可能域的某一边的距离S和停留时间T'，当S大于等于阈值TH2且T'小于等于阈值TH3时，移动速度V'为固定值V₀'，当S小于阈值TH2且T'大于阈值TH3时，移动速度

其余情况下，移动速度

4.如权利要求1所述的设备虚拟漫游方法，其中，步骤S4的布置模式中，所述利用Kinect设备实现与三维虚拟场景的手势交互，以进行电子设备的移动和放置，具体为：

S41.获取深度图像，通过深度图像确定骨骼节点位置进行跟踪，在检测到手部时，区分左手和右手，检查是否处于鼠标控制状态；

S42.提取手部的若干个骨骼节点跟踪并识别手部状态，每个骨骼节点都包含有3D位置和方向信息，需要识别的手部状态定义为三种：手部完全张开手势、手部半张开手势和握拳手势；

S43.当手部张开时，控制鼠标的位置移动；移动到目标电子设备后，手部握拳控制选中目标电子设备，并获取屏幕分辨率的具体三维位置；保持握拳，移动目标电子设备，同时判断每帧扫描目标电子设备是否被松开，直至移动到所需位置；再将握拳张开，使用重力效果，放置目标电子设备，即完成一次手势交互。

5.一种设备虚拟漫游装置，用于变电站空间的布置，包括：

三维虚拟场景搭建模块，构建融入实景全景的变电站空间的三维虚拟场景；

相机和视角设置模块，在所述三维虚拟场景中设置相机位置和观测视角；

鼠标与视点的运动连接模块，建立视点和2D鼠标的运动连接，使视点响应2D鼠标的同向运动，以4个自由度实现三维虚拟场景中上、下、左、右、前进、后退、左转和右转八种运动方式；

变电站浏览及布置模块，在虚拟漫游过程中完成变电站的布置，包括浏览模式和布置模式的切换，在浏览模式中，通过2D鼠标控制视角的转换和视点的移动速度，在布置模式中，利用Kinect设备实现与三维虚拟场景的手势交互，以进行电子设备的移动和放置；

其中，所述视点的移动速度指的是视点每一次的移动值，所述视点的移动速度根据用户的操作意图进行自适应的渐变，视点的前后移动根据用户保持鼠标按键按下状态的按下时间进行移动速度的变化，平面内的视点移动根据鼠标落入移动可能域后与某一边的距离以及停留时间进行移动速度的变化。

6.如权利要求5所述的设备虚拟漫游装置，在视点的前后移动中，设按下时间为T，当按下时间T小于等于阈值TH1时，移动速度V为固定值V₀，当按下时间T大于TH1时，移动速度

7.如权利要求5所述的设备虚拟漫游装置，在平面内的视点移动中，在三维虚拟场景界面的显示窗口边沿划定一个计算机可识别的移动可能域，该移动可能域的四边表示左、右、上、下四个移动方向，当鼠标位置落入该移动可能域时，获取鼠标位置相对于该移动可能域的某一边的距离S和停留时间T'，当S大于等于阈值TH2且T'小于等于阈值TH3时，移动速度V'为固定值V₀'，当S小于阈值TH2且T'大于阈值TH3时，移动速度

其余情况下，移动速度

8.如权利要求5所述的设备虚拟漫游装置，其中，所述变电站浏览及布置模块中，为了利用Kinect设备实现与三维虚拟场景的手势交互以进行电子设备的移动和放置，还包括：

图像获取子模块，获取深度图像，通过深度图像确定骨骼节点位置进行跟踪，在检测到手部时，区分左手和右手，检查是否处于鼠标控制状态；

手部状态识别子模块，提取手部的若干个骨骼节点跟踪并识别手部状态，每个骨骼节点都包含有3D位置和方向信息，需要识别的手部状态定义为三种：手部完全张开手势、手部半张开手势和握拳手势；

设备布置子模块，当手部张开时，控制鼠标的位置移动；移动到目标电子设备后，手部握拳控制选中目标电子设备，并获取屏幕分辨率的具体三维位置；保持握拳，移动目标电子设备，同时判断每帧扫描目标电子设备是否被松开，直至移动到所需位置；再将握拳张开，使用重力效果，放置目标电子设备，即完成一次手势交互。

Images