CN109901713A - 一种多人协同装配系统及方法 - Google Patents

Abstract

本公开提供了一种多人协同装配系统及方法，利用外部定位设备实时捕捉多用户的位置和用户手势识别，并作为输入数据；利用得到的数据改变相机渲染参数，实现多视角渲染场景而不引起虚拟成像位置偏移；利用两台投影仪显示多名用户左右眼立体画面，实现多人观看同一投影区域但能观察到不同画面的功能；控制用户信息内容，实现用户的注册和登陆功能；利用动画的形式提供拆解装配过程的学习资料；多用户对虚拟物体的编辑，以及场景对用户操作结果的反馈。

Description

一种多人协同装配系统及方法

技术领域

本公开涉及一种多人协同装配系统及方法。

背景技术

本部分的陈述仅仅是提供了与本公开相关的背景技术信息，不必然构成在先技术。

在产品的研发和生产过程中使用虚拟现实(VR)技术和增强现实(AR)技术，可以实现装配工艺的模拟和优化、提高概念设计的效率、精简设计单位和更加有效地进行工厂规划的目的，虚拟现实与智能制造的“虚实融合”，将为现代工业的发展带来质的提升。虚拟现实技术(Virtual Reality)作为一种综合了计算机图形学、人机交互技术、仿真技术、多媒体技术、网络技术等多种科学技术而迅速发展的计算机领域的新技术，其应用领域广泛，现已经在军事、教育、医学、制造业、影视、娱乐、科研等方面发挥了巨大作用。当今世界工业已经发生了巨大的变化，大规模人海战术早已不适应工业的发展，先进科学技术的应用显现出巨大的影响力，特别是虚拟现实技术的应用引发了一场前所未有的工业界革命。虚拟现实技术已经被世界上一些大型企业广泛地应用到工业生产的各个环节，对企业提高开发效率，加强数据采集、分析、处理能力，减少决策失误，降低企业风险起到了重要的作用。虚拟现实技术的引入，将使工业设计的手段和思想发生质的飞跃,会更加符合社会发展的需要。综上所述，在工业设计中应用虚拟现实技术是可行且必要的。

目前的虚拟装配系统有如下缺陷：

现在的虚拟装配系统大都是基于单人视角，即支持一个用户视野的画面渲染，不能支持多人视角同时渲染。在装配学习过程中，需要专业的指导，也需要多名人员的配合与协同。

用户在学习的过程中，要一边可以实际操作，一边受到当前阶段的引导，为了更好的协同，当前操作的用户需要看到装配环境的不同方向视野的画面。

而当用户移动时，虚拟相机也应跟随用户的双眼移动，且虚拟物体的成像应固定在同一位置，这样用户可以自由走动观察虚拟物体，更加接近真实环境下的观察体验。

在以上存在的问题中，一些装配系统大都提供一种网络异地协同模式来支持多人操作，这种方式虽然可以解决多名用户共同操作的问题，但往往用户之间不能有着良好的交流，同时网络延迟与模型操作互斥也会是一个待解决的问题。

此外，对于头戴式显示设备中的VR体验，虽然可以根据用户转向与移动实现用户观察画面视角的改变，但同样限制了用户的行动与同其他用户的沟通。在投影式VR系统中，用户视角往往是单一固定的，而基于用户不同位置的视野角度渲染更能提供良好的体验感。

发明内容

本公开为了解决上述问题，提出了一种多人协同装配系统及方法，本公开能够实现基于用户不同位置视野渲染及多人共场协同的虚拟装配。

根据一些实施例，本公开采用如下技术方案：

一种多人协同装配系统，包括：

定位及手势识别单元，被配置为利用外部定位设备实时捕捉多用户的位置和用户手势识别，并作为输入数据；

移动视点渲染单元，被配置为利用得到的数据改变相机渲染参数，实现多视角渲染场景而不引起虚拟成像位置偏移；

多画显示单元，被配置为利用两台投影仪显示多名用户左右眼立体画面，实现多人观看同一投影区域但能观察到不同画面的功能；

用户信息控制单元，被配置为控制用户信息内容，实现用户的注册和登陆功能；

动画演示单元，被配置为利用动画的形式提供拆解装配过程的学习资料；

多用户交互单元，被配置为多用户对虚拟物体的编辑，以及场景对用户操作结果的反馈。

作为进一步的限定，所述多用户交互单元包含：

模型操作单元，被配置为实现模型的选择、拖动和旋转；

模型高亮显示单元，被配置为利用不同高亮颜色的显示表示模型的不同状态。

基于上述系统的工作方法，包括以下步骤：

构成系统，设置投影属性；

根据系统提示，调整观看画面，进入动画演示教学模块；

进行模型装配操作，检验组件是否装配完成，如果没有则返回进入模型装配操作阶段。

作为进一步的限定，所述步骤一中，硬件环境搭建的具体要求为：

(1-1)吊装两台支持立体投影的投影仪，要求两台投影仪测试画面中投影的网格线上下左右重合；

(1-2)将发射器连接在其中一台投影仪的输出接口上并打开开关；

(1-3)将Kinect连接在主机上并调整Kinect位置，其位置为投影画面居中位置设定范围内。

所述步骤(1-1)中调节两台投影仪网格的具体步骤为：

(11-1)打开投影仪Menu按钮，找到系统高级设置选项，其中测试画面设置为打开。

(11-2)通过Zoom及旋钮调整，将两台投影仪的投影画面大小设置为一致大小。

(11-3)通过调整两台投影仪的位置，将两台投影仪画面网格重叠在一起。

作为进一步的限定，所述步骤二中，投影属性设置要求为：

(2-1)设置显卡属性；

(2-2)设置投影仪投影属性中3D设置，选择帧模式。

所述(2-1)设置显卡属性，具体步骤为：

(21-1)打开英伟达显卡设置，点击Mosaic模式选项，将两台投影仪屏幕拼接为一幅整体屏幕；

(21-2)选择需要拼接的两台投影仪屏幕；

(21-3)设置拼接屏幕分辨率和刷新率；

(21-4)将上方屏幕拖动至下方位置，将两个屏幕放置在一起；

(21-5)系统提示是否应用此设置，返回到Mosaic设置中，关闭显卡设置。

作为进一步的限定，所述步骤四中调整观看画面，具体步骤为：

(4-1)其中一名用户移动手部位置，其余用户不动，该用户调节眼镜按钮，至观察的画面应只能看到对应颜色的操作手画面；

(4-2)除去第一名用户确定了自身画面，剩余用户中的一名移动手部位置，画面中会有另一组颜色不同的操作手跟随移动，剩下的用户调节眼镜按钮，至只观察到对应颜色操作手的画面；

(4-3)最后剩余的用户为第三方用户，调节眼镜按钮至同时观察到两组操作手的画面；

(4-4)如果第三方用户选择错误，则只需要第三方用户退出Kinect识别范围，再次进入，成为第三方用户，其余两名用户按照(4-1)、(4-2)步骤调节眼镜按钮，确定观察画面。

作为进一步的限定，所述步骤六中，模型操作的具体步骤为：

(6-1)在Kinect识别区域内，通过移动手部位置控制操作手的位置，当操作手接触到组件时，组件被选中；

(6-2)以树图的形式展开装配组件；

(6-3)树图展开结束后，当前阶段需要操作的模型高亮显示一段时间，并循环当前阶段操作动画演示；

(6-4)通过走动和手势操作模型进行装配；

(6-5)判断用户是否完成当前阶段操作，如果是，进入下一阶段。

所述步骤(6-4)用户通过移动和手势操作模型进行装配，具体实现方法为：

(64-1)接收用户通过走动和控制双手移动而控制操作手的位置信息；

(64-2)接收到选中组件后，握紧手部，并移动手部位置，拖动物体；用户手部为张开姿势，控制操作手悬停在模型上一段时间，控制该组件旋转；

(64-3)用户按照提示装配模型，高亮显示部分和动画演示部分为当前阶段操作模型，控制模型移动，将组建装配结合，如果两个组件距离小于一定阈值时，判定这两个组件装配成功；

(64-4)当前阶段所有组件装配完成时，进入下一阶段过程，树图显示突出下一阶段操作演示过程。

与现有技术相比，本公开的有益效果为：

相比较头戴式VR虚拟装配系统和AR虚拟装配系统来说，本公开为投影式虚拟场景，可以降低用户体验的疲劳感和眩晕感，同时可以大大解放用户的动作和姿态，且对用户视野没有限制，可以为用户提供更自然的交互以及更宽广的画面。

本公开解决了一般投影系统单一视角的问题。用户可以通过自身移动观察到虚拟场景的不同侧面，且在走动过程中保持虚拟成像的位置不会发生偏移。系统会根据用户的位置而不断更新渲染画面，可以为用户提供更好的参与感与沉浸感。

本公开解决了多人共场协同的问题。对于装配环境来说，一个人不能够完成整体装配任务，需要多名人员的配合。有的系统提出异地网上协同，但是会伴随用户间交流问题以及模型操作互斥问题。我们认为，多人在同一地域内协作，用户间可以通过表情、动作及时的沟通，能更好更及时的理解其他人的意图，多画技术的应用，实现了在同一投影区域内观察不同用户画面的功能，用户通过佩戴眼镜就可以将重叠画面分离，只观察自己视角的独立立体画面。

本公开加入了第三方指导功能。对于装配初学者来说，对于装配过程不了解，在装配过程中不太清楚装配任务，第三方用户可以参与其中，帮助装配人员完成装配学习过程。

本公开中，用户操作只需依靠手部姿态进行交互，不需要外部设备，操作简单便捷。

附图说明

构成本申请的一部分的说明书附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。

图1为本公开运行示意图；

图2为本公开流程图；

图3为本公开投影仪搭建示意图；

图4为登录界面；

图5为操作界面；

图6(a)为手势握紧示意图；

图6(b)为手势张开示意图；

图7(a)为手势拖动示意图；

图7(b)为手势旋转示意图；

图8为单元间框架图；

图9为移动视点效果示意图；

图10为观看眼镜关闭时序示意图；

图11为移动视点技术原理图。

其中具体设备解释如下：

单元101为立体投影仪，单元102为Kinect，单元103为投影屏幕，单元104为改造后的眼镜。

具体实施方式：

下面结合附图与实施例对本公开作进一步说明。

应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

一种基于移动视点的多画显示虚拟装配仿真系统，如图8所示，包括：

定位及手势识别单元，被配置为利用外部定位设备实时捕捉多用户的位置和用户手势识别，并作为输入传给系统，其数据用作交互单元的手势识别和移动视点渲染单元中相机参数的计算；

移动视点渲染单元，被配置为利用得到的数据改变相机渲染参数，实现多视角渲染场景而不会引起虚拟成像位置偏移的功能，将渲染的图像经过多画显示单元输出到显卡；

多画显示单元，被配置为利用两台投影仪显示多名用户左右眼立体画面，实现多人观看同一投影区域但能观察到不同画面的功能，在移动视点渲染单元中得到的立体画面分时序输出；

用户信息控制单元，被配置为控制用户信息内容，实现用户的注册和登陆功能；

动画演示单元，被配置为利用动画的形式帮助用户学习拆解装配过程；

多用户交互单元，被配置为多用户对虚拟物体的编辑，以及场景对用户操作结果的反馈。

用户自由走动可以观察虚拟场景的不同侧面，且系统支持多用户共场协同操作。相比较其他虚拟装配系统来说，它具有支持多人观看画面分离以及基于不同位置渲染的优点。

其中，多用户交互单元包含：

模型操作单元：利用定位单元中的用户的数据信息实现模型的选择、拖动和旋转的功能；

模型高亮显示单元：不同高亮颜色的显示表示模型的不同状态，例如当前可操作状态、当前不可操作状态、第三方操作状态、当前操作阶段所用模型显示。

基于上述系统的工作方法，包括以下步骤：

步骤一：搭建硬件环境；

步骤二：设置投影属性；

步骤三：登录/注册系统；

步骤四：根据系统提示，调整观看画面；

步骤五：进入动画演示教学模块；

步骤六：进入模型装配操作阶段；

步骤七：检验组件是否装配完成，如果没有则返回步骤六。

步骤一中，硬件环境搭建的具体要求为

(1-1)吊装两台支持立体投影的投影仪，要求两台投影仪测试画面中投影的网格线上下左右重合；

(1-2)将发射器连接在其中一台投影仪的OUT-1接口上并打开开关；

(1-3)将Kinect连接在主机上并摆放好Kinect位置，其位置为投影画面居中为宜。

步骤二中，投影属性设置要求为

(2-1)设置显卡属性；

(2-2)设置投影仪投影属性中3D设置，选择帧模式。

步骤四中调整观看画面，具体步骤为：

(4-1)其中一名用户移动手部位置，其余用户不动。画面中会有一组操作手跟随移动。该用户调节眼镜按钮，至观察的画面应只能看到该颜色的操作手画面。

(4-2)除去第一名用户确定了自身画面，剩余两名用户中的一名移动手部位置，画面中会有另一组颜色不同的操作手跟随移动，用户二调节眼镜按钮，至只观察到该颜色操作手的画面。

(4-3)最后剩余一名用户为第三方用户，调节眼镜按钮至可能同时观察到两组操作手的画面。

(4-4)如果第三方用户选择错误，则只需要第三方用户退出Kinect识别范围，再次进入，就可以成为第三方用户，其余两名用户按照(4-1)、(4-2)步骤调节眼镜按钮，确定观察画面。

步骤六中，模型操作的具体步骤为

(6-1)用户在Kinect识别区域内，通过移动手部位置可以控制操作手的位置，当操作手接触到组件时，组件被选中。

(6-2)系统中装配组件以树图的形式展开，用户可观察到装配组件的层次结构。

(6-3)树图展开结束后，当前阶段需要操作的模型高亮显示一秒，并会循环当前阶段操作动画演示。

(6-4)用户通过走动和手势操作模型进行装配。

(6-5)判断用户是否完成当前阶段操作，如果是，进入下一阶段。

步骤(1-1)中调节两台投影仪网格的具体步骤为：

(11-1)打开投影仪Menu按钮，找到系统高级设置选项，其中测试画面设置为打开。

(11-2)通过Zoom及旋钮调整，将两台投影仪的投影画面大小设置为一致大小。

(11-3)通过调整两台投影仪的位置，将两台投影仪画面网格重叠在一起。

(2-1)设置显卡属性，具体步骤为：

(21-1)打开英伟达显卡设置，点击Mosaic模式选项，将两台投影仪屏幕拼接为一幅整体屏幕。

(21-2)选择需要拼接的两台投影仪屏幕，点击下一步。

(21-3)设置拼接屏幕分辨率为800*600，刷新率为120HZ，点击下一步。

(21-4)将上方屏幕拖动至下方位置，将屏幕1和屏幕2放置在一起，点击应用。

(21-5)系统提示是否应用此设置，点击是。之后返回到Mosaic设置中，点击结束，关闭显卡设置。

步骤(6-4)用户通过移动和手势操作模型进行装配，具体实现方法为：

(64-1)用户可通过走动和控制双手移动，控制操作手的位置

(64-2)用户选中组件后，握紧手部，并移动手部位置，可以拖动物体。用户手部为张开姿势，控制操作手悬停在模型上一段时间，控制该组件旋转。

(64-3)用户按照提示装配模型，高亮显示部分和动画演示部分为当前阶段操作模型。用户控制模型移动，将组建装配结合，如果两个组件距离小于一定阈值时，判定这两个组件装配成功。

(64-4)当前阶段所有组件装配完成时，进入下一阶段过程。树图显示突出下一阶段操作演示过程。画面顶部整体模型中，已完成部分会更改材质，显示当前进度。

第三方指示单元：第三方用户指引装配用户操作过程。

移动视点模块中，我们应用移动视点技术实现基于用户不同位置视野的画面渲染，移动视点技术主要包括追踪、渲染、投影三部分，具体实现如图11所示。

追踪：系统利用动作捕捉设备Kinect实现实时捕捉用户位置信息的功能。我们将用户头部位置作为虚拟场景中两个虚拟相机的中心，利用两个虚拟相机模拟人的左右眼，根据两眼之间的轴间距计算左右眼相机的位置。

渲染：虚拟场景中的左右眼相机以离轴透视方式渲染场景，左右眼相机分别渲染用户左眼图像和右眼图像，后期将两幅图像做处理呈现立体效果。在该步骤中，我们通过读取本地文件可以获得投影屏幕的显示宽度和高度以及投影画面距离地面的位置。通过这些数据我们可以计算出四个点，表示虚拟相机在虚拟场景中的投影面。然后，我们通过实时更新相机的视域矩阵参数，实现基于不同位置视野的画面渲染。

投影：本系统结合多画立体显示技术，每名用户的左右眼图像分别由一台立体投影仪投影。首先对两个投影仪做物理校准，将两台投影仪的网格线对齐。利用程序将用户的左右眼图像分别输出给每个投影仪，投影仪投出的画面经过两个不同的偏振片过滤处理，叠加在投影的金属幕上。用户通过佩戴添加偏振片的眼镜就可以看到立体效果。

通过移动视点技术，用户可以通过左右走动观察到物体的不同侧面，如同在真实环境下用户走动观察物体，这样可以实现用户多角度的观察装配场景。相对于传统的立体相机，用户看到的虚像画面在用户移动过程中会发生位置的偏移，但是，应用移动视点技术让用户所观察到的虚像画面位置是不变的，移动视点下的相机渲染更像是让用户通过一扇窗户观察虚拟场景。应用移动视点技术，由于用户相对于屏幕位置的不同，所观察到的画面也是不同的，用户所观察到的具体画面示意如图9.

装配过程中，单靠一名技术人员往往不能完成，需要多人协同工作。现在的多人协同投影模式中，因为每个用户的工作位置不同，在同一显示区域内，需要每个用户都可以看到不同的显示画面，这样更有利于模拟真实环境中的装配过程。一些现有的装配系统依靠网络等实现多人异地协同，但用户往往不能看到协同者全部的身体姿态，而多画显示技术的应用，恰好可以解决这些问题。多画技术的应用，不仅仅大大节省了工作空间，同时还有利于用户之间直接的交流,还有效地提高了共场协同虚拟环境中用户的真实感与存在感。

系统的具体实现为：

1.调用OnRenderImage()函数，OnRenderImage(src,dest)是Camera的一个回调(message)，它会在camera执行渲染时候被调用。其调用速度为每1/60S调用一次，则一秒会调用60次。每调用一次，我们执行两次Blit()函数，渲染两幅大图图片，分别为两个用户的左右眼图像无缝拼接的图像。其中每幅大图，即单个用户的左右眼画面拼接图像由第三个相机渲染，确保图片之间无缝隙拼接。

2.在函数中先后输出给显卡两张图片，我们将两台投影仪无缝拼接为一个大屏幕，即成为一个显示屏。投影仪将先后投影这两幅包含单个用户的左右眼画面拼接图像输出，此时，显卡会将大幅图像均匀分给两台投影仪，每台投影仪投影单个画面，既每台投影仪此时可以显示每名用户的单眼图像。

3.此时，我们由推送给显卡的图像的顺序控制眼镜左右眼的开闭。在1/60S内推出两幅拼接图像，即每台投影仪在1S内将显示120幅单眼画面。我们控制程序输出到显卡的图像顺序为：第一帧输出用户1的左右眼拼接画面和用户2的左右眼拼接画面；第二帧输出用户3的左右眼拼接画面和用户1的左右眼拼接画面；第三帧输出用户2的左右眼拼接画面和用户3的左右眼拼接画面；第四帧重复第一帧的顺序形成循环队列。相对应的，用户1、2、3的眼镜开闭时序如图10。

多画技术让每名用户在1秒内接收到40帧画面，这种速率大于人眼接收处理画面的速率，这样，用户就不会察觉到丢帧现象，让用户可以得到流畅的观看体验。

图1为本公开的实施实例效果图。单元101为立体投影仪，单元102为Kinect，单元103为投影屏幕，单元104为改造后的眼镜，用户佩戴后可以将显示在投影屏幕上的叠加立体画面分离开来，单个用户只看到单幅场景。

图2为本公开的流程框架示意图，201-207对应的为步骤一至七。

对于步骤201搭建硬件环境图示如图3，其中单元301为立体投影仪一，单元302为立体投影仪二，单元303为Kinect，单元304为水平方向偏振片，单元305为垂直方向偏振片，单元306为投影屏幕，两台投影仪上下垂直排列，并调整两台投影仪投影画面网格重合，将两块偏振片分别放置在两台投影仪前。Kinect摆放位置以投影屏幕居中为宜。

对于步骤202设置投影属性中，右键鼠标，选择NVIDIA控制面板，查看左侧选项标题，选择Mosaic设置。在该面板下，选择新建设置；其次，勾选两个投影仪屏幕，设置分辨率为800*600，设置刷新率为119.97Hz，点击下一步，如图4所示；接下来，将屏幕1和屏幕2拖到指示框中拼接成一幅屏幕，点击应用；系统提示是否应用当前设置，选择是；设置成功后，点击结束按钮，关闭显卡设置。完成以上操作后，再对投影仪进行设置。打开两台投影仪3D设置，选择帧顺序模式，本公开运行的硬件环境和软件环境完成，此时可以打开程序，三名用户可以站立在Kinect可识别范围内等待程序运行。

图4为用户登录界面，经过步骤203登录系统后，进入到步骤204调节眼镜模式步骤。对于204调节眼镜模式步骤中，首先其中一名用户移动手部位置，其余用户不动。画面中会有一组操作手跟随移动。该用户调节眼镜按钮，至观察的画面应只能看到该颜色的操作手画面，即完成第一名用户的眼镜模式调节。

接下来调节第二名用户的眼镜模式。除去第一名用户确定了自身画面，剩余两名用户中的一名移动手部位置，画面中会有另一组颜色不同的操作手跟随移动，用户二调节眼镜按钮，至只观察到该颜色操作手的画面。最后剩余一名用户为第三方用户，调节眼镜按钮至可能同时观察到两组操作手的画面。如果第三方用户选择错误，则只需要第三方用户退出Kinect识别范围，再次进入，就可以成为第三方用户，其余两名用户按照上述步骤调节眼镜按钮，确定每个用户所观察的画面为自身视角的画面。

用户观看完步骤205动画演示步骤后，进入步骤206装配操作步骤。对于步骤206装配操作步骤中，系统以树图形式展开装配组件的层次结构，并循环显示当前操作阶段的动画演示，并且限制了用户只能对当前层的模型组件进行操作，图5为用户操作界面。用户站立在Kinect可识别范围内，通过位置移动和控制左右手移动可以控制操作手的位置，操作手碰到模型时，该模型被选中。手部姿势如图6(a)表示手部握紧，图6(b)表示手部张开。如果用户手部握紧，可以通过手部位置的移动拖动选中模型，如图7(a)所示，如果用户张开手部，则释放当前所选模型。当用户手部呈张开姿势，控制操作手悬停在模型上一定时间后，如图7(b)所示，该模型旋转(旋转功能只适用于单一零件，不适用于装配完成或装配一部分的组件)。当用户操作两个模型之间的距离小于一定阈值时，表示两个组件装配成功，可以合并成一个组件再次进行操作，直至当前层所有组件装配成功。此时，当前层的动画停止，树图显示中顶部模型已完成部分改变材质，树图显示突出下一层的装配动画演示，用户可以对下一层的模型组件进行操作，直至所有层的组件都装配完成。期间，第三方用户可以通过鼠标选择模型使选中模型青色高亮显示，提示另两名用户该选取哪一个模型。

最后，判断所有组件是否装配成功，如果否，则重复步骤206装配操作步骤；如果是，则系统运行结束。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

上述虽然结合附图对本公开的具体实施方式进行了描述，但并非对本公开保护范围的限制，所属领域技术人员应该明白，在本公开的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本公开的保护范围以内。

Claims (10)

1.一种多人协同装配系统，其特征是：包括：

定位及手势识别单元，被配置为利用外部定位设备实时捕捉多用户的位置和用户手势识别，并作为输入数据；

移动视点渲染单元，被配置为利用得到的数据改变相机渲染参数，实现多视角渲染场景而不引起虚拟成像位置偏移；

多画显示单元，被配置为利用两台投影仪显示多名用户左右眼立体画面，实现多人观看同一投影区域但能观察到不同画面的功能；

用户信息控制单元，被配置为控制用户信息内容，实现用户的注册和登陆功能；

动画演示单元，被配置为利用动画的形式提供拆解装配过程的学习资料；

多用户交互单元，被配置为多用户对虚拟物体的编辑，以及场景对用户操作结果的反馈。

2.如权利要求1所述的一种多人协同装配系统，其特征是：所述多用户交互单元包含：

模型操作单元，被配置为实现模型的选择、拖动和旋转；

模型高亮显示单元，被配置为利用不同高亮颜色的显示表示模型的不同状态。

3.基于权利要求1或2所述的系统的工作方法，其特征是：包括以下步骤：

构成系统，设置投影属性；

根据系统提示，调整观看画面，进入动画演示教学模块；

进行模型装配操作，检验组件是否装配完成，如果没有则返回进入模型装配操作阶段。

4.如权利要求3所述的工作方法，其特征是：所述步骤一中，硬件环境搭建的具体要求为：

(1-1)吊装两台支持立体投影的投影仪，要求两台投影仪测试画面中投影的网格线上下左右重合；

(1-2)将发射器连接在其中一台投影仪的输出接口上并打开开关；

(1-3)将Kinect连接在主机上并调整Kinect位置，其位置为投影画面居中位置设定范围内。

5.如权利要求4所述的工作方法，其特征是：所述步骤(1-1)中调节两台投影仪网格的具体步骤为：

(11-1)打开投影仪Menu按钮，找到系统高级设置选项，其中测试画面设置为打开。

(11-2)通过Zoom及旋钮调整，将两台投影仪的投影画面大小设置为一致大小。

(11-3)通过调整两台投影仪的位置，将两台投影仪画面网格重叠在一起。

6.如权利要求3所述的工作方法，其特征是：所述步骤二中，投影属性设置要求为：

(2-1)设置显卡属性；

(2-2)设置投影仪投影属性中3D设置，选择帧模式。

7.如权利要求6所述的工作方法，其特征是：所述(2-1)设置显卡属性，具体步骤为：

(21-1)打开英伟达显卡设置，点击Mosaic模式选项，将两台投影仪屏幕拼接为一幅整体屏幕；

(21-2)选择需要拼接的两台投影仪屏幕；

(21-3)设置拼接屏幕分辨率和刷新率；

(21-4)将上方屏幕拖动至下方位置，将两个屏幕放置在一起；

(21-5)系统提示是否应用此设置，返回到Mosaic设置中，关闭显卡设置。

8.如权利要求3所述的工作方法，其特征是：所述步骤四中调整观看画面，具体步骤为：

(4-1)其中一名用户移动手部位置，其余用户不动，该用户调节眼镜按钮，至观察的画面应只能看到对应颜色的操作手画面；

(4-2)除去第一名用户确定了自身画面，剩余用户中的一名移动手部位置，画面中会有另一组颜色不同的操作手跟随移动，剩下的用户调节眼镜按钮，至只观察到对应颜色操作手的画面；

(4-3)最后剩余的用户为第三方用户，调节眼镜按钮至同时观察到两组操作手的画面；

(4-4)如果第三方用户选择错误，则只需要第三方用户退出Kinect识别范围，再次进入，成为第三方用户，其余两名用户按照(4-1)、(4-2)步骤调节眼镜按钮，确定观察画面。

9.如权利要求3所述的工作方法，其特征是：所述步骤六中，模型操作的具体步骤为：

(6-1)在Kinect识别区域内，通过移动手部位置控制操作手的位置，当操作手接触到组件时，组件被选中；

(6-2)以树图的形式展开装配组件；

(6-3)树图展开结束后，当前阶段需要操作的模型高亮显示一段时间，并循环当前阶段操作动画演示；

(6-4)通过走动和手势操作模型进行装配；

(6-5)判断用户是否完成当前阶段操作，如果是，进入下一阶段。

10.如权利要求9所述的工作方法，其特征是：所述步骤(6-4)用户通过移动和手势操作模型进行装配，具体实现方法为：

(64-1)接收用户通过走动和控制双手移动而控制操作手的位置信息；

(64-2)接收到选中组件后，握紧手部，并移动手部位置，拖动物体；用户手部为张开姿势，控制操作手悬停在模型上一段时间，控制该组件旋转；

(64-3)用户按照提示装配模型，高亮显示部分和动画演示部分为当前阶段操作模型，控制模型移动，将组建装配结合，如果两个组件距离小于一定阈值时，判定这两个组件装配成功；

(64-4)当前阶段所有组件装配完成时，进入下一阶段过程，树图显示突出下一阶段操作演示过程。