CN107168537A - 一种协同式增强现实的可穿戴作业指导方法及系统 - Google Patents

Abstract

本发明公开了一种协同式增强现实的可穿戴作业指导方法及系统，包括：场景确认；场景搭建；多用户协同角色分配；图像识别定位点设立；场景初始化：可穿戴增强现实设备上的摄像头实时抓取使用者看到的图像，可穿戴增强现实设备的识别模块对抓取的图像进行图像处理，寻找预置的识别体，根据识别体在图像中的位置和偏转角度，确定当前使用者的位置坐标以及观看方向；通过使用者位置坐标以及使用者的角色，可穿戴增强现实设备中的控制模块读取场景需要的3D模型与工艺步骤的指导说明，并将最终展示内容发送到可穿戴增强现实设备上的增强现实模块；最终在使用者眼前呈现虚拟信息与真实环境叠加后的图像。

Description

一种协同式增强现实的可穿戴作业指导方法及系统

技术领域

本发明涉及一种协同式增强现实的可穿戴作业指导方法及系统。

背景技术

在工业生产领域，对新工人的指导系统主流系统还是基于服务器或平板电脑的桌面虚拟现实技术。虽然可以呈现更加逼真的画面，但是由于桌面虚拟现实系统本身的不易携带和脱离真实环境的特性，使用者需要固定在特定位置，通过鼠标、键盘等设备与虚拟场景进行有限交互。对于工业车间现场的工作，工人需要在操作现场不断变换位置和姿势，基于桌面虚拟现实技术的制导系统由于其不易携带的特性已经不能满足实时指导的需求。

增强现实(Augmented Reality，简称AR)，也被称为扩增现实。增强现实技术将原本在现实世界的一定时间空间范围内很难体验到的实体信息，通过电脑等科学技术，模拟仿真后再叠加，将虚拟的信息应用到真实世界，被人类感官所感知，从而达到超越现实的感官体验。可穿戴增强现实设备能够跟随工人在车间现场随意变动位置，将指导说明信息叠加到真实世界，从而满足实时指导的需求。然而，对于车间现场中需要多个工人协同完成的工作，需要多个可穿戴增强现实设备相互关联指导整个操作流程，增强现实技术本身不具备通信能力。

协同式增强现实技术(Collaborative Augmented Reality，简称CAR)是增强现实技术与网络技术的结合，它能够让多个工人同时感受到虚拟对象与真实环境融合为一体的增强现实场景，并能够在网络通信平台上进行各种交互操作和协同工作，共同完成预定任务。

发明内容

本发明要解决的技术问题为提供一种协同式增强现实的可穿戴作业指导方法及系统，利用增强现实技术，丰富人机交互的过程，建立现实与虚拟世界的数据联系；利用网络通信技术，同步指导多人协作，保证标准的多人协同作业流程指导和丰富详细的指导内容展示。

为了实现上述目的，本发明采用如下技术方案：

一种协同式增强现实的可穿戴作业指导方法，包括：

步骤(1)：场景确认：根据工厂车间工艺操作要求，确认场景中的设备种类和设备规格型号，确认场景中协同工作的工人数，确认图像识别定位点的数目和位置，确认标准的工艺步骤、使用的零部件和每个工艺步骤的指导说明；

步骤(2)：场景搭建：根据步骤(1)使用三维建模软件设计场景中所包含的所有设备和零部件的3D模型，部署3D模型在场景中的初始位置，将3D模型和模型初始位置信息存储到数据存储服务器中；录入所述场景的工艺步骤和每个工艺步骤的指导说明，不同角色的工人被赋予与角色对应的工艺步骤；

步骤(3)：多用户协同角色分配：多人协同工作中的每个工人都有各自的职责和工艺步骤，按照职责划分出参与场景的角色，一个角色对应一个工人，通过配置可穿戴增强现实设备的编码与角色之间的一一对应关系，使得每个工人的可穿戴增强现实设备上展示的内容与工人实际工作内容一致；

步骤(4)：图像识别定位点设立：在真实环境的位置点放置识别体，通过摄像头拍摄识别体，然后通过图像处理所拍摄的图片得到真实环境中识别体的位置，所述真实环境位置点是指真实环境中识别体的位置，根据真实环境中识别体的位置设置对应虚拟场景空间的映射点，所述映射点为图像识别定位点；所述识别体设有唯一编码，建立识别体的编码与图像识别定位点之间一一对应关系；

步骤(5)：场景初始化：可穿戴增强现实设备上的摄像头实时抓取使用者看到的图像，可穿戴增强现实设备的识别模块对抓取的图像进行图像处理，寻找预置的识别体，根据识别体在图像中的位置和偏转角度，确定当前使用者的位置坐标以及观看方向；通过使用者位置坐标以及使用者的角色，可穿戴增强现实设备中的控制模块读取场景需要的3D模型与工艺步骤的指导说明，并将最终展示内容发送到可穿戴增强现实设备上的增强现实模块；最终在使用者眼前呈现虚拟信息与真实环境叠加后的图像；

步骤(6)：协同控制：数据交互服务器控制生成过程按照标准工艺步骤执行，数据交互服务器采集协同工作的所有可穿戴增强现实设备的实时数据，如果检测到3D模型状态或位置同时被多个角色改变时，则通过仲裁算法筛选出操作有效的角色；数据交互服务器将仲裁结果反馈给对应角色，并实时同步所述3D模型状态或位置到其他角色的可穿戴增强现实设备。

步骤(7)：协同式场景更新：如果数据交互服务器检测到可穿戴增强现实设备更改了场景内3D模型位置时，数据交互服务器实时将变动后的场景数据同步到其他角色的可穿戴增强现实设备，可穿戴增强现实设备收到新的场景数据后，可穿戴增强现实设备的控制模块根据设备使用者的坐标位置和观看方向控制增强现实模块更新场景内容。

步骤(8)：协同式状态更新：使用者按照场景的工艺步骤做完一个步骤后，等待接收确认信息，如果收到使用者输入的当前步骤操作完成的确认信息，则可穿戴增强现实设备通过网络传输模块将当前操作完成信息发送给数据交互服务器，数据交互服务器更新角色状态到数据存储服务器，数据交互服务器将当前角色状态同步到其他角色的可穿戴增强现实设备中并提示下一个工艺步骤操作的角色按照指导说明操作。

所述仲裁算法如下：

步骤(61)：采集每个角色操作的时间戳和操作内容；

步骤(62)：分析3D模型是否已经被注册占用；

步骤(63)：如果已经被注册，仅注册的角色拥有变动3D模型的权限；

步骤(64)：如没被注册占用，通过时间戳或角色的职责选择一个角色的操作有效；

步骤(65)：将3D模型与步骤(64)选择的角色关联，表明该3D模型当前已经被注册占用；

步骤(66)：返回到步骤(61)循环。

所述识别体包括平贴在定位点上的图片、定位点出拍摄的背景照片或三维物体。

一种协同式增强现实的可穿戴作业指导系统，包括：

管理服务系统，所述管理服务系统包括彼此连接的数据交互服务器和数据存储服务器；所述数据交互服务器通过无线网络与若干个可穿戴增强现实设备连接；

所述数据交互服务器，包括：

场景确认模块：根据工厂车间工艺操作要求，确认场景中的设备种类和设备规格型号，确认场景中协同工作的工人数，确认图像识别定位点的数目和位置，确认标准的工艺步骤、使用的零部件和每个工艺步骤的指导说明；

场景搭建模块：根据场景确认模块确认的信息使用三维建模软件设计场景中所包含的所有设备和零部件的3D模型，部署3D模型在场景中的初始位置，将3D模型和模型初始位置信息存储到数据存储服务器中；录入所述场景的工艺步骤和每个工艺步骤的指导说明，不同角色的工人被赋予与角色对应的工艺步骤；

多用户协同角色分配模块：多人协同工作中的每个工人都有各自的职责和工艺步骤，按照职责划分出参与场景的角色，一个角色对应一个工人，通过配置可穿戴增强现实设备的编码与角色之间的一一对应关系，使得每个工人的可穿戴增强现实设备上展示的内容与工人实际工作内容一致；

图像识别定位点设立模块：在真实环境的位置点放置识别体，通过摄像头拍摄识别体，然后通过图像处理所拍摄的图片得到真实环境中识别体的位置，所述真实环境位置点是指真实环境中识别体的位置，根据真实环境中识别体的位置设置对应虚拟场景空间的映射点，所述映射点为图像识别定位点；所述识别体设有唯一编码，建立识别体的编码与图像识别定位点之间一一对应关系；

协同控制模块：控制生成过程按照标准工艺步骤执行，采集协同工作的所有可穿戴增强现实设备的实时数据，如果检测到3D模型状态或位置同时被多个角色改变时，则通过仲裁算法筛选出操作有效的角色；将仲裁结果反馈给对应角色，并实时同步所述3D模型状态或位置到其他角色的可穿戴增强现实设备。

所述数据交互服务器，还包括：

协同式场景更新模块：如果检测到可穿戴增强现实设备更改了场景内3D模型位置时，实时将变动后的场景数据同步到其他角色的可穿戴增强现实设备；

协同式状态更新模块：使用者按照场景的工艺步骤做完一个步骤后，等待接收确认信息，如果收到使用者输入的当前步骤操作完成的确认信息，则接收可穿戴增强现实设备通过网络传输模块发送来的当前操作完成信息，更新角色状态到数据存储服务器，将当前角色状态同步到其他角色的可穿戴增强现实设备中并提示下一个工艺步骤操作的角色按照指导说明操作。

所述可穿戴增强现实设备，包括：控制模块，所述控制模块分别与网络传输模块、识别模块和增强现实模块连接；所述识别模块与摄像头连接；

所述控制模块，用于通过使用者位置坐标以及使用者的角色，读取场景需要的3D模型与工艺步骤的指导说明，并将最终展示内容发送到增强现实模块；收到新的场景数据后，根据设备使用者的坐标位置和观看方向控制增强现实模块更新场景内容；

所述网络传输模块，用于建立可穿戴增强现实设备与数据交互服务器之间的连接关系；

所述识别模块，用于取的图像进行图像处理，寻找预置的识别体，根据识别体在图像中的位置和偏转角度，确定当前使用者的位置坐标以及观看方向；

所述增强现实模块，用于在使用者眼前呈现虚拟信息与真实环境叠加后的图像；

所述摄像头用于实时抓取使用者看到的图像。

本发明的有益效果：

1本发明针对工业现场操作指导的需求现状，提出了一种协同式增强现实的可穿戴作业指导系统。本发明运用了基于图像识别的空间定位技术，提供了一种协同式增强现实系统，其能解决多人现场协作工作时不同物理空间的协同操作的问题。为此，本发明还提供了协同式增强现实的可穿戴作业指导系统的应用方法。

2将本发明的协同式增强现实的可穿戴作业指导系统用于工厂车间工人现场的操作指导，尤其是需要多人协同进行的工作。其应用增强现实技术，根据定位点将不同物理空间的使用者映射到相同的目标场景中，通过可穿戴增强现实设备将目标场景与真实环境融合，能够给使用者提供完全沉浸的、拥有视觉、听觉等的多交互体验，从而满足使用者标准的现场工作指导要求和真实体验要求。

附图说明

图1为本发明的系统内各模块连接示意图；

图2为本发明的系统构成图；

图3(a)和图3(b)为本发明的系统的运行流程图。

具体实施方式

下面结合附图与实施例对本发明作进一步说明。

如图1和2所示，本发明的一种协同式增强现实的可穿戴作业指导系统，包括管理服务系统和至少一套可穿戴增强现实设备系统，

所述可穿戴增强现实设备系统包括控制模块、识别模块、增强现实(AR)模块以及网络传输模块。

控制模块通过网络传输模块与管理服务器进行网络通信。

识别模块通过摄像头捕捉用户视野、使用图像处理技术分析用户环境，并对增强现实(AR)模块接收控制模块指令展示对应的模型或信息。

所述管理服务系统包含数据交互服务器与数据存储服务器。

数据交互服务器负责接收可穿戴增强现实设备传输的识别体编码等数据，与数据存储服务器通信获取模型数据，控制工艺流程进度，保存场景实时状态数据，保存日志信息，并向可穿戴增强现实设备提供模型数据、控制指令等功能；所述数据存储服务器负责存储和管理目标场景状态、场景模型、场景内所有使用者的状态等；所述网络传输模块采用蜂窝网或无线局域网方式通信。

如图3(a)和图3(b)所示，一种协同式增强现实的可穿戴作业指导系统的应用方法，包括以下步骤：

(1)场景确认：根据工厂车间具体工艺操作要求，确认场景中的设备种类和规格型号，确认场景中协同工作的工人数，确认图像识别定位点的数目和位置，确认标准的工艺步骤、使用的零部件、详细指导说明等。

(2)场景搭建：通过上一步骤中确认的信息，使用三维建模软件设计场景中包含所有设备和零部件的3D模型，部署3D模型在场景的初始位置，将3D模型和模型初始位置信息存储到数据存储服务器中；通过管理服务系统的配置页面，录入此场景内的工艺流程和每个步骤的详细指导说明，区分不同角色工人的工艺步骤。

(3)多用户协同角色分配：多人协同工作中的每个工人都有各自的职责和操作步骤，按照职责划分出参与场景的角色，一个角色对应一个工人，通过配置可穿戴增强现实设备系统的编码与角色对应关系，从而使得每个工人的可穿戴增强现实设备上展示的内容与实际工作内容一致。

(4)定位点设立：定位点指的是真实环境的位置点到虚拟场景空间的映射点。定位点使用图像分析技术，需要有一个识别体使得在摄像头的影像中能够完整拍摄到。识别体可以是一张图片(平贴在定位点的位置)，可以是一张背景图(定位点处拍的背景照片)，可以是一个三维物体(物体不能太大，在定位点处摄像头可以完全拍摄到)。配置关联识别体的编码与定位点。

(5)场景初始化：可穿戴增强现实设备上的摄像头实时抓取使用者看到的画面，系统的识别模块使用图像处理技术分析摄像头的影像数据，寻找预置的识别体。根据识别体在影像的位置和偏转角度，确定当前使用者位置以及观看的方向。通过使用者坐标以及使用者的角色，可穿戴增强现实设备系统中的控制模块读取场景需要的3D模型与工艺指导说明信息并将最终展示内容发送到增强现实(AR)模块，最终在使用者眼前呈现与真实环境叠加的虚拟信息。

(6)协同控制：数据交互服务器控制生产过程按照标准工艺流程执行。数据交互服务器采集协同工作的所有可穿戴增强现实设备的实时数据，检测到某个3D模型状态或位置同时被多个角色改变时，会通过仲裁算法判断哪个角色的操作有效。数据交互服务器将仲裁结果反馈给对应角色，并实时同步该3D模型状态或变动当前位置到其他角色的可穿戴增强现实设备系统。其仲裁算法如下：步骤1，采集每个角色操作的时间戳和操作内容；步骤2，判断3D模型是否已经被注册占用；步骤3，如果已经被注册，仅注册的角色拥有变动3D模型的权限；步骤4，如没被注册占用，通过时间戳或角色的职责判定一个角色的操作有效；步骤5，将该3D模型的注册占用为判定的角色；步骤6，返回到步骤1循环。

(7)协同式场景更新：数据交互服务器检测到一个可穿戴增强现实设备系统更改了场景内的3D模型位置时，数据交互服务器会实时将变动后的场景数据同步到其他角色的可穿戴增强现实设备系统，可穿戴增强现实设备系统接收到新的场景数据后，设备内的控制模块根据设备使用者的位置和注视方向控制增强现实(AR)模块更新场景内容。

(8)协同式状态更新：使用者按照场景的指导说明完成一步操作，完成结果可以通过定位点技术确认也可以通过使用者本人确认。操作完成后，可穿戴增强现实设备系统通过网络传输模块将当前操作完成信息发送给数据交互服务器，数据交互服务器更新角色状态到数据存储服务器，数据交互服务器将该角色状态同步到其他角色的可穿戴增强现实设备系统中并提示下一步操作的角色按照指导说明操作。

上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (10)

1.一种协同式增强现实的可穿戴作业指导方法，其特征是，包括：

步骤(1)：场景确认：根据工厂车间工艺操作要求，确认场景中的设备种类和设备规格型号，确认场景中协同工作的工人数，确认图像识别定位点的数目和位置，确认标准的工艺步骤、使用的零部件和每个工艺步骤的指导说明；

步骤(2)：场景搭建：根据步骤(1)使用三维建模软件设计场景中所包含的所有设备和零部件的3D模型，部署3D模型在场景中的初始位置，将3D模型和模型初始位置信息存储到数据存储服务器中；录入所述场景的工艺步骤和每个工艺步骤的指导说明，不同角色的工人被赋予与角色对应的工艺步骤；

步骤(3)：多用户协同角色分配：多人协同工作中的每个工人都有各自的职责和工艺步骤，按照职责划分出参与场景的角色，一个角色对应一个工人，通过配置可穿戴增强现实设备的编码与角色之间的一一对应关系，使得每个工人的可穿戴增强现实设备上展示的内容与工人实际工作内容一致；

步骤(4)：图像识别定位点设立：在真实环境的位置点放置识别体，通过摄像头拍摄识别体，然后通过图像处理所拍摄的图片得到真实环境中识别体的位置，所述真实环境位置点是指真实环境中识别体的位置，根据真实环境中识别体的位置设置对应虚拟场景空间的映射点，所述映射点为图像识别定位点；所述识别体设有唯一编码，建立识别体的编码与图像识别定位点之间一一对应关系；

步骤(5)：场景初始化：可穿戴增强现实设备上的摄像头实时抓取使用者看到的图像，可穿戴增强现实设备的识别模块对抓取的图像进行图像处理，寻找预置的识别体，根据识别体在图像中的位置和偏转角度，确定当前使用者的位置坐标以及观看方向；通过使用者位置坐标以及使用者的角色，可穿戴增强现实设备中的控制模块读取场景需要的3D模型与工艺步骤的指导说明，并将最终展示内容发送到可穿戴增强现实设备上的增强现实模块；最终在使用者眼前呈现虚拟信息与真实环境叠加后的图像。

2.如权利要求1所述的方法，其特征是，还包括：

步骤(6)：协同控制：数据交互服务器控制生成过程按照标准工艺步骤执行，数据交互服务器采集协同工作的所有可穿戴增强现实设备的实时数据，如果检测到3D模型状态或位置同时被多个角色改变时，则通过仲裁算法筛选出操作有效的角色；数据交互服务器将仲裁结果反馈给对应角色，并实时同步所述3D模型状态或位置到其他角色的可穿戴增强现实设备。

3.如权利要求1所述的方法，其特征是，还包括：

步骤(7)：协同式场景更新：如果数据交互服务器检测到可穿戴增强现实设备更改了场景内3D模型位置时，数据交互服务器实时将变动后的场景数据同步到其他角色的可穿戴增强现实设备，可穿戴增强现实设备收到新的场景数据后，可穿戴增强现实设备的控制模块根据设备使用者的坐标位置和观看方向控制增强现实模块更新场景内容。

4.如权利要求1所述的方法，其特征是，还包括：

步骤(8)：协同式状态更新：使用者按照场景的工艺步骤做完一个步骤后，等待接收确认信息，如果收到使用者输入的当前步骤操作完成的确认信息，则可穿戴增强现实设备通过网络传输模块将当前操作完成信息发送给数据交互服务器，数据交互服务器更新角色状态到数据存储服务器，数据交互服务器将当前角色状态同步到其他角色的可穿戴增强现实设备中并提示下一个工艺步骤操作的角色按照指导说明操作。

5.如权利要求2所述的方法，其特征是，还包括：

所述仲裁算法如下：

步骤(61)：采集每个角色操作的时间戳和操作内容；

步骤(62)：分析3D模型是否已经被注册占用；

步骤(63)：如果已经被注册，仅注册的角色拥有变动3D模型的权限；

步骤(64)：如没被注册占用，通过时间戳或角色的职责选择一个角色的操作有效；

步骤(65)：将3D模型与步骤(64)选择的角色关联，表明该3D模型当前已经被注册占用；

步骤(66)：返回到步骤(61)循环。

6.如权利要求1所述的方法，其特征是，还包括：

所述识别体包括平贴在定位点上的图片、定位点出拍摄的背景照片或三维物体。

7.一种协同式增强现实的可穿戴作业指导系统，其特征是，包括：

管理服务系统，所述管理服务系统包括彼此连接的数据交互服务器和数据存储服务器；所述数据交互服务器通过无线网络与若干个可穿戴增强现实设备连接；

所述数据交互服务器，包括：

场景确认模块：根据工厂车间工艺操作要求，确认场景中的设备种类和设备规格型号，确认场景中协同工作的工人数，确认图像识别定位点的数目和位置，确认标准的工艺步骤、使用的零部件和每个工艺步骤的指导说明；

场景搭建模块：根据场景确认模块确认的信息使用三维建模软件设计场景中所包含的所有设备和零部件的3D模型，部署3D模型在场景中的初始位置，将3D模型和模型初始位置信息存储到数据存储服务器中；录入所述场景的工艺步骤和每个工艺步骤的指导说明，不同角色的工人被赋予与角色对应的工艺步骤；

多用户协同角色分配模块：多人协同工作中的每个工人都有各自的职责和工艺步骤，按照职责划分出参与场景的角色，一个角色对应一个工人，通过配置可穿戴增强现实设备的编码与角色之间的一一对应关系，使得每个工人的可穿戴增强现实设备上展示的内容与工人实际工作内容一致；

图像识别定位点设立模块：在真实环境的位置点放置识别体，通过摄像头拍摄识别体，然后通过图像处理所拍摄的图片得到真实环境中识别体的位置，所述真实环境位置点是指真实环境中识别体的位置，根据真实环境中识别体的位置设置对应虚拟场景空间的映射点，所述映射点为图像识别定位点；所述识别体设有唯一编码，建立识别体的编码与图像识别定位点之间一一对应关系；

协同控制模块：控制生成过程按照标准工艺步骤执行，采集协同工作的所有可穿戴增强现实设备的实时数据，如果检测到3D模型状态或位置同时被多个角色改变时，则通过仲裁算法筛选出操作有效的角色；将仲裁结果反馈给对应角色，并实时同步所述3D模型状态或位置到其他角色的可穿戴增强现实设备。

8.如权利要求7所述的系统，其特征是，所述数据交互服务器，还包括：

协同式场景更新模块：如果检测到可穿戴增强现实设备更改了场景内3D模型位置时，实时将变动后的场景数据同步到其他角色的可穿戴增强现实设备。

9.如权利要求7所述的系统，其特征是，

协同式状态更新模块：使用者按照场景的工艺步骤做完一个步骤后，等待接收确认信息，如果收到使用者输入的当前步骤操作完成的确认信息，则接收可穿戴增强现实设备通过网络传输模块发送来的当前操作完成信息，更新角色状态到数据存储服务器，将当前角色状态同步到其他角色的可穿戴增强现实设备中并提示下一个工艺步骤操作的角色按照指导说明操作。

10.如权利要求7所述的系统，其特征是，所述可穿戴增强现实设备，包括：控制模块，所述控制模块分别与网络传输模块、识别模块和增强现实模块连接；所述识别模块与摄像头连接；

所述控制模块，用于通过使用者位置坐标以及使用者的角色，读取场景需要的3D模型与工艺步骤的指导说明，并将最终展示内容发送到增强现实模块；收到新的场景数据后，根据设备使用者的坐标位置和观看方向控制增强现实模块更新场景内容；

所述网络传输模块，用于建立可穿戴增强现实设备与数据交互服务器之间的连接关系；

所述识别模块，用于取的图像进行图像处理，寻找预置的识别体，根据识别体在图像中的位置和偏转角度，确定当前使用者的位置坐标以及观看方向；

所述增强现实模块，用于在使用者眼前呈现虚拟信息与真实环境叠加后的图像；

所述摄像头用于实时抓取使用者看到的图像。