CN107168537B - 一种协同式增强现实的可穿戴作业指导方法及系统 - Google Patents
一种协同式增强现实的可穿戴作业指导方法及系统 Download PDFInfo
- Publication number
- CN107168537B CN107168537B CN201710361307.8A CN201710361307A CN107168537B CN 107168537 B CN107168537 B CN 107168537B CN 201710361307 A CN201710361307 A CN 201710361307A CN 107168537 B CN107168537 B CN 107168537B
- Authority
- CN
- China
- Prior art keywords
- augmented reality
- scene
- user
- module
- role
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 115
- 238000000034 method Methods 0.000 title claims abstract description 63
- 238000012545 processing Methods 0.000 claims abstract description 11
- 230000003993 interaction Effects 0.000 claims description 38
- 238000005516 engineering process Methods 0.000 claims description 16
- 238000012790 confirmation Methods 0.000 claims description 15
- 238000013500 data storage Methods 0.000 claims description 15
- 230000005540 biological transmission Effects 0.000 claims description 12
- 238000013507 mapping Methods 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 9
- 238000007726 management method Methods 0.000 claims description 6
- 230000008859 change Effects 0.000 claims description 5
- 238000011112 process operation Methods 0.000 claims description 5
- 230000036544 posture Effects 0.000 claims description 2
- 230000001360 synchronised effect Effects 0.000 claims description 2
- 238000004891 communication Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 2
- 210000000697 sensory organ Anatomy 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 238000009776 industrial production Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- Human Computer Interaction (AREA)
- User Interface Of Digital Computer (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明公开了一种协同式增强现实的可穿戴作业指导方法及系统，包括：场景确认；场景搭建；多用户协同角色分配；图像识别定位点设立；场景初始化：可穿戴增强现实设备上的摄像头实时抓取使用者看到的图像，可穿戴增强现实设备的识别模块对抓取的图像进行图像处理，寻找预置的识别体，根据识别体在图像中的位置和偏转角度，确定当前使用者的位置坐标以及观看方向；通过使用者位置坐标以及使用者的角色，可穿戴增强现实设备中的控制模块读取场景需要的3D模型与工艺步骤的指导说明，并将最终展示内容发送到可穿戴增强现实设备上的增强现实模块；最终在使用者眼前呈现虚拟信息与真实环境叠加后的图像。
Description
技术领域
本发明涉及一种协同式增强现实的可穿戴作业指导方法及系统。
背景技术
在工业生产领域，对新工人的指导系统主流系统还是基于服务器或平板电脑的桌面虚拟现实技术。虽然可以呈现更加逼真的画面，但是由于桌面虚拟现实系统本身的不易携带和脱离真实环境的特性，使用者需要固定在特定位置，通过鼠标、键盘等设备与虚拟场景进行有限交互。对于工业车间现场的工作，工人需要在操作现场不断变换位置和姿势，基于桌面虚拟现实技术的制导系统由于其不易携带的特性已经不能满足实时指导的需求。
增强现实(Augmented Reality，简称AR)，也被称为扩增现实。增强现实技术将原本在现实世界的一定时间空间范围内很难体验到的实体信息，通过电脑等科学技术，模拟仿真后再叠加，将虚拟的信息应用到真实世界，被人类感官所感知，从而达到超越现实的感官体验。可穿戴增强现实设备能够跟随工人在车间现场随意变动位置，将指导说明信息叠加到真实世界，从而满足实时指导的需求。然而，对于车间现场中需要多个工人协同完成的工作，需要多个可穿戴增强现实设备相互关联指导整个操作流程，增强现实技术本身不具备通信能力。
协同式增强现实技术(Collaborative Augmented Reality，简称CAR)是增强现实技术与网络技术的结合，它能够让多个工人同时感受到虚拟对象与真实环境融合为一体的增强现实场景，并能够在网络通信平台上进行各种交互操作和协同工作，共同完成预定任务。
发明内容
本发明要解决的技术问题为提供一种协同式增强现实的可穿戴作业指导方法及系统，利用增强现实技术，丰富人机交互的过程，建立现实与虚拟世界的数据联系；利用网络通信技术，同步指导多人协作，保证标准的多人协同作业流程指导和丰富详细的指导内容展示。
为了实现上述目的，本发明采用如下技术方案：
一种协同式增强现实的可穿戴作业指导方法，包括：
步骤(1)：场景确认：根据工厂车间工艺操作要求，确认场景中的设备种类和设备规格型号，确认场景中协同工作的工人数，确认图像识别定位点的数目和位置，确认标准的工艺步骤、使用的零部件和每个工艺步骤的指导说明；
步骤(2)：场景搭建：根据步骤(1)使用三维建模软件设计场景中所包含的所有设备和零部件的3D模型，部署3D模型在场景中的初始位置，将3D模型和模型初始位置信息存储到数据存储服务器中；录入所述场景的工艺步骤和每个工艺步骤的指导说明，不同角色的工人被赋予与角色对应的工艺步骤；
步骤(3)：多用户协同角色分配：多人协同工作中的每个工人都有各自的职责和工艺步骤，按照职责划分出参与场景的角色，一个角色对应一个工人，通过配置可穿戴增强现实设备的编码与角色之间的一一对应关系，使得每个工人的可穿戴增强现实设备上展示的内容与工人实际工作内容一致；
步骤(4)：图像识别定位点设立：在真实环境的位置点放置识别体，通过摄像头拍摄识别体，然后通过图像处理所拍摄的图片得到真实环境中识别体的位置，所述真实环境位置点是指真实环境中识别体的位置，根据真实环境中识别体的位置设置对应虚拟场景空间的映射点，所述映射点为图像识别定位点；所述识别体设有唯一编码，建立识别体的编码与图像识别定位点之间一一对应关系；
步骤(5)：场景初始化：可穿戴增强现实设备上的摄像头实时抓取使用者看到的图像，可穿戴增强现实设备的识别模块对抓取的图像进行图像处理，寻找预置的识别体，根据识别体在图像中的位置和偏转角度，确定当前使用者的位置坐标以及观看方向；通过使用者位置坐标以及使用者的角色，可穿戴增强现实设备中的控制模块读取场景需要的3D模型与工艺步骤的指导说明，并将最终展示内容发送到可穿戴增强现实设备上的增强现实模块；最终在使用者眼前呈现虚拟信息与真实环境叠加后的图像；
步骤(6)：协同控制：数据交互服务器控制生成过程按照标准工艺步骤执行，数据交互服务器采集协同工作的所有可穿戴增强现实设备的实时数据，如果检测到3D模型状态或位置同时被多个角色改变时，则通过仲裁算法筛选出操作有效的角色；数据交互服务器将仲裁结果反馈给对应角色，并实时同步所述3D模型状态或位置到其他角色的可穿戴增强现实设备。
步骤(7)：协同式场景更新：如果数据交互服务器检测到可穿戴增强现实设备更改了场景内3D模型位置时，数据交互服务器实时将变动后的场景数据同步到其他角色的可穿戴增强现实设备，可穿戴增强现实设备收到新的场景数据后，可穿戴增强现实设备的控制模块根据设备使用者的坐标位置和观看方向控制增强现实模块更新场景内容。
步骤(8)：协同式状态更新：使用者按照场景的工艺步骤做完一个步骤后，等待接收确认信息，如果收到使用者输入的当前步骤操作完成的确认信息，则可穿戴增强现实设备通过网络传输模块将当前操作完成信息发送给数据交互服务器，数据交互服务器更新角色状态到数据存储服务器，数据交互服务器将当前角色状态同步到其他角色的可穿戴增强现实设备中并提示下一个工艺步骤操作的角色按照指导说明操作。
所述仲裁算法如下：
步骤(61)：采集每个角色操作的时间戳和操作内容；
步骤(62)：分析3D模型是否已经被注册占用；
步骤(63)：如果已经被注册，仅注册的角色拥有变动3D模型的权限；
步骤(64)：如没被注册占用，通过时间戳或角色的职责选择一个角色的操作有效；
步骤(65)：将3D模型与步骤(64)选择的角色关联，表明该3D模型当前已经被注册占用；
步骤(66)：返回到步骤(61)循环。
所述识别体包括平贴在定位点上的图片、定位点出拍摄的背景照片或三维物体。
一种协同式增强现实的可穿戴作业指导系统，包括：
管理服务系统，所述管理服务系统包括彼此连接的数据交互服务器和数据存储服务器；所述数据交互服务器通过无线网络与若干个可穿戴增强现实设备连接；
所述数据交互服务器，包括：
场景确认模块：根据工厂车间工艺操作要求，确认场景中的设备种类和设备规格型号，确认场景中协同工作的工人数，确认图像识别定位点的数目和位置，确认标准的工艺步骤、使用的零部件和每个工艺步骤的指导说明；
场景搭建模块：根据场景确认模块确认的信息使用三维建模软件设计场景中所包含的所有设备和零部件的3D模型，部署3D模型在场景中的初始位置，将3D模型和模型初始位置信息存储到数据存储服务器中；录入所述场景的工艺步骤和每个工艺步骤的指导说明，不同角色的工人被赋予与角色对应的工艺步骤；
多用户协同角色分配模块：多人协同工作中的每个工人都有各自的职责和工艺步骤，按照职责划分出参与场景的角色，一个角色对应一个工人，通过配置可穿戴增强现实设备的编码与角色之间的一一对应关系，使得每个工人的可穿戴增强现实设备上展示的内容与工人实际工作内容一致；
图像识别定位点设立模块：在真实环境的位置点放置识别体，通过摄像头拍摄识别体，然后通过图像处理所拍摄的图片得到真实环境中识别体的位置，所述真实环境位置点是指真实环境中识别体的位置，根据真实环境中识别体的位置设置对应虚拟场景空间的映射点，所述映射点为图像识别定位点；所述识别体设有唯一编码，建立识别体的编码与图像识别定位点之间一一对应关系；
协同控制模块：控制生成过程按照标准工艺步骤执行，采集协同工作的所有可穿戴增强现实设备的实时数据，如果检测到3D模型状态或位置同时被多个角色改变时，则通过仲裁算法筛选出操作有效的角色；将仲裁结果反馈给对应角色，并实时同步所述3D模型状态或位置到其他角色的可穿戴增强现实设备。
所述数据交互服务器，还包括：
协同式场景更新模块：如果检测到可穿戴增强现实设备更改了场景内3D模型位置时，实时将变动后的场景数据同步到其他角色的可穿戴增强现实设备；
协同式状态更新模块：使用者按照场景的工艺步骤做完一个步骤后，等待接收确认信息，如果收到使用者输入的当前步骤操作完成的确认信息，则接收可穿戴增强现实设备通过网络传输模块发送来的当前操作完成信息，更新角色状态到数据存储服务器，将当前角色状态同步到其他角色的可穿戴增强现实设备中并提示下一个工艺步骤操作的角色按照指导说明操作。
所述可穿戴增强现实设备，包括：控制模块，所述控制模块分别与网络传输模块、识别模块和增强现实模块连接；所述识别模块与摄像头连接；
所述控制模块，用于通过使用者位置坐标以及使用者的角色，读取场景需要的3D模型与工艺步骤的指导说明，并将最终展示内容发送到增强现实模块；收到新的场景数据后，根据设备使用者的坐标位置和观看方向控制增强现实模块更新场景内容；
所述网络传输模块，用于建立可穿戴增强现实设备与数据交互服务器之间的连接关系；
所述识别模块，用于取的图像进行图像处理，寻找预置的识别体，根据识别体在图像中的位置和偏转角度，确定当前使用者的位置坐标以及观看方向；
所述增强现实模块，用于在使用者眼前呈现虚拟信息与真实环境叠加后的图像；
所述摄像头用于实时抓取使用者看到的图像。
本发明的有益效果：
1本发明针对工业现场操作指导的需求现状，提出了一种协同式增强现实的可穿戴作业指导系统。本发明运用了基于图像识别的空间定位技术，提供了一种协同式增强现实系统，其能解决多人现场协作工作时不同物理空间的协同操作的问题。为此，本发明还提供了协同式增强现实的可穿戴作业指导系统的应用方法。
2将本发明的协同式增强现实的可穿戴作业指导系统用于工厂车间工人现场的操作指导，尤其是需要多人协同进行的工作。其应用增强现实技术，根据定位点将不同物理空间的使用者映射到相同的目标场景中，通过可穿戴增强现实设备将目标场景与真实环境融合，能够给使用者提供完全沉浸的、拥有视觉、听觉等的多交互体验，从而满足使用者标准的现场工作指导要求和真实体验要求。
附图说明
图1为本发明的系统内各模块连接示意图；
图2为本发明的系统构成图；
图3(a)和图3(b)为本发明的系统的运行流程图。
具体实施方式
下面结合附图与实施例对本发明作进一步说明。
如图1和2所示，本发明的一种协同式增强现实的可穿戴作业指导系统，包括管理服务系统和至少一套可穿戴增强现实设备系统，
所述可穿戴增强现实设备系统包括控制模块、识别模块、增强现实(AR)模块以及网络传输模块。
控制模块通过网络传输模块与管理服务器进行网络通信。
识别模块通过摄像头捕捉用户视野、使用图像处理技术分析用户环境，并对增强现实(AR)模块接收控制模块指令展示对应的模型或信息。
所述管理服务系统包含数据交互服务器与数据存储服务器。
数据交互服务器负责接收可穿戴增强现实设备传输的识别体编码等数据，与数据存储服务器通信获取模型数据，控制工艺流程进度，保存场景实时状态数据，保存日志信息，并向可穿戴增强现实设备提供模型数据、控制指令等功能；所述数据存储服务器负责存储和管理目标场景状态、场景模型、场景内所有使用者的状态等；所述网络传输模块采用蜂窝网或无线局域网方式通信。
如图3(a)和图3(b)所示，一种协同式增强现实的可穿戴作业指导系统的应用方法，包括以下步骤：
(1)场景确认：根据工厂车间具体工艺操作要求，确认场景中的设备种类和规格型号，确认场景中协同工作的工人数，确认图像识别定位点的数目和位置，确认标准的工艺步骤、使用的零部件、详细指导说明等。
(2)场景搭建：通过上一步骤中确认的信息，使用三维建模软件设计场景中包含所有设备和零部件的3D模型，部署3D模型在场景的初始位置，将3D模型和模型初始位置信息存储到数据存储服务器中；通过管理服务系统的配置页面，录入此场景内的工艺流程和每个步骤的详细指导说明，区分不同角色工人的工艺步骤。
(3)多用户协同角色分配：多人协同工作中的每个工人都有各自的职责和操作步骤，按照职责划分出参与场景的角色，一个角色对应一个工人，通过配置可穿戴增强现实设备系统的编码与角色对应关系，从而使得每个工人的可穿戴增强现实设备上展示的内容与实际工作内容一致。
(4)定位点设立：定位点指的是真实环境的位置点到虚拟场景空间的映射点。定位点使用图像分析技术，需要有一个识别体使得在摄像头的影像中能够完整拍摄到。识别体可以是一张图片(平贴在定位点的位置)，可以是一张背景图(定位点处拍的背景照片)，可以是一个三维物体(物体不能太大，在定位点处摄像头可以完全拍摄到)。配置关联识别体的编码与定位点。
(5)场景初始化：可穿戴增强现实设备上的摄像头实时抓取使用者看到的画面，系统的识别模块使用图像处理技术分析摄像头的影像数据，寻找预置的识别体。根据识别体在影像的位置和偏转角度，确定当前使用者位置以及观看的方向。通过使用者坐标以及使用者的角色，可穿戴增强现实设备系统中的控制模块读取场景需要的3D模型与工艺指导说明信息并将最终展示内容发送到增强现实(AR)模块，最终在使用者眼前呈现与真实环境叠加的虚拟信息。
(6)协同控制：数据交互服务器控制生产过程按照标准工艺流程执行。数据交互服务器采集协同工作的所有可穿戴增强现实设备的实时数据，检测到某个3D模型状态或位置同时被多个角色改变时，会通过仲裁算法判断哪个角色的操作有效。数据交互服务器将仲裁结果反馈给对应角色，并实时同步该3D模型状态或变动当前位置到其他角色的可穿戴增强现实设备系统。其仲裁算法如下：步骤1，采集每个角色操作的时间戳和操作内容；步骤2，判断3D模型是否已经被注册占用；步骤3，如果已经被注册，仅注册的角色拥有变动3D模型的权限；步骤4，如没被注册占用，通过时间戳或角色的职责判定一个角色的操作有效；步骤5，将该3D模型的注册占用为判定的角色；步骤6，返回到步骤1循环。
(7)协同式场景更新：数据交互服务器检测到一个可穿戴增强现实设备系统更改了场景内的3D模型位置时，数据交互服务器会实时将变动后的场景数据同步到其他角色的可穿戴增强现实设备系统，可穿戴增强现实设备系统接收到新的场景数据后，设备内的控制模块根据设备使用者的位置和注视方向控制增强现实(AR)模块更新场景内容。
(8)协同式状态更新：使用者按照场景的指导说明完成一步操作，完成结果可以通过定位点技术确认也可以通过使用者本人确认。操作完成后，可穿戴增强现实设备系统通过网络传输模块将当前操作完成信息发送给数据交互服务器，数据交互服务器更新角色状态到数据存储服务器，数据交互服务器将该角色状态同步到其他角色的可穿戴增强现实设备系统中并提示下一步操作的角色按照指导说明操作。
上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。
Claims (4)
1.一种协同式增强现实的可穿戴作业指导方法，其特征是，包括：
步骤（1）：场景确认：根据工厂车间工艺操作要求，确认场景中的设备种类和设备规格型号，确认场景中协同工作的工人数，确认图像识别定位点的数目和位置，确认标准的工艺步骤、使用的零部件和每个工艺步骤的指导说明；
步骤（2）：场景搭建：根据步骤（1）使用三维建模软件设计场景中所包含的所有设备和零部件的3D模型，部署3D模型在场景中的初始位置，将3D模型和模型初始位置信息存储到数据存储服务器中；录入所述场景的工艺步骤和每个工艺步骤的指导说明，不同角色的工人被赋予与角色对应的工艺步骤；
步骤（3）：多用户协同角色分配：多人协同工作中的每个工人都有各自的职责和工艺步骤，按照职责划分出参与场景的角色，一个角色对应一个工人，通过配置可穿戴增强现实设备的编码与角色之间的一一对应关系，使得每个工人的可穿戴增强现实设备上展示的内容与工人实际工作内容一致；
步骤（4）：图像识别定位点设立：采用基于图像识别的空间定位技术，在真实环境的位置点放置识别体，通过摄像头拍摄识别体，然后对所拍摄的图片进行图像处理，得到真实环境中识别体的位置，所述真实环境位置点是指真实环境中识别体的位置，根据真实环境中识别体的位置设置对应虚拟场景空间的映射点，所述映射点为图像识别定位点；所述识别体设有唯一编码，建立识别体的编码与图像识别定位点之间一一对应关系；
步骤（5）：场景初始化：对于工业车间现场的工作，工人需要在操作现场不断变换位置和姿势；可穿戴增强现实设备上的摄像头实时抓取使用者看到的图像，可穿戴增强现实设备的识别模块对抓取的图像进行图像处理，寻找预置的识别体，根据识别体在图像中的位置和偏转角度，确定当前使用者的位置坐标以及观看方向；通过使用者位置坐标以及使用者的角色，可穿戴增强现实设备中的控制模块读取场景需要的3D模型与工艺步骤的指导说明，并将最终展示内容发送到可穿戴增强现实设备上的增强现实模块；最终在使用者眼前呈现虚拟信息与真实环境叠加后的图像；
步骤（6）：协同控制：数据交互服务器控制生成过程按照标准工艺步骤执行，数据交互服务器采集协同工作的所有可穿戴增强现实设备的实时数据，如果检测到3D模型状态或位置同时被多个角色改变时，则通过仲裁算法筛选出操作有效的角色；数据交互服务器将仲裁结果反馈给对应角色，并实时同步所述3D模型状态或位置到其他角色的可穿戴增强现实设备；
步骤（7）：协同式场景更新：如果数据交互服务器检测到可穿戴增强现实设备更改了场景内3D模型位置时，数据交互服务器实时将变动后的场景数据同步到其他角色的可穿戴增强现实设备，可穿戴增强现实设备收到新的场景数据后，可穿戴增强现实设备的控制模块根据设备使用者的坐标位置和观看方向控制增强现实模块更新场景内容；
步骤（8）：协同式状态更新：使用者按照场景的工艺步骤做完一个步骤后，等待接收确认信息，如果收到使用者输入的当前步骤操作完成的确认信息，则可穿戴增强现实设备通过网络传输模块将当前操作完成信息发送给数据交互服务器，数据交互服务器更新角色状态到数据存储服务器，数据交互服务器将当前角色状态同步到其他角色的可穿戴增强现实设备中并提示下一个工艺步骤操作的角色按照指导说明操作；
还包括：
所述仲裁算法如下：
步骤（61）：采集每个角色操作的时间戳和操作内容；
步骤（62）：分析3D模型是否已经被注册占用；
步骤（63）：如果已经被注册，仅注册的角色拥有变动3D模型的权限；
步骤（64）：如没被注册占用，通过时间戳或角色的职责选择一个角色的操作有效；
步骤（65）：将3D模型与步骤（64）选择的角色关联，表明该3D模型当前已经被注册占用；
步骤（66）：返回到步骤(61)循环。
2.如权利要求1所述的方法，其特征是，还包括：所述识别体包括平贴在定位点上的图片、定位点处拍摄的背景照片或三维物体。
3.一种协同式增强现实的可穿戴作业指导系统，其特征是，包括：
管理服务系统，所述管理服务系统包括彼此连接的数据交互服务器和数据存储服务器；所述数据交互服务器通过无线网络与若干个可穿戴增强现实设备连接；
所述数据交互服务器，包括：
场景确认模块：根据工厂车间工艺操作要求，确认场景中的设备种类和设备规格型号，确认场景中协同工作的工人数，确认图像识别定位点的数目和位置，确认标准的工艺步骤、使用的零部件和每个工艺步骤的指导说明；
场景搭建模块：根据场景确认模块确认的信息使用三维建模软件设计场景中所包含的所有设备和零部件的3D模型，部署3D模型在场景中的初始位置，将3D模型和模型初始位置信息存储到数据存储服务器中；录入所述场景的工艺步骤和每个工艺步骤的指导说明，不同角色的工人被赋予与角色对应的工艺步骤；
多用户协同角色分配模块：多人协同工作中的每个工人都有各自的职责和工艺步骤，按照职责划分出参与场景的角色，一个角色对应一个工人，通过配置可穿戴增强现实设备的编码与角色之间的一一对应关系，使得每个工人的可穿戴增强现实设备上展示的内容与工人实际工作内容一致；
图像识别定位点设立模块：在真实环境的位置点放置识别体，通过摄像头拍摄识别体，然后对所拍摄的图片进行图像处理，得到真实环境中识别体的位置，所述真实环境位置点是指真实环境中识别体的位置，根据真实环境中识别体的位置设置对应虚拟场景空间的映射点，所述映射点为图像识别定位点；所述识别体设有唯一编码，建立识别体的编码与图像识别定位点之间一一对应关系；
协同控制模块：控制生成过程按照标准工艺步骤执行，采集协同工作的所有可穿戴增强现实设备的实时数据，如果检测到3D模型状态或位置同时被多个角色改变时，则通过仲裁算法筛选出操作有效的角色；将仲裁结果反馈给对应角色，并实时同步所述3D模型状态或位置到其他角色的可穿戴增强现实设备；
所述数据交互服务器，还包括：
协同式场景更新模块：如果检测到可穿戴增强现实设备更改了场景内3D模型位置时，实时将变动后的场景数据同步到其他角色的可穿戴增强现实设备；
协同式状态更新模块：使用者按照场景的工艺步骤做完一个步骤后，等待接收确认信息，如果收到使用者输入的当前步骤操作完成的确认信息，则接收可穿戴增强现实设备通过网络传输模块发送来的当前操作完成信息，更新角色状态到数据存储服务器，将当前角色状态同步到其他角色的可穿戴增强现实设备中并提示下一个工艺步骤操作的角色按照指导说明操作。
4.如权利要求3所述的系统，其特征是，所述可穿戴增强现实设备，包括：控制模块，所述控制模块分别与网络传输模块、识别模块和增强现实模块连接；所述识别模块与摄像头连接；
所述控制模块，用于通过使用者位置坐标以及使用者的角色，读取场景需要的3D模型与工艺步骤的指导说明，并将最终展示内容发送到增强现实模块；收到新的场景数据后，根据设备使用者的坐标位置和观看方向控制增强现实模块更新场景内容；
所述网络传输模块，用于建立可穿戴增强现实设备与数据交互服务器之间的连接关系；
所述识别模块，用于对抓取的图像进行图像处理，寻找预置的识别体，根据识别体在图像中的位置和偏转角度，确定当前使用者的位置坐标以及观看方向；
所述增强现实模块，用于在使用者眼前呈现虚拟信息与真实环境叠加后的图像；
所述摄像头用于实时抓取使用者看到的图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710361307.8A CN107168537B (zh) | 2017-05-19 | 2017-05-19 | 一种协同式增强现实的可穿戴作业指导方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710361307.8A CN107168537B (zh) | 2017-05-19 | 2017-05-19 | 一种协同式增强现实的可穿戴作业指导方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107168537A CN107168537A (zh) | 2017-09-15 |
| CN107168537B true CN107168537B (zh) | 2020-07-07 |
Family
ID=59815546
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710361307.8A Active CN107168537B (zh) | 2017-05-19 | 2017-05-19 | 一种协同式增强现实的可穿戴作业指导方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107168537B (zh) |
Families Citing this family (30)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107767462B (zh) * | 2017-10-16 | 2023-08-25 | 北京视据科技有限公司 | 一种非穿戴增强现实全息展示方法及展示系统 |
| CN108168555B (zh) * | 2017-12-08 | 2021-05-07 | 李志新 | 基于坐标定位的操作指引方法和系统 |
| CN109947052B (zh) * | 2017-12-20 | 2022-02-08 | 中国科学院沈阳自动化研究所 | 一种基于数字化ar技术的虚拟工厂制造执行系统及方法 |
| CN108038917B (zh) * | 2017-12-27 | 2021-09-17 | 上海市地下空间设计研究总院有限公司 | 基于mr或ar技术的目标观察方法及巡检系统 |
| CN108415386A (zh) * | 2018-03-12 | 2018-08-17 | 范业鹏 | 用于智能车间的增强现实系统及其工作方法 |
| CN108919942A (zh) * | 2018-05-25 | 2018-11-30 | 江西博异自动化科技有限公司 | 混合型增强现实人机交互系统 |
| CN109032348B (zh) * | 2018-06-26 | 2021-09-14 | 亮风台（上海）信息科技有限公司 | 基于增强现实的智能制造方法与设备 |
| JP6542445B1 (ja) * | 2018-07-31 | 2019-07-10 | 株式会社 情報システムエンジニアリング | 情報提供システム及び情報提供方法 |
| CN109669541B (zh) * | 2018-09-04 | 2022-02-25 | 亮风台（上海）信息科技有限公司 | 一种用于配置增强现实内容的方法与设备 |
| CN109462739A (zh) * | 2018-10-30 | 2019-03-12 | 华北电力科学研究院有限责任公司 | 发电厂设备运维方法及系统 |
| CN110007757A (zh) * | 2019-03-20 | 2019-07-12 | 联想(北京)有限公司 | 数据处理方法及装置、增强现实设备 |
| CN110083235A (zh) * | 2019-04-08 | 2019-08-02 | 聚好看科技股份有限公司 | 交互系统及数据处理方法 |
| CN110322024A (zh) * | 2019-06-21 | 2019-10-11 | 上海翊视皓瞳信息科技有限公司 | 一种基于穿戴设备的工作指导系统及方法 |
| CN110390484A (zh) * | 2019-07-24 | 2019-10-29 | 西北工业大学 | 一种工业作业增强现实指令设计系统及方法 |
| CN110930517A (zh) * | 2019-08-19 | 2020-03-27 | 泉州师范学院 | 一种全景视频交互系统及方法 |
| CN110516590A (zh) * | 2019-08-26 | 2019-11-29 | 国网河北省电力有限公司保定供电分公司 | 基于场景识别的作业标准提示系统 |
| CN110720982B (zh) * | 2019-10-29 | 2021-08-06 | 京东方科技集团股份有限公司 | 增强现实系统、基于增强现实的控制方法以及装置 |
| CN113191717A (zh) * | 2020-01-14 | 2021-07-30 | 海尔数字科技(青岛)有限公司 | 数据处理方法、装置、设备和介质 |
| CN111310713B (zh) * | 2020-03-06 | 2023-05-30 | 杭州融梦智能科技有限公司 | 基于增强现实的货物分拣方法及智能穿戴设备 |
| CN111311741B (zh) * | 2020-03-23 | 2023-07-07 | 重庆忽米网络科技有限公司 | 一种基于5g通信的交互式室内空间构建装置及方法 |
| CN111782035A (zh) * | 2020-06-12 | 2020-10-16 | 深圳增强现实技术有限公司 | 一种基于增强现实技术的远程作业指导方法及系统 |
| CN112085470B (zh) * | 2020-09-10 | 2024-07-12 | 北方民族大学 | 一种基于设备参与度的协同过程可视化系统及方法 |
| CN113570958B (zh) * | 2021-08-05 | 2022-05-17 | 清华大学 | 一种模拟行人疏散的人控机器人平台 |
| CN113642060A (zh) * | 2021-08-12 | 2021-11-12 | 武汉维谘信息技术有限公司 | 一种eoat视觉工作站及端拾器的建模方法 |
| CN113673894B (zh) * | 2021-08-27 | 2024-02-02 | 东华大学 | 一种基于数字孪生的多人协作ar装配方法和系统 |
| CN114202718A (zh) * | 2021-10-29 | 2022-03-18 | 广东卓维网络有限公司 | 一种基于人工智能的安全监控方法和装置 |
| CN115171447A (zh) * | 2022-07-11 | 2022-10-11 | 广东电网有限责任公司东莞供电局 | 一种基于增强现实技术的操作辅导系统 |
| CN115314684B (zh) * | 2022-10-10 | 2022-12-27 | 中国科学院计算机网络信息中心 | 一种铁路桥梁的巡检方法、系统、设备及可读存储介质 |
| CN116243793A (zh) * | 2023-02-21 | 2023-06-09 | 航天正通汇智(北京)科技股份有限公司 | 一种基于ar技术的媒体交互控制方法及装置 |
| JP2024139947A (ja) * | 2023-03-28 | 2024-10-10 | 富士フイルムビジネスイノベーション株式会社 | 情報処理システムおよびプログラム |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101893935A (zh) * | 2010-07-14 | 2010-11-24 | 北京航空航天大学 | 基于真实球拍的协同式增强现实乒乓球系统构建方法 |
| CN102495959A (zh) * | 2011-12-05 | 2012-06-13 | 无锡智感星际科技有限公司 | 一种基于位置映射的增强现实平台系统及应用方法 |
| CN102789514A (zh) * | 2012-04-20 | 2012-11-21 | 青岛理工大学 | 一种机械设备拆装3d在线诱导系统的诱导方法 |
| CN104484523A (zh) * | 2014-12-12 | 2015-04-01 | 西安交通大学 | 一种增强现实诱导维修系统的实现设备与方法 |
-
2017
- 2017-05-19 CN CN201710361307.8A patent/CN107168537B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101893935A (zh) * | 2010-07-14 | 2010-11-24 | 北京航空航天大学 | 基于真实球拍的协同式增强现实乒乓球系统构建方法 |
| CN102495959A (zh) * | 2011-12-05 | 2012-06-13 | 无锡智感星际科技有限公司 | 一种基于位置映射的增强现实平台系统及应用方法 |
| CN102789514A (zh) * | 2012-04-20 | 2012-11-21 | 青岛理工大学 | 一种机械设备拆装3d在线诱导系统的诱导方法 |
| CN104484523A (zh) * | 2014-12-12 | 2015-04-01 | 西安交通大学 | 一种增强现实诱导维修系统的实现设备与方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107168537A (zh) | 2017-09-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107168537B (zh) | 一种协同式增强现实的可穿戴作业指导方法及系统 | |
| KR101918262B1 (ko) | 혼합 현실 서비스 제공 방법 및 시스템 | |
| JP6223122B2 (ja) | 拡張現実のための自動基準フレーム較正 | |
| EP2568355A2 (en) | Combined stereo camera and stereo display interaction | |
| CN103336575B (zh) | 一种人机交互的智能眼镜系统及交互方法 | |
| CN103154858A (zh) | 操作输入装置与方法及程序 | |
| CN112346572A (zh) | 一种虚实融合实现方法、系统和电子设备 | |
| CN111527468A (zh) | 一种隔空交互方法、装置和设备 | |
| WO2019028855A1 (zh) | 一种虚拟显示装置、智能交互方法和云端服务器 | |
| CN109584361B (zh) | 一种装备电缆虚拟预装和轨迹测量方法及系统 | |
| KR20170044318A (ko) | 헤드 마운트 디스플레이를 이용한 협업 방법 | |
| CN104656893A (zh) | 一种信息物理空间的远程交互式操控系统及方法 | |
| KR102588858B1 (ko) | 3d 투어 비교 표시 시스템 | |
| CN109920062A (zh) | 一种基于ar眼镜的零件动态组装指导方法及系统 | |
| CN107479701B (zh) | 虚拟现实交互方法、装置及系统 | |
| CN207051853U (zh) | 一种沉浸式虚拟现实体验系统 | |
| CN111885366A (zh) | 一种用于虚拟现实屏幕的立体显示方法、装置、存储介质及设备 | |
| US20200334396A1 (en) | Method and system for providing mixed reality service | |
| CN113610018A (zh) | 结合5g、表情跟踪与美颜的vr实时通讯交互系统及方法 | |
| CN103700128B (zh) | 移动设备及其增强显示方法 | |
| CN109643182A (zh) | 信息处理方法、装置、云处理设备及计算机程序产品 | |
| CN108459716B (zh) | 一种在vr中实现多人协作完成任务的方法 | |
| CN111881807A (zh) | 基于人脸建模及表情追踪的vr会议控制系统及方法 | |
| CN109087399B (zh) | 一种通过定位图快速同步ar空间坐标系的方法 | |
| WO2022176450A1 (ja) | 情報処理装置、情報処理方法、およびプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB03 | Change of inventor or designer information | ||
| CB03 | Change of inventor or designer information |
Inventor after: Shao Peng Inventor after: Liang Bo Inventor after: Zhang Zhen Inventor after: Liu Yu Inventor before: Liang Bo Inventor before: Zhang Zhen Inventor before: Liu Yu |
|
| CB03 | Change of inventor or designer information | ||
| CB03 | Change of inventor or designer information |
Inventor after: Zhang Zhen Inventor after: Shao Peng Inventor after: Liang Bo Inventor after: Liu Yu Inventor before: Shao Peng Inventor before: Liang Bo Inventor before: Zhang Zhen Inventor before: Liu Yu |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP01 | Change in the name or title of a patent holder | ||
| CP01 | Change in the name or title of a patent holder |
Address after: 250103 room 1-101, office building, 2269 development road, high tech Zone, Ji'nan, Shandong Patentee after: Shandong Wanteng Digital Technology Co.,Ltd. Address before: 250103 room 1-101, office building, 2269 development road, high tech Zone, Ji'nan, Shandong Patentee before: SHANDONG WANTENG ELECTRONIC TECHNOLOGY CO.,LTD. |