CN110751734A

CN110751734A - 一种适用于工作现场的混合现实助手系统

Info

Publication number: CN110751734A
Application number: CN201910898798.9A
Authority: CN
Inventors: 范业鹏; 陈吉红; 杨建中; 徐建春; 陈文博; 周彬; 胡天宇
Original assignee: Huazhong University of Science and Technology
Current assignee: Huazhong University of Science and Technology
Priority date: 2019-09-23
Filing date: 2019-09-23
Publication date: 2020-02-04
Anticipated expiration: 2039-09-23
Also published as: CN110751734B

Abstract

本发明属于混合现实相关技术领域，其公开了一种适用于工作现场的混合现实助手系统，混合现实助手系统包括现场混合现实助手交互系统、现场CPS系统及远程VR协助系统，现场混合现实助手交互系统通过混合现实交互技术在混合现实空间内通过虚拟的拟人助手指导现场工作人员处理技术问题；现场CPS系统用于对工作现场具备CPS功能的工作机进行信息采集、存储及分析，并将现场实时数据及基于现场数据的智能化分析数据传输给现场混合现实助手交互系统，同时为远程VR协助系统提供基于现场工况数据的数字孪生虚拟现场信息；远程VR协助系统根据接收到的数据来遥控虚拟助手，以实现对现场工作人员的引导和协助。本发明适用性较强，灵活性较高。

Description

一种适用于工作现场的混合现实助手系统

技术领域

本发明属于混合现实相关技术领域，更具体地，涉及一种适用于工作现场的混合现实助手系统。

背景技术

随着计算机技术的迅速发展，计算机运算能力越来越强，高性能计算装置体积越来越小，成本越来越低，大数据分析技术、人工智能技术和混合现实(MR)进而得到迅速发展。各项技术在各自领域的成功应用层出不穷，混合现实技术已经广泛的应用于军事领域、航空航天领域、汽车领域等。随着移动处理技术的发展，混合现实(MR)相关软硬件技术也得到迅猛的发展，混合现实(MR)技术的价格和潜在的混合现实(MR)应用软件开发的门槛将会逐步降低，大规模的应用混合现实(MR)技术将成为技术产业的一大发展趋势。

目前能够将上述技术综合的、全面的集成应用方法和系统还凤毛麟角。作为智能制造重要环节的数字化智能车间领域切实可行的全面增强现实(MR)系统还处于技术发展的起步阶段，相关技术有待进一步的改进。

当前数字车间、实训、教学等工作现场大量的现场数据和历史记录数据不能快速、有效、直观地传递给现场的工作人员，现场的空间布局和大数据信息不能有效的、关联的传递给远程协助技术人员。相应地，本领域存在着发展一种适用性较好的适用于工作现场的混合现实助手系统的技术需求。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种适用于工作现场的混合现实助手系统，其基于现有远程协助的特点，研究及设计了一种适用性较好的适用于工作现场的混合现实助手系统。所述混合现实助手系统解决无法将现场数据高效、准确地提供给现场工作人员以进行空间信息及时间信息的指导的技术问题，实现了远程技术人员可以基于现场数据对现场工作人员给予直观引导及协助，适用性较强，灵活性较高。

为实现上述目的，本发明提供了一种适用于工作现场的混合现实助手系统，所述混合现实助手系统包括现场混合现实助手交互系统、现场CPS系统及远程VR协助系统，所述现场混合现实助手交互系统通过混合现实交互技术在混合现实空间内通过虚拟的拟人助手指导现场工作人员处理技术问题，同时将采集到的现场工作人员当前所处的位置状态及观察视野的信息数据无线传输给所述现场CPS系统；

所述现场CPS系统用于对工作现场具备CPS功能的工作机进行信息采集、存储及分析，并将采集到的现场实时数据及基于现场数据的智能化分析数据传输给所述现场混合现实助手交互系统，同时为所述远程VR协助系统提供基于现场工况数据的数字孪生虚拟现场信息；

所述远程VR协助系统根据接收到的数据来遥控所述虚拟助手，进而实现对现场工作人员的引导和协助。

进一步地，所述现场混合现实助手交互系统包括摄像模块、显示模块及混合现实助手交互系统网络，所述摄像模块与所述显示模块相连接，所述显示模块通过所述混合现实助手交互系统网络与所述现场CPS系统通讯。

进一步地，所述摄像模块用于采集真实场景影像，并将采集到的影像传输给所述显示模块；所述显示模块用于将虚拟影像与真实场景进行叠加及显示，其产生的混合现实空间使用与真实场景位置关联的虚拟信息窗口来提供现场工况的数据信息。

进一步地，所述拟人助手位于所述混合现实空间内，所述现场混合现实助手交互系统通过所述拟人助手与现场工作人员进行互动交互。

进一步地，所述显示模块将接收到的工作人员当前所处的位置状态及观察视野的信息数据通过所述混合现实助手交互系统网络传输给所述现场CPS系统。

进一步地，所述现场CPS系统包括数字孪生大数据网络服务器及工作现场数据采集网络，所述现场CPS系统通过所述数字孪生大数据网络服务器分别与所述混合现实助手交互系统网络及所述远程VR协助系统通讯；具备CPS功能的工作机通过所述工作现场数据采集网络与所述数字孪生大数据网络服务器通讯。

进一步地，所述工作机上设置有带有设备编号和位置信息的快速响应码，所述摄像模块在工作现场拍摄所述快速响应码，进而实现工作机与所述数字孪生大数据服务器中数据的配对，实现拟人助手在混合现实空间中的定位。

进一步地，所述远程VR协助系统构建与工作现场一致的虚拟三维工作空间，在所述虚拟三维工作空间中，远程技术人员能直观地获得工作现场空间布局，且能获得现场工作人员的位置状态和观察视野内容。

进一步地，所述远程VR协助系统包括远程VR终端及互联网，远程技术人员通过所述远程VR终端与工作现场进行信息交互；所述远程VR终端通过所述互联网与所述现场CPS系统通讯。

进一步地，所述拟人助手在混合现实空间内通过移动、表情、对话及信息窗口与现场工作人员进行交互。

总体而言，通过本发明所构思的以上技术方案与现有技术相比，本发明提供的适用于工作现场的混合现实助手系统主要具有以下有益效果：

1.所述现场CPS系统用于对工作现场具备CPS功能的工作机进行信息采集、存储及分析，并将采集到的现场实时数据及基于现场数据的智能化分析数据传输给所述现场混合现实助手交互系统，同时为所述远程VR协助系统提供基于现场工况数据的数字孪生虚拟现场信息；所述远程VR协助系统根据接收到的数据来遥控所述虚拟助手，进而实现对现场工作人员的引导和协助，实现了异地远程技术人员对现场工作人员的直观引导，适用性较强，灵活性较高。

2.所述现场混合现实助手交互系统通过混合现实交互技术在混合现实空间内通过虚拟的拟人助手指导现场工作人员处理技术问题，所述远程VR协助系统根据接收到的数据来遥控所述虚拟助手，进而实现对现场工作人员的引导和协助，如此现场工作人员及远程技术人员之间实现了工作现场空间等信息的全面的、实时的共享，实现了现场工作人员与远程技术人员之间跨越空间、时间局限的协同合作。

3.所述拟人助手位于所述混合现实空间内，所述现场混合现实助手交互系统通过所述拟人助手与现场工作人员进行互动交互，直观，灵活，适用性较好。

4.所述远程VR协助系统构建与工作现场一致的虚拟三维工作空间，在所述虚拟三维工作空间中，远程技术人员能直观地获得工作现场空间布局，且能获得现场工作人员的位置状态和观察视野内容，如此远程技术人员可以更为准确地指导现场工作人员解决技术问题，提高了效率及准确性。

附图说明

图1是本发明提供的适用于工作现场的混合现实助手系统的模块框图；

图2是图1中的适用于工作现场的混合现实助手系统的功能示意框图。

在所有附图中，相同的附图标记用来表示相同的元件或结构，其中：100-现场混合现实助手交互系统，101-HHD MR终端，102-HUD MR终端，103-AR/MR Glasses，104-混合现实助手系统交互网络，200-现场CPS系统，201-智能仓库，202-AGV物流车，203-数字孪生大数据网络服务器，204-数字车间、实训、教学CPS网络，205-工业机器人，206-1号数控机床，207-2号数控机床，208-目标识别/注册码，300-远程VR协助系统，301-互联网，302-PC计算机，303-VR眼镜。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

请参阅图1及图2，本发明提供的适用于工作现场的混合现实助手系统，所述混合现实助手系统用于具备工作状态数据采集管理功能的工作现场(如数字化车间、实训车间、教学车间等)，以为工作人员提供基于混合现实的可视化虚拟助手服务。所述混合现实助手系统包括现场混合现实(MR)助手交互系统100、现场CPS系统200及远程VR协助系统300，

所述现场混合现实助手交互系统100通过混合现实交互技术，在视觉交互空间内通过虚拟的拟人助手指导现场工作人员处理技术问题。所述现场混合现实助手交互系统100包括显示模块，所述显示模块显示叠加在真实现场上且带有虚拟信息影像的混合效果画面(混合现实空间)，所述混合效果画面使用与真实场景布局位置关联的虚拟信息窗口提供与现场工况相关的数据信息。在所述混合现实效果画面内，所述现场混合现实助手交互系统100通过一个拟人助手与现场工作人员进行互动交互，而现场工作人员通过所述显示模块来获得所述混合现实效果画面。

所述现场混合现实助手交互系统100的数据信息来源于两个方面：一是基于工作现场数据构建的数字孪生大数据网络服务器生成的操作培训指导、当前工况状态、运维操作指导、故障数据分析、历史数据记录检索等大数据相关的分析服务；另一方面是位于异地远程技术人员通过远程VR协助终端实现的对现场工作人员的技术协助指导。所述现场混合现实助手交互系统100的技术协助方式主要包括：信息状态窗口、对话式指导建议、空间位置引导、虚拟操作示范等综合交互方式。

本实施方式中，在工作人员的显示终端(如：HHD、HUD、AR-Glass等)中，所述现场混合现实助手交互系统100向工作人员提供技术培训指导、设备使用培训、日常维护指导、设备异常辅助诊断、基于互联网的检索功能、远程VR专家协助等辅助指导功能。

本实施方式中，所述现场混合现实助手交互系统100包括所述显示模块(即显示终端)及混合现实助手交互系统网络104(即无线通讯模块)，所述显示终端为HHD MR终端101、HUD MR终端102或者AR/MR Glasses103；所述现场混合现实助手交互系统100是面向个人交互体验的现场技术协助系统，现场工作人员首先需要借助专门的具备混合现实显示功能的终端设备，所述终端设备通常包括用于采集真实场景影像的摄像模块、叠加及显示虚拟影像和真实场景的显示模块、以及与现场进行无线网络通讯的无线通讯模块，其中，显示终端可以是HHD MR终端101形式，如智能手机、平板电脑等手持式交互设备；可以是HUD MR终端102形式，如增强现实头盔、增强现实显示屏等；可以是AR/MR Glasses103形式，如各类智能眼镜等；所述现场混合现实助手交互系统100通过所述混合现实助手系统交互网络104与所述现场CPS系统200实现无线通信。工作人员使用的混合现实终端可以采用无线通讯方式与所述现场CPS系统200通信，从而将工作人员当前所处的位置状态和观察视野的内容信息上传至所述现场CPS系统200的数字孪生大数据网络服务器。

所述现场CPS系统200用于对工作现场具备CPS功能的工作机进行信息采集、存储及分析，以为所述现场混合现实助手交互系统100提供现场实时数据及基于现场数据的智能化分析数据服务，同时为所述远程VR协助系统300提供基于现场工况数据的数字孪生虚拟现场信息，以为协助所述远程VR协助系统300提供技术协助判断依据。

所述现场CPS系统200包括数字孪生大数据网络服务器203及工作现场数据采集网络(即数字车间、实训、教学CPS网络204)，所述现场CPS系统200通过所述数字孪生大数据网络服务器203与所述混合现实助手系统交互网络104通讯。

本实施方式中，所述现场CPS系统200包括具备CPS功能的工作机、目标识别/注册码208、数字孪生大数据网络服务器203、以及数字车间，实训及教学CPS网络204。

具备CPS功能的工作机包括1号数控机床206、2号数控机床207、工业机器人205、AGV物流车202及智能仓库201。所述混合现实助手系统作为一个真实场景与虚拟影像无缝融合的影响交互系统，虚拟影像与真实物体的空间精准配对和定位是本系统可靠性和准确性的关键，所述现场CPS系统200的目标识别/注册码208采用快速响应码(Quick Response，QR)实现真实物体(工作机)编号、位置信息以与所述现场混合现实助手系统100快速匹配，通过用户使用的摄像模块在工作现场中拍摄带有设备编号和位置信息的快速响应码(QR)，实现设备与所述数字孪生大数据服务器203中数据的配对功能，通过快速响应码包含的位置信息，实现拟人助手在混合现实空间的精确定位。

所述数字孪生大数据服务器203用于对工作现场的具备CPS功能的工作机进行工况数据的实时采集及存储，同时其根据拟人助手的服务内容对获得的CPS数据进行分析处理，并通过工作现场的混合现实助手交互系统服务网络104实现与所述显示模块进行无线数据交互。所述数字车间，实训及教学CPS网络204用于实现具备CPS功能的工作机与所述数字孪生大数据网络服务器203之间的网络通讯。

所述远程VR协助系统300用于在异地通过沉浸式虚拟现实的方式获取工作现场大数据可视化信息，形象地获得工作现场设备的布局信息、工作人员的位置及观察内容、现场CPS系统的分析数据等临场数据，同时其还用于远程控制拟人助手来指导现场工作人员处理技术问题。

所述远程VR协助系统300构建与工作现场一致的虚拟三维工作空间，远程技术人员可以自由的“穿梭”在该虚拟三维工作空间，如此使得远程技术人员获得直观的工作现场空间布局概念，在虚拟三维空间中，远程技术人员可以获得现场工作人员的位置状态和观察视野内容信息，并可以借助数字孪生大数据服务器203提供的数据获得虚拟空间设备的工况状态和历史纪录、已经通过数字孪生技术实现的“历史场景”重现影像，进而实现分析、解决工作现场技术问题的目标。远程技术人员通过远程VR协助系统300可以遥控混合现实助手交互系统中的拟人助手的空间移动、动作和交互内容，以实现对现场工作人员的直观引导和协助。

所述远程VR协助系统300包括远程VR终端及互联网301，远程技术人员通过所述远程VR终端与工作现场进行信息交互，所述远程VR终端可以是PC计算机302、VR眼镜303、平板电脑等具备显示功能的终端设备。所述互联网301实现了所述远程VR终端与所述数字孪生大数据网络服务器203之间的通讯。

在一个实施方式中，现场的工作人员通过混合现实助手交互系统100以混合现实的方式获得拟人助手的技术指导，该拟人助手可以自由“穿梭”在混合现实助手交互系统100的混合现实空间中，其通过移动、动作、表情、对话、信息窗口等多种交互方式实现与现场工作人员的技术交互。所述混合现实助手交互系统100的数据可以来源于所述现场CPS系统200的数字孪生大数据服务器203，也可以来源于远程的人工控制。远程技术人员通过远程VR协助系统300可以通过“沉浸式”虚拟现实的方式获得工作现场的空间布局信息、工况信息、历史数据、现场工作人员视角等“临场”信息，远程技术人员根据获得的这些信息来分析判断现场问题，并遥控工所述现场混合现实助手交互系统100中的拟人助手来指导现场工作人员处理技术问题。

本实施方式中，MR为Mixed Reality的缩写，虚拟现实；AR为Augmented Reality，增强现实；MR为Mixed Reality的缩写，混合现实；CPS为Cyber-Physical Systems，信息物理系统。

本发明提供的适用于工作现场的混合现实助手系统，使得现场工作人员和远程技术人员通过所述混合现实助手系统实现了工作现场空间、工况数据、历史数据、历史影像、个人视野感官等信息的全面的、透明的、实时的共享、共知，真正实现了现场工作和远程技术人员跨越空间、时间局限的协同合作，适用性较强，有利于推广应用。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims

1.一种适用于工作现场的混合现实助手系统，其特征在于：

所述混合现实助手系统包括现场混合现实助手交互系统(100)、现场CPS系统(200)及远程VR协助系统(300)，所述现场混合现实助手交互系统(100)通过混合现实交互技术在混合现实空间内通过虚拟的拟人助手指导现场工作人员处理技术问题，同时将采集到的现场工作人员当前所处的位置状态及观察视野的信息数据无线传输给所述现场CPS系统(200)；

所述现场CPS系统(200)用于对工作现场具备CPS功能的工作机进行信息采集、存储及分析，并将采集到的现场实时数据及基于现场数据的智能化分析数据传输给所述现场混合现实助手交互系统(100)，同时为所述远程VR协助系统(300)提供基于现场工况数据的数字孪生虚拟现场信息；

所述远程VR协助系统(300)根据接收到的数据来遥控所述虚拟助手，进而实现对现场工作人员的引导和协助。

2.如权利要求1所述的适用于工作现场的混合现实助手系统，其特征在于：所述现场混合现实助手交互系统(100)包括摄像模块、显示模块及混合现实助手交互系统网络(104)，所述摄像模块与所述显示模块相连接，所述显示模块通过所述混合现实助手交互系统网络(104)与所述现场CPS系统(200)通讯。

3.如权利要求2所述的适用于工作现场的混合现实助手系统，其特征在于：所述摄像模块用于采集真实场景影像，并将采集到的影像传输给所述显示模块；所述显示模块用于将虚拟影像与真实场景进行叠加及显示，其产生的混合现实空间使用与真实场景位置关联的虚拟信息窗口来提供现场工况的数据信息。

4.如权利要求3所述的适用于工作现场的混合现实助手系统，其特征在于：所述拟人助手位于所述混合现实空间内，所述现场混合现实助手交互系统(100)通过所述拟人助手与现场工作人员进行互动交互。

5.如权利要求3所述的适用于工作现场的混合现实助手系统，其特征在于：所述显示模块将接收到的工作人员当前所处的位置状态及观察视野的信息数据通过所述混合现实助手交互系统网络(104)传输给所述现场CPS系统(200)。

6.如权利要求2所述的适用于工作现场的混合现实助手系统，其特征在于：所述现场CPS系统(200)包括数字孪生大数据网络服务器(203)及工作现场数据采集网络，所述现场CPS系统(200)通过所述数字孪生大数据网络服务器(203)分别与所述混合现实助手交互系统网络(104)及所述远程VR协助系统(300)通讯；具备CPS功能的工作机通过所述工作现场数据采集网络与所述数字孪生大数据网络服务器(203)通讯。

7.如权利要求6所述的适用于工作现场的混合现实助手系统，其特征在于：所述工作机上设置有带有设备编号和位置信息的快速响应码，所述摄像模块在工作现场拍摄所述快速响应码，进而实现工作机与所述数字孪生大数据服务器中数据的配对，实现拟人助手在混合现实空间中的定位。

8.如权利要求1-7任一项所述的适用于工作现场的混合现实助手系统，其特征在于：所述远程VR协助系统(300)构建与工作现场一致的虚拟三维工作空间，在所述虚拟三维工作空间中，远程技术人员能直观地获得工作现场空间布局，且能获得现场工作人员的位置状态和观察视野内容。

9.如权利要求1-7任一项所述的适用于工作现场的混合现实助手系统，其特征在于：所述远程VR协助系统(300)包括远程VR终端及互联网(301)，远程技术人员通过所述远程VR终端与工作现场进行信息交互；所述远程VR终端通过所述互联网(301)与所述现场CPS系统(200)通讯。

10.如权利要求1-7任一项所述的适用于工作现场的混合现实助手系统，其特征在于：所述拟人助手在混合现实空间内通过移动、表情、对话及信息窗口与现场工作人员进行交互。