CN117337416A - 一种虚拟巡检系统及在增强现实环境下的可视化工厂系统 - Google Patents

Abstract

一种虚拟巡检系统以及在增强现实环境下的可视化工厂系统，至少包括服务器系统（1）、至少一个交互终端和至少一个控制系统（60），服务器系统（1）分别与至少一个交互终端和至少一个控制系统（60）建立通信连接，服务器系统（1）至少包括用于显示被控对象（70）的二维图形部件的二维模块（10）和用于显示被控对象（70）的三维图形部件的三维模块（20），被控对象（70）的二维图形部件与三维图形部件之间建立映射关系，响应于巡检人员在交互终端对二维视图的操作，三维模块（20）能够在三维视图中定位到与指定的二维图形部件对应的三维图形部件。

Description

一种虚拟巡检系统及在增强现实环境下的可视化工厂系统 技术领域

本发明涉及虚拟控制技术领域，尤其涉及一种虚拟巡检系统及在增强现实环境下的可视化工厂系统。

背景技术

数字孪生从虚拟制造、数字样机等技术上发展而来，原本是美国军方在航天系统研究中提出来的，现在已经拓展到智能制造、预测设备故障以及改进产品等多个领域。数字孪生，也用来指代将一个工厂的厂房及产线，在没有建造之前，就完成数字化模型。从而在虚拟的赛博空间中对工厂进行仿真和模拟，并将真实参数传给实际的工厂建设。而工房和产线建成之后，在日常的运维中二者继续进行信息交互。但是，当前的数字孪生工厂的虚拟系统，仅仅虚拟工厂的设备运行情况，而没有把巡检人员的巡检情况特纳入数字孪生虚拟系统，使得巡检人员在巡检时只能查看到系统的表面物理特征，而无法在巡检时随时查看设备的实时数据。

例如，中国专利CN108628595A公开了一种用于开发用于在自动化系统中使用的控制器的控制应用的系统和方法。在控制应用程序的执行期间控制器接收与第一真实部件的感知相关联的传感器信号。模拟虚拟部件的活动，所述活动包括与第一真实部件的交互，虚拟部件是针对工作环境而设计的第二真实部件的数字孪生且在工作环境中不存在。响应于所模拟的虚拟部件的活动来生成虚拟数据。控制应用模块利用针对第一真实部件的传感器信号和虚拟数据来确定用于开发控制应用程序的参数。在控制应用程序的执行期间，基于虚拟数据的数字表示来渲染和显示用于工作环境的增强现实显示信号。但是，该发明目前依然存在的缺陷在于，巡检人员带着穿戴设备在厂区行走过程中，普通的数据请求算法不稳定，不能够准确地提供信息，从而使得系统不稳定。

现有技术还公开了通过增强现实装置来实现巡检的方法。增强现实是虚拟与现实相遇的交汇线。AR可以把虚拟影像叠加在真实物体上，为执行任务的工作人员提供所有的必要数据。工作人员无需凭空猜测就能知道设备具体哪一部分出现故障，可以通过增强现实技术将该部分呈现在视线范围之内，以判断这是否出现故障。除了可以让产品生产更具效率，穿戴设备还可以帮助工人绕开危机，保障其健康和安全。例如，中国专利CN111176245A公开了基于数字孪生技术的多终端工业设备巡检监控系统及方法，包括物理实体模块、可视交互模块、数据计算模块、数据传输与反馈驱动模块。该发明将工业设备生产过程中的状态数据全部通过PLC提取出来，再用OPCUA接口把其中的关键数据传输到服务端，借助云服务对数据进行运算处理，配合增强现实设备、PC及移动端设备，实现实体物理空间到数字空间的映射，数字空间对实体物理空间的反馈控制，实现工业设备生产状态的可视化巡检，解决了生产制造过程中存在的数据可视化差及数据之间关联性差等问题，显著提高了工业制造过程中的数据可视化程度及数据实时反馈程度，达到了故障的预警及设备数据实时可视化的目的。该发明明显地通过系统对设备进行巡检，而不是在三维场景中以漫游的方式查看设定范围内的设备数据。

此外，一方面由于对本领域技术人员的理解存在差异；另一方面由于申请人做出本发明时研究了大量文献和专利，但篇幅所限并未详细罗列所有的细节与内容，然而这绝非本发明不具备这些现有技术的特征，相反本发明已经具备现有技术的所有特征，而且申请人保留在背景技术中增加相关现有技术之权利。

发明内容

现有技术中的利用增强现实来进行控制和可视化被控对象的装置或系统，其缺陷在于，第一，现有的通过增强现实装置来控制可视化对象的装置，佩戴增强现实装置的巡检人员仅能够根据定位信息确定自身的位置，而无法确认自己在工厂内的相对位置；第二，佩戴增强现实装置的巡检人员不能够同时查看被控对象的二维视图和三维视图，也无法通过二维视图的区域设定来显示三维视图的景深。现有技术中，巡检人员在工厂内巡检被控对象的时候，仅能够对身边周围的被控对象及其三维图形部件来读取被控对象的相关信息，按照一定的路线对被控对象进行依次巡检，大部分被控对象在巡检时是不会出现问题的，这种巡检方式会降低巡检的效率，无法提前发现有问题的被控对象。如何提高巡检人员的巡检效率是暂未解决的技术问题。

针对现有技术之不足，本发明提供一种虚拟巡检系统，至少包括服务器系统、至少一个交互终端和至少一个控制系统，所述服务器系统分别与至少一个交互终端和至少一个控制系统建立通信连接，所述服务器系统至少包括用于显示被控对象的二维图形部件的二维模块和用于显示被控对象的三维图形部件的三维模块，所述被控对象的二维图形部件与所述三维图形部件之间建立映射关系，响应于巡检人员在所述交互终端对二维视图的操作，所述三维模块能够在三维视图中定位到与指定的所述二维图形部件对应的三维图形部件。通过交互终端的二维视图与三维视图的对应性显示，本发明只需要在其中一个视图选择被控对象就能够同时查看被控对象的二维与三维视图。

优选地，所述被控对象的属性能够响应于巡检人员的操作以二维和三维方式并行地在交互终端显示，所述二维模块和所述三维模块基于被控对象的属性变化同时变更被控对象的二维图形部件和三维图形部件。相比于现有技术中的增强现实装置只能单一的显示二维视图或三维视图的方式，本发明的二维模块与三维模块并行的工作模式，不占用控制网络带宽，工作负荷小，减少三维模服务器和二维模块的数据延迟显示现象，使得图形显示的工作效率明显提高，从而实现二维图形和三维图形的同步实时显示。

优选地，响应于巡检人员在二维视图指定的景深区域，三维模块向交互终端发送位于景深区域内的设备的三维图形的数据，使得三维视图以清晰的方式显示位于景深区域内的设备的三维图形，三维视图以非清晰的方式显示位于景深区域外的设备的三维图形。如此设置，能够使得巡检人员在巡检过程中有重点地进行巡检，而不会由于错过巡检目标而折返，也不会由于不清楚自身与巡检目标的相对距离而产生心理压力。巡检人员能够通过二维视图清楚自身所在的工厂内的区域位置，通过三维视图来确定自身所在位置的周围的被控对象的信息。

优选地，当巡检人员查看的范围接近或走出景深区域的边缘时，所述交互终端发出提醒信息，以提醒人员的查看范围偏离了指定景深区域的巡检范围。

优选地，所述服务器系统还包括图形服务器，所述图形服务器用于存储由控制系统发送的被控对象的属性数据、数字化工程数据和图形类工程数据，所述图形服务器将被控对象的实时的属性数据与图形数据融合形成能够进行三维显示的三维图形部件，以三维视图的方式显示被控对象的属性。如此设置，有利于减轻三维模块的工作负荷和处理量，有利于三维模块显示三维图形部件的速度更快。

优选地，响应于巡检人员在交互终端的交互操作，被控对象的二维视图跳转至对应的三维视图。

优选地，巡检人员能够通过在交互终端的二维视图上划定含有报警设备以及关联设备的景深区域，在交互终端的三维视图上以高清晰度的方式详细查看报警设备及其关联设备的三维图形及其属性信息。

本发明还提供一种虚拟巡检方法，所述方法至少包括：将被控对象的二维图形部件与三维图形部件之间建立映射关系，响应于巡检人员在交互终端对二维视图的操作，三维模块能够在三维视图中定位到与指定的所述二维图形部件对应的三维图形部件。

优选地，所述方法还包括：响应于巡检人员在交互终端对被控对象的操作，所述被控对象的属性能够以二维和三维方式并行地在交互终端显示，二维模块和三维模块基于被控对象的属性变化同时变更被控对象的二维图形部件和三维图形部件。

优选地，所述方法还包括：响应于巡检人员在二维视图指定的景深区域，交互终端接收并且显示由三维模块发送的位于景深区域内的设备的三维图形，其中，三维视图以清晰的方式显示位于景深区域内的设备的三维图形，三维视图以非清晰的方式显示位于景深区域外的设备的三维图形。

优选地，所述方法还包括：当巡检人员查看的范围接近或走出景深区域的边缘时，所述交互终端发出提醒信息，以提醒人员的查看范围偏离了指定景深区域的巡检范围。

本发明的巡检方法，通过景深区域的指定，三维模块能够减少向查看的交互终端的输送数据的数据量。三维模块基于二维模块发送的景深区域以及景深区域内的设备名单筛选三维图形及其属性数据的高清数据，并且发送至交互终端。即，三维模块能够基于景深区域有目标的筛选和输送数据，从而减少大量的不必要数据的发送。

本发明还提供一种在增强现实环境下的可视化工厂系统，至少包括增强现实装置、服务器系统和与若干被控对象，所述服务器系统至少包括二维模块和三维模块，所述二维模块以二维的方式显示被控对象的二维图形部件；所述三维模块以三维的方式显示被控对象的三维图形部件；所述被控对象的属性数据能够响应于所述增强现实装置的操作指令以二维图形和三维视图的方式并行地显示，所述二维模块和/或所述三维模块能够基于所述增强现实装置反馈的操作指令控制所述被控对象。

优选地，响应于被控对象的二维视图的景深区域的划定操作，所述三维模块向所述增强现实装置发送并显示在所述景深区域内的被控对象的三维图形部件。

优选地，所述三维图形部件是由图形服务器将图形数据与属性数据融合形成的，并且以画面频流的方式发送至所述三维模块，所述三维模块将接收的所述三维图形部件以渲染的方式显示。

优选地，响应于所述增强现实装置的动作特征的方式的操作信息，所述三维模块基于巡检人员的前进方向和动作特征确定需要查看和/或控制的被控对象。

本发明的在增强现实环境下的可视化工厂系统，本发明通过二维模块和三维模块并行显示的优势，使得巡检人员将线上巡检和线下巡检相结合，即节省了体力，也能够真实地对被控对象进行巡检。在巡检人员需要对身边的被控对象调取相关信息时，巡检人员能够基于二维视图中的相对位置的设备、三维视图中的对应被控对象的三维图形部件的特征来点选被控对象和获取其相关信息，不需要增强现实装置通过采集被控对象的信息来确定被控对象。

附图说明

图1是本发明的虚拟巡检系统的其中一种结构示意图；

图2是本发明的虚拟巡检系统的另一种结构示意图；

图3是在三维场景中漫游的其中一种巡检示意图；

图4是在三维场景中漫游的另一种巡检示意图；

图5是某个被控对象的二维视图和三维视图的并行显示示意图；

图6是本发明的其中一种逻辑结构示意图；

图7是本发明的另一种逻辑结构示意图；

图8是本发明的其中一个被控对象的二维示意图。

附图标记列表

1：服务器系统；10：二维模块；20：三维模块；30：图形服务器；40：第一交互终端；50：第二交互终端：60：控制系统；70：被控对象；80：增强现实装置；81：二维操作员站；82：三维 操作员站。

具体实施方式

下面结合附图进行详细说明。

本发明公开一种虚拟巡检系统及在增强现实环境下的可视化工厂系统。

本发明中的画面频流是指：能够形成画面的视频流。视频流是指视频数据的传输，例如，它能够被作为一个稳定的和连续的流通过网络处理。

本发明的虚拟巡检系统，巡检人员能够通过在三维场景中漫游的真实视角来对数字工厂进行虚拟巡检。本发明的数字工厂的虚拟的三维场景与实体工厂的真实场景的建筑构造、设备摆设、设备的连接关系是一致的。即，本发明的三维场景显示的三维图形部件能够显示被控对象的属性。在被控对象的属性数据发生变化时，被控对象的三维图形的属性同步发生变化，从而使得巡检人员能够在与真实场景一致的三维场景中以漫游的方式进行虚拟巡检，查看设定范围内的被控对象的属性数据。

二维模块10和三维模块20均可以是专用集成芯片、CPU处理器、服务器、服务器群组、云服务器中的一种或者几种。本发明中的通信连接可以是有线的通信连接，也可以是无线的通信连接。控制系统60可以是具有控制功能的专用集成芯片、处理器、服务器、控制模块中的一种或几种。

实施例1

如图1所示，本发明的虚拟巡检系统，至少包括交互终端、服务器系统和控制系统60。交互终端与服务器系统建立通信连接。服务器系统与控制系统60建立通信连接。控制系统60与若干被控对象70建立通信连接，从而监测被控对象的属性数据、运行数据并且控制被控对象。控制系统60至少包括控制处理器和控制装置，能够响应于交互终端的指令来控制被控对象。本发明的被控对象包括工厂的建筑结构、工程设备、工艺系统、电气系统、仪控系统和通讯系统。

交互终端包括至少一个交互装置。交互装置例如是操作员站、可交互的移动终端和智能穿戴设备。可交互的移动终端例如是智能手机、移动电脑、ipad等等。在交互终端显示屏幕单独显示的情况下，交互终端能够显示被控对象的二维图形和/或三维图形。在交互终端的显示屏幕能够分屏显示，或者有多余一个显示屏幕的情况下，例如交互终端包括第一交互终端40和第二交互终端50，第一交互终端40显示被控对象的二维图形，第二交互终端50显示三维图形。二维图形和三维图形并行显示。

被控对象70的各个部件按照预定义的统一编码规则进行编码。优选的，各部件的编码为唯一调用各类部件的唯一接口。通过在需要本发明通过将编码作为调用对象，不需要再对数据进行关系检索、分析、筛选等操作，对被控对象的三维图形调取速度快、调用效率高。

如图1～图2所示，本发明的服务器系统至少包括二维模块10和三维模块20。二维模块10用于以二维的方式显示被控对象，以便巡检人员控制其状态。在交互终端，操作员能够操作显示任一个被控对象的二维图形部件。其中，二维模块内定义了被控对象的编号、功能、用途、设定值、输入/输出数据、报警以及相关的各类工程设计图形、数据等信息。二维模块通过显示控制过程中的所有变量的参数和属性，能够以声光报警方式告知操作人员工程意外情况，可以通过任意组合或单点模式显示工程数据的实时或历史趋势图，可以获知工程安全联锁保护状态等。优选的，二维模块和三维模块中的相同被控对象采用同一个编码，有利于二维模块和三维模块对同一被控对象的同步显示和控制。

三维模块20用于以三维的方式显示被控对象，以便巡检人员显示其当前控制或查看的被控对象，如图3～图4所示。具体地，在交互终端，操作员能够操作显示任一个被控对象的三维图形部件。优选的，本发明的三维图形部件用于显示被控对象的属性。即本发明的三维图形部件能够基于被控对象的属性变化进行同步变化，从而显示实时的被控对象的属性。

优选的，服务器系统还包括图形服务器30。图形服务器用于存储控制系统发送的被控对象的属 性数据、数字化工程数据和图形类工程数据。现有技术中的数字化工程数据，仅仅包含纯数字数据信息而缺乏图形信息，导致在二维或者三维图形显示时还需要根据工程数据进行图形的调整，从而导致二维或三维图形显示或者转换延迟，甚至卡顿。本发明的图形类工程数据包含图形数据、实时属性数据和实时人员定位数据。本发明的图形数据包括工厂结构图形、被控对象图形、连接设备图形等多种图形数据。具体地，图形数据还包括流程图、设备制造图、工厂建筑图形、被控对象二维轮廓图形、被控对象三维轮廓图形、人员标志图形等。工厂建筑图形包括与工厂实体建筑结构比例一致的二维平面图形和三维图形。实时人员定位数据为携带有定位装置的人员的实时位置数据。实时工程数据例如各种仪表设备，用于采集和监测温度、压力、流量、液位等过程参数值的变化；阀门的打开或关闭状态；电机的启动或停止状态；某介质物性组分的实时数据；可燃气体检测探头监测到的可燃气体浓度；有毒气检测探头监测到的有毒气体浓度；现场摄像头监测的到的实时视频画面等。还包括各类执行元件，例如控制阀、开关阀、执行机构、电气控制回路等。

图形服务器将被控对象的实时的属性数据与图形数据融合形成能够进行三维显示的三维图形部件，以三维视图的方式显示被控对象的属性。或者，图形服务器将被控对象的实时的属性数据与图形数据融合形成能够进行二维显示的二维图形部件，以二维视图的方式显示被控对象的属性。如图3～图5所示，巡检人员通过交互终端能够从各个视角角度查看被控对象。优选的，三维图形在图形服务器或第三方服务器进行轻量化处理，经过轻量化处理后的三维图形数据与实时的属性数据进行融合。如此设置，有利于减轻三维模块的工作负荷和处理量，有利于三维模块显示三维图形部件的速度更快。优选的，本发明的三维模块是以来自于图形服务器画面频流的方式来显示三维图形部件的。

三维模块响应于显示三维图形部件的第二交互终端50的请求，以漫游的方式显示被控对象的对应角度的属性。优选的，三维模块以预设的初始角度显示被控对象的三维图形部件，基于巡检人员的操作调节被控对象的显示角度。

本发明的属性数据包括自身属性数据、工作状态属性、控制属性、环境属性、预警属性等。自身属性数据为被控对象本身的数据，例如型号、尺寸、位置、可更换储备数量、安装时间、维修时间等信息。工作状态属性为被控对象的工作状态数据信息，例如某被控对象内的温度、压力值、液位、出口流量、出口介质物性组分的实时数据。控制属性为控制状态、控制操作执行时间、控制效果等信息，例如阀门的打开或关闭、电机的启动或停止等等。环境属性为涉及环境的数据信息，例如可燃气体检测探头监测到的浓度；有毒气检测探头监测到的有毒气体浓度；现场摄像头监测到的实时视频画面等等。预警属性为被控对象的属性数据达到需要报警的阈值或者运行状态，运行状态例如是工作状态异常，流道堵塞、阀门卡住、阀门故障、温度异常、压力异常等等。

优选的，被控对象的二维图形部件以映射的方式与被控对象的三维图形部件建立关联关系，使得巡检人员能够在三维视图中定位到二维图形部件。如图8所示，具体地，当巡检人员在第一交互终端40的显示器点选某个部件时，二维模块响应于对被控对象的二维图形部件之点选触发巡检人员对二维图形部件的预先设定，向三维模块发出被控对象的显示请求信息。三维模块响应于显示请求信息，按照预先设定来显示与被控对象的二维图形部件对应的三维图形部件。例如，巡检人员在第一交互终端40点击某个被控对象的二维图形部件时，第二交互终端50的显示装置显示被控对象的三维图形部件。优选的，三维模块以渲染的方式将被控对象的三维图形部件在第二交互终端50显示。其中，被点击的被控对象的颜色以标亮的方式或者颜色变化的方式显示，以便巡检人员快速确定被控对象。本发明通过映射关联的设置，使得巡检人员能够便捷的地进行二维图形和三维图形的互相定位，使得巡检人员能够同时查看被控对象的二维视图和三维视图。

优选的，第一交互终端40和第二交互终端50以二维和三维的方式并行显示被控对象，在被控 对象的属性发生变化时，二维模块和三维模块同时改变被控对象的二维图形部件和三维图形部件的属性。相比于现有技术中的二维模块与三维模块串行的工作模式，本发明的二维模块与三维模块并行的工作模式，不占用控制网络带宽，工作负荷小，减少三维模块和二维模块的数据延迟显示现象，使得图形显示的工作效率明显提高，从而实现二维图形和三维图形的同步实时显示。

优选的，响应于巡检人员在交互终端的交互操作，被控对象的二维视图能够跳转至对应的三维视图。优选的，本发明中的二维图形部件与三维图形部件的切换方式至少包括：点选切换、编码切换和基于报警信息切换。本发明的二维图形部件与三维图形部件的切换方式不限于列举的方式，还可以包括其他能够实现二维和三维的图形切换的方式，例如，响应于语音形式的编码内容进行切换，响应于智能穿戴设备的视频或者图片中的编码信息进行切换等等。点选切换方式例如是：通过点击二维画面上的设备或部件，定位至三维画面的显示的关联的设备。编码切换方式例如是：直接在二维画面上对应位置输入被控对象的编码来定位至三维显示画面上被控对象的关联的设备。基于报警信息切换方式例如是：在控制系统发出与被控对象相关的报警信息后，形成报警信息列表。通过点选报警列表来定位至出现报警的被控对象的三维图形部件。

优选的，在第一交互终端40显示二维视图的情况下，三维模块响应于巡检人员的切换操作，能够在第一交互终端跳转和显示被控对象的三维图形，也能够在第二交互终端50跳转并显示被控对象的三维图形。本发明能够基于同样的原理，实现从被控对象的三维图形部件跳转至同一个被控对象的二维图形部件。例如，在巡检人员通过第二交互终端50以漫游巡检的视角巡检至某个被控对象时，通过点击被控对象的三维图形部件来查看对应部件的属性和控制对应部件。在巡检人员点击切换二维图形的操作时，二维模块响应于巡检人员的操作请求，在第一交互终端40显示被控对象的二维图形部件。优选的，第一交互终端40响应于巡检人员的漫游视角，能够在被控对象的二维视图中显示巡检人员的虚拟位置，以便于巡检人员更方便地查看漫游的所在位置。相比于现有技术中需要工作人员在实体工厂中进行巡检的情况，本发明的操作人员在交互终端就能够在三维视图中进行被控对象的虚拟巡检，并且在巡检的过程中随时查看被控对象和实时属性并且进行实时控制。针对发出报警信息的被控对象，本发明的巡检人员能够迅速确定异常的被控对象并且查看查看属性的异常，甚至对异常的被控对象通过交互终端进行相应的控制。因此，本发明的虚拟巡检系统，能够节省巡检时间，并且取得和真实巡检相同的工作效果，也有利于提高巡检效率。

现有技术中，工厂的被控对象的数量是巨大的，由于没有二维视图的参照，巡检人员根据连接关系进行查找和查看被控对象，很容易将查看的主要目标进行印象模糊，从而巡检的被控对象越来越多，导致了巡检的效率降低。本发明的三维视图能够显示包含指定被控对象的预设范围内的三维图形部件，有利于巡检人员通过交互终端查看被控对象，对被控对象进行巡检。其中，本发明的三维视图按照在二维场景中指定的景深范围请求数据，给出处于景深范围内的含有被控对象以及与被控对象关联的设备的三维视图。本发明的景深范围是指是指获取有限距离的视图时，可在显示上构成清晰影像的显示范围。景深区域是指能够清晰显示被控对象的三维图形部件的距离范围。

在二维视图上划定的面积可以是指定的景深范围。景深范围内包含有若干被控对象。在巡检人员划定景深区域时，三维视图按照指定的景深范围来显示被控对象的三维图形部件。例如，巡检人员在交互终端显示的二维视图上以不限定的几何形状划定三维视图的景深区域，则二维模块将景深信息发送至三维模块。三维模块响应于景深信息，将景深区域以三维图形进行展示。例如，巡检人员在显示屏画一个圈，圈内区域则属于要显示的景深区域。

当巡检人员查看指定景深区域内的三维图形及其属性时，画面是清晰的。当操作人员查看到达景深区域的边缘时，边缘内的三维图形是高清晰度的，边缘外的三维图形的清晰度降低，从而提示操作 人员查看内容超出景深区域，使得操作人员能够重新规划查看的景深区域，避免无清晰目标的查看。特别的，巡检人员在与景深区域对应的厂区内进行实时巡检时，获得的设备的信息和图像都是清晰的。当巡检人员接近或走出景深区域的边缘时，交互终端发出提醒信息，以提醒人员偏离了指定景深区域的巡检。

优选的，对于属性异常的设备，二维图形以突出的颜色和/或标识显示发出报警信息的设备的二维图形，以及与该设备的异常问题关联的至少一个其他设备。即操作人员在二维视图上，就能够明显的看到发出报警的设备以及与报警相关的关联设备。巡检人员能够通过在二维视图上划定含有报警设备以及关联设备的景深区域，在三维视图上以高清晰度的方式详细查看报警设备及其关联设备的三维图形及其属性信息。即通过对报警设备及其关联设备的突出显示，巡检人员能够快速确定需要重点查看的设备，避免了无目的的排查设备以找出报警原因的弊端。在巡检人员实时巡检厂区内的报警设备时，能够基于二维视图或者三维视图中突出的图像显示来找到对应的实体设备。特别的，当巡检人员通过可穿戴设备在厂区内的实时位置进行方向定位后，三维模块基于巡检人员的方向定位提示需要查看的设备与巡检人员的相对位置信息，例如，提示信息为“XX设备在您的左边/左前方/右边/右前方/后方”等等，便于巡检人员快速锁定需要巡检的设备。

如若不设置景深区域的划定方式，巡检人员在交互终端查看三维视图的设备时，三维模块无法确定巡检人员下一步即将查看的设备，只能将当前三维视图内的所有设备均以高清的方式来显示。然而实际中，有很多设备的三维图形及其属性，巡检人员不会详细查看。这就导致了三维模块向交互终端发送了过量的不必要的数据，导致交互终端的数据延迟以及三维图形更新缓慢，影响显示设备的画面更新速度。本发明通过景深区域的指定，三维模块能够减少向查看的交互终端的输送数据的数据量。三维模块基于二维模块发送的景深区域以及景深区域内的设备名单筛选三维图形及其属性数据的高清数据，并且发送至交互终端。即，三维模块能够基于景深区域有目标的筛选和输送数据，从而减少大量的不必要数据的发送。

优选的，景深区域不仅能够设置二维视图中，也能够设置在三维视图中。当巡检人员在三维视图中划定景深区域时，三维模块能够根据景深区域搜索数据，并且给出景深区域内的设备的表单。巡检人员根据表单来查看自己需要的信息。

实施例2

本实施例是对实施例1的进一步改进，重复的内容不再赘述。

本实施例中，交互终端优选为增强现实装置。现有技术中的利用增强现实来进行控制和可视化被控对象的装置或系统，其缺陷在于，第一，现有的通过增强现实装置来控制可视化对象的装置，佩戴增强现实装置的巡检人员仅能够根据定位信息确定自身的位置，而无法确认自己在工厂内的相对位置；第二，佩戴增强现实装置的巡检人员不能够同时查看被控对象的二维视图和三维视图，也无法通过二维视图的区域设定来显示三维视图的景深。现有技术中，巡检人员在工厂内巡检被控对象的时候，仅能够对身边周围的被控对象及其三维图形部件来读取被控对象的相关信息，按照一定的路线对被控对象进行依次巡检，大部分被控对象在巡检时是不会出现问题的，这种巡检方式会降低巡检的效率，无法提前发现有问题的被控对象。如何提高巡检人员的巡检效率是暂未解决的技术问题。

基于现有技术的不足，一种增强现实环境下实时控制及可视化数字工厂的系统，如图6所示，至少包括服务器系统1、控制系统60、若干被控对象70和增强现实装置80。控制系统60与若干被控对象70建立通信连接，以获取被控对象的属性信息、运行状态并且对被控对象进行控制。服务器系统1分别与控制系统60和增强现实装置80建立通信连接，以进行数据传输。其中，服务器系统1至少包括二维模块10和三维模块20。增强现实装置80分别与二维模块10和三维模块20建立通信 连接。

优选的，被控对象是以部件为单位各自单独赋值的。本发明中的二维模块10，用于以二维的方式显示被控对象，如图8所示，以便巡检人员控制其状态。优选的，在巡检人员通过增强现实装置80能够操作显示任一个被控对象的二维图形。

本发明中的三维模块20，用于以三维的方式显示被控对象，如图4和5所示，以便巡检人员显示其当前控制或查看的被控对象。具体地，在至少一个增强现实装置80的交互模块中，巡检人员能够操作显示任一个被控对象的三维图形。

优选的，被控对象的属性能够响应于巡检人员的操作以二维和三维方式并行地显示在增强现实装置的显示模块上。优选的，在被控对象的属性数据被操作方和/或巡检人员改变后，二维模块和三维模块中的相关属性参数会同步发生改变，从而二维模块和三维模块始终以属性数据一致的实时展示方式展示被控对象。相比于现有技术中的增强现实装置只能单一的显示二维视图或三维视图的方式，本发明的二维模块与三维模块并行的工作模式，不占用控制网络带宽，工作负荷小，减少三维模服务器和二维模块的数据延迟显示现象，使得图形显示的工作效率明显提高，从而实现二维图形和三维图形的同步实时显示。

例如，在巡检人员穿戴增强现实装置80在厂区行走的过程中，查看到不同被控对象的实时数据。其中，工厂的二维视图和三维视图并行显示，即同时显示在显示模块上，并且同时进行适应性的变化。例如巡检人员在三维视图查看被控对象及其属性时，显示模块显示的二维视图能够实时显示巡检人员所在区域的二维的被控对象以及巡检人员的实时的行动轨迹。巡检人员通过增强现实的具有交互功能的显示模块，能够根据需要对二维视图和三维视图进行显示设置，例如选择显示区域、被控对象、被控对象的相关信息等等。例如，二维视图在三维视图的显示画面上的角位置并行显示二维的被控对象以及巡检人员的轨迹信息，或者二维视图与三维视图以并行的画面分别显示。

优选的，被控对象的二维图形部件与被控对象的三维图形部件建立映射关系，使得巡检人员能够在三维视图中定位到二维图形部件，使得巡检人员能够在二维视图中选择在三维视图中被显示的被控对象。当巡检人员在二通维模块的显示器点选某个部件时，二级模块响应于对被控对象的二维图形部件之点选，根据操作方对二维图形部件的预先设定，按照所述预先设定来显示与被控对象的二维图形部件对应的三维图形部件。本发明通过映射关联的设置，使得操作方能够便捷的地进行二维图形和三维图形的切换。优选的，巡检人员通过增强现实装置80的二维视图的区域点选来确定三维视图显示的景深，如此设置有利于巡检人员能够快速确定巡检区域以及巡检的被控对象，从而以对应的巡检方式进行巡检。

真实的工厂中，工厂的占地面积很大，巡检人员在巡检的过程中容易陷入无目标地、迷茫的巡检状态，即不清楚哪些被控对象需要重点巡检、哪些区域优先进行巡检。即使按照工厂预设的巡检流程进行巡检，其巡检也会由于体力问题而降低巡检效率。若工厂设置足够多的巡检人员，则相应的增加人员成本，提升的巡检效率也有限，仅通过增加巡检人员的数量不能够显著提升巡检效率。

本发明通过二维模块和三维模块并行显示的优势，使得巡检人员将线上巡检和线下巡检相结合，即节省了体力，也能够真实地对被控对象进行巡检。响应于基于二维视图划定的景深区域，所述三维模块显示处于所述景深区域内的至少一个被控对象的三维图形部件。例如，巡检人员在显示的二维视图上以不限定的几何形状划定三维视图的景深区域，则二维模块将景深信息发送至三维模块。三维模块响应于景深信息，将景深区域以三维图形进行展示。巡检人员对三维视图内的被控对象依次进行线上巡检查看。其中，巡检人员能够将景深区域内的被控对象进行第一次排查，确定需要近距离查看的至少一个被控对象。

在二维视图划定的面积可以是指定的景深范围。景深范围内包含有若干被控对象。在巡检人员划定景深区域时，三维视图按照指定的景深范围来显示被控对象的三维图形部件，并且随着巡检人员的操作来调节被控对象的清晰度，使得被控对象的三维图形部件的清晰度基于操作的需要而变化。如此，巡检人员能够有计划地对被控对象进行巡检。

优选的，本发明的三维视图按照在二维场景中指定的景深范围请求数据，给出处于景深范围内的含有被控对象以及与被控对象关联的设备的三维视图。

优选的，本发明以预设角度初步显示被控对象的三维图形。其中，响应于操作方的点选信息或显示角度请求，三维模块调节被控对象的显示角度至指定角度。如此显示，有利于操作方查看被控对象的各个角度的运行情况，避免查看角度的局限性。优选的，三维模块20基于增强现实装置的定位信息在三维视图中显示任务的行为轨迹。巡检人员能够在三维视图中查看到表示自身的三维人物和被控对象的相对位置关系，从而能够基于相对位置关系来快速找到自身周围的需要被巡检的被控对象，能够快速提高巡检效率。在二维模块与三维模块并行的情况下，二维视图以二维的方式同步显示巡检人员的位置信息，从而有利于巡检人员知晓自己巡检的区域，并且基于需要通过二维图形的区域调节来显示的对应的三维视图，更有利于巡检人员通过二维视图来规划科学的巡检路线。

优选的，在巡检人员对于指定类型的被控对象进行巡检的情况下，二维模块响应于巡检人员的点选操作显示指定类型的被控对象的所有位置并显示至少一条巡检路线；三维模块响应于巡检人员的位置信息显示与位置信息对应的巡检场景，在巡检人员到达指定类型的被控对象的指定范围内时给出提醒信息，以避免巡检人员遗漏或者错过要巡检的被控对象。如此设置，能够使得巡检人员在巡检过程中有重点地进行巡检，而不会由于错过巡检目标而折返，也不会由于不清楚自身与巡检目标的相对距离而产生心理压力。巡检人员能够通过二维视图清楚自身所在的工厂内的区域位置，通过三维视图来确定自身所在位置的周围的被控对象的信息。

现有技术中，巡检人员通过增强现实装置80采集的被控对象的图像信息、编码信息、二维码信息、语音信息来确定被控对象并调取被控对象的属性及其相关信息。现有技术的这种方式，需要巡检人员先接触被控对象，然后检查被控对象。在被控对象的编码、二维码不方便采集的情况下，巡检人员很难确定被控对象并调取相关信息。特别对于体积庞大的设备，较大的涉笔图形甚至较大的印刷编码信息不利于增强现实装置的采集，较小的编码信息需要巡检人员到达庞大设备下的编码牌的附近才能够采集，这无疑会增加巡检人员的工作量，使得巡检人员的路径发生多余的转折，降低巡检效率。

本发明中，二维模块显示的二维视图和三维模块显示的三维视图均能够实时显示增强现实装置的实时位置信息。在巡检人员需要对身边的被控对象调取相关信息时，巡检人员能够基于二维视图中的相对位置的设备、三维视图中的对应被控对象的三维图形部件的特征来点选被控对象和获取其相关信息，不需要增强现实装置通过采集被控对象的信息来确定被控对象。

优选的，增强现实装置能够基于巡检人员的动作特征来确定其所在位置的对应方向的被控对象，并且基于巡检人员的操作显示被控对象的相关信息。在巡检人员巡检的过程中，巡检人员的前进方向是确定的，则巡检人员所在位置的周围的被控对象相对巡检人员的方向是确定的。增强现实装置基于向指定方向倾斜和/或抖动的操作，显示巡检人员的指定方向的一定范围内的至少一个被控对象。例如，增强现实装置基于巡检人员配到增强现实装置向右侧方向倾斜和/或抖动的操作，显示巡检人员的右侧方向的最接近的被控对象的属性及其相关信息。同理，巡检人员佩戴增强现实装置向左侧方向倾斜和/或抖动的操作，显示巡检人员的左侧方向的最接近的被控对象的属性及其相关信息。如此设置，巡检人员不需要靠近被控对象就能够确定被控对象并且检查被控对象的运行状态。一般情况下，大部分的被控对象的运行状态是正常的，能够节省巡检人员80％的工作时间以及行走路径。在需要靠 近被控对象的情况下，巡检人员再靠近被控对象进行详细的设备检查。例如，巡检人员查看被控对象的维修信息发现该设备在前一天进行维修和更换可见部件，则巡检人员需要靠近被控对象查看维修的可见部件是否与记录信息一致。

本发明的增强现实装置设置的动作特征不限于列举的左侧或右侧倾斜的动作，还可以是其他的动作特征，只要是增强现实装置能够识别的动作特征并且能够确定被控对象即可。

优选的，本发明的二维模块和三维模块还存储被控对象的实时数据和历史数据。实时数据和历史数据来源于控制系统。控制系统与被控对象之间设置有I/O模块。即I/O模块与被控对象建立通信连接。例如，被控对象内设置有一台温度变送器，当设备内温度升高时，变送器输出电流信号(4～20mA)增大，电流信号通过电缆传输至控制室内的I/O模块中，经模/数(A/D)转换后，数据上传至控制系统，供各操作站、各个服务器调用。

优选的，控制系统将实时数据并行输送至二维模块和三维模块。优选的，服务器系统还包括历史服务器。控制系统将实时数据发送至历史服务器进行转存和存储，形成与时间相关的历史数据。

优选的，如图7所示，本发明的增强现实环境下实时控制及可视化数字工厂的系统还包括二维操作员站81和三维操作员站82。二维操作员站81和三维操作员站82均与服务器系统1建立通信连接。二维操作员站81用于在至少一个操作员站显示被控对象的二维图形。三维操作员站82用于在至少一个操作员站显示被控对象的二维图形。二维操作员站81和三维操作员站82能够由工厂的管理人员操作进行二维视图和三维视图的显示，查看被控对象的相关信息。在巡检人员通过二维操作员站81或三维操作员站82修改被控对象的属性的情况下，二维操作员站81、三维操作员站82和增强现实装置80显示的被控对象的属性同步变化，有利于巡检人员在巡检过程中是基于最新的信息进行巡检，降低巡检的失误率。

需要注意的是，上述具体实施例是示例性的，本领域技术人员可以在本发明公开内容的启发下想出各种解决方案，而这些解决方案也都属于本发明的公开范围并落入本发明的保护范围之内。本领域技术人员应该明白，本发明说明书及其附图均为说明性而并非构成对权利要求的限制。本发明的保护范围由权利要求及其等同物限定。本发明说明书包含多项发明构思，诸如“优选地”、“根据一个优选实施方式”或“可选地”均表示相应段落公开了一个独立的构思，申请人保留根据每项发明构思提出分案申请的权利。

Claims (15)

1. 一种虚拟巡检系统，至少包括服务器系统、至少一个交互终端和至少一个控制系统，所述服务器系统分别与至少一个交互终端和至少一个控制系统建立通信连接，其特征在于，

   所述服务器系统至少包括用于显示被控对象的二维图形部件的二维模块和用于显示被控对象的三维图形部件的三维模块，所述被控对象的二维图形部件与所述三维图形部件之间建立映射关系，

   响应于巡检人员在所述交互终端对二维视图的操作，所述三维模块能够在三维视图中定位到与指定的所述二维图形部件对应的三维图形部件。
2. 根据权利要求1所述的虚拟巡检系统，其特征在于，所述被控对象的属性能够响应于巡检人员的操作以二维和三维方式并行地在交互终端显示，

   所述二维模块和所述三维模块基于被控对象的属性变化同时变更被控对象的二维图形部件和三维图形部件。
3. 根据权利要求1或2所述的虚拟巡检系统，其特征在于，响应于巡检人员在二维视图指定的景深区域，三维模块向交互终端发送位于景深区域内的设备的三维图形的数据，

   使得三维视图以清晰的方式显示位于景深区域内的设备的三维图形，三维视图以非清晰的方式显示位于景深区域外的设备的三维图形。
4. 根据权利要求1～3任一项所述的系统，其特征在于，当巡检人员查看的范围接近或走出景深区域的边缘时，所述交互终端发出提醒信息，以提醒人员的查看范围偏离了指定景深区域的巡检范围。
5. 根据权利要求1～4任一项所述的虚拟巡检系统，其特征在于，所述服务器系统还包括图形服务器，所述图形服务器用于存储由控制系统发送的被控对象的属性数据、数字化工程数据和图形类工程数据，

   所述图形服务器将被控对象的实时的属性数据与图形数据融合形成能够进行三维显示的三维图形部件，以三维视图的方式显示被控对象的属性。
6. 根据权利要求1～5任一项所述的虚拟巡检系统，其特征在于，响应于巡检人员在交互终端的交互操作，所述被控对象的二维视图跳转至对应的三维视图。
7. 根据权利要求1～6任一项所述的虚拟巡检系统，其特征在于，巡检人员能够通过在交互终端的二维视图上划定含有报警设备以及关联设备的景深区域，在交互终端的三维视图上以高清晰度的方式详细查看报警设备及其关联设备的三维图形及其属性信息。
8. 一种虚拟巡检方法，其特征在于，所述方法至少包括：

   将被控对象的二维图形部件与三维图形部件之间建立映射关系，

   响应于巡检人员在交互终端对二维视图的操作，三维模块能够在三维视图中定位到与指定的所述二维图形部件对应的三维图形部件。
9. 根据权利要求8所述的虚拟巡检方法，其特征在于，所述方法还包括：

   响应于巡检人员在交互终端对被控对象的操作，所述被控对象的属性能够以二维和三维方式并行地在交互终端显示，

   二维模块和三维模块基于被控对象的属性变化同时变更被控对象的二维图形部件和三维图形部件。
10. 根据权利要求8或9所述的虚拟巡检方法，其特征在于，所述方法还包括：

    响应于巡检人员在二维视图指定的景深区域，交互终端接收并且显示由三维模块发送的位于景深 区域内的设备的三维图形，其中，

    三维视图以清晰的方式显示位于景深区域内的设备的三维图形，三维视图以非清晰的方式显示位于景深区域外的设备的三维图形。
11. 根据权利要求8～10任一项所述的虚拟巡检方法，其特征在于，所述方法还包括：

    当巡检人员查看的范围接近或走出景深区域的边缘时，所述交互终端发出提醒信息，以提醒人员的查看范围偏离了指定景深区域的巡检范围。
12. 一种在增强现实环境下的可视化工厂系统，其特征在于，至少包括增强现实装置、服务器系统和与若干被控对象，

    所述服务器系统至少包括二维模块和三维模块，所述二维模块以二维的方式显示被控对象的二维图形部件；所述三维模块以三维的方式显示被控对象的三维图形部件；

    所述被控对象的属性数据能够响应于所述增强现实装置的操作指令以二维图形和三维视图的方式并行地显示，

    所述二维模块和/或所述三维模块能够基于所述增强现实装置反馈的操作指令控制所述被控对象。
13. 根据权利要求12所述的在增强现实环境下的可视化工厂系统，其特征在于，响应于被控对象的二维视图的景深区域的划定操作，所述三维模块向所述增强现实装置发送并显示在所述景深区域内的被控对象的三维图形部件。
14. 根据权利要求12或13所述的在增强现实环境下的可视化工厂系统，其特征在于，所述三维图形部件是由图形服务器将图形数据与属性数据融合形成的，并且以画面频流的方式发送至所述三维模块，

    所述三维模块将接收的所述三维图形部件以渲染的方式显示。
15. 根据权利要求12～14任一项所述的在增强现实环境下的可视化工厂系统，其特征在于，响应于所述增强现实装置的动作特征的方式的操作信息，所述三维模块基于巡检人员的前进方向和动作特征确定需要查看和/或控制的被控对象。