CN108038917A - 基于mr或ar技术的目标观察方法及巡检系统 - Google Patents

Abstract

本发明提供了一种基于MR或AR技术的目标观察方法及巡检系统，该方法对目标进行建模生成三维虚拟场景，并将三维虚拟场景中的所有子目标编制与数据库中各子目标信息对应的唯一的标识id；将三维虚拟场景通过MR或AR设备显示，并与实际场景重叠；将MR或AR设备指向现实场景中的子目标，得到三维虚拟场景中对应的子目标，根据三维虚拟场景中的子目标的标识id从数据库获取对应的子目标的信息，并将子目标的信息在三维虚拟场景中显示，通过本发明，人们能够直接看到目标的实际状态、正常状态及目标的信息，能够透过遮挡物观察被遮挡的设备，在巡检等应用场景，因为接收的信息更全面从而更容易发现潜在的问题或故障。

Description

基于MR或AR技术的目标观察方法及巡检系统

技术领域

本发明属于安全管理技术领域，具体涉及一种基于MR或AR技术的目标观察方法及巡检系统。

背景技术

日常生活中，识别目标并检索目标相关信息，呈现给用户是常见的需求。典型的应用方案是，通过成像设备对目标成像，利用图像识别技术，对目标进行分类识别，根据目标识别结果检索目标相关信息并呈现给用户。

在巡检领域，如综合管廊巡检、电力巡检、设备巡检等应用场景，由于目标处于相对固定的位置，并且具备数量大、布局集中等特点，通常都会进行统一管理，定期巡检，适时保养。典型的巡检方案是，派遣专职巡检人员，定期巡视目标表面所呈现的工作状态是否正常、检查重要的仪器仪表以确保目标工作正常；同时，针对目标的故障，典型的应对方案是，在目标安装传感器、监测仪器以方便故障发生后排查成因。

由于巡检目标的信息存储于云服务中心，在巡检的同时，要么只巡检设备表象跟设备现场能够提供的仪器仪表，要么必须携带一套电子设备，根据设备id查询设备记录与云服务中心的信息来做进一步的判断。在正常巡检过程中，人们一般不会对每个设备都进行查询，只会去查询巡检认为比较有可能出现故障的设备的数据。并且，一些设备被天花板或墙面等遮挡物遮挡住，巡检人员无法检查到。

发明内容

本发明是为了解决上述问题而进行的，目的在于提供一种能够直接看到观察目标的实际状态、正常状态和观察目标的信息，并且能够观察到被遮挡物遮挡的设备，用于巡检等应用场景时，方便巡检人员进行巡检，因为能够看到普通巡检无法即时得到的信息，所以节省巡检时间，并且因接收到的信息全面从而容易发现潜在的问题或故障的基于MR或AR技术的目标观察方法。

本发明提供了一种基于MR或AR技术的目标观察方法，其特征在于，包括以下步骤：步骤1，对目标进行建模生成三维虚拟场景，并将所述三维虚拟场景中的所有子目标编制与数据库中各子目标信息对应的唯一的标识id；

步骤2，将所述三维虚拟场景通过MR或AR设备显示，并与实际场景进行对位，使之重叠；

步骤3，将MR或AR设备指向现实场景中的子目标，得到三维虚拟场景中对应的子目标，根据三维虚拟场景中的子目标的标识id从数据库获取对应的子目标的信息，并将所述子目标的信息在所述三维虚拟场景中显示。

进一步，在本发明提供的基于MR或AR技术的巡检方法中，还可以具有这样的特征：其中，步骤1中，对目标进行建模生成三维虚拟场景的方法为：

步骤1-1，对目标的场景进行建模；

步骤1-2，对所述场景内的每一个子目标进行建模。

进一步，在本发明提供的基于MR或AR技术的目标观察方法中，还可以具有这样的特征：其中，所述三维虚拟场景设计有角度、位置调节功能。

进一步，在本发明提供的基于MR或AR技术的目标观察方法中，还可以具有这样的特征：其中，步骤2中，将所述三维虚拟场景通过MR或AR设备显示，并与实际场景进行对位，使之重叠的方法为：

步骤2-1，将所述三维虚拟场景在MR或AR设备中显示出来，使得在MR或AR设备的屏幕中能够同时看到现实场景和所述三维虚拟场景；

步骤2-2，调整设备佩戴人在所述三维虚拟场景中的位置，使其与在现实场景中的位置一致；

步骤2-3，调整设备佩戴人在所述三维虚拟场景中的视角角度，使其与在现实场景的视角角度一致。

进一步，在本发明提供的基于MR或AR技术的目标观察方法中，还可以具有这样的特征：其中，步骤3中，将所述子目标的信息信息在所述三维虚拟场景中显示的方法如下：

步骤3-1，在所述三维虚拟场景中设计信息展示UI；

步骤3-2，在所述三维虚拟场景中，将所述信息展示UI与所述子目标结合；

步骤3-3，将从数据库获取的子目标的信息加载到所述信息展示UI上。

一种巡检系统，其特征在于，包括：

传感器或监测仪器，安装在各子目标上用于监测各子目标；

数据库，存储有各子目标的信息，与所述传感器或监测仪器连接；以及

MR或AR设备，与所述数据库连接，用于对目标进行建模生成三维虚拟场景，将所述三维虚拟场景与现实场景重叠，根据三维虚拟模型中各子目标对应的标识id从所述数据库中获取各子目标的信息，并显示在三维虚拟场景中。

本发明的优点如下：

根据本发明所涉及的基于MR或AR技术的目标观察方法，对目标进行建模构建三维虚拟场景，将三维虚拟场景中的子目标编制与数据库中各子目标信息对应的唯一的标识id，因此，通过标识id可以方便查询到数据库中该子目标的信息，将三维虚拟场景通过MR或AR设备显示并与现实场景重叠，在MR或AR设备指向现实场景中的子目标时，能够获取该子目标在三维虚拟场景中对应的子目标，然后根据三维虚拟场景中子目标的标识id从数据库中获取该子目标的信息，显示在三维虚拟场景中，因此，可以通过MR或AR设备直观的看到各子目标的实际状态、正常状态和子目标的信息，根据实际状态和正常状态的对比，子目标的信息来判断子目标是否正常，并且能够检查到被遮挡物遮挡而不方便检查到的设备，因此可用于透视一些被天花板或墙壁遮挡，或者埋在地下的设备，当用于巡检时，方便巡检人员的检查，能够看到普通巡检无法即时得到的信息，即当巡检的子目标不是通过表象或者子目标现场安装的仪器仪表进行检查时，比如运维管理中，需要知道这个设备近期的保养时间、维修时间、同类设备的统计信息等等，不用需要巡检人员通过现场记录后，在与数据库中的数据进行核对，节省了巡检人员的工作时间。由于采用该种方法可以方便的看到所有设备的情况，使得巡检更全面，巡检人员得到的信息更全面，从而容易发现潜在的问题或故障。

本发明的巡检系统，使得巡检人在进行巡检时，可以通过MR或AR设备直观的看到需要巡检的各子目标的实际状态、正常状态和子目标的信息，根据实际状态和正常状态的对比，子目标的信息来判断子目标是否正常，能够检查到被遮挡物遮挡而不方便检查的设备，因此可用于透视一些被天花板或墙壁遮挡，或者埋在地下的设备，当用于巡检时，方便巡检人员的检查，能够看到普通巡检无法即时得到的信息，节省巡查时间，并且由于采用该种方法可以方便的看到所有设备的情况，使得巡检更全面，巡检人员得到的信息更全面，从而容易发现潜在的问题或故障。

附图说明

图1是本发明中基于MR或AR技术的目标观察方法的流程图；

图2是本发明中基于MR或AR技术的目标观察方法的逻辑图；

图3是本发明中巡检系统的结构示意简图。

具体实施方式

为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，以下实施例结合附图对本发明基于MR或AR技术的目标观察方法及巡检系统作具体阐述。

基于MR或AR技术的目标观察方法主要用于巡检，方便巡检人员检查各设备的运行状况，并且在巡检时，可以看到被天花板等遮挡物遮挡的设备的信息，巡检包括运维管理中检视运维情况，也可用于在布置有地下水管的区域进行其他作业时，透视地下水管，从而方便工作人员避开该区域进行操作等。

如图1、图2所示，基于MR或AR技术的目标观察方法包括以下步骤：

步骤S1，对目标进行建模生成三维虚拟场景，并将三维虚拟场景中的所有子目标编制与数据库中各子目标信息对应的唯一的标识id。标识id是子目标的唯一标识，根据子目标的标识id即可从数据库里面查询到该子目标的信息。三维虚拟场景与现实场景一样，且三维虚拟场景中的每个子目标与现实场景中的子目标的相对位置相同，三维虚拟场景中的子目标为正常状态下的子目标模型。

对目标进行建模生成三维虚拟场景的方法为：

步骤S1-1，对目标的场景进行建模。在对目标的场景进行建模时，可以将对一些子目标进行遮挡的物体进行删除，从而在三维虚拟场景中，可以看到所有的子目标。比如将场景中的天花板删除，从而在三维虚拟模型中被天花板遮挡的子目标可以显示出来。具体实施中，例如：在布置有地下水管的区域进行其他作业时，在对场景进行建模时，场景模型中不包含地面，因此，MR或AR设备佩戴人员能够观察到地下水管的情况，方便施工人员进行作业。

步骤S1-2，对所述场景内的每一个子目标进行建模，对子目标进行建模时是根据子目标的正常状态进行建模。

步骤S2，将所述三维虚拟场景通过MR或AR设备显示，并与实际场景进行对位，使之重叠。

在本实施例中，三维虚拟场景设计有角度、位置调节功能。将所述三维虚拟场景通过MR或AR设备显示，并与实际场景进行对位，使之重叠的方法为：

步骤S2-1，将三维虚拟场景在MR或AR设备中显示出来，使得在MR或AR设备的屏幕中能够同时看到现实场景和三维虚拟场景。

步骤S2-2，调整设备佩戴人在三维虚拟场景中的位置，使其与在现实场景中的位置一致。

步骤S2-3，调整设备佩戴人在所述三维虚拟场景中的视角角度，使其与在现实场景的视角角度一致。

步骤S3，将MR或AR设备指向现实场景中的子目标，得到三维虚拟场景中对应的子目标，根据三维虚拟场景中的子目标的标识id从数据库获取对应的子目标的信息，并将子目标的信息在三维虚拟场景中显示。由于三维虚拟场景和实际场景重叠，因此在将MR或AR设备指向现实场景中的子目标时，设备能够获得三维虚拟场景中对应的子目标。

在本实施例中，将子目标的信息信息在三维虚拟场景中显示的方法如下：

步骤S3-1，在三维虚拟场景中设计信息展示UI。

步骤S3-2，在三维虚拟场景中，将信息展示UI与子目标结合。

步骤S3-3，将从数据库获取的子目标的信息加载到信息展示UI上。

因此，巡检人员能够通过MR或AR设备看到子目标的实际状态(即现实场景中的状态)、子目标的正常状态(即三维虚拟场景中的状态)和数据库中存储的该子目标的信息，根据实际状态和正常状态的对比，子目标的信息来判断子目标是否正常，并且能够检查到被遮挡物遮挡而不方便检查到的设备，因此可用于透视一些被天花板或墙壁遮挡，或者埋在地下的设备，当用于巡检时，方便巡检人员的检查，能够看到普通巡检无法即时得到的信息，即当巡检的子目标不是通过表象或者子目标现场安装的仪器仪表进行检查时，比如运维管理中，需要知道这个设备近期的保养时间、维修时间、同类设备的统计信息等等，不用需要巡检人员通过现场记录后，在与数据库中的数据进行核对，节省了巡检人员的工作时间。由于采用该种方法可以方便的看到所有设备的情况，使得巡检更全面，巡检人员得到的信息更全面，从而容易发现潜在的问题或故障。

如图3所示，一种巡检系统，包括传感器或监测仪器10、数据库20、MR或AR设备30。

传感器或监测仪器10安装在各子目标40上,用于监测各子目标40的状态。

数据库20用于存储各子目标的信息，与传感器或监测仪器连接。传感器或监测仪器将监测的数据发送给数据库20。数据库20中存储的各子目标的信息包括传感器或监测仪器监测的数据，也包括子目标正常状态的其它非传感器或监测仪器监测的数据，比如：比如在BIM验收的场景中，数据库20中存储有BIM建模的数据，从BIM建模的数据中可以得到需要的建筑的尺寸，基坑位置，材质设计等；在运维管理中，数据库20与运维管理平台连接，从运维管理平台获取设备近期的保养时间、维修时间、同类设备的统计信息等等。

MR或AR设备与数据库连接，用于对目标进行建模生成三维虚拟场景，将三维虚拟场景与现实场景重叠，根据三维虚拟模型中各子目标对应的标识id从数据库中获取各子目标的信息，并显示在三维虚拟场景中。

上述实施方式为本发明的优选案例，并不用来限制本发明的保护范围。

Claims (6)

1.一种基于MR或AR技术的目标观察方法，其特征在于，包括以下步骤：

步骤1，对目标进行建模生成三维虚拟场景，并将所述三维虚拟场景中的所有子目标编制与数据库中各子目标信息对应的唯一的标识id；

步骤2，将所述三维虚拟场景通过MR或AR设备显示，并与实际场景进行对位，使之重叠；

步骤3，将MR或AR设备指向现实场景中的子目标，得到三维虚拟场景中对应的子目标，根据三维虚拟场景中的子目标的标识id从数据库获取对应的子目标的信息，并将所述子目标的信息在所述三维虚拟场景中显示。

2.根据权利要求1所述的基于MR或AR技术的目标观察方法，其特征在于：

其中，步骤1中，对目标进行建模生成三维虚拟场景的方法为：

步骤1-1，对目标的场景进行建模；

步骤1-2，对所述场景内的每一个子目标进行建模。

3.根据权利要求1所述的基于MR或AR技术的目标观察方法，其特征在于：

其中，所述三维虚拟场景设计有角度、位置调节功能。

4.根据权利要求3所述的基于MR或AR技术的目标观察方法，其特征在于：

其中，步骤2中，将所述三维虚拟场景通过MR或AR设备显示，并与实际场景进行对位，使之重叠的方法为：

步骤2-1，将所述三维虚拟场景在MR或AR设备中显示出来，使得在MR或AR设备的屏幕中能够同时看到现实场景和所述三维虚拟场景；

步骤2-2，调整设备佩戴人在所述三维虚拟场景中的位置，使其与在现实场景中的位置一致；

步骤2-3，调整设备佩戴人在所述三维虚拟场景中的视角角度，使其与在现实场景的视角角度一致。

5.根据权利要求1所述的基于MR或AR技术的目标观察方法，其特征在于：

其中，步骤3中，将所述子目标的信息在所述三维虚拟场景中显示的方法如下：

步骤3-1，在所述三维虚拟场景中设计信息展示UI；

步骤3-2，在所述三维虚拟场景中，将所述信息展示UI与所述子目标结合；

步骤3-3，将从数据库获取的子目标的信息加载到所述信息展示UI上。

6.一种巡检系统，其特征在于，包括：

传感器或监测仪器，安装在各子目标上用于监测各子目标；

数据库，存储有各子目标的信息，与所述传感器或监测仪器连接；以及

MR或AR设备，与所述数据库连接，用于对目标进行建模生成三维虚拟场景，将所述三维虚拟场景与现实场景重叠，根据三维虚拟模型中各子目标对应的标识id从所述数据库中获取各子目标的信息，并显示在三维虚拟场景中。