CN116704120A - 一种基于web ar技术的地下管线检巡方法及系统 - Google Patents

Abstract

本发明公开了一种基于WEB AR技术的地下管网检巡方法及系统，属于地下管网巡检领域；该方法包括：上传管网信息、获取AR服务页面；融合GPS和IMU信息计算相机位姿、根据相机GPS位置请求附近管网属性信息，并根据属性信息建模Web RTC获取实时视频流信息，Web GL绘制模型信息，两者实现虚实融合；Web端通过点击交互，查看当前AR模型信息，通过提交表单，上传检修信息。该系统包括:服务器模块、文件获取模块、位姿计算模块、3D建模模块、AR渲染模块、AR交互模块。本申请通过应用Web AR的方式，提供了良好的跨平台性，学习成本低，开发周期短，且不需要安装任何应用程序，使用起来非常方便。

Description

一种基于WEB AR技术的地下管线检巡方法及系统

技术领域

本发明涉及增强现实领域，尤其涉及一种基于WEB AR技术的地下管线检巡方法及系统。

背景技术

移动增强现实技术是一种将虚拟对象和信息与现实世界相结合的技术。这种技术通常使用移动设备，如智能手机或平板电脑，来实现增强现实。移动增强现实技术可以通过软件应用程序或浏览器插件来实现。

目前，大部分管网AR可视化方法主要以移动应用程序为主。移动应用程序的开发需要专业的软件开发包，例如Vuforia，AR Core，AR Kit等，并且开发的移动程序应用只能在对应的平台(Android或IOS)上运行。移动程序应用不具有跨平台能力，受制于软件开发包的限制。因此，移动增强现实应用存在着无法大规模应用和推广的问题。Web AR(Web-based Augmented Reality)是一种基于Web技术的增强现实技术。它使用浏览器作为平台，通过Web技术，如HTML，CSS和JavaScript，来实现增强现实应用。Web AR技术的优点在于它不需要使用额外的软件开发包或插件，只需要使用浏览器访问网页就可以使用增强现实应用。Web AR应用的优点在于无需部署，易于使用，且具有良好的跨平台性。而且Web AR应用的开发相较于基于软件开发包的AR移动应用程序的开发，其学习成本更低、开发时间短。

发明内容

本发明目的在于针对现有技术的不足，提出一种基于WEB AR技术的地下管线检巡方法及系统。

本发明的目的是通过以下技术方案来实现的：一种基于WEB AR技术的地下管线检巡方法，该方法包括：

S1、将管网数据录入到数据库，使用Web终端访问远程服务器中的AR服务页面，获取AR支持文件，用于支持Web AR服务；

S2、Web终端调用浏览器定位API获取定位信息、设备传感器获取IMU信息，计算当前相机的位姿信息，通过定时获取定位信息和IMU信息来不断更新相机位姿信息；

S3、Web终端根据相机当前位置向远程服务器请求当前相机附近的管网属性数据，确定管网的位姿信息，根据管网基本属性信息进行3D建模；

S4、Web终端通过Web RTC获取实时视频流，通过Web GL渲染3D模型，实现虚实融合，得到管网AR模型；

S5、通过AR服务页面将需要检修的管网信息录入数据库，Web终端通过点击管网AR模型查看管网属性数据和历史检修记录，以供后续检修。

进一步地，管网数据由勘探数据和数据图纸获得，包括管网的基本信息和实时信息；所述基本信息包括：位置信息、管道半径、管道类型、管道材质、管道内径、管道名称和管道编号；

实时信息包括:运行状态正常或停止。

进一步地，所述S1中AR支持文件包括：AR管网检巡服务页面、AR支持脚本和渲染支持JavaScript脚本；获取的AR管网检巡服务页面和AR渲染相关JavaScript脚本缓存在本地Web浏览器中。

进一步地，所述S2中计算当前相机的位姿信息具体步骤包括：

S21、相机的位姿信息以球面墨卡托坐标作为空间坐标系；相机的定位信息由浏览器定位API获取的GPS坐标(latitude,longitude)转换为球面墨卡托坐标系下的空间坐标(x,y,z)；

球面墨卡托投影的投影公式如下:

x＝R×λ

其中longitude是GPS坐标中的经度值，latitude是GPS坐标中的纬度值，λ为经度值longitude的弧度表示，是纬度值latitude的弧度表示；R为球面墨卡托投影的参考正球体周长值；y值在空间坐标系下是高度信息，以模拟真实场景相机的高度；

S22、相机的姿势信息由从设备传感器获取的IMU信息，IMU信息中的欧拉角用于确定相机的姿势；

S23、将相机的空间坐标值和姿势信息进行融合，得到相机的位姿信息。

进一步地，所述S3具体包括:

S31、服务器根据当前设备位置调用获取数据库中的管网数据和位姿信息；

S32、管网的各个节点的位置由原始GPS坐标转换为空间坐标；转换公式为球面墨卡托投影公式

S33、根据管网数据和位姿信息通过AR支持文件对管网进行建模。

进一步地，所述S4包括：Web RTC获取实时的视频流信息，将管网坐标由空间墨卡托坐标转换到图像坐标，通过渲染支持JavaScript脚本对管网AR模型进行三维注册。

进一步地，所述S5包括:

S50、Web终端提供AR模型查看管网基本信息、实时信息和检修记录，并通过Web终端提交检修请求和检修类型信息用于管网检修服务，提交信息后生成一条检修记录信息，包括：检修时间、检修位置、检修类型三部分信息；

S51、Web终端通过点击交互实现通过AR模型查看管网基本信息、实时信息和检修记录信息；

S52、Web终端提供上传当前管网实时信息的方法，用户将当前需检修的管网信息上传到远程服务器上，以辅助管网维修。

根据说明书的另一方面，提供了一种基于Web AR技术的地下管线检巡系统，该系统包括：

服务器模块：用于存储管网设施的基本属性信息、实时状态信息和检巡状态信息以及AR服务相关文件；

文件获取模块，用于Web终端向远程服务器请求AR服务页面和AR服务相关文件；

位姿计算模块，用于获取相机的位置信息数据和姿势信息数据，对相机位姿信息进行计算和追踪，同时获取的视频流数据用于背景的虚实融合；

3D建模模块，根据定位数据获取管网相关信息，根据管网的属性信息，建立管网的3D模型；

AR渲染模块，用于渲染管网模型，将AR模型与实时图像进行虚实融合。

本发明的有益效果：

主要通过WEB AR技术实现地下管线的AR检巡，相较于受限于设备平台和相关SDK的移动应用程序，实现了跨平台的支持，且学习成本更低，开发周期更短。通过使用球面墨卡托投影计算空间坐标实现对传统方式的改进，降低每一帧的计算消耗，提升AR应用的实时性能。

附图说明

图1为根据本发明实施例的一种基于WEB AR技术的地下管线检巡方法流程图；

图2为根据本发明实施例的一种基于WEB AR技术的地下管线检巡系统结构图；

图3为位姿计算流程图。

具体实施方式

以下结合附图对本发明具体实施方式作进一步详细说明。

根据本发明的实施例，提供一种基于Web AR技术的地下管线检巡方法。

如图1所示，根据本发明实施例的基于Web AR技术的地下管线检巡方法包括:

S1、将管网数据录入到数据库，使用Web终端访问远程服务器中的AR服务页面，获取AR支持文件，用于支持Web AR服务；

S2、Web终端调用浏览器定位API获取定位信息、设备传感器获取IMU信息，计算当前相机的位姿信息，通过定时获取定位信息和IMU信息来不断更新相机位姿信息；通过Web终端请求远程服务器中的AR服务页面、AR支持文件；AR服务页面通过HTML编写，用于实时查看地下管线AR模型和AR模型交互，AR支持文件通过JavaScript语言编写，用于提供AR服务支持，两者都不需要应用程序打开，Web浏览器即可运行；

如图3所示，根据本发明实施例的位姿计算流程包括:

坐标转换：定时获取GPS坐标数据，并将其转换为球面墨卡托空间坐标系坐标数据；

姿势获取：通过IMU传感器数据定时获取姿势数据，进行空间姿势计算；

数据融合：将空间坐标数据和设备姿势数据进行数据融合，计算当前设备位姿数据；

位姿更新：定时更新GPS坐标数据和IMU传感器数据，以用于计算当前新的设备位姿数据。

位姿计算具体方法如下：

S21、相机的位姿信息以球面墨卡托坐标作为空间坐标系；相机的位置信息由浏览器定位API获取的GPS坐标(latitude,longitude)转换为球面墨卡托坐标系下的空间坐标(x,y,z)；

S22、球面墨卡托投影的投影公式如下:

x＝R×λ

其中longitude是GPS坐标中的经度值，latitude是GPS坐标中的纬度值，λ为经度值longitude的弧度表示，是纬度值latitude的弧度表示。R为球面墨卡托投影的参考正球体周长值。R的值为:20037508.3427892米。y值在空间坐标系下是高度信息，默认为1.5，以模拟真实场景相机的高度。

球面墨卡托投影的参考球体参数较为简单，计算公式简洁，在近似的投影效果下比其他投影的计算资源消耗更少。有利于在实时更新相机的位姿情形下，减少计算消耗，提升程序流畅性。

S23、相机的姿势信息由从设备传感器获取的IMU信息，IMU信息中的欧拉角可以用于确定相机的姿势。

S24、将以上两步获取到的相机的空间坐标值和姿势信息进行融合，可以得到相机的位姿信息。

S3、Web终端根据相机当前位置向远程服务器请求当前相机附近的管网属性数据，确定管网的位姿信息，根据管网基本属性信息进行3D建模；用户成功请求了AR服务页面后，AR服务页面会首先调用浏览器定位API获取GPS定位信息用于确定当前设备的位置、设备传感器获取IMU信息用于确定当前设备的姿势信息，获取了GPS定位信息和IMU姿势信息后，AR服务页面会调用AR支持文件中的位姿计算服务来进行位姿计算，通过球面墨卡托投影计算出相机当前的空间位置信息，通过IMU信息给出的欧拉角计算出相机当前的姿势信息，将计算得到的空间位置信息和姿势信息进行融合,可以得到相机的位姿信息，以支持后续的AR渲染操作，相机的实时位姿是通过定时监听获取GPS定位信息和IMU信息计算位姿信息，进而不断更新相机位姿信息，用户在实时查看中，设备的位姿信息通过这种方式实时计算出来。

用户设备在实时计算相机位姿信息的同时，AR服务页面同时会根据当前的GPS位置信息向服务器发出请求，请求获取当前相机附近的管网数据，获取到的管网数据会通过AR支持文件进行实时建模，建立管网的3D模型，并将管网的属性信息存储在浏览器缓存当中，以在AR交互步骤中提供管网的信息。

S4、Web终端通过Web RTC获取实时视频流，通过Web GL渲染3D模型，实现虚实融合，得到管网AR模型；具体为用户设备通过Web RTC获取相机的实时视频流信息,上一步骤中建立的3D模型通过Web GL进行渲染，3D模型渲染后与实时视频流信息进行融合，从而得到AR模型，用户可以实时查看附近环境中的地下管线AR模型；

S5、通过AR服务页面将需要检修的管网信息录入数据库，Web终端通过点击管网AR模型查看管网属性数据和历史检修记录，以供后续检修。

其中，AR支持文件包括：用于相机的位姿计算服务、管网模型的3D建模服务、实时视频流获取服务、模型渲染服务、虚实融合服务。

此外，该方法还包括：在根据定位API获取定位信息、设备传感器获取IMU信息之后，进行位姿估计的时候，需要首先将定位坐标由经纬度坐标转换为球面墨卡托坐标，也即空间坐标，用于确定相机的真实位置，通过传感器获取的IMU信息计算相机的姿势；

其中，Web终端根据相机当前位置向远程服务器请求当前相机附近的管网属性数据包括：根据当前坐标位置获取当前固定半径范围的管网设施属性信息，将之用于实时渲染，以减轻管网系统的渲染压力；

其中，通过Web GL渲染3D模型部分包括：以相机位姿为基准，计算出管网模型的相对位姿，并将之进行3D渲染、虚实融合；

其中，Web终端可以通过点击AR模型查看管网的基本信息、实时信息和历史检修记录包括:基本信息包括管网几何属性、材质、位置、名称等基本信息，实时信息包括当前设施的运行状态等信息，历史检修记录中记录了之前的检修信息以供检修参考，当前管网的实时状态信息可以通过提交表单，将信息提交到远程服务器中，以供后续维修工作。

根据本发明的实施例，提供一种基于Web AR技术的地下管线检巡系统。

如图2所示，根据本发明实施例的基于Web AR技术的地下管线检巡方法包括:

服务器模块201，用于存储AR服务文件、AR渲染文件、管网信息数据、管网维修信息等相关文件；

文件获取模块202，用于Web终端向远程服务器发送AR服务请求，远程服务器根据该AR服务请求，调取AR服务文件、AR渲染文件等发送给Web终端；

位姿计算模块203,用于根据定位API实时获取的GPS坐标信息和设备传感器IMU实时获取的姿势信息进行位姿融合估计和计算位姿信息；

AR建模模块204,根据定位信息获取附近的管网信息后，可以通过AR建模模块进行管网的实时3D建模，用于后续的模型渲染操作；

AR渲染模块205,将AR模型通过Web GL进行渲染，并将之与Web RTC获取的实时视频流进行虚实融合操作；

AR交互模块206,支持与渲染后的AR模型之间的交互，用于查看当前管网的基本信息、实时信息以及检修记录等。

上述技术方案的原理及效果：该基于WEB AR的地下管线检巡方法和系统由服务器和浏览器两部分来完成实施部署。使用本技术可以将管网模型放置在其真实的地面位置上，以供给信息实时查看和实时提交检修信息，通过HTML语言编写，JavaScript语言提供AR支持服务，Web端提供的AR服务，不需要下载任何应用程序，也不需要额外的设备限制，使用时，只要访问AR服务页面，即可获取到Web AR相关服务，非常方便；同时，用户在检巡过程中，可以通过点击AR模型来实时查看地下管线的基本信息和运行状态，如果查看当前管网后，发现其出现故障，可以通过AR服务页面实时提交检修请求，及时且高效。

上述实施例用来解释说明本发明，而不是对本发明进行限制，在本发明的精神和权利要求的保护范围内，对本发明作出的任何修改和改变，都落入本发明的保护范围。

Claims (8)

1.一种基于WEB AR技术的地下管线检巡方法，其特征在于，该方法包括：

S1、将管网数据录入到数据库，使用Web终端访问远程服务器中的AR服务页面，获取AR支持文件，用于支持Web AR服务；

S2、Web终端调用浏览器定位API获取定位信息、设备传感器获取IMU信息，计算当前相机的位姿信息，通过定时获取定位信息和IMU信息来不断更新相机位姿信息；

S3、Web终端根据相机当前位置向远程服务器请求当前相机附近的管网属性数据，确定管网的位姿信息，根据管网基本属性信息进行3D建模；

S4、Web终端通过Web RTC获取实时视频流，通过Web GL渲染3D模型，实现虚实融合，得到管网AR模型；

S5、通过AR服务页面将需要检修的管网信息录入数据库，Web终端通过点击管网AR模型查看管网属性数据和历史检修记录，以供后续检修。

2.根据权利要求1所述的一种基于WEB AR技术的地下管线检巡方法，其特征在于，管网数据由勘探数据和数据图纸获得，包括管网的基本信息和实时信息；所述基本信息包括：位置信息、管道半径、管道类型、管道材质、管道内径、管道名称和管道编号；

实时信息包括:运行状态正常或停止。

3.根据权利要求1所述的一种基于WEB AR技术的地下管线检巡方法，其特征在于，所述S1中AR支持文件包括：AR管网检巡服务页面、AR支持脚本和渲染支持JavaScript脚本；获取的AR管网检巡服务页面和AR渲染相关JavaScript脚本缓存在本地Web浏览器中。

4.根据权利要求1所述的一种基于WEB AR技术的地下管线检巡方法，其特征在于，所述S2中计算当前相机的位姿信息具体步骤包括：

S21、相机的位姿信息以球面墨卡托坐标作为空间坐标系；相机的定位信息由浏览器定位API获取的GPS坐标(latitude,longitude)转换为球面墨卡托坐标系下的空间坐标(x,y,z)；

球面墨卡托投影的投影公式如下:

x＝R×λ

其中longitude是GPS坐标中的经度值，latitude是GPS坐标中的纬度值，λ为经度值longitude的弧度表示，是纬度值latitude的弧度表示；R为球面墨卡托投影的参考正球体周长值；y值在空间坐标系下是高度信息，以模拟真实场景相机的高度；

S22、相机的姿势信息由从设备传感器获取的IMU信息，IMU信息中的欧拉角用于确定相机的姿势；

S23、将相机的空间坐标值和姿势信息进行融合，得到相机的位姿信息。

5.根据权利要求4所述的一种基于WEB AR技术的地下管线检巡方法，其特征在于，所述S3具体包括:

S31、服务器根据当前设备位置调用获取数据库中的管网数据和位姿信息；

S32、管网的各个节点的位置由原始GPS坐标转换为空间坐标；转换公式为球面墨卡托投影公式

S33、根据管网数据和位姿信息通过AR支持文件对管网进行建模。

6.根据权利要求3所述的一种基于WEB AR技术的地下管线检巡方法，其特征在于，

所述S4包括：Web RTC获取实时的视频流信息，将管网坐标由空间墨卡托坐标转换到图像坐标，通过渲染支持JavaScript脚本对管网AR模型进行三维注册。

7.根据权利要求1所述的一种基于WEB AR技术的地下管线检巡方法，其特征在于，所述S5包括:

S50、Web终端提供AR模型查看管网基本信息、实时信息和检修记录，并通过Web终端提交检修请求和检修类型信息用于管网检修服务，提交信息后生成一条检修记录信息，包括：检修时间、检修位置、检修类型三部分信息；

S51、Web终端通过点击交互实现通过AR模型查看管网基本信息、实时信息和检修记录信息；

S52、Web终端提供上传当前管网实时信息的方法，用户将当前需检修的管网信息上传到远程服务器上，以辅助管网维修。

8.一种用于实现权利要求1-7任一项所述方法的基于Web AR技术的地下管线检巡系统，其特征在于，该系统包括：

服务器模块：用于存储管网设施的基本属性信息、实时状态信息和检巡状态信息以及AR服务相关文件；

文件获取模块，用于Web终端向远程服务器请求AR服务页面和AR服务相关文件；

位姿计算模块，用于获取相机的位置信息数据和姿势信息数据，对相机位姿信息进行计算和追踪，同时获取的视频流数据用于背景的虚实融合；

3D建模模块，根据定位数据获取管网相关信息，根据管网的属性信息，建立管网的3D模型；

AR渲染模块，用于渲染管网模型，将AR模型与实时图像进行虚实融合。