CN107037881B

CN107037881B - Gis与bim增强现实在管廊、地铁施工的互动演示方法及系统

Info

Publication number: CN107037881B
Application number: CN201710184419.0A
Authority: CN
Inventors: 吕晓锋; 俞永灿; 向莉; 刘稚鹏; 朱世强
Original assignee: Guangxi Chance Technology Co ltd
Current assignee: Guangxi Chance Technology Co ltd
Priority date: 2017-03-24
Filing date: 2017-03-24
Publication date: 2020-06-26
Anticipated expiration: 2037-03-24
Also published as: CN107037881A

Abstract

本发明公开了一种GIS与BIM增强现实在城市管廊、地铁施工的互动演示方法及系统，方法包括：GIS将高程数字模型与BIM结合生成整体三维模型，在高程数字模型上建立地形三维模型，在BIM上建立管廊、地铁三维模型存储至数据库服务器中；摄像设备采集媒介上的特征范围，由AR客户端根据特征范围调取对应编号的地形三维模型和管廊、地铁三维模型生成整体三维模型，并将整体三维模型输出至显示设备中对应的特征范围上进行叠加显示；体感设备采集操作者对应的手势动作，由AR客户端根据手势动作调取对应编号的地形三维模型或管廊、地铁三维模型输出至显示设备中在对应的特征范围上进行叠加显示。本发明实现了AR自动识别和查询，极大的提高了工作效率及质量。

Description

GIS与BIM增强现实在管廊、地铁施工的互动演示方法及系统

技术领域

本发明涉及管廊设计、地铁施工应用领域，特别涉及一种GIS与BIM增强现实在城市管廊设计、地铁施工的互动演示方法及系统。

背景技术

现有的地下建筑施工包括城市管廊设计、地铁施工等项目，而城市管廊设计为将燃气、电力、电信、给水、雨水、污水乃至垃圾等各种不同的管道，共同敷设在一个地下空间中的市政管道的设置方案。地铁施工指在地下运行的城市轨道交通系统，按施工方法可分为明挖法、暗挖法和盖挖法施工；根据施工的顺序又可分为顺挖法和逆挖法。

而原有的城市管廊规划设计，采用二维图纸，可视性差，数据生硬，给众多管廊参与方造成了多专业不协同的沟通障碍，进而在二维施工图纸上反映出各专业各管线的冲突问题，给施工和后续运维带来极大不便。再者在地铁工程中，具有投资大、建设周期长、多专业穿插、施工环境复杂、施工工期紧、数据处理工作量大等特点，若采用二维图纸规划设计时，在各专业之间沟通交流不及时便会造成的图纸质量问题、施工冲突，且当施工稍有不慎，很容易造成工期延误、质量隐患、安全事故等问题，极大的降低了工作效率。

公开于该背景技术部分的信息仅仅旨在增加对本发明的总体背景的理解，而不应当被视为承认或以任何形式暗示该信息构成已为本领域一般技术人员所公知的现有技术。

发明内容

本发明的目的在于提供一种GIS与BIM增强现实在城市管廊设计、地铁施工的互动演示方法及系统，从而克服传统的地下建筑施工采用大量纸质媒介设计，可视性差，在各专业之间沟通交流不及时便会造成图纸质量、施工冲突等问题，给施工和后续运维带来极大不便的缺点。

为实现上述目的，一方面，本发明提供了一种GIS与BIM增强现实在城市管廊设计、地铁施工的互动演示方法，具体包括：

GIS将高程数字模型与BIM结合生成整体三维模型，其中，在高程数字模型中建立多个具有不同编号的地形三维模型，并在BIM上建立多个具有不同编号的管廊、地铁三维模型存储至数据库服务器中；

摄像设备采集媒介上的特征范围，由AR客户端根据所述特征范围调取对应编号的所述地形三维模型和管廊、地铁三维模型生成整体三维模型，并将所述整体三维模型输出至显示设备位于媒介中对应的所述特征范围上进行叠加显示；

体感设备采集操作者对应的手势动作，由AR客户端根据所述手势动作调取对应编号的所述地形三维模型或管廊、地铁三维模型输出至显示设备位于媒介中对应的所述特征范围内进行叠加显示。

上述技术方案中，所述特征范围为由多个特征点围成的图形。

上述技术方案中，还需建立与不同所述手势动作对应编号的地形三维模型或管廊、地铁三维模型存储至服务数据库中。

上述技术方案中，还需建立与所述特征范围或者不同所述手势动作对应编号的建筑信息数据存储至服务数据库中；当获取所述特征范围或者不同所述手势动作对应某个编号的建筑信息数据时，由AR客户端调取对应编号的建筑信息数据输出至显示设备中位于媒介中对应的所述特征范围内进行叠加显示。

上述技术方案中，所述建筑信息数据包括：地形数据、现有管线分布数据、用水量数据、用电量数据、排污量数据、建筑动画数据、地形沉降变形监测数据。

上述技术方案中，还需建立与所述特征范围或者不同所述手势动作对应编号的技术参数存储至服务数据库中；当获取所述特征范围或者多个所述手势动作对应某个编号的技术参数时，由AR客户端调取对应编号的技术参数输出至显示设备中位于媒介中对应的所述特征范围内进行叠加显示。

上述技术方案中，所述手势动作包括：举起、挥动、前推、移动。

上述技术方案中，所述媒介为图纸或者操作台。

上述技术方案中，体感设备采集对应的所述手势动作的步骤具体为：首先，采集操作者的手势动作图像；然后对所述手势动作图像去背景及二值化处理；之后获取所述手势动作图像的近似多边形，最后获取多边形的轮廓凸包。

为实现上述目的，另一方面，提供了一种GIS与BIM增强现实在城市管廊设计、地铁施工的互动演示系统，包括：

数据库服务器，用于存储在高程数字模型中建立多个具有不同编号的地形三维模型，并存储在BIM上建立多个具有不同编号的管廊、地铁三维模型；

摄像设备，用于采集媒介上的特征范围；

体感设备，用于采集操作者对应的手势动作；

AR客户端，用于根据所述特征范围调取对应编号的所述地形三维模型和管廊、地铁三维模型生成整体三维模型，并将所述整体三维模型输出至显示设备位于媒介中对应的所述特征范围上进行叠加显示；

并用于根据所述手势动作调取对应编号的所述地形三维模型或管廊、地铁三维模型输出至显示设备位于媒介中在对应的所述特征范围内进行叠加显示。

与现有技术相比，本发明具有如下有益效果：

本发明将GIS、BIM，AR及体感集于一体应用于城市管廊规划、地铁施工等地下建筑进行设计建设，摆脱了传统以图纸进行涉及设计或者键盘鼠标的方式操作GIS、BIM数据的方式，实现了AR技术将普通纸质图纸的自动识别和查询，显示以毫秒级时间单位响应速度，在城市管廊规划设计、地铁施工中演示GIS、BIM作为数据源，AR作为数据呈现的方式，将数据可视化推到极致，互动性更好，把抽象的数据实现可视化，用户可在不同角度，不同方位，不同的领域，均可详细地了解城市管廊设计、地铁施工问题；在城市管廊设计、地铁施工中提供清晰的视角，便于各专业协同设计、施工，避免各专业之间沟通交流不及时造成的图纸质量问题、施工冲突，提高设计工作质量，保证施工正常进行；用户可以通过体感手势与数据进行互动，让用户能够清楚掌握信息，及时发现并处理冲突，实现城市管廊设计、地铁施工中快速准确的决策，对建筑项目的后期管理，运营起到直观的作用。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：

图1是根据本发明的GIS与BIM增强现实在城市管廊设计、地铁施工的互动演示系统的建筑图。

图2是根据本发明的GIS与BIM增强现实在城市管廊设计、地铁施工的互动演示方法流程图。

图3是根据本发明的体感演示第一示意图。

图4是根据本发明的体感演示第二示意图。

图5-1是根据本发明的体感手势提取步骤的图像采集。

图5-2是根据本发明的体感手势提取步骤的图像去背景、二值化。

图5-3是根据本发明的体感手势提取步骤的获取近似多边形。

图5-4是根据本发明的体感手势提取步骤的获取轮廓凸包。

图5-5是根据本发明的体感手势提取步骤的获取凸包缺陷。

图6是根据本发明的地下建筑施工的互动演示的效果图。

具体实施方式

下面结合附图，对本发明的具体实施方式进行详细描述，但应当理解本发明的保护范围并不受具体实施方式的限制。

在对该实施例阐述前，首先对该实施例中的部分专业术语和系统架构进行介绍：

地理信息系统(英语：Geographic Information System，缩写：GIS)：是一种特定的十分重要的空间信息系统。它是在计算机硬、软件系统支持下，对整个或部分地球表层(包括大气层)空间中的有关地理分布数据进行采集、储存、管理、运算、分析、显示和描述的技术系统。

建筑信息模型(Building Information Modeling，BIM)：建筑信息模型可以用来展示整个建筑生命周期，包括了兴建过程及营运过程。提取建筑内材料的信息十分方便。建筑内各个部分、各个系统都可以呈现出来；建筑信息模型用数位化的建筑元件表示真实世界中用来建造建筑物的构件。

数字高程模型(Digital Elevation Model)，简称DEM。它是用一组有序数值阵列形式表示地面高程的一种实体地面模型，DTM是描述包括高程在内的各种地貌因子，如坡度、坡向、坡度变化率等因子在内的线性和非线性组合的空间分布，其中DEM是零阶单纯的单项数字地貌模型，其他如坡度、坡向及坡度变化率等地貌特性可在DEM的基础上建立。

增强现实技术(Augmented Reality，简称AR)：是一种将真实世界信息和虚拟世界信息“无缝”集成的新技术，是把原本在现实世界的一定时间空间范围内很难体验到的实体信息(视觉信息,声音,味道,触觉等),通过电脑等科学技术，模拟仿真后再叠加，将虚拟的信息应用到真实世界，被人类感官所感知，从而达到超越现实的感官体验。真实的环境和虚拟的物体实时地叠加到了同一个画面或空间同时存在。

体感技术：人们可以很直接地使用肢体动作，与周边的装置或环境互动，而无需使用任何复杂的控制设备。

该实施例将以上技术采用线性上下层结构实现，GIS、BIM作为底层数据源，为AR显示提供需要的三维模型，体感设备识别操作者肢体指令，调出指定三维模型。

该实施例采用C/S构架：

C/S架构是一种典型的两层架构，其全程是Client/Server，即客户端服务器端架构，其客户端包含一个或多个在用户的电脑上运行的程序，而服务器端有两种，一种是数据库服务器端，客户端通过数据库连接访问服务器端的数据；另一种是Socket服务器端，服务器端的程序通过Socket与客户端的程序通信。

C/S架构也可以看做是胖客户端架构。因为客户端需要实现绝大多数的业务逻辑和界面展示。这种架构中，作为客户端的部分需要承受很大的压力，因为显示逻辑和事务处理都包含在其中，通过与数据库的交互(通常是SQL或存储过程的实现)来达到持久化数据，以此满足实际项目的需要。

如图1所示，为根据本发明具体实施方式的GIS与BIM增强现实在城市管廊设计、地铁施工的互动演示系统。

在C/S架构中：

1.S服务器端：GIS、BIM模型作为数据源，映射入服务器端中的数据库，提供查询，检索；

2.C客户端：由图形识别，跟踪，呈现叠加三维模型部分组成。

客户端软件组成部分：

1.AR客户端功能：unity3d中调用Opencv插件实现识别与三维模型叠加，由untiy3d集成的openGL 2.0ES模块实现三维模型呈现；

2.摄像设备采集功能：采集纸质媒介的相关特征范围回传给AR客户端；

3.体感设备(Kinect SDK)采集功能：由Kinect SDK C++API实现被检测人体态，手势识别；

4.SQL数据库接口功能：实现与服务器端数据库查找对应三维模型，并回传给AR客户端动态叠加显示。

如图2所示，为根据本发明具体实施方式的GIS与BIM增强现实在城市管廊设计、地铁施工的互动演示方法，具体包括：

步骤S100：GIS将高程数字模型与BIM结合生成整体三维模型，其中，在高程数字模型中建立多个具有不同编号的地形三维模型，并在BIM上建立多个具有不同编号的管廊、地铁三维模型，将地形三维模型和管廊、地铁三维模型存储至数据库服务器中，等待SQL查询；地形三维模型为地表、风吹、日照、河流等模型，管廊、地铁三维模型为构建建筑的模块构件、管廊、道路、地下建筑建设过程等模型。

另外，首先在媒介上建立可识别的特征范围，特征范围优选为由多个特征点围成的图形，其中，媒介优选为图纸或者操作台；同时，还需建立与不同手势动作对应编号的地形三维模型或管廊、地铁三维模型存储至数据库中待对比调用，其中，手势动作包括：举起、挥动、前推及移动等，如举起为建筑物的建设过程三维模型、挥动为风吹三维模型，左托为日照三维模型等，具体见图3、图4，当然，在该实施例中，手势动作可由设计者进行设计，不限于此；进一步的，在管廊、地铁三维模型中加入构件的数据，因此，还需建立与特征范围或者不同手势动作对应编号的建筑信息数据存储至服务数据库中，建筑信息数据包括：地形数据、现有管线分布数据、用水量数据、用电量数据、排污量数据、建筑动画数据、地形沉降变形监测数据等；更进一步的，为了使观看者更加清楚的观看所演示的整体三维模型的技术参数，还需建立与特征范围或者不同手势动作对应编号的技术参数，存储至服务数据库中。

其中，在C/S架构中服务器端实现步骤为：

步骤1：API接入GIS系统；

步骤2：GIS将系统数字高程模型DEM(Digital Elevation Model)与建筑BIM模型对应生成新的数字模型；

步骤3：BIM将数据转入对象-关系型数据库，数据库选用MySQL 64位5版本；

步骤4：等待SQL查询。

步骤S101：摄像设备采集媒介上的特征范围，由AR客户端根据特征范围调取数据库服务器中对应编号的地形三维模型和管廊、地铁三维模型生成整体三维模型，并将所述整体三维模型输出至显示设备位于媒介中对应的特征范围上进行叠加显示；

其中，AR客户端在调用高清摄像设备实时动态捕捉被检测对象(纸张/物品)特征范围上的特征点做SIFT算法(尺度不变特征变换匹配算法ScaleInvariant FeatureTransform：SIFT)优化，提升捕捉效率，不至于操作者操作过程(画面的旋转，小幅抖动，小幅倾斜角度，尺寸大小的变化)出现丢失捕捉对象的现象，对特征范围识别完成后，AR客户端获取对应编号的地形三维模型和管廊、地铁三维模型，在数据库服务器中进行调取，输出至显示设备位于媒介中的特征范围上进行叠加显示，进一步的，当地形三维模型和管廊、地铁三维模型进行显示后，为使观看者更加清晰的了解其内的数据，因此，当获取特征范围对应某个编号的建筑信息数据时，由AR客户端调取对应编号的建筑信息数据输出至显示设备中位于媒介中对应的特征范围内进行叠加显示，此时，地形数据、现有管线分布数据、用水量数据、用电量数据、排污量数据、建筑动画数据、地形沉降变形监测数据等即可在观看者面前呈现。更进一步的，为了使观看者更加清楚所展示整体三维模型的属性，因此，在该实施例中，AR客户端同时还在数据库服务器中调取特征范围对应的技术参数，输出至显示设备位于媒介中将技术参数在对应的特征范围内进行叠加显示，如管廊方面，即可显示BIM三维模型等的资产信息、维护信息、构件库信息，并可将城市综合管廊的安保消防、环境能源、管网以及资产维护和管理等信息进行一一呈现。。

其中，在C/S架构中AR客户端实现步骤为：

步骤1：摄像设备通过通信设备同步连接主机AR客户端，摄像设备采集被检测图纸的特征点；

步骤2：将采集数据同步传输AR客户端主机；

步骤3：主机中AR客户端对采集到的数据进行识别，数据经过算法对比得到与被检查图纸对应的三维模型编号同步传输客户端主机；

步骤4：经过算法对比得到与被检查图纸对应的三维模型编号、建筑信息数据和技术参数；

步骤5：三维模型编号、建筑信息数据和技术参数通过SQL查询服务器中数据库；

步骤6：GIS，BIM数据库中遍历找到对应编号的三维模型编号、建筑信息数据和技术参数；

步骤7：三维模型编号、建筑信息数据和技术参数回传到客户端主机，同时将三维模型编号、建筑信息数据和技术参数回调AR程序进行叠加显示，具体效果见图6，可动态动画表达，高效演示，接受度高，易于理解。

步骤S102：体感设备采集操作者对应的手势动作，由AR客户端根据手势动作调取数据库服务器中对应编号的地形三维模型或管廊、地铁三维模型输出至显示设备位于媒介中在对应的特征范围内进行叠加显示。

同时，手势动作调取出三维模型后，当获取手势动作对应某个编号的建筑信息数据时，由AR客户端调取对应编号的建筑信息数据输出至显示设备中位于媒介中对应的特征范围内进行叠加显示。进一步的，为了使观看者更加清楚通过手势动作所调取展示三维模型的属性，因此在该实施例中，AR客户端同时还在数据库服务器中调取手势动作对应的技术参数，输出至显示设备位于媒介中将技术参数在对应的特征范围内进行叠加显示。

AR客户端调用体感设备(微软Kinect Motion Capture)对人体关键骨骼追踪(IK)特别是人体手部动作进行捕捉识别，体感部分需对有效识别距离内的手势进行凸包和缺陷算法(convexHulll)识别率在90％以上，并需对各种指令手势做特征机器学习训练库，得到凸包特征库后映射入数据库服务器中待用。

其中，如图5-1到图5-5所示，体感部分需对有效识别距离内的手势进行凸包识别步骤包括：首先，采集动作图像；然后对动作图像去背景及二值化处理(包括膨胀像素点，避免手指短截；选取最大轮廓，将最大轮廓重新画出来，过滤背景噪声)；之后获取动作图像的近似多边形，之后获取多边形的轮廓凸包(使用OpenCV轮廓凸包检测)，最后获取凸包缺陷(白点下方的黑点即是凸包缺陷)。

进一步的，体感设备(Kinect SDK)采集程序实现步骤为:

步骤1：主机程序开启Kinect SDK程序；

步骤2：Kinect设备对准操作者距离1.5外开外6米以内，开启设备；

步骤3：Kinect SDK BodyFrameReader对整体操作者身体姿态进行判断；

步骤4：使用OpenNI对RaiseHand，Wave，Click和MovingHand，手势的“举起”，“挥动”，“前推”和“移动”四种动作进行判断；

步骤5：把判断后的手势指令转为调用操作三维模型、建筑信息数据和技术参数的执行编号，通过SQL传到服务器端数据库中等待回调数据。

步骤6：GIS，BIM数据库中遍历找到该三维模型和技术参数；

步骤7：三维模型和技术参数回传到客户端主机，三维模型、建筑信息数据和技术参数回调AR程序进行叠加显示，具体如图3、图4所示。

综上所述，本发明将GIS、BIM，AR及体感集于一体应用于城市管廊规划、地铁施工等地下建筑进行设计建设，通过设计参数模型化、三维模型可视化，便于各专业协同设计，避免各专业之间沟通交流不及时造成的图纸质量问题，提高设计工作质量。将不同的城市管廊规划设计方案三维管廊建筑效果、地铁施工方案三维施工工艺效果叠加到真实场景中，提高规划建筑和施工方案的直观感受和方案的对比效果，可以将静态的文字、图片立体化，增加互动性，实现城市管廊设计快速准确的决策，通过建立综合管网的三维实体模型，并对管网性能进行模拟分析，找到经济合理并满足城市未来发展需求的最佳建设方案；将地铁较大危险施工监控情况将静态的文字、图片立体化，增加互动性，实现地铁施工监控的快速准确决策，通过建立地铁及周边的三维实体模型，对周边沉降、沿线监测及测量数据进行模拟分析，给予直观的监控警示。模拟应急预案的演练，视化展示救援工作安排，反应信息直观，不仅对预案的落实起着重要作用，也能有效减少事故发生及带来的损失。

另外，提高行政管理机构的工作效率，提高设计院的出图质量，缩短设计耗时，提高城市管廊建设技术参数指标的效益最大化，如提前三维展示城市地下埋藏了错综复杂的管线，如电力、通信、燃气、自来水管道等，在施工前需要进行保护或迁改。施工范围内的绿色植物，需要进行迁移，在施工完成后进行恢复。

本发明能有多种不同形式的具体实施方式，上面以图1-图6为例结合附图对本发明的技术方案作举例说明，这并不意味着本发明所应用的具体实例只能局限在特定的流程或实施例结构中，本领域的普通技术人员应当了解，上文所提供的具体实施方案只是多种优选用法中的一些示例，任何体现本发明权利要求的实施方式均应在本发明技术方案所要求保护的范围之内。

本领域普通技术人员可以理解：实现上述装置实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一种GIS与BIM增强现实在管廊设计、地铁施工的互动演示方法，其特征在于，具体包括：

2.根据权利要求1所述的GIS与BIM增强现实在管廊设计、地铁施工的互动演示方法，其特征在于，所述特征范围为由多个特征点围成的图形。

3.根据权利要求1所述的GIS与BIM增强现实在管廊设计、地铁施工的互动演示方法，其特征在于，还需建立与不同所述手势动作对应编号的地形三维模型或管廊、地铁三维模型，存储至数据库服务器中。

4.根据权利要求1所述的GIS与BIM增强现实在管廊设计、地铁施工的互动演示方法，其特征在于，还需建立与所述特征范围或者不同所述手势动作对应编号的建筑信息数据存储至数据库服务器中；当获取所述特征范围或者不同所述手势动作对应某个编号的建筑信息数据时，由AR客户端调取对应编号的建筑信息数据输出至显示设备中位于媒介中对应的所述特征范围内进行叠加显示。

5.根据权利要求4所述的GIS与BIM增强现实在管廊设计、地铁施工的互动演示方法，其特征在于，所述建筑信息数据包括：地形数据、现有管线分布数据、用水量数据、用电量数据、排污量数据、建筑动画数据、地形沉降变形监测数据。

6.根据权利要求1所述的GIS与BIM增强现实在管廊设计、地铁施工的互动演示方法，其特征在于，还需建立与所述特征范围或者不同所述手势动作对应编号的技术参数存储至服务数据库中；当获取所述特征范围或者多个所述手势动作对应某个编号的技术参数时，由AR客户端调取对应编号的技术参数输出至显示设备中位于媒介中对应的所述特征范围内进行叠加显示。

7.根据权利要求1所述的GIS与BIM增强现实在管廊设计、地铁施工的互动演示方法，其特征在于，所述手势动作包括：举起、挥动、前推、移动。

8.根据权利要求1所述的GIS与BIM增强现实在管廊设计、地铁施工的互动演示方法，所述媒介为图纸或者操作台。

9.根据权利要求1所述的GIS与BIM增强现实在管廊设计、地铁施工的互动演示方法，其特征在于，体感设备采集对应的所述手势动作的步骤具体为：首先，采集操作者的手势动作图像；然后对所述手势动作图像去背景及二值化处理；之后获取所述手势动作图像的近似多边形，最后获取多边形的轮廓凸包。

10.一种GIS与BIM增强现实在管廊设计、地铁施工的互动演示系统，其特征在于，包括：

摄像设备，用于采集媒介上的特征范围；

体感设备，用于采集操作者对应的手势动作；

并用于根据所述手势动作调取对应编号的所述地形三维模型或管廊、地铁三维模型输出至显示设备位于媒介中对应的所述特征范围内进行叠加显示。