CN113570275A - 基于bim和数字高程模型的水资源实时监测系统 - Google Patents

Abstract

基于BIM和数字高程模型的水资源实时监测系统，包括数据库和应用模块，基于BIM和数字高程模型的水资源实时监测平台研究充分利用物联网、大数据、云计算等技术，对水资源进行信息化管理，研制基于大数据、物联网、BIM和三维地理信息，通过对BIM模型及属性转换到GIS技术的应用研究，解决了BIM模型的属性转换到GIS时会丢失的难题，从而为构建真实的三维立体系统，用计算机实现对真实环境或者物体的仿真和模拟，并在系统中模拟和演练变化的过程，提供了更好的支持。

Description

基于BIM和数字高程模型的水资源实时监测系统

技术领域

本发明涉及计算机领域，具体涉及基于BIM和数字高程模型的水资源实时监测系统。

背景技术

水资源管理过程中，水资源调度与监控的影响力不容小觑，在社会日新月异的发展形势下，要求水资源调度监控必须达到更高的标准。伴随水资源调度监控项目的持续增多，涉及内容随之增加，对于水资源监控技术以及调度监控手段的需求随之增长。水资源管理的关键就在于水资源配置的优化以及实时动态的监管，而水资源及其相关信息的取得则是上述工作顺利开展的根本。在移动技术与网络通信技术迅速发展的过程中，尤其是数字化技术与信息化技术的发展，为水源的实时监管提供了可实现的契机。

目前，水利设施是水资源管理中的核心基础设施，但当信息孤岛严重，缺乏统一管理手段，相关水利部门在供水工程建设后，无法控制工程后续使用、问题反馈情况，无法为新工程的规划、设计提供经验参考，各供水系统独立建设、管理“自成体系”、信息孤岛严重，无法从全局宏观角度进行供水、用水统一监管。

BIM(Building Information Modeling)技术是一种应用于工程设计、建造、管理的数据化工具，通过对建筑的数据化、信息化模型整合，在项目策划、运行和维护的全生命周期过程中进行共享和传递，使工程技术人员对各种建筑信息作出正确理解和高效应对，为设计团队以及包括建筑、运营单位在内的各方建设主体提供协同工作的基础，在提高生产效率、节约成本和缩短工期方面发挥重要作用。

地理信息系统(Geographic Information System或Geo－Information system，GIS)有时又称为“地学信息系统”。它是一种特定的十分重要的空间信息系统。它是在计算机硬、软件系统支持下，对整个或部分地球表层(包括大气层)空间中的有关地理分布数据进行采集、储存、管理、运算、分析、显示和描述的技术系统。三维GIS是布满整个三维空间的GIS，尤其体现在空间位置和拓扑关系的描述及空间分析的扩展上。在二维平面上增加属性数据如高程、温度等进行DTM三维表示，但实际中，依旧是是用2维的图像模仿3维中的变化，也就是说虽看上去类似3维中的图像变化，但实际上还是2维的，也即常说的2.5维，而在三维GIS中，空间目标通过X、Y、Z三个坐标轴来定义，三维GIS作为实现数字地球理念的关键技术理论，其不仅具备二维GIS技术所具有的基本的空间数据处理功能，分析和数据表达等，而且还具有对地理空间数据三维可视化显示、多维度的空间分析等优势，这使得三维GIS技术成为构建数字地球、数字国家、数字区域以及数字城市的关键技术，成为重要的辅助决策工具。

BIM与GIS集成应用，是通过数据集成、系统集成或应用集成来实现的，BIM与GIS集成应用可提高长线工程和大规模区域性工程的管理能力，利用GIS宏观尺度上的功能，可将BIM的应用范围扩展发挥各自优势，拓展应用领域。这两个系统整合以后的应用领域很广，与各自单独应用相比，在建模质量、分析精度、决策效率、成本控制水平等方面都有明显提高。

但GIS和BIM融合不是简单的捏合，以往的很多研究还是把二者孤立开来，看似整合其实还是一张皮，和传统三维模型导入三维GIS平台没有本质区别。二者真正的融合应该是要考虑到不同的空间尺度、不同的数据格式中几何信息和语义信息的转换、属性信息的保留等问题；如何能把BIM模型丰富的建筑信息应用于三维GIS的组织管理和可视化很多研究依然没有解决，这正是本文需要着力解决的问题。

发明内容

根据背景技术提出的问题，本发明提供基于BIM和数字高程模型的水资源实时监测系统来解决，接下来对本发明做进一步地阐述。

本次课题旨在通过大数据、物联网、BIM等技术的融合，搭建水利资源信息化管理平台，形成水利资源、水利工程的可视化、信息化的高效管理，提高水利工程管理水平，提高水利资源利用、监管、保护能力，贯彻“节水优先、空间均衡、系统治理、两手发力”水利工作思路。

基于BIM和数字高程模型的水资源实时监测系统，包括：

数据库，包括存储与水资源的相关实时数据、基础数据和动态数据的业务数据子库、用于存储与地形相关的底图数据的底图数据子库、用于存储融合的倾斜模型和BIM模型的三维模型数据子库；

应用模块，包括有信息查询展示子模块、IOT数据实时监控子模块、模型展示子模块，其中，信息查询展示子模块用于根据需求命令调取数据库内所存储的数据信息并展示；IOT数据实时监控子模块对所获取的数据进行逻辑判断，用于监控实时数据；模型展示子模块将业务数据子库、底图数据子库、三维模型数据关联的数据融合，用于展示三维模型；

在三维模型数据子库的实现中，获取工程基础数据的同时获取IOT数据，将与水资源相关的数据存入业务数据子库；采取web地图并结合无人机航飞的作业方式，获取工程摄影测量数据并进行DEM数据处理，与web地图叠加融合实现三维地形场景的构建并存储于底图数据子库；无人机航飞的作业方式所获取的部分重大工程摄影测量数据在ContextCapture中生成三维倾斜模型，在三维场景中进行工程现状的真实还原，三维倾斜模型与BIM模型融合，以实现工程细节信息的三维展示。所有工程数据都与工程唯一ID进行关联融合。

作为优选地，三维倾斜模型与BIM模型融合，选取Cesium做格式转换工具，Cesium将osgb、dae格式的倾斜模型和skp格式的BIM模型生成多层次金字塔式的3DTiles格式。

作为优选地，把大数据技术与GIS技术进行深度融合，把GIS的核心能力嵌入到大数据基础框架之内，形成大数据GIS技术，包括分布式技术、流数据实时处理技术和空间大数据可视化技术；分布式技术，包括：空间数据的分布式存储，在原有分布式存储系统之中，嵌入分布式空间索引、空间数据的分片处理和管理等技术，通过空间数据的横向扩展实现数据的存储与管理；分布式空间计算，以Spark分布式计算框架为基础，把原有地理空间分析算法进行分布式改造，快速实现对象间的空间分析计算；分布式地图渲染，通过矢量金字塔、分布式渲染、自动缓存和前端渐进加载实现超大规模空间数据的“免切片”渲染效果；流数据实时处理技术，基于Spark Streaming流计算框架的基础能力，扩展实现流式数据的实时接入、过滤、转换、计算、可视化与输出相关的能力；空间大数据可视化技术，对数据进行分析计算之后表达其空间分布情况、聚合程度及连接关系。GIS大数据技术，将大数据技术与GIS技术进行深度融合，把GIS的核心能力嵌入到大数据基础框架之内，至少解决了两个方面的问题：其一是拓展数据边界形成新数据，大数据GIS扩展了GIS所管理空间数据的边界；拓展技术边界形成新技术，大数据GIS也扩展了传统GIS的技术边界，通过与大数据IT技术的融合，极大地提升了GIS对超大规模空间数据的存储容量、计算性能和渲染能力。

作为优选地，数据库的构建前，对数据进行清洗：

对重复值的清洗，将采集到数据导入数据库的同时，通过主键和联合主键的唯一性限制，完成对重复值的清洗；对错误值的清洗，首先检测出带有错误数据的元组，再对该元组进行处理，使用己有的关于数据性质的知识发现错误值，若有某个元组数据在两个属性下的值发生调换以及缺失错误，采取删除元组的方式处理；若元组数据中其他属性的缺失或错误，也采取删除元组处理；对异常值的清洗，采取基于距离的异常值检测、基于密度的异常值检测以及基于聚类的异常值检测的方式检测并清洗；对缺失值的清洗，缺失数据分为完全随机缺失、随机缺失、非随机缺失三种模型，采取推理法、多重插补法对缺失值的数据进行修正。

可选地，基于密度的异常值检测是假设正常数据点的数据密度高于异常点的数据密度，或，基于密度的异常值检，采取K均值聚类分析，方法如下：1)随机选择k个中心点；2)把每个数据点分配到离它最近的中心点；3)重新计算每类中的点到该类中心点距离的平均值；4)分配每个数据到它最近的中心点；5)重复步骤3和4直到所有的观测值不再被分配或是达到最大的迭代次数，K均值的函数格式是{kmeans(x,centers)}，x表示数值数据集，centers是要提取的聚类数目，函数返回类的成员、类中心、平方和和类大小。

作为优选地，对缺失值的清洗步骤：1)识别缺失数据；依据缺失数据的来由和影响判断，主要考虑计算缺失数据的比例、缺失数据是否普遍存在、缺失数据是否随机产生、缺失数据的机制等；2)探索缺失值模式；判断为完全随机缺失、随机缺失、非随机缺失三种模型中的何种；3)处理缺失数据，常用的处理缺失数据方法有三种：推理法、删除法和多重插补法。

作为优选地，为保证模型展示效果，基于Web端的BIM和GIS的融合中运用了模型轻量化关键技术LOD(Level of Detail)，实现模型的轻量化和信息的保留，具体如下：

三维模型及平台准备，先加载地形图(往往是CAD格式)，提取高程点、等高线数据，而后生成地形模型，最后构建三维模型；

导出c1m文件，先启动Microstation CE软件，而后加载Cesiumlab，并导出插件，最后导出c1m文件；

生成3Dtile切片文件，先启动第三方平台Cesiumlab，添加c1m文件并设置相应参数，生成3Dtile切片文件。

有益效果：与现有技术相比，本发明基于BIM和数字高程模型的水资源实时监测平台研究充分利用物联网、大数据、云计算等技术，对水资源进行信息化管理，研制基于大数据、物联网、BIM和三维地理信息，将水资源基础信息、调度运行管理、安全监测、应急管理各项工作进行数字化、信息化管理。系统提供综合地图、基础信息、监测监控、应急管理、水环境等数据监测、采集与预警预报，实现水资源动态展示、实景呈现、决策管理等多功能于一体。通过对BIM模型及属性转换到GIS技术的应用研究，解决了BIM模型的属性转换到GIS时会丢失的难题，从而为构建真实的三维立体系统，用计算机实现对真实环境或者物体的仿真和模拟，并在系统中模拟和演练变化的过程，提供了更好的支持。

附图说明

图1为本发明的系统结构图；

图2为数据库的搭建原理图；

图3为BIM模型添加至系统与倾斜模型融合的流程图。

具体实施方式

接下来结合附图对本发明的一个具体实施例来做详细地阐述。

基于BIM和数字高程模型的水资源实时监测系统，通过对水利工程模型(BIM、倾斜)的梳理及生产形成数据库，基于对数据库数据的融合后调用至应用模块，为决策者提供决策支持。

参考附图1，所述数据库包括业务数据子库、底图数据子库、三维模型数据子库共三个数据子库，其中，业务数据子库存储与水资源相关的数据，大致可分为以下3类：实时数据，主要包括水雨情、水质水量监测、视频监控等传感器数据，变化频次为小时、分钟，甚至秒，目前一般建有省级统一接收平台；基础数据，主要包括水利工程属性、水资源管理等数据，变化频次为季度、年，甚至更长，目前主要通过普查汇聚等方式获取；动态数据，主要包括系统的运行、统计等数据，动态变化频率介于前2类数据之间，主要通过系统集成方式获取。底图数据子库，用于存储与地形相关的底图数据，实际中往往如果GIS技术获取底图数据。三维模型数据子库，用于存储融合的倾斜模型和BIM模型，可供直接调取使用。

所述应用模块包括信息查询展示子模块、IOT数据实时监控子模块、模型展示子模块、统计分析子模块、运维管理子模块，其中，信息查询展示子模块用于根据需求命令调取数据库内所存储的数据信息并展示；IOT数据实时监控子模块内预设数据安全阈值，通过物联网对所获取的数据进行逻辑判断，用于监控实时数据；模型展示子模块将业务数据子库、底图数据子库、三维模型数据关联的数据融合，用于在线展示三维模型；统计分析子模块提供检索命令检索方式，用户依据需求调取目的数据，用于对数据的处理得到统计分析结果；运维管理子模块用于系统的维护管理。

与水数据相关的数据均具有量大而广、多源异构、共享不易等特点，对于数据库的建立，直接关乎系统运行的质量，本发明通过大数据、物联及BIM技术，结合水利工程、水利资源的现状以完成数据库的建设，为水利资源信息化管理提供支持。

参考附图2，数据库实现的基础，本实施例在数据准备过程中，首先，收集整理工程基础数据同时获取IOT数据，将水资源相关的数据存入业务数据子库，为了更好地分析各流域现状及相关水利工程分布，采取web地图，并结合无人机航飞的作业方式，获取部分重大工程摄影测量数据并进行DEM数据处理，与web地图叠加融合实现三维地形场景的构建，并存储于底图数据子库；同时，无人机航飞的作业方式所获取的部分重大工程摄影测量数据在Context Capture中生成三维倾斜模型，并在三维场景中进行工程现状的真实还原，为了更好地实现信息化，系统同时兼容Bentley制作的BIM模型，以实现工程细节信息的三维展示。其次，在数据制作完成后，为了提高系统访问效率和用户体验，所有工程数据都与工程唯一ID进行关联融合，并以服务的形式进行发布，用户登录系统网页即可使用系统相关功能，实现水利工程的信息化管理。

目前，在水利行业的BIM模型生产中，Bentley软件应用最为广泛，且效果较好，因此本实施例也采用Bentley软件进行水利枢纽工程BIM模型的生产，实施例中所涉及的BIM模型生产，均是指已完成工程设计后利用CAD图纸采用Bentley软件进行峡江水利枢纽工程BIM模型的生产。但是由于数据格式兼容性问题，Context Capture中生成的倾斜模型和Bentley制作的dng格式BIM模型，并不能直接使用，需做进一步处理。本实施例中选取Cesium做格式转换工具，Cesium提供多种转换工具，可将osgb、dae格式的倾斜模型和skp格式的BIM模型生成多层次金字塔式的真正的3DTiles格式，转换后的3DTiles，可在系统中进行快速加载，并通过LOD技术，自动计算并选取合适层级及分辨率的瓦片数据，进行展示渲染，在屏幕端形成可视化水利工程三维模型数据。

数据库中的数据通过采集前端采集获取，在水利行业中，所涉及是天量的水利大数据，水利大数据是大数据技术在水利行业的应用，紧紧围绕“水利”为中心，通过海量的数据进行科学分析，为水利管理者提供重要的参考信息。水利部门在建设运营管理中累积了海量的数据，其中大部分是没有实用价值的，随着自动化信息采集、射频技术、遥感技术以及其他技术的普及应用，水利数据在原有的基础上进一步膨胀，主要包括气象、水文、洪水、径流水环境、地区年均降雨量、地形地质、泵站水闸运行、地下排水管道分布、地下排水管道运营管养等数据以及其他水利相关数据。

由于在有限的时间内很难通过常规的分析方法对数据进行获取、分析、储存、处理，因此，就需要应用大数据相关的处理方法对其进行分析和处理，在横向上实现水利部门内部共享数据，在纵向上实现水利主管部门间的数据交互，以此来实现水利管理决策科学合理的目的。而传统的水利数据分析方法和水利大数据的研究方法之间有着很大的不同：传统的水利数据分析方法通常是基于抽样数据，而水利大数据的研究方法则是基于大量的数据也就是数据总体来开展分析；传统的水利数据分析方法通常是基于某个部门或是某个专业内部的数据开展分析，而水利大数据的研究方法是跨部门与跨专业开展数据分析，并且还是多维度以及多角度的。

因此，本实施例应用大数据技术进行对海量的水利数据信息进行筛选处理，通过相关性进行对比分析，发现其隐含的规律本质，从而为水利技术工作者提供有价值的参考研究信息。目前，三维GIS及BIM、大数据、物联网融合技术已在多个领域广泛应用及推广，但在水利行业的应用却不成熟，因为与常规建筑领域不同，水利工程有着其特殊性，尤其是由于水的影响，导致水利工程及水资源管理更为复杂且重要，特别体现在空间大数据上。

在水利行业常说，传统的水利大数据中至少80％的数据和空间位置有关，而在大数据领域，由于数据主要来自互联网、移动互联网、物联网等自动采集的数据，其带有空间位置的比例更高，例如：手机信令数据由通讯基站与手机之间的信令链接所产生，通过手机与基站的相对关系就能计算出手机的位置；社交媒体数据中，用户分享的文字、图片、视频等，通常标注有从用户终端获取的位置信息；公交刷卡数据能够从车辆定位系统中获取位置信息；即便是电商交易数据，也能从IP地址获得其大致的位置信息。总的来说，空间大数据就是大数据中带有(或者隐含)空间位置的数据，由于获取方式的特殊性，空间大数据与经典的海量空间数据有所差别，空间大数据带有大数据的价值密度低的特征，在大数据技术发展前，使用常规手段无法处理，更无法有效分析和挖掘这些数据的价值。随着大数据技术的发展，开采空间大数据的价值成为可能，对于空间大数据的挖掘，让我们能从一个新的视角，即空间位置关系和时空变迁的角度，去发掘大数据中的规律和趋势，从而打开大数据应用的另一扇窗。

为了提高系统实用性，本实施例结合水利业务实际及数据现状，更有针对性、系统性地分析水利业务，梳理相关数据，系统将各类传感器数据(水雨情、水质、水文、视频监控)通过物联网技术进行衔接融合，并通过GIS技术，结合流域现状及历史水文数据，形成GIS大数据技术并以此进行分析，为水利资源管理、防汛抗旱等提供有效数据支撑，使系统能真正服务水资源管理及相关水利业务。

大数据领域已经出现了许多实用的IT技术，例如分布式文件系统、分布式数据库、分布式计算框架、流处理框架等。这些技术使我们能够使用普通机器对大数据进行处理和挖掘，但多聚焦于通用的非空间数据领域，对空间数据的专业分析能力不足。而传统GIS由于受其IT技术框架的限制，并不能很好地应对大数据对分布式存储与计算、流数据处理等的技术要求。本实施例所采用的GIS大数据技术，是把大数据技术与GIS技术进行深度融合，把GIS的核心能力嵌入到大数据基础框架之内，并打造出完整的大数据GIS技术体系。

GIS大数据技术的核心技术如附图所示：包括分布式技术、流数据实时处理技术和空间大数据可视化技术。

分布式技术，包括：空间数据的分布式存储，在原有分布式存储系统之中，嵌入分布式空间索引、空间数据的分片处理和管理等技术，通过空间数据的横向扩展(Scale-Out)，实现单表过亿、乃至数十亿空间数据的存储与管理，常用的分布式存储系统有HDFS、HBase、Elasticsearch等；分布式空间计算，以Spark分布式计算框架为基础，把原有地理空间分析算法进行分布式改造，实现在数小时完成原有GIS无法完成的上亿条空间面对象之间的空间分析计算；分布式地图渲染，通过矢量金字塔、分布式渲染、自动缓存和前端渐进加载等技术，实现超大规模空间数据的“免切片”渲染效果。

流数据实时处理技术，基于Spark Streaming流计算框架的基础能力，扩展实现流式数据的实时接入、过滤、转换、计算、可视化与输出等相关能力。

空间大数据可视化技术，不同于传统GIS中直接把所有地物绘制到地图上，大数据动辄就是千万、上亿条数据，直接展示如此大量的数据既无必要，也没有可能，本实施例强调的是在对数据进行分析计算之后，来表达其空间分布情况、聚合程度及连接关系等。

本实施例所述的GIS大数据技术，将大数据技术与GIS技术进行深度融合，把GIS的核心能力嵌入到大数据基础框架之内，至少解决了两个方面的问题：其一是拓展数据边界形成新数据，大数据GIS扩展了GIS所管理空间数据的边界，除了经典的，如矢量、栅格等基础空间数据，大数据GIS还能管理实时发生的流数据，以及存档下来的空间大数据，这也为空间大数据的挖掘和应用提供了有效的工具；拓展技术边界形成新技术，大数据GIS也扩展了传统GIS的技术边界，通过与大数据IT技术的融合，极大地提升了GIS对超大规模空间数据的存储容量、计算性能和渲染能力。

通过大数据GIS技术为各个行业的相关业务提供多元思维、多元决策，为行业迎合新技术的冲击，为行业发展提供坚实的技术基础。

数据的质量除了通过大数据GIS技术保证外，还需要对保证大数据GIS技术处理的数据本身的质量进行清洗。由于数据采集、传输、存储过程中的多样性、复杂性、各种不确定因素等，导致数据采集过程中引入不满足质量要求的噪声数据。异常、错误、重复以及缺失数据等，都属于噪声数据，这些数据主要包含缺失值、异常值以及错误值，对这些数据进行分析，会得到精度不高甚至错误的结论。因此，通过对噪声数据进行数据清洗，能提高数据质量，进而提高预测分析结果的准确性。

传统的数据清洗方法，包括：人工实现，通过人工检查，发现噪声数据并处理，这种方法效率低下，在数据量大的情况下，很难完成；编写应用程序，此方法不够灵活，虽然能解决某个特定问题，但在对多个不同数据集合进行清洗时，会导致编程量大，程序复杂；解决特定应用域的问题，例如根据统计学原理查找数值异常的记录，此方法己有成熟的商用系统实现；与特定应用域无关的数据清洗，主要研究对重复数据的清洗，例如Data CleanserDataBlade Modul Integrity系统。传统的数据清洗方法对于水利行业的数据而言，无法采用单独的任一方式完成，本实施例依据水利大数据的特性融合现有的数据清洗技术，本实施例的数据清洗的原理为：利用数理统计、数据挖掘等方法将噪声数据转换为满足数据质量要求的数据。鉴于水利大数据的特性，本实施例提供的数据清洗满足了如下条件：1.不论是单数据源还是多数据源，都能够检测到并去除有明显错误和不一致的数据；2.尽可能减小人为因素干预和用户的编程工作量，并且编写的程序具有一定的可扩展性，能比较容易地应用到其他数据源的清洗中。

其数据清洗的实现方式具体如下：

(1)对重复值的清洗：重复值是由于源数据中存在重复数据，或者采集程序对同一元组数据进行多次采集造成的，对于重复数据清洗，本实施例在将采集到数据导入数据库的同时，通过主键和联合主键的唯一性限制，完成对重复值的清洗。

(2)对错误值的清洗：首先要检测出带有错误数据的元组，再对该元组进行处理；可以使用己有的关于数据性质的知识来发现错误值，通常在定义数据字典时，对数据有一个基本的规定，譬如，全省水雨情网站里的实时水情栏目，站名和河名信息均为字符串，若有某个元组在两个属性下的值发生调换以及缺失错误，例如，湖名一星子，站名一鄱阳湖，则该元组就属于错误值，对于这类错误，采取删除元组处理，在SQL Server中执行语句：delete from[JJJDZDB].[dbo].[WR_BJ_HHSQ]where ZM LIKE’％鄱阳湖％’，即可删除。

值得说明的是，这种缺失错误不等同于后文所涉及的缺失值，错误值下的缺失并不是因为源数据缺失或者采集遗漏引起，而是由于采集数据过程中网页加载缓慢或者采集设备故障，从而导致采集过程执行不完全导致的，往往伴随着元组中其他属性的缺失或错误，对于此种属性值缺失导致的数据错误，也采取删除元组处理，在SQL Server中执行以下语句即可delete from[JJJDZDB].[dbo].[WR_BJ_HHSQ]where HM＝”。

(3)对异常值的清洗：异常值是指在所获得数据中相对误差较大的数据，也指在一批数据中，与其它数据相比明显不一致的数据，又称离群值，常用的异常值检测方法有基于距离的异常值检测、基于密度的异常值检测以及基于聚类的异常值检测。

基于密度的异常值检测：假设正常数据点的数据密度高于异常点的数据密度，本实施例提出了基于局部异常因子((Local Outfier Factor，LOF)的异常值检测法，具体如下：

LOF算法定义：

1)d(p,o)：两点P和o之间的距离。

2)k-distance：k邻近距离；

对于点P的第k距离dk(p)定义为：dk(p)＝d(p,o)，并且满足：

a)在数据集中至少有不包括p在内的k个点o’E D\{p}，满足d{p,o’}≤d{p,o}；

b)在数据集中至多有不包括p在内的k-1个点o’E D\{p}，满足d{p,o'}<d{p,o}；

P的k临近距离，即在距离点P最近的几个点中，第k个最近的点与点P之间的距离。

3)k nearest neighborhood of an object p：第k距离邻域；点p的第k距离邻域Nk(p)就是P的第k距离以内的所有点，包括第k距离，因此p的第k邻域点的个数∣Nk(p)∣≥k。

4)reachability-distance：可达距离；对于给定的正数k，对象o相对于对象p的可达距离定义为：点o到点p的第k可达距离，至少是o的第k距离，或者为o、p间的真实距离。即离点o最近的k个点，o到它们的可达距离被认为相等。

5)local reachability density：局部可达密度；点P的局部可达密度为：点p的第k邻域内的点到p的平均可达距离的倒数，这个值代表一个密度，密度越高，认为越可能属于同一簇，密度越低，越可能是离群点；如果p和周围邻域点是同一簇，那么导致可达距离之和较小，密度值较高；如果p和周围邻居点较远，那么可达距离可能都会取较大值，导致密度较小，越可能是离群点。

6)local outlier factor：局部离群因子。

基于密度的异常值检：通过聚类分析，可以发现数据集中观测值间的相关关系，聚类分析能将大量观测值归约为若干个类，不同类内观测值的相似度比类间相似度要高。对于一个数据集来说，某个数据点要么属于某各类，要么是异常点，聚类分析的目标是将数据点划分到某一个类中，异常值检测的目标是发现不属于任何类的数据点，因此聚类分析与异常值检测是互补关系。

通过聚类检测异常值实例，以K均值聚类分析为例，R语言算法如下：

1)随机选择k个中心点；

2)把每个数据点分配到离它最近的中心点；

3)重新计算每类中的点到该类中心点距离的平均值；

4)分配每个数据到它最近的中心点；

5)重复步骤3和4直到所有的观测值不再被分配或是达到最大的迭代次数。

K均值的函数格式是kmeans(x,centers)}x表示数值数据集(矩阵或数据框)，centers是要提取的聚类数目。函数返回类的成员、类中心、平方和(类内平方和、类间平方和、总平方和)和类大小。

(4)对缺失值的清洗：数据缺失有很多种原因，以水利数据采集为例，可能是人工原因造成的数据漏测，还有可能是记录设备出现问题、网络连接故障等。缺失数据分为完全随机缺失、随机缺失、非随机缺失三种模型：

完全随机缺失，如果一种变量的缺失数据与其它任何观测或未观测变量都不相关，则该缺失数据为完全随机缺失MCAR，以江西省水雨情网站上的“重点实时水情”栏目为例，数据共包含7个变量，分别为站名(ZM}、站址(ZZ}、河名(HM)、水位(Z，单位为米)、流量(Q，单位为立方米每秒)、时间(TM)、警戒水位(CJZ单位为米)，若所有测站的水位值缺失都不是出于系统原因，那么可以认为数据是完全随机缺失MCAR；如果每个有缺失值的变量都是完全随机缺失，那么就能将数据完整的实例看成是一个对更大数据集的简单随机抽样。

随机缺失，如果某个变量上的缺失数据与它自己的未观测值不相关，但与其它观测变量相关，那么该数据为随机缺失MAR，例如，如果水位值较低的测站，更可能有流量数据的缺失(可能因为水位过低会使得流量值更难测量)，而且该“缺失”与流量值大小无关，那么就可以认为该数据是随机缺失MAR。

非随机缺失，如果缺失数据既不属于完全随机缺失，也不属于随机缺失，那么，该数据为非随机缺失NMAR，例如，水位越低的测站更有可能有水位数据的缺失(可能是由于较低水位相比高水位更加难以测量)，那么可认为数据是非随机缺失(MAR)。

对缺失值的清洗步骤：

1)识别缺失数据；依据缺失数据的来由和影响判断，主要考虑计算缺失数据的比例、缺失数据是否普遍存在、缺失数据是否随机产生、缺失数据的机制等；

2)探索缺失值模式；判断为完全随机缺失、随机缺失、非随机缺失三种模型中的何种；

3)处理缺失数据，常用的处理缺失数据方法有三种：推理法、删除法和多重插补法。

a)推理法，会根据变量间的数学或者逻辑关系来填补或恢复缺失值，例如，流量是测量断面流速和断面面积的乘积，若知道了它们中的任意两个，便可以推导出第三个；因此，如果一些观测缺失了这三个变量中的一个，便可以通过计算来恢复缺失值信息。

b)删除法，在完整实例分析中，使用行删除法(Clisttise)、个案删除(case-wise)，会删掉所有包含缺失值的实例，但这样做会导致样本量大大减小。行删除法假定数据是MCAR，由于删除了所有含缺失值的观测，减少了可用的样本，这也将导致统计效力的降低。

c)多重插补法(MI)，基于重复模拟的处理缺失值的方法，可以利用包括缺失值的整个数据集处理缺失值问题。

本实施例依据水利大数据特性，选取推理法、多重插补法作为缺失值的数据的修正。

在高质量的数据保证下本系统的数据库有效性才有保证，尤其是所生产的倾斜模型和BIM模型方能准确反映实景，本实施例是通过Cesium兼容展示倾斜模型和BIM模型，在应用模块下的模型展示子模块进行对外三维展示。

Cesium是一个在Web浏览器中创建三维虚拟地球和二维平面地图的JavaScript开源库，它不需要任何浏览器插件支持，只需浏览器开启WebGL功能即可。Cesium设计的目的是为互联网用户提供强大的地图展示功能，包括底图数据显示及相关操作。Cesium使用WebGL作为图形渲染引擎，擅长动态数据可视化，并且具有跨平台跨浏览器的优点。Cesium采用面向对象的JavaScript语言开发，并对WhenJS和KnockoutJS等框架进行了有效的集成。另外Cesium对AJAX所提供的功能进行了再封装，实现了异步请求服务器端海量地理空间数据的功能。Cesium访问空间数据的方式符合GIS行业规范，支持公开和私有的数据资源。Cesium支持OGC制定的WMS、WFS等网络服务规范，它通过远程服务的方式加载服务器端的底图数据，进而在浏览器中对底图数据进行可视化表达。

Cesium具备以下优点：一是功能完备，Cesium本身的API较为完备，包含多源数据导入、数学计算、三维几何体创建、相机和飞行控制，减少了二次开发，数据加载和可视化的成本；二是性能较好，一方面，WebGL的基础让Cesium具有显卡加速的特性，另一方面Cesium本身也进行了三维渲染上的优化，比如多视锥体剔除，HLOD的数据加载模式，点要素聚类算法，渲染调度算法和多线程技术等；三是生态系统活跃，Cesium团队有自己的论坛和github，用户在使用过程中的疑问都可以向团队成员询问，团队成员的回复和处理速度一般在一两天之内；四是具备3D GIS能力，与其他WebGL三维图形库相比，Cesium更注重GIS方面的功能，支持多种GIS分析函数，也为开发更丰富的GIS功能提供基础API。

本系统将数据进行整理、入库，并提供数据录入及更新接口，尔后将整理好的数据，结合水利业务，进行发布，让用户以服务的形式，获取所需数据；同时系统在后台针对不同的业务，提供地图、模型访问等服务，以满足业务需求。

在进行三维GIS展示过程中，影像、高程地形是不可或缺的两个要素；同时，将真实世界中物体反应至屏幕，需要通过三维相机的转换，达到不同坐标系之间的过渡，并采用相应的几何要素，将真实世界中的物体，在屏幕中进行表达，从而实现目标物真实的三维可视化。

对于影像类数据，Cesium支持绘制和堆叠高分辨率影像图层，这些影像数据可以来自于多个不同的服务器，不同的图层可以按顺序进行调整并堆叠在一起，每一个图层的亮度、透明度、色度及饱和度等属性可以动态调整，具体流程如下：

(1)通过HTML中定义的div元素创建Cesium.Viewer类的对象viewer，即虚拟地球对象；

(2)从viewer对象中取得ImageryLayerCollection类型的属性layers，即影像图层集；

(3)创建ImageryProvider接口的实现类对象provider并指定服务器端url地址，ImageryProvider接口不同实现类所创建的对象分别用来请求不同服务器提供的图层数据；

(4)layers调用addImageryProvider方法将创建的图层对象provider加入到地图渲染中，这样该图层对象provider会根据渲染场景的状态去请求不同的影像瓦片。

对于高程地形类数据，Cesium支持可视化全球高程地形瓦片的功能及水纹效果，和二维平面地图相比，三维虚拟地球可以真实地显示山峰、山谷等地理特征，从而为用户提供更加真实的场景，Cesium对高程地形提供了很好的支持；高程地形的具体使用过程如下所述：

(1)通过HTML中定义的div元素创建一个Cesium.Viewer对象viewer，即虚拟地球对象；

(2)从viewer对象中取得TerrainProvider类型的属性terrainProvider；

(3)创建TerrainProvider接口的实现类对象provider并指定服务器端url地址，TerrainProvider接口不同实现类所创建的对象分别用来请求不同服务器提供的高程数据；

(4)将provider对象赋值给terrainProvider属性。

对于视口相机，在Cesium中，视口照相机的状态决定了用户所能看到的场景内容，操作视口照相机的方式有很多，例如旋转、缩放、平移及飞行到矩形区域等，Cesium实现了默认的鼠标事件处理函数，通过这些事件处理函数，鼠标与视口照相机之间实现了交互，在Cesium中Camera类表示当前视口照相机的状态，包括视口照相机的位置、视线方向及视景体等信息。

对于几何要素类数据，Cesium实现了大量的几何要素类，例如多边形、椭圆、折线等等，开发者创建一个几何要素需要传入一个或多个几何实例及几何外观参数，每个几何实例都有自己的几何形状属性，几何形状定义了几何要素的结构，例如圆面、多边形、立方体、球体或它们的组合等。几何外观定义了几何要素着色器的相关设置，设置的内容包括GLSL顶点着色器、片元着色器及渲染状态。几何元素构建流程如下：

(1)通过HTML中定义的div元素创建一个Cesium.Viewer对象viewer，即虚拟地球对象；

(2)从viewer对象中取得Primitive Collection类型的属性primitives，即要素集合；

(3)创建几何结构对象geometry，例如Rectangle Geometry、Ellipsoid Geometry等等；

(4)创建几何样式对象appearance，例如EllipsoidSurface Appearance、PerIn-stance Color Appearance等等；

(5)创建几何要素对象primitive，将geometry对象和appearance对象传入；

(6)调用primitives的add方法，将新创建的primitive对象加入到场景渲染中。

Cesium支持的几何结构主要有Box Geometry(盒状)、Box Outline Geometry(盒状外框)、Circle Geometry(圆形)、Circle Outline Geometry(圆形外框)、Ellipsoid-Geometry(椭球体)、Ellipsoid Outline Geometry(椭球体外框)、Polygon Geometry(多边形)、Polygon Outline Geometry(多变形外框)等等。Cesium支持的几何外观主要有Material Appearance(所有的几何实例采用相同的着色样式)、PerInstance ColorAppearance(每个几何体分别设置自己的样式等等)。

本实施例在进行三维模型在线展示分析时，三维模型分为了格式可以转化的倾斜三维模型和BIM模型；BIM是一种表述方式，不仅定义了几何数据，而且还定义了几何体的空间关系和工程属性信息，被用于各种应用场景，包括投资估算、能源分析和生成计划等；而传统的GIS领域侧重于宏观环境与地理空间信息的相关应用，加之生成的模型都是“空壳”，并无室内信息，停留在简单的外部浏览方面。

因此BIM与GIS的结合是一种天然的互补关系，BIM整合和管理建筑物全生命周期的信息，GIS整合及管理建筑物外部的环境信息，本实施例在对倾斜三维模型和BIM模型进行格式处理增加了运算符合，因此本实施例为保证模型展示效果，基于Web端的BIM和GIS的融合中运用了模型轻量化关键技术LOD(Level of Detail)，实现模型的轻量化和信息的保留。

模型轻量化关键技术LOD，BIM软件中的三维对象是参数化的，比如圆柱体，用圆心、半径、高度来描述，但导入GIS系统要三角化成三角网，在三角化时，利用此技术可生成多个不同细节层次的模型，即将BIM模型解析出不同的显示精度和显示层级。模型属性信息的保留，需要在对模型格式进行转换的同时对属性信息相关处理，以下为本实施例的BIM模型添加至平台的出来制作流程，实现了GIS系统对BIM模型的融合，并保留了BIM模型的模型属性信息，进而保证模型轻量化关键技术的应用：

参考附图3：三维模型及平台准备，先加载地形图(往往是CAD格式)，提取高程点、等高线数据，而后生成地形模型，最后构建三维模型；

导出c1m文件，先启动Microstation CE软件，而后加载Cesiumlab，并导出插件，最后导出c1m文件；

生成3Dtile切片文件，先启动第三方平台Cesiumlab，添加c1m文件并设置相应参数，生成3Dtile切片文件。

本发明尤其适应我国南方地区，例如江西省，水利资源丰富，河流及湖泊分布广泛，水利工程众多，江西省境内主要有赣江、抚河、信江、饶河、修河五大水系，同时含众多支流，水利资源管理无法独立，流域内、流域间都存在一定的联系及影响。若需科学、合理地对江西省内水利资源进行管理及利用，将所有水利资源进行全面细致地考虑显得尤为重要。

为了及时掌握各水利工程及水资源现状，并满足流域、水资源应用及管理切实需求，本系统中采用物联网技术对水资源现状信息进行采集、传输、应用，同时通过三维GIS+BIM技术进行全面、准确且精细的可视化三维展示，最后运用大数据分析，实现江西省水利工程、水资源的信息化、科学化展示、分析、管理。及时准确的现状数据获取是水利资源有效管理的基础，只有准确摸清“家底”，才能做出准确、有针对性的水利资源管理措施，提高水利资源管理水利及利用效率，充分发挥水利工程及水利资源的民生及社会价值。

本发明通过在重要水利工程、河流、湖泊、水库等区域设置相应传感器，实时获取水位、流量、雨量、水质等专项数据，同时结合网络传输技术，将数据传输至管理系统后台进行整理、清洗、入库。本系统将江西省境内主要的河流、湖泊、水利工程等相关水利资源数据进行收集、分类、整理，并在GIS底图中进行准确展示，可以更为直观、准确地表达我省水利资源的分部情况；同时，收集了各水利资源的历史水文资料、各水利工程的基础资料，以便更为全面、准确地掌握水利资源历史现状及各流域、各水利工程的安全运行，发挥其防汛抗旱及相关水利功能的实际需求。结合流域及水利工程基础数据、水文历史数据、实时物联网数据等进行大数据分析，充分考虑各水利工程及水利资源间内在联系及影响，为水利工作、水利资源管理提供更为全面、准确地技术支撑，为安全、科学、高效地水利资源管理及利用提供更好的决策支持，为水利发展保驾护航。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.基于BIM和数字高程模型的水资源实时监测系统，其特征在于包括：

数据库，包括存储与水资源的相关实时数据、基础数据和动态数据的业务数据子库、用于存储与地形相关的底图数据的底图数据子库、用于存储融合的倾斜模型和BIM模型的三维模型数据子库，连接于应用模块；

应用模块，包括有信息查询展示子模块、IOT数据实时监控子模块、模型展示子模块，其中，信息查询展示子模块用于根据需求命令调取数据库内所存储的数据信息并展示；IOT数据实时监控子模块对所获取的数据进行逻辑判断，用于监控实时数据；模型展示子模块将业务数据子库、底图数据子库、三维模型数据关联的数据融合，用于展示三维模型。

2.根据权利要求1所述的水资源实时监测系统，其特征在于，三维模型数据子库的实现包括：

获取工程基础数据的同时获取IOT数据，将与水资源相关的数据存入业务数据子库；

采取web地图并结合无人机航飞的作业方式，获取工程摄影测量数据并进行DEM数据处理，与web地图叠加融合实现三维地形场景的构建并存储于底图数据子库；

航飞所获取的工程摄影测量数据在Context Capture中生成三维倾斜模型，三维倾斜模型与BIM模型融合，实现工程细节信息的三维展示；

所有工程数据都与工程唯一ID进行关联融合。

3.根据权利要求2所述的水资源实时监测系统，其特征在于：

所述三维倾斜模型与BIM模型融合，选取Cesium做格式转换工具；

Cesium将osgb、dae格式的倾斜模型和skp格式的BIM模型生成多层次金字塔式的3DTiles格式。

4.根据权利要求3所述的水资源实时监测系统，其特征在于，提供了一种大数据GIS技术，将GIS的核心能力嵌入到大数据基础框架之内，实现大数据技术与GIS技术的深度融合；大数据GIS技术包括分布式技术、流数据实时处理技术和空间大数据可视化技术；

分布式技术，包括：空间数据的分布式存储，在原有分布式存储系统之中，嵌入分布式空间索引、空间数据的分片处理和管理技术，通过空间数据的横向扩展实现数据的存储与管理；分布式空间计算，以Spark分布式计算框架为基础，把原有地理空间分析算法进行分布式改造，快速实现对象间的空间分析计算；分布式地图渲染，通过矢量金字塔、分布式渲染、自动缓存和前端渐进加载实现超大规模空间数据的“免切片”渲染效果；

流数据实时处理技术，基于Spark Streaming流计算框架的基础能力，扩展实现流式数据的实时接入、过滤、转换、计算、可视化与输出相关的能力；

空间大数据可视化技术，对数据进行分析计算之后表达其空间分布情况、聚合程度及连接关系。

5.根据权利要求1所述的水资源实时监测系统，其特征在于，所述数据库的构建前，对数据进行清洗：

对重复值的清洗，将采集到数据导入数据库的同时，通过主键和联合主键的唯一性限制，完成对重复值的清洗；

对错误值的清洗，首先检测出带有错误数据的元组，再对该元组进行处理，使用己有的关于数据性质的知识发现错误值，若有某个元组数据在两个属性下的值发生调换以及缺失错误，采取删除元组的方式处理；若元组数据中其他属性的缺失或错误，也采取删除元组处理；

对异常值的清洗，采取基于距离的异常值检测、基于密度的异常值检测以及基于聚类的异常值检测的方式检测并清洗；

对缺失值的清洗，缺失数据分为完全随机缺失、随机缺失、非随机缺失三种模型，采取推理法、多重插补法对缺失值的数据进行修正。

6.根据权利要求5所述的水资源实时监测系统，其特征在于，基于密度的异常值检测是假设正常数据点的数据密度高于异常点的数据密度，具体检测如下：

LOF算法定义：

1)d(p,o)：两点P和o之间的距离；

2)k-distance：k邻近距离；

对于点P的第k距离dk(p)定义为：dk(p)＝d(p,o)，并且满足：

a)在数据集中至少有不包括p在内的k个点o’E D\{p}，满足d{p,o’}≤d{p,o}；

b)在数据集中至多有不包括p在内的k-1个点o’E D\{p}，满足d{p,o'}<d{p,o}；

P的k临近距离，即在距离点P最近的几个点中，第k个最近的点与点P之间的距离；

3)k nearest neighborhood of an object p：第k距离邻域；点p的第k距离邻域Nk(p)就是P的第k距离以内的所有点，包括第k距离，因此p的第k邻域点的个数∣Nk(p)∣≥k；

4)reachability-distance：可达距离；对于给定的正数k，对象o相对于对象p的可达距离定义为：点o到点p的第k可达距离，至少是o的第k距离，或者为o、p间的真实距离，即离点o最近的k个点，o到它们的可达距离被认为相等；

5)local reachability density：局部可达密度；点P的局部可达密度为点p的第k邻域内的点到p的平均可达距离的倒数，这个值代表一个密度，密度越高，认为越可能属于同一簇，密度越低，越可能是离群点；如果p和周围邻域点是同一簇，那么导致可达距离之和较小，密度值较高；如果p和周围邻居点较远，那么可达距离可能都会取较大值，导致密度较小，越可能是离群点；

6)local outlier factor：局部离群因子。

7.根据权利要求5所述的水资源实时监测系统，其特征在于，基于密度的异常值检，采取K均值聚类分析，方法如下：

1)随机选择k个中心点；

2)把每个数据点分配到离它最近的中心点；

3)重新计算每类中的点到该类中心点距离的平均值；

4)分配每个数据到它最近的中心点；

5)重复步骤3和4直到所有的观测值不再被分配或是达到最大的迭代次数。

K均值的函数格式是{kmeans(x,centers)}，x表示数值数据集，centers是要提取的聚类数目，函数返回类的成员、类中心、平方和和类大小。

8.根据权利要求5所述的水资源实时监测系统，其特征在于，对缺失值的清洗步骤：

1)识别缺失数据；依据缺失数据的来由和影响判断，主要考虑计算缺失数据的比例、缺失数据是否普遍存在、缺失数据是否随机产生、缺失数据的机制等；

2)探索缺失值模式；判断为完全随机缺失、随机缺失、非随机缺失三种模型中的何种；

3)处理缺失数据，采取推理法和多重插补法；

其中，

所述推理法，会根据变量间的数学或者逻辑关系来填补或恢复缺失值；

所述多重插补法，基于重复模拟的处理缺失值的方法，利用包括缺失值的整个数据集处理缺失值问题。

9.根据权利要求5-8任一条所述的水资源实时监测系统，其特征在于，在Cesium兼容展示倾斜模型和BIM模型对外三维展示时，

对于影像类数据，Cesium支持绘制和堆叠高分辨率影像图层，这些影像数据可以来自于多个不同的服务器，不同的图层可以按顺序进行调整并堆叠在一起，每一个图层的亮度、透明度、色度及饱和度等属性可以动态调整，具体流程如下：

(1)通过HTML中定义的div元素创建Cesium.Viewer类的对象viewer，即虚拟地球对象；

(2)从viewer对象中取得ImageryLayerCollection类型的属性layers，即影像图层集；

(3)创建ImageryProvider接口的实现类对象provider，并指定服务器端url地址，ImageryProvider接口不同实现类所创建的对象分别用来请求不同服务器提供的图层数据；

(4)layers调用addImageryProvider方法将创建的图层对象provider加入到地图渲染中，图层对象provider会根据渲染场景的状态去请求不同的影像瓦片；

对于高程地形类数据，Cesium支持可视化全球高程地形瓦片的功能及水纹效果，和二维平面地图相比，三维虚拟地球可以真实地显示山峰、山谷等地理特征，从而为用户提供更加真实的场景，Cesium对高程地形提供了很好的支持；高程地形的具体使用过程如下所述：

(1)通过HTML中定义的div元素创建一个Cesium.Viewer对象viewer，即虚拟地球对象；

(2)从viewer对象中取得TerrainProvider类型的属性terrainProvider；

(3)创建TerrainProvider接口的实现类对象provider并指定服务器端url地址，TerrainProvider接口不同实现类所创建的对象分别用来请求不同服务器提供的高程数据；

(4)将provider对象赋值给terrainProvider属性；

对于视口相机，在Cesium中视口照相机的状态决定了用户所能看到的场景内容，Cesium实现了默认的鼠标事件处理函数，通过事件处理函数，鼠标与视口照相机之间实现了交互，在Cesium中Camera类表示当前视口照相机的状态；

对于几何要素类数据，Cesium实现了大量的几何要素类，开发者创建一个几何要素需要传入一个或多个几何实例及几何外观参数，每个几何实例都有自己的几何形状属性，几何形状定义了几何要素的结构；几何外观定义了几何要素着色器的相关设置，设置的内容包括GLSL顶点着色器、片元着色器及渲染状态；几何元素构建流程如下：

(1)通过HTML中定义的div元素创建一个Cesium.Viewer对象viewer，即虚拟地球对象；

(2)从viewer对象中取得Primitive Collection类型的属性primitives，即要素集合；

(3)创建几何结构对象geometry；

(4)创建几何样式对象appearance，；

(5)创建几何要素对象primitive，将geometry对象和appearance对象传入；

(6)调用primitives的add方法，将新创建的primitive对象加入到场景渲染中。

10.根据权利要求9所述的水资源实时监测系统，其特征在于，基于Web端的BIM和GIS的融合中还运用了模型轻量化关键技术LOD，实现模型的轻量化和信息的保留，具体如下：

三维模型及平台准备，先加载地形图，提取高程点、等高线数据，而后生成地形模型，最后构建三维模型；

导出c1m文件，先启动Microstation CE软件，而后加载Cesiumlab，并导出插件，最后导出c1m文件；

生成3Dtile切片文件，先启动第三方平台Cesiumlab，添加c1m文件并设置相应参数，生成3Dtile切片文件。

Images