CN111897820A - 一种应用于智慧城市的多源异构数据存储方法 - Google Patents

Abstract

本申请公开了应用于智慧城市的多源异构数据存储方法，DTS采集多个终端设备上传的数据，数据类型包括IoT、GIS和BIM数据，且上述数据均包含时间属性和地区属性；DTS将采集到的数据按照不同数据类型进行分组及数据清洗，生成矩阵式原始数据组；DTS将原始数据组按照地区属性进行关联关系排序，生成树形关系图，其中，在树形关系图中，GIS数据为根节点，BIM数据为父节点，IoT数据为子节点，且同一树形结构中的GIS数据、BIM数据和IoT数据具备同一地区属性；根据树形关系图的指向关系，生成跳蚤模型；DTS基于跳蚤模型的排序规则，按序存储GIS、BIM和IoT数据，并基于不同的时间生成矩阵式存储数据组。

Description

一种应用于智慧城市的多源异构数据存储方法

技术领域

本申请涉及数据处理技术领域，尤其涉及应用于智慧城市的多源异构数据存储方法。

背景技术

城市信息模型(City Information Modeling，CIM)是对城市地上地下、室内室外各种实体目标及时空状态的数字化表达和描述，其反映城市规划、建设、发展以及运行，并且可用于城市规划决策、城市建设、城市管理等工作。

CIM是一个跨度很大的概念，涉及的行业包括规划、国土、交通、水利、安防、人防、环境保护、文物保护、能源燃气等各大行业及一切智慧城市相关的领域。

目前国内外对CIM尚缺乏系统深入的研究，据《智慧城市背景下城市信息模型相关技术发展综述》论文中的观点，可尝试从构成CIM术语的三个单词初步分析其基本特征：首先是City，CIM要覆盖城市尺度，这里的“城市”可以实例化为某个城市或城区、某个园区、某个社区、某个院落等，但它对建模对象的描述能力应该是城市级的；其次是Information，CIM所容纳的信息应该是覆盖各种空间、时间维度的，是能支撑各种城市应用的，CIM中的信息可以描述城市各种物理或人文实体，具有多时态、多类型、多粒度级别、多来源等特点；最后是Modeling，即CIM要基于一定规则和方法，对上述信息按需进行组织、模拟、分析以及表达，更进一步地，可通过融合、挖掘、以及提炼新的知识，凝聚出智慧。

从CIM的当前发展来看，CIM主要与BIM(Building Information Modeling，建筑信息模型)、GIS(Geographic Information System，地理信息系统)、以及IOT(Internet ofThings，物联网)等技术密切相关，同时还不可避免地需要应用到云计算、大数据等新一代信息技术。

现有技术中，对于智慧城市的多源异构数据而言，其存储方式是分时存储，即将不同的GIS,BIM和IOT数据按照上传时间的维度进行存储，彼此之间并不具备关联性，若城市决策者需要调用某一时间、某一特定区域的全部城市数据时，需要依次从不同的数据表中进行调用，再进行数据处理，其过程如图1所示，某一地区的GIS数据从GIS数据库中进行查询和获取，BIM数据从该地区的BIM数据库中进行查询和抽取，IOT数据从该地区的IOT数据库中进行查询和抽取，彼此之间没有关联度，因此，对于海量数据的调用，每一次城市决策者调用一个地区的数据，需要至少3次以上的查询和抽取操作，操作效率低，查询等待时间长。

发明内容

本申请实施例提供一种应用于智慧城市的多源异构数据存储方法，用于解决现有技术中智慧城市场景下多源异构数据存储方式单一导致操作效率低的问题。

本发明实施例提供一种应用于智慧城市的多源异构数据存储方法，包括：

数据传输单元DTS采集多个终端设备上传的数据，所述数据类型包括物联网IoT数据、地理信息系统GIS数据和建筑信息模型BIM数据，且上述数据均包含时间属性和地区属性，所述多个终端设备采用多源异构网络进行组网，所述DTS处于数据汇聚层；

所述DTS将所述采集到的数据按照不同数据类型进行分组及数据清洗，生成矩阵式原始数据组；

所述DTS将所述原始数据组按照地区属性进行关联关系排序，生成树形关系图，其中，在所述树形关系图中，GIS数据为根节点，BIM数据为父节点，IoT数据为子节点；

根据所述树形关系图的指向关系，生成跳蚤模型，所述跳蚤模型用于根据所述树形结构的指向关系重新对上述不同类型数据进行排序；

所述DTS基于所述跳蚤模型的排序规则，按序存储所述GIS、BIM和IoT数据，并基于不同的时间生成矩阵式存储数据组；

所述DTS将所述矩阵式存储数据组发送至核心层，以使所述核心层进行所述数据组的存储操作。

可选地，所述DTS基于所述跳蚤模型的排序规则，按序存储所述GIS、BIM和IoT数据，并基于不同的时间生成矩阵式存储数据组，包括：

依次存储T0时刻的第一GIS数据、至少一个第一BIM数据、至少一个第一IoT数据、第二GIS数据、至少一个第二BIM数据、至少一个第二IoT数据、第M个GIS数据、第M个BIM数据、第M个IoT数据，其中M为大于等于2的自然数，生成T0时刻的存储数据组；

依次存储T1时刻的第一GIS数据、至少一个第一BIM数据、至少一个第一IoT数据、第二GIS数据、至少一个第二BIM数据、至少一个第二IoT数据、第M个GIS数据、第M个BIM数据、第M个IoT数据，生成T1时刻的存储数据组；

依次存储T_n-1时刻的第一GIS数据、至少一个第一BIM数据、至少一个第一IoT数据、第二GIS数据、至少一个第二BIM数据、至少一个第二IoT数据、第M个GIS数据、第M个BIM数据、第M个IoT数据，生成T_n-1时刻的存储数据组，其中N为大于1的自然数；

将上述不同时刻的存储数据组存储为矩阵式存储数据组。

可选地，在所述DTS将所述矩阵式存储数据组发送至核心层之前，

所述方法还包括：

若所述GIS数据、BIM数据或IoT数据中任一种数据大小超过预设阈值时，将所述超过预设阈值的数据进行自压缩。

可选地，将所述超过预设阈值的数据进行自压缩，包括：

所述超过预设阈值的数据包括T0时刻的第一数据，T1时刻的第二数据和T_n-1时刻的第N数据；

以所述T0时刻的第一数据为基准，依次计算出不同时刻与T0时刻的数据差值△T，所述数据差值的数据大小小于上述任一时刻的任一数据；

依次保存T0时刻的第一数据以及所述不同时刻与T0时刻的数据差值△T，所述保存后的数据为自压缩后的数据。

可选地，在所述DTS将所述矩阵式存储数据组发送至核心层之前，所述方法还包括：

按照所述GIS数据、BIM数据或IoT数据不同时刻的数据变化率，设置自适应采样率；

通过所述自适应采样率对所述矩阵式存储数据组进行采样，并生成采样后的矩阵式存储数据组，以使所述核心层保存所述矩阵式存储数据组。

本发明实施例提供的方法，通过设置树形结构关系图，明确各个数据类型之间的地区属性关系，并基于跳蚤模型将原始数据组中的同一树形结构的数据进行组合，形成不同时间下的新的数据组，并依次将该数据组组成新的矩阵式存储数据组，最终存储该数据组，通过上述设置，可方便城市决策者通过一次查询的过程即可查询到某一地区的所有城市数据(该地区的GIS,BIM和IOT数据)，查询时间短，效率高。

附图说明

为了更清楚地说明本申请实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍。

图1为现有技术中多源异构数据查询和获取示意图；

图2为智慧城市的多源异构网络架构拓扑图；

图3为一个实施例中多源异构数据压缩的流程示意图；

图4为另一个实施例中多源异构数据压缩的示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

还应当理解，在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。

还应当进一步理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

如在本说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。

智慧城市可以分为四个层级，第一个层级是感知层，即通过各种各样的城市“神经末梢”(物联网设备)采集数据，例如各类摄像头、温度传感器、湿度传感器、水压传感器、移动终端等，负责在不同时间不同地点采集不同类型的数据，第二个层级是通信层，负责将不同时间不同地点采集到的数据按照一定的通信协议进行上传并汇总，第三层是平台层，在接收到数据之后，对海量数据进行存储和管理，完成数据清洗并提供有效的数据供城市管理者提供决策，第四层为应用层，当有用的数据提取之后，即为城市的方方面面提供服务，例如智慧交通、智慧楼宇、智慧医疗及智慧电力等。

智慧城市的核心在于打破信息孤岛，使得海量数据可连接，可存储及可查询，如何构建一个足够大的云储存，并在较短时间内为决策者提供知识图谱将是一个非常关键的核心问题。

智慧城市的数据类型多种多样，为了方便理解，本发明实施例选取了其中最典型三类数据，分别是地理信息显示系统GIS、建筑信息模型BIM和物联网IoT。其中，GIS是在计算机硬、软件系统支持下，对整个或部分地球表层(包括大气层)空间中的有关地理数据进行采集、储存、编辑、管理、分析、共享、以及展示的信息系统。在城市信息模型CIM中，GIS需要提供六个方面的能力：1)建立统一坐标系统，让各种城市信息对齐；2)提供二维三维一体化的基础底图；3)管理各BIM单体之间链接网络，如道路、管廊与管线等；4)提供拓扑关系空间分析能力；5)提供大规模建筑群的BIM数据管理能力；6)提供多种终端的支持，全方位满足CIM应用。BIM是设施的物理和功能特征的数字化表示，其可以用作设施信息的共享知识资源，成为设施全生命期决策的可靠基础。IOT是通信网和互联网的拓展应用和网络延伸，它通过对物理世界进行感知识别、计算、处理以及知识挖掘，在信息的充分交互和链接的基础上，实现人与物、物与物之间的信息交互和无缝链接，从而达到对物理世界实时控制、精确管理以及科学决策。其中，物联网网络架构由感知层、网络层和应用层组成。感知层实现对物理世界的智能感知识别、信息采集处理以及自动控制，并通过通信模块将物理实体连接到网络层和应用层。网络层主要实现信息的传递、路由以及控制，网络层可依托公众电信网和互联网，也可以依托行业专用通信网络。应用层包括应用基础设施中间件和各种物联网应用，应用基础设施中间件为物联网应用提供信息处理、计算等通用基础服务设施、能力以及资源调用接口,以此为基础实现物联网在众多领域的各种应用。

GIS通常是对城市或区域对象建立空间模型，其最主要的目的是描述城市或区域尺度的地理空间对象，而较少关注细节。但BIM关注设施或建筑物尺度对象的内部细节，但很少用于除设施或建筑物外的其他对象。由此，设施或建筑物对象的内部细节由BIM模型定义和表达，设施或建筑物外部更大尺寸的对象由GIS描述，即对区域或城市尺寸内全部物理实体进行描述时需要集成GIS和BIM的信息和功能。

在工程的施工建造及运维阶段，建筑、设备、设施等物体的状态会动态变化，而BIM无法完全满足关于这些物体状态信息采集和传递需求。因此，需要引入IOT技术来完成环境和物体动态信息的采集、以及该动态信息与BIM已描述的静态信息的关联。BIM和IOT技术的集成，能够衔接设计阶段的虚拟与建造运维阶段的现实，使各个工程阶段的BIM交付成果的一致性和可交互性得以保障。

GIS作为物联网各种对象的统一空间载体，其信息源的数量和质量直接影响到物联网应用的广度和深度。物联网建设时期，基于基础地理信息可以实现传感器布设的分析和选择，实现终端布设的科学性和合理性。传感器网络建成后，通过基础地理信息平台可以实现传感器的定位、追踪、查找、以及控制，最终把所有的物联对象都落到统一的空间平台上，在该平台上可以直观、生动、形象、以及快速地找到所需信息。亦即，GIS是一种能让物联网更加智慧、有序、以及直观好用的核心技术。

在大尺度、大范围应用领域，通过接受某个地方的某个事件及其随时间的变化过程，地理信息技术根据已有的感知数据，不仅能够对现象的变化过程做出判断，还能对过去做出回溯以及对未来做出预测。亦即，物联网为GIS提供了一种新的信息采集方法，拓展了GIS的管理范畴。

图2示出了本发明实施例的一个多源异构网络架构，如图2所示，在本发明实施例中，多源异构网络架构可分为四层，第一层为感知层，感知层中包含了各种各样的IoT设备，用于在不同时间不同地址采集不同类型的数据，例如，GIS数据、BIM数据和各类IoT数据(例如，温湿度传感器、视频采集终端等采集的温度、湿度、图像数据)。感知层中，各个IOT设备处于多模异构无线(Multimode Heterogeneous Wireless Network，MHWN)网络。本发明实施例中，MHWN网络是一种多模异构网络。多模异构网络是包含有多种类型节点和多种类型关系的网络，它将相互重叠的不同类型网络融合起来以，从而满足未来终端的业务多样性需求，且MHWN网络被配置为可以根据通信或业务的动态和差异化要求而在多种通信网络之间进行动态的选择和切换。第二层为汇聚层，即接入层，汇聚层中包含了多个数据传输系统DTS，每一个DTS负责汇总当前小区cell内所有IoT设备上报的数据，并传输至核心层，其中，汇聚层可以使用软件定义SDN的无线电技术融合多种通信网络，数据传输单元能够通过所述多种通信网络中的一种或多种通信，实现SDR功能的软件模块可运行于MHWN网络。第三层为核心层，核心层为网络切片的虚拟组网结构，即由网络功能虚拟化NFV进行配置，用于对上报的数据进行分级决策，其中，NFV是核心层的底层平台架构。该MHWN网络的接入网。第四层为应用层，当核心层进行了分析决策之后，即进行各种不同的应用。

其中，多种通信网络包括宽带网络和窄带网络，所述宽带网络包括公用移动通信网络和/或无线局域网络，所述公用移动通信网络包括但不限于3G、4G和5G网络中的至少一种，所述无线局域网络包括但不限于WiFi网络，所述窄带网络包括但不限于NB-IoT(NarrowBand Internet of Things，窄带物联网)网络、LTE-M(LTE-Machine toMachine，LTE机器对机器)网络、LoRa(Long Range Radio，远距离无线电)网络中的至少一种。

其中，数据传输单元可起到连接不同网络的作用。数据传输单元因支持多种网络，它可以和多模无线基站通过多种通信网络中的一种或多种通信，它也可以通过终端所支持的通信方式与终端通信，从而实现了不同类型的终端与不同类型的基站之间的网络连接。

其中，当该网络应用于物联网，所述终端可包括感知设备，所述感知设备可包括传感器和/或执行器。从更广泛的应用领域来说，所述终端包括但不限于倾斜摄影、车辆(vehicles)、船舶(ships)、飞机(airplanes)、卫星(satellites)、智能家居产品(smarthome products)、气象设备(meteorological devices)、环保设备(environmentalprotection devices)、传感器(sensors)、消防设备(fire-fighting devices)、手机(cellphones)、医疗器械(medical instruments)等。

(1)终端通过其与数据传输单元的连接(例如，Bluetooth，Zigbee，Z-wave，WiFi，Wpan等)将其自身的数据发送至数据传输单元；本发明实施例对于终端和数据传输单元的连接方式不予限制。

(2)数据传输单元将终端的数据通过MHWN网络进行传输，其中，MHWN网络在NFV网络单元的控制下，可选择通过LTE、WiFi和IoT等多种不同通信网络对数据进行传输，其中，NFV可基于多种选项实现对网络回传的智能选择，不限于可选网络的覆盖或容量情况，还包括基于上层业务请求或数据业务特征的调度。例如，数据传输单元获取的来自传感器的数据，可以通过IoT网络传输；数据传输单元获取的来自视频监控设备的视频数据，可以通过LTE或者WiFi网络传输等。NFV核心网络单元与MHWN网络之间可通过有线或无线进行连接，其中，所述LTE可以被5G或更高的通信标准替代，其中，IOT可包括LoRa(LoRaWAN)，NB-IoT等等。

图3是本发明实施例的其中一个多源异构数据存储方法流程图，如图3所示，该方法包括：

S101、数据传输单元DTS采集多个终端设备上传的数据，所述数据类型包括物联网IoT数据、地理信息系统GIS数据和建筑信息模型BIM数据，且上述数据均包含时间属性和地区属性，所述多个终端设备采用多源异构网络进行组网，所述DTS处于数据汇聚层；

GIS数据、BIM数据和IoT数据属于多源异构网络中不同类型的数据，不同源，可以同时或分时进行数据采集，其中，每一个采集到的数据中，均具备时间和空间的标识，时间可用时刻T来表示，如T0-T_n-1表示有N个时刻，地区可以用行政区、街道、GPS经纬度等不同类型不同格式的方式来表示，例如：广东省->深圳市->南山区->粤海街道来从大到小进行地区标识。典型的GIS数据更多应用于电子地图，例如区域、街道、各个建筑物、公园、学校等信息，典型的BIM数据是一个建筑物、一个学校里面更细分的维度，例如建筑物能耗、通风、排布等数据，IoT数据是一切物联设备数据的统称，对于应用于智慧城市的数据而言，典型的IOT数据包括温度传感器、湿度传感器、监控设备等。

S102、所述DTS将所述采集到的数据按照不同数据类型进行分组及数据清洗，生成矩阵式原始数据组；

DTS将采集到的数据进行分组和清洗后，形成如下图4的数据格式：

GIS	BIM	IoT1	IoT2	...
					A	B	C	D	...
E	F	G	H	...
					I	J	K	L	...
...	...	...	...	...

其中，A,B,C,D分别是GIS类型，BIM类型，IOT1类型和IOT2类型(即IOT类型可细分为IOT1和IOT2)。

以t0-t2三个时刻为例，按照不同时刻进行划分，上面的数据格式可划分为如下数据：

GIS	BIM	IoT1	IoT2	...
					a<sub>0</sub>a<sub>1</sub>a<sub>2</sub>	b<sub>0</sub>b<sub>1</sub>b<sub>2</sub>	c<sub>0</sub>c<sub>1</sub>c<sub>2</sub>	d<sub>0</sub>d<sub>1</sub>d<sub>2</sub>	...
e<sub>0</sub>e<sub>1</sub>e<sub>2</sub>	f<sub>0</sub>f<sub>1</sub>f<sub>2</sub>	g<sub>0</sub>g<sub>1</sub>g<sub>2</sub>	h<sub>0</sub>h<sub>1</sub>h<sub>2</sub>	...
					i<sub>0</sub>i<sub>1</sub>i<sub>2</sub>	j<sub>0</sub>j<sub>1</sub>j<sub>2</sub>	k<sub>0</sub>k<sub>1</sub>k<sub>2</sub>	l<sub>0</sub>l<sub>1</sub>l<sub>2</sub>	...
...	...	...	...	...

即，A按照t0-t2时刻划分为a₀a₁a₂，B按照按照t0-t2时刻划分为b₀b₁b_2...

S103、所述DTS将所述原始数据组按照地区属性进行关联关系排序，生成树形关系图，其中，在所述树形关系图中，GIS数据为根节点，BIM数据为父节点，IoT数据为子节点，且同一树形结构中的GIS数据、BIM数据和IoT数据具备同一地区属性；

如图4所示，以上述表格的字母标识为例，至少形成3个树形结构，分别是：

第一树形结构：A->(F,J)->(F-G,H；J->K,L)

第二树形结构：E->B->C

第三树形结构：I->none->D

其中，A是GIS数据，F和J是BIM数据，G，H，L，K是IoT数据，且A,F,J,G,H,K,L具备同一地区属性，从逻辑上划分，一个GIS数据对应一个区域，例如深圳市南山区科技园片区，BIM对应一个区域的一个建筑物，例如，A是深圳市南山区科技园片区，F和J分别是该片区的建筑物1和建筑物2，G和H，则对应该建筑物1内两种物联网设备(例如：温度传感器和湿度传感器)，K和L，则对应该建筑物2内两种物联网设备(例如：温度传感器和湿度传感器)。那么其指向关系从逻辑上是从大范围到小范围的逻辑关系，因此，A为树的根节点，F为树的父节点1，J为树的父节点2，G,H为父节点1的子节点，K,L为父节点2的子节点。

同理，第二树形结构中，E为根节点，B为父节点，C为子节点；

第三树形结构中，I为根节点，父节点暂为空，D为子节点。需要说明的是，由于表格只列举了较为简单的几个数据，实际上复杂的数据模型中，父节点并不为空，也有实际的数据。

S104、根据所述树形关系图的指向关系，生成跳蚤模型，所述跳蚤模型用于根据所述树形结构的指向关系重新对上述不同类型数据进行排序；

在上述树形结构中，可定向确定每一树形结构对应的包含与被包含关系，跳蚤模型则是基于该包含与被包含关系，通过指针的方式在矩阵式原始数据组中定向“挑选”数据从而组合成新的数据组，其指针并不是依次按顺序指向原始数据组中的每一个数据，而是“跳变”式，按照树形结构的关系来定向指向不同的数据。

S105、所述DTS基于所述跳蚤模型的排序规则，按序存储所述GIS、BIM和IoT数据，并基于不同的时间生成矩阵式存储数据组；

该方法具体如下：

依次存储T0时刻的第一GIS数据、至少一个第一BIM数据、至少一个第一IoT数据、第二GIS数据、至少一个第二BIM数据、至少一个第二IoT数据、第M个GIS数据、第M个BIM数据、第M个IoT数据，生成T0时刻的存储数据组，其中M为大于等于2的自然数；

依次存储T1时刻的第一GIS数据、至少一个第一BIM数据、至少一个第一IoT数据、第二GIS数据、至少一个第二BIM数据、至少一个第二IoT数据、第M个GIS数据、第M个BIM数据、第M个IoT数据，生成T1时刻的存储数据组；

依次存储T_n-1时刻的第一GIS数据、至少一个第一BIM数据、至少一个第一IoT数据、第二GIS数据、至少一个第二BIM数据、至少一个第二IoT数据、第M个GIS数据、第M个BIM数据、第M个IoT数据，生成T_n-1时刻的存储数据组，其中N为大于1的自然数；

将上述不同时刻的存储数据组存储为矩阵式存储数据组，其中，第一GIS数据、至少一个第一BIM数据、至少一个第一IoT数据具备同一地区属性，第二GIS数据、至少一个第二BIM数据、至少一个第二IoT数据具备同一地区属性，第M个GIS数据、第M个BIM数据、第M个IoT数据具备同一地区属性。

如图4所示，最终的排序结果为：

T0	a<sub>0</sub>f<sub>0</sub>g<sub>0</sub>h<sub>0</sub>	a<sub>0</sub>j<sub>0</sub>k<sub>0</sub>l<sub>0</sub>	e<sub>0</sub>b<sub>0</sub>c<sub>0</sub>	i<sub>0</sub>d<sub>0</sub>	...
						T1	a<sub>1</sub>f<sub>1</sub>g<sub>1</sub>h<sub>1</sub>	a<sub>1</sub>j<sub>1</sub>k<sub>1</sub>l<sub>1</sub>	e<sub>1</sub>b<sub>1</sub>c<sub>1</sub>	i<sub>1</sub>d<sub>1</sub>	...
T2	a<sub>2</sub>f<sub>2</sub>g<sub>2</sub>h<sub>2</sub>	a<sub>2</sub>j<sub>2</sub>k<sub>2</sub>l<sub>2</sub>	e<sub>2</sub>b<sub>2</sub>c<sub>2</sub>	i<sub>2</sub>d<sub>2</sub>	...
						...	...	...	...	...	...

即，T0时刻，新的数据组依次为a₀f₀g₀h₀，a₀j₀k₀l₀，e₀b₀c₀，i₀d₀，即，按照同一时刻，同一地区来进行生成一张数据表，按照上例所述的树形结构关系，A,F,G,H,K,L为具备同一地区属性(key)的数据，因此，按照上述方式的存储关系，若城市决策者需要看该地区的所有城市数据，只需要通过该数据表依次调取其相关数据即可，而无需多次查询和抽取，节约时间，提升效率。

S106、所述DTS将所述矩阵式存储数据组发送至核心层，以使所述核心层进行所述数据组的存储操作。

其中，在所述DTS将所述矩阵式存储数据组发送至核心层之前，还可以对矩阵式存储数据组进行数据压缩，以便降低存储量，具体如下：

若所述GIS数据、BIM数据或IoT数据中任一种数据大小超过预设阈值时，将所述超过预设阈值的数据进行自压缩。自压缩具体可以为：所述超过预设阈值的数据包括T0时刻的第一数据，T1时刻的第二数据和T_n-1时刻的第N数据；

以所述T0时刻的第一数据为基准，依次计算出不同时刻与T0时刻的数据差值△T，所述数据差值的数据大小小于上述任一时刻的任一数据；

依次保存T0时刻的第一数据以及所述不同时刻与T0时刻的数据差值△T，所述保存后的数据为自压缩后的数据。以a₀a₁a₂为例，a₀为基准数据，a₁和a₂的数据格式与长度与基准数据相同，类型相同，因此只需要通过基准数据+△a₁的方式即可计算出a₁，其中，△a₁为a₁和a₀的差值。同理，a2＝a0+△a2。那么在△a本身数据量a0的情况下，只需要将△a1替换掉a₁，即可有效降低存储量。

可选地，在所述DTS将所述矩阵式存储数据组发送至核心层之前，所述方法还包括：

按照所述GIS数据、BIM数据或IoT数据不同时刻的数据变化率，设置自适应采样率；

通过所述自适应采样率对所述矩阵式存储数据组进行采样，并生成采样后的矩阵式存储数据组，以使所述核心层保存所述矩阵式存储数据组。在本发明实施例中，由于实际场景不同，GIS数据、BIM数据或IoT数据的数据变化率不相同，GIS数据可能1个小时更新一次，且数据变化量小到可以忽略，而BIM可能1小时更新2次，数据变化率适中，IoT数据可能1个小时更新5次以上，其数据变化较大，那么不同时刻采集到的GIS数据，只需要存储其中一个时刻的GIS数据即可，其他时刻的GIS数据与该时刻的GIS数据相比数据变化小，可丢弃，无需存储，因此，可设置采样率，在上报的数据中按照每几个小时的采样率采样一次，保留一个样本数据，而其他时刻的GIS数据(与样本数据相比区别可以忽略)完全可以用该样本数据来代替，例如，a₀a₁a₂..a_n-1,只需要采集1个数据，例如a₅，即可代替a₀-a₄,a₆-a_n-1.同理，BIM数据，IoT可设置不同的采样率，将样本数据替代其余时刻的数据，对于数据存储而言，只需要存储一个样本数据，而无需全部时刻的数据都需要存储，可有效降低数据存储量。

以上上述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (5)

1.一种应用于智慧城市的多源异构数据存储方法，其特征在于，包括：

数据传输单元DTS采集多个终端设备上传的数据，所述数据类型包括物联网IoT数据、地理信息系统GIS数据和建筑信息模型BIM数据，且上述数据均包含时间属性和地区属性，所述多个终端设备采用多源异构网络进行组网，所述DTS处于数据汇聚层；

所述DTS将所述采集到的数据按照不同数据类型进行分组及数据清洗，生成矩阵式原始数据组；

所述DTS将所述原始数据组按照地区属性进行关联关系排序，生成树形关系图，其中，在所述树形关系图中，GIS数据为根节点，BIM数据为父节点，IoT数据为子节点，且同一树形结构中的GIS数据、BIM数据和IoT数据具备同一地区属性；

根据所述树形关系图的指向关系，生成跳蚤模型，所述跳蚤模型用于根据所述树形结构的指向关系重新对上述不同类型数据进行排序；

所述DTS基于所述跳蚤模型的排序规则，按序存储所述GIS、BIM和IoT数据，并基于不同的时间生成矩阵式存储数据组；

所述DTS将所述矩阵式存储数据组发送至核心层，以使所述核心层进行所述数据组的存储操作。

2.根据权利要求1所述的方法，其特征在于，所述DTS基于所述跳蚤模型的排序规则，按序存储所述GIS、BIM和IoT数据，并基于不同的时间生成矩阵式存储数据组，包括：

依次存储T0时刻的第一GIS数据、至少一个第一BIM数据、至少一个第一IoT数据、第二GIS数据、至少一个第二BIM数据、至少一个第二IoT数据、第M个GIS数据、第M个BIM数据、第M个IoT数据，生成T0时刻的存储数据组，其中M为大于等于2的自然数；

依次存储T1时刻的第一GIS数据、至少一个第一BIM数据、至少一个第一IoT数据、第二GIS数据、至少一个第二BIM数据、至少一个第二IoT数据、第M个GIS数据、第M个BIM数据、第M个IoT数据，生成T1时刻的存储数据组；

依次存储T_n-1时刻的第一GIS数据、至少一个第一BIM数据、至少一个第一IoT数据、第二GIS数据、至少一个第二BIM数据、至少一个第二IoT数据、第M个GIS数据、第M个BIM数据、第M个IoT数据，生成T_n-1时刻的存储数据组，其中N为大于1的自然数；

将上述不同时刻的存储数据组存储为矩阵式存储数据组，其中，第一GIS数据、至少一个第一BIM数据、至少一个第一IoT数据具备同一地区属性，第二GIS数据、至少一个第二BIM数据、至少一个第二IoT数据具备同一地区属性，第M个GIS数据、第M个BIM数据、第M个IoT数据具备同一地区属性。

3.根据权利要求1所述的方法，其特征在于，在所述DTS将所述矩阵式存储数据组发送至核心层之前，所述方法还包括：

若所述GIS数据、BIM数据或IoT数据中任一种数据大小超过预设阈值时，将所述超过预设阈值的数据进行自压缩。

4.根据权利要求3所述的方法，其特征在于，将所述超过预设阈值的数据进行自压缩，包括：

所述超过预设阈值的数据包括T0时刻的第一数据，T1时刻的第二数据和T_n-1时刻的第N数据；

以所述T0时刻的第一数据为基准，依次计算出不同时刻与T0时刻的数据差值△T，所述数据差值的数据大小小于上述任一时刻的任一数据；

依次保存T0时刻的第一数据以及所述不同时刻与T0时刻的数据差值△T，所述保存后的数据为自压缩后的数据。

5.根据权利要求1所述的方法，其特征在于，在所述DTS将所述矩阵式存储数据组发送至核心层之前，所述方法还包括：

按照所述GIS数据、BIM数据或IoT数据不同时刻的数据变化率，设置自适应采样率；

通过所述自适应采样率对所述矩阵式存储数据组进行采样，并生成采样后的矩阵式存储数据组，以使所述核心层保存所述矩阵式存储数据组。

Images