CN117115380B - 多源空间数据处理方法和系统 - Google Patents
多源空间数据处理方法和系统 Download PDFInfo
- Publication number
- CN117115380B CN117115380B CN202311377559.1A CN202311377559A CN117115380B CN 117115380 B CN117115380 B CN 117115380B CN 202311377559 A CN202311377559 A CN 202311377559A CN 117115380 B CN117115380 B CN 117115380B
- Authority
- CN
- China
- Prior art keywords
- data
- processed
- processing
- target
- preset
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims description 12
- 238000012545 processing Methods 0.000 claims abstract description 465
- 238000000034 method Methods 0.000 claims abstract description 79
- 238000003860 storage Methods 0.000 claims description 44
- 230000008859 change Effects 0.000 claims description 11
- 238000012544 monitoring process Methods 0.000 claims description 10
- 238000007781 pre-processing Methods 0.000 claims description 10
- 238000012958 reprocessing Methods 0.000 claims description 10
- 230000008569 process Effects 0.000 description 53
- 238000006243 chemical reaction Methods 0.000 description 11
- 238000007726 management method Methods 0.000 description 8
- 238000013500 data storage Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 6
- 238000002474 experimental method Methods 0.000 description 5
- 230000002776 aggregation Effects 0.000 description 4
- 238000004220 aggregation Methods 0.000 description 4
- 238000012937 correction Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000013523 data management Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000010354 integration Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004140 cleaning Methods 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000007418 data mining Methods 0.000 description 2
- 238000013501 data transformation Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000000699 topical effect Effects 0.000 description 2
- 230000004888 barrier function Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000013479 data entry Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/05—Geographic models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/54—Interprogram communication
- G06F9/546—Message passing systems or structures, e.g. queues
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Geometry (AREA)
- General Physics & Mathematics (AREA)
- Remote Sensing (AREA)
- Computer Graphics (AREA)
- General Engineering & Computer Science (AREA)
- Processing Or Creating Images (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请涉及数据处理领域,尤其涉及一种多源空间数据处理方法和系统,方法包括:获取多条待处理空间数据和多条待处理空间数据中每一条待处理空间数据对应的实际数据类型,并获取多个预设数据类型;判断全部实际数据类型中是否存在与目标预设数据类型所对应的目标实际数据类型;若是,则从多条待处理空间数据中确定出与目标实际数据类型相对应的待处理数据组;根据第一目标预设数据类型,确定与待处理数据组所对应的目标数据处理方式;根据目标处理方式对待处理数据组进行处理,以得到应用于三维地理信息系统GIS平台的处理后数据组。本申请可以更加高效地得到可用的地理空间数据。
Description
技术领域
本申请涉及数据处理的技术领域,尤其是涉及一种多源空间数据处理方法和系统。
背景技术
三维GIS平台是指基于地理信息系统(GIS,GeographicInformationSystem)技术的平台,可以用于展示、分析和处理三维地理空间数据。
一般的,三维GIS平台自数据源获取到源数据之后,其中,上述源数据为野外调查、遥感技术、传感器监测等过程中产生的数据;由于数据格式原因上述三维GIS平台无法直接使用,需要先对源数据进行处理,才能得到上述三维GIS平台可用格式的地理空间数据。
但是,上述源数据存在多种格式,技术人员需要在不同软件中对多种格式的地理空间数据源分别进行操作,才能够得到三维GIS平台可用格式的地理空间数据;转换过程繁琐且耗时较长。
故,如何通过合理配置多种地理空间数据源的转换过程,来提升转换效率是本领域技术人员亟待解决的技术问题。
发明内容
为了更加高效地得到三维GIS平台可用格式的地理空间数据,本申请提供一种多源空间数据处理方法和系统。
第一方面,本申请提供一种多源空间数据处理方法,采用如下的技术方案:
一种多源空间数据处理方法,包括:
获取多条待处理空间数据和所述多条待处理空间数据中每一条待处理空间数据对应的实际数据类型,并获取多个预设数据类型;
判断全部所述实际数据类型中是否存在与目标预设数据类型所对应的目标实际数据类型,其中,所述目标预设数据类型为所述多个预设数据类型的任一预设数据类型;若是,则从所述多条待处理空间数据中确定出与所述目标实际数据类型相对应的待处理数据组;
根据第一目标预设数据类型,确定与所述待处理数据组所对应的目标数据处理方式,其中,所述第一目标预设数据类型为所述多个预设数据类型中与所述目标实际数据类型所对应的预设数据类型;
根据所述目标处理方式对所述待处理数据组进行处理,以得到应用于三维地理信息系统GIS平台的处理后数据组。
本申请在一较佳示例中可以进一步配置为:
在根据所述目标处理方式对所述待处理数据组进行处理,以得到应用于三维地理信息系统GIS平台的处理后数据组之后,还包括:
获取数据平台对应的当前资源情况,其中,所述数据平台用于向三维GIS平台提供数据;基于所述当前资源情况,确定所述处理后数据组对应的存储方式;
当所述存储方式为等待上传时,基于所述当前资源情况,确定所述处理后数据组的预测上传时刻;
基于所述预测上传时刻,生成所述处理数据后组对应的上传指令。
本申请在一较佳示例中可以进一步配置为:
所述当前资源情况包括实时资源利用率、实时处理速度范围和实时理论上传速度,
所述基于所述当前资源情况,确定所述处理后数据组对应的存储方式,包括:
利用第二目标预设数据类型对应的预设数据处理速度模型,确定所述实时资源利用率对应的处理速度关系曲线,其中,所述预设数据处理速度模型为基于多个历史处理速度、所述多个历史处理速度对应的历史上传速度与历史资源利用率得到,所述第二目标预设数据类型为所述多个预设数据类型中的任一所述预设数据类型;
获取所述第二目标预设数据类型的待上传数据占比;
基于所述待上传数据占比和所述处理速度关系曲线,确定所述实时处理速度范围对应的允许上传速度范围;
判断所述实时理论上传速度是否与所述允许上传速度范围相匹配;
若是,则将所述存储方式确定为立即上传;若否,则将所述存储方式确定为等待上传。
本申请在一较佳示例中可以进一步配置为:
所述利用第二目标预设数据类型对应的预设数据处理速度模型,确定所述实时资源利用率对应的处理速度关系曲线,包括:
确定所述实时资源利用率对应的利用率平面;
根据所述预设数据处理速度模型与所述利用率平面,确定所述处理速度关系曲线。
本申请在一较佳示例中可以进一步配置为:
所述实际数据类型包括至少一个子数据类型,
根据第一目标预设数据类型,确定与所述待处理数据组所对应的目标数据处理方式,包括:
确定所述预设数据类型对应的预设数据处理方式;
从所述至少一个子数据类型中,确定出与目标待处理数据所对应的目标子数据类型,其中,所述目标待处理数据为所述待处理数据组中的任一待处理数据;
确定所述目标子数据类型对应的预设模板更改信息,并基于所述预设模板更改信息更新所述预设数据处理方式,得到子目标数据处理方式;
将全部所述目标子数据类型中每一所述目标子数据类型对应的所述子目标数据处理方式,作为所述目标数据处理方式。
本申请在一较佳示例中可以进一步配置为:
所述实际数据类型还包括所述待处理空间数据对应的上传优先等级、处理优先等级与数据入库时刻,
根据所述目标处理方式对所述待处理数据组进行处理,以得到应用于三维GIS平台的处理后数据组,包括:
根据目标待处理空间数据对应的目标处理优先等级和所述数据入库时刻进行计算,得到处理优先分值,其中,所述目标待处理空间数据为所述待处理数据组中的任一所述待处理空间数据;并基于全部所述目标待处理空间数据中每一所述目标待处理空间数据对应的所述处理优先分值,得到所述待处理数据组对应的待处理任务队列;
基于所述目标数据处理方式,按顺序对所述待处理任务队列中的每一所述待处理空间数据进行数据处理,得到所述处理后数据组;
根据目标待处理空间数据对应的目标上传优先等级、所述处理优先分值和目标数据入库时刻进行计算,得到所述待处理数据组对应的待上传任务队列;
基于所述目标数据处理方式,按顺序将所述待上传任务队列中的每一所述待处理空间数据进行数据上传至云端。
本申请在一较佳示例中可以进一步配置为:
基于所述目标数据处理方式,对所述待处理数据组进行数据处理,得到能够应用于三维GIS平台的处理后数据组,包括:
基于所述目标数据处理方式,对所述待处理数据组进行数据处理,并实时生成处理日志;
监测所述处理日志中是否存在错误处理信息;
若存在,则重新处理所述待处理数据组,生成新的处理日志,并监测所述新的处理日志中是否存在错误处理信息,直至得到所述处理后数据组;
若不存在,则继续处理直至得到所述处理后数据组。
本申请在一较佳示例中可以进一步配置为:
多个所述预设数据类型至少包括BIM空间数据类型,
基于所述目标数据处理方式,对所述待处理数据组进行数据处理,得到能够应用于三维GIS平台的处理后数据组之后,还包括:
当所述预设数据类型为所述BIM空间数据类型时,将所述处理后数据组存储至sqlite文件数据库;
当检测到BIM空间数据的BIM使用请求时,基于所述BIM使用请求,对所述sqlite文件数据库中存储的所述处理后数据组中的处理后数据进行提取。
本申请在一较佳示例中可以进一步配置为:
将所述处理后数据组存储至sqlite文件数据库之后,还包括:
当接收到个性化处理前置条件时,对所述sqlite文件数据库中的处理后数据组进行前置处理,得到新的处理后数据组;
当检测到BIM空间数据的BIM使用请求时,基于所述BIM使用请求,对所述sqlite文件数据库中存储的全部所述处理后数据组进行使用,包括:
当检测到BIM空间数据的BIM使用请求时,基于所述BIM使用请求,对所述sqlite文件数据库中存储的全部所述新的处理后数据组进行使用。
第二方面,本申请提供一种多源空间数据处理系统,采用如下的技术方案:
一种多源空间数据处理系统,包括:
待处理数据获取模块,用于获取多条待处理空间数据和所述多条待处理空间数据中每一条待处理空间数据对应的实际数据类型,并获取多个预设数据类型;
待处理数据组确定模块,用于判断全部所述实际数据类型中是否存在与目标预设数据类型所对应的目标实际数据类型,其中,所述目标预设数据类型为所述多个预设数据类型的任一预设数据类型;若是,则从所述多条待处理空间数据中确定出与所述目标实际数据类型相对应的待处理数据组;
数据处理方式确定模块,用于根据第一目标预设数据类型,确定与所述待处理数据组所对应的目标数据处理方式,其中,所述第一目标预设数据类型为所述多个预设数据类型中与所述目标实际数据类型所对应的预设数据类型;
数据处理模块,用于根据所述目标处理方式对所述待处理数据组进行处理,以得到应用于三维地理信息系统GIS平台的处理后数据组。
综上所述,本申请至少包括以下有益技术效果:
相较于相关技术中技术人员需要在不同软件中对多种格式的地理空间数据源分别进行操作,技术人员只需要将源数据输入本方案对应的系统中,系统就可以自动获取多条待处理空间数据和多条待处理空间数据各自对应的实际数据类型,以获取上述三维GIS平台的源数据和每一条源数据对应的平台不可用的格式;判断全部实际数据类型中是否存在与目标预设数据类型所对应的目标实际数据类型,以判断该预设数据类型是否需要进行数据处理;当确定该预设数据类型需要进行数据处理时,从多条待处理空间数据中确定出与目标实际数据类型相对应的待处理数据组,以对不同平台不可用格式的数据进行分组;根据第一目标预设数据类型,以确定与待处理数据组所对应的目标数据处理方式;利用该不可用格式适用的数据处理方式,对待处理数据组进行数据处理,以通过合理配置多种地理空间数据源的转换过程,来提升转换效率,可以更加高效地得到三维GIS平台可用格式的地理空间数据。
附图说明
图1为本申请实施例提供的一种多源空间数据处理方法的应用场景。
图2为本申请实施例提供的一种多源空间数据处理方法的流程示意图。
图3为本申请实施例提供的一种预设数据处理速度模型的示意图。
图4为本申请实施例提供的一种面面相交示意图。
图5为本申请实施例提供的一种曲线段的示意图。
图6为本申请实施例提供的一种多源空间数据处理系统的结构示意图。
图7为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
以下结合附图1至附图7对本申请作进一步详细说明。
本具体实施例仅仅是对本申请的解释,其并不是对本申请的限制,本领域技术人员在阅读完本说明书后可以根据需要对本实施例做出没有创造性贡献的修改,但只要在本申请的范围内都受到专利法的保护。
为使本申请实施例的目的、技术方案和优点更加清楚,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
另外,本文中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中字符“/”,如无特殊说明,一般表示前后关联对象是一种“或”的关系。
下面结合说明书附图对本申请实施例作进一步详细描述。
传统数据治理工具大多采用多个单一软件对数据逐个进行清洗,格式转换及切片等,处理效率低且人力投入大;人员在软件上的学习成本和人作业效率不同等还存在一定问题。无法对原始数据及处理后的数据进行有效聚合管理。
针对以上问题,本申请通过采用空间ETL技术,整合多类数据处理的流程,优化数据处理流程和精度,根据既定的解析规则实现对上述多源异构数据的解析处理,并将处理后的数据发送到数据平台进行整合,从而实现数据的批量化、标准化处理,达到数据成果的智能化管理,从而实现多源空间数据的共享交换。
本申请实施例提供了一种多源空间数据处理方法,由电子设备执行,该电子设备可以为服务器也可以为终端设备,其中,该服务器可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云计算服务的云服务器。终端设备可以是智能手机、平板电脑、笔记本电脑、台式计算机等,但并不局限于此,该终端设备以及服务器可以通过有线或无线通信方式进行直接或间接地连接,本申请实施例在此不做限制。
如图1所示,用户自任一用户端上传原数据和与原数据对应的其他信息,其中,上述用户端可以为在线用户端或离线用户端,需要了解的是,在线用户端通常通过Web浏览器访问应用程序,离线用户端则是通过桌面应用程序、移动应用程序等方式访问应用程序;用户端处理原数据与原数据对应的其他信息得到待处理空间数据,并将上述待处理空间数据发送至电子设备;电子设备在接收到上述待处理空间数据后,对上述待处理空间数据进行处理,得到可以应用于三维GIS平台的格式的处理后数据。
进一步的,当处理后数据需要上传至云端存储时,电子设备将处理后数据发送至云端存储。
如图2所示,该方法包括步骤S101至步骤S104,其中:
步骤S101:获取多条待处理空间数据和多条待处理空间数据中每一条待处理空间数据对应的实际数据类型,并获取多个预设数据类型。
其中,待处理空间数据可以为二维数据或三维模型数据;二维数据可以为地形、影像或专题数据,其中,专题数据为针对某一特定领域或主题的数据,例如健康数据、消费数据、交通数据、环境数据等;三维数据为点云数据、倾斜摄影模型数据或BIM模型数据等其他三维模型数据,其中,倾斜摄影模型数据为通过倾斜摄影技术获取的倾斜三维模型数据。
具体的,用户端在接收到用户上传的多条原数据后,对每一原数据进行数据类型识别,得到每一原数据对应的数据类型,其中,数据类型可以为GIS数据或模型类数据,模型类数据可以为BIM模型数据、倾斜模型数据或点云模型数据;针对每一原数据,将该原数据作为待处理空间数据。
进一步的,用户端在接收用户端上传的多条原数据时,同时获取上述多条原数据对应的上传优先级、处理优先级和数据入库时刻,其中,数据入库时刻表征用户上传上述多条原数据的时间,处理优先级表征电子设备将待处理空间数据处理得到处理后数据的处理过程中的优先级,上传优先级指的是电子设备将处理后数据上传至云端的优先级。针对每一待处理空间数据,在识别得到该待处理空间数据对应的数据类型后,将该待处理空间数据对应的数据类型、其对应的源数据对应的上传优先级、处理优先级和数据入库时刻,作为该待处理空间数据对应的实际数据类型。
其中,上述多个预设数据类型可以包括GIS数据和上述模型类数据中的三种模型数据。
步骤S102:判断全部实际数据类型中是否存在与目标预设数据类型所对应的目标实际数据类型,其中,目标预设数据类型为多个预设数据类型的任一预设数据类型;若是,则从多条待处理空间数据中确定出与目标实际数据类型相对应的待处理数据组。
可以理解的是,若是,则表示目标预设数据类型存在对应的待处理空间数据,目标预设数据类型对应的待处理空间数据需要进行数据处理过程;若否,则表示目标预设数据类型不存在对应的待处理空间数据,无需进行数据处理。
其中,目标预设数据类型对应的待处理数据组包括目标预设数据类型对应的至少一条待处理空间数据。
步骤S103:根据第一目标预设数据类型,确定与待处理数据组所对应的目标数据处理方式,其中,第一目标预设数据类型为多个预设数据类型中与目标实际数据类型所对应的预设数据类型。
目前各类空间数据格式多样,质量参差不齐,格式、质量、数量不一,缺乏统一的有效管理机制。为提升数据治理能力,本方案通过为不同数据类型的待处理空间数据确定对应的数据处理方式,来打破“数据烟囱”,消除“信息壁垒”。
其中,目标数据处理方式至少包括输入项、处理参数和输出项,输入项为预设数据类型对应的待处理空间数据的存储位置对应的存储位置信息,输出项为预设数据类型对应的处理后数据的存储位置对应的存储位置信息,本申请实施例不再对上述存储位置信息具体限定,能够表示存储位置即可。
步骤S104:根据目标处理方式对待处理数据组进行处理,以得到应用于三维地理信息系统GIS平台的处理后数据组。
其中,在本申请实施例后续内容中将上述三维地理信息系统GIS平台,简写为三维GIS平台。处理后数据组包括至少一条处理后数据。本申请实施例不再对上述处理后数据组进行具体限定,能够应用于三维GIS平台即可。
具体的,当目标数据处理方式对应的第一目标预设数据类型为GIS数据时,对上述目标数据处理方式对应的待处理数据组,提供地形切片、影像切片、矢量化、实例模型等方式进行数据处理,得到矢量数据切片,其中,上述矢量数据切片支持单张去除影像黑边和地形塌陷,以实现多精度地形自动融合。
当目标数据处理方式对应的第一目标预设数据类型为模型类数据中的BIM模型数据时,当预设数据类型为BIM空间数据类型时,将处理后数据组存储至sqlite文件数据库;当检测到BIM空间数据的BIM使用请求时,基于BIM使用请求,对sqlite文件数据库中存储的处理后数据组中的处理后数据进行提取。
当目标数据处理方式对应的第一目标预设数据类型为模型类数据中的倾斜模型数据时,电子设备支持Tile、Model两种模式的数据处理方式,其中,上述数据处理方式均采用顶层重建、索引生成、顶点压缩、纹理样式、渲染效果等参数进行处理,且,可实现PC端、移动端等不同浏览器模式下的纹理压缩。Tile和Model都是GIS中常见的数据组织方式,其中Tile即瓦片,是指将一定范围内的地图按照一定的尺寸和格式,按缩放级别或者比例尺,切成若干行和列的正方形栅格图片。Model指的是模型,即将GIS数据分割成一给个的小的立体模型。
在本申请实施例中,相较于相关技术中技术人员需要在不同软件中对多种格式的地理空间数据源分别进行操作,技术人员只需要将源数据输入本方案对应的系统中,系统就可以自动获取多条待处理空间数据和多条待处理空间数据各自对应的实际数据类型,以获取上述三维GIS平台的源数据和每一条源数据对应的平台不可用的格式;判断全部实际数据类型中是否存在与目标预设数据类型所对应的目标实际数据类型,以判断该预设数据类型是否需要进行数据处理;当确定该预设数据类型需要进行数据处理时,从多条待处理空间数据中确定出与目标实际数据类型相对应的待处理数据组,以对不同平台不可用格式的数据进行分组;根据第一目标预设数据类型,以确定与待处理数据组所对应的目标数据处理方式;利用该不可用格式适用的数据处理方式,对待处理数据组进行数据处理,以通过合理配置多种地理空间数据源的转换过程,来提升转换效率,可以更加高效地得到三维GIS平台可用格式的地理空间数据。
本申请实施例的一种可能的实现方式,在步骤S104之后,还可以包括:
获取数据平台对应的当前资源情况,其中,数据平台用于向三维GIS平台提供数据;基于当前资源情况,确定处理后数据组对应的存储方式;
当存储方式为等待上传时,基于当前资源情况,确定处理后数据组的预测上传时刻;
基于预测上传时刻,生成处理数据后组对应的上传指令。
可以理解的是,在得到处理后数据后,处理后数据需要存放至指定位置才能够被正常调用。电子设备对于数据的处理包括数据处理过程和数据上传过程两个过程,其中,数据处理过程为将待处理空间数据处理得到处理后数据的过程,数据上传过程指的是将处理后数据上传至云端或本地数据库的过程。且,由于数据处理过程是数据上传过程的前提;当数据上传过程占用电子设备过多资源时,会影响数据处理过程的速度。故,本方案通过为数据上传过程确定合适的上传时机,从而保障数据处理过程的速度。
其中,当前资源情况为电子设备的资源占用情况,至少可以包括电子设备的实时处理速度。实时处理速度为单位时间内电子设备将实时的将待处理空间数据处理并得到目标数据包的数量;目标数据包为包括预设数据量的处理后数据的数据包,预设数据量与处理后数据对应的预设数据类型对应,即每一预设数据类型对应唯一预设数据量,上述预设数据量可由技术人员预先设定并存储于电子设备中;单位时间由电子设备用来上传数据包的网络带宽的单位限定,例如,网络带宽单位为bps(又称为比特率,bitpersecond,每秒多少比特)时,单位时间为1秒。存储方式可以为等待上传或立即上传。
基于当前资源情况,确定处理后数据组的预测上传时刻,具体可以包括:获取该预设数据类型对应的全部待处理空间数据的待处理数据量;基于预设数据处理比例,计算得到理论处理后数据量,其中,理论处理后数据量=待处理数据量×预设数据处理比例,预设数据处理比例为一定数据量的待处理空间数据和上述一定数据量的待处理空间数据处理得到处理后数据的数据量之间的比值,预设数据处理比例能够基于预设数据类型对应的历史待处理数据量和历史处理后数据量得到;确定目标预设数据量,其中,目标预设数据量为该预设数据类型对应的预设数据量;根据目标预设数据量、实时处理速度和理论处理后数据量,利用处理时长计算公式,得到预设数据类型对应的处理时长,其中,处理时长计算公式为:,T为处理时长,N为理论处理后数据量,n为目标预设数据量,/>为实时处理速度;确定当前时刻,并将当前时刻之后且与当前时刻相距处理时长的时刻,确定为预测上传时刻。
基于预测上传时刻,生成处理后数据组对应的上传指令,具体可以包括:基于预测上传时刻,生成处理后数据组对应的上传指令,以使电子设备在上述预测上传时刻将该预设数据类型对应的处理后数据上传至对应位置,其中,上述对应位置可由用户上传需求确定,即当电子设备检测到用户本地上传指令时将对应位置确定为本地磁盘,反之,则将对应位置确定为云端。
进一步的,获取预设数据处理比例,具体可以包括:获取历史待处理数据量和历史处理后数据量,其中,历史待处理数据量为一定数据量的历史待处理空间数据的数据量,历史处理后数据量为上述一定数据量的待处理空间数据处理得到处理后数据的数据量;预设数据处理比例=历史处理后数据量÷历史待处理数据量。
在本申请实施例中,通过基于当前资源情况,确定处理后数据组合适的存储方式,避免数据上传过程占用电子设备过多资源时,会影响数据处理过程的速度,从而保障数据处理过程的速度;进一步的,基于当前资源情况,确定处理后数据组的预测上传时刻后,基于预测上传时刻,生成处理后数据组对应的上传指令,能够进一步保障数据处理过程的速度不受数据上传过程影响。
本申请实施例的一种可能的实现方式,基于当前资源情况,确定处理后数据组对应的存储方式,具体可以包括:
利用第二目标预设数据类型对应的预设数据处理速度模型,确定实时资源利用率对应的处理速度关系曲线,其中,预设数据处理速度模型为基于多个历史处理速度、多个历史处理速度对应的历史上传速度与历史资源利用率得到,第二目标预设数据类型为多个预设数据类型中的任一预设数据类型;
获取第二目标预设数据类型的待上传数据占比;
基于待上传数据占比和处理速度关系曲线,确定实时处理速度范围对应的允许上传速度范围;
判断实时理论上传速度是否与允许上传速度范围相匹配;
若是,则将存储方式确定为立即上传;若否,则将存储方式确定为等待上传。
其中,当前资源情况可以包括实时资源利用率、实时处理速度范围和实时理论上传速度。实时资源利用率为电子设备实时的CPU占用比例。实时处理速度范围为由预设时间内最小的实时处理速度和最大的实时处理速度限定的区间范围,其中,预设时间由技术人员预先设定并存储于电子设备中。实时理论上传速度为单位时间电子设备理论上能够上传至云端的目标数据包的数量。
获取实时理论上传速度,具体可以包括:确定目标预设数据类型对应的预设数据量,其中,上述目标预设数据类型为上述多个预设数据类型中的每一预设数据类型;获取实时的网络带宽;基于上述预设数据量和实时的网络带宽,计算得到上述目标预设数据类型对应的实时理论上传速度,其中,实时理论上传速度=实时的网络带宽÷预设数据量。
获取目标预设数据类型的待上传数据占比,具体可以包括:获取目标预设数据类型的待上传数据量;基于全部待上传数据量进行占比计算,得到目标预设数据类型的待上传数据占比。
在步骤S101之前,还可以包括:基于多个历史处理速度和多个历史处理速度各自对应的历史上传速度与历史资源利用率,得到预设数据处理速度模型。
上述基于多个历史处理速度和多个历史处理速度各自对应的历史上传速度与历史资源利用率,得到预设数据处理速度模型,具体可以包括:获取多个历史处理速度和多个历史处理速度各自对应的历史上传速度与历史资源利用率;将多个历史处理速度和多个历史处理速度各自对应的历史上传速度与历史资源利用率,放入以处理速度、上传速度和资源利用率为坐标轴的坐标系中,得到带有数据点的初始数据处理速度模型,其中,多个历史处理速度和多个历史处理速度各自对应的历史上传速度与历史资源利用率可由技术人员经过大量实验获得;对上述初始数据处理速度模型进行拟合,得到上述预设数据处理速度模型。如图3所示,曲面A为上述预设数据处理速度模型,坐标轴为处理速度对应的坐标轴,坐标轴/>为上传速度对应的坐标轴,坐标轴/>为资源利用率对应的坐标轴,平面s为平面。
进一步的,对上述初始数据处理速度模型进行拟合,得到上述预设数据处理速度模型,具体可以包括:对上述初始数据处理速度模型进行拟合,得到处理前数据处理速度模型;确定上述处理前数据处理速度模型中,资源利用率每一具体数值对应的初始处理速度关系曲线;判断目标初始处理速度关系曲线中是否存在关于上传速度的极值点,其中,目标初始处理速度关系曲线为全部初始处理速度关系曲线中的每一初始处理速度关系曲线;若否,则将目标初始处理速度关系曲线作为处理速度关系曲线;若是,则确定目标初始处理速度关系曲线中的极值点对应的历史处理速度,并基于上述极值点对应的历史处理速度与资源利用率,重新通过实验获取预设实验次数的新上传速度,其中,预设实验次数可由技术人员预先设定并存储于电子设备中;确定预设实验次数的新上传速度的中位数,并将上述中位数替换极值点对应的历史处理速度,以得到新的多个历史处理速度和多个历史处理速度各自对应的历史上传速度与历史资源利用率;重新基于新的多个历史处理速度和多个历史处理速度各自对应的历史上传速度与历史资源利用率,得到预设数据处理速度模型。
利用目标预设数据类型对应的预设数据处理速度模型,确定实时资源利用率对应的处理速度关系曲线,具体可以包括:在多个数据处理速度模型中,确定目标预设数据类型对应的预设数据处理速度模型;利用目标预设数据类型对应的预设数据处理速度模型,确定实时资源利用率对应的利用率平面;基于上述实时资源利用率平面与预设数据处理速度模型,确定上述处理速度关系曲线,其中,处理速度关系曲线表征处理速度与上传速度之间的曲线关系。
利用率平面可记作,/>为实时资源利用率;上述处理速度关系曲线为预设数据处理速度模型与上述利用率平面的交线,上述处理速度关系曲线可以记作。
如图4所示,确定曲面A与平面的交线,并将上述交线确定为/>,其中,曲面A为预设数据处理速度模型,平面/>为利用率平面,交线/>为处理速度关系曲线;如图5所示,实时资源利用率/>对应的处理速度关系曲线为/>。
基于待上传数据占比和处理速度关系曲线,确定实时处理速度范围对应的允许上传速度范围,具体可以包括:将目标预设数据类型对应的处理速度关系曲线缩小至上述待上传数据占比,得到目标处理速度关系曲线,其中,处理速度关系曲线中每一点的上传速度乘以待上传数据占比;将全部目标处理速度关系曲线叠加,得到最终处理速度关系曲线,其中,针对每一处理速度,最终处理速度关系曲线中该点对应的上传速度为全部目标处理速度关系曲线该点各自对应的上传速度之和;在上述最终处理速度关系曲线中确定实时处理速度范围对应的曲线段;基于上述曲线段,确定曲线段对应的上传速度的最大值与最小值,即确定上述曲线段对应的最大上传速度与最小上传速度;基于上述最大上传速度与最小上传速度,确定上述允许上传速度范围,其中,上述允许上传速度范围为在电子设备的资源利用率为上述实时资源利用率时,不对处理速度产生影响的上传速度的范围,且,上述上传速度范围对应的区间左端点与区间右端点分别为上述最小上传速度与上述最大上传速度。
如图5所示,在曲线上,确定/>对应的曲线段/>,曲线段/>对应的上传速度的最大值与最小值分别为/>和/>,得到区间,其中,曲线/>为处理速度关系曲线,为实时处理速度范围,曲线段/>为上述曲线段,/>为最大上传速度,/>为最小上传速度,区间/>为允许上传速度范围。
可以理解的是,当上述实时理论上传速度在上述允许上传速度范围内时,表征按实时理论上传速度上传数据不会影响按实时处理速度处理数据,可以立即进行上传过程;当上述实时理论上传速度不再上述允许上传速度范围内时,表征按实时理论上传速度上传数据会影响按实时处理速度处理数据的过程,不能够立即进行上传过程。
在本申请实施例中,利用目标预设数据类型对应的预设数据处理速度模型,确定实时资源利用率对应的处理速度关系曲线,以确定在电子设备被占用实时资源利用率的资源时上传速度和处理速度之间的对应关系;获取目标预设数据类型的待上传数据占比,以确定各预设数据类型的待上传数据比例;在实时资源利用率的资源时上传速度和处理速度之间的对应关系中,基于待上传数据比例,确定实时处理速度范围对应的允许上传速度范围,以确定不影响按实时处理速度范围中任一处理速度进行数据处理的处理过程的上传速度;判断实时理论上传速度是否在允许上传速度范围中,以确定实时理论上传速度是否影响上述处理过程;当确定上传过程不影响处理过程的处理速度时,将存储方式确定为立即上传以在保障处理速度的前提下提升处理后数据的实时性;当确定上传过程影响处理过程的处理速度时,将存储方式确定为等待上传,以保障处理过程的处理速度,从而通过降低处理过程被影响的概率来提升处理过程的效率。
实际数据类型包括至少一个子数据类型,本申请实施例的一种可能的实现方式,步骤S103,具体可以包括:
确定预设数据类型对应的预设数据处理方式;
从至少一个子数据类型中,确定出与目标待处理数据所对应的目标子数据类型,其中,目标待处理数据为待处理数据组中的任一待处理数据;
确定目标子数据类型对应的预设模板更改信息,并基于预设模板更改信息更新预设数据处理方式,得到子目标数据处理方式;
将全部目标子数据类型中每一目标子数据类型对应的子目标数据处理方式,作为目标数据处理方式。
其中,预设数据处理方式包括预设输入项、预设输出项和预设处理参数,上述预设输入项、上述预设输出项和上述预设处理参数均由技术人员预先设定并存储于电子设备中。目标子数据类型为上述多个子类型数据中存在对应的至少一条待处理空间数据的子数据类型。
可以理解的是,同一类数据的处理逻辑相同,但是同一类数据中包括的子类数据的处理细节可能存在不同;当子类数据均使用同一种处理细节进行处理时,可能处理细节中的部分内容并不适用于该子类数据的处理过程,从而导致处理速度减缓,不利于快速、高效地得到处理后数据。故,本申请通过为每一子类数据确定合适的数据处理方式,以提升子类数据的处理效率。
确定目标子数据类型对应的预设模板更改信息,具体可以包括:根据预设的子数据类型与预设模板更改信息的对应关系和上述目标子数据类型,确定目标子数据类型对应的预设模板更改信息,其中,预设的子数据类型与预设模板更改信息的对应关系可由技术人员预先设定并存储于电子设备中,预设模板更改信息表征在预设数据处理方式中需要更改的内容与上述需要更改内容对应的标签,上述需要更改的内容可以为预设输入项、预设输出项和/或预设处理参数,上述需要更改内容对应的标签能够表征上述需要更改内容即可,本申请实施例不再具体限定。
基于预设模板更改信息更新预设数据处理方式,得到子目标数据处理方式,具体可以包括:基于全部需要更改内容对应的标签,确定全部待更改内容,其中,每一待更改内容对应的标签与唯一需要更改内容对应的标签相同;针对每一待更改内容对应的标签,将该待更改内容对应的标签对应的待更改内容替换为需要更改的内容;将检测到全部待更改内容均被替换为需要更改的内容时,确认得到上述子目标数据处理方式。
在本申请实施例中,确定预设数据类型对应的预设数据处理方式,以确定该预设数据类型对应的通用数据处理方式;从至少一个子数据类型中,确定出与目标待处理数据所对应的目标子数据类型,以确定待处理数据组中存在的子数据类型,即需要参与处理过程的自数据类型;针对每一目标子数据类型,确定目标子数据类型对应的预设模板更改信息,并基于预设模板更改信息更新预设数据处理方式,得到子目标数据处理方式,将每一预设数据处理方式更新为更加适用于目标子数据类型的子目标数据处理方式;再将全部更加适用于目标子数据类型的子目标数据处理方式,作为目标数据处理方式,来为该预设数据类型确定更加合适的数据处理方式,以提升数据处理速度。
实际数据类型还包括待处理空间数据对应的上传优先等级、处理优先等级与数据入库时刻,本申请实施例的一种可能的实现方式,步骤S104,根据目标处理方式对待处理数据组进行处理,以得到应用于三维GIS平台的处理后数据组,具体可以包括:
根据目标待处理空间数据对应的目标处理优先等级和数据入库时刻进行计算,得到处理优先分值,其中,目标待处理空间数据为待处理数据组中的任一待处理空间数据;并基于全部目标待处理空间数据中每一目标待处理空间数据对应的处理优先分值,得到待处理数据组对应的待处理任务队列;
基于目标数据处理方式,按顺序对待处理任务队列中的每一待处理空间数据进行数据处理,得到处理后数据组;
根据目标待处理空间数据对应的目标上传优先等级、处理优先分值和目标数据入库时刻进行计算,得到待处理数据组对应的待上传任务队列;
基于目标数据处理方式,按顺序将待上传任务队列中的每一待处理空间数据进行数据上传至云端。
其中,目标处理优先等级为目标待处理空间数据对应的实际数据类型对应的处理优先等级;目标上传优先等级为目标待处理空间数据对应的实际数据类型对应的上传优先等级;目标数据入库时刻为目标待处理空间数据对应的实际数据类型对应的数据入库时刻。
根据目标待处理空间数据对应的目标处理优先等级和数据入库时刻进行计算,得到处理优先分值,具体可以包括:根据目标待处理空间数据对应的目标处理优先等级和目标数据入库时刻进行计算,得到目标待处理空间数据对应的处理优先分值,其中,处理优先分值=处理优先等级×数据入库时刻,处理优先分值越小处理优先等级越靠前,处理优先分值,入库时间为能够表示各时刻的多位数,如,入库时刻12日13:50:12可以写作12135012,入库时刻采用24小时制;根据全部处理优先分值,从小到大排列待处理数据组中的全部待处理空间数据,得到待处理数据组对应的待处理任务队列,其中,在待处理任务队列中排名越先处理优先等级越大。
根据目标待处理空间数据对应的目标上传优先等级、处理优先分值和目标数据入库时刻进行计算,得到待处理数据组对应的待上传任务队列,具体可以包括:根据目标待处理空间数据对应的上传优先等级、处理优先分值和数据入库时刻进行计算,得到目标待处理空间数据对应的上传优先分值,其中,上传优先分值=处理优先分值×10+目标上传优先等级×目标数据入库时刻,上传优先分值越小目标上传优先等级越靠前;根据全部上传优先分值,从小到大排列处理后数据组中的全部处理后数据,得到处理后数据组对应的待上传任务队列,其中,在待上传任务队列中排名越先目标上传优先等级越大。
可以理解的是,相关技术中上传过程与处理过程中同一数据的优先级是无关的;当某一数据的处理优先级较高、上传优先级较低,则会出现该数据处理后一直被存放于本地磁盘等待上传,出现处理后数据长时间占用磁盘的现象,本方案在计算上传优先分值时加入处理优先分值,可以降低当某一数据的处理优先级较高、上传优先级较低时,该数据处理后一直被存放于本地磁盘等待上传,处理后数据长时间占用磁盘的现象。
在本申请实施例中,通过为待处理数据组中的待处理空间数据确定处理优先等级、为处理后数据组中的处理后数据确定上传优先等级,来增加上传过程和处理过程的规范性与关联性。
本申请实施例的一种可能的实现方式,步骤S104,基于目标数据处理方式,对待处理数据组进行数据处理,得到能够应用于三维GIS平台的处理后数据组,具体可以包括:
基于目标数据处理方式,对待处理数据组进行数据处理,并实时生成处理日志;
监测处理日志中是否存在错误处理信息;
若存在,则重新处理待处理数据组,生成新的处理日志,并监测新的处理日志中是否存在错误处理信息,直至得到处理后数据组;
若不存在,则继续处理直至得到处理后数据组。
重新处理待处理数据组,生成新的处理日志,并监测新的处理日志中是否存在错误处理信息,直至得到处理后数据组,具体可以包括:重新处理待处理数据组,生成新的处理日志,实时记录待处理数据组的重新处理次数,直至得到处理后数据组,或,重新处理次数达到预设重新处理次数时,基于全部错误处理信息,生成错误修正提示,其中,错误修正提示用于提示用户安装错误修正提示的内容进行修正,预设重新处理次数可由技术人员预先设定并存储于电子设备中。
在本申请实施例中,利用处理过程中产生的处理日志,在处理日志出现错误信息时,表征处理过程出现错误,利用处理日志对错误信息进行分析,得到错误原因,并基于错误原因生成错误提升,以提升处理过程的稳定性,与处理结果的准确性。
多个预设数据类型至少包括BIM空间数据类型,本申请实施例的一种可能的实现方式,在步骤S104,基于目标数据处理方式,对待处理数据组进行数据处理,得到能够应用于三维GIS平台的处理后数据组之后,还可以包括:
当预设数据类型为BIM空间数据类型时,将处理后数据组存储至sqlite文件数据库;
当检测到BIM空间数据的BIM使用请求时,基于BIM使用请求,对sqlite文件数据库中存储的处理后数据组中的处理后数据进行提取。
其中,BIM使用请求至少可以包括所需BIM数据对应的标签,上述所需BIM数据对应的标签能够表征上述所需BIM数据即可,本申请实施例不再具体限定。
需要了解的是,sqlite文件数据库支持最大140TB大小的单个数据库:每个SQLite数据库完全存储在单个磁盘文件中,以B+树数据结构的形式存储,一个数据库就是一个文件,数据在sqlite文件数据库中可以实现分布式存储,相较于其他数据库,数据存储于sqlite文件数据库调取速度更快。
在本申请实施例中,通过将是BIM空间数据的处理后数据存入sqlite文件数据库以提升处理后数据的存取过程。
本申请实施例的一种可能的实现方式,在将处理后数据组存储至sqlite文件数据库之后,还可以包括:
当接收到个性化处理前置条件时,对sqlite文件数据库中的处理后数据组进行前置处理,得到新的处理后数据组;
当检测到BIM空间数据的BIM使用请求时,基于BIM使用请求,对sqlite文件数据库中存储的全部处理后数据组进行使用,包括:
当检测到BIM空间数据的BIM使用请求时,基于BIM使用请求,对sqlite文件数据库中存储的全部新的处理后数据组进行使用。
其中,个性化处理前置条件可以包括预设前置处理方式中的一种或多种,预设前置处理方式由技术人员预先存储于电子设备中。
预设前置处理方式包括数据清理、数据集成/平滑聚集、数据变换和数据归约,其中,将多个数据源中的数据结合起来并统一存储,建立数据仓库的过程实际上就是数据集成,平滑聚集是通过平滑聚集的方式将数据转换成适用于数据挖掘的形式,数据变换是通过平滑聚集、数据概化、规范化等方式将数据转换成适用于数据挖掘的形式,数据归约是在处理大量数据的时候通过数据归约减小数据的规模。
在本申请实施例中,通过对处理后数据进行前置处理,以达到规范化的效果,易于管理。
本申请实施可由BS架构实现,即本申请公开了一种基于BS架构的多多源空间数据处理方法。可实现对原始数据的入库管理,即得到待处理空间数据;并将地形、影像、专题数据等二维数据及点云、倾斜摄影模型、BIM模型、其他三维模型等数据通过数据转换平台处理为三维GIS平台可加载的文件格式,即基于目标数据处理方式处理待处理空间数据,得到处理后数据。本申请可实现空间数据的统一抽取、清洗、分级、管理,满足多源异构数据的高效优化处理,从而达到空间数据的智慧化管理,为数据量较大且格式较多的城市级数据治理提供治理方式。
相应的,基于ETL空间处理技术,构建了多源异构数据高效处理的技术方法。本方法通过结合具体应用场景和数据需求,形成了一种多源空间数据转换处理系统,实现了数据的全流程标准化处理,解决了空间数据治理和管控的难题,至少可满足以下指标:满足多源异构数据的源数据和处理后数据的整合管理;实现多源异构数据按模板进行数据标准化处理;过数据导入,数据处理,数据存储的全流程,实现了全业务数据的流程化管理。
上述实施例从方法流程的角度介绍一种多源空间数据处理方法,下述实施例从虚拟模块或者虚拟单元的角度介绍了一种多源空间数据处理系统,具体详见下述实施例。
本申请实施例提供一种多源空间数据处理系统,如图6所示,该多源空间数据处理系统,具体可以包括:
待处理数据获取模块201,用于获取多条待处理空间数据和多条待处理空间数据中每一条待处理空间数据对应的实际数据类型,并获取多个预设数据类型;
待处理数据组确定模块202,用于判断全部实际数据类型中是否存在与目标预设数据类型所对应的目标实际数据类型,其中,目标预设数据类型为多个预设数据类型的任一预设数据类型;若是,则从多条待处理空间数据中确定出与目标实际数据类型相对应的待处理数据组;
数据处理方式确定模块203,用于根据第一目标预设数据类型,确定与待处理数据组所对应的目标数据处理方式,其中,第一目标预设数据类型为多个预设数据类型中与目标实际数据类型所对应的预设数据类型;
数据处理模块204,用于根据目标处理方式对待处理数据组进行处理,以得到应用于三维地理信息系统GIS平台的处理后数据组。
本申请实施例的一种可能的实现方式,多源空间数据处理系统,还包括:
上传方式确定模块,用于:
获取数据平台对应的当前资源情况,其中,数据平台用于向三维GIS平台提供数据;基于当前资源情况,确定处理后数据组对应的存储方式;
当存储方式为等待上传时,基于当前资源情况,确定处理后数据组的预测上传时刻;
基于预测上传时刻,生成处理数据后组对应的上传指令。
当前资源情况包括实时资源利用率、实时处理速度范围和实时理论上传速度,本申请实施例的一种可能的实现方式,上传方式确定模块,在执行基于当前资源情况,确定处理后数据组对应的存储方式时,用于:
利用第二目标预设数据类型对应的预设数据处理速度模型,确定实时资源利用率对应的处理速度关系曲线,其中,预设数据处理速度模型为基于多个历史处理速度、多个历史处理速度对应的历史上传速度与历史资源利用率得到,第二目标预设数据类型为多个预设数据类型中的任一预设数据类型;
获取第二目标预设数据类型的待上传数据占比;
基于待上传数据占比和处理速度关系曲线,确定实时处理速度范围对应的允许上传速度范围;
判断实时理论上传速度是否与允许上传速度范围相匹配;
若是,则将存储方式确定为立即上传;若否,则将存储方式确定为等待上传。
本申请实施例的一种可能的实现方式,上传方式确定模块,在执行利用第二目标预设数据类型对应的预设数据处理速度模型,确定实时资源利用率对应的处理速度关系曲线时,用于:
确定实时资源利用率对应的利用率平面;
根据预设数据处理速度模型与利用率平面,确定处理速度关系曲线。
实际数据类型包括至少一个子数据类型,本申请实施例的一种可能的实现方式,数据处理方式确定模块203,在执行根据第一目标预设数据类型,确定与待处理数据组所对应的目标数据处理方式时,用于:
确定预设数据类型对应的预设数据处理方式;
从至少一个子数据类型中,确定出与目标待处理数据所对应的目标子数据类型,其中,目标待处理数据为待处理数据组中的任一待处理数据;
确定目标子数据类型对应的预设模板更改信息,并基于预设模板更改信息更新预设数据处理方式,得到子目标数据处理方式;
将全部目标子数据类型中每一目标子数据类型对应的子目标数据处理方式,作为目标数据处理方式。
实际数据类型还包括待处理空间数据对应的上传优先等级、处理优先等级与数据入库时刻,本申请实施例的一种可能的实现方式,数据处理模块204,在执行根据目标处理方式对待处理数据组进行处理,以得到应用于三维GIS平台的处理后数据组时,用于:
根据目标待处理空间数据对应的目标处理优先等级和数据入库时刻进行计算,得到处理优先分值,其中,目标待处理空间数据为待处理数据组中的任一待处理空间数据;并基于全部目标待处理空间数据中每一目标待处理空间数据对应的处理优先分值,得到待处理数据组对应的待处理任务队列;
基于目标数据处理方式,按顺序对待处理任务队列中的每一待处理空间数据进行数据处理,得到处理后数据组;
根据目标待处理空间数据对应的目标上传优先等级、处理优先分值和目标数据入库时刻进行计算,得到待处理数据组对应的待上传任务队列;
基于目标数据处理方式,按顺序将待上传任务队列中的每一待处理空间数据进行数据上传至云端。
本申请实施例的一种可能的实现方式,数据处理模块204,在执行基于目标数据处理方式,对目标数据处理方式对应的待处理数据组进行数据处理,得到能够应用于三维GIS平台的处理后数据组时,用于:
基于目标数据处理方式,对待处理数据组进行数据处理,并实时生成处理日志;
监测处理日志中是否存在错误处理信息;
若存在,则重新处理待处理数据组,生成新的处理日志,并监测新的处理日志中是否存在错误处理信息,直至得到处理后数据组;
若不存在,则继续处理直至得到处理后数据组。
本申请实施例的一种可能的实现方式,多个预设数据类型至少包括BIM空间数据类型,多源空间数据处理系统,还包括:
数据存储模块,用于:
当预设数据类型为BIM空间数据类型时,将处理后数据组存储至sqlite文件数据库;
当检测到BIM空间数据的BIM使用请求时,基于BIM使用请求,对sqlite文件数据库中存储的处理后数据组中的处理后数据进行提取。
本申请实施例的一种可能的实现方式,数据存储模块,还包括:
前置处理模块,用于当接收到个性化处理前置条件时,对sqlite文件数据库中的处理后数据组进行前置处理,得到新的处理后数据组;
相应的,数据存储模块,在执行当检测到BIM空间数据的BIM使用请求时,基于BIM使用请求,对sqlite文件数据库中存储的全部处理后数据组进行使用时,用于:
当检测到BIM空间数据的BIM使用请求时,基于BIM使用请求,对sqlite文件数据库中存储的全部新的处理后数据组进行使用。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的一种多源空间数据处理系统的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
本申请实施例中提供了一种电子设备,如图7所示,图7所示的电子设备包括:处理器301和存储器303。其中,处理器301和存储器303相连,如通过总线302相连。可选地,电子设备还可以包括收发器304。需要说明的是,实际应用中收发器304不限于一个,该电子设备的结构并不构成对本申请实施例的限定。
处理器301可以是CPU(Central Processing Unit,中央处理器),通用处理器,DSP(Digital Signal Processor,数据信号处理器),ASIC(Application SpecificIntegrated Circuit,专用集成电路),FPGA(Field Programmable Gate Array,现场可编程门阵列)或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框,模块和电路。处理器301也可以是实现计算功能组合,例如包含一个或多个微处理器组合,DSP和微处理器的组合等。
总线302可包括一通路,在上述组件之间传送信息。总线302可以是PCI(Peripheral Component Interconnect,外设部件互连标准)总线或EISA(ExtendedIndustry Standard Architecture,扩展工业标准结构)总线等。总线302可以分为地址总线、数据总线、控制总线等。为便于表示,图7中仅用一条粗线表示,但并不表示仅有一根总线或一型的总线。
存储器303可以是ROM(Read Only Memory,只读存储器)或可存储静态信息和指令的其他类型的静态存储设备,RAM(Random Access Memory,随机存取存储器)或者可存储信息和指令的其他类型的动态存储设备,也可以是EEPROM(Electrically ErasableProgrammable Read Only Memory,电可擦可编程只读存储器)、CD-ROM(Compact DiscRead Only Memory,只读光盘)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质,但不限于此。
存储器303用于存储执行本申请方案的应用程序代码,并由处理器301来控制执行。处理器301用于执行存储器303中存储的应用程序代码,以实现前述方法实施例所示的内容。
其中,电子设备包括但不限于:移动电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。还可以为服务器等。图7示出的电子设备仅仅是一个示例,不应对本申请实施例的功能和使用范围带来任何限制。
本申请实施例提供了一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,当其在计算机上运行时,使得计算机可以执行前述方法实施例中相应内容。与相关技术相比,本申请实施例相较于相关技术中技术人员需要在不同软件中对多种格式的地理空间数据源分别进行操作,技术人员只需要将源数据输入本方案对应的系统中,系统就可以自动获取多条待处理空间数据和多条待处理空间数据各自对应的实际数据类型,以获取上述三维GIS平台的源数据和每一条源数据对应的平台不可用的格式;判断全部实际数据类型中是否存在与目标预设数据类型所对应的目标实际数据类型,以判断该预设数据类型是否需要进行数据处理;当确定该预设数据类型需要进行数据处理时,从多条待处理空间数据中确定出与目标实际数据类型相对应的待处理数据组,以对不同平台不可用格式的数据进行分组;根据第一目标预设数据类型,以确定与待处理数据组所对应的目标数据处理方式;利用该不可用格式适用的数据处理方式,对待处理数据组进行数据处理,以通过合理配置多种地理空间数据源的转换过程,来提升转换效率,可以更加高效地得到三维GIS平台可用格式的地理空间数据。
应该理解的是,虽然附图的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,其可以以其他的顺序执行。而且,附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,其执行顺序也不必然是依次进行,而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
以上仅是本申请的部分实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本申请原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本申请的保护范围。
Claims (6)
1.一种多源空间数据处理方法,其特征在于,包括:
获取多条待处理空间数据和所述多条待处理空间数据中每一条待处理空间数据对应的实际数据类型,并获取多个预设数据类型;
判断全部所述实际数据类型中是否存在与目标预设数据类型所对应的目标实际数据类型,其中,所述目标预设数据类型为所述多个预设数据类型的任一预设数据类型;若是,则从所述多条待处理空间数据中确定出与所述目标实际数据类型相对应的待处理数据组;
根据第一目标预设数据类型,确定与所述待处理数据组所对应的目标数据处理方式,其中,所述第一目标预设数据类型为所述多个预设数据类型中与所述目标实际数据类型所对应的预设数据类型;
根据所述目标数据处理方式对所述待处理数据组进行处理,以得到应用于三维地理信息系统GIS平台的处理后数据组;
在根据所述目标数据处理方式对所述待处理数据组进行处理,以得到应用于三维地理信息系统GIS平台的处理后数据组之后,还包括:
获取数据平台对应的当前资源情况,其中,所述数据平台用于向三维GIS平台提供数据;基于所述当前资源情况,确定所述处理后数据组对应的存储方式;
当所述存储方式为等待上传时,基于所述当前资源情况,确定所述处理后数据组的预测上传时刻;
基于所述预测上传时刻,生成所述处理数据后组对应的上传指令;
所述当前资源情况包括实时资源利用率、实时处理速度范围和实时理论上传速度,
所述基于所述当前资源情况,确定所述处理后数据组对应的存储方式,包括:
利用第二目标预设数据类型对应的预设数据处理速度模型,确定所述实时资源利用率对应的处理速度关系曲线,其中,所述预设数据处理速度模型为基于多个历史处理速度、所述多个历史处理速度对应的历史上传速度与历史资源利用率得到,所述第二目标预设数据类型为所述多个预设数据类型中的任一所述预设数据类型;
获取所述第二目标预设数据类型的待上传数据占比;
基于所述待上传数据占比和所述处理速度关系曲线,确定所述实时处理速度范围对应的允许上传速度范围;
判断所述实时理论上传速度是否与所述允许上传速度范围相匹配;
若是,则将所述存储方式确定为立即上传;若否,则将所述存储方式确定为等待上传;
所述利用第二目标预设数据类型对应的预设数据处理速度模型,确定所述实时资源利用率对应的处理速度关系曲线,包括:
确定所述实时资源利用率对应的利用率平面;
根据所述预设数据处理速度模型与所述利用率平面,确定所述处理速度关系曲线;
所述实际数据类型还包括所述待处理空间数据对应的上传优先等级、处理优先等级与数据入库时刻,
根据所述目标数据处理方式对所述待处理数据组进行处理,以得到应用于三维GIS平台的处理后数据组,包括:
根据目标待处理空间数据对应的目标处理优先等级和所述数据入库时刻进行计算,得到处理优先分值,其中,所述目标待处理空间数据为所述待处理数据组中的任一所述待处理空间数据;并基于全部所述目标待处理空间数据中每一所述目标待处理空间数据对应的所述处理优先分值,得到所述待处理数据组对应的待处理任务队列;
基于所述目标数据处理方式,按顺序对所述待处理任务队列中的每一所述待处理空间数据进行数据处理,得到所述处理后数据组;
根据目标待处理空间数据对应的目标上传优先等级、所述处理优先分值和目标数据入库时刻进行计算,得到所述待处理数据组对应的待上传任务队列;
基于所述目标数据处理方式,按顺序将所述待上传任务队列中的每一所述待处理空间数据进行数据上传至云端。
2.根据权利要求1所述的多源空间数据处理方法,其特征在于,所述实际数据类型包括至少一个子数据类型,
根据第一目标预设数据类型,确定与所述待处理数据组所对应的目标数据处理方式,包括:
确定所述预设数据类型对应的预设数据处理方式;
从所述至少一个子数据类型中,确定出与目标待处理数据所对应的目标子数据类型,其中,所述目标待处理数据为所述待处理数据组中的任一待处理数据;
确定所述目标子数据类型对应的预设模板更改信息,并基于所述预设模板更改信息更新所述预设数据处理方式,得到子目标数据处理方式;
将全部所述目标子数据类型中每一所述目标子数据类型对应的所述子目标数据处理方式,作为所述目标数据处理方式。
3.根据权利要求1所述的多源空间数据处理方法,其特征在于,基于所述目标数据处理方式,对所述待处理数据组进行数据处理,得到能够应用于三维GIS平台的处理后数据组,包括:
基于所述目标数据处理方式,对所述待处理数据组进行数据处理,并实时生成处理日志;
监测所述处理日志中是否存在错误处理信息;
若存在,则重新处理所述待处理数据组,生成新的处理日志,并监测所述新的处理日志中是否存在错误处理信息,直至得到所述处理后数据组;
若不存在,则继续处理直至得到所述处理后数据组。
4.根据权利要求1所述的多源空间数据处理方法,其特征在于,多个所述预设数据类型至少包括BIM空间数据类型,
基于所述目标数据处理方式,对所述待处理数据组进行数据处理,得到能够应用于三维GIS平台的处理后数据组之后,还包括:
当所述预设数据类型为所述BIM空间数据类型时,将所述处理后数据组存储至sqlite文件数据库;
当检测到BIM空间数据的BIM使用请求时,基于所述BIM使用请求,对所述sqlite文件数据库中存储的所述处理后数据组中的处理后数据进行提取。
5.根据权利要求4所述的多源空间数据处理方法,其特征在于,将所述处理后数据组存储至sqlite文件数据库之后,还包括:
当接收到个性化处理前置条件时,对所述sqlite文件数据库中的处理后数据组进行前置处理,得到新的处理后数据组;
当检测到BIM空间数据的BIM使用请求时,基于所述BIM使用请求,对所述sqlite文件数据库中存储的全部所述处理后数据组进行使用,包括:
当检测到BIM空间数据的BIM使用请求时,基于所述BIM使用请求,对所述sqlite文件数据库中存储的全部所述新的处理后数据组进行使用。
6.一种多源空间数据处理系统,其特征在于,包括:
待处理数据获取模块,用于获取多条待处理空间数据和所述多条待处理空间数据中每一条待处理空间数据对应的实际数据类型,并获取多个预设数据类型;
待处理数据组确定模块,用于判断全部所述实际数据类型中是否存在与目标预设数据类型所对应的目标实际数据类型,其中,所述目标预设数据类型为所述多个预设数据类型的任一预设数据类型;若是,则从所述多条待处理空间数据中确定出与所述目标实际数据类型相对应的待处理数据组;
数据处理方式确定模块,用于根据第一目标预设数据类型,确定与所述待处理数据组所对应的目标数据处理方式,其中,所述第一目标预设数据类型为所述多个预设数据类型中与所述目标实际数据类型所对应的预设数据类型;
数据处理模块,用于根据所述目标数据处理方式对所述待处理数据组进行处理,以得到应用于三维地理信息系统GIS平台的处理后数据组;
所述多源空间数据处理系统还包括:上传指令生成模块;
所述上传指令生成模块,用于:
获取数据平台对应的当前资源情况,其中,所述数据平台用于向三维GIS平台提供数据;基于所述当前资源情况,确定所述处理后数据组对应的存储方式;
当所述存储方式为等待上传时,基于所述当前资源情况,确定所述处理后数据组的预测上传时刻;
基于所述预测上传时刻,生成所述处理数据后组对应的上传指令;
所述当前资源情况包括实时资源利用率、实时处理速度范围和实时理论上传速度,所述上传指令生成模块,在执行基于所述当前资源情况,确定所述处理后数据组对应的存储方式时,用于:
利用第二目标预设数据类型对应的预设数据处理速度模型,确定所述实时资源利用率对应的处理速度关系曲线,其中,所述预设数据处理速度模型为基于多个历史处理速度、所述多个历史处理速度对应的历史上传速度与历史资源利用率得到,所述第二目标预设数据类型为所述多个预设数据类型中的任一所述预设数据类型;
获取所述第二目标预设数据类型的待上传数据占比;
基于所述待上传数据占比和所述处理速度关系曲线,确定所述实时处理速度范围对应的允许上传速度范围;
判断所述实时理论上传速度是否与所述允许上传速度范围相匹配;
若是,则将所述存储方式确定为立即上传;若否,则将所述存储方式确定为等待上传;
所述上传指令生成模块,在执行利用第二目标预设数据类型对应的预设数据处理速度模型,确定所述实时资源利用率对应的处理速度关系曲线时,用于:
确定所述实时资源利用率对应的利用率平面;
根据所述预设数据处理速度模型与所述利用率平面,确定所述处理速度关系曲线;
所述实际数据类型还包括所述待处理空间数据对应的上传优先等级、处理优先等级与数据入库时刻,
所述数据处理模块,在执行根据所述目标数据处理方式对所述待处理数据组进行处理,以得到应用于三维GIS平台的处理后数据组时,用于:
根据目标待处理空间数据对应的目标处理优先等级和所述数据入库时刻进行计算,得到处理优先分值,其中,所述目标待处理空间数据为所述待处理数据组中的任一所述待处理空间数据;并基于全部所述目标待处理空间数据中每一所述目标待处理空间数据对应的所述处理优先分值,得到所述待处理数据组对应的待处理任务队列;
基于所述目标数据处理方式,按顺序对所述待处理任务队列中的每一所述待处理空间数据进行数据处理,得到所述处理后数据组;
根据目标待处理空间数据对应的目标上传优先等级、所述处理优先分值和目标数据入库时刻进行计算,得到所述待处理数据组对应的待上传任务队列;
基于所述目标数据处理方式,按顺序将所述待上传任务队列中的每一所述待处理空间数据进行数据上传至云端。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311377559.1A CN117115380B (zh) | 2023-10-24 | 2023-10-24 | 多源空间数据处理方法和系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311377559.1A CN117115380B (zh) | 2023-10-24 | 2023-10-24 | 多源空间数据处理方法和系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117115380A CN117115380A (zh) | 2023-11-24 |
CN117115380B true CN117115380B (zh) | 2024-01-30 |
Family
ID=88811403
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311377559.1A Active CN117115380B (zh) | 2023-10-24 | 2023-10-24 | 多源空间数据处理方法和系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117115380B (zh) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106934066A (zh) * | 2017-03-31 | 2017-07-07 | 联想(北京)有限公司 | 一种元数据处理方法、装置和存储设备 |
CN110011753A (zh) * | 2018-01-05 | 2019-07-12 | 中国移动通信有限公司研究院 | 一种业务处理方法、收发设备及计算机可读存储介质 |
CN112559481A (zh) * | 2020-11-27 | 2021-03-26 | 西安中科星图空间数据技术有限公司 | 一种基于分布式系统和关系数据库的数据存储方法及装置 |
CN113778996A (zh) * | 2021-09-18 | 2021-12-10 | 上海复深蓝软件股份有限公司 | 一种大数据流数据处理方法、装置、电子设备及存储介质 |
CN116628123A (zh) * | 2023-07-19 | 2023-08-22 | 深圳市易图资讯股份有限公司 | 基于空间数据库的动态切片生成方法和系统 |
CN116846843A (zh) * | 2022-03-25 | 2023-10-03 | 北京罗克维尔斯科技有限公司 | 数据传输控制方法、装置、设备及存储介质 |
-
2023
- 2023-10-24 CN CN202311377559.1A patent/CN117115380B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106934066A (zh) * | 2017-03-31 | 2017-07-07 | 联想(北京)有限公司 | 一种元数据处理方法、装置和存储设备 |
CN110011753A (zh) * | 2018-01-05 | 2019-07-12 | 中国移动通信有限公司研究院 | 一种业务处理方法、收发设备及计算机可读存储介质 |
CN112559481A (zh) * | 2020-11-27 | 2021-03-26 | 西安中科星图空间数据技术有限公司 | 一种基于分布式系统和关系数据库的数据存储方法及装置 |
CN113778996A (zh) * | 2021-09-18 | 2021-12-10 | 上海复深蓝软件股份有限公司 | 一种大数据流数据处理方法、装置、电子设备及存储介质 |
CN116846843A (zh) * | 2022-03-25 | 2023-10-03 | 北京罗克维尔斯科技有限公司 | 数据传输控制方法、装置、设备及存储介质 |
CN116628123A (zh) * | 2023-07-19 | 2023-08-22 | 深圳市易图资讯股份有限公司 | 基于空间数据库的动态切片生成方法和系统 |
Non-Patent Citations (1)
Title |
---|
多源多目标空间数据库的一体化集成与管理技术研究;刘小飞;关昆;于海波;冯涛;;测绘通报(第12期);第97-100页 * |
Also Published As
Publication number | Publication date |
---|---|
CN117115380A (zh) | 2023-11-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11106486B2 (en) | Techniques to manage virtual classes for statistical tests | |
WO2022007434A1 (zh) | 可视化方法及相关设备 | |
WO2020087830A1 (zh) | 数据分析方法、装置、服务器及存储介质 | |
CN113312361B (zh) | 轨迹查询方法、装置、设备、存储介质及计算机程序产品 | |
CN113010542B (zh) | 业务数据处理方法、装置、计算机设备及存储介质 | |
CN113688310B (zh) | 一种内容推荐方法、装置、设备及存储介质 | |
CN109471893B (zh) | 网络数据的查询方法、设备及计算机可读存储介质 | |
CN107729944B (zh) | 一种低俗图片的识别方法、装置、服务器及存储介质 | |
CN114356712B (zh) | 数据处理方法、装置、设备、可读存储介质及程序产品 | |
WO2021051562A1 (zh) | 人脸特征点定位方法、装置、计算设备和存储介质 | |
CN110222046B (zh) | 列表数据的处理方法、装置、服务器和存储介质 | |
CN111651625A (zh) | 图像检索方法、装置、电子设备及存储介质 | |
CN117115380B (zh) | 多源空间数据处理方法和系统 | |
US20140214826A1 (en) | Ranking method and system | |
CN110728118A (zh) | 跨数据平台的数据处理方法、装置、设备及存储介质 | |
US12008792B1 (en) | Independently determining adjustments to bounding shapes for detected objects in image data | |
CN118195707B (zh) | 用户行为分析方法、系统、装置及计算机可读存储介质 | |
TWI808367B (zh) | 區塊鏈中介系統以及方法 | |
CN117971908A (zh) | 数据实时入湖方法、装置、电子设备及存储介质 | |
CN118364040A (zh) | 空间索引的构建方法、装置、设备及介质 | |
CN117579456A (zh) | 业务消息发送方法、装置、电子设备及存储介质 | |
CN113592182A (zh) | 人口政策的优化方法、装置、电子设备和存储介质 | |
CN112767042A (zh) | 一种群组生成方法、装置、电子设备及存储介质 | |
CN116542727A (zh) | 一种基于数据模型化的海运运价趋势分析方法和系统 | |
CN111030856A (zh) | 一种基于云的数据接入方法、电子设备及计算机可读介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |