CN116303475B - 一种多源指标数据智能存储的管理方法及装置 - Google Patents

一种多源指标数据智能存储的管理方法及装置 Download PDF

Info

Publication number
CN116303475B
CN116303475B CN202310553599.0A CN202310553599A CN116303475B CN 116303475 B CN116303475 B CN 116303475B CN 202310553599 A CN202310553599 A CN 202310553599A CN 116303475 B CN116303475 B CN 116303475B
Authority
CN
China
Prior art keywords
index
index data
type
data
interface
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310553599.0A
Other languages
English (en)
Other versions
CN116303475A (zh
Inventor
李江
刘厚洋
张琪
冉溢
王清
王平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Geospace Information Technology Co ltd
Original Assignee
Geospace Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Geospace Information Technology Co ltd filed Critical Geospace Information Technology Co ltd
Priority to CN202310553599.0A priority Critical patent/CN116303475B/zh
Publication of CN116303475A publication Critical patent/CN116303475A/zh
Application granted granted Critical
Publication of CN116303475B publication Critical patent/CN116303475B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2282—Tablespace storage structures; Management thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明适用于数据存储技术领域，提供一种多源指标数据智能存储的管理方法及装置，所述方法包括：根据指标数据来源不同，将指标数据划分为多种类型，这里指标数据的类型有三种，分别为指标成果文件类型、第三方指标数据接口类型和复合指标类型；根据指标数据的类型，通过调度规则将不同类型的指标数据按照统一的对象进行指标数据入库。本发明方法可以将不同来源的指标以及指标数据以统一的形式按照一定的规则存储到不同的数据库中，并给空间规划业务提供统一的、高效的、便捷的接口服务；本发明能有效的解决单一体系指标存储管理存在的问题，并能很好的降低开发成本，缩短项目周期，提高生产效率。

Description

一种多源指标数据智能存储的管理方法及装置
技术领域
本发明属于数据存储技术领域，尤其涉及一种多源指标数据智能存储的管理方法及装置。
背景技术
国土空间规划编制、实施、监督评价和体检评估等全过程日程业务办理过程中，涉及到了对大量指标的存储管理，这些指标种类繁多，来源形式多种多样，同时数据量也非常的大，目前已经涉及到的指标有千余种，按照全省指标按天来汇聚入库，每年指标数据量将近亿级，通过现有指标数据存储方式，显然无法满足指标数据的存储与高效查询。
在自然资源应用领域，指标包含了指标项、指标数据、指标来源、指标元信息等，这些数据有着数据量大、种类繁多、数据来源不一等特点，以传统的单一体系进行指标数据管理扩展性差、灵活性低、效率低的问题，难以满足日新月异的指标数据实时的联动更新以及同一指标不同维度统计数据的准确性。
传统的指标管理模式技术具体存在以下问题：
1、现有单一体系下指标数据仅支持数据录入无法满足不同来源指标数据的入库问题，比如指标数据来自于第三方业务系统、空间数据实时计算、统计年鉴指标数据、复合指标计算以及空间规划成果包中的指标数据等，这些指标数据种类繁多、来源形式多种多样，在现有的单一指标管理模式下已无法满足系统的需求。
2、现有单一体系下指标数据存储单一且只能通过人工的方式进行建表存储，存储数据量过小，无法满足年数据量达到亿级的问题。
3、指标数据在现有的存储规则下，数据量达到亿级以上，查询效率很低的问题。
发明内容
鉴于上述问题，本发明的目的在于提供一种多源指标数据智能存储的管理方法及装置，旨在解决现有指标数据管理扩展性差、灵活性低、效率低的技术问题，以满足在自然资源与规划业务中提出的变化不定的指标以及指标数据的管理需求。
本发明采用如下技术方案：
一方面，所述多源指标数据智能存储的管理方法，包括下述步骤：
根据指标数据来源不同，将指标数据划分为多种类型，这里指标数据的类型有三种，分别为指标成果文件类型、第三方指标数据接口类型和复合指标类型；
根据指标数据的类型，通过调度规则将不同类型的指标数据按照统一的对象进行指标数据入库。
另一方面，所述多源指标数据智能存储的管理装置，所述管理装置包括：
类型划分单元，用于根据指标数据来源不同，将指标数据划分为多种类型，这里指标数据的类型有三种，分别为指标成果文件类型、第三方指标数据接口类型和复合指标类型；
数据入库单元，用于根据指标数据的类型，通过调度规则将不同类型的指标数据按照统一的对象进行指标数据入库。
本发明的有益效果是：本发明提出了一种多源指标数据智能存储的管理方法，本发明方法可以将不同来源的指标以及指标数据以统一的形式按照一定的规则存储到不同的数据库中，并给空间规划业务提供统一的、高效的、便捷的接口服务；本发明能有效的解决单一体系指标存储管理存在的问题，并能很好的降低开发成本，缩短项目周期，提高生产效率。本发明通过分布式多表多库以及多种存储模式解决了不同指标数据查询慢的问题，将查询效率提升10倍以上。
附图说明
图1是本发明实施例提供的多源指标数据智能存储的管理方法的流程图；
图2是本发明实施例提供的指标数据入库操作的流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
为了说明本发明所述的技术方案，下面通过具体实施例来进行说明。
实施例一
如图1所示，本实施例提供的多源指标数据智能存储的管理方法，包括述步骤：
步骤S1、根据指标数据来源不同，将指标数据划分为多种类型，这里指标数据的类型有三种，分别为指标成果文件类型、第三方指标数据接口类型和复合指标类型。
多源指标数据来源多种多样，本发明实施例涉及到的数据来源有6种，分别为：
1、从空间数据通过第三方库抽取或模型服务计算所得的指标数据；2、外部资料文献梳理录入的指标数据；3、通过第三方系统共享交换的指标数据4、通过系统填报汇交实时同步数据库的指标数据5、市县规划成果包中的指标数据；6、根据内部单一指标数据通过复合指标计算入库获得的复合指标。
上述6种指标数据分成三个类型，分别为指标成果文件类型、第三方指标数据接口类型和复合指标类型。其中指标成果文件类型具体为指标来源为文件格式的数据，比如前述的类型2、5；第三方指标数据接口类型具体为指标来源为第三方接口形式，比如前述的类型1、3、4；复合指标类型具体为指标来源为复合指标，比如前述的类型6。
步骤S2、根据指标数据的类型，通过调度规则将不同类型的指标数据按照统一的对象进行指标数据入库。
本步骤针对不同类型的指标数据，通过型计算调度系数，并根据调度系数自适应创建相应数量的解析服务节点，进行指标数据入库操作。
对于单一行政区指标，调度系数用E表示，三种类型的指标数据，其基础参数分别用A、B、C表示，基础参数是表示这三类型来源的指标数据通过服务计算所消耗的时间系数变量，三个基础之间又存在倍数关系，A、B、C的比例始终是保持在3:2:1。指标成果文件类型、第三方指标数据接口类型和复合指标类型的基础参数分别为A、B、C。另外用n表示执行次数，即计算调度系数的次数。
本步骤实现的是对于多来源的指标数据通过调度规则将不同类型的指标数据按照统一的对象进行指标数据入库，调度规则是通过指标数据来源类型、指标数据量、当前环境情况等因素自动调节，以最大限度提高多源指标数据入库效率，调度规则通过指标调度系数进行量化。
为了方便描述，对于单一行政区的指标调度系数，用E表示。下面针对三种类型的指标数据的调度系数计算进行具体说明。
(1)指标成果文件类型的指标数据
如果指标数据的文件格式是excel时，E＝A+T×A2，T表示excel文件解析执行的时间，单位为秒,excel解析时间越长，说明对服务计算能力越高，调度系数越高；当文件格式是zip时，E＝A+2L×A 2/100,L表示zip包的大小，单位为兆，计算每百兆文件的耗时，从而计算出服务调度系数，zip包文件执行效率比单文件执行效率要慢2倍。即：
(2)第三方指标数据接口类型的指标数据
当指标数据来源为第三方指标数据接口的形式，接口类型有空间模型分析接口、第三方接口和省市县三级汇交接口，按照复杂度，不同的数据接口类型，第三方接口<省市县三级汇交接口<空间模型分析接口，分别设为B、2B和3B。设接口类型为N，N＝[B,2B,3B],调度系数E＝B+N，N根据接口类型取三个常量，分别为B、2B和3B。即：
E＝B+N,N＝[B,2B,3B]
(3)复合指标类型的指标数据
根据复合指标计算公式中包含单一指标的个数，调度系数会动态变化，比如城镇人均GDP＝【城镇GDP】/【城镇人口】，在这个计算式里面，包含了两个指标，调度器内部需要查到这两个指标的数据进行复合计算，E＝C+Count(zb)×C，Count(zb)表示复合指标中含有指标的个数。即：
E＝C+Count(zb)×C
对于上述三种类型，如果是省市县三级指标独立，并且指标已存在，即可用K＝E表示整个调度规则的调度系数，如果指标不存在的话，K＝E+0.2,常量0.2表示指标判断逻辑所消耗的系数。如果涉及到省市县三级指标联动统计，则需要对调度系数求和来计算总调度系数。因此总的调度系数：Cxzqh表示当前指标解析的行政区划个数，M＝[0,1]，M为常量，表示是否需要创建指标项，M＝0表示不需要创建，M＝1表示需要创建。t读秒时间，即相邻两次调度系数计算的间隔时间，单位为秒。t越大频率越小，调度系数成递减趋势。
因此综上所述，总的调度系数Kn可整理如下：
如果省市县三级指标独立，
指标数据的类型为指标成果文件类型且文件格式是excel时，Kn＝A+T×A2+0.2×M-t/60；
指标数据的类型为指标成果文件类型且文件格式是zip时，Kn＝A+2L×A2/100+0.2×M-t/60；
指标数据的类型为第三方指标数据接口类型时，Kn＝B+N+0.2×M-t/60；
指标数据的类型为复合指标类型时，Kn＝C+Count(zb)×C+0.2×M-t/60；
如果省市县三级指标联动，
指标数据的类型为指标成果文件类型且文件格式是excel时，
指标数据的类型为指标成果文件类型且文件格式是zip时，
指标数据的类型为第三方指标数据接口类型时，
指标数据的类型为复合指标类型时，
在初始状态下，n＝1，A+B+C＝1；当n>1时，A+B+C＝Kn-1，同时都要满足A＝3C，B＝2C，比如n＝1时，A、B、C分别为1/2、1/3、1/6。当n大于1时，A、B、C的比例始终是保持在3:2:1。
在得到调度系数之后，调度器内部可以自动对多源数据入库模型解析服务进行自动伸缩服务，并根据调度系数自适应创建相应数量的解析服务节点。具体的，随着调度系数越高，调度器自动创建更多解析服务节点，随着调度系数越低，调度器自动关闭解析服务节点，以达到资源最大利用率和提高多源数据入库的效率。解析服务节点用于下次指标数据的解析。
作为一种具体实例，解析服务节点数量【Kn】＝ceil(Kn/10),ceil为取整函数，当【Kn】≤1时，解析服务节点数量为1；当1<【Kn】≤10时,解析服务节点数量为2；当10<【Kn】≤100时,解析服务节点数量为3；当【Kn】>100时,解析服务节点数量为4，根据解析服务的服务器资源，解析服务节点最少1个，最多4个。
对于指标数据的入库操作，结合图2所示，具体过程如下：
S21、获取待入库指标数据的指标元信息。
指标是反映一定特征的信息，比如GDP、全市人口数量、人均生活用水量等。指标通过指标元数据定义形成可以具象化的指标项，按照定义的先后顺序包含了指标基本信息、指标来源元数据、指标维度、指标计算信息、数据存储信息拓展信息。
指标项是最小指标的具象化，可以通过指标元信息来定义指标的含义，比如永久基本农田面积、森林覆盖率、人均GDP就是指标项。指标元信息是指定义指标项的属性信息，比如单位、版本、来源、计算公式、类型等。指标数据是指标在多维度下的具体值。指标基本信息包含了指标编码、指标名称、指标单位、指标版本必要的元信息，指标元信息是对指标最基本的定义。
指标维度信息包含了空间维度、时间维度、业务维度。空间维度：指按照区域的形式来存储指标数据，比如省市县三级行政区，或者大湾区、粤东区的经济区；时间维度：指按照时间的形式来存储指标数据，比如年、月、日、时、分、季度、周等维度；业务维度：指标业务上的属性，比如永久基本农田包含耕地、水田、旱浇地等业务维度，或者按照部门定义登记证书的情况。
S22、根据指标元信息确定当前指标数据的入库更新频率。
指标的来源形式对指标数据更新频率和存储形式有一定的影响。比如第三方库抽取或空间数据计算模型服务可能更新频率较高，而第三方系统共享交换的外部数据导入的更新频率较低。通过指标元信息的来源可确定指标数据的入库更新频率是高频率还是低频率。
S23、如果是高频率，对于首次入库的指标数据，直接连接非关系型数据库并入库操作，对于非首次入库的指标数据，检测服务器节点的剩余容量，如果剩余容量未达到80％，则直接连接非关系型数据库并入库操作，如果剩余容量达到80％，则连接备用的服务器节点创建非关系型数据库并入库操作；
S24、如果是低频率，对于首次入库的指标数据，直接连接关系型数据库创建表结构并入库操作，对于非首次入库的指标数据，检测服务器节点的剩余容量，如果剩余未达到80％，进一步判断数据表是否达到百万条数据，如果达到则创建表结构后入库操作，如果未达到，则直接进行数据入库操作；如果剩余容量达到80％，则连接备用的服务器节点创建新的关系型数据库，创建表结构后入库操作。
本实施例中，服务器节点用于操作数据入库，可根据服务器的剩余容量自动连接备用服务器节点。另外，本步骤还可以定时自动扫描数据所在的服务器节点，计算当前服务器节点工作效率Q，Q＝Z×(R+S(1-q)),其中Z表示CPU负载平均值，该值其决定因素，一旦满负载，次数磁盘读写效率q也会降低，直接影响服务器工作效率Q；q表示磁盘读写效率，R表示服务器内存使用率，内存会随着服务器数据库数据增加而增加；S表示数据库磁盘使用率，磁盘使用率越高，磁盘读写效率也会下降。当Q大于或等于0.8时，自动查找备用服务器节点。当节点不存在时，会给用户预警，否则，会在该节点上根据指标数据的更新频率自动构建数据库，并将该数据库加到指标数据存储源队列中，供数据存储使用。
本发明根据数据库所在的服务器的剩余容量预测服务器伸缩节点，在通过docker镜像自动构建数据库容器，并将该节点自动列入到方法中的备用数据库节点中，指标数据存储时，根据数据更新频率自动识别关系型数据库和非关系型数据库，根据当前存储表的数据条数，达到百万级数据自动构建数据存储空间存储，当数据库的服务器节点存储容量超过80％则自动启用备选服务器节点。所有的指标数据存储均实现了节点自动伸缩、数据库自动选型、数据库自动构建、数据存储空间自动构建和数据识别入库全智能化。
本发明可以根据指标自身的特性和元信息的定义，实现指标数据自动化分表分库存储，对于更新频率低的数据可以采用关系型数据库进行存储，对于更新频率高的指标数据可以采用非关系型数据库进行存储，根据服务器自身的容量和性能，进行自动化扩表扩库，实现了多源指标数据的存储，能满足对不同来源的指标数据按照一定的规则进行不同形式的存储，可支持亿级以上的指标数据存储，同时可以保证指标数据存储的扩展性和提供高效率的使用服务，且配置简单。
实施例二
所述多源指标数据智能存储的管理装置，所述管理装置包括：
类型划分单元，用于根据指标数据来源不同，将指标数据划分为多种类型，这里指标数据的类型有三种，分别为指标成果文件类型、第三方指标数据接口类型和复合指标类型；
数据入库单元，用于根据指标数据的类型，通过调度规则将不同类型的指标数据按照统一的对象进行指标数据入库。
其中所述调度规则如下：
根据指标数据的类型计算调度系数，并根据调度系数自适应创建相应数量的解析服务节点，进行指标数据入库操作。
作为一种具体方式，所述调度系数Kn计算式如下：
如果省市县三级指标独立，
指标数据的类型为指标成果文件类型且文件格式是excel时，Kn＝A+T×A2+0.2×M-t/60；
指标数据的类型为指标成果文件类型且文件格式是zip时，Kn＝A+2L×A2/100+0.2×M-t/60；
指标数据的类型为第三方指标数据接口类型时，Kn＝B+N+0.2×M-t/60；
指标数据的类型为复合指标类型时，Kn＝C+Count(zb)×C+0.2×M-t/60；
如果省市县三级指标联动，
指标数据的类型为指标成果文件类型且文件格式是excel时，
指标数据的类型为指标成果文件类型且文件格式是zip时，
指标数据的类型为第三方指标数据接口类型时，
指标数据的类型为复合指标类型时，
均满足
其中n表示执行次数，Cxzqh表示当前指标解析的行政区划个数，T表示excel文件解析执行的时间，单位为秒，L表示zip包的大小，单位为兆，N表示不同的数据接口类型，当为第三方接口时N＝B，当为省市县三级汇交接口时，N＝2B，当为空间模型分析接口时,N＝3B，Count(zb)表示复合指标中含有指标的个数，t表示相邻两次调度系数计算的间隔时间，单位为秒，M为常量，表示是否需要创建指标项，M＝0表示不需要创建，M＝1表示需要创建。
另外，根据调度系数自适应创建相应数量的解析服务节点的具体方式如下：
解析服务节点数量【Kn】＝ceil(Kn/10),ceil为取整函数，当【Kn】≤1时，解析服务节点数量为1；当1<【Kn】≤10时,解析服务节点数量为2；当10<【Kn】≤100时,解析服务节点数量为3；当【Kn】>100时,解析服务节点数量为4。
上述过程中，指标数据入库的具体过程如下：
获取待入库指标数据的指标元信息；
根据指标元信息确定当前指标数据的入库更新频率；
如果是高频率，对于首次入库的指标数据，直接连接非关系型数据库并入库操作，对于非首次入库的指标数据，检测服务器节点的剩余容量，如果剩余容量未达到80％，则直接连接非关系型数据库并入库操作，如果剩余容量达到80％，则连接备用的服务器节点创建非关系型数据库并入库操作；
如果是低频率，对于首次入库的指标数据，直接连接关系型数据库创建表结构并入库操作，对于非首次入库的指标数据，检测服务器节点的剩余容量，如果剩余未达到80％，进一步判断数据表是否达到百万条数据，如果达到则直接连接备用服务器节点，并创建新的关系型数据库连接，创建表结构后入库操作，如果未达到，则直接进行数据入库操作；如果剩余容量达到80％，则连接备用的服务器节点创建新的关系型数据库，创建表结构后入库操作。
本实施例总，指标数据入库过程中定时扫描服务器节点，并计算服务器节点的工作效率Q＝Z×(R+S(1-q)),其中Z表示CPU负载平均值，q表示磁盘读写效率q，R表示服务器内存使用率，S表示数据库磁盘使用率；当Q大于或等于0.8时，自动查找备用服务器节点。
本实施例单元对应实现了实施例一各步骤，具体过程不再赘述。
本发明实现了对多源指标进行自动化自能存储，实现了根据指标元信息的定义进行智能存储，并通过成体系的管理，能通过指标数据的关联实现多指标定制化关联接口，满足多样化的需求，其次对原始数据操作简单，转繁为简的配置，使其易移植、易上手、易扩展。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种多源指标数据智能存储的管理方法，其特征在于，所述方法包括下述步骤：
根据指标数据来源不同，将指标数据划分为多种类型，这里指标数据的类型有三种，分别为指标成果文件类型、第三方指标数据接口类型和复合指标类型；
根据指标数据的类型，通过调度规则将不同类型的指标数据按照统一的对象进行指标数据入库；
所述调度规则如下：
根据指标数据的类型计算调度系数，并根据调度系数自适应创建相应数量的解析服务节点，进行指标数据入库操作；
其中，所述调度系数Kn计算式如下：
如果省市县三级指标独立，
指标数据的类型为指标成果文件类型且文件格式是excel时，Kn＝A+T×A2+0.2×M-t/60；
指标数据的类型为指标成果文件类型且文件格式是zip时，Kn＝A+2L×A2/100+0.2×M-t/60；
指标数据的类型为第三方指标数据接口类型时，Kn＝B+N+0.2×M-t/60；
指标数据的类型为复合指标类型时，Kn＝C+Count(zb)×C+0.2×M-t/60；
如果省市县三级指标联动，
指标数据的类型为指标成果文件类型且文件格式是excel时，
指标数据的类型为指标成果文件类型且文件格式是zip时，
指标数据的类型为第三方指标数据接口类型时，
指标数据的类型为复合指标类型时，
均满足
指标成果文件类型、第三方指标数据接口类型和复合指标类型的基础参数分别为A、B、C，其中n表示执行次数，Cxzqh表示当前指标解析的行政区划个数，T表示excel文件解析执行的时间，单位为秒，L表示zip包的大小，单位为兆，N表示不同的数据接口类型，当为第三方接口时N＝B，当为省市县三级汇交接口时，N＝2B，当为空间模型分析接口时,N＝3B，Count(zb)表示复合指标中含有指标的个数，t表示相邻两次调度系数计算的间隔时间，单位为秒，M为常量，表示是否需要创建指标项，M＝0表示不需要创建，M＝1表示需要创建；
其中，根据调度系数自适应创建相应数量的解析服务节点的具体方式如下：
解析服务节点数量【Kn】＝ceil(Kn/10),ceil为取整函数，当【Kn】≤1时，解析服务节点数量为1；当1<【Kn】≤10时,解析服务节点数量为2；当10<【Kn】≤100时,解析服务节点数量为3；当【Kn】>100时,解析服务节点数量为4。
2.如权利要求1所述多源指标数据智能存储的管理方法，其特征在于，指标数据入库的具体过程如下：
获取待入库指标数据的指标元信息；
根据指标元信息确定当前指标数据的入库更新频率；
如果是高频率，对于首次入库的指标数据，直接连接非关系型数据库并入库操作，对于非首次入库的指标数据，检测服务器节点的剩余容量，如果剩余容量未达到80％，则直接连接非关系型数据库并入库操作，如果剩余容量达到80％，则连接备用的服务器节点创建非关系型数据库并入库操作；
如果是低频率，对于首次入库的指标数据，直接连接关系型数据库创建表结构并入库操作，对于非首次入库的指标数据，检测服务器节点的剩余容量，如果剩余未达到80％，进一步判断数据表是否达到百万条数据，如果达到则创建表结构后入库操作，如果未达到，则直接进行数据入库操作；如果剩余容量达到80％，则连接备用的服务器节点创建新的关系型数据库，创建表结构后入库操作。
3.如权利要求2所述多源指标数据智能存储的管理方法，其特征在于，指标数据入库过程中定时扫描服务器节点，并计算服务器节点的工作效率Q＝Z×(R+S(1-q)),其中Z表示CPU负载平均值，q表示磁盘读写效率q，R表示服务器内存使用率，S表示数据库磁盘使用率；当Q大于或等于0.8时，自动查找备用服务器节点。
4.一种多源指标数据智能存储的管理装置，其特征在于，所述管理装置包括：
类型划分单元，用于根据指标数据来源不同，将指标数据划分为多种类型，这里指标数据的类型有三种，分别为指标成果文件类型、第三方指标数据接口类型和复合指标类型；
数据入库单元，用于根据指标数据的类型，通过调度规则将不同类型的指标数据按照统一的对象进行指标数据入库；
所述调度规则如下：
根据指标数据的类型计算调度系数，并根据调度系数自适应创建相应数量的解析服务节点，进行指标数据入库操作；
其中，所述调度系数Kn计算式如下：
如果省市县三级指标独立，
指标数据的类型为指标成果文件类型且文件格式是excel时，Kn＝A+T×A2+0.2×M-t/60；
指标数据的类型为指标成果文件类型且文件格式是zip时，Kn＝A+2L×A2/100+0.2×M-t/60；
指标数据的类型为第三方指标数据接口类型时，Kn＝B+N+0.2×M-t/60；
指标数据的类型为复合指标类型时，Kn＝C+Count(zb)×C+0.2×M-t/60；
如果省市县三级指标联动，
指标数据的类型为指标成果文件类型且文件格式是excel时，
指标数据的类型为指标成果文件类型且文件格式是zip时，
指标数据的类型为第三方指标数据接口类型时，
指标数据的类型为复合指标类型时，
均满足
指标成果文件类型、第三方指标数据接口类型和复合指标类型的基础参数分别为A、B、C，其中n表示执行次数，Cxzqh表示当前指标解析的行政区划个数，T表示excel文件解析执行的时间，单位为秒，L表示zip包的大小，单位为兆，N表示不同的数据接口类型，当为第三方接口时N＝B，当为省市县三级汇交接口时，N＝2B，当为空间模型分析接口时,N＝3B，Count(zb)表示复合指标中含有指标的个数，t表示相邻两次调度系数计算的间隔时间，单位为秒，M为常量，表示是否需要创建指标项，M＝0表示不需要创建，M＝1表示需要创建；
其中根据调度系数自适应创建相应数量的解析服务节点的具体方式如下：
解析服务节点数量【Kn】＝ceil(Kn/10),ceil为取整函数，当【Kn】≤1时，解析服务节点数量为1；当1<【Kn】≤10时,解析服务节点数量为2；当10<【Kn】≤100时,解析服务节点数量为3；当【Kn】>100时,解析服务节点数量为4。
CN202310553599.0A 2023-05-17 2023-05-17 一种多源指标数据智能存储的管理方法及装置 Active CN116303475B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310553599.0A CN116303475B (zh) 2023-05-17 2023-05-17 一种多源指标数据智能存储的管理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310553599.0A CN116303475B (zh) 2023-05-17 2023-05-17 一种多源指标数据智能存储的管理方法及装置

Publications (2)

Publication Number Publication Date
CN116303475A CN116303475A (zh) 2023-06-23
CN116303475B true CN116303475B (zh) 2023-08-08

Family

ID=86789122

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310553599.0A Active CN116303475B (zh) 2023-05-17 2023-05-17 一种多源指标数据智能存储的管理方法及装置

Country Status (1)

Country Link
CN (1) CN116303475B (zh)

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105099798A (zh) * 2014-05-04 2015-11-25 国家电网公司 一种基于指标体系的主站运行在线监测与评估方法
CN110032615A (zh) * 2019-04-23 2019-07-19 武大吉奥信息技术有限公司 一种基于规则库实现gis空间数据在线统计的方法
US10409642B1 (en) * 2016-11-22 2019-09-10 Amazon Technologies, Inc. Customer resource monitoring for versatile scaling service scaling policy recommendations
WO2020155735A1 (zh) * 2019-01-31 2020-08-06 平安科技（深圳）有限公司 规则引擎系统的规则更新方法、装置和计算机设备
CN111680025A (zh) * 2020-06-17 2020-09-18 珠海市测绘院 面向自然资源多源异构数据时空信息智能同化的方法及系统
WO2021024040A1 (en) * 2019-08-08 2021-02-11 Mann, Roy Digital processing systems and methods for automatic relationship recognition in tables of collaborative work systems
CN113051358A (zh) * 2021-03-17 2021-06-29 武大吉奥信息技术有限公司 一种面向国土空间规划应用的空间制图系统及方法
CN113111140A (zh) * 2021-05-12 2021-07-13 国家海洋信息中心 快速解析多源海洋业务化观测数据的方法
WO2021254415A1 (zh) * 2020-06-18 2021-12-23 北京卫星制造厂有限公司 一种基于时间窗的agv智能调度方法
CN115099722A (zh) * 2022-08-24 2022-09-23 自然资源部第三航测遥感院 基于知识化谱系的国土空间规划指标模型管理与应用方法
WO2023279912A1 (zh) * 2021-07-08 2023-01-12 腾讯科技（深圳）有限公司 一种数据处理方法、装置、系统、计算机设备、可读存储介质及计算机程序产品
CN115660251A (zh) * 2022-10-28 2023-01-31 广州智算信息技术有限公司 一种基于ai大数据的企业健康度评估系统
CN115964123A (zh) * 2022-12-12 2023-04-14 交通运输部规划研究院 基于国土空间要素的交通规划空间数据处理方法及装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8266148B2 (en) * 2008-10-07 2012-09-11 Aumni Data, Inc. Method and system for business intelligence analytics on unstructured data
US9563650B2 (en) * 2014-07-15 2017-02-07 Sap Se Migrating federated data to multi-source universe database environment
CN104573115B (zh) * 2015-02-04 2019-03-22 北京慧辰资道资讯股份有限公司 支持多类型数据库操作的集成接口的实现方法及系统
US11741763B2 (en) * 2018-12-26 2023-08-29 Allstate Insurance Company Systems and methods for system generated damage analysis
US11763191B2 (en) * 2019-08-20 2023-09-19 The Calany Holding S. À R.L. Virtual intelligence and optimization through multi-source, real-time, and context-aware real-world data
EP4121845A4 (en) * 2020-03-19 2024-01-17 Yext Inc MANAGING MULTI-SOURCE DATA SUGGESTIONS

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105099798A (zh) * 2014-05-04 2015-11-25 国家电网公司 一种基于指标体系的主站运行在线监测与评估方法
US10409642B1 (en) * 2016-11-22 2019-09-10 Amazon Technologies, Inc. Customer resource monitoring for versatile scaling service scaling policy recommendations
WO2020155735A1 (zh) * 2019-01-31 2020-08-06 平安科技（深圳）有限公司 规则引擎系统的规则更新方法、装置和计算机设备
CN110032615A (zh) * 2019-04-23 2019-07-19 武大吉奥信息技术有限公司 一种基于规则库实现gis空间数据在线统计的方法
WO2021024040A1 (en) * 2019-08-08 2021-02-11 Mann, Roy Digital processing systems and methods for automatic relationship recognition in tables of collaborative work systems
CN111680025A (zh) * 2020-06-17 2020-09-18 珠海市测绘院 面向自然资源多源异构数据时空信息智能同化的方法及系统
WO2021254415A1 (zh) * 2020-06-18 2021-12-23 北京卫星制造厂有限公司 一种基于时间窗的agv智能调度方法
CN113051358A (zh) * 2021-03-17 2021-06-29 武大吉奥信息技术有限公司 一种面向国土空间规划应用的空间制图系统及方法
CN113111140A (zh) * 2021-05-12 2021-07-13 国家海洋信息中心 快速解析多源海洋业务化观测数据的方法
WO2023279912A1 (zh) * 2021-07-08 2023-01-12 腾讯科技（深圳）有限公司 一种数据处理方法、装置、系统、计算机设备、可读存储介质及计算机程序产品
CN115099722A (zh) * 2022-08-24 2022-09-23 自然资源部第三航测遥感院 基于知识化谱系的国土空间规划指标模型管理与应用方法
CN115660251A (zh) * 2022-10-28 2023-01-31 广州智算信息技术有限公司 一种基于ai大数据的企业健康度评估系统
CN115964123A (zh) * 2022-12-12 2023-04-14 交通运输部规划研究院 基于国土空间要素的交通规划空间数据处理方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
付博 ; 王文文 ; 张诗檬 ; 韩征 ; 刘钊 ; 陶光毅 ; .基于多源异构的城市地质数据集成关键技术研究.城市地质.2020,(01),全文. *

Also Published As

Publication number Publication date
CN116303475A (zh) 2023-06-23

Similar Documents

Publication Publication Date Title
US11520760B2 (en) System and method for providing bottom-up aggregation in a multidimensional database environment
CN102467570B (zh) 用于分布式数据仓库的连接查询系统和方法
CN103930888B (zh) 基于更新、储存及响应约束的多粒度分组聚合选择
CN107193967A (zh) 一种多源异构行业领域大数据处理全链路解决方案
CN110647549A (zh) 基于业务动态建模的数据指标解析与执行方法和装置
CN108292315A (zh) 储存和检索数据立方体中的数据
CN101799808A (zh) 一种数据处理方法及其系统
CN108038239A (zh) 一种异构数据源规范化处理方法、装置及服务器
CN110275920A (zh) 数据查询方法、装置、电子设备及计算机可读存储介质
CN102521334A (zh) 一种基于分类特性和平衡二叉树的数据存储、查询方法
CN102999563A (zh) 基于资源描述框架的网络资源语义检索方法及系统
CN108595664A (zh) 一种hadoop环境下的农业数据监控方法
CN114116716A (zh) 一种层次数据检索方法、装置和设备
CN112632025A (zh) 一种基于paas平台的电网企业管理决策支持应用系统
Zhang et al. A survey of key technologies for high utility patterns mining
CN102339256A (zh) 基于imf内外存置换策略的复杂事件检测方法
Farooq et al. Real-time data warehousing for business intelligence
CN116303475B (zh) 一种多源指标数据智能存储的管理方法及装置
CN112181950B (zh) 一种分布式对象数据库的构建方法
Abelló et al. Benefits of an object-oriented multidimensional data model
CN114691762A (zh) 企业数据智能构建方法
CN105574204B (zh) 分布式电网调控运行数据的检索方法及系统
CN116049193A (zh) 数据存储方法及装置
CN116089364A (zh) 一种存储文件管理方法、装置、ai平台和存储介质
CN110516119A (zh) 一种自然资源场景数据的组织调度方法、装置和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant