CN110321359A - 一种基于cmsp的空间数据增量更新方法 - Google Patents

一种基于cmsp的空间数据增量更新方法 Download PDF

Info

Publication number
CN110321359A
CN110321359A CN201910602834.2A CN201910602834A CN110321359A CN 110321359 A CN110321359 A CN 110321359A CN 201910602834 A CN201910602834 A CN 201910602834A CN 110321359 A CN110321359 A CN 110321359A
Authority
CN
China
Prior art keywords
data
task
incremental
cmsp
update
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910602834.2A
Other languages
English (en)
Other versions
CN110321359B (zh
Inventor
曲建龙
王善美
周明
魏存挡
尹曦萌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inspur Software Group Co Ltd
Original Assignee
Inspur Software Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inspur Software Group Co Ltd filed Critical Inspur Software Group Co Ltd
Priority to CN201910602834.2A priority Critical patent/CN110321359B/zh
Publication of CN110321359A publication Critical patent/CN110321359A/zh
Application granted granted Critical
Publication of CN110321359B publication Critical patent/CN110321359B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G06F16/2379—Updates performed during online database operations; commit processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29—Geographical information databases
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Remote Sensing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供一种基于CMSP的空间数据增量更新方法，属于空间数据增量更新技术领域，本发明先配置需要监听的数据库表，创建CMSP任务，监听捕获变化数据放入topic消息队列中，定时从消息队列中读取和解析消息，并将变化的数据更新到目标库中。采用B/S架构，可通过页面配置完成空间数据的增量抽取。本方法基于nifi二次开发，分布式集群部署，对空间数据可实现多节点多并发处理，效率高，本方法支持对不同厂商的空间数据进行处理，操作简单，任务监控功能完善。

Description

一种基于CMSP的空间数据增量更新方法
技术领域
本发明涉及空间数据增量更新技术，尤其涉及一种基于CMSP的空间数据增量更新方法。
背景技术
随着GIS(地理信息系统)技术的发展，GIS在国土、水利、交通、农业和智慧城市等领域等到了广泛应用。GIS数据中心和“一张图”建设越来越多，但是空间数据的增量更新问题一直没有解决，现在的整合都是全量的手动导入，对于新增数据还可以通过查询导入新增的数据，但是对于删除和修改数据无法获取，只能进行全量数据的替换。
CMSP：CMSP是浪潮自主研发的云和大数据时代的一种高性能消息中间件，以云服务和集群方式对外提供高性能和高可靠的消息队列服务，支撑大数据采集、汇聚、交换，大数据实时处理和微服务处理架构。CMSP支持oracle、mysql、sqlserver等关系库的表结构、全量和增量抽取。
Apache NiFi是一个易于使用、功能强大而且可靠的数据处理和分发系统。ApacheNiFi是为数据流设计。它支持高度可配置的指示图的数据路由、转换和系统中介逻辑。Nifi的关键特性包括：基于web的用户界面、高扩展性、流程模板、安全性和数据跟踪等。
Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统，有如下特性：
1、通过O(1)的磁盘数据结构提供消息的持久化，这种结构对于即使数以TB的消息存储也能够保持长时间的稳定性能。
2、高吞吐量：即使是非常普通的硬件Kafka也可以支持每秒数百万的消息。
3、支持通过Kafka服务器和消费机集群来分区消息。
4、支持Hadoop并行数据加载。
如果能通过以上技术来实现数据增量更新，则能解决本领域的相关难题。
发明内容
为了解决以上技术问题，本发明提出了一种基于CMSP的空间数据增量更新方法，基于nifi二次开发，分布式集群部署，对空间数据可实现多节点多并发处理，效率高。
本发明的技术方案是：
一种基于CMSP的空间数据增量更新方法，先配置需要监听的数据库表，创建CMSP任务，监听捕获变化数据放入topic消息队列中，定时从消息队列中读取和解析消息，并将变化的数据更新到目标库中。
进一步的，
本发明采用B/S架构，可通过页面配置完成空间数据的增量抽取。
再进一步的，
主要包括以下步骤：
1)空间增量数据的发现；
2)增量数据的获取；
3)增量数据的处理；
4)增量数据入库；
5)增量更新的机制；
6)增量更新任务的监控。
其中，
1)空间增量数据的发现：配置需要监测的数据库和表信息，创建CMSP任务，并将监测的数据写入对应的topic消息队列中。
2)增量数据的获取：读取并解析topic中的消息，根据定义好的消息格式，解析消息，获取增量数据。
3)增量数据的处理：根据解析的内容，重新组织数据，形成一条消息作为任务发送到kafka中。
4)增量数据入库：并发的从kafka中获取任务，判断数据处理操作，如果是删除操作，直接调用arcgis的删除接口删除数据，如果是修改和增加数据则调用相关接口修改和增加目标库中的数据。
5)增量更新的机制：支持定时更新和手动更新，定时更新是在任务页面配置定时执行时间，或者在任务列表页面点击执行按钮进行数据更新。
6)增量更新任务的监控：空间数据增量更新的监控主要分为两块，CMSP任务的监控和nifi增量任务的监控，CMSP任务监控CMSP任务是否正常执行，是否监测到空间数据的变化，nifi增量任务监控主要是监控增量数据是否被正确处理并入库。
本方法是B/S架构，可通过页面配置完成空间数据的增量抽取。本方法基于nifi二次开发，分布式集群部署，对空间数据可实现多节点多并发处理，效率高，本方法支持对不同厂商的空间数据进行处理，操作简单，任务监控功能完善。
本发明的有益效果是
本发明基于CMSP对oracle闪回日志的监控，实现了空间数据增量更新的突破
本发明是对空间数据的增量更新，相较于传统的全量更新，增加了数据的时效性，更好的发挥数据价值。
本发明基nifi集群分布式并发对空间数据进行处理，数据处理效率高，性能优势明显。
本发明应用简单，只需要简单的填写任务信息、选择数据源信息和处理内容(字段过滤、投影变换、面积计算、图形匹配)就可以创建任务，在任务调度调度任务就可以了，相较于arcgis desktop等GIS相关产品操作简单很多。
本发明的任务监控比较完善，可以监控任务处理到哪一环节，是否报错，以及报错后的错误信息。
附图说明
图1是本发明的工作流程示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
本方法先配置需要监听的数据库表，创建CMSP任务，监听捕获变化数据放入topic消息队列中，定时从消息队列中读取和解析消息，并将变化的数据更新到目标库中，具体流程如图1所示。
本发明实现空间数据的增量更新。主要包括以下内容：
1、空间增量数据的发现
2、增量数据的获取
3、增量数据的处理
4、增量数据入库
5、增量更新的机制
6、增量更新任务的监控
具体如下：
1、空间增量数据的发现：配置需要监测的数据库和表信息，创建CMSP任务，并将监测的数据写入对应的topic消息队列中。
2、增量数据的获取：读取并解析topic中的消息。Topic中定义的消息格式如下：
根据定义好的消息格式，解析消息，获取增量数据。
3、增量数据的处理：根据解析的内容，重新组织数据，包括数据的操作类型，数据源信息、目标库、目标表信息等形成一条消息作为任务发送到kafka中。
4、增量数据入库：并发的从kafka中获取任务，判断数据处理操作，如果是删除操作，直接调用arcgis的删除接口删除数据，如果是修改和增加数据则调用相关接口修改和增加目标库中的数据。
5、增量更新的机制：本方法支持定时更新和手动更新，定时更新是在任务页面配置定时执行时间如每5分钟或者每天的30点等，也可以在任务列表页面点击执行按钮进行数据更新。
6、增量更新任务的监控：空间数据增量更新的监控主要分为两块，CMSP任务的监控和nifi增量任务的监控，CMSP任务监控CMSP任务是否正常执行，是否监测到空间数据的变化，nifi增量任务监控主要是监控增量数据是否被正确处理并入库。
本发明采用B/S架构，通过CMSP监听捕获空间增量数据；基于nifi二次开发，分布式集群部署，对空间数据可实现高并发处理；支持对不同厂商的空间数据进行处理；操作简单；任务监控功能完善。
采用B/S架构，用户不需要安装桌面端GIS数据处理工具(arcgis desktop等)，使用起来更方便。
通过CMSP监听捕获数据变化，CMSP基于日志的方式捕获数据库中数据的变化
监听空间数据变化。本方法重点是支持空间数据的增量更新。
集群、分布式和高并发，对于要处理的空间数据进行任务拆分，把任务分给集群中并发的处理器来处理任务。
操作简单，只需在页面简单的选择配置即可完成任务的创建和启动。
任务监控功能完善，日志系统完善，可清晰的了解任务的执行情况。
以上所述仅为本发明的较佳实施例，仅用于说明本发明的技术方案，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所做的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (9)

1.一种基于CMSP的空间数据增量更新方法，其特征在于，
先配置需要监听的数据库表，创建CMSP任务，监听捕获变化数据放入topic消息队列中，定时从消息队列中读取和解析消息，并将变化的数据更新到目标库中。
2.根据权利要求1所述的方法，其特征在于，
采用B/S架构，通过页面配置完成空间数据的增量抽取。
3.根据权利要求1所述的方法，其特征在于，
主要包括以下步骤：
1)空间增量数据的发现；
2)增量数据的获取；
3)增量数据的处理；
4)增量数据入库；
5)增量更新的机制；
6)增量更新任务的监控。
4.根据权利要求3所述的方法，其特征在于，
空间增量数据的发现：配置需要监测的数据库和表信息，创建CMSP任务，并将监测的数据写入对应的topic消息队列中。
5.根据权利要求4所述的方法，其特征在于，
增量数据的获取：读取并解析topic中的消息，根据定义好的消息格式，解析消息，获取增量数据。
6.根据权利要求5所述的方法，其特征在于，
增量数据的处理：根据解析的内容，重新组织数据，形成一条消息作为任务发送到kafka中。
7.根据权利要求6所述的方法，其特征在于，
增量数据入库：并发的从kafka中获取任务，判断数据处理操作，如果是删除操作，直接调用arcgis的删除接口删除数据，如果是修改和增加数据则调用相关接口修改和增加目标库中的数据。
8.根据权利要求7所述的方法，其特征在于，
增量更新的机制：支持定时更新和手动更新，定时更新是在任务页面配置定时执行时间，或者在任务列表页面点击执行按钮进行数据更新。
9.根据权利要求8所述的方法，其特征在于，
增量更新任务的监控：空间数据增量更新的监控主要分为两块，CMSP任务的监控和nifi增量任务的监控，CMSP任务监控CMSP任务是否正常执行，是否监测到空间数据的变化，nifi增量任务监控主要是监控增量数据是否被正确处理并入库。
CN201910602834.2A 2019-07-05 2019-07-05 一种基于cmsp的空间数据增量更新方法 Active CN110321359B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910602834.2A CN110321359B (zh) 2019-07-05 2019-07-05 一种基于cmsp的空间数据增量更新方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910602834.2A CN110321359B (zh) 2019-07-05 2019-07-05 一种基于cmsp的空间数据增量更新方法

Publications (2)

Publication Number Publication Date
CN110321359A true CN110321359A (zh) 2019-10-11
CN110321359B CN110321359B (zh) 2023-06-09

Family

ID=68122742

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910602834.2A Active CN110321359B (zh) 2019-07-05 2019-07-05 一种基于cmsp的空间数据增量更新方法

Country Status (1)

Country Link
CN (1) CN110321359B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111581219A (zh) * 2020-05-14 2020-08-25 中国银行股份有限公司 监控数据获取方法及装置
CN112199429A (zh) * 2020-10-10 2021-01-08 浪潮云信息技术股份公司 一种基于分布式架构的空间数据转换方法
CN112269820A (zh) * 2020-10-30 2021-01-26 浪潮云信息技术股份公司 一种基于cmsp实现数据批次同步的方法及平台
CN112579398A (zh) * 2020-12-28 2021-03-30 中国建设银行股份有限公司 监控部署方法及装置
CN112632123A (zh) * 2020-12-18 2021-04-09 甘肃恒石公路检测科技有限公司 一种基于nifi技术实现公路技术状况评定系统数据智能化入库的方法
CN112685426A (zh) * 2021-01-21 2021-04-20 浪潮云信息技术股份公司 一种基于NiFi的Kafka消费NewSQL CDC流数据转换方法
CN117033398A (zh) * 2023-10-09 2023-11-10 之江实验室 一种基于dolt数据库的数据闪回查询方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107038162A (zh) * 2016-02-03 2017-08-11 滴滴（中国）科技有限公司 基于数据库日志的实时数据查询方法和系统
WO2018103315A1 (zh) * 2016-12-09 2018-06-14 上海壹账通金融科技有限公司 监控数据的处理方法、装置、服务器及存储设备
CN109325072A (zh) * 2018-07-12 2019-02-12 浪潮软件集团有限公司 一种基于CMSP实现跨网闸Oracle数据库同步的方法及装置
CN109684097A (zh) * 2018-12-21 2019-04-26 浪潮软件股份有限公司 一种基于cmsp的json数据解析与存储方法
CN109739931A (zh) * 2018-12-21 2019-05-10 浪潮软件股份有限公司 一种基于CMSP的MySQLBinlog日志解析的增量同步方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107038162A (zh) * 2016-02-03 2017-08-11 滴滴（中国）科技有限公司 基于数据库日志的实时数据查询方法和系统
WO2018103315A1 (zh) * 2016-12-09 2018-06-14 上海壹账通金融科技有限公司 监控数据的处理方法、装置、服务器及存储设备
CN109325072A (zh) * 2018-07-12 2019-02-12 浪潮软件集团有限公司 一种基于CMSP实现跨网闸Oracle数据库同步的方法及装置
CN109684097A (zh) * 2018-12-21 2019-04-26 浪潮软件股份有限公司 一种基于cmsp的json数据解析与存储方法
CN109739931A (zh) * 2018-12-21 2019-05-10 浪潮软件股份有限公司 一种基于CMSP的MySQLBinlog日志解析的增量同步方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
刘峰等: "基于海量数据的消息队列的性能对比与优化方案", 《软件》 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111581219A (zh) * 2020-05-14 2020-08-25 中国银行股份有限公司 监控数据获取方法及装置
CN111581219B (zh) * 2020-05-14 2024-02-23 中国银行股份有限公司 监控数据获取方法及装置
CN112199429A (zh) * 2020-10-10 2021-01-08 浪潮云信息技术股份公司 一种基于分布式架构的空间数据转换方法
CN112269820A (zh) * 2020-10-30 2021-01-26 浪潮云信息技术股份公司 一种基于cmsp实现数据批次同步的方法及平台
CN112632123A (zh) * 2020-12-18 2021-04-09 甘肃恒石公路检测科技有限公司 一种基于nifi技术实现公路技术状况评定系统数据智能化入库的方法
CN112632123B (zh) * 2020-12-18 2021-08-17 甘肃恒石公路检测科技有限公司 一种基于nifi技术实现公路技术状况评定系统数据智能化入库的方法
CN112579398A (zh) * 2020-12-28 2021-03-30 中国建设银行股份有限公司 监控部署方法及装置
CN112685426A (zh) * 2021-01-21 2021-04-20 浪潮云信息技术股份公司 一种基于NiFi的Kafka消费NewSQL CDC流数据转换方法
CN117033398A (zh) * 2023-10-09 2023-11-10 之江实验室 一种基于dolt数据库的数据闪回查询方法及装置
CN117033398B (zh) * 2023-10-09 2024-01-16 之江实验室 一种基于dolt数据库的数据闪回查询方法及装置

Also Published As

Publication number Publication date
CN110321359B (zh) 2023-06-09

Similar Documents

Publication Publication Date Title
CN110321359A (zh) 一种基于cmsp的空间数据增量更新方法
CN101902473B (zh) 基于网格gis的数据同步更新实现方法
US8204870B2 (en) Unwired enterprise platform
US9313104B2 (en) Method for extending business systems to a mobile workforce
CN111506412A (zh) 基于Airflow的分布式异步任务构建、调度系统及方法
EP2756475A2 (en) Distributing multi-source push notifications to multiple targets
CN110532074A (zh) 一种多租户模式SaaS服务集群环境的任务调度方法及系统
CN102841927A (zh) 多数据库之间数据交互的方法装置及分布式数据交互系统
CN110019514A (zh) 数据同步方法、装置以及电子设备
CN102316169A (zh) 一种实现快速业务聚合的方法及通用业务平台
CN114615096B (zh) 基于事件驱动架构的电信计费方法、系统及相关设备
CN115934855A (zh) 一种全链路字段级血缘解析方法、系统、设备及存储介质
CN103793531A (zh) 非结构化数据管理系统
CN108763323A (zh) 基于资源集和大数据技术的气象格点文件应用方法
US20230244688A1 (en) Systems and methods for universal data ingestion
CN107786661B (zh) 信息同步方法
US20230136061A1 (en) System and method for optimization of network function management and computer readable medium thereof
CN110929126A (zh) 一种基于远程过程调用实现的分布式爬虫调度方法
Bigagli et al. GI-Cat: A web service for dataset cataloguing based on ISO 19115
CN113312242A (zh) 接口信息管理方法、装置、设备及存储介质
CN114741444A (zh) 一种组织架构调整方法、装置、电子设备及存储介质
CN104980510A (zh) 一种corba分布式应用的透明集群化的方法
CN110569456A (zh) Web端数据离线缓存方法及装置、电子设备
CN108694251A (zh) 一种日志管理系统
KR20240104561A (ko) 문서 데이터를 업데이트하기 위한 방법 및 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant