CN110321359B - 一种基于cmsp的空间数据增量更新方法 - Google Patents

一种基于cmsp的空间数据增量更新方法 Download PDF

Info

Publication number
CN110321359B
CN110321359B CN201910602834.2A CN201910602834A CN110321359B CN 110321359 B CN110321359 B CN 110321359B CN 201910602834 A CN201910602834 A CN 201910602834A CN 110321359 B CN110321359 B CN 110321359B
Authority
CN
China
Prior art keywords
data
incremental
task
cmsp
monitoring
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910602834.2A
Other languages
English (en)
Other versions
CN110321359A (zh
Inventor
曲建龙
王善美
周明
魏存挡
尹曦萌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inspur Software Group Co Ltd
Original Assignee
Inspur Software Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inspur Software Group Co Ltd filed Critical Inspur Software Group Co Ltd
Priority to CN201910602834.2A priority Critical patent/CN110321359B/zh
Publication of CN110321359A publication Critical patent/CN110321359A/zh
Application granted granted Critical
Publication of CN110321359B publication Critical patent/CN110321359B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G06F16/2379—Updates performed during online database operations; commit processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29—Geographical information databases
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Remote Sensing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供一种基于CMSP的空间数据增量更新方法，属于空间数据增量更新技术领域，本发明先配置需要监听的数据库表，创建CMSP任务，监听捕获变化数据放入topic消息队列中，定时从消息队列中读取和解析消息，并将变化的数据更新到目标库中。采用B/S架构，可通过页面配置完成空间数据的增量抽取。本方法基于nifi二次开发，分布式集群部署，对空间数据可实现多节点多并发处理，效率高，本方法支持对不同厂商的空间数据进行处理，操作简单，任务监控功能完善。

Description

一种基于CMSP的空间数据增量更新方法
技术领域
本发明涉及空间数据增量更新技术，尤其涉及一种基于CMSP的空间数据增量更新方法。
背景技术
随着GIS(地理信息系统)技术的发展，GIS在国土、水利、交通、农业和智慧城市等领域等到了广泛应用。GIS数据中心和“一张图”建设越来越多，但是空间数据的增量更新问题一直没有解决，现在的整合都是全量的手动导入，对于新增数据还可以通过查询导入新增的数据，但是对于删除和修改数据无法获取，只能进行全量数据的替换。
CMSP：CMSP是浪潮自主研发的云和大数据时代的一种高性能消息中间件，以云服务和集群方式对外提供高性能和高可靠的消息队列服务，支撑大数据采集、汇聚、交换，大数据实时处理和微服务处理架构。CMSP支持oracle、mysql、sqlserver等关系库的表结构、全量和增量抽取。
Apache NiFi是一个易于使用、功能强大而且可靠的数据处理和分发系统。ApacheNiFi是为数据流设计。它支持高度可配置的指示图的数据路由、转换和系统中介逻辑。Nifi的关键特性包括：基于web的用户界面、高扩展性、流程模板、安全性和数据跟踪等。
Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统，有如下特性：
1、通过O(1)的磁盘数据结构提供消息的持久化，这种结构对于即使数以TB的消息存储也能够保持长时间的稳定性能。
2、高吞吐量：即使是非常普通的硬件Kafka也可以支持每秒数百万的消息。
3、支持通过Kafka服务器和消费机集群来分区消息。
4、支持Hadoop并行数据加载。
如果能通过以上技术来实现数据增量更新，则能解决本领域的相关难题。
发明内容
为了解决以上技术问题，本发明提出了一种基于CMSP的空间数据增量更新方法，基于nifi二次开发，分布式集群部署，对空间数据可实现多节点多并发处理，效率高。
本发明的技术方案是：
一种基于CMSP的空间数据增量更新方法，先配置需要监听的数据库表，创建CMSP任务，监听捕获变化数据放入topic消息队列中，定时从消息队列中读取和解析消息，并将变化的数据更新到目标库中。
进一步的，
本发明采用B/S架构，可通过页面配置完成空间数据的增量抽取。
再进一步的，
主要包括以下步骤：
1)空间增量数据的发现；
2)增量数据的获取；
3)增量数据的处理；
4)增量数据入库；
5)增量更新的机制；
6)增量更新任务的监控。
其中，
1)空间增量数据的发现：配置需要监测的数据库和表信息，创建CMSP任务，并将监测的数据写入对应的topic消息队列中。
2)增量数据的获取：读取并解析topic中的消息，根据定义好的消息格式，解析消息，获取增量数据。
3)增量数据的处理：根据解析的内容，重新组织数据，形成一条消息作为任务发送到kafka中。
4)增量数据入库：并发的从kafka中获取任务，判断数据处理操作，如果是删除操作，直接调用arcgis的删除接口删除数据，如果是修改和增加数据则调用相关接口修改和增加目标库中的数据。
5)增量更新的机制：支持定时更新和手动更新，定时更新是在任务页面配置定时执行时间，或者在任务列表页面点击执行按钮进行数据更新。
6)增量更新任务的监控：空间数据增量更新的监控主要分为两块，CMSP任务的监控和nifi增量任务的监控，CMSP任务监控CMSP任务是否正常执行，是否监测到空间数据的变化，nifi增量任务监控主要是监控增量数据是否被正确处理并入库。
本方法是B/S架构，可通过页面配置完成空间数据的增量抽取。本方法基于nifi二次开发，分布式集群部署，对空间数据可实现多节点多并发处理，效率高，本方法支持对不同厂商的空间数据进行处理，操作简单，任务监控功能完善。
本发明的有益效果是
本发明基于CMSP对oracle闪回日志的监控，实现了空间数据增量更新的突破
本发明是对空间数据的增量更新，相较于传统的全量更新，增加了数据的时效性，更好的发挥数据价值。
本发明基nifi集群分布式并发对空间数据进行处理，数据处理效率高，性能优势明显。
本发明应用简单，只需要简单的填写任务信息、选择数据源信息和处理内容(字段过滤、投影变换、面积计算、图形匹配)就可以创建任务，在任务调度调度任务就可以了，相较于arcgis desktop等GIS相关产品操作简单很多。
本发明的任务监控比较完善，可以监控任务处理到哪一环节，是否报错，以及报错后的错误信息。
附图说明
图1是本发明的工作流程示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
本方法先配置需要监听的数据库表，创建CMSP任务，监听捕获变化数据放入topic消息队列中，定时从消息队列中读取和解析消息，并将变化的数据更新到目标库中，具体流程如图1所示。
本发明实现空间数据的增量更新。主要包括以下内容：
1、空间增量数据的发现
2、增量数据的获取
3、增量数据的处理
4、增量数据入库
5、增量更新的机制
6、增量更新任务的监控
具体如下：
1、空间增量数据的发现：配置需要监测的数据库和表信息，创建CMSP任务，并将监测的数据写入对应的topic消息队列中。
2、增量数据的获取：读取并解析topic中的消息。Topic中定义的消息格式如下：
Figure BDA0002119857470000051
根据定义好的消息格式，解析消息，获取增量数据。
3、增量数据的处理：根据解析的内容，重新组织数据，包括数据的操作类型，数据源信息、目标库、目标表信息等形成一条消息作为任务发送到kafka中。
4、增量数据入库：并发的从kafka中获取任务，判断数据处理操作，如果是删除操作，直接调用arcgis的删除接口删除数据，如果是修改和增加数据则调用相关接口修改和增加目标库中的数据。
5、增量更新的机制：本方法支持定时更新和手动更新，定时更新是在任务页面配置定时执行时间如每5分钟或者每天的30点等，也可以在任务列表页面点击执行按钮进行数据更新。
6、增量更新任务的监控：空间数据增量更新的监控主要分为两块，CMSP任务的监控和nifi增量任务的监控，CMSP任务监控CMSP任务是否正常执行，是否监测到空间数据的变化，nifi增量任务监控主要是监控增量数据是否被正确处理并入库。
本发明采用B/S架构，通过CMSP监听捕获空间增量数据；基于nifi二次开发，分布式集群部署，对空间数据可实现高并发处理；支持对不同厂商的空间数据进行处理；操作简单；任务监控功能完善。
采用B/S架构，用户不需要安装桌面端GIS数据处理工具(arcgis desktop等)，使用起来更方便。
通过CMSP监听捕获数据变化，CMSP基于日志的方式捕获数据库中数据的变化
监听空间数据变化。本方法重点是支持空间数据的增量更新。
集群、分布式和高并发，对于要处理的空间数据进行任务拆分，把任务分给集群中并发的处理器来处理任务。
操作简单，只需在页面简单的选择配置即可完成任务的创建和启动。
任务监控功能完善，日志系统完善，可清晰的了解任务的执行情况。
以上所述仅为本发明的较佳实施例，仅用于说明本发明的技术方案，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所做的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (2)

1.一种基于CMSP的空间数据增量更新方法，其特征在于，
先配置需要监听的数据库表，创建CMSP任务，监听捕获变化数据放入topic消息队列中，定时从消息队列中读取和解析消息，并将变化的数据更新到目标库中；
主要包括以下步骤：
1）空间增量数据的发现；
2）增量数据的获取；
3）增量数据的处理；
4）增量数据入库；
5）增量更新的机制；
6）增量更新任务的监控；
空间增量数据的发现：配置需要监测的数据库和表信息，创建CMSP任务，并将监测的数据写入对应的topic消息队列中；
增量数据的获取：读取并解析topic中的消息，根据定义好的消息格式，解析消息，获取增量数据；
增量数据的处理：根据解析的内容，重新组织数据，形成一条消息作为任务发送到kafka中；
增量数据入库：并发的从kafka中获取任务，判断数据处理操作，如果是删除操作，直接调用arcgis的删除接口删除数据，如果是修改和增加数据则调用相关接口修改和增加目标库中的数据；
增量更新的机制：支持定时更新和手动更新，定时更新是在任务页面配置定时执行时间，或者在任务列表页面点击执行按钮进行数据更新；
增量更新任务的监控：空间数据增量更新的监控主要分为两块，CMSP任务的监控和nifi增量任务的监控，CMSP任务监控CMSP任务是否正常执行，是否监测到空间数据的变化，nifi增量任务监控主要是监控增量数据是否被正确处理并入库。
2.根据权利要求1所述的方法，其特征在于，
采用B/S架构，通过页面配置完成空间数据的增量抽取。
CN201910602834.2A 2019-07-05 2019-07-05 一种基于cmsp的空间数据增量更新方法 Active CN110321359B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910602834.2A CN110321359B (zh) 2019-07-05 2019-07-05 一种基于cmsp的空间数据增量更新方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910602834.2A CN110321359B (zh) 2019-07-05 2019-07-05 一种基于cmsp的空间数据增量更新方法

Publications (2)

Publication Number Publication Date
CN110321359A CN110321359A (zh) 2019-10-11
CN110321359B true CN110321359B (zh) 2023-06-09

Family

ID=68122742

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910602834.2A Active CN110321359B (zh) 2019-07-05 2019-07-05 一种基于cmsp的空间数据增量更新方法

Country Status (1)

Country Link
CN (1) CN110321359B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111581219B (zh) * 2020-05-14 2024-02-23 中国银行股份有限公司 监控数据获取方法及装置
CN112199429A (zh) * 2020-10-10 2021-01-08 浪潮云信息技术股份公司 一种基于分布式架构的空间数据转换方法
CN112269820A (zh) * 2020-10-30 2021-01-26 浪潮云信息技术股份公司 一种基于cmsp实现数据批次同步的方法及平台
CN112632123B (zh) * 2020-12-18 2021-08-17 甘肃恒石公路检测科技有限公司 一种基于nifi技术实现公路技术状况评定系统数据智能化入库的方法
CN112579398A (zh) * 2020-12-28 2021-03-30 中国建设银行股份有限公司 监控部署方法及装置
CN112685426A (zh) * 2021-01-21 2021-04-20 浪潮云信息技术股份公司 一种基于NiFi的Kafka消费NewSQL CDC流数据转换方法
CN117033398B (zh) * 2023-10-09 2024-01-16 之江实验室 一种基于dolt数据库的数据闪回查询方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107038162A (zh) * 2016-02-03 2017-08-11 滴滴（中国）科技有限公司 基于数据库日志的实时数据查询方法和系统
WO2018103315A1 (zh) * 2016-12-09 2018-06-14 上海壹账通金融科技有限公司 监控数据的处理方法、装置、服务器及存储设备
CN109325072A (zh) * 2018-07-12 2019-02-12 浪潮软件集团有限公司 一种基于CMSP实现跨网闸Oracle数据库同步的方法及装置
CN109684097A (zh) * 2018-12-21 2019-04-26 浪潮软件股份有限公司 一种基于cmsp的json数据解析与存储方法
CN109739931A (zh) * 2018-12-21 2019-05-10 浪潮软件股份有限公司 一种基于CMSP的MySQLBinlog日志解析的增量同步方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107038162A (zh) * 2016-02-03 2017-08-11 滴滴（中国）科技有限公司 基于数据库日志的实时数据查询方法和系统
WO2018103315A1 (zh) * 2016-12-09 2018-06-14 上海壹账通金融科技有限公司 监控数据的处理方法、装置、服务器及存储设备
CN109325072A (zh) * 2018-07-12 2019-02-12 浪潮软件集团有限公司 一种基于CMSP实现跨网闸Oracle数据库同步的方法及装置
CN109684097A (zh) * 2018-12-21 2019-04-26 浪潮软件股份有限公司 一种基于cmsp的json数据解析与存储方法
CN109739931A (zh) * 2018-12-21 2019-05-10 浪潮软件股份有限公司 一种基于CMSP的MySQLBinlog日志解析的增量同步方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于海量数据的消息队列的性能对比与优化方案;刘峰等;《软件》;20161015(第10期);全文 *

Also Published As

Publication number Publication date
CN110321359A (zh) 2019-10-11

Similar Documents

Publication Publication Date Title
CN110321359B (zh) 一种基于cmsp的空间数据增量更新方法
US11941017B2 (en) Event driven extract, transform, load (ETL) processing
JP7333424B2 (ja) 分散イベント処理システムのためのグラフ生成
US11392416B2 (en) Automated reconfiguration of real time data stream processing
CN107506451B (zh) 用于数据交互的异常信息监控方法及装置
CN106649656B (zh) 一种面向数据库的时空轨迹大数据存储方法
US8874600B2 (en) System and method for building a cloud aware massive data analytics solution background
CN109656963B (zh) 元数据获取方法、装置、设备及计算机可读存储介质
CN111177161B (zh) 数据处理方法、装置、计算设备和存储介质
CN110990726A (zh) 时空大数据智能服务系统
US8402119B2 (en) Real-load tuning of database applications
CN109597842A (zh) 数据实时计算方法、装置、设备及计算机可读存储介质
JP2016500168A (ja) アーカイブされたリレーションを有する連続クエリの管理
CN112948492A (zh) 一种数据处理系统、方法、装置、电子设备及存储介质
CN115238015A (zh) 一种基于微服务的时空大数据平台
US10838931B1 (en) Use of stream-oriented log data structure for full-text search oriented inverted index metadata
CN111143468A (zh) 基于mpp分布式技术的多数据库数据管理方法
CN113962597A (zh) 一种数据分析方法、装置、电子设备及存储介质
Suzumura et al. StreamWeb: Real-time web monitoring with stream computing
Rashidan et al. GeoPackage as future ubiquitous GIS data format: a review
CN114201508A (zh) 数据处理方法、数据处理装置、电子设备和存储介质
US10963479B1 (en) Hosting version controlled extract, transform, load (ETL) code
CN115391361A (zh) 一种基于分布式数据库的实时数据处理方法及其装置
Pan et al. An open sharing pattern design of massive power big data
CN111090676A (zh) 面向流式数据的分布式自动处理方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant