CN110674221A - 一种空间数据同步方法、终端及计算机可读存储介质 - Google Patents

一种空间数据同步方法、终端及计算机可读存储介质 Download PDF

Info

Publication number
CN110674221A
CN110674221A CN201910921415.5A CN201910921415A CN110674221A CN 110674221 A CN110674221 A CN 110674221A CN 201910921415 A CN201910921415 A CN 201910921415A CN 110674221 A CN110674221 A CN 110674221A
Authority
CN
China
Prior art keywords
spatial data
format conversion
cmsp
synchronization method
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910921415.5A
Other languages
English (en)
Other versions
CN110674221B (zh
Inventor
李朝铭
曹景亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inspur Software Co Ltd
Original Assignee
Inspur Software Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inspur Software Co Ltd filed Critical Inspur Software Co Ltd
Priority to CN201910921415.5A priority Critical patent/CN110674221B/zh
Publication of CN110674221A publication Critical patent/CN110674221A/zh
Application granted granted Critical
Publication of CN110674221B publication Critical patent/CN110674221B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G06F16/275—Synchronous replication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29—Geographical information databases
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Remote Sensing (AREA)
  • Information Transfer Between Computers (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种空间数据同步方法、终端及计算机可读存储介质，属于空间数据同步传输，要解决的技术问题为如何提供一种高性能、且断网能够同步的空间数据同步方法。同步方法为：基于中间缓存件支持的是数据格式，对源数据库中的空间数据进行一次格式转换；将一次格式转换后的空间数据实时缓存于中间缓存件；如果网络状态良好，基于目标数据库支持的数据格式，将二次格式转换后的空间数据实时发送至目标数据库，如果网络不通或者效率较差，将一次格式转换后的空间数据暂存于消息中间件。终端包括处理器和存储器，处理器被配置用于调用程序指令执行上述同步方法。存储介质存储有计算机程序，程序指令当被处理器执行时所述处理器执行该方法。

Description

一种空间数据同步方法、终端及计算机可读存储介质
技术领域
本发明涉及空间数据同步传输领域，具体地说是一种空间数据同步方法、终端及计算机可读存储介质。
背景技术
现在GIS在许多行业得到了大量应用，GIS信息多以空间数据结构形式存储，标准的SQL无法读写数据库中的空间数据。如果将一个数据库中的空间数据同步到另一个同构或异构数据库中，传统的ETL工具无法使用。
美国著名的GIS软件厂商ESRI公司提供了基于Geodatabase复制技术的商业化解决方案，它能够在两个或者多个Geodatabase之间实现数据的复制与同步。Geodatabase复制技术(Geodatabase Replication)是建立在版本化数据的基础上，支持拓扑与网络等完全的数据模型，并且能够在不同类型的数据库之间实现数据的复制与同步；但GeodatabaseReplication技术也存在如资源消耗过大、需要连通网络环境、且同步数据库对象粒度不可自由控制等缺陷。
2012年6月20日公开的申请号为201110318256.3的中国专利，公开了一种基于XML的空间数据增量同步更新方法，该方法用于建立空间数据双向同步机制，实现多副本数据近似一致性维护，解决普通的数据同步方法不支持离线环境，不支持异构数据库以及同步对象粒度、同步过程不可自由控制等问题。利用.NET、XML等技术作为实现空间数据同步更新方法的基础，包括变更记录收集模块、变更数据组织模块、变更数据冲突仲裁模块、变更数据同步模块，四大功能模块协同作用实现空间变更数据的监控、组织和同步，达到空间数据的增量同步更新。
上述技术方案是基于XML的，由于XML本身解析性能较低，在数据量大时会存在性能问题，尤其在大数据背景和现在的许多业务提出了实时性需求。
基于上述分析，如何提供一种高性能、且断网能够同步的空间数据同步方法，是需要解决的技术问题。
发明内容
本发明的技术任务是针对以上不足，提供一种空间数据同步方法、终端及计算机可读存储介质，来解决如何提供一种高性能、且断网能够同步的空间数据同步方法的问题。
第一方面，本发明提供一种空间数据同步方法，用于将源数据库中的空间数据同步至目标数据库，所述同步方法为：
基于中间缓存件支持的是数据格式，对源数据库中的空间数据进行一次格式转换；
将一次格式转换后的空间数据实时缓存于中间缓存件；
判断网络状态，如果网络状态良好，基于目标数据库支持的数据格式，对一次转换后的空间数据进行二次格式转换，并将二次格式转换后的空间数据实时发送至目标数据库，如果网络不通或者效率较差，将一次格式转换后的空间数据暂存于消息中间件。
作为优选，所述中间缓存件为配置于CMSP Server中的CMSP Topic，所述CMSPTopic为云消息服务平台消息队列。
作为优选，对源数据库中的空间数据进行一次格式转换为：将空间数据的格式转换为可嵌套的自定义二进制结构标准格式；
一条可嵌套的自定义二进制结构标准格式消息包含一条空间数据或者多条空间数据，每条空间数据的内容以二进制形式存储。
作为优选，通过CMSP中发送节点判断网络状态。
作为优选，源数据库与目标数据库为异构异地时，基于CMSP中发送节点的异地加密传送功能，通过CMSP中发送节点的传送功能将二次格式转换后的空间数据发送至目标数据库。
作为优选，如果网络状态良好，基于先进先出的原则对一次转换后的空间数据进行二次格式转换，并将二次格式转换后的空间数据实时发送至目标数据库。
作为优选，不同结构表的空间数控缓存于不同的CMSP Topic中。
第二方面，本发明提供一种终端，包括处理器、输入设备、输出设备和存储器，处理器、输入设备、输出设备和存储器相互连接，存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令执行如第一方面任一项所述的一种空间数据同步方法。
第三方面，本发明提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，程序指令当被处理器执行时所述处理器执行如第一方面任一项所述的一种空间数据同步方法。
本发明的一种空间数据同步方法、终端及计算机可读存储介质具有以下优点：
1、通过中间缓存件暂存空间数据，实现网络状态连通时空间数据的实时传送，以及网络状态不通或者较差时的延迟传送，实现了断网时空间数控的同步传送；
2、中间缓存件为配置于CMSP Server中的CMSP Topic，CMSP Topic缓存空间大，满足了大量空间数据的缓存；
3、基于CMSP严格的先进先出特性，空间数据同步时不需要冲突仲裁，结构简单高效；
4、CMSP中发送节点还具备异地加密压缩传输功能，当同步的空间数据库位于异地时，也可将空间数据发送至目标数据库。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例中描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
下面结合附图对本发明进一步说明。
附图1为实施例1一种空间数据同步方法的流程框图。
具体实施方式
下面结合附图和具体实施例对本发明作进一步说明，以使本领域的技术人员可以更好地理解本发明并能予以实施，但所举实施例不作为对本发明的限定，在不冲突的情况下，本发明实施例以及实施例中的技术特征可以相互结合。
需要理解的是，在本发明实施例的描述中，“一次”、“二次”等词汇，仅用于区分描述的目的以及顺序，而不能理解为指示或暗示相对重要性。在本发明实施例中的“多条”，是指两条或两条以上。
本发明实施例提供一种空间数据同步方法、终端及计算机可读存储介质，用于解决如何提供一种高性能、且断网能够同步的空间数据同步方法的技术问题。
实施例1：
本发明的一种空间数据同步方法，用于将源数据库中的空间数据同步至目标数据库，如附图1所示，该同步方法为：
S100、基于中间缓存件支持的是数据格式，对源数据库中的空间数据进行一次格式转换；
S200、将一次格式转换后的空间数据实时缓存于中间缓存件；
S300、判断网络状态，如果网络状态良好，基于目标数据库支持的数据格式，对一次转换后的空间数据进行二次格式转换，并将二次格式转换后的空间数据实时发送至目标数据库，如果网络不通或者效率较差，将一次格式转换后的空间数据暂存于消息中间件。
本实施例中，中间缓存件为配置于CMSP Server中的CMSP Topic，CMSP Topic为云消息服务平台消息队列。CMSP Server中可以支持数十万个CMSP Topic。其中，不同结构表的空间数控缓存于不同的CMSP Topic中。
为适配上述CMSP Topic，对源数据库中的空间数据进行一次格式转换时，将空间数据转换为可嵌套的自定义二进制结构标准格式，以将一次格式转换后的空间数据实时缓存在CMSP Topic中。
将一次格式转换后的空间数据实时缓存在CMSP Topic中后，通过CMSP中发送节点判断网络状态，如果网络状态良好，根据目标数据库支持的数据格式，对一次转换后空间数据进行二次格式转换，并将二次格式转换后空间数据实时发送至目标数据库，如果当网络不通或效率较差时，一次转换后空间数据暂存在CMSP Topic中，CMSP Topic中有足够的空间进行缓存，不影响空间数据同步。
CMSP中Topic遵循先进先出的传输原则，因此如果网络状态良好，根据目标数据库支持的数据格式，基于先进先出的原则，对一次转换后空间数据进行二次格式转换，并将二次格式转换后空间数据实时发送至目标数据库。基于此，可实现源数据库与目标数据库之间空间数据完全一致、
自定义二进制结构标准格式满足如下条件：一条可嵌套的自定义二进制结构标准格式消息包含一条空间数据或者多条空间数据，每条空间数据的内容以二进制形式存储。条可嵌套的自定义二进制结构标准格式消息包含多条空间数据时性能更佳。且相对于XML格式，该格式性能更高。
CMSP中发送节点具有异地加密传送功能，当源数据库与目标数据库为异构异地时，可通过CMSP中发送节点的传送功能将二次格式转换后的空间数据发送至目标数据库。
本实施例中CMSP选用浪潮云消息服务平台。对于空间数据的格式转换，可基于数据库支持的格式、采用现有的格式转换方法或者经过调整的现有格式转换方法执行，本实施例中不作详述。
本发明的一种空间数据同步方法，实现了空间数据在数据库之间的同步传送，且支持断网传送。
实施例2：
本发明的一种终端，包括处理器、输入设备、输出设备和存储器，处理器、输入设备、输出设备和存储器相互连接，存储器用于存储计算机程序，上述计算机程序包括程序指令，上述处理器被配置用于调用上述程序指令执行实施例1公开的一种空间数据同步方法。
实施例3：
本发明的一种计算机可读存储介质，上述计算机可读存储介质存储有计算机程序，上述计算机程序包括程序指令，程序指令当被处理器执行时上述处理器执行实施例1公开的一种空间数据同步方法。
以上所述实施例仅是为充分说明本发明而所举的较佳的实施例，本发明的保护范围不限于此。本技术领域的技术人员在本发明基础上所作的等同替代或变换，均在本发明的保护范围之内。本发明的保护范围以权利要求书为准。

Claims (9)

1.一种空间数据同步方法，其特征在于用于将源数据库中的空间数据同步至目标数据库，所述同步方法为：
基于中间缓存件支持的是数据格式，对源数据库中的空间数据进行一次格式转换；
将一次格式转换后的空间数据实时缓存于中间缓存件；
判断网络状态，如果网络状态良好，基于目标数据库支持的数据格式，对一次转换后的空间数据进行二次格式转换，并将二次格式转换后的空间数据实时发送至目标数据库，如果网络不通或者效率较差，将一次格式转换后的空间数据暂存于消息中间件。
2.根据权利要求1所述的一种空间数据同步方法，其特征在于所述中间缓存件为消息中间件，且为配置于CMSP Server中的CMSP Topic，所述CMSP Topic为云消息服务平台消息队列。
3.根据权利要求2所述的一种空间数据同步方法，其特征在于对源数据库中的空间数据进行一次格式转换为：将空间数据的格式转换为可嵌套的自定义二进制结构标准格式；
一条可嵌套的自定义二进制结构标准格式消息包含一条空间数据或者多条空间数据，每条空间数据的内容以二进制形式存储。
4.根据权利要求2所述的一种空间数据同步方法，其特征在于通过CMSP中发送节点判断网络状态。
5.根据权利要求2、3或4所述的一种空间数据同步方法，其特征在于源数据库与目标数据库为异构异地时，基于CMSP中发送节点的异地加密传送功能，通过CMSP中发送节点的传送功能将二次格式转换后的空间数据发送至目标数据库。
6.根据权利要求2、3或4所述的一种空间数据同步方法，其特征在于如果网络状态良好，基于先进先出的原则对一次转换后的空间数据进行二次格式转换，并将二次格式转换后的空间数据实时发送至目标数据库。
7.根据权利要求2、3或4所述的一种空间数据同步方法，其特征在于不同结构表的空间数控缓存于不同的CMSP Topic中。
8.一种终端，其特征在于包括处理器、输入设备、输出设备和存储器，处理器、输入设备、输出设备和存储器相互连接，存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令执行如权利要求1-7任一项所述的一种空间数据同步方法。
9.一种计算机可读存储介质，其特征在于所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，程序指令当被处理器执行时所述处理器执行如权利要求1-7任一项所述的一种空间数据同步方法。
CN201910921415.5A 2019-09-27 2019-09-27 一种空间数据同步方法、终端及计算机可读存储介质 Active CN110674221B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910921415.5A CN110674221B (zh) 2019-09-27 2019-09-27 一种空间数据同步方法、终端及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910921415.5A CN110674221B (zh) 2019-09-27 2019-09-27 一种空间数据同步方法、终端及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN110674221A true CN110674221A (zh) 2020-01-10
CN110674221B CN110674221B (zh) 2023-08-08

Family

ID=69079619

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910921415.5A Active CN110674221B (zh) 2019-09-27 2019-09-27 一种空间数据同步方法、终端及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN110674221B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111355785A (zh) * 2020-02-20 2020-06-30 浪潮软件集团有限公司 一种基于cmsp的ftp安全传输系统及方法
CN112650814A (zh) * 2020-12-30 2021-04-13 平安壹钱包电子商务有限公司 基于消息中间件的数据存储方法、装置、设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090063453A1 (en) * 2007-08-29 2009-03-05 International Business Machines Corporation Apparatus, system, and method for executing a distributed spatial data query
CN109325072A (zh) * 2018-07-12 2019-02-12 浪潮软件集团有限公司 一种基于CMSP实现跨网闸Oracle数据库同步的方法及装置
CN109684097A (zh) * 2018-12-21 2019-04-26 浪潮软件股份有限公司 一种基于cmsp的json数据解析与存储方法
CN110175213A (zh) * 2019-05-27 2019-08-27 浪潮软件集团有限公司 一种基于SCN方式的Oracle数据库同步系统及方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090063453A1 (en) * 2007-08-29 2009-03-05 International Business Machines Corporation Apparatus, system, and method for executing a distributed spatial data query
CN109325072A (zh) * 2018-07-12 2019-02-12 浪潮软件集团有限公司 一种基于CMSP实现跨网闸Oracle数据库同步的方法及装置
CN109684097A (zh) * 2018-12-21 2019-04-26 浪潮软件股份有限公司 一种基于cmsp的json数据解析与存储方法
CN110175213A (zh) * 2019-05-27 2019-08-27 浪潮软件集团有限公司 一种基于SCN方式的Oracle数据库同步系统及方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
左尧等: "基于Qt的空间数据存储格式检查软件的设计与实现", 《测绘通报》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111355785A (zh) * 2020-02-20 2020-06-30 浪潮软件集团有限公司 一种基于cmsp的ftp安全传输系统及方法
CN112650814A (zh) * 2020-12-30 2021-04-13 平安壹钱包电子商务有限公司 基于消息中间件的数据存储方法、装置、设备及存储介质
CN112650814B (zh) * 2020-12-30 2023-09-26 平安壹钱包电子商务有限公司 基于消息中间件的数据存储方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN110674221B (zh) 2023-08-08

Similar Documents

Publication Publication Date Title
CN111163002B (zh) 一种基于容器的边缘网关系统和能源数据处理方法
CN106453288B (zh) 一种支持异步模式的分布式微服务框架系统及其实现方法
CN103002010B (zh) 一种基于增量数据的数据更新方法、装置和系统
CN100531055C (zh) 数据同步系统及其方法
CN100496015C (zh) 在多节点智能网络应用服务系统中实现剪贴板共享的方法
WO2016004733A1 (zh) 基于远程调阅和信息交互的主配网图/模/数集成系统及方法
CN105472042A (zh) Web端控制的消息中间件系统及其数据传送方法
CN105407180A (zh) 服务器的消息推送方法和装置
CN206249316U (zh) 一种基于云端的医院数据中心平台系统
CN101902473A (zh) 基于网格gis的数据同步更新实现方法
US20180262560A1 (en) Method and system for transmitting communication data
CN103312751A (zh) 一种基于浏览器的即时通信方法
CN110674221B (zh) 一种空间数据同步方法、终端及计算机可读存储介质
CN109151056B (zh) 基于Canal的消息推送方法和系统
CN103929377A (zh) 一种有线网络与无线网络联合调度方法、相关设备及系统
CN107979498B (zh) 一种mesh网络集群及基于所述集群的大文件传输方法
CN110213156A (zh) 一种跨中心群组即时通信方法和系统
CN105407044B (zh) 一种基于nfs的云存储网关系统的实现方法
KR20220039530A (ko) 인스턴스 수 조절 방법, 장치, 전자 기기 및 판독 가능한 저장 매체
CN102724143A (zh) 发送物联网数据的方法和物联网网关
PH12015500675B1 (en) Method and system for transmission management of full configuration synchronization between eml-nml.
CN110245043A (zh) 一种分布式系统间调用关系的跟踪系统
CN102427474B (zh) 云存储中的数据传输系统
CN112052104A (zh) 基于多机房实现的消息队列的管理方法及电子设备
CN110290035B (zh) 一种基于k3s的智慧家庭数据存储访问方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 271000 Langchao science and Technology Park, 527 Dongyue street, Tai'an City, Shandong Province

Applicant after: INSPUR SOFTWARE Co.,Ltd.

Address before: No. 1036, Shandong high tech Zone wave road, Ji'nan, Shandong

Applicant before: INSPUR SOFTWARE Co.,Ltd.

GR01 Patent grant
GR01 Patent grant