CN109684097A - 一种基于cmsp的json数据解析与存储方法 - Google Patents

一种基于cmsp的json数据解析与存储方法 Download PDF

Info

Publication number
CN109684097A
CN109684097A CN201811569821.1A CN201811569821A CN109684097A CN 109684097 A CN109684097 A CN 109684097A CN 201811569821 A CN201811569821 A CN 201811569821A CN 109684097 A CN109684097 A CN 109684097A
Authority
CN
China
Prior art keywords
cmsp
data
json data
json
remote
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811569821.1A
Other languages
English (en)
Other versions
CN109684097B (zh
Inventor
孙伟强
李朝铭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inspur Software Co Ltd
Original Assignee
Inspur Software Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inspur Software Co Ltd filed Critical Inspur Software Co Ltd
Priority to CN201811569821.1A priority Critical patent/CN109684097B/zh
Publication of CN109684097A publication Critical patent/CN109684097A/zh
Application granted granted Critical
Publication of CN109684097B publication Critical patent/CN109684097B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/52—Program synchronisation; Mutual exclusion, e.g. by means of semaphores

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Telephonic Communication Services (AREA)

Abstract

本发明提供一种基于CMSP的JSON数据解析与存储方法，属于JSON数据的解析与存储技术领域，本发明在第三方系统使用基于CMSP开发的数据库入库同步组件同步JSON数据时，把JSON数据解析成CMSP自定义的标准格式字节流数据并把解析后的数据存储到远程CMSP Topic中。有效的减少用户工作量，提高了数据的安全性。

Description

一种基于CMSP的JSON数据解析与存储方法
技术领域
本发明涉及JSON数据的解析与存储技术，尤其涉及一种基于CMSP的JSON数据解析与存储方法。
背景技术
目前第三方系统使用基于CMSP开发的数据库入库同步组件同步JSON数据，需要用户自行开发JSON数据格式转换程序，把JSON格式的数据转换成CMSP自定义的标准格式字节流数据，这样JSON数据才能被基于CMSP开发的数据库入库同步组件所使用。
目前这种方式存在的问题是多个第三方系统在使用基于CMSP开发的数据库入库同步组件同步JSON数据时，需要重复开发JSON数据格式转换程序，这样给用户带来额外的工作量，同时由于数据格式转换程序要把JSON数据转换成CMSP自定义的标准格式字节流数据，所以用户在开发之前我们要把CMSP自定义的字节流数据格式标准暴露给用户，因此也带来了数据安全问题。
发明内容
为了解决以上技术问题，本发明提出了一种基于CMSP的JSON数据解析与存储方法，通过使用基于CMSP开发的JSON数据解析与存储方法，旨在使第三方系统使用基于CMSP开发的数据库入库同步组件同步JSON数据时，无需额外开发JSON数据格式转换程序，直接添加依赖包调用相关API接口即可。
本发明的技术方案是：
一种基于CMSP的JSON数据解析与存储方法，
在第三方系统使用基于CMSP开发的数据库入库同步组件同步JSON数据时，把JSON数据解析成CMSP自定义的标准格式字节流数据并把解析后的数据存储到远程CMSP Topic中。
进一步的包括，
第三方系统接收到的JSON数据经调用JSON数据同步API处理后，发送到远程CMSPTopic中，最后入库同步组件从CMSP Topic中取走消息同步到相应的数据库中。
进一步的包括，
主要包括定义字段信息实体类、CMSP连接信息实体类、初始化数据、JSON数据转换、资源清理；
其中，
定义字段信息实体类，用以描述JSON数据中每个键在数据库中对应的字段信息；
定义CMSP连接信息实体类，用以描述CMSP连接信息，供存储数据时使用；
定义初始化数据方法，主要作用是用CMSP连接信息在远程CMSP服务上创建指定的Topic队列，并使用字段信息集合以及表名根据标准的字节流格式生成标准格式的表结构字节流数据，然后存储到远程CMSP Topic队列中，同时在表结构同步记录文件中进行记录；
定义JSON数据转换，解析JSON数据并把解析后的数据按标准的字节流格式生成标准格式的表记录字节流数据，然后存到远程CMSP Topic队列中；
定义资源清理，用来关闭与远程CMSP建立的连接。
进一步的包括，
所述定义字段信息实体类，它有四个属性，分别为字段名、字段类型、字段是否为空、以及字段是否为主键。
进一步的包括，
所述定义CMSP连接信息实体类，它有六个属性，分别为远程CMSP连接的IP地址、端口号、用户名、密码、Topic名字以及连接模式。
进一步的包括，
所述定义初始化数据，它有六个参数，分别为记录表结构是否同步的文件存储路径、表名、字段信息集合、CMSP连接信息、字符集以及时区。
进一步的包括，
所述定义JSON数据转换，它有两个参数，分别为JSON数据、记录操作类型。记录操作数据类型有三种，分别为新增、更新、删除，主要用来标记JSON数据的动作。
本发明的有益效果是
第三方系统通过使用基于CMSP的JSON数据解析与存储方法来转换JSON数据成CMSP自定义的标准格式字节流数据，无需额外开发JSON数据格式转换程序，直接添加依赖包调用相关API接口即可，有效的减少用户工作量，提高了数据的安全性。
附图说明
图1是JSON数据同步API使用场景图。
具体实施方式
下面根据附图对本发明的内容进行更加详细的阐述：
本发明的一种基于CMSP的JSON数据解析与存储方法，在第三方系统使用基于CMSP开发的数据库入库同步组件同步JSON数据时，可把JSON数据解析成CMSP自定义的标准格式字节流数据并把解析后的数据存储到远程CMSP Topic中的方法。
为实现把JSON数据解析成CMSP自定义的标准格式字节流数据，并把解析后的数据存储到远程CMSP Topic中，为此定义了字段信息实体类、CMSP连接信息实体类以及初始化数据、JSON数据转换、资源清理这三个方法来进行实现，具体实现描述请看下文：
a)定义字段信息实体类，它有四个属性，分别为字段名、字段类型、字段是否为空、以及字段是否为主键。用以描述JSON数据中每个键在数据库中对应的字段信息。
b)定义CMSP连接信息实体类，它有六个属性，分别为远程CMSP连接的IP地址、端口号、用户名、密码、Topic名字以及连接模式。用以描述CMSP连接信息，供存储数据时使用。
c)定义初始化数据方法，它有六个参数，分别为记录表结构是否同步的文件存储路径、表名、字段信息集合、CMSP连接信息、字符集以及时区。
它的主要作用是用CMSP连接信息在远程CMSP服务上创建指定的Topic队列，并使用字段信息集合以及表名根据标准的字节流格式生成标准格式的表结构字节流数据，然后存储到远程CMSP Topic队列中，同时在表结构同步记录文件中进行记录。
d)定义JSON数据转换方法，它有两个参数，分别为JSON数据、记录操作类型。记录操作数据类型有三种，分别为新增、更新、删除，主要用来标记JSON数据的动作。
该方法的主要作用是解析JSON数据并把解析后的数据按标准的字节流格式生成标准格式的表记录字节流数据，然后存到远程CMSP Topic队列中
e)定义资源清理方法，它的主要作用是用来关闭与远程CMSP建立的连接。
如图所示，该图描述了基于CMSP的JSON数据解析与存储方法的使用场景，即第三方系统接收到的JSON数据经调用JSON数据同步API处理后，发送到远程CMSP Topic中，最后入库同步组件从CMSP Topic中取走消息同步到相应的数据库中。
以上所述的实施例，只是本发明具体实施方式的一种，本领域的技术人员在本发明技术方案范围内进行的通常变化和替换都应包含在本发明的保护范围内。

Claims (8)

1.一种基于CMSP的JSON数据解析与存储方法，其特征在于，
在第三方系统使用基于CMSP开发的数据库入库同步组件同步JSON数据时，把JSON数据解析成CMSP自定义的标准格式字节流数据并把解析后的数据存储到远程CMSP Topic中。
2.根据权利要求1所述的方法，其特征在于，
第三方系统接收到的JSON数据经调用JSON数据同步API处理后，发送到远程CMSPTopic中，最后入库同步组件从CMSP Topic中取走消息同步到相应的数据库中。
3.根据权利要求2所述的方法，其特征在于，
主要包括定义字段信息实体类、CMSP连接信息实体类、初始化数据、JSON数据转换、资源清理。
4.根据权利要求3所述的方法，其特征在于，
其中，
定义字段信息实体类，用以描述JSON数据中每个键在数据库中对应的字段信息；
定义CMSP连接信息实体类，用以描述CMSP连接信息，供存储数据时使用；
定义初始化数据方法，主要作用是用CMSP连接信息在远程CMSP服务上创建指定的Topic队列，并使用字段信息集合以及表名根据标准的字节流格式生成标准格式的表结构字节流数据，然后存储到远程CMSP Topic队列中，同时在表结构同步记录文件中进行记录；
定义JSON数据转换，解析JSON数据并把解析后的数据按标准的字节流格式生成标准格式的表记录字节流数据，然后存到远程CMSP Topic队列中；
定义资源清理，用来关闭与远程CMSP建立的连接。
5.根据权利要求3所述的方法，其特征在于，
所述定义字段信息实体类，它有四个属性，分别为字段名、字段类型、字段是否为空、以及字段是否为主键。
6.根据权利要求3所述的方法，其特征在于，
所述定义CMSP连接信息实体类，它有六个属性，分别为远程CMSP连接的IP地址、端口号、用户名、密码、Topic名字以及连接模式。
7.根据权利要求3所述的方法，其特征在于，
所述定义初始化数据，它有六个参数，分别为记录表结构是否同步的文件存储路径、表名、字段信息集合、CMSP连接信息、字符集以及时区。
8.根据权利要求3所述的方法，其特征在于，
所述定义JSON数据转换，它有两个参数，分别为JSON数据、记录操作类型。记录操作数据类型有三种，分别为新增、更新、删除，主要用来标记JSON数据的动作。
CN201811569821.1A 2018-12-21 2018-12-21 一种基于cmsp的json数据解析与存储方法 Active CN109684097B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811569821.1A CN109684097B (zh) 2018-12-21 2018-12-21 一种基于cmsp的json数据解析与存储方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811569821.1A CN109684097B (zh) 2018-12-21 2018-12-21 一种基于cmsp的json数据解析与存储方法

Publications (2)

Publication Number Publication Date
CN109684097A true CN109684097A (zh) 2019-04-26
CN109684097B CN109684097B (zh) 2023-03-31

Family

ID=66188636

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811569821.1A Active CN109684097B (zh) 2018-12-21 2018-12-21 一种基于cmsp的json数据解析与存储方法

Country Status (1)

Country Link
CN (1) CN109684097B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110321359A (zh) * 2019-07-05 2019-10-11 浪潮软件集团有限公司 一种基于cmsp的空间数据增量更新方法
CN110602226A (zh) * 2019-09-19 2019-12-20 浪潮软件集团有限公司 一种基于cmsp的消息转发及缓存的方法
CN110659263A (zh) * 2019-09-24 2020-01-07 浪潮软件集团有限公司 一种异构数据库数据交换方法
CN110661813A (zh) * 2019-10-11 2020-01-07 浪潮软件股份有限公司 一种基于CMSP的对象存储的RESTful服务的身份认证实现方法
CN110674221A (zh) * 2019-09-27 2020-01-10 浪潮软件股份有限公司 一种空间数据同步方法、终端及计算机可读存储介质
CN111221667A (zh) * 2020-01-09 2020-06-02 浪潮软件股份有限公司 一种基于cmsp的数据分布式预处理方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050086199A1 (en) * 1998-03-31 2005-04-21 Champagne Darryl G. Transferring records between two databases
EP2891994A1 (en) * 2013-11-04 2015-07-08 Guangdong Electronics Industry Institute Ltd. Method for achieving automatic synchronization of multisource heterogeneous data resources
CN105260403A (zh) * 2015-09-22 2016-01-20 广东同望科技股份有限公司 通用跨数据库访问方法
CN108933830A (zh) * 2018-07-16 2018-12-04 广东亿迅科技有限公司 基于nb-iot的数据汇聚方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050086199A1 (en) * 1998-03-31 2005-04-21 Champagne Darryl G. Transferring records between two databases
EP2891994A1 (en) * 2013-11-04 2015-07-08 Guangdong Electronics Industry Institute Ltd. Method for achieving automatic synchronization of multisource heterogeneous data resources
CN105260403A (zh) * 2015-09-22 2016-01-20 广东同望科技股份有限公司 通用跨数据库访问方法
CN108933830A (zh) * 2018-07-16 2018-12-04 广东亿迅科技有限公司 基于nb-iot的数据汇聚方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ZHIXIANG NIU等: ""A Design of Cross-terminal Web System Based on JSON and REST"", 《2014 IEEE 5TH INTERNATIONAL CONFERENCE ON SOFTWARE ENGINEERING AND SERVICE SCIENCE》 *
王晓禹等: ""基于JSON实现Android智能终端与Web服务器‘面向对象’的信息交换"", 《数学技术与应用》 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110321359A (zh) * 2019-07-05 2019-10-11 浪潮软件集团有限公司 一种基于cmsp的空间数据增量更新方法
CN110321359B (zh) * 2019-07-05 2023-06-09 浪潮软件集团有限公司 一种基于cmsp的空间数据增量更新方法
CN110602226A (zh) * 2019-09-19 2019-12-20 浪潮软件集团有限公司 一种基于cmsp的消息转发及缓存的方法
CN110659263A (zh) * 2019-09-24 2020-01-07 浪潮软件集团有限公司 一种异构数据库数据交换方法
CN110674221A (zh) * 2019-09-27 2020-01-10 浪潮软件股份有限公司 一种空间数据同步方法、终端及计算机可读存储介质
CN110674221B (zh) * 2019-09-27 2023-08-08 浪潮软件股份有限公司 一种空间数据同步方法、终端及计算机可读存储介质
CN110661813A (zh) * 2019-10-11 2020-01-07 浪潮软件股份有限公司 一种基于CMSP的对象存储的RESTful服务的身份认证实现方法
CN111221667A (zh) * 2020-01-09 2020-06-02 浪潮软件股份有限公司 一种基于cmsp的数据分布式预处理方法
CN111221667B (zh) * 2020-01-09 2024-03-22 浪潮软件股份有限公司 一种基于cmsp的数据分布式预处理方法

Also Published As

Publication number Publication date
CN109684097B (zh) 2023-03-31

Similar Documents

Publication Publication Date Title
CN109684097B (zh) 一种基于cmsp的json数据解析与存储方法
EP3399715B1 (en) Protocol conversion method, platform, and protocol conversion gateway
KR102270481B1 (ko) Ngsi-ld api 래핑 방법
CN104778121A (zh) 游戏程序的测试方法、装置及系统
CN105515941A (zh) 一种在微信开发模式下消息和事件回复的方法和系统
WO2024148833A1 (zh) 一种容器多网卡网络配置方法、装置、设备及存储介质
CN104253842A (zh) 同步终端镜像的方法、装置、终端及服务器
CN111934977A (zh) 一种信息处理方法、终端、服务器及存储介质
WO2023087766A1 (zh) 双系统通信方法、装置、电子设备及计算机可读存储介质
CN112835632B (zh) 一种端能力的调用方法、设备和计算机存储介质
CN109067754A (zh) 一种请求端与服务端的通信方法及系统
CN113473395B (zh) 消息处理方法、装置、介质及电子设备
CN108965345B (zh) 一种小信令网络数据包的优化方法及装置
CN114244821A (zh) 数据处理方法、装置、设备、电子设备和存储介质
CN111831540A (zh) 一种调试信息的处理方法、处理装置和存储介质
CN114422468A (zh) 消息处理方法、装置、终端及存储介质
US20090327995A1 (en) Annotation-aided code generation in library-based replay
CN107517459A (zh) 一种无线传屏中建立连接的方法、装置、系统及存储介质
CN107786661B (zh) 信息同步方法
CN112039751B (zh) 一种通讯消息的发送方法及装置
CN104079469A (zh) 一种信息处理的方法及电子设备
CN114095781A (zh) 多媒体数据处理方法、装置、电子设备及存储介质
CN108848398A (zh) 一种本地弹幕消息的分发方法、装置、终端和存储介质
CN104468514B (zh) 信息处理方法、电子设备及服务器
CN108200481A (zh) 一种rtp-ps流处理方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 271000 Langchao science and Technology Park, 527 Dongyue street, Tai'an City, Shandong Province

Applicant after: INSPUR SOFTWARE Co.,Ltd.

Address before: No. 1036, Shandong high tech Zone wave road, Ji'nan, Shandong

Applicant before: INSPUR SOFTWARE Co.,Ltd.

GR01 Patent grant
GR01 Patent grant