CN114201114B - 一种基于文件的跨互联网数据传输系统 - Google Patents

一种基于文件的跨互联网数据传输系统 Download PDF

Info

Publication number
CN114201114B
CN114201114B CN202111527763.8A CN202111527763A CN114201114B CN 114201114 B CN114201114 B CN 114201114B CN 202111527763 A CN202111527763 A CN 202111527763A CN 114201114 B CN114201114 B CN 114201114B
Authority
CN
China
Prior art keywords
data
file
module
database
server
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111527763.8A
Other languages
English (en)
Other versions
CN114201114A (zh
Inventor
吴海军
尤元俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Suntime Information Technology Co ltd
Original Assignee
Shanghai Suntime Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Suntime Information Technology Co ltd filed Critical Shanghai Suntime Information Technology Co ltd
Priority to CN202111527763.8A priority Critical patent/CN114201114B/zh
Publication of CN114201114A publication Critical patent/CN114201114A/zh
Application granted granted Critical
Publication of CN114201114B publication Critical patent/CN114201114B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/062—Securing storage systems
    • G06F3/0622—Securing storage systems in relation to access
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/258—Data format conversion from or to a database
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061—Improving I/O performance
    • G06F3/0611—Improving I/O performance in relation to response time
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/0643—Management of files
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及数据传输技术领域，具体涉及一种基于文件的跨互联网数据传输系统；包括数据库、服务端、云文件存储单元和客户端；本发明通过服务端从各类型的数据库中定时读取数据，将数据转成统一的数据格式和序列化，然后将数据写入到文件中，上传到云文件存储单元中供用户下载，客户端用户从云文件存储单元中下载文件，读取文件内数据，对数据进行反序列化，再将数据转换成客户端数据库类型格式的数据，然后进行数据插入或更新，从而克服了传统数据传输方式的不足，实现了海量数据安全、快速、近实时传输的目的，支持不同数据库之间数据的相互传输，提供了数据传输监控、报警等功能，同时减轻数据库、网络等各方面的压力。

Description

一种基于文件的跨互联网数据传输系统
技术领域
本发明涉及数据传输技术领域，具体涉及一种基于文件的跨互联网数据传输系统。
背景技术
随着网络的飞速发展，数据量的不断增大，如何将大量数据安全、快速、近实时的传输给用户，是一件非常困难的问题。传统的数据传输方式是将服务端的数据库端口暴露到互联网上供用户下载数据，用户直接从数据库中读取，第一次会全量同步数据，接下来定时查询数据库，判断是否有增量数据，如果有增量数据进行数据同步。
传统的同步方式存在很大的问题：
1、数据库端口直接暴露在互联网中，即便设置了账号和密码，也无法保证数据的绝对安全性。
2、第一次全量同步数据，对数据库的性能造成较大的压力，对数据库服务端网络也是较大的考验。
3、定时查询数据库，如果这段时间没有增量数据，将导致大量的无效查询，增加数据库访问数量和压力。
当面对海量数据和大量用户的情况下，普通的数据库搭建方式在数据库性能方面很难满足要，但是数据库性能大幅度提升技术难度大、服务端消耗大、海量的数据传输对网络要求高，这方面的提升成本较大，数据传输速度和实时性无法保证。这种传统的数据传输方式放在当今的互联网中显然不太适用，但数据传输又不得不做。
综上所述，研发一种基于文件的跨互联网数据传输系统，仍是数据传输技术领域中急需解决的关键问题。
发明内容
针对现有技术所存在的上述缺点，本发明在于提供一种基于文件的跨互联网数据传输系统，本发明克服了传统数据传输方式的不足，实现了海量数据安全、快速、近实时传输的目的，支持不同数据库之间数据的相互传输，提供了数据传输监控、报警等功能，同时减轻数据库、网络等各方面的压力。
为实现上述目的，本发明提供了如下技术方案：
一种基于文件的跨互联网数据传输系统，包括数据库、服务端、云文件存储单元和客户端，其中：
所述数据库用于对数据进行存储；
所述服务端用于从数据库内读取数据，并对数据加工处理传输至云文件存储单元，所述服务端与数据库信号连接；
所述云文件存储单元用于存储服务端传输的数据，所述云文件存储单元与服务端信号连接；
所述客户端用于从云文件存储单元下载文件数据，并对文件数据反加工后传输至数据库，所述客户端与数据库信号连接。
本发明进一步设置为：所述服务端还用于对客户端进行实时数据传输监控，所述服务端与客户端信号连接。
本发明进一步设置为：所述数据库包括MySQL库、SQL Server库、Postgre SQL库、Oracle库以及MongoDB库。
本发明进一步设置为：所述服务端包括数据库数据读取模块、第一数据格式转换模块和数据序列化写入模块，其中：
所述数据库数据读取模块用于按照时间频率从数据库中读取全量或增量数据；
所述第一数据格式转换模块用于将读取的数据按照同一格式进行转换，所述第一数据格式转换模块与数据库数据读取模块电性连接；
所述数据序列化写入模块用于将统一格式后的数据通过Protocol Buffer进行序列化后写入到文件，所述数据序列化写入模块与第一数据格式转换模块电性连接。
本发明进一步设置为：所述服务端还包括传输监控报警模块，所述传输监控报警模块用于实时的对客户端的数据进行传输状态监控，以及在接受到客户端上报的异常后进行报警，所述传输监控报警模块与客户端信号连接。
本发明进一步设置为：所述传输状态包括全量下载、增量下载、下载中、下载耗时、入库中、入库耗时、下载成功以及下载失败。
本发明进一步设置为：所述客户端包括文件下载模块、文件读取模块、数据反序列化模块和第二数据格式转换模块，其中：
所述文件下载模块用于按照时间频率从云文件存储单元下载文件；
所述文件读取模块用于读取文件下载模块所下载的文件数据，所述文件读取模块与文件下载模块电性连接；
所述数据反序列化模块用将读取文件中的数据进行反序列化，所述数据反序列化模块与文件读取模块电性连接；
所述第二数据格式转换模块用于将反序列后的数据按照同一格式进行转换，所述第二数据格式转换模块与数据反序列化模块电性连接。
本发明进一步设置为：所述下载的文件包括HTTP格式文件和SFTP格式文件。
有益效果
采用本发明提供的技术方案，与已知的公有技术相比，具有如下有益效果：
本发明通过服务端从各类型的数据库中定时读取数据，将数据按照自定义规范转成统一的数据格式，使用Protocol Buffer对数据进行序列化，然后将数据写入到文件中，上传到云文件存储单元中供用户下载，客户端用户从云文件存储单元中下载文件，读取文件内数据，使用Protocol Buffer对数据进行反序列化得到规范后的数据，再将数据转换成客户端数据库类型格式的数据，然后进行数据插入或更新，从而克服了传统数据传输方式的不足，实现了海量数据安全、快速、近实时传输的目的，支持不同数据库之间数据的相互传输，提供了数据传输监控、报警等功能，同时减轻数据库、网络等各方面的压力。
附图说明
图1为一种基于文件的跨互联网数据传输系统的系统图；
图2为一种基于文件的跨互联网数据传输系统数据传输的流程图。
图中标号说明：
100、数据库；200、服务端；210、数据库数据读取模块；220、第一数据格式转换模块；230、数据序列化写入模块；240、传输监控报警模块；300、云文件存储单元；400、客户端；410、文件下载模块；420、文件读取模块；430、数据反序列化模块；440、第二数据格式转换模块。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述；显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明的描述中，需要说明的是，术语“上”、“下”、“内”、“外”、“顶/底端”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性。
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“设置有”、“套设/接”、“连接”等，应做广义理解，例如“连接”，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通；对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
实施例：
请参照图1-2所示，一种基于文件的跨互联网数据传输系统，包括数据库100、服务端200、云文件存储单元300和客户端400，其中：数据库100用于对数据进行存储，服务端200用于从数据库100内读取数据，并对数据加工处理传输至云文件存储单元300，服务端200与数据库100信号连接，云文件存储单元300用于存储服务端200传输的数据，云文件存储单元300与服务端200信号连接，客户端400用于从云文件存储单元300下载文件数据，并对文件数据反加工后传输至数据库100，客户端400与数据库100信号连接。
进一步的，服务端200还用于对客户端400进行实时数据传输监控，服务端200与客户端400信号连接。
进一步的，数据库100包括MySQL库、SQL Server库、Postgre SQL库、Oracle库以及MongoDB库。
在本实施例中，服务端200从各类型的数据库100中定时读取数据，将数据按照自定义规范转成统一的数据格式，使用Protocol Buffer对数据进行序列化，然后将数据写入到文件中，上传到云文件存储单元300中供用户下载，客户端400用户从云文件存储单元300中下载文件，读取文件内数据，使用Protocol Buffer对数据进行反序列化得到规范后的数据，再将数据转换成客户端数据库100类型格式的数据，然后进行数据插入或更新。
作为本实施例的一种实施方式，服务端200包括数据库数据读取模块210、第一数据格式转换模块220和数据序列化写入模块230，其中：
数据库数据读取模块210用于按照时间频率从数据库100中读取全量或增量数据，可以设置查询字段，从大量字段中筛选出需要字段而不是全部读取，达到减轻数据库100压力、提高数据读取速度的目的。支持输入查询条件进行数据筛选，提取需要的数据，进一步减少数据库100的压力，提高数据读取速度，根据自定义查询字段和自定义查询条件拼接成自定义查询语句，满足大多数特殊情况的处理方式。多种数据库100数据读取，同时提供了数据库100扩展接口，方便进行更多类型数据库的扩展，以满足不同的用户需求。由于是服务端200统一进行数据读取，防止了数据库100端口暴露和大量用户直接读取数据库100，对数据库100造成巨大压力，提高了数据安全性，大大的减轻了数据库100的压力，保证数据库100正常的运行。
第一数据格式转换模块220用于将读取的数据按照同一格式进行转换，第一数据格式转换模块220与数据库数据读取模块210电性连接，从各类数据库100中读取到原始数据后，由于每类数据库100对应的数据类型、数值精度不同，无法将这些数据直接同步到不同的数据库100中，中间必须经过数据格式转换，但是由于数据库100类型太多，每两种数据库100之间的数据转换方式又不一样，所以需要将这些来自不同数据库100的数据按照自定义规范转换成统一格式的数据，方便数据管理和传输到各种不同的数据库100中。
数据序列化写入模块230用于将统一格式后的数据通过Protocol Buffer进行序列化后写入到文件，数据序列化写入模块230与第一数据格式转换模块220电性连接，本系统将.proto协议的数据类型作为message的类型和属性名，再添加字段名、字段类型、数据条数等属性。将表的字段按照数据类型转换成.proto协议的数据类型，然后按照.proto协议数据类型进行存放，字段名、字段类型、数据条数等属性记录每个文件对应表的字段等信息，通过以上的数据存储方式，就能将大量的表字段和数据进行存储，即使大量的表和动态添加表都对应一套.proto协议文件。将统一格式后的数据，通过Protocol Buffer进行序列化后写入到文件。利用Protocol Buffer序列化后空间占用小、数据相对安全等特点，保证了数据的安全，生成的文件相对小便于传输，再将文件上传到云文件存储单元300。
在本实施例中，云文件存储单元300可以为一个可共享访问，弹性扩展，高可靠，高性能的分布式文件系统(云文件存储NAS)。兼容POSIX文件接口，可支持上千台弹性计算ECS、容器服务ACK等计算节点共享访问，由于云文件存储单元300扩展能力强，数据文件又相对小，数据相对安全，就能够达到数据安全、快速的传输，由于数据存放在一个一个文件中，如果想要让文件变得更小可以进一步对文件进行压缩，压缩后的文件会更小，传输更加方便。
服务端200还包括传输监控报警模块240，传输监控报警模块240用于实时的对客户端400的数据进行传输状态监控，以及在接受到客户端400上报的异常后进行报警，传输监控报警模块240与客户端400信号连接，可以从机构、机构下载日志、机构下载数据、机构下载明细、机构心跳日志等多维度监控客户端400数据传输状态，客户端400数据传输失败、超时等异常状态时，会将异常信息上报到服务端200，服务端200就能查询到异常信息，快速定位并处理异常，服务端200接收到客户端400上报的异常后，会通过钉钉或邮件等方式进行报警，服务端200会对客户端400进行心跳监控，当发现心跳异常或长时间没有心跳时同样会进行报警。
进一步的，传输状态包括全量下载、增量下载、下载中、下载耗时、入库中、入库耗时、下载成功以及下载失败。
作为本实施例的一种实施方式，客户端400包括文件下载模块410、文件读取模块420、数据反序列化模块430和第二数据格式转换模块440，其中，
文件下载模块410用于按照时间频率从云文件存储单元300下载文件，文件读取模块420用于读取文件下载模块410所下载的文件数据，文件读取模块420与文件下载模块410电性连接，数据反序列化模块430用将读取文件中的数据进行反序列化，数据反序列化模块430与文件读取模块420电性连接，第二数据格式转换模块440用于将反序列后的数据按照同一格式进行转换，第二数据格式转换模块440与数据反序列化模块430电性连接，客户端400按照时间频率从云文件存储单元300下载文件，而不是直接从数据库100中读取，云文件存储单元300扩展能力强，面对大量的用户也不会产生大的压力，加上文件是提前上传到云文件存储单元300的相对于直接读数据库100速度更快。
进一步的，下载的文件包括HTTP格式文件和SFTP格式文件。
本发明的各部分可以用硬件、软件、固件或他们的组合来实现，在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现，例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不会使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (5)

1.一种基于文件的跨互联网数据传输系统，其特征在于，包括数据库(100)、服务端(200)、云文件存储单元(300)和客户端(400)，其中：
所述数据库(100)用于对数据进行存储；
所述服务端(200)用于从数据库(100)内读取数据，并对数据加工处理传输至云文件存储单元(300)，所述服务端(200)与数据库(100)信号连接；
所述服务端(200)包括数据库数据读取模块(210)、第一数据格式转换模块(220)和数据序列化写入模块(230)，其中：
所述数据库数据读取模块(210)用于按照时间频率从数据库(100)中读取全量或增量数据；
所述第一数据格式转换模块(220)用于将读取的数据按照同一格式进行转换，所述第一数据格式转换模块(220)与数据库数据读取模块(210)电性连接；
所述数据序列化写入模块(230)用于将统一格式后的数据通过Protocol Buffer进行序列化后写入到文件，所述数据序列化写入模块(230)与第一数据格式转换模块(220)电性连接；
所述服务端(200)还包括传输监控报警模块(240)，所述传输监控报警模块(240)用于实时的对客户端(400)的数据进行传输状态监控，以及在接受到客户端(400)上报的异常后进行报警，所述传输监控报警模块(240)与客户端(400)信号连接；
所述云文件存储单元(300)用于存储服务端(200)传输的数据，所述云文件存储单元(300)与服务端(200)信号连接；
所述客户端(400)用于从云文件存储单元(300)下载文件数据，并对文件数据反加工后传输至数据库(100)，所述客户端(400)与数据库(100)信号连接；
所述客户端(400)包括文件下载模块(410)、文件读取模块(420)、数据反序列化模块(430)和第二数据格式转换模块(440)，其中：
所述文件下载模块(410)用于按照时间频率从云文件存储单元(300)下载文件；
所述文件读取模块(420)用于读取文件下载模块(410)所下载的文件数据，所述文件读取模块(420)与文件下载模块(410)电性连接；
所述数据反序列化模块(430)用将读取文件中的数据进行反序列化，所述数据反序列化模块(430)与文件读取模块(420)电性连接；
所述第二数据格式转换模块(440)用于将反序列后的数据按照同一格式进行转换，所述第二数据格式转换模块(440)与数据反序列化模块(430)电性连接。
2.根据权利要求1所述的一种基于文件的跨互联网数据传输系统，其特征在于，所述服务端(200)还用于对客户端(400)进行实时数据传输监控，所述服务端(200)与客户端(400)信号连接。
3.根据权利要求1所述的一种基于文件的跨互联网数据传输系统，其特征在于，所述数据库(100)包括MySQL库、SQL Server库、Postgre SQL库、Oracle库以及MongoDB库。
4.根据权利要求1所述的一种基于文件的跨互联网数据传输系统，其特征在于，所述传输状态包括全量下载、增量下载、下载中、下载耗时、入库中、入库耗时、下载成功以及下载失败。
5.根据权利要求1所述的一种基于文件的跨互联网数据传输系统，其特征在于，所述下载的文件包括HTTP格式文件和SFTP格式文件。
CN202111527763.8A 2021-12-14 2021-12-14 一种基于文件的跨互联网数据传输系统 Active CN114201114B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111527763.8A CN114201114B (zh) 2021-12-14 2021-12-14 一种基于文件的跨互联网数据传输系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111527763.8A CN114201114B (zh) 2021-12-14 2021-12-14 一种基于文件的跨互联网数据传输系统

Publications (2)

Publication Number Publication Date
CN114201114A CN114201114A (zh) 2022-03-18
CN114201114B true CN114201114B (zh) 2024-05-10

Family

ID=80653627

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111527763.8A Active CN114201114B (zh) 2021-12-14 2021-12-14 一种基于文件的跨互联网数据传输系统

Country Status (1)

Country Link
CN (1) CN114201114B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116501700B (zh) * 2023-06-29 2023-09-08 深圳瑞信建筑科技有限公司 一种app格式化文件离线存储方法、装置、设备及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101175089A (zh) * 2007-06-11 2008-05-07 七天酒店（深圳）有限公司 基于http协议和.net架构的服务器和客户端间数据传输方法
CN101477532A (zh) * 2008-12-23 2009-07-08 北京畅游天下网络技术有限公司 实现数据存储、读取的方法、装置及系统
CN102710768A (zh) * 2012-05-31 2012-10-03 深圳市远行科技有限公司 一种基于面向服务架构的大批量数据传输系统及方法
WO2014163624A1 (en) * 2013-04-02 2014-10-09 Hewlett-Packard Development Company, L.P. Query integration across databases and file systems
WO2017185952A1 (zh) * 2016-04-28 2017-11-02 广州广电运通金融电子股份有限公司 一种硬件设备的访问管理方法及系统
CN109600413A (zh) * 2018-04-23 2019-04-09 中国科学院高能物理研究所 一种基于高能物理事例的数据管理与传输方法
CN113055356A (zh) * 2021-02-24 2021-06-29 深圳中广核工程设计有限公司 一种核电厂振动数据传输系统及方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9454588B2 (en) * 2012-08-14 2016-09-27 International Business Machines Corporation Custom object-in-memory format in data grid network appliance
US9367646B2 (en) * 2013-03-14 2016-06-14 Appsense Limited Document and user metadata storage

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101175089A (zh) * 2007-06-11 2008-05-07 七天酒店（深圳）有限公司 基于http协议和.net架构的服务器和客户端间数据传输方法
CN101477532A (zh) * 2008-12-23 2009-07-08 北京畅游天下网络技术有限公司 实现数据存储、读取的方法、装置及系统
CN102710768A (zh) * 2012-05-31 2012-10-03 深圳市远行科技有限公司 一种基于面向服务架构的大批量数据传输系统及方法
WO2014163624A1 (en) * 2013-04-02 2014-10-09 Hewlett-Packard Development Company, L.P. Query integration across databases and file systems
WO2017185952A1 (zh) * 2016-04-28 2017-11-02 广州广电运通金融电子股份有限公司 一种硬件设备的访问管理方法及系统
CN109600413A (zh) * 2018-04-23 2019-04-09 中国科学院高能物理研究所 一种基于高能物理事例的数据管理与传输方法
CN113055356A (zh) * 2021-02-24 2021-06-29 深圳中广核工程设计有限公司 一种核电厂振动数据传输系统及方法

Also Published As

Publication number Publication date
CN114201114A (zh) 2022-03-18

Similar Documents

Publication Publication Date Title
US9047392B2 (en) System and method for conversion of JMS message data into database transactions for application to multiple heterogeneous databases
CN113535656B (zh) 数据访问方法、装置、设备及存储介质
CN107423452A (zh) 一种电网异构数据库同步复制迁移方法
CN114201114B (zh) 一种基于文件的跨互联网数据传输系统
CN112905615B (zh) 一种基于顺序校验的分布式一致性协议提交方法及系统
CN112948373B (zh) 一种物联网设备数据处理方法、装置、设备及存储介质
CN117851163A (zh) 一种基于自研openstack平台的服务巡检工具
CN115905413A (zh) 一种基于Python协程和DataX的数据同步平台
JP2024026143A (ja) 最終的に一貫性のあるデータベース複製への切り替え
CN115801539A (zh) 一种容器云场景下租户侧容器监控采集告警方法及系统
CN118069738A (zh) 一种异构数据库实时数据同步方法、装置及可读存储介质
US20230113180A1 (en) Methods and systems for expanding gpu memory footprint based on hybrid-memory
CN116501700A (zh) 一种app格式化文件离线存储方法、装置、设备及存储介质
CN115982133A (zh) 数据处理方法及装置
CN112685486B (zh) 数据库集群的数据管理方法、装置、电子设备及存储介质
CN116821232A (zh) 一种数据同步方法及相关装置
CN113177084A (zh) 一种基于物联网的数据库储存方法
CN114741416A (zh) 一种双活系统及同步方法
CN113377617A (zh) 一种监控系统
CN115617536A (zh) 一种数据同步方法、装置、网络设备及集群
CN114116402B (zh) 一种基于嵌入式linux的松耦合、高扩展性无埋点数据采集方法
CN111459940B (zh) 一种高效可靠的数据集成方法
CN118132295B (zh) 一种参数更新方法、装置及相关设备
Yoo et al. Realization of real-time clinical data integration using advanced database technology
CN118069739A (zh) 数据同步管理方法、装置、计算机设备及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address
CP03 Change of name, title or address

Address after: Room 201-1 and Room 201-3, Building 4, No. 690 Bibo Road, China (Shanghai) Pilot Free Trade Zone, Pudong New Area, Shanghai, 201203

Patentee after: SHANGHAI SUNTIME INFORMATION TECHNOLOGY CO.,LTD.

Country or region after: China

Address before: Room 501, building 4, 690 Bibo Road, Pudong New Area pilot Free Trade Zone, Shanghai 201203

Patentee before: SHANGHAI SUNTIME INFORMATION TECHNOLOGY CO.,LTD.

Country or region before: China