CN106959996B - 一种基于互联网电视的后台数据同步方法 - Google Patents

一种基于互联网电视的后台数据同步方法 Download PDF

Info

Publication number
CN106959996B
CN106959996B CN201710047137.6A CN201710047137A CN106959996B CN 106959996 B CN106959996 B CN 106959996B CN 201710047137 A CN201710047137 A CN 201710047137A CN 106959996 B CN106959996 B CN 106959996B
Authority
CN
China
Prior art keywords
tomcat
data
synchronization
jedis
redis
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710047137.6A
Other languages
English (en)
Other versions
CN106959996A (zh
Inventor
朱素平
韩潇毅
袁开
安竹勇
吴穷
于建波
刘波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wasu Media & Network Co ltd
Original Assignee
Wasu Media & Network Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wasu Media & Network Co ltd filed Critical Wasu Media & Network Co ltd
Priority to CN201710047137.6A priority Critical patent/CN106959996B/zh
Publication of CN106959996A publication Critical patent/CN106959996A/zh
Application granted granted Critical
Publication of CN106959996B publication Critical patent/CN106959996B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G06F16/275—Synchronous replication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/178—Techniques for file synchronisation in file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/04—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks
    • H04L63/0428—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1095—Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/242—Synchronization processes, e.g. processing of PCR [Program Clock References]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Security & Cryptography (AREA)
  • Multimedia (AREA)
  • Computer Hardware Design (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于互联网电视的后台数据同步方法，具体包括如下步骤：基于Tomcat的http协议步骤、传输加密步骤、基于redis的数据同步步骤、数据库同步otter步骤，进行数据同步；本发明的优点在于：开发成本较低，安全性高，数据同步多样化的一种基于互联网电视的后台数据同步方法，从而缓解了安全问题、数据同步问题与开发成本的矛盾。

Description

一种基于互联网电视的后台数据同步方法
技术领域
本发明涉及数据同步领域，更具体的说，它涉及用于一种基于互联网电视的后台数据同步方法。
背景技术
互联网电视管理后台数据同步技术，现广泛应用于华数互联网电视管理后台。但目前不支持分布式导入，如果业务增长，就需要增加新的节点服务，而目前分布式系统结构比较复杂，开发成本高，为了解决高性能的问题，常常层数比较多（分发负载层、核心进程层、调度层、高速缓存代理层、高速缓存层、数据库层），数据同步也比较单一。
发明内容
本发明克服了现有技术的不足，提供了一种开发成本较低，安全性高，数据同步多样化的一种基于互联网电视的后台数据同步方法，从而缓解了安全问题、数据同步问题与开发成本的矛盾。
本发明的技术方案如下：
一种基于互联网电视的后台数据同步方法，具体包括如下步骤：
101) 基于Tomcat的http协议步骤：包括Tomcat Connector、Tomcat Host、TomcatContext和Tomcat Engine，所述Tomcat 为轻量级应用服务器，所述Tomcat Connector为Tomcat中的一个监听请求的模块，所述Tomcat Host为Tomcat中的虚拟主机，TomcatContext为Tomcat中的一个Web应用，所述Tomcat Engine为Tomcat中的服务引擎；所述Tomcat Connector将监听到的请求信息转交给Tomcat Engine，由Tomcat Engine决定其管理的其中一个Tomcat Host进行执行，所述Tomcat Context运行在Tomcat Host上；
102)传输加密步骤：在步骤101)中进行数据传输时采用MD5和DES的加解密组件进行内容加解密，所述MD5为一种加密散列函数，所述DES为数据加密标准，是一种使用密钥加密的块方法；
103) 基于redis的数据同步步骤：对步骤101）的协议上进行处理，包括分布式处理、客户端的分区选择、脏数据处理和屏蔽监控，所述redis为高性能存储系统，所述分布式处理通过key即主键做一致性哈希，实现key对应redis的结点的分布，所述客户端的分区选择通过创建不同的jedis连接到对应的客户端，从而达到客户端分区选择，所述jedis是Redis 官方首选的 Java 客户端开发包；所述脏数据处理为失败执行的缓存操作；屏蔽监控为对于jedis操作的异常监控，切除异常控制redis结点的操作；
104）数据库同步otter步骤：在步骤103）的处理中包括异构库同步、单机房同步、跨机房同步、双向同步和文件同步方式，确保数据的第一时间保持一致性；所述otter为分布式数据库同步系统。
进一步的，所述步骤101）所述的http协议包括get、post两种方法，所述get是从服务器上获取数据，所述post是向服务器传送数据。
进一步的，所述步骤102）的传输加密可根据不同厂家分配不同密钥，进行安全加密待传输数据，所述密钥具有唯一性和反逆向破解的特性。
进一步的，所述步骤103）的一致性哈希包括高效的哈希处理方法和通过java的TreeMap即二叉树来模拟环状结构，实现均匀分布。
进一步的，所述步骤103）客户端的分区选择，将对于jedis做分区模块的修改，使其支持根据BufferKey进行分区，根据不同的redis结点信息，初始化不同的ShardInfo即分片,同时也修改JedisPool即线程安全的网络连接池的底层实现，使其连接pool即池，支持根据key,value即键，值的构造方法，根据不同ShardInfos，创建不同的jedis连接客户端，达到分区的效果，供应用层调用。
进一步的，所述步骤104）中异构库同步中开源版本只支持mysql增量，目标库可以是mysql或者oracle，所述mysql、oracle为数据库。
进一步的，所述步骤104）中单机房同步为数据库之间RTT 即往返时延达到小于1ms，其包括数据库版本升级、数据表迁移和异步二级索引。
进一步的，所述步骤104）中双向同步包括避免回环方法和数据一致性方法，所述数据一致性方法保证双机房模式下，数据保证最终一致。
进一步的，所述步骤104）中文件同步采用站点镜像，进行数据复制的同时，复制关联的图片。
本发明相比现有技术优点在于：本发明设计合理，成本节约，可以用少量的机器，支撑大量的数据。支持异构系统间的数据同步，支持多种数据格式的数据同步（xml、json两种主流数据传输格式），支持ftp、http协议（其中http协议支持get、post两种方法），支持根据不同厂家分配密钥安全加密待传输数据（涵盖自主加密组件）、支持数据同步重试机制（当数据同步出现数据异常、网络异常、数据阻塞等异常发生，会自动同步三次即重试机制）、支持同构系统间持久层与缓存之间的数据同步，支持自动（可配置定时启动时间最小单位为秒）和手动数据同步机制。
附图说明
图1为本发明一种基于互联网电视的后台数据同步方法的基于Tomcat实现的核心http传输框架图；
图2为本发明一种基于互联网电视的后台数据同步方法的架构设计图；
图3为本发明一种基于互联网电视的后台数据同步方法的工作原理图；
图4为本发明一种基于互联网电视的后台数据同步方法的加密流程图；
图5为本发明一种基于互联网电视的后台数据同步方法的程序总体框架图；
图6为本发明一种基于互联网电视的后台数据同步方法的程序实现流程图；
图7为本发明一种基于互联网电视的后台数据同步方法的单机房复制示意图；
图8为本发明一种基于互联网电视的后台数据同步方法的跨机房复制示意图；
图9为本发明一种基于互联网电视的后台数据同步方法的otter核心model关系图。
具体实施方式
下面通过具体实施例，并结合附图，对本发明的技术方案作进一步的具体说明。应当理解，本发明的实施并不局限于下面的实施例，对本发明所做的任何形式上的变通和 /或改变都将落入本发明保护范围。
如图1至6所示，一种基于互联网电视的后台数据同步方法，具体包括如下步骤：
101) 基于Tomcat的http协议步骤：包括Tomcat Connector、Tomcat Host、TomcatContext和Tomcat Engine，所述Tomcat 为轻量级应用服务器，所述Tomcat Connector为Tomcat中的一个监听请求的模块，所述Tomcat Host为Tomcat中的虚拟主机，TomcatContext为Tomcat中的一个Web应用，所述Tomcat Engine为Tomcat中的服务引擎；所述Tomcat Connector将监听到的请求信息转交给Tomcat Engine，由Tomcat Engine决定其管理的其中一个Tomcat Host进行执行，所述Tomcat Context运行在Tomcat Host上。所述的http协议包括get、post两种方法，所述get是从服务器上获取数据，所述post是向服务器传送数据。所述通过tomcat这个业务成熟的轻量级web服务器组件，开源升级快速部署便利，并且将接收到的数据进行封装打包可完整的实现http协议。
102)传输加密步骤：如图4所示，在步骤101)中进行数据传输时采用MD5和DES的加解密组件进行内容加解密，所述MD5为一种加密散列函数，所述DES为数据加密标准，是一种使用密钥加密的块方法。在互联网数据传输过程中，可以很好的防止信息泄露，以及信息被篡改等事情的发生。其中传输加密可根据不同厂家分配不同密钥，所述密钥为唯一的字符串长度为32位的密钥，通过密钥进行安全加密待传输数据，因所述密钥具有唯一性和反逆向破解的特性，使其能很好的进行防止信息泄露。
103) 基于redis的数据同步步骤：如图2所示，对步骤101）的协议上进行处理，包括分布式处理、客户端的分区选择、脏数据处理和屏蔽监控，所述redis是基于内存、可持久化的日志型、Key-Value数据库高性能存储系统，并提供多种语言的API。所述分布式处理通过key即主键做一致性哈希，实现key对应redis的结点的分布。一致性哈希包括高效的哈希处理方法和通过java的TreeMap，即二叉树来模拟环状结构，实现均匀分布。所述高效的哈希处理方法，通过支持MD5与MurmurHash两种方式，默认是采用MurmurHash即非加密HASH算法。所述客户端的分区选择通过创建不同的jedis连接到对应的客户端，从而达到客户端分区选择，所述jedis是 Redis 官方首选的 Java 客户端开发包。具体的客户端的分区选择，主要是对于jedis做分区模块的修改，使其支持根据BufferKey进行分区，根据不同的redis结点信息，初始化不同的ShardInfo即分片,同时也修改JedisPool即线程安全的网络连接池的底层实现，使其连接pool即池，支持根据key,value即键，值的构造方法。所述ShardInfo,允许数据存放在不同的物理机器上，以适应数据量过大的场景,克服单台机器内存或者磁盘空间的限制。也就是根据不同ShardInfos，创建不同的jedis连接客户端，达到分区的效果，供应用层调用。所述脏数据处理为失败执行的缓存操作；屏蔽监控为对于jedis操作的异常监控，当某结点出现异常可控制redis结点的切除等操作。整个分布式模块通过hornetq（一个支持集群和多种协议，可嵌入、高性能的异步消息系统），来切除异常redis结点。对于新结点的增加，也可以通过reload即重新加载方法实现增加。即此方式对于新增结点的实现很方便。
所述分布式的实现满足了项目的需求。另外使用中对于一些比较重要用途的缓存数据可以单独设置一些redis结点，设定特定的优先级。另外对于缓存接口的设计，也可以根据需求，实现基本接口与一些特殊逻辑接口的对接。对于cas相关操作，以及一些事物操作可以通过其watch即监视机制来实现。所述cas为在建立之前先比较该值有没有变化,只有在没变的情况下才对其赋值。
104）数据库同步otter步骤：在步骤103）的处理中包括异构库同步、单机房同步、跨机房同步、双向同步和文件同步方式，确保数据的第一时间保持一致性。所述otter为分布式数据库同步系统。具体的otter核心model关系图如图9所示，其中Pipeline为从源端到目标端的整个过程描述，主要由一些同步映射过程组成；Channel为同步通道，单向同步中一个Pipeline组成，在双向同步中有两个Pipeline组成；DateMediaPair为根据业务表定义映射关系，比如源表和目标表，字段映射，字段组等； DateMedia为抽象的数据介质概念，可以理解为数据表/消息队列定义；DateMediaSource为抽象的数据介质源信息，补充描述DateMedia； ColumnPair 为定义字段映射关系；ColumnGroup为定义字段映射组；Node为处理同步过程的工作节点，对应一个jvm。所述jvm是一种用于计算设备的规范，它是一个虚构出来的计算机。
otter具有很好的扩展性和灵活性，otter中整个同步流程分为4个阶段Select/Extract/Transform/Load 所述Select阶段为选择阶段，是为解决数据来源的差异性，比如接入canal即增量订阅、消费组件，用以获取增量数据，也可以接入其他系统获取其他数据等。Extract（获取阶段）/Transform（变换阶段）/Load（加载运行阶段） 三个阶段，则类似于数据仓库的ETL模型，具体可为数据join，数据转化，数据Load等。所述ETL模型为用来描述将数据从来源端经过抽取（extract）、转换（transform）、加载（load）至目的端的过程，所述join为数据的一种关联方式。
所述单机房同步，为数据库之间RTT（ Round-Trip Time）即往返时延达到小于1ms的同步，其包括数据库版本升级、数据表迁移和异步二级索引。具体如图7所示，其中数据On-Fly，尽可能不落地，更快的进行数据同步，即开启node loadBalancer方法（一种节点负载均衡方法），如果Node即节点在数据操作过程S+ETL上落在不同的Node上，数据会产生网络传输过程进行数据同步。Node节点可以有failover（即故障切换）/loadBalancer（即负载均衡）。
所述跨机房同步如图8所示，此中数据必然涉及网络传输，S/E/T/L几个阶段会分散在2个或者更多Node即节点上，多个Node之间通过zookeeper进行协同工作，所述zookeeper是一个分布式的，开放源码的分布式应用程序协调服务。实际操作中一般是Select和Extract在一个机房的Node上，Transform/Load落在另一个机房的Node上。Node节点上可以有failover（即故障切换）/loadBalancer（即负载均衡），而且每个机房的Node节点，都可以是集群，一台或者多台机器。
所述双向同步包括避免回环方法和数据一致性方法，所述数据一致性方法用来保证数据冗余和最终一致性的投票方法，其主要数学思想来源于鸽巢原理，在有冗余数据的分布式存储系统当中，冗余数据对象会在不同的机器之间存放多份拷贝，但是同一时刻一个数据对象的多份拷贝只能用于读或者用于写。该方法可以保证同一份数据对象的多份拷贝不会被超过两个访问对象读写。具体例子如下：
假设一个系统有V票（意味着一个数据对象有V份冗余拷贝），那么这最小读写票必须满足：Vr + Vw > V，Vw > V/2其中Vr为获得最小的读票数或者Vw为最小的写票数。
第一条规则Vr + Vw > V，保证了一个数据不会被同时读写。当一个写操作请求过来的时候，它必须要获得Vw个冗余拷贝的许可。而剩下的数量是V-Vw 不够Vr，因此不能再有读请求过来了。同理，当读请求已经获得了Vr个冗余拷贝的许可时，写请求就无法获得许可了。
第二条规则Vw > V/2，保证了数据的串行化修改。一份数据的冗余拷贝不可能同时被两个写请求修改。
所以所述数据一致性方法保证双机房模式下，数据保证最终一致。所述文件同步采用站点镜像，进行数据复制的同时，复制关联的图片。综上所述，所述数据库同步otter是基于数据库增量日志解析，能准实时同步到本机房或跨机房的数据库中，最大限度的防止数据丢失，其中作为备库的同步组件，也自定义了很多业务相关性配置，来保证五大同步方式的实现，其中跨机房同步 (RTT > 200ms)也很好的实现了机房容灾。数据库同步otter多方面多角度的数据保证措施，使得数据同步得到了很好的保障。
根据上述实施，其利用了很多先进的互联网技术: nginx即分发负载、apache-tomcat即高性能服务框架、数据库同步otter、数据安全加密组件、高速缓存redis、Activemq即消息队列。用少量的机器，支撑了不同协议、不同数据格式数据、同构异构系统服务器、主库备库之间数据准实时同步。针对http无事务的特性，一方面保证了数据传输的快速，另一方面利用任务重试机制保证了数据的最终抵达。同时分布式系统结构设计健壮合理，长期高效、稳定得支撑华数互联网电视业务。
以上所述的实施例只是本发明的一种较佳的方案，并非对本发明作任何形式上的限制，在不超出权利要求所记载的技术方案的前提下还有其它的变体及改型。

Claims (1)

1.一种基于互联网电视的后台数据同步方法，其特征在于，具体包括如下步骤：
101) 基于Tomcat的http协议步骤：包括Tomcat Connector、Tomcat Host、TomcatContext和Tomcat Engine，所述Tomcat 为轻量级应用服务器，所述Tomcat Connector为Tomcat中的一个监听请求的模块，所述Tomcat Host为Tomcat中的虚拟主机，TomcatContext为Tomcat中的一个Web应用，所述Tomcat Engine为Tomcat中的服务引擎；所述Tomcat Connector将监听到的请求信息转交给Tomcat Engine，由Tomcat Engine决定其管理的其中一个Tomcat Host进行执行，所述Tomcat Context运行在Tomcat Host上；
102)传输加密步骤：在步骤101)中进行数据传输时采用MD5和DES的加解密组件进行内容加解密，所述MD5为一种加密散列函数，所述DES为数据加密标准，是一种使用密钥加密的块方法；
103) 基于redis的数据同步步骤：对步骤101）的协议上进行处理，包括分布式处理、客户端的分区选择、脏数据处理和屏蔽监控，所述redis为高性能存储系统，所述分布式处理通过key即主键，做一致性哈希，实现key对应redis的结点的分布，所述客户端的分区选择通过创建不同的jedis连接到对应的客户端，从而达到客户端分区选择，所述jedis是Redis 官方首选的 Java 客户端开发包；所述脏数据处理为失败执行的缓存操作；屏蔽监控为对于jedis操作的异常监控，切除异常控制redis结点的操作；
104）数据库同步otter步骤：在步骤103）的处理中包括异构库同步、单机房同步、跨机房同步、双向同步和文件同步方式，确保数据的实时性；所述otter为分布式数据库同步系统；
双向同步包括避免回环方法和数据一致性方法，所述数据一致性方法保证双机房模式下，数据保证最终一致；文件同步采用站点镜像，进行数据复制的同时，复制关联的图片；
所述步骤101）所述的http协议包括get、post两种方法，所述get是从服务器上获取数据，所述post是向服务器传送数据；
所述步骤102）的传输加密可根据不同厂家分配不同密钥，进行安全加密待传输数据，所述密钥具有唯一性和反逆向破解的特性；
所述步骤103）的一致性哈希包括高效的哈希处理方法和通过java的TreeMap即二叉树来模拟环状结构，实现均匀分布；所述步骤103）客户端的分区选择，将对于jedis做分区模块的修改，使其支持根据BufferKey即缓存实例关键字，进行分区，根据不同的redis结点信息，初始化不同的ShardInfo即分片,同时也修改JedisPool即线程安全的网络连接池的底层实现，使其连接pool即池，支持根据key,value即键，值的构造方法，根据不同ShardInfos，创建不同的jedis连接客户端，达到分区的效果，供应用层调用；
所述步骤104）中异构库同步中开源版本只支持mysql数据库增量，目标库可以是mysql数据库或者oracle数据库；所述步骤104）中单机房同步为数据库之间RTT 即往返时延达到小于1ms，其包括数据库版本升级、数据表迁移和异步二级索引。
CN201710047137.6A 2017-01-20 2017-01-20 一种基于互联网电视的后台数据同步方法 Active CN106959996B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710047137.6A CN106959996B (zh) 2017-01-20 2017-01-20 一种基于互联网电视的后台数据同步方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710047137.6A CN106959996B (zh) 2017-01-20 2017-01-20 一种基于互联网电视的后台数据同步方法

Publications (2)

Publication Number Publication Date
CN106959996A CN106959996A (zh) 2017-07-18
CN106959996B true CN106959996B (zh) 2020-10-13

Family

ID=59481023

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710047137.6A Active CN106959996B (zh) 2017-01-20 2017-01-20 一种基于互联网电视的后台数据同步方法

Country Status (1)

Country Link
CN (1) CN106959996B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108763234A (zh) * 2018-02-01 2018-11-06 宝付网络科技（上海）有限公司 一种数据实时同步方法及系统
CN109800272A (zh) * 2019-02-25 2019-05-24 广州虎牙信息科技有限公司 缓存数据同步方法、服务器、应用系统及存储装置
CN109918439B (zh) * 2019-03-14 2021-04-27 杭州数梦工场科技有限公司 数据同步方法及其应用的环路检测方法和相关装置
CN110365754A (zh) * 2019-06-28 2019-10-22 苏州浪潮智能科技有限公司 一种分布式文件传输存储方法、设备以及存储介质
CN111061740B (zh) * 2019-12-17 2023-08-04 北京软通智慧科技有限公司 一种数据同步方法、设备和存储介质
CN111858775A (zh) * 2020-08-06 2020-10-30 四川长虹电器股份有限公司 用于物联网平台的异地数据库的数据同步方法
CN112291312B (zh) * 2020-10-15 2022-07-01 杭州数梦工场科技有限公司 Etl数据同步方法及装置、电子设备、存储介质
CN113946553A (zh) * 2021-10-27 2022-01-18 浪潮卓数大数据产业发展有限公司 一种基于ftp的千万级文件量的文件同步方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104092764B (zh) * 2014-07-17 2017-10-31 百视通网络电视技术发展有限责任公司 基于互联网电视的内容分发方法及系统
US9894154B2 (en) * 2014-10-11 2018-02-13 Papaya Mobile, Inc. Data synchronization methods and systems
CN104734946A (zh) * 2015-04-09 2015-06-24 北京易掌云峰科技有限公司 一种多租户高并发的即时通讯云平台
CN105554160A (zh) * 2016-01-29 2016-05-04 四川长虹电器股份有限公司 一种基于nginx负载均衡的dubbo分布式集群系统架构方法
CN105912703A (zh) * 2016-04-26 2016-08-31 北京百度网讯科技有限公司 数据存储方法、查询方法及装置
CN106210151A (zh) * 2016-09-27 2016-12-07 深圳市彬讯科技有限公司 一种zedis分布式缓存及服务器集群监控方法

Also Published As

Publication number Publication date
CN106959996A (zh) 2017-07-18

Similar Documents

Publication Publication Date Title
CN106959996B (zh) 一种基于互联网电视的后台数据同步方法
US10956601B2 (en) Fully managed account level blob data encryption in a distributed storage environment
US10764045B2 (en) Encrypting object index in a distributed storage environment
CA2676593C (en) Scalable secondary storage systems and methods
US20210117441A1 (en) Data replication system
US10311028B2 (en) Method and apparatus for replication size estimation and progress monitoring
US9454446B2 (en) System and method for using local storage to emulate centralized storage
US20190007208A1 (en) Encrypting existing live unencrypted data using age-based garbage collection
US20190188309A1 (en) Tracking changes in mirrored databases
Dwivedi et al. Analytical review on Hadoop Distributed file system
US11818012B2 (en) Online restore to different topologies with custom data distribution
US20190065526A1 (en) File consistency in shared storage using partial-edit files
US11789830B2 (en) Anti-entropy-based metadata recovery in a strongly consistent distributed data storage system
CN107566341B (zh) 一种基于联邦分布式文件存储系统的数据持久化存储方法及系统
Vaidya et al. Critical study of performance parameters on distributed file systems using MapReduce
Takatsu et al. PPFS: A scale-out distributed file system for post-petascale systems
US20200401313A1 (en) Object Storage System with Priority Meta Object Replication
EP3555756A1 (en) System and method for utilizing a designated leader within a database management system
Bradberry et al. Practical Cassandra: a developer's approach
US11093465B2 (en) Object storage system with versioned meta objects
Li et al. A hybrid disaster-tolerant model with DDF technology for MooseFS open-source distributed file system
US20200401312A1 (en) Object Storage System with Meta Object Replication
Zhou Large scale distributed file system survey
Piernas et al. Leveraging OSD+ devices for implementing a high‐throughput parallel file system
US20240104074A1 (en) Location-constrained storage and analysis of large data sets

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant