CN115481158A - 一种数据分布式缓存自动加载与转换方法 - Google Patents

一种数据分布式缓存自动加载与转换方法 Download PDF

Info

Publication number
CN115481158A
CN115481158A CN202211156354.6A CN202211156354A CN115481158A CN 115481158 A CN115481158 A CN 115481158A CN 202211156354 A CN202211156354 A CN 202211156354A CN 115481158 A CN115481158 A CN 115481158A
Authority
CN
China
Prior art keywords
data
distributed cache
conversion
redis
data information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211156354.6A
Other languages
English (en)
Other versions
CN115481158B (zh
Inventor
陈忠国
李忱
周鑫
江何
门殿春
孟繁荣
姚志强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Testor Technology Co ltd
Beijing Tongtech Co Ltd
Original Assignee
Beijing Testor Technology Co ltd
Beijing Tongtech Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Testor Technology Co ltd, Beijing Tongtech Co Ltd filed Critical Beijing Testor Technology Co ltd
Priority to CN202211156354.6A priority Critical patent/CN115481158B/zh
Publication of CN115481158A publication Critical patent/CN115481158A/zh
Application granted granted Critical
Publication of CN115481158B publication Critical patent/CN115481158B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G06F16/24552—Database cache management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2228—Indexing structures
    • G06F16/2255—Hash tables
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/258—Data format conversion from or to a database
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6227—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database where protection concerns the structure of data, e.g. records, types, queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/629—Protecting access to data via a platform, e.g. using keys or access control rules to features or functions of an application
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioethics (AREA)
  • Computational Linguistics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种数据分布式缓存自动加载与转换方法；包括有以下方法步骤：S1、实现对数据信息进行自动加载存储；S2、建立存储对像，进行数据信息的缓存；S3、实现对数据信息进行获取；S4、在对数据信息进行获取的时候，实现对数据信息进行转换；本发明通过Redis分布缓存对数据信息进行缓存处理，并且通过Redis分布缓存的键值对形成缓存存储，且为了有效的实现查询，采用Hash计算进行数据的计算处理，便于进行存储处理，并且Redis分布缓存单线程运行，有效的防止并发问题的产生，且实现对节点进行主备设定，提高数据的准确性，在实现对数据信息进行转换，使得数据信息能够有效的实现传输，并且能够有效的保持数据信息在转换过程中的精准度。

Description

一种数据分布式缓存自动加载与转换方法
技术领域
本发明属于数据分布式缓存技术领域，具体涉及一种数据分布式缓存自动加载与转换方法。
背景技术
分布式缓存能够处理大量的动态数据，因此比较适合应用在Web 2.0时代中的社交网站等需要由用户生成内容的场景。从本地缓存扩展到分布式缓存后，关注重点从CPU、内存、缓存之间的数据传输速度差异也扩展到了业务系统、数据库、分布式缓存之间的数据传输速度差异，然而市面上各种的数据分布式缓存仍存在各种各样的问题。
如授权公告号为CN113779043A所公开的一种数据分布式缓存自动加载与转换方法，其虽然实现了通过采用一致性哈希均匀分布的缓存方式，实现基于现一致性哈希分布式数据的环状存储结构，同时采用存入数据的特征提取，使其数据实现向特征的转换，但是并未解决现有分布缓存存在的不能够有效的进行对应缓存，不能够有效的实现多种形式的存储，以及不能够有效的提高数据的安全性，且不能够精准的实现转换处理等的问题，为此我们提出一种数据分布式缓存自动加载与转换方法。
发明内容
本发明的目的在于提供一种数据分布式缓存自动加载与转换方法，以解决上述背景技术中提出的问题。
为实现上述目的，本发明提供如下技术方案：一种数据分布式缓存自动加载与转换方法，包括有以下方法步骤：
S1、实现对数据信息进行自动加载存储：采用多节点的Redis分布缓存机构，且每个节点负责一部分数据的存储，所述Redis采用基于内存的key-value数据库；
S2、建立存储对像，进行数据信息的缓存：Redis分布缓存将Hash视作一个整体作为数据库的value进行存储，把Hash结构的整体看作对象，则Hash结构里的key-value相当于该对象的属性名和属性值；
S3、对数据信息进行获取：Redis分布缓存中完成value的相关数据操作，实现对数据的获取，所述Redis采用单线程数据传输，不存在并发数据读写的线程安全问题；
S4、在对数据信息进行获取的过程中，对数据信息进行转换：数据信息获取之前，根据获取要求对数据信息进行转换模式处理，在完成数据转换之后，对数据进行传输处理。
优选的，所述S1中的Redis分布缓存的key-value数据库支持的数据结构包括支持简单的k/v类型，还支持List、Set、Hash类型的存储。
优选的，所述Redis分布缓存还支持持久化，所述Redis分布缓存的持久化由RDB和AOF实现。
优选的，所述Redis分布缓存定时将内存中的数据备份到磁盘中，形成一个快照；所述AOF即记录下所述Redis分布缓存中所有的更新操作。
优选的，所述Redis分布缓存中，提供了三种实现AOF的策略，包括：
不同步的AOF_FSYNC_NO，不自动触发写操作的同步；
每秒同步的AOF_FSYNC_EVERYSEC，每隔一秒都会将写操作同步到磁盘；
每次写都同步的AOF_FSYNC_ALWAYS，每次发生写操作会立即同步到磁盘；
Redis所述Redis分布缓存采用的是每秒同步的AOF_FSYNC_EVERYSEC策略。
优选的，所述S3对数据的获取过程为了提高所述Redis分布缓存的可靠性，在每个节点进行主备设计，通过设定两个参数来有效地保证数据的一致性，且这两个参数如下所示：min-replicas-to-write和min-replicas-max-lag，所述Redis分布缓存提供了两种同步模式，即完整重同步和部分重同步。
优选的，所述完整重同步的流程如下所示：
S301：当备服务器启动时，会向主服务器发送SYNC命令；
S302：主服务器收到命令后会生成RDB文件，并记录从现在起新执行的写操作；
S303：RDB生成后会发送给备服务器，备服务器通过RDB文件进行数据更新；
S304：更新完成后，主服务器再将新记录的写操作发送给备服务器，备服务器执行完这些新记录的写操作，便与主服务器的数据保持一致；
所述部分重同步当网络恢复后，主数据库将主备数据库断开连接之后的一系列写操作发送给备服务器，备数据库执行这些写操作，从而保证数据保持一致。
优选的，所述S4中的数据信息进行转换包括有以下处理：
平滑处理：帮助除去数据中的噪声，主要方法有Bin方法、聚类方法和回归方法；
合计处理：对数据进行总结或合计操作；
数据泛化处理：用更抽象的概念来取代低层次或数据层的数据对象；
规格化处理：将有关属性数据按比例投射到特定的小范围之中；
属性构造处理：根据已有属性集构造新的属性，以帮助数据处理过程。
优选的，所述数据转换的内容包括：数据类型转换、数据语义转换、数据值域转换、数据粒度转换、表/数据拆分、行列转换、数据离散化、数据离散化、提炼新字段、属性构造、数据压缩等；
数据类型转换：当数据来自不同数据源时，需要将不同数据源的数据类型进行统一转换为一种兼容的数据类型；
数据粒度转换：会将业务系统数据按照数据仓库中不同的粒度需求进行聚合；
表/数据拆分：一个表内的多个字段，存在表字段拆分的情况；
行列转换：某些情况下，表内的行列数据会需要进行转换，用来满足基于项目和基于用户的相似度推荐计算；
数据离散化：将连续取值的属性离散化成若干区间，来帮助消减一个连续属性的取值个数；
数据标准化：不同字段间由于字段本身的业务含义不同，有些时间需要消除变量之间不同数量级造成的数值之间的悬殊差异。
优选的，所述数据转换步骤如下：
S401：执行数据发现，以识别源和数据类型；
S402：确定需要发生的结构和数据转换；
S403：执行数据映射以定义各个字段的映射，修改，连接，过滤和聚合方式；
S404：从原始源提取数据；
S405：执行转换；
S406：然后实现数据的发送。
与现有技术相比，本发明的有益效果是：
本发明通过Redis分布缓存有效的实现对数据信息进行缓存处理，并且通过Redis分布缓存的键值对形成缓存存储，且为了有效的实现查询，采用Hash计算进行数据的计算处理，便于进行存储处理，并且Redis分布缓存单线程运行，有效的防止并发问题的产生，提高数据的安全性，且实现对节点进行主备设定，提高数据的准确性，在实现对数据信息进行转换，使得数据信息能够有效的实现传输，并且能够有效的保持数据信息在转换过程中的精准度。
附图说明
图1为本发明的步骤流程示意图；
图2为本发明的完整重同步的步骤流程示意图；
图3为本发明的数据转换步骤流程示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1，本发明提供一种技术方案：一种数据分布式缓存自动加载与转换方法，包括以下步骤：
S1、对数据信息进行自动加载存储：采用多节点的Redis分布缓存机构，且每个节点负责一部分数据的存储，为了实现便于进行数据查询的目的，Redis采用基于内存的key-value数据库；
S2、建立存储对像，进行数据信息的缓存：Redis分布缓存将Hash视作一个整体作为数据库的value进行存储，把Hash结构的整体看作对象，则Hash结构里的key-value相当于该对象的属性名和属性值；
S3、对数据信息进行获取：Redis分布缓存中完成value的相关数据操作，实现对数据的获取，所述Redis采用单线程数据传输，不存在并发数据读写的线程安全问题，保证数据读写操作的顺序性；
S4、在对数据信息进行获取的过程中，对数据信息进行转换：数据信息获取之前，根据获取要求对数据信息进行转换模式处理，在完成数据转换之后，对数据进行传输处理。
为了实现多种数据格式的缓存，本实施例中，优选的，所述S1中的Redis分布缓存的key-value数据库为了方便支持多应用数据的缓存，例如缓存文本类型、数据库的查询结果，支持的数据结构不仅有简单的k/v类型，还支持List、Set、Hash类型的存储。
为了实现对数据进行安全保存，防止丢失，本实施例中，优选的，所述Redis分布缓存还支持持久化处理功能，将数据从内存这种易失性存储设备中写入磁盘等存储介质中，从而让数据永久保存，防止数据信息的丢失，所述Redis分布缓存的持久化处理功能主要由RDB持久化和AOF持久化两种方式实现，所述RDB也称快照方式，可使Redis分布缓存会定时将内存中的数据备份到磁盘中，形成一个快照，但是会造成数据丢失，即当节点出现故障时，新数据还未备份到磁盘中；
所述AOF即记录下所述Redis分布缓存中所有的更新操作。
为了实现对AOF的存储，提供了三种方式，本实施例中，优选的，所述Redis分布缓存中，提供了三种实现AOF的策略，包括：
不同步的AOF_FSYNC_NO，不自动触发写操作的同步；
每秒同步的AOF_FSYNC_EVERYSEC，每隔一秒都会将写操作同步到磁盘；
每次写都同步的AOF_FSYNC_ALWAYS，每次发生写操作会立即同步到磁盘；
为了提高存储保存的性能，Redis所述Redis分布缓存采用的是每秒同步的AOF_FSYNC_EVERYSEC策略。
为了实现对数据缓存的可靠性，本实施例中，优选的，所述S3对数据的获取过程中，为了提高所述Redis分布缓存的可靠性，在每个节点进行主备设计，通过设定两个参数来有效地保证数据的一致性，且这两个参数如下所示：min-replicas-to-write和min-replicas-max-lag，所述Redis分布缓存提供了两种同步模式，即完整重同步和部分重同步。
参考图2，对完整重同步和部分重同步的步骤进行说明，本实施例中，优选的，所述完整重同步的流程如下所示：
S301：当备服务器启动时，会向主服务器发送SYNC命令；
S302：主服务器收到命令后会生成RDB文件，并记录从现在起新执行的写操作；
S303：RDB生成后会发送给备服务器，备服务器通过RDB文件进行数据更新；
S304：更新完成后，主服务器再将新记录的写操作发送给备服务器，备服务器执行完这些新记录的写操作，便与主服务器的数据保持一致；
所述部分重同步为：当网络恢复后，主数据库将主备数据库断开连接之后的一系列写操作发送给备服务器，备数据库执行这些写操作，从而保证数据保持一致。
为了实现在数据转换的时候，能够实现对数据进行处理，本实施例中，优选的，所述S4中的数据信息进行转换包括有以下处理方式：
平滑处理：帮助除去数据中的噪声，主要方法有Bin方法、聚类方法和回归方法；
合计处理：对数据进行总结或合计操作；
数据泛化处理：用更抽象的概念来取代低层次或数据层的数据对象；
规格化处理：将有关属性数据按比例投射到特定的小范围之中；
属性构造处理：根据已有属性集构造新的属性，以帮助数据处理过程。
为了实现对数据不同的内容进行转换处理，本实施例中，优选的，所述数据转换的内容包括：数据类型转换、数据语义转换、数据值域转换、数据粒度转换、表/数据拆分、行列转换、数据离散化、数据离散化、提炼新字段、属性构造、数据压缩等；
数据类型转换：当数据来自不同数据源时，需要将不同数据源的数据类型进行统一转换为一种兼容的数据类型；
数据粒度转换：会将业务系统数据按照数据仓库中不同的粒度需求进行聚合；
表/数据拆分：一个表内的多个字段，存在表字段拆分的情况；
行列转换：某些情况下，表内的行列数据会需要进行转换，用来满足基于项目和基于用户的相似度推荐计算；
数据离散化：将连续取值的属性离散化成若干区间，来帮助消减一个连续属性的取值个数；
数据标准化：不同字段间由于字段本身的业务含义不同，有些时间需要消除变量之间不同数量级造成的数值之间的悬殊差异。
参考图3，为了实现对数据信息进行有效的转换处理，本实施例中，优选的，所述数据转换步骤如下：
S401：执行数据发现，以识别源和数据类型；
S402：确定需要发生的结构和数据转换；
S403：执行数据映射以定义各个字段的映射，修改，连接，过滤和聚合方式；
S404：从原始源提取数据；
S405：执行转换；
S406：然后实现数据的发送。
本发明的工作原理及使用流程：
第一步、对数据信息进行自动加载存储：采用Redis分布缓存，且每个节点负责一部分数据的存储，以及为了实现便于进行查询，Redis是一个基于内存的key-value数据库；
第二步、建立存储对像，进行数据信息的缓存：Redis分布缓存将Hash视作一个整体作为数据库的value进行存储，把Hash结构的整体看作对象，则Hash结构里的key-value相当于该对象的属性名和属性值；
第三步、对数据信息进行获取：Redis分布缓存中完成value的相关数据操作，对数据进行获取，所述Redis为单线程进行，不存在并发数据读写的线程安全问题，保证数据读写操作的顺序性；
第四步、在对数据信息进行获取的过程中，对数据信息进行转换：数据信息获取之前，根据获取要求对数据信息进行转换模式处理，在数据转换之后，对数据进行传输处理。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (10)

1.一种数据分布式缓存自动加载与转换方法，其特征在于，包括有以下方法步骤：
S1、实现对数据信息进行自动加载存储：采用多节点的Redis分布缓存机构，且每个节点负责一部分数据的存储，所述Redis采用基于内存的key-value数据库；
S2、建立存储对像，进行数据信息的缓存：Redis分布缓存将Hash视作一个整体作为数据库的value进行存储，把Hash结构的整体看作对象，则Hash结构里的key-value相当于该对象的属性名和属性值；
S3、对数据信息进行获取：Redis分布缓存中完成value的相关数据操作，实现对数据的获取，所述Redis采用单线程数据传输，不存在并发数据读写的线程安全问题；
S4、在对数据信息进行获取的过程中，对数据信息进行转换：数据信息获取之前，根据获取要求对数据信息进行转换模式处理，在完成数据转换之后，对数据进行传输处理。
2.根据权利要求1所述的一种数据分布式缓存自动加载与转换方法，其特征在于：所述S1中的Redis分布缓存的key-value数据库支持的数据结构包括支持简单的k/v类型，还支持List、Set、Hash类型的存储。
3.根据权利要求2所述的一种数据分布式缓存自动加载与转换方法，其特征在于：所述Redis分布缓存还支持持久化，所述Redis分布缓存的持久化由RDB和AOF实现。
4.根据权利要求3所述的一种数据分布式缓存自动加载与转换方法，其特征在于：所述Redis分布缓存定时将内存中的数据备份到磁盘中，形成一个快照；所述AOF即记录下所述Redis分布缓存中所有的更新操作。
5.根据权利要求4所述的一种数据分布式缓存自动加载与转换方法，其特征在于：所述Redis分布缓存中，提供了三种实现AOF的策略，包括：
不同步的AOF_FSYNC_NO，不自动触发写操作的同步；
每秒同步的AOF_FSYNC_EVERYSEC，每隔一秒都会将写操作同步到磁盘；
每次写都同步的AOF_FSYNC_ALWAYS，每次发生写操作会立即同步到磁盘；
Redis所述Redis分布缓存采用的是每秒同步的AOF_FSYNC_EVERYSEC策略。
6.根据权利要求1所述的一种数据分布式缓存自动加载与转换方法，其特征在于：所述S3对数据的获取过程为了提高所述Redis分布缓存的可靠性，在每个节点进行主备设计，通过设定两个参数来有效地保证数据的一致性，且这两个参数如下所示：min-replicas-to-write和min-replicas-max-lag，所述Redis分布缓存提供了两种同步模式，即完整重同步和部分重同步。
7.根据权利要求6所述的一种数据分布式缓存自动加载与转换方法，其特征在于：所述完整重同步的流程如下所示：
S301：当备服务器启动时，会向主服务器发送SYNC命令；
S302：主服务器收到命令后会生成RDB文件，并记录从现在起新执行的写操作；
S303：RDB生成后会发送给备服务器，备服务器通过RDB文件进行数据更新；
S304：更新完成后，主服务器再将新记录的写操作发送给备服务器，备服务器执行完这些新记录的写操作，便与主服务器的数据保持一致；
所述部分重同步当网络恢复后，主数据库将主备数据库断开连接之后的一系列写操作发送给备服务器，备数据库执行这些写操作，从而保证数据保持一致。
8.根据权利要求1所述的一种数据分布式缓存自动加载与转换方法，其特征在于：所述S4中的数据信息进行转换包括有以下处理：
平滑处理：帮助除去数据中的噪声，主要方法有Bin方法、聚类方法和回归方法；
合计处理：对数据进行总结或合计操作；
数据泛化处理：用更抽象的概念来取代低层次或数据层的数据对象；
规格化处理：将有关属性数据按比例投射到特定的小范围之中；
属性构造处理：根据已有属性集构造新的属性，以帮助数据处理过程。
9.根据权利要求1所述的一种数据分布式缓存自动加载与转换方法，其特征在于：所述数据转换的内容包括：数据类型转换、数据语义转换、数据值域转换、数据粒度转换、表/数据拆分、行列转换、数据离散化、数据离散化、提炼新字段、属性构造、数据压缩等；
数据类型转换：当数据来自不同数据源时，需要将不同数据源的数据类型进行统一转换为一种兼容的数据类型；
数据粒度转换：会将业务系统数据按照数据仓库中不同的粒度需求进行聚合；
表/数据拆分：一个表内的多个字段，存在表字段拆分的情况；
行列转换：某些情况下，表内的行列数据会需要进行转换，用来满足基于项目和基于用户的相似度推荐计算；
数据离散化：将连续取值的属性离散化成若干区间，来帮助消减一个连续属性的取值个数；
数据标准化：不同字段间由于字段本身的业务含义不同，有些时间需要消除变量之间不同数量级造成的数值之间的悬殊差异。
10.根据权利要求1所述的一种数据分布式缓存自动加载与转换方法，其特征在于：所述数据转换步骤如下：
S401：执行数据发现，以识别源和数据类型；
S402：确定需要发生的结构和数据转换；
S403：执行数据映射以定义各个字段的映射，修改，连接，过滤和聚合方式；
S404：从原始源提取数据；
S405：执行转换；
S406：然后实现数据的发送。
CN202211156354.6A 2022-09-22 2022-09-22 一种数据分布式缓存自动加载与转换方法 Active CN115481158B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211156354.6A CN115481158B (zh) 2022-09-22 2022-09-22 一种数据分布式缓存自动加载与转换方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211156354.6A CN115481158B (zh) 2022-09-22 2022-09-22 一种数据分布式缓存自动加载与转换方法

Publications (2)

Publication Number Publication Date
CN115481158A true CN115481158A (zh) 2022-12-16
CN115481158B CN115481158B (zh) 2023-05-30

Family

ID=84423419

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211156354.6A Active CN115481158B (zh) 2022-09-22 2022-09-22 一种数据分布式缓存自动加载与转换方法

Country Status (1)

Country Link
CN (1) CN115481158B (zh)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103853727A (zh) * 2012-11-29 2014-06-11 深圳中兴力维技术有限公司 提高大数据量查询性能的方法及系统
CN106599199A (zh) * 2016-12-14 2017-04-26 国云科技股份有限公司 一种数据缓存与同步方法
CN108509586A (zh) * 2018-03-29 2018-09-07 努比亚技术有限公司 缓存管理的方法、装置及计算机可读存储介质
CN109739913A (zh) * 2018-12-24 2019-05-10 北京明朝万达科技股份有限公司 一种基于可配置化的热点数据缓存处理方法及设备
CN109976904A (zh) * 2019-02-25 2019-07-05 贵州电网有限责任公司 Redis内存管理在采集系统的处理方法
CN111275397A (zh) * 2020-01-20 2020-06-12 中国电力科学研究院有限公司 一种仿真培训业务数据的处理方法及系统
CN112905685A (zh) * 2021-03-12 2021-06-04 国网安徽省电力有限公司 一种面向信息化建设的架构管控系统及设备
WO2021237467A1 (zh) * 2020-05-26 2021-12-02 深圳元戎启行科技有限公司 文件上传方法、文件下载方法和文件管理装置
CN113779043A (zh) * 2021-11-05 2021-12-10 北京泰策科技有限公司 一种数据分布式缓存自动加载与转换方法
CN114244595A (zh) * 2021-12-10 2022-03-25 北京达佳互联信息技术有限公司 权限信息的获取方法、装置、计算机设备及存储介质
CN114660635A (zh) * 2022-03-17 2022-06-24 航天科工海鹰集团有限公司 一种自适应的gnss接收机原始数据流解码技术

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103853727A (zh) * 2012-11-29 2014-06-11 深圳中兴力维技术有限公司 提高大数据量查询性能的方法及系统
CN106599199A (zh) * 2016-12-14 2017-04-26 国云科技股份有限公司 一种数据缓存与同步方法
CN108509586A (zh) * 2018-03-29 2018-09-07 努比亚技术有限公司 缓存管理的方法、装置及计算机可读存储介质
CN109739913A (zh) * 2018-12-24 2019-05-10 北京明朝万达科技股份有限公司 一种基于可配置化的热点数据缓存处理方法及设备
CN109976904A (zh) * 2019-02-25 2019-07-05 贵州电网有限责任公司 Redis内存管理在采集系统的处理方法
CN111275397A (zh) * 2020-01-20 2020-06-12 中国电力科学研究院有限公司 一种仿真培训业务数据的处理方法及系统
WO2021237467A1 (zh) * 2020-05-26 2021-12-02 深圳元戎启行科技有限公司 文件上传方法、文件下载方法和文件管理装置
CN112905685A (zh) * 2021-03-12 2021-06-04 国网安徽省电力有限公司 一种面向信息化建设的架构管控系统及设备
CN113779043A (zh) * 2021-11-05 2021-12-10 北京泰策科技有限公司 一种数据分布式缓存自动加载与转换方法
CN114244595A (zh) * 2021-12-10 2022-03-25 北京达佳互联信息技术有限公司 权限信息的获取方法、装置、计算机设备及存储介质
CN114660635A (zh) * 2022-03-17 2022-06-24 航天科工海鹰集团有限公司 一种自适应的gnss接收机原始数据流解码技术

Also Published As

Publication number Publication date
CN115481158B (zh) 2023-05-30

Similar Documents

Publication Publication Date Title
US11704290B2 (en) Methods, devices and systems for maintaining consistency of metadata and data across data centers
CN101866305B (zh) 支持数据查询和快速恢复的连续数据保护方法及系统
US9155320B2 (en) Prefix-based leaf node storage for database system
CN103595797B (zh) 一种分布式存储系统中的缓存方法
US10810092B2 (en) Checkpoints for document store
CN106202416B (zh) 列表数据写方法和装置、列表数据读取方法和装置
KR20150137884A (ko) 부분동기화 지원 데이터베이스 관리 시스템 및 데이터베이스 관리 시스템에서 부분동기화 방법
WO2021147935A1 (zh) 一种日志回放方法及装置
CN112417033A (zh) 一种分布式图数据库多节点数据一致性实现方法和系统
US20230418811A1 (en) Transaction processing method and apparatus, computing device, and storage medium
KR20190063835A (ko) 인-메모리 데이터베이스의 실시간 데이터 변경 처리 시스템
CN111917834A (zh) 一种数据同步方法、装置、存储介质及计算机设备
CN111352766A (zh) 一种数据库的双活实现方法及装置
CN113905054A (zh) 基于RDMA的Kudu集群数据同步方法、装置、系统
WO2011051098A1 (en) Synchronizing database and non-database resources
CN112506432A (zh) 一种动静分离的电力自动化系统实时数据存储和管理方法及装置
WO2021189283A1 (zh) 数据处理方法、装置、电子装置及存储介质
CN115481158B (zh) 一种数据分布式缓存自动加载与转换方法
CN116049306A (zh) 数据同步方法、装置、电子设备以及可读存储介质
CN116028505A (zh) 一种在分布式数据库中实现高可用序列的方法
CN109885552B (zh) 分布式文件系统的元数据动态管理方法及分布式文件系统
CN112579543A (zh) 分布式文件系统的元数据动态管理方法及分布式文件系统
CN112612647A (zh) 日志并行重演方法、装置、设备及存储介质
CN117131023B (zh) 数据表处理方法、装置、计算机设备和可读存储介质
CN112527911B (zh) 一种数据存储方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant