CN115237927B - 基于缓存和数据处理规则实现数据表更新的方法和系统 - Google Patents

基于缓存和数据处理规则实现数据表更新的方法和系统 Download PDF

Info

Publication number
CN115237927B
CN115237927B CN202211146144.9A CN202211146144A CN115237927B CN 115237927 B CN115237927 B CN 115237927B CN 202211146144 A CN202211146144 A CN 202211146144A CN 115237927 B CN115237927 B CN 115237927B
Authority
CN
China
Prior art keywords
data
data table
updated
memory
reading
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211146144.9A
Other languages
English (en)
Other versions
CN115237927A (zh
Inventor
孙汉清
王强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Digital Health China Technologies Co Ltd
Original Assignee
Digital Health China Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Digital Health China Technologies Co Ltd filed Critical Digital Health China Technologies Co Ltd
Priority to CN202211146144.9A priority Critical patent/CN115237927B/zh
Publication of CN115237927A publication Critical patent/CN115237927A/zh
Application granted granted Critical
Publication of CN115237927B publication Critical patent/CN115237927B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2282—Tablespace storage structures; Management thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G06F16/2379—Updates performed during online database operations; commit processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G06F16/24552—Database cache management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G06F16/24568—Data stream processing; Continuous queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及数据处理技术领域，特别涉及一种基于缓存和数据处理规则实现数据表更新的方法和系统，该处理方法主要包括：利用流式读取方式，将源数据库中的待更新数据表读取至内存进行缓存；根据内存中的变量表和待更新数据表，利用预设算法，对待更新数据表进行数据交换处理，获得目标数据表，并将目标数据表组成文本数据表；利用Mysql，将文本数据表生成新数据表，并重建新数据表的索引。本发明通过内存缓存和文本传输等处理方式后，比正常的数据库批量处理数据性能提高5‑10倍的效率，从而通过内存和硬盘使用率来提高数据交换性能，节约硬件成本。

Description

基于缓存和数据处理规则实现数据表更新的方法和系统
技术领域
本发明涉及数据处理技术领域，特别涉及一种基于缓存和数据处理规则实现数据表更新的方法和系统。
背景技术
现有的数据交换工具大多采用数据库的批量插入功能，或是对数据和字典转换的读取处理更多的依赖于SQL（结构化查询语言）的拼接级联。其中，针对数据的多表读取和更新处理，对于大数据量表的处理性能较差，且在数据交换的批量插入时，依赖于数据库的IO、性能和表使用情况以及索引等多种外部条件影响，其数据交换处理效率较低。
发明内容
本发明提供一种基于缓存和数据处理规则实现数据表更新的方法和系统，用以解决现有技术中对大批量数据交换处理性能较差的缺陷，从而实现提高数据交换性能，节约硬件成本的目的。
本发明提供一种基于缓存和数据处理规则实现数据表更新的方法，包括：
利用流式读取方式，将源数据库中的待更新数据表读取至内存进行缓存；
根据所述内存中的变量表和所述待更新数据表，利用预设算法，对所述待更新数据表进行数据交换处理，获得目标数据表，并将所述目标数据表组成文本数据表；
利用Mysql，将所述文本数据表生成新数据表，并重建所述新数据表的索引。
在一种可能的实施方式中，所述利用流式读取方式，将源数据库中的待更新数据表读取至内存进行缓存，包括：
将源数据库与JDBC链接；
初始化PreparedStatement的类型为ResultSet.TYPE_FORWARD_ONLY和ResultSet.CONCUR_READ_ONLY；
设置FetchDirection属性为ResultSet.FETCH_REVERSE；
设置每次读取待更新数据表的数量，循环批量读取待更新数据表至内存中。
在一种可能的实施方式中，所述设置每次读取待更新数据表的数量，包括：
通过FetchSize属性设置每次读取待更新数据表中的数据数量，其中，根据内存可配置的大小，确定每次读取待更新数据表中的数据数量。
在一种可能的实施方式中，所述根据所述内存中的变量表，包括：
将变量表与业务关联表进行关联，获取关联路径；
根据关联路径将所述变量表中的数据读取至内存中。
在一种可能的实施方式中，所述利用预设算法，对所述待更新数据表进行数据交换处理，获得目标数据表，包括：
根据所述变量表的关联信息，读取所述内存中所述待更新数据表中的替换字段值；
根据所述业务关联表的数据，对所述替换字段值进行数据交换处理，获得目标数据表。
本发明还提供一种基于缓存和数据处理规则实现数据表更新的系统，包括：
读取模块，利用流式读取方式，将源数据库中的待更新数据表读取至内存进行缓存；
数据交换模块，根据所述内存中的变量表和所述待更新数据表，利用预设算法，对所述待更新数据表进行数据交换处理，获得目标数据表，并将所述目标数据表组成文本数据表；
重建索引模块，利用Mysql，将所述文本数据表生成新数据表，并重建所述新数据表的索引。
在一种可能的实施方式中，所述读取模块包括：
链接单元，将源数据库与JDBC链接；
初始化单元，初始化PreparedStatement的类型为ResultSet.TYPE_FORWARD_ONLY和ResultSet.CONCUR_READ_ONLY；
属性单元，设置FetchDirection属性为ResultSet.FETCH_REVERSE；
读取单元，设置每次读取待更新数据表的数量，循环批量读取待更新数据表至内存中。
在一种可能的实施方式中，所述读取单元通过FetchSize属性设置每次读取待更新数据表中的数据数量，其中，根据内存可配置的大小，确定每次读取待更新数据表中的数据数量。
在一种可能的实施方式中，还包括配置模块，所述配置模块包括：
关联单元，将变量表与业务关联表进行关联，获取关联路径；
缓存单元，根据关联路径将所述变量表中的数据读取至内存中。
在一种可能的实施方式中，所述数据交换模块包括：
获取单元，根据所述变量表的关联信息，读取所述内存中所述待更新数据表中的替换字段值；
处理单元，根据所述业务关联表的数据，对所述替换字段值进行数据交换处理，获得目标数据表。
本发明提供的一种基于缓存和数据处理规则实现数据表更新的方法和系统，通过采用流式读取方式和预设的算法，对待更新数据表进行数据交换处理，并采用Mysql本地文件读取的方式来直接写入表数据文件，屏蔽索引，在数据交换完成后重建索引，通过上述方法比正常的数据库批量处理数据性能提高5-10倍的效率，从而提高数据交换性能，节约硬件成本。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的基于缓存和数据处理规则实现数据表更新的方法的流程示意图；
图2是本发明提供的流式读取方法的流程示意图；
图3是本发明提供的步骤S200中的流程示意图；
图4是本发明提供的预设算法的流程示意图；
图5是本发明提供的基于缓存和数据处理规则实现数据表更新的系统的结构示意图。
具体实施方式
为使本发明实施的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行更加详细的描述。
需要说明的是：在附图中，自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。所描述的实施例是本发明一部分实施例，而不是全部的实施例，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明保护范围的限制。
下面参考图1-4详细描述本发明公开的一种基于缓存和数据处理规则实现数据表更新的方法的第一实施例。
如图1所示，本实施例主要包括以下步骤：
S100、利用流式读取方式，将源数据库中的待更新数据表读取至内存进行缓存。
如图2所示，在步骤S100中，利用流式读取方式，将源数据库中的待更新数据表读取至内存进行缓存，具体通过以下步骤：
S110、将源数据库与JDBC链接；
S120、初始化PreparedStatement的类型为ResultSet.TYPE_FORWARD_ONLY和ResultSet.CONCUR_READ_ONLY；
S130、设置FetchDirection属性为ResultSet.FETCH_REVERSE；
S140、设置每次读取待更新数据表的数量，循环批量读取待更新数据表至内存中。
进一步，通过FetchSize属性设置每次读取待更新数据表中的数据数量，其中，根据内存可配置的大小，确定每次读取待更新数据表中的数据数量，例如，内存大小可配置10000万条数据。
具体的，利用流式读取方式，将源数据库与JDBC链接，初始化PreparedStatement的类型为ResultSet.TYPE_FORWARD_ONLY和ResultSet.CONCUR_READ_ONLY，并设置FetchDirection属性为ResultSet.FETCH_REVERSE，从而保证游标只能向下移动即按照从上到下的顺序，读取源数据库中的待更新数据表中的数据，对于已访问的待更新数据表的数据在内存中释放节约内存空间，从而屏蔽目标表的索引。通过FetchSize属性设置每次读取待更新数据表中的数据数量，将一批次的待更新数据数量从源数据库中读取至内存中，循环此过程，直至将源数据库中的待更新数据表中的数据全部读取完成。
S200、根据内存中的变量表和待更新数据表，利用预设算法，对待更新数据表进行数据交换处理，获得目标数据表，并将新数据表组成文本数据表。
如图3所示，在步骤S200中，内存中的变量表，包括：
S210、将变量表与业务关联表进行关联，获取关联路径；
S220、根据关联路径将变量表中的数据读取至内存中。
进一步，变量表即为字典表，是随着系统升级和后期变化，可能需要改变的。字典表通常会和具体代码实现紧密联合。
具体的，将变量表与业务关联表进行关联，获取关联路径，并通过该关联路径将变量表中的数据缓存至内存（公共内存Map）中，也就是，将需要的变量表和业务关联表中的相关数据存至内存中进行缓存，以便于对业务关联表相关联的数据进行更新、交换操作。将内存缓存作为处理更新数据的转化媒介，避免做级联消耗数据库和IO性能。
进一步，业务关联表为待更新数据表的相关新的数据表。
进一步，将变量表与业务关联表进行关联，获取关联信息，通过关联信息获取关联路径，其中，关联信息包含表名、表字段、字段数据类型和字段关系等信息。
进一步，字段数据类型可概括为字符、数值和时间类型。
进一步，字段关系包括映射关系和父子关系。
如图4所示，在步骤S200中，利用预设算法，对待更新数据表进行数据交换处理，获得目标数据表，包括：
S230、根据变量表的关联信息，读取内存中待更新数据表中的替换字段值；
S240、根据业务关联表的数据，对替换字段值进行数据交换处理，获得目标数据表。
具体的，变量表的关联信息包括通过变量表的字段规则配置，读取内存中待更新数据表中的替换字段值，其中，字段规则包括表名、表字段、字段数据类型和字段关系等信息，或是通过自定义规则方法提取新的字段值等方法，读取内存中待更新数据表中的需要更新的数据。根据业务关联表的数据，对替换字段值进行数据交换处理，获得目标数据表。
在步骤S200中，将目标数据表组成文本数据表，包括：
将当前批次的最终新数据表的结果采用StringBuild组装成csv格式的文本数据，其中行数据采用\t分隔符，行间采用\n分隔符。
进一步，将所有的待更新数据进行更新完成之后，关闭源数据库的读取流。
S300、利用Mysql，将文本数据表生成新数据表，并重建新数据表的索引。
在步骤S300中，通过Mysql（关系型数据库管理系统）的JDBC把文本数据传递给数据库，该数据库一般为源数据库。
在步骤300中，通过Mysql的Load Data Infile方法，把文件数据生成数据表文件。
进一步，重建新数据表文件的索引，可采用Mysql表重新生成目标表的索引，包括：
使用alter table tablename enable keys方式启用索引来重新创建丢失的索引。
本发明采用常用关联表字段关联缓存读取方式，在流内存中处理完毕后，采用Mysql本地文件读取的方式来直接写入表数据文件，屏蔽索引等外部条件，等数据交换完成后重建。针对大批量数据交换（千万级以上）在有限的硬件资源下，通过内存缓存和文本传输等处理方式后，比正常的数据库批量处理数据性能提高5-10倍的效率，从而通过内存和硬盘使用率来提高数据交换性能，节约硬件成本。
下面参考图5，基于同一发明构思，本发明实施例还提供了一种基于缓存和数据处理规则实现数据表更新的系统的第一实施例。
如图5所示，本实施例主要包括：读取模块、数据交换模块和重建索引模块。
读取模块利用流式读取方式，将源数据库中的待更新数据表读取至内存进行缓存。其中，读取模块包括链接单元、初始化单元、属性单元和读取单元，链接单元将源数据库与JDBC链接；初始化单元初始化PreparedStatement的类型为ResultSet.TYPE_FORWARD_ONLY和ResultSet.CONCUR_READ_ONLY；属性单元设置FetchDirection属性为ResultSet.FETCH_REVERSE；读取单元设置每次读取待更新数据表的数量，循环批量读取待更新数据表至内存中。
进一步，读取单元通过FetchSize属性设置每次读取待更新数据表中的数据数量，其中，根据内存可配置的大小，确定每次读取待更新数据表中的数据数量。
具体的，利用流式读取方式，将源数据库与JDBC链接，初始化PreparedStatement的类型为ResultSet.TYPE_FORWARD_ONLY和ResultSet.CONCUR_READ_ONLY，并设置FetchDirection属性为ResultSet.FETCH_REVERSE，从而保证游标只能向下移动即按照从上到下的顺序，读取源数据库中的待更新数据表中的数据，对于已访问的待更新数据表的数据在内存中释放节约内存空间，从而屏蔽目标表的索引。通过FetchSize属性设置每次读取待更新数据表中的数据数量，将一批次的待更新数据数量从源数据库中读取至内存中，循环此过程，直至将源数据库中的待更新数据表中的数据全部读取完成。
进一步，系统还包括配置模块，配置模块包括关联单元和缓存单元，其中，关联单元将变量表与业务关联表进行关联，获取关联路径；缓存单元根据关联路径将变量表中的数据读取至内存中。
进一步，变量表即为字典表，是随着系统升级和后期变化，可能需要改变的。字典表通常会和具体代码实现紧密联合。
具体的，将变量表与业务关联表进行关联，获取关联路径，并通过该关联路径将变量表中的数据缓存至内存（公共内存Map）中，也就是，将需要的变量表和业务关联表中的相关数据存至内存中进行缓存，以便于对业务关联表相关联的数据进行更新、交换操作。将内存缓存作为处理更新数据的转化媒介，避免做级联消耗数据库和IO性能。
进一步，业务关联表为待更新数据的相关新数据表。
进一步，将变量表与业务关联表进行关联，获取关联信息，通过关联信息获取关联路径，其中，关联信息包含表名、表字段、字段数据类型和字段关系等信息。
进一步，字段数据类型可概括为字符、数值和时间类型。
进一步，字段关系包括映射关系和父子关系。
数据交换模块根据内存中的变量表和待更新数据表，利用预设算法，对待更新数据表进行数据交换处理，获得目标数据表，并将新数据表组成文本数据表。
进一步，将当前批次的最终新数据表的结果采用StringBuild组装成csv格式的文本数据，其中行数据采用\t分隔符，行间采用\n分隔符。
进一步，将所有的待更新数据进行更新完成之后，关闭源数据库的读取流。
进一步，数据交换模块包括获取单元和处理单元，其中，获取单元根据变量表的关联信息，读取内存中待更新数据表中的替换字段值；处理单元根据业务关联表的数据，对替换字段值进行数据交换处理，获得目标数据表。
具体的，变量表的关联信息包括通过变量表的字段规则配置，读取内存中待更新数据表中的替换字段值，其中，字段规则包括表名、表字段、字段数据类型和字段关系等信息，或是通过自定义规则方法提取新的字段值等方法，读取内存中待更新数据表中的需要更新的数据。根据业务关联表的数据，对替换字段值进行数据交换处理，获得目标数据表。
重建索引模块利用Mysql，将文本数据表生成新数据表，并重建新数据表的索引。
通过Mysql的JDBC把文本数据传递给数据库，该数据库一般为源数据库。
通过Mysql的Load Data Infile方法，把文件数据生成数据表文件。
进一步，重建新数据表文件的索引，可采用Mysql表重新生成目标表的索引，包括：使用alter table tablename enable keys方式启用索引来重新创建丢失的索引。
本发明采用常用关联表字段关联缓存读取方式，在流内存中处理完毕后，采用Mysql本地文件读取的方式来直接写入表数据文件，屏蔽索引等外部条件，等数据交换完成后重建。针对大批量数据交换（千万级以上）在有限的硬件资源下，通过内存缓存和文本传输等处理方式后，比正常的数据库批量处理数据性能提高5-10倍的效率，从而通过内存和硬盘使用率来提高数据交换性能，节约硬件成本。
以上，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (6)

1.一种基于缓存和数据处理规则实现数据表更新的方法，其特征在于，包括：
利用流式读取方式，将源数据库中的待更新数据表读取至内存进行缓存；
根据所述内存中的变量表和所述待更新数据表，利用预设算法，对所述待更新数据表进行数据交换处理，获得目标数据表，并将所述目标数据表组成文本数据表；
利用Mysql，将所述文本数据表生成新数据表，并重建所述新数据表的索引；
内存中的变量表为字典表，将变量表与业务关联表进行关联，获取关联信息，通过关联信息获取关联路径，其中，关联信息包含表名、表字段、字段数据类型和字段关系；业务关联表为待更新数据表的相关新的数据表；根据变量表的关联信息，读取内存中待更新数据表中的替换字段值；根据业务关联表的数据，对替换字段值进行数据交换处理，获得目标数据表。
2.根据权利要求1所述的基于缓存和数据处理规则实现数据表更新的方法，其特征在于，所述利用流式读取方式，将源数据库中的待更新数据表读取至内存进行缓存，包括：
将源数据库与JDBC链接；
初始化PreparedStatement的类型为ResultSet.TYPE_FORWARD_ONLY和ResultSet.CONCUR_READ_ONLY；
设置FetchDirection属性为ResultSet.FETCH_REVERSE；
设置每次读取待更新数据表的数量，循环批量读取待更新数据表至内存中。
3.根据权利要求2所述的基于缓存和数据处理规则实现数据表更新的方法，其特征在于，所述设置每次读取待更新数据表的数量，包括：
通过FetchSize属性设置每次读取待更新数据表中的数据数量，其中，根据内存可配置的大小，确定每次读取待更新数据表中的数据数量。
4.一种基于缓存和数据处理规则实现数据表更新的系统，其特征在于，包括：
读取模块，利用流式读取方式，将源数据库中的待更新数据表读取至内存进行缓存；
数据交换模块，根据所述内存中的变量表和所述待更新数据表，利用预设算法，对所述待更新数据表进行数据交换处理，获得目标数据表，并将所述目标数据表组成文本数据表；
重建索引模块，利用Mysql，将所述文本数据表生成新数据表，并重建所述新数据表的索引；
内存中的变量表为字典表，将变量表与业务关联表进行关联，获取关联信息，通过关联信息获取关联路径，其中，关联信息包含表名、表字段、字段数据类型和字段关系；业务关联表为待更新数据表的相关新的数据表；根据变量表的关联信息，读取内存中待更新数据表中的替换字段值；根据业务关联表的数据，对替换字段值进行数据交换处理，获得目标数据表。
5.根据权利要求4所述的基于缓存和数据处理规则实现数据表更新的系统，其特征在于，所述读取模块包括：
链接单元，将源数据库与JDBC链接；
初始化单元，初始化PreparedStatement的类型为ResultSet.TYPE_FORWARD_ONLY和ResultSet.CONCUR_READ_ONLY；
属性单元，设置FetchDirection属性为ResultSet.FETCH_REVERSE；
读取单元，设置每次读取待更新数据表的数量，循环批量读取待更新数据表至内存中。
6.根据权利要求5所述的基于缓存和数据处理规则实现数据表更新的系统，其特征在于，所述读取单元通过FetchSize属性设置每次读取待更新数据表中的数据数量，其中，根据内存可配置的大小，确定每次读取待更新数据表中的数据数量。
CN202211146144.9A 2022-09-20 2022-09-20 基于缓存和数据处理规则实现数据表更新的方法和系统 Active CN115237927B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211146144.9A CN115237927B (zh) 2022-09-20 2022-09-20 基于缓存和数据处理规则实现数据表更新的方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211146144.9A CN115237927B (zh) 2022-09-20 2022-09-20 基于缓存和数据处理规则实现数据表更新的方法和系统

Publications (2)

Publication Number Publication Date
CN115237927A CN115237927A (zh) 2022-10-25
CN115237927B true CN115237927B (zh) 2022-11-29

Family

ID=83680635

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211146144.9A Active CN115237927B (zh) 2022-09-20 2022-09-20 基于缓存和数据处理规则实现数据表更新的方法和系统

Country Status (1)

Country Link
CN (1) CN115237927B (zh)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110019211A (zh) * 2017-11-27 2019-07-16 北京京东尚科信息技术有限公司 关联索引的方法、装置和系统

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107562851B (zh) * 2017-08-28 2020-10-23 北京奇艺世纪科技有限公司 一种数据的更新方法、装置及电子设备
CN107679104B (zh) * 2017-09-12 2020-11-24 杭州美创科技有限公司 大表流式并行高速数据比对方法
US11921683B2 (en) * 2020-06-08 2024-03-05 Paypal, Inc. Use of time to live value during database compaction

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110019211A (zh) * 2017-11-27 2019-07-16 北京京东尚科信息技术有限公司 关联索引的方法、装置和系统

Also Published As

Publication number Publication date
CN115237927A (zh) 2022-10-25

Similar Documents

Publication Publication Date Title
CN110321344B (zh) 关联数据的信息查询方法、装置、计算机设备及存储介质
US10210236B2 (en) Storing and retrieving data of a data cube
US10296497B2 (en) Storing a key value to a deleted row based on key range density
US9218394B2 (en) Reading rows from memory prior to reading rows from secondary storage
US20230409579A1 (en) Executing a query expression via a database system by processing a prior row index identifier
CN110196847A (zh) 数据处理方法和装置、存储介质及电子装置
US20140067823A1 (en) Textual Search for Numerical Properties
CN110096509A (zh) 大数据环境下实现历史数据拉链表存储建模处理的系统及方法
US9292549B2 (en) Method and system for index serialization
CN109144950B (zh) 业务数据的存储方法和装置
CN110569243A (zh) 一种数据查询方法、数据查询插件和数据查询服务器
Wang et al. Rencoder: A space-time efficient range filter with local encoder
US20130041887A1 (en) Adding entries to an index based on use of the index
US20070174329A1 (en) Presenting a reason why a secondary data structure associated with a database needs rebuilding
CN115237927B (zh) 基于缓存和数据处理规则实现数据表更新的方法和系统
CN116450660A (zh) 一种数据同步中主键冲突的处理方法及装置
CN116049193A (zh) 数据存储方法及装置
CN114547086B (zh) 数据处理方法、装置、设备及计算机可读存储介质
Li et al. SP-phoenix: a massive spatial point data management system based on phoenix
CN113868138A (zh) 测试数据的获取方法、系统、设备及存储介质
US20240104117A1 (en) Implementing differentiation in relational database systems
CN116975067B (zh) 无模式数据存储方法、装置、计算机设备及介质
CN111159218B (zh) 数据处理方法、装置及可读存储介质
US20230394017A1 (en) Systems and methods for column store indices
CN114064649A (zh) 基于MongoDB的数据存储方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant