CN109271394A - 一种基于id缓存的数据批量插入更新实现方法 - Google Patents
一种基于id缓存的数据批量插入更新实现方法 Download PDFInfo
- Publication number
- CN109271394A CN109271394A CN201810981661.5A CN201810981661A CN109271394A CN 109271394 A CN109271394 A CN 109271394A CN 201810981661 A CN201810981661 A CN 201810981661A CN 109271394 A CN109271394 A CN 109271394A
- Authority
- CN
- China
- Prior art keywords
- data
- batch
- cache
- updated
- update
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003780 insertion Methods 0.000 title claims abstract description 68
- 230000037431 insertion Effects 0.000 title claims abstract description 68
- 238000000034 method Methods 0.000 title claims abstract description 54
- 238000013500 data storage Methods 0.000 claims abstract description 56
- 238000001514 detection method Methods 0.000 claims abstract description 34
- 239000000523 sample Substances 0.000 claims description 3
- 238000000638 solvent extraction Methods 0.000 claims description 2
- 238000012545 processing Methods 0.000 abstract description 2
- 239000012556 adjustment buffer Substances 0.000 abstract 1
- 230000008569 process Effects 0.000 description 9
- 238000013461 design Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及数据处理技术领域，具体涉及一种基于ID缓存的数据批量插入更新实现方法，其中包括：根据ID缓存将待插入更新的批量数据分为批量插入的数据和批量更新的数据/探测试错数据两部分；根据划分结果，将两部分数据分别批量插入和批量更新到数据存储系统；缓存新插入数据的ID存至所述ID缓存，使所述ID缓存得到更新，以便用于下一次批量操作。本发明引进ID缓存，基于ID缓存将批量数据进行合理划分，并在每次批量操作完后缓存批量数据的ID，动态调整缓存结构用于下一次操作，减少了试错或查询性能开销的问题，提高批量插入更新的性能，尤其适用于连续多次批量数据的插入更新操作；对相邻的ID使用ID段来保存，减少了ID缓存的容量。
Description
【技术领域】
本发明涉及数据处理技术领域，具体涉及一种基于ID缓存的数据批量插入更新实现方法。
【背景技术】
插入(insert)和更新(update)是数据库提供的两种最基本的操作，无论是关系型数据库还是非关系型数据库，都支持这两种基本操作。批量数据的插入更新，指的是同时对多条数据做插入更新操作，具体为：向数据库中写入带唯一性ID的数据，若数据库中不存在相同ID的数据，则做插入数据操作；若存在相同ID的数据，则做更新数据操作，插入更新可简写为upsert。由此可知，哪些数据在数据库中是存在的，哪些数据在数据库中不存在，均是基于数据的ID进行判断，而这些信息在做批量插入更新时是不知道的，也就无法确定是进行插入还是进行更新操作。
目前，一种常用的批量插入更新方法如下：在原生插入操作和更新操作的基础上，要么先做批量插入，要么先做批量更新，若操作失败，则采用对单条数据(或仅针对返回结果中出错的数据)分别做试错性质的插入或更新操作；或者在批量插入操作失败之后，再做一次试探性的批量更新操作；或者在批量更新操作失败之后，再做一次试探性的批量插入操作，这种方法需经过多次探测性试错，存在多次试探的性能损失，甚至网络开销。
另一种常见的做法是用基于数据库提供的批量操作语言，设计一个比较复杂的存储过程来实现插入更新，实现过程基本上基于ID的查找，基本思路是对每条数据执行一次查询，将批量数据分成需要插入的数据和需要更新的数据后分别处理，这个过程是在数据库服务器端执行的，节省了数据多次提交的网络开销，但需要在数据库服务器内部对批量数据中的每条数据都执行一次查询操作，存在性能开销。
鉴于此，克服上述现有技术所存在的缺陷是本技术领域亟待解决的问题。
【发明内容】
本发明需要解决的技术问题是：
目前常用的批量数据插入更新方法中，存在性能问题或场景约束，比如需经过多次探测性试错，存在多次试探的性能损失甚至网络开销；或存在数据库服务器端对批量数据中的每条数据执行一次查询的性能开销。
本发明通过如下技术方案达到上述目的：
第一方面，本发明提供了一种基于ID缓存的数据批量插入更新实现方法，包括：
根据ID缓存将待插入更新的批量数据分为批量插入的数据和批量更新的数据两部分；
根据划分结果，将两部分数据分别批量插入和批量更新到数据存储系统；
缓存新插入数据的ID存至所述ID缓存，使所述ID缓存得到更新，以便用于下一次批量操作。
优选的，所述ID缓存中存储有孤立的ID以及由相邻连续的ID组成的ID段；其中，对于所述ID段，仅保存其首位ID与末位ID。
优选的，在所述根据ID缓存将待插入更新的批量数据分为批量插入的数据和批量更新的数据两部分之前，所述方法还包括：首次进行批量数据的操作前，对数据库做一次查询，缓存数据库中当前已存在数据的ID，得到初始化的ID缓存。
优选的，在所述缓存新插入数据的ID存至所述ID缓存，使所述ID缓存得到更新之后，所述方法还包括：根据更新后的所述ID缓存中各ID之间的相邻性质，将相邻连续的ID重组成ID段；其中，对于所述ID段，仅保存其首位ID与末位ID。
第二方面，本发明还提供了另一种基于ID缓存的数据批量插入更新实现方法，包括：
根据ID缓存将待插入更新的批量数据分为批量更新的数据和探测试错数据两部分；
根据划分结果，将批量更新的数据部分批量更新到数据存储系统，将探测试错数据部分进行探测性质的试错批量插入更新；
缓存批量数据的ID存至所述ID缓存，使所述ID缓存得到更新，以便用于下一次批量操作。
优选的，在所述根据ID缓存将待插入更新的批量数据分为批量更新的数据和探测试错数据两部分之前，所述方法还包括：
首次进行批量数据的操作时，将待插入更新的批量数据进行探测性质的试错批量插入更新，进而完成到数据存储系统的操作；
缓存首次操作时批量数据的ID，得到初始的ID缓存。
优选的，所述将待插入更新的批量数据进行探测性质的试错批量插入更新，进而完成到数据存储系统的操作，具体为：
将待插入更新的批量数据批量插入到所述数据存储系统，若存在错误，则将操作错误的数据再批量更新到所述数据存储系统；或者，
将待插入更新的批量数据批量更新到所述数据存储系统，若存在错误，则将操作错误的数据再批量插入到所述数据存储系统。
优选的，所述根据划分结果，将批量更新的数据部分批量更新到数据存储系统，将探测试错数据部分进行探测性质的试错批量插入更新，具体为：
将批量更新的数据部分批量更新到所述数据存储系统；
将探测试错数据部分先批量插入到所述数据存储系统，若存在错误，则再将操作错误的数据批量更新到所述数据存储系统；或者，将探测试错数据部分先批量更新到所述数据存储系统，若存在错误，则再将操作错误的数据批量插入到所述数据存储系统。
优选的，所述ID缓存中存储有孤立的ID以及由相邻连续的ID组成的ID段；其中，对于所述ID段，仅保存其首位ID与末位ID。
优选的，在所述缓存批量数据的ID存至所述ID缓存，使所述ID缓存得到更新，所述方法还包括：根据更新后的所述ID缓存中各ID之间的相邻性质，将相邻连续的ID重组成ID段；其中，对于所述ID段，仅保存其首位ID与末位ID。
本发明的有益效果是：
本发明提供的一种基于ID缓存的数据批量插入更新实现方法中，引进ID缓存，基于ID缓存对批量数据进行合理划分并执行相应的操作，在每次批量操作完后缓存批量数据的ID，进而动态调整ID缓存结构用于下一次操作，减少了常用做法中的试错或查询性能开销的问题，提高批量插入更新的性能，尤其适用于连续多次批量数据的插入更新操作的应用场景；同时，对相邻的ID使用ID段来保存，减少了ID缓存的容量。
【附图说明】
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单地介绍。显而易见地，下面所描述的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种基于ID缓存的数据批量插入更新实现方法的流程图；
图2为本发明实施例提供的一种基于ID缓存的数据批量插入更新实现方法中的数据流示意图；
图3为本发明实施例提供的一种ID缓存结构的示意图；
图4为本发明实施例提供的另一种基于ID缓存的数据批量插入更新实现方法的流程图；
图5为本发明实施例提供的一种基于ID缓存的数据批量插入更新实现系统的结构组成图。
【具体实施方式】
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。下面就参考附图和实施例结合来详细说明本发明。
实施例1：
本发明提供了一种基于ID缓存的数据批量插入更新实现方法，尤其适用于连续多次批量数据的插入更新操作的应用场景，如图1所示，具体包括以下步骤：
步骤201，根据ID缓存将待插入更新的批量数据分为批量插入的数据和批量更新的数据两部分。
本发明引入ID缓存，所述ID缓存用于保存数据唯一性ID的缓存，记为ID Cache。其中，在首次进行批量数据的插入更新前需进行ID缓存的初始化，具体为：初始时对数据库做一次查询，缓存数据库中当前已存在数据的ID，得到初始化的ID缓存。参考图2，也就是在首次批量操作前，先对数据存储系统中的现有数据的ID进行缓存，此时得到的ID缓存即为初始的ID缓存。随后即可根据得到的ID缓存对数据进行合理划分，如图2：对于待插入更新的批量数据，若批量数据对应的ID在所述ID缓存中不存在，则当前数据存储系统中没有这部分数据，因此将对应的批量数据划分为批量插入的数据；若批量数据对应的ID在所述ID缓存中存在，则当前数据存储系统中已有这部分数据，因此将对应的批量数据划分为批量更新的数据。比如，当前数据存储系统中已存在id1和id2对应的数据，则所述ID缓存中也已经缓存，因此将批量数据中id1和id2对应的数据划分为批量更新的数据；而当前数据存储系统中不存在id7和id8对应的数据，所述ID缓存中也无缓存，因此将批量数据中id7和id8对应的数据划分为批量插入的数据。
步骤202，根据划分结果，将两部分数据分别批量插入和批量更新到数据存储系统。所述步骤201中的数据划分结果为本步骤的数据批量操作提供了依据，可直接将批量插入的数据部分批量插入到所述数据存储系统，将批量更新的数据部分批量更新到所述数据存储系统。通过ID划分并执行对应操作，避免了多次试探的性能损失甚至网络开销。
步骤203，缓存新插入数据的ID存至所述ID缓存，使所述ID缓存得到更新，以便用于下一次批量操作。按照所述步骤202批量操作完成后，对于批量更新的数据来说，对应的ID已经存在于ID缓存中，而对于批量插入的数据来说，现有ID缓存中并没有这部分数据对应的ID。因此，每次进行批量插入更新后，都将此次新插入数据的ID存至所述ID缓存，进而使ID缓存得到更新，完整记录当前数据存储系统中的数据ID，以便在下一次批量操作时进行批量数据的合理划分。
本发明提供的一种基于ID缓存的数据批量插入更新实现方法中，引进ID缓存，提前缓存数据库中已存在数据的所有ID，基于ID缓存将批量数据划分为批量插入部分和批量更新部分，并在每次批量操作完后缓存新插入数据的ID，进而更新ID缓存用于下一次操作，避免多次试错带来的性能损失以及网络开销，提高批量插入更新的性能，尤其适用于连续多次批量数据的插入更新操作的应用场景。
结合本发明实施例还存在一种优选的实现方案，所述ID缓存中存储有孤立的ID以及由相邻连续的ID组成的ID段；其中，对于所述ID段，仅保存其首位ID与末位ID。由于在运行过程中会缓存大量的唯一性ID，可能会导致ID缓存膨胀，为了减轻这个问题，对ID的设计增加约束，使得ID除了最基本的全局唯一性外，还要有“相邻”的性质，则所述ID缓存中除了保存孤立的ID外，对相邻的ID使用ID段来保存，也就是说对于连续的ID集，只保存首位和末位，从而减少ID缓存的容量。比如图3提供的ID缓存中，id1、id3和id100均为孤立的ID，id3和id100之间的id段表示id4-id99之间的所有ID，相较于保存id4-id99之间所有孤立的ID，通过这种ID保存方式大大减小了ID缓存的容量，避免了ID缓存膨胀的问题。
在上述优选方案中，执行上述步骤203时还需对ID缓存结构进行动态重组：根据更新后的所述ID缓存中各ID之间的相邻性质，将相邻连续的ID重组成ID段；其中，对于所述ID段，仅保存其首位ID与末位ID。在所述步骤203中，每次将新插入数据的ID缓存使所述ID缓存得到更新后，ID之间的相邻性质也会不可避免地发生变化，则每次均根据更新后的相邻关系对ID缓存做进一步动态调整，将相邻的ID重新组织成ID段，减小ID缓存的容量。比如，原ID缓存中存在孤立的id1、id3和id6，如果新插入id2、id4和id5并缓存，则更新后的ID缓存中存在id1、id2、id3、id4、id5和id6，此时可将id1和id6间的所有id构成id段。
实施例2：
本发明还提供了另一种基于ID缓存的数据批量插入更新实现方法，尤其适用于连续多次批量数据的插入更新操作的应用场景，同样是基于ID缓存进行批量操作，与实施例1的主要区别在于ID缓存的初始化不同：实施例1中通过首次批量操作前对缓存数据库中已有数据的ID得到初始的ID缓存，考虑到初始时对数据库查询可能需要一定耗时，实施例2跳过初始查询的过程，通过探测性质的试错批量插入更新后缓存数据的ID，得到初始的ID缓存。
如图4所示，具体包括以下步骤：
步骤301，根据ID缓存将待插入更新的批量数据分为批量更新的数据和探测试错数据两部分。
其中，ID缓存的初始化过程具体为：在首次进行批量数据的操作时，将待插入更新的批量数据进行探测性质的试错批量插入更新，进而完成到数据存储系统的操作；批量操作完成后缓存首次批量数据的ID，得到初始的ID缓存。在下一次批量操作时，即可根据ID缓存对数据进行合理划分：对于待插入更新的批量数据，若批量数据对应的ID在所述ID缓存中存在，则当前数据存储系统中已有这部分数据，因此将对应的批量数据划分为批量更新的数据；若批量数据对应的ID在所述ID缓存中不存在，则无法确定数据存储系统中是否有这部分数据，因此将对应的批量数据划分为探测试错数据。
步骤302，根据划分结果，将批量更新的数据部分批量更新到数据存储系统，将探测试错数据部分进行探测性质的试错批量插入更新。其中，对于探测试错数据由于无法确定数据存储系统中是否有这部分数据，具体操作过程如下：将探测试错数据部分先批量插入到所述数据存储系统，若存在错误，则再将操作错误的数据批量更新到所述数据存储系统；或者，将探测试错数据部分先批量更新到所述数据存储系统，若存在错误，则再将操作错误的数据批量插入到所述数据存储系统。对于批量更新的数据部分可直接操作而无需进行试错，大大减少了试错次数。
步骤303，缓存批量数据的ID存至所述ID缓存，使所述ID缓存得到更新，以便用于下一次批量操作。按照所述步骤202批量操作完成后，对于批量更新的数据来说，对应的ID已经存在于ID缓存中，而对于探测试错数据来说，现有ID缓存中并没有这部分数据对应的ID。因此，每次进行探测性质的试错批量插入更新后，缓存此次探测试错数据部分的ID至所述ID缓存，进而使ID缓存得到更新，用于下一次的操作。如此一来，多次运行后可以得到大量已存在数据的ID，后续操作中试错的次数也大大减少。
本发明提供的一种基于ID缓存的数据批量插入更新实现方法中，首次操作仍基于探测性质的试错批量操作，每次试错批量插入更新后，缓存批量数据的ID得到ID缓存用于下一次的操作，长时间运行后可得到大量已存在数据的ID，则在下次操作时可根据ID对批量数据进行合理划分，减少了后续批量操作中的试错次数以及查询次数，提高批量插入更新的性能，尤其适用于连续多次批量数据的插入更新操作的应用场景。
其中，在ID缓存初始化时，所述将待插入更新的批量数据进行探测性质的试错批量插入更新，进而完成到数据存储系统的操作，具体为：将待插入更新的批量数据批量插入到所述数据存储系统，若存在错误，则将操作错误的数据再批量更新到所述数据存储系统；或者，将待插入更新的批量数据批量更新到所述数据存储系统，若存在错误，则将操作错误的数据再批量插入到所述数据存储系统。
结合本发明实施例还存在一种优选的实现方案，所述ID缓存中存储有孤立的ID以及由相邻连续的ID组成的ID段；其中，对于所述ID段，仅保存其首位ID与末位ID。由于在运行过程中会缓存大量的唯一性ID，可能会导致ID缓存膨胀，为了减轻这个问题，对ID的设计增加约束，使得ID除了最基本的全局唯一性外，还要有“相邻”的性质，具体可参考图3及实施例1的相关介绍，此处不再赘述。
在上述优选方案中，执行上述步骤303时还需对ID缓存结构进行动态重组：根据更新后的所述ID缓存中各ID之间的相邻性质，将相邻连续的ID重组成ID段；其中，对于所述ID段，仅保存其首位ID与末位ID。在所述步骤303中，每次更新所述ID缓存后ID之间的相邻性质也会不可避免地发生变化，则每次均根据更新后的相邻关系对ID缓存做进一步动态调整，将相邻的ID重新组织成ID段，减小ID缓存的容量。具体可参考实施例1的相关举例，此处不再赘述。
实施例3：
在上述实施例1和实施例2的基础上，本发明提供了一种基于ID缓存的数据批量插入更新实现系统，用于实现实施例1或实施例2所述的基于ID缓存的数据批量插入更新实现方法，如图5所示，所述系统包括ID缓存初始化模块1、数据划分模块2、批量操作模块3以及ID缓存更新模块4。
其中，所述ID缓存初始化模块1用于在首次进行批量数据的插入更新前对数据库做一次查询，缓存数据库中当前已存在数据的ID，得到初始化的ID缓存；
所述数据划分模块2用于根据ID缓存将待插入更新的批量数据分为批量插入的数据和批量更新的数据两部分；
所述批量操作模块3用于根据划分结果，将两部分数据分别批量插入和批量更新到数据存储系统；
所述ID缓存更新模块4用于缓存新插入数据的ID存至所述ID缓存，使所述ID缓存得到更新，以便用于下一次批量操作。
其中，上述各模块的具体功能实现可参考实施例1，此处不再赘述。
或者，所述ID缓存初始化模块1用于在首次进行批量数据的操作时，将待插入更新的批量数据进行探测性质的试错批量插入更新，完成到数据存储系统的操作；进而缓存首次批量数据的ID，得到初始的ID缓存；
所述数据划分模块2用于根据ID缓存将待插入更新的批量数据分为批量更新的数据和探测试错数据两部分；
所述批量操作模块3用于根据划分结果，将批量更新的数据部分批量更新到数据存储系统，将探测试错数据部分进行探测性质的试错批量插入更新；
所述ID缓存更新模块4用于缓存批量数据的ID存至所述ID缓存，使所述ID缓存得到更新，以便用于下一次批量操作。
其中，各模块的具体功能实现可参考实施例2，此处不再赘述。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于ID缓存的数据批量插入更新实现方法，其特征在于，包括：
根据ID缓存将待插入更新的批量数据分为批量插入的数据和批量更新的数据两部分；
根据划分结果，将两部分数据分别批量插入和批量更新到数据存储系统；
缓存新插入数据的ID存至所述ID缓存，使所述ID缓存得到更新，以便用于下一次批量操作。
2.根据权利要求1所述的基于ID缓存的数据批量插入更新实现方法，其特征在于，所述ID缓存中存储有孤立的ID以及由相邻连续的ID组成的ID段；其中，对于所述ID段，仅保存其首位ID与末位ID。
3.根据权利要求1所述的基于ID缓存的数据批量插入更新实现方法，其特征在于，在所述根据ID缓存将待插入更新的批量数据分为批量插入的数据和批量更新的数据两部分之前，所述方法还包括：首次进行批量数据的操作前，对数据库做一次查询，缓存数据库中当前已存在数据的ID，得到初始化的ID缓存。
4.根据权利要求1所述的基于ID缓存的数据批量插入更新实现方法，其特征在于，在所述缓存新插入数据的ID存至所述ID缓存，使所述ID缓存得到更新之后，所述方法还包括：根据更新后的所述ID缓存中各ID之间的相邻性质，将相邻连续的ID重组成ID段；其中，对于所述ID段，仅保存其首位ID与末位ID。
5.一种基于ID缓存的数据批量插入更新实现方法，其特征在于，包括：
根据ID缓存将待插入更新的批量数据分为批量更新的数据和探测试错数据两部分；
根据划分结果，将批量更新的数据部分批量更新到数据存储系统，将探测试错数据部分进行探测性质的试错批量插入更新；
缓存批量数据的ID存至所述ID缓存，使所述ID缓存得到更新，以便用于下一次批量操作。
6.根据权利要求5所述的基于ID缓存的数据批量插入更新实现方法，其特征在于，在所述根据ID缓存将待插入更新的批量数据分为批量更新的数据和探测试错数据两部分之前，所述方法还包括：
首次进行批量数据的操作时，将待插入更新的批量数据进行探测性质的试错批量插入更新，进而完成到数据存储系统的操作；
缓存首次操作时批量数据的ID，得到初始的ID缓存。
7.根据权利要求6所述的基于ID缓存的数据批量插入更新实现方法，其特征在于，所述将待插入更新的批量数据进行探测性质的试错批量插入更新，进而完成到数据存储系统的操作，具体为：
将待插入更新的批量数据批量插入到所述数据存储系统，若存在错误，则将操作错误的数据再批量更新到所述数据存储系统；或者，
将待插入更新的批量数据批量更新到所述数据存储系统，若存在错误，则将操作错误的数据再批量插入到所述数据存储系统。
8.根据权利要求5所述的基于ID缓存的数据批量插入更新实现方法，其特征在于，所述根据划分结果，将批量更新的数据部分批量更新到数据存储系统，将探测试错数据部分进行探测性质的试错批量插入更新，具体为：
将批量更新的数据部分批量更新到所述数据存储系统；
将探测试错数据部分先批量插入到所述数据存储系统，若存在错误，则再将操作错误的数据批量更新到所述数据存储系统；或者，将探测试错数据部分先批量更新到所述数据存储系统，若存在错误，则再将操作错误的数据批量插入到所述数据存储系统。
9.根据权利要求5所述的基于ID缓存的数据批量插入更新实现方法，其特征在于，所述ID缓存中存储有孤立的ID以及由相邻连续的ID组成的ID段；其中，对于所述ID段，仅保存其首位ID与末位ID。
10.根据权利要求1所述的基于ID缓存的数据批量插入更新实现方法，其特征在于，在所述缓存批量数据的ID存至所述ID缓存，使所述ID缓存得到更新，所述方法还包括：根据更新后的所述ID缓存中各ID之间的相邻性质，将相邻连续的ID重组成ID段；其中，对于所述ID段，仅保存其首位ID与末位ID。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810981661.5A CN109271394B (zh) | 2018-08-27 | 2018-08-27 | 一种基于id缓存的数据批量插入更新实现方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810981661.5A CN109271394B (zh) | 2018-08-27 | 2018-08-27 | 一种基于id缓存的数据批量插入更新实现方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109271394A true CN109271394A (zh) | 2019-01-25 |
| CN109271394B CN109271394B (zh) | 2021-05-07 |
Family
ID=65154323
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810981661.5A Active CN109271394B (zh) | 2018-08-27 | 2018-08-27 | 一种基于id缓存的数据批量插入更新实现方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109271394B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109933609A (zh) * | 2019-01-30 | 2019-06-25 | 福建天泉教育科技有限公司 | 一种批量生成id的方法及终端 |
| CN110287715A (zh) * | 2019-06-25 | 2019-09-27 | 江苏恒宝智能系统技术有限公司 | 一种缓存数据安全管理系统 |
| CN112231329A (zh) * | 2020-10-14 | 2021-01-15 | 北京人大金仓信息技术股份有限公司 | 向数据库插入数据的方法、装置、设备和可读存储介质 |
| CN113407509A (zh) * | 2021-07-17 | 2021-09-17 | 广州汇思信息科技股份有限公司 | 一种数据的压缩方法、装置、计算机设备和存储介质 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20050050083A1 (en) * | 2003-08-25 | 2005-03-03 | International Business Machines Corporation | Method, system, and article of manufacture for processing updates to insert operations |
| CN101662385A (zh) * | 2009-09-27 | 2010-03-03 | 杭州华三通信技术有限公司 | 一种显示接口信息的方法和装置 |
| CN101814090A (zh) * | 2010-03-22 | 2010-08-25 | 深圳市芯朗金能源技术有限公司 | 一种关系数据库的大批量数据插入方法 |
| CN102622415A (zh) * | 2012-02-20 | 2012-08-01 | 南方电网科学研究院有限责任公司 | 一种用于多平台的电能质量监测数据同步传输方法 |
| CN103838787A (zh) * | 2012-11-27 | 2014-06-04 | 阿里巴巴集团控股有限公司 | 一种对分布式数据仓库进行更新的方法和设备 |
| CN103853727A (zh) * | 2012-11-29 | 2014-06-11 | 深圳中兴力维技术有限公司 | 提高大数据量查询性能的方法及系统 |
| CN106407321A (zh) * | 2016-08-31 | 2017-02-15 | 东软集团股份有限公司 | 同步数据的方法及装置 |
-
2018
- 2018-08-27 CN CN201810981661.5A patent/CN109271394B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20050050083A1 (en) * | 2003-08-25 | 2005-03-03 | International Business Machines Corporation | Method, system, and article of manufacture for processing updates to insert operations |
| CN101662385A (zh) * | 2009-09-27 | 2010-03-03 | 杭州华三通信技术有限公司 | 一种显示接口信息的方法和装置 |
| CN101814090A (zh) * | 2010-03-22 | 2010-08-25 | 深圳市芯朗金能源技术有限公司 | 一种关系数据库的大批量数据插入方法 |
| CN102622415A (zh) * | 2012-02-20 | 2012-08-01 | 南方电网科学研究院有限责任公司 | 一种用于多平台的电能质量监测数据同步传输方法 |
| CN103838787A (zh) * | 2012-11-27 | 2014-06-04 | 阿里巴巴集团控股有限公司 | 一种对分布式数据仓库进行更新的方法和设备 |
| CN103853727A (zh) * | 2012-11-29 | 2014-06-11 | 深圳中兴力维技术有限公司 | 提高大数据量查询性能的方法及系统 |
| CN106407321A (zh) * | 2016-08-31 | 2017-02-15 | 东软集团股份有限公司 | 同步数据的方法及装置 |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109933609A (zh) * | 2019-01-30 | 2019-06-25 | 福建天泉教育科技有限公司 | 一种批量生成id的方法及终端 |
| CN110287715A (zh) * | 2019-06-25 | 2019-09-27 | 江苏恒宝智能系统技术有限公司 | 一种缓存数据安全管理系统 |
| CN110287715B (zh) * | 2019-06-25 | 2022-04-08 | 恒宝股份有限公司 | 一种缓存数据安全管理系统 |
| CN112231329A (zh) * | 2020-10-14 | 2021-01-15 | 北京人大金仓信息技术股份有限公司 | 向数据库插入数据的方法、装置、设备和可读存储介质 |
| CN112231329B (zh) * | 2020-10-14 | 2024-04-26 | 北京人大金仓信息技术股份有限公司 | 向数据库插入数据的方法、装置、设备和可读存储介质 |
| CN113407509A (zh) * | 2021-07-17 | 2021-09-17 | 广州汇思信息科技股份有限公司 | 一种数据的压缩方法、装置、计算机设备和存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109271394B (zh) | 2021-05-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109271394B (zh) | 一种基于id缓存的数据批量插入更新实现方法 | |
| US20200272610A1 (en) | Method, apparatus, device and medium for storing and querying data | |
| CN106934048A (zh) | 数据在线迁移方法、代理节点 | |
| US20220374407A1 (en) | Multi-tenant partitioning in a time-series database | |
| US6480849B1 (en) | Efficient concurrency control method for high dimensional index structures | |
| KR20200097050A (ko) | 인덱스 관리 방법 | |
| CN107391600A (zh) | 用于在内存中存取时序数据的方法和装置 | |
| CN107239549A (zh) | 数据库术语检索的方法、装置及终端 | |
| CN106775498A (zh) | 一种缓存数据同步方法及系统 | |
| CN108427736A (zh) | 一种用于查询数据的方法 | |
| CN107239485A (zh) | 数据库操作方法、装置及系统 | |
| CN113297203B (zh) | 数据查询和写入方法和装置，计算机存储介质和电子设备 | |
| CN101256579A (zh) | 一种数据库范围查询数据组织的方法 | |
| CN102187642A (zh) | 在哈希表中添加、查找或删除键值的方法及装置 | |
| CN115587114A (zh) | 系统以及查询方法 | |
| CN107016075A (zh) | 集群数据同步方法及装置 | |
| CN104301990A (zh) | 一种数据同步的方法及装置 | |
| CN111666344A (zh) | 异构数据同步方法及装置 | |
| CN106302178B (zh) | 一种路由查询方法及装置 | |
| CN113779154A (zh) | 一种分布式学习索引模型的构建方法及应用 | |
| CN106775437B (zh) | 数据同步方法及装置 | |
| CN105045848B (zh) | 一种支持布尔表达式查询的数据库管理系统 | |
| CN112395213A (zh) | 一种基于内存面向热点数据的aceh索引结构及方法 | |
| CN114840561B (zh) | 一种基于数组索引的外键引用和连接查询的实现方法、装置、设备及存储介质 | |
| CN113722297A (zh) | 一种订单系统重构平滑迁移方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CB03 | Change of inventor or designer information | ||
| CB03 | Change of inventor or designer information |
Inventor after: Yuan Songbiao Inventor after: Mei Gang Inventor before: Yuan Songbiao Inventor before: Fu Quan Inventor before: Mei Gang |
|
| CP01 | Change in the name or title of a patent holder | ||
| CP01 | Change in the name or title of a patent holder |
Address after: 430000 16-19 / F, building C3, future technology building, 999 Gaoxin Avenue, Donghu New Technology Development Zone, Wuhan, Hubei Province Patentee after: Wuhan dream database Co.,Ltd. Address before: 430000 16-19 / F, building C3, future technology building, 999 Gaoxin Avenue, Donghu New Technology Development Zone, Wuhan, Hubei Province Patentee before: WUHAN DAMENG DATABASE Co.,Ltd. |
|
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20220902 Address after: 430073 16-19 / F, building C3, future science and technology building, 999 Gaoxin Avenue, Donghu New Technology Development Zone, Wuhan City, Hubei Province Patentee after: Wuhan dream database Co.,Ltd. Patentee after: HUAZHONG University OF SCIENCE AND TECHNOLOGY Address before: 430000 16-19 / F, building C3, future technology building, 999 Gaoxin Avenue, Donghu New Technology Development Zone, Wuhan, Hubei Province Patentee before: Wuhan dream database Co.,Ltd. |
|
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20230802 Address after: 16-19/F, Building C3, Future Science and Technology Building, No. 999 Gaoxin Avenue, Donghu New Technology Development Zone, Wuhan City, Hubei Province, 430206 Patentee after: Wuhan dream database Co.,Ltd. Address before: 430073 16-19 / F, building C3, future science and technology building, 999 Gaoxin Avenue, Donghu New Technology Development Zone, Wuhan City, Hubei Province Patentee before: Wuhan dream database Co.,Ltd. Patentee before: HUAZHONG University OF SCIENCE AND TECHNOLOGY |