CN114327280A - 一种基于冷热分离存储的消息存储方法及系统 - Google Patents
一种基于冷热分离存储的消息存储方法及系统 Download PDFInfo
- Publication number
- CN114327280A CN114327280A CN202111645989.8A CN202111645989A CN114327280A CN 114327280 A CN114327280 A CN 114327280A CN 202111645989 A CN202111645989 A CN 202111645989A CN 114327280 A CN114327280 A CN 114327280A
- Authority
- CN
- China
- Prior art keywords
- message
- write request
- data
- queue
- write
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003860 storage Methods 0.000 title claims abstract description 90
- 238000000034 method Methods 0.000 title claims abstract description 45
- 238000000926 separation method Methods 0.000 title claims abstract description 30
- 230000002776 aggregation Effects 0.000 claims abstract description 33
- 238000004220 aggregation Methods 0.000 claims abstract description 33
- 239000007787 solid Substances 0.000 claims abstract description 30
- 230000004931 aggregating effect Effects 0.000 claims abstract description 6
- 238000004590 computer program Methods 0.000 claims description 15
- 230000001680 brushing effect Effects 0.000 claims description 7
- 238000011010 flushing procedure Methods 0.000 claims description 2
- 230000002085 persistent effect Effects 0.000 abstract description 4
- 230000003321 amplification Effects 0.000 abstract description 3
- 238000003199 nucleic acid amplification method Methods 0.000 abstract description 3
- 230000009467 reduction Effects 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 12
- 230000008569 process Effects 0.000 description 12
- 230000006870 function Effects 0.000 description 5
- 230000009286 beneficial effect Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000005429 filling process Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001172 regenerating effect Effects 0.000 description 1
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Memory System Of A Hierarchy Structure (AREA)
Abstract
本发明提供了一种基于冷热分离存储的消息存储方法及系统，包括：获取多个写线程发起的多个写请求消息，得到请求队列；根据请求队列中的多个写请求对象进行聚合得到聚合队列；从所述聚合队列中获取批量的写请求对象数据存入到缓冲区；将缓冲区的消息数据先写入到固态硬盘，然后再写入到机械硬盘中，之后更新消息数据的索引数据，记录下消息数据在固态硬盘中保存的位置，完成消息存储；本发明通过固态硬盘和机械硬盘进行冷热存储，实现了消息队列持久化存储容量的扩增和成本的降低；对于机械硬盘和固态硬盘的读取和写入时，使用聚合线程对于写请求进行聚合，以及4K填充，能够提高读写性能。
Description
技术领域
本发明属于消息存储技术领域，具体涉及一种基于冷热分离存储的消息存储方法及系统。
背景技术
本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。
消息队列是一种数据处理系统中常见的中间组件。它可以将很多请求临时存储下来，等待其他程序使用这些请求。
消息队列如果使用SSD固态硬盘保存消息，则保存的消息数量收到固态硬盘容量的限制。而如果使用HDD机械硬盘来保存消息，则由于机械硬盘速度较慢，随机读写性能较差等原因，导致消息队列系统的整体性能都会降低。
大多数消息队列的请求和处理都近乎实时，即刚刚发起请求，另一个程序就要处理请求，仅有部分程序可能需要历史消息，因此对于实时消息，最好使用固态硬盘作为存储介质；而对于历史消息，最好使用机械硬盘作为存储介质，因此单一的存储介质(即仅用机械硬盘或者仅用固态硬盘)很难同时满足既需要实时消息又需要历史消息的需求。
目前主要是采用更大的固态硬盘以增加磁盘持久化容量，这会提高存储的成本。如果使用大容量的机械硬盘，固然能够提高持久化的容量，但是由于机械硬盘的读写性能有限，因此如果同时读写消息队列中的历史消息和实时数据时，机械硬盘的速度会明显降低，甚至导致整个系统的延时增大。
发明内容
为了解决上述问题，本发明提出了一种基于冷热分离存储的消息存储方法及系统，本发明通过固态硬盘和机械硬盘进行冷热存储，实现了消息队列持久化存储容量的扩增和成本的降低；对于机械硬盘和固态硬盘的读取和写入时，使用聚合线程对于写请求进行聚合，以及4K填充，能够提高读写性能。
根据一些实施例，本发明的第一方案提供了一种基于冷热分离存储的消息存储方法，采用如下技术方案：
一种基于冷热分离存储的消息存储方法，包括：
获取多个写线程发起的多个写请求消息，得到请求队列；
根据请求队列中的多个写请求对象进行聚合得到聚合队列；
从所述聚合队列中获取批量的写请求对象数据存入到缓冲区；
将缓冲区的消息数据先写入到固态硬盘，然后再写入到机械硬盘中，之后更新消息数据的索引数据，记录下消息数据在固态硬盘中保存的位置，完成消息存储。
根据一些实施例，本发明的第二方案提供了一种基于冷热分离存储的消息存储系统，采用如下技术方案：
一种基于冷热分离存储的消息存储系统，包括：
写请求获取模块，被配置为获取多个写线程发起的多个写请求消息，得到请求队列；
聚合队列构建模块，被配置为根据请求队列中的多个写请求对象进行聚合得到聚合队列；
缓存写入模块，被配置为从所述聚合队列中获取批量的写请求对象数据存入到缓冲区；
消息数据写入模块，被配置为将缓冲区的消息数据先写入到固态硬盘，然后再写入到机械硬盘中，之后更新消息数据的索引数据，记录下消息数据在固态硬盘中保存的位置，完成消息存储。
根据一些实施例，本发明的第三方案提供了一种计算机可读存储介质。
一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述第一个方面所述的一种基于冷热分离存储的消息存储方法中的步骤。
根据一些实施例，本发明的第四方案提供了一种计算机设备。
一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述第一个方面所述的一种基于冷热分离存储的消息存储方法中的步骤。
与现有技术相比，本发明的有益效果为：
1.本发明通过固态硬盘和机械硬盘进行冷热存储，实现了消息队列持久化存储容量的扩增和成本的降低；对于机械硬盘和固态硬盘的读取和写入时，使用聚合线程对于写请求进行聚合，以及4K填充，能够提高读写性能和减少写入次数。
2.对于消息队列的写入请求，使用队列进行聚合，将多个消息聚合为一个，并将数据进行4K填充；将固态硬盘SSD缓存磁盘按照写入线程数量进行平分，每个写入线程在缓存文件中进行循环写入，写满之后，清空缓存索引，重新生成索引。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
图1是本发明实施例一所述的基于冷热分离存储的消息存储方法的整体处理流程图；
图2是本发明实施例一所述的基于冷热分离存储的消息存储方法的写入缓冲区过程示意图；
图3是本发明实施例一所述的基于冷热分离存储的消息存储方法中循环写入缓冲区和更新索引过程示意图；
图4是本发明实施例一所述的基于冷热分离存储的消息存储方法的缓冲区字节填充过程示意图。
具体实施方式
下面结合附图与实施例对本发明作进一步说明。
应该指出，以下详细说明都是例示性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
实施例一
如图1所示，本实施例提供了一种基于冷热分离存储的消息存储方法，本实施例以该方法应用于服务器进行举例说明，可以理解的是，该方法也可以应用于终端，还可以应用于包括终端和服务器和系统，并通过终端和服务器的交互实现。服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务器、云通信、中间件服务、域名服务、安全服务CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。终端可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等，但并不局限于此。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接，本发明在此不做限制。本实施例中，该方法包括以下步骤：
获取多个写线程发起的多个写请求消息，得到请求队列；
根据请求队列中的多个写请求对象进行聚合得到聚合队列；
从所述聚合队列中获取批量的写请求对象数据存入到缓冲区；
将缓冲区的消息数据先写入到固态硬盘，然后再写入到机械硬盘中，之后更新消息数据的索引数据，记录下消息数据在固态硬盘中保存的位置，完成消息存储。
具体地，所述获取多个写线程发起的多个写请求消息，得到请求队列，包括：
将写请求包装为请求对象添加到请求队列中，
得到最终的请求队列。
所述根据请求队列中的多个写请求对象进行聚合得到聚合队列，包括：
启动聚合线程，不断轮询从请求队列中获取写请求对象；
当获取的写请求对象的数量达到设定阈值后，将批量的写请求数据添加到聚合队列中。
其中，对于写入请求，根据写入请求得到它的写入位置，将写请求的数据和实际写入位置封装成一个新的对象，然后添加到请求队列中。
请求对象的数量设置阈值是根据消息队列系统中的实时性提前设置的。
如果设置的阈值比较大，就表示更多的写请求达到之后，才会一起写入，这样消息队列的实时性就更低，但是会降低写入次数，提高写入效率；如果设置的阈值小，就表示少量的写请求就会写入磁盘，这样消息队列的实时性就高，但是会提高写入次数，降低写入效率；
最终的阈值要根据需要的消息队列实时性和写入效率进行均衡，选择一个满足使用场景的值。
具体地，从所述聚合队列中获取批量的写请求对象数据存入到缓冲区，包括：
启动多个刷盘线程，从所述聚合队列中取出批量的写请求对象；
将所述批量的写请求对象中的数据存入到缓冲区；
其中，当所述批量的写请求对象的字节长度小于缓冲区的字节长度时，对缓冲区尾部进行字节填充。
当所属批量的写请求对象的字节长度不能够被4096整除时(简称4K对齐)，对缓存区尾部进行字节填充，以满足磁盘4K对齐，有利于提高写入硬盘的性能。
具体地，在启动多个所述刷盘线程时，对所述刷盘线程进行初始化配置，即配置刷盘线程数以及缓存容量大小。
总的缓存容量就是固态盘的容量，每个刷盘线程的缓存容量是通过“缓存磁盘总容量/线程数”计算得到；举例说明：如果缓存盘总容量128G，刷盘线程为40个，则每个线程的缓存容量为128G/40；刷盘线程数手动设置，每个线程的缓存容量通过“缓存磁盘总容量/线程数”得到。
具体地，所述刷盘线程在接收到写入请求时，判断缓存空间容量是否足够；
如果缓存空间容量足够，将写请求对象数据写入到各自线程所拥有的缓存文件内，同时更新缓存索引；其中，缓存索引以消息ID为键,以缓存文件名称、缓存文件内部偏移量作为值；
如果缓存空间容量不够，则需要从头开始写该缓存空间，覆盖掉覆盖掉之前的内容，同时将记录缓存索引的哈希表清空，重新开始记录。
具体地，还包括对写入的消息数据进行读取，具体为：
将批量读请求进行拆分，逐条查询读请求的内容是否在固态硬盘上的缓存中；
如果在固定硬盘的缓存中，则直接读取缓存；
如果不在固定硬盘的缓存中，则从机械硬盘上相应的消息存储文件中读取；
将批量度请求的数据一起返回给读请求。
具体地实施例中，基于冷热分离存储的消息队列存储方法包括写入过程、缓存写入过程以及读取过程三个过程，具体如下：
写入过程
1.多个写线程发起写请求，将写请求包装为请求对象添加到请求队列中，此时写线程进入等待状态，等待写入请求真正完成
2.启动一个聚合线程，不断轮询从请求队列中获取写请求对象，当写请求对象的数量达到一定阈值之后，将批量的写入请求数据添加到聚合队列中
3.启动多个刷盘线程，刷盘线程从聚合队列中取出批量的写请求对象，将批量的写请求对象中的数据放入到一个缓冲区中，对缓冲区尾部进行字节填充，保证缓冲区的大小能够被4K整除，这样有利于提高写入磁盘的性能。
4.然后将缓冲区的数据先写入到缓存用的固态硬盘中，然后再写入到机械磁盘中，之后更新索引数据，记录下这条数据在固态硬盘中保存的位置。最后通知请求线程，写入数据成功，请求线程返回写入成功，写入完成。
缓存写入逻辑
1.启动之前配置刷盘线程数，配置缓存容量大小，则每个线程所拥有的缓存空间为缓存总容量大小/刷盘线程数
2.每个刷盘线程在接收到写入请求时，如果缓存空间容量足够，将数据写入到各自线程所拥有的缓存文件内，同时更新缓存索引，缓存索引以消息id为键,以缓存文件名称、缓存文件内部偏移量作为值。这样在读取数据时，查询索引，就可以根据消息id找到消息数据的位置，进而从缓存文件中进行加载，
3.如果接收到到写入请求时，缓存空间容量不够，则将需要从头开始写该缓存空间，覆盖掉之前的内容，同时将记录缓存索引的哈希表清空，重新开始记录。
读取过程
1.首先将批量读请求进行拆分，逐条查询读请求的内容是否已经在固态硬盘上的缓存中，如果已经在缓存中，则直接读取缓存。
2.否则从机械硬盘上找到相应的消息存储文件，从文件中读取消息
3.最后将批量读请求的数据一起返回给读请求
实施例二
本实施例提供了一种基于冷热分离存储的消息存储系统，包括：
写请求获取模块，被配置为获取多个写线程发起的多个写请求消息，得到请求队列；
聚合队列构建模块，被配置为根据请求队列中的多个写请求对象进行聚合得到聚合队列；
缓存写入模块，被配置为从所述聚合队列中获取批量的写请求对象数据存入到缓冲区；
消息数据写入模块，被配置为将缓冲区的消息数据先写入到固态硬盘，然后再写入到机械硬盘中，之后更新消息数据的索引数据，记录下消息数据在固态硬盘中保存的位置，完成消息存储。
上述模块与对应的步骤所实现的示例和应用场景相同，但不限于上述实施例一所公开的内容。需要说明的是，上述模块作为系统的一部分可以在诸如一组计算机可执行指令的计算机系统中执行。
上述实施例中对各个实施例的描述各有侧重，某个实施例中没有详述的部分可以参见其他实施例的相关描述。
所提出的系统，可以通过其他的方式实现。例如以上所描述的系统实施例仅仅是示意性的，例如上述模块的划分，仅仅为一种逻辑功能划分，实际实现时，可以有另外的划分方式，例如多个模块可以结合或者可以集成到另外一个系统，或一些特征可以忽略，或不执行。
实施例三
本实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述实施例一所述的一种基于冷热分离存储的消息存储方法中的步骤。
实施例四
本实施例提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述实施例一所述的一种基于冷热分离存储的消息存储方法中的步骤。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(RandomAccessMemory，RAM)等。
上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。
Claims (10)
1.一种基于冷热分离存储的消息存储方法，其特征在于，包括：
获取多个写线程发起的多个写请求消息，得到请求队列；
根据请求队列中的多个写请求对象进行聚合得到聚合队列；
从所述聚合队列中获取批量的写请求对象数据存入到缓冲区；
将缓冲区的消息数据先写入到固态硬盘，然后再写入到机械硬盘中，之后更新消息数据的索引数据，记录下消息数据在固态硬盘中保存的位置，完成消息存储。
2.如权利要求1所述的一种基于冷热分离存储的消息存储方法，其特征在于，所述获取多个写线程发起的多个写请求消息，得到请求队列，包括：
将写请求包装为请求对象添加到请求队列中，
得到最终的请求队列。
3.如权利要求2所述的一种基于冷热分离存储的消息存储方法，其特征在于，所述根据请求队列中的多个写请求对象进行聚合得到聚合队列，包括：
启动聚合线程，不断轮询从请求队列中获取写请求对象；
当获取的写请求对象的数量达到设定阈值后，将批量的写请求数据添加到聚合队列中。
4.如权利要求1所述的一种基于冷热分离存储的消息存储方法，其特征在于，从所述聚合队列中获取批量的写请求对象数据存入到缓冲区，包括：
启动多个刷盘线程，从所述聚合队列中取出批量的写请求对象；
将所述批量的写请求对象中的数据存入到缓冲区；
其中，当所述批量的写请求对象的字节长度小于缓冲区的字节长度时，对缓冲区尾部进行字节填充，保证缓冲区的字节长度大小能够被4K整除。
5.如权利要求4所述的一种基于冷热分离存储的消息存储方法，其特征在于，在启动多个所述刷盘线程时，对所述刷盘线程进行初始化配置，即配置刷盘线程数以及缓存容量大小。
6.如权利要求4所述的一种基于冷热分离存储的消息存储方法，其特征在于，所述刷盘线程在接收到写入请求时，判断缓存空间容量是否足够；
如果缓存空间容量足够，将写请求对象数据写入到各自线程所拥有的缓存文件内，同时更新缓存索引；其中，缓存索引以消息ID为键,以缓存文件名称、缓存文件内部偏移量作为值；
如果缓存空间容量不够，则需要从头开始写该缓存空间，覆盖掉覆盖掉之前的内容，同时将记录缓存索引的哈希表清空，重新开始记录。
7.如权利要求1所述的一种基于冷热分离存储的消息存储方法，其特征在于，还包括对写入的消息数据进行读取，具体为：
将批量读请求进行拆分，逐条查询读请求的内容是否在固态硬盘上的缓存中；
如果在固定硬盘的缓存中，则直接读取缓存；
如果不在固定硬盘的缓存中，则从机械硬盘上相应的消息存储文件中读取；
将批量度请求的数据一起返回给读请求。
8.一种基于冷热分离存储的消息存储系统，其特征在于，包括：
写请求获取模块，被配置为获取多个写线程发起的多个写请求消息，得到请求队列；
聚合队列构建模块，被配置为根据请求队列中的多个写请求对象进行聚合得到聚合队列；
缓存写入模块，被配置为从所述聚合队列中获取批量的写请求对象数据存入到缓冲区；
消息数据写入模块，被配置为将缓冲区的消息数据先写入到固态硬盘，然后再写入到机械硬盘中，之后更新消息数据的索引数据，记录下消息数据在固态硬盘中保存的位置，完成消息存储。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一项所述的一种基于冷热分离存储的消息存储方法中的步骤。
10.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-7中任一项所述的一种基于冷热分离存储的消息存储方法中的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111645989.8A CN114327280B (zh) | 2021-12-29 | 2021-12-29 | 一种基于冷热分离存储的消息存储方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111645989.8A CN114327280B (zh) | 2021-12-29 | 2021-12-29 | 一种基于冷热分离存储的消息存储方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114327280A true CN114327280A (zh) | 2022-04-12 |
| CN114327280B CN114327280B (zh) | 2024-02-09 |
Family
ID=81017468
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111645989.8A Active CN114327280B (zh) | 2021-12-29 | 2021-12-29 | 一种基于冷热分离存储的消息存储方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114327280B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115080268A (zh) * | 2022-06-15 | 2022-09-20 | 苏州轻棹科技有限公司 | 面向自动驾驶系统内部模块的消息发布-订阅处理方法 |
| CN115826882A (zh) * | 2023-02-15 | 2023-03-21 | 苏州浪潮智能科技有限公司 | 一种存储方法、装置、设备及存储介质 |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102662459A (zh) * | 2012-04-22 | 2012-09-12 | 复旦大学 | 利用固态硬盘与机械硬盘混合存储减少服务器能源消耗的方法 |
| CN103399713A (zh) * | 2013-08-02 | 2013-11-20 | 浙江大学 | 平衡多级存储性能与固态硬盘寿命的数据缓冲方法 |
| WO2018077292A1 (zh) * | 2016-10-28 | 2018-05-03 | 北京市商汤科技开发有限公司 | 数据处理方法和系统、电子设备 |
| CN109388341A (zh) * | 2018-08-28 | 2019-02-26 | 安徽继远软件有限公司 | 一种基于Device Mapper的系统存储优化方法 |
| CN110764710A (zh) * | 2016-01-30 | 2020-02-07 | 北京忆恒创源科技有限公司 | 低延迟高iops的数据访问方法与存储系统 |
| CN111104066A (zh) * | 2019-12-17 | 2020-05-05 | 华中科技大学 | 数据写入方法、装置及存储服务器和计算机可读存储介质 |
| CN111459402A (zh) * | 2020-02-20 | 2020-07-28 | 华中科技大学 | 磁盘可控缓冲写方法、控制器、混合io调度方法及调度器 |
| CN111737212A (zh) * | 2020-06-19 | 2020-10-02 | 苏州浪潮智能科技有限公司 | 一种分布式文件系统提升性能的方法和设备 |
| CN111796757A (zh) * | 2019-04-08 | 2020-10-20 | 中移(苏州)软件技术有限公司 | 一种固态硬盘缓存区管理方法和装置 |
| CN111881135A (zh) * | 2020-07-28 | 2020-11-03 | 苏州浪潮智能科技有限公司 | 一种数据聚合方法、装置、设备及计算机可读存储介质 |
| CN112306904A (zh) * | 2020-11-20 | 2021-02-02 | 新华三大数据技术有限公司 | 一种缓存数据的刷盘方法及装置 |
| CN112817544A (zh) * | 2021-03-05 | 2021-05-18 | 北京星网锐捷网络技术有限公司 | 一种数据处理方法、存储系统及存储设备 |
-
2021
- 2021-12-29 CN CN202111645989.8A patent/CN114327280B/zh active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102662459A (zh) * | 2012-04-22 | 2012-09-12 | 复旦大学 | 利用固态硬盘与机械硬盘混合存储减少服务器能源消耗的方法 |
| CN103399713A (zh) * | 2013-08-02 | 2013-11-20 | 浙江大学 | 平衡多级存储性能与固态硬盘寿命的数据缓冲方法 |
| CN110764710A (zh) * | 2016-01-30 | 2020-02-07 | 北京忆恒创源科技有限公司 | 低延迟高iops的数据访问方法与存储系统 |
| WO2018077292A1 (zh) * | 2016-10-28 | 2018-05-03 | 北京市商汤科技开发有限公司 | 数据处理方法和系统、电子设备 |
| CN109388341A (zh) * | 2018-08-28 | 2019-02-26 | 安徽继远软件有限公司 | 一种基于Device Mapper的系统存储优化方法 |
| CN111796757A (zh) * | 2019-04-08 | 2020-10-20 | 中移(苏州)软件技术有限公司 | 一种固态硬盘缓存区管理方法和装置 |
| CN111104066A (zh) * | 2019-12-17 | 2020-05-05 | 华中科技大学 | 数据写入方法、装置及存储服务器和计算机可读存储介质 |
| CN111459402A (zh) * | 2020-02-20 | 2020-07-28 | 华中科技大学 | 磁盘可控缓冲写方法、控制器、混合io调度方法及调度器 |
| CN111737212A (zh) * | 2020-06-19 | 2020-10-02 | 苏州浪潮智能科技有限公司 | 一种分布式文件系统提升性能的方法和设备 |
| CN111881135A (zh) * | 2020-07-28 | 2020-11-03 | 苏州浪潮智能科技有限公司 | 一种数据聚合方法、装置、设备及计算机可读存储介质 |
| CN112306904A (zh) * | 2020-11-20 | 2021-02-02 | 新华三大数据技术有限公司 | 一种缓存数据的刷盘方法及装置 |
| CN112817544A (zh) * | 2021-03-05 | 2021-05-18 | 北京星网锐捷网络技术有限公司 | 一种数据处理方法、存储系统及存储设备 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115080268A (zh) * | 2022-06-15 | 2022-09-20 | 苏州轻棹科技有限公司 | 面向自动驾驶系统内部模块的消息发布-订阅处理方法 |
| CN115080268B (zh) * | 2022-06-15 | 2024-03-26 | 苏州轻棹科技有限公司 | 面向自动驾驶系统内部模块的消息发布-订阅处理方法 |
| CN115826882A (zh) * | 2023-02-15 | 2023-03-21 | 苏州浪潮智能科技有限公司 | 一种存储方法、装置、设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114327280B (zh) | 2024-02-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114327280B (zh) | 一种基于冷热分离存储的消息存储方法及系统 | |
| CN102867035A (zh) | 一种分布式文件系统集群高可用方法和装置 | |
| CN108334460B (zh) | 数据缓存方法及装置 | |
| CN114201421A (zh) | 一种数据流处理方法、存储控制节点及可读存储介质 | |
| CN109471843A (zh) | 一种元数据缓存方法、系统及相关装置 | |
| CN105426472A (zh) | 分布式计算系统及其数据处理方法 | |
| CN114625762A (zh) | 一种元数据获取方法、网络设备及系统 | |
| CN111061690B (zh) | 一种基于rac的数据库日志文件读取方法和装置 | |
| CN107423425B (zh) | 一种对k/v格式的数据快速存储和查询方法 | |
| US20220253252A1 (en) | Data processing method and apparatus | |
| CN107133183B (zh) | 一种基于tcmu虚拟块设备的缓存数据访问方法及系统 | |
| CN111930305A (zh) | 数据的存储方法和装置、存储介质、电子装置 | |
| CN112596669A (zh) | 一种基于分布式存储的数据处理方法及装置 | |
| CN109977079B (zh) | 一种基于分布式文件系统的数据处理方法及装置 | |
| CN113297267A (zh) | 数据缓存和任务处理方法、装置、设备以及存储介质 | |
| CN108052296B (zh) | 一种数据读取方法、设备及计算机存储介质 | |
| WO2024021470A1 (zh) | 一种跨区域的数据调度方法、装置、设备及存储介质 | |
| CN116225314A (zh) | 数据写入方法、装置、计算机设备和存储介质 | |
| CN102495710B (zh) | 一种处理数据只读访问请求的方法 | |
| CN112069088B (zh) | 一种地址映射管理方法及相关装置、设备 | |
| CN115934583A (zh) | 分级缓存方法、装置及系统 | |
| CN114089912A (zh) | 基于消息中间件的数据处理方法及装置、存储介质 | |
| CN114489770A (zh) | 灰度发布方法、装置、计算机设备和存储介质 | |
| CN115904211A (zh) | 一种存储系统、数据处理方法及相关设备 | |
| CN108762679B (zh) | 一种在线ddp与离线ddp相结合的方法及其相关装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |