CN106201443B - 一种基于Storm流式计算框架多并发写文件的方法及系统 - Google Patents
一种基于Storm流式计算框架多并发写文件的方法及系统 Download PDFInfo
- Publication number
- CN106201443B CN106201443B CN201610600236.8A CN201610600236A CN106201443B CN 106201443 B CN106201443 B CN 106201443B CN 201610600236 A CN201610600236 A CN 201610600236A CN 106201443 B CN106201443 B CN 106201443B
- Authority
- CN
- China
- Prior art keywords
- message
- thread
- queue
- file
- batch
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
- G06F9/38—Concurrent instruction execution, e.g. pipeline, look ahead
- G06F9/3885—Concurrent instruction execution, e.g. pipeline, look ahead using a plurality of independent parallel functional units
- G06F9/3889—Concurrent instruction execution, e.g. pipeline, look ahead using a plurality of independent parallel functional units controlled by multiple instructions, e.g. MIMD, decoupled access or execute
- G06F9/3891—Concurrent instruction execution, e.g. pipeline, look ahead using a plurality of independent parallel functional units controlled by multiple instructions, e.g. MIMD, decoupled access or execute organised in groups of units sharing resources, e.g. clusters
Abstract
本发明提供一种基于Storm流式计算框架多并发写文件的方法，包括：利用消息获取任务线程采集原始消息，并将所述原始消息发送给消息处理任务线程；通过消息处理任务线程对获取到的消息进行处理，得到处理后的消息，并将处理后的消息写入同一队列中；通过一队列处理线程初始化文件大小、默认批次和文件路径，并划分文件块，记录文件写入的起始位置和结束位置，通过队列处理线程获取队列中的消息按批次发送给一异步线程池；通过异步线程池根据传来的数据使用异步方式写文件，所述异步线程池包括复数个写文件线程，且每一写文件线程对应写一个文件块。本发明还提供一种基于Storm流式计算框架多并发写文件的系统，提高写文件的速度。
Description
技术领域
本发明涉及数据处理领域，尤其涉及一种基于Storm流式计算框架多并发写文件的方法及系统。
背景技术
Storm是一个免费、开源的分布式实时流计算框架，在Storm中，一个实时计算应用程序的逻辑被封装在一个称为Topology的对象中，也称为计算拓扑，在逻辑上，一个Topology是由消息获取任务线程和消息处理任务线程通过流分组连接成有向无环图的图状结构，消息获取任务线程在Topology中充当消息发送者的角色，而消息处理任务线程充当消息处理的角色，消息获取任务线程从Topology外部获取消息并将消息发送给消息处理任务线程。一些业务场景中，将Storm中的消息写入文件的逻辑主要是在消息处理任务线程组件中实现的，为了保证Storm集群处理消息的速度和吞吐量，需要调整该消息处理任务线程组件的并行度来改变消息写入文件的速度，如此，将造成文件的数量太多和文件大小不一，不利于文件的管理，如果在该消息处理任务线程组件中，实现多并发写同一个文件，一般需要使用同步锁机制来保证文件中消息的正确性和完整性，但同步锁会严重影响Storm集群的性能，降低写文件效率。
发明内容
本发明要解决的技术问题之一，在于提供一种基于Storm流式计算框架多并发写文件的方法，提高写文件的速度，提高Storm集群处理消息的速度。
本发明要解决的技术问题之一是这样实现的：一种基于Storm流式计算框架多并发写文件的方法，包括如下步骤：
步骤1、利用消息获取任务线程采集原始消息，并将所述原始消息以数组形式发送给消息处理任务线程中任一一个线程；
步骤2、通过消息处理任务线程对获取到的消息进行处理，得到处理后的消息，并将处理后的消息写入同一队列中；
步骤3、通过一队列处理线程初始化文件大小、默认批次和文件路径，并划分文件块，记录文件写入的起始位置和结束位置，通过所述队列处理线程获取队列中的消息按批次发送给一异步线程池；
步骤4、通过异步线程池根据所述队列处理线程传来的数据使用异步方式写文件，所述异步线程池包括复数个写文件线程，且每一写文件线程对应写一个文件块。
进一步的，在所述消息处理任务线程初始化的时候，以单例模式一起启动队列处理线程，保证一个工作进程中对应一个队列。
进一步的，所述步骤3进一步包括：
步骤31、通过一队列处理线程初始化文件大小、默认批次和文件路径，并划分文件块，记录文件写入的起始位置和结束位置，所述批次大小为消息条数；
步骤32、通过所述队列处理线程实时监听队列，当监听到队列中有消息时，根据结束位置和文件大小判断是否需要创建新的文件路径，若结束位置大于或等于文件大小，则新建一个文件路径，并将起始位置和结束位置置为0，进入步骤33，否则，直接进入步骤33；
步骤33、创建一个空的集合类，所述集合类的默认大小设为批次大小，用于存储每一批次的消息；
步骤34、通过所述队列处理线程循环地从队列中获取消息存放在集合类里，同时根据添加的消息修改结束位置，直至集合类的消息数大于批次大小或者结束位置不小于文件大小或者队列为空，结束循环，进入步骤35；
步骤35、判断所述集合类是否为空，若是，则返回步骤32，否则，通过所述队列处理线程将文件路径、集合类、起始位置作为参数传递给异步线程池，修改起始位置为结束位置。
进一步的，所述步骤4具体为：通过异步线程池中空闲的写文件线程获取所述队列处理线程传递的集合类和文件路径，并根据起始位置将集合类中的消息写入到所给文件对应的文件块位置，所述文件块大小为集合类中所有消息的大小，所述集合类用于存放每一批次消息。
本发明要解决的技术问题之二，在于提供一种基于Storm流式计算框架多并发写文件的系统，提高写文件的速度，提高Storm集群处理消息的速度。
本发明要解决的技术问题之二是这样实现的：一种基于Storm流式计算框架多并发写文件的系统，包括一消息采集模块、一队列存储模块、一批次处理模块和一异步写文件模块：
所述消息采集模块，用于利用消息获取任务线程采集原始消息，并将所述原始消息以数组形式发送给消息处理任务线程中任一一个线程；
所述队列存储模块，用于通过消息处理任务线程对获取到的消息进行处理，得到处理后的消息，并将处理后的消息写入同一队列中；
所述批次处理模块，用于通过一队列处理线程初始化文件大小、默认批次和文件路径，并划分文件块，记录文件写入的起始位置和结束位置，通过所述队列处理线程获取队列中的消息按批次发送给一异步线程池；
所述异步写文件模块，用于通过异步线程池根据所述队列处理线程传来的数据使用异步方式写文件，所述异步线程池包括复数个写文件线程，且每一写文件线程对应写一个文件块。
进一步的，在所述消息处理任务线程初始化的时候，以单例模式一起启动队列处理线程，保证一个工作进程中对应一个队列。
进一步的，所述批次处理模块进一步包括：
一初始化参数模块，用于通过一队列处理线程初始化文件大小、默认批次和文件路径，并划分文件块，记录文件写入的起始位置和结束位置，所述批次大小为消息条数；
一监听模块，用于通过所述队列处理线程实时监听队列，当监听到队列中有消息时，根据结束位置和文件大小判断是否需要创建新的文件路径，若结束位置大于或等于文件大小，则新建一个文件路径，并将起始位置和结束位置置为0，执行集合类创建模块，否则，直接执行集合类创建模块；
一集合类创建模块，用于创建一个空的集合类，所述集合类的默认大小设为批次大小，用于存储每一批次的消息；
一消息存储模块，用于通过所述队列处理线程循环地从队列中获取消息存放在集合类里，同时根据添加的消息修改结束位置，直至集合类的消息数大于批次大小或者结束位置不小于文件大小或者队列为空，结束循环，执行发送模块；以及
一发送模块，用于判断所述集合类是否为空，若是，则返回执行监听模块，否则，通过所述队列处理线程将文件路径、集合类、起始位置作为参数传递给异步线程池，修改起始位置为结束位置。
进一步的，所述异步写文件模块具体为：通过异步线程池中空闲的写文件线程获取所述队列处理线程传递的集合类和文件路径，并根据起始位置将集合类中的消息写入到所给文件对应的文件块位置，所述文件块大小为集合类中所有消息的大小，所述集合类用于存放每一批次消息。
本发明具有如下优点：保证生成大小固定的文件，确保文件内容有序，使得文件命名规则有序；不影响Storm原有的性能，提高Storm集群处理消息的速度，提高写文件的速度，同时减少了消息处理任务线程组件生产文件的个数，使生成的文件便于管理和控制。
附图说明
下面参照附图结合实施例对本发明作进一步的说明。
图1为本发明一种基于Storm流式计算框架多并发写文件的方法执行流程图。
图2为本发明一种基于Storm流式计算框架多并发写文件的系统逻辑示意图。
图3为本发明一种基于Storm流式计算框架多并发写文件原理示意图。
具体实施方式
如图1和图3所示，一种基于Storm流式计算框架多并发写文件的方法，包括如下步骤：
步骤1、利用消息获取任务线程采集原始消息，并将所述原始消息以数组形式发送给消息处理任务线程中任一一个线程；
步骤2、通过消息处理任务线程对获取到的消息进行处理，得到处理后的消息，并将处理后的消息写入同一队列中，且在所述消息处理任务线程初始化的时候，以单例模式一起启动队列处理线程，保证一个工作进程中对应一个队列；
步骤3、通过一队列处理线程初始化文件大小、默认批次和文件路径，并划分文件块，记录文件写入的起始位置和结束位置，通过所述队列处理线程获取队列中的消息按批次发送给一异步线程池；所述步骤3进一步包括步骤31至步骤35：
步骤31、通过一队列处理线程初始化文件大小、默认批次和文件路径，并划分文件块，记录文件写入的起始位置和结束位置，所述批次大小为消息条数；
步骤32、通过所述队列处理线程实时监听队列，当监听到队列中有消息时，根据结束位置和文件大小判断是否需要创建新的文件路径，若结束位置大于或等于文件大小，则新建一个文件路径，并将起始位置和结束位置置为0，进入步骤33，否则，直接进入步骤33；
步骤33、创建一个空的集合类，所述集合类的默认大小设为批次大小，用于存储每一批次的消息；
步骤34、通过所述队列处理线程循环地从队列中获取消息存放在集合类里，同时根据添加的消息修改结束位置，直至集合类的消息数大于批次大小或者结束位置不小于文件大小或者队列为空，结束循环，进入步骤35；
步骤35、判断所述集合类是否为空，若是，则返回步骤32，否则，通过所述队列处理线程将文件路径、集合类、起始位置作为参数传递给异步线程池，修改起始位置为结束位置；
步骤4、通过异步线程池根据所述队列处理线程传来的数据使用异步方式写文件，所述异步线程池包括复数个写文件线程，且每一写文件线程对应写一个文件块，所述步骤4具体为：通过异步线程池中空闲的写文件线程获取所述队列处理线程传递的集合类和文件路径，并根据起始位置将集合类中的消息写入到所给文件对应的文件块位置，所述文件块大小为集合类中所有消息的大小，所述集合类用于存放每一批次消息。
如图2和图3所示，一种基于Storm流式计算框架多并发写文件的系统，包括一消息采集模块、一队列存储模块、一批次处理模块和一异步写文件模块：
所述消息采集模块，用于利用消息获取任务线程采集原始消息，并将所述原始消息以数组形式发送给消息处理任务线程中任一一个线程；
所述队列存储模块，用于通过消息处理任务线程对获取到的消息进行处理，得到处理后的消息，并将处理后的消息写入同一队列中，在所述消息处理任务线程初始化的时候，以单例模式一起启动队列处理线程，保证一个工作进程中对应一个队列；
所述批次处理模块，用于通过一队列处理线程初始化文件大小、默认批次和文件路径，并划分文件块，记录文件写入的起始位置和结束位置，通过所述队列处理线程获取队列中的消息按批次发送给一异步线程池所述批次处理模块进一步包括一初始化参数模块、一监听模块、一集合类创建模块、一消息存储模块和一发送模块：
所述初始化参数模块，用于通过一队列处理线程初始化文件大小、默认批次和文件路径，并划分文件块，记录文件写入的起始位置和结束位置，所述批次大小为消息条数；
所述监听模块，用于通过所述队列处理线程实时监听队列，当监听到队列中有消息时，根据结束位置和文件大小判断是否需要创建新的文件路径，若结束位置大于或等于文件大小，则新建一个文件路径，并将起始位置和结束位置置为0，执行集合类创建模块，否则，直接执行集合类创建模块；
所述集合类创建模块，用于创建一个空的集合类，所述集合类的默认大小设为批次大小，用于存储每一批次的消息；
所述消息存储模块，用于通过所述队列处理线程循环地从队列中获取消息存放在集合类里，同时根据添加的消息修改结束位置，直至集合类的消息数大于批次大小或者结束位置不小于文件大小或者队列为空，结束循环，执行发送模块；
所述发送模块，用于判断所述集合类是否为空，若是，则返回执行监听模块，否则，通过所述队列处理线程将文件路径、集合类、起始位置作为参数传递给异步线程池，修改起始位置为结束位置；
所述异步写文件模块，用于通过异步线程池根据所述队列处理线程传来的数据使用异步方式写文件，所述异步线程池包括复数个写文件线程，且每一写文件线程对应写一个文件块，所述异步写文件模块具体为：通过异步线程池中空闲的写文件线程获取所述队列处理线程传递的集合类和文件路径，并根据起始位置将集合类中的消息写入到所给文件对应的文件块位置，所述文件块大小为集合类中所有消息的大小，所述集合类用于存放每一批次消息。
下面结合一具体实施例对本发明做进一步说明：
本发明以Storm的工作进程为粒度，让每个工作进程中所有消息处理任务线程将消息写入队列中，并在工作进程中新启动一个写文件的线程，将队列中的消息按批次通过JAVA的并发框架分块异步写入文件，从而在保证Storm集群性能的同时，控制文件生成的数量和大小，大大提高原有写文件的速度。
在本发明的Storm集群中的一工作进程中，包括一消息获取任务线程、复数个消息处理任务线程、一队列、一队列处理线程以及一异步线程池，所述异步线程池中包括复数个异步处理消息的写文件线程，写文件的过程如下：
利用所述消息获取任务线程将采集到的消息(即原始消息)以数组的形式发送给下游的任一一个消息处理任务线程；
通过所述消息处理任务线程对获取到的消息进行处理，得到处理后的消息，并将处理后的消息写入所述队列中，且在所述消息处理任务线程初始化的时候，以单例模式一起启动队列处理线程，从而保证一个工作进程中对应一个队列；
通过一队列处理线程初始化文件大小(例如，初始化文件大小为128M)、默认批次和文件路径(即某一文件地址)，并划分文件块，即把一文件划分成固定大小的文件块，记录文件写入的起始位置和结束位置，将起始位置和结束位置初始化为0，所述批次大小为消息条数(例如1000条消息)；
通过所述队列处理线程实时监听队列，当监听到队列中有消息时，根据结束位置和文件大小判断是否需要创建新的文件路径，若结束位置大于或等于文件大小，则新建一个文件路径，并将起始位置和结束位置置为0；
创建一个空的集合类，所述集合类的默认大小设为批次大小，用于存储每一批次的消息；
通过所述队列处理线程循环地从队列中获取消息存放在集合类里，同时根据添加的消息修改结束位置，即每存入一个消息就将结束位置增加该消息的长度(例如结束位置为endPos，消息为element，element为byty[]类型，endPos＝endPos+element.length)，直至集合类的消息数大于批次大小或者结束位置不小于文件大小或者队列为空，结束该循环，进入下一步；
判断所述集合类是否为空，若是，则返回继续监听队列，否则，通过所述队列处理线程将文件路径、集合类、起始位置作为参数传递给异步线程池，修改起始位置为结束位置；
通过JAVA的并发框架的异步线程池中空闲的写文件线程获取所述队列处理线程传递的集合类和文件路径，并根据起始位置将集合类中的消息写入到对应的文件块位置，所述文件块大小为集合类中所有消息的大小，使用这种异步方式写文件，可以避免同步锁引起的阻塞，加快队列中消息的消费，提高些文件的速度，一个写文件线程对应写一个文件块，如果该写文件线程写完对应的文件块，可以将重新领取到的集合类中的消息写入其他文件块中，从而可以保证同一时刻有多个写文件线程并发写同一个文件，大大提高文件处理速度。
虽然以上描述了本发明的具体实施方式，但是熟悉本技术领域的技术人员应当理解，我们所描述的具体的实施例只是说明性的，而不是用于对本发明的范围的限定，熟悉本领域的技术人员在依照本发明的精神所作的等效的修饰以及变化，都应当涵盖在本发明的权利要求所保护的范围内。
Claims (6)
1.一种基于Storm流式计算框架多并发写文件的方法，其特征在于：包括如下步骤：
步骤1、利用消息获取任务线程采集原始消息，并将所述原始消息以数组形式发送给消息处理任务线程中任意一个线程；
步骤2、通过消息处理任务线程对获取到的消息进行处理，得到处理后的消息，并将处理后的消息写入同一队列中；
步骤3、通过一队列处理线程初始化文件大小、默认批次和文件路径，并划分文件块，记录文件写入的起始位置和结束位置，通过所述队列处理线程获取队列中的消息按批次发送给一异步线程池；
步骤4、通过异步线程池根据所述队列处理线程传来的数据使用异步方式写文件，所述异步线程池包括复数个写文件线程，且每一写文件线程对应写一个文件块；
所述步骤3进一步包括：
步骤31、通过一队列处理线程初始化文件大小、默认批次和文件路径，并划分文件块，记录文件写入的起始位置和结束位置，批次大小为消息条数；
步骤32、通过所述队列处理线程实时监听队列，当监听到队列中有消息时，根据结束位置和文件大小判断是否需要创建新的文件路径，若结束位置大于或等于文件大小，则新建一个文件路径，并将起始位置和结束位置置为0，进入步骤33，否则，直接进入步骤33；
步骤33、创建一个空的集合类，所述集合类的默认大小设为批次大小，用于存储每一批次的消息；
步骤34、通过所述队列处理线程循环地从队列中获取消息存放在集合类里，同时根据添加的消息修改结束位置，直至集合类的消息数大于批次大小或者结束位置不小于文件大小或者队列为空，结束循环，进入步骤35；
步骤35、判断所述集合类是否为空，若是，则返回步骤32，否则，通过所述队列处理线程将文件路径、集合类、起始位置作为参数传递给异步线程池，修改起始位置为结束位置。
2.根据权利要求1所述的一种基于Storm流式计算框架多并发写文件的方法，其特征在于：在所述消息处理任务线程初始化的时候，以单例模式一起启动队列处理线程，保证一个工作进程中对应一个队列。
3.根据权利要求1所述的一种基于Storm流式计算框架多并发写文件的方法，其特征在于：所述步骤4具体为：通过异步线程池中空闲的写文件线程获取所述队列处理线程传递的集合类和文件路径，并根据起始位置将集合类中的消息写入到所给文件对应的文件块位置，文件块大小为集合类中所有消息的大小，所述集合类用于存放每一批次消息。
4.一种基于Storm流式计算框架多并发写文件的系统，其特征在于：包括一消息采集模块、一队列存储模块、一批次处理模块和一异步写文件模块：
所述消息采集模块，用于利用消息获取任务线程采集原始消息，并将所述原始消息以数组形式发送给消息处理任务线程中任意一个线程；
所述队列存储模块，用于通过消息处理任务线程对获取到的消息进行处理，得到处理后的消息，并将处理后的消息写入同一队列中；
所述批次处理模块，用于通过一队列处理线程初始化文件大小、默认批次和文件路径，并划分文件块，记录文件写入的起始位置和结束位置，通过所述队列处理线程获取队列中的消息按批次发送给一异步线程池；
所述异步写文件模块，用于通过异步线程池根据所述队列处理线程传来的数据使用异步方式写文件，所述异步线程池包括复数个写文件线程，且每一写文件线程对应写一个文件块；
所述批次处理模块进一步包括：
一初始化参数模块，用于通过一队列处理线程初始化文件大小、默认批次和文件路径，并划分文件块，记录文件写入的起始位置和结束位置，批次大小为消息条数；
一监听模块，用于通过所述队列处理线程实时监听队列，当监听到队列中有消息时，根据结束位置和文件大小判断是否需要创建新的文件路径，若结束位置大于或等于文件大小，则新建一个文件路径，并将起始位置和结束位置置为0，执行集合类创建模块，否则，直接执行集合类创建模块；
一集合类创建模块，用于创建一个空的集合类，所述集合类的默认大小设为批次大小，用于存储每一批次的消息；
一消息存储模块，用于通过所述队列处理线程循环地从队列中获取消息存放在集合类里，同时根据添加的消息修改结束位置，直至集合类的消息数大于批次大小或者结束位置不小于文件大小或者队列为空，结束循环，执行发送模块；以及
一发送模块，用于判断所述集合类是否为空，若是，则返回执行监听模块，否则，通过所述队列处理线程将文件路径、集合类、起始位置作为参数传递给异步线程池，修改起始位置为结束位置。
5.根据权利要求4所述的一种基于Storm流式计算框架多并发写文件的系统，其特征在于：在所述消息处理任务线程初始化的时候，以单例模式一起启动队列处理线程，保证一个工作进程中对应一个队列。
6.根据权利要求4所述的一种基于Storm流式计算框架多并发写文件的系统，其特征在于：所述异步写文件模块具体为：通过异步线程池中空闲的写文件线程获取所述队列处理线程传递的集合类和文件路径，并根据起始位置将集合类中的消息写入到所给文件对应的文件块位置，文件块大小为集合类中所有消息的大小，所述集合类用于存放每一批次消息。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610600236.8A CN106201443B (zh) | 2016-07-27 | 2016-07-27 | 一种基于Storm流式计算框架多并发写文件的方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610600236.8A CN106201443B (zh) | 2016-07-27 | 2016-07-27 | 一种基于Storm流式计算框架多并发写文件的方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106201443A CN106201443A (zh) | 2016-12-07 |
| CN106201443B true CN106201443B (zh) | 2019-01-18 |
Family
ID=57496436
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610600236.8A Active CN106201443B (zh) | 2016-07-27 | 2016-07-27 | 一种基于Storm流式计算框架多并发写文件的方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106201443B (zh) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110007967B (zh) * | 2017-12-29 | 2022-05-06 | 杭州海康威视数字技术股份有限公司 | 一种基于流式框架的数据处理方法、装置及设备 |
| CN108874555A (zh) * | 2018-05-23 | 2018-11-23 | 福建天泉教育科技有限公司 | 一种写消息至消息中间件的方法及装置 |
| CN111796930B (zh) * | 2020-05-21 | 2023-12-22 | 福建天泉教育科技有限公司 | 优化消息处理的方法、存储介质 |
| CN111757145B (zh) * | 2020-07-31 | 2022-03-04 | 四川巧夺天工信息安全智能设备有限公司 | 一种多路负载均衡的监控视频的批量处理方法 |
| CN113022133B (zh) * | 2021-02-01 | 2022-05-17 | 广州广合科技股份有限公司 | 喷印机效率提升方法、电子设备及存储介质 |
| CN113347245B (zh) * | 2021-05-31 | 2022-05-20 | 广东轩辕网络科技股份有限公司 | 一种基于消息队列的文件分片断点传输方法及装置 |
| CN113434469A (zh) * | 2021-06-23 | 2021-09-24 | 北京理工大学 | 一种基于线程池的异步导入文件方法 |
| CN115118676B (zh) * | 2022-08-29 | 2022-11-11 | 科来网络技术股份有限公司 | 基于中心平台的异构系统数据通信交互方法、系统及终端 |
| CN116755637B (zh) * | 2023-08-17 | 2024-02-09 | 深圳华锐分布式技术股份有限公司 | 交易数据存储方法、装置、设备及介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6954846B2 (en) * | 2001-08-07 | 2005-10-11 | Sun Microsystems, Inc. | Microprocessor and method for giving each thread exclusive access to one register file in a multi-threading mode and for giving an active thread access to multiple register files in a single thread mode |
| CN104536827A (zh) * | 2015-01-27 | 2015-04-22 | 浪潮(北京)电子信息产业有限公司 | 一种数据调度方法和装置 |
| CN105205189A (zh) * | 2015-09-22 | 2015-12-30 | 中国建筑股份有限公司 | 基于容器的bim模型与高速采集数据系统的集成方法 |
-
2016
- 2016-07-27 CN CN201610600236.8A patent/CN106201443B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6954846B2 (en) * | 2001-08-07 | 2005-10-11 | Sun Microsystems, Inc. | Microprocessor and method for giving each thread exclusive access to one register file in a multi-threading mode and for giving an active thread access to multiple register files in a single thread mode |
| CN104536827A (zh) * | 2015-01-27 | 2015-04-22 | 浪潮(北京)电子信息产业有限公司 | 一种数据调度方法和装置 |
| CN105205189A (zh) * | 2015-09-22 | 2015-12-30 | 中国建筑股份有限公司 | 基于容器的bim模型与高速采集数据系统的集成方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106201443A (zh) | 2016-12-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106201443B (zh) | 一种基于Storm流式计算框架多并发写文件的方法及系统 | |
| CN110908788B (zh) | 基于Spark Streaming的数据处理方法、装置、计算机设备及存储介质 | |
| WO2020151177A1 (zh) | 基于大数据行为调度应用任务的方法、服务器及存储介质 | |
| CN103309738B (zh) | 用户作业调度方法及装置 | |
| US8954971B2 (en) | Data collecting method, data collecting apparatus and network management device | |
| US20150295970A1 (en) | Method and device for augmenting and releasing capacity of computing resources in real-time stream computing system | |
| CN112507029B (zh) | 数据处理系统及数据实时处理方法 | |
| WO2021223451A1 (zh) | 汽车生产动作数据采集方法、系统、装置和存储介质 | |
| CN106778033A (zh) | 一种基于Spark平台的Spark Streaming异常温度数据报警方法 | |
| WO2020232875A1 (zh) | 一种基于Actor模型的任务调度方法、装置及存储介质 | |
| CN106682004A (zh) | 一种Redis Key管理方法及系统 | |
| US9569291B1 (en) | Systems and methods for inter-process messaging | |
| CN106130960B (zh) | 盗号行为的判断系统、负载调度方法和装置 | |
| CN104598563A (zh) | 高并发数据存储方法及装置 | |
| CN107046510B (zh) | 一种适用于分布式计算系统的节点及其组成的系统 | |
| CN110704438B (zh) | 一种区块链中布隆过滤器的生成方法及装置 | |
| CN103631873B (zh) | 一种数据压缩方法及存储系统 | |
| US10942771B2 (en) | Method, apparatus and system for multi-module scheduling | |
| CN110532205A (zh) | 数据传输方法、装置、计算机设备和计算机可读存储介质 | |
| CN109670954A (zh) | 基于区块链的交易处理方法 | |
| CN106339252A (zh) | 分布式dag系统的自适应优化方法和装置 | |
| WO2017076149A1 (zh) | 一种图像处理系统及图像处理的方法 | |
| CN110187838A (zh) | 数据io信息处理方法、分析方法、装置和相关设备 | |
| CN114466227B (zh) | 一种视频分析方法、装置、电子设备及存储介质 | |
| CN109829094A (zh) | 分布式爬虫系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP01 | Change in the name or title of a patent holder |
Address after: Wufeng Street software Avenue Gulou District of Fuzhou city in Fujian province 350000 No. 89 Building No. 12 Patentee after: China Electric fufu Mdt InfoTech Ltd Address before: Wufeng Street software Avenue Gulou District of Fuzhou city in Fujian province 350000 No. 89 Building No. 12 Patentee before: Fujian Fushitong Information Software Co.,Ltd. |
|
| CP01 | Change in the name or title of a patent holder |